KR20080072454A - 배경과 이동 객체를 분리하여 움직임을 추정하는 프레임보간 장치 및 프레임 보간 방법 - Google Patents
배경과 이동 객체를 분리하여 움직임을 추정하는 프레임보간 장치 및 프레임 보간 방법 Download PDFInfo
- Publication number
- KR20080072454A KR20080072454A KR1020070011259A KR20070011259A KR20080072454A KR 20080072454 A KR20080072454 A KR 20080072454A KR 1020070011259 A KR1020070011259 A KR 1020070011259A KR 20070011259 A KR20070011259 A KR 20070011259A KR 20080072454 A KR20080072454 A KR 20080072454A
- Authority
- KR
- South Korea
- Prior art keywords
- frame
- macroblock
- nth
- motion vector
- interpolation
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 73
- 230000003068 static effect Effects 0.000 title abstract description 7
- 239000013598 vector Substances 0.000 claims abstract description 131
- 101100134058 Caenorhabditis elegans nth-1 gene Proteins 0.000 claims description 10
- 238000010586 diagram Methods 0.000 description 16
- 238000006243 chemical reaction Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 230000015556 catabolic process Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A41—WEARING APPAREL
- A41C—CORSETS; BRASSIERES
- A41C3/00—Brassieres
- A41C3/12—Component parts
- A41C3/14—Stiffening or bust-forming inserts
- A41C3/144—Pads
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/144—Movement detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
- H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
- H04N7/014—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes involving the use of motion vectors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
- H04N7/0127—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level by changing the field or frame frequency of the incoming video signal, e.g. frame rate converter
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Textile Engineering (AREA)
- Television Systems (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
배경과 이동 객체를 분리하여 움직임을 추정하는 프레임 보간 장치 및 프레임 보간 방법이 개시된다. 상기 프레임 보간 장치는 제 n 프레임 및 상기 제 n 프레임에 인접하는 제 n-1 프레임을 포함하는 복수의 프레임들을 보간하여 보간 프레임을 생성하는 프레임 보간 장치에 있어서, 배경 분리부, 움직임 벡터 추정부 및 보간 프레임 생성부를 구비하는 것을 특징으로 한다. 상기 배경 분리부는 상기 제 n 프레임의 매크로 블록과 상기 매크로 블록에 대응하는 상기 제 n-1 프레임의 매크로 블록을 비교하여 상기 제 n 프레임의 각각의 매크로 블록에 대하여 배경과 이동 객체를 분리한다. 상기 움직임 벡터 추정부는 상기 이동 객체로 판단된 제 n 프레임의 매크로 블록들에 대하여, 상기 제 n 프레임의 매크로 블록과 매칭되는 매크로 블록을 상기 제 n-1 프레임 안에서 찾아 움직임 벡터를 추정한다. 상기 보간 프레임 생성부는 상기 추정된 움직임 벡터, 상기 제 n 프레임 및 상기 제 n-1 프레임을 이용하여 상기 보간 프레임을 생성한다. 상기 프레임 보간 장치 및 프레임 보간 방법은 저전력으로 구동할 수 있고, 불필요한 연산을 감소시킬 수 있으며 폐색(occlusion) 영역에 대한 처리도 가능하다. 또한, 잘못된 움직임 벡터를 수정하고 실제 움직임 벡터를 구함으로써 고정밀의 영상을 구현할 수 있다.
Description
본 발명의 상세한 설명에서 인용되는 도면을 보다 충분히 이해하기 위하여 각 도면의 간단한 설명이 제공된다.
도 1은 본 발명의 실시예에 따른 프레임 보간 장치의 블록도이다.
도 2는 도 1의 배경 분리부에 의하여 생성된 하나의 프레임을 매크로 블록 단위로 분할한 모습을 나타내는 도면이다.
도 3은 본 발명의 실시예에 따른 프레임 보간 방법의 흐름도이다.
도 4 및 도 5는 도 1의 배경 분리부의 동작을 설명하기 위하여 프레임을 매크로 블록 단위로 분할한 도면이다.
도 6은 도 1의 움직임 벡터 추정부의 동작을 설명하기 위하여 프레임을 매크로 블록 단위로 분할한 도면이다.
도 7은 본 발명의 실시예에 따른 폐색(occlusion) 영역을 감안한 프레임 보간 방법의 흐름도이다.
도 8은 매크로 블록 별로 추정된 움직임 벡터의 방향을 표시한 도면이다.
도 9는 도 7의 실시예에 따라 폐색 영역에 대한 보간 프레임을 생성하는 모습을 나타내는 도면이다.
도 10은 본 발명의 다른 실시예에 따른 프레임 보간 장치의 블록도이다.
도 11은 본 발명의 또 다른 실시예에 따른 프레임 보간 장치의 블록도이다.
본 발명은 프레임 레이트 변환(Frame Rate Conversion)에 관한 것으로, 특히 배경과 이동 객체를 분리하여 움직임을 추정하는 프레임 보간 장치 및 프레임 보간 방법에 관한 것이다.
통상적으로 PC나 HDTV에서는 PAL 또는 NTSC와 같은 다양한 방송 신호 규격을 갖는 프로그램을 호환하기 위해 프레임 레이트 변환(Frame Rate Conversion)을 수행한다. 프레임 레이트 변환은 초당 출력되는 프레임수를 변환시키는 것을 의미한다. 특히 프레임 레이트가 증가되는 경우에 새로운 프레임을 보간(interpolate)하는 과정이 필요하다. 상기와 같이 보간된 프레임을 보간 프레임이라고 하는데, 보간 프레임 생성하기 위하여 움직임 추정(ME : Motion Estimation) 방법을 사용한다. 움직임 추정(ME) 방법이란 이전 프레임과 현재 프레임 사이에서 가장 비슷한 블록을 찾는 방법이다. 움직임 벡터(MV : Motion Vector)는 상기 움직임 추정(ME)에서 블록이 얼마나 움직였는가를 나타내는 벡터이다.
종래의 움직임 추정(ME) 방법은 동영상 데이터의 시간적인 중복성을 감소시 키기 위하여 사용되고 이를 기반으로 하여 상기 움직임 벡터(MV)를 생성한다. 상기 움직임 벡터(MV)를 만들기 위한 움직임 추정(ME)에는 여러 방법이 있으나, 일반적으로 블록 정합 방식(BMA : Block Matching Algorithm)이 사용된다. 블록 정합 방식(BMA)은 각 블록 단위로 움직임을 찾아 그 움직임 벡터를 그 블록의 모든 화소에 적용하는 방법으로 수행 시간이 적게 소요되며 하드웨어 구현이 용이하다. 일반적인 동영상에서 움직임은 크게 회전(rotation), 병진(translation) 및 확대(zoom in)/축소(zoom out)의 세가지로 나눌 수 있으나 프레임간의 시간 간격이 아주 작은 경우 그 사이의 움직임은 매우 작다고 가정할 수 있다. 그러므로, 블록 정합 방식(BMA)은 병진 움직임만 있다는 가정과 블록 내의 모든 화소들의 움직임은 모두 같다는 가정아래 수행된다. 따라서, 블록 정합 방식(BMA)에서는 현재 프레임에서 찾고자 하는 블록과 가장 비슷한 블록을 이전 프레임의 탐색 영역(search range) 안에서 찾아 그 위치 값의 차를 움직임 벡터(MV)로 한다. 상기와 같은 방식을 전역 탐색 방식(full search)라고 한다. 이때 각 블록은 일반적으로 16*16 화소로 이루어진 블록을 사용하고, 상기 블록을 매크로 블록(MB :Macro Block)이라고 한다.
블록 정합 방식(BMA) 중 상기 전역 탐색 방식의 경우 상기 탐색 영역 안의 모든 화소와의 비교 계산을 하기 때문에, 정합 에러가 가장 적은 움직임 벡터(MV)를 찾을 수 있으나 많은 계산을 요구한다는 단점이 있다. 즉, 종래의 블록 정합 방식(BMA)은 움직임이 없는 부분에 대해서도 움직임 추정을 수행함으로써 불필요한 연산 수행 및 전력을 소모하는 문제점이 있다. 또한, 종래의 블록 정합 방식(BMA)은 배경(static object)과 이동 객체(moving object)를 고려하지 않음으로써 잘못 된 움직임을 추정할 가능성이 증가하고, 상기 잘못된 움직임 추정을 보간된 영상에 적용 시 화질 열화가 발생할 수 있는 문제점이 있다.
본 발명이 이루고자하는 기술적 과제는 배경(static object)과 이동 객체(moving object)를 분리하여 상기 이동 객체에 대해서만 움직임 추정을 수행하고 수정된 탐색 영역 안에서 움직임 추정을 수행함으로써, 저전력 구동 및 정확한 실제 움직임 벡터를 획득하여 정확한 보간 프레임을 생성할 수 있는 프레임 보간 장치를 제공하는데 있다.
본 발명이 이루고자하는 다른 기술적 과제는 상기 프레임 보간 장치를 사용하여 보간 프레임을 생성하는 프레임 보간 방법을 제공하는데 있다.
상기 기술적 과제를 달성하기 위한 본 발명의 실시예에 따른 프레임 보간 장치는 제 n 프레임 및 상기 제 n 프레임에 인접하는 제 n-1 프레임을 포함하는 복수의 프레임들을 보간(interpolate)하여 보간 프레임을 생성하는 프레임 보간 장치에 있어서, 배경 분리부, 움직임 벡터 추정부 및 보간 프레임 생성부를 구비하는 것을 특징으로 한다. 상기 배경 분리부는 상기 제 n 프레임의 매크로 블록과 상기 매크로 블록에 대응하는 상기 제 n-1 프레임의 매크로 블록을 비교하여 상기 제 n 프레임의 각각의 매크로 블록에 대하여 배경과 이동 객체를 분리한다. 상기 움직임 벡터 추정부는 상기 이동 객체로 판단된 제 n 프레임의 매크로 블록들에 대하여, 상기 제 n 프레임의 매크로 블록과 매칭되는 매크로 블록을 상기 제 n-1 프레임 안에 서 찾아 움직임 벡터를 추정한다. 상기 보간 프레임 생성부는 상기 추정된 움직임 벡터, 상기 제 n 프레임 및 상기 제 n-1 프레임을 이용하여 상기 보간 프레임을 생성한다.
상기 움직임 벡터 추정부는 상기 제 n 프레임의 매크로 블록과 매칭되는 매크로 블록을 상기 제 n-1 프레임의 제 1 탐색 영역 안에서 찾아 제 1 움직임 벡터를 추정하는 탐색 영역 처리부, 상기 제 n 프레임의 매크로 블록과 매칭되는 매크로 블록을 상기 제 n-1 프레임의 제 2 탐색 영역 안에서 찾아 제 2 움직임 벡터를 추정하는 수정된 탐색 영역 처리부 및 상기 제 n 프레임의 매크로 블록과 상기 제 n 프레임의 매크로 블록에 대응하는 제 n-1 프레임의 매크로 블록을 매칭시켜 제 3 움직임 벡터를 추정하는 현재 매크로 블록 처리부를 더 구비하고, 상기 제 1 탐색 영역은 상기 제 n-1 프레임의 매크로 블록들을 포함하며, 상기 제 2 탐색 영역은 상기 이동 객체로 판단된 제 n 프레임의 매크로 블록들에 대응하는 상기 제 n-1 프레임의 매크로 블록들을 포함하는 것이 바람직하다.
상기 수정된 탐색 영역 처리부는 상기 매칭되는 매크로 블록 별로 SAD(Sum of Absolute Difference)값을 계산하여 상기 SAD값이 가장 작은 제 n-1 프레임의 매크로 블록과 상기 제 n 프레임의 매크로 블록간의 상기 제 2 움직임 벡터를 추정하는 것이 바람직하다.
상기 보간 프레임 생성부는 상기 추정된 제 1 움직임 벡터, 상기 추정된 제 2 움직임 벡터 및 상기 추정된 제 3 움직임 벡터 중 중간값을 이용하여 상기 보간 프레임을 생성하는 것이 바람직하다.
상기 보간 프레임 생성부는 상기 제 n 프레임의 매크로 블록에 매칭되는 상기 제 n-1 프레임의 매크로 블록이 명확하게 존재하는 경우, 상기 제 n 프레임의 매크로 블록과 상기 제 n-1 프레임의 매크로 블록의 중간값을 이용하여 상기 보간 프레임을 생성하는 것이 바람직하다.
상기 보간 프레임 생성부는 상기 제 n 프레임의 매크로 블록에 매칭되는 상기 제 n-1 프레임의 매크로 블록이 명확하게 존재하지 않는 경우, 상기 추정된 움직임 벡터의 방향에 따라 상기 제 n 프레임의 매크로 블록 또는 상기 제 n-1 프레임의 매크로 블록을 이용하여 상기 보간 프레임을 생성하는 것이 바람직하다.
상기 움직임 벡터 추정부는 상기 제 n 프레임의 매크로 블록과 매칭되는 매크로 블록을 상기 제 n-1 프레임의 제 1 탐색 영역 안에서 찾아 움직임 벡터를 추정하고, 상기 탐색 영역은 상기 매칭되는 제 n 프레임의 매크로 블록에 대응하는 상기 제 n-1 프레임의 매크로 블록 및 상기 대응하는 매크로 블록에 인접하는 상기 제 n-1 프레임의 매크로 블록들을 포함하는 것이 바람직하다.
상기 기술적 과제를 달성하기 위한 본 발명의 다른 실시예에 따른 프레임 보간 장치는 제 n 프레임 및 상기 제 n 프레임에 인접하는 제 n-1 프레임을 포함하는 복수의 프레임들을 보간(interpolate)하여 보간 프레임을 생성하는 프레임 보간 장치에 있어서, 배경 분리부, 움직임 벡터 추정부 및 보간 프레임 생성부를 구비하는 것을 특징으로 한다. 상기 배경 분리부는 상기 제 n 프레임의 매크로 블록과 상기 매크로 블록에 대응하는 상기 제 n-1 프레임의 매크로 블록을 비교하여 상기 제 n 프레임의 각각의 매크로 블록에 대하여 배경과 이동 객체를 분리한다. 상기 움직임 벡터 추정부는 상기 이동 객체로 판단된 제 n 프레임의 매크로 블록들에 대하여, 상기 제 n 프레임의 매크로 블록과 매칭되는 매크로 블록을 상기 제 n-1 프레임의 탐색 영역 안에서 찾아 움직임 벡터를 추정한다. 상기 보간 프레임 생성부는 상기 추정된 움직임 벡터, 상기 제 n 프레임 및 상기 제 n-1 프레임을 이용하여 상기 보간 프레임을 생성한다. 상기 탐색 영역은 상기 이동 객체로 판단된 제 n 프레임의 매크로 블록들에 대응하는 상기 제 n-1 프레임의 매크로 블록들을 포함한다.
상기 다른 기술적 과제를 달성하기 위한 본 발명의 실시예에 따른 프레임 보간 방법은 제 n 프레임 및 상기 제 n 프레임에 인접하는 제 n-1 프레임을 포함하는 복수의 프레임들을 보간(interpolate)하여 보간 프레임을 생성하는 프레임 보간 방법에 있어서, 상기 제 n 프레임의 매크로 블록과 상기 매크로 블록에 대응하는 상기 제 n-1 프레임의 매크로 블록을 비교하여 상기 제 n 프레임의 각각의 매크로 블록에 대하여 배경과 이동 객체를 분리하는 단계, 상기 이동 객체로 판단된 제 n 프레임의 매크로 블록들에 대하여, 상기 제 n 프레임의 매크로 블록과 매칭되는 매크로 블록을 상기 제 n-1 프레임 안에서 찾아 움직임 벡터를 추정하는 단계 및 상기 추정된 움직임 벡터, 상기 제 n 프레임 및 상기 제 n-1 프레임을 이용하여 상기 보간 프레임을 생성하는 단계를 구비하는 것을 특징으로 한다.
상기 다른 기술적 과제를 달성하기 위한 본 발명의 다른 실시예에 따른 프레임 보간 방법은 제 n 프레임 및 상기 제 n 프레임에 인접하는 제 n-1 프레임을 포함하는 복수의 프레임들을 보간(interpolate)하여 보간 프레임을 생성하는 프레임 보간 방법에 있어서, 상기 제 n 프레임의 매크로 블록과 상기 매크로 블록에 대응 하는 상기 제 n-1 프레임의 매크로 블록을 비교하여 상기 제 n 프레임의 각각의 매크로 블록에 대하여 배경과 이동 객체를 분리하는 단계, 상기 이동 객체로 판단된 제 n 프레임의 매크로 블록들에 대하여, 상기 제 n 프레임의 매크로 블록과 매칭되는 매크로 블록을 상기 제 n-1 프레임의 탐색 영역 안에서 찾아 움직임 벡터를 추정하는 단계 및 상기 추정된 움직임 벡터, 상기 제 n 프레임 및 상기 제 n-1 프레임을 이용하여 상기 보간 프레임을 생성하는 단계를 구비하고, 상기 탐색 영역은 상기 이동 객체로 판단된 제 n 프레임의 매크로 블록들에 대응하는 상기 제 n-1 프레임의 매크로 블록들을 포함하는 것을 특징으로 한다.
본 발명과 본 발명의 동작상의 이점 및 본 발명의 실시에 의하여 달성되는 목적을 충분히 이해하기 위해서는 본 발명의 바람직한 실시예를 예시하는 첨부 도면 및 도면에 기재된 내용을 참조하여야 한다.
이하, 첨부한 도면을 참조하여 본 발명의 바람직한 실시예를 설명함으로써, 본 발명을 상세히 설명한다. 각 도면에 제시된 동일한 참조부호는 동일한 부재를 나타낸다.
도 1은 본 발명의 실시예에 따른 프레임 보간 장치(100)의 블록도이다.
도 1을 참조하면, 프레임 보간 장치(100)는 배경 분리부(110), 움직임 벡터 추정부(130) 및 보간 프레임 생성부(170)를 구비한다. 이하에서 프레임 보간 장치(100)는 n 번째 프레임(n은 2이상의 자연수)인 제 n 프레임과 n-1번째 프레임인 제 n-1 프레임을 보간(interpolate)하여 보간 프레임을 생성하는 경우에 대하여 설명한다. 상기 제 n 프레임은 현재 프레임일 수 있고, 상기 제 n-1 프레임은 상기 현재 프레임의 바로 이전 프레임일 수 있다. 배경 분리부(110)는 상기 제 n 프레임을 매크로 블록(MB : Macro Block) 단위로 배경(static object)과 이동 객체(moving object)를 분리한다. 즉, 상기 제 n 프레임의 매크로 블록과 상기 매크로 블록에 대응하는 상기 제 n-1 프레임의 매크로 블록을 비교하여 상기 제 n 프레임의 각각의 매크로 블록에 대하여 배경과 이동 객체를 분리한다.
움직임 벡터 추정부(130)는 상기 이동 객체로 판단된 상기 제 n 프레임의 매크로 블록들에 대하여, 상기 제 n 프레임의 매크로 블록과 매칭되는 매크로 블록을 상기 제 n-1 프레임 안에서 찾아 움직임 벡터를 추정한다. 움직임 벡터 추정부(130)는 탐색 영역 처리부(140), 수정된 탐색 영역 처리부(150) 및 현재 매크로 블록 처리부(160)를 구비할 수 있다. 탐색 영역 처리부(140)는 상기 제 n 프레임의 매크로 블록과 매칭되는 매크로 블록을 상기 제 n-1 프레임의 제 1 탐색 영역 안에서 찾아 제 1 움직임 벡터를 추정한다. 상기 제 1 탐색 영역이란 상기 매칭되는 제 n 프레임의 매크로 블록에 대응하는 제 n-1 프레임의 매크로 블록 및 상기 대응하는 매크로 블록에 인접하는 제 n-1 프레임의 매크로 블록들을 포함하는 영역이다. 즉, 탐색 영역 처리부(140)는 전역 탐색 방식(full search)에 의하여 움직임 벡터를 추정한다. 수정된 탐색 영역 처리부(150)는 상기 제 n 프레임의 매크로 블록과 매칭되는 매크로 블록을 상기 제 n-1 프레임의 제 2 탐색 영역 안에서 찾아 제 2 움직임 벡터를 추정한다. 상기 제 2 탐색 영역이란 상기 이동 객체로 판단된 상기 제 n 프레임의 매크로 블록들에 대응하는 상기 제 n-1 프레임의 매크로 블록들을 포함한다. 현재 매크로 블록 처리부(160)는 상기 제 n 프레임의 매크로 블록과 상 기 제 n 프레임의 매크로 블록에 대응하는 제 n-1 프레임의 매크로 블록을 매칭시켜 제 3 움직임 벡터를 추정한다. 배경 분리부(110), 탐색 영역 처리부(140), 수정된 탐색 영역 처리부(150) 및 현재 매크로 블록 처리부(160)에 대하여는 도 3 내지 도 6에서 보다 상세히 설명한다.
보간 프레임 생성부(170)는 상기 추정된 움직임 벡터, 상기 제 n 프레임 및 상기 제 n-1 프레임을 이용하여 상기 보간 프레임을 생성한다. 보간 프레임 생성부(170)는 상기 추정된 제 1 움직임 벡터, 상기 추정된 제 2 움직임 벡터 및 상기 추정된 제 3 움직임 벡터 중 중간값의 움직임 벡터를 이용하여 상기 보간 프레임을 생성할 수 있다. 또한, 보간 프레임 생성부(170)는 상기 제 n 프레임의 매크로 블록에 매칭되는 제 n-1 프레임의 매크로 블록이 명확하게 존재하는지 여부에 따라 다른 프레임 보간 방법을 사용함으로써 폐색(occlusion) 영역에 대한 처리가 가능하다. 보간 프레임 생성부(170)의 동작에 관하여는 도 7 내지 도 9에서 보다 상세히 설명한다.
도 2는 도 1의 배경 분리부(110)에 의하여 생성된 하나의 프레임을 매크로 블록 단위로 분할한 모습을 나타내는 도면이다.
도 2를 참조하면, 하나의 프레임을 복수의 매크로 블록(MB)으로 분할할 수 있다. 매크로 블록(MB)은 일반적으로 16*16 화소로 이루어진 블록을 사용하지만, 상기 매크로 블록(MB)을 다른 크기의 화소로 이루어진 블록으로 정의하여도 본 발명과 동일한 효과를 얻을 수 있음은 당업자에게 자명한 사항이다.
도 3은 본 발명의 실시예에 따른 프레임 보간 방법의 흐름도이다.
도 4 및 도 5는 도 1의 배경 분리부(110)의 동작을 설명하기 위하여 프레임을 매크로 블록 단위로 분할한 도면이다.
도 6은 도 1의 움직임 벡터 추정부(130)의 동작을 설명하기 위하여 프레임을 매크로 블록 단위로 분할한 도면이다.
도 1, 도 3 내지 도 6을 참조하면, 배경 분리부(110)는 제 n 프레임과 제 n-1 프레임의 매크로 블록의 휘도 신호의 차이값을 계산한다(S310 단계). 상기 휘도 신호의 차이값(ImgDiff)은 수학식 1과 같이 계산할 수 있다.
상기 수학식 1에서 f()는 프레임의 휘도 값을 나타내고, x 및 y 는 상기 프레임의 공간적 위치를 의미하며 n 및 n-1 은 프레임 번호를 의미한다.
도 4의 제 n 프레임(450)을 5*5의 매크로 블록들(MB'_11, MB'_12, ... , MB'_55)로 구분하고, 제 n-1 프레임(410)을 5*5의 매크로 블록들(MB_11, MB_12, ... , MB_55)로 구분한 경우, 각각의 대응하는 매크로 블록에 대하여 상기 휘도 신호의 차이값(ImgDiff)을 계산한다. 즉, 제 n 프레임(450)의 매크로 블록(MB'_11)의 휘도값과 제 n-1 프레임(410)의 매크로 블록(MB_11)의 휘도값의 차이를 계산하고, 매크로 블록(MB'_12)의 휘도값과 매크로 블록(MB_12)의 휘도값의 차이를 계산한다. 나머지 매크로 블록들에 대하여도 동일한 방법으로 대응되는 매크로 블록에 대하여 휘도 신호의 차이값을 계산한다.
배경 분리부(110)는 상기 차이값을 상기 이동 객체를 구분하는 기준이 되는 임계값과 비교한다(S320 단계). 이동 객체가 있는 경우는 상기 차이값이 크게 나오고 배경인 경우는 상기 차이값이 작게 나온다. 그러므로, 이동 객체로 판단하는 기준이 되는 상기 임계값과 상기 차이값을 비교하여, 상기 차이값이 상기 임계값보다 큰 경우는 이동 객체로 판단하게 되고, 상기 차이값이 상기 임계값보다 작은 경우는 배경으로 판단하게 된다. 상기와 같이 매크로 블록 단위로 이동 객체와 배경이 분리되면, 도 5와 같이 상기 이동 객체로 판단된 매크로 블록에는 "1"을 할당하고 상기 배경으로 판단된 매크로 블록에는 "0"을 할당하여 이진화 영상을 구현할 수 있다. 이하에서, 움직임 추정은 "1"이 할당된 매크로 블록에 한하여 수행한다. "0"이 할당된 매크로 블록에 대하여는 배경이라 판단된 것이므로, 움직임 추정 없이 대응하는 제 n-1 프레임의 매크로 블록을 이용하여 보간 프레임을 생성한다.
상기 이동 객체로 판단된 매크로 블록에 대하여, 탐색 영역 처리부(140), 수정된 탐색 영역 처리부(150) 및 현재 매크로 블록 처리부(160)는 각각 상기 제 1 움직임 벡터, 상기 제 2 움직임 벡터 및 상기 제 3 움직임 벡터를 추정한다.
도 6(a)를 참조하여 탐색 영역 처리부(140)의 동작을 설명한다. 제 n 프레임(450)의 매크로 블록(610)에 대하여 현재 처리하고자 하는 경우, 탐색 영역 처리부(140)는 제 n 프레임(450)의 매크로 블록(610)과 매칭되는 매크로 블록을 제 n-1 프레임(410)의 제 1 탐색 영역(630) 안에서 찾아 상기 제 1 움직임 벡터를 추정한다(S330 단계). 제 1 탐색 영역(630)은 제 n 프레임(450)의 매크로 블록(610)에 대응하는 제 n-1 프레임(410)의 매크로 블록(MB_33) 및 매크로 블록(MB_33)에 인접하 는 매크로 블록들(MB_22, MB_23, MB_24, MB_32, MB_34, MB_42, MB_43, MB_44)을 포함한다. 도 6(a)는 3*3 의 매크로 블록들을 포함하는 제 1 탐색 영역에 대하여 도시하였으나, 이는 일 실시예일 뿐 4*4 또는 5*5 의 매크로 블록들을 포함하도록 구성하여도 본 발명의 효과와 동일한 효과를 얻을 수 있음은 당업자에게 자명한 사항이다.
도 6(b)를 참조하여 수정된 탐색 영역 처리부(150)의 동작을 설명한다. 제 n 프레임(450)의 매크로 블록(610)에 대하여 현재 처리하고자 하는 경우, 수정된 탐색 영역 처리부(150)는 제 n 프레임(450)의 매크로 블록(610)과 매칭되는 매크로 블록을 제 n-1 프레임(410)의 제 2 탐색 영역(650)안에서 찾아 상기 제 2 움직임 벡터를 추정한다(S340 단계). 제 2 탐색 영역(650)은 제 n 프레임(450)의 매크로 블록(610)에 대응하는 제 n-1 프레임(410)의 매크로 블록(MB_33) 및 매크로 블록(MB_33)에 인접하고 이동 객체로 판단된 제 n 프레임(450)의 매크로 블록들(MB'_22, MB'_23, MB'_24, MB'_32, MB'_34)에 대응하는 매크로 블록들(MB_22, MB_23, MB_24, MB_32, MB_34)을 포함한다. 즉, 제 n 프레임(450)에서 "1"이 할당된 매크로 블록들(MB'_22, MB'_23, MB'_24, MB'_32, MB'_33, MB'_34)에 대응하는 제 n-1 프레임의 매크로 블록들(MB_22, MB_23, MB_24, MB_32, MB_33, MB_34)에 대하여만 제 2 탐색 영역으로 정의한다.
도 6(c)를 참조하여 현재 매크로 블록 처리부(160)의 동작을 설명한다. 제 n 프레임(450)의 매크로 블록(610)에 대하여 현재 처리하고자 하는 경우, 현재 매크로 블록 처리부(160)는 제 n 프레임(450)의 매크로 블록(610)과 매크로 블록(610) 에 대응하는 제 n-1 프레임(410)의 매크로 블록(MB'_33)을 매칭시켜 상기 제 3 움직임 벡터를 추정한다(S350 단계).
탐색 영역 처리부(130), 수정된 탐색 영역 처리부(150) 및 현재 매크로 블록 처리부(160)에서 상기 움직임 벡터를 추정하는 방법에는 MSE(Mean Square Error) 방식, MAD(Mean Absolute Difference) 방식 및 SAD(Sum of Absolute Difference) 방식 등이 있다. 최근에는 상기 SAD 방식을 사용하여 움직임 벡터를 추정하는 경우가 많으므로 이하에서는 상기 SAD 방식에 대하여만 설명한다. 그러나, 상기 MSE 방식, 상기 MAD 방식 및 상기 SAD 방식 중 어느 방식을 사용하여 상기 움직임 벡터를 추정하여도 본 발명의 효과와 동일한 효과를 얻을 수 있음은 당업자에게 자명한 사항이다.
상기 움직임 벡터는 현재 처리하고자 하는 매크로 블록과 상기 제 1 탐색 영역 또는 상기 제 2 탐색 영역 내부의 모든 블록들 간의 SAD 값을 수학식 2에 의하여 계산한 후, 수학식 3에 의하여 상기 계산한 값 중에 가장 작은 값을 가지는 블록에 대한 공간적인 거리로 결정된다. 먼저 SAD 값은 수학식 2와 같이 계산된다.
상기 수학식 2에서, N은 상기 매크로 블록의 크기, i 및 j는 현재 영상의 공간적 위치, n 및 n-1은 프레임 번호를 의미하고, dx 및 dy는 현재 영상과 이전 영상의 블록 위치 차이, 즉 제 n 프레임과 제 n-1 프레임의 블록 위치 차이를 나타낸 다. 상기 SAD 값을 이용하여, 수학식 3에서와 같이 최소의 SAD 값을 가지는 블록에 대한 움직임 벡터(MV)를 구한다.
상기 수학식 3에서 R은 움직임 추정을 위한 탐색 영역을 나타낸다. 즉, R은 상기 제 1 탐색 영역, 상기 제 2 탐색 영역 또는 매크로 블록(MB_33) 일 수 있다.
보간 프레임 생성부(170)는 상기 추정된 제 1 움직임 벡터, 상기 추정된 제 2 움직임 벡터 및 상기 추정된 제 3 움직임 벡터 중 중간값을 선택하고(S360 단계), 상기 선택된 중간값을 이용하여 상기 보간 프레임을 생성한다(S370 단계). 즉, 보간 프레임 생성부(170)는 상기 3개의 움직임 벡터 중 급격하게 변화하는 움직임 벡터가 존재하는 경우, 상기 움직임 벡터를 잡음으로 인식하여 제거할 수 있다. 이하에서는, 폐색(occlusion) 영역의 처리를 위한 보간 프레임 생성부(170)의 동작에 대하여 설명한다.
도 7은 본 발명의 실시예에 따른 폐색(occlusion) 영역을 감안한 프레임 보간 방법의 흐름도이다.
도 8은 매크로 블록 별로 추정된 움직임 벡터의 방향을 표시한 도면이다.
도 1, 도 4, 도 7 및 도 8을 참조하면, 보간 프레임 생성부(170)는 제 n 프레임(450)의 매크로 블록에 매칭되는 제 n-1 프레임(410)의 매크로 블록이 명확하게 존재하는지 판단한다(S710 단계). 즉, 제 n 프레임(450)의 상기 각각의 매크로 블록이 제 n-1 프레임에 정확하게 매칭되는 매크로 블록이 있는지 판단한다. 상기 각각의 매크로 블록이 정확하게 매칭되는 경우는 상기 SAD 값이 "0"이 되고, 이 경우는 제 n 프레임의 상기 각각의 매크로 블록과 상기 매칭되는 제 2 프레임의 각각의 매크로 블록의 중간값을 이용하여 상기 보간 프레임을 생성한다(S720 단계).
상기 제 n 프레임(450)의 매크로 블록에 매칭되는 제 n-1 프레임(410)의 매크로 블록이 명확하게 존재하지 않는 경우라 함은 상기 폐색 영역이 존재함을 의미한다. 상기 폐색 영역이 존재하는 경우란 제 n-1 프레임(410)에는 존재하지 않았던 영상이 제 n 프레임(450)에는 존재하거나, 제 n-1 프레임(410)에는 존재하던 영상이 제 n 프레임(450)에는 존재하지 않게 되는 경우를 의미한다. 상기 폐색 영역이 존재하는 경우, 도 8(a)와 같이 추정된 움직임 벡터의 방향을 판단한다(S730 단계). 도 8(a)에서 ×표시된 부분은 최초 배경으로 판단된 매크로 블록을 의미한다. 상기 추정된 움직임 벡터가 도 8(a)와 같이 방향을 가지는 경우, 도 8(b)와 같이 상기 움직임 벡터의 SAD 값이 "0"인 경우는 해당 매크로 블록에 "0"을 할당한다. 그리고, 상기 움직임 벡터의 상기 SAD 값이 "0"이 아니고 좌(left)에서 우(right)로 움직이는 경우 해당 매크로 블록에 "-1"을 할당하고, 상기 움직임 벡터의 상기 SAD 값이 "0"이 아니고 우에서 좌로 움직이는 경우 해당 매크로 블록에 "1"을 할당한다. 상기 해당 매크로 블록에 "-1"이 할당된 경우, 제 n 프레임(450)의 상기 해당 매크로 블록을 이용하여 상기 보간 프레임을 생성한다(S740 단계). 상기 해당 매크로 블록에 "1"이 할당된 경우, 제 n-1 프레임(410)의 상기 해당 매크로 블록을 이용하여 상기 보간 프레임을 생성한다(S750 단계).
도 9는 도 7의 실시예에 따라 폐색 영역에 대한 보간 프레임을 생성하는 모습을 나타내는 도면이다.
도 9를 참조하여 먼저 이전 프레임(910)과 현재 프레임(950) 사이에 보간된 프레임(970)을 생성하는 (a) 단계에 대하여 설명한다. 도 9를 참조하면, 이전 프레임(910)에는 존재하였던 920 부분이 현재 프레임(950)에서는 자동차에 가려져서 존재하지 않고 있다. 따라서, 이 경우는 960 부분에 해당하는 매크로 블록이 우에서 좌로 움직였으므로 "1"이 할당되고, 이전 프레임(910)의 920 부분을 이용하여 보간된 프레임(970)이 생성된다.
다음으로 이전 프레임(950)과 현재 프레임(910) 사이에 보간된 프레임(970)을 생성하는 (b) 단계에 대하여 설명한다. 도 9를 참조하면, 이전 프레임(950)에는 존재하지 않았던 920 부분이 현재 프레임(910)에서는 존재하고 있다. 따라서, 이 경우는 960 부분에 해당하는 매크로 블록이 좌에서 우로 움직였으므로 "-1"이 할당되고, 현재 프레임(910)의 920 부분을 이용하여 보간된 프레임(970)이 생성된다.
도 10은 본 발명의 다른 실시예에 따른 프레임 보간 장치(1000)의 블록도이다.
도 10을 참조하면, 배경 분리부(1010), 탐색 영역 처리부(1040) 및 보간 프레임 생성부(1070)는 도 1의 배경 분리부(110), 탐색 영역 처리부(140) 및 보간 프레임 생성부(170)와 동일하게 동작한다. 즉, 도 1의 프레임 보간 장치(100)는 움직임 벡터 추정부(130)에서 세 개의 추정된 움직임 벡터가 나오는데 반해, 도 10의 프레임 보간 장치(1000)는 탐색 영역 처리부(1040)에서 도 1의 상기 제 1 움직임 벡터만이 추정되는 차이점이 있을 뿐, 나머지는 구성 요소들은 동일한 기능을 수행한다. 그러므로, 이하 설명을 생략한다.
도 11은 본 발명의 또 다른 실시예에 따른 프레임 보간 장치(1100)의 블록도이다.
도 11을 참조하면, 배경 분리부(1110), 수정된 탐색 영역 처리부(1150) 및 보간 프레임 생성부(1170)는 도 1의 배경 분리부(110), 수정된 탐색 영역 처리부(150) 및 보간 프레임 생성부(170)와 동일하게 동작한다. 즉, 도 1의 프레임 보간 장치(100)는 움직임 벡터 추정부(130)에서 세 개의 추정된 움직임 벡터가 나오는데 반해, 도 11의 프레임 보간 장치(1100)는 수정된 탐색 영역 처리부(1150)에서 도 1의 상기 제 2 움직임 벡터만이 추정되는 차이점이 있을 뿐, 나머지는 구성 요소들은 동일한 기능을 수행한다. 그러므로, 이하 설명을 생략한다.
이상에서와 같이 도면과 명세서에서 최적 실시예가 개시되었다. 여기서 특정한 용어들이 사용되었으나, 이는 단지 본 발명을 설명하기 위한 목적에서 사용된 것이지 의미한정이나 특허청구범위에 기재된 본 발명의 범위를 제한하기 위하여 사용된 것은 아니다. 그러므로 본 기술분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호범위는 첨부된 특허청구범위의 기술적 사상에 의해 정해져야 할 것이다.
상술한 바와 같이 본 발명에 따른 프레임 보간 장치 및 프레임 보간 방법은 영상의 특징에 따라 배경(static object)과 이동 객체(moving object)를 분리하여 상기 이동 객체에 대해서만 움직임 추정을 수행함으로써 저전력으로 구동할 수 있는 장점이 있다. 그리고, 수정된 탐색 영역에 대해서만 움직임 추정을 수행함으로써 불필요한 연산을 감소시킬 수 있고, 폐색(occlusion) 영역에 대한 처리도 가능하다. 또한, 세가지 경우의 추정된 움직임 벡터 중 중간값을 선택하여 잘못된 움직임 벡터를 수정하고 실제 움직임 벡터를 구함으로써 고정밀의 영상을 구현할 수 있다.
Claims (37)
- 제 n 프레임 및 상기 제 n 프레임에 인접하는 제 n-1 프레임을 포함하는 복수의 프레임들을 보간(interpolate)하여 보간 프레임을 생성하는 프레임 보간 장치에 있어서,상기 제 n 프레임의 매크로 블록과 상기 매크로 블록에 대응하는 상기 제 n-1 프레임의 매크로 블록을 비교하여 상기 제 n 프레임의 각각의 매크로 블록에 대하여 배경과 이동 객체를 분리하는 배경 분리부;상기 이동 객체로 판단된 제 n 프레임의 매크로 블록들에 대하여, 상기 제 n 프레임의 매크로 블록과 매칭되는 매크로 블록을 상기 제 n-1 프레임 안에서 찾아 움직임 벡터를 추정하는 움직임 벡터 추정부; 및상기 추정된 움직임 벡터, 상기 제 n 프레임 및 상기 제 n-1 프레임을 이용하여 상기 보간 프레임을 생성하는 보간 프레임 생성부를 구비하는 것을 특징으로 하는 프레임 보간 장치.
- 제1항에 있어서, 상기 움직임 벡터 추정부는,상기 제 n 프레임의 매크로 블록과 매칭되는 매크로 블록을 상기 제 n-1 프레임의 제 1 탐색 영역 안에서 찾아 제 1 움직임 벡터를 추정하는 탐색 영역 처리부;상기 제 n 프레임의 매크로 블록과 매칭되는 매크로 블록을 상기 제 n-1 프 레임의 제 2 탐색 영역 안에서 찾아 제 2 움직임 벡터를 추정하는 수정된 탐색 영역 처리부; 및상기 제 n 프레임의 매크로 블록과 상기 제 n 프레임의 매크로 블록에 대응하는 제 n-1 프레임의 매크로 블록을 매칭시켜 제 3 움직임 벡터를 추정하는 현재 매크로 블록 처리부를 더 구비하고,상기 제 1 탐색 영역은 상기 제 n-1 프레임의 매크로 블록들을 포함하며,상기 제 2 탐색 영역은 상기 이동 객체로 판단된 제 n 프레임의 매크로 블록들에 대응하는 상기 제 n-1 프레임의 매크로 블록들을 포함하는 것을 특징으로 하는 프레임 보간 장치.
- 제2항에 있어서, 상기 제 1 탐색 영역은,상기 매칭되는 제 n 프레임의 매크로 블록에 대응하는 상기 제 n-1 프레임의 매크로 블록 및 상기 대응하는 매크로 블록에 인접하는 상기 제 n-1 프레임의 매크로 블록들을 포함하는 것을 특징으로 하는 프레임 보간 장치.
- 제2항에 있어서, 상기 제 2 탐색 영역은,상기 매칭되는 제 n 프레임의 매크로 블록에 대응하는 상기 제 n-1 프레임의 매크로 블록 및 상기 대응하는 매크로 블록에 인접하고 상기 이동 객체로 판단된 제 n 프레임의 매크로 블록들에 대응하는 상기 제 n-1 프레임의 매크로 블록들을 포함하는 것을 특징으로 하는 프레임 보간 장치.
- 제2항에 있어서, 상기 탐색 영역 처리부는,상기 매칭되는 매크로 블록 별로 SAD(Sum of Absolute Difference)값을 계산하여 상기 SAD값이 가장 작은 제 n-1 프레임의 매크로 블록과 상기 제 n 프레임의 매크로 블록간의 상기 제 1 움직임 벡터를 추정하는 것을 특징으로 하는 프레임 보간 장치.
- 제2항에 있어서, 상기 수정된 탐색 영역 처리부는,상기 매칭되는 매크로 블록 별로 SAD(Sum of Absolute Difference)값을 계산하여 상기 SAD값이 가장 작은 제 n-1 프레임의 매크로 블록과 상기 제 n 프레임의 매크로 블록간의 상기 제 2 움직임 벡터를 추정하는 것을 특징으로 하는 프레임 보간 장치.
- 제2항에 있어서, 상기 현재 매크로 블록 처리부는,상기 매칭되는 매크로 블록간의 SAD(Sum of Absolute Difference)값을 계산하여 상기 제 3 움직임 벡터를 추정하는 것을 특징으로 하는 프레임 보간 장치.
- 제2항에 있어서, 상기 보간 프레임 생성부는,상기 추정된 제 1 움직임 벡터, 상기 추정된 제 2 움직임 벡터 및 상기 추정된 제 3 움직임 벡터 중 중간값을 이용하여 상기 보간 프레임을 생성하는 것을 특 징으로 하는 프레임 보간 장치.
- 제1항에 있어서, 상기 보간 프레임 생성부는,상기 제 n 프레임의 매크로 블록에 매칭되는 상기 제 n-1 프레임의 매크로 블록이 명확하게 존재하는 경우, 상기 제 n 프레임의 매크로 블록과 상기 제 n-1 프레임의 매크로 블록의 중간값을 이용하여 상기 보간 프레임을 생성하는 것을 특징으로 하는 프레임 보간 장치.
- 제1항에 있어서, 상기 보간 프레임 생성부는,상기 제 n 프레임의 매크로 블록에 매칭되는 상기 제 n-1 프레임의 매크로 블록이 명확하게 존재하지 않는 경우, 상기 추정된 움직임 벡터의 방향에 따라 상기 제 n 프레임의 매크로 블록 또는 상기 제 n-1 프레임의 매크로 블록을 이용하여 상기 보간 프레임을 생성하는 것을 특징으로 하는 프레임 보간 장치.
- 제10항에 있어서, 상기 보간 프레임 생성부는,상기 추정된 움직임 벡터의 방향이 좌(left)에서 우(right)를 향하는 경우, 상기 제 n 프레임의 매크로 블록을 이용하고, 상기 추정된 움직임 벡터의 방향이 우에서 좌를 향하는 경우, 상기 제 n-1 프레임의 매크로 블록을 이용하는 것을 특징으로 하는 프레임 보간 장치.
- 제1항에 있어서, 상기 배경 분리부는,상기 제 n 프레임의 매크로 블록의 휘도 신호와 상기 대응하는 제 n-1 프레임의 매크로 블록의 휘도 신호의 차이값을 연산하고, 상기 차이값과 상기 이동 객체를 구분하는 기준이 되는 임계값을 비교하여 상기 제 n 프레임의 각각의 매크로 블록 별로 상기 배경과 상기 이동 객체를 분리하는 것을 특징으로 하는 프레임 보간 장치.
- 제12항에 있어서, 상기 배경 분리부는,상기 차이값이 상기 임계값보다 큰 경우 상기 해당 매크로 블록을 이동 객체로 판단하고, 상기 차이값이 상기 임계값보다 작은 경우 상기 해당 매크로 블록을 배경으로 판단하는 것을 특징으로 하는 프레임 보간 장치.
- 제1항에 있어서, 상기 움직임 벡터 추정부는,상기 제 n 프레임의 매크로 블록과 매칭되는 매크로 블록을 상기 제 n-1 프레임의 제 1 탐색 영역 안에서 찾아 움직임 벡터를 추정하고,상기 탐색 영역은,상기 매칭되는 제 n 프레임의 매크로 블록에 대응하는 상기 제 n-1 프레임의 매크로 블록 및 상기 대응하는 매크로 블록에 인접하는 상기 제 n-1 프레임의 매크로 블록들을 포함하는 것을 특징으로 하는 프레임 보간 장치.
- 제 n 프레임 및 상기 제 n 프레임에 인접하는 제 n-1 프레임을 포함하는 복수의 프레임들을 보간(interpolate)하여 보간 프레임을 생성하는 프레임 보간 장치에 있어서,상기 제 n 프레임의 매크로 블록과 상기 매크로 블록에 대응하는 상기 제 n-1 프레임의 매크로 블록을 비교하여 상기 제 n 프레임의 각각의 매크로 블록에 대하여 배경과 이동 객체를 분리하는 배경 분리부;상기 이동 객체로 판단된 제 n 프레임의 매크로 블록들에 대하여, 상기 제 n 프레임의 매크로 블록과 매칭되는 매크로 블록을 상기 제 n-1 프레임의 탐색 영역 안에서 찾아 움직임 벡터를 추정하는 움직임 벡터 추정부; 및상기 추정된 움직임 벡터, 상기 제 n 프레임 및 상기 제 n-1 프레임을 이용하여 상기 보간 프레임을 생성하는 보간 프레임 생성부를 구비하고,상기 탐색 영역은,상기 이동 객체로 판단된 제 n 프레임의 매크로 블록들에 대응하는 상기 제 n-1 프레임의 매크로 블록들을 포함하는 것을 특징으로 하는 프레임 보간 장치.
- 제15항에 있어서, 상기 탐색 영역은,상기 매칭되는 제 n 프레임의 매크로 블록에 대응하는 상기 제 n-1 프레임의 매크로 블록 및 상기 대응하는 매크로 블록에 인접하고 상기 이동 객체로 판단된 제 n 프레임의 매크로 블록들에 대응하는 상기 제 n-1 프레임의 매크로 블록들을 포함하는 것을 특징으로 하는 프레임 보간 장치.
- 제15항에 있어서, 상기 보간 프레임 생성부는,상기 제 n 프레임의 매크로 블록에 매칭되는 상기 제 n-1 프레임의 매크로 블록이 명확하게 존재하는 경우, 상기 제 n 프레임의 매크로 블록과 상기 제 n-1 프레임의 매크로 블록의 중간값을 이용하여 상기 보간 프레임을 생성하는 것을 특징으로 하는 프레임 보간 장치.
- 제15항에 있어서, 상기 보간 프레임 생성부는,상기 제 n 프레임의 매크로 블록에 매칭되는 상기 제 n-1 프레임의 매크로 블록이 명확하게 존재하지 않는 경우, 상기 추정된 움직임 벡터의 방향에 따라 상기 제 n 프레임의 매크로 블록 또는 상기 제 n-1 프레임의 매크로 블록을 이용하여 상기 보간 프레임을 생성하는 것을 특징으로 하는 프레임 보간 장치.
- 제15항에 있어서, 상기 배경 분리부는,상기 제 n 프레임의 매크로 블록의 휘도 신호와 상기 대응하는 제 n-1 프레임의 매크로 블록의 휘도 신호의 차이값을 연산하고, 상기 차이값과 상기 이동 객체를 구분하는 기준이 되는 임계값을 비교하여 상기 제 n 프레임의 각각의 매크로 블록 별로 상기 배경과 상기 이동 객체를 분리하는 것을 특징으로 하는 프레임 보간 장치.
- 제 n 프레임 및 상기 제 n 프레임에 인접하는 제 n-1 프레임을 포함하는 복수의 프레임들을 보간(interpolate)하여 보간 프레임을 생성하는 프레임 보간 방법에 있어서,상기 제 n 프레임의 매크로 블록과 상기 매크로 블록에 대응하는 상기 제 n-1 프레임의 매크로 블록을 비교하여 상기 제 n 프레임의 각각의 매크로 블록에 대하여 배경과 이동 객체를 분리하는 단계;상기 이동 객체로 판단된 제 n 프레임의 매크로 블록들에 대하여, 상기 제 n 프레임의 매크로 블록과 매칭되는 매크로 블록을 상기 제 n-1 프레임 안에서 찾아 움직임 벡터를 추정하는 단계; 및상기 추정된 움직임 벡터, 상기 제 n 프레임 및 상기 제 n-1 프레임을 이용하여 상기 보간 프레임을 생성하는 단계를 구비하는 것을 특징으로 하는 프레임 보간 방법.
- 제20항에 있어서, 상기 추정하는 단계는,상기 제 n 프레임의 매크로 블록과 매칭되는 매크로 블록을 상기 제 n-1 프레임의 제 1 탐색 영역 안에서 찾아 제 1 움직임 벡터를 추정하는 단계;상기 제 n 프레임의 매크로 블록과 매칭되는 매크로 블록을 상기 제 n-1 프레임의 제 2 탐색 영역 안에서 찾아 제 2 움직임 벡터를 추정하는 단계; 및상기 제 n 프레임의 매크로 블록과 상기 제 n 프레임의 매크로 블록에 대응하는 제 n-1 프레임의 매크로 블록을 매칭시켜 제 3 움직임 벡터를 추정하는 단계 를 더 구비하고,상기 제 1 탐색 영역은 상기 제 n-1 프레임의 매크로 블록들을 포함하며,상기 제 2 탐색 영역은 상기 이동 객체로 판단된 제 n 프레임의 매크로 블록들에 대응하는 상기 제 n-1 프레임의 매크로 블록들을 포함하는 것을 특징으로 하는 프레임 보간 방법.
- 제21항에 있어서, 상기 제 1 탐색 영역은,상기 매칭되는 제 n 프레임의 매크로 블록에 대응하는 상기 제 n-1 프레임의 매크로 블록 및 상기 대응하는 매크로 블록에 인접하는 상기 제 n-1 프레임의 매크로 블록들을 포함하는 것을 특징으로 하는 프레임 보간 방법.
- 제21항에 있어서, 상기 제 2 탐색 영역은,상기 매칭되는 제 n 프레임의 매크로 블록에 대응하는 상기 제 n-1 프레임의 매크로 블록 및 상기 대응하는 매크로 블록에 인접하고 상기 이동 객체로 판단된 제 n 프레임의 매크로 블록들에 대응하는 상기 제 n-1 프레임의 매크로 블록들을 포함하는 것을 특징으로 하는 프레임 보간 방법.
- 제21항에 있어서, 상기 제 1 움직임 벡터를 추정하는 단계는,상기 매칭되는 매크로 블록 별로 SAD(Sum of Absolute Difference)값을 계산하는 단계; 및상기 SAD값들 중 가장 작은 SAD값을 가지는 제 n-1 프레임의 매크로 블록과 상기 제 n 프레임의 매크로 블록간의 상기 제 1 움직임 벡터를 추정하는 단계를 구비하는 것을 특징으로 하는 프레임 보간 방법.
- 제21항에 있어서, 상기 제 2 움직임 벡터를 추정하는 단계는,상기 매칭되는 매크로 블록 별로 SAD(Sum of Absolute Difference)값을 계산하는 단계; 및상기 SAD값들 중 가장 작은 SAD값을 가지는 제 n-1 프레임의 매크로 블록과 상기 제 n 프레임의 매크로 블록간의 상기 제 2 움직임 벡터를 추정하는 단계를 구비하는 것을 특징으로 하는 프레임 보간 방법.
- 제21항에 있어서, 상기 제 3 움직임 벡터를 추정하는 단계는,상기 매칭되는 매크로 블록간의 SAD(Sum of Absolute Difference)값을 계산하여 상기 제 3 움직임 벡터를 추정하는 단계인 것을 특징으로 하는 프레임 보간 방법.
- 제21항에 있어서, 상기 보간 프레임을 생성하는 단계는,상기 추정된 제 1 움직임 벡터, 상기 추정된 제 2 움직임 벡터 및 상기 추정된 제 3 움직임 벡터 중 중간값을 선택하는 단계; 및상기 선택된 중간값을 이용하여 상기 보간 프레임을 생성하는 단계를 구비하 는 것을 특징으로 하는 프레임 보간 방법.
- 제20항에 있어서, 상기 보간 프레임을 생성하는 단계는,상기 제 n 프레임의 매크로 블록에 매칭되는 상기 제 n-1 프레임의 매크로 블록이 명확하게 존재하는지 판단하는 단계;상기 판단 결과 명확하게 존재하는 경우, 상기 제 n 프레임의 매크로 블록과 상기 제 n-1 프레임의 매크로 블록의 중간값을 이용하여 상기 보간 프레임을 생성하는 단계; 및상기 판단 결과 명확하게 존재하지 않는 경우, 상기 추정된 움직임 벡터의 방향에 따라 상기 제 n 프레임의 매크로 블록 또는 상기 제 n-1 프레임의 매크로 블록을 이용하여 상기 보간 프레임을 생성하는 단계를 구비하는 것을 특징으로 하는 프레임 보간 방법.
- 제28항에 있어서, 상기 추정된 움직임 벡터의 방향에 따라 생성하는 단계는,상기 추정된 움직임 벡터의 방향을 판단하는 단계;상기 추정된 움직임 벡터의 방향이 좌(left)에서 우(right)를 향하는 경우, 상기 제 n 프레임의 매크로 블록을 이용하여 상기 보간 프레임을 생성하는 단계; 및상기 추정된 움직임 벡터의 방향이 우에서 좌를 향하는 경우, 상기 제 n-1 프레임의 매크로 블록을 이용하여 상기 보간 프레임을 생성하는 단계를 구비하는 것을 특징으로 하는 프레임 보간 방법.
- 제20항에 있어서, 상기 분리하는 단계는,상기 제 n 프레임의 매크로 블록의 휘도 신호와 상기 대응하는 제 n-1 프레임의 매크로 블록의 휘도 신호의 차이값을 연산하는 단계; 및상기 차이값과 상기 이동 객체를 구분하는 기준이 되는 임계값을 비교하여 상기 제 n 프레임의 각각의 매크로 블록 별로 상기 배경과 상기 이동 객체를 분리하는 단계를 구비하는 것을 특징으로 하는 프레임 보간 방법.
- 제30항에 있어서, 상기 분리하는 단계는,상기 차이값이 상기 임계값보다 큰 경우 상기 해당 매크로 블록을 이동 객체로 판단하는 단계; 및상기 차이값이 상기 임계값보다 작은 경우 상기 해당 매크로 블록을 배경으로 판단하는 단계를 구비하는 것을 특징으로 하는 프레임 보간 방법.
- 제20항에 있어서, 상기 추정하는 단계는,상기 제 n 프레임의 매크로 블록과 매칭되는 매크로 블록을 상기 제 n-1 프레임의 탐색 영역 안에서 찾아 움직임 벡터를 추정하는 단계를 구비하고,상기 탐색 영역은,상기 매칭되는 제 n 프레임의 매크로 블록에 대응하는 상기 제 n-1 프레임의 매크로 블록 및 상기 대응하는 매크로 블록에 인접하는 상기 제 n-1 프레임의 매크로 블록들을 포함하는 것을 특징으로 하는 프레임 보간 방법.
- 제 n 프레임 및 상기 제 n 프레임에 인접하는 제 n-1 프레임을 포함하는 복수의 프레임들을 보간(interpolate)하여 보간 프레임을 생성하는 프레임 보간 방법에 있어서,상기 제 n 프레임의 매크로 블록과 상기 매크로 블록에 대응하는 상기 제 n-1 프레임의 매크로 블록을 비교하여 상기 제 n 프레임의 각각의 매크로 블록에 대하여 배경과 이동 객체를 분리하는 단계;상기 이동 객체로 판단된 제 n 프레임의 매크로 블록들에 대하여, 상기 제 n 프레임의 매크로 블록과 매칭되는 매크로 블록을 상기 제 n-1 프레임의 탐색 영역 안에서 찾아 움직임 벡터를 추정하는 단계; 및상기 추정된 움직임 벡터, 상기 제 n 프레임 및 상기 제 n-1 프레임을 이용하여 상기 보간 프레임을 생성하는 단계를 구비하고,상기 탐색 영역은,상기 이동 객체로 판단된 제 n 프레임의 매크로 블록들에 대응하는 상기 제 n-1 프레임의 매크로 블록들을 포함하는 것을 특징으로 하는 프레임 보간 방법.
- 제33항에 있어서, 상기 탐색 영역은,상기 매칭되는 제 n 프레임의 매크로 블록에 대응하는 상기 제 n-1 프레임의 매크로 블록 및 상기 대응하는 매크로 블록에 인접하고 상기 이동 객체로 판단된 제 n 프레임의 매크로 블록들에 대응하는 상기 제 n-1 프레임의 매크로 블록들을 포함하는 것을 특징으로 하는 프레임 보간 방법.
- 제33항에 있어서, 상기 보간 프레임을 생성하는 단계는,상기 제 n 프레임의 매크로 블록에 매칭되는 상기 제 n-1 프레임의 매크로 블록이 명확하게 존재하는지 판단하는 단계;상기 판단 결과 명확하게 존재하는 경우, 상기 제 n 프레임의 매크로 블록와 상기 제 n-1 프레임의 매크로 블록의 중간값을 이용하여 상기 보간 프레임을 생성하는 단계; 및상기 판단 결과 명확하게 존재하지 않는 경우, 상기 추정된 움직임 벡터의 방향에 따라 상기 제 n 프레임의 매크로 블록 또는 상기 제 n-1 프레임의 매크로 블록을 이용하여 상기 보간 프레임의 생성하는 단계를 구비하는 것을 특징으로 하는 프레임 보간 방법.
- 제33항에 있어서, 상기 추정된 움직임 벡터의 방향에 따라 생성하는 단계는,상기 추정된 움직임 벡터의 방향을 판단하는 단계;상기 추정된 움직임 벡터의 방향이 좌(left)에서 우(right)를 향하는 경우, 상기 제 n 프레임의 매크로 블록을 이용하여 상기 보간 프레임을 생성하는 단계; 및상기 추정된 움직임 벡터의 방향이 우에서 좌를 향하는 경우, 상기 제 n-1 프레임의 매크로 블록을 이용하여 상기 보간 프레임을 생성하는 단계를 구비하는 것을 특징으로 하는 프레임 보간 방법.
- 제33항에 있어서, 상기 분리하는 단계는,상기 제 n 프레임의 매크로 블록의 휘도 신호와 상기 대응하는 제 n-1 프레임의 매크로 블록의 휘도 신호의 차이값을 연산하는 단계; 및상기 차이값과 상기 이동 객체를 구분하는 기준이 되는 임계값을 비교하여 상기 제 n 프레임의 각각의 매크로 블록 별로 상기 배경과 상기 이동 객체를 분리하는 단계를 구비하는 것을 특징으로 하는 프레임 보간 방법.
Priority Applications (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020070011259A KR100855976B1 (ko) | 2007-02-02 | 2007-02-02 | 배경과 이동 객체를 분리하여 움직임을 추정하는 프레임보간 장치 및 프레임 보간 방법 |
| DE102008006928A DE102008006928A1 (de) | 2007-02-02 | 2008-01-24 | Frameinterpolationsvorrichtung und -verfahren |
| US12/020,741 US8605790B2 (en) | 2007-02-02 | 2008-01-28 | Frame interpolation apparatus and method for motion estimation through separation into static object and moving object |
| CN2008100090002A CN101237578B (zh) | 2007-02-02 | 2008-02-02 | 经分离成静态和运动对象的移动估算的帧插入装置和方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020070011259A KR100855976B1 (ko) | 2007-02-02 | 2007-02-02 | 배경과 이동 객체를 분리하여 움직임을 추정하는 프레임보간 장치 및 프레임 보간 방법 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20080072454A true KR20080072454A (ko) | 2008-08-06 |
| KR100855976B1 KR100855976B1 (ko) | 2008-09-02 |
Family
ID=39676137
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020070011259A KR100855976B1 (ko) | 2007-02-02 | 2007-02-02 | 배경과 이동 객체를 분리하여 움직임을 추정하는 프레임보간 장치 및 프레임 보간 방법 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US8605790B2 (ko) |
| KR (1) | KR100855976B1 (ko) |
| CN (1) | CN101237578B (ko) |
| DE (1) | DE102008006928A1 (ko) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102107957B1 (ko) | 2020-01-06 | 2020-05-07 | 주식회사 투윈스컴 | 건물 외벽 침입감지를 위한 cctv 모니터링 시스템 및 방법 |
| KR102459606B1 (ko) * | 2021-10-15 | 2022-10-27 | 인하대학교 산학협력단 | 프레임 보간을 위한 움직임 기반 저정밀도 계산 방법 |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2011094871A1 (en) * | 2010-02-05 | 2011-08-11 | Sensio Technologies Inc. | Method and apparatus of frame interpolation |
| US9659353B2 (en) * | 2010-03-01 | 2017-05-23 | Stmicroelectronics, Inc. | Object speed weighted motion compensated interpolation |
| KR101138922B1 (ko) | 2010-07-07 | 2012-05-14 | 중앙대학교 산학협력단 | 복원된 비디오 프레임의 프레임율을 향상 시키기 위한 프레임율 향상 장치 및 방법 |
| CN102339625B (zh) * | 2011-09-20 | 2014-07-30 | 清华大学 | 视频对象级时域编辑方法及系统 |
| KR101908388B1 (ko) | 2012-07-19 | 2018-10-17 | 삼성전자 주식회사 | 폐색 영역 복원 장치, 폐색 영역을 복원하는 비디오 디코딩 장치 및 폐색 영역 복원 방법 |
Family Cites Families (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3193833B2 (ja) * | 1994-07-25 | 2001-07-30 | ケイディーディーアイ株式会社 | 動ベクトル処理装置 |
| KR100501902B1 (ko) | 1996-09-25 | 2005-10-10 | 주식회사 팬택앤큐리텔 | 영상정보부호화/복호화장치및방법 |
| US6335985B1 (en) * | 1998-01-07 | 2002-01-01 | Kabushiki Kaisha Toshiba | Object extraction apparatus |
| KR20010024435A (ko) * | 1998-08-05 | 2001-03-26 | 요트.게.아. 롤페즈 | 정지 영상 생성 방법 및 장치 |
| KR100327952B1 (ko) | 1998-12-15 | 2002-05-09 | 안재기 | 영역분할기반동영상압축부호화방법및장치 |
| KR100635009B1 (ko) * | 1999-10-15 | 2006-10-16 | 삼성전자주식회사 | 화면 전체의 움직임을 고려한 움직임예측방법 및 그 장치 |
| KR100322618B1 (ko) * | 2000-02-14 | 2002-03-18 | 김효근 | 디지털 동화 생성 방법 및 장치 |
| KR100840133B1 (ko) * | 2000-05-18 | 2008-06-23 | 코닌클리케 필립스 일렉트로닉스 엔.브이. | Ｍｃ 업 컨버젼에서 헤일로를 감소시키는 움직임 추정기 |
| JP2002032760A (ja) | 2000-07-17 | 2002-01-31 | Mitsubishi Electric Corp | 動物体抽出方法および装置 |
| KR100727910B1 (ko) | 2000-10-11 | 2007-06-13 | 삼성전자주식회사 | 하이브리드형 고속 움직임 추정 방법 및 그 장치 |
| KR100699821B1 (ko) * | 2002-07-22 | 2007-03-27 | 삼성전자주식회사 | 가변 탐색창을 이용한 고속 움직임 추정방법 |
| KR20040046891A (ko) | 2002-11-28 | 2004-06-05 | 엘지전자 주식회사 | 객체기반 부호화 방법 및 객체기반 부호화기 |
| US7424056B2 (en) * | 2003-07-04 | 2008-09-09 | Sigmatel, Inc. | Method for motion estimation and bandwidth reduction in memory and device for performing the same |
| CN1221137C (zh) * | 2003-08-29 | 2005-09-28 | 北京中星微电子有限公司 | 一种图像合成处理方法 |
| US7480334B2 (en) * | 2003-12-23 | 2009-01-20 | Genesis Microchip Inc. | Temporal motion vector filtering |
| US8693540B2 (en) * | 2005-03-10 | 2014-04-08 | Qualcomm Incorporated | Method and apparatus of temporal error concealment for P-frame |
| KR100870115B1 (ko) * | 2005-12-21 | 2008-12-10 | 주식회사 메디슨 | 블록정합 및 움직임 보상 보간을 이용한 영상 형성 방법 |
-
2007
- 2007-02-02 KR KR1020070011259A patent/KR100855976B1/ko active IP Right Grant
-
2008
- 2008-01-24 DE DE102008006928A patent/DE102008006928A1/de not_active Withdrawn
- 2008-01-28 US US12/020,741 patent/US8605790B2/en active Active
- 2008-02-02 CN CN2008100090002A patent/CN101237578B/zh active Active
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102107957B1 (ko) | 2020-01-06 | 2020-05-07 | 주식회사 투윈스컴 | 건물 외벽 침입감지를 위한 cctv 모니터링 시스템 및 방법 |
| KR102459606B1 (ko) * | 2021-10-15 | 2022-10-27 | 인하대학교 산학협력단 | 프레임 보간을 위한 움직임 기반 저정밀도 계산 방법 |
Also Published As
| Publication number | Publication date |
|---|---|
| US8605790B2 (en) | 2013-12-10 |
| CN101237578B (zh) | 2012-05-23 |
| KR100855976B1 (ko) | 2008-09-02 |
| US20080187050A1 (en) | 2008-08-07 |
| DE102008006928A1 (de) | 2008-09-11 |
| CN101237578A (zh) | 2008-08-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4997281B2 (ja) | イメージ中の推定動きベクトルの決定方法、コンピュータプログラムおよびディスプレイ装置 | |
| KR100412501B1 (ko) | 움직임 보상을 위한 화소값 선택 장치 및 방법 | |
| KR100855976B1 (ko) | 배경과 이동 객체를 분리하여 움직임을 추정하는 프레임보간 장치 및 프레임 보간 방법 | |
| EP1339234A2 (en) | Apparatus for and method of converting scanning format | |
| KR100579493B1 (ko) | 움직임 벡터 생성 장치 및 방법 | |
| US8503533B1 (en) | Motion estimation engine for performing multiple types of operations | |
| KR100657261B1 (ko) | 적응적 움직임 보상 보간 방법 및 장치 | |
| KR100692600B1 (ko) | 움직임 추정 장치 및 방법 | |
| JP4504230B2 (ja) | 動画像処理装置、動画像処理方法、及び動画像処理プログラム | |
| JP2005012797A (ja) | 動き補償のための画素値選択装置および方法 | |
| Kang et al. | Multiframe-based bilateral motion estimation with emphasis on stationary caption processing for frame rate up-conversion | |
| EP1980113A1 (en) | Method and apparatus for block-based motion estimation | |
| KR20130023644A (ko) | 영상 프레임의 보간 방법 및 장치 | |
| EP1897376A2 (en) | Motion estimation | |
| US7881500B2 (en) | Motion estimation with video mode detection | |
| US20080144716A1 (en) | Method For Motion Vector Determination | |
| KR101740124B1 (ko) | 프레임 율 변환 장치 및 그 방법 | |
| EP1606952A1 (en) | Method for motion vector determination | |
| US10448043B2 (en) | Motion estimation method and motion estimator for estimating motion vector of block of current frame | |
| US20090190038A1 (en) | Method, video encoder, and integrated circuit for detecting non-rigid body motion | |
| EP2237559B1 (en) | Background motion estimate based halo reduction | |
| Cetin et al. | An adaptive true motion estimation algorithm for frame rate conversion of high definition video | |
| KR100471186B1 (ko) | 영역 기반으로 영상 데이터를 보간하기 위한 디인터레이싱장치 및 방법 | |
| KR101740125B1 (ko) | 프레임 율 변환 영상의 홀 보간 장치 및 그 방법 | |
| Hwang et al. | Novel frame rate up-conversion algorithm based on prediction and recursive search |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant | ||
| FPAY | Annual fee payment |
Payment date: 20120802 Year of fee payment: 5 |
|
| FPAY | Annual fee payment |
Payment date: 20130731 Year of fee payment: 6 |
|
| FPAY | Annual fee payment |
Payment date: 20140731 Year of fee payment: 7 |
|
| FPAY | Annual fee payment |
Payment date: 20160801 Year of fee payment: 9 |
|
| FPAY | Annual fee payment |
Payment date: 20180731 Year of fee payment: 11 |
|
| FPAY | Annual fee payment |
Payment date: 20190731 Year of fee payment: 12 |