KR20090017296A - 중간 프레임의 영상을 생성하기 위한 영상처리방법 및 이를적용한 영상처리장치 - Google Patents

중간 프레임의 영상을 생성하기 위한 영상처리방법 및 이를적용한 영상처리장치 Download PDF

Info

Publication number
KR20090017296A
KR20090017296A KR1020070081931A KR20070081931A KR20090017296A KR 20090017296 A KR20090017296 A KR 20090017296A KR 1020070081931 A KR1020070081931 A KR 1020070081931A KR 20070081931 A KR20070081931 A KR 20070081931A KR 20090017296 A KR20090017296 A KR 20090017296A
Authority
KR
South Korea
Prior art keywords
image
frame
area
region
motion
Prior art date
Application number
KR1020070081931A
Other languages
English (en)
Inventor
권오재
민종술
이호섭
성화석
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020070081931A priority Critical patent/KR20090017296A/ko
Priority to US12/125,542 priority patent/US20090046208A1/en
Publication of KR20090017296A publication Critical patent/KR20090017296A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
    • H04N7/014—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes involving the use of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/587—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal sub-sampling or interpolation, e.g. decimation or subsequent interpolation of pictures in a video sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0127—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level by changing the field or frame frequency of the incoming video signal, e.g. frame rate converter
    • H04N7/0132—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level by changing the field or frame frequency of the incoming video signal, e.g. frame rate converter the field or frame frequency of the incoming video signal being multiplied by a positive integer, e.g. for flicker reduction

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Television Systems (AREA)

Abstract

중간 프레임의 영상을 생성하기 위한 영상처리방법 및 이를 적용한 영상처리장치에 대한 내용이 개시된다. 본 영상처리방법에 의하면 현재 프레임과 이전 프레임을 이용하여 중간 프레임의 배경 영상 및 제1 움직임 영상을 생성하고, 현재 프레임 및 이전 프레임 중 어느 하나를 이용하여 중간 프레임의 제2 움직임 영상을 생성한다. 이에 의해, 움직임 추정 오류가 발생하기 쉬운 경계영역에 대한 보간 오류를 최소화할 수 있다.
프레임, 바이리니어 인터폴레이션, 움직임 벡터, 가중평균

Description

중간 프레임의 영상을 생성하기 위한 영상처리방법 및 이를 적용한 영상처리장치{Method of image processing for generating an intermediate frame image and apparatus thereof}
본 발명은 영상처리방법 및 이를 적용한 영상처리장치에 관한 것으로, 더욱 상세하게는 중간 프레임의 영상을 생성하기 위한 영상처리방법 및 이를 적용한 영상처리장치에 관한 것이다.
본 발명은 인터폴레이션을 통한 프레임 업 컨버젼을 위한 영상처리방법 및 그 장치를 제공한다.
최근 들어, 기술의 발달로 인해 다양한 영상표시장치가 상용화되고 있다. 이에 따라, 영상매체들로부터 출력되는 고화질의 영상신호를 사용자에게 제공하는 방안이 요구된다.
도 1은 종래의 영상처리방법에 의해 출력되는 영상에 대한 설명에 제공되는 도면이다. 백워드 움직임 추정방법에 의해 움직임 벡터를 추정할 때, 도 1에서 도시된 바와 같이 영상이 프레임의 좌측에서 우측으로 진행하는 경우, 즉 영상이 프레임의 외부에서 프레임의 내부로 들어오는 경우, 영상이 깨지는 현상(10)이 발생 하게 된다.
이러한 깨지는 현상(10)을 방지하기 위해 프레임의 경계영역에서 보다 명확하고 선명한 영상을 표시하기 위한 기술의 필요성이 증대되고 있다.
특히, 움직이는 영상에 대한 추정을 통해 보간된 영상을 제공하여 프레임의 경계영역에서의 명확한 영상을 전달하기 위한 기술의 필요성이 증대되고 있고, 이러한 움직임을 추정하는 방법에는 움직임 정도의 정확도와 효용성, 실시간 처리가능성, 및 하드웨어 구현 등을 고려하여 블럭 매칭 방식(Block Maching Algorithm)이 일반적으로 이용되고 있다.
본 발명은 상기와 같은 문제점을 해결하기 위하여 안출된 것으로서, 본 발명의 목적은, 움직임 추정 오류가 발생하기 쉬운 프레임의 경계영역에 대한 인터폴레이션 오류를 최소화하여, 경계영역에서 명확한 영상을 제공하는 영상처리방법을 제공함에 있다.
상기 목적을 달성하기 위한 본 발명에 따른, 현재 프레임과 이전 프레임에 대한 중간 프레임의 영상을 생성하는 영상처리방법은, 상기 현재 프레임과 상기 이전 프레임을 이용하여 상기 중간 프레임의 배경 영상 및 제1 움직임 영상을 생성하는 제1 생성단계; 및 상기 현재 프레임 및 상기 이전 프레임 중 어느 하나를 이용하여 상기 중간 프레임의 제2 움직임 영상을 생성하는 제2 생성단계;를 포함한다.
본 영상처리방법은, 상기 현재 프레임, 상기 이전 프레임 및 상기 중간 프레임의 영역을 각각 제1 영역과 제2 영역으로 구별하는 단계;를 더 포함하고, 상기 현재 프레임과 상기 이전 프레임의 구별된 영역을 이용하여 상기 중간 프레임의 영상을 생성할 수 있다.
또한, 상기 제1 생성단계는 상기 중간 프레임의 제1 영역에 대한 배경 영상 및 움직임 영상과 상기 중간 프레임의 제2 영역에 대한 배경 영상 및 제1 움직임 영상을 생성하고, 상기 제2 생성단계는 상기 중간 프레임의 제2 영역에 대한 제2 움직임 영상을 생성할 수 있다.
여기서, 상기 제1 영역은, 상기 프레임의 내부영역이고, 상기 제2 영역은 상기 내부영역의 둘레에 위치한 프레임의 경계영역일 수 있다.
또한, 상기 제2 움직임 영상은, 상기 현재 프레임과 상기 이전 프레임 중 어느 하나의 제2 영역에 존재하는 움직임 영상과 동일한 영상이 다른 하나의 제1 영역 및 제2 영역에 존재하지 않을 경우에 생성되는 움직임 영상인 것이 바람직하다.
그리고, 상기 제1 생성단계는, 상기 제1 영역 중 움직임 영역의 움직임 벡터를 기초로 상기 중간 프레임의 제1 영역에 대한 움직임 영상과 상기 중간 프레임의 제2 영역에 대한 제1 움직임 영상을 생성하고, 상기 제2 생성단계는, 상기 제2 영역 중 움직임 영역에 대한 주변 영역의 움직임 벡터를 기초로 상기 중간 프레임의 제2 영역에 대한 제2 움직임 영상을 생성할 수 있다.
또한, 상기 주변 영역은, 상기 제1 영역 중 상기 움직임 영역에 인접한 영역일 수 있다.
여기서, 상기 제2 생성단계는, 상기 주변 영역의 움직임 벡터의 방향이 제1 영역에서 제2 영역으로 향하면 상기 현재 프레임을 이용하여 상기 제2 움직임 영상을 생성하고, 상기 주변 영역의 움직임 벡터의 방향이 제2 영역에서 제1 영역으로 향하면 상기 이전 프레임을 이용하여 상기 제2 움직임 영상을 생성할 수 있다.
그리고, 상기 주변 영역의 움직임 벡터의 방향이 제1 영역에서 제2 영역으로 향하면 상기 현재 프레임을 이용하여 상기 이전 프레임 외부의 영역에서의 영상의 가상위치를 결정하고, 상기 주변 영역의 움직임 벡터의 방향이 제2 영역에서 제1 영역으로 향하면 상기 이전 프레임을 이용하여 상기 현재 프레임 외부의 영역에서 의 가상위치를 결정하는 단계;를 더 포함하는 것이 바람직하다.
또한, 상기 제2 생성단계는, 상기 주변 영역의 움직임 벡터의 방향이 제1 영역에서 제2 영역으로 향하면 상기 이전 프레임을 이용하여 상기 제2 움직임 영상을 생성하고, 상기 주변 영역의 움직임 벡터의 방향이 제2 영역에서 제1 영역으로 향하면 상기 현재 프레임을 이용하여 상기 제2 움직임 영상을 생성할 수 있다.
그리고, 상기 주변 영역의 움직임 벡터의 방향이 제1 영역에서 제2 영역으로 향하면 상기 이전 프레임을 이용하여 상기 현재 프레임 외부의 영역에서의 영상의 가상위치를 결정하고, 상기 주변 영역의 움직임 벡터의 방향이 제2 영역에서 제1 영역으로 향하면 상기 현재 프레임을 이용하여 상기 이전 프레임 외부의 영역에서의 가상위치를 결정하는 단계;를 더 포함할 수 있다.
그리고, 상기 결정된 가상위치가 존재하는 프레임과 상기 제2 영역에 제2 움직임 영상이 존재하는 프레임을 이용한 바이리니어 인터폴레이션(bilinear interpolation)션 결과와 상기 생성된 중간 프레임의 제2 움직임 영상을 가중평균하여 상기 생성된 제2 움직임 영상을 보완하는 단계;를 더 포함할 수 있다.
여기서, 상기 제1 생성단계는, 바이리니어 인터폴레이션을 이용하여 상기 중간 프레임의 제1 영역에 대한 배경 영상과 움직임 영상 및 상기 중간 프레임의 제2 영역에 대한 배경 영상과 제1 움직임 영상을 생성할 수 있다.
한편, 본 발명에 따른 현재 프레임과 이전 프레임에 대한 중간 프레임의 영상을 생성하는 영상처리장치는, 상기 현재 프레임, 상기 이전 프레임 및 상기 중간 프레임의 영역을 각각 제1 영역과 제2 영역으로 구별하는 영역판별부; 상기 현재 프레임과 상기 이전 프레임을 이용하여 상기 중간 프레임의 배경 영상 및 제1 움직임 영상을 생성하고, 상기 현재 프레임 및 상기 이전 프레임 중 어느 하나를 이용하여 상기 중간 프레임의 제2 움직임 영상을 생성하는 영상생성부;를 포함할 수 있다.
여기서, 상기 영상생성부는, 상기 영역판별부에 의해 구별된 상기 현재 프레임과 이전 프레임의 영역을 이용하여 상기 중간 프레임의 영상을 생성할 수 있다.
그리고, 상기 영상생성부는, 상기 현재 프레임과 상기 이전 프레임을 이용하여 상기 중간 프레임의 제1 영역에 대한 배경 영상 및 움직임 영상과 상기 중간 프레임의 제2 영역에 대한 배경 영상 및 제1 움직임 영상을 생성하고, 상기 현재 프레임 및 상기 이전 프레임 중 어느 하나를 이용하여 상기 중간 프레임의 제2 영역에 대한 제2 움직임 영상을 생성할 수 있다.
여기서, 상기 제1 영역은, 상기 프레임의 내부영역이고, 상기 제2 영역은 상기 내부영역의 둘레에 위치한 프레임의 경계영역인 것이 바람직하다.
또한, 상기 영상생성부는, 상기 현재 프레임과 상기 이전 프레임 중 어느 하나의 제2 영역에 존재하는 움직임 영상과 동일한 영상이 다른 하나의 제1 영역 및 제2 영역에 존재하지 않을 경우에 상기 제2 움직임 영상을 생성할 수 있다.
그리고, 상기 영상생성부는, 상기 제1 영역 중 움직임 영역의 움직임 벡터를 기초로 상기 중간 프레임의 제1 영역에 대한 움직임 영상과 상기 중간 프레임의 제2 영역에 대한 제1 움직임 영상을 생성하고, 상기 제2 영역 중 움직임 영역에 대한 주변 영역의 움직임 벡터를 기초로 상기 중간 프레임의 제2 영역에 대한 제2 움직 임 영상을 생성할 수 있다.
또한, 상기 주변 영역은, 상기 제1 영역 중 상기 움직임 영역에 인접한 영역일 수 있다.
그리고, 상기 영상생성부는, 상기 주변 영역의 움직임 벡터의 방향이 제1 영역에서 제2 영역으로 향하면 상기 현재 프레임을 이용하여 상기 제2 움직임 영상을 생성하고, 상기 주변 영역의 움직임 벡터의 방향이 제2 영역에서 제1 영역으로 향하면 상기 이전 프레임을 이용하여 상기 제2 움직임 영상을 생성할 수 있다.
그리고, 상기 영상생성부는, 상기 주변 영역의 움직임 벡터의 방향이 제1 영역에서 제2 영역으로 향하면 상기 현재 프레임을 이용하여 상기 이전 프레임 외부의 영역에서의 영상의 가상위치를 결정하고, 상기 주변 영역의 움직임 벡터의 방향이 제2 영역에서 제1 영역으로 향하면 상기 이전 프레임을 이용하여 상기 현재 프레임 외부의 영역에서의 가상위치를 결정하여 상기 가상위치가 존재하는 프레임과 상기 제2 영역에 제2 움직임 영상이 존재하는 프레임을 이용해 바이리니어 인터폴레이션(bilinear interpolation)을 하는 것이 바람직하다.
또한, 상기 영상생성부는, 상기 주변 영역의 움직임 벡터의 방향이 제1 영역에서 제2 영역으로 향하면 상기 이전 프레임을 이용하여 상기 제2 움직임 영상을 생성하고, 상기 주변 영역의 움직임 벡터의 방향이 제2 영역에서 제1 영역으로 향하면 상기 현재 프레임을 이용하여 상기 제2 움직임 영상을 생성할 수 있다.
여기서, 상기 영상생성부는, 상기 주변 영역의 움직임 벡터의 방향이 제1 영역에서 제2 영역으로 향하면 상기 이전 프레임을 이용하여 상기 현재 프레임 외부 의 영역에서의 영상의 가상위치를 결정하고, 상기 주변 영역의 움직임 벡터의 방향이 제2 영역에서 제1 영역으로 향하면 상기 현재 프레임을 이용하여 상기 이전 프레임 외부의 영역에서의 가상위치를 결정하여 상기 가상위치가 존재하는 프레임과 상기 제2 영역에 제2 움직임 영상이 존재하는 프레임을 이용해 바이리니어 인터폴레이션(bilinear interpolation)을 하는 것이 바람직하다.
그리고, 상기 바이리니어 인터폴레이션을 한 영상과 상기 생성된 중간 프레임의 제2 움직임 영상을 가중평균하여 상기 생성된 제2 움직임 영상을 보완하는 영상보완부;를 더 포함하는 것이 바람직하다.
또한, 상기 영상생성부는, 바이리니어 인터폴레이션을 이용하여 상기 중간 프레임의 제1 영역에 대한 배경 영상과 움직임 영상 및 상기 중간 프레임의 제2 영역에 대한 배경 영상과 제1 움직임 영상을 생성할 수 있다.
이상 설명한 바와 같이, 본 발명에 따르면, 움직임 추정 오류가 발생하기 쉬운 경계영역에 대한 보간 오류를 최소화하여, 향상된 보간 영상을 제공하고, 경계영역에서의 명확한 영상에 대한 사용자의 시청 욕구를 충족시킬 수 있다.
이하에서는 도면을 참조하여 본 발명을 보다 상세하게 설명한다.
도 2는 본 발명의 일 실시예에 따른 영상처리장치(100)에 대한 블록도이다. 본 실시예에 따른 영상처리장치(100)는 영역판별부(110), 영상생성부(120), 영상통합부(130) 및 영상보완부(140)를 구비한다.
영역판별부(110)는 현재 프레임과 이전 프레임을 입력받아 현재 프레임과 이전 프레임의 배경 영상과 움직임 영상이 존재하는 영역을 판별한다. 구체적으로, 영역판별부(110)는 현재 프레임, 이전 프레임 및 중간 프레임을 내부영역과 경계영역으로 구별하고, 구별된 영역 정보를 이용하여 현재 프레임과 이전 프레임에서 동일한 영상이 존재하는지 검색한다.
이하에서는, 프레임의 영역을 구별하고, 현재 프레임과 이전 프레임에서 동일한 영상이 존재하는지 여부를 검색하는 과정에 대한 설명을 돕기 위해 도 3을 참조하여 설명하기로 한다.
도 3a 및 도 3b는 영상처리장치의 영역 판별 과정의 설명에 제공되는 도면이다.
도 3a는 현재 프레임, 이전 프레임 및 중간 프레임을 내부영역과 경계영역으로 구별하는 설명에 제공되는 도면이다. 도 3a를 참조하면, 프레임(200)은 내부영역(250)과 경계영역으로 구별되며, 경계영역은 다시 상측경계영역(210), 하측경계영역(220), 좌측경계영역(230) 및 우측경계영역(240)으로 구별된다.
프레임(200) 내에서 상측경계영역(210)은 0번째 행을, 하층경계영역(220)은 N-1번째 행을, 좌측경계영역(230)은 0번째 열을, 그리고 우측경계영역(240)은 M-1번째 열을 각각 차지한다.
이와 같은 프레임의 내부영역(250)과 상하좌우의 경계영역(210, 220, 230, 240)은 여러 개의 블록(260)들로 나누어진다. 즉, 가로방향으로 M개의 블록으로 나뉘고, 세로방향으로 N개의 블록으로 나뉘어 프레임은 총 M*N개의 블록으로 나뉘어 진다.
영역판별부(110)는 현재 프레임, 이전 프레임 및 중간 프레임을 이와 같이 내부영역과 경계영역으로 구별하여 각각 M*N개의 블록으로 나누고, 특정블록의 주변블록영역에서 동일한 영상이 존재하는지 검색한다.
도 3b는 특정 블록이 주변 영역에서 움직임 영상을 검색하는 과정의 설명에 제공되는 도면이다.
도 3b를 참조하면, 두 개의 중심블럭(270, 280)의 주변에서 주변블럭(275, 285)이 중심블럭(270, 280)을 둘러싸고 있다. 중심블럭은 현재 프레임 또는 이전 프레임에서 움직임 영상이 존재하는 블럭이다.
영역판별부(110)는 동일한 영상이 존재하는지 여부를 검색하기 위해 프레임(200) 내의 영역에 대한 검색을 실시한다. 예를 들어, 현재 프레임에서 움직임 영상이 내부영역의 블럭(270)에 존재하는 경우, 영역판별부(110)는 내부영역의 블럭(270)을 중심블럭으로 하여 이전 프레임에서 중심블럭에 대한 주변블럭(275)을 검색하여 동일한 영상을 검색한다.
경계영역에 존재하는 블럭(280)의 경우도 주변블럭(285)을 검색하여 동일한 영상을 검색한다. 그러나, 경계영역에 존재하는 중심블럭(280)은 외부영역에 의한 검색불능으로 인해 주변블럭(285)이 제한된다.
다시 도 2에 대해 설명하면, 영역판별부(110)는 현재 프레임, 이전 프레임 및 중간 프레임을 내부영역과 경계영역으로 구별하고, 구별된 영역 정보를 이용하여 현재 프레임과 이전 프레임에서 동일한 영상이 존재하는지 검색한 후 영역 정보 를 영상생성부(120)로 출력한다.
영상생성부(120)는 영역판별부(110)에서 출력된 영역 정보를 이용하여 중간 프레임의 영상을 생성한다. 구체적으로 영상생성부(120)는 현재 프레임과 이전 프레임을 입력받아 중간 프레임의 배경 영상과 움직임 영상을 생성한다.
배경 영상은 현재 프레임과 이전 프레임에 있어서, 동일한 위치에 위치한 영상을 의미하고, 움직임 영상은 현재 프레임과 이전 프레임에 있어서, 동일하지 않은 위치에 위치한 영상을 의미한다.
움직임 영상은 다시 두 가지로 분류될 수 있다. 한 가지는 현재 프레임과 이전 프레임에서 특정 영상이 모두 내부영역 또는 경계영역에 존재하는 경우이고, 다른 한 가지는 현재 프레임과 이전 프레임 중 어느 한 프레임의 경계영역에 영상이 존재하고 나머지 한 프레임의 내부영역 및 경계영역에는 동일한 영상이 존재하지 않는 경우이다.
즉, 이 경우는, 도 3에서 설명한 바와 같이, 현재 프레임 및 이전 프레임 중 어느 하나의 프레임에서의 영상이 경계영역의 중심블럭(280)에 존재하고, 다른 하나의 프레임에서의 영상이 프레임의 외부에 존재하여, 주변블럭(285)을 이용한 검색이 불가능한 경우를 의미한다.
배경 영상을 생성하는 경우와 현재 프레임과 이전 프레임에서 영상이 모두 내부영역 또는 경계영역에 존재하는 경우에 있어서, 영상생성부(120)는 현재 프레임에서의 영상의 위치를 나타내는 벡터, 이전 프레임에서의 영상의 위치를 나타내는 벡터 및 두 영상의 위치 간의 변화를 나타내는 움직임 벡터를 이용하여 바이리 니어 인터폴레이션 방법으로 중간 프레임의 영상을 생성한다.
바이리니어 인터폴레이션 방법은 다음 식을 통해 이루어진다.
Figure 112007058907415-PAT00001
여기서,
Figure 112007058907415-PAT00002
는 중간 프레임의 영상에 대한 위치벡터이고,
Figure 112007058907415-PAT00003
는 현재 프레임에서의 영상의 위치와 이전 프레임에서의 영상의 위치에 대한 변화를 나타내는 움직임 벡터이다. 또한,
Figure 112007058907415-PAT00004
는 중간 프레임을 나타내는 함수,
Figure 112007058907415-PAT00005
는 현재 프레임을 나타내는 함수, 그리고,
Figure 112007058907415-PAT00006
는 이전 프레임을 나타내는 함수이다.
결국, 영상생성부(120)는 현재 프레임에서의 영상의 위치에 움직임 벡터의 절반을 뺀 값과 이전 프레임에서의 영상의 위치에 움직임 벡터의 절반을 더한 값을 평균화하는 바이리니어 인터폴레이션을 통해 중간 프레임의 영상을 생성한다.
반면에, 현재 프레임과 이전 프레임 중 어느 한 프레임의 경계영역에 영상이 존재하고 나머지 한 프레임의 내부영역 및 경계영역에는 동일한 영상이 존재하지 않는다면, 영상이 존재하는 위치를 확정할 수 없기 때문에, 바이리니어 인터폴레이션 방법을 통해 중간 프레임 영상을 생성해낼 수 없다.
따라서, 영상생성부(120)는 현재 프레임과 이전 프레임 중 영상이 존재하는 프레임의 영상만을 이용하여 중간 프레임 영상을 생성한다.
현재 프레임에서 영상이 존재하고 이전 프레임에는 이 영상과 동일한 영상이 존재하지 않게 되면, 영상생성부(120)는 현재 프레임에서의 영상의 위치와 가장 인접한 내부영역에 존재하는 영상의 움직임 벡터를 이용하여 포워드 인터폴레이션(Forward Interpolation) 방법으로 중간 프레임의 영상을 생성한다.
즉, 현재 프레임에서의 영상의 위치를 알 수 없기 때문에, 이전 프레임의 경계영역에 존재하는 영상과 가장인접한 내부영역에 존재하는 현재프레임의 영상의 움직임 벡터를 이용한 추정을 통해 움직임 벡터를 생성하는 것이다.
포워드 인터폴레이션 방법은 다음 식을 통해 이루어진다.
Figure 112007058907415-PAT00007
여기서,
Figure 112007058907415-PAT00008
는 중간 프레임의 영상에 대한 위치벡터이고,
Figure 112007058907415-PAT00009
는 현재 프레임에 존재하는 영상에 가장 인접한 내부영역에 존재하는 영상의 움직임 벡터이다.
이와 같이, 현재 프레임에는 영상이 존재하고 이전 프레임에는 이 영상과 동일한 영상이 존재하지 않게 되면, 영상생성부(120)는 현재 프레임의 영상을 이용한 포워드 인터폴레이션을 통해 중간 프레임의 영상을 생성한다.
반대로, 영상생성부(120)는 현재 프레임에는 영상이 존재하고 이전 프레임에는 이 영상과 동일한 영상이 존재하지 않게 되면, 현재 프레임의 영상을 이용한 백워드 인터폴레이션(Backward Interpolation)을 통해 중간 프레임의 영상을 생성한다.
백워드 인터폴레이션 방법은 다음 식을 통해 이루어진다.
Figure 112007058907415-PAT00010
여기서,
Figure 112007058907415-PAT00011
는 중간 프레임의 영상에 대한 위치벡터이고,
Figure 112007058907415-PAT00012
는 현재 프레임에 존재하는 영상에 가장 인접한 이전프레임의 내부영역에 존재하는 영상의 움직임 벡터이다.
이와 같이, 현재 프레임에는 영상이 존재하고 이전 프레임에는 이 영상과 동일한 영상이 존재하지 않게 되면, 영상생성부(120)는 이전 프레임의 영상을 이용한 백워드 인터폴레이션을 통해 중간 프레임의 영상을 생성한다.
이하에서는, 바이리니어 인터폴레이션, 백워드 인터폴레이션 및 포워드 인터폴레이션에 대한 설명을 돕기 위해 도 4a 내지 도 4c를 참조하여 설명하기로 한다.
도 4a 내지 도 4c는 인터폴레이션 과정에 대한 설명에 제공되는 도면이다.
도 4a는 이전 프레임(310), 중간 프레임(330) 및 현재 프레임(350)을 측면에서 도시한 것으로서, 바이리니어 인터폴레이션에 대한 설명에 제공되는 도면이다.
중간 프레임의 배경 영상을 생성하는 경우와 현재 프레임과 이전 프레임에서 특정 영상이 모두 내부영역 또는 경계영역에 존재하는 중간 프레임의 움직임 영상을 생성하는 경우에 있어서, 영상생성부(120)는 이전 프레임(310)과 현재 프레임(350)을 이용한 바이리니어 인터폴레이션을 통해 중간 프레임(330)을 생성한다. 구체적으로 영상생성부(120)는 중간 프레임의 위치벡터
Figure 112007058907415-PAT00013
와 이전 프레임(310)에서의 영상의 위치(315)와 현재 프레임(350)에서의 영상의 위치(355)의 차를 이용한 움직임 벡터
Figure 112007058907415-PAT00014
를 이용하여 바이리니어 인터폴레이션을 하여 중간 프레임(335)에서의 영상의 위치(335)를 찾아 영상을 생성한다.
도 4b는 포워드 인터폴레이션에 대한 설명에 제공되는 도면이다. 도 4b를 참조하면, 이전 프레임(310)의 경계영역에 영상이 존재하고 현재 프레임(350)의 내부영역 및 경계영역에는 동일한 영상이 존재하지 않는다면, 영상생성부(120)는 이전 프레임(310)을 이용해 현재 프레임(350)에서의 영상의 위치를 추정하는 포워드 인터폴레이션을 통해 중간 프레임(330)을 생성한다. 구체적으로 영상생성부(120)는 중간 프레임의 위치벡터
Figure 112007058907415-PAT00015
와 현재 프레임(350)의 경계영역에 있는 영상과 가장 인접한 내부영역에 존재하는 영상의 움직임 벡터
Figure 112007058907415-PAT00016
를 이용하여 포워드 인터폴레이션을 하여 중간 프레임(335)에서의 영상의 위치(335)를 찾아 영상을 생성한다.
도 4c는 백워드 인터폴레이션에 대한 설명에 제공되는 도면이다. 도 4c를 참조하면, 현재 프레임(350)의 경계영역에 영상이 존재하고 이전 프레임(310)의 내부영역 및 경계영역에는 동일한 영상이 존재하지 않는다면, 영상생성부(120)는 현재전 프레임(350)을 이용한 백워드 인터폴레이션을 통해 중간 프레임(330)을 생성한다. 구체적으로 영상생성부(120)는 중간 프레임의 위치벡터
Figure 112007058907415-PAT00017
와 이전 프레임(310)의 경계영역에 있는 영상과 가장 인접한 내부영역에 존재하는 영상의 움직 임 벡터
Figure 112007058907415-PAT00018
를 이용하여 백워드 인터폴레이션을 하여 중간 프레임(335)에서의 영상의 위치(335)를 찾아 영상을 생성한다.
다시 도 2에 대해 설명하면, 영상생성부(120)는 생성된 영상들을 영상통합부(130)와 영상보완부(140)로 전송한다.
구체적으로 영상생성부(130)는 중간 프레임에서 배경 영상을 생성하는 경우와 현재 프레임과 이전 프레임에서 특정 영상이 모두 내부영역 또는 경계영역에 존재하는 움직임 영상을 생성하여 영상통합부(130)로 출력하고, 현재 프레임에는 경계영역에 영상이 존재하고 이전 프레임에는 경계영역 또는 내부영역에 이 영상과 동일한 영상이 존재하지 않거나, 이전 프레임에는 경계영역에 영상이 존재하고 현재 프레임에는 경계영역 또는 내부영역에 이 영상과 동일한 영상이 존재하지 않는 경우의 영상을 영상보완부(140)로 출력한다.
또한, 영상보완부(140)는 영상생성부(120)에서 사용한 중간 프레임의 영상에 대한 위치벡터
Figure 112007058907415-PAT00019
와 현재 프레임에서의 영상의 위치와 이전 프레임에서의 영상의 위치에 대한 변화를 나타내는 움직임 벡터
Figure 112007058907415-PAT00020
에 대한 정보를 이용한다.
영상보완부(140)는 이와 같이 영상생성부(120)로부터 생성된 영상에 대한 정보를 이용하여 중간 프레임에서 생성되는 영상을 보완한다.
영상보완부(140)는 현재 프레임에는 경계영역에 영상이 존재하고 이전 프레임에는 경계영역 또는 내부영역에 이 영상과 동일한 영상이 존재하지 않거나, 이전 프레임에는 경계영역에 영상이 존재하고 현재 프레임에는 경계영역 또는 내부영역 에 이 영상과 동일한 영상이 존재하지 않는 경우에 동작한다.
예를 들어, 현재 프레임에는 경계영역에 영상이 존재하고 이전 프레임에는 경계영역 또는 내부영역에 이 영상과 동일한 영상이 존재하지 않는 경우, 영상생성부(120)는 중간 프레임의 영상의 위치벡터와 현재 프레임의 경계영역에 가장 인접한 내부영역의 움직임 벡터를 이용하여 이전 프레임의 외부영역에서의 영상의 위치를 가상으로 생성하고, 이와 같이 가상으로 생성된 이전 프레임과 현재 프레임을 바이리니어 인터폴레이션한다.
이 때, 영상보완부(140)는 영상생성부(120)에서 수행된 바이리니어 인터폴레이션을 이용한 영상과 백워드 인터폴레이션을 이용한 영상을 가중평균한다.
이전 프레임에는 경계영역에 영상이 존재하고 현재 프레임에는 경계영역 또는 내부영역에 이 영상과 동일한 영상이 존재하지 않는 경우에도 마찬가지로, 영상보완부(140)는 영상생성부(120)에서 수행된 바이리니어 인터폴레이션을 이용한 영상과 포워드 인터폴레이션을 이용한 영상을 가중평균한다.
이러한 영상보완부(140)는 가중치산출부(141)와 가중치할당부(145)로 구성된다.
가중치 산출부(141)는 바이리니어 인터폴레이션을 통해 생성된 영상과 백워드 또는 포워드 인터폴레이션을 통해 생성된 영상에 대해 적용할 가중치를 산출한다.
가중치 산출부(141)는 가중치를 산출해낸 후, 산출 결과를 가중치 할당부(145)로 출력한다.
가중치 할당부(145)는 가중치 산출부(141)로부터 입력받은 산출 결과를 이용하여 바이리니어 인터폴레이션을 통해 생성된 영상과 백워드 또는 포워드 인터폴레이션을 통해 생성된 영상에 대해 각각 가중치를 적용한다.
이전 프레임에는 경계영역에 영상이 존재하고 현재 프레임에는 경계영역 또는 내부영역에 이 영상과 동일한 영상이 존재하지 않는 경우, 바이리니어 인터폴레이션을 통해 생성된 영상과 포워드 인터폴레이션을 통해 생성된 영상에 대해 가중치를 산출하는 수식은 다음과 같다.
Figure 112007058907415-PAT00021
여기서, 전항은 바이리니어 인터폴레이션에 대한 결과값이고, 후항은 포워드 인터폴레이션의 결과값이며, w는 가중치를 의미한다.
또한, 마찬가지로 현재 프레임에는 경계영역에 영상이 존재하고 이전 프레임에는 경계영역 또는 내부영역에 이 영상과 동일한 영상이 존재하지 않는 경우, 바이리니어 인터폴레이션을 통해 생성된 영상과 백워드 인터폴레이션을 통해 생성된 영상에 대해 가중치를 산출하는 수식은 다음과 같다.
Figure 112007058907415-PAT00022
여기서, 전항은 바이리니어 인터폴레이션에 대한 결과값이고, 후항은 백워드 인터폴레이션의 결과값이며, w는 가중치를 의미한다. 가중치 w는 매칭에러
Figure 112007058907415-PAT00023
에 관한 함수이고, 가중치 w와 매칭에러
Figure 112007058907415-PAT00024
는 각각 다음과 같이 정의된다.
Figure 112007058907415-PAT00025
Figure 112007058907415-PAT00026
여기서, x는 x방향 성분, y는 y방향 성분을 각각 의미하고, xmin은 x의 최소값, ymin은 y의 최소값, xmax은 x의 최대값, ymax은 y의 최대값을 각각 의미한다.
Snear은 주변영역의 움직임 벡터
Figure 112007058907415-PAT00027
의 집합을 의미하며, {(-1,-1),(-1,0),(-1,1),(0,-1),(0,1),(1,-1),(1,0),(1,1)}로 이루어진 집합이다.
가중치 할당부(145)는 이와 같이 바이리니어 인터폴레이션과 포워드 또는 백워드 인터폴레이션의 결과에 대해 가중치를 할당하여 영상통합부(130)로 출력한다.
영상통합부(130)는 영상생성부(120)와 영상보완부(140)에서 출력된 영상들을 통합하여 중간 프레임을 완성하여 출력한다.
구체적으로 영상통합부(130)는 중간 프레임에서 배경 영상을 생성하는 경우와 현재 프레임과 이전 프레임에서 특정 영상이 모두 내부영역 또는 경계영역에 존재하는 경우의 움직임 영상을 생성하는 경우의 영상을 영상생성부(120)로부터 수신하고, 현재 프레임에는 경계영역에 영상이 존재하고 이전 프레임에는 경계영역 또는 내부영역에 이 영상과 동일한 영상이 존재하지 않거나, 이전 프레임에는 경계영역에 영상이 존재하고 현재 프레임에는 경계영역 또는 내부영역에 이 영상과 동일한 영상이 존재하지 않는 경우의 영상을 영상보완부(140)로부터 수신하여 영상들을 통합 출력한다.
도 5는 본 발명의 다른 실시예에 따른 영상처리방법에 대한 흐름도이다.
도 5를 참조하면, 영역판별부(110)는 현재 프레임, 이전 프레임 및 중간 프레임을 내부영역과 경계영역으로 구별한다(S410).
영역에 대한 구별이 완료되면, 영역판별부(110)는 구별된 영역 정보를 이용하여 현재 프레임과 이전 프레임에서 동일한 영상이 존재하는지 검색한다(S430).
현재 프레임과 이전 프레임에서 동일한 영상이 존재하면(S430-Y), 영상생성부(120)는 동일한 영상의 움직임 벡터를 기초로 바이리니어 인터폴레이션을 실행하고(S435), 실행결과를 이용하여 중간 프레임의 영상을 생성한다(S440).
현재 프레임과 이전 프레임에서 동일한 영상이 존재하는지 여부에 대한 검색 결과, 동일한 영상이 존재하지 않으면(S430-N), 영역판별부(110)는 현재 프레임의 경계영역에 존재하는 영상이 이전 프레임의 내부영역 및 경계영역에 존재하지 않는지 검색한다(S445).
현재 프레임의 경계영역에 존재하는 영상이 이전 프레임의 내부영역 및 경계영역에 존재하지 않으면(S445-Y), 영상생성부(120)는 현재 프레임의 경계영역에 인접한 이전 프레임에서의 내부영역의 움직임 벡터를 이용하여 중간 프레임의 영상을 생성한다(S450).
영상생성부(120)에서 중간 프레임의 움직임 영상이 생성되고 나면, 영상보완부(140)는 현재 프레임과 움직임 벡터를 이용하여 이전 프레임에서의 외부에 존재하는 영상의 가상위치를 결정한다.
이 때, 영상보완부(140)는 영상생성부(120)에서 사용한 중간 프레임의 영상의 위치벡터와 현재 프레임의 경계영역에 가장 인접한 이전 프레임에서의 내부영역의 움직임 벡터를 이용하여 이전 프레임의 외부영역에서의 영상의 위치를 가상으로 결정한다(S455).
가상위치가 결정되면, 영상보완부(140)는 현재 프레임의 경계영역에 존재하는 영상과 이전 프레임의 외부영역에 존재하는 가상영상을 이용한 바이리니어 인터폴레이션을 실행한다(S460).
바이리니어 인터폴레이션이 완료되면, 기생성된 중간 프레임의 영상과 바이리니어 인터폴레이션 실행 결과 생성된 영상을 가중평균하여 기생성된 중간 프레임 의 영상을 보완한다(S465).
현재 프레임의 경계영역에 존재하는 영상이 이전 프레임의 내부영역 및 경계영역에 존재하지 않는 상태가 아니라면(S445-N), 영역판별부(110)는 이전 프레임의 경계영역에 존재하는 영상이 현재 프레임의 내부영역 및 경계영역에 존재하지 않는지 검색한다(S470).
이전 프레임의 경계영역에 존재하는 영상이 현재 프레임의 내부영역 및 경계영역에 존재하지 않으면(S470-Y), 영상생성부(120)는 이전 프레임의 경계영역에 인접한 현재 프레임에서의 내부영역의 움직임 벡터를 이용하여 중간 프레임의 영상을 생성한다(S475).
영상생성부(120)에서 중간 프레임의 움직임 영상이 생성되고 나면, 영상보완부(140)는 이전 프레임과 움직임 벡터를 이용하여 현재 프레임에서의 외부에 존재하는 영상의 가상위치를 결정한다.
이 때, 영상보완부(140)는 영상생성부(120)에서 사용한 중간 프레임의 영상의 위치벡터와 이전 프레임의 경계영역에 가장 인접한 현재 프레임에서의 내부영역의 움직임 벡터를 이용하여 현재 프레임의 외부영역에서의 영상의 위치를 가상으로 결정한다(S480).
가상위치가 결정되면, 영상보완부(140)는 이전 프레임의 경계영역에 존재하는 영상과 현재 프레임의 외부영역에 존재하는 가상영상을 이용한 바이리니어 인터폴레이션을 실행한다(S485).
바이리니어 인터폴레이션이 완료되면, 기생성된 중간 프레임의 영상, 즉, 백 워드 인터폴레이션 실행 결과 생성된 영상과 바이리니어 인터폴레이션 실행 결과 생성된 영상을 가중평균하여 기생성된 중간 프레임의 영상을 보완한다(S465).
중간 프레임의 영상이 보완되고나면(S465) 영상보완부(140)는 보완된 영상을 영상통합부(130)로 출력하고, 영상통합부(130)는 영상생성부(120)에서 출력된 영상과 영상보완부(140)에서 보완되어 출력된 영상을 통합하여 중간 프레임을 완성한다(S490).
도 6은 본 발명의 일 실시예에 따른 AV기기의 블럭도이다. 도 6에 도시된 바와 같이, AV기기(500)는 AV 수신부(510), AV 처리부(520), AV 출력부(530), 사용자 명령 수신부(540), 제어부(550) 및 GUI(Graphical User Interface) 생성부(560)를 구비한다.
AV 수신부(510)는 외부기기로부터 입력되는 AV신호를 수신하고, AV 처리부(520)는 AV 수신부(510)에서 수신되는 AV신호에 대한 신호처리를 수행한다.
AV 처리부(520)는 AV 분리부(521), 오디오 디코딩부(523), 오디오 처리부(525), 비디오 디코딩부(527) 및 비디오 처리부(529)를 구비한다.
AV 분리부(521)는 AV 수신부(510)에서 출력되는 AV신호를 오디오 신호 및 비디오 신호로 분리한다.
오디오 디코딩부(523)는 AV 분리부(521)에서 출력되는 오디오 신호를 디코딩하며, 오디오 처리부(525)는 오디오 디코딩부(523)에서 출력되는 디코딩된 오디오 신호에 대한 신호처리를 담당한다.
비디오 디코딩부(527)는 AV 분리부(521)에서 출력되는 비디오 신호를 디코딩 하며, 비디오 처리부(529)는 비디오 디코딩부(527)에서 출력되는 디코딩된 비디오 신호에 대한 신호처리를 담당한다.
GUI 생성부(560)는 디스플레이에 표시될 GUI를 생성한다. GUI 생성부(560)에서 생성된 GUI는 비디오 처리부(529)로 인가되어, 디스플레이에 표시될 비디오에 부가된다.
출력부(530)는 오디오 출력부(531)와 비디오 출력부(535)를 구비한다. 오디오 출력부(531)는 오디오 처리부(525)에서 출력되는 오디오 신호를 스피커를 통해 출력한다. 비디오 출력부(535)는 비디오 처리부(529)에서 출력되는 비디오 신호를 디스플레이를 통해 출력한다.
사용자 명령 수신부(540)는 리모콘으로부터 수신되는 사용자 명령을 제어부(550)로 전달하며, 제어부(550)는 사용자 명령 수신부(540)로부터 전달받은 사용자 명령에 따라 DTV(500)의 전반적인 동작을 제어한다.
여기서, 비디오 처리부(529)는 전술한 실시예에 따른 영상처리장치로 구현할 수 있다.
이상에서는, 현재 프레임에는 경계영역에 영상이 존재하고 이전 프레임에는 경계영역 또는 내부영역에 이 영상과 동일한 영상이 존재하지 않거나, 이전 프레임에는 경계영역에 영상이 존재하고 현재 프레임에는 경계영역 또는 내부영역에 이 영상과 동일한 영상이 존재하지 않는 경우에 있어서, 영상보완부(140)가 백워드인터폴레이션 또는 포워드 인터폴레이션 결과를 바이리니어 인터폴레이션으로 보완하는 것을 상정하였다. 그러나 이는 설명의 편의를 위한 일 예에 불과한 것으로서, 영상보완부(140)의 동작없이 백워드 인터폴레이션 또는 포워드 인터폴레이션만을 통해 영상을 생성하여 중간 프레임을 생성하는 것도 가능함은 물론이다.
또한, 이상에서는, 프레임을 M*N개의 블록으로 나누어 상측경계영역(210)은 0번째 행을, 하층경계영역(220)은 N-1번째 행을, 좌측경계영역(230)은 0번째 열을, 그리고 우측경계영역(240)은 M-1번째 열을 각각 차지하는 것으로 상정하였으나, 이는 설명의 편의를 위한 일 예에 불과한 것으로서, 이와 다른 개수로 프레임을 나누어 블럭의 사이즈를 변경하는 것도 가능하고, 각각의 경계영역을 달리 설정하는 것도 가능함은 물론이다.
또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자라면 누구든지 다양한 변형 실시가 가능한 것은 물론이고, 그와 같은 변경은 청구범위 기재의 범위 내에 있게 된다.
도 1은 종래의 영상처리방법에 의해 출력되는 영상에 대한 설명에 제공되는 도면,
도 2는 본 발명의 일 실시예에 따른 영상처리장치(100)에 대한 블록도,
도 3a 및 도 3b는 영상처리장치의 영역 판별 과정의 설명에 제공되는 도면,
도 4a 내지 도 4b는 인터폴레이션 과정에 대한 설명에 제공되는 도면,
도 5는 본 발명의 다른 실시예에 따른 영상처리방법에 대한 흐름도, 그리고,
도 6은 본 발명의 일 실시예에 따른 AV기기의 블럭도이다.

Claims (22)

  1. 현재 프레임과 이전 프레임에 대한 중간 프레임의 영상을 생성하는 영상처리방법에 있어서,
    상기 현재 프레임과 상기 이전 프레임을 이용하여 상기 중간 프레임의 배경 영상 및 제1 움직임 영상을 생성하는 제1 생성단계; 및
    상기 현재 프레임 및 상기 이전 프레임 중 어느 하나를 이용하여 상기 중간 프레임의 제2 움직임 영상을 생성하는 제2 생성단계;를 포함하는 것을 특징으로 하는 영상처리방법.
  2. 제 1항에 있어서,
    상기 현재 프레임, 상기 이전 프레임 및 상기 중간 프레임의 영역을 각각 제1 영역과 제2 영역으로 구별하는 단계;를 더 포함하고,
    상기 현재 프레임과 상기 이전 프레임의 구별된 영역을 이용하여 상기 중간 프레임의 영상을 생성하는 것을 특징으로 하는 영상처리방법.
  3. 제 2항에 있어서,
    상기 제1 생성단계는 상기 중간 프레임의 제1 영역에 대한 배경 영상 및 움직임 영상과 상기 중간 프레임의 제2 영역에 대한 배경 영상 및 제1 움직임 영상을 생성하는 것을 특징으로 하고,
    상기 제2 생성단계는 상기 중간 프레임의 제2 영역에 대한 제2 움직임 영상을 생성하는 것을 특징으로 하는 영상처리방법.
  4. 제 2항에 있어서,
    상기 제1 영역은, 상기 프레임의 내부영역이고,
    상기 제2 영역은 상기 내부영역의 둘레에 위치한 프레임의 경계영역인 것을 특징으로 하는 영상처리방법.
  5. 제 2항에 있어서,
    상기 제2 움직임 영상은,
    상기 현재 프레임과 상기 이전 프레임 중 어느 하나의 제2 영역에 존재하는 움직임 영상과 동일한 영상이 다른 하나의 제1 영역 및 제2 영역에 존재하지 않을 경우에 생성되는 움직임 영상인 것을 특징으로 하는 영상처리방법.
  6. 제 3항에 있어서,
    상기 제1 생성단계는, 상기 제1 영역 중 움직임 영역의 움직임 벡터를 기초로 상기 중간 프레임의 제1 영역에 대한 움직임 영상과 상기 중간 프레임의 제2 영역에 대한 제1 움직임 영상을 생성하고,
    상기 제2 생성단계는, 상기 제2 영역 중 움직임 영역에 대한 주변 영역의 움직임 벡터를 기초로 상기 중간 프레임의 제2 영역에 대한 제2 움직임 영상을 생성 하는 것을 특징으로 하는 영상처리방법.
  7. 제 6항에 있어서,
    상기 주변 영역은,
    상기 제1 영역 중 상기 움직임 영역에 인접한 영역인 것을 특징으로 하는 영상처리방법.
  8. 제 7항에 있어서,
    상기 제2 생성단계는,
    상기 주변 영역의 움직임 벡터의 방향이 제1 영역에서 제2 영역으로 향하면 상기 현재 프레임을 이용하여 상기 제2 움직임 영상을 생성하고, 상기 주변 영역의 움직임 벡터의 방향이 제2 영역에서 제1 영역으로 향하면 상기 이전 프레임을 이용하여 상기 제2 움직임 영상을 생성하는 것을 특징으로 하는 영상처리방법.
  9. 제 8항에 있어서,
    상기 주변 영역의 움직임 벡터의 방향이 제1 영역에서 제2 영역으로 향하면 상기 현재 프레임을 이용하여 상기 이전 프레임 외부의 영역에서의 영상의 가상위치를 결정하고, 상기 주변 영역의 움직임 벡터의 방향이 제2 영역에서 제1 영역으로 향하면 상기 이전 프레임을 이용하여 상기 현재 프레임 외부의 영역에서의 가상위치를 결정하는 단계;를 더 포함하는 것을 특징으로 하는 영상처리방법.
  10. 제 9항에 있어서,
    상기 결정된 가상위치가 존재하는 프레임과 상기 제2 영역에 제2 움직임 영상이 존재하는 프레임을 이용한 바이리니어 인터폴레이션(bilinear interpolation)션 결과와 상기 생성된 중간 프레임의 제2 움직임 영상을 가중평균하여 상기 생성된 제2 움직임 영상을 보완하는 단계;를 더 포함하는 것을 특징으로 하는 영상처리방법.
  11. 제 2항에 있어서,
    상기 제1 생성단계는,
    바이리니어 인터폴레이션을 이용하여 상기 중간 프레임의 제1 영역에 대한 배경 영상과 움직임 영상 및 상기 중간 프레임의 제2 영역에 대한 배경 영상과 제1 움직임 영상을 생성하는 것을 특징으로 하는 영상처리방법.
  12. 현재 프레임과 이전 프레임에 대한 중간 프레임의 영상을 생성하는 영상처리장치에 있어서,
    상기 현재 프레임, 상기 이전 프레임 및 상기 중간 프레임의 영역을 각각 제1 영역과 제2 영역으로 구별하는 영역판별부;
    상기 현재 프레임과 상기 이전 프레임을 이용하여 상기 중간 프레임의 배경 영상 및 제1 움직임 영상을 생성하고, 상기 현재 프레임 및 상기 이전 프레임 중 어느 하나를 이용하여 상기 중간 프레임의 제2 움직임 영상을 생성하는 영상생성부;를 포함하는 것을 특징으로 하는 영상처리장치.
  13. 제 12항에 있어서,
    상기 영상생성부는,
    상기 영역판별부에 의해 구별된 상기 현재 프레임과 이전 프레임의 영역을 이용하여 상기 중간 프레임의 영상을 생성하는 것을 특징으로 하는 영상처리장치.
  14. 제 13항에 있어서,
    상기 영상생성부는,
    상기 현재 프레임과 상기 이전 프레임을 이용하여 상기 중간 프레임의 제1 영역에 대한 배경 영상 및 움직임 영상과 상기 중간 프레임의 제2 영역에 대한 배경 영상 및 제1 움직임 영상을 생성하고,
    상기 현재 프레임 및 상기 이전 프레임 중 어느 하나를 이용하여 상기 중간 프레임의 제2 영역에 대한 제2 움직임 영상을 생성하는 것을 특징으로 하는 영상처리장치.
  15. 제 13항에 있어서,
    상기 제1 영역은, 상기 프레임의 내부영역이고,
    상기 제2 영역은 상기 내부영역의 둘레에 위치한 프레임의 경계영역인 것을 특징으로 하는 영상처리장치.
  16. 제 13항에 있어서,
    상기 영상생성부는,
    상기 현재 프레임과 상기 이전 프레임 중 어느 하나의 제2 영역에 존재하는 움직임 영상과 동일한 영상이 다른 하나의 제1 영역 및 제2 영역에 존재하지 않을 경우에 상기 제2 움직임 영상을 생성하는 것을 특징으로 하는 영상처리장치.
  17. 제 14항에 있어서,
    상기 영상생성부는,
    상기 제1 영역 중 움직임 영역의 움직임 벡터를 기초로 상기 중간 프레임의 제1 영역에 대한 움직임 영상과 상기 중간 프레임의 제2 영역에 대한 제1 움직임 영상을 생성하고,
    상기 제2 영역 중 움직임 영역에 대한 주변 영역의 움직임 벡터를 기초로 상기 중간 프레임의 제2 영역에 대한 제2 움직임 영상을 생성하는 것을 특징으로 하는 영상처리장치.
  18. 제 17항에 있어서,
    상기 주변 영역은,
    상기 제1 영역 중 상기 움직임 영역에 인접한 영역인 것을 특징으로 하는 영 상처리장치.
  19. 제 18항에 있어서,
    상기 영상생성부는,
    상기 주변 영역의 움직임 벡터의 방향이 제1 영역에서 제2 영역으로 향하면 상기 현재 프레임을 이용하여 상기 제2 움직임 영상을 생성하고,
    상기 주변 영역의 움직임 벡터의 방향이 제2 영역에서 제1 영역으로 향하면 상기 이전 프레임을 이용하여 상기 제2 움직임 영상을 생성하는 것을 특징으로 하는 영상처리장치.
  20. 제 19항에 있어서,
    상기 영상생성부는,
    상기 주변 영역의 움직임 벡터의 방향이 제1 영역에서 제2 영역으로 향하면 상기 현재 프레임을 이용하여 상기 이전 프레임 외부의 영역에서의 영상의 가상위치를 결정하고, 상기 주변 영역의 움직임 벡터의 방향이 제2 영역에서 제1 영역으로 향하면 상기 이전 프레임을 이용하여 상기 현재 프레임 외부의 영역에서의 가상위치를 결정하여 상기 가상위치가 존재하는 프레임과 상기 제2 영역에 제2 움직임 영상이 존재하는 프레임을 이용해 바이리니어 인터폴레이션(bilinear interpolation)을 하는 것을 특징으로 하는 영상처리장치.
  21. 제 20항에 있어서,
    상기 바이리니어 인터폴레이션을 한 영상과 상기 생성된 중간 프레임의 제2 움직임 영상을 가중평균하여 상기 생성된 제2 움직임 영상을 보완하는 영상보완부;를 더 포함하는 것을 특징으로 하는 영상처리장치.
  22. 제 13항에 있어서,
    상기 영상생성부는,
    바이리니어 인터폴레이션을 이용하여 상기 중간 프레임의 제1 영역에 대한 배경 영상과 움직임 영상 및 상기 중간 프레임의 제2 영역에 대한 배경 영상과 제1 움직임 영상을 생성하는 것을 특징으로 하는 영상처리장치.
KR1020070081931A 2007-08-14 2007-08-14 중간 프레임의 영상을 생성하기 위한 영상처리방법 및 이를적용한 영상처리장치 KR20090017296A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020070081931A KR20090017296A (ko) 2007-08-14 2007-08-14 중간 프레임의 영상을 생성하기 위한 영상처리방법 및 이를적용한 영상처리장치
US12/125,542 US20090046208A1 (en) 2007-08-14 2008-05-22 Image processing method and apparatus for generating intermediate frame image

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020070081931A KR20090017296A (ko) 2007-08-14 2007-08-14 중간 프레임의 영상을 생성하기 위한 영상처리방법 및 이를적용한 영상처리장치

Publications (1)

Publication Number Publication Date
KR20090017296A true KR20090017296A (ko) 2009-02-18

Family

ID=40362671

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020070081931A KR20090017296A (ko) 2007-08-14 2007-08-14 중간 프레임의 영상을 생성하기 위한 영상처리방법 및 이를적용한 영상처리장치

Country Status (2)

Country Link
US (1) US20090046208A1 (ko)
KR (1) KR20090017296A (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010288098A (ja) * 2009-06-12 2010-12-24 Sony Corp 画像フレーム補間装置、画像フレーム補間方法及び画像フレーム補間プログラム
JP5682454B2 (ja) * 2011-05-30 2015-03-11 株式会社Ｊｖｃケンウッド 映像処理装置及び補間フレーム生成方法
CN111131698B (zh) * 2019-12-23 2021-08-27 RealMe重庆移动通信有限公司 图像处理方法及装置、计算机可读介质、电子设备

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4683496A (en) * 1985-08-23 1987-07-28 The Analytic Sciences Corporation System for and method of enhancing images using multiband information
JP3271108B2 (ja) * 1993-12-03 2002-04-02 ソニー株式会社 ディジタル画像信号の処理装置および方法
US6023301A (en) * 1995-07-14 2000-02-08 Sharp Kabushiki Kaisha Video coding device and video decoding device
WO2001095512A1 (en) * 2000-06-06 2001-12-13 Georgia Tech Research Corporation System and method for object-oriented video processing
KR100541953B1 (ko) * 2003-06-16 2006-01-10 삼성전자주식회사 움직임 보상을 위한 화소값 선택 장치 및 방법
EP1585326A1 (en) * 2004-03-30 2005-10-12 Matsushita Electric Industrial Co., Ltd. Motion vector estimation at image borders for frame rate conversion
KR20070055212A (ko) * 2005-11-25 2007-05-30 삼성전자주식회사 프레임 보간장치, 프레임 보간방법 및 움직임 신뢰성평가장치
KR20070076337A (ko) * 2006-01-18 2007-07-24 삼성전자주식회사 에지영역 판단장치 및 에지영역 판단방법

Also Published As

Publication number Publication date
US20090046208A1 (en) 2009-02-19

Similar Documents

Publication Publication Date Title
US10511854B2 (en) Method and apparatus for building motion vector list for motion vector prediction
JP5877469B2 (ja) 動き推定システムにおいてモーメント及び加速度ベクトルを使用するオブジェクト追跡
JP4687994B2 (ja) 画像処理装置および方法、記録媒体、並びにプログラム
JP4752407B2 (ja) 画像処理装置および方法、プログラム、並びに記録媒体
KR101118981B1 (ko) 화상 처리 장치 및 방법, 기록 매체, 및 프로그램
EP1734480A1 (en) Image processing device and method, recording medium, and program
US20110134315A1 (en) Bi-Directional, Local and Global Motion Estimation Based Frame Rate Conversion
JP2007074592A (ja) 画像処理装置および方法、プログラム、並びに記録媒体
CN105100807A (zh) 一种基于运动矢量后处理的帧率提升方法
JP2008109632A (ja) 動きベクトル検出装置及びその方法
JP2005210697A (ja) 動き補償フレームレート変換
JP2003533800A (ja) Ｍｃアップコンバージョンにおけるハローを低減する動き推定器
CN102123283B (zh) 视频帧率转换中的插值帧获取方法及其装置
CN103338377A (zh) 用于确定运动估计中最优运动矢量的方法
CN101150725A (zh) 检测运动矢量和产生内插帧的装置和方法
US10990826B1 (en) Object detection in video
KR20070033345A (ko) 전역 움직임 벡터를 검색하는 방법
TW201345262A (zh) 影像處理電路及影像處理方法
JP2000253422A (ja) ２次元映像からの立体映像生成方法
JP4626158B2 (ja) 動きベクトル検出装置、および動きベクトル検出方法、並びにコンピュータ・プログラム
KR20090017296A (ko) 중간 프레임의 영상을 생성하기 위한 영상처리방법 및 이를적용한 영상처리장치
TW201310392A (zh) 預測移動向量之估測方法
JP5737072B2 (ja) 動き補償フレーム生成装置及び方法
US8917770B2 (en) Motion estimation apparatus and motion estimation method
US8405767B2 (en) Image processing device

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid