KR20100084075A - 멀티프레임을 고려한 비디오 오브젝트 매팅 시스템 및 방법 - Google Patents

멀티프레임을 고려한 비디오 오브젝트 매팅 시스템 및 방법 Download PDF

Info

Publication number
KR20100084075A
KR20100084075A KR1020090003507A KR20090003507A KR20100084075A KR 20100084075 A KR20100084075 A KR 20100084075A KR 1020090003507 A KR1020090003507 A KR 1020090003507A KR 20090003507 A KR20090003507 A KR 20090003507A KR 20100084075 A KR20100084075 A KR 20100084075A
Authority
KR
South Korea
Prior art keywords
alpha
trimap
pixels
image frame
pixel
Prior art date
Application number
KR1020090003507A
Other languages
English (en)
Other versions
KR100987412B1 (ko
Inventor
이인권
이선영
Original Assignee
연세대학교 산학협력단
포항공과대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 연세대학교 산학협력단, 포항공과대학교 산학협력단 filed Critical 연세대학교 산학협력단
Priority to KR1020090003507A priority Critical patent/KR100987412B1/ko
Publication of KR20100084075A publication Critical patent/KR20100084075A/ko
Application granted granted Critical
Publication of KR100987412B1 publication Critical patent/KR100987412B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/40—Picture signal circuits
    • H04N1/40081—Soft dot halftoning, i.e. producing halftone dots with gradual edges
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • H04N5/275—Generation of keying signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Circuits (AREA)

Abstract

본 발명은 멀티프레임을 고려한 비디오 오브젝트 매팅 시스템 및 그 방법에 대한 것으로, 보다 상세하게는 복수의 이미지프레임으로 구성되는 비디오 시퀀스에서 비디오 오브젝트를 매팅하기 위해 복수의 프레임 간의 시간적 연계성 및 비디오 오브젝트의 이동 등을 고려하여 보다 뛰어난 품질의 비디오 오브젝트 매팅 결과를 제공하는 비디오 오브젝트 매팅 시스템 및 방법에 관한 것이다.
본 발명에 따른 멀티프레임을 고려한 비디오 오브젝트 매팅 방법은 적어도 2 이상의 이미지프레임에 대하여 미지영역을 포함하는 영역으로 구분하는 트라이맵(trimap) 생성단계, 적어도 2 이상의 이미지프레임 중 특정 이미지프레임 픽셀들의 알파값을 결정하기 위해 특정 이미지프레임 및 특정 이미지프레임의 전후이미지프레임으로부터 복수의 샘플링 픽셀을 선택하여 알파값을 결정하고 알파맵을 생성하는 알파맵 생성단계, 및 생성된 알파맵의 알파값들을 부드럽게 보정하는 알파맵 보정단계를 포함하여 이루어질 수 있다.
비디오 매팅, 영상 추출, 시간적 연계성, 멀티프레임, 알파맷

Description

멀티프레임을 고려한 비디오 오브젝트 매팅 시스템 및 방법{Ｍｕｌｔｉ－Ｆｒａｍｅ Ｃｏｍｂｉｎｅｄ Ｖｉｄｅｏ Ｏｂｊｅｃｔ Ｍａｔｔｉｎｇ Ｓｙｓｔｅｍ ａｎｄ Ｍｅｔｈｏｄ Ｔｈｅｒｅｏｆ}
본 발명은 멀티프레임을 고려한 비디오 오브젝트 매팅 시스템 및 그 방법에 대한 것으로, 보다 상세하게는 복수의 이미지프레임으로 구성되는 비디오 시퀀스에서 비디오 오브젝트를 매팅하기 위해 복수의 프레임 간의 시간적 연계성 및 비디오 오브젝트의 이동 등을 고려하여 보다 뛰어난 품질의 비디오 오브젝트 매팅 결과를 제공하는 비디오 오브젝트 매팅 시스템 및 방법에 관한 것이다.
매팅(Matting)이라 함은 사진 또는 영화제작시 특수효과에 사용되는 기술로써 둘 이상의 이미지 요소를 하나의 이미지로 결합하는 것을 의미한다. 매팅이라 함은 둘 이상의 이미지 요소를 하나의 이미지로 결합하는 의미 외에도 하나의 이미지 내에서 특정 영역을 추출해내는 것을 말하며, 당해 기술 분야에서 이미지에서 특정영역의 영상을 추출하고 합성하는 것을 포함한 다양한 의미로 해석될 수 있다.
보통 매팅은 예를 들어, 배우, 우주선과 같은 전경 이미지(foreground image)를 풍경, 행성과 같은 배경 이미지(background image)와 결합하는데 사용된 다. 매팅에는 움직이지 않는 대상을 매팅하는 정적 매팅과 움직이는 대상을 매팅하는 동적 매팅이 있는데 초기의 동적매팅기술에는 페트로 블라호스(Petro Vlahos)가 고안한 블루스크린 매팅이 있다. 블루스크린 매팅은 특정한 색의 배경으로부터 전경과 알파값을 추출하는 방법이다. 이 방법에 따르면 배경이 특정한 색을 가져야 한다는 제약이 있어 임의의 배경을 가진 영상에 대해서 알파값을 추정하는 자연영상 매팅에 대한 연구가 활발히 진행되고 있다.
디지털 영상 매팅 즉, 사용자의 제한된 입력 사항을 가지고 이미지 내에서 전경 오브젝트(foreground object)를 추출하는 것은 이미지와 비디오 편집에서 매우 중요한 부분이다. 영상의 모든 픽셀에 대하여 전경과 배경 색깔뿐만 아니라 전경의 불투명도(알파맷:alpha matte) 역시 추정해야하기 때문에 , 컴퓨터 영상 분야에서 이 분야는 매우 도전적인 과제이다. 매팅을 수행하기 위한 종래의 접근 방법들은 이미지의 제한적인 부분에만 제한하여 추정을 수행하고 정보가 알려진 이웃 픽셀들을 기초로 전경과 배경 색을 추정하거나, 알파 추정값을 가지고 전경과 배경 색 추정을 변경함으로써 반복적인 비선형적 추정을 수행하는 방법들이다.
자연 영상 매팅과 영상 합성은 이미지와 비디오 편집에서 핵심적인 부분이다. 매팅 및 합성을 수행하는 목적은 전경 오브젝트를 추출해 내는 것이고 이는 최소한의 사용자 작업과 함께 자연영상으로부터 불투명도지도 또는 알파맷(이하에서는 ‘알파맵‘이라고 한다)을 구하고 이를 사용함으로써 달성할 수 있다.
도 1은 이미지로부터 전경 오브젝트를 추출해내고 새로운 배경에 이를 합성 하는데 있어 매팅이 어떻게 사용되는지를 보여준다. 종래에는 이를 트라이맵을 사용하여 수행하여 왔다.
매팅을 단순한 ‘잘라 붙이기’와 구분하게 하는 점은 혼합된 픽셀들을 어떻게 하면 정교하게 다룰 수 있는지에 있다. 이미지 내에는 전경과 배경 색이 혼합된 색을 갖는 픽셀들이 있다. 이러한 픽셀들은 오브젝트의 경계선이나 그림자와 투명도를 포함하는 영역에서 발생하는 것이 일반적이다. 혼합된 색을 갖는 픽셀들이 차지하는 영역은 작은 부분이긴 하지만, 비디오 영상을 시청하는 사용자의 시각은 매우 민감하여 아주 작은 부분일지라도 영상이 거짓이거나 조작된 것이라는 것을 인식할 수 있으며, 사용자는 편집된 영상에서 시각적으로 노이즈처럼 매우 조악한 것을 인식할 수 있다. 일반적으로 이미지 매팅 방식은 입력 영상 컬러값 C를 가지며 이는 전경 이미지 F와 배경 이미지 B의 합성으로 이루어진다고 가정한다. i번째 픽셀은 관련성있는 전경과 배경 색의 선형 조합으로 이루어진다고 가정한다.
이는 다음과 같은 수학식에 의해 표현된다.
<수학식 1>
Figure 112009002775879-PAT00001
여기서 α는 픽셀의 전경 불투명도를 의미한다. 자연영상 이미지 매팅에 있어서, 수식의 우변에 기재된 수치들은 알려지지 않은 값들이다. 따라서, 3 채널 색깔 이미지의 각 픽셀에 대하여 3개의 방정식과 7개의 미지수를 갖는다.
이는 극히 제한적인 정보이므로 고품질의 매팅을 위해서는 사용자의 별도 작 업이 필요하다. 최근 방법들은 사용자가 트라이맵을 시작 포인트로써 제공하는 방법을 사용하고 있다. 트라이 맵은 개략적으로 이미지를 전경, 배경, 미지영역의 세 개의 영역으로 구분하며, 이는 보통 수작업으로 이루어진다. 주어진 트라이맵으로 상기 방정식을 풀어 F, B, α값을 동시에 구한다. 이것은 순환적인 비선형 최적화 방식을 통하여 이루어진다.
트라이맵을 이용하여 매팅을 수행하는 종래의 방식의 문제는 고품질의 매팅 결과를 얻기 위해서 트라이맵의 미지영역이 가능한 한 최소화 되어야 한다는 데 있다. 이로 인해 트라이맵에 근거한 방법들은 혼합 픽셀이 많거나 전경 오브젝트에 많은 구멍들이 있는 이미지를 다루는데 어려움이 있고 더 많은 사용자의 작업을 요구하게 된다. 이러한 경우에는 좋은 매팅 결과를 얻기 위해 사용자가 트라이맵을 작성하는데 더 많은 노력을 기울여야 한다.
자연 영상 매팅에 있어 최근 가장 뛰어난 알고리즘 중 하나인 베이시안(Bayesian) 알고리즘은 로컬분포를 구하기 위해 가우시안 분포를 사용하고 주어진 분포에서 가장 적절한 , F, B 값을 추정한다. 이러한 방식은 전경과 배경의 색깔 분포가 겹치지 않고 트라이맵의 미지영역이 많지 않을 때 훌륭한 결과를 산출한다.
베이시안(Bayesian) 매팅 방법은 비디오 영상으로 확장된다. 여기서 옵티컬 플로우라는 개념을 사용하여 동적으로 배경 모델을 추정하여 트라이맵을 생성한다. 포아종 매팅 방법(Poisson matting method) 역시 트라이맵을 입력받아 매팅을 수행 하는데, 혼합된 영역의 알파맷을 포아종 방정식과 맷 그라디언트 필드와 디리클레 바운더리 컨디션을 사용하여 구한다.
그런데, 종래의 이미지 매팅 방법을 이용하여 비디오 오브젝트 매팅을 수행하는 경우, 서로 다른 이미지프레임 간의 시간적 연계성이 유지되지 않아 시각적으로 이미지가 튀는 것처럼 보이는 현상이 발생하게 된다. 하나의 이미지프레임 별로 매팅 결과를 관찰하는 경우 커다란 문제가 없는 것처럼 보이지만, 비디오를 재생할 때 이미지프레임의 시간적 흐름에 따라 물체의 경계에서 조금이라도 다른 결과를 보여주면 인간의 눈은 이에 대하여 민감하게 반응하게 되므로 심각한 문제가 된다. 종래의 비디오 오브젝트 매팅 기술도 이미지 매팅 방법과 마찬가지로 이미지프레임 단위로 독립하여 매팅을 수행하므로 동일한 문제점이 있다.
본 발명은 상기의 문제점들을 해결하기 위해 안출된 것으로써, 비디오 오브젝트 매팅 과정에서 비디오의 시간 개연성을 고려하여 연속적인 이미지 프레임 간의 자연스러운 비디오 오브젝트 매팅을 가능하게 함을 목적으로 한다.
또한, 유사한 품질의 비디오 매팅을 위한 기존의 알고리즘보다 빠르고 시간적 개연성, 연속성이 보장되는 고품질의 비디오 오브젝트 매팅 알고리즘을 제공함을 그 목적으로 한다.
본 발명의 또 다른 목적은 시간적 흐름에 따라 픽셀의 흐름을 추적하고 이를 근거로 보다 자연스러운 비디오 이미지 매팅 결과를 얻는 것이다.
상기의 목적을 달성하기 위한 본 발명의 비디오 오브젝트 매팅 방법은 적어도 2 이상의 이미지프레임에 대하여 상기 이미지프레임을 미지영역을 포함하는 영역으로 구분하는 트라이맵(trimap) 생성단계, 적어도 2 이상의 이미지프레임 중 특정 이미지프레임 픽셀들의 알파값을 결정하기 위해, 특정 이미지프레임 및 특정 이미지프레임의 전후이미지프레임으로부터 복수의 샘플링 픽셀을 선택하여 알파값을 결정하고 알파맵을 생성하는 알파맵 생성단계, 및 알파맵의 알파값들을 부드럽게 보정하는 알파맵 보정단계를 포함하는 것을 특징으로 한다.
본발명의 특징적인 양상에 따른 비디오 오브젝트 매팅 방법에 있어서, 알파맵 보정단계는 상기 소정 픽셀들과 전경 또는 배경 가상노드 간의 엣지에 대한 제2 가중치를 더 계산하고 이를 이용하여 알파맵의 알파값들을 보정하는 것을 특징으로 한다.
또한, 알파맵 보정단계는 상기 소정 픽셀들과 전경 또는 배경 가상노드 간의 엣지에 대한 제2가중치를 더 계산하고 이를 이용하여 알파맵의 알파값들을 보정할 수 있다.
또한, 제1가중치는 하기의 수학식을 이용하여 계산할 수 있다.
<수학식 2>
Figure 112009002775879-PAT00002
또한, 제1가중치는 상기 소정 픽셀들의 옵티컬 플로우(optical flow)를 이용하여 계산된 플로우 디스턴스를 더 고려하여 계산할 수 있다.
또한, 제1가중치는 하기의 수학식을 이용하여 계산할 수도 있다.
<수학식 3>
Figure 112009002775879-PAT00003
또한 본 발명의 특징적인 양상에 따른 비디오 오브젝트 매팅 방법에 있어서, 이미지프레임은,
키프레임의 트라이맵과 옵티컬 플로우를 고려하여 미지영역을 포함하는 영역으로 구분할 수 있다.
또한, 트라이맵 생성단계 후, 영상 세그멘테이션을 사용하여 트라이맵을 보정하는 트라이맵 보정단계를 더 포함할 수도 있다.
또한, 알파값의 결정은,
상기 복수의 샘플링 픽셀로부터 복수의 알파값과 신뢰도를 구하고, 상기 신뢰도에 기반하여 최적의 알파값을 결정할 수 있다.
또한, 신뢰도는 하기의 수학식을 이용하여 구할 수도 있다.
<수학식 4>
Figure 112009002775879-PAT00004
또한, 본 발명의 특징적인 양상에 따른 복수의 이미지프레임으로 구성된 비디오 오브젝트를 매팅하는 방법에 있어서, 매팅하려는 이미지프레임 내에 속하는 소정의 픽셀과 이웃픽셀 및 이미지프레임에 인접하는 적어도 하나 이상의 전후이미지프레임 내에 속하는 이웃픽셀간에 형성되는 엣지들의 제1가중치를 결정하는 가중치 결정 단계, 및 가중치 결정 단계의 결과값을 사용하여 소정의 픽셀들의 알파값을 계산하며 전경 오브젝트를 추출하기 위한 알파맵 생성 단계를 포함할 수 있다.
또한, 가중치 결정 단계는,
매팅하려는 이미지프레임 내에 속하는 소정의 픽셀 또는 이웃픽셀과 전경 또는 배경의 가상노드 간에 형성되는 모든 엣지들의 제2가중치를 결정하는 단계를 더 포함할 수 있다.
또한 본 발명의 특징적인 양상에 따라, 적어도 2 이상의 이미지프레임 간의 옵티컬 플로우(optical flow)를 계산하고 이를 이용하여 플로우 디스턴스(flow distance)를 계산하는 단계;를 더 포함하고,
상기 제1가중치는, 상기 플로우 디스턴스를 고려하여 결정하는 것을 특징할 수 있다.
5또한,제1가중치는 하기의 수학식을 이용하여 얻어질 수도 있다.
<수학식 5>
Figure 112009002775879-PAT00005
또한 본 발명의 특징적인 양상에 따른 비디오 오브젝트 매팅 시스템은, 상기의 방법들을 실행하기 위한 컴퓨팅 장치를 포함할 수 있다.
또한 본 발명의 특징적인 양상에 따른 컴퓨터에서 판독 가능한 기록매체는, 상기의 방법을 실행하기 위한 프로그램이 기록되어 있는 것을 특징으로 할 수 있다.
또한, 상기의 목적을 달성하기 위한 본 발명의 비디오 오브젝트 매팅 시스템 은 사용자로부터 입력받은 키프레임의 트라이맵을 저장하고 비디오 데이터를 이미지프레임별로 저장하는 메모리, 키프레임의 트라이맵을 이용하여 메모리에 저장된 다른 이미지프레임들의 트라이맵을 생성하는 트라이맵 생성부, 키프레임의 트라이맵 또는 생성된 트라이맵에 포함된 특정 영역의 픽셀들에 대하여, 각 픽셀의 전후이미지프레임 중 적어도 하나 이상의 프레임과 특정 영역의 픽셀이 포함된 이미지프레임으로부터 복수의 픽셀을 샘플링하고, 선택된 샘플링 픽셀을 이용하여 특정 픽셀의 알파값을 결정하고 알파맵을 생성하는 알파맵 생성부, 특정 픽셀들에 대하여 각 픽셀의 알파값을 부드럽게 보정하는 알파맵 보정부, 및 시스템의 전반적인 동작을 제어하고, 추출이 이루어진 영상에 대해 다른 배경에 합성하는 것을 포함한 전반적인 매팅 동작을 제어하는 제어부를 포함할 수 있다.
또한 본 발명의 특징적인 양상에 따라, 알파맵 보정부는, 특정 픽셀 및 특정 픽셀의 이웃픽셀들 간의 엣지에 대한 제1가중치를 계산하여 알파값을 시간축으로도 부드럽게 보정하는 것을 특징으로 할 수 있다.
또한, 적어도 2 이상의 가상 노드와의 엣지에 대한 제2가중치를 더 계산하여 알파값을 부드럽게 보정할 수 있다.
또한 본 발명의 특징적인 양상에 따라, 제1가중치는, 픽셀들의 옵티컬 플로우(optical flow)를 이용하여 계산된 플로우 디스턴스(flow distance)를 고려하여 계산할 수도 있다.
또한 본 발명의 특징적인 양상에 따라, 다른 이미지프레임들의 트라이맵은 키프레임 트라이맵과 옵티컬 플로우를 고려하여 생성할 수 있다.
또한, 트라이맵 생성부는 영상 세그멘테이션을 사용하여 키프레임의 트라이맵과 생성된 트라이맵을 보정할 수도 있다.
3또한, 알파값의 결정은 샘플링된 복수의 픽셀로부터 복수의 알파값과 신뢰도를 구하고, 신뢰도에 기반하여 최적의 알파값을 결정할 수 있다.
본 발명에 따르면, 이미지프레임 내에서 매끄러운 매팅을 수행하는 것 외에도 비디오의 시간 개연성을 고려하여 연속적인 이미지프레임 간의 자연스러운 비디오 오브젝트 매팅 결과를 얻을 수 있으므로 종래 기술과는 다른 관점에서 유리한 효과가 있다. 특히 비디오 이미지의 경우, 특정영역의 매끄럽지 못한 이미지보다 이미지의 시간적 흐름속에서 시각적으로 튀는 현상에 인간의 눈이 더욱 민감하게 반응한다는 점을 감안할 때, 본 발명은 종래의 비디오 오브젝트 매팅 기술과 대비하여 크게 유리한 효과가 있다.
또한 본 발명에 따르면, 직접 모든 트라이맵 작성을 하지 않으면서도 보다 정확한 트라이맵을 생성하여 고품질의 매팅결과를 얻을 수 있는 효과가 있다.
또한, 이미지프레임의 시간적 흐름에 따라 특정 픽셀의 흐름을 추적하고 이를 근거로 보다 자연스러운 매팅 결과를 얻을 수 있다.
상술한 내용과 더불어 추가되는 본 발명의 특징적인 양상들은 첨부된 도면을 참조하여 설명되는 바람직한 실시예 들을 통하여 더욱 명백해질 것이다. 이하에서 는 본 발명을 이러한 실시 예를 통해 당업자가 용이하게 이해하고 재현할 수 있도록 상세히 설명하기로 한다.
도 2는 본 발명의 바람직한 일 실시예에 따른 비디오 오브젝트 매팅 시스템을 도시한 블럭도이다.
도 2에 도시된 바와 같이, 본 발명에 따른 비디오 오브젝트 매팅 시스템(200)은 사용자로부터 입력받은 키프레임의 트라이맵 및 비디오 데이터를 이미지프레임별로 저장하고 있는 메모리(201), 키프레임의 트라이맵을 이용하여 메모리에 저장된 다른 이미지프레임들의 트라이맵을 생성하는 트라이맵 생성부(202), 키프레임의 트라이맵 또는 상기 생성된 트라이맵에 포함된 특정 영역의 픽셀들에 대하여, 각 픽셀의 전후이미지프레임 중 적어도 하나 이상의 프레임과 상기 특정 영역의 픽셀이 포함된 이미지프레임으로부터 복수의 픽셀을 샘플링하고, 상기 선택된 샘플링 픽셀을 이용하여 상기 특정 픽셀의 알파값을 결정하고 알파맵을 생성하는 알파맵 생성부(203), 특정 픽셀들에 대하여 각 픽셀의 알파값을 부드럽게 보정하는 알파맵 보정부(204) 및 메모리(201)와 트라이맵 생성부(202)와 알파맵 생성부(203)와 알파맵 보정부(204)의 전반적인 동작을 제어하고, 추출이 이루어진 영상에 대해 다른 배경에 합성하는 등의 전반적인 매팅 동작을 제어하는 제어부(205)를 포함하여 이루어진다.
메모리(201)는 매팅을 수행하고자 하는 복수의 이미지프레임이 순차적으로 구성된 비디오 시퀀스를 저장하고, 사용자로부터 입력받은 키프레임의 트라이맵을 저장한다. 상기 비디오 시퀀스와 키프레임의 트라이맵은 각각 물리적으로 분리된 메모리에 저장될 수도 있으며, 하나의 메모리의 각기 다른 영역에 저장될 수도 있다. 여기서 메모리는 하드디스크, EEPROM, RAM을 포함한 다양한 형태의 저장매체를 포함하는 개념이며, 본 발명의 적절한 실시형태에 따라 당업자는 하드웨어의 구성을 변형하여 실시할 수 있다. 메모리(201)는 트라이맵 생성부(202)가 생성한 이미지프레임들의 트라이맵 역시 저장할 수 있다. 트라이맵 시퀀스는 모든 이미지프레임의 트라이맵이 순차적으로 배열되는 것을 말하며, 생성된 트라이맵들은 키프레임의 트라이맵과 함께 트라이맵 시퀀스로 메모리(201)에 저장되는 것이 바람직하다.
트라이맵 생성부(202)는 비디오 시퀀스와 키프레임의 트라이맵을 사용하여 다른 이미지프레임의 트라이맵을 자동적으로 생성한다. 보다 나은 트라이맵 생성을 위해 옵티컬 플로우(optical flow)를 고려하여 트라이맵을 생성하는 것이 바람직하다. 옵티컬 플로우(optical flow)는 이미지프레임 내의 각 픽셀 정보들이 다음 이미지프레임 내에서 어떻게 이동하는지를 2차원 벡터로 나타내는 것을 말하는데, 옵티컬 플로우의 기본적인 개념은 종래 기술에 개시되어 있다.
또한, 사용자에 의해 생성된 키프레임의 트라이맵과 키프레임을 사용하여 생성된 다른 이미지프레임의 트라이맵은 영상 세그멘테이션 기법에 의해 좀 더 자세한 트라이맵으로 보정될 수 있다. 자세한 트라이맵을 사용하여 매팅을 수행하는 경우 똑같은 알고리즘으로 매팅을 수행하더라도 더욱 나은 결과를 얻을 수 있다. 영상 세그멘테이션은 한 픽셀 영역부터 시작해서, 경계 영역을 통과하는 최소 명암도 차이가 그 영역 내에서의 최대 명암도 차이보다 더 클 경우, 두 영역을 합병한다. 이 방법을 적용하는 경우, 서로 다른 성질의 영역은 수많은 작은 영역으로 세분화 되고 비슷한 성질의 영역은 큰 영역으로 그룹화 된다. 이러한 세그멘테이션 정보는 확실한 전경과 배경의 영역은 그룹화하여 넓히고, 불확실영역은 영상의 특성에 따라 자세하게 줄인다.
알파맵 생성부(203)는 비디오 시퀀스의 각 이미지프레임에 대하여 알파맵을 생성한다. 알파맵이란 하나의 이미지프레임 내의 모든 픽셀들의 알파값(또는 알파맷)들과 그 픽셀의 좌표 정보를 가지고 있는 알파맷그룹을 의미한다. 생성된 트라이맵을 가지고 각 픽셀들에 대한 알파값들을 계산하는데, 이를 위해 알파맵을 구하고자 하는 이미지프레임을 포함한 적어도 2 이상의 이미지프레임으로부터 전경과 배경 픽셀들을 샘플링한다. 다음으로, 샘플링 된 픽셀정보를 사용하여 알파값들을 구하며 구해진 알파값들의 신뢰도를 계산하여 신뢰도가 높은 알파값들을 추출하여 1차적으로 최적화된 알파값을 결정하고, 이미지 프레임 내의 모든 픽셀들에 대한 알파맵을 생성한다. 알파맵 생성부(203)의 자세한 내용은 이하에서 후술하기로 한다.
알파맵 보정부(204)는 알파맵 생성부(203)에 의해 생성된 알파맵을 사용하여 1차적으로 최적화된 알파값들을 이웃픽셀들 및 전경과 배경의 가상노드를 이용하여 알파값들을 보정함으로써 알파맵을 보정한다. 본 발명에서는 종래와는 달리 2차원적인 이미지프레임 내에서의 알파값들이 자연스럽게 보정되도록 함과 동시에 전프레임과 후프레임의 관계에서도 관련 픽셀들의 알파값들이 시간축의 관점에서도 자연스럽게 보정되도록 한다. 이를 위해서는, 알파맵을 보정하고자 하는 이미지프레임 외에도 전프레임 및 후프레임의 정보가 필요하고 이를 반영한 알고리즘이 필요 하다. 알파맵을 보정하는 자세한 내용은 이하에서 후술하기로 한다.
제어부(205)는 비디오 오브젝트 매팅 시스템의 전반을 제어한다. 비디오 시퀀스에서 오브젝트를 추출하고 다른 배경에 합성하는 제반 과정을 제어하고, 메모리(201), 트라이맵 생성부(202), 알파맵 생성부(203), 알파맵 보정부(204)의 동작을 제어한다. 제어부(205)는 본 발명의 매팅을 수행할 수 있는 컴퓨팅 장치에서 마이크로 콘트롤러와 같은 다양한 형태의 제어장치로써 구현될 수 있다.
도 3은 본 발명의 바람직한 일 실시예에 따른 비디오 오브젝트 매팅 방법을 도시한 흐름도이다.
도 3에 도시된 바와 같이, 본 발명의 바람직한 일 실시예에 따른 비디오 오브젝트 매팅 방법(300)은 크게 트라이맵 생성단계(S310), 알파맵 생성단계(S320), 알파맵 보정단계(S330)를 포함하여 이루어진다.
트라이맵 생성단계(S310)에서는 입력된 비디오 시퀀스와 사용자로부터 입력된 키프레임 트라이맵을 이용하여 트라이맵 시퀀스를 생성한다. 구체적으로, 트라이맵 시퀀스는 키프레임 트라이맵과 키프레임 트라이맵을 이용하여 생성된 다른 이미지프레임들의 트라이맵을 순차적으로 배열한 시퀀스를 말한다. 바람직하게는, 사용자로부터 입력된 키프레임 트라이맵을 영상 세그멘테이션 기법을 적용하여 보다 자세한 키프레임 트라이맵으로 트라이맵을 보정한다. 다음으로, 보정된 키프레임 트라이맵을 사용하여 키프레임과 키프레임 사이에 위치한 이미지프레임들의 트라이맵을 생성한다. 트라이맵 생성은 옵티컬 플로우를 고려하여 생성하는 것이 바람직 하며, 생성된 트라이맵들은 영상 세그멘테이션 기법을 적용하여 보정하는 것이 바람직하다. 다음으로, 모든 이미지프레임들에 대한 트라이맵 생성과 보정이 끝나면 보정된 트라이맵 시퀀스를 생성한다.
알파맵 생성단계(S320)에서는 입력된 트라이맵 시퀀스를 사용하여 각 이미지프레임 별로 알파맵을 생성한다. 알파맵은 각 픽셀의 좌표 정보와 알파값을 포함하고 있는데, 각 픽셀의 알파값을 구하기 위해 먼저 해당 픽셀이 포함된 이미지프레임을 포함한 적어도 2 이상의 이미지프레임들의 전경 및/또는 배경 픽셀들의 정보를 샘플링 한다. 픽셀들을 샘플링하는 다른 이미지프레임들은 알파맵을 구하고자하는 이미지프레임에 가장 가까이 인접하는 전프레임과 후프레임을 선택하는 것이 바람직하다. 다음으로, 각 샘플정보를 사용하여 특정 픽셀의 알파값들이 구해지면, 특정 픽셀에 알파값을 결정하기 위해 신뢰도를 계산하여, 신뢰도가 높은 알파값들을 참조하여 1차적으로 최적화된 알파값을 결정한다. 다음올, 최적화된 알파값들을 포함한 알파맵을 생성한다. 픽셀들을 샘플링하는 방법, 알파값들을 구하는 방법, 신뢰도를 구하는 방법은 이하에서 자세히 후술하기로 한다.
알파맵 보정단계(S330)에서는 1차적으로 최적화된 알파값들을 공간적, 시간적 측면에서 자연스럽게 되도록 보정하여 보정된 알파맵을 생성한다. 이는 알파맵을 보정하고자 하는 이미지프레임의 각 픽셀을 중심으로 이웃픽셀들 및 전경과 배경의 가상노드 사이에서 이루어지는 엣지의 가중치를 구하고 이를 사용하여 알파값을 보정한다. 다음으로, 알파맵이 보정되면 보정된 알파맵 시퀀스를 생성한다. 알파맵을 보정하는 구체적인 방법은 이하에서 자세히 후술하기로 한다.
알파맵 보정단계가 끝나면 전술한 바와 같이 생성된 알파맵 시퀀스를 통하여 비디오 시퀀스로부터 전경을 추출하고 다양한 배경에 합성할 수 있다.
도 4는 매팅을 수행하고자 하는 이미지프레임 내에서 픽셀을 샘플링하는 것을 나타내는 상세도이다.
도 4에 도시된 바와 같이, 이미지프레임은 전경(Foreground), 배경(Background), 미지영역(Unknown)으로 나뉘어지고, 미지영역은 전경과 배경 사이에 위치한다. 확실한 전경영역의 픽셀이 갖는 알파값은 1이되고, 확실한 배경영역의 픽셀이 갖는 알파값은 0이되며, 미지영역의 알파값은 0과 1사이의 값을 갖는다. 따라서, 미지영역의 알파값을 정확하게 추출하는 것이 중요한 이슈가 된다. 도 4에서는 미지영역의 특정 픽셀의 알파값을 구하기 위해 전경과 배경에서 후보 샘플 픽셀들을 선정하는 것을 보여준다. 이러한 샘플들은 전프레임 또는 후프레임의 전경과 배경에서도 선정할 수 있다. 예를 들어, 도 4에 도시된 바와 같이, 알파값을 구하고자하는 이미지프레임의 전경과 배경에서 각각 20개의 샘플 픽셀을 선정하고, 전프레임과 후프레임의 전경과 배경에서 각각 20개씩의 샘플 픽셀을 선정한다면, 총 60개의 전경 픽셀과 60개의 배경 픽셀들이 선정되면, 60X60 즉, 3600개의 전경과 배경 샘플쌍이 형성되고 이러한 샘플쌍으로부터 추출한 색깔 정보를 통해 알파값을 구할 수 있다. 예를들어, 알파값은 다음과 같은 수학식으로 구할 수 있다.
<수학식 6>
Figure 112009002775879-PAT00006
다음으로는, 어떤 샘플쌍을 선정하여 얻어진 알파값이 가장 적절한지가 문제된다. 이를 판단하기 위해 Robust matting 알고리즘에서 적용되는 알파값의 신뢰도측정 방법을 사용할 수 있다. 신뢰도를 구하는 방법은 전술한 <수학식 4>에 의해 계산된다.
<수학식 4>
Figure 112009002775879-PAT00007
여기서
Figure 112009002775879-PAT00008
는 전경 i번째 픽셀이고,
Figure 112009002775879-PAT00009
는 배경 j번째 픽셀이다. 신뢰도는 두 가지 텀으로 이루어져 있는데
Figure 112009002775879-PAT00010
를 거리 비율(distance ratio)이라고 하고, w(F), w(B)를 각각 전경과 배경의 가중치라고 한다. 거리비율은 상기 <수학식 1>의 선형모델에 의해 추정된 컬러값과 실제 픽셀 컬러 값의 차이를 나타내는 것이다. 이는 상기 <수학식 1>의 선형모델로 컬러값이 구해지지 않는 경우를 보정하기 위한 것이다. 거리비율은 다음과 같은 수학식에 의해 구할 수 있다.
<수학식 7>
Figure 112009002775879-PAT00011
추정되는 알파값은 선형모델에 의해 구해지므로, 알파값이 구해지는 픽셀은 배경 샘플과 전경 샘플을 연결하는 직선 상에 있는 것을 가정하는 것이다. 그러나, 실제로는 샘플을 어떻게 선택하느냐에 따라 이러한 가정은 달라질 수 있다.
도 5는 거리비율을 이용하여 신뢰도를 구하는 것을 도시하기 위한 개념도이다. 도 5에서 도시된 바와 같이, 추정된 알파값으로 구한 컬러값과 실제 컬러값의 차이가 크면 거리비율이 커진다. 도 5의 경우,
Figure 112009002775879-PAT00012
의 거리비율이
Figure 112009002775879-PAT00013
의 거리비율보다 상대적으로 크기 때문에
Figure 112009002775879-PAT00014
를 만들어낸 샘플을 선택하는 것이 유리함을 알 수 있다. 따라서, 거리비율은 신뢰도를 계산하는데 중요한 요인이라고 할 수 있다.
신뢰도를 결정하는 다른 요인으로, 전경과 배경 샘플의 근접도가 있다.
도 6은 같은 거리 비율을 가지나 다른 근접도를 갖는 샘플들의 신뢰도 차이를 보여주는 개념도이다. 도 6에 도시된 바와 같이, F1과 F2는 같은 거리비율을 갖지만, F2가 컬러 공간상에서 F1보다 배경 샘플에 근접하기 때문에 F2를 선택하는 것이 바람직하다. σ는 신뢰도값을 조절하는 상수이다.
본 발명에서는 전경과 배경의 픽셀을 샘플링 하는 것을 하나의 이미지프레임뿐만 아니라 전프레임과 후프레임(또는 전후프레임)의 전경과 배경에서도 추출하여 시간적 측면에서 알파값의 정확도를 향상시켰다. 복수의 이미지프레임으로부터 추출된 다양한 샘플쌍의 알파값과 신뢰도값을 각각 계산함으로써 공간적, 시간적 측면에서 알파값을 최적화 할 수 있다.
도 7은 알파맵 보정을 위한 2차원 커널을 도시한 개념도이다.
도 7에는, 하나의 이미지 프레임 내에 알파값을 보정하려는 픽셀과 그 이웃픽셀 그리고, 전경과 배경의 가상노드의 연결로 구성된 3X3 2차원 커널이 도시되어 있다. 커널은 하나의 이미지프레임 내에서 알파값을 주변의 이웃픽셀 및 가상노드와 관련하여 부드럽게 되도록 최적화시키기 위해 사용된다. 커널의 크기는 N X M 크기의 장방형 형태로 구성할 수도 있다.
도 8은 알파맵 보정을 위한 3차원 커널을 도시한 개념도이다.
도 8에는, 하나의 이미지 프레임 내에 알파값을 보정하려는 픽셀과 복수의 이미지프레임 내에 속하는 그 이웃픽셀 그리고, 전경과 배경의 가상노드의 연결로 구성된 3X3X3 3차원 커널이 도시되어 있다. 커널의 크기는 L X N X M 크기의 큐빅 내지는 직육면체 형태로 구성할 수도 있다.
이웃 픽셀은 2차원 커널의 경우, 하나의 이미지프레임 내에서만 존재하지만, 3차원 커널의 경우, 전후이미지프레임과의 엣지도 고려해야하므로 이웃픽셀은 전후이미지프레임 내에도 존재하게 된다.
본 발명에서는 알파값을 보정하려는 픽셀과 그 이웃 픽셀들로 이루어진 그룹을 커널이라고 정의한다. 커널의 크기는 다양하게 구성될 수 있고 커널의 크기에 따라 이웃 픽셀의 개수와 참조하는 전후이미지프레임 갯수가 달라진다.
특정 픽셀의 알파값을 보정하기 위해 각 픽셀을 그래프의 노드로 간주하고 각 노드들은 엣지 가중치(edge weight)를 갖는다. 이 엣지 가중치는 인접한 픽셀 간의 이웃 컨스트레인트(constraint)라고 할 수 있다.
또한, 전경과 배경의 가상노드 2개는 각 픽셀노드와 엣지를 형성하고, 이렇 게 형성되는 엣지들은 데이터 가중치(data weight)를 갖는다. 전경과 배경의 가상노드들은 각각, Pure Foreground와 Pure Background라고도 하는데, 이는 각각 전경과 배경 데이터의 컨스트레인트(constraint)라고 할 수 있다. 상기의 가중치들은 커널 내의 노드 간 연결을 통해 로컬하게 부드럽고 영상 노이즈에 덜 민감한 알파값들을 생성하도록 한다.
각 데이터 가중치는 다음과 같이 계산한다.
<수학식 8>
Figure 112009002775879-PAT00015
Figure 112009002775879-PAT00016
α와 f 값은 알파값 생성단계에서 추정한 초기 알파값과 신뢰도 값이고, δ는 0 또는 1을 리턴하는 Boolean 함수이다. γ는 데이터 가중치와 엣지 가중치의 균형을 맞추기 위한 상수 파라미터가 된다. 실험 시에는 0.1을 사용하였다.
본 발명에 따른 알파맵 보정을 위한 엣지 가중치를 계산하는 것을 설명하기 위해 3 X 3 X 3 크기의 커널을 예로써 제시한다. 이웃 노드간 엣지 가중치는 전술한 <수학식 2>에 의해 계산할 수 있다.
<수학식 2>
Figure 112009002775879-PAT00017
Figure 112009002775879-PAT00018
( 3 X 3 X 3 커널의 경우
Figure 112009002775879-PAT00019
는 27이 된다)
Figure 112009002775879-PAT00020
에 27을 대입한 아래 식은 3 X 3 X 3 커널에 대한 계산식이고,
Figure 112009002775879-PAT00021
는 i, j 픽셀을 포함하는 모든 3 X 3 X 3 커널에 대해 계산된 값들의 총합으로 정의된다.
Figure 112009002775879-PAT00022
는 i, j 픽셀을 포함하는 N X N X N 커널 세트를 나타내고, 그러한 커널들을 k번 반복함을 의미한다.
Figure 112009002775879-PAT00023
는 각 커널 내의 컬러 평균이고,
Figure 112009002775879-PAT00024
는 공분산이며, I는 기본행렬이다. ε은 조정 계수가 된다. 실험에서는
Figure 112009002775879-PAT00025
을 사용하였다.
알파값은 연속적이어야 한다는 전제로 실제의 컬러값에 대해 그래프 에너지를 최소화하도록 종래 기술인 하기의 수학식을 사용한다. 이를 랜덤 워크 이론이라하며 이를 설명하면 다음과 같다.
먼저, 생성한 그래프에 대해 라플라스 매트릭스를 생성한다.
<수학식 9>
Figure 112009002775879-PAT00026
(단,
Figure 112009002775879-PAT00027
)
L은 대칭적이고, 양수 값을 갖는 매트릭스로 N X N 정방형 행렬이다. 여기서 N은 모든 노드 갯수로 여기서는 불명확한 영역의 픽셀 수 + 가상노드 수 가 된다.
다음으로 L을 사용자가 알고 있는 픽셀과 가상노드를 포함하여 미지노드 Lu와 알고 있는 노드 Lk과 관련된 블럭으로 분해한다. 이는 다음 수학식과 같다.
<수학식 10>
Figure 112009002775879-PAT00028
미지영역 픽셀에 대한 확률값은 다음과 같은 수학식에 의해 구할 수 있다.
<수학식 11>
Figure 112009002775879-PAT00029
여기서, Au는 우리가 풀고자 하는 미지의 알파값의 벡터이고, Ak는 경계 조건을 인코딩하는 벡터이다. 예를 들어, '1'들과 '0'들은 알고 있는 알파값들로써 사용자가 특정한 노드들과 가상노드들의 알파값을 말한다.
Lu는 nonsingular하기 때문에, 구하고자 하는 해 Au는 항상 유일하게 존재하며, 0과 1사이의 알파값을 구할 수가 있다.
이하에서는 본 발명에 다른 바람직한 실시예에 따른 알파맵 보정 방법에 대해 개시한다. 상기에서 상술된 알파맵 보정방법들은 각각의 엣지 가중치가 물체의 움직임을 고려하지 않은 등방형 커널을 적용하였다. 본 발명의 바람직한 다른 실시예에 따르면, 물체의 움직임을 고려하여 비등방형 커널을 적용하고 더욱 부드럽고 비디오 시퀀스의 시간적 흐름을 고려한 비디오 매팅 결과를 얻을 수 있다.
도 9는 하나의 이미지프레임 내의 픽셀들에 대하여 전이미지프레임의 픽셀들과 비교한 옵티컬 플로우를 나타낸 것이고, 도 10은 3개의 인접하는 이미지프레임을 시간축에 대해 영상을 절단한 단면도이다.
도 10에 도시된 바와 같이, 알파값을 보정하고자 하는 픽셀과 그 이웃 픽셀들 간의 노드 엣지가 연결되어 있고 각 엣지의 가중치는 옵티컬 플로우를 고려하지 않는다면 전술한 계산식에 의해 가중치를 구하게 된다. 이러한, 방식은 도 10의 도면에서 알 수 있듯이 등방형 커널을 적용하여 알파맵을 보정하는 방식이다. 그러나, 옵티컬 플로우를 각 픽셀마다 구하는 경우, 옵티컬 플로우 벡터는 픽셀마다 다른 방향과 크기를 갖게 된다. 이는 3차원 이미지를 2차원 화면에 구현하기 때문에 물체의 이동을 정확하게 묘사할 수 없는 한계에서 기인한다. 따라서, 옵티컬 플로우 벡터의 에러를 보정하기 위해서 각 픽셀의 옵티컬 플로우 벡터를 로컬한 이 웃의 평균을 내서 대치한다.
본 발명에서는, 비디오 물체의 움직임을 고려하여 보다 정확한 결과를 산출하기 위하여 먼저 커널 내의 픽셀들의 옵티컬 플로우를 구하고 플로우 디스턴스(Flow distance)를 구한다. 플로우 디스턴스는 옵티컬 플로우 벡터와 연결된 엣지 벡터의 차로 구할 수 있다. 플로우 디스턴스가 큰 픽셀들은 다른 픽셀들에 비해 중심 픽셀과의 관계도가 낮은 것으로 볼 수 있고, 픽셀의 이동을 정확하게 예측하지 못한 것으로 볼 수 있다. 물체의 움직임 방향과 일치한 픽셀일 수록 보다 큰 가중치를 주는 것이 바람직하다. 따라서, 플로우 디스턴스가 큰 픽셀들이 갖는 정보 값의 영향을 줄이는 경우 보다 정확한 알파값을 구할 수 있다. 이를 위해 상기의 <수학식 5>를 사용할 수 있다.
<수학식 5>
Figure 112009002775879-PAT00030
여기서
Figure 112009002775879-PAT00031
는 플로우 디스턴스를 의미한다. 플로우 디스턴스의 역수를 곱해줌으로써, 플로우 디스턴스가 큰 픽셀과 형성하는 엣지의 가중치 값은 작아지게 된다. 상기 <수학식 5>는 하나의 실시예에 불과하며 다양한 수학식을 적용하여 비등방형 커널을 알파맵 보정에 사용할 수 있다. 상기의 비등방형 커널을 적용하여 엣지 가중치를 구하고 이를 이용하여 알파맵을 보정할 수 있다.
이상 첨부된 도면을 참조하여 본 발명의 여러 실시예를 설명하였지만, 본 발명의 권리범위를 제한하는 것이 아니며 전술한 실시예에 국한되지 않고 본 발명의 기술 사상이 허용하는 범위 내에서 다양하게 변형하여 실시할 수 있다.
도 1은 종래의 자연영상 매팅 방법을 보여주기 위한 도면이다.
도 2는 본 발명의 바람직한 일 실시예에 따른 비디오 오브젝트 매팅 시스템을 도시한 블럭도이다.
도 3은 본 발명의 바람직한 일 실시예에 따른 비디오 오브젝트 매팅 방법을 도시한 흐름도이다.
도 4는 매팅을 수행하고자 하는 이미지프레임 내에서 픽셀을 샘플링하는 것을 나타내는 상세도이다.
도 5는 거리비율을 이용하여 신뢰도를 구하는 것을 도시하기 위한 개념도이다.
도 6은 같은 거리 비율을 가지나 다른 근접도를 갖는 샘플들의 신뢰도 차이를 보여주는 개념도이다.
도 7은 알파맵 보정을 위한 2차원 커널을 도시한 개념도이다.
도 8은 알파맵 보정을 위한 3차원 커널을 도시한 개념도이다.
도 9는 하나의 이미지프레임 내의 픽셀들에 대하여 전이미지프레임의 픽셀들과 비교한 옵티컬 플로우를 나타낸 도면이다.
도 10은 3개의 인접하는 이미지프레임을 시간축에 대해 영상을 절단한 단면도이다.
<도면의 주요부분에 대한 부호의 설명>
200. 비디오 오브젝트 매팅 시스템 201. 메모리
202. 트라이맵 생성부 203. 알파맵 생성부
204. 알파맵 보정부 205. 제어부

Claims (23)

  1. 적어도 2 이상의 이미지프레임에 대하여 상기 이미지프레임을 미지영역을 포함하는 영역으로 구분하는 트라이맵(trimap) 생성단계;
    상기 적어도 2 이상의 이미지프레임 중 특정 이미지프레임 픽셀들의 알파값을 결정하기 위해, 상기 특정 이미지프레임 및 상기 특정 이미지프레임의 전후이미지프레임으로부터 복수의 샘플링 픽셀을 선택하여 알파값을 결정하고 알파맵을 생성하는 알파맵 생성단계; 및
    상기 알파맵의 알파값들을 부드럽게 보정하는 알파맵 보정단계;를 포함하는 것을 특징으로 하는 비디오 오브젝트 매팅 방법.
  2. 제1항에 있어서, 상기 알파맵 보정단계는,
    상기 특정 이미지프레임 및 상기 특정 이미지프레임의 전후이미지프레임 내에 속하는 소정 픽셀들 간의 엣지(edge)에 대하여 제1가중치를 계산하고 이를 이용하여 상기 알파맵 알파값들을 시간축으로도 부드럽게 보정하는 것을 특징으로 하는 비디오 오브젝트 매팅 방법.
  3. 제2항에 있어서,
    상기 알파맵 보정단계는 상기 소정 픽셀들과 전경 또는 배경 가상노드 간의 엣지에 대한 제2가중치를 더 계산하고 이를 이용하여 알파맵의 알파값들을 보정하 는 것을 특징으로 하는 비디오 오브젝트 매팅 방법.
  4. 제3항에 있어서,
    상기 제1가중치는 하기의 수학식을 이용하여 얻어지는 것을 특징으로 하는 비디오 오브젝트 매팅 방법.
    <수학식 2>
    Figure 112009002775879-PAT00032
  5. 제3항에 있어서,
    상기 제1가중치는 상기 소정 픽셀들의 옵티컬 플로우(optical flow)를 이용하여 계산된 플로우 디스턴스를 더 고려하여 계산하는 것을 특징으로 하는 비디오 오브젝트 매팅 방법.
  6. 제5항에 있어서,
    상기 제1가중치는 하기의 수학식을 이용하여 계산하는 것을 특징으로 하는 비디오 오브젝트 매팅 방법.
    <수학식 3>
    Figure 112009002775879-PAT00033
  7. 제1항에 있어서, 상기 이미지프레임은,
    키프레임의 트라이맵과 옵티컬 플로우를 고려하여 미지영역을 포함하는 영역으로 구분하는 것을 특징으로 하는 비디오 오브젝트 매팅 방법.
  8. 제1항에 있어서,
    트라이맵 생성단계 후, 영상 세그멘테이션을 사용하여 트라이맵을 보정하는 트라이맵 보정단계를 더 포함하는 것을 특징으로 하는 비디오 오브젝트 매팅 방법.
  9. 제1항에 있어서, 알파값의 결정은,
    상기 복수의 샘플링 픽셀로부터 복수의 알파값과 신뢰도를 구하고, 상기 신뢰도에 기반하여 최적의 알파값을 결정하는 것을 특징으로 하는 비디오 오브젝트 매팅 방법.
  10. 제9항에 있어서,
    상기 신뢰도는 하기의 수학식을 이용하여 구하는 것을 특징으로 하는 비디오 오브젝트 매팅 방법.
    <수학식 4>
    Figure 112009002775879-PAT00034
  11. 복수의 이미지프레임으로 구성된 비디오 오브젝트를 매팅하는 방법에 있어서,
    매팅하려는 이미지프레임 내에 속하는 소정의 픽셀과 이웃픽셀 및 상기 이미지프레임에 인접하는 적어도 하나 이상의 전후이미지프레임 내에 속하는 이웃픽셀간에 형성되는 엣지들의 제1가중치를 결정하는 가중치 결정 단계; 및
    상기 가중치 결정 단계의 결과값을 사용하여 상기 소정의 픽셀들의 알파값을 계산하며 전경 오브젝트를 추출하기 위한 알파맵 생성 단계를 포함하는 것을 특징으로 하는 비디오 오브젝트 매팅 방법.
  12. 제 11항에 있어서, 상기 가중치 결정 단계는,
    매팅하려는 이미지프레임 내에 속하는 소정의 픽셀 또는 이웃픽셀과 전경 또는 배경의 가상노드 간에 형성되는 모든 엣지들의 제2가중치를 결정하는 단계를 더 포함하는 것을 특징으로 하는 비디오 오브젝트 매팅 방법.
  13. 제 12항에 있어서,
    적어도 2 이상의 이미지프레임 간의 옵티컬 플로우(optical flow)를 계산하 고 이를 이용하여 플로우 디스턴스(flow distance)를 계산하는 단계;를 더 포함하고,
    상기 제1가중치는, 상기 플로우 디스턴스를 고려하여 결정하는 것을 특징으로 하는 비디오 오브젝트 매팅 방법.
  14. 제 13항에 있어서,
    상기 제1가중치는 하기의 수학식을 이용하여 얻어지는 것을 특징으로 하는 비디오 오브젝트 매팅 방법.
    <수학식 5>
    Figure 112009002775879-PAT00035
  15. 제1항 내지 제14항 중 어느 한 항의 방법을 실행하기 위한 컴퓨팅 장치를 포함하는 것을 특징으로 하는 비디오 오브젝트 매팅 시스템.
  16. 제1항 내지 제14항 중 어느 한 항의 방법을 실행하기 위한 프로그램이 기록되어 있는 것을 특징으로 하는 컴퓨터에서 판독 가능한 기록매체.
  17. 사용자로부터 입력받은 키프레임의 트라이맵을 저장하고 비디오 데이터를 이 미지프레임별로 저장하는 메모리;
    상기 키프레임의 트라이맵을 이용하여 메모리에 저장된 다른 이미지프레임들의 트라이맵을 생성하는 트라이맵 생성부;
    상기 키프레임의 트라이맵 또는 상기 생성된 트라이맵에 포함된 특정 영역의 픽셀들에 대하여, 각 픽셀의 전후이미지프레임 중 적어도 하나 이상의 프레임과 상기 특정 영역의 픽셀이 포함된 이미지프레임으로부터 복수의 픽셀을 샘플링하고, 상기 선택된 샘플링 픽셀을 이용하여 상기 특정 픽셀의 알파값을 결정하고 알파맵을 생성하는 알파맵 생성부;
    상기 특정 픽셀들에 대하여 각 픽셀의 알파값을 부드럽게 보정하는 알파맵 보정부; 및
    시스템의 전반적인 동작을 제어하고, 추출이 이루어진 영상에 대해 다른 배경에 합성하는 것을 포함한 전반적인 매팅 동작을 제어하는 제어부를 포함하는 것을 특징으로 하는 비디오 오브젝트 매팅 시스템.
  18. 제17항에 있어서, 상기 알파맵 보정부는,
    상기 특정 픽셀 및 특정 픽셀의 이웃픽셀들 간의 엣지에 대한 제1가중치를 계산하여 상기 알파값을 시간축으로도 부드럽게 보정하는 것을 특징으로 하는 비디오 오브젝트 매팅 시스템.
  19. 제18항에 있어서, 상기 알파맵 보정부는,
    적어도 2 이상의 가상 노드와의 엣지에 대한 제2가중치를 더 계산하여 상기 알파값을 부드럽게 보정하는 것을 특징으로 하는 비디오 오브젝트 매팅 시스템.
  20. 제19항에 있어서, 상기 제1가중치는,
    픽셀들의 옵티컬 플로우(optical flow)를 이용하여 계산된 플로우 디스턴스(flow distance)를 고려하여 계산하는 것을 특징으로 하는 비디오 오브젝트 매팅 시스템.
  21. 제17항에 있어서, 상기 다른 이미지프레임들의 트라이맵은,
    키프레임 트라이맵과 옵티컬 플로우를 고려하여 생성하는 것을 특징으로 하는 비디오 오브젝트 매팅 시스템.
  22. 제17항에 있어서, 상기 트라이맵 생성부는,
    영상 세그멘테이션을 사용하여 상기 키프레임의 트라이맵과 상기 생성된 트라이맵을 보정하는 것을 특징으로 하는 비디오 오브젝트 매팅 시스템.
  23. 제17항에 있어서, 상기 알파값의 결정은,
    상기 샘플링된 복수의 픽셀로부터 복수의 알파값과 신뢰도를 구하고, 상기 신뢰도에 기반하여 최적의 알파값을 결정하는 것을 특징으로 하는 비디오 오브젝트 매팅 시스템.
KR1020090003507A 2009-01-15 2009-01-15 멀티프레임을 고려한 비디오 오브젝트 매팅 시스템 및 방법 KR100987412B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020090003507A KR100987412B1 (ko) 2009-01-15 2009-01-15 멀티프레임을 고려한 비디오 오브젝트 매팅 시스템 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020090003507A KR100987412B1 (ko) 2009-01-15 2009-01-15 멀티프레임을 고려한 비디오 오브젝트 매팅 시스템 및 방법

Publications (2)

Publication Number Publication Date
KR20100084075A true KR20100084075A (ko) 2010-07-23
KR100987412B1 KR100987412B1 (ko) 2010-10-12

Family

ID=42643608

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090003507A KR100987412B1 (ko) 2009-01-15 2009-01-15 멀티프레임을 고려한 비디오 오브젝트 매팅 시스템 및 방법

Country Status (1)

Country Link
KR (1) KR100987412B1 (ko)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101437898B1 (ko) * 2012-12-05 2014-09-15 중앙대학교 산학협력단 단일 영상을 이용한 hdr 영상 생성 장치 및 방법
KR20160147374A (ko) * 2015-06-15 2016-12-23 한국전자통신연구원 전역 대조도 기반 영상 매팅을 통한 영상 내부의 관심 객체 추출 장치 및 방법
KR20170133444A (ko) * 2015-09-16 2017-12-05 구글 엘엘씨 범용의 구형 캡처 방법들
KR20200035457A (ko) * 2017-09-15 2020-04-03 텐센트 테크놀로지(센젠) 컴퍼니 리미티드 이미지 스플라이싱 방법 및 장치, 그리고 저장 매체
US10904638B2 (en) 2014-01-24 2021-01-26 Eleven Street Co., Ltd. Device and method for inserting advertisement by using frame clustering

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120237125A1 (en) * 2011-03-14 2012-09-20 Yen Hsiang Chew Isolating Background and Foreground Objects in Video
KR101259705B1 (ko) * 2011-05-04 2013-05-06 한국과학기술원 이미지 윤곽 처리 방법 및 장치
KR101561083B1 (ko) 2014-01-24 2015-10-26 에스케이플래닛 주식회사 가상간접 광고 삽입을 위한 경계값 산출 장치 및 방법

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4088819B2 (ja) * 2002-02-08 2008-05-21 ソニー株式会社 画像処理装置および方法、記録媒体、並びにプログラム
US7430339B2 (en) * 2004-08-09 2008-09-30 Microsoft Corporation Border matting by dynamic programming
US7602990B2 (en) * 2005-09-29 2009-10-13 Mitsubishi Electric Research Laboratories, Inc. Matting using camera arrays
JP2006127530A (ja) * 2005-10-31 2006-05-18 Toshiba Corp 動画像内オブジェクト抽出方法及び装置

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101437898B1 (ko) * 2012-12-05 2014-09-15 중앙대학교 산학협력단 단일 영상을 이용한 hdr 영상 생성 장치 및 방법
US10904638B2 (en) 2014-01-24 2021-01-26 Eleven Street Co., Ltd. Device and method for inserting advertisement by using frame clustering
KR20160147374A (ko) * 2015-06-15 2016-12-23 한국전자통신연구원 전역 대조도 기반 영상 매팅을 통한 영상 내부의 관심 객체 추출 장치 및 방법
KR20170133444A (ko) * 2015-09-16 2017-12-05 구글 엘엘씨 범용의 구형 캡처 방법들
KR20200035457A (ko) * 2017-09-15 2020-04-03 텐센트 테크놀로지(센젠) 컴퍼니 리미티드 이미지 스플라이싱 방법 및 장치, 그리고 저장 매체

Also Published As

Publication number Publication date
KR100987412B1 (ko) 2010-10-12

Similar Documents

Publication Publication Date Title
KR100987412B1 (ko) 멀티프레임을 고려한 비디오 오브젝트 매팅 시스템 및 방법
US11017586B2 (en) 3D motion effect from a 2D image
US8717390B2 (en) Art-directable retargeting for streaming video
KR100931311B1 (ko) 프레임 간 깊이 연속성 유지를 위한 깊이 추정 장치 및 그방법
Yu et al. Robust video stabilization by optimization in cnn weight space
KR100544677B1 (ko) 다시점 영상 및 깊이 정보를 이용한 3차원 객체 추적 장치및 그 방법
US9117310B2 (en) Virtual camera system
KR101388542B1 (ko) 모핑 애니메이션을 생성하기 위한 방법 및 장치
CN106210449B (zh) 一种多信息融合的帧率上变换运动估计方法及系统
US8373802B1 (en) Art-directable retargeting for streaming video
US7477289B2 (en) Image processing apparatus and method, and image pickup apparatus
Zhi et al. Toward dynamic image mosaic generation with robustness to parallax
JP2016085742A (ja) 前景画像分割方法及び前景画像分割装置
KR100953076B1 (ko) 객체 또는 배경 분리를 이용한 다시점 정합 방법 및 장치
WO2018053952A1 (zh) 一种基于场景样本库的影视图像深度提取方法
Bleyer et al. A stereo approach that handles the matting problem via image warping
JP2010066803A (ja) 画像処理装置および方法、並びにプログラム
Liu et al. A hybrid approach for near-range video stabilization
KR102201297B1 (ko) 다중 플로우 기반 프레임 보간 장치 및 방법
WO2009151755A2 (en) Video processing
KR20170046140A (ko) 얼굴 이미지 편집 방법 및 디바이스
KR101086274B1 (ko) 깊이정보 추출 장치 및 추출 방법
JP2011141710A (ja) 奥行推定装置、奥行推定方法および奥行推定プログラム
JP7159198B2 (ja) 奥行きマップを処理するための装置及び方法
US20060204104A1 (en) Image processing method, image processing apparatus, program and recording medium

Legal Events

Date Code Title Description
A201 Request for examination
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20090115

PA0201 Request for examination
E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20100331

Patent event code: PE09021S01D

PG1501 Laying open of application
E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20100927

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20101006

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20101006

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
FPAY Annual fee payment

Payment date: 20131002

Year of fee payment: 4

PR1001 Payment of annual fee

Payment date: 20131002

Start annual number: 4

End annual number: 4

FPAY Annual fee payment

Payment date: 20140923

Year of fee payment: 5

PR1001 Payment of annual fee

Payment date: 20140923

Start annual number: 5

End annual number: 5

FPAY Annual fee payment

Payment date: 20160105

Year of fee payment: 6

PR1001 Payment of annual fee

Payment date: 20160105

Start annual number: 6

End annual number: 6

FPAY Annual fee payment

Payment date: 20161024

Year of fee payment: 7

PR1001 Payment of annual fee

Payment date: 20161024

Start annual number: 7

End annual number: 7

FPAY Annual fee payment

Payment date: 20171011

Year of fee payment: 8

PR1001 Payment of annual fee

Payment date: 20171011

Start annual number: 8

End annual number: 8

FPAY Annual fee payment

Payment date: 20181005

Year of fee payment: 9

PR1001 Payment of annual fee

Payment date: 20181005

Start annual number: 9

End annual number: 9

FPAY Annual fee payment

Payment date: 20191205

Year of fee payment: 10

PR1001 Payment of annual fee

Payment date: 20191205

Start annual number: 10

End annual number: 10

PR1001 Payment of annual fee

Payment date: 20210201

Start annual number: 11

End annual number: 11

PR1001 Payment of annual fee

Payment date: 20211025

Start annual number: 12

End annual number: 12

PR1001 Payment of annual fee

Payment date: 20221004

Start annual number: 13

End annual number: 13

PC1903 Unpaid annual fee

Termination category: Default of registration fee

Termination date: 20240717