KR101176649B1 - 동적 프로그래밍에 의한 경계선 매팅 - Google Patents

Abstract

예를 들어, 과도한 사용자 인터렉션을 요구하지 않고서, 추출된 전경 이미지에 더 효율적이고 개선된 경계선 매팅을 제공하는 기술이 개시된다. 여기에 개시된 경계선 매팅 기술은 추출된 피사체의 경계를 따라 (예를 들어, 컬러 블리딩 및/또는 아티팩트를 제한하는) 상대적으로 연속적인 투명도(또는 알파 값)를 생성한다.

경계선 매팅, 이미지 분할, 전경, 배경, 경계, 투명도, 알파 맵

Description

동적 프로그래밍에 의한 경계선 매팅{BORDER MATTING BY DYNAMIC PROGRAMMING}

도 1은 이미지의 일부분을 추출하기 위한 예시적인 흐름도를 도시.

도 2a 내지 2c는 도 1을 참조하여 설명된 추출된 부분(106)의 섹션에 경계선 매팅을 적용한 후의 다양한 결과를 도시.

도 3은 피사체 경계를 따라 연속적인 투명도(또는 알파 값)를 생성하기 위한 예시적인 경계선 매팅 방법을 도시.

도 4a는 트라이맵으로 분할된 원래의 이미지를 도시.

도 4b는 윤곽 매개변수화 기법 및 윤곽 C에 관련된 거리 맵을 도시.

도 4c는 도 4a의 이미지에 대응하는 중심

및 폭 σ을 갖는 α-프로파일 g에 대한 소프트 단계-함수를 도시.

도 5는 사용자 정의 바이맵 또는 트라이맵에 적용된 그래프 컷을 이용하여 이미지 부분을 추출하기 위한 예시적인 방법을 도시.

도 6은 반복된 그래프 컷을 이용하여 이미지 부분을 추출하기 위한 예시적인 방법을 도시.

도 7은 전경 및 배경 속성의 결정을 위한 예시적인 방법을 도시.

도 8의 (A) 내지 (C)는 에너지 E의 예시적인 단조 감소, 및 그에 대응하는 배경 및 전경 분할을 도시.

도 9는 사용자 편집의 예시적인 결과를 도시.

도 10은 여기에 개시된 기술을 구현하는 데 사용될 수 있는 일반적인 컴퓨터 환경을 도시.

<도면의 주요 부분에 대한 부호의 설명>

102 : 이미지

104 : 영역

106 : 추출된 부분

본 발명은 일반적으로 디지털 이미지 프로세싱에 관한 것으로서, 특히 경계선 매팅(border matting)에 관한 것이다.

컴퓨터 기술이 향상됨에 따라, 더 강력한 프로세서(들) 및 더 큰 저장 유닛(들)을 갖는 컴퓨터 시스템이 점점 더 흔해지고 있다. 프로세싱 능력 및 저장 장치 크기가 성장하면서, 디지털 이미징 기술의 구현도 더 실용화되고 있다. 예를 들어, 더 높은 해상도 이미지가 더 짧은 시간동안 처리될 수 있다.

한 장의 디지털 이미지는 (예를 들어, 디지털 카메라에 의해) 직접 획득될 수도 있고, 통상적으로 필름-기반의 카메라에 의해 찍혀진 다음 나중에 (예를 들어, 스캐너에 의해) 디지털화될 수도 있다. 이미지가 디지털 포맷이면, 디지털 방 식으로 조작될 수 있다. 종종, 디지털 이미지 프로세싱의 제1 단계는 화면의 특정 부분의 선택을 포함한다. (필터링, 복사 및 붙이기와 같은) 디지털 기술이 그 선택된 부분(들)에 적용될 수 있다.

현재, 사용자 관여 정도를 변경하면서 화면으로부터 전경(foreground)을 추출하기 위해 다수의 기술이 사용된다. 그러나, 추출된 전경은 아티팩트, 및/또는 배경(background)으로부터 블리딩(bleeding)된 컬러를 포함한다. 따라서, 현재의 전경 추출 기술은 일반적으로, 중요한 사용자 인터렉션 없이는 추출된 전경에 적절히 평활한 경계선을 제공하지 못한다.

따라서, 화면의 일부분에 대해, 아티팩트, 및/또는 배경로부터 흘러 나오는 컬러를 생성하지 않고서 더 효율적이고 개선된 평활 추출을 하는 것이 필요하다.

예를 들어, 과도한 사용자 인터렉션을 요구하지 않고서, 추출된 전경 이미지에 보다 더 효율적이고 개선된 경계선 매팅을 제공하기 위한 기술이 개시된다. 여기에 개시된 경계선 매팅 기술은 {예를 들어, 컬러 블리딩(color bleeding) 및/또는 아티팩트를 제한(limiting)하는} 추출된 피사체의 경계를 따라 상대적으로 연속적인 투명도(또는 알파 값)를 생성한다.

일 구현예에서, 방법은 전경 영역 및 배경 영역을 갖는 분할된 이미지를 수신하는 단계를 포함한다. 방법은 이 두 영역 간의 경계를 따른 윤곽을 결정한다. 윤곽으로부터 확장되는 알려지지 않은 영역(즉, 알파 맵이 계산될 필요가 있는 영 역)이 결정된다. 대안적으로, 윤곽은 트라이맵으로부터 출발함으로써 결정될 수 있지만, 윤곽은 제공된 알려지지 않은 영역에서 결정된다. 알려지지 않은 영역 내의 픽셀들의 알파 맵의 하나 이상의 매개변수에 대응하는 에너지 함수가 정의된다. 에너지 함수는 알파 맵에 대한 중심 매개변수 및 폭 매개변수를 추정하기 위해 최소화된다. 그리고, 그 추정된 중심 및 폭 매개변수에 대응하는 알파 맵이 계산된다.

몇몇 구현예에서, 컴퓨터 프로그램 제품으로서 제조품이 제공된다. 컴퓨터 프로그램 제품의 일 구현예는 컴퓨터 시스템에 의해 판독가능하고 컴퓨터 프로그램을 인코딩하는 컴퓨터 프로그램 저장 매체를 제공한다. 컴퓨터 프로그램 제품의 다른 구현예는 컴퓨터 시스템에 의해 반송파로 구현되고 컴퓨터 프로그램을 인코딩하는 컴퓨터 데이터 신호로 제공될 수 있다.

컴퓨터 프로그램 제품은 컴퓨터 시스템 상에서 실행하는 컴퓨터 프로세스에 대한 컴퓨터 프로그램을 인코딩한다. 컴퓨터 프로세스는 전경 영역 및 배경 영역을 갖는 분할된 이미지를 수신한다. 프로세스는 이 두 영역 간의 경계를 따른 윤곽, 및 그 윤곽으로부터 확장되는 알려지지 않은 영역(즉, 알파 맵이 계산될 필요가 있는 영역)을 결정한다. 대안적으로, 윤곽은 트라이맵으로부터 출발함으로써 결정될 수 있지만, 윤곽은 제공된 알려지지 않은 영역에서 결정된다. 새로운 알려지지 않은 영역 내의 픽셀들의 알파 맵의 하나 이상의 매개변수에 대응하는 에너지 함수가 정의된다. 에너지 함수는 알파 맵에 대한 중심 매개변수 및 폭 매개변수를 추정하기 위해 최소화된다. 그리고, 그 추정된 중심 및 폭 매개변수에 대응하는 알파 맵이 계산된다.

다른 구현도 여기에서 개시 및 인용될 수 있다.

상세한 설명은 첨부 도면을 참조하여 설명된다. 도면에서, 참조 번호의 최-좌측의 숫자(들)는 참조 번호가 처음 나타나는 도면을 식별한다. 상이한 도면에서 동일한 참조 번호를 사용하는 것은 유사하거나 동일한 항목을 나타낸다.

다음의 설명은 일반적으로, 디지털 이미지 프로세싱을 향상시키기 위한 기술을 설명한다. 특히, 과도한 사용자 인터렉션 없이 화면의 추출된 전경 부분에 적용될 수 있는 개선된 경계선 매팅을 위한 기술을 개시한다. 또한, 여기에 개시된 기술은 이미지의 임의의 원하는 부분(예를 들어, 피사체, 전경 등)에 적용될 수 있음을 고려해야 한다.

여기에 개시된 경계선 매팅 기술은 아티팩트(예를 들어, 도 2a 내지 2b의 아티팩트를 참조)를 제한하고/제한하거나, 전경 컬러의 복구를 가능하게 하는 것{예를 들어, 배경으로부터의 컬러 블리딩을 제한(limiting)}으로 고려된다. 일 구현예에서, 경계선 매팅은 피사체 경계 주변의 알파-메트(matte), 및 전경 픽셀들의 컬러를 동시에 추정하는 데 적용되어, 평활한 객체 경계를 따른 번지고/번지거나 혼합된 픽셀의 부정적 영향을 제한할 수 있다.

개요

도 1은 이미지의 일부분을 추출하기 위한 예시적인 흐름도(100)를 도시한다. 도 1에 도시되어 있는 바와 같이, 이미지(102)는 영역(104) 내에 원하는 피사체를 포함한다. 영역(104) 내의 피사체를 추출하기 위해, 사용자는 피사체를 둘러싸도 록 사각형(또는 올가미, 다각형, 삼각형, 사다리꼴, 타원, 원 등과 같은 다른 모양)을 그림으로써 그 원하는 영역(104)을 선택할 수 있다. 이에 따라, 사용자는 일 구현예에서, 이미지(102) 상의 두 지점(즉, 시작점 및 끝점)을 정의함으로써 그 원하는 부분을 선택한다. 또한, 사용자는 관심있는 부분을 반드시 세밀하게 트레이싱(traycing)할 필요는 없다.

영역(104)이 선택되면, (예를 들어 도 5 및 도 6을 참조하여) 여기에 개시된 기술에 의해 영역(104) 내의 관심있는 피사체 또는 부분이 추출될 수 있다(106). 일 구현예에서, 추출된 부분(106)은 다른 이미지에 붙여질 수도 있고, 다르게는, (예를 들어, 필터, 컬러 변경 등을 적용함으로써) 디지털 방식으로 처리될 수도 있다.

경계선 매팅 결과의 개요

도 2a 내지 도 2c는 도 1을 참조하여 설명된 추출된 부분(106)의 섹션에 경계선 매팅을 적용한 후의 다양한 결과를 도시한다. 도 2a는 종래 기술의 녹아웃 2(Knockout 2)에 따른 경계선 매팅의 결과를 도시한다. 도 2b는 종래 기술의 베이즈 메트(Bayes Matte)에 따른 경계선 매팅의 결과를 도시한다. 도 2c는 (예를 들어, 도 3 및 도 4를 참조하여) 여기에 개시된 기술에 따른 경계선 매팅의 결과를 도시한다. 도 2c에 도시되어 있는 바와 같이, 여기에 개시된 기술은 도 2a 내지 2b의 기술들 중 어느 것보다 더 선명한 메트를 제공한다.

경계선 매팅 기술

도 3은 피사체 경계를 따른 연속적인 투명도(또는 알파 값)를 생성하기 위한 예시적인 경계선 매팅 방법(300)을 도시한다. 경계선 매팅은 또한, 피사체 경계 주변의 알파-메트(alpha-matte), 및 전경 픽셀들의 컬러를 동시에 추정하는 데 적용되어, 평활한 피사체 경계를 따른 번지고/번지거나 혼합된 픽셀의 부정적 영향을 제한할 수 있다. 이에 따라, 알파 맵은 아티팩트(예를 들어, 도 2a 내지 2b의 아티팩트를 참조)를 생성하지 않고서 추정될 수 있고/있거나, 배경으로부터의 컬러 블리딩 없이 전경 컬러를 복구하기 위해 추정될 수 있다.

도 3, 4a 및 4b를 참조할 때, 화면이 바이맵(bimap) 또는 트라이맵(trimap)으로 분할되면(302), 윤곽 C(408)는 복선(poly-line)(또는 다른 커브-피팅 기술)을 분할된 화면의 분할 경계에 맞춤으로써 결정된다(304). 바이맵은 2개의 영역, 즉, 전경(402)(T_F) 및 배경(404)(T_B)을 포함한다. 트라이맵은 알려지지 않은 영역(406)(T_U)이라고 불리는 추가적인 영역을 포함한다. 트라이맵의 경우에, 윤곽 C(408)는 알려지지 않은 영역(406)(T_U) 내에 있다. 바이맵 분할은 도 5 내지 도 8을 참조하여 더 설명될 것이며, 반복적인 하드 분할(hard segmentation)(예를 들어, 픽셀 별 분할)을 적용함으로써 획득될 수 있다.

바이맵에 있어서, 알려지지 않은 영역(406)(T_U)은 윤곽 C의 어느 한 측면 상의 폭 ±w의 픽셀의 리본 내의 픽셀들의 집합으로서 계산된다(선택적인 단계 306). 일 구현예에서, w는 6 픽셀의 폭으로 설정될 수 있다. 따라서, 이 프로시저는 전경(402)(T_F), 배경(404)(T_B) 및 알려지지 않은 영역(406)(T_U)으로 구성된 트라이맵 을 정의한다.

대안적으로, 단계(302)에 관해 언급한 바와 같이, 방법(300)은 이 트라이맵을 입력으로서 수신할 수 있다. 윤곽 C는 다수의 상이한 기술을 사용하여 예를 들어, 골격화(skeletoniozation)를 이용함으로써 계산될 수 있다.

T_U 내의 각각의 픽셀에 대한 α-맵 또는 α-프로파일 즉,

(n∈T_U)을 정의하기 위해, T_U 내의 α-맵의 모양에 대해 소수의 매개변수에 의존하는 상대적으로 단순한 모델이 가정될 수 있다. 모델의 선택적인 매개변수를 찾기 위해, 에너지 함수가 정의될 수 있다. 이 에너지 함수는 (예를 들어, 추정된 α-맵의 품질을 향상시키기 위해) 정규화를 포함할 수 있다. 동적 프로그래밍(DP) 알고리즘은 에너지 함수를 최소화하는 즉, 모델 매개변수를 계산하고 이에 따라 T_U 도처의 α를 계산하는 데 사용될 수 있다.

더 상세하게, 일 구현예에서 커브 C가 폐곡선일 때, t=1, ..., T가 주기 T로 주기적인 윤곽 C의 매개변수화라고 하자. 도 4b에 도시되어 있는 바와 같이, 인덱스 t(n)가 각각의 픽셀 n∈T_U에 할당된다. α-맵은 소프트 계단-함수(self step_function) g(도 4c):

인 것으로 취급되며, 이 때

은 픽셀 n으로부터 윤곽 C까지의 거리이다(예를 들어, 도 4b를 참조). 매개변수

, σ는 각각 α-맵에서 0으로부터 1로의 변환의 중심 및 폭을 결정한다(예를 들어, 도 4c를 참조). 동일한 인덱스 t를 갖는 모든 픽셀은 매개변수

_t, σ_t의 값을 공유한다고 가정된다. 이 매개변수 값은 t에 관한 DP를 사용하는 다음의 에너지 함수를 최소화함으로써 추정될 수 있다.

이 때,

은 다음과 같은 평활 정규화기(smoothing regularizer)이다.

평활 정규화기

의 역할은 커브 C(예를 들어,

및

을 취함)를 따라서 t가 증가함에 따라 α-값이 평활하게 변하게 촉진하는 것이다. DP 계산에 있어서,

_t의 값은 30개의 레벨로 σ_t는 10개의 레벨로 나뉘어질 수 있다. 일반적인 평활화 항

는 프로파일의 개수에서의 2차적 시간이 t에서 t+1로 이동하도록 요구할 것이지만, 식별된 정규화기는 거리 변형을 이용하는 선형 시간 알고리즘을 허용할 것이다. 윤곽 C가 폐곡선일 때, 단일-경로 DP를 이용하여서는 최소화가 정확하게 행해질 수 없고, 제1 경로가 t=T/2에 대한 최적의 프로파일을 제공한다는 가정 하에서, DP의 2개의 경로를 이용함으로써 어림잡는다.

데이터 항은 다음과 같이 정의된다.

위 방정식에서,

는 평균 μ 및 공분산

를 갖는 z에 대한 가우스 확률 밀도를 나타낸다. 위 방정식에 대한 평균 및 공분산은 다음과 같이 매팅에 대해 정의된다.

전경 및 배경에 대한 가우스 매개변수 μ_t(α),

_t(α) (α=0,1)는 F_t=S_t∩T_F 및 B_t=S_t∩T_B로서 정의된 영역 F_t 및 B_t 각각으로부터의 샘플 평균 및 공분산으로서 추정되며, 여기서, S_t는 t에서의 분할 경계 C 상의 중심에 있는 크기 L×L(예를 들어, L=41) 픽셀의 사각 영역이다. 이에 따라, 이 접근방식은 알파 값이 주어진 알려지지 않은 영역 내의 픽셀에 대한 데이터 가능성 추정(data likelihood estimation)을 제공한다.

도 3을 다시 참조하면, 상술된 바와 같이, 에너지 함수 (E)는 평활 정규화기 항(

) 및 데이터 가능성 항

(308)으로 정의된다. 정의된 에너지 함수를 최소화함으로써, α-맵에 대한 중심 및 폭 매개변수(각각,

, σ)가 추정된다(310). 추정된 매개변수는 α-맵을 계산하는 데 사용된다(312).

전경 추정

α-맵을 계산하는 것(312) 외에, 경계선 매팅 결과는 전경 픽셀 컬러를 추정(314)하여 소스 이미지의 배경으로부터 블리딩되어 들어오는 컬러를 제한 또는 제거함으로써 개선될 수 있다. 일부 종래 기술(예를 들어, 베이즈 매팅, 도 2b 참 조)에서는, 혼합된 픽셀들로부터 배경 컴포넌트를 제거(stripping)하는 것을 목표로 하지만 그렇게 정확하게 제거하지는 못하는 확률 알고리즘이 사용되기 때문에, 그러한 블리딩이 발생할 수 있다. 제거 프로세스를 수행하고 남은 것들은 컬러 블리딩으로서 나타날 수 있다. 일 구현예에서, 블리딩은 전경 T_F로부터 픽셀을 차용함으로써 회피될 수 있다. 우선, 베이즈 메트 알고리즘은 n∈T_U인 픽셀 상의 전경 컬러

의 추정치를 획득하는 데 적용될 수 있다. 그 후, (상술된) 이웃 T_t(n)으로부터,

와 가장 유사한 픽셀 컬러가 전경 컬러

을 형성하기 위해 차용된다. 정규화된 알파 계산과 전경 픽셀 차용 둘 다를 이용한 경계선 매팅의 조합된 결과는 도 2c에 도시되어 있다.

반복된 그래프 컷을 이용한 전경 추출

도 5는 사용자 정의 바이맵 또는 트라이맵에 적용된 그래프 컷을 이용하여 이미지 부분을 추출하기 위한 예시적인 방법(500)을 도시한다. 방법(500)에서, 사용자는 우선, 이미지를 바이맵 또는 트라이맵으로 분할한다(502). 일 구현예에서, (트라이맵 대신에) 바이맵을 사용하는 것은 더 적은 사용자 인터렉션을 요구함으로써 사용자를 도울 것으로 예상된다. 바이맵 분할에서, 사용자는 배경 부분 및 알려지지 않은 부분(여기에 더 설명되는 바와 같이, 각각 T_B, T_U 또는 B, 및 U)을 정의할 수 있다. 트라이맵 분할에서, 사용자는 직접 이미지의 트라이맵을 초기화할 수 있다. 트라이맵은 영역 T_B, T_U, 및 T_F를 포함하는데, 이 때 T_B 및 T_F는 각각 배 경 및 전경 부분이고, T_U는 남아있는 영역(알려지지 않은 영역)이다. 단순화를 위해, T_B, T_U, 및 T_F는 각각 여기서 B, U 및 F 영역이라고 불릴 수 있다. 사용자는 (도 1을 참조하여 설명된 바와 같이) T_B 및 T_U를 공급함으로써 바이맵을 초기화할 수 있다. 그 후, T_U 및 T_F는 초기에 동일한 값{예를 들어, 도 1의 사각형의 내부(104)}을 갖는다. 이미지 데이터는 이하에서 설명되는 바와 같이 모델링될 수 있다.

그래프 컷을 위한 에너지 지정

이미지는 각각 컬러 스페이스 내에 있는 픽셀 z_n을 포함하도록 고려된다. 컬러 스페이스는 적-녹-청(RGB) 컬러 스페이스일 수 있다. 가우스 혼합 모델(Gaussian mixture model; GMM)과 같은 확률 분포와 같은 분포가 컬러 스페이스 내의 컬러 분포를 구현하는 데 사용될 수 있다. 예를 들어, 각각의 GMM(배경에 대한 것 및 전경에 대한 것)은 K(예를 들어, K=5)개의 컴포넌트를 갖는 완전-공분산 가우스 혼합인 것으로 취급된다. 또한, (예를 들어, 단색 구현에 대해) 히스토그램이 사용될 수 있다. 분포 대신에, 한 픽셀이 특정 컬러 분포에 속할 가능성을 정의하기 위해 차별적인 방법도 사용될 수 있다. 이하에 더 설명되는 바와 같이, 다른 이미지 특징 또는 속성도 사용될 수 있다.

GMM을 쉽게 다루기 위해, 최적화 프레임워크에서, 추가 벡터 k={k₁, ..., k_n, ..., K_N}가 사용되어(k_n∈{1, ..., K}), 각각의 픽셀에게, (이미지의 하드 분할 을 표현하는) 불투명 값 α_n=0 또는 1에 따라 유일한 GMM 컴포넌트(배경 또는 전경 모델로부터의 하나의 컴포넌트)를 할당한다.

따라서, GMM 컴포넌트는 T_U 내의 각각의 n에 대한 픽셀에 할당될 수 있다.

도 5를 참조하여, 전경 및 배경 분포의 속성이 결정된다(504). 이 속성은 직접, 502에서 사용자에 의해 정의된 전경 및/또는 배경 부분에 관한 정보를 포함할 수 있다. 컬러, 블러 등과 같은 다수의 상이한 특징이 속성으로서 사용될 수 있음을 고려해야 한다. 일 구현예에서, GMM 매개변수는 이하에 설명되는 바와 같이 데이터 z로부터 학습된다.

분할에 대한 Gibb 에너지는 다음과 같이 정의될 수 있다(506).

여기서, 매개변수

는 {예를 들어, 단계(504)에서 학습된} 이미지 전경 및 배경 분포를 나타내고, V는 컬러 스페이스에서 유클리드 거리에 의해 계산된 대조 항을 이용한 평활 항이고, U는 매개변수

가 주어지고 컬러 GMM 모델을 고려할 때 불투명 분포

의 데이터 z으로의 맞춤을 평가하는 것으로서, 다음과 같다.

여기서,

이고,

는 가우스 확률 분포이며,

는 혼합 가중 계수이어서, (상수까지) 다음이 성립되도록 한다.

따라서, 모델의 매개변수는

이다(따라서, 배경 및 전경 분포에 대한 2K 가우스 컴포넌트의 가중치 π, 평균 μ 및 공분산

). 평활 항 V항은 다음과 같이 계산된다(대조 항은 컬러 스페이스 내의 유클리드 거리를 이용하여 계산됨).

여기서, C는 이웃하는 픽셀의 쌍의 집합이다. 상수 β=0일 때, 평활 항은 단순히 잘 알려진 아이싱 프라이어(Ising Prior)이며, 모든 곳에서 상수

에 의해 결정된 정도까지의 평활을 촉진한다. 일 구현예에서, β는 높은 대조의 영역에서 평활 성향을 완화하기 위해 0보다 더 클 수 있다. 상수 β는

으로서 선택될 수 있는데,

는 이미지 샘플에 대한 기대치를 나타낸다. 일 구현예에서, β의 그러한 선택은 V 내의 지수 항이 높은 컨트라스트와 낮은 컨트라스트 사이에서 적절히 스위치되는 것을 보장한다.

상술된 에너지 모델 측면에서, 분할은 글로벌 최소치로서 추정될 수 있다.

따라서, 최소화는 표준 최소치 컷 알고리즘을 이용하여 행해질 수 있다. 일 구현예에서, 단일-샷 최소치 컷 추정 알고리즘은 (다음의 섹션에서 설명되는 바와 같이) 추정과 매개변수 학습 사이에서 교대하는 반복적 기술에 의해 대체된다. 방법(500)은 전경과 배경 부분(508)을 계산함으로써 진행되며, 이것은 에너지 최소화의 결과

이다. 트라이맵 영역 T_B 내의 모든 픽셀은 배경에 할당되고, T_F 내의 모든 픽셀은 전경에 할당된다. T_U 내의 픽셀은 결과

에 따라 전경 또는 배경에 할당된다.

반복적 에너지 최소화에 의한 분할

도 6은 반복된 그래프 컷을 이용하여 이미지 부분을 추출하기 위한 예시적인 방법(600)을 도시한다. 방법(600)으로의 입력(602)은 도 5를 참조하여 설명된 것과 같은 배경 부분과 전경 부분 및 속성, 및 사용자에 의해 정의된 바이맵 또는 트라이맵이다. 전경 및 배경 부분은 (예를 들어, 도 5의 단계 508에 의해 계산된 부분에 기초하여) 전경 및 배경 속성을 업데이트하는 데 사용된다(604). 이 업데이트 프로세스는 이하에서 더 설명된다. 이하에서 더 설명되는 바와 같이, 전경 및 배경 속성은 또한, (초기에 계산된 배경 및 전경 부분보다도) 업데이트된 전경 및 배경 부분에 기초하여 업데이트될 수 있다.

전경 및 배경 부분은 업데이트된 전경 및 배경 부분(604)에 기초하여 업데이 트된다(606). 예를 들어, 업데이트는 최소치 컷 알고리즘(예를 들어, 도 5를 참조하여 설명된 단일-샷 버전 또는 반복적 버전)에 의해 행해질 수 있다. 이 프로세스는 새로운 전경 또는 배경 레이블이 추측되는 알려지지 않은 영역 U를 결정하기 위해 초기의 사용자 정의 바이맵 또는 트라이맵을 사용한다. 사용자 인터렉션의 경우(이하 참조), 사용자에 의해 편집되었던 새로운 바이맵 또는 트라이맵이 사용된다.

방법(600)은 수렴(convergence)이 달성된(608) 것으로 결정될 때까지 단계 604 내지 606을 반복한다. 일 구현예에서, (도 10을 참조하여 설명된 것과 같은) 컴퓨터 프로그램은 (예를 들어, 임계치를 설정함으로써) 수렴이 달성되었는지의 여부를 결정한다. 수렴이 달성된 것으로 결정되면, 전경 및/또는 배경 부분(들)이 출력된다(610). 따라서, 방법(600)은 일 구현예에서 전경 및 배경 속성, 및 전경 및 배경 부분을 반복적으로 업데이트함으로써 이미지의 원하는 부분을 제공한다.

일 구현예에서, 방법(600)의 구조는 적절한 수렴 속성(즉, 로컬 최소치로의 수렴 속성)을 보증한다. 이것은 반복적 최소화의 단계(604 내지 606) 각각이 차례로 변수 k,

,

의 3개의 집합에 관한 총 에너지 E의 최소화로 보여질 수 있기 때문이다. 따라서, E는 단조 감소하고, 이것은 이하에 더 설명되는 도 8에서 실제로 도시된다.

반복적인 최소화는 단일-샷 그래프 컷 접근방식과 비교할 때, 분할 태스크를 완료하는 데 필요한 사용자 인터렉션의 양을 감소시킬 수 있을 것으로 예상된다. 이것은 2가지 방법에서 명백하다. 첫째로, 원하는 사용자 편집의 각도는 초기화 및 최적화 후에 감소된다. 둘째로, 초기의 인터렉션은 예를 들어, 이하에 설명되는 바와 같이 사용자에 의한 불완전한 레이블링을 허용함으로써 더 단순화될 수 있다.

요약하면, 초기의 트라이맵의 T_U 영역으로부터 새로 레이블링된 픽셀이 상술된 컬러 GMM 매개변수

를 정련하는 데 사용될 때, 반복적인 에너지 최소화는 불투명도

즉, 전경 및 배경 부분의 자동 정련을 허용한다.

전경 및 배경 속성의 모델링 및 업데이트

속성

도 7은 (도 5의 단계 504를 참조하여 설명된) 전경 및 배경 속성의 결정을 위한 예시적인 방법(700)을 도시한다. (도 5를 참조하여 설명된) 바이맵 또는 트라이맵의 초기화 후에, 모델 컴포넌트 k_n∈{1, ..., K}는 각각의 픽셀 n에 할당된다(702). 단계(702)는 각각의 픽셀 n에 대한 k_n 값의 단순한 열거{즉,

}로 행해질 수 있다.

모델링 매개변수의 집합(예를 들어, 가우스)은 데이터 z로부터 결정된다(704).

단계(704)는 다음과 같은 가우스 매개변수 추정 프로시저의 집합{이것은 기대값 최대화(Expectation Maximization; EM)로도 알려져 있음}으로서 구현될 수 있 다. 예를 들어, 전경 모델 내의 주어진 GMM 컴포넌트 k에 대해, 픽셀의 부분집합 F(k)={z_n:k_n = k 및 α_n = l}이 정의된다. 평균 μ(α,k) 및 공분산

(α,k)는 표준 방식으로 F(k) 내의 픽셀 값의 샘플 평균 및 공분산으로서 추정되고, 가중치는

으로서 추정된다.

이 때, |S|는 집합 S의 크기를 나타낸다.

모델 매개변수를 계산한 후에, 픽셀은 모델 컴포넌트 k_n∈{1, ..., K}에 재할당될 수 있다. 일 구현예에서, 단계(702 및 704)는 수렴(706)이 달성될 때까지 반복된다. 따라서, 이 방법은 일 구현예에서 로컬 최소치로 수렴하는 것으로 보증된다.

방법(700)의 출력(708)은 모델 매개변수(즉, 전경 또는 배경의 속성)이다. 이 반복적인 알고리즘은 일 구현예에서 전경 및 배경에 대한 속성을 획득하기 위해 별도로 수행된다.

반복적인 최소화의 수렴

도 8의 A는 에너지 E에서의 예시적인 단조 감소, 및 그에 대응하는 배경 및 전경 분할을 도시한다. 도 8의 B는 초기화시에, 도 8의 C는 수렴 후에, RGB 컬러 스페이스 내의 GMM이다(R, G를 나타낸 부가 도면). k=5개의 혼합 컴포넌트가 배경(예를 들어, 802) 및 전경(예를 들어, 804) 둘 다에 대해 사용되었다. 초기에(도 8의 B), 두 GMM이 크게 오버랩되었지만, 수렴(도 8의 C) 후에는 전경/배경 레이블 링이 더 정확해졌기 때문에, GMM들이 더 잘 분할된다.

사용자 인터렉션 및 불완전한 트라이맵

반복적인 최소화 방법(700)은 사용자 인터렉션의 융통성(versatility)의 증가를 허용한다. 특히, 불완전한 레이블링이 실행가능해지며, 여기에서 사용자는 (도 5의 단계 502를 참조하여 설명된 바와 같이) 완전한 트라이맵 T 대신에, T_F=0으로 남겨두고 배경 영역 T_B만을 지정하면 된다(즉, 바이맵). 어떤 어려운 전경 레이블링도 요구되지 않는다.

일 구현예에서, 반복적인 최소화(도 7)는 나중에 상술되는 바와 같이 순차적으로 재추적될 수 있는 몇몇 픽셀들 상에 임시 레이블을 허용함으로써 이 불완전성을 처리한다.

추가적인 사용자 편집

초기의 불완전한 사용자-레이블링은 종종, 전체 분할이 자동으로 완성되게 하는 데 충분한 것으로 예상된다. 다르게는, 예를 들어, 픽셀들을 브러싱(brushing)하여 그것들을 확정적 전경 또는 확정적 배경으로 제약함으로써 추가적인 사용자 편집이 수행될 수 있다. 브러싱 후에, 도 5에서와 같은 단일-샷 분할이 적용될 수 있다. 또한, 사용자 편집에 후속하여 컬러 모델도 업데이트하는 선택적인 "정련(refine)" 동작이 적용될 수 있다. 이것은 도 6에 관해 설명된 반복된 그래프 컷이 적용된다는 것을 의미한다. 이것은 편집 동작의 효과를 몇몇 구현예에서 이득이 될 수 있는 방법으로 전파한다. 또한, 지능적인 가위(intelligent scissors)[활선(live wire) 또는 자기 올가미(magnetic lasso)라고도 불림]와 같은 기존의 도구로 분할이 변경될 수 있을 것으로 예상된다.

몇몇 구현예에서, 사용자 편집은 피사체 추출을 개선하는 데 적용될 수 있다. 예를 들어, 사용자 편집은 (1)전경에서 배경으로의 변환에서 낮은 콘트라스트의 영역이 존재하는 경우, (2) 실제 전경 및 배경 분포가 컬러 스페이스에서 부분적으로 오버랩되는 위장 상황(camouflage situation)에서; 또는 (3) 선택된 사용자 사각형 내부의 배경 물질이 배경 영역 내에 적절히 나타나지 않을 때 적용될 수 있다.

하나의 예시적인 경우가 도 9에서 나타난다. 초기의 사용자 인터렉션 및 분할(각각 902 및 904) 후에, 추가적인 사용자 편집(906)이 원하는 결과(908)를 제공한다. 일 구현예에서, 잘못 레이블링된 영역(906)의 일부분만을 대충 브러싱하는 것은 충분하다. 브러싱 후에, 원하는 결과를 달성하기 위해 추정 단계(706) 즉, 올바르지 않게 레이블링된 영역에 대해 (906으로부터) 적절히 브러싱된 레이블을 전파하는 것이 적용될 수 있다.

하드웨어 구현

도 10은 여기에 설명된 기술을 구현하는 데 사용될 수 있는 일반적인 컴퓨터 환경(1000)을 도시한다. 예를 들어, 컴퓨터 환경(1000)은 이전의 도면을 참조하여 설명된 태스크를 수행하는 것과 관련된 명령어들을 실행시키는 데 사용될 수 있다. 컴퓨터 환경(1000)은 컴퓨팅 환경의 일례일 뿐이며, 컴퓨터 및 네트워크 아키텍처의 사용 또는 기능의 범주에 관한 어떤 제한도 제시하려는 것이 아니다. 컴퓨터 환경(1000)은 예시적인 컴퓨터 환경(1000)에 도시된 임의의 하나의 컴포넌트 또는 그 조합에 관하여 어떤 의존성 또는 요구사항을 갖는 것으로 해석되어서는 안된다.

컴퓨터 환경(1000)은 컴퓨터(1002) 형태의 범용 컴퓨팅 장치를 포함한다. 컴퓨터(1002)의 컴포넌트는 (선택적으로 암호 프로세서 또는 상호-프로세서를 포함한) 하나 이상의 프로세서 또는 프로세싱 유닛(1004), 시스템 메모리(1006), 및 프로세서(1004)를 비롯한 여러 시스템 컴포넌트들을 시스템 메모리(1006)에 연결하는 시스템 버스(1008)를 포함하지만, 이것으로 제한되지 않는다.

시스템 버스(1008)는 메모리 버스 또는 메모리 제어기, 주변장치 버스, 가속된 그래픽 포트, 및 여러 버스 아키텍처들 중 임의의 것을 사용하는 프로세서 또는 로컬 버스를 포함한 여러 타입의 버스 구조들 중 하나 이상의 임의의 것을 나타낸다. 예를 들어, 그러한 아키텍처로는 ISA(Industry Standard Architecture) 버스, MCA(Micro Channel Architecture) 버스, EISA(Enhanced ISA) 버스, VESA(Video Electronics Standards Association) 로컬 버스, 및 메자닌 버스로도 알려진 PCI(Peripheral Component Interconnect) 버스가 있을 수 있다.

컴퓨터(1002)는 일반적으로 여러 컴퓨터-판독가능 매체를 포함한다. 그러한 매체는 컴퓨터(1002)에 의해 액세스가능한 임의의 사용가능한 매체일 수 있고, 활성 및 비활성 매체, 분리형 및 비분리형 매체 둘 다를 포함한다.

시스템 메모리(1006)는 랜덤 액세스 메모리(RAM)(1010)와 같은 휘발성 메모리, 및/또는 판독 전용 메모리(ROM)(1012)와 같은 비휘발성 메모리 형태의 컴퓨터-판독가능 매체를 포함한다. 시작 동안 등에 컴퓨터(1002) 내의 요소들 사이에서 정보를 전송하는 것을 돕는 기본 루틴을 포함하는 기본 입/출력 시스템(BIOS)(1014)은 ROM(1012)에 저장된다. RAM(1010)은 일반적으로, 프로세싱 유닛(1004)에 즉시 액세스가능하고/액세스가능하거나 프로세싱 유닛(1004)에 의해 현재 동작되고 있는 데이터 및/또는 프로그램 모듈을 포함한다.

컴퓨터(1002)는 다른 분리형/비분리형, 휘발성/비휘발성 컴퓨터 저장 매체도 포함할 수 있다. 예를 들어, 도 10은 비분리형, 비휘발성 자기 매체(도시되지 않은)로부터 판독하고 그곳에 기록하기 위한 하드 디스크 드라이브(1016), 분리형, 비휘발성 자기 디스크(1020)(예를 들어, "플로피 디스크")로부터 판독하고 그곳에 기록하기 위한 자기 디스크 드라이브(1018), 및 CD-ROM, DVD-ROM 또는 다른 광 매체와 같은 분리형 비휘발성 광 디스크(1024)로부터 판독하고/판독하거나 그곳에 기록하기 위한 광 디스크 드라이브(1022)를 도시한다. 하드 디스크 드라이브(1016), 자기 디스크 드라이브(1018) 및 광 디스크 드라이브(1022)는 각각 하나 이상의 데이터 미디어 인터페이스(1026)에 의해 시스템 버스(1008)에 접속된다. 다르게는, 하드 디스크 드라이브(1016), 자기 디스크 드라이브(1018) 및 광 디스크 드라이브(1022)는 하나 이상의 인터페이스(도시되지 않음)에 의해 시스템 버스(1008)에 접속될 수 있다.

디스크 드라이브 및 그에 관련된 컴퓨터-판독가능 매체는 컴퓨터-판독가능 명령어, 데이터 구조, 프로그램 모듈 및 다른 데이터의 비휘발성 저장 장치를 컴퓨터(1002)에 제공한다. 이 예는 하드 디스크(1016), 분리형 자기 디스크(1020) 및 분리형 광 디스크(1024)를 도시하고 있지만, 자기 카세트 또는 다른 자기 저장 장 치, 플래시 메모리 카드, CD-ROM, DVD 또는 다른 광 저장장치, 랜덤 액세스 메모리(RAM), 판독 전용 메모리(ROM), 전자적으로 소거가능한 프로그램가능형 판독-전용 메모리(EEPROM) 등과 같이 컴퓨터에 의해 액세스될 수 있는 데이터를 저장할 수 있는 여러 타입의 컴퓨터-판독가능 매체도 예시적인 컴퓨팅 시스템 및 환경을 구현하는 데 사용될 수 있음을 이해해야 한다.

예를 들어, 오퍼레이팅 시스템(1026), 하나 이상의 어플리케이션 프로그램(1028), 다른 프로그램 모듈(1030) 및 프로그램 데이터(1032)를 포함한 임의의 수의 프로그램 모듈은 하드 디스크(1016), 자기 디스크(1020), 광 디스크(1024), ROM(1012) 및/또는 RAM(1010) 상에 저장될 수 있다. 그러한 오퍼레이팅 시스템(1026), 하나 이상의 어플리케이션 프로그램(1028), 다른 프로그램 모듈(1030) 및 프로그램 데이터(1032) (또는 그것의 임의의 조합) 각각은 분산 파일 시스템을 지원하는 상주 컴포넌트의 전부 또는 일부를 구현할 수 있다.

사용자는 키보드(1034) 및 포인팅 장치(1036)(예를 들어, "마우스")와 같은 입력 장치를 통해 명령 및 정보를 컴퓨터(1002)에 입력할 수 있다. 다른 입력 장치(1038)(구체적으로 도시되지 않음)로는 마이크로폰, 조이스틱, 게임 패드, 위성 접시, 직렬 포트, 스캐너 등이 있을 수 있다. 이러한 입력 장치 및 그 외의 입력 장치는 시스템 버스(1008)에 연결되어 있는 입/출력 인터페이스(1040)를 통해 프로세싱 유닛(1004)에 접속되지만, 병렬 포트, 게임 포트 또는 USB(universal serial bus)와 같은 다른 인터페이스 및 버스 구조에 의해 접속될 수 있다.

모니터(1042) 또는 다른 타입의 디스플레이 장치도 비디오 어댑터(1044)와 같은 인터페이스를 통해 시스템 버스(1008)에 접속될 수 있다. 모니터(1042) 외에, 다른 출력 주변 장치로는 입/출력 인터페이스(1040)를 통해 컴퓨터(1002)에 접속될 수 있는 스피커(도시되지 않음) 및 프린터(1046)와 같은 컴포넌트가 있을 수 있다.

컴퓨터(1002)는 원격 컴퓨팅 장치(1048)와 같은 하나 이상의 원격 컴퓨터로의 논리적 접속을 이용한 네트워크 환경에서 동작할 수 있다. 예를 들어, 원격 컴퓨팅 장치(1048)는 개인용 컴퓨터, 휴대용 컴퓨터, 서버, 라우터, 네트워크 컴퓨터, 피어 장치 또는 다른 공통 네트워크 노드, 게임 콘솔 등일 수 있다. 원격 컴퓨터 장치(1048)는 컴퓨터(1002)에 관하여 여기에 설명된 요소 및 특징들 다수 또는 전부를 포함할 수 있는 휴대형 컴퓨터로서 설명된다.

컴퓨터(1002)와 원격 컴퓨터(1048) 간의 논리적 접속은 근거리 네트워크(LAN)(1050) 및 광역 네트워크(WAN)(1052)로서 나타난다. 그러한 네트워킹 환경은 사무실, 기업형 컴퓨터 네트워크, 인트라넷 및 인터넷에서 흔하다.

LAN 네트워크 환경에서 구현될 때, 컴퓨터(1002)는 네트워크 인터페이스 또는 어댑터(1054)를 통해 로컬 네트워크(1050)에 접속된다. WAN 네트워크 환경에서 구현될 때, 컴퓨터(1002)는 일반적으로 광역 네트워크(1052)를 통한 통신을 설립하기 위한 모뎀(1056) 또는 다른 수단을 포함한다. 컴퓨터(1002)에 대해 내장형 또는 외장형일 수 있는 모뎀(1056)은 입/출력 인터페이스(1040) 또는 다른 적절한 메커니즘을 통해 시스템 버스(1008)에 접속될 수 있다. 설명된 네트워크 접속은 예시적인 것이며, 컴퓨터들(1002 및 1048) 간의 통신 링크(들)를 설립하는 다른 수단 이 채용될 수 있음을 이해해야 한다.

컴퓨팅 환경(1000)과 함께 설명된 것과 같은 네트워크 환경에서, 컴퓨터(1002)에 관해 도시된 프로그램 모듈들 또는 그 일부분은 원격 메모리 저장 장치에 저장될 수 있다. 예를 들어, 원격 어플리케이션 프로그램(1058)은 원격 컴퓨터(1048)의 메모리 장치 상에 상주한다. 설명을 위해, 어플리케이션 프로그램, 및 오퍼레이팅 시스템과 같은 다른 실행가능한 프로그램 컴포넌트는 컴퓨팅 장치(1002)의 상이한 저장 컴포넌트들 내에 여러번 상주하고 컴퓨터의 데이터 프로세스(들)에 의해 실행되는 것으로 인식되지만, 여기에서 그러한 프로그램 및 컴포넌트는 별개의 블록으로서 도시된다.

하나 이상의 컴퓨터 또는 다른 장치에 의해 실행되는 프로그램 모듈과 같은 여러 모듈 및 기술은 여기에서 컴퓨터-실행가능 명령어의 일반 문맥에서 설명될 수 있다. 일반적으로, 프로그램 모듈은 특정 태스크를 수행하거나 특정 추상 데이터 타입을 구현하는 루틴, 프로그램, 오브젝트, 컴포넌트, 데이터 구조 등을 포함한다. 일반적으로, 프로그램 모듈의 기능은 여러 구현예에서 요구되는 대로 결합 또는 분산될 수 있다.

이러한 모듈 및 기술의 구현은 임의의 형태의 컴퓨터-판독가능 매체 상에 저장되거나 그것을 통해 전송될 수 있다. 컴퓨터-판독가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 사용가능한 매체일 수 있다. 예를 들어, 컴퓨터-판독가능 매체는 "컴퓨터 저장 매체" 및 "통신 매체"를 포함할 수 있지만, 이것으로 제한되지 않는다.

"컴퓨터 저장 매체"는 컴퓨터-판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 다른 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 포함한다. 컴퓨터 저장 매체로는, RAM, ROM, EEPROM, 플래시 메모리 또는 다른 메모리 기술, CD-ROM, DVD(digital versatile disk) 또는 다른 광 저장장치, 자기 카세트, 자기 테이프, 자기 디스크 저장장치 또는 다른 자기 저장 장치, 또는 원하는 정보를 저장하는 데 사용될 수 있고 컴퓨터에 의해 액세스될 수 있는 임의의 다른 매체가 있지만, 이것으로 제한되는 것은 아니다.

"통신 매체"는 일반적으로 컴퓨터-판독가능 명령어, 데이터 구조, 프로그램 모듈, 또는 반송파 또는 다른 전송 메커니즘과 같은 변조된 데이터 신호 내의 다른 데이터를 포함한다. 통신 매체는 임의의 정보 전달 매체도 포함한다. "변조된 데이터 신호"라는 용어는 정보를 신호에 인코딩하는 방식으로 설정 또는 변경된 특징들 중 하나 이상을 갖는 신호를 의미한다. 예를 들어, 통신 매체는 유선 네트워크 또는 직접-유선 접속과 같은 유선 매체, 및 음향, 무선 주파수(RF), 적외선(IR), Wi-Fi(예를 들어, IEEE 802.11b 무선 네트워킹), 셀룰러, 블루투스 가능형 및 다른 무선 매체와 같은 무선 매체를 포함하지만, 이것으로 제한되지 않는다. 상술된 것의 임의의 조합도 컴퓨터-판독가능 매체의 범주 내에 포함된다.

결론

본 발명은 구조적 특징 및/또는 방법론적 동작에 특정적인 언어로 설명되었지만, 첨부된 청구범위에서 정의된 본 발명은 설명된 특정 특징 또는 동작으로 반 드시 제한되는 것은 아님을 이해해야 한다. 따라서, 특정 특징 및 동작은 주장된 본 발명을 구현하는 예시적인 형태로서 개시된 것이다.

과도한 사용자 인터렉션 없이 화면의 추출된 전경 부분에 적용될 수 있는 개선된 경계선 매팅을 위한 기술을 제공한다.

Claims (28)

1. 분할된 이미지(segmented image)의 전경(foreground) 영역과 배경(background) 영역 간의 경계를 따른 윤곽(contour)을 결정하는 단계;

   알려지지 않은 영역(an unknown region) 내에 있는 픽셀의 알파 맵(alpha map)에 대한 중심 매개변수 및 폭 매개변수를 에너지 함수의 최소화를 통해 추정하는 단계 - 상기 알려지지 않은 영역은 상기 윤곽으로부터 확장되는 영역이고, 상기 에너지 함수는 상기 알파 맵의 하나 이상의 매개변수에 대응하는 함수임 - ; 및

   추정된 상기 중심 매개변수 및 상기 폭 매개변수에 대응하는 상기 알파 맵을 계산하는 단계

   를 포함하는 경계선 매팅(matting) 방법.
2. 제1항에 있어서,

   상기 이미지는 바이맵(bimap) 또는 트라이맵(trimap)으로서 분할되는,

   경계선 매팅 방법.
3. 제1항에 있어서,

   상기 알려지지 않은 영역은 트라이맵에 의해 정의되는,

   경계선 매팅 방법.
4. 제1항에 있어서,

   상기 에너지 함수는 평활 정규화기 항(smoothing regularizer term) 및 데이터 가능성 항(data likelihood term)을 포함하는 그룹으로부터 선택된 하나 이상의 항을 갖는,

   경계선 매팅 방법.
5. 제1항에 있어서,

   상기 윤곽은 상기 분할된 이미지의 분할 경계(segmentation boundary)에 적용되는 커브-피팅 기술(curve-fitting technique)에 의해 결정되는,

   경계선 매팅 방법.
6. 제1항에 있어서,

   상기 윤곽은 복선(poly-line)을 상기 분할된 이미지의 분할 경계에 맞춤으로써 결정되는,

   경계선 매팅 방법.
7. 제1항에 있어서,

   상기 분할된 이미지는 하드 분할(hard segmentation)에 의해 제공되는,

   경계선 매팅 방법.
8. 제1항에 있어서,

   상기 에너지 함수의 최소화는 동적 프로그래밍에 의해 수행되는,

   경계선 매팅 방법.
9. 제1항에 있어서,

   이미지 분할은 사용자에 의해 정의되는,

   경계선 매팅 방법.
10. 제1항에 있어서,

    바이맵 분할된 이미지에 대하여, 상기 윤곽으로부터 확장되는 알려지지 않은 영역을 결정하는 단계를 더 포함하는

    경계선 매팅 방법.
11. 제1항에 있어서,

    상기 배경 영역으로부터 블리딩되어 들어오는 컬러를 제한(limiting)하기 위해 하나 이상의 전경 픽셀 컬러를 추정하는 단계를 더 포함하는

    경계선 매팅 방법.
12. 제1항에 있어서,

    상기 배경 영역으로부터 블리딩되어 들어오는 컬러를 제한하기 위해 하나 이상의 전경 픽셀 컬러를 추정하는 단계를 더 포함하고,

    상기 전경 픽셀 컬러를 추정하는 단계는,

    제1 픽셀의 전경 컬러의 추정치를 획득하기 위해 베이즈 메트(Bayes matte)를 적용하는 단계; 및

    상기 제1 픽셀에 인접하고 상기 제1 픽셀의 추정된 전경 컬러와 컬러 면에서 가장 유사한 제2 전경 픽셀로부터 픽셀 컬러를 차용하는 단계

    를 포함하는,

    경계선 매팅 방법.
13. 제1항에 있어서,

    상기 분할된 이미지는 바이맵 분할 이미지이고, 상기 윤곽은 상기 전경 영역의 경계를 따르는,

    경계선 매팅 방법.
14. 제1항에 있어서,

    상기 윤곽은 주기(t)를 가지고,

    상기 에너지 함수는 평활 정규화기 항(a smoothing regularizer term)을 가지며,

    상기 평활 정규화기 항은 상기 주기의 함수로서 상기 중심 매개변수의 가중 변동(a weighted variation) 및 상기 폭 매개변수의 가중 변동을 기초로 하는,

    경계선 매팅 방법.
15. 제1항에 있어서,

    상기 에너지 함수는 데이터 가능성 항(a data likelihood term)을 가지고,

    상기 데이터 가능성 항은 소정의 픽셀의 미리 정해진 알파 값에 대한 가우스 확률 밀도를 기초로 하는,

    경계선 매팅 방법.
16. 제1항에 있어서,

    상기 알파 맵을 계산하는 단계는 상기 추정된 중심 매개변수(

    

    ) 및 상기 추정된 폭 매개변수(σ)를 기초로 계산되는,

    경계선 매팅 방법.
17. 제1항에 있어서,

    상기 알파 맵을 계산하는 단계는 상기 추정된 중심 매개변수(

    

    ), 상기 추정된 폭 매개변수(σ), 및 상기 윤곽(C)을 기초로 계산되는 것이고,

    상기 알파 맵을 계산하는 단계는 알파 값이 상기 윤곽에서 상기 추정된 중심 매개변수를 더하고 추정된 매개변수를 뺀(C+

    

    -σ) 위치에서 완전히 투명한 값을 나타내는 알파 값으로부터 상기 윤곽에서 상기 추정된 중심 매개변수를 더하고 추정된 매개변수를 더한(C+

    

    +σ) 위치에서 완전히 불투명한 값을 나타내는 알파 값으로 변하는 결과를 가지도록 계산되는,

    경계선 매팅 방법.
18. 제1항에 있어서,

    상기 에너지 함수는 평활 정규화기 항 및 데이터 가능성 항을 가지며,

    상기 평활 정규화기 항은 상기 중심 매개변수의 가중 변동(a weighted variation) 및 상기 폭 매개변수의 가중 변동을 기초로 하고,

    상기 데이터 가능성 항은 소정의 픽셀의 미리 정해진 알파 값에 대한 가우스 확률 밀도를 기초로 하는,

    경계선 매팅 방법.
19. 컴퓨터로 하여금 제1항 내지 제17항 중 어느 한 항을 따르는 경계선 매팅 방법을 실행시키도록 하는 하나 이상의 프로그램을 저장한 컴퓨터-저장 매체.
20. 삭제
21. 삭제
22. 삭제
23. 삭제
24. 삭제
25. 삭제
26. 삭제
27. 삭제
28. 삭제

Images