KR102075088B1

KR102075088B1 - 객체 추출 장치 및 방법

Info

Publication number: KR102075088B1
Application number: KR1020160034078A
Authority: KR
Inventors: 김재환
Original assignee: 한국전자통신연구원
Priority date: 2016-03-22
Filing date: 2016-03-22
Publication date: 2020-02-10
Also published as: KR20170109898A; US10062170B2; US20170278246A1

Abstract

본 발명의 일 실시 예에 따른 객체 추출 장치는 이미지를 수신하는 이미지 수신부, 이미지에 상응하는 전역 중요맵과 지정된 가중치의 곱과 지역 중요맵의 합인 커플 중요맵을 생성하는 커플 중요맵 생성기, 커플 중요맵에 대응하는 적응 트라이맵을 생성하는 적응 트라이맵 생성기, 적응 트라이맵에 따라 알파 매트를 생성하는 알파 매트 생성기 및 상기 알파 매트의 투명도에 따라 객체를 추출하여 객체 이미지를 생성하는 객체 검출기를 포함한다.

Description

객체 추출 장치 및 방법{APPARATUS AND METHOD FOR EXTRACTING OBJECT}

본 발명은 이미지에 포함된 객체를 추출하는 기술에 관한 것으로, 보다 구체적으로는 커플 중요맵(coupled saliency-map), 적응형 트라이맵 및 알파 매트를 통해 이미지로부터 객체를 추출하는 기술에 관한 것이다.

중요 객체(salient object)의 정밀 자동 추출기술은 라지 스케일(Large-scale)의 주석 달린(annotated) 학습 집합(training sets) 생성이나 다양한 응용문제들(예를 들어, 객체인식, content-based image retrieval) 등)의 성능향상을 위해 중요한 기술이다. 최근의 객체 중심의 공간 풀링(object-centric spatial pooling)과 동시-세그멘테이션(co-segmentation)과 같은 프레임워크는 성능향상을 위하여 객체 영역을 일반적인 바운딩 박스표현 대신 관심-객체(object-of-interest)로 설정한다. 시스템에서 관심-객체 영역설정을 이용할 경우, 설정된 객체 영역의 정밀도가 시스템의 성능에 큰 영향을 미친다.

중요 객체의 추출 방법은 사용자 기반의 매팅(user-guided matting) 방식 또는 완전 자동 객체 추출 방식으로 구분될 수 있다. 사용자 기반 매팅 방식은 대량의 이미지에 대한 중요 객체를 추출하기 위해서는 많은 인력을 요구한다.

완전 자동 객체 추출 방식은 완전 자동 객체 추출 방식은 사용자 개입 및 사전 정보 없이 정확한 객체의 추출이 어렵다. 이에 따라 완전 자동 객체 추출 방식은 전경(foreground), 배경(background) 및 미지(unknown) 영역으로 구성되는 트라이맵(tri-map)을 미리 제공받아 이미지로부터 객체를 추출한다. 하지만, 각 이미지에 대한 트라이맵을 생성하기 위해서는 노동력 및 시간 등의 많은 비용이 요구된다.

본 발명이 해결하고자 하는 일 기술적 과제는 커플 중요맵, 적응 트라이맵 및 알파매트를 이용하여 이미지로부터 객체를 자동 추출하는 객체 추출 장치 및 방법을 제공하는 것이다.

본 발명의 일 측면에 따르면, 이미지를 수신하는 이미지 수신부; 상기 이미지에 상응하는 전역 중요맵과 지정된 가중치의 곱과 지역 중요맵의 합인 커플 중요맵을 생성하는 커플 중요맵 생성기; 상기 커플 중요맵에 대응하는 적응 트라이맵을 생성하는 적응 트라이맵 생성기; 상기 적응 트라이맵에 따라 알파 매트를 생성하는 알파 매트 생성기; 및 상기 알파 매트의 투명도에 따라 객체를 추출하여 객체 이미지를 생성하는 객체 검출기를 포함하는 객체 추출 장치가 제공된다.

상기 지역 중요맵은 상기 이미지의 각 픽셀에 대한 평균 컬러 벡터와 상기 이미지에 대해 가우시안 블러 처리를 통해 생성한 벡터 간의 유클리디안 거리를 나타내는 픽셀을 포함하는 중요맵이고, 상기 전역 중요맵은 상기 이미지를 복수의 컴포넌트로 구성되는 가우시안 혼합모델로 표현한 후, 각 컴포넌트로 분할된 영역의 공간 및 색상에 따라 정의되는 중요맵일 수 있다.

상기 적응 트라이맵 생성기는, 상기 커플 중요맵에 가우시안 블러와 영상 군집화를 적용하여 트라이맵을 생성하고, 상기 커플 중요맵의 각 픽셀 중 상기 트라이맵의 전경 영역, 배경 영역 및 미지 영역의 평균 색상값 중 어느 하나와의 거리가 최소인 픽셀을 최단 거리 픽셀로 선정하고, 상기 최단 거리 픽셀이 상기 전경 영역의 평균 색상값과 동일하고, 상기 트라이맵의 미지 영역 내에 위치하는 경우, 상기 최단 거리 픽셀 및 상기 최단 거리 픽셀과 인접한 픽셀의 위치에 대응하는 상기 트라이맵의 픽셀의 값을 상기 전경 영역의 평균 색상값으로 대체하여 상기 적응 트라이맵을 생성할 수 있다.

상기 알파 매트 생성기는 PCG(preconditioned conjugate gradient) 방법을 통해 GPGPU를 이용한 병렬처리를 통해 상기 알파 매트를 생성할 수 있다.

상기 객체 추출 장치는 상기 객체의 추출 결과를 표시하는 출력 인터페이스; 및 사용자로부터 상기 적응 트라이맵에 대한 수정을 요청하는 트라이맵 수정 입력을 받는 입력 인터페이스; 를 더 포함하되, 상기 적응 트라이맵 생성기는 상기 트라이맵 수정 입력에 따라 상기 적응 트라이맵을 수정할 수 있다.

본 발명의 다른 측면에 따르면, 객체 추출 장치가 이미지로부터 객체를 추출하는 방법에 있어서, 상기 이미지를 수신하는 단계; 상기 이미지에 상응하는 전역 중요맵과 지정된 가중치의 곱과 지역 중요맵의 합인 커플 중요맵을 생성하는 단계; 상기 커플 중요맵에 대응하는 적응 트라이맵을 생성하는 단계; 상기 적응 트라이맵에 따라 알파 매트를 생성하는 단계; 및 상기 알파 매트의 투명도에 따라 객체를 추출하여 객체 이미지를 생성하는 단계를 포함하는 객체 추출 방법이 제공된다.

상기 상기 커플 중요맵에 대응하는 적응 트라이맵을 생성하는 단계는, 상기 커플 중요맵에 가우시안 블러와 영상 군집화를 적용하여 트라이맵을 생성하는 단계; 상기 커플 중요맵의 각 픽셀 중 상기 트라이맵의 전경 영역, 배경 영역 및 미지 영역의 평균 색상값 중 어느 하나와의 거리가 최소인 픽셀을 최단 거리 픽셀로 선정하는 단계; 상기 최단 거리 픽셀이 상기 전경 영역의 평균 색상값과 동일하고, 상기 트라이맵의 미지 영역 내에 위치하는 경우, 상기 최단 거리 픽셀 및 상기 최단 거리 픽셀과 인접한 픽셀의 위치에 대응하는 상기 트라이맵의 픽셀의 값을 상기 전경 영역의 평균 색상값으로 대체하여 상기 적응 트라이맵을 생성하는 단계를 포함할 수 있다.

상기 적응 트라이맵에 따라 알파 매트를 생성하는 단계는 PCG(preconditioned conjugate gradient) 방법을 통해 GPGPU를 이용한 병렬처리를 통해 상기 알파 매트를 생성할 수 있다.

상기 객체 추출 방법은 상기 객체의 추출 결과를 표시하는 단계; 사용자로부터 상기 적응 트라이맵에 대한 수정을 요청하는 트라이맵 수정 입력을 받는 단계; 상기 트라이맵 수정 입력에 따라 상기 적응 트라이맵을 수정하는 단계; 수정된 상기 적응 트라이맵에 따라 객체 이미지를 생성하는 단계를 더 포함할 수 있다.

상술한 바와 같이 본 발명의 일 실시 예에 따르면, 이미지에 대응하는 트라이 맵을 자동으로 생성하고, 트라이 맵을 통해 중요 객체를 이미지로부터 자동 추출할 수 있다.

도 1은 본 발명의 일 실시 예에 따른 객체 추출 장치를 예시한 블록도.
도 2는 본 발명의 일 실시예에 따른 객체 추출 장치에 입력되는 이미지, 중요맵 및 필터링된 중요맵을 예시한 도면.
도 3은 본 발명의 일 실시예에 따른 객체 추출 장치가 생성하는 커플 중요맵과 지역 중요맵 및 전역 중요맵의 MAE를 예시한 그래프.
도 4는 본 발명의 일 실시예에 따른 객체 추출 장치가 적응 트라이맵을 생성하는 과정을 예시한 도면.
도 5는 본 발명의 일 실시예에 따른 객체 추출 장치가 알파 매트를 생성하기 위한 PCG 알고리즘을 예시한 도면.
도 6은 본 발명의 일 실시예에 따른 객체 추출 장치가 객체를 추출하는 과정을 예시한 순서도.
도 7은 본 발명의 일 실시예에 따른 객체 추출 장치가 이미지로부터 객체를 추출하는 과정을 예시한 순서도.
도 8은 본 발명의 일 실시예에 따른 객체 추출 장치가 구현된 컴퓨터 시스템을 예시한 도면.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시 예를 가질 수 있는 바, 특정 실시 예들을 도면에 예시하고 이를 상세한 설명을 통해 상세히 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.

또한, 본 명세서에서, 일 구성요소가 다른 구성요소로 신호를 “전송한다”로 언급된 때에는, 일 구성요소가 다른 구성요소와 직접 연결되어 신호를 전송할 수 있지만, 특별히 반대되는 기재가 존재하지 않는 이상, 중간에 또 다른 구성요소를 매개하여 신호를 전송할 수도 있다고 이해되어야 할 것이다.

도 1은 본 발명의 일 실시예에 따른 객체 추출 장치를 예시한 블록도이고, 도 2는 본 발명의 일 실시예에 따른 객체 추출 장치에 입력되는 이미지, 중요맵 및 필터링된 중요맵을 예시한 도면이고, 도 3은 본 발명의 일 실시예에 따른 객체 추출 장치가 생성하는 커플 중요맵과 지역 중요맵 및 전역 중요맵의 MAE를 예시한 그래프이고, 도 4는 본 발명의 일 실시예에 따른 객체 추출 장치가 적응 트라이맵을 생성하는 과정을 예시한 도면이고, 도 5는 본 발명의 일 실시예에 따른 객체 추출 장치가 알파 매트를 생성하기 위한 PCG 알고리즘을 예시한 도면이다.

도 1을 참조하면, 본 발명의 일 실시예에 따른 객체 추출 장치는 이미지 수신부(110), 커플 중요맵 생성기(120), 적응 트라이맵 생성기(130), 알파 매트 생성기(140), 객체 추출기(150), 출력 인터페이스(160) 및 입력 인터페이스(170)를 포함한다.

이미지 수신부(110)는 네트워크나 지정된 입력 단자를 통해 단말, 저장 매체 등의 외부 장치로부터 이미지를 수신한다. 이미지 수신부(110)는 수신한 이미지를 커플 중요맵 생성기(120) 및 객체 추출기(150)로 전송한다.

커플 중요맵 생성기(120)는 이미지 수신부(110)로부터 수신한 이미지에 대응하는 커플 중요맵(coupled saliency-map)을 생성한다. 커플 중요맵 생성기(120)는 지역적 특징(예를 들어, 에지, 밝기 색상) 표현의 중요맵(spatial frequency & luminance based saliency-map, 이하 지역 중요맵이라 지칭)과 전역적 특징(예를 들어, 영역 레벨의 군집도 및 대조도) 표현의 중요맵(spatial region & color contrast based saliency-map, 이하 전역 중요맵이라 지칭)이 조화된(balanced) 커플 중요맵을 생성할 수 있다. 커플 중요맵 생성기(120)는 하기의 수학식 1에 따라 커플 중요맵을 생성할 수 있다.

[수학식 1]

이 때,

는 이미지의 I 번째 픽셀의 컬러 벡터이고,

는 이미지의 픽셀 수인 N개의 픽셀에 대한 평균 컬러 벡터인

와 가우시안 블러된 벡터

의 유클리디안 거리(Euclidean distance)를 나타낸 픽셀을 포함하는 지역 중요맵일 수 있다. 또한,

는 이미지를 K개 컴포넌트의 가우시안 혼합모델

로 표현한 후 각 컴포넌트로 분할된 영역에 기반한 공간 및 색상 대조의 관계를 통해 정의한 전역 주요맵일 수 있다.

는 p번째 컴포넌트 영역

의 픽셀 수이다.

는 컴포넌트 영역

및

간의 공간 거리(spatial distance)이고,

는 컴포넌트 영역

및

간의 색상 거리(color distance)이다.

는 큰 값을 가질수록 색상 대조값의 중요도가 높음을 나타내는 변수(stiffness parameter)일 수 있다.

는

내 픽셀 수를 나타내는 가중치일 수 있다.

는

와

에 대한 밸런스를 맞추기 위한 가중치 매개변수로써 바람직하게는 1로 설정될 수 있다.

이 때, 지역 중요맵은 CIELab 색상 공간에서 높은 주파수의 경계선과 함께 고르게 강조된 중요 영역을 잘 표현하는 특성을 지니고, 전역 중요맵은 RGB 색상 공간에서 영상 세그멘테이션을 통해 공간 거리 및 색상 거리를 잘 표현하는 특성을 지닌다.

도 2를 참조하면, 이미지(210)에 대한 지역 중요맵(220), 전역 중요맵(230) 및 커플 중요맵(240) 중 지역 중요맵(220)이 이미지와 가장 유사한 형태를 뛰는 것을 확인할 수 있다. 이 때, 지역 중요맵(220), 전역 중요맵(230) 및 커플 중요맵(240)의 각 픽셀을 2개의 그룹으로 클러스터링하는 필터링을 통해 흑백 영상인 필터링된 맵(250, 260, 270)으로 나타낼 경우, 커플 중요맵에 대한 필터링된 맵(270)에 대한 MAE(mean absolute error)가 더 낮다. 도 3을 참조하여 예를 들면, 도 3에서 지역 중요맵의 필터링된 맵(250)의 MAE는 310이고, 전역 중요맵의 필터링된 맵(260)의 MAE는 320이고, 커플 중요맵(240)의 필터링된 맵에 대한 MAE는 330이다. 즉, 커플 중요맵의 흑백 영상에 대한 정확도는 지역 중요맵과 전역 중요맵의 상호보완하여 생성된 것으로, 지역 중요맵과 전역 중요맵의 흑백 영상에 대한 정확도보다 높다.

또한, 특정한 두 영상에 대해 지역 중요맵, 전역 중요맵, 커플 중요맵에 대한 MAE와 F-measure와 지역 중요맵, 전역 중요맵, 커플 중요맵의 필터링된 맵에 대한 MAE와 F-measure를 예시하면 하기의 표 1과 같다.

이미지	맵 종류	필터링 전		필터링 후
이미지	맵 종류	MAE	F-measure	MAE	F-measure
이미지 1	커플 중요맵	0.1876	0.9434	0.1447	0.9375
	전역 중요맵	0.1232	0.9502	0.1449	0.9368
	지역 중요맵	0.2676	0.9042	0.2062	0.8929
이미지 2	커플 중요맵	0.1557	0.9588	0.1036	0.9596
	전역 중요맵	0.1011	0.9628	0,1209	0.9533
	지역 중요맵	0.2279	0.9178	0.1629	0.9216

이 때, MAE와 F-measure는 영상의 유사도를 나타내는 수치로써, 하기의 수학식 2와 같이 산출할 수 있다.

[수학식 2]

는 성능검증지표(ground-truth) 영상의 i번째 픽셀을 나타내고,

는 각 중요맵의 i번째 픽셀을 나타낼 수 있다.

는

인 정밀도(precision)과 재현율(recall)의 하모닉 평균(harmonic mean)을 나타내는 F-measure일 수 있다.

커플 중요맵 생성기(120)는 커플 중요맵을 적응 트라이맵 생성기(130)로 전송한다.

적응 트라이맵 생성기(130)는 커플 중요맵을 참조하여 적응 트라이맵을 생성한다. 예를 들어, 적응 트라이맵 생성기(130)는 커플 중요맵에 가우시안 블러(Gaussian blur)와 영상 군집화(clustering)를 적용하여 트라이맵을 생성한다. 이후, 적응 트라이맵 생성기(130)는 커플 중요맵의 각 픽셀 중 트라이맵의 전경 영역, 배경 영역 및 미지 영역의 평균 색상값 중 어느 하나와 거리가 최소인 픽셀(이하, 최단 거리 픽셀이라 지칭)을 선정한다. 적응 트라이맵 생성기(130)는 최단 거리 픽셀이 전경 평균 색상값과 동일하고 트라이맵의 미지 영역 내에 위치하는 픽셀인 경우, 최단 거리 픽셀 및 최단 거리 픽셀과 인접한 픽셀(예를 들어, 도 4의 410)을 도 4의 430 과 같이 트라이맵의 전경 평균 색상값으로 대체하여 적응 트라이맵을 생성할 수 있다. 이 때, 도 4의 402는 트라이맵이고, 404는 적응 트라이맵이고, 450은 전경 영역이고, 460은 미지 영역이고, 나머지 영역은 배경 영역이다.

적응 트라이맵 생성기(130)는 적응 트라이맵을 알파 매트 생성기(140)로 전송한다.

알파 매트 생성기(140)는 적응 트라이맵을 참조하여 알파 매트를 생성한다. 알파 매트 생성기(140)는 이미지의 각 픽셀 중 적응 트라이맵의 전경 영역에 위치한 픽셀의 위치에 투명도 1을 설정하고, 배경 영역에 위치한 픽셀의 위치에 투명도 0을 설정한 사전 정의된 알파값

을 산출한다. 즉, 알파 매트 생성기(140)는 하기의 수학식 3에 따라 이미지의 각 픽셀에 대한 사전 정의된 알파값을 생성할 수 있다.

[수학식 3]

이 때,

는 이미지의 픽셀을 나타내고,

는 이미지를 나타내고,

는 전경 영역을 나타내고,

는 배경 영역을 나타내고,

는 미지 영역을 나타내고,

는 트라이맵을 나타낸다.

알파 매트 생성기(140)는 사전 정의된 알파값을 이용하여 알파 매트를 생성한다. 예를 들어, 알파 매트 생성기(140)는 하기의 수학식 4에 나타낸 매팅을 위한 희소 선형 시스템을 이용하여 알파 매트의 각 픽셀에 해당하는 투명도를 생성할 수 있다.

[수학식 4]

이 때, L은 매팅 라플라시안(matting Laplacian) 행렬이고,

는 사전 정의된 알파값을 요소로 하는 대각선 행렬이다. 이 때, 매팅 라플라시안 행렬은 L=D-A로 표현될 수 있으며, A는 매팅 유사행렬(matting affinity)으로 하기의 수학식 5에 따른 각 요소값을 가지는 행렬일 수 있다. 또한,

는 알파 매트의 투명도를 나타낸다.

[수학식 5]

이 때,

는 k번째 지역적 윈도우(local window) 내에서의 평균이고,

는 k번째 지역적 윈도우(local window) 내 공분산 행렬이고,

는 cxc차원의 단위행렬일 수 있다.

또한, D는

와 같은 요소로 구성된 대각선 행렬일 수 있다.

또한, 상술한 수학식 4는 하기의 수학식 6에 따른 매팅식을 수학식 7에 따른 라그랑지안 식으로 유도한 후, 라그랑지안 식을 미분하여 산출한 수학식이다.

[수학식 6]

[수학식 7]

알파 매트 생성기(140)는 생성한 알파 매트를 객체 추출기(150)로 전송한다.

객체 추출기(150)는 알파 매트의 투명도가 1에 해당하는 픽셀에 해당하는 영역을 객체의 영역으로 판단하고, 객체에 해당하는 영역의 픽셀값을 포함하는 객체 이미지를 생성 및 출력한다.

출력 인터페이스(160)는 모니터 등의 출력 장치와 연결되어 객체 추출 결과를 표시한다. 따라서, 사용자는 출력 장치를 통해 객체 추출 결과를 확인할 수 있다.

입력 인터페이스(170)는 사용자로부터 적응 트라이맵 생성기(130)가 생성한 적응 트라이맵을 수정하는 트라이맵 수정 입력을 받는다. 입력 인터페이스(170)는 트라이맵 수정 입력을 적응 트라이맵 생성기(130)로 전송한다. 적응 트라이맵 생성기(130)는 트라이맵 수정 입력에 따라 적응 트라이맵을 수정하고, 수정된 적응 트라이맵을 알파 매트 생성기(140)로 전송할 수 있다. 알파 매트 생성기(140)는 수정된 적응 트라이맵에 따라 알파 매트를 생성하고, 객체 추출기(150)는 다시 생성된 알파 매트에 따라 객체를 추출할 수 있다.

이 때, 상술한 알파 매트 생성기(140)는 수학식 4에 따라 알파매트를 생성하기 위해 직접적인 방법(direct method)인 CF(cholesky Factorization), 반복적인 방법(iterative method)인 CG(Conjugate Gradient) 또는 PCG(preconditioned conjugate gradient) 방법을 통해 GPGPU를 이용한 병렬처리로 알파 매트를 생성할 수 있다. 이 때, PCG를 통한 알파매트 생성 알고리즘은 도 5와 같이 나타낼 수 있다. 도 5의 imax는 PCG의 알고리즘 수행시 미리 지정되는 최대 수행 반복수이고,

는 미리 지정된 수행 결과 에러의 임계치이다.

따라서, 본 발명의 일 실시예에 따른 객체 추출 장치는 알파 매트를 생성하기 위해 소요되는 계산 시간을 줄여, 대량의 이미지에 대한 각 알파 매트를 빠르게 생성할 수 있다.

도 6은 본 발명의 일 실시예에 따른 객체 추출 장치가 객체를 추출하는 과정을 예시한 순서도이다.

도 6을 참조하면, 단계 610에서 객체 추출 장치는 외부 장치로부터 이미지를 입력 받는다.

단계 620에서 객체 추출 장치는 이미지를 참조하여 커플 중요맵을 생성한다.

단계 630에서 객체 추출 장치는 커플 중요맵을 이용하여 적응 트라이맵을 생성한다. 커플 중요맵을 통해 적응 트라이맵을 생성하는 과정은 추후 도 7을 참조하여 상세히 설명하도록 한다.

단계 640에서 객체 추출 장치는 적응 트라이맵에 상응하는 알파 매트를 생성한다.

단계 650에서 객체 추출 장치는 알파 매트를 통해 객체를 추출하고, 객체를 포함하는 객체 이미지를 생성한다.

단계 660에서 객체 추출 장치는 사용자로부터 트라이맵 수정 입력을 받았는지 판단한다.

단계 660에서 사용자로부터 트라이맵 수정 입력을 받은 경우, 단계 670에서 객체 추출 장치는 트라이맵 수정 입력에 따라 적응 트라이맵을 수정한다.

단계 680에서 객체 추출 장치는 수정된 적응 트라이맵에 따라 객체를 다시 추출하여 객체 이미지를 생성한다.

단계 690에서 객체 추출 장치는 추출한 객체 이미지를 출력한다.

도 7은 본 발명의 일 실시예에 따른 객체 추출 장치가 이미지로부터 객체를 추출하는 과정을 예시한 순서도이다. 이 때, 도 7은 상술한 도 6의 단계 620에 해당하는 단계일 수 있다. 이하 설명하는 각 과정은 커플 중요맵의 각 픽셀에 대해 반복 또는 병렬적으로 수행되는 과정이다.

도 7을 참조하면, 단계 710에서 객체 추출 장치는 커플 중요맵에 따라 트라이맵을 생성한다. 예를 들어, 객체 추출 장치는 커플 중요맵에 가우시안 블러(Gaussian blur)와 영상 군집화(clustering)을 적용하여 트라이맵을 생성할 수 있다.

단계 720에서 객체 추출 장치는 트라이맵의 전경, 배경 및 미지 영역의 평균을 각각 산출한다.

단계 730에서 객체 추출 장치는 각 평균 중 어느 하나와의 거리가 최단인 커플 중요맵의 픽셀을 최단 거리 픽셀로 선정한다.

단계 740에서 객체 추출 장치는 전경 평균 색상값과 최단 거리 픽셀의 값이 동일한지 판단한다.

단계 740에서 전경 평균 색상값과 최단 거리 픽셀의 값이 동일하지 않은 경우, 객체 추출 장치는 최단 거리 픽셀에 대한 적응 트라이맵 생성 과정을 종료한다.

단계 740에서 전경 평균 색상값과 최단 거리 픽셀의 값이 동일한 경우, 단계 750에서 객체 추출 장치는 최단 거리 픽셀이 미지 영역 내에 위치하는지 판단한다.

단계 750에서 최단 거리 픽셀이 미지 영역 내에 위치하지 않는 경우, 객체 추출 장치는 최단 거리 픽셀에 대한 적응 트라이맵 생성 과정을 종료한다.

단계 760에서 최단 거리 픽셀이 미지 영역 내에 위치하는 경우, 단계 760에서 객체 추출 장치는 트라이 맵 상의 최단 거리 픽셀 및 최단 거리 픽셀과 인접한 픽셀의 위치에 해당하는 픽셀의 값을 전경 평균 색상값으로 대체한다.

단계 770에서 객체 추출 장치는 대체된 픽셀값을 포함하는 적응 트라이맵을 생성한다.

상술한 본 발명의 일 실시예에 따른 객체 추출 장치는 컴퓨터 시스템으로 구현될 수 있다.

도 8은 본 발명의 일 실시예에 따른 객체 추출 장치가 구현된 컴퓨터 시스템을 예시한 도면이다.

본 발명에 따른 실시예는 컴퓨터 시스템 내에, 예를 들어, 컴퓨터 판독가능 기록매체로 구현될 수 있다. 도 8에 도시된 바와 같이, 컴퓨터 시스템(800)은 하나 이상의 프로세서(810), 메모리(820), 저장부(830), 사용자 인터페이스 입력부(840) 및 사용자 인터페이스 출력부(850) 중 적어도 하나 이상의 요소를 포함할 수 있으며, 이들은 버스(860)를 통해 서로 통신할 수 있다. 또한, 컴퓨터 시스템(800)은 네트워크에 접속하기 위한 네트워크 인터페이스(870)를 또한 포함할 수 있다. 프로세서(810)는 메모리(820) 및/또는 저장소(830)에 저장된 처리 명령어를 실행시키는 CPU 또는 반도체 소자일 수 있다. 메모리(820) 및 저장부(830)는 다양한 유형의 휘발성/비휘발성 기억 매체를 포함할 수 있다. 예를 들어, 메모리는 ROM(824) 및 RAM(825)를 포함할 수 있다.

이상, 본 발명을 바람직한 실시 예를 사용하여 상세히 설명하였으나, 본 발명의 범위는 특정 실시 예에 한정되는 것은 아니며, 첨부된 특허청구범위에 의하여 해석되어야 할 것이다. 또한, 이 기술분야에서 통상의 지식을 습득한 자라면, 본 발명의 범위에서 벗어나지 않으면서도 많은 수정과 변형이 가능함을 이해하여야 할 것이다.

Claims

이미지를 수신하는 이미지 수신부;
상기 이미지에 상응하는 전역 중요맵과 지정된 가중치의 곱과 지역 중요맵의 합인 커플 중요맵을 생성하는 커플 중요맵 생성기;
상기 커플 중요맵에 대응하는 적응 트라이맵을 생성하는 적응 트라이맵 생성기;
상기 적응 트라이맵에 따라 알파 매트를 생성하는 알파 매트 생성기; 및
상기 알파 매트의 투명도에 따라 객체를 추출하여 객체 이미지를 생성하는 객체 검출기
를 포함하는 객체 추출 장치.
제1 항에 있어서,
상기 지역 중요맵은 상기 이미지의 각 픽셀에 대한 평균 컬러 벡터와 상기 이미지에 대해 가우시안 블러 처리를 통해 생성한 벡터 간의 유클리디안 거리를 나타내는 픽셀을 포함하는 중요맵이고,
상기 전역 중요맵은 상기 이미지를 복수의 컴포넌트로 구성되는 가우시안 혼합모델로 표현한 후, 각 컴포넌트로 분할된 영역의 공간 및 색상에 따라 정의되는 중요맵인 것을 특징으로 하는 객체 추출 장치.
제1 항에 있어서,
상기 적응 트라이맵 생성기는,
상기 커플 중요맵에 가우시안 블러와 영상 군집화를 적용하여 트라이맵을 생성하고,
상기 커플 중요맵의 각 픽셀 중 상기 트라이맵의 전경 영역, 배경 영역 및 미지 영역의 평균 색상값 중 어느 하나와의 거리가 최소인 픽셀을 최단 거리 픽셀로 선정하고,
상기 최단 거리 픽셀이 상기 전경 영역의 평균 색상값과 동일하고, 상기 트라이맵의 미지 영역 내에 위치하는 경우, 상기 최단 거리 픽셀 및 상기 최단 거리 픽셀과 인접한 픽셀의 위치에 대응하는 상기 트라이맵의 픽셀의 값을 상기 전경 영역의 평균 색상값으로 대체하여 상기 적응 트라이맵을 생성하는 것을 특징으로 하는 객체 추출 장치.
제1 항에 있어서,
상기 알파 매트 생성기는 PCG(preconditioned conjugate gradient) 방법을 통해 GPGPU를 이용한 병렬처리를 통해 상기 알파 매트를 생성하는 것을 특징으로 하는 객체 추출 장치.
제1 항에 있어서,
상기 객체의 추출 결과를 표시하는 출력 인터페이스; 및
사용자로부터 상기 적응 트라이맵에 대한 수정을 요청하는 트라이맵 수정 입력을 받는 입력 인터페이스;
를 더 포함하되,
상기 적응 트라이맵 생성기는 상기 트라이맵 수정 입력에 따라 상기 적응 트라이맵을 수정하는 것을 특징으로 하는 객체 추출 장치.
객체 추출 장치가 이미지로부터 객체를 추출하는 방법에 있어서,
상기 이미지를 수신하는 단계;
상기 이미지에 상응하는 전역 중요맵과 지정된 가중치의 곱과 지역 중요맵의 합인 커플 중요맵을 생성하는 단계;
상기 커플 중요맵에 대응하는 적응 트라이맵을 생성하는 단계;
상기 적응 트라이맵에 따라 알파 매트를 생성하는 단계; 및
상기 알파 매트의 투명도에 따라 객체를 추출하여 객체 이미지를 생성하는 단계
를 포함하는 객체 추출 방법.
제6 항에 있어서,
상기 지역 중요맵은 상기 이미지의 각 픽셀에 대한 평균 컬러 벡터와 상기 이미지에 대해 가우시안 블러 처리를 통해 생성한 벡터 간의 유클리디안 거리를 나타내는 픽셀을 포함하는 중요맵이고,
상기 전역 중요맵은 상기 이미지를 복수의 컴포넌트로 구성되는 가우시안 혼합모델로 표현한 후, 각 컴포넌트로 분할된 영역의 공간 및 색상에 따라 정의되는 중요맵인 것을 특징으로 하는 객체 추출 방법.
제6 항에 있어서,
상기 상기 커플 중요맵에 대응하는 적응 트라이맵을 생성하는 단계는,
상기 커플 중요맵에 가우시안 블러와 영상 군집화를 적용하여 트라이맵을 생성하는 단계;
상기 커플 중요맵의 각 픽셀 중 상기 트라이맵의 전경 영역, 배경 영역 및 미지 영역의 평균 색상값 중 어느 하나와의 거리가 최소인 픽셀을 최단 거리 픽셀로 선정하는 단계;
상기 최단 거리 픽셀이 상기 전경 영역의 평균 색상값과 동일하고, 상기 트라이맵의 미지 영역 내에 위치하는 경우, 상기 최단 거리 픽셀 및 상기 최단 거리 픽셀과 인접한 픽셀의 위치에 대응하는 상기 트라이맵의 픽셀의 값을 상기 전경 영역의 평균 색상값으로 대체하여 상기 적응 트라이맵을 생성하는 단계
를 포함하는 것을 특징으로 하는 객체 추출 방법.
제6 항에 있어서,
상기 적응 트라이맵에 따라 알파 매트를 생성하는 단계는 PCG(preconditioned conjugate gradient) 방법을 통해 GPGPU를 이용한 병렬처리를 통해 상기 알파 매트를 생성하는 것을 특징으로 하는 객체 추출 방법.
제6 항에 있어서,
상기 객체의 추출 결과를 표시하는 단계;
사용자로부터 상기 적응 트라이맵에 대한 수정을 요청하는 트라이맵 수정 입력을 받는 단계;
상기 트라이맵 수정 입력에 따라 상기 적응 트라이맵을 수정하는 단계;
수정된 상기 적응 트라이맵에 따라 객체 이미지를 생성하는 단계
를 더 포함하는 것을 특징으로 하는 객체 추출 방법.