KR20120006593A

KR20120006593A - 영상 내의 관심 영역에서의 물체 추출 장치 및 그 방법

Info

Publication number: KR20120006593A
Application number: KR1020100067149A
Authority: KR
Inventors: 김수환; 박성기; 김동환
Original assignee: 한국과학기술연구원
Priority date: 2010-07-13
Filing date: 2010-07-13
Publication date: 2012-01-19
Also published as: KR101108491B1

Abstract

본 발명은 영상 내의 관심영역 내에서 물체를 추출하는 장치 및 그 방법에 관한 것이다.
본 발명에서는 카메라와 같은 영상을 촬영하기 위한 영상입력장치와, 컴퓨터의 마우스와 같은 사용자입력장치와, 상기 영상입력장치로부터 입력된 영상데이터 및 상기 사용자입력장치로부터 입력된 관심영역데이터를 기초로 상기 영상 내의 상기 관심영역에서의 물체를 추출하기 위한 물체추출처리장치와, 상기 물체추출장치의 물체 추출 결과를 출력하기 위한 모니터와 같은 출력장치를 포함하는 영상 내의 관심영역에서의 물체추출장치 및 이를 이용한 방법이 제시된다.

Description

영상 내의 관심 영역에서의 물체 추출 장치 및 그 방법{An apparatus for object segmentation given a region of interest in an image and method thereof}

본 발명은 영상 내에서 관심 물체(object of interest)를 자동으로 분할하는 방법에 관한 것이다. 일반적으로 영상 속의 많은 물체 중에 어떤 것이 사용자의 관심 물체인지 모르기 때문에 사용자의 도움이 필요한데, 본 발명은 사용자의 도움을 최소한으로 하기 위하여 가장 간단한 형태의 입력인 관심 영역(region of interest)을 가정하고 있다. 즉, 사용자가 영상 내에서 관심 물체를 분할하기 위하여 관심 물체를 포함하는 관심 영역(region of interest)을 지정해주면 자동적으로 관심 물체만을 분할하는 방법에 관한 것이다.

영상에서 특정 영역 또는 관심 영상만을 추출하는 기술이 다양하게 제기되고 있다. 그 중에서, Beucher와 Meyer(S. Beucher and F. Meyer, “The Morphological Approach to Segmentation: the Watershed Transformation,” Optical Engineering, Vol. 34, pp. 433, 1992.)는 산과 웅덩이로 이루어진 지형이 있을 때, 웅덩이 부분에 구멍을 뚫은 뒤 물속에 그 지형을 담그면 자연스럽게 물의 분기선(watershed line)이 생기면서 구역이 구분되는 원리를 응용하여 영상을 분할하는 방법인 워터쉐드 분할 방법(watershed segmentation)을 제안하였다. 상기 방법은 형태학적 연산(morphological operation)으로서 영상 분할 시간이 매우 짧은 장점을 갖고 있지만, 영상 내의 노이즈에 의해 영상이 지나치게 작은 부분들로 분할되는 현상(over-segmentation)을 종종 초래하였다.

상기와 같은 문제점을 해결하기 위해서 Meyer(F. Meyer, “Color image segmentation,” Proceedings of the International Conference on Image Processing and its Applications, Vol. 1, pp. 303-306, 1992.)는 영상 분할 시간을 단축시키기 위하여 영상의 각 부분에 해당하는 마커들에 의해 워터쉐드 분할의 각 부분이 조종되는 방법(marker-driven watershed segmentation)을 제안하였다. 그러나 기본적으로 이러한 워터쉐드 분할 방법의 결과물은 수학적인 의미의 영상 분할이다. 즉, 사용자가 원하는 형태의 물체 분할이 아닌 경우가 대부분이다. 또한, 영상 내에서 어떤 부분이 관심 물체에 해당하는지에 대한 정보가 없기 때문에 분할 결과를 후처리하거나 관심 물체에 해당하는 마커를 초기에 사용자가 지정해줘야 하는 단점이 있다.

따라서, 사용자가 영상 내에 관심 물체를 포함하는 관심 영역만을 지정해 주면 자동으로 관심 물체를 분할하는 발명 및 사용자의 입력을 받아서 관심 물체를 자동으로 분할하는데 있어서, 수행시간을 빨리하여 사용자에게 빠른 응답 속도를 제공할 수 있는 발명이 요망된다.

S. Beucher and F. Meyer, "The Morphological Approach to Segmentation: the Watershed Transformation," Optical Engineering, Vol. 34, pp. 433, 1992. F. Meyer, "Color image segmentation," Proceedings of the International Conference on Image Processing and its Applications, Vol. 1, pp. 303-306, 1992.

본 발명은 상기 종래기술의 문제점을 해결하기 위한 것으로서, 본 발명에서는 본 발명의 목적은 사용자가 수작업을 통하여 영상 내에서 관심 물체를 분할하는 방법의 대안으로서, 사용자가 영상 내에 관심 물체를 포함하는 관심 영역만을 지정해 주면 자동으로 관심 물체를 분할하는 방법을 제공하는데 있다.

본 발명의 다른 목적은 사용자의 입력을 받아서 관심 물체를 자동으로 분할하는데 있어서 수행 시간을 짧게 사용자에게 빠른 응답 속도를 제공하는데 있다.

상기 본 발명의 목적을 달성하기 위한 기술적 해결 수단으로서, 본 발명의 제1 관점은, 카메라와 같은 영상을 촬영하기 위한 영상입력장치와, 컴퓨터의 마우스와 같은 사용자입력장치와, 상기 영상입력장치로부터 입력된 영상데이터 및 상기 사용자입력장치로부터 입력된 관심영역데이터를 기초로 상기 영상 내의 상기 관심영역에서의 물체를 추출하기 위한 물체추출처리장치와, 상기 물체추출장치의 물체 추출 결과를 출력하기 위한 모니터와 같은 출력장치를 포함하는 영상 내의 관심영역에서의 물체추출장치가 제시된다.

본 발명의 제2 관점은, 카메라와 같은 영상 입력 장치로부터 영상을 입력 받는 영상데이터수신단계와, 마우스와 같은 사용자 입력 장치로부터 관심 영역에 대한 정보를 입력 받는 관심영역데이터수신단계와, 물체추출처리장치에서 상기 입력 받은 영상데이터와 관심 영역데이터를 이용하여 관심 영역 내에 존재하는 관심 물체를 마커기반 워터쉐드 분할 방법을 이용하여 자동으로 분할하는 물체분할단계와, 모니터와 같은 영상출력장치를 통해 분할된 물체 영상을 출력하는 결과출력단계를 포함하는 영상 내에서의 관심 물체 추출 방법이 제시된다.

본 발명에 의하면, 사용자가 수작업을 통하여 영상 내에서 관심 물체를 분할하는 방법의 대안으로서, 사용자가 영상 내에 관심 물체를 포함하는 관심 영역만을 지정해 주면 매우 빠른 시간 내에 자동으로 관심 물체를 추출해주는 효과가 있다.

도 1은 본 발명의 영상 내의 관심 영역에서의 물체 추출장치의 실시예에 관한 개략적인 구성도이다.
도 2는 본 발명의 영상 내의 관심 영역에서의 물체 추출 방법을 설명하기 위한 흐름도이다.
도 3은 본 발명의 영상 내의 관심 영역에서의 물체 추출 장치 및 방법으로 물체를 추출하는 과정에 대한 일예의 설명도이다.
도 4는 본 발명의 영상 내의 관심 영역에서의 물체 추출 장치 및 방법으로 물체를 추출하는 압력 영상과 결과 영상에 대한 다른 예의 설명도이다.

이하에서는 본 발명의 실시예를 첨부 도면을 참조하면서 발명의 구성을 상세히 설명하기로 한다. 우선, 본 발명의 이해를 돕기 위해서 본 발명에 사용되는 기술에 대한 설명을 하기로 한다.

본 발명에서는 형태학적 연산(morphological operation)인 마커기반 워터쉐드 분할(marker-driven watershed segmentation) 방법을 사용한다. 워터쉐드 분할 방법은 산과 웅덩이로 이루어진 지형이 있을 때, 웅덩이 부분에 구멍을 뚫은 뒤 물속에 그 지형을 담그면 자연스럽게 물의 분기선(watershed line)이 생기면서 구역이 구분되는 원리를 응용한 것으로, 지형학적 영상(topographical image)에서 지역적 최소점(local minimum)들을 중심으로 이와 연결된 픽셀(pixel)들을 같은 부분으로 포함시켜서 영상을 분할하는 방법이다. 일반적으로 워터쉐드 분할 방법은 영상이 지나치게 작은 부분으로 분할되는 현상(over-segmentation)이 종종 나타나는데 이를 방지하기 위하여 영상 속에 미리 마커를 지정하여 같은 마커는 같은 부분으로 분할되도록 하는 방법이 바로 마커기반 워터쉐드 분할 방법이다.

본 발명에서는 상기 마커기반 워터쉐드 분할 방법의 두 가지 입력값인 지형학적 영상과 마커를 입력 영상과 관심 영역으로부터 자동으로 생성하여 관심 영역 속에 존재하는 관심 물체를 자동으로 분할하는 방법이 사용된다.

도 1은 본 발명의 영상 내의 관심 영역에서의 물체 추출장치의 실시예에 관한 개략적인 구성도이다. 도 1에 도시한 바와 같이, 카메라와 같은 영상을 촬영하여 입력시키기 위한 영상입력장치(100)와; 컴퓨터의 마우스와 같은 사용자가 영상 내에서 관심 영역을 입력시키기 위한 사용자입력장치(200)와; 상기 입력 영상의 변화량(gradient magnitude)을 구하여 경계 영상(boundary image)를 생성하기 위한 경계영상생성부(310)와, 상기 경계영상생성부(310)에서 생성한 경계 영상 속의 노이즈를 제거하기 위한 노이즈제거부(330)와, 상기 사용자입력장치(200)로부터 입력 받은 관심 영역의 안과 밖의 정보를 이용하여 관심 영역 내에서 관심 물체라고 생각되는 위치를 표시해주기 위한 물체분포도계산부(320)와, 물체가 있을 만한 곳에는 물체 마커를 부여하고 물체가 확실히 없는 곳에는 배경 마커를 부여하기 위한 물체/배경마커생성부(350)와, 상기 노이즈제거부(330)와 상기 물체/배경마커생성부(350)의 처리결과를 기초로 상기 영상 내에서 관심 물체를 분할하기 위한 관심물체분할부(360)를 포함하는 물체추출처리장치(300)와; 상기 물체추출처리장치(300)의 상기 관심물체분할부 (360)로부터 추출된 결과를 출력시키기 위한 출력장치(400)를 포함하는 구성이다.

상기 경계영상생성부(310)에서는 입력 영상의 변화량(gradient magnitude)을 구하여 경계 영상(boundary image)를 생성한다. 변화량 G는 아래 수식 1로 나타낼 수 있다.

[수식 1]

여기서, I(x, y)는 각 픽셀의 인텐시티(intensity) 값이다. 이때, 컬러 이미지를 흑백 이미지로 변환하여 흑백 이미지를 입력 영상 I라고 가정할 수 있지만, 보다 효율적인 경계값을 추출하기 위해서, 컬러 영상의 각 컬러 스페이스(RGB, L*a*b*, HSV 등)에서 변화량을 구하여 이들 중의 최대값을 사용할 수 있다. 융합된 변화량 G는 아래 수식 2로 나타낼 수 있다.

[수식 2]

여기서, G₁, G₂, G₃은, 각 컬러 스페이스의 변화량이고, w₁, w₂, w₃은 각 컬러 스페이스의 중요도(weighting coefficient)이다.

상기 노이즈제거부(330)는 상기 경계영상생성부(310)에서 생성한 경계 영상 속의 노이즈를 제거한다. 즉, 끊어진 경계선을 이어주고, 여러 겹으로 나타나는 경계선을 하나로 만들어주는 역할을 한다. 이를 위해 형태학적 연산(morphological operation) 중에서 닫기 연산(closing operation)을 수행한다. 닫기 연산은 팽창(dilation) 후 침식(erosion)을 하는 방법으로서 보통 이미지 상에서 열린 공간을 닫아줄 때 사용한다.

상기 물체분포도계산부(320)에서는 사용자로부터 입력 받은 관심 영역의 안과 밖의 정보를 이용하여 관심 영역 내에서 관심 물체라고 생각되는 위치를 표시해주는 역할을 한다. 즉, 관심 영역 내부 중에서 관심 영역 밖과 다르면 다를수록 관심 물체일 확률이 높다는 것을 이용한다. 이를 위하여 관심 영역 안과 밖의 컬러 히스토그램 차이를 이용한다. 수식 3은 관심 영역 안과 밖의 컬러 히스토그램차를 나타낸다.

[수식 3]

여기서, 컬러 히스토그램은 2D(L*a*b*인 경우 a*, b* 컬러 스페이스, HSV의 경우 H, S 컬러 스페이스를 이용한다고 가정)를 가정하였고 h_i는 관심 영역 안의 컬러 히스토그램, h_o는 관심 영역 밖의 컬러 히스토그램, h_f는 물체를 나타내는 컬러 히스토그램이다. h_f를 이미지에 투영(back projection) 시키면 각 픽셀이 관심 물체에 포함되는 확률인 물체 분포도(object likelihood)를 계산할 수 있다.

이때, 물체가 존재할 확률은 관심 영역의 중앙으로 갈수록 높다는 가정을 할 수 있다. 즉, 관심 영역의 경계로부터 거리 변환(distance transform)을 앞의 물체 분포도에 곱하면 보다 정확한 물체의 위치를 추정할 수 있다. 수식 4는 관심 영역이 직사각형일 때의 거리 변환을 나타낸다.

[수식 4]

여기서, (x₁, y₁), (x₂, y₂), (x₃, y₃), (x₄, y₄)는 직사각형의 네 꼭지점을 나타낸다.

상기 물체/배경마커생성부(350)에서는 물체가 있을 만한 곳에는 물체 마커를, 물체가 확실히 없는 곳에는 배경 마커를 부여한다. 먼저, 관심 영역 밖은 물체가 전혀 없다고 가정할 수 있으므로 관심 영역 밖의 모든 픽셀에 배경 마커를 부여한다. 관심 영역 안에서는 상기 물체분포도계산부(320)에서 구한 물체 분포 확률값이 일정 값 보다 큰 픽셀에 물체 마커를 부여한다.

상기 관심물체분할부(360)는 상기 노이즈제거부(330)의 결과 영상인 경계 영상과 상기 물체/배경마커생성부(350)의 결과인 물체/배경 마커를 마커기반 워터쉐드 분할 알고리즘에 대입하여 물체 혹은 배경의 어느 마커도 부여되지 않은 픽셀에 마커를 부여하여 영상 내에서 물체를 분할한다.

도 3은 본 발명의 영상 내의 관심 영역에서의 물체 추출 방법을 설명하기 위한 흐름도이다.

영상입력장치로부터 영상 데이터가 입력되고 사용자입력장치로부터 관심영역 데이터가 입력되는 데이터입력단계(S100)와,

경계영상생성부에서 상기 입력 영상의 변화량(gradient magnitude)을 구하여 경계 영상(boundary image)를 생성하는 경계영상생성 단계(S102)와,

상기 경계영상생성부에서 생성한 경계 영상 속의 노이즈를 제거하기 위한 노이즈제거 단계(S104)와,

상기 사용자입력장치로부터 입력 받은 관심 영역의 안과 밖의 정보를 이용하여 관심 영역 내에서 관심 물체라고 생각되는 위치를 표시해주는 물체분포도계산 단계(S106)와,

물체가 있을 만한 곳에는 물체 마커를 부여하고 물체가 확실히 없는 곳에는 배경 마커를 부여하는 물체/배경마커생성 단계(S108)와,

상기 노이즈제거부와 상기 물체/배경마커생성부의 처리결과를 기초로 상기 영상 내에서 관심 물체를 분할하는 관심물체분할 단계(S110)와,

상기 관심물체분할 단계로부터 추출된 결과를 출력시키는 출력단계(S112)를 포함한다.

도 4는 상기 도 3의 과정에 따른 영상의 예를 도시한 것이다. 도 4에 도시한 바와 같이, 본 발명의 실시 예에 따른 입력, 중간, 출력 영상을 물체 분할 과정에 따라 나타낸 것이다.

본 발명의 입력 영상 및 관심 영역(100)은 상기 관심 물체 분할 단계(S110)의 입력 영상과 관심 영역을 나타낸다. 상기 입력 영상은 주방에서 찍은 사진이고, 관심 물체인 식기 세척기를 둘러싼 직사각형으로 관심 영역이 표시되었다.

상기 경계영상 생성 단계(S102)에서 생성된 경계영상(102)은 상기 경계 영상 생성부에서 생성한 경계 영상을 나타낸다. 상기 경계영상(102)에서 보다시피 물체간의 경계가 흑백 영상으로 표시되었다.

상기 경계영상(102)은 상기 노이즈제거부에서 노이즈가 제거된 경계영상(104)을 나타낸다. 상기 노이즈가 제거된 경계영상(104)은 상기 경계영상(102) 보다 좀더 흐리게(blurred) 처리된 것을 알 수 있다.

물체분포도 영상(106)은 상기 물체분포도계산 단계(S106)에서 물체 분포도 계산부에서 계산한 물체 분포도를 나타낸다. 도 4에서 보다시피 식기 세척기 부분의 확률이 높은 것을 알 수 있다. 또한 거리 변환(distance transform)을 적용했기 때문에 관심 영역의 경계에서 중앙으로 갈수록 확률 값이 높은 것을 알 수 있다.

물체/배경마커(108)는 상기 물체/배경마커생성 단계(S108)에서 물체/배경 마커 생성부에서 부여한 물체(파랑색) 혹은 배경(빨간색) 마커를 나타낸다. 물체 분포도에서 일정 값 이상의 픽셀에는 물체 마커를, 관심 영역 밖의 모든 픽셀에는 배경 마커를 부여한 결과이다. 참고로 다음의 관심물체분할 단계(S110)에서 아무 마커도 칠해지지 않은 부분(검은색)을 물체(파랑색) 혹은 배경(빨간색)으로 칠하게 된다.

물체분할영상(110)은 상기 관심물체분할 단계(S110)에서 관심 물체 분할부의 분할 결과 영상이다.

도 4는 상술한 본 발명의 실시 예에 따른 입력영상과 출력영상의 다양한 예를 제시한 것이다.

100: 영상입력장치
200: 사용자입력장치
300: 물체추출처리장치
310: 경계영상생성부
320: 노이즈제거부
330: 물체분포도계산부
340: 물체/배경마커생성부
350: 관심물체분할부
400: 출력장치

Claims

물체추출 대상 영상을 입력하기 위한 영상입력장치와,
사용자가 상기 영상 내에서 관심영역을 표시하기 위한 사용자입력장치와,
상기 관심영역 내에서 관심물체를 추출하기 위한 물체추출처리장치와,
상기 물체추출처리장치에서 추출된 영상을 표시하기 위한 출력장치를 포함하는 영상 내의 관심 영역에서의 물체 추출 장치.
청구항 1에 있어서,
상기 영상입력장치는 카메라인 것을 특징으로 하는 영상 내의 관심 영역에서의 물체 추출 장치.
청구항 1에 있어서,
상기 관심영역은 상기 사용자입력장치를 이용하여 상기 영상 내에 표시하는 특정 영역인 것을 특징으로 하는 영상 내의 관심 영역에서의 물체 추출 장치.
청구항 1에 있어서,
상기 물체추출처리장치는,
상기 입력 영상의 변화량(gradient magnitude)을 구하여 경계 영상(boundary image)를 생성하기 위한 경계영상생성부와,
상기 경계영상생성부에서 생성한 경계 영상 속의 노이즈를 제거하기 위한 노이즈제거부와,
상기 사용자입력장치로부터 입력 받은 관심 영역의 안과 밖의 정보를 이용하여 관심 영역 내에서 관심 물체라고 생각되는 위치를 표시해주기 위한 물체분포도계산부와,
상기 물체분포도계산부의 계산 결과 영상에서 물체가 있을 만한 곳에는 물체 마커를 부여하고 물체가 확실히 없는 곳에는 배경 마커를 부여하기 위한 물체/배경마커생성부와,
상기 노이즈제거부와 상기 물체/배경마커생성부의 처리결과를 기초로 상기 영상 내에서 관심 물체를 분할하기 위한 관심물체분할부를 포함하는 것을 특징으로 하는 영상 내의 관심 영역에서의 물체 추출 장치.
카메라와 같은 영상 입력 장치로부터 영상을 입력 받는 영상데이터수신단계와,
마우스와 같은 사용자입력장치로부터 관심 영역에 대한 정보를 입력 받는 관심영역데이터수신단계와,
물체추출처리장치에서 상기 입력 받은 영상데이터와 관심 영역데이터를 이용하여 관심 영역 내에 존재하는 관심 물체를 마커기반 워터쉐드 분할 방법을 이용하여 자동으로 분할하는 물체분할단계와,
모니터와 같은 영상출력장치를 통해 분할된 물체 영상을 출력하는 결과출력단계를 포함하는 영상 내의 관심 영역에서의 물체 추출 방법.
청구항 5에 있어서,
상기 물체분할단계는,
상기 입력 영상에서 경계 영상(boundary image)를 생성하는 경계영상생성 단계와,
상기 경계영상생성부에서 생성한 경계 영상 속의 노이즈를 제거하기 위한 노이즈제거 단계와,
상기 입력 영상의 관심영역내에서 관심물체라고 생각되는 위치를 표시해주는 물체분포도계산 단계와,
상기 물체분포도계산단계에서 계산된 영상에물체마커 및 배경마커를 부여하는 물체/배경마커생성 단계와,
상기 노이즈제거부와 상기 물체/배경마커생성부의 처리결과를 기초로 상기 영상 내에서 관심 물체를 분할하는 관심물체분할 단계를 포함하는 영상 내의 관심 영역에서의 물체 추출 방법.
청구항 6에 있어서,
상기 경계영상생성 단계는 경계영상생성부에서 상기 입력 영상의 변화량(gradient magnitude)을 계산하여 상기 영상속에 존재하는 물체들의 경계선을 나타내는 경계영상(boundary image)를 생성하는 것을 특징으로 하는 영상 내의 관심 영역에서의 물체 추출 방법.
청구항 7에 있어서,
상기 경계영상생성 단계는 상기 경계영상생성부에서 상기 입력 영상의 변화량(gradient magnitude)을 계산할 때, 각 컬러 스페이스의 변화량에 중요계수(weighting coefficient)를 곱한 값들 중 최대값을 취하는 것을 특징으로 하는 영상 내의 관심 영역에서의 물체 추출 방법.
청구항 6에 있어서,
상기 노이즈제거 단계는 노이즈제거부에서 닫기 연산(closing operation)을 적용하여 경계선의 노이즈를 제거하는 것을 특징으로 하는 영상 내의 관심 영역에서의 물체 추출 방법.
청구항 6에 있어서,
상기 물체분포도계산 단계는, 상기 사용자입력장치로부터 입력 받은 관심영역의 안과 밖의 정보를 이용하여 관심영역 내에서 관심물체라고 생각되는 위치를 표시해주는 것을 특징으로 하는 영상 내의 관심 영역에서의 물체 추출 방법.
청구항 10에 있어서,
상기 물체분포도계산 단계는, 상기 물체분포도계산부에서 관심영역내의 컬러 흐스토그램의 차를 구하고, 이를 각 픽셀에 투영(back projection)시켜서 각 픽셀이 관심 물체에 속한 확률인 물체분포도를 구하는 것을 특징으로 하는 영상 내의 관심 영역에서의 물체 추출 방법.
청구항 11에 있어서,
상기 물체분포도계산 단계는, 상기 물체분포도계산부에서 상기 물체분포도에 각 픽셀이 관심영역까지의 거리변환을 중요계수로 곱하여 관심영역의 경계에서부터 중앙으로 갈수록 관심물체의 존재를 높이는 것을 특징으로 하는 영상 내의 관심 영역에서의 물체 추출 방법.
청구항 6에 있어서,
상기 물체/배경마커생성 단계는,
상기 물체/배경마커생성부에서 물체분포도의 값이 일정한 값 이상인 픽셀에 물체마커를 부여하고, 관심영역 밖의 모든 픽셀에는 배경마커를 부여하는 것을 특징으로 하는 영상 내의 관심 영역에서의 물체 추출 방법.
청구항 6에 있어서,
상기 물체의 경계영상을 지형학적 영상(topographical image)으로 하고, 상기 물체/배경마커를 입력 받아 마커기반 워터쉐드 분할 방법을 이용하여 관심영역 내의 물체를 자동으로 분할하는 것을 특징으로 하는 영상 내의 관심 영역에서의 물체 추출 방법.