KR20020062557A

KR20020062557A - 영역 분할된 영상의 영역 특징치 정합에 기초한객체추출장치 및 그 방법

Info

Publication number: KR20020062557A
Application number: KR1020010068383A
Authority: KR
Inventors: 박두식; 김지연; 김상균; 김창용
Original assignee: 삼성전자 주식회사
Priority date: 2001-01-20
Filing date: 2001-11-03
Publication date: 2002-07-26
Also published as: KR100450793B1; CN1223969C; EP1233374A2; DE60235591D1; EP1233374A3; JP2002288658A; EP1233374B1; JP3740065B2; US6990233B2; US20020136449A1; CN1384464A

Abstract

본 발명은 영역 분할된 영상의 영역 특징치 정합에 기초한 객체추출장치 및 그 방법에 관한 것으로, 객체를 포함하는 질의영상및 그 질의 영상에 포함된 객체를 추출하고자 하는 대상 영상인 객체추출대상영상을 입력받는 영상입력부;화소 단위의 색 특징 정합에 의해서 객체추출대상영상 내에서 객체의 위치를 판정하는 객체위치판정부;색 또는 텍스추어를 포함하는 영상 특징치를 이용하여 질의 영상과 객체추출대상영상을 각각 영역 분할하는 영상분할부;영상분할부에서 분할된 질의 영상내에 포함된 객체를 기준으로, 영상분할부에서 분할된 객체추출대상영상들 중에서 객체위치판정부에서 판정된 객체 위치에 해당하는 분할된 객체 추출 대상 영역들에 대해 색 또는 텍스추어 특징치를 이용하여 영역을 정합하고, 정합된 영역간의 공간 인접성의 유사도를 이용하여 최종 객체 영역을 결정하는 객체영역결정부를 포함함으로써, 객체추출대상영상에서 특정 객체의 영상 영역을 자동으로 추출하는 것이 가능하여, 영상 편집 및 저작기, 객체 기반 영상 부호화기, 대화형 동영상 제작기 등에 이용될 수 있다.

Description

영역 분할된 영상의 영역 특징치 정합에 기초한 객체추출장치 및 그 방법 {Apparatus for object extraction based on the feature matching of region in the segmented images and method therefor}

본 발명은 추출하고자 하는 객체의 영상이 질의(質疑)영상으로 주어질 때, 객체추출대상영상(단일 영상, 혹은 동영상 시퀀스)에서 화소단위로 처리해서 객체의 위치를 판정하고, 상기 판정된 위치에서 분할된 영상의 영역의 색(color), 텍스추어(textureness) 특징치 및 공간배치의 유사도를 비교하여, 객체추출대상영상 내에서 질의로 주어진 객체의 해당 영역 정보를 추출하는 방법 및 그 장치에 관한 것이다.

영상으로부터 객체를 추출하는 방법은 객체의 움직임을 이용하는 방법(Motion based extraction), 객체 영역의 특징치를 이용하는 방법(Feature based extraction), 영상편집 소프트웨어를 이용하는 수작업에 의한 방법의 크게 3가지로 분류될 수 있다.

객체의 움직임을 이용하는 방법은 다시 연속영상의 차를 계산하여 움직임영역을 추출, 배경영역 제거에 의한 추출, 운동해석에 의한 추출 등으로 나누어진다.연속영상의 차(frame difference: US5500904, US5109435)를 이용하는 방법은 인접한 연속영상에서 각 프레임의 밝기차를 계산하여 움직임을 추출하는 방식으로 기본적인 운동영역 추출방식이다. 배경영역 제거(background subtraction: US5748775)에 의한 방법은 영상특징 변수의 시간적 변화를 사용하여 배경영상을 복원하고 원 영상과의 차를 이용하여 객체영역을 추출하는 방식이다. 마지막으로운동해석(motion analysis: US5862508)에 의한 방법은 움직이는 객체의 운동방향과 속도를 계산하여 운동영역을 추출하는 방식으로 복잡한 배경 하에서 조명변화나 구조의 변화가 생기는 경우에도 동작할 수 있는 가장 일반적인 운동영역 추출방식이다. 위에서 설명한 움직임을 이용한 영역추출은 연속적인 영상에서 적절한 객체의 움직임이 존재하는 경우에 사용가능하고 정지영상이나 움직임이 적은 영상 혹은 운동속도가 매우 큰 영상에서는 적용이 곤란한 문제점이 있다.

객체영역의 특징치를 이용하는 방법은 템플릿 정합, 다중 임계치 분할, 특징치 정합에 의한 방법으로 분류 할 수 있다. 템플릿 정합(template matching: US5943442)은 추출하고자 하는 객체를 템플릿영상으로 하여 검색하고자 하는 영상에서 정규화 상관관계 값이 최대값이 되는 영역을 검출하여 객체영역으로 정의하는 방법으로 객체의 크기변화나 회전등이 존재하는 경우 정규화 상관관계 값이 민감하게 반응하여 추출성능이 저하된다. 다중 임계치(multi-value thresholds: US5138671)를 사용하여 객체를 추출하는 방법은 영상의 밝기 값이나 색 값의 분포를 다중 임계치를 사용하여 분할하고 각각의 영역을 객체영역으로 가정하는 방식으로 배경영역과 객체영역을 정확히 구분하기가 용이하지가 않은 문제점이 있다.

영상편집 소프트웨어를 이용한 수작업에 의한 방법은 직접 사람의 손으로 영역을 구분하는 것으로 객체추출의 정확도는 높으나 작업시간이 길어 연속영상이나 많은 영상을 포함하는 데이터베이스 이미지 편집에는 적합하지 않은 문제점이 있는 방법이다.

본 발명이 이루고자 하는 기술적 과제는 영역 분할된 영상의 영역 특징치 정합에 의한 객체추출방법 및 그 장치를 제공하는데 있다.

본 발명이 이루고자 하는 다른 기술적 과제는, 상기 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공하는데 있다.

도 1은 본 발명에 의한 객체추출장치의 바람직한 실시예의 블럭도이다.

도 2는 본 발명에 의한 객체추출방법의 흐름도이다.

도 3은 색 공간의 양자화 및 빈에 대한 설명을 나타내는 도면이다.

도 4는 화소(m, n)을 중심으로 한 회전을 설명하기 위한 도면이다.

도 5 (a) 및 (b)는 영역 분할된 영상에 레이블 번호를 할당한 예를 나타낸다.

도 6은 도 5(b)에 대한 인접성행렬을 나타낸다.

도 7 (a)~(c)는 질의영상의 분할된 영역의 수가 객체 추출 대상 영역의 분할된 영역의 수보다 큰 경우에 비교행렬을 구하는 예를 나타낸다.

도 8 (a)~(c)는 질의영상의 분할된 영역의 수가 객체 추출 대상 영역의 분할된 영역의 수보다 작을 경우에 비교 행렬을 구하는 예를 나타낸다.

도 9 (a) 및 (b)는 거리 행렬의 예와 그에 따른 비교 행렬의 예를 나타낸다.

도 10은 두 개의 서로 다른 객체에 대한 객체추출대상영상에서의 객체 추출 결과를 나타낸다.

상기의 과제를 이루기 위한 본 발명에 따른 영역 분할된 영상의 영역 특징치 정합에 기초한 객체추출장치는, 객체를 포함하는 질의영상 및 그 질의영상에 포함된 객체를 추출하고자 하는 대상 영상인 객체추출대상영상을 입력받는 영상입력부;화소 단위의 색 특징 정합에 의해서 상기 객체추출대상영상 내에서 객체의 위치를 판정하는 객체위치판정부;색 또는 텍스추어를 포함하는 영상 특징치를 이용하여 상기 질의 영상과 상기 객체추출대상영상을 각각 영역 분할하는 영상분할부;상기 영상분할부에서 분할된 질의 영상내에 포함된 객체를 기준으로, 상기 영상분할부에서 분할된 객체추출대상영상들 중에서 상기 객체위치판정부에서 판정된 객체 위치에 해당하는 분할된 객체 추출 대상 영역들에 대해 색 또는 텍스추어 특징치를 이용하여 영역을 정합하고, 상기 정합된 영역간의 공간 인접성의 유사도를 이용하여 최종 객체 영역을 결정하는 객체영역결정부를 포함한다.

상기의 과제를 이루기 위한 본 발명에 따른 영역 분할된 영상의 영역 특징치 정합에 기초한 객체추출방법은, (a) 객체를 포함하는 질의영상및 그 질의 영상에 포함된 객체를 추출하고자 하는 대상 영상인 객체추출대상영상을 입력받는단계;(b) 화소 단위의 색 특징 정합에 의해서 상기 객체추출대상영상 내에서 객체의 위치를 판정하는 단계;(c) 색 또는 텍스추어를 포함하는 영상 특징치를 이용하여 상기 질의 영상과 상기 객체추출대상영상을 각각 영역 분할하는 단계;(d) 상기 (c) 단계에서 분할된 질의 영상내에 포함된 객체를 기준으로, 상기 영상분할부에서 분할된 객체추출대상영상들 중에서 상기 (b)단계에서 판정된 객체 위치에 해당하는 분할된 객체 추출 대상 영역들에 대해 색 또는 텍스추어 특징치를 이용하여 영역을 정합하고, 상기 정합된 영역간의 공간 인접성의 유사도를 이용하여 최종 객체 영역을 결정하는 단계를 포함한다.

이하에서, 첨부된 도면을 참조하여 본 발명의 바람직한 실시 예에 대하여 상세히 설명한다.

도 1은 본 발명에 의한 객체추출장치의 바람직한 실시예에 따른 블럭도로서, 영상입력부(110), 객체위치판정부(120), 영상분할부(130) 및 객체영역결정부(140)를 포함한다. 바람직하게, 객체위치판정부(120)는 색 히스토그램계산부(121), 영상투사부(123) 및 후보객체위치판정부(125)를 포함하며, 객체영역결정부(140)는 영역정합부(141), 인접성행렬계산부(143), 대응영역검출부(145) 및 유사도계산부(147)를 포함한다.

도 2는 본 발명에 의한 객체추출방법의 바람직한 실시예에 따른 흐름도이다. 도 2를 참조하여 도 1에 도시된 객체추출장치의 동작을 상세히 설명한다.

먼저, 영상입력부(110)는 객체를 포함하는 질의영상(query image) 및 객체추출대상영상을 입력받는다(210단계). 여기서 질의영상이란 추출하고자 하는 객체를포함하는 영상으로서, 추출하고자 하는 객체를 블루스크린(blue screen) 등을 배경으로 촬영하여 얻은 영상 또는 동영상에서 객체가 나타나는 임의의 한 영상 프레임을 선택한 영상을 영상 편집기 등을 이용하여 객체 부분과 배경 부분을 분리한 것을 말한다. 이 경우 객체 영역 이외의 배경 부분의 화소 값은 모두 0(black)으로 처리된다. 또한 여기서 객체추출대상영상이란 임의의 한 영상 혹은 장면 검출기법 등을 이용하여 동영상에서 선택된 대표프레임 영상이 될 수 있다. 객체추출대상영상이 동영상에서의 대표프레임(key frame) 영상인 경우, 그 대표프레임 영상은 추출하고자 하는 객체를 포함하거나 포함하지 않을 수 있다. 질의영상 및 객체추출대상영상은 본 발명의 다른 단계를 시작하기 전에 준비되어야 한다.

다음으로, 객체위치판정부(120)는 질의영상과 객체추출대상영상간에 화소 단위의 색 특징 정합에 의해 객체추출대상영상에서 객체 위치를 판정한다( 221 내지 225-3단계).

구체적으로, 색 히스토그램계산부(121)는 각각 선택된 색 공간과 양자화 수준에 따라 질의영상과 객체추출대상영상에 대한 색 히스토그램값을 구한다(221단계). 여기서, 색 히스토그램값은 양자화된 색 공간인 각 빈(bin)에 포함된 화소수를 의미한다. 도 3에는 본 발명에서 사용하는 양자화된 색공간 및 빈(bin)의 예를 보이고 있다. 이 예에서 색공간은 Red, Green, Blue 축을 갖는 3차원으로 표현되며, 도 3에서는 세 축을 각각 5개의 구간(0, 51, 102, 153, 204, 255)으로 분할하여 색공간을 일정한 부피를 갖는 정육면체로 양자화하였다. 여기서 bin이라함은 이상에서와 같이 양자화된 3차원 색공간의 한 구간(예를 들면, 도 3에서 빗금친 부분)을 의미한다.

각 빈에 포함된 화소 수(C_mi)가 임계 화소 수(threshold pixel) 이하인 경우 이를 잡음으로 간주하고 색 히스토그램값을 0으로 설정한다. 임계 화소 수는 thrPixel = SUM(C_mi)/n 와 같이 정해 질 수 있으며, 여기에서 i=0,...,n-1의 값을 가진 bin 번호이고, n은 빈의 수 및 C_mi는 질의영상의 i번째에 포함된 화소 수이다. 이것은 영상에서 나타나는 빈도수가 적은 색값의 화소는 잡음으로 간주하는 경우에 해당한다. 또한 배경색(화소 값 0)으로 분류된 영역을 포함하는 색 히스토그램값은 0으로 처리하여 최종 색 히스토그램값을 결정한다. 본 실시 예에서는 RGB 색 공간이 사용되었고, 8x8x8의 양자화가 사용되었으나, 색 공간이나, 양자화의 특별한 제한은 없다. YCbCr, L*u*v등 다른 색 공간이 선택 사용 될 수 있겠고, 양자화 또한 4x4x4 혹은 16x16x16등 다양하게 변화된 수준을 사용할 수 있겠다. 이와 같이 다른 색 공간을 선택하거나, 다른 양자화 수준을 사용하는 경우 결과에 미세한 변화를 가져올 수 있다.

영상투사부(123)는 비 히스토그램(ratio histogram)값을 계산하고, 객체추출대상영상의 각 화소 값을 비 히스토그램값으로 대체한다(223단계). 이것이 색 히스토그램을 이용한 영상 투사이다. 비 히스토그램값은 다음 두 가지 방법으로 계산할 수 있다. 그 첫째 방법은 질의영상의 i번째 빈(bin)의 화소 수를 전체 유효 화소수로 나눈 비, 즉, R[Ci]=[C_mi/ SUM(C_mi)]으로 결정하는 방법이고, 두 번째 방법은 질의영상의 빈의 화소 수를 질의영상의 빈에 대응하는 객체추출대상영상의 빈의 화소수로 나눈 값과 1중에서 작은 값을 선택하는데, R[Ci] = min[(C_mi/ C_di), 1]으로 결정하는 방법이다. 여기에서, R[Ci]는 i번째 빈에 해당하는 색을 가진 화소의 비를 의미한다. 비 히스토그램이 구해지면 객체추출대상영상의 각 화소의 색 값에 해당하는 비 히스토그램값을 화소값으로 대체함으로써 영상 투사가 이루어진다.

다음에, 후보객체위치판정부(125)는 비 히스토그램값으로 대체된 객체추출대상영상에서 후보객체의 위치를 판정한다(225-1단계). 구체적으로, 질의영상에 나타나는 객체의 영상영역을 둘러싸는 최소한의 사각형, 경계 박스(bounding box)를 구한다. 이 경계 박스의 크기를 기준으로 정해지는 특정한 크기의 마스크를 비 히스토그램값으로 대체된 객체추출대상영상에 대해 컨볼루션(convolution)하여 각 화소에서 객체가 있을 것 같음에 대한 척도를 계산한다. 그 계산한 값이 기준치 이상이면 후보 객체 위치로 판정한다.

여기서, 각 화소 (x_p,y_p)에서 척도를 계산하기 위해 사용되는 상기 마스크(W)는 다음 수학식 1과 같이 정의되는 반지름이 WR의 크기를 가지는 원일 수 있다.

여기에서 WR는 경계 박스에 의해 규정되는 값이고, bl은 경계 박스의 긴 변의 길이, bs는 경계 박스의 짧은 변의 길이이며,는 크기를 조절하기 위한 변수이다. 각 화소의 위치에서 객체가 있을 것 같음에 대한 척도는 loc로 표현된다. loc는 loc(x,y) = W * p(x,y)로 정의되고, p(x,y)는 화소 (x,y)에서 비 히스토그램값이며, *는 컨볼루션을 의미한다. loc(x,y)의 최대값은 255가 되도록 정규화 되었으며, loc값이 기준치 이상이면 후보 객체 위치로 판정한다. 수학식 1에서, 변수를 조절함으로써, 객체가 존재하는 위치를 다중으로 결정할 수 있다. 즉, 추출하고자하는 객체의 크기가 질의 영상과 객체 추출 대상 영상에 대해 다를 경우에 그 크기 변화에 대응하도록 할 수 있다.

후보 객체들의 위치가 판정(225-1단계)되면, 질의영상내의 객체 영역 중의 일부를 포함하거나 또는 전부를 포함하는 특정크기의 사각형 영역내의 화소와 객체추출대상영상에서의 후보 객체 위치를 중심으로 하는 위 특정 크기의 사각형 영역내의 화소간에 일대일 색 거리차를 구하여 템플리트 정합(225-2단계)을 한다. 그 평균 색 거리차가 최소인 경우, 다음 작은 값인 경우 등을 선정하여 하나 이상의 객체 위치를 판정한다(225-3단계). 구체적으로, 질의 영상의 객체 경계 박스를 기준으로 하는 마스크(특정 크기의 사각형 영역, 실례로 bs를 가로 및 세로로 하는 사각형)를 질의 영상에서의 객체 영상 영역을 둘러싸는 마스크 내에 존재하는 화소와 객체추출대상영상에서의 후보객체위치판정부(125)에서 후보 객체 위치로 판정한 위치를 중심으로 하여 마스크 내에 존재하는 화소간 색 거리차의 평균이 가장 작은 값을 가진 위치를 객체의 위치로 하고, 그 다음 작은 값을 가진 위치를 또 다른 객체의 위치로 판정하는 방법으로 일 이상의 객체 위치를 판정하게 된다. 각 화소간색 거리차의 평균(AD_pixelcolor)은 다음 수학식 2와 같이 정의될 수 있다.

여기에서, N은 Rq=Gq=Bq=0이 아닌 유효화소의 수를 의미하며, Rq=Gq=Bq=0인 화소는 계산에서 제외된다. 아래 첨자 q는 질의 영상을, d는 객체추출대상영상을 각각 의미한다.

한편, 영상분할부(130)는 영상입력부(110)를 통해 입력된 질의영상과 객체추출대상영상에 대해 색 또는 텍스추어를 포함한 영상 특징치를 이용하여 각각 영역 분할한다(230단계). 위에서 영상을 분할하는 방법은 특정한 제한이 없으며 일반적으로 알려진 방법을 사용해서 수행 할 수 있다. 이러한 영상을 분할한 바람직한 실시예가 도 5에 도시되어 있다. 예컨대, 도 5에서 (a)는 원 영상을, (b)는 영역 분할된 영상을 나타낸다. 도 5 (b)를 참조하면, 분할된 영역에 레이블 번호가 할당되어 있다.

객체영역결정부(140)는 영상분할부(130)를 통해 분할된 질의영상을 기준으로 객체위치판정부(120)에서 판정된 객체 위치에서의 분할된 객체 추출 대상 영역에 대해 색, 텍스추어 특징치를 이용하여 영역을 정합하고, 정합된 영역간의 공간 인접성의 유사도를 이용하여 최종 객체 영역을 결정한다(241단계 내지 249단계).

구체적으로 영역정합부(141)는 분할된 객체추출대상영상에서 객체가 존재하는 위치로 판정된 화소를 기준으로 상기 마스크(W)와 만나는 모든 분할된 영역을검출하고, 그 검출된 영역에 대해 질의영상의 모든 영역과 일대일로 유사도를 계산한다. 유사도가 미리 정해진 임계치보다 작으면 객체 영역으로 설정하고, 임계치보다 큰 영역은 객체 영역에서 제외시킨다(241단계). 본 발명에서 사용된 유사도는 색-텍스추어 특징치 공간에서의 거리(D _CT )를 이용하며, 그 거리는 다음 수학식 3과 같이 나타낼 수 있다.

여기서, D_c(x,y)와 D_t(x,y)는 각각 색 특징치 공간과 텍스추어 특징치 공간에서 두 영역 x, y간의 거리를 나타내고, w_c와 w_t는 각각의 거리 값에 부과되는 가중 계수이다. D_c(x,y)와 D_t(x,y)를 얻는 과정의 일 예를 이하에서 상세히 설명한다. 각 영역의 색 특징치는 다음 수학식 4와 같이 정의되는 밝기(B, Brightness), 색상(H, Hue), 순도(S, Saturation)로 표현되었다.

여기서 r, g, b는 입력되는 영역의 평균 색 값이고, u = min(r,g,b) 이다.먼저 색 공간상의 거리는 다음 수학식 5와 같이 BHS 색공간 상의 거리를 사용할 수 있다.

여기서 B(x), H(x), S(x)는 색 공간상에 주어진 점의 휘도, 색상, 순도를 의미하고, K_B, K_H, K_S는 각각 휘도, 색상, 순도의 거리차에 대한 가중 계수이다.

텍스추어 특징치 공간의 형성은 다중 크기, 다중 방향의 텍스추어 특징치(texture features)들을 사용하여 해결하였다. 각각의 특징치는 화소 당 다중 방향의 국소 변동 v (local variation)와 국소 진동 g (local oscillation)를 계산하여 이를 합함으로써 얻어진다. 영상의 밝기 값(B)이 이러한 텍스추어 특징치를 추출하는 데 사용되었다.

텍스추어 특징치를 구하는 과정을 설명하면, 화소 (m,n) 에 대하여 이 화소를 중심으로 2L 길이의 화소들이 있고 2L 길이의 화소들을 화소(m,n)을 중심으로 각도 k = 0,...,K-1, [ _k= kπ/K] 만큼을 회전하게 된다. 여기서, L은 도 4에서 설명한다.

도 4는 화소(m, n)을 중심으로 한 회전 및 L의 의미를 설명하기 위한 도면으로, 중앙의 검은색 부분이 텍스추어를 계산하고자 하는 화소(m,n)에 해당하고 화소(m,n)을 기준으로 좌측, 우측, 상향, 하향에 각각 4개씩의 화소를 표시하였는데, 이때 4가 L의 크기가 된다. 대각선으로 표시된 화소들은 화소(m,n)을 기준으로45°회전한 상태를 나타낸다.

y_i(-L ≤i ≤L)는 이러한 균일하게 분포된 배열의 화소 중 하나의 밝기 값 (B)을 가리킨다. 이때, d_i= y_i+1- y_i는 이 배열 중 각 이웃하는 화소의 밝기 값의 차이(gradient)를 나타내고, w_i= u cos(iπ/(2L+1)) 는 코사인 가중 함수가 된다. 여기서 계수 u 는을 만들기 위한 값으로 쓰여진다. 이를 이용하여 만들어지는 상향과 하향 가중 변동은 다음 수학식 6과 같다.

여기에서 국소 변동 (local variation) 값 v 는 위 두 값 중 작은 것으로 지정한다. 즉, v 는 수학식 7과 같이 정의된다.

국소 진동 값 g (local oscillation) 는 배열의 길이 () 를 따라 구해지는 d_i중 그 방향(sign)이 바뀌는 동시에 그 진동의 크기가 정해진 민감도 임계치를 넘는 개수로서 정의된다. 이렇게 해서 구해지는 각 화소의 국소 변동 값 (local variation)과 국소 진동 값 (local oscillation)을 곱함으로써 해당 화소의 텍스추어 특징치 ()를 구하게 된다. 또한, 구해지는 특징치를 좀 더 균일하게 하기 위해서 다음 수학식 8과 같은 변형식을 이용하여 h 크기 창의 평균치로평탄화(smoothing)를 하고 hyperbolic tangent 변형을 함으로써 높은 텍스추어 특징치는 작게 하고 낮은 텍스추어 특징치는 크게 한다.

텍스추어는 크기에 의존하는 특징치이기 때문에 영상의 크기를 다른 주파수(frequency)로 S 번만큼 줄이면서 (매번 1/2 만큼) 다시 각 화소의 텍스추어 특징치를 위와 같은 방식으로 구하게 된다. 이렇게 해서 구해지는 텍스추어 특징치는 다음 수학식 9와 같다.

위의 식에 의해 각 화소의 텍스추어 특징치는 KS 개가 생기게 된다. 구해진 각 영역의 KS 개의 텍스추어 특징치는 다음 수학식 10과 같이 정의되는 영역간의 텍스추어 거리를 구하기 위해 사용된다.

여기서 x 와 y 는 텍스추어 특성 공간내의 두 점이며,와는 x와 y의 텍스추어 특성치이며,는 텍스추어의 다중 크기에 부과 되는 가중 계수이다.

영역정합부(141)는 계산된 유사도에 근거하여 일 이상의 객체 영역의 존재 유무를 판단한다(242단계). 객체 영역이 존재하지 않는 경우 객체 영역 없음으로결정한다. 색 또는 텍스추어 특징치를 이용한 영역 정합 결과로서 객체 영역이 하나라도 있으면, 객체추출대상영상에 추출하고자 하는 객체가 존재하는 것으로 판단하고, 객체의 영역이 없을 경우에는 추출하고자 하는 객체가 존재하지 않는 것으로 판단한다.

다음에, 인접성행렬계산부(143)는 영역 분할된 질의영상 및 객체 영역이 존재하는 것으로 판단된 영역 분할된 객체추출대상영상에 대한 정합 결과 영상을 입력으로 받아, 입력 영상들에 대해 각각 영역의 공간 인접성 행렬을 계산한다(243단계). 인접성 행렬은 각각의 분할된 영역에 레이블 번호를 할당하고 각각의 영역이 서로 인접하는지에 대한 정보를 행렬로 나타낸 것으로, 행렬의 각 요소에는 분할된 영역이 서로 인접하는 경우 1의 값을, 인접하지 않는 경우 0의 값을 할당한다. 이러한 인접성 행렬의 바람직한 실시예가 도 6에 도시되어 있다.

제 6도는 제 5도의 인접성 행렬을 나타내고 있다. 영역 2와 3은 서로 인접한 영역이므로 행렬의 요소 (2,3)은 1의 값을 가지고, 영역 2와 4는 서로 인접하지 않고 분리된 영역이므로 행렬의 요소 (2,4)는 0의 값을 가진다. 이와 같이 행과 열에 각각의 영역에 해당하는 레이블을 두고 영역간의 인접성을 행렬의 요소에 1과 0으로 나타냄으로써 인접성 행렬은 구해진다.

다음에, 대응영역검출부(145)는 질의 영상의 인접성 행렬을 구성하는 영역과 대응하는 객체추출대상영상의 영역을 인접성 행렬을 이용하여 검출한다(245단계). 구체적으로, 두 영상들간의 대응 영역은 비교 행렬로 나타낸다. 비교 행렬은 질의 영상과 객체추출대상영상간의 비교되는 분할된 영역의 수에 따라 다른 방법으로 구해질 필요가 있다. 즉,

(1) 질의 영상의 구분된 영역의 수가 객체추출대상영상의 구분된 영역의 수 보다 큰 경우,

- 각각의 인접성 행렬을 구한다.

- 질의 영상의 구분된 영역의 수를 기준으로 정방형의 비교행렬을 구성한다.

- 비교행렬에는 객체추출대상영상의 영역 레이블은 추가되나, 요소의 값은 모두 0으로 한다.

도 7는 질의 영상의 구분된 영역의 수가 객체추출대상영상의 구분된 영역의 수 보다 큰 경우의 비교행렬을 구하는 바람직한 실시예를 보이고 있다. 도 7(a)는 질의영상의 인접성행렬의 예를 보이고 있으며, 도 7(b)는 객체추출대상영상의 인접성행렬의 예를 보이고 있고, 도 7(c)는 상기 도 7(a) 및 도 7(b)의 인접성행렬로부터 구해진 비교행렬의 예를 보이고 있다. 여기서, 도 7(b) 및 도 7(c) x로 표시된 것이 추가된 레이블이다.

(2) 질의 영상의 구분된 영역의 수가 객체추출대상영상의 구분된 영역의 수 보다 작은 경우,

- 각각의 인접성 행렬을 구한다.

- 질의 영상의 구분된 영역의 수에 따라 정방형의 비교행렬을 구성한다.

- 객체추출대상영상의 영역 레이블 중 일부는 비교행렬 구성에서 제외된다.

도 8에서는 질의 영상의 구분된 영역의 수가 객체추출대상영상의 구분된 영역의 수 보다 작은 경우에 비교행렬을 구하는 바람직한 실시예가 도시되어 있다.도 8(a)는 질의영상의 인접성행렬이고, 도 8(b)은 객체추출대상영상의 인접성행렬이며, 도 8(c)은 상기 도 8(a) 및 도 8(b)로부터 구해진 비교행렬이다.

한편, 도 7 및 도 8에서는 비교행렬을 구성하는 예로서 질의영상의 영역 레이블과 객체추출대상영상의 영역 레이블이 서로 같은 것을 대응시켜 비교행렬을 구성했다. 그러나 이러한 방법은 레이블이 같은 영역은 같은 특징치(색과 텍스추어)를 가진 것으로 가정하는 경우에만 유효한 결과를 얻는다. 다시 말해, 질의 영상의 각 레이블에 해당하는 영역과 가장 가까운 성질을 가진 서로 대응되는 객체추출대상영상의 영역을 찾을 필요가 있다. 대응되는 영역의 레이블을 이용하여 비교행렬이 구해져야 두 영상의 영역 비교가 의미를 가진다. 이러한 대응되는 영역의 결정은 이하와 같이 수행된다.

(1) 질의 영상의 영역 레이블을 행으로, 객체추출대상영상의 영역의 레이블을 열로 하는 행렬을 구성하고, 각 영역간의 거리를 구하여 그 요소로 하는 거리행렬을 구한다. 거리 값은 색-텍스추어 특징 공간에서의 거리 D_CT(x,y)를 사용한다.

(2) 거리행렬의 값에 따라 질의 영상의 영역에 대응되는 객체추출대상영상의 영역을 결정하고, 그 대응 영역에 따라 비교행렬을 재구성한다.

도 9에서는 질의 영상의 각 레이블에 해당하는 영역에 가장 가까운 성질을 가진 상기 질의 영상의 레이블에 대응되는 객체추출대상영상의 영역을 찾고 이에 따라서 비교행렬을 구하는 바람직한 실시예를 보이고 있다. 도 9(a)는 질의영상과 객체추출대상영상에 존재하는 레이블간의 거리를 나타내는 거리행렬의 바람직한 실시예이다. 도 9(b)는 도 9(a)의 거리행렬에서 최단거리의 질의 영상과 객체추출대상영상에 존재하는 레이블을 선정하여 새롭게 구성한 비교행렬의 바람직한 실시예를 보이고 있다. 도 9(a)의 거리행렬의 요소 중 빗금으로 표시된 요소가 각 질의 영상과 객체추출대상영상의 대응하는 최단거리의 레이블간의 거리임을 나타내고 있다. 도 9에서는 질의영상의 영역이 3개, 비교되는 객체추출대상영상의 영역이 4개인 경우를 예로 들고 있으며, 비교행렬에서 대응 레이블이 거리행렬에서 구한 대응 영역에 따라 바뀌었음을 보여 주고 있다.

다음에, 유사도계산부(147)는 공간 인접성 행렬의 유사도를 계산(247단계)한다. 유사도는 비교행렬에서 1의 수(B_u)를 상 삼각 행열 전체의 요소의 수(M_u)로 나누는 방식으로 구한다. 인접성이 완전히 일치하는 경우는 그 값이 1이 되고 완전히 다른 경우는 0이 된다. 즉, 비교행렬로부터 질의 영상과 객체추출대상영상의 공간 인접성 유사도(S, similarity)는 다음 수학식 11과 같이 구할 수 있다.

끝으로, 계산된 유사도가 임계치 이상인가를 판단(248단계)하고, 그렇다면 최종 객체 영역을 결정한다(249단계). 즉, 객체추출대상영상에서 색과 텍스추어 특징치를 이용한 영역 정합 결과의 영역이 추출하고자 하는 객체인지를 판단한다. 최종적으로 남은 영역을 객체 영역으로 결정하고, 객체 영역은 원래의 영상의 화소 값을, 나머지 영상 영역은 0의 값으로 처리된다. 한편, 유사도가 임계치 미만으로 추출하고자 하는 객체가 없는 것으로 결정되면 추출 대상 영상의 모든 화소 값을 0으로 처리한다.

도 10은 두 개의 서로 다른 객체에 대한 객체추출대상영상에서의 객체 추출 결과를 보이고 있다. 도 10(a)는 4개의 객체추출대상영상에 포함된 여성 출연자의 옷(추출 대상 객체)을 본 발명에 따라 추출한 결과를 보이고 있으며, 도 10(b)는 4개의 객체추출대상영상에서 남자 출연자의 옷(추출 대상 객체)을 본 발명에 따라 추출한 결과를 보이고 있다.

한편, 상술한 본 발명의 실시예들은 컴퓨터에서 실행될 수 있는 프로그램으로 작성가능하다. 그리고, 컴퓨터에서 사용되는 매체를 이용하여 상기 프로그램을 동작시키는 범용 디지털 컴퓨터에서 구현될 수 있다. 상기 매체는 마그네틱 저장매체(예를 들면, 롬, 플로피 디스크, 하드 디스크 등), 광학적 판독 매체(예를 들면, 씨디롬, 디브이디 등) 및 캐리어 웨이브(예를 들면, 인터넷을 통한 전송)와 같은 저장매체를 포함한다.

이제까지 본 발명에 대하여 그 바람직한 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.

이상에서 설명한 바와 같이, 본 발명은 종래의 움직임 기반 객체 추출 방법 등과는 달리 객체 추출 대상 영상 내에 존재하는 객체가 움직임이 있거나, 없거나에 상관없이 객체를 추출할 수 있는 장점이 있다. 뿐만 아니라, 객체 추출 대상 영상이 연속된 동영상 프레임일 필요도 없다. 또한, 색이나 텍스추어 특징치 등 단일 정보만을 이용하여 객체를 추출하는 방법보다 더 정확한 객체의 영상 영역 추출이 가능한 장점이 있다. 추출하고자 하는 객체를 포함한 질의 영상과 객체 추출 대상 영상의 제공만으로 자동적인 객체 추출이 가능하여 수동의 객체 추출에 소모되는 시간의 절약 효과가 있다. 본 발명의 이러한 특징과 장점은 특정 객체의 영상 영역을 자동으로 추출하는 것이 필요한 영상 편집 및 저작기, 객체 기반 영상 부호화기, 대화형 동영상 제작기 등에 유용하게 이용될 수 있다.

Claims

영상으로부터 객체를 추출하는 객체추출장치에 있어서,

객체를 포함하는 질의영상및 그 질의 영상에 포함된 객체를 추출하고자 하는 대상 영상인 객체추출대상영상을 입력받는 영상입력부;

화소 단위의 색 특징 정합에 의해서 상기 객체추출대상영상 내에서 객체의 위치를 판정하는 객체위치판정부;

색 또는 텍스추어를 포함하는 영상 특징치를 이용하여 상기 질의 영상과 상기 객체추출대상영상을 각각 영역 분할하는 영상분할부; 및

상기 영상분할부에서 분할된 질의 영상내에 포함된 객체를 기준으로, 상기영상분할부에서 분할된 객체추출대상영상들 중에서 상기 객체위치판정부에서 판정된 객체 위치에 해당하는 분할된 객체 추출 대상 영역들에 대해 색 또는 텍스추어 특징치를 이용하여 영역을 정합하고, 상기 정합된 영역간의 공간 인접성의 유사도를 이용하여 최종 객체 영역을 결정하는 객체영역결정부를 포함하는 것을 특징으로 하는 객체추출장치.
제1항에 있어서, 상기 객체위치판정부는

상기 질의영상및 상기 객체추출대상영상에 대해 각각 색 히스토그램을 계산하는 색 히스토그램계산부;

상기 질의영상및 객체추출대상영상에 대한 색 히스토그램을 비 히스토그램값으로 대체하는 영상투사부; 및

상기 비 히스토그램값으로 대체된 객체추출대상영상으로부터 후보 객체 위치를 판정하는 후보객체위치판정부를 포함하는 것을 특징으로 하는 객체추출장치.
제 2항에 있어서, 상기 색 히스토그램계산부는

상기 질의영상 및 객체 추출 대상영상에 대해서 양자화된 색 공간에서의 화소수를 계산하는 것을 특징으로 하는 객체추출장치.
제2항에 있어서, 상기 후보객체위치판정부는

상기 질의 영상에 포함된 객체를 둘러싸는 최소한의 경계 박스를 기준으로결정된 마스크의 값과 상기 비 히스토그램값으로 대체된 객체추출대상영상의 화소값들을 콘볼루션하고, 그 결과 값이 소정의 기준치 이상이 되는 화소들을 중심으로 하는 소정의 영역 내에서의 각 화소들의 색거리차의 평균값이 작은 영역들 순으로 후보 객체 위치를 판정하는 것을 특징으로 하는 객체추출장치.
제1항에 있어서, 상기 영상분할부는

색 또는 텍스추어를 포함하는 상기 영상 특징치를 이용하여 상기 질의영상과 상기 객체추출대상영상을 각각 영역분할하는 것을 특징으로 하는 객체추출장치.
제1항에 있어서, 상기 객체영역결정부는

상기 영상분할부에서 분할된 질의 영상을 기준으로 상기 객체 위치에서의 분할된 객체 추출 대상 영역에 대해 적어도 색과 텍스추어를 포함하는 영상 특징치를 이용하여 영역을 정합하고, 상기 정합결과에 따라 객체 영역의 존재 유무를 판단하는 영역정합부;

상기 분할된 질의영상 및 상기 객체 영역이 존재하는 것으로 판단된 분할된 객체추출대상영상에 대한 정합 결과 영상 영역의 공간 인접성행렬을 각각 계산하는 인접성행렬계산부;

상기 인접성행렬계산부에서 계산된 인접성행렬들을 이용하여 상기 두 영상들간의 대응 영역을 검출하는 대응영역검출부; 및

상기 대응 영역에 근거하여 상기 두 영상들간의 유사도를 계산하여 최종 객체 영역을 결정하는 유사도계산부를 포함하는 것을 특징으로 하는 객체추출장치.
제6항에 있어서, 상기 영역정합부는

상기 분할된 객체추출대상영상에서, 객체가 존재하는 위치로 판정된 화소를 포함하고 상기 질의영상의 객체를 둘러싸는 영역에 의해서 결정된 마스크와 만나는 모든 분할된 영역을 검출하고 상기 검출된 영역들과 상기 질의 영상의 분할된 영역들간의 각각의 유사도를 계산하여 상기 객체 영역의 존재 유무를 판단하는 것을 특징으로 하는 객체추출장치.
제6항에 있어서, 상기 인접성행렬계산부는

상기 분할된 질의영상 및 상기 질의영상의 객체를 포함하는 분할된 객체추출대상영상에 각각 레이블 번호를 할당하고, 상기 레이블 번호에 해당하는 영역들이 서로 인접하고 있는지에 대한 정보를 인접성행렬로 나타내며, 상기 행렬의 각 요소는 서로 인접하는 경우 소정의 제1값을, 인접하지 않는 경우 소정의 제2값을 갖는 것을 특징으로 하는 객체추출장치.
제6항에 있어서, 상기 대응영역검출부는

상기 인접성행렬들을 이용하여 상기 두 영상들간의 대응 영역을 비교행렬로 나타내며, 상기 질의영상의 분할된 영역의 수가 객체 추출 대상 영역의 분할된 영역의 수보다 큰 경우와 작은 경우에 따라 비교 행렬을 달리 구하는 것을 특징으로하는 객체추출장치.
제6항에 있어서, 상기 대응영역검출부는

상기 인접성행렬들을 이용하여 상기 두 영상들간의 대응영역을 비교행렬로 나타내며, 상기 비교행렬은 상기 질의영상의 레이블 번호들에 해당하는 영역들과 가장 가까운 영상 특징치를 갖는 객체추출대상영상의 분할된 영역에 한하여 구해지는 것을 특징으로 하는 객체추출장치.
제10항에 있어서, 상기 대응영역검출부는

거리행렬을 이용하여 상기 가장 가까운 영상 특징치를 갖는 객체추출대상영상의 분할된 영역을 결정하고, 두 영상들간의 대응 영역에 따라 비교행렬을 재구성하는 것을 특징으로 하는 객체추출장치.
제11항에 있어서, 상기 거리행렬은

상기 질의영상의 레이블 번호들을 행의 값으로 하고 상기 객체추출대상영상의 레이블 번호들을 열의 값으로 하는 행렬에서, 상기 질의영상과 상기 객체추출대상영상간에 대응하는 레이블 번호들에 해당하는 영역들간의 거리를 그 행렬의 요소들로 한 것을 특징으로 하는 객체추출장치.
제8항에 있어서, 상기 유사도계산부는

상기 인접성 행렬의 각 요소가 서로 인접하는 경우에는 제1값을 갖고, 인접하지 않는 경우에는 제2값을 가질 때, 상기 유사도를 상기 비교행렬에서의 상 삼각 행렬내의 제1값을 가지는 요소의 수를 상기 상 삼각 행렬 전체의 요소의 수로 나눈 방식으로 구하는 것을 특징으로 하는 객체추출장치.
영상으로부터 객체를 추출하는 방법에 있어서,

(a) 객체를 포함하는 질의영상및 그 질의 영상에 포함된 객체를 추출하고자 하는 대상 영상인 객체추출대상영상을 입력받는 단계;

(b) 화소 단위의 색 특징 정합에 의해서 상기 객체추출대상영상 내에서 객체의 위치를 판정하는 단계;

(c) 색 또는 텍스추어를 포함하는 영상 특징치를 이용하여 상기 질의 영상과 상기 객체추출대상영상을 각각 영역 분할하는 단계; 및

(d) 상기 (c) 단계에서 분할된 질의 영상내에 포함된 객체를 기준으로, 상기 영상분할부에서 분할된 객체추출대상영상들 중에서 상기 (b)단계에서 판정된 객체 위치에 해당하는 분할된 객체 추출 대상 영역들에 대해 색 또는 텍스추어 특징치를 이용하여 영역을 정합하고, 상기 정합된 영역간의 공간 인접성의 유사도를 이용하여 최종 객체 영역을 결정하는 단계를 포함하는 것을 특징으로 하는 객체추출장치.
제 14항에 있어서, 상기 (b)단계는

(b1) 상기 질의영상및 상기 객체추출대상영상에 대해 각각 색 히스토그램을계산하는 단계;

(b2) 상기 질의영상및 객체추출대상영상에 대한 색 히스토그램을 비 히스토그램 값으로 대체하는 단계; 및

(b3) 상기 비 히스토그램값으로 대체된 객체추출대상영상으로부터 후보 객체 위치를 판정하는 단계를 포함하는 것을 특징으로 하는 객체추출방법.
제 15항에 있어서, 상기 (b1)단계는

상기 질의영상 및 객체추출대상영상에 대해서, 양자화된 색공간상의 빈들에 포함된 화소수를 계산하는 것을 특징으로 하는 객체추출방법.
제 16항에 있어서, 상기 (b2)단계는

상기 질의영상에 대한 빈들 중의 하나에 포함되는 화소수를 상기 질의영상에 대한 전체 빈들에 포함된 화소수로 나눈 비로 결정하는 것을 특징으로 하는 객체추출방법.
제 16항에 있어서, 상기 (b2)단계는

상기 질의영상에 대한 빈들과 상기 객체추출대상영상에 대한 빈들의 비로 결정되는 것을 특징으로 하는 객체추출방법.
제 15항에 있어서, 상기 (b3)단계는

(b3-1) 상기 질의 영상에 포함된 객체를 둘러싸는 최소한의 경계 박스를 기준으로 결정된 마스크 및 상기 비 히스토그램값으로 대체된 객체추출대상영상의 화소값들을 콘볼루션을 하는 단계;

(b3-2) 상기 콘볼루션을 한 결과 값이 소정의 기준치 이상이 되는 화소들을 중심으로 하는 소정의 영역 내에서의 각 화소들간의 색거리차의 평균값을 계산하는 단계;

(b3-3) 상기 화소들간의 색거리차의 평균값이 작은 영역들 순으로 하나 이상의 후보 객체 위치를 판정하는 단계를 포함하는 것을 특징으로 하는 객체추출방법.
제 19항에 있어서, 화소 위치(x_p,y_p)에서의 상기 마스크는 다음 수학식을 이용하여 정의되는 원이며,

[수학식]

여기서, bl은 상기 경계 박스의 긴 변의 길이이고, bs는 상기 경계 박스의 짧은 변의 길이이며,는 크기를 조절하기 위한 변수인 것을 특징으로 하는 객체추출방법.
제 19항에 있어서, 상기 화소들간의 색거리차는 다음 수학식에 의해서 정의되며,

[수학식]

여기에서, N은 상기 경계 박스내의 유효 화소의 수를 의미하며, 첨자 q는 질의 영상을, d는 객체추출대상영상을 각각 의미하는 것을 특징으로 하는 객체추출방법.
제 14항에 있어서, 상기 (d)단계는

(d1) 상기 (c)단계에서 분할된 질의 영상을 기준으로 상기 객체 위치에서의 분할된 객체 추출 대상 영역에 대해 색 또는 텍스추어를 포함하는 영상 특징치를 이용하여 영역을 정합하고, 상기 정합결과에 따라 객체 영역의 존재 유무를 판단하는 단계;

(d2) 상기 분할된 질의영상및 상기 객체 영역이 존재하는 것으로 판단된 분할된 객체추출대상영상에 대한 정합 결과 영상 영역의 공간 인접성 행렬을 각각 계산하는 단계;

(d3) 상기 (d2)단계에서 계산된 인접성행렬들을 이용하여 상기 두 영상들간의 대응 영역을 검출하는 단계; 및

(d4) 상기 대응 영역에 근거하여 상기 두 영상들간의 유사도를 계산하여 최종 객체 영역을 결정하는 단계를 포함하는 것을 특징으로 하는 객체추출방법.
제 22항에 있어서, 상기 (d1)단계는

(d1-1) 상기 분할된 객체추출대상영상에서, 객체가 존재하는 위치로 판정된 화소를 포함하고 상기 질의 영상의 객체를 둘러싸는 영역에 의해서 결정된 마스크와 만나는 모든 분할된 영역들을 검출하는 단계;

(d1-2) 상기 검출된 영역들과 상기 질의 영상의 분할된 영역들간의 각각의 색/텍스추어 거리차를 계산하여 상기 객체 영역의 존재 유무를 판단하는 단계를 특징으로 하는 객체추출방법.
제 23항에 있어서, 상기 색/텍스추어 거리차는 색 또는 텍스추어를 포함하는 영상 특징치 공간에서의 두 영역간의 거리를 이용하며, 상기 거리는 다음 수학식을 이용하여 계산되며,

[수학식]

여기에서 D _c (x,y)와 D_t(x,y)는 각각 색 특징치 공간과 텍스추어 특징치 공간에서 두 영역 x, y간의 거리를 나타내고, w_c와 w_t는 각각의 거리 값에 부과되는 가중 계수인 것을 특징으로 하는 객체추출방법.
제 22항에 있어서, 상기 (d2) 단계는,

상기 분할된 질의영상 및 상기 질의영상의 객체를 포함하는 분할된 객체추출대상영상에 각각 레이블 번호를 할당하고, 상기 레이블 번호에 해당하는 영역들이 서로 인접하고 있는지에 대한 정보를 인접성행렬로 나타내며, 상기 행렬의 각 요소는 서로 인접하는 경우 소정의 제1값을, 인접하지 않는 경우 소정의 제2값을 갖는 것을 특징으로 하는 객체추출방법.
제 22항에 있어서, 상기 (d3)단계는

상기 인접성 행렬들을 이용하여 상기 두 영상들간의 대응 영역을 비교행렬로 나타내며, 상기 질의영상의 분할된 영역의 수가 객체 추출 대상 영역의 분할된 영역의 수보다 큰 경우와 작은 경우에 따라 비교 행렬을 달리 구하는 것을 특징으로 하는 객체추출방법.
제 22항에 있어서, 상기 (d3) 단계는

상기 인접성 행렬들을 이용하여 두 영상들간의 대응 영역을 비교행렬로 나타내며, 여기서 비교행렬은 질의영상의 레이블 번호들에 해당하는 영역들과 가장 가까운 영상 특징치를 갖는 객체추출대상영상의 분할된 영역에 한하여 구해지는 것을 특징으로 하는 객체추출방법.
제22항에 있어서, 상기 (d3)단계는

거리행렬을 이용하여 상기 가장 가까운 영상 특징치를 갖는 객체추출대상영상의 분할된 영역을 결정하고, 상기 두 영상들간의 대응 영역에 따라 비교행렬을재구성하는 것을 특징으로 하는 객체추출방법.
제28항에 있어서, 상기 거리행렬은

상기 질의영상의 레이블 번호들을 행의 값으로 하고 상기 객체추출대상영상의 레이블 번호들을 열의 값으로 하는 행렬에서, 상기 질의영상과 상기 객체추출대상영상간에 대응하는 레이블 번호들에 해당하는 영역들간의 거리를 그 행렬의 요소들로 한 것을 특징으로 하는 객체추출방법.
제22항에 있어서, 상기 (d4)는

상기 인접성 행렬의 각 요소가 서로 인접하는 경우에는 제1값을 갖고, 인접하지 않는 경우에는 제2값을 가질 때, 상기 유사도를 상기 비교행렬에서의 상 삼각 행렬내의 제1값을 가지는 요소의 수를 상기 상 삼각 행렬 전체의 요소의 수로 나눈 방식으로 구하는 것을 특징으로 하는 객체추출방법.
제26 또는 27항에 있어서, 상기 (d4) 단계에서,

상기 유사도는 다음 수학식을 이용하여 계산되며,

[수학식]

여기에서, 인접성행렬의 각 요소가 서로 인접하는 경우 상기 제1값을, 인접하지 않는 경우 상기 제2값을 가질 때, E_u는 상기 비교행렬의 상 삼각 행렬내의 상기 제1값의 수를, M_u는 상기 상 삼각 행렬 전체의 요소의 수를 각각 나타내는 것을 특징으로 하는 객체추출방법.
제 14항 내지 제31항 중에 어느 한 항의 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.