KR20020021795A - 디지털 이미지 세그먼테이션 방법 및 장치 - Google Patents

Abstract

본 발명에 따르면, 이미지 세그먼터는 하나 이상의 기술을 사용하여 이미지를 정밀하게 세그먼팅하는데, 하나 이상의 기술로는 불완전하게 경계지어진 세그먼트를 채우기 위해 프로그레시브 채우기(progressive flood fill)를 사용하는 방법, 복수의 스케일링된 변환의 사용 및 또 다른 스케일에 기인하는 세그먼테이션에 의해 하나의 스케일에서의 세그먼테이션을 유도하고, 복수의 색 평면의 혼합인 혼합 이미지를 사용하여 에지를 검출하며, 복수의 클래스의 에지 화소를 사용하여 에지 체인을 생성하고, 복수의 스케일링된 변환을 사용하여 에지 체인을 생성하며, 및/또는 또 다른 스케일에서 검출된 에지에 기초하여 하나의 스케일에서 의사(擬似) 에지를 필터링하는 방법을 포함한다.

Description

디지털 이미지 세그먼테이션 방법 및 장치{METHOD AND APPARATUS FOR DIGITAL IMAGE SEGMENTATION}

이미지 세그먼트는 전체 이미지를 이루고 있는 비중첩 부분의 세트(a set of non-overlapping parts)(즉, 세그먼트)로 이미지를 분할하는 프로세스(the process of partitioning)이다. 이미지 세그먼트는 많은 어플리케이션에 유용한데, 그 중 하나가 기계 학습(machine learning)이다.

기계 학습에 있어서, 이미지는 세그먼트 세트(a set of segment)로 세그먼팅되며, 상기 이미지 또는 또 다른 이미지로부터의 지정된 세그먼트는 상기 세그먼트의 세트와 비교된다. 기계가 상기 지정된 세그먼트를 세그먼팅된 이미지로부터의 하나 이상의 세그먼트와 성공적으로 정합시키는 경우, 상기 기계는 적절한 결론을 유도한다. 예를 들면, 이미지 세그먼테이션은 겸상 적혈구성 빈혈(sickle cell anemia)과 같은 혈액 질환(blood disease)을 판정하기 위한 기형의 혈구(misshapen blood corpuscle)를 식별하는데 사용될 수 있다. 이 실시예에 있어서, 지정된 세그먼트는 질환성 혈구(diseased blood cell)일 수 있다. 소정의 이미지에 있어서 정합한 세그먼트의 수를 계수함으로써, 환자의 혈액의 상대적인 건강 상태를 판정할 수가 있다. 또 다른 어플리케이션으로는 압축(compression) 및 영역의 세그먼트에 따라 이미지 영역을 처리하는 프로세스를 포함한다.

본 명세서에서 사용되는 용어 중, 이미지는 다차원(multi-dimensional) 신호에서 유도된 데이터를 지칭한다. 신호는 자연적 또는 인위적 중 어느 하나로 발원(originate)하거나 생성(generate)될 수 있다. 이 다차원 신호(여기서, 차원은 1, 2, 3 또는 그 이상임)는, 화소가 어레이 내에 위치하도록 화소색값(pixel color value)의 어레이로서 표시될 수 있고, 이미지를 표시하는 각 화소의 색값에 따라 컬러링될 수 있다. 각 화소는 위치를 가지며, 그 위치에서의 점(point)으로서 또는 이미지 내 소정의 점이 화소의 영역 "내(in)"로 간주되거나 화소의 일부로 간주되도록 화소 주위 영역을 채운 형태(shape)로서 간주될 수 있다. 이미지 그 자체는 디스플레이상(인쇄된 페이지상)의 다차원 화소 어레이, 메모리 내에 저장되어 있는 어레이 또는 이미지를 전송하여 표시하는 데이터 신호일 수 있다. 다차원 화소 어레이는 2차원 이미지용 2차원 어레이, 3차원 이미지용 3차원 어레이 또는몇몇 다른 차원의 어레이일 수 있다.

이미지는 물리적인 공간(space)이거나 평면(plane)인 이미지 또는 시뮬레이션된(simulated) 및/또는 컴퓨터에 의해 발생된(computer-generated) 공간이거나 평면인 이미지일 수 있다. 컴퓨터 그래픽 아트(computer graphic art)에 있어서, 공통적인 이미지는 3차원 공간(three-space)에 있어서의 오브젝트(objects) 및 광원(light sources)의 기하학적 모델과 같은, 컴퓨터에 의해 발생된 3차원 공간의 2차원 도면(two-dimensional view)이다. 이미지는 적절한 시간 순서(time order)로 정렬되는 경우에 동화상(moving image)[본 명세서에서는 비디오 시퀀스(video sequence)라고 칭함]을 형성하는 단일 이미지 또는 복수의 이미지들 중 하나의 이미지일 수 있다.

이미지를 세그먼팅하는 경우, 이미지는 복수의 세그먼트로 표시된다. 전체 이미지를 포함하는 단일 세그먼트를 생성하는 경우에는 본 명세서에 사용된 세그먼트의 정의 내에 있지만, 통상적인 세그먼테이션은 이미지를 적어도 두 개의 세그먼트로 분할한다. 많은 이미지에 있어서, 세그먼테이션은 이미지를 배경 세그먼트(background segment) 및 하나 이상의 전경 세그먼트(foreground segment)로 분할한다.

하나의 세그먼테이션 방법에 있어서, 이미지는, 각 세그먼트가 이미지 영역(여기서, 화소색값은 세그먼트 내에서 다소 균일함)을 표시하지만, 이미지의 에지에서 극적으로 변화하도록 세그먼팅된다. 이 실시예에 있어서, 영역들이 연결된다(즉, 영역 밖으로 나가는 일이 없이 영역 내 소정의 하나의 화소로부터 영역 내 소정의 또 다른 하나의 화소로 화소마다 이동하는 것이 가능하다).

화소색값이 소정수의 화소색 공간(pixel color space)으로부터 선택될 수 있다. 통상적으로 사용되는 하나의 색 공간은 YUV 색 공간으로서 알려져 있으며, 화소색값은 3개의 성분(Y, U, V)으로 기술되는데, 여기서, Y 성분은 그레이스케일(grayscale) 강도 또는 휘도(luminance) 성분이라고 칭하고, U 성분 및 V 성분은 두 개의 색도(chrominance) 성분이라고 칭한다. YUV 색 공간은 텔레비전 어플리케이션에서 공통적으로 보여진다. 또 다른 공통적인 색 공간은 RGB 색 공간이라고 칭하며, 여기서 R, G 및 B는 적색(Red) 성분, 녹색(Green) 성분 및 청색(Blue) 성분이라고 각각 칭한다. RGB 색 공간은 컴퓨터 그래픽 표현(representation)에서 컴퓨터 프린터에서 종종 사용되는 CYMB[사이안(cyan), 노란색(yellow), 마젠타(magenta), 흑색(black)]와 함께 공통적으로 보여진다.

도 1은 이미지 세그먼테이션의 일례를 도시한다. 배경(15) 위에 셔츠(20)의 이미지(10)가 있다. 이미지는 색들에 기초하여 세그먼팅될 수 있다[도 1에 도시된 셔츠(20)의 암영(shading)은 배경(15) 또는 포켓(70, 80)의 색들과 별개의 색을 나타냄]. 따라서, 이 실시예에 있어서는, 배경(15), 셔츠(20), 버튼(30, 40, 50, 60) 및 포켓(70, 80)이 별도의 세그먼트로 세그먼팅된다. 이 실시예에 있어서, 각 세그먼트가 화소 경계에서 분명하게 끝나는 매우 명백한 색 및 오브젝트를 갖는다면, 세그먼테이션은 간단한 프로세스이다. 그러나, 일반적으로, 세밀한 이미지 세그먼트를 생성하는 것은 어려운 문제이며, "컴퓨터 시각(computer vision)" 연구 분야와 같은, 이 문제에 대한 많은 개방된 연구(open research)가 있다. 세그먼테이션이 종종 어려워지는 한가지 이유로는, 물리적인 장치(physical device)로 이미지를 캡쳐링하는 경우, 통상적인 이미지는 디지털화 프로세스(digitization process)를 포함하지만 이것에 제한되지는 않는 여러 가지 소스로부터 도입되는 노이즈를 포함하며, 또한 이미지는 잘 정의된 경계를 갖지 않는 영역을 포함한다는 것이다.

이미지 세그먼테이션 작업을 접근하는 방법에는 몇가지가 있는데, 일반적으로 1) 히스토그램-기저형 세그먼테이션, 2) 전형적인 에지-기저형 세그먼테이션, 3) 영역-기저형 세그먼테이션 및 4) 몇가지 다른 접근 방법을 조합한 혼합형(hybrid) 세그먼테이션으로 그룹화할 수 있다. 이들 각 접근 방법은 이하에 기술된다.

1. 히스토그램-기저형 세그먼테이션

히스토그램(histogram) 기술에 기초하는 세그먼테이션은 각 세그먼트에서의 색 분포의 결정(determination)에 따른다. 이 기술은 세그먼테이션을 위한 또한, 이미지의 그레이스케일부라고도 칭하는 이미지의 단 하나의 색 평면(color plane)[통상적으로, 강도(intensity) 색 평면]만을 사용한다. 이 기술을 실행하기 위해서는, 프로세서는 그 평면의 화소색값의 히스토그램을 생성한다. 히스토그램은 일련의 "구간(inverval)"을 갖는 그래프로, 일 축을 따라 배열된 값의 범위와 다른 축을 따라 나타난 각 범위 내 값의 총 발생수를 각각 나타낸다. 히스토그램은, 각 세그먼트 내의 색 분포가 대략적으로 가우시언(Gaussian) 분포(또는 종형상)이며, 전체 이미지에 대한 색 분포가 가우시언 분포의 합이라는 가정하에서, 각 세그먼트에 있어서의 화소의 수를 결정하는데 사용될 수 있다. 히스토그램-기저형 기술은 구간의 크기를 변경(즉, 값 범위를 증가 또는 감소시켜 높거나 낮은 점을 찾음)하여 개별적인 가우시언 곡선을 회복시켜려 한다. 일단 분포를 확인하면, 그 후 각 화소는 화소의 대응하는 강도 범위를 갖는 세그먼트로 할당된다.

히스토그램 방법은 오차를 내포하고 있다. 가우시언 분포인 색 분포가 최상의 가정이라는 기초적인 가정이 모든 이미지에 대해 정밀하지 않을 수 있다. 또한, 동일한 강도의 두 개의 분리 영역이 동일한 세그먼트로 간주될 수 있다. 또한, 히스토그램에 의해 회복된 가우시언 분포가 이 가우시언 분포가 단부에서 잘라내 버리기 때문에, 몇개의 화소가 제거된다. 또한, 이 세그먼테이션 방법은 반자동일 뿐이며, 이 기술은 세그먼트의 수가 사전에 알려져 있고, 모든 세그먼트가 모두 대략적으로 동일한 크기일 필요가 있다.

2. 전형적인 에지-기저형 세그먼테이션

전형적인 에지-기저형 세그먼테이션은 색 또는 그레이스케일 강도의 차를 사용하여 이미지 내의 여러 영역의 윤곽을 나타내는 에지 화소를 결정한다. 이 접근 방법은, 통상적으로, 에지 화소를 식별하는 경우 이미지 내 별도의 영역을 완전히 둘러싸서 세그먼트를 표시한다고 가정한다. 그러나, 전형적인 에지 검출 기술은 종종 사실 에지 화소인 모든 화소를 식별하는데 문제가 있는 데, 그 이유로는 이미지에서의 노이즈 또는 다른 인공물에 기인한다. 몇개의 에지 화소를 빠뜨리면(miss), 몇몇 복수의 별도 영역이 단일 세그먼트로서 식별되지 않을 수 있다.

3. 영역-기저형 세그먼테이션

영역 기저형 세그먼테이션은 동질(homogenous)의 영역을 검출하여 세그먼트로서 그 영역을 지정하고자 한다. 영역-기저형 접근 방법 중 하나의 클래스는 이미지 내 작은 균일 영역에서 시작하여 보다 큰 영역을 형성하기 위해 아주 인접한 인접 영역을 병합하려는 시도이다. 역으로, 영역-기저형 접근 방법 중 또 다른 하나의 클래스는 전체의 이미지에서 시작하여 이미지를 복수의 동질 영역으로 분할하려는 시도이다. 이들 접근 방법 양쪽 모두는 이미지를 영역으로 분할하는 것으로 귀결되는데, 여기서 몇가지 동질성(homogeneity)을 만족시키지는 못한다.

영역 기저형 세그먼테이션의 첫 번째 클래스는, 근사된 세그먼트 에지가 원래의 이미지를 분할하는 방법에 의존하여 제한된다. 영역 기저형 접근 방법의 두 번째 클래스에 있어서의 문제는 생성된 세그먼트가 실제 기초가 되는 세그먼트에 비례하여 외곡되는 경향이 있다는 것이다.

4. 혼합형 세그먼테이션

혼합형 세그먼테이션의 목표는 복수의 이전의 세그먼테이션 프로세스로부터 프로세스를 조합하여 이미지 세그먼테이션을 개선하는 것이다. 대부분의 혼합형 기술은 에지 세그먼테이션과 영역-기저형 세그먼테이션을 조합한 것으로, 그 이미지는 이들 프로세스 중 하나의 프로세스를 사용하여 세그먼팅되고 이어서 다른 프로세스로 세그먼팅된다. 혼합형 기술은 단일 프로세스 단독일 때보다는 보다 양호한 세그먼테이션을 생성하려는 시도이다. 그러나, 혼합형 방법은 확실한 사용자 지침(user guidance) 및 세그먼팅될 이미지의 사전 지식(prior knowledge)을 필요로 하기 때문에, 전체적으로 자동화된 세그먼테이션을 필요로 하는 어플리케이션에 대해 부적절할 수 있다고 판명되었다.

관련 출원에 대한 크로스레퍼런스

본 출원 명세서는 그 명세서의 내용이 참조를 위해 본 명세서에 포함되고, 1999년 6월 11일자로 출원된 미국 가출원 번호 제60/139,134호를 우선권으로 주장한다.

본 발명은, 일반적으로 화상 처리(image processing)에 관한 것으로, 특히 이미지의 세그먼테이션(image segmentation) ―여기서, 이미지는 이미지의 화소색값(pixel color value)에 기초하여 자동으로 세그먼트(segment)로 세그먼팅할 필요가 있음 ―의 문제에 관한 것이다.

도 1은 단순한 이미지 세그먼테이션 프로세스를 도시하는 이미지도.

도 2는 이미지를 세그멘팅하기 위한 장치를 도시하는 블럭도.

도 3은 세그먼팅된 이미지가 사용될 수 있는 시스템을 도시하는 블럭도.

도 4는 이미지 및 관련 세그먼트 데이터를 포함하는 데이터 스트림을 도시하는 도면.

도 5는 세그먼트 리스트가 어떻게 대응하는 이미지에 대하여 나타날 수 있는지를 도시하는 도면.

도 6은 흑색 및 백색 이미지 화소의 이미지 내에 보다 작고 밝게 음영 처리된 화소로 도시되며, 흑색 이미지 화소와 백색 이미지 화소 사이에 위치하는 에지 화소를 도시하는 도면.

도 7은 이미지 화소의 두 개의 세그먼트간의 에지 체인을 도시하는 도면.

도 8은 에지 체인의 양 측면 중 어느 하나의 측면상에 부분적으로 채워진 이미지를 도시하는 도면.

도 9는 각 세 개의 색 성분에 있어서의 화소에 대한 기울기를 도시하는 도면.

도 11은 이미지 화소, 에지 화소 및 에지를 갖는 이미지를 도시하는 도면.

도 12는 기울기 기술을 사용하여 강한 에지 화소를 판정하는 프로세스를 도시하는 도면.

도 13은 기울기 기술을 사용하여 약한 에지 화소를 판정하는 프로세스를 도시하는 도면.

도 14는 라플라시안 기술을 사용하여 강한 에지 화소를 판정하는 프로세스를 도시하는 도면.

도 15는 이미지 화소 및 강한 에지 화소와 약한 에지 화소를 포함하는 식별된 에지 화소를 갖는 이미지를 도시하는 도면.

도 16은 에지 체인 생성시에 에지 화소 중에서 선택하기 위한 프로세스를 도시하는 도면.

도 17a는 작은 갭에 걸쳐 에지 체인을 연속하기 위한 프로세스를, 도 17b는 갭을 갖는 두 개의 에지를, 도 17c는 채워진 갭을 도시하는 도면.

도 18a는 하나 이상의 스케일로부터 에지 체인을 링크하기 위한 프로세스를, 도 18b는 보다 거친 스케일로부터의 에지 체인을, 도 18c는 보다 조밀한 스케일로부터의 에지 체인을, 도 18d는 이들의 조합을 도시하는 도면.

도 19a는 에지 체인 연장의 프로세스를, 도 19b는 에지 체인을 연장하기 전의 이미지를, 도 19c는 에지 체인을 연장한 후의 이미지를 도시하는 도면.

도 20a 내지 도 20e는 여러 가지 에지 체인 필터링도를 갖는 이미지를 도시하는 도면.

도 21a 내지 도 21c는 비디오 프레임에 걸친 에지 체인 필터링의 프로세스를 도시하는 도면.

특정 실시예의 설명

세그먼테이션은 디지털 이미지를 이미지의 "세그먼트"라고 칭하는 성분으로 분할하는 프로세스이다. 색값 기저형 세그먼테이션에 있어서, 각 세그먼트는 도 1에 도시한 바와 같고 배경 내에 묘사된 바와 같이, 이미지 내에서 복사(radical) 또는 급격한 변화에 의해 경계지어진 영역을 나타낸다. 본 명세서에서 상세히 기술된 많은 실시예에 있어서, 이미지는 2차원 신호를 나타내지만, 당업자가 본 명세서를 읽은 후 본 명세서에 기술된 방법 및 장치가 다른 차원의 수에 대해서도 적용할 수 있다는 것을 이해할 것이다.

도 2는 본 발명의 일 실시예에 따른 이미지에 대한 세그먼트 정의를 생성하는 세그먼터(100)를 포함하는 시스템을 도시하는 블럭도이다. 세그먼터(100)는 그의 입력 이미지 데이터(102)로서 받아들이고 세그먼트 리스트(104)를 출력한다. 이미지 데이터(102) 및 세그먼트 리스트(104)의 포맷은 이미지의 성질에 매우 의존적일 수 있고, 포맷의 저장 요구 및 다른 프로세스는 세그먼테이션 프로세스와 관련된 것이 아니라 이미지 데이터(102)의 하나의 저장 포맷이 (가능하면 압축된) 화소셀값의 어레이로서의 것이며, 원래의 데이터(raw data), 비트맵, MPEG, JPEG 및 GIF 등과 같은 많은 가능한 산업 표준의 이미지 포맷 중 하나에 저장된다. 메모리에 있어서, 이미지 데이터(102)는 값의 2차원 어레이로서 저장될 수 있는데, 여기서 각 값은 화소색값이다. 화소색값은 몇개의 성분을 갖을 수 있다. 예를 들면, 이미지는 0 내지 256 범위의 3개의 성분(적색, 녹색, 청색)으로 표시되는 각 화소의 색값을 갖는, 화소의 1024×768 어레이일 수 있다. 세그먼트 리스트(104)의 포맷은 이하, 도 6을 참조하여 정의되는 중간화소(midpixel)의 런-렝스 인코딩된 순서 리스트(run-length encoded ordered list) 또는 각 세그먼트의 경계를 포함하는 이미지 화소로서 저장될 수 있다.

도시된 세그먼터(100)는 고려할 이미지 데이터를 유지하는 프레임 버퍼(110), 식별된 또는 식별될 세그먼트에 관한 데이터를 유지하는 세그먼트 테이블(112) 및 세그먼터(100)에 제공된 프로그램 인스트럭션(116)에 따라 세그먼트 데이터를 생성하기 위해 프레임 버퍼(110)에서 동작하는 프로세서(114)를 포함한다. 프로그램 인스트럭션(116)의 몇가지 측면이 이하에 기술되며, 세그먼테이션을 위하고 본 명세서에 기술된 세그먼테이션을 지지하는 몇가지 또는 모든 방법 및 프로세스에 대응하는 프로그램 인스트럭션을 포함할 수 있다.

도 3은 세그먼트 리스트(104)를 사용할 수 있는 시스템을 도시한다. 도시한 바와 같이, 이미지 생성기(200)는 가능한 한 종래의 이미지 생성 또는 이미지 캡쳐링 기술을 사용하여 이미지를 생성하며, 이미지 데이터(102)로서 그 이미지를 표시하는 데이터를 저장한다. 도 2에 도시한 세그먼터(100)와 같은 세그먼터는 상기한 바와 같은 세그먼트 리스트(104)를 생성하는데 사용된다. 이미지 생성기(200)는 세그먼트 리스트(104)를 각 세그먼트에 대한 데이터를 생성하는 세그먼트 필드 생성기(201)에 제공한다. 이러한 데이터는 레이블(label), 변함없는 자원 표시자(Uniform Resource Locator) 또는 "URL"과 같은 클릭 가능한 링크 및 이미지로부터 추출할 필요가 없이 이미지의 세그먼트와 협력하는 다른 데이터를 포함할 수 있다.

이미지 데이터(102), 세그먼트 리스트(104) 및 세그먼트 필드는 웹 서버(202)에 의해 지원될 웹 페이지로서 저장된다. 그 후, 브라우저(206) 또는 다른 웹 클라이언트(도시하지 않음)는 그 이미지 및 관련 데이터를 인터넷(204)을 통하여 웹 서버(202)로부터 검색할 수 있다.

이하, 도 4를 참조하면, 도 4는 이미지 데이터 및 데이터 신호와 같이 전송할 수 있는 관련 데이터의 하나의 정렬을 도시한다. 이 실시예에 있어서, 세그먼트 리스트(260) 및 세그먼트 필드(270)가 후속하는 이미지 데이터(250)는 가능하면 산업 표준 포맷의 신호로서 전송된다.

도 5는 대단히 간단한 이미지 및 이 이미지의 세그먼테이션 결과를 도시한다. 도 5에 도시한 바와 같이, 이미지(500)는 3개의 세그먼트, 2개의 다각형 전경 세그먼트(foreground segment) 및 배경 세그먼트(background segment)를 포함한다. 세그먼터(100)는 이미지(500)를 처리하여 세그먼트 리스트(510)를 생성한다. 도 5에 도시한 바와 같이, "Seg #1"로 라벨링된 세그먼트는 배경 세그먼트를 나타내고, "Seg #2"로 라벨링된 세그먼트는 점 A, 점 B, 점 C, 점 E 및 점 D 사이의 다각형(점 A에서 다각형이 밀봉됨)에 의해 경계지어진 전경 세그먼트를 나타내며, "Seg #3"으로 라벨링된 세그먼트는 점 F, 점 G, 점 K, 점 J, 점 I 및 점 H 사이의 다각형(점 F에서 다각형이 밀봉됨)에 의해 경계지어진 전경 세그먼트를 나타낸다. 물론, 세그먼팅된 통상적인 이미지는 통상적으로 그다지 잘 정의되어 있지 않기 때문에, 본 명세서에 기술된 몇몇 또는 모든 방법은 세그먼트 경계를 올바르게 식별할 필요가 있을 수 있다.

본 명세서에 사용된 바와 같이, 용어 "중간화소(midpixel)"는 이미지 화소와 관련된 이미지에 위치된 논리점(logical point)이라고 칭한다. 따라서, 중간화소 사이에서 런(run)하는 세그먼트의 에지는 이미지 화소를 세그먼트의 각 측면상에 분할한다. 중간화소는 이미지 화소가 있는 곳과 동일한 점에 있지는 않지만, 이미지 화소 사이에 있지 않는 것이 바람직하다. 반면에, 중간화소가 4개의 상호 인접한 이미지 화소에 의해 정의된 직사각형 또는 비직사각형 이미지 화소 어레이상의상호 인접한 아미지 화소에 의해 정의된 다른 최소 다각형(minimum polygon)에서 일반성(generality)을 상실하는 일이 없이, 정확히 센터링(centered)된 것일 필요는 없는데, 센터링된 중간화소는 배열의 단순성(simplicity)을 위해 바람직하다.

도 6은 이러한 배열을 도시하며, 여기서 이미지(600)는 이미지 화소(602)와 같은 이미지 화소 및 이미지 화소 사이에서 발생하는 중간화소(604)를 포함한다. 에지가 상단(top)으로부터 하단(bottom)으로 또는 하단으로부터 상단으로 런하는 순서로 모든 중간화소(604)를 결합하도록 특정하는 경우 명백해야 하는 바와 같이, 에지는 에지 좌측상의 이미지 화소와 에지 우측상의 이미지 화소를 분리한다.

중간화소가 에지의 일부 또는 에지의 일부로서 제의 하는 경우, 중간화소는 에지 화소(edge pixel)이라고 칭한다. 따라서, 에지 화소의 체인(chain of edge pixel)이며, 이들 이미지 화소 주위의 에지 체인(edge chain)은 세그먼트의 이미지 화소를 경계지을 수 있다. 몇가지 경우에 있어서, 세그먼트는 정확히 에지상에 있는 이미지 화소를 포함한다. 이미지 화소가 다각형 에지 및 센터링된 에지 화소에 의해 발생될 수 있는 바와 같이 정확히 두 개의 세그먼트 사이의 에지상에 있는 경우, 하나 이상의 여러 타이-브레이킹 루틴(tie-breaking routine)이 이미지 화소가 속해야 하는 세그먼트를 결정하는데 사용될 수 있다. 본 명세서에서 보다 완전히 설명한 바와 같이, 에지 화소는 이미지에 있어서 근사점(approximate point)으로, 여기서 화소색값은 비교적 많이 시프트(shift)한다.

이하에 기술되는 세그먼테이션 프로세스는 여러 단계의 시퀀스를 포함한다. 모든 단계를 실행할 필요는 없고, 리스트된 순서로 실행할 필요도 없다. 우선, 이하에는 시퀀스를 기술한다.

1) 프로그레시브 채우기(Progressive Flood Fill) - 여러 가지 브러시(brush) 사이즈를 사용하여, 불완전하게 경계지어질 수 있는 영역을 점진적으로 채움.

2) 다중스케일 세그먼팅(multiscale segmenting) - 원래의 이미지의 복수의 "스케일" 변환(scale transformation)을 생성하고 하나의 스케일 변환으로부터의 세그먼트를 사용하여, 또 다른 스케일에서 세그먼트를 유도함.

3) 혼합 에지 검출(Composite Edge Detection) - 복수의 색면(color plane)의 혼합물인 혼합 이미지(composite image)를 사용하여 에지를 검출함.

4) 다중-클래스 에지 체인닝(Multi-class Edge Chaining) - 에지 화소의 복수의 클래스를 사용하여 에지 체인을 생성함.

5) 다중스케일 에지 체인닝(Multiscale Edge Chaining) - 복수의 스케일로부터의 정보를 사용하여 에지 체인을 생성함.

6) 에지 체인 필터링(Edge Chain Filtering) - 다중스케일링, 비디오 시퀀싱, 동적 스케일과 같은 여러 가지 문맥(contextual) 에지 특성을 이용하여 무관계(extraneous)한 에지 체인을 필터링함.

이하, 상기 단계들 및 상기 단계들의 몇가지 특정의 유용한 조합이 필요에 따라선 도면을 참조하여 보다 상세히 기술된다.

1. 프로그레시브 채우기

프로그레시브 채우기(progressive flood fill) 프로세스는 가능한 한 불완전한 에지 체인으로부터 폐쇄형 세그먼트 경계를 생성한다. 이 프로세스에서는 적어도 몇개의 에지 체인을 갖는 이미지를 가정하는 데, 여기서 에지 체인은 에지 화소의 순서 리스트(ordered list)에 인접한 에지 화소들 사이의 라인 세그먼트(line segment)와 국부적으로 결합된 에지 화소의 순서 리스트이다. 소정 이미지의 에지 체인은 복수의 방법으로 생성될 수 있는 데, 본 명세서에 기술된 에지 체인 생성 프로세스를 포함한다. 도 7은 에지 체인(650)의 일례를 도시한다. 에지 체인(650)은 6개의 에지 화소(652) 및 이 에지들에 결합된 라인 세그먼트로 정의된다.

일반적으로, 이하에 바로 기술되는 프로그레시브 채우기 프로세스는 크고 작은 일련의 브러시를 사용하여 예상되는 세그먼트(prospective segment)를 "채운다(fill)". 브러시는 논리적인 윈도우(logical window) 또는 화소 단위(pixel unit)로 표현되는 소정의 형태이다. 예를 들면, 하나의 가능한 브러시로는 측면당 7개의 화소(seven pixel per side)를 갖는 6×6 화소의 사각 윈도우(square window)[또 다른 하나의 가능한 브러시로는 육각형 윈도우(hexagonal window)가 있음]이다. 브러시가 에지 체인의 소정 부분을 덮는 일이 없고 브러시가 차등적으로 할당(즉, 이미지 화소가 이전에 덮어 할당함)된 이미지 화소를 덮는 일이 없이, 브러시를 사용하여 이미지 화소를 덮는 프로세스로 각각의 세그먼트를 채우고, 이미지 화소에 세그먼트값(즉, 세그먼트에 대한 기준으로서 사용할 수 있는 값 또는 수)을 할당하며, 브러시를 이미지 주위에서 이동하면, 상기 세그먼트값과 상이한 세그먼트값이 덮는 이미지 화소에 일반적으로 할당된다. 에지 체인 또는 차동적으로 할당된 이미지 화소를 덮는 일이 없이, 일련의 브러시에 의해 도달할 수 있는 이미지 화소 세트(set of image pixel)는 예상되는 세그먼트와 관련된 이미지 화소 세트이다.

예를 들면, 도 8에는 이미지(700) 및 브러시(702)가 도시되어 있으며, 여기서 이미지는 마킹(marking)으로서 에지 체인(701, 701)을 갖는다. 브러시(702)의 사이즈가 정해지면, 브러시(702)가 삼각 영역(704)에 위치하는 경우, 그 후 채우기 프로세스가 삼각 영역(704)의 상단에서 갭(gap)(705)을 통하여 "브리드(bleed)"할 수 없는데, 그 이유로는 브러시(702)가 에지 체인의 일부를 덮는 일이 없이 갭(705)를 통하여 적응(fit)시킬 수 없기 때문이다. 프로그레시브 채우기 프로세스의 제1 단계로는 표시된 크기의 브러시를 사용하여, 삼각 영역(704), 사각 영역(706) 및 배경 영역(708) 위를 브러싱한다. 제1 단계의 하나의 결과는 각각의 세그먼트를 갖는 이미지의 대부분의 경우에 있어서 몇몇 화소와 연관시키는 것이다. 몇개의 이미지 화소는 세그먼트와 연관되지 않는 데, 그 이유로는 브러시(702)가 에지 체인을 덮는 일이 없이 이들 화소를 도달할 수 없기 때문이다.

일 실시예에 있어서, 프로세서는 브러시를 이미지 내의 각 액세스 가능한 위치로 이동시키며, 에지 체인 또는 차동적으로 할당된 이미지 화소를 덮지 않도록 조심스럽게 처리한다. 각 브러싱 위치에서는, 프로세서는 밑에 있는 중간화소(underlying midpixel) 및 이미지 화소를 고려한다. 브러시가 에지 화소, 에지 체인 또는 차동적으로 할당된 이미지 화소를 덮는 경우, 브러시가 영향을 미치지 않고서 다음 위치로 이동한다. 그러나, 브러시가 에지 화소, 에지 체인 또는차동적으로 할당된 이미지 화소의 소정 부분을 덮지 않은 경우, 프로세서는 밑에 있는 이미지 화소를 검토한다. 밑에 있는 이미지 화소 중 어느 하나의 이미지 화소가 이미 세그먼트와 관련지어진 경우, 모든 밑에 있는 이미지 화소는 그 세그먼트로 할당되고, 그에 반해 모든 밑에 있는 이미지 화소는 새로운 세그먼트로 할당된다. 하나의 화소 브러시의 경우에 있어서, 프로세서는 인접한 이미지 화소를 고려하여, 이미지 화소를 어느 에지 체인과도 교차하는 일이 없이 최인접 이미지 화소를 갖는 세그먼트에 할당한다.

또 다른 실시예에 있어서, 프로세서는 두 개의 브러시를 각 검출된 에지 체인의 양측면 중 어느 하나의 측면상으로 이동시켜, 에지 체인의 양측면 중 어느 하나의 측면상의 이미지 화소를 상이한 세그먼트로 할당한다. 또한, 또 다른 실시예에 있어서, 프로세서는 브러시를 이미지상 소정의 미처리된 위치에 위치시키며, 에지 체인을 덮는 일이 없이 도달할 수 있는 인접한 위치로 브러시를 이동시킨다.

또 다른 실시예에 있어서, 프로세서는 일련의 증분적으로 보다 작은 브러시를 사용하여 새로운 세그먼트를 그와 달리 생성하며 이전의 세그먼트를 확장한다. 따라서, 홀수로 번호 매겨진 패스(odd numbered pass)는 새로운 세그먼트를 생성할 수 있는 반면에, 짝수로 번호 매겨진 패스(even numbered pass)는 이전에 생성된 세그먼트를 확장한다.

또한, 또 다른 실시예에 있어서, 프로세서는 각 색 성분에 있어서의 일련의 에지 체인을 생성하며, 에지 체인을 조합하여 혼합 에지 체인 화상을 생성한다. 이 혼합은 각 색 성분에 있어서의 에지 체인의 결합(union) 또는교점(intersection) 중 어느 하나일 수 있다.

일단, 프로세서가 제1 브러시(또는, 브러시들)를 이미지 위로 통과시키면, 몇개의 이미지 화소가 세그먼트로 할당된다. 이들 이미지 화소는 브러시(들)에 액세스 가능한 이미지의 부분들을 나타낸다. 그 후, 프로세서는 보다 작은 브러시를 사용하여 또 다른 이미지에 통과시킨다. 이 두 번째 패스(pass)에 있어서, 프로세서는 보다 작은 브러시로 동일한 프로세스를 실행하여, 보다 큰 브러시로 "도달 가능(reachable)"하지 않은 이미지 화소를 덮어 할당한다(즉, 브러시는 또한 에지 화소, 에지 체인 또는 차동적으로 할당된 이미지 화소를 덮는 일이 없이 이미지 화소를 덮을 수 없음). 프로세스가 단일 화소 브러시(one-pixel brush)와 같은 가장 작은 브러시로 패스할 때까지 이 프로세스는 증분적으로 보다 작은 브러시를 사용하여 후속하는 패스를 반복한다.

최초의 브러시 사이즈는 세그먼트를 정의하는 에지 체인에 있어서 가장 큰 수용 가능한 갭보다 큰 적어도 하나의 화소인 것이 바람직하다. 예를 들면, 두 개의 에지 체인의 단부 사이에 5개의 화소 이하의 범위(span)가 하나의 보다 큰 에지 체인에 있어서 갭을 고려하는 경우, 최초의 브러시는 6×6 화소 정방형일 수 있다. 이러한 배열에 있어서, 최초의 브러시는 갭을 통하여 "브리드"하지 않아 두 개의 세그먼트를 올바르지 않게 조합한다. 최초의 브러시 이후, 후속하는 보다 작은 브러시는 갭을 통하여 브리딩될 수 있지만, 갭의 양측면 때문에 브리딩량이 제한되는 데, 이전에 할당된 이미지 화소가 브러시의 움직임을 제한한다.

도 9는 이러한 점을 도시한다. 도 9는 갭을 갖는 에지 체인(800)을 도시한다. 에지 체인(800)은 두 개의 세그먼트(802, 804)로 분리한다. 초기 브러스 패스에 있어서, 몇개의 이미지 화소가 세그먼트로 할당되며, 브러시가 갭에 인접한 이미지 화소와 같은 몇개의 이미지 화소에 도달할 수 없다. 보다 작은 브러시를 사용하는 경우, 갭의 양측면상의 모든 나머지 비할당된 화소에 도달하는데 충분하도록 작아 처리할 세그먼트 전체를 브리드하는 결과를 초래할 수 있다. 상기한 바를 방지하기 위해서는, 프로세서는 두 개의 브러시를 갭의 양측면 중 어느 하나의 측면으로부터 비할당된 화소 위를 패스시켜, 갭의 양측면이 고르게 채워진다.

보다 작은 브러시의 바람직하지 않은 브리딩을 추가적으로 제한하기 위해서는, 두 개의 브러시(갭의 각 측면상에 하나의 브러시)가 패스에서 런할 수 있거나 또는 하나의 브러시가 이미지 화소를 세그먼트에 할당하는 프로세스시에 측면간에 교대로 런할 수 있다. 도 7에 도시된 이미지 화소(660)에 대해서와 같은 몇가지 경우에 있어서, 하나의 화소 브러시가 에지 체인에 의해 폐쇄된 이미지 화소와 같은 몇개의 이미지 화소에 도달하는데 충분히 작지 않다. 이들 도달 불가능한 화소는 가장 작은 브러시를 사용하는 패스가 완료된 후 처리할 수 있다.

도달 불가능한 화소를 처리하기 위한 하나의 프로세스는 타이-브레이킹 체계를 사용하여 도달 불가능한 화소를 도달 불가능한 화소에서 직면하는 세그먼트 중 하나의 세그먼트에 할당하는 것이다. 하나의 타이-브레이킹 체계는 이미지 화소에서의 기울기(gradient) 및 각 경쟁하는(contending) 세그먼트의 최인접 이미지 화소에서의 기울기를 고려하는데, 이미지 화소가 도달 불가능한 이미지 화소에서의 기울기에 대해 크기 및 방향에 있어서 가장 근접한 기울기를 갖는 최인접 이미지화소를 포함하는 세그먼트에 할당된다. 기울기는 벡터 미분 계수이다.

일단, 프로세스가 세그먼트를 갖는 각 이미지 화소와 결합되면, 각 세그먼트의 경계의 위치는 쉽게 발견된다. 이하에 기술되는 바와 같이, 프로그레시브 채우기 프로세스는 다른 프로세스와 결합하여 세그먼트 경계를 보다 정밀하게 판정할 수 있다.

2. 다중스케일 세그먼팅

이미지로 시작하면, 세그먼터는 점진적으로 보다 낮은 해상도에서 이미지의 복수의 변환(transformation)을 생성하는데, 이 변환은 보다 크고 보다 지배적인 스케일간 피쳐(feature from scale to scale)에 관한 정보만을 유지하고, "스케일(scale)"이라고도 알려져 있다. 평활화(smoothing) 또는 그와 유사한 필터의 사용과 같은 변환을 생성하는 여러 가지 상이한 방법이 있다. 몇개의 이미지에 대해 유용할 수 있는 하나의 변환 세트는 가우시안 평활화 필터의 어레이이며, 여기서 각 가우시안 평활화 필터는 상이한 특성 거리(characteristic distance)를 갖는다.

하나의 다중스케일 세그먼팅 프로세스에 있어서, 변환된 이미지는 가장 거친(coarsest) 이미지로부터 가장 세밀한(finest) 이미지 순서로 처리되며, 여기서 가장 거친 이미지는 가장 폭넓은 평활화 필터를 사용하는 변환이다. 통상적으로, 가장 거친 이미지는 이미지의 가장 큰 피쳐를 보유할 뿐이다. 가장 세밀한 이미지는 가장 작은 특성 거리를 갖는 평활화 필터에 의해 변환된 이미지 또는 본래의 변환되지 않은 이미지 중 어느 하나의 이미지이다.

이 프로세스는 가장 거친 이미지에 대한 세그먼트 세트를 정의하기 위해 가장 거친 이미지의 세그먼테이션 프로세스를 런함으로써 계속된다. 세그먼테이션 프로세스는 상기한 프로그레시브 채우기 세그먼테이션 프로세스 또는 단일 이미지상에서 실행된 몇가지 다른 세그먼테이션 프로세스일 수 있다. 일단, 세그먼테이션 프로세스가 가장 거친 이미지상에 실행되면, 이미지의 세그먼트 세트가 보다 세밀한 이미지상에서 실행된 후속하는 세그먼테이션 프로세스에서 사용된다.

예를 들면, 제2 가장 거친 이미지를 상기한 바와 같이 세그먼팅할 수는 있지만, 제2 가장 거친 이미지의 세그먼트가 가장 거친 이미지의 하나 이상의 세그먼트를 에워쌀 수 없다. 바꿔 말하면, 제2 이미지에서의 세그먼트는 제1 이미지에서의 세그먼트의 각각의 부세트(subset)이다.

프로세스는 이전에 세그먼팅된 이미지의 세그먼트를 사용하여 각 다음 가장 거친 이미지에 대하여 계속된다. 각 앞선 이미지(prior image)의 세그먼트가 그의 앞선 이미지의 부세트로 되도록 제한되기 때문에, 변환된 이미지 중 소정의 하나의 변환된 이미지의 세그먼트는 소정의 보다 거친 이미지에서의 소정 세그먼트의 세그먼트의 부세트이다.

"부세트" 제한을 적용하는 하나의 방법은 이미지의 제한된 세그먼테이션을 수행하고, 그 후 보다 거친 이미지에서의 하나 이상의 세그먼트를 교차하는 소정의 세그먼트를 나누는 것이다. 부세트 제한을 적용하는 다른 방법에서는 상기한 프로그레시브 채우기 프로세스에 의해 이루어진 세그먼테이션을 사용할 수 있다. 이 부세트 제한을 적용하는 다른 방법에 있어서, 보다 거친 이미지의 세그먼트 경계가처리되는 이미지에서 에지 체인으로서 부가되어 부세트 제한을 달성한다.

3. 혼합 에지 검출

상기한 프로그레시브 채우기 프로세스 및 다중스케일 세그먼테이션 프로세스는 이미지 및 에지 체인의 세트 상에서 동작하는데, 여기서 에지 체인은 에지 화소의 순서 세트(ordered set)이다. 에지 체인은 에지 화소로부터 생성된다. 상기한 방법이 다른 에지 검출 방법을 사용할 수도 있지만, 상기한 방법은 특히 복수의 색 성분을 포함한 화소색값이 이하에 기술되는 혼합 에지 검출 프로세스인 경우에 효과가 있다.

혼합 에지 검출 프로세스에 있어서, 상이한 컬러 성분으로부터의 정보를 조합하여 혼합 이미지를 형성하는데, 여기서 혼합 이미지에서의 각 화소색값은 대응하는 이미지 화소의 색값 및 둘레의 이미지 화소의 가능한 한 색값의 성분의 함수이다. 그 후, 혼합 이미지를 사용하여 중간화소가 에지 화소인 것을 판정한다. 일단, 에지 화소가 혼합 이미지에서 판정되면, 에지 화소를 에지 체인에 링크시킬 수 있다.

이하, 혼합 이미지 처리하는 3가지 방법이 기술된다. 제1 혼합 이미지 처리 방법은 에지 화소를 판정하기 전에 색 정보를 조합하는 것이라면, 제2 혼합 이미지 처리 방법은 각 색 평면에 대한 에지 화소를 판정한 후 조합하여 혼합 에지 화소의 세트를 생성한다. 용어 "색 평면"은 화소색값의 N차원 어레이의 이미지라고 칭하며, 여기서 각 화소는 그 화소에 할당된 복수의 색 이미지 중 하나의 색 이미지만을 보유한다. 예를 들면, 각 화소에 적색값, 녹색값 및 청색값을 할당하는 경우,각 화소가 할당된 적색값만을 갖는 이미지는 적색의 색 평면을 위한 색 평면 이미지이다. 제1 혼합 이미지 처리 방법에 있어서, 기울기 벡터의 어레이(화소당 하나의 기울기 벡터)를 포함한 혼합 기울기 이미지는 그 화소에 대한 색 성분값으로부터 계산된다. 그 후 혼합 기울기 이미지는 에지 화소를 검출하기 위해 처리된다.

혼합 기울기 이미지를 생성하기 위한 하나의 프로세스는 각 색 평면의 그 화소에서의 기울기를 기초로 하는 각 화소에 대한 혼합 기울기를 생성하는데, 여기서 화소에 대한 혼합 기울기는 그 화소에서의 각 색 평면에 기울기의 수정된 벡터를 부가한다. 수정된 벡터를 부가하면, 각각의 벡터의 부호가 두 개 이상의 색 평면이 존재하는 경우 1/2 평면 내에 모든 가수(addend)의 방향을 유지하는데 필요한만큼 수정된다.

도 10은 이러한 수정된 벡터 부가를 예시적으로 사용한 실시예를 도시하는 도면이다. 도 10에 도시한 바와 같이, 화소 A에 대한 각 색 평면에서의 벡터는 1/2 써클(써클) 이하의 방향 범위를 갖기 때문에, 혼합 기울기는 단지 각 성분에 있어서 벡터의 벡터합이다. 화소 B 및 화소 C에서도 마찬가지이다. 그러나, 화소 D에 대한 모든 벡터의 방향을 포함하는 1/2 써클의 방향은 없다. 이 후자의 경우에 있어서, 벡터 중 하나의 사인은 벡터가 부가되기 전에 대해 역이다(즉, 역 방향을 가르킴).

결과적으로, 이 수정된 벡터의 부가는 소정 에지상의 어떤 점에 대하여 고려하며, 에지에 대한 법선(normal) 또는 에지에 대한 접선(tangent)을 정의하는 두 개의 벡터가 있다. 결과적으로, 기울기 벡터는 역일 수 있으며, 또한 동일 에지를나타낸다. 부가된 벡터가 모두 1/2 써클 내에 있다고 보증함으로써, 하나의 성분 기울기 벡터의 기여도가 또 다른 성분 기울기 벡터의 기여도를 캔슬시키는 것이 쉽지 않다.

가수가 1/2 써클 내에 있다는 것을 보증함으로써, 기울기의 극성(polarity)이 그들의 합의 결과에 크게 영향을 미치지 않아야 한다. 많은 이미지에 있어서, 극성의 변화는 이미지의 물리적인 특성에 대응한다. YUV 이미지의 각 색 성분에서의 에지의 극성은 일반적으로 서로 독립적이다. 예를 들면, 밝은 녹색 영역이 어두운 적색 영역으로 천이하는 경우, "Y"는 감소하고 V는 증가한다.

몇개의 색 공간(color space)에 있어서, 색 성분은 몇개의 색 공간에서 색차(color difference)를 극복하거나 성향(tendency)에 기인하여 가중치 부가시에 보다 많은 영향을 고르게 미칠 수 있어, 보다 큰 기울기 크기, 보다 명백한 반사 또는 보다 강한 에지를 갖는다. 이러한 경우에 있어서, 부가하기 전에 정규화 인자를 색 성분에 가중시킬 수가 있다. 양호한 정규화 인자는 스칼라값으로, 각 색 평면에 있어서 기울기 크기에 대한 유사한 가중치로 귀결된다. 예를 들면, 루미넌스(luminance) 및 크로미넌스(chrominance) 색 평면 사이의 동적 범위는, 평균 기울기 크기가 이미지 샘플링을 거친 크로미넌스 색 평면 또는 단일 이미지에 관련된 루미넌스 색 평면에서보다 두 배로 되도록 되며, 루미넌스 벡터는 벡터를 부가하기 전에 두 개로 나눔으로써 정규화될 수 있다.

혼합 기울기 이미지를 생성하기 위한 또 다른 프로세스는 각 화소에 대하여 가장 큰 크기를 갖는 그화소에서 색 성분 벡터(또는 색 성분 벡터의 함수)와 동일한 혼합 기울기를 생성한다. 부가 벡터 대신에 가장 큰 벡터를 처리하는 프로세스에 있어서, 정규화 인자는 가장 큰 크기를 갖는 벡터를 선택하기 위해 비교하기 전에 공급될 수 있다.

그러나, 혼합 기울기 벡터를 생성하고, 이들은 혼합 기울기 이미지를 집합적으로 형성한다. 그 혼합 기울기 이미지로부터, 에지 화소가 판정되며, 에지 체인이 이미지상에서 세그먼테이션 프로세스를 실행하는 순서로 이들 에지 화소를 형성한다.

4. 다중클래스 에지 체인닝

상기한 바와 같이, 일단 이미지의 에지 화소를 식별하면, 이들 에지 화소는 에지 체인을 식별하는데 사용되고, 이들 에지 체인은 세그먼테이션 프로세스에 사용된다. 본 명세서에서 기술된 에지 체인 식별("에지 체인닝") 프로세스에 있어서, 에지 화소는 복수의 클래스로 분류된다. 본 명세서에 상세히 기술된 실시예에 있어서, 도 11을 참조하면, 복수의 클래스는 두 개의 클래스인데, "강한 에지 화소(strong edge pixel)" 또는 "약한 에지 화소(weak edge pixel)"이라고 칭한다. 에지 화소는 이미지에서 근사점이며, 여기서 색값은 이미지(1110)에서 화소[1102(1)]로부터 화소[1104(1)]로 시프트되는 것과 같이 비교적 많이 시프트된다.

이하, 각 클래스의 에지 화소를 식별하는 두 가지 방법이 기술된다. 이 두 가지 방법으로는 기울기 방법 및 라플라시안법이다. 기울기 방법은 도 12 및 도 13을 참조하여 예시되는 반면, 라플라시안법은 도 14를 참조하여 예시된다.

기울기 방법에 있어서, 기울기 방향에 있어서 색값의 기울기의 국부적인 최대인 중간화소는 에지 화소로서 식별된다. 국부적인 최대값은 점이며, 여기서 함수의 값은 일측면상의 주위를 둘러싼 점에서의 함수값보다 크며, 타측면상의 주위를 둘러싼 점에서의 함수값보다 크거나 같다.

예를 들면, 도 12는 이미지의 이미지 화소를 도시하지 않은 이미지의 중간점(midpoint) 어레이를 도시한다. 도시된 몇개의 중간점 중 몇개는 "A" 내지 "I"로 라벨링되어 있다. 에지점 A가 에지 화소인지 여부를 판정하기 위한 기울기 프로세스에 있어서, 만일 에지점 A가 에지 화소의 클래스인 에지 화소인 경우, 중간화소 A 내지 중간화소 I의 기울기가 고려된다.

기울기 방법에 있어서, 프로세서는 중간화소 A의 기울기 방향과 동일한 방향으로 향하는 중간화소 A로부터 발원한 선에 최인접 중간화소 B 내지 중간 화소 I 중에서 제2 중간화소를 선택한다. 두 개의 중간화소가 그 선과 등거리(equidistant)에 있는 경우, 타이-브레이킹 규칙이 최인접 중간화소를 선택하는데 사용될 수 있다. 도 12의 실시예에 있어서, 최인접 중간화소는 중간화소 C이다. 중간화소 A 및 최인접 중간화소 C와 동일 선상에 있는 제3 중간화소가 있다. 이 실시예에 있어서, 그 제3 중간 화소는 화소 H이다. 중간화소 A, 중간화소 C 및 중간 화소 H를 포함하는 기울기는 각 중간화소에서 정의될 수 있다. 도 12에 도시된 화살표는 이들 3개의 중간화소에 대한 기울기의 크기 및 방향을 도시한다.

중간화소 A의 기울기의 크기가 중간화소 C 또는 중간화소 H 중 하나의 기울기의 크기보다 크고, 중간화소 C 또는 중간화소 H 중 다른 하나의 기울기 크기보다크거나 동일한 경우, 중간화소 A는 강한 에지 화소로서 식별된다.

중간화소 A가 강한 에지 화소로서 식별되지 않는 경우, 중간화소 A는 중간화소 A가 약간 에지 화소에 대한 기준과 일치하는지 여부를 판정하기 위해 테스트된다. 도 13은 중간화소가 약간 에지 화소인지 여부를 판정하기 위한 프로세스를 도시한다. 도 13에 도시한 바와 같이, 중간화소 A는 약한 에지 화소 상태에 대해 고려된다. 상기한 바를 행하기 위해서는 중간화소 A를 통과하며 도 13의 점선(1302)으로 도시된, 중간화소 A의 기울기 방향에 평행한 점선을 고려한다. 인접한 중간화소 B 내지 중간화소 I는 정방형이며 점선(1302)은 도 13의 점[1304(1), 1304(2)]로 도시된 두 점에서의 그 정방형을 교차한다.

중간화소 A에서의 기울기 및 각 점[1304(1), 1304(2)]은 보간법(interpolation)을 통하여 발견할 수 있다. 중간화소 A의 기울기 크기가 점[1304(1), 1304(2)] 중 하나의 점의 기울기 이상이며 점[1304(1), 1304(2)] 중 다른 하나의 점의 기울기 이상인 경우, 중간화소 A는 약한 에지 화소로 지정된다. 그렇지 않다면, 중간화소 A는 중간화소로 지정되지 않는다.

통상적인 이미지에 있어서, 약한 에지 화소가 일반적으로 색에 있어서의 점진적인 변화, 이미지에서의 강도 또는 뚜렷한 콘트라스트에 대응하는 바와 같이 에지 화소에는 강한 에지 화소보다 약한 에지 화소가 많은 반면에, 강한 에지 화소는 일반적으로 뚜렷하고 분명한 콘트라스트에만 통상적으로 대응한다.

도 14를 참조하면, 이하에 기술되는 라플라시안법은 4개의 이미지 화소(1410, 1420, 1430, 1440)에 의해 정의된 사각형 내에 위치하는중간화소(1405)의 에지 화소 상태(edge pixel status)를 판정한다. 각 4개의 화소는 그 이미지 화소에서 라플라시안 함수의 부호(sign)를 나타내는 부호 "+" 또는 "-"로 라벨링된다. 이 라플라시안 함수는 2차 벡터 미분이다. 이미지에 있어서, 화소색값에 공급되는 라플라시안 함수의 영교차(zero crossing)가 에지 화소이다. 라플라시안 함수의 2차 미분이 0(zero)인 경우 라플라시안 함수의 영교차가 발생한다.

중간화소(1405)를 포함한 직사각형이 영교차를 포함하는 경우, 중간화소(1405)가 에지 화소이다. 이산 화소 위치(discrete pixel locations)에 있어서, 영교차의 위치 계산은 가능하지 않거나 계산적으로 어려울 수 있다. 그러나, 이미지 화소에서의 라플라시안의 부호는 직사각형에 있어서 영교차의 가능성을 나타내는 것이다. 결과적으로, 각 4개의 주변 이미지 화소에서의 라플라시안 함수의 부호가 수직 및 수평으로 상이한 경우, 라플라시안법은 중간화소를 강한 에지 화소로서 식별한다(즉, 상부의 우측 화소 및 하부의 좌측 화소가 하나의 부호를 갖고 하부의 우측 화소 및 상부의 좌측 화소가 또 다른 하나의 부호를 갖음). 부호가 하나의 부호 대신에 1이 있도록 하거나 또 다른 하나의 부호 대신에 3이 있도록 하는 경우 또는 양쪽 모두가 수직 및 수평적으로 상이하지 않은 각 부호 대신에 2가 있는 경우, 중간화소는 약한 에지 화소로 식별된다. 그 부호가 모든 4개의 이미지 및 화소에 대하여 동일한 경우, 중간화소는 에지 화소가 아니라고 식별된다.

에지 화소의 복수의 클래스를 식별하는 두 가지 방법이 기술되었지만, 그 대신에 다른 적절한 방법이 사용될 수 있다. 도 15는 에지 화소의 클래스를 식별한결과의 일례를 도시한다. 도 15에 도시된 이미지는 두 개의 세그먼트를 포함하는데, 하나는 흑색 화소의 내부 세그먼트이며, 다른 하나는 백색 화소의 외부 세그먼트이다. 도 15는 에지 화소 검출 프로세스의 결과로 식별된 강한 에지 화소 및 식별된 약한 에지 화소를 도시하고 있지만 비에지(nonedge) 중간화소를 도시하고 있지 않다. 일반적으로, 강한 에지 화소는 이미지에서의 강한 및/또는 명확한 시프트에 대응하는 중간화소인 반면에, 약한 에지 화소는 실제적인 색 에지에 기인할 수 있거나 색 브리딩(color bleeding) 또는 노이즈에 의해 발생할 수 있는 이미지에서의 미묘한 변화를 반영한다.

일단, 상이한 클래스의 에지 화소를 식별하면, 에지 체인은 식별할 수 있다. 에지 체인이 에지 화소의 순서 세트로서 식별된다. 상이한 클래스의 에지 화소로부터 에지 체인을 식별하는 하나의 방법은 임의의 강한 에지 화소에서 시작하여 에지 체인의 일단부로서 에지 체인에 그 임의의 강한 에지 화소를 부가하는 것이다. 그 후, 또 다른 강한 에지 화소에 대한 부가된 에지 화소의 가장 인접한 이웃 중간화소를 찾는다. 가장 인접한 이웃 중간화소가 존재하면, 에지 화소를 에지 체인의 성장 단부(growing end)에 부가함으로써 에지 체인을 이웃 중간화소로 연장한다. 하나 이상의 이웃하는 에지 화소가 존재하는 경우, 에지 화소의 기울기 방향에 수직인 최인접 기울기를 갖는 이웃하는 에지 화소를 선택한다. 추가 테스트를 행하는 경우, 각 인접하는 화소에서의 기울기 크기가 고려될 수 있다. 강한 에지 화소가 최인접 이웃하는 에지 화소 중에 존재하지 않는 경우, 에지를 이웃하는 약한 에지 화소로 연장하며, 강한 에지 화소가 최인접 이웃하는 에지 화소 중에 하나 이상이 존재하는 경우, 복수의 강한 에지 화소 중에서 선택하기 위한 유사한 테스트를 사용하여 최상의 선택을 선택한다. 강한 또는 약한 에지화소가 에지 체인에 계속해서 존재하지 않는 경우, 체인이 중지되며 프로세스는 또 다른 임의의 강한 에지 화소를 탐색한다.

프로세스는 모든 에지 화소가 처리되었거나 고려되었을 때까지 반복되어 이미지에 대한 에지 체인의 세트로 귀결된다. 그 후, 이들 에지 체인은 세그먼테이션 프로세스에 사용되어 이미지를 세그먼팅할 수 있다.

5. 다중스케일 에지 체인 생성

이미지의 복수의 변환 표시에 있어서, 보다 거친 스케일의 이미지는 보다 세밀한 스케일의 이미지에 대한 지침을 제공할 수 있다. 보다 거친 스케일은 스케일에 대한 에지 화소의 관련성(association of edge pixel)이 있는 경우 제공할 수 있다. 에지 화소의 관련성은 하나의 스케일에서의 에지 화소가 또 다른 스케일에서의 동일 에지 화소 또는 인접한 에지 화소와 동일 또는 유사한 기울기 크기 및 방향을 갖는 경우에 발생한다. 두 개의 기울기 벡터의 동일성(sameness) 또는 유사성(similarity)은 스케일 사이에 가중치 인자를 사용할 수 있는 테스트이다.

본 발명에 따른 하나의 다중스케일 에지 체인 생성 프로세스는 복수의 스케일의 이미지로부터의 에지 화소를 사용하여 에지 체인을 식별한다. 보다 세밀한 스케일의 이미지는 보다 거친 스케일의 이미지보다 많은 에지를 갖는 경향이 있기 때문에, 보다 세밀한 스케일의 이미지에 있어서 에지 체인을 식별하는 링크 루틴은 종종 에지 체인의 단부에서 에지 체인을 연장할 수 있는 복수의 에지 화소를 만난다. 에지 화소를 선택하여 결정하는 몇가지 방법이 이하에 기술된다. 복수의 스케일의 이미지가 이용 가능한 경우, 선택 프로세스가 상세히 기술될 수 있다.

하나의 해결 방법에 있어서, 프로세스가 보다 거친 스케일에 대하여 식별된 이웃하는 에지 화소 및 에지 체인 중에서 선택하는 경우, 보다 거친 스케일에서 에지 체인을 따라 에지 체인을 연장하는 것으로 귀결되는 프로세스의 선택 에지 화소를 지지한다. 예를 들면, 도 16은 채워진 원(filled 써클)으로 도시된 에지 화소 및 채워지지 않은 원(open 써클)으로 도시된 비에지 화소인 중간화소를 갖는 중간화소 어레이(1600)를 도시한다. 에지 체인이 식별되어 있고, 에지 체인의 단부가 에지 화소(1605)에 있다고 가정한다. 링크 프로세스는 에지 체인을 에지 화소(1610) 또는 에지 화소(1615)로 연장하는 결정에 직면한다. 또한, 중간화소 어레이(1600)가 종래의 어레이 또는 종래의 보다 거친 어레이에서의 에지 화소 식별의 결과라기 보다는 보다 세밀한 스케일에서의 에지 화소 식별의 결과라고 가정한다. 이 경우에 있어서, 링크 프로세스는 에지 화소(1610)를 지지한다.

몇가지 실시예에 있어서, 보다 거친 스케일에서의 에지 체인이 결정되고 에지 화소(1610)가 추가적인 질의(inquiry)없이 에지 체인에 부가된다. 다른 실시예에 있어서, 다른 인자는 보다 거친 스케일의 조화(correspondence)에 따라 사용된다. 또 다른 실시예에 있어서, 중간화소가 에지 화소가 아닌 경우, 즉 도 17a 및 도 17b에 도시한 바와 같이, 에지 체인이 보다 거친 스케일에서 이 에지 체인이 갭을 걸쳐 계속되어야 하는 것을 지시하는 경우라도 중간화소는 선택될 수 있다. 도 17a 및 도 17b에 도시한 바와 같이, 중간화소(1705)는 보다 세밀한 스케일에서의에지 화소가 아니기 때문에, 에지 체인(1710, 1712)은 중간화소(1705)에 도달하지 않는다. 그러나, 보다 거친 스케일에서, 대응하는 중간화소는 에지 화소이고 에지 체인에 포함되어 있다. 결과적으로, 중간화소(1705)는 보다 세밀한 스케일에서 에지 체인에 부가되어, 에지 체인(1710) 및 에지 체인(1715)를 연결하는 연속성으로 귀결된다. 부가적으로, 상이한 보다 세밀한 스케일의 에지 체인으로부터의 에지 화소는 보다 거친 스케일에서의 동일 에지와 관련될 수 있다. 이러한 경우에 있어서, 두 개의 보다 세밀한 스케일의 에지 체인은 보다 거친 에지 체인의 기하학을 가능한 많이 복사하기 위한 방법으로 연결된다.

또한, 도 18a 및 도 18b에 도시한 바와 같이, 보다 거친 스케일에서의 에지 체인이 보다 세밀한 스케일에서의 관련된 체인보다 긴 경우, 링크 프로세스는 보다 세밀한 스케일의 에지 체인을 적절하게 길이를 늘인다. 이것은 "에지 체인 길이 늘임(edge chain lengthening)"이라고 칭한다. 이 도시된 실시예에 있어서, 두 개의 체인은 보다 세밀한 스케일에서 제외된 동일한 순서의 동일한 에지 화소를 갖고(도 18b 참조), 체인이 중간화소(2302)에서 중지하는 한편, 보다 거친 스케일의 이미지 화소가 하나 이상의 중간화소를 중간화소(2202)로부터 중간화소(2201)로 계속된다(도 18a 참조). 그 후, 프로세스는 도 18c에 도시한 바와 같이 보다 세밀한 에지 체인을 중간화소(2301)로 링크하도록 계속된다.

도 19a 및 도 19b에 도시한 바와 같이, 일단 에지 체인이 완전히 생성되면, 링크 루틴이 중간화소를 에지의 각 단부에 좀 더 부가할 수 있다. 이것은 종종 에지 체인 사이에 작은 갭을 폐쇄하는 효과가 있고, 종종 소정 영역을 완전히 둘러싸는 효과가 있다. 하나 이상의 화소를 도 19a에 도시된 각 에지 체인에 부가함으로써, 둘러싸이지 않은 영역은 도 19b에 도시한 바와 같이 완전히 경계지어진다.

에지 체인 링크에서의 다중스케일 관련성을 사용하기 위한 기본 프로세스의 변동에 있어서, 에지 화소의 복수의 스케일이 사용될 수 있다. 일 실시예에 있어서, 에지 체인은 이웃하는 에지 화소의 클래스 및 보다 거친 스케일로부터의 소정의 관련성에 기초하여 하나의 에지 화소의 단부로부터 또 다른 중간화소로 연장된다. 예를 들면, 우선 링크 프로세스가 강한 에지 화소만을 고려하여 보다 거친 스케일에 있어서의 대응하는 에지 체인 연장(extension)을 찾을 수 있으며, 그 후 강한 에지 화소 또는 관련성이 발견되는 경우 약한 에지 화소를 고려한다. 또 다른 변동에 있어서, 에지 화소가 보다 세밀한 스케일에서 발견되지 않는 경우, 우선 링크 프로세스는 강한 에지 화소를 고려하고, 그 후 약한 에지 화소를 고려하며, 그 후 강한 또는 약한 에지 화소를 사용하는 보다 거친 스케일에서의 대응하는 에지 체인 연장을 찾는다.

6. 에지 체인 필터링

도 20a는 에지 체인을 식별하는 프로세스로부터의 에지 체인 이미지 결과를 도시한다. 이 에지 체인 이미지에 있어서, 세그먼트 에지에 대응하지 않는 많은 짧은 에지 체인이 있다.

에지 체인이 이미지의 암영에서의 디지털화 오차(digitization error) 또는 미묘한 변화의 결과로서 초기에 생성되는 경우 이러한 의사 에지가 발생할 수 있다.

도 20b 내지 도 20e는 각 스케일에서 임계치 루틴을 이미지에 공급한 후의 결과를 도시한다. 임계치 루틴은 정적 슬라이딩 스케일(static sliding scale) 또는 동적 슬라이딩 스케일(dynamic sliding scale)을 사용하여 도 20b 내지 도 20e의 이미지를 생성할 수 있다. 정적인 방법에 있어서, 에지 체인이 기준선 길이 요구(baseline length requirement) 및 최소 강도 요구 양쪽 모두를 만족시키지 못하는 경우 에지 체인이 제거된다.

동적 슬라이딩 스케일 테스트는 보다 포괄적(inclusive)이다. 길이와 강도 임계치는 관련이 있다. 따라서, 보다 긴 체인이 에지 체인의 보유(retention)를 만족시켜야 하면 할 수록 보다 낮은 강도 임계치가 에지 체인의 보유를 만족시켜야 한다. 마찬가지로, 에지 체인이 더욱 밝아지면 밝아질 수록 길이의 임계치가 더욱 짧아진다.

일 실시예에 있어서, 에지 체인이 임계치에도 불구하고 스케일 전체를 보유한다. 상세하게는, 에지 체인이 보다 거친 스케일을 별도로 고려하는 경우 보다 세밀한 스케일에서 임계치를 극복하지 못할지라도, 에지 체인은 스케일 전체와 관련되고, 보다 거친 스케일에서의 임계치를 극복하는 에지 체인이 보다 세밀한 스케일에서 보유한다. 또 다른 실시예에 있어서, 종래의 비디오 프레임으로부터의 체인은 에지 체인이 폐기되는 것을 방지할 수 있다.

도 21a 내지 도 21c는 입력 이미지의 기원이 비디오 시퀀스인 경우를 도시한다. 각 스케일에서의 에지 체인 정보는 프레임 전체를 보유한다는 것을 주목하자. 도 21a는 비디오의 이전 프레임을 도시하고, 도 21b는 비디오의 현 프레임을 도시하며, 도 21c는 이전 프레임에 기초하여 임계치화(thresholding)한 후의 현 프레임을 도시한다.

이전 프레임은 임계치화한 후 도시되며, 에지 체인(40011)을 보유한다. 현 프레임의 에지 체인은 에지 체인(40020, 40021, 40022)을 포함한다. 에지 체인(40011, 40021)이 동일한 위치 및 유사한 기울기를 갖는 화소를 공유하기 때문에, 에지 체인(40011, 40021)이 프레임 전체와 관련된다. 현 프레임에 있어서, 에지 체인(40020)이 상기한 thresholding 테스트를 거치므로, 에지 체인(40020)을 보유한다. 그러나, 에지 체인(40021) 및 에지 체인(40022) 양쪽 모두가 thresholding 테스트를 거치지 않으므로, 이들 두 에지 체인은 제거 대상이 된다. 프레임 양단간 세그먼테이션의 일치를 보증하기 위해서, 에지 체인(40021)이 이전 프레임에서 보유하는 에지 체인(40011)과 관련되기 때문에 에지 체인(40021)이 보유한다. 결과적으로, 에지 체인(40022)의 임계치화 테스트가 실패하여 이전 프레임에 보유한 에지 체인과 관련되지 않기 때문에, 에지 체인(40022)을 보유하지 않는다.

7. 조합

세그먼테이션을 개선하기 위한 6가지 방법 및 그에 대응하는 장치가 앞서 기술되었다. 하나 이상의 이들 방법 및 장치는 세그먼테이션 프로세스에 있어서 보다 나은 개선을 위해 조합될 수 있다. 예를 들면, 프로그레시브 채우기는 복수의 스케일로 사용될 수 있는데, 여기서 채우기 프로세스가 보다 거친 스케일에서 실행되고, 그 후 보다 거친 스케일에서의 세그먼팅이 보다 세밀한 스케일에서의 세그먼테이션을 유도하는데 사용된다.

또 다른 조합으로는 혼합 에지 검출과 복수의 클래스의 에지 검출의 조합이다. 이 조합에 있어서, 에지 검출 프로세스는 각 색 평면상에서 별도로 동작하여 강한 및 약한 에지 화소를 식별하고, 그 후 상이한 색 평면으로부터의 에지 화소를 결합함으로써 필터링한다.

또 다른 변동예에 있어서, 색 정보가 강한 및 약한 에지 화소를 식별한 후, 에지 체인을 식별하기 전에 최종 스테이지에서 사용된다. 에지 화소 식별 루틴은 각 스케일에서 두 개의 혼합 에지 화소를 생성한다. 제1 이미지는 모든 색 평면으로부터의 강한 에지 화소의 것이며, 제2 이미지는 소정 색 평면으로부터의 모든 약한 에지 화소의 것이다. 때때로, 동일 에지 화소가 복수의 색 성분에 지정된다. 이 상황에서, 일단 혼합 이미지는 에지 화소를 포함할 뿐이다. 복수의 색 성분에서의 에지 화소는 두 개의 조건, 즉 1) 에지 화소가 상이한 색 성분에서 동일한 위치를 공유하거나, 2) 에지 화소가 상이한 색 성분에서 동일한 어레이 위치를 공유하여 유사한 기울기를 갖는지를 만족하면, 동일하다고 지정한다.

또한, 또 다른 조합으로는 에지 체인을 각 성분에서 발견하고 그 후 그 에지 체인을 조합하는 방법이 있다. 특히, 각 색 성분에서 발견된 국부적인 엑스트리마(extrema)는 초기에 이미지의 다른 색 성분에서 발견된 엑스트리마로부터의 분리를 유지한다. 링크 프로세스는 각 색 성분의 에지 화소를 별도로 링크함으로써 에지 체인을 생성한다. 하나의 색 성분의 기울기에 의해 판정되는 에지 체인이 다른 색 성분의 기울기에 의해 판정되는 에지 체인과 유사한 것이 가능하기때문에, 링크 프로세스는 유사한 체인을 보다 적은 갭을 갖는 보다 긴 체인을 가능한 한 형성하는 하나의 체인에 합체한다. 에지 체인이 다음 기준 중 하나 이상을 만족하는 경우 동일한 스케일에서 에지 체인은 유사한데, 그 기준으로는 1) 모든 측면에서 동일하고, 2) 서로 그들의 화소의 대부분(majority)을 공유하며, 3) (작은 변동 내에서) 기하학적으로 동일하지만 매우 적은 화소에 의해 상쇄(offset)하고, 4) 또 다른 스케일에서 동일한 보다 거친 스케일의 에지 체인과 양쪽 모두 관련된다.

또 다른 조합에 있어서, 모든 상기 프로세스가 개선된 세그먼테이션 프로세스를 형성하기 위해 조합된다.

상기한 상세한 설명은 예시적인 것이지 제한적인 것은 아니다. 상세한 설명을 살펴본 후 당업자에 의해 본 발명의 많은 변형예는 명백해질 것이다. 따라서, 본 발명의 범주는 상기한 설명을 참조하는 것이 아니라 첨부된 특허청구범위 및 첨부된 특허청구범위의 동등물의 전 범주를 참조하여 결정되어야 한다.

본 발명의 목적은 종래의 세그먼테이션 프로세스의 많은 문제를 해결하고자 하는 것이다. 본 발명의 일 실시예에 따른 이미지 세그먼터는 하나 이상의 기술을 사용하여 이미지를 정밀하게 세그먼팅하는데, 하나 이상의 기술로는 불완전하게 경계지어진 세그먼트를 채우기 위해 프로그레시브 채우기(progressive flood fill)를 사용하는 방법, 복수의 스케일링된 변환(scaled transformation)을 사용하는 방법 및 또 다른 스케일에 기인하는 세그먼테이션에 의해 하나의 스케일에서의 세그먼테이션 유도하고, 복수의 색 평면의 혼합인 혼합 이미지를 사용하여 에지를 검출하며, 복수의 클래스의 에지 화소를 사용하여 에지 체인을 생성하고, 복수의 스케일링된 변환을 사용하여 에지 체인을 생성하며, 및/또는 또 다른 스케일에서 검출된 에지에 기초하여 하나의 스케일에서 의사(擬似) 에지를 필터링하는 방법을 포함한다.

본 명세서에 개시된 본 발명의 성질(nature) 및 잇점의 추가적인 이해는 이하의 상세한 설명 및 첨부된 도면을 참조함으로써 실현될 수 있다.

Claims (27)

1. 디지털 이미지의 에지부 검출 방법으로서, 상기 디지털 이미지는 화소 위치와 화소 색 값을 각각 갖는 여러 개의 화소로 된 어레이를 포함하고, 에지부는 상기 디지털 이미지의 1 개의 세그먼트를 나타내는 화소들과 상기 디지털 이미지 내의 다른 세그먼트를 나타내는 화소간의 어레이 형태의 전이부를 나타내며, 상기 방법은,

   하나 또는 그 이상의 필터링된 이미지 - 각 필터링된 이미지는, 상이한 필터가 상기 디지털 이미지와는 다른 세그먼트 해상도를 제공하는 경우에, 상기 복수 개의 필터링된 이미지의 각 이미지마다 상이한 필터를 이용하여 상기 디지털 이미지를 필터링한 결과임 - 를 생성하는 단계와,

   상기 디지털 이미지 내의 상기 화소 어레이 중에서 색 시프트를 식별함으로써 상기 디지털 이미지 내의 에지부를 식별하는 단계와,

   상기 하나 또는 그 이상의 필터링된 이미지의 화소들 중에서 색 시프트를 식별함으로써 상기 디지털 이미지의 다른 에지부를 식별하는 단계를 포함하는 것인 디지털 이미지의 에지부 검출 방법.
2. 제1항에 있어서, 상기 하나 또는 그 이상의 필터링된 이미지는 식별 필터를 이용하여 생성된 하나의 필터링된 이미지를 포함하는 복수 개의 필터링된 이미지이고, 상기 복수 개의 필터링된 이미지는 그 중 하나로서 상기 디지털 이미지를 포함하는 것인 디지털 이미지의 에지부 검출 방법.
3. 제1항에 있어서, 상기 상이한 필터들은 상이한 스케일 해상도의 필터인 것인 디지털 이미지의 에지부 검출 방법.
4. 제1항에 있어서, 상기 상이한 필터들은 상이한 윈도우 크기를 갖는 평활화 필터(smoothing filters)인 것인 디지털 이미지의 에지부 검출 방법.
5. 제1항에 있어서, 상기 상이한 필터는 상이한 화소 해상도를 10분의 1씩 낮추고, 그에 의해 상기 하나 또는 그 이상의 필터링된 이미지에 걸쳐서 화소 어레이 크기가 변화되는 것인 디지털 이미지의 에지부 검출 방법.
6. 제1항에 있어서, 상기 필터는 다양한 기울기 다항 차수의 기울기 필터(gradient filter)인 것인 디지털 이미지의 에지부 검출 방법.
7. 제1항에 있어서, 상기 상이한 필터들은 라플라시안 필터(Laplacian filters)인 것인 디지털 이미지의 에지부 검출 방법.
8. 제1항에 있어서, 상기 디지털 이미지는 단일의 색면으로서 표현되고, 각 화소 색 값은 상기 단일의 색면 내의 암영을 나타내는 스칼라 값으로 표현되는 것인디지털 이미지의 에지부 검출 방법.
9. 제8항에 있어서, 한 화소에 대한 각 화소 색 값은 다중 성분 벡터이고, 상기 화소에 대한 스칼라 값은 상기 화소 색 값 벡터의 성분들의 함수인 것인 디지털 이미지의 에지부 검출 방법.
10. 제9항에 있어서, 상기 화소 색 값 벡터의 성분의 함수는 휘도 함수인 것인 디지털 이미지의 에지부 검출 방법.
11. 제9항에 있어서, 상기 화소 색 값 벡터의 성분의 함수는 합인 것인 디지털 이미지의 에지부 검출 방법.
12. 제9항에 있어서, 상기 화소 색 값 벡터의 성분의 함수는 가중 처리된 합인 것인 디지털 이미지의 에지부 검출 방법.
13. 디지털 이미지의 에지부 검출 방법으로서, 상기 디지털 이미지는 화소 위치와 화소 색 값을 각각 갖는 여러 개의 화소로 된 어레이를 포함하고, 에지부는 상기 디지털 이미지의 1 개의 세그먼트를 나타내는 화소과 상기 디지털 이미지 내의 다른 세그먼트를 나타내는 화소 사이에서의 전이부를 나타내며, 상기 방법은,

    상기 디지털 이미지의 에지 점 - 에지 점은 화소 위치인 점 위치들 사이의화소 어레이 내의 한 점임 - 을 식별하는 단계와,

    높은 확실성(more certain)의 에지 점 클래스과 낮은 확실성(less certain)의 에지 점 클래스를 포함하는 복수 개의 에지 점 클래스 - 상기 높은 확실성 클래스의 에지 점은 상기 낮은 확실성 클래스의 에지 점보다 상기 디지털 이미지의 세그먼트의 에지부를 보다 잘 나타냄 - 을 식별하는 단계와,

    에지 점의 체인(chain)을 형성하기 위해 상기 높은 확실성 클래스의 인접 에지 점들을 연결함으로써 에지부들을 식별하는 단계와,

    에지 점 체인들 사이에 간격이 존재하는 경우에, 상기 에지 점 체인들에서의 간격을 채우기 위해 상기 낮은 확실성 클래스 내의 에지 점들을 식별하는 단계와,

    상기 디지털 이미지 내의 에지부의 표현 방식으로서 에지 점 체인을 이용하는 단계를 포함하는 것인 디지털 이미지의 에지부 검출 방법.
14. 제13항에 있어서, 상기 화소 어레이는 정방형 어레이이고, 상기 방법은 상기 화소 어레이 내에서 상호 인접하는 4 개의 화소에 의해 정해진 정방형의 중심에 각 에지 점을 배치하는 단계를 더 포함하는 것인 디지털 이미지의 에지부 검출 방법.
15. 제13항에 있어서, 상기 복수 개의 클래스는 2 개 이상의 클래스를 포함하고, 각 클래스는 그 클래스 내에서 상기 에지 점과 연관되어 있는 상대적 확실성을 가지며, 각 클래스의 상대적 확실성들은 서열 가능하고 다른 클래스의 상대적 확실성들과 구별되며, 상기 방법은 낮은 확실성 클래스의 에지 점을 이용하기 전에 그리고 높은 확실성 클래스의 에지 점을 이용한 후에 에지 체인을 연결하는데 이용하기 위해 한 클래스 내의 에지 점들을 식별하는 단계를 더 포함하는 것인 디지털 이미지의 에지부 검출 방법.
16. 디지털 이미지의 에지부 검출 방법으로서, 상기 디지털 이미지는 화소 위치와 화소 색 값을 각각 갖는 화소들의 어레이를 포함하고, 화소 색 값은 색 공간에서의 벡터로서 나타낼 수 있으며, 에지부는 상기 디지털 이미지의 하나의 세그먼트를 나타내는 화소과 상기 디지털 이미지 내의 다른 세그먼트를 나타내는 화소간의, 상기 어레이 내에서의 전이를 나타내고, 상기 방법은,

    상기 디지털 이미지를 복수 개의 색면 이미지로 분리하는 단계와,

    각 색면마다 엑스트리마(extrema) 이미지를 형성하기 위해 각각의 상기 색면 이미지 - 엑스트리마 이미지는 상기 화소 어레이에 대응하는 값 어레이이고, 여기에서, 상기 값 어레이 내의 한 값은 상기 화소 어레이 내의 대응하는 위치에서의 엑스트리마 값을 나타냄 - 를 필터링하는 단계와,

    합성 엑스트리마 이미지를 형성하기 위해 복수 개의 엑스트리마 이미지를 조합하는 단계와,

    상기 디지털 이미지 내의 에지부를 검출하기 위해 상기 합성 엑스트리마 이미지를 이용하는 단계를 포함하는 것인 디지털 이미지의 에지부 검출 방법.
17. 제16항에 있어서, 상기 복수 개의 색면은 2 또는 그 이상의 색면인 것인 디지털 이미지의 에지부 검출 방법.
18. 제16항에 있어서, 상기 복수 개의 색면은 3 개의 색면인 것인 디지털 이미지의 에지부 검출 방법.
19. 제16항에 있어서, 상기 복수 개의 색면은 1 개의 휘도 색면과 2 개의 색도 색면으로 이루어지는 것인 디지털 이미지의 에지부 검출 방법.
20. 제16항에 있어서, 상기 복수 개의 색면은 1 개의 적색면, 1 개의 청색면 및 1 개의 녹색면으로 이루어지는 것인 디지털 이미지의 에지부 검출 방법.
21. 제16항에 있어서, 상기 복수 개의 색면은 1 개의 사이언색면, 1 개의 황색면, 1 개의 마젠타색면 및 1 개의 흑색면으로 이루어지는 것인 디지털 이미지의 에지부 검출 방법.
22. 디지털 이미지의 에지부 검출 방법으로서, 상기 디지털 이미지는 화소 위치와 화소 색 값을 각각 갖는 화소들의 어레이를 포함하고, 화소 색 값은 색 공간에서의 벡터로서 나타낼 수 있으며, 에지부는 상기 디지털 이미지의 하나의 세그먼트를 나타내는 화소과 상기 디지털 이미지 내의 다른 세그먼트를 나타내는 화소간의, 상기 어레이 내에서의 전이를 나타내고, 상기 방법은,

    상기 디지털 이미지를 복수 개의 색면 이미지 - 색면은 화소 값들이 화소 색 값 벡터의 한 성분에 대응하는 화소 어레이임 - 로 분리하는 단계와,

    하나 또는 그 이상의 필터링된 이미지 - 상이한 필터가 상기 디지털 이미지와는 다른 세그먼트 해상도를 제공하는 경우에, 각 필터링된 이미지는 상기 복수 개의 필터링된 이미지의 각 이미지마다 상이한 필터를 이용하여 상기 디지털 이미지를 필터링한 결과임 - 를 생성하는 단계와,

    상기 디지털 이미지 내의 상기 화소 어레이 중에서 색 시프트를 식별함으로써 상기 디지털 이미지 내의 에지부를 식별하는 단계와,

    상기 하나 또는 그 이상의 필터링된 이미지의 화소들 중에서 색 시프트를 식별함으로써 상기 디지털 이미지의 다른 에지부를 식별하는 단계를 포함하는 것인 디지털 이미지의 에지부 검출 방법.
23. 디지털 이미지의 에지부 검출 방법으로서, 상기 디지털 이미지는 화소 위치와 화소 색 값을 각각 갖는 화소들의 어레이를 포함하고, 화소 색 값은 색 공간에서의 벡터로서 나타낼 수 있으며, 에지부는 상기 디지털 이미지의 하나의 세그먼트를 나타내는 화소과 상기 디지털 이미지 내의 다른 세그먼트를 나타내는 화소간의, 상기 어레이 내에서의 전이를 나타내고, 상기 방법은,

    상기 디지털 이미지의 에지 점 - 에지 점은 화소 위치인 점 위치들 사이의 화소 어레이 내의 한 점임 - 을 식별하는 단계와,

    높은 확실성의 에지 점 클래스과 낮은 확실성의 에지 점 클래스를 포함하는복수 개의 에지 점 클래스 - 상기 높은 확실성 클래스의 에지 점은 상기 낮은 확실성 클래스의 에지 점보다 상기 디지털 이미지의 세그먼트의 에지부를 보다 잘 나타내고, 에지 점 클래스는 상기 에지 점 근처의 화소에 대한 화소 색 값 벡터의 성분 값의 함수임 - 을 식별하는 단계와,

    에지 점의 체인을 형성하기 위해 상기 높은 확실성 클래스의 인접 에지 점들을 연결함으로써 에지부들을 식별하는 단계와,

    에지 점 체인들 사이에 간격이 존재하는 경우에, 상기 에지 점 체인들에서의 간격을 채우기 위해 상기 낮은 확실성 클래스 내의 에지 점들을 식별하는 단계와,

    상기 디지털 이미지 내의 에지부의 표현 방식으로서 에지 점 체인을 이용하는 단계를 포함하는 것인 디지털 이미지의 에지부 검출 방법.
24. 디지털 이미지를 상기 디지털 이미지 내의 오브젝트의 에지부에 의해 정의된 복수 개의 세그먼트로 세그먼팅하는 방법으로서, 상기 디지털 이미지는 화소 위치와 화소 색 값을 각각 갖는 화소들의 어레이를 포함하고, 에지부는 상기 디지털 이미지 중 하나의 세그먼트를 나타내는 화소과 상기 디지털 이미지 중 다른 세그먼트를 나타내는 화소간의, 상기 어레이 내의 전이를 나타내며, 상기 방법은,

    에지부 체인들의 집합 - 에지부 체인은 2 개의 세그먼트간의 경계를 나타내고, 적어도 하나의 에지부 체인은 하나의 세그먼트를 에워싸서 형성하는 폐루프의 부분이 아님 - 을 식별하는 단계와,

    에지부 체인들에서의 간격에 대해 최대 허용 가능 임계치를 설정하는 단계와,

    제1 브러시가 에지부 체인들과 전혀 겹치지 않도록 상기 제1 브러시를 상기 어레이 내의 제1 위치에 위치 지정 - 브러시는 상기 어레어에 걸쳐서 이동 가능한 화소 윈도우이고, 상기 제1 브러시는 에지부 체인과 겹치지 않은 상태에서 최대 허용 가능 임계치보다 넓지 않은 에지부 체인들의 간격을 통과할 수 없도록 하는 소정 크기의 화소 윈도우임 - 하는 단계와,

    화소들을 하나의 세그먼트에 연계 처리 - 상기 세그먼트에 연계 처리된 각 화소는 상기 제1 브러시가 그 제1 브러시의 폭보다 좁은 간격을 통과하는 일이 없는 상태에서 상기 제1 위치의 상기 제1 브러시에 의해 도달 가능한 화소임 - 하는 단계와,

    상기 어레이 내의 제2 위치 및 후속의 위치에 위치 지정된 상기 제1 브러시를 이용하여 다른 화소를 다른 세그먼트에 연계 처리하는 단계와,

    상기 위치 지정 단계와 상기 연계 처리 단계에서 미리 연계 처리되지 않은 화소를 연계 처리하기 위해 상기 제1 브러시보다 작은 제2 브러시를 이용하여 상기 위치 지정 단계와 상기 연계 처리 단계를 반복 처리하는 단계를 포함하는 것인 디지털 이미지의 세그먼팅 방법.
25. 제24항에 있어서, 상기 제1 브러시는 각 변이 상기 최대 허용 가능 임계치보다 1배 이상인 복수 개의 화소인 정사각형의 화소 윈도우인 것인 디지털 이미지의 세그먼팅 방법.
26. 제24항에 있어서, 상기 반복 처리 단계는 단일 화소의 영역이 이용될 때까지 연속해서 보다 작은 브러시에 의해 수행되는 것인 디지털 이미지의 세그먼팅 방법.
27. 제26항에 있어서, 각 브러시마다 반복 처리의 프로세스가 수행된 후에도 미배정된 화소가 남아 있는 경우에 미배정된 화소를 세그먼트에 배정하는 단계를 더 포함하는 것인 디지털 이미지의 세그먼팅 방법.