KR100698334B1

KR100698334B1 - 디지털 이미지 세그먼테이션 방법 및 장치

Info

Publication number: KR100698334B1
Application number: KR1020017015977A
Authority: KR
Inventors: 프라카시아디툐; 라트너에드워드알; 첸존에스; 쿠크데이비드엘
Original assignee: 알테라 코포레이션
Priority date: 1999-06-11
Filing date: 2000-06-09
Publication date: 2007-03-23
Also published as: CN1260680C; EP1321898A3; ATE486330T1; EP1321898A2; EP1320070A2; DE60045162D1; TW516008B; EP1329848A2; EP1329848A9; WO2000077735A1; EP1320070B1; EP1320070A3; EP1190387B1; AU5603300A; DE60003032D1; KR20020021795A; EP1321898A9; EP1320070A9; ATE241831T1; DE60003032T2

Abstract

본 발명에 따르면, 이미지 세그먼터는 하나 이상의 기술을 사용하여 이미지를 정밀하게 세그먼팅하는데, 하나 이상의 기술로는 불완전하게 경계지어진 세그먼트를 채우기 위해 프로그레시브 채우기(progressive flood fill)를 사용하는 방법, 복수의 스케일링된 변환의 사용 및 또 다른 스케일에 기인하는 세그먼테이션에 의해 하나의 스케일에서의 세그먼테이션을 유도하고, 복수의 색상 평면의 혼합인 혼합 이미지를 사용하여 에지를 검출하며, 복수의 클래스의 에지 화소를 사용하여 에지 체인을 생성하고, 복수의 스케일링된 변환을 사용하여 에지 체인을 생성하며, 및/또는 또 다른 스케일에서 검출된 에지에 기초하여 하나의 스케일에서 의사(擬似) 에지를 필터링하는 방법을 포함한다.

Description

디지털 이미지 세그먼테이션 방법 및 장치{METHOD AND APPARATUS FOR DIGITAL IMAGE SEGMENTATION}

삭제

본 발명은, 일반적으로 화상 처리(image processing)에 관한 것으로, 특히 이미지의 세그먼테이션(image segmentation)―여기서, 이미지는 이미지 화소의 색상값(pixel color value)에 기초하여 자동으로 세그먼트(segment)로 세그먼팅할 필요가 있음―의 문제에 관한 것이다.

이미지 세그먼테이션은 전체 이미지를 이루고 있는 비중첩 부분의 세트(a set of non-overlapping parts)(즉, 세그먼트)로 이미지를 분할하는 프로세스(the process of partitioning)이다. 이미지 세그먼데이션은 많은 어플리케이션에 유용한데, 그 중 하나가 기계 학습(machine learning)이다.

기계 학습에 있어서, 이미지는 세그먼트 세트(a set of segment)로 세그먼팅되며, 상기 이미지 또는 또 다른 이미지로부터의 지정된 세그먼트는 상기 세그먼트의 세트와 비교된다. 기계가 상기 지정된 세그먼트를 세그먼팅된 이미지로부터의 하나 이상의 세그먼트와 성공적으로 정합시키는 경우, 상기 기계는 적절한 결론을 유도한다. 예를 들면, 이미지 세그먼테이션은 겸상 적혈구성 빈혈(sickle cell anemia)과 같은 혈액 질환(blood disease)을 판정하기 위한 기형의 혈구(misshapen blood corpuscle)를 식별하는데 사용될 수 있다. 이 실시예에 있어서, 지정된 세그먼트는 질환성 혈구(diseased blood cell)일 수 있다. 소정의 이미지에 있어서 정합한 세그먼트의 수를 계수함으로써, 환자의 혈액의 상대적인 건강 상태를 판정할 수가 있다. 또 다른 어플리케이션으로는 압축(compression) 및 영역의 세그먼트에 따라 이미지 영역을 처리하는 프로세스를 포함한다.

본 명세서에서 사용되는 용어 중, 이미지는 다차원(multi-dimensional) 신호에서 유도된 데이터를 지칭한다. 신호는 자연적 또는 인위적 중 어느 하나로 발원(originate)하거나 생성(generate)될 수 있다. 어레이에 위치하고 각 화소의 색상값에 따라 컬리링되는 화소들이 이미지를 표현하도록, 이 다차원 신호(여기서, 차원은 1, 2, 3 또는 그 이상임)는 화소 색상값(pixel color value)으로 표현될 수 있다. 각 화소는 위치를 가지며, 그 위치의 점(point)으로 간주되거나, 또는 이미지 내 소정의 점이 화소의 영역 "내(in)"로 간주되거나 화소의 일부로 간주되도록 화소 주위 영역을 채운 형태(shape)로서 간주될 수 있다. 이미지 그 자체는 디스플레이상, 인쇄된 페이지상의 다차원 화소 어레이, 메모리 내에 저장되어 있는 어레이 또는 이미지를 전송하여 표시하는 데이터 신호일 수 있다. 다차원 화소 어레이는 2차원 이미지용 2차원 어레이, 3차원 이미지용 3차원 어레이 또는 여러 차원의 어레이일 수 있다.

이미지는 물리적인 공간(space)이거나 평면(plane)인 이미지 또는 시뮬레이션된(simulated) 및/또는 컴퓨터에 의해 발생된(computer-generated) 공간이거나 평면인 이미지일 수 있다. 컴퓨터 그래픽 기술(computer graphic art)에 있어서, 보통의 이미지는 3차원 공간(three-space)에서의 객체(objects) 및 광원(light sources)의 기하학적 모델과 같은, 컴퓨터에 의해 발생된 3차원 공간의 2차원 뷰(two-dimensional view)이다. 이미지는 단일 이미지, 또는 적절한 시간 순서로 정렬되는 경우에 동화상(moving image)[본 명세서에서는 비디오 시퀀스(video sequence)라고 칭함]을 형성하는 복수의 이미지들 중 하나의 이미지일 수 있다.

이미지를 세그먼팅하는 경우, 이미지는 복수의 세그먼트로 표시된다. 전체 이미지를 구성하는 단일 세그먼트를 생성하는 경우에는 본 명세서에 사용된 세그먼트의 정의 내에 있지만, 통상적인 세그먼테이션은 이미지를 적어도 두 개의 세그먼트로 분할한다. 많은 이미지에 있어서, 세그먼테이션은 이미지를 배경 세그먼트(background segment) 및 하나 이상의 전경 세그먼트(foreground segment)로 분할한다.

하나의 세그먼테이션 방법에 있어서, 화소의 색상값이 세그먼트 내에서 다소 균일하고, 이미지의 에지에서 극적으로 변화하는 이미지 영역을 각 세그먼트가 표현하도록, 이미지가 세그먼팅된다. 이 실시예에 있어서, 영역들이 연결된다(즉, 영역 밖으로 나가는 일이 없이 영역 내 소정의 하나의 화소로부터 영역 내 소정의 또 다른 하나의 화소로 화소마다 이동하는 것이 가능하다).

화소의 색상값이 소정수의 화소 색상 공간(pixel color space)으로부터 선택될 수 있다. 통상적으로 사용되는 하나의 색상 공간은 YUV 색상 공간으로서 알려져 있으며, 화소 색상값은 3개의 성분(Y, U, V)으로 기술되는데, 여기서, Y 성분은 그레이스케일(grayscale) 강도 또는 휘도(luminance) 성분이라고 칭하고, U 성분 및 V 성분은 두 개의 색도(chrominance) 성분이라고 칭한다. YUV 색상 공간은 텔레비전 어플리케이션에서 공통적으로 보여진다. 또 다른 공통적인 색상 공간은 RGB 색상 공간이라고 칭하며, 여기서 R, G 및 B는 적색(Red) 성분, 녹색(Green) 성분 및 청색(Blue) 성분이라고 각각 칭한다. RGB 색상 공간은 컴퓨터 그래픽 표현(representation)에서 컴퓨터 프린터에서 종종 사용되는 CYMB[시안(cyan), 황색(yellow), 마젠타(magenta), 흑색(black)]와 함께 공통적으로 보여진다.

도 1은 이미지 세그먼테이션의 일례를 도시한다. 배경(15) 위에 셔츠(20)의 이미지(10)가 있다. 이미지는 색상들에 기초하여 세그먼팅될 수 있다[도 1에 도시된 셔츠(20)의 암영(shading)은 배경(15) 또는 포켓(70, 80)의 색상들과 별개의 색상을 나타냄]. 따라서, 이 실시예에 있어서는, 배경(15), 셔츠(20), 버튼(30, 40, 50, 60) 및 포켓(70, 80)이 별도의 세그먼트로 세그먼팅된다. 이 실시예에 있어서, 각 세그먼트가 화소 경계에서 분명하게 끝나는 매우 명백한 색상 및 객체를 갖는다면, 세그먼테이션은 간단한 프로세스이다. 그러나, 일반적으로, 정확한 이미지 세그먼트를 생성하는 것은 어려운 문제이며, "컴퓨터 시각(computer vision)" 연구 분야와 같은, 이 문제에 대한 많은 개방된 연구(open research)가 있다. 세그먼테이션이 종종 어려워지는 한가지 이유로는, 물리적인 장치(physical device)로 이미지를 캡쳐링하는 경우, 통상적인 이미지는 디지털화 프로세스(digitization process)를 포함하지만 이것에 제한되지는 않는 여러 가지 소스로부터 도입되는 노이즈를 포함하며, 또한 이미지는 잘 정의된 경계를 갖지 않는 영역을 포함한다는 것이다.

이미지 세그먼테이션 작업을 접근하는 방법에는 몇 가지가 있는데, 일반적으로 1) 히스토그램-기반형 세그먼테이션, 2) 전형적인 에지-기반형 세그먼테이션, 3) 영역-기반형 세그먼테이션 및 4) 몇 가지 다른 접근 방법을 조합한 혼합형(hybrid) 세그먼테이션으로 그룹화할 수 있다. 이들 각 접근 방법은 이하에 기술된다.

1. 히스토그램-기반형 세그먼테이션

히스토그램(histogram) 기술에 기초하는 세그먼테이션은 각 세그먼트에서의 색상 분포의 결정(determination)에 따른다. 이 기술은 세그먼테이션을 위하여 이미지의 단 하나의 색상 평면(color plane)[통상적으로, 이미지의 그레이스케일 부분으로 불리는 강도(intensity) 색상 평면]만을 사용한다. 이 기술을 실행하기 위해서는, 프로세서는 그 평면의 화소 색상값의 히스토그램을 생성한다. 히스토그램은 일련의 "구간(inverval)"을 갖는 그래프로, 일 축을 따라 배열된 값의 범위와 다른 축을 따라 나타난 각 범위 내 값의 총 발생수를 각각 나타낸다. 히스토그램은, 각 세그먼트 내의 색상 분포가 대략적으로 가우시언(Gaussian) 분포(또는 종형상)이며, 전체 이미지에 대한 색상 분포가 가우시언 분포의 합이라는 가정하에서, 각 세그먼트에 있어서의 화소의 수를 결정하는데 사용될 수 있다. 히스토그램-기반형 기술은 구간의 크기를 변경(즉, 값 범위를 증가 또는 감소시키고, 높거나 낮은 점을 찾음)하여 개별적인 가우시언 곡선을 회복시켜려 한다. 일단 분포를 확인하면, 그 후 각 화소는 화소의 대응하는 강도 범위를 갖는 세그먼트로 할당된다.

히스토그램 방법은 오차를 내포하고 있다. 가우시언 분포인 색상 분포가 최상의 가정이라는 기초적인 가정이 모든 이미지에 대해 정확하지 않을 수 있다. 또한, 동일한 강도의 두 개의 분리 영역이 동일한 세그먼트로 간주될 수 있다. 또한, 히스토그램에 의해 회복된 가우시언 분포는 불완전한데, 이 가우시언 분포가 단부에서 잘려, 몇 개의 화소가 제거되기 때문이다. 또한, 이 기술은 세그먼트의 수가 사전에 알려져 있고, 모든 세그먼트가 모두 대략적으로 동일한 크기일 필요가 있다는 점에서 이 세그먼테이션 방법은 반자동이다.

2. 전형적인 에지-기반형 세그먼테이션(Traditional Egde-based Segmentation)

전형적인 에지-기반형 세그먼테이션은 색상 또는 그레이스케일 강도의 차를 사용하여 이미지 내의 여러 영역의 윤곽을 나타내는 에지 화소를 결정한다. 이 접근 방법은, 통상적으로, 에지 화소를 식별하는 경우 에지 화소들이 이미지 내 별도의 영역을 완전히 둘러싸서 세그먼트를 표시한다고 가정한다. 그러나, 전형적인 에지 검출 기술은 사실상 에지 화소인 모든 화소를 식별하는 것을 종종 실패하는데, 그 이유로는 이미지에서의 노이즈 또는 다른 인공물에 기인한다. 몇 개의 에지 화소를 빠뜨리면(miss), 몇몇 복수의 별도 영역이 단일 세그먼트로서 식별되지 않을 수 있다.

3. 영역-기반형(Region-based) 세그먼테이션

영역 기반형 세그먼테이션은 동질(homogenous)의 영역을 검출하여 세그먼트로서 그 영역을 지정하고자 한다. 영역-기반형 접근 방법 중 하나의 클래스는 이미지 내 작은 균일 영역에서 시작하여 보다 큰 영역을 형성하기 위해 아주 인접한 색상값을 갖는 인접 영역을 병합하려는 시도이다. 반대로, 영역-기반형 접근 방법 중 또 다른 하나의 클래스는 전체의 이미지에서 시작하여 이미지를 복수의 동질 영역으로 분할하려는 시도이다. 이들 접근 방법 양쪽 모두에 의해, 몇 가지 동질성(homogeneity)을 만족시키지는 못하는 영역으로 분할된 이미지를 얻게된다.

영역 기반형 세그먼테이션의 첫 번째 클래스는, 근사된 세그먼트 에지가 원래의 이미지를 분할하는 방법에 의존하여 제한된다. 영역 기반형 접근 방법의 두 번째 클래스에 있어서의 문제는 생성된 세그먼트가 실제 기초가 되는 세그먼트에 비례하여 외곡되는 경향이 있다는 것이다.

4. 혼합형(Hybrid) 세그먼테이션

혼합형 세그먼테이션의 목표는 복수의 이전의 세그먼테이션 프로세스로부터 프로세스를 조합하여 이미지 세그먼테이션을 개선하는 것이다. 대부분의 혼합형 기술은 에지 세그먼테이션과 영역-기반형 세그먼테이션을 조합한 것으로, 그 이미지는 이들 프로세스 중 하나의 프로세스를 사용하여 세그먼팅되고 이어서 다른 프로세스로 세그먼팅된다. 혼합형 기술은 단일 프로세스 단독일 때보다는 보다 양호한 세그먼테이션을 생성하려는 시도이다. 그러나, 혼합형 방법은 중요한 사용자 지침(user guidance) 및 세그먼팅될 이미지의 사전 지식(prior knowledge)을 필요로 하기 때문에, 전체적으로 자동화된 세그먼테이션을 필요로 하는 어플리케이션에 대해 부적절할 수 있다고 판명되었다.
다양한 참고문헌들을 간략히 언급한다. G.W.Cook 외의 "Multiresolution Sequential Edge Linking"(이미지 프로세싱에 대한 국제 회의(International Conference on Image Processing: ICIP)의 회보, Los Alimitos, US, IEEE Comp. Soc. Press, 1995년 10월 23일, 41~44 페이지, XP000624176, ISBN:0-7803-3122-2)에서는 그레이스케일 이미지에서의 에지 검출이 고려된다. M.Li 외의 "Pyramid Edge Detection For Color Images"(Optical Engineering, Sociey of Photo-Optical Instrumentation Engineers, Bellingham, US, vol.36, no.5, 1997년 5월 1일, 1431~1437 페이지, XP000692376, ISBN:0091-3286)에서는 컬러 이미지에서 에지 검출을 언급한다. S. Chun 외의 "Region Competition: Unifying Snakes, Region Growing, and Bayes/MDL for Multiband Image Segmentation, IEEE Transactions on Pattern Analysis and Machine Intelligence"(vol.18, no.9, 1996년 9월, 884~900 페이지)에서는, 연속적인 폐쇄 에지 윤곽(contoure)의 검출을 포함하여, 그레이 레벨, 컬러 또는 직물(texture) 이미지에서의 이미지 세그먼테이션의 문제를 언급한다. J.P. Derutin 외의 "Edge and Region Image Segmentation Processes on the Parallel Vision Machine: Transvision"(Computer Architectures for Machine Perception, 1993년 회보, 1993년 11월, 410~420 페이지)에서는, 원본 이미지로부터 방향 그레디언트(directional gradients)를 생성하는 단계, 그레디언트의 국소 최대값(local maxima)을 추출하는 단계, 두개 이상의 임계치를 사용하는 추출된 국소 최대값의 히스테리시스 임계화(hysterisis thresholding) 단계, 및 결합된 에지 점들의 연결 목록을 생성하는 단계를 포함하는 윤곽 체인 생성을 위한 알고리즘이 요약되어 있다. E.Saber 외의 "Fusion of Color and Edge Information for Improved Segmentation and Edge Linking"(1996 음향, 음성, 신호 처리에 관한 IEEE 국제 회의(ICASSP-96), 회의 회보, 1996, vol.4, 2176~2179 페이지)에서는, 각 컬러 채널에서 에지들을 검출하고 그 결과를 조합함으로써 컬러 이미지에서 에지 검출을 수행할 수 있다는 것이 개시된다.

본 발명의 목적은 종래의 세그먼테이션 프로세스의 많은 문제를 해결하고자 하는 것이다. 본 발명의 일 실시예에 따른 이미지 세그먼터는 하나 이상의 기술을 사용하여 이미지를 정밀하게 세그먼팅하는데, 하나 이상의 기술로는 불완전하게 경계지어진 세그먼트를 채우기 위해 프로그레시브 채우기(progressive flood fill)를 사용하는 방법, 복수의 스케일링된 변환(scaled transformation)을 사용하는 방법 및 또 다른 스케일에 기인하는 세그먼테이션에 의해 하나의 스케일에서의 세그먼테이션 유도하고, 복수의 색상 평면의 혼합인 혼합 이미지를 사용하여 에지를 검출하며, 복수의 클래스의 에지 화소를 사용하여 에지 체인을 생성하고, 복수의 스케일링된 변환을 사용하여 에지 체인을 생성하며, 및/또는 또 다른 스케일에서 검출된 에지에 기초하여 하나의 스케일에서 가짜 에지를 필터링하는 방법을 포함한다.

본 명세서에 개시된 본 발명의 성질(nature) 및 장점은 이하의 상세한 설명 및 첨부된 도면을 참조함으로써 더 잘 이해될 수 있다.

도 1은 간단한 이미지 세그먼테이션 프로세스를 도시하는 이미지도.

도 2는 이미지를 세그멘팅하기 위한 장치를 도시하는 블럭도.

도 3은 세그먼팅된 이미지가 사용될 수 있는 시스템을 도시하는 블럭도.

도 4는 이미지 및 관련 세그먼트 데이터를 포함하는 데이터 스트림을 도시하는 도면.

도 5는 세그먼트 리스트가 어떻게 대응하는 이미지에 대하여 나타날 수 있는지를 도시하는 도면.

도 6은 흑백 이미지 화소의 이미지 내에 보다 작고 밝게 음영 처리된 화소로 도시되며, 흑색 이미지 화소와 백색 이미지 화소 사이에 위치하는 에지 화소를 도시하는 도면.

도 7은 이미지 화소의 두 개의 세그먼트간의 에지 체인을 도시하는 도면.

도 8은 프로그레시브 브러시를 사용하여 세그먼팅되는 이미지를 도시하는 도면.
도 9은 에지 체인의 양 측면 중 어느 하나의 측면상에 부분적으로 채워진 이미지를 도시하는 도면.

도 10는 각 세 개의 색상 성분에 있어서의 화소에 대한 기울기를 도시하는 도면.

도 11은 이미지 화소, 에지 화소 및 에지를 갖는 이미지를 도시하는 도면.

도 12는 기울기 기술을 사용하여 강한 에지 화소를 판정하는 프로세스를 도시하는 도면.

도 13은 기울기 기술을 사용하여 약한 에지 화소를 판정하는 프로세스를 도시하는 도면.

도 14는 라플라시안 기술을 사용하여 강한 에지 화소를 판정하는 프로세스를 도시하는 도면.

도 15는 이미지 화소 및 강한 에지 화소와 약한 에지 화소를 포함하는 식별 된 에지 화소를 갖는 이미지를 도시하는 도면.

도 16은 에지 체인 생성시에 에지 화소 중에서 선택하기 위한 프로세스를 도시하는 도면.

도 17는 작은 갭에 걸쳐 에지 체인을 연속하기 위한 프로세스를, 도 17a는 갭을 갖는 두 개의 에지를, 도 17b는 채워진 갭을 도시하는 도면.

도 18은 하나 이상의 스케일로부터 에지 체인을 링크하기 위한 프로세스를, 도 18a는 보다 거친 스케일로부터의 에지 체인을, 도 18c는 보다 조밀한 스케일로부터의 에지 체인을, 도 18c는 이들의 조합을 도시하는 도면.

도 19는 에지 체인 연장의 프로세스를, 도 19a는 에지 체인을 연장하기 전의 이미지를, 도 19b는 에지 체인을 연장한 후의 이미지를 도시하는 도면.

도 20a 내지 도 20e는 여러 가지 에지 체인 필터링도를 갖는 이미지를 도시하는 도면.

도 21a 내지 도 21c는 비디오 프레임상에서 에지 체인 필터링의 프로세스를 도시하는 도면.

특정 실시예의 설명

세그먼테이션은 디지털 이미지를 이미지의 "세그먼트"라고 칭하는 성분으로 분할하는 프로세스이다. 색상값 기반형 세그먼테이션에 있어서, 각 세그먼트는 도 1에 도시된 배경 내에 묘사된 바와 같이, 이미지 내에서 색상값의 과격한 또는 급격한 변화에 의해 경계지어진 영역을 나타낸다. 본 명세서에서 상세히 기술된 많은 실시예에 있어서, 이미지는 2차원 신호를 나타내지만, 당업자가 본 명세서를 읽은 후 본 명세서에 기술된 방법 및 장치가 다른 수의 차원에 대해서도 적용할 수 있다는 것을 이해할 것이다.

도 2는 본 발명의 일 실시예에 따른 이미지에 대한 세그먼트 정의를 생성하는 세그먼터(100)를 포함하는 시스템을 도시하는 블럭도이다. 세그먼터(100)는 그 입력으로서 이미지 데이터(102)를 받아서 세그먼트 리스트(104)를 출력한다. 이미지 데이터(102) 및 세그먼트 리스트(104)의 포맷은 이미지의 성질 및 저장 요구사항에 의존하여 변화되고, 다른 프로세스는 세그먼테이션 프로세스와 관련된 것이 아니라 이미지 데이터(102)의 하나의 저장 포맷이 (가능하면 압축된) 화소셀값의 어레이인 것이며, 원래의 데이터(raw data), 비트맵, MPEG, JPEG 및 GIF 등과 같은 많은 가능한 산업 표준의 이미지 포맷 중 하나에 저장된다. 메모리에 있어서, 이미지 데이터(102)는 값의 2차원 어레이로서 저장될 수 있는데, 여기서 각 값은 화소 색상값이다. 화소 색상값은 몇개의 성분을 가질 수 있다. 예를 들면, 이미지는 0 내지 256 범위의 3개의 성분(적색, 녹색, 청색)으로 표시되는 각 화소의 색상값을 갖는, 화소의 1024×768 어레이일 수 있다. 세그먼트 리스트(104)의 포맷은 이하, 도 6을 참조하여 정의되는 중간화소(midpixel)의 런-렝스 인코딩된 순서 리스트(run-length encoded ordered list) 또는 각 세그먼트의 경계를 포함하는 이미지 화소로서 저장될 수 있다.

도시된 세그먼터(100)는 고려할 이미지 데이터를 유지하는 프레임 버퍼(110), 식별된 또는 식별될 세그먼트에 관한 데이터를 유지하는 세그먼트 테이블(112), 및 세그먼터(100)에 제공된 프로그램 인스트럭션(116)에 따라 세그먼트 데이터를 생성하기 위해 프레임 버퍼(110)에서 동작하는 프로세서(114)를 포함한다. 프로그램 인스트럭션(116)의 여러 태양이 이하에 기술되고, 이 태양은 세그먼테이션을 위한, 그리고 본 명세서에 기술된 세그먼테이션을 지지하는 몇 가지 또는 모든 방법 및 프로세스에 대응하는 프로그램 인스트럭션을 포함할 수 있다.

도 3은 세그먼트 리스트(104)를 사용할 수 있는 시스템을 도시한다. 도시한 바와 같이, 이미지 생성기(200)는 가능한 한 종래의 이미지 생성 또는 이미지 캡쳐링 기술을 사용하여 이미지를 생성하며, 이미지 데이터(102)로서 그 이미지를 표시하는 데이터를 저장한다. 도 2에 도시한 세그먼터(100)와 같은 세그먼터는 상술한 바와 같은 세그먼트 리스트(104)를 생성하는데 사용된다. 이미지 생성기(200)는 각 세그먼트에 대한 데이터를 생성하는 세그먼트 필드 생성기(201)에 세그먼트 리스트(104)를 제공한다. 이러한 데이터는 레이블(label), "URL"과 같은 클릭 가능한 링크 및 이미지로부터 추출할 필요가 없이 이미지의 세그먼트와 관련된 다른 데이터를 포함할 수 있다.

이미지 데이터(102), 세그먼트 리스트(104) 및 세그먼트 필드는 웹 서버(202)에 의해 제공되는 웹 페이지로서 저장된다. 그 후, 브라우저(206) 또는 다른 웹 클라이언트(도시하지 않음)는 그 이미지 및 관련 데이터를 인터넷(204)을 통하여 웹 서버(202)로부터 검색할 수 있다.

이하, 도 4를 참조하면, 도 4는 이미지 데이터 및 데이터 신호와 같이 전송할 수 있는 관련 데이터의 하나의 정렬을 도시한다. 이 실시예에 있어서, 이미지 데이터(250)는 가능하면 산업 표준 포맷의 신호로 전송되고 세그먼트 리스트(260) 및 세그먼트 필드(270)가 후속한다.

도 5는 대단히 간단한 이미지 및 이 이미지의 세그먼테이션 결과를 도시한다. 도 5에 도시한 바와 같이, 이미지(500)는 3개의 세그먼트, 2개의 다각형 전경 세그먼트(foreground segment) 및 배경 세그먼트(background segment)를 포함한다. 세그먼터(100)는 이미지(500)를 처리하여 세그먼트 리스트(510)를 생성한다. 도 5에 도시한 바와 같이, "Seg #1"로 라벨링된 세그먼트는 배경 세그먼트를 나타내고, "Seg #2"로 라벨링된 세그먼트는 점 A, 점 B, 점 C, 점 E 및 점 D 사이의 다각형(점 A로 끝나고 다각형이 폐쇄됨)에 의해 경계지어진 전경 세그먼트를 나타내며, "Seg #3"으로 라벨링된 세그먼트는 점 F, 점 G, 점 K, 점 J, 점 I 및 점 H 사이의 다각형(점 F에서 끝나고 다각형이 폐쇄됨)에 의해 경계지어진 전경 세그먼트를 나타낸다. 물론, 세그먼팅된 통상적인 이미지는 통상적으로 그다지 잘 정의되어 있지 않기 때문에, 본 명세서에 기술된 몇몇 또는 모든 방법은 세그먼트 경계를 올바르게 식별할 필요가 있을 수 있다.

본 명세서에 사용된 바와 같이, 용어 "중간화소(midpixel)"는 이미지 화소와 관련된 이미지에 위치된 논리점(logical point)이라고 칭한다. 따라서, 세그먼트의 에지는 중간화소 사이에서 뻗어 나가게 되어, 세그먼트의 각 측면상의 이미지 화소를 분할한다. 바람직하게는, 중간화소는 이미지 화소가 있는 곳과 동일한 점에 위치하지는 않고, 이미지 화소 사이에 위치한다. 중간화소가 4개의 상호 인접한 이미지 화소에 의해 정의된 직사각형(또는 비직사각형 이미지 화소 어레이상의 상호 인접한 이미지 화소에 의해 정의된 다른 최소 다각형(minimum polygon))에서 정확히 센터링(centered)된 것일 필요는 없지만, 일반성(generality)을 상실하지 않고, 배열의 단순성(simplicity)을 위해 센터링된 중간화소가 바람직하다.

도 6은 이러한 배열을 도시하며, 여기서 이미지(600)는 이미지 화소(602)와 같은 이미지 화소들을 포함하고, 중간화소(604)는 이미지 화소 사이에서 발생한다. 상단(top)으로부터 하단(bottom)으로 또는 하단으로부터 상단으로 뻗어나가는 순서로 모든 중간화소(604)를 연결하는 에지가 특정되는 경우에, 에지는 에지 좌측상의 이미지 화소와 에지 우측상의 이미지 화소를 분리한다.

중간화소가 에지의 일부가 되는 경우에, 중간화소는 에지 화소(edge pixel)이라고 칭한다. 따라서, 에지는 에지 화소의 체인(chain of edge pixel)이며, 이들 이미지 화소를 둘러싸는 에지 체인(edge chain)은 세그먼트의 이미지 화소를 경계지을 수 있다. 몇 가지 경우에 있어서, 세그먼트는 정확히 에지상에 있는 이미지 화소를 포함한다. 이미지 화소가 (다각형 에지 및 센터링된 에지 화소에 의해 발생될 수 있는 바와 같이) 정확히 두 개의 세그먼트 사이의 에지상에 있는 경우, 하나 이상의 여러 타이-브레이킹 루틴(tie-breaking routine)이 이미지 화소가 속해야 하는 세그먼트를 결정하는데 사용될 수 있다. 본 명세서에서 보다 완전히 설명한 바와 같이, 에지 화소는 이미지에 있어서 근사점(approximate point)이 되고, 여기서 화소 색상값은 비교적 많이 시프트(shift)한다.

이하에 기술되는 세그먼테이션 프로세스는 여러 단계의 시퀀스를 포함한다. 모든 단계를 실행할 필요는 없고, 리스트된 순서로 실행할 필요도 없다. 우선, 이하에는 시퀀스를 기술한다.

1) 프로그레시브 채우기(Progressive Flood Fill) - 여러 가지 브러시(brush) 사이즈를 사용하여, 불완전하게 경계지어진 영역을 점진적으로 채움.

2) 다중스케일 세그먼팅(multiscale segmenting) - 원래의 이미지의 복수의 "스케일" 변환(scale transformation)을 생성하고 하나의 스케일 변환으로부터의 세그먼트를 사용하여, 또 다른 스케일에서 세그먼트를 유도함.

3) 혼합 에지 검출(Composite Edge Detection) - 복수의 색상면(color plane)의 혼합인 혼합 이미지(composite image)를 사용하여 에지를 검출함.

4) 다중-클래스 에지 체인닝(Multi-class Edge Chaining) - 에지 화소의 복수의 클래스를 사용하여 에지 체인을 생성함.

5) 다중스케일 에지 체인닝(Multiscale Edge Chaining) - 복수의 스케일로부터의 정보를 사용하여 에지 체인을 생성함.

6) 에지 체인 필터링(Edge Chain Filtering) - 다중스케일링, 비디오 시퀀싱, 동적 스케일과 같은 여러 가지 문맥(contextual) 에지 특성을 이용하여 관련없는(extraneous) 에지 체인을 필터링함.

이하, 상기 단계들은 필요한 경우 도면을 참조하여 보다 상세히 기술되고, 그 후 상기 단계들의 몇 가지 유용한 특정 조합이 기술될 것이다.

1. 프로그레시브 채우기

프로그레시브 채우기(progressive flood fill) 프로세스는 불완전한 에지 체인으로부터 폐쇄형 세그먼트 경계를 생성한다. 이 프로세스에서는 적어도 몇개의 에지 체인을 갖는 이미지를 가정하는 데, 여기서 에지 체인은 에지 화소의 순서 리스트(ordered list)에 인접한 에지 화소들 사이에서 라인 세그먼트(line segment)와 논리적으로 결합된 에지 화소의 순서 리스트이다. 소정 이미지의 에지 체인은 복수의 방법으로 생성될 수 있는 데, 본 명세서에 기술된 에지 체인 생성 프로세스를 포함한다. 도 7은 에지 체인(650)의 일례를 도시한다. 에지 체인(650)은 6개의 에지 화소(652) 및 이 에지 화소들을 연결하는 라인 세그먼트로 정의된다.

일반적으로, 이하에 곧 기술되는 프로그레시브 채우기 프로세스는 큰 브러시부터 작은 브러시 순서로 브러시를 사용하여 예상되는 세그먼트(prospective segment)를 "채운다(fill)". 브러시는 논리적인 윈도우(logical window) 또는 화소 단위(pixel unit)로 표현되는 소정의 형태이다. 예를 들면, 하나의 가능한 브러시로는 6×6 화소의 사각 윈도우(square window), 또 다른 하나의 가능한 브러시로는 측면당 7개의 화소(seven pixel per side)를 갖는 육각형 윈도우(hexagonal window)가 있다. 예상 세그먼트를 채우는 것은, 브러시가 에지 체인의 일부를 덮지 않고 브러시가 상이하게 할당된 이미지 화소(즉, 이미지 화소를 덮도록 할당된 현재의 세그먼트 값과 다른 세그먼트 값이 할당되고, 이미 덮여진 이미지 화소)를 덮지 않도록, 이미지 화소를 브러시로 덮고, 이미지 화소에 세그먼트 값(즉, 세그먼트에 대한 기준으로서 사용할 수 있는 값 또는 숫자)을 할당하며, 이미지 주위로 브러시를 이동하는 프로세스이다. 에지 체인 또는 상이하게 할당된 이미지 화소를 덮는 일이 없이, 일련의 브러시에 의해 도달할 수 있는 이미지 화소 세트(set of image pixel)는 예상되는 세그먼트와 관련된 이미지 화소 세트이다.

예를 들면, 도 8에는 이미지(700) 및 브러시(702)가 도시되어 있으며, 여기서 이미지는 마킹된 에지 체인(701)을 갖는다. 브러시(702)의 사이즈가 정해지면, 브러시(702)가 삼각 영역(704)에 위치하는 경우, 그 후 채우기 프로세스가 삼각 영역(704)의 상단에서 갭(gap)(705)을 통하여 "브리드(bleed)"할 수 없는데, 그 이유로는 브러시(702)가 에지 체인의 일부를 덮지 않고는 갭(705)에 일치될(fit) 수 없기 때문이다. 프로그레시브 채우기 프로세스의 제1 단계로는 표시된 크기의 브러시를 사용하여, 삼각 영역(704), 사각 영역(706) 및 배경 영역(708) 위를 브러싱한다. 제1 단계의 하나의 결과는 이미지의 대부분의 경우에 있어서 화소의 일부를 각각의 세그먼트와 연관시키는 것이다. 이미지 화소의 일부는 세그먼트와 연관되지 않는 데, 그 이유로는 브러시(702)가 에지 체인을 덮지 않고 이들 화소에 도달할 수 없기 때문이다.

일 실시예에 있어서, 프로세서는 브러시를 이미지 내의 각 액세스 가능한 위치로 이동시키며, 에지 체인 또는 상이하게 할당된 이미지 화소를 덮지 않도록 조심스럽게 처리한다. 각 브러싱 위치에서는, 프로세서는 밑에 있는 중간화소(underlying midpixel) 및 이미지 화소를 고려한다. 브러시가 에지 화소, 에지 체인 또는 상이하게 할당된 이미지 화소를 덮는 경우, 브러시가 영향을 미치지 않고서 다음 위치로 이동한다. 그러나, 브러시가 에지 화소, 에지 체인 또는 상이하게 할당된 이미지 화소의 소정 부분을 덮지 않은 경우, 프로세서는 밑에 있는 이미지 화소를 조사한다. 밑에 있는 이미지 화소 중 어느 하나의 이미지 화소가 이미 세그먼트와 관련지어진 경우, 모든 밑에 있는 이미지 화소는 그 세그먼트로 할당되고, 그렇지 않은 경우에는 밑에 있는(underlying) 모든 이미지 화소는 새로운 세그먼트로 할당된다. 하나의 화소 브러시의 경우에 있어서, 프로세서는 인접한 이미지 화소를 고려하여, 어느 에지 체인과도 교차하지 않고, 최인접 이미지 화소를 포함하는 세그먼트에 이미지 화소를 할당한다.

또 다른 실시예에 있어서, 프로세서는 두 개의 브러시를 각 검출된 에지 체인의 양측면 중 어느 하나의 측면상으로 이동시켜, 에지 체인의 양측면 중 어느 하나의 측면상의 이미지 화소를 상이한 세그먼트로 할당한다. 또한, 또 다른 실시예에 있어서, 프로세서는 브러시를 이미지상 소정의 미처리된 위치에 위치시키며, 에지 체인을 덮지 않고 도달할 수 있는 인접한 위치로 브러시를 이동시킨다.

또 다른 실시예에 있어서, 프로세서는 증분적으로 보다 작은 브러시를 사용하여 새로운 세그먼트를 그와 달리 생성하며 이전의 세그먼트를 확장한다. 따라서, 홀수로 번호 매겨진 패스(odd numbered pass)는 새로운 세그먼트를 생성할 수 있는 반면에, 짝수로 번호 매겨진 패스(even numbered pass)는 이전에 생성된 세그먼트를 확장한다.

또한, 또 다른 실시예에 있어서, 프로세서는 각 색상 성분에 있어서의 일련의 에지 체인을 생성하며, 에지 체인을 조합하여 혼합 에지 체인 화상을 생성한다. 이 혼합은 각 색상 성분에 있어서의 에지 체인의 합집합(union) 또는 교집합(intersection) 중 어느 하나일 수 있다.

일단, 프로세서가 제1 브러시(또는, 브러시들)를 이미지 위로 통과시키면, 몇 개의 이미지 화소는 세그먼트에 할당된다. 이들 이미지 화소는 브러시(들)에 액세스 가능한 이미지의 부분들을 나타낸다. 그 후, 프로세서는 보다 작은 브러시를 사용하여 또 다른 이미지 상에 또 다른 패스(pass)를 만든다. 이 두 번째 패스에서, 프로세서는 보다 작은 브러시로 동일한 프로세스를 실행하여, 보다 큰 브러시로 "도달 가능(reachable)"하지 않은 이미지 화소(즉, 큰 브러시는 에지 화소, 에지 체인 또는 차동적으로 할당된 이미지 화소를 덮지 않고서는 이미지 화소를 덮을 수 없음)를 덮고 할당한다. 프로세스가 단일 화소 브러시(one-pixel brush)와 같은 가장 작은 브러시로 패스를 만들 때 까지 이 프로세스는 증분적으로 보다 작은 브러시를 사용하여 후속하는 패스에서 반복된다.

최초의 브러시 사이즈는 세그먼트를 정의하는 에지 체인에 있어서 가장 큰 수용 가능한 갭보다 큰 하나 이상의 화소인 것이 바람직하다. 예를 들면, 두 개의 에지 체인의 단부 사이에 5개의 화소 이하의 범위(span)가 보다 큰 에지 체인에 있어서 갭으로 생각되는 경우, 최초의 브러시는 6×6 화소 정방형일 수 있다. 이러한 배열에 있어서, 최초의 브러시는 갭을 통하여 "브리드"하지 않아 두 개의 세그먼트를 올바르지 않게 조합한다. 최초의 브러시 이후, 후속하는 보다 작은 브러시는 갭을 통하여 브리딩할 수 있지만, 브리딩량이 제한되는데, 갭의 양측면 상에 브러시의 움직임을 제한하는 이전에 할당된 이미지 화소들이 존재하기 때문이다.

도 9는 이러한 점을 도시한다. 도 9는 갭을 갖는 에지 체인(800)을 도시한다. 에지 체인(800)은 두 개의 세그먼트(802, 804)로 분리한다. 초기 브러시 패스에 있어서, 이미지 화소들의 일부가 세그먼트에 할당되며, 브러시는 갭에 인접한 이미지 화소와 같은 이미지 화소들의 일부에 도달할 수 없다. 보다 작은 브러시를 사용하는 경우에는, 갭의 양측면상의 나머지 비할당된 화소 모두에 도달할 정도로 충분히 작기 때문에 최초에 처리되는 세그먼트 전체를 브리드하는 결과를 초래할 수 있다. 상기한 바를 방지하기 위해서는, 프로세서는 두 개의 브러시를 갭의 양측면 중 어느 하나의 측면으로부터 비할당된 화소 위를 패스시켜, 갭의 양측면이 고르게 채워진다.

보다 작은 브러시의 바람직하지 않은 브리딩을 추가적으로 제한하기 위해서는, 두 개의 브러시(갭의 각 측면상에 하나의 브러시)가 패스에서 이동(run)되거나 ,또는 이미지 화소들을 세그먼트들에 할당하는 프로세스시에 하나의 브러시를 하나의 측면으로부터 다른 측면으로 교대하여 사용할 수 있다. 도 7에 도시된 이미지 화소(660)와 같은 몇 가지 경우에는, 하나의 화소(one-pixel) 브러시도 역시 에지 체인에 의해 교차되는 이미지 화소와 같은 몇 개의 이미지 화소에 도달할 정도로 충분히 작지 않다. 이들 도달 불가능한 화소는 가장 작은 브러시를 사용하는 패스가 완성된 후 처리할 수 있다.

도달 불가능한 화소를 처리하기 위한 하나의 프로세스는 타이-브레이킹 방식을 사용하여 도달 불가능한 화소와 만나는는 세그먼트 중 하나의 세그먼트에 도달 불가능한 화소를 할당하는 것이다. 하나의 타이-브레이킹 방식은 이미지 화소에서의 기울기(gradient) 및 각 경쟁하는(contending) 세그먼트의 최인접 이미지 화소에서의 기울기를 고려하는데, 이미지 화소가 도달 불가능한 이미지 화소에서의 기울기에 대해 크기 및 방향에 있어서 가장 근접한 기울기를 갖는 최인접 이미지 화소를 포함하는 세그먼트에 할당된다. 기울기는 벡터 미분 계수이다.

일단, 프로세스가 각 이미지 화소를 세그먼트와 연관시키면, 각 세그먼트의 경계의 위치는 쉽게 발견된다. 이하에 기술되는 바와 같이, 프로그레시브 채우기 프로세스는 다른 프로세스와 결합하여 세그먼트 경계를 보다 정밀하게 판정할 수 있다.

2. 다중스케일 세그먼팅

이미지로 시작하여, 세그먼터는 스케일간의 보다 크고 보다 지배적인 특성에 관한 정보만을 유지하면서, "스케일(scale)"이라고도 알려진, 점진적으로 보다 낮은 해상도로 이미지의 복수의 변환(transformation)을 생성한다. 평활화(smoothing) 또는 그와 유사한 필터의 사용과 같이 변환을 생성하는 여러 가지 상이한 방법이 있다. 몇 개의 이미지에 대해 유용할 수 있는 하나의 변환 세트는 가우시안 평활화 필터들의 어레이이며, 여기서 각 가우시안 평활화 필터는 상이한 특성 거리(characteristic distance)를 갖는다.

하나의 다중스케일 세그먼팅 프로세스에 있어서, 변환된 이미지는 가장 거친(coarsest) 이미지로부터 가장 세밀한(finest) 이미지 순서로 처리되며, 여기서 가장 거친 이미지는 가장 폭넓은 평활화 필터를 사용하는 변환이다. 통상적으로, 가장 거친 이미지는 이미지의 가장 큰 특성을 보유할 뿐이다. 가장 세밀한 이미지는 가장 작은 특성 거리를 갖는 평활화 필터에 의해 변환된 이미지 또는 본래의 변환되지 않은 이미지 중 하나이다.

이 프로세스는 가장 거친 이미지에 대한 세그먼트 세트를 정의하기 위해 가장 거친 이미지의 세그먼테이션 프로세스를 실행함으로써 계속된다. 세그먼테이션 프로세스는 상술한 프로그레시브 채우기 세그먼테이션 프로세스 또는 단일 이미지상에서 실행된 몇 가지 다른 세그먼테이션 프로세스일 수 있다. 일단, 세그먼테이션 프로세스가 가장 거친 이미지상에 실행되면, 이미지의 세그먼트 세트가 보다 세밀한 이미지상에서 실행된 후속하는 세그먼테이션 프로세스에서 사용된다.

예를 들면, 두번째로 가장 거친 이미지의 세그먼트가 가장 거친 이미지의 하나 이상의 세그먼트를 에워쌀 수 없다는 제한하에서, 두번째로 가장 거친 이미지를 상술한 바와 같이 세그먼팅할 수 있다. 바꿔 말하면, 제2 이미지에서의 세그먼트는 제1 이미지에서의 세그먼트의 각각의 부세트(subset)이다.

프로세스는 이전에 세그먼팅된 이미지의 세그먼트를 사용하여 그 다음으로 거친 이미지 각각에 대하여 계속된다. 각 앞선 이미지(prior image)의 세그먼트가 그의 앞선 이미지의 부세트가 되도록 제한되기 때문에, 변환된 이미지 중 소정의 하나의 변환된 이미지의 세그먼트는 소정의 보다 거친 이미지에서의 소정 세그먼트의 세그먼트의 부세트이다.

"부세트" 제한을 강제하는 하나의 방법은 이미지의 제한되지 않은 세그먼테이션을 수행하고, 그 후에 보다 거친 이미지에서의 하나 이상의 세그먼트를 교차하는 소정의 세그먼트를 나누는 것이다. 부세트 제한을 강제하는 다른 방법에서는 상술한 프로그레시브 채우기 프로세스에 의해 이루어진 세그먼테이션을 사용할 수 있다. 후자, 즉 부세트 제한을 강제하는 다른 방법에 있어서, 보다 거친 이미지의 세그먼트 경계가 처리되는 이미지에서 에지 체인으로서 부가되어 부세트 제한을 달성한다.

3. 혼합 에지 검출

상술한 프로그레시브 채우기 프로세스 및 다중스케일 세그먼테이션 프로세스는 이미지 및 에지 체인의 세트 상에서 동작하는데, 여기서 에지 체인은 에지 화소의 순서 세트(ordered set)이다. 에지 체인은 에지 화소로부터 생성된다. 상술한 방법들은 다른 에지 검출 방법을 사용할 수도 있지만, 이하에 기술되는 혼합 에지 검출 프로세스는 화소 색상값이 복수의 색상 성분을 포함하는 경우에 특히 유용하다.

혼합 에지 검출 프로세스에 있어서, 상이한 컬러 성분으로부터의 정보를 조합하여 혼합 이미지를 형성하는데, 여기서 혼합 이미지에서의 각 화소 색상값은 대응하는 이미지 화소의 색상값 및 주변 이미지 화소의 가능한 색상값 성분의 함수이다. 그 후, 혼합 이미지를 사용하여 중간화소 중 어느 것이 에지 화소인지를 판정한다. 일단, 에지 화소가 혼합 이미지에서 판정되면, 에지 화소를 에지 체인에 링크할 수 있다.

이하, 혼합 이미지 처리하는 3가지 방법이 기술된다. 제1 혼합 이미지 처리 방법은 에지 화소를 판정하기 전에 색상 정보를 조합하는 것이라면, 제2 혼합 이미지 처리 방법은 각 색상 평면에 대한 에지 화소를 판정한 후 그 결과를 혼합 에지 화소의 세트로 조합한다. 용어 "색상 평면"은 화소 색상값의 N차원 어레이 이미지를 말하고, 여기서 각 화소는 그 화소에 할당된 복수의 색상 이미지 중 하나의 색상 이미지만을 보유한다. 예를 들면, 각 화소에 적색값, 녹색값 및 청색값을 할당하는 경우, 각 화소가 할당된 적색값만을 갖는 이미지는 적색의 색상 평면에 대한 색상 평면 이미지이다. 제1 혼합 이미지 처리 방법에 있어서, 기울기 벡터의 어레이(화소당 하나의 기울기 벡터)를 포함하는 혼합 기울기 이미지는 그 화소에 대한 색상 성분값으로부터 계산된다. 그 후 혼합 기울기 이미지는 에지 화소를 검출하기 위해 처리된다.

혼합 기울기 이미지를 생성하기 위한 하나의 프로세스는 각 색상 평면의 그 화소에서의 기울기를 기초로 하여 각 화소에 대한 혼합 기울기를 생성하는데, 여기서 화소에 대한 혼합 기울기는 그 화소에서의 각 색상 평면에 기울기의 수정된 벡터를 부가한다. 수정된 벡터를 부가하면, 두 개 이상의 색상 평면이 존재하는 경우에, 각각의 벡터의 부호가 반평면 내에 모든 가수(addend)의 방향을 유지하는데 필요한 만큼 수정된다.

도 10은 이러한 수정된 벡터 부가를 예시하는 도면이다. 도 10에 도시한 바와 같이, 화소 A에 대한 각 색상 평면에서의 벡터는 반원 이하의 방향 범위를 갖기 때문에, 혼합 기울기는 단지 각 성분에 있어서 벡터의 벡터합이다. 화소 B 및 화소 C에서도 마찬가지이다. 그러나, 화소 D에 대한 모든 벡터의 방향을 포함하는 반원의 방향은 없다. 이 후자의 경우에 있어서, 벡터 중 하나의 부호는 벡터가 부가되기 전에 대해 역이다(즉, 역 방향을 가르킴).

사실상, 이 수정된 벡터의 부가는 소정 에지상의 어떤 점에 대하여, 에지에 대한 법선(normal) 또는 에지에 대한 접선(tangent)을 정의하는 두 개의 벡터가 존재한다는 것을 고려한다. 결과적으로, 기울기 벡터는 반대일 수 있으며, 이것은 여전히 동일 에지를 나타낸다. 부가된 벡터가 모두 반원 내에 있음을 보장함으로써, 하나의 성분 기울기 벡터의 기여도가 또 다른 성분 기울기 벡터의 기여도를 취소시키는 것이 쉽지 않다.

가수가 반원 내에 있다는 것을 보장함으로써, 기울기의 극성(polarity)이 그들의 합의 결과에 크게 영향을 미치지 않아야 한다. 많은 이미지에 있어서, 극성의 변화는 이미지의 물리적인 특성에 대응한다. YUV 이미지의 각 색상 성분에서의 에지의 극성은 일반적으로 서로 독립적이다. 예를 들면, 밝은 녹색 영역이 어두운 적색 영역으로 천이하는 경우, "Y"는 감소하고 V는 증가한다.

일부의 색상 공간(color space)에 있어서, 색상 성분은 전체 색차(overall color difference), 또는 성향(tendency)으로 인해 가중치 부가에 보다 많은 영향을 고르게 미칠 수 있어서, 일부의 색상 공간에서, 보다 명백한 또는 보다 강한 에지를 반영하는 보다 큰 기울기 크기를 갖는다. 이러한 경우에 있어서, 부가하기 전에 정규화 인자를 색상 성분에 가중시킬 수가 있다. 양호한 정규화 인자는 각 색상 평면에서의 기울기 크기와 유사한 가중치가 되는 스칼라값이다. 예를 들면, 평균 기울기 크기가 이미지 샘플링을 거친 크로미넌스 색상 평면 또는 단일 이미지에 관련된 루미넌스 색상 평면과 비교하여 두 배인 루미넌스(luminance) 및 크로미넌스(chrominance) 색상 평면 사이의 동적 범위에서는, 루미넌스 벡터는 벡터를 부가하기 전에 2로 나눔으로써 정규화될 수 있다.

혼합 기울기 이미지를 생성하기 위한 또 다른 프로세스는 각 화소에 대하여, 가장 큰 크기를 갖는 화소에서의 색상 성분 벡터와 동일한, 또는 가장 큰 크기를 갖는 화소에서의 색상 성분 벡터의 함수인 혼합 기울기를 생성한다. 벡터를 부가하는 대신에 가장 큰 벡터를 취하는 프로세스에서, 가장 큰 크기를 갖는 벡터를 선택하기 위해 비교하기 전에 정규화 인자를 적용할 수 있다.

그러나, 혼합 기울기 벡터가 생성되고, 이것들은 혼합 기울기 이미지를 집합적으로 형성한다. 그 혼합 기울기 이미지로부터, 에지 화소가 판정되며, 에지 체인은 이미지상에서 세그먼테이션 프로세스를 수행하기 위하여 이 에지 화소들로 형성된다.

4. 다중클래스 에지 체인닝

상술한 바와 같이, 일단 이미지의 에지 화소를 식별하면, 이들 에지 화소는 에지 체인을 식별하는데 사용되고, 이들 에지 체인은 세그먼테이션 프로세스에 사용된다. 본 명세서에서 기술된 에지 체인 식별("에지 체인닝") 프로세스에 있어서, 에지 화소는 복수의 클래스로 분류된다. 본 명세서에 상세히 기술된 실시예에 있어서, 도 11을 참조하면, 복수의 클래스는 두 개의 클래스인데, "강한 에지 화소(strong edge pixel)" 또는 "약한 에지 화소(weak edge pixel)"이라고 칭한다. 에지 화소는 이미지에서 근사점이며, 여기서 색상값은 이미지(1110)에서 화소[1102(1)]로부터 화소[1104(1)]로 시프트되는 것과 같이 비교적 많이 시프트된다.

이하, 각 클래스의 에지 화소를 식별하는 두 가지 방법이 기술된다. 이 두 가지 방법은 기울기(gradient) 방법 및 라플라시안법이다. 기울기 방법은 도 12 및 도 13을 참조하여 예시되고, 라플라시안법은 도 14를 참조하여 예시된다.

기울기 방법에 있어서, 기울기 방향에 있어서 색상값의 기울기가 국부적으로 최대인 중간화소는 에지 화소로서 식별된다. 국부적인 최대값은, 함수의 값이 일측면상의 주변의 점에서의 함수값보다 크고, 타측면상의 주변의 점에서의 함수값보다 크거나 같은 점(point)이다.

예를 들면, 도 12는 이미지의 중간점(midpoint) 어레이를 도시한다(이미지의 이미지 화소는 도시하지 않음). 도시된 여러 개의 중간점 중 일부는 "A" 내지 "I"로 라벨링되어 있다. 에지점 A가 에지 화소인지 여부를 판정하고, 그러한 경우 어떤 클래스의 에지 화소인지 판정하기 위한 기울기 프로세스에 있어서, 중간화소 A 내지 중간화소 I의 기울기가 고려된다.

기울기 방법에 있어서, 프로세서는 중간화소 B 내지 중간 화소 I 중에서 중간화소 A의 기울기 방향과 동일한 방향으로 향하는 중간화소 A로부터 발원한 반직선에 최인접하는 제2 중간화소를 선택한다. 두 개의 중간화소가 그 반직선과 등거리(equidistant)에 있는 경우, 타이-브레이킹 규칙이 최인접 중간화소를 선택하는데 사용될 수 있다. 도 12의 실시예에 있어서, 최인접 중간화소는 중간화소 C이다. 중간화소 A 및 최인접 중간화소 C와 동일 선상에 있는 제3 중간화소가 있다. 이 실시예에 있어서, 그 제3 중간 화소는 화소 H이다. 기울기는, 중간화소 A, 중간화소 C 및 중간 화소 H를 포함하는 각 중간화소에서 정의될 수 있다. 도 12에 도시된 화살표는 이들 3개의 중간화소에 대한 기울기의 크기 및 방향을 도시한다.

중간화소 A의 기울기의 크기가 중간화소 C 또는 중간화소 H 중 하나의 기울기의 크기보다 크고, 중간화소 C 또는 중간화소 H 중 다른 하나의 기울기 크기보다 크거나 동일한 경우, 중간화소 A는 강한 에지 화소로서 식별된다.

중간화소 A가 강한 에지 화소로서 식별되지 않는 경우, 중간화소 A는 중간화소 A가 약간 에지 화소에 대한 기준과 일치하는지 여부를 판정하기 위해 테스트된다. 도 13은 중간화소가 약간 에지 화소인지 여부를 판정하기 위한 프로세스를 도시한다. 도 13에 도시한 바와 같이, 중간화소 A는 약한 에지 화소 상태에 대해 고려된다. 상술한 바를 수행하기 위해서는 중간화소 A를 통과하고, 중간화소 A의 기울기 방향에 평행한, 도 13의 선(1302)으로 도시된 선을 고려한다. 인접한 중간화소 B 내지 중간화소 I는 사각형을 정의하며, 선(1302)은 도 13의 점[1304(1), 1304(2)]로 도시된 두 점에서의 그 사각형과 교차한다.

중간화소 A에서의 기울기 및 각 점[1304(1), 1304(2)]은 보간법(interpolation)을 통하여 발견할 수 있다. 중간화소 A의 기울기 크기가 점[1304(1), 1304(2)] 중 하나의 점의 기울기 이상이며 점[1304(1), 1304(2)] 중 다른 하나의 점의 기울기 이상이거나 동일한 경우, 중간화소 A는 약한 에지 화소로 지정된다. 그렇지 않다면, 중간화소 A는 중간화소로 지정되지 않는다.

통상적인 이미지에 있어서 에지 화소에는 강한 에지 화소보다 약한 에지 화소가 많은데, 약한 에지 화소가 일반적으로 색상에 있어서의 점진적인 변화, 이미지에서의 강도 또는 뚜렷한 콘트라스트에 대응하고, 강한 에지 화소는 일반적으로 뚜렷하고 분명한 콘트라스트에만 통상적으로 대응하기 때문이다.

도 14를 참조하면, 이하에 기술되는 라플라시안법은 4개의 이미지 화소(1410, 1420, 1430, 1440)에 의해 정의된 사각형 내에 위치하는 중간화소(1405)의 에지 화소 상태(edge pixel status)를 판정한다. 각 4개의 화소는 그 이미지 화소에서 라플라시안 함수의 부호(sign)를 나타내는 부호 "+" 또는 "-"로 라벨링된다. 이 라플라시안 함수는 2차 벡터 미분이다. 이미지에 있어서, 화소 색상값에 적용되는 라플라시안 함수의 영교차(zero crossing)가 에지 화소이다. 라플라시안 함수의 2차 미분이 0인 경우 라플라시안 함수의 영교차가 발생한다.

중간화소(1405)를 포함한 직사각형이 영교차를 포함하는 경우, 중간화소(1405)가 에지 화소이다. 이산 화소 위치(discrete pixel locations)에 있어서, 영교차의 위치 계산은 가능하지 않거나 계산적으로 어려울 수 있다. 그러나, 이미지 화소에서의 라플라시안의 부호는 직사각형에 있어서 영교차의 존재 가능성을 나타내는 것이다. 결과적으로, 각 4개의 주변 이미지 화소에서의 라플라시안 함수의 부호가 수직 및 수평으로 상이한 경우(즉, 상부의 우측 화소 및 하부의 좌측 화소가 하나의 부호를 갖고 하부의 우측 화소 및 상부의 좌측 화소가 또 다른 하나의 부호를 갖음), 라플라시안법은 중간화소를 강한 에지 화소로서 식별한다. 하나의 화소가 하나의 부호를 갖고 3개의 화소가 다른 부호를 갖거나, 또는 2개의 화소가 수평 및 수직으로 모두 상이하지 않는 부호를 갖는 경우, 중간화소는 약한 에지 화소로 식별된다. 그 부호가 모든 4개의 이미지 및 화소에 대하여 동일한 경우, 중간화소는 에지 화소가 아니라고 식별된다.

에지 화소의 복수의 클래스를 식별하는 두 가지 방법이 기술되었지만, 그 대신에 다른 적절한 방법이 사용될 수 있다. 도 15는 에지 화소의 클래스를 식별한 결과의 일례를 도시한다. 도 15에 도시된 이미지는 두 개의 세그먼트를 포함하는데, 하나는 흑색 화소의 내부 세그먼트이며, 다른 하나는 백색 화소의 외부 세그먼트이다. 도 15는 에지 화소 검출 프로세스의 결과로 식별된 강한 에지 화소 및 식별된 약한 에지 화소를 도시하고 있지만 비에지(nonedge) 중간화소는 도시하지 않는다. 일반적으로, 강한 에지 화소는 이미지에서의 강한 및/또는 명확한 시프트에 대응하는 중간화소인 반면에, 약한 에지 화소는 실제적인 색상 에지에 기인할 수 있거나 색상 브리딩(color bleeding) 또는 노이즈에 의해 발생할 수 있는 이미지에서의 미묘한 변화를 반영한다.

일단, 상이한 클래스를 구분하는 에지 화소를 식별하면, 에지 체인은 식별할 수 있다. 에지 체인은 에지 화소의 순서 세트로서 식별된다. 상이한 클래스의 에지 화소로부터 에지 체인을 식별하는 하나의 방법은 임의의 강한 에지 화소에서 시작하여 그 에지 체인의 하나의 단부로서 그 임의의 강한 에지 화소를 에지 체인에 부가하는 것이다. 그 후, 또 다른 강한 에지 화소에 대한 부가된 에지 화소의 가장 인접한 이웃 중간화소를 찾는다. 가장 인접한 이웃 중간화소가 존재하면, 에지 화소를 에지 체인의 성장 단부(growing end)에 부가함으로써 에지 체인을 이웃 중간화소로 연장한다. 하나 이상의 이웃하는 강한 에지 화소가 존재하는 경우, 에지 화소의 기울기 방향에 수직인 최인접 기울기를 갖는 이웃하는 에지 화소를 선택한다. 추가 테스트를 행하는 경우, 각 인접하는 화소에서의 기울기 크기가 고려될 수 있다. 강한 에지 화소가 최인접 이웃하는 에지 화소 중에 존재하지 않는 경우, 에지를 이웃하는 약한 에지 화소로 연장하며, 강한 에지 화소가 최인접 이웃하는 에지 화소 중에 하나 이상이 존재하는 경우, 복수의 강한 에지 화소 중에서 선택하기 위한 유사한 테스트를 사용하여 최상의 선택을 선택한다. 강한 또는 약한 에지화소가 에지 체인에 계속해서 존재하지 않는 경우, 체인이 중지되며 프로세스는 또 다른 임의의 강한 에지 화소를 탐색한다.

프로세스는 모든 에지 화소가 처리되었거나 고려되었을 때까지 반복되어 그 결과로서 이미지에 대한 에지 체인의 세트를 얻는다. 그 후, 이들 에지 체인은 세그먼테이션 프로세스에 사용되어 이미지를 세그먼팅할 수 있다.

5. 다중스케일 에지 체인 생성

이미지의 복수의 변환 표현에 있어서, 보다 거친 스케일의 이미지는 보다 세밀한 스케일의 이미지에 지침을 제공할 수 있다. 스케일에 대한 에지 화소의 관련성(association of edge pixel)이 있는 경우, 보다 거친 스케일은 지침을 제공할 수 있다. 에지 화소의 관련성은 하나의 스케일에서의 에지 화소가 또 다른 스케일에서의 동일 에지 화소 또는 인접한 에지 화소와 동일 또는 유사한 기울기 크기 및 방향을 갖는 경우에 발생한다. 두 개의 기울기 벡터의 동일성(sameness) 또는 유사성(similarity)은 스케일 사이에 가중치 인자를 고려할 수 있는 테스트이다.

본 발명에 따른 하나의 다중스케일 에지 체인 생성 프로세스는 복수의 스케일의 이미지로부터의 에지 화소를 사용하여 에지 체인을 식별한다. 보다 세밀한 스케일의 이미지는 보다 거친 스케일의 이미지보다 많은 에지를 갖는 경향이 있기 때문에, 보다 세밀한 스케일의 이미지에 있어서 에지 체인을 식별하는 링크 루틴은 종종 에지 체인의 단부에서 에지 체인을 연장할 수 있는 복수의 에지 화소를 만난다. 어떤 에지 화소를 선택할지를 결정하는 몇 가지 방법이 이하에 기술된다. 복수의 스케일의 이미지가 이용 가능한 경우, 선택 프로세스가 더욱 정제될 수 있다.

하나의 해결 방법에 있어서, 프로세스가 이웃하는 에지 화소들 중에서 선택되고 에지 체인이 보다 거친 스케일에 대하여 식별되는 경우, 보다 거친 스케일에서 에지 체인을 따라 연장하는 에지 체인을 얻게 되는 선택 에지 화소를 선호한다. 예를 들면, 도 16은 채워진 원(filled circle)으로 도시된 에지 화소 및 채워지지 않은 원(open 써클)으로 도시된 비에지 화소인 중간화소를 갖는 중간화소 어레이(1600)를 도시한다. 에지 체인이 식별되어 있고, 에지 체인의 단부가 에지 화소(1605)에 있다고 가정한다. 링크 프로세스는 에지 체인을 에지 화소(1610) 또는 에지 화소(1615)로 연장하는 결정에 직면한다. 또한, 중간화소 어레이(1600)가 이전 어레이보다 세밀한 스케일에서의 에지 화소 식별의 결과이고, 이전의 보다 세밀한 어레이에서 에지 화소(1605) 및 에지화소(1610)와 연관되고 에지 화소(1615)와 연관되지 않는 에지화소를 포함하는 에지 화소가 식별된다고 가정한다. 이 경우에 있어서, 링크 프로세스는 에지 화소(1610)를 지지한다.

어떤 실시예에 있어서, 보다 거친 스케일에서의 에지 체인이 확정되면 에지 화소(1610)가 추가적인 질의(inquiry)없이 에지 체인에 부가된다. 다른 실시예에 있어서, 보다 거친 스케일의 대응(correspondence)에 따라 다른 인자가 고려된다. 또 다른 실시예에 있어서, 중간화소가 에지 화소가 아닌 경우라도, 즉 도 17a 및 도 17b에 도시한 바와 같이, 보다 거친 스케일에서의 에지 체인이 이 에지 체인은 갭 상으로 연속되어야 하는 것을 나타내는 경우에도 중간화소가 선택될 수 있다. 여기에 도시한 바와 같이, 중간화소(1705)는 보다 세밀한 스케일에서의 에지 화소가 아니기 때문에, 에지 체인(1710, 1712)은 중간화소(1705)에 도달하지 않는다. 그러나, 보다 거친 스케일에서, 대응하는 중간화소는 에지 화소이고 에지 체인에 포함되어 있다. 결과적으로, 중간화소(1705)는 보다 세밀한 스케일에서 에지 체인에 부가되어, 에지 체인(1710) 및 에지 체인(1715)을 연속적으로 연결하게 된다. 또한, 보다 세밀한 상이한 스케일의 에지 체인으로부터의 에지 화소는 보다 거친 스케일에서의 동일 에지와 관련될 수 있다. 이러한 경우에 있어서, 두 개의 보다 세밀한 스케일의 에지 체인은 보다 거친 에지 체인의 형상이 가능한 많이 중복되는 방법으로 연결된다.

또한, 도 18a 내지 도 18c에 도시한 바와 같이, 보다 거친 스케일에서의 에지 체인이 보다 세밀한 스케일에서의 관련된 체인보다 긴 경우, 링크 프로세스는 보다 세밀한 스케일의 에지 체인을 적절하게 길이를 연장한다. 이것은 "에지 체인 길이 연장(edge chain lengthening)"이라고 칭한다. 이 도시된 실시예에 있어서, 두 개의 체인은 동일한 순서의 동일한 에지 화소를 갖는데, 보다 세밀한 스케일에서(도 18b) 체인이 중간화소(2302)에서 중지되고, 보다 거친 스케일의 이미지 화소는 중간화소(2202)로부터 중간화소(2201)로 하나의 중간 화소가 더 계속된다(도 18a 참조)는 점에서 차이가 있다. 그 후, 프로세스는 도 18c에 도시한 바와 같이 보다 세밀한 에지 체인을 중간화소(2301)로 연결되도록 계속된다.

도 19a 및 도 19b에 도시한 바와 같이, 일단 에지 체인이 완전히 생성되면, 링크 루틴은 중간화소를 에지의 각 단부에 좀 더 부가할 수 있다. 이것은 종종 에지 체인 사이에 작은 갭을 폐쇄하는 효과가 있고, 종종 소정 영역을 완전히 둘러싸는 효과가 있다. 하나 이상의 화소를 도 19a에 도시된 각 에지 체인에 부가함으로써, 둘러싸이지 않은 영역은 도 19b에 도시한 바와 같이 완전히 경계지어진다.

에지 체인 링크에서의 다중스케일 관련성을 사용하기 위한 기본 프로세스의 변형에 있어서, 에지 화소의 복수의 클래스가 사용될 수 있다. 일 실시예에 있어서, 에지 체인은 이웃하는 에지 화소의 클래스 및 보다 거친 스케일로부터의 소정의 관련성에 기초하여 하나의 에지 화소의 단부로부터 또 다른 중간화소로 연장된다. 예를 들면, 우선 링크 프로세스가 강한 에지 화소만을 고려하여 보다 거친 스케일에 있어서의 대응하는 에지 체인 연장(extension)을 찾을 수 있으며, 그 후 강한 에지 화소 또는 관련성이 발견되지 않는 경우에는 약한 에지 화소를 고려한다. 또 다른 변형에 있어서, 에지 화소가 보다 세밀한 스케일에서 발견되지 않는 경우, 우선 링크 프로세스는 강한 에지 화소를 고려하고, 그 후 약한 에지 화소를 고려하며, 그 후 강한 또는 약한 에지 화소를 사용하는 보다 거친 스케일에서의 대응하는 에지 체인 연장을 찾는다.

6. 에지 체인 필터링

도 20a는 에지 체인을 식별하는 프로세스로부터 도출되는 에지 체인 이미지를 도시한다. 이 에지 체인 이미지에 있어서, 세그먼트 에지에 대응하지 않는 많은 짧은 에지 체인이 있다.

에지 체인이 주로 디지털화 오차(digitization error) 또는 이미지의 암영에서의 미세한 변화의 결과로서 생성되는 경우 이러한 가짜(spurious) 에지가 발생할 수 있다.

도 20b 내지 도 20e는 각 스케일에서 임계치 루틴을 각 이미지에 적용한 후의 결과를 도시한다. 임계치 루틴은 정적 슬라이딩 스케일(static sliding scale) 또는 동적 슬라이딩 스케일(dynamic sliding scale)을 사용하여 도 20b 내지 도 20e의 이미지를 생성할 수 있다. 정적인 방법에 있어서, 에지 체인이 기준선 길이 요구(baseline length requirement) 및 최소 강도 요구 양쪽 모두를 만족시키지 못하는 경우 에지 체인이 제거된다.

동적 슬라이딩 스케일 테스트는 보다 포괄적(inclusive)이다. 길이와 강도 임계치는 관련이 있다. 따라서, 체인이 더 길어지면 에지 체인의 보유를 위해 만족되어야 하는 강도 임계치는 더 낮아진다. 마찬가지로, 에지 체인이 더욱 밝아지면 밝아질 수록 길이의 임계치가 더욱 낮아진다.

일 실시예에 있어서, 에지 체인이 임계치에도 불구하고 스케일에 대하여 유지된다. 특히, 더욱 거친 스케일과 별도로 생각하면, 에지 체인이 더 세밀한 스케일에서 살아남지 못하더라도, 에지 체인들은 스케일에 대하여 연관되어, 더욱 거친 스케일에서 살아남는 에지 체인은 더 세밀한 스케일에서 유지된다. 또 다른 실시예에 있어서, 종래의 비디오 프레임으로부터의 체인은 에지 체인이 폐기되는 것을 방지할 수 있다.

도 21a 내지 도 21c는 입력 이미지의 출처가 비디오 시퀀스인 경우를 도시한다. 각 스케일에서의 에지 체인 정보는 프레임들에 대하여 유지된다는 것을 주목하자. 도 21a는 비디오의 이전 프레임을 도시하고, 도 21b는 비디오의 현 프레임을 도시하며, 도 21c는 이전 프레임에 기초하여 임계화(thresholding)한 후의 현 프레임을 도시한다.

이전 프레임은 임계화한 후 도시되며, 에지 체인(40011)이 유지된다. 현 프레임의 에지 체인은 에지 체인(40020, 40021, 40022)을 포함한다. 에지 체인(40011, 40021)이 동일한 위치 및 유사한 기울기를 갖는 화소를 공유하기 때문에, 에지 체인(40011, 40021)이 프레임들에 대하여 연관된다. 현 프레임에 있어서, 에지 체인(40020)은 상기한 임계화 테스트를 거치므로, 에지 체인(40020)이 유지된다. 그러나, 에지 체인(40021) 및 에지 체인(40022) 모두는 임계화 테스트를 거치지 않으므로, 이들 두 에지 체인은 제거 후보가 된다. 프레임들에 대하여 일관된 세그먼테이션을 보장하기 위해서, 에지 체인(40021)은 이전 프레임에서 유지되는 에지 체인(40011)과 연관되기 때문에 에지 체인(40021)이 유지된다. 반대로, 에지 체인(40022)은 임계화 테스트를 실패하고 이전 프레임에 유지된 에지 체인과 연관되지 않기 때문에, 에지 체인(40022)은 유지되지 않는다.

7. 조합

세그먼테이션을 개선하기 위한 6가지 방법 및 그에 대응하는 장치가 앞서 기술되었다. 하나 이상의 이들 방법 및 장치는 세그먼테이션 프로세스에 있어서 보다 나은 개선을 위해 조합될 수 있다. 예를 들면, 프로그레시브 채우기는 복수의 스케일로 사용될 수 있는데, 여기서 채우기 프로세스가 보다 거친 스케일에서 실행되고, 그 후 보다 거친 스케일에서의 세그먼트가 보다 세밀한 스케일에서의 세그먼테이션을 유도하는데 사용된다.

또 다른 조합으로는 혼합 에지 검출과 에지 검출의 복수의 클래스의 조합이다. 이 조합으로, 에지 검출 프로세스는 각 색상 평면상에서 별도로 동작하여 강한 및 약한 에지 화소를 식별하고, 그 후 상이한 색상 평면으로부터의 에지 화소를 결합함으로써 필터링한다.

또 다른 변형에 있어서, 강한 에지 화소 및 약한 에지 화소를 식별한 후, 에지 체인을 식별하기 전에 이후 단계에서 색상 정보가 사용된다. 에지 화소 식별 루틴은 각 스케일에서 두 개의 혼합 에지 화소를 생성한다. 제1 이미지는 모든 색상 평면으로부터의 모든 강한 에지 화소이며, 제2 이미지는 소정 색상 평면으로부터의 모든 약한 에지 화소이다. 때때로, 동일 에지 화소가 복수의 색상 성분에서 지정된다. 이 상황에서, 일단 혼합 이미지는 에지 화소를 포함할 뿐이다. 복수의 색상 성분에서의 에지 화소는 두 개의 조건, 즉 1) 에지 화소가 상이한 색상 성분에서 동일한 위치를 공유하거나, 2) 에지 화소가 상이한 색상 성분에서 동일한 어레이 위치를 공유하여 유사한 기울기를 갖는 조건을 만족하면, 동일하다고 지정된다.

또한, 또 다른 조합으로는 에지 체인을 각 성분에서 발견하고 그 후 그 에지 체인을 조합하는 방법이 있다. 특히, 각 색상 성분에서 발견된 국부적인 엑스트리마(extrema)는 초기에 이미지의 다른 색상 성분에서 발견된 엑스트리마로부터의 분리되어 유지된다. 링크 프로세스는 각 색상 성분의 에지 화소를 개별적으로 링크하고, 그 에지 체인을 하나의 혼합 이미지로 조합함으로써 에지 체인을 생성한다. 하나의 색상 성분의 기울기에 의해 판정되는 에지 체인의 일부가 다른 색상 성분의 기울기에 의해 판정되는 에지 체인의 일부와 유사한 것이 가능하기 때문에, 링크 프로세스는 유사한 체인을 하나의 체인으로 합쳐서 보다 적은 갭을 갖는 보다 긴 체인을 형성할 수 있다. 에지 체인이 다음 기준 중 하나 이상을 만족하는 경우 동일한 스케일에서 에지 체인은 유사한데, 그 기준은 1) 모든 측면에서 동일하고, 2) 서로 그들의 화소의 대부분(majority)을 공유하며, 3) (작은 변동 내에서) 형상은 동일하지만 매우 적은 화소의 편차(offset)가 있고, 4) 또 다른 스케일에서 보다 거친 동일한 스케일의 에지 체인과 양쪽 모두 연관되는 경우이다.

또 다른 조합에 있어서, 모든 상기 프로세스가 개선된 세그먼테이션 프로세스를 형성하기 위해 조합된다.

상기한 상세한 설명은 예시적인 것이지 제한적인 것은 아니다. 상세한 설명을 살펴본 후 당업자에 의해 본 발명의 많은 변형예는 명백해질 것이다. 따라서, 본 발명의 범주는 상기한 설명을 참조하는 것이 아니라 첨부된 특허청구범위 및 첨부된 특허청구범위의 균등물의 전 범주를 참조하여 결정되어야 한다.

Claims

디지털 이미지의 에지 검출 방법으로서, 상기 디지털 이미지는 화소 위치와 화소 색상값을 각각 갖는 여러 개의 화소로 된 어레이를 포함하고, 에지는 상기 디지털 이미지의 하나의 세그먼트를 나타내는 화소들과 상기 디지털 이미지 내의 다른 세그먼트를 나타내는 화소간의 어레이에서의 전이(transition)를 나타내며,

상기 방법은,

하나 이상의 필터링된 이미지-각 필터링된 이미지는 상기 복수 개의 필터링된 각 이미지에 대하여 서로 상이한 필터를 사용하여 상기 디지털 이미지를 필터링한 결과이고, 상기 상이한 필터는 상기 디지털 이미지와 상이한 세그먼트의 해상도를 제공함-를 생성하는 단계;

제1 해상도의 이미지 내의 상기 화소 어레이 중에서 색상 시프트를 식별함으로써 상기 디지털 이미지 내의 에지(edge)들을 식별하는 단계;

상기 식별된 에지들의 일부로부터 제1 해상도의 상기 이미지에 폐쇄된(closed) 세그먼트 경계를 생성하는 단계-상기 식별된 에지들의 일부 및 폐쇄된 세그먼트 경계는 제2 해상도의 필터링된 이미지로 전파(propagate)됨-;

상기 화소들 사이에서 색상 시프트를 식별함으로써 제2 해상도의 상기 필터링된 이미지에서 또 다른 에지들을 식별하는 단계; 및

상기 또 다른 식별된 에지들의 일부로부터 제2 해상도의 상기 이미지에 또 다른 폐쇄된 세그먼트 경계를 생성하는 단계-제2 해상도의 상기 이미지에서의 상기 또 다른 폐쇄된 세그먼트 경계의 일부는 제1 해상도의 상기 이미지에서의 폐쇄된 세그먼트 경계의 서브세트임-를 포함하는 것을 특징으로 하는 디지털 이미지의 에지 검출 방법.
제1항에 있어서, 상기 하나 이상의 필터링된 이미지는 식별 필터(identity filter)를 사용하여 생성되는 하나의 필터링된 이미지를 포함하는 복수 개의 필터링된 이미지여서, 상기 복수 개의 필터링된 이미지 중 하나로서 상기 디지털 이미지를 포함하는 것을 특징으로 하는 디지털 이미지의 에지 검출 방법.
제1항에 있어서, 상기 서로 상이한 필터들은 상이한 스케일 해상도의 필터인 것을 특징으로 하는 디지털 이미지의 에지 검출 방법.
제1항에 있어서, 상기 서로 상이한 필터들은 상이한 윈도우 크기를 갖는 평활화 필터(smoothing filters)인 것을 특징으로 하는 디지털 이미지의 에지 검출 방법.
제1항에 있어서, 상기 상이한 필터는 상이한 화소 해상도를 10분의 1씩 낮춤으로써, 상기 하나 이상의 필터링된 이미지에 대하여 화소 어레이 크기를 변화시키는 것을 특징으로 하는 디지털 이미지의 에지 검출 방법.
제1항에 있어서, 상기 필터는 다양한 다항 차수의 기울기(gradient)의 그래디언트 필터(gradient filter)인 것을 특징으로 하는 디지털 이미지의 에지 검출 방법.
제1항에 있어서, 상기 상이한 필터들은 라플라시안 필터(Laplacian filters)인 것을 특징으로 하는 디지털 이미지의 에지 검출 방법.
제1항에 있어서, 상기 디지털 이미지는 단일의 색상면으로 표현되고, 각 화소 색상 값은 상기 단일의 색상면 내의 암영(shade)을 나타내는 스칼라 값으로 표현되는 것을 특징으로 하는 디지털 이미지의 에지 검출 방법.
제8항에 있어서, 한 화소에 대한 각 화소 색상 값은 다중 성분 벡터이고, 상기 화소에 대한 스칼라 값은 상기 화소 색상 값 벡터 성분들의 함수인 것을 특징으로 하는 디지털 이미지의 에지 검출 방법.
제9항에 있어서, 상기 화소 색상 값 벡터의 성분의 함수는 휘도(luminance) 함수인 것을 특징으로 하는 디지털 이미지의 에지 검출 방법.
제9항에 있어서, 상기 화소 색상 값 벡터 성분의 함수는 합(sum)인 것을 특징으로 하는 디지털 이미지의 에지 검출 방법.
제9항에 있어서, 상기 화소 색상 값 벡터 성분의 함수는 가중 처리된 합인 것을 특징으로 하는 디지털 이미지의 에지 검출 방법.
디지털 이미지의 에지 검출 방법으로서, 상기 디지털 이미지는 화소 위치와 화소 색상 값을 각각 갖는 여러 개의 화소로 된 어레이를 포함하고, 에지는 상기 디지털 이미지의 하나의 세그먼트를 나타내는 화소과 상기 디지털 이미지 내의 다른 세그먼트를 나타내는 화소 사이에서의 전이를 나타내며,

상기 방법은,

상기 디지털 이미지의 에지 점(edge point)-에지 점은 화소 위치인 점 위치들 사이의 화소 어레이 내의 한 점임-을 식별하는 단계;

높은 확실성(more certain)의 에지 점 클래스과 낮은 확실성(less certain)의 에지 점 클래스를 포함하는 복수 개의 에지 점 클래스-상기 높은 확실성 클래스의 에지 점은 상기 낮은 확실성 클래스의 에지 점보다 상기 디지털 이미지의 세그먼트의 에지를 보다 잘 나타냄-을 식별하는 단계;

에지 점의 체인(chain)을 형성하기 위해 상기 높은 확실성 클래스의 인접 에지 점들을 연결함으로써 에지들을 식별하는 단계;

에지 점 체인들 사이에 간격(gap)이 존재하는 경우에, 상기 에지 점 체인들에서의 간격을 연결하기 위해 상기 낮은 확실성 클래스 내의 에지 점들을 식별하는 단계; 및

상기 디지털 이미지 내의 에지의 표현 방식으로서 에지 점 체인을 이용하는 단계를 포함하는 것을 특징으로 하는 디지털 이미지의 에지 검출 방법.
제13항에 있어서, 상기 화소 어레이는 직사각형 어레이이고, 상기 방법은 상기 화소 어레이 내에서 상호 인접하는 4 개의 화소에 의해 정해진 직사각형의 중심에 각 에지 점을 배치하는 단계를 더 포함하는 것을 특징으로 하는 디지털 이미지의 에지 검출 방법.
제13항에 있어서, 상기 복수 개의 클래스는 2 이상의 클래스를 포함하고, 각 클래스는 그 클래스 내에서 상기 에지 점과 연관되는(associated) 상대적 확실성을 가지며, 각 클래스의 상대적 확실성들은 다른 클래스의 상대적 확실성들과 구별되고 서열화 가능하며(orderable), 상기 방법은 더 낮은 확실성 클래스의 에지 점을 이용하기 전에, 그리고 더 높은 확실성 클래스의 에지 점을 이용한 후에, 에지 체인을 연결하는데 이용하기 위해 하나의 클래스 내의 에지 점들을 식별하는 단계를 더 포함하는 것을 특징으로 하는 디지털 이미지의 에지 검출 방법.
디지털 이미지의 에지 검출 방법으로서, 상기 디지털 이미지는 화소 위치와 화소 색상 값을 각각 갖는 화소들의 어레이를 포함하고, 화소 색상 값은 색상 공간에서의 벡터로서 나타낼 수 있으며, 에지는 상기 디지털 이미지의 하나의 세그먼트를 나타내는 화소와 상기 디지털 이미지 내의 다른 세그먼트를 나타내는 화소사이에서 상기 어레이 내에서의 전이를 나타내고, 상기 방법은,

상기 디지털 이미지를 복수 개의 색상면(color plane) 이미지들로 분리하는 단계;

각 색상면에 대한 엑스트리마(extrema) 이미지를 형성하기 위해 각각의 상기 색상면 이미지-엑스트리마 이미지는 상기 화소 어레이에 대응하는 값 어레이이고, 여기에서, 상기 값 어레이 내의 한 값은 상기 화소 어레이 내의 대응하는 위치에서의 엑스트리마 값을 나타냄-를 필터링하는 단계; 및

혼합(composite) 엑스트리마 이미지를 형성하기 위해 복수 개의 엑스트리마 이미지를 조합하는 단계; 및

상기 디지털 이미지 내의 에지를 검출하기 위해 상기 혼합 엑스트리마 이미지를 이용하는 단계를 포함하고,

상기 조합 단계는 각 색상면에 대한 엑스트리마 이미지의 값 어레이로부터 주어진 화소에 대한 대응하는 값의 변형된 벡터 부가(addition)를 수행하는 단계를 포함하고,

상기 변형된 벡터 부가 단계는 임계화 테스트가 충족되는 경우에 부가 이전에 값의 부호를 반대로 하는 단계를 포함하는 것을 특징으로 하는 디지털 이미지의 에지 검출 방법.
제16항에 있어서, 상기 복수 개의 색상면은 2 이상의 색상면인 것을 특징으로 하는 디지털 이미지의 에지 검출 방법.
제16항에 있어서, 상기 복수 개의 색상면은 3 개의 색상면인 것을 특징으로 하는 디지털 이미지의 에지 검출 방법.
제16항에 있어서, 상기 복수 개의 색상면은 1 개의 휘도(luminance) 색상면과 2 개의 색도(chrominance) 색상면으로 이루어지는 것을 특징으로 하는 디지털 이미지의 에지 검출 방법.
제16항에 있어서, 상기 복수 개의 색상면은 1 개의 적색면, 1 개의 청색면 및 1 개의 녹색면으로 이루어지는 것을 특징으로 하는 디지털 이미지의 에지 검출 방법.
제16항에 있어서, 상기 복수 개의 색상면은 1 개의 시안(cyan)색면, 1 개의 황색(yellow)면, 1 개의 마젠타(magenta)색면 및 1 개의 흑색(black)면으로 이루어지는 것을 특징으로 하는 디지털 이미지의 에지 검출 방법.
디지털 이미지의 에지 검출 방법으로서, 상기 디지털 이미지는 화소 위치와 화소 색상 값을 각각 갖는 화소들의 어레이를 포함하고, 화소 색상 값은 색상 공간에서의 벡터로서 나타낼 수 있으며, 에지는 상기 디지털 이미지의 하나의 세그먼트를 나타내는 화소과 상기 디지털 이미지 내의 다른 세그먼트를 나타내는 화소사이에서 상기 어레이 내에서의 전이를 나타내고,

상기 방법은,

상기 디지털 이미지를 복수 개의 색상면 이미지-색상면은 화소 값들이 화소 색상 값 벡터의 하나의 성분에 대응하는 화소 어레이임-로 분리하는 단계;

하나 이상의 필터링된 이미지-각 필터링된 이미지는 상기 복수 개의 필터링된 각 이미지에 대하여 서로 상이한 필터를 사용하여 상기 디지털 이미지를 필터링한 결과이고, 여기서 서로 상이한 필터는 상기 디지털 이미지와 상이한 세그먼트의 해상도를 제공함-를 생성하는 단계;

제1 해상도의 색상면 이미지 내의 상기 화소 어레이 중에서 색상 시프트를 식별함으로써 상기 디지털 이미지 내의 에지(edge)들을 식별하는 단계;

상기 식별된 에지들의 일부로부터 제1 해상도의 상기 색상면 이미지에 폐쇄된(closed) 세그먼트 경계를 생성하는 단계-상기 식별된 에지들의 일부 및 폐쇄된 세그먼트 경계는 제2 해상도의 필터링된 색상면 이미지로 전파(propagate)됨-;

상기 화소들 사이에서 색상 시프트를 식별함으로써 제2 해상도의 상기 필터링된 색상면 이미지에서 또 다른 에지들을 식별하는 단계; 및

상기 또 다른 식별된 에지들의 일부로부터 제2 해상도의 상기 색상면 이미지에 또 다른 폐쇄된 세그먼트 경계를 생성하는 단계-제2 해상도의 상기 색상면 이미지에서의 상기 또 다른 폐쇄된 세그먼트 경계의 일부는 제1 해상도의 상기 색상면 이미지에서의 폐쇄된 세그먼트 경계의 서브세트임-를 포함하는 것을 특징으로 하는 디지털 이미지의 에지 검출 방법.
디지털 이미지의 에지 검출 방법으로서, 상기 디지털 이미지는 화소 위치와 화소 색상 값을 각각 갖는 화소들의 어레이를 포함하고, 화소 색상 값은 색상 공간에서의 벡터로서 나타낼 수 있으며, 에지는 상기 디지털 이미지의 하나의 세그먼트를 나타내는 화소과 상기 디지털 이미지 내의 다른 세그먼트를 나타내는 화소사이에서 상기 어레이 내에서의 전이를 나타내고,

상기 방법은,

상기 디지털 이미지의 에지 점-에지 점은 화소 위치인 점 위치들 사이의 화소 어레이 내의 한 점임-을 식별하는 단계;

높은 확실성의 에지 점 클래스과 낮은 확실성의 에지 점 클래스를 포함하는 복수 개의 에지 점 클래스-상기 높은 확실성 클래스의 에지 점은 상기 낮은 확실성 클래스의 에지 점보다 상기 디지털 이미지의 세그먼트의 에지를 보다 잘 나타내고, 에지 점 클래스는 상기 에지 점 근처의 화소에 대한 화소 색상 값 벡터의 성분 값의 함수임-을 식별하는 단계;

에지 점의 체인을 형성하기 위해 상기 높은 확실성 클래스의 인접 에지 점들을 연결함으로써 에지들을 식별하는 단계;

에지 점 체인들 사이에 간격이 존재하는 경우에, 상기 에지 점 체인들에서의 간격을 연결하기 위해 상기 낮은 확실성 클래스 내의 에지 점들을 식별하는 단계; 및

상기 디지털 이미지 내의 에지의 표현 방식으로서 에지 점 체인을 이용하는 단계를 포함하는 것을 특징으로 하는 디지털 이미지의 에지 검출 방법.
디지털 이미지를 상기 디지털 이미지 내의 객체의 에지에 의해 정의되는 복수 개의 세그먼트로 세그먼팅하는 방법으로서, 상기 디지털 이미지는 화소 위치와 화소 색상 값을 각각 갖는 화소들의 어레이를 포함하고, 에지는 상기 디지털 이미지 중 하나의 세그먼트를 나타내는 화소과 상기 디지털 이미지 중 다른 세그먼트를 나타내는 화소 사이에서, 상기 어레이 내의 전이를 나타내며,

상기 방법은,

에지 체인들의 세트-에지 체인은 2 개의 세그먼트간의 경계를 나타내고, 하나 이상의 에지 체인은 하나의 세그먼트를 에워싸고 정의하는 폐루프의 부분이 아님-를 식별하는 단계;

에지 체인들에서의 간격에 대해 최대 허용 가능 임계치를 설정하는 단계;

제1 브러시가 에지 체인들과 전혀 겹치지 않도록 상기 제1 브러시를 상기 어레이 내의 제1 위치에 위치 지정-브러시는 상기 어레어에 걸쳐서 이동 가능한 화소 윈도우이고, 상기 제1 브러시는 에지 체인과 겹치지 않은 상태에서 최대 허용 가능 임계치보다 넓지 않은 에지 체인들의 간격을 통과할 수 없도록 하는 소정 크기의 화소 윈도우임-하는 단계;

화소들을 하나의 세그먼트에 연계(associating) 처리-상기 세그먼트에 연계 처리된 각 화소는 상기 제1 브러시가 그 제1 브러시의 폭보다 좁은 간격을 통과하지 않는 상태에서 상기 제1 위치의 상기 제1 브러시에 의해 도달 가능한 화소임-하는 단계;

상기 어레이 내의 제2 위치 및 후속의 위치에 위치 지정된 상기 제1 브러시를 이용하여 다른 화소를 다른 세그먼트에 연계 처리하는 단계; 및

상기 위치 지정 단계와 상기 연계 처리 단계에서 미리 연계 처리되지 않은 화소를 연계 처리하기 위해 상기 제1 브러시보다 작은 제2 브러시를 이용하여 상기 위치 지정 단계와 상기 연계 처리 단계를 반복 처리하는 단계를 포함하는 것을 특징으로 하는 디지털 이미지의 세그먼팅 방법.
제24항에 있어서, 상기 제1 브러시는 상기 최대 허용 가능 임계치보다 화소 하나 이상의 복수 개의 화소를 정사각형의 각 변을 갖는 정사각형의 화소 윈도우인 것을 특징으로 하는 디지털 이미지의 세그먼팅 방법.
제24항에 있어서, 상기 반복 처리 단계는 단일 화소(single pixel)의 영역을 갖는 브러시가 사용될 때까지 연속해서 보다 작은 브러시에 의해 수행되는 것을 특징으로 하는 디지털 이미지의 세그먼팅 방법.
제26항에 있어서, 각 브러시마다 반복 처리의 프로세스가 수행된 후에도 할당되지 않은 화소가 남아 있는 경우에 할당되지 않은 화소를 세그먼트에 할당하는 단계를 더 포함하는 것을 특징으로 하는 디지털 이미지의 세그먼팅 방법.