KR20170057362A

KR20170057362A - 훈련 품질 척도를 이용한 비감독 이미지 세그먼트 분할을 위한 방법 및 시스템

Info

Publication number: KR20170057362A
Application number: KR1020177010319A
Authority: KR
Inventors: 유리 프로시오; 에드워드 라트너
Original assignee: 리리컬 랩스 비디오 컴프레션 테크놀로지, 엘엘씨
Priority date: 2014-10-01
Filing date: 2015-09-30
Publication date: 2017-05-24
Also published as: CA2963132A1; US9501837B2; JP2017531867A; EP3201873A1; WO2016054285A1; AU2018267620A1; US20170069101A1; US20160098842A1; AU2015324988A1

Abstract

이미지의 비지도 세그먼트 분할(unsupervised segmentation)을 위한 방법 및 장치가 제공된다. 몇몇 예시적인 실시형태에서, 상기 방법은 이미지를 따라 통상적인 그래픽-기반의 세그먼트 분할 알고리즘의 세그먼트 분할 파라미터를 조정하여, 인간 관찰자를 위하여 지각적으로 합리적인(perceptually reasonable) 세그먼트 분할 맵을 생성한다. 몇몇 실시형태에서, 상기 방법은 이미지의 과잉-세그먼트 분할(over-segmentation) 및 과소-세그먼트 분할(under-segmentation)을 감소시킨다.

Description

훈련 품질 척도를 이용한 비감독 이미지 세그먼트 분할을 위한 방법 및 시스템{METHOD AND SYSTEM FOR UNSUPERVISED IMAGE SEGMENTATION USING A TRAINED QUALITY METRIC}

본 출원은, 모든 목적을 위하여 각각의 전체 내용이 참조를 위하여 본 명세서에 편입되어 있는, 2014년 10월 1일자로 출원된 미국 임시출원 제62/058,647호, 2015년 3월 12일자로 출원된 미국 임시출원 제62/132,167호 및 2015년 4월 24일자로 출원된 미국 비-임시출원 제14/696,255호의 우선권을 주장한다.

본 발명은 이미지 데이터의 프로세싱에 관한 것으로, 더욱 상세하게는 3차원 또는 고차원 데이터는 물론이고 이미지의 세그먼트 분할에 관한 것이다.

세그먼트 분할(segmentation)은 예를 들어 의료용 이미지 처리(imaging) 기술부터 기계 영상기(machine vision) 및 영상 압축(video compression) 기술에 이르기까지 많은 응용 분야에서 주요 프로세싱 단계이다. 세그먼트 분할에 대한 다른 접근법이 제안되고 있지만, 그래프 기반 접근법은 연산 효율성(computational efficiency)으로 인하여 많은 관심을 끌고 있다.

현재 많은 세그먼트 분할 알고리즘이 당업계의 실무자들에게 알려져 있다. 몇몇 예는 워터쉐드 알고리즘(watershed algorithm) 및 가장 근접한 인접 집합(nearest neighbor aggregation)에 근거한 슈퍼픽셀 알고리즘(superpixel algorithm)인 SLIC를 포함한다. 일반적으로 이들 알고리즘은 인간 감독자(human supervisor)에 의해 설정되는 스케일 파라미터(scale parameter)를 필요로 한다는 점에서 공통적인 단점을 가지고 있다. 따라서 일반적으로 실질적인 응용 제품들은 관련된 감독 세그먼트 분할(supervised segmentation)를 갖는다. 많은 경우에 세그먼트 분할은 동적으로 생성되어야 하고, 인간이 관찰할 수 있는 시간이나 기회가 없기 때문에, 이는 응용 제품의 범위를 제한할 수 있다.

구체적으로, P.F. Felzenszwalb 및 D.P. Huttenlocher의 작업에 근거하여 그래프-기반 세그먼트 분할이 사용된다. 그 전체 내용이 참조를 위하여 본 명세서에 통합되어 있는 그들의 논문("Efficient Graph-Based Image Segmentation", Int. Jour. Comp. Vis., 59(2), Spet. 2004)에서 그들은 일반적인 세그먼트 분할의 기본 원리를 논의하였으며, 이들 원리를 적용하여 그래프 절단(graph cutting)에 근거하여 효율적인 세그먼트 분할 알고리즘을 개발하였다. Felzenszwalb와 Huttenlocher는 임의의 세그먼트 분할 알고리즘은 "흔히 이미지의 전체 측면(global aspects)을 반영하는, 지각적으로 중요한 그룹화(grouping) 또는 영역을 포착(capture)"하여야 한다고 언급하였다.

세그먼트 분할에 대한 그래프-기반 접근법의 원리에 근거하여, Felzenszwalb와 Huttenlocher는 비방향성 그래프(undirected graph) G = (V,E)를 우선 구축하였다(v _i ∈ V는 세그먼트 분할되어야 하는 이미지의 픽셀 설정이고, (vi, vj) ∈ E는 인접 픽셀의 쌍을 연결하는 에지(edges)이며, 비-음성 가중치(non-negative weight) w(v _i , v _j )는 v _i 및 v _j 사이의 차이에 비례하는 크기(magnitude)로 각각의 에지에 연계됨). V의 파티션을 찾아 이미지 세그먼트 분할이 식별되어, 각각의 컴포넌트가 연결되고, 컴포넌트 각각의 요소(elements) 사이의 내부 차이는 최소화되는 반면, 다른 컴포넌트의 요소 사이의 내부 차이는 최대화된다. 이는, 2개의 인접한 컴포넌트인 C₁, C₂ 사이에 경계가 존재하는 경우에 결정되는 다음과 같은 방정식 (1)의 술어(predicate)의 정의에 의해 달성된다.

(Dif(C ₁ ,C ₂ )는 C₁과 C₂를 연결하는 에지 세트(set of edges)의 최소 가중치로 정의되는, 2개의 컴포넌트 사이의 차이; MInt(C ₁ ,C ₂ )는 방정식 (2)에서 정의되는 최소 내부 차이임)

(Int(C)는 컴포넌트 C의 최소 스패닝 트리(minimum spanning tree)에서 최대 가중치이므로, C의 요소 사이에서 내부 거리를 설명함; τ(C) = k/|C|는 2개의 컴포넌트 사이의 경계와 관련한 징후(evidence)가 있는지의 여부를 확립하는데 사용되는 한계값 함수(threshold function)이다). 이들 컴포넌트 사이에 차이의 강한 징후가 있다면, 상기 한계값 함수는 2개의 작은 세그먼트가 이들 컴포넌트에서 융합(fuse)되지 않게 한다.

실제로, 세그먼트 파라미터 k는 관찰의 스케일을 설정한다. Felzenszwalb와 Huttenlocher는 너무 정밀한 것도 아니고 너무 정밀하지 않은 것도 아닌 세그먼트 분할 맵을 생성하는 알고리즘을 입증하였으나, 정밀함(fineness) 및 조도(coarseness)의 정의는 지각적으로 분별 있는(perceptually reasonable) 세그먼트 분할을 얻기 위하여 사용자에 의해 신중하게 설정되어야 하는 k값에 최종적으로 의존한다.

예를 들어, 모든 목적을 위하여 그 전체 내용이 본 명세서에 참조로 편입되어 있는 "Fast and Accurate Edge-Based Segmentation with No Contour Smoothing in 2-D Real Images" (Giancarlo Iannizzotto and Lorenzo Vita, IEEE Transactions on Image Processing, Vol. 9, No. 7, pp.1232-1237, (July 2000))에서 Iannizzotto와 Vita에 의해 기술된 알고리즘과 같은 다른 에지-기반(edge-based) 세그먼트 분할 알고리즘에서 에지 추출을 위해 사용되는 한계값의 선택과, 그래프-기반 알고리즘을 위한 적절한 k 값의 정의는, "지각적으로 중요한 그룹화 또는 영역"이 해당 이미지로부터 추출되어야 할 때 오늘날까지도 진행되고 있는 이슈로 남아 있다. Iannizztto와 Vita에 의해 기술된 알고리즘에서, 한계값을 초과하는 그래디언트 크기(gradient magnitude)를 사용하여 그레이-스케일 최대 그래디언트(gradient maxima)를 살펴봄으로써, 에지가 검출된다. 이 알고리즘과 관련해서, k는 이 한계값으로 적절한 세그먼트 분할을 위해서 적절히 설정될 필요가 있다. 실시형태에서, 에지-추출에 근거한 세그먼트 분할이 사용될 수 있다. 이들 실시형태에서, 강도 파라미터 k에 근거하여 에지 한계가 확립된다. 일반적으로 세그먼트 분할 알고리즘 분야에서, 관찰의 스케일을 설정하기 위해서 파라미터가 사용된다. 세그먼트 분할이 감독 모드(supervised mode)에서 수행되는 경우, 인간 유저가 특정 이미지에 대한 k 값을 선택한다. 하지만 특정 알고리즘에 의해 제공되는 세그먼트 분할 품질은 일반적으로 인간 관찰자에 의해 인식되는 품질과 관련이 있으며, 인간이 알고리즘 출력물의 최종 수혜자(final beneficiary)를 구성하는 (영상 압축과 같은) 응용 제품의 경우에는 특히 그렇다.

예를 들면, 도 1a에 640 x 480 컬러 이미지가 제공되어 있다. 본 명세서에서 논의되는 바와 같이, 도 1a의 이미지와 연계된 세그먼트 분할 결과를 생성하기 위해서 그래프 컷(graph cut) 알고리즘이 사용된다. 다양한 k 값에 대하여, 도 1a의 이미지의 σ=0.5, 최소 크기(min size) 5를 가지는 세그먼트 분할 맵이 도 1b-1d에 제공된다. 도 1b에서 k는 3, 도 1c에서 k는 100, 도 1d에서 k는 10,000이다. 도 1b에 나타난 바와 같이, 너무 작은 k 값은 과잉-세그먼트 분할(over-segmentation)을 야기할 수 있다. 도 1d에 나타낸 바와 같이, 큰 k 값은 과소-세그먼트 분할(under-segmentation)을 야기할 수 있다.

인간 관찰자를 위하여 지각적으로 합리적인(perceptually reasonable) 세그먼트 분할 맵을 생성할 수 있도록 이미지를 따라 세그먼트 파라미터를 자동적으로 조정하는(adapts) 알고리즘을 사용하여, 현재 개시된 방법의 실시형태는 어떠한 감독도 없이 세그먼트 분할을 수행하는데 사용될 수 있다. 실시형태는 훈련 이미지 세트를 사용하여 세그먼트 분할 품질 모델(quality model)을 훈련하는 단계와, 세그먼트 파라미터 k의 다양한 값에 대하여 과잉-세그먼트(over-segmented), 양호-세그먼트(well-segmented) 또는 과소-세그먼트(under-segmented)로서 이미지를 분류하는 단계와, 세그먼트 분할 품질이 바람직할 때 조건을 정의하는 단계를 포함한다.

본 발명의 실시형태는 이미지를 세그먼트 분할하는(segmenting) 예시적인 방법을 포함한다. 상기 예시적인 방법의 실시형태는 세그먼트 파라미터의 제 1 값을 결정하는 단계로서, 상기 세그먼트 파라미터는, 제 1 세그먼트와 제 2 세그먼트 사이의 경계 조건을 확립하기 위한 한계값 함수(threshold function)와 관련되어 있는 단계; 상기 세그먼트 파라미터의 상기 제 1 값에 근거하여, 상기 이미지와 상기 이미지의 세그먼트 분할 사이의 유사도를 나타내도록 구성된 유사도 함수(similarity function)의 제 1 값을 결정하는 단계; 상기 세그먼트 파라미터의 상기 제 1 값 및 상기 유사도 함수의 상기 제 1 값을, 사전 설정된(pre-determined) 함수와 비교하는 단계; 상기 비교하는 단계의 결과에 근거하여, 상기 세그먼트 파라미터의 제 2 값을 결정하는 단계; 및 상기 세그먼트 파라미터의 상기 제 2 값에 근거하여 상기 이미지를 세그먼트 분할하는(segmenting) 단계를 포함한다. 실시형태에서, k 값을 찾기 위하여 2분법 알고리즘(bisection algorithm)이 사용되어, 포인트 (k, numsegments(k))(("numsegments(k)"는 k 값을 사용할 때 생성되는 세그먼트의 개수를 나타냄)가 사전 설정된 지역 내부 또는 사전 설정된 곡선 상에 놓이도록 할 수 있다. 상기 유사도 함수는 대칭 불확실성 함수(symmetric uncertainty function)를 포함할 수 있다. 실시형태에서, 상기 사전 설정된 함수는 상기 세그먼트 파라미터의 로그 값(log)과 상기 대칭 불확실성 사이의 선형 관계(linear relationship)를 나타내는 선형 함수일 수 있고, 선형 함수를 초과하는 값은 과잉-세그먼트 분할(over-segmentation)을 나타내고, 상기 선형 함수 미만의 값은 과소-세그먼트 분할(under-segmentation)을 나타낸다. 추가, 대안적 및/또는 중첩하는 실시형태는 상기 이미지와 상기 이미지의 세그먼트 분할 사이에 다른 유사도 함수를 포함할 수 있다.

상기 단락의 방법의 실시형태는 상기 세그먼트 파라미터의 최적값을 결정하는 단계를 더욱 포함하고, 상기 최적값은, 상기 대칭 불확실성의 대응하는 값과 상기 선형 관계 비율(a portion) 사이의 차이가 최소가 되는, 상기 이미지의 세그먼트 분할을 생성하는 상기 세그먼트 파라미터의 값이다.

상기 단락의 방법의 실시형태에 따르면, 상기 세그먼트 파라미터의 상기 제 2 값에 근거하여 상기 이미지를 세그먼트 분할하는 단계는, 상기 이미지를 다수의 하위 이미지(sub-image)로 분할하는 단계(dividing)와, 상기 세그먼트 파라미터의 다수의 값을 결정함으로써, 상기 이미지에 대한 스케일 맵(scale map)을 생성하는 단계로서, 상기 다수의 값 각각은 상기 다수의 하위 이미지 중 하나에 대응하는 단계와, 필터를 사용하여 상기 이미지에 대한 상기 스케일 맵을 평활화하는 단계(smoothing)를 포함할 수 있다. 상기 필터는 저역 통과 필터일 수 있다.

상기 단락의 방법의 실시형태는, 추가 이미지(additional image)를 제공하는 단계로서, 상기 추가 이미지는 영상 내의 상기 이미지에 연속적으로 배치되는 단계와, 상기 추가 이미지를 다수의 추가 하위 이미지로 분할하는 단계로서, 상기 다수의 추가 하위 이미지는 크기 및 위치 중 적어도 하나에서 상기 다수의 하위 이미지에 대응하는 단계와, 상기 다수의 추가 하위 위미지에 대응하는 상기 세그먼트 파라미터에 대한 다수의 초기 추정값(initial estimates)으로서 다수의 상기 세그먼트 파라미터의 값을 제공하는 단계와, 상기 세그먼트 파라미터의 다수의 최적값을 결정하는 단계로서, 상기 다수의 최적값 각각은 상기 다수의 추가 하위 이미지 중 하나에 대응하는 단계와, 상기 세그먼트 파라미터의 상기 다수의 최적값에 근거하여 상기 추가 이미지를 세그먼트 분할하는 단계를 더욱 포함할 수 있다.

상기 단락의 방법의 실시형태에 따르면, 상기 선형 함수를 결정하는 단계는, 다수의 훈련 이미지(training image)를 제공하는 단계와, 상기 세그먼트 파라미터의 다수의 값에서, 상기 다수의 훈련 이미지 각각에 대한 세그먼트 분할 맵(segmentation map)을 생성하는 단계와, 각각의 세그먼트 분할 맵에 대한 대칭 불확실성의 값을 결정하는 단계와, 적어도 한명의 관찰자(observer)에 의한 시각적 인지에 근거하여, 각각의 세그먼트 분할 맵을 과잉-세그먼트, 양호 세그먼트 또는 과소 세그먼트로 분류하는 단계를 포함할 수 있다.

실시형태에 따르면, 이미지를 세그먼트 분할하는 다른 예시적인 방법은 이미지를 제공하는 단계; 상기 이미지를 다수의 하위 이미지로 분할하는 단계로서, 각각의 하위 이미지는 다수의 픽셀을 포함하는 단계를 포함할 수 있다. 각각의 하위 이미지에 대하여, 예시적인 방법의 실시형태는 파라미터의 제 1 값을 결정하는 단계로서, 상기 파라미터는 제 1 세그먼트와 제 2 세그먼트 사이의 경계 조건을 확립하기 위한 한계값 함수와 관련되어 있는 단계; 상기 제 1 파라미터의 상기 제 1 값에 근거하여 상기 하위 이미지의 대칭 불확실성의 제 1 값을 결정하는 단계; 상기 파라미터의 상기 제 1 값 및 상기 대칭 불확실성의 상기 제 1 값을, 사전 설정된 함수와 비교하는 단계; 및 상기 비교하는 단계의 결과에 근거하여, 상기 파라미터의 제 2 값을 결정하는 단계를 포함할 수 있다.

실시형태에서, 상기 단락의 예시적인 방법은 상기 파라미터의 상기 결정된 값을 상기 하위 이미지 내의 각각의 픽셀에 할당하는 단계와, 상기 할당된 값에 필터를 적용하여, 상기 하위 이미지 내의 각각의 픽셀에 대한 상기 파라미터의 필터링 된 값을 얻는 단계와, 상기 파라미터의 상기 필터링 된 값에 근거하여 상기 이미지를 세그먼트 분할하는 단계를 더욱 포함할 수 있다. 실시형태에서, 상기 필터는 저역 통과 필터를 포함한다.

상기 단락의 예시적인 방법의 실시형태는 추가 이미지(additional image)를 제공하는 단계와, 상기 추가 이미지를 다수의 추가 하위 이미지로 분할하는 단계와, 상기 이미지의 상기 다수의 추가(제 1) 하위 이미지 각각에 대하여 결정된 상기 파라미터의 상기 제 2 값에 부분적으로 근거하여, 상기 추가 이미지를 세그먼트 분할하는 단계를 더욱 포함할 수 있다. 실시형태에서, 상기 사전 설정된 함수는 상기 제 1 파라미터의 로그 값(log)과 상기 대칭 불확실성 사이의 선형 관계(linear relationship)를 나타내는 선형 함수일 수 있고, 상기 선형 함수를 초과하는 값은 과잉-세그먼트 분할(over-segmentation)을 나타내고, 상기 선형 함수 미만의 값은 과소-세그먼트 분할(under-segmentation)을 나타낼 수 있다.

실시형태에서, 상기 단락의 방법은 다수의 훈련 이미지를 제공하는 단계와, 상기 세그먼트 파라미터의 다수의 값에서, 상기 다수의 훈련 이미지 각각에 대한 세그먼트 분할 맵(segmentation map)을 생성하는 단계와, 각각의 세그먼트 분할 맵에 대한 대칭 불확실성의 값을 결정하는 단계와, 적어도 한명의 관찰자(observer)에 의한 시각적 인지에 근거하여, 각각의 세그먼트 분할 맵을 과잉-세그먼트, 양호 세그먼트 또는 과소 세그먼트로 분류하는 단계를 더욱 포함할 수 있다.

실시형태에 따르면, 예시적인 시스템은 프로세서와 메모리를 포함하는 이미지 세그먼트 분할 장치를 포함한다. 상기 메모리는 판독 매체 상에 구현된(embodied) 컴퓨터로 실현될 수 있는 명령(instruction)을 가지는 컴퓨터로-판독될 수 있는 매체를 포함하고, 상기 명령은 상기 프로세서에 의해 실행되었을 때, 상기 프로세서로 하여금 하나 이상의 컴포넌트의 인스턴스 생성(instantiate)시키는 이미지 세그먼트 분할 장치를 포함한다. 실시형태에서, 상기 하나 이상의 컴포넌트는, 다수의 훈련 이미지에 대하여 전기적으로 수신된 입력에 근거하여 제 1 파라미터와 제 2 파라미터 사이의 함수적 관계를 결정하는 세그먼트 모듈을 포함한다. 상기 세그먼트 모듈은, 세그먼트 분할되는 이미지의 하위 이미지에 대하여, 상기 하위 이미지에 대한 상기 제 1 파리미터의 초기값을 결정하고, 상기 제 2 파리미터의 초기값을 결정하도록 더욱 구성될 수 있다. 상기 하나 이상의 컴포넌트는 상기 함수적 관계에 대하여, 상기 제 1 파라미터의 상기 초기값과 상기 제 2 파라미터의 상기 초기값 사이의 비교를 수행하도록 구성되는 비교 모듈을 포함할 수 있고, 상기 세그먼트 모듈은 상기 비교에 근거하여 상기 제 1 파라미터의 업데이트된 값을 결정하도록 더욱 구성된다.

상기 단락의 시스템의 실시형태에서, 상기 세그먼트 모듈은, 세그먼트 분할된 이미지 데이터를 작성(create)할 수 있도록, 상기 제 1 파라미터의 상기 업데이트된 값에 부분적으로 근거하여, 상기 이미지를 세그먼트 분할하도록 더욱 구성될 수 있다.

실시형태에서, 상기 단락의 시스템은 상기 세그먼트 분할된 이미지 데이터를 인코딩할 수 있도록 구성된 인코더를 더욱 포함할 수 있다.

실시형태에서, 상기 단락의 시스템은 세그먼트 분할되는 이미지와 세그먼트 분할된 이미지데이터 중 적어도 하나의 통신을 촉진할 수 있도록 구성된 통신 모듈을 더욱 포함할 수 있다.

상기 단락의 시스템의 실시형태에서, 상기 세그먼트 모듈은, 상기 추가 이미지를 다수의 하위 이미지로 분할하고, 상기 제 1 파라미터의 상기 업데이트된 값에 부분적으로 근거하여, 상기 추가 이미지를 세그먼트 분할하도록 더욱 구성될 수 있다.

상기 단락의 시스템의 실시형태에 따르면, 상기 제 2 파라미터는 상기 하위 이미지의 대칭 불확실성을 포함할 수 있다.

본 발명의 상기 언급된 특징 및 다른 특징과, 이에 수반하여 수행되는 방식은, 첨부한 도면과 함께 취해지는 본 발명의 실시형태에 대한 후술하는 설명을 참조함으로써 더욱 분명해질 것이고, 본 발명 그 자체는 더욱 잘 이해될 것이다.

본 특허 또는 출원 파일은 컬러로 구현되는 적어도 하나의 도면을 포함한다. 컬러 도면을 구비하고 있는 이 특허 또는 공개특허출원의 복사는 요청 및 필요한 경비를 지불하면 특허청에 의해 제공될 것이다.
도 1a는 예시적인 640 x 480 컬러 이미지이다.
도 1b는 k는 3인, 도 1a의 컬러 이미지의 세그먼트 분할 맵이다.
도 1c는 k는 100인, 도 1a의 컬러 이미지의 세그먼트 분할 맵이다.
도 1d는 k는 10,000인, 도 1a의 컬러 이미지의 세그먼트 분할 맵이다.
도 2는 본 발명의 실시형태에 따라, 예시적인 이미지 세그먼트 분할 시스템을 나타낸다.
도 3은 본 발명의 실시형태에 따라, 도 2에 도시된 이미지 세그먼트 분할 시스템의 예시적인 세그먼트 분할 디바이스를 나타낸다.
도 4a는 도 1a의 컬러 이미지에서 A로 표시된 160 x 120 픽셀 블록에 대한 연속적인 세그먼트 분할 맵으로서, k는 1 내지 10,000 범위이다.
도 4b는 인간 관찰자에 의해 수행된 평가와 함께 k의 함수로서, 도 4a의 세그먼트 분할 맵의 가중된 불확실성(weighted uncertainty) U_w를 나타낸다.
도 5a는 320 x 240 이미지 해상도에 대한 인간 관찰자와, 소망되는 세그먼트 넘버(segment number) 대 k를 보여주는 최적 세그먼트 분할 라인에 의해 수행되는 훈련 이미지의 분류를 나타낸다.
도 5b는 640 x 480 이미지 해상도에 대한 인간 관찰자와, 소망되는 세그먼트 넘버 대 k를 보여주는 최적 세그먼트 분할 라인에 의해 수행되는 훈련 이미지의 분류를 나타낸다.
도 6은 본 발명의 실시형태에 따라, k 값을 결정하기 위한 예시적인 방법을 나타낸다.
도 7a는 본 발명의 실시형태에 따라, (log(k), U_w) 면에서 640 x 480 이미지로부터 얻어진 160 x 120 하위 이미지에 대하여 도 6의 k를 추정하는 반복적인(iterative) 방법을 나타낸다.
도 7b는 본 발명의 실시형태에 따라, 도 7a에서의 추정에 근거하여 대응하는 세그먼트 분할을 나타낸다.
도 8은 본 발명의 실시형태에 따라, k 값을 결정하기 위한 다른 예시적인 방법을 나타낸다.
도 9a는 640 x 480 해상도에서의 이미지이다.
도 9b는 본 발명의 실시형태에 따라, 도 8의 방법을 사용하여 도 9a의 이미지의 k(x,y)의 스케일 맵이다.
도 9c는 본 발명의 실시형태에 따라, 도 8의 방법을 사용하여 도 9a의 대응하는 세그먼트 분할을 나타낸다.
도 9d는 Felzenszwalb 및 Huttenlocher의 방법을 사용하여 도 9a의 대응하는 세그먼트 분할을 나타내는데, 도 9c에서 묘사된 세그먼트 분할에서와 같은 동일한 전체 세그먼트 넘버를 얻기 위하여 스케일 파라미터가 선택되었다.
도 10a는 640 x 480 해상도에서의 이미지이다.
도 10b는 본 발명의 실시형태에 따라, 도 8의 방법을 사용하여 도 10a의 이미지의 k(x,y)의 스케일 맵이다.
도 10c는 본 발명의 실시형태에 따라, 도 8의 방법을 사용하여 도 10a의 대응하는 세그먼트 분할을 나타낸다.
도 10d는 Felzenszwalb 및 Huttenlocher의 방법을 사용하여 도 9a의 대응하는 세그먼트 분할을 나타내는데, 도 10c에서 묘사된 세그먼트 분할에서와 같은 동일한 전체 세그먼트 넘버를 얻기 위하여 스케일 파라미터가 선택되었다.
도 11은 본 발명의 실시형태에 따라, 제 1 이미지의 세그먼트 분할에 근거하여 제 2 이미지를 세그먼트 분할하는 방법을 나타낸다.

하기 개시되는 실시형태는 예시적인 것으로 의도하지 않으며, 후술하는 상세한 설명에서 개시된 정확한 형태로 본 발명을 제한하고자 의도되지 않는다. 오히려, 당업계에서 다른 기술자들이 하기 실시형태에서 교시된 내용을 활용할 수 있도록 하기 실시형태들이 선택되고 기술된다.

채택된 예시적인 방법의 다른 요소(elements)를 내포할 수 있도록 용어 "블록(block)"이 사용될 수 있지만, 각각의 단계의 순서를 명시적으로 언급하지 않는 한 그리고 명시적으로 언급하는 경우를 제외하면, 그 용어는 본 명세서에 개시된 다양한 단계들을 임의로 필요로 한다거나 또는 이들 다양한 단계들 사이에서 특정한 순서를 의미하는 것으로 해석되어서는 안 된다.

도 2를 참조하면, 예시적인 이미지 세그먼트 분할 시스템(12)이 도시되어 있다. 이미지 세그먼트 분할 시스템(12)은 세그먼트 분할 디바이스(segmentation device, 14)를 포함한다. 세그먼트 분할 디바이스(14)는 통신 링크(18A)에 의하여 이미지 소스(16)에 예시적으로 연결된다. 하나의 예시적인 실시형태에서, 세그먼트 분할 디바이스(14)는 통신 링크(18A) 상에서 이미지 소스(16)로부터 이미지 파일을 예시적으로 수신한다. 예시적인 이미지 파일은 의료 이미지 처리로부터 얻어진 디지털 사진, 디지털 이미지, 기계 영상기 이미지 파일, 영상 이미지 파일, 및 다수의 픽셀을 가지는 임의의 다른 적절한 이미지를 포함하지만, 이에 제한되지 않는다. 세그먼트 분할 디바이스(14)는 통신 링크(18B)에 의하여 수신 디바이스(receiving device, 20)에 예시적으로 연결된다. 하나의 예시적인 실시형태에서, 세그먼트 분할 디바이스(14)는 통신 링크(18B) 상에서 이미지 파일을 통신한다. 몇몇 실시형태에서, 통신 링크(18A, 18B)는 독립적으로 유선 연결, 또는 무선 연결, 또는 무선 및 유선 네트워크의 조합이다. 몇몇 실시형태에서, 통신 링크(18A, 18B) 중 하나 또는 두 개는 네트워크이다. 예시적인 네트워크는, 문자 메시지 서비스(short message service, SMS), 근거리통신망(local area network, LAN), 무선랜(wireless LAN, WLAN), 광역통신망(wide area network, WAN), 인터넷, P2P 네트워크, 또는 다른 적절한 네트워크와 같은, 임의 개수의 다른 형태의 통신 네트워크이거나 이러한 통신 네트워크를 포함한다. 상기 네트워크는 다수 네트워크의 조합을 포함할 수 있다.

본 명세서에서 나타내지 않았지만, 상기 수신 디바이스(20)는 상기 세그먼트 분할 디바이스(14)를 참조하면서 본 명세서에 기술된 컴포넌트의 임의의 조합, 도시되지 않거나 기술되지 않은 컴포넌트, 및/또는 이들의 조합을 포함할 수 있다. 실시형태에서, 상기 세그먼트 분할 디바이스(14)는, 각각의 개시 내용이 본 명세서에 참조로 명백히 편입되어 있는, 발명의 명칭을 "VIDEO ENCODING SYSTEM AND METHOD"로 하여 2012년 3월 23일자로 출원된 미국 특허출원 제13/428,707호; 및/또는 발명의 명칭을 "MACROBLOCK PARTITIONING AND MOTION ESTIMATION USING OBJECT ANALYSIS FOR VIDEO COMPRESSION"으로 하여 2013년 4월 23일자로 출원된 미국 특허출원 제13/868,749호에 기술되어 있는 인코딩 컴퓨팅 시스템을 포함하거나, 또는 이에 유사한 것일 수 있다.

예시적인 세그먼트 분할 디바이스(14)가 도 3에 개략적으로 나타낸다. 비록 단일 디바이스(single device)로 언급되지만, 몇몇 실시형태에서, 세그먼트 분할 디바이스(14)는 다중 인스턴스(multiple instance)에서 구현, 다수의 컴퓨팅 디바이스를 가로지르는 분산, 다수의 가상 머신 내에서 인스턴스 생성(instantiated) 및/또는 기타의 방법으로 구현될 수 있다. 세그먼트 분할 디바이스(14)는 프로세서(22)를 포함한다. 프로세서(22)는 한 개 또는 다수의 프로세서를 포함할 수 있다. 프로세서(22)는 메모리(24)에 저장된 다양한 프로그램 컴포넌트를 실행하며, 수신된 이미지 파일의 이미지 데이터(26)의 인코딩을 촉진할 수 있다. 도 3에 도시한 바와 같이, 세그먼트 분할 디바이스(14)는 예를 들면 모니터 또는 다른 적절한 디스플레이(30), 키보드, 프린터, 디스크 드라이브, 유니버설 시리얼 버스(universal serial bus, USB) 포트, 스피커, 포인터 디바이스, 트랙볼, 버튼, 스위치, 터치스크린 및/또는 다른 적절한 I/O 디바이스와 같은 적어도 하나의 입/출력 디바이스(I/O device, 28)를 더욱 포함한다.

이미지 세그먼트 분할 시스템(12) 및/도는 세그먼트 분할 디바이스(14) 중 다양한 컴포넌트가 하나 이상의 컴퓨팅 디바이스 상에서 구현될 수 있다. 컴퓨팅 디바이스는 본 발명의 실시형태를 구현하는데 적절한 임의 형태의 컴퓨팅 디바이스를 포함할 수 있다. 상기 컴퓨팅 디바이스는 본 명세서에서 개시된 것과 같이 구성되기만 하면, 컴퓨팅 디바이스의 예는, '워크스테이션', '서버', '랩톱', '데스크톱', '태블릿 컴퓨터', '휴대용 디바이스(hand-held device)' 등과 같이 전문(specialized) 컴퓨팅 디바이스 또는 범용(general-purpose) 컴퓨팅 디바이스를 포함한다. 예를 들면, 실시형태에 따르면, 상기 세그먼트 분할 디바이스(14)는, 상기 프로세서(22)가 본 명세서에서 논의되는 시스템 컴포넌트의 실시형태의 양상(aspects)을 구현하고 및/또는 본 명세서에서 논의되는 방법 및 절차의 실시형태의 양상을 수행할 수 있도록 메모리(24)에 저장된 컴퓨터로-실행 가능한(computer-executable) 명령을 실행하도록 구성된, 전문-설계된(specially-designed) 컴퓨팅 디바이스(예: 전용 영상 인코딩 디바이스) 및/또는 범용 컴퓨팅 디바이스(예: 데스크톱 컴퓨터, 랩톱, 모바일 디바이스 및/또는 유사 디바이스)이거나, 이러한 디바이스를 포함할 수 있다.

실시형태에서, 컴퓨팅 디바이스는 직접 또는 간접적으로 다음의 디바이스를 연결하는 버스(bus)를 포함한다. 프로세서, 메모리, 입/출력(I/O) 포트, I/O 컴포넌트 및 전원. 상기 컴퓨팅 디바이스에 임의 개수의 추가 컴포넌트, 다른 컴포넌트 및/또는 이들 컴포넌트의 조합이 또한 포함될 수 있다. 상기 버스는 (예를 들면, 어드레스 버스(address bus), 데이터 버스 또는 이들의 조합과 같은) 하나 이상의 버스일 수 있다는 것을 나타낸다. 마찬가지로, 실시형태에서, 상기 컴퓨팅 디바이스는 다수의 프로세서, 다수의 메모리 컴포넌트, 다수의 I/O 포트, 다수의 I/O 컴포넌트, 및/또는 다수의 전원을 포함할 수 있다. 뿐만 아니라, 임의 개수의 이들 컴포넌트 및/또는 이들 컴포넌트의 조합은 다수의 컴퓨팅 디바이스에 걸쳐서 분산(distributed) 및/또는 복사(duplicated)될 수 있다.

실시형태에서, 상기 메모리(24)는 휘발성 및/또는 비-휘발성 메모리 형태의 컴퓨터로-판독 가능한 매체(computer-readable media)를 포함할 수 있으며, 분리 가능(removable), 분리 불가능(nonremovable) 또는 이들의 조합일 수 있다. 매체의 예는 임의접근메모리(Random Access Memory, RAM), 읽기전용메모리(Read Only Memory, ROM), 전기적 소거 및 프로그램 가능 읽기전용메모리(Electrically Erasable and Programmable Read Only Memory, EEPROM), 플래시 메모리, 광(optical) 또는 홀로그래픽(holographic) 메모리, 자기 카세트, 자기 테이프, 자기 디스크 스토리지(storage) 또는 다른 자기 스토리지 디바이스, 데이터 전송, 또는 정보를 저장하는데 사용되고, 예를 들어 양자상태메모리(quantum state memory) 및 이와 유사한 메모리와 같이 컴퓨팅 디바이스에 의해 접근 가능한 임의의 다른 매체를 포함한다. 상기 메모리(24)는 프로세서(22)에 국부적(local)일 수 있고/있거나, 상기 메모리(24)는 프로세서(22)로부터 원격으로 위치하여 네트워크를 통하여 접근할 수 있다. 실시형태에서, 상기 메모리(24)는, 상기 프로세서(22)가 본 명세서에서 논의되는 시스템 컴포넌트의 실시형태의 양상(aspects)을 구현하고/구현하거나, 본 명세서에서 논의되는 방법 및 절차의 실시형태의 양상을 수행하도록 유도하는 컴퓨터로-실현 가능한 명령(computer-executable instructions)을 저장한다. 예를 들어, 컴퓨터로-실현 가능한 명령은 컴퓨터 코드, 기계-사용 가능한(machine-usable) 명령, 예를 들어 컴퓨팅 디바이스와 연계된 하나 이상의 프로세서에 의해 실행될 수 있는 프로그램 컴포넌트와 같은 것을 포함할 수 있다. 이러한 프로그램 컴포넌트의 예는 세그먼트 모듈(segment module, 32), 비교 모듈(comparison module, 36) 및 필터 모듈(filter module, 38)을 포함한다. 본 명세서에서 고려되는 기능성(functionality)의 일부 또는 전부는 또한, 또는 대안적으로, 하드웨어 및/또는 펌웨어(firmware)에서 구현될 수 있다.

실시형태에서, 훈련 정보(training information, 33)를 활용한 하나 이상의 프로그램 컴포넌트는 이미지의 적합한 세그먼트 분할을 결정하는데 도움을 줄 수 있다. 예를 들면, 훈련 정보는 다른 k 값에서 세그먼트 분할된 다수의 이미지를 포함할 수 있다. 상기 훈련 정보는, 주어진 이미지 타입(의료 이미지, 영상 이미지, 조경 이미지 등)에 대하여 양호하게-세그먼트 분할된 세그먼트 분할에 상응하는 k 값을 결정하는 데 사용될 수 있다. 본 명세서에서 더욱 상세하게 설명되는 바와 같이, 세그먼트 분할 디바이스(14)에 의한 다른 이미지의 적절한 세그먼트 분할을 자동적으로 결정하는 데 도움이 될 수 있도록, 상기 훈련 정보로부터 얻어진 이 k 값이 사용될 수 있다. 하나의 실시형태에서, 훈련 정보(33)는 다양한 다른 이미지 타입에 대한 정보를 포함한다. 실시형태에서, 훈련 정보는 훈련 이미지 세트, 훈련 이미지의 세그먼트 분할 및 인간 관찰자에 의한 이들 세그먼트 분할의 분류로부터 유도되는 세그먼트 분할 품질 모델을 포함한다. 실시형태에서, 상기 훈련 이미지 및 훈련 이미지 세그먼트 분할은 보존(retained)되지 않는다.

실시형태에서, 하기에서 더욱 상세하게 기술되는 바와 같이, 상기 세그먼트 모듈(32)은 이미지를 다수의 세그먼트로 세그먼트 분할하도록 구성된다. 상기 세그먼트들은 세그먼트 분할된 이미지 데이터(34)로서 메모리(24)에 저장될 수 있다. 세그먼트 데이터는 상기 이미지의 다수의 픽셀을 포함한다. 세그먼트 이미지 데이터(34)는 도 10b 및 11b에 도시된 스케일 맵과 같이, 이미지 데이터(34)와 연계된 하나 이상의 파라미터를 또한 포함할 수 있다. 예를 들면 상기 세그먼트는 객체, 그룹, 슬라이스(slices), 타일(tiles) 및/또는 이들의 유사 형태를 포함할 수 있다. 상기 세그먼트 모듈(32)은 당업계에 공지되어 있는 임의 개수의 다양한 자동 이미지 세그먼트 분할 방법을 채택할 수 있다. 실시형태에서, 상기 세그먼트 모듈(32)은 픽셀의 이미지 컬러와 이에 상응하는 상기 픽셀의 그래디언트(gradient)를 사용하여, 하나의 이미지를 유사한 컬러 및 질감(texture)을 가지는 세그먼트들로 세분(subdivide)할 수 있다. 이미지 세그먼트 분할 기법의 2가지 예는, 픽셀 연결 그래프(pixel connectivity graph)의 워터쉐드 알고리즘(watershed algorithm)과 최적 절단 파티션 분할(optimal cut partitioning)을 포함한다. 예를 들면, 상기 세그먼트 모듈(32)은 최적 절단 파티션 분할을 위하여 영상 프레임에서 에지를 검출하고, 그 결과로 생성된 픽셀 연결 그래프의 최적 절단 파티션 분할을 사용하여 세그먼트를 작성하는 캐니 에지 검출(Canny edge detection)을 사용할 수 있다.

실시형태에서, 하기에서 더욱 상세하게 기술되는 바와 같이, 상기 비교 모듈(36)은 계산된 값 또는 값의 쌍을 비교할 수 있다. 예를 들면, 도 5a에 도시한 바와 같이, 상기 비교 모듈(36)은 상기 방정식 (2)에서 파라미터 k 및/또는 하기 방정식 (4)에서 U_w를, 참조 값 또는 참조 값의 쌍과 비교할 수 있다.

실시형태에서, 하기에서 더욱 상세하게 기술되는 바와 같이, 상기 필터 모듈(38)은 이미지 데이터(26) 또는 세그먼트 분할된 이미지 데이터(34)로 필터를 적용할 수 있다. 예를 들면, 도 10b 및 11b에 도시된 바와 같이, 인접한 하위 이미지(sub-images) 사이에서 날카로운 천이(sharp transition)를 회피할 수 있도록, 상기 필터 모듈(38)은 한 이미지의 스케일 맵으로 저역 통과 필터를 적용할 수 있다.

도 3의 예시적인 실시형태에서, 세그먼트 분할 디바이스(14)는 인코딩된 이미지 데이터(42)를 생성할 수 있도록, 이미지 데이터(26)를 인코딩하도록 구성되는 인코더(40)를 포함한다. 실시형태에서, 이미지 데이터(26)는 세그먼트 분할되고 인코딩된다. 도 3에 나타낸 바와 같이, 세그먼트 분할 디바이스(14)는 통신 모듈(44)을 더욱 포함한다. 몇몇 실시형태에서, 상기 통신 모듈(44)은 이미지 소스(16)와 세그먼트 분할 디바이스(14) 사이에서 이미지 데이터(26)의 통신을 촉진할 수 있다. 몇몇 실시형태에서, 상기 통신 모듈(44)은 세그먼트 분할 디바이스(14)와 수신 디바이스(20) 사이에서 세그먼트 분할된 이미지 데이터(34) 및/또는 인코딩된 이미지 데이터(42)의 통신을 촉진할 수 있다.

도 4a는 Felzenszwalb 및 Huttenlocher의 그래프-기반 접근법을 사용하여 세그먼트 분할된 160 x 120 픽셀의 블록을 보여주는 도 1a의 A 부분을 나타낸 것으로, σ는 0.5, min size는 5, k 값은 1 내지 10,000 범위에 대한 것이다. 1 내지 50(도시된 20개 이미지 중에서 처음 8개의 이미지)까지의 상대적으로 낮은 k 값에 대하여, 과잉-세그먼트 분할(over-segmentation)이 육안 검사(visual inspection)에서 일반적으로 발생하는데, 지각적으로 중요한 지역(regions)은 실수로 세그먼트 세트로 분할된 영역(area)임을 의미한다. 350 내지 10,000(도시된 20개 이미지 중에서 마지막 9개 이미지)까지의 상대적으로 높은 k 값에 대하여, 세그먼트 분할 맵에 세그먼트는 거의 존재하지 않아서 과소-세그먼트 분할(under-segmentation)을 야기한다. 75 내지 200(도시된 20개 이미지 중에서 나머지 3개 이미지)까지의 k 값에 대하여, 세그먼트 분할은 일반적으로 양호(good)한 것으로 보인다. 이들 결과는 도 4b에 나타낸다.

예를 들어 정량 색인(quantitative index)과 같은 유사도 함수(similarity function)는, 세그먼트 분할 프로세스에 의해 포착되는 원 이미지(original image), img에 포함된 정보의 양을 나타내는 것으로 정의될 수 있다. 예를 들면, 실시형태에서, 컬러 이미지는 각각의 픽셀 내의 RGB 값을 상응하는 세그먼트, seg에서 픽셀의 평균 RGB 값으로 치환하여 정의될 수 있다. 그 개시내용이 전적으로 참조를 위하여 본 명세서에 편입되는 Witten & Frank in Witten, Ian H. & Fran,, Eibe(Data Mining: Practical Machine Learning Tools and Techniques. Morgan Kaufmann, Amsterdam, ISBN 978-0-12-374856-0)에 의해 제시된 바와 같이, 각각의 컬러 채널(color channel)과 관련해서, img와 seg 사이의 대칭 불확실성(symmetric uncertainty, U)은 방정식 (3)에 의하여 연산될 수 있다.

(

는 비트에서 이미지 j에 대한 i번째 채널의 샤논의 엔트로피(Shannon's entropy)를 나타내고, I(i,j)는 비트에서 이미지 i 및 j의 상호 정보(mutual information)를 나타낸다)

상기 대칭 불확실성 U는 각각의 컬러 채널에 대하여 img와 seg 사이에서 공유된 비트의 백분율을 표현한다. 세그먼트 분할 맵이 원 컬러 이미지 채널과 무관하게 될 때 U의 값은 0이 되는 경향이 있는 반면, 세그먼트 분할 맵이 img의 대응하는 채널 내에서 임의의 상세(fine detail)를 표현할 때 1에 근접한다.

다른 이미지들은 각각의 컬러 채널에서 다른 양의 정보를 갖는다. 예를 들면, 도 1a의 컬러 이미지는 녹색 채널에서 많은 양의 정보를 포함한다. 가중 불확실성 지수(weighted uncertainty index, U _w )는 방정식 다음 방정식 (4)와 같이 정의될 수 있다.

(U는 방정식 (3)에서와 같이 각각의 채널에 대하여 결정되고, S는 각각의 채널에 대한 샤논의 엔트로피이다)

지수 U_w는 0과 1 사이에서 구성되어 있으며, 세그먼트 분할 품질과 관련된다. 도 4b를 참조하면, 상기 가중 불확실성 지수 U_w는 도 1a에 나타낸 160 x 120 픽셀 블록 중 각각에 대한 log(k)의 함수로서 좌표에 표시된다(plotted).

세그먼트 분할 품질 모델

통상적인 이미지에 대하여, k가 증가함에 따라, 과잉-세그먼트 분할로부터 과소-세그먼트를 향해 통과하면서, U _w 는 감소하게 될 것이다. 특정 세그먼트 분할 품질 모델에 대하여, 대표적인(representative) 해상도에서 대표적인 훈련 이미지의 세트가 선택될 수 있다. 예를 들면, 도 4b에 도시된 곡선은, 주어진 해상도에서 도 1a의 이미지 중에서 A 부분의 세그먼트 분할과 관련해서, 어떻게 세그먼트의 개수가 k값에 따라 변화되는지를 보여준다. 도 5a 및 5b에서와 같이 다른 k 값에서 다수의 훈련 이미지와 이들 이미지의 세그먼트 분할 품질에 대한 인간의 분류를 고려하면(Given), 해당 그래프 상에서 양호-세그먼트 분할 포인트에 맞는(fit through) 직선을 결정함으로써, 유도될 수 있는 품질 모델은 80으로 행해졌다. 다수 해상도에 대하여 단일 품질 모델이 사용될 수 있으며, 또는 각각의 해상도에 대하여 하나의 품질 모델이 생성될 수 있다. 하나의 실시형태에서, 꽃, 초상화, 조경 및 스포츠 환경을 포함하는 12개의 이미지 세트는, 320 x 240 및 640 x 480 해상도에서, 상기 세그먼트 분할 품질을 위한 훈련 세트로서 다음에 고려되었다. 실시형태에 따르면, 각각의 이미지는 160 x 120 픽셀의 블록으로 분할되었고, 각각의 블록은 Felzenszwalb와 Huttenlocher의 그래프-기반 알고리즘(σ는 0.5, min size는 5, k 값은 1 내지 10,000)을 사용하여 세그먼트 분할되었다. 각각의 세그먼트 분할된 블록은 디스플레이(30)를 사용하여 표시되었고, I/O 디바이스(28)를 통하여 인간 관찰자에 의하여 과잉-세그먼트 분할, 양호-세그먼트 분할 또는 과소-세그먼트 분할로 분류되었다. 방정식 (4)에 따라 각각의 세그먼트 분할된 블록에 대하여 가중된 불확실성 지수, U _w 가 결정되었다.

그 결과가 도 5a 및 5b에 제시된다. 도 5a 및 5b에 나타낸 바와 같이, k의 단일 값 또는 k의 범위는 주어진 해상도에서 양호하게-세그먼트 분할된(well-segmented) 블록에 대응하지 않는다. 하지만 (log(k), U _w) 평면 내의 영역이 이러한 목적을 위하여 정의될 수 있다.

고려된 각각의 블록과 관련하여, (log(k), U _w ) 공간 내의 S자 형상 곡선이 관찰되었다. 도 5a 및 5b에 도시한 바와 같이, 상대적으로 작은 k 값에 대하여, U _w 는 거의 상수로 유지되어 있으며, 인간 관찰자는 일반적으로 이들 데이터를 과잉-세그먼트 분할로 분류한다. k가 증가함에 따라, U _w 는 신속하게 감소하고, 인간 관찰자는 일반적으로 이 데이터를 양호-세그먼트 분할로 분류한다. 상대적으로 높은 k 값에 대하여, 인간 관찰자는 일반적으로 이 데이터를 과소-세그먼트 분할로 분류하고, U _w 는 또 다른 거의 상수 값에 접근한다.

각각의 훈련 이미지와 각각의 입력 k 값에 대하여, 세그먼트 분할 알고리즘의 출력은 인간 감독자에 의하여 과소-세그먼트 분할, 양호-세그먼트 분할 또는 과잉-세그먼트 분할로 분류되었다. 실시형태에서, 직선 품질 모델은 저장되었다. 다른 실시형태에서, 상기 훈련 결과 모두가 저장될 수 있으며, 품질 모델은 필요에 따라 유도될 수 있다. 실시형태에서, 순서쌍 (k, numsegments(k))의 분류가 과잉-세그먼트 분류, 과소-세그먼트 분류 또는 양호-세그먼트 분류가 될 수 있도록, 분류기(classifier)의 몇몇 형태가 저장될 수 있다. 상기 (log(k), U _w ) 평면은, 세그먼트 분할 결과의 3개의 품질에 대응하는 3개의 다른 지역으로 세분된다. 과소-세그먼트 분할된 영역과 양호-세그먼트 분할 영역을 분리하는 라인 U _w = m·log(k)+b의 (m,b) 파라미터를 추정하는데 방정식 (5)가 활용되었다.

(N _US 와 N _WE 는 각각 과소-세그먼트 분할 포인트와 양호-세그먼트 분할 포인트의 개수이다; 해당 포인트가 올바르게 분류된다면 δ _US,i 와 δ _WE,i 는 0이고(예를 들면, 임의의 과소-세그먼트 분할 포인트는 U _w = m·log(k)+b 라인의 아래쪽에 놓여야 한다), 그렇지 않으면 1이다)

과잉-세그먼트 분할 지역과 양호-세그먼트 분할 지역을 구분하는 라인 U _w = m·log(k)+b의 (m,b) 파라미터를 추정하는데 방정식 (6)이 활용되었다.

(N _OS 와 N _WE 는 각각 과잉-세그먼트 분할 포인트와 양호-세그먼트 분할 포인트의 개수이다; 해당 포인트가 올바르게 분류된다면 δ _OS,i 와 δ _WE,i 는 0이고(예를 들면, 임의의 과잉-세그먼트 분할 포인트는 U _w = m·log(k)+b 라인의 위쪽에 놓여야 한다), 그렇지 않으면 1이다)

산술 알고리즘(numerical algorithm)을 사용하여 방정식 (5)와 (6)의 값이 최소화되었다. 실시형태에서, 심플렉스 법(simplex method)이 사용된다. 실제로, 방정식 (5)와 (6) 각각에서 비용 함수(cost function)는, 잘못 분류된 모든 포인트의 U _w = m·log(k)+b 라인으로부터의 거리의 합계이다. (log(k), U _w )를 분할하는 2 라인의 추정은 독립적으로 수행될 수 있다.

과소-세그먼트와 양호-세그먼트를 구분하는 라인과, 양호-세그먼트와 과잉-세그먼트를 구분하는 라인 사이의 평균 라인은 (log(k), U _w ) 평면에서의 세그먼트 분할과 관련해서 최적 라인 80인 것으로 추정되었다. 상기 (log(k), U _w ) 평면에서 통상적인 Uw=Uw[log(k)] 곡선의 유사 S자 형상을 감안하면, 세그먼트 분할을 위한 최적 라인과, Uw=Uw[log(k)] 곡선 사이의 교차 포인트(point of intersection)가 일반적으로 식별될 수 있다. 실시형태에서, 이 포인트를 식별하면, 주어진 160 x 120 이미지에 대한 최적 k 값을 얻는다.

최적 k 의 식별

이어서 도 6을 참조하면, 이미지에 대하여 k 값을 결정하는 예시적인 방법(102)이 제공된다. 위에서 유도된 세그먼트 분할을 위한 최적 라인 m·log(k)+b는 인간 관찰자에 의하여 양호한 세그먼트 분류로 합리적으로 지각될 수 있는, 상기 (log(k), U _w )에서 일련의 포인트를 구성한다. 따라서 160 x 120 픽셀 크기의 하위 이미지를 감안하면, 최적 k 값은 그 가중 대칭 불확실성 U _w 가 m·log(k)+b에 근접하는, 세그먼트 분할을 생성하는 k 값으로 정의될 수 있다. 다르게 말하면, 최적 k 값은, 생성된 세그먼트 분할의 대칭 불확실성 U _w 와 예를 들면 m·log(k)+b와 같은 선형 관계의 부분 사이의 차이가 최소화되는 k 값을 포함할 수 있다.

도 7a 및 7b에 나타낸 바와 같이, 최적 k 값은 2분법(bisection method)을 통하여 반복적으로 연산될(computed iteratively) 수 있다. 방법(102, 도 6)의 실시형태의 초기 5회 반복의 예시적인 구현의 결과가 도 7a 및 7b에 제공된다. 블록 104에서, 이미지, 도 7b에 예시적으로 도시된 이미지가 다수 제공된다. 상기 이미지는 다수의 하위 이미지로 분할된다(divided). 도 6의 나머지 단계가 상기 이미지의 각각의 하위 이미지에 대해서 수행된다. 블록 106에 도시한 바와 같이, 반복 i=0에서, 상기 하위 이미지는 k_Left=0, k_Right=10,000에 대하여 세그먼트 분할된다. 실시형태에서, 다른 k 값이 활용될 수 있다. 도 7a에 도시한 바와 같이, 이러한 실시예에서, k_Left=1 및 k_Right=10,000 각각에 대하여 대응되는 U_w,Left 및 U_w,Right의 값이 연산된다. 도 7b는 반복 i=0에서 k_Left=1(도 7b의 상단 좌측, 과잉-세그먼트 분할) 및 k_Right=10,000(도 7b의 상단 우측, 과소 세그먼트 분할)에 대한 예시적인 이미지(모두 하위 이미지)의 세그먼트 분할을 나타낸다.

블록 108에서, 제 1 반복을 위하여 i 값이 증가한다. 블록 110에서, 새로운 k 값을 결정하기 위하여 평균 로그 값(k=exp{[log(k_Left)+log(k_Right)]/2})이 사용된다.

블록 112에서, 현재의 반복 i는 반복의 최대 수와 비교된다. 몇몇 예시적인 실시형태에서, 반복의 최대 수는 5 또는 다른 임의의 정수와 같이 사전 설정된(predetermined) 정수인데, 이 수는 예를 들어, 연산 부담(computational burden)과 이미지 세그먼트 분할 품질 사이의 트레이드오프(tradeoff)를 최적화할 수 있도록 선택될 수 있다. 다른 예시적인 실시형태에서, 상기 반복의 최대 수는 연속적인 반복 과정에서 결정되는 k 값 및/또는 U _w 값 차이에 근거한다. 블록 114에 도시한 바와 같이, 만약 반복의 최대 수에 도달하면, 블록 110에서 결정된 k 값이 세그먼트 분할을 위한 최종 k 값으로 선택된다.

블록 112에서 반복의 최대 수가 도달되지 않으면, 블록 116에서 이미지는 세그먼트 분할되고, 블록 110에서 결정된 k 값에 대하여 대응하는 U _w 가 연산된다. 도 7a에 도시한 바와 같이, k의 첫 번째 반복은 100이었고, 첫 번째 반복에서 계산된 U _w 는 0.28이었다. k의 첫 번째 반복의 결과로 생성된 세그먼트 분할의 예가 도 7b(2번째 열, 좌측 이미지)에 도시되어 있다.

블록 118에서, 결정된 k _i 값과 U _w 값이 (log ki, U _w ) 평면에서 최적 라인과 비교된다. k_Right의 값은 블록 122에서 k _i 로 대치되고, 상기 방법은 블록 108로 되돌아간다. 반면, 두 번째 반복과 관련해서, k=1000(도 7b의 두 번째 열, 우측 이미지), U _w =0.17인 값은 (log k _i , U _w ) 평면에서의 최적 값 미만이다. 두 번째 반복에서, k_Left의 값은 블록 120에서 k_i로 대치되고, 상기 방법은 블록 108로 되돌아간다.

도 7b의 이미지에 대하여, 방법(102)의 실시형태의 예시적인 결과가 도 7a에 제시된다. 도 7a에도시한 바와 같이, 수회의 반복 후에 0 및 10,000의 초기 k 값은 각각 강력한 과잉-세그먼트 분할과 과소-세그먼트 분할을 야기하였으나, 도 7b의 이미지는 양호하게-세그먼트 분할된 것으로 보이며, (log(k), U _w ) 공간 내의 대응하는 포인트는 최적 세그먼트 분할 라인에 근접하게 놓여 있다. i=5인 반복에서, 133.3521의 k 값과 0.27의 U _w 값은 최적 세그먼트 분할 라인에 매우 근접하게 놓이고(도 7a), 그 이미지는 양호하게-세그먼트 분할된 것으로 보인다(도 7b, 하부 이미지).

도 7a 및 7b에서 160 x 120 픽셀의 하위 이미지가 고려되었지만, 상기 세그먼트 분할 품질 모형의 파라미터는 이미지 해상도에 따라 변한다. 뿐만 아니라, 도 7a에 도시된 320 x 240 해상도에 대한 최적 세그먼트 분할 라인은 도 7b에 도시된 640 x 488 해상도에 대한 최적 세그먼트 분할 라인보다 낮다. 실시형태에서, 더욱 높은 해상도에서 일반적으로 더욱 많은 디테일(details)이 이미지 내에서 보일 수 있으므로, 더욱 높은 세그먼트 분할 품질(즉, 높은 U _w )를 나타낸다고 믿어진다. 따라서 실시형태에서, 다른 이미지 해상도에 대한 세그먼트 분할 품질 모델을 적용하면, 주어진 해상도에 대하여 160 x 120 픽셀의 세그먼트 분할된 하위 이미지를 재-분류하는 것으로 나타날 수 있다. 몇몇 실시형태에서, 공지된 이미지 또는 하위 이미지 해상도의 보간(interpolation) 또는 외삽(extrapolation)이 사용된다.

k 의 적응 선택(adaptive selection)

도 7a 및 7b에 나타난 바와 같이, 160 x 120 픽셀의 하위 이미지에 대한 최적 k 값을 추정하는데, 방법 102(도 6)가 사용되었다. 320 x 240 또는 640 x 480 픽셀 해상도에서 전체 이미지(full image)를 세그먼트 분할할 수 있도록, 실시형태에서, 일련의 인접 하위 이미지들(a set of adjacent sub-images)이 고려될 수 있다. 몇몇 실시형태에서, 하위 이미지의 경계를 넘어서는 세그먼트들이 다수의 세그먼트들로 분할될 수도 있기 때문에, 각각의 하위 이미지의 독립적인 세그먼트 분할을 합치는 것(Putting together)은 만족스러운 세그먼트 분할 맵을 생성하지 못할 수도 있다.

이어서 도 8을 참조하면, 변형된 방법(202)이 제시된다. 방법(202)은 적응 스케일 인자(adaptive scale factor, k(x,y))를 이용하며, 방정식 (2)에서 한계값 함수 τ(C)= k/|C|는 τ(C,x,y)= k(x,y)/|C|가 된다. 단계 204에서, 이미지가 제공된다. 예시적인 이미지가 도 9a와 도 10a에 도시되어 있다. 블록 206에 도시한 바와 같이, 각각의 이미지와 관련해서, 모든 이미지 픽셀에 대하여 상기 이미지는 k(x,y)=1 및 k(x,y)=10,000을 사용하여 세그먼트 분할된다.

블록 208에 도시한 바와 같이, 이어서 각각의 이미지는 다수의 하위 이미지들로 분할된다. 예시적으로, 각각의 하위 이미지는 160 x 120 픽셀일 수 있다. 블록 210에서, 각각의 하위 이미지 및 다른 하위 이미지로부터 독립적으로 얻은 각각의 하위 이미지와 관련해서, 각각의 하위 이미지에 대한 k 값이 결정된다. 몇몇 실시형태에서, 도 6과 관련해서 상기에서 기술된 바와 같이, 방법(102)을 사용하여 하위 이미지에 대한 k 값이 결정된다. 블록 214에서, 블록 212에서 결정된 k 값은 상기 하위 이미지 내의 모든 픽셀로 할당된다.

블록 216에서, 저역 통과 필터를 통하여 상기 이미지에 대한 k(x,y)의 스케일 맵이 평활화되어(smoothed), 이미지를 따라 k(x,y)의 날카로운 천이가 회피된다.

예시적인 방법(202)의 결과가 도 9 및 10에 나타난다. 도 9a 및 도 10a는 도 5b에서 세그먼트 분할 품질 모델을 추정하는데 사용된 데이터세트(dataset)로부터 얻어진 2개의 예시적인 640 x 480 픽셀 이미지이다. 블록 216에서 저역 통과필터를 통한 평활화 단계(smoothing) 후에 각각의 이미지에 대한 k(x,y) 스케일 맵이 도 9b 및 10b에 제시되어 있으며, 그에 대응하는 세그먼트 분할이 도 9c 및 10c에 도시되어 있다.

도 9d와 10d는 Felzenszwalb 및 Huttenlocher의 그래프-기반 접근법(σ=0.5, min size=5)을 사용하여 달성된 세그먼트 분할을 나타낸다. 도 9c 및 10c에서와 같은 균등한 세그먼트 개수를 보증할 수 있도록, k 값은 실험적으로 설정되었다. 도 9d와 관련해서 k는 115로 설정되었고, 도 10d와 관련해서 k는 187로 설정되었다. 도 9b 및 도 9c는, 도 9d에서 Felzenszwalb 및 Huttenlocher의 방법과 비교할 때, 본 발명에 다른 방법은 해당 이미지 내에서 사람들에 의해 점유된 영역에서는 큰 세그먼트(large segments, 높은 k 값)를, 많은 수의 작은 잎이 존재하는 해당 이미지 내의 상단 좌측 영역에서 미세한 세그먼트 분할(finer segmentation), 낮은 k 값)을 선호한다(favors)는 것을, 나타낸다.

도 10b 및 10c는, 도 10d에 도시한 바와 같이 Felzenszwalb 및 Huttenlocher의 방법과 비교할 때, 예를 들면, 본 발명의 방법의 실시형태는 하늘 영역에서 과잉-세그먼트 분할을 방지하면서, 하늘 및 마천루의 균일(homogeneous) 영역에서 더욱 큰 세그먼트를 선호할 수 있다는 것을, 나타낸다. 다른 실시형태에서, 중첩 사각 지역(overlapping rectangular regions)이 사용될 수 있다.

연속(subsequent) 이미지에 대한 k 추정

몇몇 실시형태에서, 제 1 이미지의 세그먼트 분할에 근거하여 제 2 이미지의 세그먼트 분할이 추정될 수 있다. 예시적인 실시형태는, 이미지의 인접 프레임은 매우 유사하거나 매우 관련될 수 있는 영상 처리 또는 영상 인코딩을 포함한다. 제 2 이미지를 세그먼트 분할하기 위한 방법(302)이 도 11에 제공된다. 블록 304에서, 제 1 이미지가 제공된다. 블록 306에서 제 1 이미지를 다수의 하위 이미지들로 분할함으로써 제 1 이미지가 세그먼트 분할되고, 블록 308에서 각각의 하위 이미지에 대한 k 값을 결정하고, 블록 310에서 결정된 k 값에 근거하여 이미지가 세그먼트 분할된다. 몇몇 실시형태에서, 블록 306-310에서 제 1 이미지를 세그먼트 분할하는 과정은 방법 102(도 6) 또는 방법 202(도 8)을 사용하여 수행된다. 블록 312에서, 제 2 이미지가 제공된다. 몇몇 실시형태에서, 제 1 및 제 2 이미지는 연속 영상 이미지이다. 블록 314에서 상기 제 2 이미지는 다수의 하위 이미지로 분할된다. 몇몇 실시형태에서, 블록 314에서 상기 제 2 이미지의 다수 하위 이미지 중 하나 이상은 블록 306에서의 상기 제 1 이미지의 다수 하위 이미지 중 하나 이상과 크기 및/또는 위치가 대응한다. 블록 316에서, 블록 308에서 결정된 상기 제 1 이미지의 각각의 하위 이미지에 대한 k 값이, 상기 제 2 이미지의 각각의 대응하는 하위 이미지의 k 값을 위한 초기 추정값으로서 제공된다.

도 11에 도시한 바와 같이, 다른 실시형태에서, 블록 318에서, 초기 반복으로서 상기 제 1 이미지로부터 얻어진 추정 k 값을 사용하여, 제 2 이미지에 대한 k 값이 최적화되고, 블록 340에서 상기 제 2 이미지를 세그먼트 분할하는 단계가 수반된다. 다른 실시형태에서, 블록 318에서 우선 최적화되지 않고, 블록 340에서의 추정 k 값에 근거하여 상기 제 2 이미지가 세그먼트 분할된다. 몇몇 실시형태에서, 블록 316-340에서 상기 제 2 이미지를 세그먼트 분할하는 과정은 방법 102(도 6) 또는 방법 202(도 8)를 사용하여 수행된다.

영상 인코딩과 같은 응용에서와 같이, 몇몇 실시형태에서, 영상 이미지를 세그먼트 분할하는 연산 비용(computational cost)이 크게 감소할 수 있다는 점이 또한 주목될 수 있다. 유일 프레임(unique frame)에 적용되었을 때, 제안된 방법은 k에 대한 전체 범위를 고려하여 각각의 하위 이비지에 대한 최적 k 값의 연구를 수행한다. 영상-인코딩 응용과 관련해서, 영상에서 인접 프레임들은 매우 관련이 있기 때문에, 동일한 하위 이미지 및/또는 대응하는 하위 이미지에 대하여 이전 프레임에서 획득된 추정을 고려함으로써, k 범위는 크게 감소될 수 있다. 실시형태에서, k 값은 특정 프레임 간격 및/또는 장면 변화(scene changes)에서만 업데이트 될 수도 있다.

추가 세그먼트 분할 방법

몇몇 실시형태에서, 세그먼트 분할 알고리즘을 자동적으로 최적화하는 전술한 방법은, 유사한 결과를 달성하면서, YUV 컬러 공간에서의 에지 한계값 비교(edge thresholding) 및 작업(working)에 근거하여 수행될 수행된다. 세그먼트 분할 알고리즘에 의해 다수의 입력 파라미터가 사용되는 실시형태에서, 유사한 세그먼트 분할 품질 모델이 사용되지만, 도 5a, 5b 및 7a에 도시된 것과 같은 최적 세그먼트 분할 라인은 평면 또는 하이퍼-평면(hyper-plane)으로 변형되면서 대체된다.

본 발명은 예시적인 설계에 상대적인 것으로 기술되었지만, 본 발명은 이 개시 내용의 정신 및 범위 안에서 더욱 변형될 수도 있다. 아울러, 이 특허출원은 본 발명이 속하는 분야에서 공지되거나 일상적인 관행의 범위 안에 있는 것으로서, 본 개시내용으로부터의 이러한 이탈을 포함하는 것으로 의도된다.

Claims

이미지를 제공하는 단계;
세그먼트 파라미터의 제 1 값을 결정하는 단계로서, 상기 세그먼트 파라미터는, 제 1 세그먼트와 제 2 세그먼트 사이의 경계 조건을 확립하기 위한 한계값 함수(threshold function)와 관련되어 있는 단계;
상기 세그먼트 파라미터의 상기 제 1 값에 근거하여, 상기 이미지와 상기 이미지의 세그먼트 분할 사이의 유사도를 나타내도록 구성된 유사도 함수(similarity function)의 제 1 값을 결정하는 단계;
상기 세그먼트 파라미터의 상기 제 1 값 및 상기 유사도 함수의 상기 제 1 값을, 사전 설정된(pre-determined) 함수와 비교하는 단계;
상기 비교하는 단계의 결과에 근거하여, 상기 세그먼트 파라미터의 제 2 값을 결정하는 단계; 및
상기 세그먼트 파라미터의 상기 제 2 값에 근거하여 상기 이미지를 세그먼트 분할하는(segmenting) 단계
를 포함하는 이미지를 세그먼트 분할하는 방법.
제 1항에 있어서,
상기 유사도 함수는 대칭 불확실성 함수(symmetric uncertainty function)를 포함하는 방법.
제 2항에 있어서,
상기 사전 설정된 함수는 상기 세그먼트 파라미터의 로그 값(log)과 상기 대칭 불확실성 사이의 선형 관계(linear relationship)를 나타내는 선형 함수이고, 상기 선형 함수를 초과하는 값은 과잉-세그먼트 분할(over-segmentation)을 나타내고, 상기 선형 함수 미만의 값은 과소-세그먼트 분할(under-segmentation)을 나타내는 방법.
제 3항에 있어서,
상기 세그먼트 파라미터의 최적값을 결정하는 단계를 더욱 포함하고, 상기 세그먼트 파라미터의 상기 최적값은, 상기 이미지에 대하여 상기 대칭 불확실성의 대응하는 값과 상기 선형 관계 비율(a portion) 사이의 차이가 최소가 되는, 상기 이미지의 세그먼트 분할을 생성하는 상기 세그먼트 파라미터의 값을 포함하는 방법.
제 1항에 있어서,
상기 세그먼트 파라미터의 상기 제 2 값에 근거하여 상기 이미지를 세그먼트 분할하는 단계는,
상기 이미지를 다수의 하위 이미지(sub-image)로 분할하는 단계(dividing)로서, 상기 하위 이미지는 중첩 또는 비-중첩되어 있는 단계와,
상기 세그먼트 파라미터의 다수의 값을 결정함으로써, 상기 이미지에 대한 스케일 맵(scale map)을 생성하는 단계로서, 상기 다수의 값 각각은 상기 다수의 하위 이미지 중 하나에 대응하는 단계와,
필터를 사용하여 상기 이미지에 대한 상기 스케일 맵을 평활화하는 단계(smoothing)를 포함하는 방법.
제 5항에 있어서,
상기 필터는 저역 통과 필터를 포함하는 방법.
제 5항에 있어서,
추가 이미지(additional image)를 제공하는 단계로서, 상기 추가 이미지는 영상 내에 상기 이미지에 연속적으로 배치되는 단계와,
상기 추가 이미지를 다수의 추가 하위 이미지로 분할하는 단계로서, 상기 다수의 추가 하위 이미지는 크기 및 위치 중 적어도 하나에서 상기 다수의 하위 이미지에 대응하는 단계와,
상기 다수의 추가 하위 위미지에 대응하는 상기 세그먼트 파라미터에 대한 다수의 초기 추정값(initial estimates)으로서 상기 세그먼트 파라미터의 다수의 값을 제공하는 단계와,
상기 세그먼트 파라미터의 다수의 최적값을 결정하는 단계로서, 상기 다수의 최적값 각각은 상기 다수의 추가 하위 이미지 중 하나에 대응하는 단계와,
상기 세그먼트 파라미터의 상기 다수의 최적값에 근거하여 상기 추가 이미지를 세그먼트 분할하는 단계를 더욱 포함하는 방법.
제 2항에 있어서,
상기 선형 함수를 결정하는 단계는,
다수의 훈련 이미지(training image)를 제공하는 단계와,
상기 세그먼트 파라미터의 다수의 값에서, 상기 다수의 훈련 이미지 각각에 대한 세그먼트 분할 맵(segmentation map)을 생성하는 단계와,
각각의 세그먼트 분할 맵에 대한 대칭 불확실성의 값을 결정하는 단계와,
적어도 한명의 관찰자(observer)에 의한 시각적 인지에 근거하여, 각각의 세그먼트 분할 맵을 과잉-세그먼트, 양호 세그먼트 또는 과소 세그먼트로 분류하는 단계를 포함하는 방법.
이미지를 제공하는 단계;
상기 이미지를 다수의 하위 이미지로 분할하는 단계로서, 각각의 하위 이미지는 다수의 픽셀을 포함하는 단계; 및
각각의 하위 이미지에 대하여, 파라미터의 제 1 값을 결정하는 단계로서, 상기 파라미터는 제 1 세그먼트와 제 2 세그먼트 사이의 경계 조건을 확립하기 위한 한계값 함수와 관련되어 있는 단계; 제 1 파라미터의 상기 제 1 값에 근거하여 상기 하위 이미지의 대칭 불확실성의 제 1 값을 결정하는 단계; 상기 파라미터의 상기 제 1 값 및 상기 대칭 불확실성의 상기 제 1 값을, 사전 설정된 함수와 비교하는 단계; 및 상기 비교하는 단계의 결과에 근거하여, 상기 파라미터의 제 2 값을 결정하는 단계
를 포함하는 이미지를 세그먼트 분할하는 방법.
제 9항에 있어서,
상기 파라미터의 상기 결정된 값을 상기 하위 이미지 내의 각각의 픽셀에 할당하는 단계와,
상기 할당된 값에 필터를 적용하여, 상기 하위 이미지 내의 각각의 픽셀에 대한 상기 파라미터의 필터링 된 값을 얻는 단계와,
상기 파라미터의 상기 필터링 된 값에 근거하여 상기 이미지를 세그먼트 분할하는 단계를 더욱 포함하는 방법.
제 10항에 있어서,
상기 필터는 저역 통과 필터를 포함하는 방법.
제 9항에 있어서,
추가 이미지(additional image)를 제공하는 단계와,
상기 추가 이미지를 다수의 추가 하위 이미지로 분할하는 단계와,
상기 이미지의 다수의 제 1 하위 이미지 각각에 대하여 결정된 상기 파라미터의 상기 제 2 값에 부분적으로 근거하여, 상기 추가 이미지를 세그먼트 분할하는 단계를 더욱 포함하는 방법.
제 9항에 있어서,
상기 사전 설정된 함수는 상기 제 1 파라미터의 로그 값(log)과 상기 대칭 불확실성 사이의 선형 관계(linear relationship)를 나타내는 선형 함수이고, 상기 선형 함수를 초과하는 값은 과잉-세그먼트 분할(over-segmentation)을 나타내고, 상기 선형 함수 미만의 값은 과소-세그먼트 분할(under-segmentation)을 나타내는 방법.
제 13항에 있어서,
상기 선형 함수를 결정하는 단계는,
다수의 훈련 이미지를 제공하는 단계와,
상기 세그먼트 파라미터의 다수의 값에서, 상기 다수의 훈련 이미지 각각에 대한 세그먼트 분할 맵(segmentation map)을 생성하는 단계와,
각각의 세그먼트 분할 맵에 대한 대칭 불확실성의 값을 결정하는 단계와,
적어도 한명의 관찰자(observer)에 의한 시각적 인지에 근거하여, 각각의 세그먼트 분할 맵을 과잉-세그먼트, 양호 세그먼트 또는 과소 세그먼트로 분류하는 단계를 포함하는 방법.
프로세서와 메모리를 포함하는 이미지 세그먼트 분할 장치로서, 상기 메모리는 판독 매체 상에 구현된(embodied) 컴퓨터로 실현될 수 있는 명령(instruction)을 가지는 컴퓨터로-판독될 수 있는 매체를 포함하고, 상기 명령은 상기 프로세서에 의해 실행되었을 때, 상기 프로세서로 하여금 하나 이상의 컴포넌트의 인스턴스를 생성(instantiate)시키는 이미지 세그먼트 분할 장치를 포함하는 시스템으로서,
상기 하나 이상의 컴포넌트는,
(1) 다수의 훈련 이미지에 대하여 전기적으로 수신된 입력에 근거하여 제 1 파라미터와 제 2 파라미터 사이의 함수적 관계를 결정하고, (2) 세그먼트 분할되는 이미지의 하위 이미지에 대하여, 상기 하위 이미지에 대한 상기 제 1 파리미터의 초기값을 결정하고, 상기 제 1 파리미터의 초기값을 결정하도록 구성되는 세그먼트 모듈과;
상기 함수적 관계에 대하여, 상기 제 1 파라미터의 상기 초기값과 상기 제 2 파라미터의 상기 초기값 사이의 비교를 수행하도록 구성되는 비교 모듈을 포함하고,
상기 세그먼트 모듈은 상기 비교에 근거하여 상기 제 1 파라미터의 업데이트된 값을 결정하도록 더욱 구성되는
시스템.
제 15항에 있어서,
상기 세그먼트 모듈은, 세그먼트 분할된 이미지 데이터를 작성(create)할 수 있도록, 상기 제 1 파라미터의 상기 업데이트된 값에 부분적으로 근거하여, 상기 이미지를 세그먼트 분할하도록 또한 구성되어 있는 시스템.
제 16항에 있어서,
상기 세그먼트 분할된 이미지 데이터를 인코딩할 수 있도록 구성된 인코더를 더욱 포함하는 시스템.
제 17항에 있어서,
세그먼트 분할되는 이미지와 세그먼트 분할된 이미지데이터 중 적어도 하나의 통신을 촉진할 수 있도록 구성된 통신 모듈을 더욱 포함하는 시스템.
제 17항에 있어서,
상기 세그먼트 모듈은, 상기 추가 이미지를 다수의 하위 이미지로 분할하고, 상기 제 1 파라미터의 상기 업데이트된 값에 부분적으로 근거하여, 상기 추가 이미지를 세그먼트 분할하도록 더욱 구성된 시스템.
제 15항에 있어서,
상기 제 2 파라미터는 상기 하위 이미지의 대칭 불확실성을 포함하는 시스템.