KR101694697B1

KR101694697B1 - 텍스춰정보를 포함하는 단순 선형 상관 클러스터링을 이용한 영상 분할방법, 이를 기록한 기록매체

Info

Publication number: KR101694697B1
Application number: KR1020150109295A
Authority: KR
Inventors: 이정환; 심재창
Original assignee: 안동대학교 산학협력단
Priority date: 2015-08-03
Filing date: 2015-08-03
Publication date: 2017-01-10

Abstract

본 발명은 입력 영상을 일정간격의 슈퍼픽셀로 나누는 제1단계; 상기 제1단계에서 나누어진 슈퍼픽셀이 텍스춰 정보를 갖는 텍스춰척도를 산출하는 제2단계; 상기 제2단계에서 산출된 값으로 각 화소를 슈퍼픽셀에 할당여부를 결정하는 제3단계; 로 이루어진 영상분할 방법을 제공한다.

Description

텍스춰정보를 포함하는 단순 선형 상관 클러스터링을 이용한 영상 분할방법, 이를 기록한 기록매체 {IMAGE PARTITIONING METHOD USING SLIC(Simple Linear Iterative Clustering) INCLUDING TEXTURE INFORMATION AND RECORDING MEDIUM}

본 발명은 SLIC(Simple Linear Iterative Clustering)방법을 기반으로 텍스춰정보를 포함하여 슈퍼픽셀을 구하는 영상 분할방법에 관한 것으로, 구체적으로 텍스춰정보는 영상으로부터 각 화소에 대해 헤시안(Hessian)행렬을 구하고 이 행렬의 고유치로부터 텍스춰정보를 구하는 텍스춰정보를 포함하는 단순 선형 상관 클러스터링을 이용한 영상 분할방법 및 이를 기록한 기록매체에 관한 것이다.

최근들어 물체추적, 의료영상해석, 영상인식 등에서 슈퍼픽셀(superpixel)을 적용하는 연구가 활발하게 진행되고 있다.

슈퍼픽셀은 그리드(grid)구조인 화소와 다르게 성질이 비슷한 인접화소를 묶어서 작은 균일영역으로 만들어 이를 기본단위로 취급하는 것으로 작게 나누어진 균일영역을 슈퍼픽셀이라고 하며 Shi 및 Malik에 의해 처음으로 사용되었다.

즉, 슈퍼픽셀은 시각적으로 의미있는 원소(atomic)영역이 되도록 화소들을 모은 것으로 영상을 과분할(over-segmentation)하여 구한다.

슈퍼픽셀은 영상의 중복정보를 제거하여 차후의 영상처리 알고리즘을 단순화시키고 효율적인 처리가 가능하게 한다.

따라서 슈퍼픽셀은 비디오와 같은 대용량 영상을 고속으로 처리하기 위한 효과적인 방법 중 하나이다.

슈퍼픽셀은 구하는 방법에 따라 그래프(graph)기반과 기울기(gradient)기반 방법으로 나눌 수 있다.

그래프기반 방법은 각 화소를 그래프의 노드로 생각하고 화소와 화소사이의 특징을 그래프의 에지값(가중치)으로 하여 그래프를 구성한다.

그래프의 모든 노드에 대한 가중치 행렬로부터 고유벡터 및 고유치를 구하여 그래프를 반복적으로 두 개의 부그래프(subgraph)로 나누어 슈퍼픽셀을 구한다.

이 방법은 이론적으로 최적인 영상분할을 할 수 있으나, 크기가 큰 영상의 경우 가중치 행렬로부터 고유벡터 및 고유치를 구하는데 계산시간과 메모리가 많이 필요하다.

기울기기반 방법은 영상의 기울기 값을 구하고 이를 기초로 하여 초기값(seed)을 정하고 각 화소에 대해 모드탐색(mode search) 분할 과정을 적용하여 척도값이 수렴할 때까지 반복적으로 지역적 모드를 찾아 슈퍼픽셀을 구한다.

그러나 이 방법은 슈퍼픽셀의 밀집도 및 균일성을 제어할 수 없으며 초기값에 따라 결과가 민감하게 변하는 단점이 있다.

기울기기반 방법 중 하나인 SLIC방법은 가장 최근에 제안된 방법으로 Lab칼라와 공간좌표를 포함한 5차원 특징공간에서 슈퍼픽셀을 구하는 방법으로 상대적으로 영상내의 영역경계와 슈퍼픽셀의 일치도, 밀집도 및 슈퍼픽셀의 개수 조정측면에서 성능이 우수한 알고리즘으로 알려져 있다.

SLIC방법은 Lab칼라 특징공간과 영상의 공간적 좌표를 특징으로 k-means방법을 적용하여 슈퍼픽셀을 구한다.

대한민국 등록특허공보 제10-1348904호(2013년 12월 30일 등록) 대한민국 등록특허공보 제10-1507732호(2015년 03월 26일 등록)

본 발명은 상기 종래의 실정을 감안하여 안출한 것이며, 그 목적이 SLIC방법을 기반으로, 영상으로부터 각 화소에 대해 헤시안(Hessian) 행렬을 구하고, 이 행렬의 고유치로부터 텍스춰정보를 포함하는 슈퍼픽셀을 구하여 영상 분할을 빠르게 수행하면서 밀집도, 균일성, 원영상과의 경계일치도가 높은 텍스춰정보를 포함하는 단순 선형 상관 클러스터링을 이용한 영상 분할방법, 이를 기록한 기록매체를 제공하는 데에 있는 것이다.

상기 목적을 달성하기 위하여, 본 발명은 입력 영상을 일정간격의 슈퍼픽셀로 나누는 제1단계; 상기 제1단계에서 나누어진 슈퍼픽셀이 텍스춰 정보를 갖는 텍스춰척도를 산출하는 제2단계; 상기 제2단계에서 산출된 값으로 각 화소를 슈퍼픽셀에 할당여부를 결정하는 제3단계;로 이루어진 영상분할 방법을 제공한다.

본 발명의 일 실시형태에 있어서, 상기 제2단계는 Lab칼라 3개채널 정보에 대한 칼라척도를 산출하는 제2-1단계; 공간좌표(x, y)에 대한 공간거리척도를 산출하는 제2-2단계;를 더 포함하는 영상분할 방법을 제공한다.

본 발명의 일 실시형태에 있어서, 상기 제2단계에서 텍스춰정보를 구하는 제2-3단계가 추가되고, 상기 텍스춰정보는 영상의 균일영역과 불균일영역에 대한 정보를 헤시안(Hessain)행렬의 고유치로부터 산출되는 것을 특징으로 하는 단순선형 상관 클러스터링을 이용한 영상분할 방법을 제공한다.

본 발명의 일 실시형태에 있어서, 상기 제2-3단계에서 텍스춰정보는 영상의 균일영역과 불균일영역에 대한 정보로부터 헤시안(Hessain)행렬의 고유치로 구하는 텍스춰정보는 하기의 식에 의해 산출되는 것을 영상분할 방법을 제공한다.

텍스춰정보 T(x,y)는

T(ｘ,ｙ) = (e₁- e₂ )e₁ ω(ｆ(ｘ, ｙ))

이다.

여기서 e₁은 화소에서의 최대지역변화를 나타내고, e₂는 최소지역변화를 나타내며, ω(ｆ(ｘ, ｙ)) 는 가중치함수이다.

본 발명의 일 실시형태에 있어서, 상기 제2-3단계;에서 산출된 텍스춰 정보T(x,y) 로부터 텍스춰척도(d_t)를 산출하는 제2-4단계가 추가되고, 텍스춰척도(d _t )는 하기의 식에 의해 산출되는 영상분할 방법을 제공한다.

텍스춰척도 d _t 는

이다.

여기서

는 k번째 슈퍼픽셀의 중심텍스춰값이고

는 i번째 화소의 텍스춰값이다.

본 발명의 일 실시형태에 있어서, 상기 제 2-4 단계;이후에 산출된 칼라척도(d _c ), 공간거리척도(d _xy ), 텍스춰척도(d _t )로부터 전체거리척도(D)를 산출하는 제 2-5 단계;가 추가되는 영상분할 방법을 제공한다.

본 발명의 일 실시형태에 있어서, 상기 제 2-5 단계;에서 슈퍼픽셀을 구하기 위한 전체거리척도의 산출은 하기의 식에 의해 산출되는 영상분할 방법을 제공한다.

슈퍼픽셀을 구하기 위한 전체거리척도 D 는

이다.

여기서

는 칼라와 텍스춰정보의 반영률을 의미하는데

이다. m은 거리척도에 대한 가중치이다.

본 발명의 일 실시형태에 있어서, 상기 영상분할방법을 수행하여 생성된 슈퍼픽셀의 모양은 사각(square)형 이상의 다각형 그리드 모양이다.

본 발명의 일 실시형태에 있어서, 영상분할 방법을 수행하는 컴퓨터에서 실행 가능한 프로그램을 저장하는 컴퓨터로 판독 가능한 기록 매체이다.

본 발명에 따른 텍스춰정보를 포함하는 단순 선형 상관 클러스터링을 이용한 영상 분할방법은 SLIC방법을 기반으로, 영상으로부터 각 화소에 대해 헤시안(Hessian)행렬을 구하고 이 행렬의 고유치로부터 텍스춰정보를 포함하는 슈퍼픽셀을 구하여 영상 분할을 빠르게 수행하면서, 밀집도, 균일성, 원영상과의 경계일치도가 높은 영상 분할방법을 제공할 수 있다.

도 1은 본 발명의 텍스췌정보를 포함하는 영상 분할 과정을 보여주는 흐름도이다.
도 2는 본 발명의 제2단계에서 텍스춰정보, 칼라정보, 공간거리정보를 포함하는 영상 분할 과정을 보여주는 흐름도이다.
도 3은 원영상과 텍스춰정보에 의한 영상비교이다.
도 4는 본 발명의 이웃 슈퍼픽셀의 병합여부를 결정하는 단계에서 수행되는 과정을 나타내는 모식도이다.
도 5a는 불규칙(밀집도가 낮은)한 슈퍼픽셀에 연결된 이웃 슈퍼픽셀을 표시한 모식도이다.
도 5b는 규칙적(밀집도가 높은)인 슈퍼픽셀을 표시한 모식도이다.
도 6은 버클리대학 영상데이터베이스에서 임의 선택한 영상에 본 발명의 텍스춰정도를 반영하여 사각 및 육각 그리드로 표시한 영상이다.
도 7은 본 발명과 기존방법에 대한 슈퍼픽셀의 밀집도(a)와 균일성(b), 그리고 경계일치도(c)를 비교하여 나타낸 그래프이다.
도 8은 본 발명에 의한 영상분할방법과 기존방법을 비교한 영상이다.

명세서 또는 출원에 개시되어 있는 본 발명의 개념에 따른 실시 예들에 대하여 특정한 구조적 내지 기능적 설명들은 단지 본 발명의 개념에 따른 실시 예를 설명하기 위한 목적으로 예시된 것으로, 본 발명의 개념에 따른 실시 예들은 다양한 형태로 실시될 수 있으며 본 명세서 또는 출원에 설명된 실시 예들에 한정되는 것으로 해석되어서는 아니된다.

이하, 첨부한 도면을 참조하여 본 발명의 바람직한 실시 예를 설명함으로써, 본 발명에 따른 텍스춰정보를 포함하는 단순 선형 상관 클러스터링을 이용한 영상 분할방법, 이를 기록한 기록매체를 상세하게 설명한다.

기울기기반 방법 중 하나인 SLIC방법은 최근에 제안된 방법으로 Lab칼라공간과 공간좌표(x, y)를 포함한 5차원 특징공간에서 슈퍼픽셀을 구하는 방법으로 상대적으로 영상내의 영역경계와 슈퍼픽셀의 일치도, 밀집도 및 슈퍼픽셀의 개수 조정측면에서 성능이 우수한 알고리즘으로 알려져 있다.

기존 SLIC방법은 Lab칼라 특징공간과 영상의 공간적 좌표를 특징으로 k-means방법을 적용하여 슈퍼픽셀을 구한다. 그러나 SLIC은 다른 방법에 비해 우수하지만 k-means를 적용할 때 탐색영역을 영상전체를 대상으로 하여 비효율적이다.

이를 개선한 방법이 SLICO이고, SLICO는 탐색영역을 현재 화소를 중심으로 일정영역으로 제한하여 슈퍼픽셀을 구한다.

Lab칼라 특징공간과 영상의 공간적 좌표를 특징으로 k-means에 의한 방법은 다음과 같이 수행된다.

(1) 군집의 수 M를 결정한다. (여기서는 슈퍼픽셀의 수: 사용자 입력함)

(2) 초기 M개 군집의 중심점을 선택한다.

(3) 주어진 중심점을 기준으로 각 슈퍼픽셀을 거리가 가장 가까운 군집에 할당한다. 이때 중심점과 슈퍼픽셀간의 거리는 Euclidian 거리로 계산한다.

(4) 새로 할당된 슈퍼픽셀을 고려하여 각 군집의 새로운 중심점을 갱신한다(update).

(5) 만약 기존 중심점과 새로 갱신된 중심점간의 변화가 없으면 중지하고, 그렇지 않으면 (2)번으로 돌아가 다시 수행한다.

K-means 알고리즘은 구현이 상대적으로 쉽고, 수행시간이 빠르기 때문에 많이 사용된다.

그러나 이 방법은 각 클러스터 중심의 초기값에 민감하게 반응하는 단점이 있다.

즉 초기 중심점의 위치에 따라 지역적(local) 수렴특성을 갖는 단점이 있다.

다시 말해, 전체적(global)으로 가장 최적화된 클러스터링을 하는 것이 아니라 지역적인 최적화 결과를 나타내는 경향이 있기 때문에, 영역의 경계부분을 시작점으로 하면 수렴특성이 불안정해져서 영역경계부분의 슈퍼픽셀모양이 불규칙하게 된다.

상기와 같이 기존 SLIC방법인 Lab칼라 특징공간과 영상의 공간적 좌표를 특징으로 k-means방법을 적용하여 슈퍼픽셀을 구하는 영상분할 방법에 텍스춰정보를 추가함으로써, 영역경계부분의 불규칙하게 되는 영상 분할을 빠르게 수행하면서, 밀집도, 균일성, 원영상과의 경계일치도를 높일 수 있다.

슈퍼픽셀을 구하기에 앞서 RGB칼라영상을 Lab칼라영상으로 변환(Transform)한다.

먼저 입력 영상을 일정간격의 슈퍼픽셀로 나눈다. 이때 초기 격자의 한 변 S는

로 한다. 여기서 M 은 슈퍼픽셀 수이고 N 은 영상의 화소수이다. 즉 초기격자의 중심점(center point)을 시작점(seed)로 간주하며, 클래스의 수를 슈퍼픽셀의 수인 M 개로 설정한다.

다음은 k-means알고리즘을 적용하여 각 화소를 M 개의 클래스중 어느 하나에 할당한다. 이때 사용하는 특징은 칼라정보(RGB 3개) 및 공간정보(x,y 2개), 텍스춰정보(1개)의 총 6개의 정보이다.

앞서 할당된 영역의 경계부분에 시작점이 설정되지 않도록 각 화소에 소벨 연산자(Sobel operator)를 적용하여 에지(edge)값을 구하고 에지값이 최소인 화소를 시작점으로 재설정한다.

상기 텍스춰 정보를 이용하여 텍스춰척도를 산출한다. 상기 산출된 텍스춰척도는 k-means알고리즘을 적용하여 클래스중 어느 하나에 할당할 때 상기 텍스춰척도를 사용한다.

상기의 Lab칼라정보를 이용하여 칼라 3개채널에 대한 칼라척도를 산출한다. 상기 산출된 칼라척도는 k-means알고리즘을 적용하여 클래스중 어느 하나에 할당할 때 상기 칼라척도를 사용한다.

상기 위치정보를 이용하여 공간좌표(x, y)에 대한 공간거리척도를 산출한다. 상기 산출된 공간거리척도는 k-means알고리즘을 적용하여 클래스중 어 느하나에 할당할 때 상기 공간거리척도를 사용한다.

즉, 상기의 칼라척도, 공간거리척도, 텍스춰척도를 사용하여 유사한 성질을 갖는 화소들을 묶어서 슈퍼픽셀을 구한다.

다시 정리하면, 본 발명에 의한 슈퍼픽셀을 구하는 방법은 입력영상을 일정간격의 슈퍼픽셀로 나누는 단계, 텍스춰 정보에 대한 텍스춰척도을 산출하는 단계, 칼라 Lab 3개채널에 대한 칼라척도를 산출하는 단계, 공간좌표에 대한 공간거리척도를 산출하는 단계, 상기 칼라척도, 공간거리척도, 테스춰척도 산출단계에서 산출된 값으로 전체거리척도를 산출하는 단계, 상기 전체거리척도 산출단계에서 산출된 값으로 각 화소를 슈퍼픽셀에 할당여부를 결정하는 단계 순으로 진행된다.

텍스춰정보는 영상의 균일 및 불균일 영역을 구분할 수 있어야 하는데, 영상에서 균일영역과 불균일 영역에 대한 정보를 헤시안(Hessain)행렬의 고유치로산출하는 방법이 제안된다.

본 발명에서는 이 고유치를 이용하여 균일 및 불균일한 정도를 산출한다. 영상의 화소

에서 헤시안행렬을 아래 식(1)과 같이 표현할 수 있다.

(1)

여기서

,

는 2차미분이고,

아래 식(2)와 같고,

(2)

여기서

(3)

(4)

는

에서 1차미분이다.

같은 방법으로

는

(5)

(6)

로 표현된다.

헤시안행렬은 양(positive)의 준정부호(semidefinite)행렬로 다음과 같은 두 개의 실수 고유치를 갖는다.

(7)

(8)

여기서 e ₁ 은 화소에서의 최대지역변화를 나타내고, e ₂ 는 최소지역변화를 나타낸다.

본 발명에서는 두 고유치를 사용하여 텍스춰정보를 수학식 1과 같이 산출한다.

T(ｘ,ｙ) = (e₁- e₂ )e₁ ω(ｆ(ｘ, ｙ)) (수학식 1)

여기서 ω(ｆ(ｘ, ｙ)) 는 가중치함수로 다음과 같이 구한다.

(9)

여기서

는 화소의 평균변화를 나타내는 값인데 3 x 3 윈도우인 경우 다음과 같이 구한다.

(10)

는

값의 최대 및 최소이다.

에지영역 혹은 텍스춰영역에는 e ₁ 이 크고 e ₂ 가 작으므로 e ₁ - e ₂ 가 크게 되어

값이 증가하고, 반대로 균일영역에서는

값이 감소한다.

그림 3은 원영상과 텍스춰정보를 영상으로 나타낸 것이다.

즉 그림 3은 색종이영상, Lena영상, 버클리대학의 영상데이터베이스(BSD300) 영상 중 임의로 선택한 영상에 대하여 3 x 3 윈도우를 사용하여 텍스춰정보를 구한 것이다. 그림 3에서 알 수 있는 바와 같이 텍스춰 혹은 에지와 같이 불균일영역에서는 텍스춰척도

값이 크고 반대로 균일영역에서는 작은 값을 갖는다.

본 발명에서 슈퍼픽셀을 위한 칼라척도, 공간거리척도, 텍스춰척도는 다음과 같이 구한다.

먼저 Lab칼라 척도 d _t 는

(11)

와 같다.

여기서

는 k번째 슈퍼픽셀의 중심칼라값이고

는 i번째 화소의 칼라값이다.

공간거리척도 d _xy 는

(12)

와 같이 구한다.

여기서

는 k번째 슈퍼픽셀의 중심좌표이고

는 i번째 화소좌표이다.

텍스춰정보(

)로부터 구해진 텍스춰척도 d _t 는

(수학식 2)

와 같다.

여기서

는 k번째 슈퍼픽셀의 중심텍스춰값이고,

는 i번째 화소의 텍스춰값이다.

상기 Lab칼라척도(d _t ), 공간거리척도(d _xy ), 텍스춰척도(d _t )의 산출값을 이용하여 슈퍼픽셀을 구하기 위한 전체거리척도 D 는 다음과 같다.

(수학식 3)

여기서

는 칼라와 텍스춰정보의 반영률을 의미하는데

이다.

m은 거리척도에 대한 가중치이다.

상기 수학식 3에 의해 산출된 전체거리척도(D)로부터 이웃 슈퍼픽셀의 병합여부를 결정하는 단계에서 수행되는 과정은 그림 4와 같이 초기격자 크기(S)의 두배 크기(2S)의 사각형내의 화소에 대해서만 위의 거리척도(D)를 구하여 k-means 알고리즘으로 클러스터링한다.

즉 현재 슈퍼픽셀의 8개 이웃슈퍼픽셀내의 화소의 일부에 대하여 클러스터링을 적용하므로 처리시간을 단축할 수 있다.

이렇게 하는 이유는 전체영상에 대하여 k-means알고리즘을 적용하면 거리계산에 많은 시간이 소요되고 실제적으로도 임의의 한 슈퍼픽셀에 속하는 화소는 거리가 아주 멀리 떨어진 슈퍼픽셀에는 속할 확률이 거의 없다. 즉 임의의 한 슈퍼픽셀의 경계부분에 속하는 화소들에 대하여만 이웃 슈퍼픽셀과 현재의 슈퍼픽셀 중에 어느 곳에 속하는가를 k-means알고리즘으로 조사하는 것이다.

즉 슈퍼픽셀의 각 화소에 대하여 아래 식을 만족하도록 각 화소를 비유사도(

가 최소인 클러스터(슈퍼픽셀)에 할당하는 것이다.

여기서 L(p)는 화소 p의 레이블(어느 슈퍼픽셀에 속하는 지 레이블링함), Q _i 는 화소 p의 이웃 슈퍼픽셀, N _p 는 이웃슈퍼픽셀의 레이블, N 은 이웃슈퍼픽셀의 개수이다.

또한 본 발명은 슈퍼픽셀의 중요한 특징인 밀집도(compactness)를 좋게 하는 특성이 있다.

밀집도는 생성된 각 슈퍼픽셀의 모양이 같거나 유사하게 만드는 것으로 그래프기반 영상처리에서 매우 중요한 성질이다.

즉 그래프기반 영상처리에서 슈퍼픽셀은 그래프의 각 노드(node)가 되는데 노드의 모양(특성)이 일정하면 슈퍼픽셀을 이용한 그래프기반 처리에서 처리시간을 단축시킬 수 있다.

상기 그래프를 이용하여 영상분할하는 방법은 다음과 같다.

그래프는

로 표현가능한데, 여기서 V 는 마디(node) 혹은 절점(vertex)라고 하고, E 는 마디를 연결하는 에지(edge) 혹은 가지(branch)라고 한다.

그래프를 영상에 적용하면 마디는 각 화소가 되고, 에지는 한 화소에 연결된 이웃화소가 되며, 이웃화소와의 유사도(similarity)에 따라 가중치를 가질 수 있다.

위와 같이 영상을 그래프로 표현하면, 영상분할은 가중치의 합이 최소가 되는 에지들을 절단(cut)하여 두 개의 부그래프(sub_graph)로 나누어 분할하고 분할된 각 부그래프에 같은 방법을 적용하여 계속 반복적으로 그래프를 나누어 가면 영상분할이 된다.

여기서 그래프를 나누는 것은 다음식과 같이 나누는 여러 가지 경우의 수중에서 가중치합(

이 최소가 되도록 그래프를 두 개의 부그래프(A그래프와 B그래프)로 나눈다.

그래프의 가중치는 다음과 같이 구할 수 있다.

여기서

는 밝기 혹은 칼라등의 특징이고,

는 이웃노드와의 거리(distance)이다.

위의 그래프를 이용한 영상분할에서 화소단위로 그래프를 구성하면 영상크기가 증가하면 할수록 가중치행렬의 크기가 점점 증가하고 따라서 가중치행렬로부터 고유벡터(eigen vector)와 고유치(eigenvalue)를 구하여 두 개의 부그래프로 나누는데 많은 시간이 소요된다.

실제 현재까지 발표된 논문의 경우 영상크기가 200 x 300정도의 작은 영상에 대하여 실시된다.

따라서 계산시간을 단축하기 위해서 슈퍼픽셀을 구한 후 슈퍼픽셀에 그래프를 적용하는 방법이 제안되었다.

이렇게 하면 화소단위로 가중치행렬을 계산할 때보다 노드 수가 대폭 감소되기 때문에 가중치행렬의 크기도 감소하고 고유치를 계산하는 시간도 단축된다.

그러나 슈퍼픽셀을 만들 때 슈퍼픽셀의 모양이 불규칙적이면 한 슈퍼픽셀에 연결된 이웃 슈퍼픽셀의 개수가 증가하고 또한 각 슈퍼픽셀에 연결되는 이웃 슈퍼픽셀의 수도 슈퍼픽셀마다 서로 다르게 된다.

따라서 이렇게 되면 가중치계산에 더 많은 시간이 소요된다.(즉 그래프의 구성이 복잡하게 됨)

그러므로 슈퍼픽셀의 밀집도가 증가하여 슈퍼픽셀의 모양이 규칙적이면 한 슈퍼픽셀에 연결된 이웃 슈퍼픽셀의 수가 거의 일정하게 되어 가중치계산이 상대적으로 감소하게 된다.(그래프의 구성이 단순해짐)

슈퍼픽셀의 밀집도에 따른 사례로 그림 5a의 불규칙(밀집도가 낮은)한 슈퍼픽셀에 연결된 이웃 슈퍼픽셀과 그림 5b의 상대적으로 규칙적(밀집도가 높은)인 슈퍼픽셀을 표시한 것이다.

중앙의 푸른색 슈퍼픽셀에 연결된 이웃 슈퍼픽셀의 개수가 밀집도가 높은 경우 상대적으로 감소되며 따라서 가중치 계산에 소요되는 시간이 단축된다.

슈퍼픽셀은 다음과 같은 몇 가지 성질을 갖는다.

즉 밀집도(compactness), 균일성(uniformity), 원영상과의 경계일치도(boundary precision & recall) 등이 있다.

밀집도는 슈퍼픽셀들의 모양이 서로 얼마나 닮은꼴인지를 나타내는 값으로 각 슈퍼픽셀의 규칙적인 모양과 크기에 관한 척도이다.

밀집도가 높은 슈퍼픽셀이 공간적인 정보와 경계정보를 보다 잘 표현할 수 있는 반면에 불규칙적인 모양을 갖는 슈퍼픽셀은 기계학습분야에서 과적합(overfitting)이 발생되어 경계정보를 표현하는데 더 많은 데이터가 필요하게 된다.

수학적인 관점에서 밀집도는 등방성(isotropic) 문제로 표현할 수 있다.

2차원에서 등방성은 주어진 경계 길이에 대하여 면적을 가장 크게 하는 것으로 물체의 모양이 원형일 때 밀집도는 가장 큰 값을 갖는다.

즉 주어진 어떤 물체의 면적과 이 물체의 경계길이와 동일한 원주를 갖는 원 면적의 비가 등방성이다.

등방성은 물체 모양이 원일 때 가장 큰 값인 1이고 그 외는 감소한다. 즉 슈퍼픽셀이 원 모양을 갖게 되면 밀집도가 가장 크다.

슈퍼픽셀 S 의 면적을 A _S 라고 하고 둘레를 D _S 라고 하면 D _S 와 같은 둘레를 갖는 원의 반지름은

가 된다.

반지름 r인 원의 면적을 A _s 라고 하면 등방성은

(13)

가 된다.

그리고 이 등방성에 기반하여 밀집도 C 를 다음 식(14)과 같이 정의할 수 있다.

(14)

여기서 S는 각 슈퍼픽셀이고, ㅣSㅣ 는 각 슈퍼픽셀의 크기이며 ㅣIㅣ는 영상전체의 크기이다.

그리고 G 는 영상내의 모든 슈퍼픽셀 집합이다.

밀집도는 경계의 규칙성과 방향성에 민감하며 영상전체의 밀집도는 이 두 요인에 따라 결정된다.

그러므로 밀집도는 대부분의 응용에서 균일하고 규칙적인 경계를 갖는 슈퍼픽셀을 구하기 위해 매우 중요한 성질이다.

균일성은 슈퍼픽셀내 화소값의 균일한 정도를 나타내는 것으로 각 슈퍼픽셀의 분산을 평균한 값으로 표시할 수 있다.

영상 하나의 균일성(

)은 아래 식(15)과 같다.

(15)

여기서 M은 슈퍼픽셀 수이고, P_k는 k번째 슈퍼픽셀내의 화소수이다.

x_i와 m_i는 각각 i번째 화소값과 k번째 슈퍼픽셀의 평균이다.

경계일치도는 슈퍼픽셀과 원영상에 있는 물체 경계와의 일치도를 표시하는 매우 중요한 척도이다.

경계일치도는 boundary precision과 boundary recall로 나눌 수 있는데, precision은 분할영상(

)에 대한 표준분할영상(

)과의 경계일치도를 의미하고, recall은 표준분할영상(ground truth)에 대한 분할영상과의 경계일치도를 나타내는데 식(16)와 같이 구한다.

(16)

여기서 precision은 과분할(over-segmentation) 정도를 측정하는 값이고 recall은 부족분할(under- segmentation) 정도를 의미한다.

[실시 예]

본 발명의 Lab칼라 척도(d_c), 공간거리 척도(d_xy), 텍스춰척도(d_t)의 산출값을 이용하여 슈퍼픽셀을 구하기 위한 전체거리척도 D 산출에서 아래의 수학식 3에 반영된 칼라와 텍스춰정보의 반영률(

)은 0.7로 하고, 거리척도에 대한 가중치(m)는 10으로 실험하였다.

(수학식 3)

제안방법의 슈퍼픽셀 특성을 알아보기 위해 버클리 대학 영상데이터베이스(BSD300) 중 임의로 선택한 다수의 영상과 기존 영상처리에서 많이 사용하는 영상으로 실험하였다.

특히 BSD300은 JPEG형식이며 표준분할영상(ground truth)을 제시하고 있다.

실험은 각 영상에 사각(square)그리드와 육각(hexagon)그리드 방식을 적용하여 슈퍼픽셀을 구하였다.

그림 6은 실험에 사용한 한 영상에 대하여 슈퍼픽셀을 구한 결과이다.

그림 6(a) 및 6(b)는 색종이영상에 대하여 본 발명의 영상분할방법으로 슈퍼픽셀을 구하였는데, 각각 사각 및 육각그리드로 슈퍼픽셀과 원영상을 겹쳐서 표시한 것이다.

그림 6(c) 및 6(d)는 Lena영상에 대한 결과이고 그림 6(e) 및 6(f)는 BSD300영상에 대한 결과이다.

실험결과를 보면 텍스춰를 고려한 슈퍼픽셀의 모양이 보다 균일한 것을 알 수 있다.

그림 7은 본 발명의 영상분할방법과 기존의 영상분할방법에 대한 슈퍼픽셀의 밀집도(a)와 균일성(b), 그리고 경계일치도(c)를 나타낸 것이다.

그래프의 SLICO_SG 및 SLICO_HG는 기존의 영상분할방법의 사각 및 육각그리드에 대한 결과이고, TSLIC_SG 및 TSLIC_HG는 본 발명의 영상분할방법의 사각 및 육각그리드에 대한 결과이다.

그래프에서 알 수 있듯이 밀집도는 본 발명의 영상분할방법 중 육각그리드일 때 가장 작은 값을 갖고, 기존의 영상분할방법의 사각그리드에서 가장 큰 값을 갖는다.

그리고 본 발명의 영상분할방법의 사각 및 육각그리드는 슈퍼픽셀의 개수에 큰 영향을 받지 않는 것을 알 수 있다.

균일성은 4가지 방법에 대하여 유사한 값을 갖는 것을 볼 수 있다.

슈퍼픽셀의 개수가 증가함에 따라 균일성이 좋아지는 것을 알 수 있으며 아울러 각각의 방법에 대하여 그리드에 따른 차이가 거의 없음을 알 수 있다.

경계일치도는 슈퍼픽셀의 개수가 증가함에 따라 비슷한 값을 가지는데 개수가 감소함에 따라 본 발명의 영상분할방법의 경계일치도가 낮아지는 것을 볼 수 있다.

이는 본 발명의 영상분할방법의 경우 육각 및 사각그리드에 대하여 밀집도가 좋아지게 되기 때문인 것으로 밀집도와 경계일치도에 대하여서는 응용에 따라 trade-off가 필요하다.

각 데이터는 실험에 사용한 전체영상으로부터 얻은 결과를 평균한 것이다.

그림 8은 4가지 영상에 대하여 기존의 영상분할방법과 본 발명의 영상분할방법을 적용한 결과이다.

첫 번째 행은 원영상이고, 두 번째 행은 텍스춰정보를 표시한 것이다.

그리고 세 번째와 네 번째 행은 사각그리드로 표현된 기존의 영상분할방법 및 본 발명의 영상분할방법의 결과이다.

또한 다섯 번째와 여섯 번째는 육각그리드로 표현된 기존의 영상분할방법 및 본 발명의 영상분할방법의 결과이다.

이 실험결과로부터 텍스춰정보가 비교적 잘 구해짐을 알 수 있다.

원영상 8(1)은 인공합성영상으로 중앙의 원을 포함한 주위로 잡음을 첨가한 영상인데 텍스춰정보가 중앙에 원형으로 잘 검출됨을 알 수 있다.

원영상 8(2) 및 8(3)도 호수 및 지문영상으로 원영상에서 화소값 변화가 많은 부분이 텍스춰영역으로 검출됨을 알 수 있다.

그리고 원영상 8(4)는 주위의 털부분에 많은 텍스춰정보가 포함되었음을 보여준다.

사각 및 육각그리드에 대하여 본 발명의 영상분할방법이 기존의 영상분할방법에 비하여 슈퍼픽셀의 모양이 보다 균일함을 알 수 있다.

본 발명의 실시 예에서 슈퍼픽셀이 개수가 500개로 하였다.

본 발명에 따른 방법은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다.

상기 코드는 상기 컴퓨터의 마이크로 프로세서를 인에이블할 수 있다.

컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다.

컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장장치 등이 있으며, 또한 본 발명에 따른 객체 정보 추정 방법을 수행하기 위한 프로그램 코드는 캐리어 웨이브(예를 들어, 인터넷을 통한 전송)의 형태로 전송될 수도 있다.

또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.

그리고 본 발명을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술분야의 프로그래머들에 의해 용이하게 추론될 수 있다.

상기한 본 발명의 바람직한 실시예는 단지 예시의 목적을 위해 개시된 것이고, 본 발명에 대한 통상의 지식을 가지는 당업자라면 본 발명의 사상과 범위 안에서 다양한 수정, 변경, 부가가 가능할 것이며, 이러한 수정, 변경 및 부가는 하기의 특허청구범위에 속하는 것으로 보아야 할 것이다.

Claims

입력 영상을 일정간격의 슈퍼픽셀로 나누는 제1단계;
상기 제1단계에서 나누어진 슈퍼픽셀에 대하여,
Lab칼라 3개채널 정보에 대한 칼라척도를 산출하는 제2-1단계;
공간좌표(x, y)에 대한 공간거리척도를 산출하는 제 2-2 단계;
영상의 균일영역과 불균일영역에 대한 정보를 헤시안(Hessain)행렬의 고유치로부터 텍스춰정보는 구하는 제2-3단계;로 텍스춰척도를 산출하는 제2단계;
상기 제 2 단계에서 산출된 값으로 각 화소를 슈퍼픽셀에 할당여부를 결정하는 제3단계;로 이루어지되,
상기 제2-3단계;에서의 텍스춰정보는 영상의 균일영역과 불균일영역에 대한 정보로부터 헤시안(Hessain)행렬의 고유치로부터 산출하는 텍스춰정보 T(ｘ, ｙ)는 아래의 수학식 1에 의해 산출되는 것을 특징으로 하는 단순선형 상관 클러스터링을 이용한 영상분할 방법.
T(ｘ,ｙ) = (e₁- e₂ )e₁ ω(ｆ(ｘ, ｙ))..............(수학식 1)
여기서 x, y는 2차원 영상의 가로 및 세로의 좌표값이고, e₁은 화소에서의 최대지역변화를 나타내고, e₂는 최소지역변화를 나타내며, f(x,y)는 좌표(x,y)에서의 화소값이고, ω(ｆ(ｘ, ｙ))는 가중치함수이다.
삭제
삭제
삭제
제1항에 있어서,
상기 제2-3단계;에서 산출된 텍스춰 정보T(x,y) 로부터 텍스춰척도(d_t)를 산출하는 제2-4단계;가 추가된 것을 특징으로 하는 단순선형 상관 클러스터링을 이용한 영상분할 방법.
제5항에 있어서,
상기 제2-4단계;에서의 텍스춰척도(d_t)는 아래의 수학식 2에 의해 산출되는 것을 특징으로 하는 단순선형 상관 클러스터링을 이용한 영상분할 방법.

(수학식 2)
여기서
는 k번째 슈퍼픽셀의 중심텍스춰값이고
는 i번째 화소의 텍스춰값이다.
제6항에 있어서,
상기 제 2-4 단계;이후에 산출된 칼라척도(d_c), 공간거리척도(d_xy), 텍스춰척도(d_t)로부터 전체거리척도(D)를 산출하는 제 2-5 단계;가 추가되는 것을 특징으로 하는 단순선형 상관 클러스터링을 이용한 영상분할 방법.
제7항에 있어서,
상기 제2-5 단계;에서 슈퍼픽셀을 구하기 위한 전체거리척도(D)의 산출은 아래의 수학식 3에 의해 산출되는 것을 특징으로 하는 단순선형 상관 클러스터링을 이용한 영상분할 방법.

(수학식 3)
여기서
는 칼라와 텍스춰정보의 반영률을 의미하는데
이다. m 은 거리척도에 대한 가중치이고, S는 입력 영상을 일정간격의 슈퍼픽셀로 나누는 제1단계에서 초기격자의 한변의 길이이다.
제1항, 제5항 내지 제8항 중 어느 하나의 방법을 수행하여 생성된 슈퍼픽셀의 모양은 사각(square)형 이상의 다각형 그리드 모양인 것을 특징으로 하는 단순선형 상관 클러스터링을 이용한 영상분할 방법.
제1항, 제5항 내지 제8항 중 어느 하나의 방법을 수행하는 컴퓨터에서 실행 가능한 프로그램을 저장하는 컴퓨터로 판독 가능한 기록 매체.