KR101348904B1

KR101348904B1 - 고차 상관 클러스터링을 이용한 이미지 분할 방법, 이를 처리하는 시스템 및 기록매체

Info

Publication number: KR101348904B1
Application number: KR1020120006668A
Authority: KR
Inventors: 유창동; 김성웅; 박상혁
Original assignee: 한국과학기술원
Priority date: 2012-01-20
Filing date: 2012-01-20
Publication date: 2014-01-09
Also published as: US20130188869A1; KR20130085697A; US9111356B2

Abstract

본 발명의 일 실시예에 따른 이미지 분할 방법은 입력 이미지를 슈퍼픽셀들로 나누는 제1 단계; 상기 제1 단계를 통해 얻어진 슈퍼픽셀들 중 인접하는 2 이상의 복수의 슈퍼픽셀을 특정 조건을 고려한 연결을 통해 하이퍼그래프를 구축하는 제2 단계; 및 상기 하이퍼그래프의 각 에지의 특징 벡터를 추출하여 조인트 특징 맵을 구성하고, 고차 상관 클러스터링을 통해, 구축된 상기 하이퍼그래프를 분할하는 제3 단계를 포함한다.

Description

고차 상관 클러스터링을 이용한 이미지 분할 방법, 이를 처리하는 시스템 및 기록매체{IMAGE PARTITIONING METHOD USING HIGH-ORDER CORRELATION CLUSTERING, SYSTEM PROCESSING THE METHOD AND RECORDING MEDIUM}

본 발명은 이미지 처리 방법에 관한 것으로, 보다 구체적으로는, 고차 상관 클러스터링 방법을 이용한 이미지 분할을 통하여 이미지를 처리하는 방법에 관한 것이다.

이미지 분할은 하이-레벨 이미지 이해(high-level image understanding)에 대한 최신식 알고리즘의 중요한 전처리 과정에 해당한다.

이미지 분할 알고리즘은 그래프-기반(graph-bassed) 및 비-그래프-기반(non-graph-based) 중 어느 하나에 해당할 수 있고, 비-그래프-기반 이미지 분할 알고리즘에 비해, 그래프-기반 이미지 분할 알고리즘은 일관적인 이미지 분할을 보여준다.

상관 클러스터링(correlation clustering) 방법은 그래프-기반, 전역-목적 및 에지-레이블링 알고리즘에 해당하며, 이미지 분할에 높은 성능을 가진다. 하지만, 종래의 상관 클러스터링 방법은 분할 경계의 정확도 측면에 문제가 있었다.

따라서, 본 발명이 해결하고자 하는 과제는 이미지 분할을 빠르게 수행하면서, 정확도 또한 좋은 이미지 분할 방법을 제공하려는 것이다.

본 발명의 일 실시예에 따른 이미지 분할 방법은 입력 이미지를 슈퍼픽셀들로 나누는 제1 단계; 상기 제1 단계를 통해 얻어진 슈퍼픽셀들 중 인접하는 2 이상의 복수의 슈퍼픽셀을 특정 조건을 고려한 연결을 통해 하이퍼그래프를 구축하는 제2 단계; 및 상기 하이퍼그래프의 각 에지의 특징 벡터를 추출하여 조인트 특징 맵을 구성하고, 고차 상관 클러스터링을 통해, 구축된 상기 하이퍼그래프를 분할하는 제3 단계를 포함할 수 있다.

또한, 상기 특정 조건은 상기 인접하는 2 이상의 복수의 슈퍼픽셀이 유사 영역에 속할 경우, 상기 인접하는 2 이상의 복수의 슈퍼픽셀을 통합하는 조건에 해당할 수 있다.

또한, 상기 인접하는 2 이상의 복수의 슈퍼픽셀이 유사 영역에 속하는지 여부는 아래의 판별 함수의 결과의 부호 및 크기를 이용하여 결정할 수 있다.

이때, x는 입력 이미지(input image), y는 레이블(labels), w는 파라미터(parameters)에 해당할 수 있고,

는

(여기서,

는 슈퍼픽셀들(노드들)의 조합)에 해당하는 하이퍼에지들(hyperedges)의 조합이고, e는 2개 이상의 노드들을 가지는 하이퍼에지에 해당하고,

는 w를 파라미터로 하는 인접하는 복수의 노드들 간의 유사도에 해당하고,

는 이웃하는 슈퍼픽셀 사이의 특징 차이를 반영하는 쌍별 특징 벡터(pairwise feature vector)에 해당하고,

는 3 이상의 슈퍼픽셀들 사이의 특징 차이를 반영하는 고차 특징 벡터(high-order feature vector)에 해당하고,

는 조인트 특징 맵(joint feature map)에 해당할 수 있다.

또한, 상기 w, w_p, w_h는 Structured Suppot Vector Machine(S-SVM)에 의해 추정될 수 있다.

상기

및

는 시각적 큐(visual cues)로부터 얻어질 수 있다.

본 발명의 일 실시예에 따른 이미지 시스템은 입력 이미지를 수신하는 이미지 데이터 포획 장치; 및 상기 입력 이미지를 슈퍼픽셀들로 나누고, 인접하는 2 이상의 복수의 슈퍼픽셀을 특정 조건을 고려한 연결을 통해 하이퍼그래프를 구축하고, 상기 하이퍼그래프의 각 에지의 특징 벡터를 추출하여 조인트 특징 맵을 구성하고, 고차 상관 클러스터링을 통해, 구축된 상기 하이퍼그래프를 분할하는 이미지 데이터 처리 장치를 포함할 수 있다.

상기 이미지 데이터 처리 장치는 파라미터 및 조인트 특징 맵이 주어진 상태에서 상기 판별 함수가 최대가 되도록 하는 하이퍼에지 레이블들을 찾음으로써 하이퍼그래프를 분할할 수 있다.

본 발명의 이미지 분할을 위한 고차 상관 클러스터링 방법에 따르면, 보다 넓은 영역을 한꺼번에 처리할 수 있기 때문에 이미지 분할을 빠르게 수행할 수 있어 보다 효율적이다.

본 발명의 이미지 분할을 위한 고차 상관 클러스터링 방법에 따르면, 다른 방법들에 비해 이미지 분할 및 지역 레이블링에 대해 정확도가 높은 결과를 얻을 수 있다.

본 발명의 상세한 설명에서 인용되는 도면을 보다 충분히 이해하기 위하여 각 도면의 상세한 설명이 제공된다.
도 1은 본 발명의 일 실시예에 따른 이미지 시스템을 나타내는 도면이다.
도 2a는 고차 상관 클러스터링을 이용한 이미지 분할 방법을 설명하기 위한 전체적인 흐름도이다.
도 2b는 도 2a의 방법에 대해 시각적으로 이해를 돕기 위한 도면이다.
도 3a는 도 2a의 고차 상관 클러스터링 방법을 이용한 이미지 분할에 대해 설명하는 흐름도이다.
도 3b는 도 3a의 방법에 대해 이해를 돕기 위한 도면이다.
도 4 내지 도 6은 본 발명에 따른 고차 상관 클러스터링 방법의 설명을 돕기 위한 도면이다.
도 7은 본 발명의 효과를 설명하기 위한 도면으로, 여러 방법에 따른 이미지 분할 이후 지역 레이블링을 수행한 결과를 나타낸다.

본 명세서 또는 출원에 개시되어 있는 본 발명의 개념에 따른 실시 예들에 대해서 특정한 구조적 내지 기능적 설명들은 단지 본 발명의 개념에 따른 실시 예를 설명하기 위한 목적으로 예시된 것으로, 본 발명의 개념에 따른 실시 예들은 다양한 형태로 실시될 수 있으며 본 명세서 또는 출원에 설명된 실시 예들에 한정되는 것으로 해석되어서는 아니된다.

본 발명의 개념에 따른 실시 예는 다양한 변경을 가할 수 있고 여러 가지 형태를 가질 수 있으므로 특정 실시 예들을 도면에 예시하고 본 명세서 또는 출원에 상세하게 설명하고자 한다. 그러나, 이는 본 발명의 개념에 따른 실시 예를 특정한 개시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.

제1 및/또는 제2 등의 용어는 다양한 구성 요소들을 설명하는데 사용될 수 있지만, 상기 구성 요소들은 상기 용어들에 의해 한정되어서는 안된다. 상기 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로만, 예컨대 본 발명의 개념에 따른 권리 범위로부터 이탈되지 않은 채, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소는 제1 구성요소로도 명명될 수 있다.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 구성요소들 간의 관계를 설명하는 다른 표현들, 즉 "~사이에"와 "바로 ~사이에" 또는 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.

본 명세서에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 설시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

또한, 서로 다른 문자라도 아래 첨자가 같은 경우, 아래 첨자가 의미하는 것에 대해 공통성을 가진다. 예컨대, p가 아래 첨자인 경우, pairwise의 의미를 가지며, h가 아래 첨자인 경우, high-order의 의미를 가진다.

이하, 첨부한 도면을 참조하여 본 발명의 바람직한 실시 예를 설명함으로써, 본 발명을 상세히 설명할 것이며, 같은 문자는 같은 의미를 가진다.

도 1은 본 발명의 일 실시예에 따른 이미지 시스템을 나타내는 도면이다.

도 1을 참고하면, 상기 이미지 시스템(10)은 이미지 분할을 위한 고차 상관 클러스터링 방법을 수행하며, 이미지 데이터 포획 장치(20) 및 이미지 데이터 처리 장치(30)를 포함한다.

상기 이미지 데이터 포획 장치(20)는 이미지 데이터를 포획하기 위한 것으로, 예컨대, 광원(illumination sources), 여러 광 소자, 홀로그래픽 소자, 위상 변조 소자, 감지기(센서나 카메라 등), 상기 이미지 데이터 포획 장치를 지원하기 위해 필요한 부속 하드웨어들을 포함할 수 있다.

상기 이미지 데이터 처리 장치(30)는 상기 이미지 데이터 포획 장치(20)에 의해 포획된 이미지 데이터를 처리하기 위한 장치에 해당하며, 이하 설명할 이미지 분할을 위한 고차 상관 클러스터링 방법을 이용하여 이미지 분할을 수행하고, 분할된 지역을 레이블링할 수 있다.

상기 이미지 데이터 처리 장치(30)는 이미지 데이터를 소프트웨어적으로 처리를 위한 프로세서, 시스템을 제어하는 장치, 및 이미지 데이터를 기록하기 위한 데이터 저장 유닛 등을 포함할 수 있다.

도 2a는 고차 상관 클러스터링을 이용한 이미지 분할 방법을 설명하기 위한 전체적인 흐름도이고, 도 2b는 도 2a의 방법에 대해 시각적으로 이해를 돕기 위한 도면이다. 도 2a의 이미지 분할 방법은 도 1의 이미지 시스템(10)에 의해 수행될 수 있고, 보다 구체적으로는 이미지 데이터 처리 장치(30)에 의해 수행될 수 있다.

도 2a 및 도 2b를 참고하면, 고차 상관 클러스터링을 이용한 이미지 분할 방법은 이미지가 입력되면 본 발명에 따른 고차 상관 클러스터링 방법을 이용하여 이미지를 분할하고(S110), 분할된 지역을 레이블링한다(S120).

도 3a는 도 2a의 상관 클러스터링 방법을 이용한 이미지 분할에 대해 설명하는 흐름도이고, 도 3b는 도 3a의 방법에 대해 이해를 돕기 위한 도면이다. 도 3a의 방법은 도 1의 이미지 시스템(10)에 의해 수행될 수 있고, 보다 구체적으로는 이미지 데이터 처리 장치(30)에 의해 수행될 수 있다.

도 3a 및 도 3b를 참고하면, 이미지가 입력되면, 입력된 상기 이미지를 슈퍼픽셀(superpixel)로 나눈다(S210). 이때, 상기 슈퍼픽셀은 여러 개의 픽셀이 합쳐진 영역에 해당할 수 있으며, 상기 슈퍼픽셀은 미리 결정된 기준에 의해 러프하게 나뉘어진 슈퍼픽셀에 해당할 수 있다.

다음으로, 상기 슈퍼픽셀들 중 이웃하는 2 이상의 복수의 슈퍼픽셀을 특정 조건을 고려한 연결을 통해 하이퍼그래프를 구축한다(S220). 보다 구체적으로, 얻어진 슈퍼픽셀들 각각을 하나의 노드로 하고, 2 이상의 복수의 인접한 노드들을 묶어 하이퍼에지를 형성하여 그래프를 구축한다.

이때, 상기 특정 조건은, 이웃하는 2 이상의 복수의 슈퍼픽셀들이 특정 조건을 만족하는 경우 2 이상의 복수의 슈퍼픽셀들을 통합(merge)하는 조건에 해당한다. 상기 특정 조건에 대해 보다 구체적으로는 이하에서 도 4를 참고하여 설명하기로 한다.

다음으로, 각 에지의 특징 벡터를 추출하여 조인트 특징 맵을 구성하고, 고차 상관 클러스터링을 통해 구축된 상기 하이퍼그래프를 분할하여 이미지 분할을 얻는다(S230). 상기 본 발명의 고차 상관 클러스터링에 대해서 이하에서 설명된다.

도 4 내지 도 6은 본 발명에 따른 고차 상관 클러스터링 방법의 설명을 돕기 위한 도면이다. 도 4를 참고하면, 노드들(예컨대, i,j,k)은 슈퍼픽셀들에 해당하고, 링크들은 인접한 슈퍼픽셀들의 노드들 사이를 연결한 것에 해당한다. 이때, 2개의 노드들 사이만 링크를 구성한 기존의 일반적인 그래프와 달리 상기의 하이퍼그래프는 2개 이상(도 4에서는 3개) 노드들 사이에도 링크가 형성된다.

상기 특정 조건은 인접한 2개 이상의 복수의 노드들(예컨대, i, j 및 k)가 모두 하나의 유사 영역에 속할 경우, 바이너리 레이블(binary label) y_e(예컨대, y_ijk)=1에 해당하고, 그렇지 않을 경우, 바이너리 레이블(binary label) y_e(예컨대, y_ijk)=0에 해당하는 것으로 정의한다.

도 4의 경우, 복수의 노드들(예컨대, 노드 i, j 및 k)이 유사 영역에 속하는지 여부를 측정하기 위한 판별 함수(discriminant function)는 수학식 1과 같다.

이때, x는 입력 이미지(input image), y는 레이블(labels), w는 파라미터(parameters)에 해당한다.

또한, 슈퍼픽셀 하이퍼그래프(

)에서,

는 슈퍼픽셀들(노드들)의 조합에 해당하고,

는

에 해당하는 하이퍼에지들(hyperedges)의 조합이고, e는 2개 이상의 노드들을 가지는 하이퍼에지에 해당한다.

따라서,

는 분리된 두 개의

과

으로 구분될 수 있으며,

에 해당한다.

또한,

는 w를 파라미터로 하는 인접하는 복수의 노드들 간의 유사도에 해당하고, 큰 양의 값을 가지는 경우, 큰 유사성이 있음을 나타내고, 큰 음의 값을 가지는 경우, 큰 차이가 있음을 나타낸다.

는 특징벡터로,

및

로 할당되며,

및

는 각각 이웃하는 두 슈퍼픽셀들 사이의 특징 차이를 반영하는 쌍별 특징 벡터(pairwise feature vector) 및 3 이상의 슈퍼픽셀들 사이의 특징 차이를 반영하는 고차 특징 벡터(high-order feature vector)에 해당한다.

w는 파라미터이고, 역시 w_p 및 w_h로 할당된다.

는 조인트 특징 맵(joint feature map)에 해당한다. 상기 w는 나중에 설명될 Structured Support Vector Machine(S-SVM)에 의해 추론된다.

이미지 분할은 상기 판별 함수 F(x,y;w)를 최대화함으로써, 슈퍼픽셀 하이퍼그래프(

) 상의 바이너리 에지 레이블(

)을 아래 수학식 2와 같이 추론하는 것이다. 여기서,

는 노드 조합(set),

는 에지 조합(set)

여기서,

는 타당한 분할(valid partitioning)에 해당하는

의 조합(set)에 해당한다.

레이블(y)이 타당한 조합이 되도록 하는 특정 조건(constraints)을 고려한 판별 함수 F(x,y;w)을 최대화하는 에지 레이블(

)을 한꺼번에 추정한다.

이때, 상기 특정 조건은 타당한 영상 분할 결과를 얻을 수 있는 에지 레이블들 사이의 관계를 나타내는 것으로, 예컨대, 노드 i, j, k가 하나의 하이퍼에지로 구성되고, 상기 3개의 노드들 사이의 바이너리 레이블(binary label) y_ijk=1일 때 (노드 i, j, k가 모두 하나의 유사 영역에 속한다고 판단), 타당한 영상 분할이 되기 위해서는 노드 i와 j 사이의 바이너리 레이블(binary label) y_ij, 노드 j와 k 사이의 바이너리 레이블(binary label) y_jk, 및 노드 i 와 k 사이의 바이너리 레이블(binary label) y_ik이 모두 1이 되어야 한다.

여기서, 상기 수학식 2를 푸는 문제는 특정 조건까지 고려하여 바이너리 값으로 레이블링해야 하므로 NP-hard에 해당하여 풀기에 복잡도가 매우 크다. 따라서, 0과 1 사이의 예컨대, 0.2, 0.4 등과 같은 값도 가질 수 있도록 relaxation하는 LP(Linear Program) relaxation에 의해

를 근사한다. 이때, LP relexation에 의해 나온 근사 결과는 내림을 통해 간단히 타당한 0 또는 1을 얻도록 할 수 있다. 예컨대, 0.9, 0.7 값이 얻어진 경우 내림으로 0으로 간주할 수 있다.

수학식 1과 같이 F(x,y;w)는 w_p와

및 w_h와

의 선형(linear) 형태로 정의된다.

슈퍼픽셀로부터 추출할 수 있는 시각적 큐(visual cues)로부터

가 수학식 3과 같이,

는 수학식 4와 같이 정의될 수 있다.

이때,

는 두 슈퍼픽셀 사이의 color difference,

는 두 슈퍼픽셀 사이의 texture difference,

는 두 슈퍼픽셀 사이의 shape/location difference,

는 두 슈퍼픽셀 사이의 edge strength,

는 두 슈퍼픽셀 사이의 joint visual word posterior feature에 해당할 수 있다.

이때,

는 하이퍼에지에 있는 슈퍼픽셀들 간의 color / texture vriance,

는 edge strength,

는 template matching feature에 해당할 수 있다.

파라미터 w, w_p, w_h는 훈련(training) 데이터로부터 Structured Support Vector Machine(S-SVM)에 의하여 추측될 수 있다. 상기 S-SVM에 대해 이하 개략적으로 설명하도록 한다.

N번 훈련 샘플들

(yⁿ이 n번째 훈련 이미지에 대한 실제 에지 레이블(ground-truth edge lables)에 해당)을 고려해볼 때, 상기 S-SVM는 수학식 5와 같이 선형 마진(linear margin) 조건들의 조합을 조건으로 이차 목적 함수를 최소화함으로써 파라미터 w를 최적화한다.

여기서,

이고, C는 0보다 크며, 마진( margin)을 최대화하는 것(도 5 참고)과, 에러를 최소화하는 것 사이의 균형 유지(trade-off)를 제어하기 위한 상수이다.

상기 S-SVM에서, 마진은 y와 yⁿ사이의 차이를 나타내는 로스(loss)

로 스케일(scale)된다.

S-SVM은 많은 수의 마진 조건들을 가지고 있기 때문에, 상기 수학식 5는 풀기가 어렵다. 따라서, cutting plane algorithm을 이용하여 해결한다.

상기 cutting plane algorithm은 I. Tsochantaridis, T. Joachims, T. Hofmann, and Y. Altun. Large margin methods for structured and independent output variables. JMLR, 6, 2005 및 S. Nowozin and S. Jegelka. Solution stability in linear programming relaxations: Graph partitioning and unsupervised learning. ICML, 2009. 등에 게시되며, 그 방법에 대해서는 잘 알려져 있다.

상기 로스(loss)는 아래 수학식 6과 같이 나타난다.

도 6을 참고하면, 본 발명의 이미지 분할을 위한 상관 클러스터링의 경우에는 1로 레이블되는 에지의 수(red)가 0으로 레이블되는 에지의 수(green)보다 상대적으로 클 수 있다. 이 경우, 같은 비중의 로스(loss)가 아닌데, 같은 비중의 로스(loss)로 취급하면, 전체 이미지를 하나의 클러스터링하는 문제가 발생할 수 있다.

따라서, 이와 같은 문제를 해결하기 위해 0으로 레이블되는 에지에 상대 가중치(R_p 및 R_h)를 주어 로스(loss)를 아래 수학식 7과 같이 나타낼 수 있다.

이때, D는 쌍별(pairwise) 에지 레이블에서 로스와 고차(high-order) 에지 레이블에서 로스와의 상대적 가중치에 해당하고, R_p 및 R_h는 상대 가중치로서, 1보다 작다.

도 7은 본 발명의 효과를 설명하기 위한 도면으로, 여러 방법에 따른 이미지 분할 이후 지역 레이블링을 수행한 결과를 나타낸다.

도 7을 참고하면, 종래의 다른 방법들을 이용한 이미지 분할 이후 지역 레이블링을 수행한 결과(72, 73 및 74)에 비해 본 발명에 따른 방법을 이용한 이미지 분할 이후 지역 레이블링을 수행한 결과(75)가 실제(ground-truth, 71)에 더 가깝다.

본 발명에 따른 방법은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 상기 코드는 상기 컴퓨터의 마이크로 프로세서를 인에이블할 수 있다.

컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다.

컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장장치등이 있으며, 또한 본 발명에 따른 객체 정보 추정 방법을 수행하기 위한 프로그램 코드는 캐리어 웨이브(예를들어, 인터넷을 통한 전송)의 형태로 전송될 수도 있다.

또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고 본 발명을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술분야의 프로그래머들에 의해 용이하게 추론될 수 있다.

상기한 본 발명의 바람직한 실시예는 단지 예시의 목적을 위해 개시된 것이고, 본 발명에 대한 통상의 지식을 가지는 당업자라면 본 발명의 사상과 범위 안에서 다양한 수정, 변경, 부가가 가능할 것이며, 이러한 수정, 변경 및 부가는 하기의 특허청구범위에 속하는 것으로 보아야 할 것이다.

이미지 시스템(10)
이미지 데이터 포획 장치(20)
이미지 데이터 처리 장치(30)
실제(ground-truth) 지역 레이블링(71)
종래의 다른 제1 방법을 이용한 이미지 분할 이후 지역 레이블링(72)
종래의 다른 제2 방법을 이용한 이미지 분할 이후 지역 레이블링(73)
종래의 다른 제3 방법을 이용한 이미지 분할 이후 지역 레이블링(74)
본 발명에 따른 방법을 이용한 이미지 분할 이후 지역 레이블링(75)

Claims

입력 이미지를 슈퍼픽셀들로 나누는 제1 단계;
상기 제1 단계를 통해 얻어진 슈퍼픽셀들 중 인접하는 2 이상의 복수의 슈퍼픽셀을 특정 조건을 고려한 연결을 통해 하이퍼그래프를 구축하는 제2 단계; 및
상기 하이퍼그래프의 각 에지의 특징 벡터를 추출하여 조인트 특징 맵을 구성하고, 고차 상관 클러스터링을 통해, 구축된 상기 하이퍼그래프를 분할하는 제3 단계를 포함하는 고차 상관 클러스터링을 이용한 이미지 분할 방법.
제1항에 있어서, 상기 제2 단계에서,
상기 특정 조건은 상기 인접하는 2 이상의 복수의 슈퍼픽셀이 유사 영역에 속할 경우, 상기 인접하는 2 이상의 복수의 슈퍼픽셀을 통합하는 조건에 해당하는 고차 상관 클러스터링을 이용한 이미지 분할 방법.
제2항에 있어서,
상기 인접하는 2 이상의 복수의 슈퍼픽셀이 유사 영역에 속하는지 여부는 아래의 판별 함수의 결과의 부호 및 크기를 이용하여 결정하는 고차 상관 클러스터링을 이용한 이미지 분할 방법.

(이때, x는 입력 이미지(input image), y는 레이블(labels), w는 파라미터(parameters)에 해당하고,
는
(여기서,
는 슈퍼픽셀들(노드들)의 조합)에 해당하는 하이퍼에지들(hyperedges)의 조합이고, e는 2개 이상의 노드들을 가지는 하이퍼에지에 해당하고,
는 w를 파라미터로 하는 인접하는 복수의 노드들 간의 유사도에 해당하고,
는 이웃하는 슈퍼픽셀 사이의 특징 차이를 반영하는 쌍별 특징 벡터(pairwise feature vector)에 해당하고,
는 3 이상의 슈퍼픽셀들 사이의 특징 차이를 반영하는 고차 특징 벡터(high-order feature vector)에 해당하고,
는 조인트 특징 맵(joint feature map)에 해당)
제3항에 있어서, 상기 제3 단계는
파라미터 및 조인트 특징 맵이 주어진 상태에서 상기 판별 함수가 최대가 되도록 하는 에지 레이블들을 찾음으로써 하이퍼그래프를 분할하는 단계이고,
상기 w, w_p, w_h는 Structured Suppot Vector Machine(S-SVM)에 의해 추정되는 고차 상관 클러스터링을 이용한 이미지 분할 방법.
제3항에 있어서,
상기
및
는 시각적 큐(visual cues)로부터 얻어지는 고차 상관 클러스터링을 이용한 이미지 분할 방법.
청구항 6은(는) 설정등록료 납부시 포기되었습니다.

제1항 내지 제5항 중 어느 하나의 방법을 수행하는 컴퓨터에서 실행 가능한 명령코드 또는 프로그램이 저장된 컴퓨터로 판독가능한 기록 매체.
입력 이미지를 수신하는 이미지 데이터 포획 장치; 및
상기 입력 이미지를 슈퍼픽셀들로 나누고, 인접하는 2 이상의 복수의 슈퍼픽셀을 특정 조건을 고려한 연결을 통해 하이퍼그래프를 구축하고, 상기 하이퍼그래프의 각 에지의 특징 벡터를 추출하여 조인트 특징 맵을 구성하고, 고차 상관 클러스터링을 통해, 구축된 상기 하이퍼그래프를 분할하는 이미지 데이터 처리 장치를 포함하는 고차 상관 클러스터링을 이용한 이미지 시스템.
제7항에 있어서,
상기 특정 조건은 상기 인접하는 2 이상의 복수의 슈퍼픽셀이 유사 영역에 속할 경우, 상기 인접하는 2 이상의 복수의 슈퍼픽셀을 통합하는 조건에 해당하는 고차 상관 클러스터링을 이용한 이미지 시스템.
청구항 9은(는) 설정등록료 납부시 포기되었습니다.

제8항에 있어서,
상기 인접하는 2 이상의 복수의 슈퍼픽셀이 유사 영역에 속하는지 여부는 아래의 판별 함수의 결과의 부호 및 크기를 이용하여 결정하는 고차 상관 클러스터링을 이용한 이미지 시스템.

(이때, x는 입력 이미지(input image), y는 레이블(labels), w는 파라미터(parameters)에 해당하고,
는
(여기서,
는 슈퍼픽셀들(노드들)의 조합)에 해당하는 하이퍼에지들(hyperedges)의 조합이고, e는 2개 이상의 노드들을 가지는 하이퍼에지에 해당하고,
는 w를 파라미터로 하는 인접하는 복수의 노드들 간의 유사도에 해당하고,
는 이웃하는 슈퍼픽셀 사이의 특징 차이를 반영하는 쌍별 특징 벡터(pairwise feature vector)에 해당하고,
는 3 이상의 슈퍼픽셀들 사이의 특징 차이를 반영하는 고차 특징 벡터(high-order feature vector)에 해당하고,
는 조인트 특징 맵(joint feature map)에 해당)
청구항 10은(는) 설정등록료 납부시 포기되었습니다.

제9항에 있어서, 상기 이미지 데이터 처리 장치는
파라미터 및 조인트 특징 맵이 주어진 상태에서 상기 판별 함수가 최대가 되도록 하는 에지 레이블들을 찾음으로써 하이퍼그래프를 분할하고,
상기 w, w_p, w_h는 Structured Suppot Vector Machine(S-SVM)에 의해 추정되는 고차 상관 클러스터링을 이용한 이미지 시스템.
청구항 11은(는) 설정등록료 납부시 포기되었습니다.

제9항에 있어서,
상기
및
는 시각적 큐(visual cues)로부터 얻어지는 고차 상관 클러스터링을 이용한 이미지 시스템.