KR101611466B1 - 고속 픽셀 세그멘테이션을 위한 서브샘플링 기반 영상 과분할 방법 - Google Patents

고속 픽셀 세그멘테이션을 위한 서브샘플링 기반 영상 과분할 방법 Download PDF

Info

Publication number
KR101611466B1
KR101611466B1 KR1020150000561A KR20150000561A KR101611466B1 KR 101611466 B1 KR101611466 B1 KR 101611466B1 KR 1020150000561 A KR1020150000561 A KR 1020150000561A KR 20150000561 A KR20150000561 A KR 20150000561A KR 101611466 B1 KR101611466 B1 KR 101611466B1
Authority
KR
South Korea
Prior art keywords
cluster
pixels
pixel
image
centers
Prior art date
Application number
KR1020150000561A
Other languages
English (en)
Inventor
최강선
Original Assignee
한국기술교육대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국기술교육대학교 산학협력단 filed Critical 한국기술교육대학교 산학협력단
Priority to KR1020150000561A priority Critical patent/KR101611466B1/ko
Application granted granted Critical
Publication of KR101611466B1 publication Critical patent/KR101611466B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

본원 발명의 방법에 따른 영상 클러스터링 방법은, 인터벌 S 및 정규화 변수 m의 값을 지정하며, 영상에 복수 개의 클러스터 중심들을 설정하고, 영상 내의 모든 픽셀들을 G1 집합 및 G2 집합으로 구분하는 초기화 단계와 먼저 G2 집합에 포함되는 픽셀들에 대해서 클러스터 중심들과의 거리를 구하고, 그 이후 G2 집합에 포함되지 않으면서 G1 집합에 포함되는 픽셀들에 대해서 클러스터 중심들과의 거리를 구하는 클러스터 할당단계, 클러스터 할당된 픽셀들을 고려하여 복수 개의 클러스터 중심들을 다시 계산해서 변경하는 변경단계, 변경단계에서 변경되는 양(E)과 미리 결정된 문턱값(T)을 비교하는 단계 및 E > T인 경우 클러스터 할당단계를 다시 수행하고, E ≤ T이면 종료하는 방법을 통해서 SLIC보다 효율적인 영상 클러스터링 처리 효과를 제공한다.

Description

고속 픽셀 세그멘테이션을 위한 서브샘플링 기반 영상 과분할 방법{Subsampling-based Clustering Method for fast superpixel segmentation}
본원 발명은 영상 처리 기술분야에 관한 것이다.
정지 영상내의 픽셀들을 동질의(homogeneous) 지역들로 군집시키는 클러스터링 기술은 컴퓨터 비전을 비롯한 많은 응용분야에서 사용되어 왔으며, 클러스터링 단계를 거친 영상은 그 이후 단계의 처리시 그 성능이 급격히 상승하게 된다.
이러한 클러스터링을 위한 방법들 중에 SLIC(simple linear iterative clustering) 방법은 선행 기술 1에 의해 고안되었으며, 이 방법은 k-평균 클러스터링과 같이 모든 클러스터들에 대해 연산되는 종래의 방법과는 달리 각 픽셀에 대해 공간적으로 가까운 클러스터들중 가장 가까운 것들만 검색된다.
영상 처리에 있어서 클러스터 검색에 많은 계산이 필요하므로 SLIC에 의해 많은 계산량이 줄어드어 결과적으로 빠른 처리가 가능하게 되었다. 하지만, 이러한 SLIC의 성공은 오히려 이 분야에 대한 더 이상의 연구를 가로막는 결과는 낳고 말았다.
선행 기술 1: Achanta, R., Shaji, A. Smith, K., Lucchi, A. Fua, P. Susstrunk S, 'SLIC superpixels compared to state-of-the-art superpixel methods', IEEE Trans. Pattern Anal. Machine Intell, 2012, 34 (11) pp, 2274-2282, doi: 10.1109/TPAMI.2012.120
따라서, 본원 발명은 추가적인 하드웨어의 도움이 없이도 SLIC을 통한 영상 처리보다 더 나은 효과를 제공하는 영상처리 방법을 제공하고자 한다.
본원 발명의 방법에 따른 영상 처리 방법은, 인터벌 S 및 정규화 변수 m의 값을 지정하며, 영상에 복수 개의 클러스터 중심들을 설정하고, 영상내의 모든 픽셀들을 Ga 집합 및 Gb 집합(단, a < b)으로 구분하는 초기화 단계, 먼저 Gb 집합에 포함되는 픽셀들에 대해서 클러스터 중심들과의 거리를 구하고, 그 이후 상기 Gb 집합에 포함되지 않으면서 Ga 집합에 포함되는 픽셀들에 대해서 클러스터 중심들과의 거리를 구하는 클러스터 할당단계, 클러스터 할당된 픽셀들을 고려하여 상기 복수 개의 클러스터 중심들을 다시 계산해서 변경하는 변경단계, 상기 변경단계에서 변경되는 양(E)과 미리 결정된 문턱값(T)을 비교하는 단계 및 E > T인 경우 상기 클러스터 할당단계를 다시 수행하고, E ≤ T이면 종료하는 단계를 포함한다.
또한, 본원 발명의 Ga 는 G1이며 Gb는 G2인 영상 처리 방법이다.
또한, 본원 발명에 따른 클러스터 할당 단계의 Gb 집합에 포함되는 픽셀들에 대해서는 아래 수식에 따라 클러스터 중심을 할당한다.
Ck* =
Figure 112015000511524-pat00001
D(i, Ck)
(Ck*: 픽셀 i에 대해 할당되는 클러스터 중심,
D(i, Ck): 픽셀 i와 클러스터 중심(Ck)과의 거리,
C: 공간적으로 픽셀 i 주변의 2S × 2S 지역내에 존재하는 클러스터 중심들)
또한, 본원 발명에 따른 클러스터 할당 단계의 Gb 집합에 포함되지 않으면서 Ga 집합에 포함되는 픽셀들에 대해서는 아래 수식에 따라 클러스터 중심을 할당한다.
Ck* =
Figure 112015000511524-pat00002
D(i, Ck)
(Ck*: 픽셀 i에 대해 할당되는 클러스터 중심,
D(i, Ck): 픽셀 i와 클러스터 중심(Ck)과의 거리,
CN: 대상 픽셀인 i에 인접한 픽셀들에 대해 이미 구해진 클러스터 중심들)
위와 같은 방법에 따라 본원 발명은 추가적인 하드웨어 없이도 빠른 영상 처리를 가능케하는 효과를 제공한다.
도 1은 본원 발명에 따른 영상 클러스터링 처리 방법의 예시적 순서도이다.
도 2는 본원 발명에 따라 영상을 처리하는 실시예를 보인다.
도 3 내지 도 5는 본원 발명에 따른 방법과 SLIC을 비교하는 도면이다.
이하 본 발명에 대해 자세히 설명한다.
먼저 본 발명에서 사용되는 기호나 정의를 설명한다.
정지 영상에 있어서, 색깔은 CIELAB 색공간에 의해 표현되며 이에 따라 각 픽셀(i)은 [li, ai, bi, xi, yi]T로 표현된다. 이때, li, ai, bi는 CIELAB 색공간상의 l, a, b 요소에 해당하는데, l은 밝기, a는 (붉은 색red-녹색green)정도, b는 (노랑yellow-파랑blue) 정도를 나타내는 수치를 나타낸다.
한편, x, y는 해당 픽셀의 물리적 좌표를 나타낸다.
윗 첨자T는 행렬을 전치(transpose)하는 것을 뜻한다.
한편, k번째 클러스터(Cluster)의 중심은 Ck = [lk, ak, bk, xk, yk]T로 표현되는데, 이 때 밑첨자 k에 의해 나타나는 lk, ak, bk는 해당 클러스터에 포함되는 모든 픽셀의 색 수치 각각에 대한 평균을, xk, yk은 해당 클러스터의 무게중심(즉 Ck의 좌표)를 나타낸다.
한편, 본원 발명에서 사용되는 픽셀(i)와 클러스터 중심(Ck)간의 거리(D)는 D(i, Ck)로 표현되는데, 이는 아래와 같이 정의된다.
D(i,Ck) =
Figure 112015000511524-pat00003
- [식 1]
위 수식에서
Figure 112015000511524-pat00004
- [식 1-1]
Figure 112015000511524-pat00005
- [식 1-2]
m은 식을 간단하게 하기 위해서 미리 결정되는 정규화 변수를, 그리고 S는 인터벌을 나타내며, dc(i, Ck)는 색 공간 상에서의 거리를, ds(i, Ck)는 공간상에서의 거리를 각각 나타낸다.
한편, M × N 크기의 영상에 대해서 G q가 정의되는데, 이는 아래와 같다.
G q = {(q·m, q·n) | m ≤
Figure 112015000511524-pat00006
, n ≤
Figure 112015000511524-pat00007
, m, n ∈ N}(N은 자연수 집합)
예를 들어, G1은 모든 픽셀을 가지는 픽셀집합이며, G2는 수평 및 수직방향으로 매 두번째 픽셀들을 구성요소로 가지는 픽셀집합을, 그리고 G3은 수평 및 수직방향으로 매 세번째 픽셀들을 구성요소로 가지는 픽셀집합을 각각 가리킨다.
이하에서는 도면과 함께 본원 발명에 따른 클러스터링 방법을 설명한다.
먼저, 임의의 클러스터 중심들(Ck)을 처리 영상 내에 설정(110)하고 G1, G2집합을 확정하는 초기화를 수행한다.
위에서 언급한 바와 같이 임의의 클러스터 중심들(Ck)을 처리 영상 내에 설정하고 이용될 집합들인 G1과 G2집합을 확정하는 초기화를 수행한다. 이때, 설정되는 클러스터 중심들은 본원 발명의 단계들을 통해서 점차 최적의 위치로 이동될 수 있으며, 설정되는 Ck는 인터벌 S(이는 미리 결정되는 값)를 가지는 GS상에서 설정된다.
한편, 최초에 설정되는 클러스터 중심들이 경계선에 위치하지 않도록 하기 위해서 설정되는 중심 픽셀(Ck)의 주변 3×3 픽셀들 중에서 색상의 변화(gradient)가 가장 작은 픽셀로 중심 픽셀을 재설정 할 수 있으며, 이러한 재설정을 하는 주변 픽셀의 범위는 영상의 특징에 따라 5 × 5, 7 × 7 등으로 변화할 수 있다.
초기화된 이후, G2집합에 포함되는 처리 영상 내의 픽셀들에 대해서 가장 가까운 클러스터 중심(Ck*)을 구하는데(120), 이는 다음과 같은 수식에 따른다.
Ck* =
Figure 112015000511524-pat00008
D(i, Ck)- [식 2]
이때, C는 공간적으로 대상 픽셀(i) 주변의 2S × 2S 지역내에 존재하는 클러스터 중심들을 집합이다.
따라서, 위 식은 대상 클러스터 중심 집합(C)을 대상으로 현재의 픽셀(i)과의 거리 D를 각각 구하고 그 거리가 가장 가까운 것을 검색하는 것을 나타낸다. 이러한 내용을 도 2와 같이 설명하면 STEP A에서 W, X, Y, Z 픽셀들이 모두 C1, C2, C3, C4의 클러스터 중심들과의 거리를 구하는 단계와 대응한다.
따라서, STEP 2에서 보는 바와 같이 픽셀 W는 1(C1), 픽셀 X는 2(C2), 픽셀 Y는 1(C1), 픽셀 Z는 4(C4)에 속한다는 것이 결정된다.(G2 픽셀들에 대한 클러스터 중심으로의 할당 완료)
위와 같이 G2집합에 포함되는 픽셀들 각각에 대해서 가장 가까운 클러스터 중심들을 구한 후에, G1＼G2에 해당하는 픽셀(즉, G1에 해당하는 픽셀들 중 G2에 해당하는 픽셀을 제외한 나머지 픽셀)들 각각에 대해서 가장 가까운 클러스터 중심(Ck*)을 구하는데(130), 이는 아래와 같은 수식에 따른다.
Ck* =
Figure 112015000511524-pat00009
D(i, Ck)- [식 3]
이때, CN은 대상 픽셀인 i에 인접한 픽셀들에 대해 이미 구해진 클러스터 중심들을 가지는 집합이다. 즉, 도 2의 STEP B에서 알 수 있듯이 픽셀 a는 픽셀(W, Y)와 인접하고, 픽셀 b는 픽셀(W, X)와 인접하며, 픽셀 c는 픽셀(Y, Z)와 인접하고, 픽셀 d는 픽셀(X, Z)와 인접하는데, 이에 따라 픽셀 a는 픽셀W, Y의 클러스터 중심으로 정해진 1지역(즉, C1)과의 거리만 계산하고, 픽셀 b는 픽셀W, X의 클러스터 중심으로 정해진 1 및 2(즉, C1 및 C2)와의 거리만 계산하며, 픽셀 c는 픽셀Y, Z의 클러스터 중심으로 정해진 1, 4지역(즉, C1 및 C4)과의 거리만 계산하고, 픽셀 d는 픽셀X, Z의 클러스터 중심으로 정해진 2, 4지역(즉, C2 및 C4)과의 거리만 계산하게 된다. 한편, 픽셀 e는 인접한 픽셀들 W, X, Y, Z들에 할당된 클러스터 중심들(C1, C2, C4)와의 거리를 계산한다.(STEP C)
즉, 각 픽셀에 대한 거리계산량이 모든 클러스터 중심들에 대한 거리를 계산할 때보다 훨씬 줄어들게 된다.
도 2의 'STEP D' 부분은 이와 같은 계산에 의해 a ~ e 및 W ~ Z의 모든 픽셀들에 대한 클러스터 중심들이 정해지게 된다.
위와 같은 단계들을 거친후에, 각 클러스터 중심(Ck)들에 대한 평균 벡터(Ck, 즉 [lk, ak, bk, xk, yk]T)를 계산된 픽셀들을 고려해서 변경한다.(140)
그 이후, 변경 전 Ck와 변경 후 Ck의 차이(E)와 미리 결정된 문턱값(T)을 비교하여 E > T인 경우는 다시 G2 픽셀들에 대한 계산단계(120)로 되돌아가며, E ≤ T인 경우에는 과정을 종료한다.
위에서는 G1과 G2집합을 이용해서 본원 발명의 방법을 설명하였지만, 반드시 G1과 G2로 픽셀을 분류해서 단계를 진행해야 하는 것은 아니며 방법은 확장될 수 있다.
예를 들면, G1, G2, G3집합들로 픽셀들을 분류한 후 먼저 G2와 G3을 이용해서 아래의 방법으로 모든 픽셀들을 클러스터링(phase 1)한 후에, 클러스터링된 픽셀을 대상으로 G1과 G2을 이용해서 다시 클러스터링(phase 2)할 수도 있으며, 이러한 phase는 G1, G2, G3, G4, G5, G6...와 같이 확장됨에 따라 증가할 수 있다. 이 때, 각 phase에서 이용되는 집합(G)들은 Ga, Gb(단, a < b)이다.
한편, 순차적으로 클러스터링하는 것이 아니라, 영상의 특성에 따라서 G1과 G2가 아닌 G1과 G3(또는 G1과 G4)를 이용해서 클러스터링할 수도 있으며, 이때 G1과 함께 이용되는 집합은 G3, G4, G5, G6... 등으로 더욱 증가할 수도 있다.
본원 발명에 따른 방법의 효과를 살펴보자.
본원 발명 방법과 SLIC을 비교하는데, 도 3은 본원 방법과 SLIC의 시간을 비교하였는바, 도 3의 x축에 기재된 (S,m)은 인터벌(S)과 정규화 변수(m)를 나타낸다.
즉, 본원 발명에 따른 방법으로 클러스터링을 수행하는 경우 SLIC보다 2배 내지 그 이상의 수행효율을 가진다는 것을 알 수 있다.
도 4는 SLIC와 비교한 세그멘테이션 에러를 나타내는데, SLIC과 거의 비슷한 정도의 에러가 발생한다는 것을 알 수 있다.
도 5의 경우 위의 세 그림은 SLIC에 의한 결과, 밑의 세 그림은 본원 발명에 의한 결과이며, (a)는 정규화 변수가 10, (b)는 정규화 변수가 20, (c)는 정규화 변수가 30일때를 나타낸다. 이러한 결과를 종합적으로 판단하면, 본원 발명에 따른 방법은 SLIC에 비해 적어도 2배이상의 뛰어난 성능을 가지고 있다는 것을 알 수 있다.
이상 도면과 수식을 통해 본원 발명에 대해 설명하였는바, 본원 발명의 청구범위는 청구범위에 기재된 범위 뿐만 아니라 영상 처리 분야의 통상의 기술자가 자명하게 여길수 있는 정도의 치환이나 변경범위에 까지 미친다는 것은 너무나 자명하다.

Claims (4)

  1. 영상을 처리하는 방법에 있어서,
    인터벌 S 및 정규화 변수 m의 값을 지정하며, 상기 영상에 복수 개의 클러스터 중심들을 설정하고, 상기 영상내의 모든 픽셀들을 Ga 집합 및 Gb 집합(단, a < b)으로 구분하는 초기화 단계;
    먼저 상기 Gb 집합에 포함되는 픽셀들에 대해서 상기 클러스터 중심들과의 거리를 구하고, 그 이후 상기 Gb 집합에 포함되지 않으면서 Ga 집합에 포함되는 픽셀들에 대해서 클러스터 중심들과의 거리를 구하는 클러스터 할당단계;
    클러스터 할당된 픽셀들을 고려하여 상기 복수 개의 클러스터 중심들을 다시 계산해서 변경하는 변경단계;
    상기 변경단계에서 변경되는 양(E)과 미리 결정된 문턱값(T)을 비교하는 단계; 및
    E > T인 경우 상기 클러스터 할당단계를 다시 수행하고, E ≤ T이면 종료하는 단계를 포함하며,
    상기 Gb 집합에 포함되지 않으면서 Ga 집합에 포함되는 픽셀들에 대해서는 아래 수식에 따라 클러스터 중심을 할당하는 것인, 영상 처리 방법.
    Ck* =
    Figure 112016014090836-pat00017
    D(i, Ck)
    (Ck*: 픽셀 i에 대해 할당되는 클러스터 중심,
    D(i, Ck): 픽셀 i와 클러스터 중심(Ck)과의 거리,
    CN: 픽셀 i에 인접하고 Gb에 속한 픽셀들에 대해 이미 구해진 클러스터 중심들)
  2. 삭제
  3. 제1항에 있어서,
    상기 클러스터 할당 단계는,
    상기 Gb 집합에 포함되는 픽셀들에 대해서는 아래 수식에 따라 클러스터 중심을 할당하는 것인, 영상 처리 방법.
    Ck* =
    Figure 112015000511524-pat00010
    D(i, Ck)
    (Ck*: 픽셀 i에 대해 할당되는 클러스터 중심,
    D(i, Ck): 픽셀 i와 클러스터 중심(Ck)과의 거리,
    C: 공간적으로 픽셀 i 주변의 2S × 2S 지역내에 존재하는 클러스터 중심들)
  4. 삭제
KR1020150000561A 2015-01-05 2015-01-05 고속 픽셀 세그멘테이션을 위한 서브샘플링 기반 영상 과분할 방법 KR101611466B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020150000561A KR101611466B1 (ko) 2015-01-05 2015-01-05 고속 픽셀 세그멘테이션을 위한 서브샘플링 기반 영상 과분할 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150000561A KR101611466B1 (ko) 2015-01-05 2015-01-05 고속 픽셀 세그멘테이션을 위한 서브샘플링 기반 영상 과분할 방법

Publications (1)

Publication Number Publication Date
KR101611466B1 true KR101611466B1 (ko) 2016-04-11

Family

ID=55800811

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150000561A KR101611466B1 (ko) 2015-01-05 2015-01-05 고속 픽셀 세그멘테이션을 위한 서브샘플링 기반 영상 과분할 방법

Country Status (1)

Country Link
KR (1) KR101611466B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109472794A (zh) * 2018-10-26 2019-03-15 北京中科晶上超媒体信息技术有限公司 一种对图像进行超像素分割的方法及系统
CN109598726A (zh) * 2018-10-26 2019-04-09 哈尔滨理工大学 一种基于slic的自适应图像目标区域分割方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
논문1*
논문2
논문3

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109472794A (zh) * 2018-10-26 2019-03-15 北京中科晶上超媒体信息技术有限公司 一种对图像进行超像素分割的方法及系统
CN109598726A (zh) * 2018-10-26 2019-04-09 哈尔滨理工大学 一种基于slic的自适应图像目标区域分割方法
CN109472794B (zh) * 2018-10-26 2021-03-09 北京中科晶上超媒体信息技术有限公司 一种对图像进行超像素分割的方法及系统

Similar Documents

Publication Publication Date Title
US9405993B2 (en) Method and system for near-duplicate image searching
US9483835B2 (en) Depth value restoration method and system
JP6445775B2 (ja) 画像処理装置、画像処理方法
US8515178B2 (en) Method and system for image feature extraction
CN111435438A (zh) 适于增强现实、虚拟现实和机器人的图形基准标记识别
CN108629783B (zh) 基于图像特征密度峰值搜索的图像分割方法、系统及介质
US20160070982A1 (en) Superpixel generation with improved spatial coherency
JP2014056572A (ja) 勾配方位のヒストグラムによるテンプレート・マッチング
US10249029B2 (en) Reconstruction of missing regions of images
US9401027B2 (en) Method and apparatus for scene segmentation from focal stack images
CN108022244B (zh) 一种基于前景和背景种子用于显著目标检测的超图优化方法
CN107871321B (zh) 图像分割方法及装置
CN106097313B (zh) 图像分割方法及装置
CN111310768B (zh) 基于鲁棒性背景先验和全局信息的显著性目标检测方法
KR101611466B1 (ko) 고속 픽셀 세그멘테이션을 위한 서브샘플링 기반 영상 과분할 방법
JP6389742B2 (ja) 画像セグメンテーション方法、装置、及びプログラム
JP5888068B2 (ja) 画像処理装置およびプログラム
JP2013164832A (ja) オブジェクト認識装置および方法
CN110910417B (zh) 一种基于超像素邻帧特征对比的弱小运动目标检测方法
CN108537798B (zh) 一种快速超像素分割方法
TWI518632B (zh) 應用於彩色影像的資料分群法
KR101934358B1 (ko) 다중 랜덤 워크 기반의 영상 분할 방법 및 장치
CN112419407B (zh) 基于云团边缘识别的云团位移矢量计算方法及装置
Yin et al. Scaling resilient adversarial patch
KR101671215B1 (ko) 초기 후보군 제외방식을 이용한 고속 영상분할 방법

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20190423

Year of fee payment: 4