KR101845174B1 - 슈퍼픽셀 생성 방법 및 장치 - Google Patents

슈퍼픽셀 생성 방법 및 장치 Download PDF

Info

Publication number
KR101845174B1
KR101845174B1 KR1020160170320A KR20160170320A KR101845174B1 KR 101845174 B1 KR101845174 B1 KR 101845174B1 KR 1020160170320 A KR1020160170320 A KR 1020160170320A KR 20160170320 A KR20160170320 A KR 20160170320A KR 101845174 B1 KR101845174 B1 KR 101845174B1
Authority
KR
South Korea
Prior art keywords
pixel
image
value
error measurement
measurement value
Prior art date
Application number
KR1020160170320A
Other languages
English (en)
Inventor
홍병우
켄수케 나까무라
Original Assignee
중앙대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 중앙대학교 산학협력단 filed Critical 중앙대학교 산학협력단
Priority to KR1020160170320A priority Critical patent/KR101845174B1/ko
Application granted granted Critical
Publication of KR101845174B1 publication Critical patent/KR101845174B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4023—Scaling of whole images or parts thereof, e.g. expanding or contracting based on decimating pixels or lines of pixels; based on inserting pixels or lines of pixels
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

슈퍼픽셀 생성 방법 및 장치가 개시된다. 슈퍼픽셀 생성 방법은, 이미지에 대하여 테셀레이션(tessellation)을 수행하여 이미지를 일정한 크기의 영역으로 분할하는 단계, 분할된 각 영역의 픽셀의 중간값(median) 및 평균값(mean)을 산출하는 단계, 중간값 및 평균값을 이용하여 각 픽셀의 에너지에 대한 오차 측정값을 산출하는 단계 및 산출된 오차 측정값이 이전 오차 측정값보다 작으면, 픽셀을 해당 영역으로 할당하는 단계를 포함한다.

Description

슈퍼픽셀 생성 방법 및 장치{Apparatus and method for generating superpixel}
본 발명은 슈퍼픽셀 생성 방법 및 장치에 관한 것이다.
슈퍼픽셀 알고리즘은 다중 레이블 분할로 간주될 수 있으나, 다중 레이블 분할과의 주요 차이 중 하나는, 슈퍼픽셀 알고리즘이 일반적으로 이미지 도메인을 크기나 형태 면에서 비교적 규칙적인 더 작은 많은 수의 영역으로 분할하는 것을 목적으로 한다는 점이다. 이는 과분할을 유발하지만, 분할 작업은 최소 개수의 영역을 생성하는 파티셔닝(partitioning)에서 오브젝트(object)의 의미적 개념이 이용되어야 한다.
슈퍼픽셀 알고리즘은 빽빽하게 찬 표시(compact representation)에서 원본 이미지를 근사화하는 것과 같이, 더 작은 영역으로 이미지 도메인의 테셀레이션(tessellation)을 획득하는 것을 목적으로 한다.
한편, 슈퍼픽셀 알고리즘은 이미지 알고리즘, 모션 분할, 추적, 객체 검출 및 잡음 평가를 포함하는 다양한 컴퓨터 비젼 작업을 위한 전처리로 사용되어 왔다. 이미지 표현은 시각적 장면의 분석에서 중요한 규칙을 수행하며, 다양한 슈퍼픽셀 알고리즘은 이미지 특징의 돌극성을 높이면서도, 빽빽하게 찬 표시를 획득하기 위하여 개발되어 왔다. 시각적 이해는 시각적 데이터의 높은 차원수와 콘텐츠의 복잡성 때문에 어려운 문제로 알려져 있다. 게다가, 분석 이미지의 개수는 이미징 디바이스의 인기 때문에 갑자스럽게 증가하였다.
그래서, 이미지 분석 절차에서 간단하고 유익한 표현을 제공하기 위하여 효율적이고 효과적인 알고리즘이 개발되어야 하며, 이에 대하여 슈퍼픽셀 알고리즘은 높은 잠재력을 가지고 있다.
본 발명은 근사 최적화(approximate optimization)를 이용하여 슈퍼픽셀을 정확하게 생성하면서 계산 효율을 증가시킨 고속 수렴(fast convergence)하는 슈퍼픽셀 생성 방법 및 장치를 제공하기 위한 것이다.
본 발명의 일 측면에 따르면, 슈퍼픽셀 생성 장치가 수행하는 슈퍼픽셀 생성 방법이 개시된다.
본 발명의 실시예에 따른 슈퍼픽셀 생성 방법은, 이미지에 대하여 테셀레이션(tessellation)을 수행하여 상기 이미지를 일정한 크기의 영역으로 분할하는 단계, 상기 분할된 각 영역의 픽셀의 중간값(median) 및 평균값(mean)을 산출하는 단계, 상기 중간값 및 상기 평균값을 이용하여 각 픽셀의 에너지에 대한 오차 측정값을 산출하는 단계 및 상기 산출된 오차 측정값이 이전 오차 측정값보다 작으면, 픽셀을 해당 영역으로 할당하는 단계를 포함한다.
수렴(convergence)할 때까지, 상기 중간값 및 상기 평균값을 산출하는 단계, 상기 오차 측정값을 산출하는 단계 및 상기 픽셀을 해당 영역으로 할당하는 단계를 반복하는 단계를 더 포함한다.
상기 중간값(mi) 및 상기 평균값(ci)은 하기 수학식을 이용하여 산출된다.
Figure 112016122626831-pat00001
여기서, I는 주어진 이미지를 나타내고, x는 이미지의 픽셀을 나타내고, Ri는 분할된 영역을 나타낸다.
상기 에너지는 하기 수학식으로 정의된다.
Figure 112016122626831-pat00002
여기서, K는 분할된 영역의 개수이고, λ는 가중 상수이고, mi는 픽셀의 중간 세기(median intensity)를 나타내고, ci는 픽셀의 질량 중심(center of mass)을 나타낸다.
상기
Figure 112016122626831-pat00003
는 데이터 충실도 항(data fidelity term)이고, 상기
Figure 112016122626831-pat00004
는 정규화 항(regularization term)이되, 상기 데이터 충실도 항은 이미지 세기의 균일성(homogeneity of image intensity)을 측정하고, 상기 정규화 항은 컴팩트성(compactness)을 측정한다.
상기 오차 측정값(H)은 하기의 수학식을 이용하여 산출된다.
Figure 112016122626831-pat00005
여기서, 첫번째 항은 영역 Rk 내의 중간값 mk로 이미지 세기의 균일성을 측정하고, 두번째 항은 영역 Rk의 중심 ck로 컴팩트성을 측정한다.
상기 픽셀을 해당 영역으로 할당하는 단계는 하기 수학식을 이용하여 수행된다.
Figure 112016122626831-pat00006
여기서, t는 시간이고, Ω는 이미지 도메인을 나타내고,
Figure 112016122626831-pat00007
이고,
Figure 112016122626831-pat00008
는 이전 시간 (t-1)에서 특정 레이블 k를 갖는 각 픽셀의 최소 에너지를 나타내고,
Figure 112016122626831-pat00009
를 이용하여 업데이트된다.
상기 가중 상수 λ는 하기 수학식으로 설정된다.
Figure 112016122626831-pat00010
여기서, α는 에너지에서 두 항의 균형을 맞추는 제어 파라미터이고, N은 이미지 사이즈이고, K는 영역의 개수이다.
상기 이미지를 일정한 크기의 영역으로 분할하는 단계는 허니컴 파티셔닝(honeycomb partitioning)을 이용하여 상기 이미지를 분할한다.
본 발명의 다른 측면에 따르면, 슈퍼픽셀 생성 장치가 개시된다.
본 발명의 실시예에 따른 슈퍼픽셀 생성 장치는, 명령어를 저장하는 메모리 및 상기 명령어를 실행하는 프로세서를 포함하되, 상기 명령어는, 이미지에 대하여 테셀레이션(tessellation)을 수행하여 상기 이미지를 일정한 크기의 영역으로 분할하는 단계, 상기 분할된 각 영역의 픽셀의 중간값(median) 및 평균값(mean)을 산출하는 단계, 상기 중간값 및 상기 평균값을 이용하여 각 픽셀의 에너지에 대한 오차 측정값을 산출하는 단계 및 상기 산출된 오차 측정값이 이전 오차 측정값보다 작으면, 픽셀을 해당 영역으로 할당하는 단계를 포함하는 슈퍼픽셀 생성 방법을 수행한다.
본 발명의 실시예에 따른 슈퍼픽셀 생성 방법 및 장치는, 근사 최적화(approximate optimization)를 이용하여 슈퍼픽셀을 정확하게 생성하면서 계산 효율을 증가시키며, 기존 계산 방법에서 발생하는 무한 루프 문제를 피할 수 있다.
도 1은 본 발명의 실시예에 따른 슈퍼픽셀 생성 방법을 나타낸 흐름도.
도 2 내지 도 4는 본 발명의 실시예에 따른 슈퍼픽셀 생성 방법을 설명하기 위한 도면.
도 5는 본 발명의 실시예에 따른 슈퍼픽셀 생성 장치의 구성을 개략적으로 예시한 도면.
본 명세서에서 사용되는 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "구성된다" 또는 "포함한다" 등의 용어는 명세서상에 기재된 여러 구성 요소들, 또는 여러 단계들을 반드시 모두 포함하는 것으로 해석되지 않아야 하며, 그 중 일부 구성 요소들 또는 일부 단계들은 포함되지 않을 수도 있고, 또는 추가적인 구성 요소 또는 단계들을 더 포함할 수 있는 것으로 해석되어야 한다. 또한, 명세서에 기재된 "...부", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.
이하, 본 발명의 다양한 실시예들을 첨부된 도면을 참조하여 상술하겠다.
도 1은 본 발명의 실시예에 따른 슈퍼픽셀 생성 방법을 나타낸 흐름도이고, 도 2 내지 도 4는 본 발명의 실시예에 따른 슈퍼픽셀 생성 방법을 설명하기 위한 도면이다.
S110 단계에서, 슈퍼픽셀 생성 장치는 이미지에 대하여 테셀레이션(tessellation)을 수행하여 이미지를 일정한 크기의 영역으로 분할한다.
예를 들어, 도 2에 도시된 바와 같이, 허니컴 파티셔닝(honeycomb partitioning)을 통해 이미지는 일정한 크기의 영역으로 분할될 수 있다. 즉, 도 2는 위로부터 차례대로, 원본 이미지, 100개의 영역으로 분할된 이미지, 200개의 영역으로 분할된 이미지 및 400개의 영역으로 분할된 이미지를 나타낸다. 이때, 분할된 각 영역에는 중심(centroid)에 점이 찍힐 수 있다.
S120 단계에서, 슈퍼픽셀 생성 장치는 분할된 각 영역의 픽셀의 중간값(median) 및 평균값(mean)을 산출한다.
S130 단계에서, 슈퍼픽셀 생성 장치는 산출된 픽셀의 중간값 및 평균값을 이용하여 각 픽셀의 에너지에 대한 오차 측정값을 산출한다.
일반적으로, 슈퍼픽셀 생성 방법은 두 가지 기준에 따라 다양한 형태의 타일로 이미지를 테셀레이션(tessellation)하는 것을 목표로 한다. 여기서, 두 가지 기준은 타일 형태 내에서 외관상 통계의 균일성(homogeneity of statistics)을 가정하는 것과 각 타일 형태가 컴팩트(compact)화되도록 하는 것이다. 그래서, 슈퍼픽셀 생성 방법은 다음의 수학식과 같이, 데이터 충실도 항(data fidelity term)과 정규화 항(regularization term)으로 구성되는 다중 레벨 분할 에너지의 최적화 문제가 될 수 있다.
Figure 112016122626831-pat00011
여기서,
Figure 112016122626831-pat00012
는 주어진 이미지를 나타내고, Ω는 이미지 도메인을 나타내고, d는 이미지의 크기를 나타내고, K는 분할된 영역의 개수이다. 이미지 도메인의 각 영역은 Ri ⊂ Ω으로 나타낼 수 있으며, 서로 겹치지 않고, 합쳐지면 이미지 도메인을 형성한다.
그리고,
Figure 112016122626831-pat00013
는 데이터 충실도 항
Figure 112016122626831-pat00014
과 정규화 항
Figure 112016122626831-pat00015
사이의 상대적인 중요성을 나타내는 상수이며, x ∈ Ω는 이미지 픽셀이다.
본 발명의 실시예에 따른 슈퍼픽셀 생성 방법은 에너지의 데이터 충실도와 공간적 규칙성 사이에서 영역 개수 K와 가중 상수 λ가 이용된다. N=|Ω|을 픽셀의 도메인 사이즈라고 가정하면, λ의 선택은 원치 않는 K와 N에 달려있다. 그래서, 데이터 충실도와 공간적 규칙성을 위한 정규화 작업이 고려될 수 있다. 인접한 중심 사이의 유클리드 거리(Euclidean distance)는 공간적 규칙성을 위한 정규화 인자로 고려되는
Figure 112016122626831-pat00016
가 될 수 있다. 일정한 색 농도의 이미지가 주어지면, 각 클러스터는 대략 평균 N/K개의 픽셀을 갖는다. 에너지를 최소화하는 가장 컴팩트한 형태는 원이다. 이 원의 반경이 공간 규칙성의 단위로 사용될 수 있다. 그리고, K가 증가할 때, 데이터 충실도가 기하 급수적으로 감소하는 것이 자연스럽게 관찰되므로, 데이터 충실도의 정규화 요소로서 K의 로그(logarithm)가 고려될 수 있다. 그래서, λ는 다음의 수학식과 같이 설정될 수 있다.
Figure 112016122626831-pat00017
여기서, α는 에너지에서 두 항의 균형을 맞추는 제어 파라미터이며, 그 값은 이미지 사이즈(N)와 영역의 개수(K)에 대하여 이상적으로 변하지 않는다.
Figure 112016122626831-pat00018
는 영역 Ri 내의 균일성을 측정한다. 파라미터 mi 및 ci는 각 슈퍼픽셀 내의 모델의 근사, 즉 중간 세기(median intensity) 및 질량 중심(center of mass)을 각각 나타낸다. 데이터 충실도 F와 정규화 G는 일반적으로 다음의 수학식과 같이 주어질 수 있다.
Figure 112016122626831-pat00019
최적의 영역 세트
Figure 112016122626831-pat00020
는 영역 경쟁 프레임 워크(region competition framework)에서 대안적인 방법으로, 영역 Ri 및 그의 근사 파라미터 mi와 ci에 대하여 에너지 E를 최소화함으로써, 획득된다.
컴팩트성 제약(compactness constraint)을 가진 구분적인 상수 이미지 모델(piecewise constant image model)이 주어지면, 주어진 이미지 I에 대하여 슈퍼 픽셀 에너지(superpixel energy)가 다음과 같이 정의될 수 있다.
Figure 112016122626831-pat00021
여기서, 데이터 충실도 항은 아웃 라이어(outlier)에 대한 L2-놈(norm)보다 강건한(robust) 것으로 알려진 L1-놈이 사용되며, 이미지 형성 과정에 포함된 부가 노이즈가 자연 장면(natural scene)에서보다 더 현실적인 확률 모델로 간주되는 라플라시안 분포(Laplacian distribution)를 따른다는 가정에 기초한다. 반면, 정규화 항은 영역의 컴팩트성이 정규 픽셀 격자(regular grid of pixel)를 기반으로 계산되기 때문에, L2-놈이 사용된다.
파라미터 세트
Figure 112016122626831-pat00022
를 갖는 최적의 영역 세트
Figure 112016122626831-pat00023
는, 주어진 이미지 I에 대한 에너지
Figure 112016122626831-pat00024
를 영역들의 개수 K로 최적화함으로써, 획득된다. 최적화 절차는 기대 최대화 알고리즘(expectation-maximization algorithm)을 따른다. 기대 최대화 알고리즘에서, 최적의 파라미터 세트
Figure 112016122626831-pat00025
는 영역 세트
Figure 112016122626831-pat00026
가 주어지면 계산되고, 다음으로, 최적의 영역 세트는 대안적인 방법으로 파라미터 세트가 주어지면 업데이트된다. Ri가 주어지면, 파라미터 mi 및 ci는 다음의 수학식을 이용하여 산출될 수 있다.
Figure 112016122626831-pat00027
이로부터 다음의 수학식이 도출된다.
Figure 112016122626831-pat00028
영역 Ri를 갖는 관련 파라미터 mi 및 ci가 획득 될 때, 다음의 수학식을 이용하여 영역 Ri에 대한 전역 최적해(global optimum)가 산출될 수 있다.
Figure 112016122626831-pat00029
여기서, 각 x ∈ Ω일 때의 오차 측정값 H는 다음과 같이 정의된다.
Figure 112016122626831-pat00030
오차 측정값 H는 영역 Rk에 대하여 주어진 추정값 mk와 ck를 갖는 각 픽셀 x∈Ω에서 계산된다. 첫번째 항은 영역 Rk 내의 중간값 mk로 이미지 세기의 균일성(homogeneity of image intensity)을 측정하고, 두번째 항은 영역 Rk의 중심 ck로 컴팩트성을 측정한다.
S140 단계에서, 슈퍼픽셀 생성 장치는 현재 시점(시간 t)에서 산출된 현재 오차 측정값이 이전 시점(시간 t-1)에 산출된 이전 오차 측정값보다 작은지 여부를 판단한다. 만약, 현재 오차 측정값이 이전 오차 측정값보다 작지 않은 경우, S160 단계로 진입한다.
S150 단계에서, 슈퍼픽셀 생성 장치는 현재 오차 측정값이 이전 오차 측정값보다 작으면, 픽셀을 해당 영역으로 할당한다.
S160 단계에서, 슈퍼픽셀 생성 장치는 수렴 여부를 판단한다. 수렴된 경우, 종료되며, 수렴되지 않은 경우, S120 단계로 진입하여 절차가 반복된다. 즉, 슈퍼픽셀 생성 장치는 수렴될 때까지 절차를 반복한다.
슈퍼픽셀 생성 방법에서는, 영역 Rk가 주어질 때의 추정 파라미터 mk와 ck에 대하여 그리고, 추정값 mk와 ck가 주어질 때의 분할 영역 Rk에 대하여 수렴될 때까지 대안적인 최소화가 수행된다. 수학식 7에서의 영역 Rk를 분할하기 위한 전역 업데이트 방법(global update procedure)은 수학식 6의 닫힌 형식 솔루션에 의하여 계산되는 추정값 mk와 ck의 현재 상태를 고려한다.
그러나, 현재의 추정값에 기반한 전역 업데이트 방법은 미미한 추정값 변화가 나타날 때, 바람직하지 않은 불필요한 계산을 야기할 수 있다. 예를 들어, 두 개의 이웃하는 균일 영역은 불필요한 중심 이동을 유발하는 공간 규칙성(spatial regularity)으로 인하여 서로 반복적으로 경쟁할 수 있다. 더 나쁜 것은, 최적화에 의한 정규 그리드(regular grid)상의 한정된 픽셀 사이즈로 인한 이산화 오차(discretization error)가 수렴을 막는다는 것이다.
그래서, 본 발명의 실시예에 따른 슈퍼픽셀 생성 방법은 대안적인 최적화 방법으로서, 계산 효율성과 강건한 수렴을 달성하기 위한 영역 Rk에 대한 업데이트 방법을 포함한다. 즉, 본 발명의 실시예에 따른 슈퍼픽셀 생성 방법은, 추정 파라미터 mk와 ck를 이용하지만, 최적 영역의 업데이트 절차에서는, 모든 최적화 반복에 대하여 추정 파라미터의 현재 상태뿐만 아니라, 추정 파라미터의 시퀀스(sequence)를 고려한다.
예를 들어, t=0, 1, 2, …를 최적화 절차의 반복 시간에 대한 변수라 가정할 수 있다. 여기서, t = 0은 초기 해에 해당하고, t는 영역 업데이트 후에 증가한다. 그리고, 시간 t에서 최적의 추정 파라미터 mk, ck 및 영역 Rk는 각각 mk (t), ck (t) 및 Rk (t)로 나타낼 수 있다. 시간 t에서 주어진 추정값 mk 및 ck에 대한 영역 Rk 내에서의 오차 측정값 Hk는 다음의 수학식으로 주어질 수 있다.
Figure 112016122626831-pat00031
시간 t에서 영역 Rk (t)가 업데이트 될 때, 시간 t까지의 추정값 mk (t)와 ck (t)의 시간 경로(temporal path)가 고려된다. 영역 Rk (t)의 업데이트는 그들의 시간 반복 경로를 따라 최적의 추정치가 고려됨으로써 수행된다. 이 절차는 다음의 수학식을 이용한 업데이트에 의하여 오차 공간 및 업데이트 시간 공간에서 최적 결과를 산출한다.
Figure 112016122626831-pat00032
여기서, t ≥ 1은 업데이트 시간을 나타낸다.
Figure 112016122626831-pat00033
는 이전 반복 (t-1)에서 특정 레이블 k를 갖는 각 픽셀 x의 시간상 최소 에너지이며,
Figure 112016122626831-pat00034
에 의하여 업데이트된다. subgradient 방법과 유사하게, 추정 파라미터의 임시 전역 최적이 고려되며, 수렴할 때까지 그 값들이 보존된다. 최적의 추정값은 한 세트의 영역이 주어진 각 반복에서 계산되며, 최적의 영역은 반복 최적화 시퀀스에서 최소 오차를 산출하는 시간적으로 최적의 추정값 세트를 고려함으로써, 업데이트된다.
도 3은 수학식 6에 따른 기존 영역 업데이트 절차와 본 발명의 실시예에 따른 수학식 9의 영역 업데이트 절차를 비교한 것을 나타낸다. 도 3에서, C1 (t)와 C2 (t)는 각각 시간 t에서 영역 1과 영역 2의 추정값을 나타낸다. 점 x ∈ Ω일 때, 영역에 대한 레이블은 (a)에서 보여지는 바와 같이, x와 최소 오차를 제공하는 추정값 사이의 오차에 의하여 결정된다. 그리고, (b)에 도시된 바와 같이, 추정값 C1 (t+1)와 C2 (t+1)는 시간 t+1에서 그에 따라 업데이트된다.
기존 영역 업데이트는 (c)에 도시된 바와 같이, 시간 t+1에서 추정값 C1 (t+1)와 C2 (t+1)를 고려한다. 하지만, 본 발명의 실시예에 따른 영역 업데이트는 (d)에 도시된 바와 같이, C1 (t+1), C2 (t+1) 및 시간적으로 최적인 추정값 C1 (t)를 고려한 후, 픽셀 x를 영역 1로 레이블한다.
이와 같은 본 발명의 실시예에 따른 슈퍼픽셀 생성 방법은 Fast K-MM (median/mean)이라 불리우며, 이의 의사 코드(pseudo code)는 도 4와 같이 나타낼 수 있다.
도 5는 본 발명의 실시예에 따른 슈퍼픽셀 생성 장치의 구성을 개략적으로 예시한 도면이다.
도 5를 참조하면, 본 발명의 실시예에 따른 슈퍼픽셀 생성 장치는 프로세서(10), 메모리(20), 통신부(30) 및 인터페이스(40)를 포함한다.
프로세서(10)는 메모리(20)에 저장된 처리 명령어를 실행시키는 CPU 또는 반도체 소자일 수 있다.
메모리(20)는 다양한 유형의 휘발성 또는 비휘발성 기억 매체를 포함할 수 있다. 예를 들어, 메모리(20)는 ROM, RAM 등을 포함할 수 있다.
예를 들어, 메모리(20)는 본 발명의 실시예에 따른 슈퍼픽셀 생성 방법을 수행하는 명령어들을 저장할 수 있다.
통신부(30)는 통신망을 통해 다른 장치들과 데이터를 송수신하기 위한 수단이다.
인터페이스부(40)는 네트워크에 접속하기 위한 네트워크 인터페이스 및 사용자 인터페이스를 포함할 수 있다.
한편, 전술된 실시예의 구성 요소는 프로세스적인 관점에서 용이하게 파악될 수 있다. 즉, 각각의 구성 요소는 각각의 프로세스로 파악될 수 있다. 또한 전술된 실시예의 프로세스는 장치의 구성 요소 관점에서 용이하게 파악될 수 있다.
또한 앞서 설명한 기술적 내용들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예들을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 하드웨어 장치는 실시예들의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
상기한 본 발명의 실시예는 예시의 목적을 위해 개시된 것이고, 본 발명에 대한 통상의 지식을 가지는 당업자라면 본 발명의 사상과 범위 안에서 다양한 수정, 변경, 부가가 가능할 것이며, 이러한 수정, 변경 및 부가는 하기의 특허청구범위에 속하는 것으로 보아야 할 것이다.
10: 프로세서
20: 메모리
30: 통신부
40: 인터페이스부

Claims (10)

  1. 슈퍼픽셀 생성 장치가 수행하는 슈퍼픽셀 생성 방법에 있어서,
    이미지에 대하여 테셀레이션(tessellation)을 수행하여 상기 이미지를 일정한 크기의 영역으로 분할하는 단계;
    상기 분할된 각 영역의 픽셀의 중간값(median) 및 평균값(mean)을 산출하는 단계;
    상기 중간값 및 상기 평균값을 이용하여 각 픽셀의 에너지에 대한 오차 측정값을 산출하는 단계; 및
    상기 산출된 오차 측정값이 이전 오차 측정값보다 작으면, 픽셀을 해당 영역으로 할당하는 단계를 포함하되,
    상기 픽셀을 해당 영역으로 할당하는 단계는, 현재 산출된 상기 중간값 및 평균값과 이전 산출된 상기 중간값 및 평균값을 고려하여 상기 픽셀이 해당 영역으로 할당되는 것을 특징으로 하는 슈퍼픽셀 생성 방법.
  2. 제1항에 있어서,
    수렴(convergence)할 때까지, 상기 중간값 및 상기 평균값을 산출하는 단계, 상기 오차 측정값을 산출하는 단계 및 상기 픽셀을 해당 영역으로 할당하는 단계를 반복하는 단계를 더 포함하는 슈퍼픽셀 생성 방법.
  3. 제1항에 있어서,
    상기 중간값(mi) 및 상기 평균값(ci)은 하기 수학식을 이용하여 산출되는 것을 특징으로 하는 슈퍼픽셀 생성 방법.
    Figure 112016122626831-pat00035

    여기서, I는 주어진 이미지를 나타내고, x는 이미지의 픽셀을 나타내고, Ri는 분할된 영역을 나타냄
  4. 제3항에 있어서,
    상기 에너지는 하기 수학식으로 정의되는 것을 특징으로 하는 슈퍼픽셀 생성 방법.
    Figure 112016122626831-pat00036

    여기서, K는 분할된 영역의 개수이고, λ는 가중 상수이고, mi는 픽셀의 중간 세기(median intensity)를 나타내고, ci는 픽셀의 질량 중심(center of mass)을 나타냄
  5. 제4항에 있어서,
    상기
    Figure 112016122626831-pat00037
    는 데이터 충실도 항(data fidelity term)이고, 상기
    Figure 112016122626831-pat00038
    는 정규화 항(regularization term)이되,
    상기 데이터 충실도 항은 이미지 세기의 균일성(homogeneity of image intensity)을 측정하고, 상기 정규화 항은 컴팩트성(compactness)을 측정하는 것을 특징으로 하는 슈퍼픽셀 생성 방법.
  6. 제1항에 있어서,
    상기 오차 측정값(H)은 하기의 수학식을 이용하여 산출되는 것을 특징으로 하는 슈퍼픽셀 생성 방법.
    Figure 112016122626831-pat00039

    여기서, 첫번째 항은 영역 Rk 내의 중간값 mk로 이미지 세기의 균일성을 측정하고, 두번째 항은 영역 Rk의 중심 ck로 컴팩트성을 측정함
  7. 제6항에 있어서,
    상기 픽셀을 해당 영역으로 할당하는 단계는 하기 수학식을 이용하여 수행되는 것을 특징으로 하는 슈퍼픽셀 생성 방법.
    Figure 112016122626831-pat00040

    여기서, t는 시간이고, Ω는 이미지 도메인을 나타내고,
    Figure 112016122626831-pat00041
    이고,
    Figure 112016122626831-pat00042
    는 이전 시간 (t-1)에서 특정 레이블 k를 갖는 각 픽셀의 최소 에너지를 나타내고,
    Figure 112016122626831-pat00043
    를 이용하여 업데이트됨
  8. 제7항에 있어서,
    상기 가중 상수 λ는 하기 수학식으로 설정되는 것을 특징으로 하는 슈퍼픽셀 생성 방법.
    Figure 112016122626831-pat00044

    여기서, α는 에너지에서 두 항의 균형을 맞추는 제어 파라미터이고, N은 이미지 사이즈이고, K는 영역의 개수임
  9. 제1항에 있어서,
    상기 이미지를 일정한 크기의 영역으로 분할하는 단계는 허니컴 파티셔닝(honeycomb partitioning)을 이용하여 상기 이미지를 분할하는 것을 특징으로 하는 슈퍼픽셀 생성 방법.
  10. 슈퍼픽셀 생성 장치에 있어서,
    명령어를 저장하는 메모리; 및
    상기 명령어를 실행하는 프로세서를 포함하되,
    상기 명령어는,
    이미지에 대하여 테셀레이션(tessellation)을 수행하여 상기 이미지를 일정한 크기의 영역으로 분할하는 단계;
    상기 분할된 각 영역의 픽셀의 중간값(median) 및 평균값(mean)을 산출하는 단계;
    상기 중간값 및 상기 평균값을 이용하여 각 픽셀의 에너지에 대한 오차 측정값을 산출하는 단계; 및
    상기 산출된 오차 측정값이 이전 오차 측정값보다 작으면, 픽셀을 해당 영역으로 할당하는 단계를 포함하는 슈퍼픽셀 생성 방법을 수행하며,
    상기 픽셀을 해당 영역으로 할당하는 단계는, 현재 산출된 상기 중간값 및 평균값과 이전 산출된 상기 중간값 및 평균값을 고려하여 상기 픽셀이 해당 영역으로 할당되는 것을 특징으로 하는 슈퍼픽셀 생성 장치.


KR1020160170320A 2016-12-14 2016-12-14 슈퍼픽셀 생성 방법 및 장치 KR101845174B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160170320A KR101845174B1 (ko) 2016-12-14 2016-12-14 슈퍼픽셀 생성 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160170320A KR101845174B1 (ko) 2016-12-14 2016-12-14 슈퍼픽셀 생성 방법 및 장치

Publications (1)

Publication Number Publication Date
KR101845174B1 true KR101845174B1 (ko) 2018-04-05

Family

ID=61977204

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160170320A KR101845174B1 (ko) 2016-12-14 2016-12-14 슈퍼픽셀 생성 방법 및 장치

Country Status (1)

Country Link
KR (1) KR101845174B1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102251291B1 (ko) 2021-02-25 2021-05-12 주식회사 재이랩스 의료 라벨링 데이터간 빠른 이동을 위한 고정 및 가이드 데이터 사용자 인터페이스를 위한 방법 및 이를 이용한 장치
KR102308381B1 (ko) 2020-11-09 2021-10-06 인그래디언트 주식회사 유연한 슈퍼픽셀에 기초한 의료 영상 라벨링 방법 및 이를 위한 장치
KR102320856B1 (ko) 2021-02-26 2021-11-02 인그래디언트 주식회사 의료 영상 라벨링 데이터를 위한 배수 비교 검수 방법 및 이를 이용한 시스템

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102308381B1 (ko) 2020-11-09 2021-10-06 인그래디언트 주식회사 유연한 슈퍼픽셀에 기초한 의료 영상 라벨링 방법 및 이를 위한 장치
KR102251291B1 (ko) 2021-02-25 2021-05-12 주식회사 재이랩스 의료 라벨링 데이터간 빠른 이동을 위한 고정 및 가이드 데이터 사용자 인터페이스를 위한 방법 및 이를 이용한 장치
KR102320856B1 (ko) 2021-02-26 2021-11-02 인그래디언트 주식회사 의료 영상 라벨링 데이터를 위한 배수 비교 검수 방법 및 이를 이용한 시스템

Similar Documents

Publication Publication Date Title
US10672131B2 (en) Control method, non-transitory computer-readable storage medium, and control apparatus
EP3698323B1 (en) Depth from motion for augmented reality for handheld user devices
US10089781B2 (en) Three-dimensional point cloud model reconstruction method, computer readable storage medium and device
Yang et al. Fast stereo matching using adaptive guided filtering
US10366503B2 (en) Method and apparatus of scene reconstruction
US9454851B2 (en) Efficient approach to estimate disparity map
US8724854B2 (en) Methods and apparatus for robust video stabilization
US8340463B1 (en) Candidate pruning for patch transforms
CN111902825A (zh) 多边形对象标注系统和方法以及训练对象标注系统的方法
KR20160127030A (ko) 뷰 독립적 3d 씬 텍스쳐링
US9959670B2 (en) Method for rendering terrain
KR101669840B1 (ko) 다시점 비디오로부터 일관성 있는 변이를 추정하는 변이 추정 시스템 및 방법
KR101896301B1 (ko) 깊이 영상 처리 장치 및 방법
KR101845174B1 (ko) 슈퍼픽셀 생성 방법 및 장치
US20180247425A1 (en) Depth estimation method and depth estimation apparatus of multi-view images
CN109063041B (zh) 关系网络图嵌入的方法及装置
KR20130121202A (ko) 영상에서의 객체 추적 방법, 장치 및 이를 컴퓨터 상에서 수행하는 프로그램이 기록된 기록 매체
US20180005039A1 (en) Method and apparatus for generating an initial superpixel label map for an image
US10176401B2 (en) Method and apparatus for generating temporally consistent superpixels
US8175160B1 (en) System, method, and computer program product for refining motion vectors
US9317928B2 (en) Detecting and tracking point features with primary colors
KR101506812B1 (ko) 랜덤 포레스트와 이진 패턴 반복 길이 행렬을 이용한 얼굴 자세 추정 방법
US9401022B2 (en) Method and apparatus for generating spanning tree, method and apparatus for stereo matching, method and apparatus for up-sampling, and method and apparatus for generating reference pixel
US9256958B2 (en) Active attentional sampling method for accelerating background subtraction
KR101289003B1 (ko) 영상의 스테레오 정합 방법 및 장치

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant