KR101178013B1 - 퍼지 클러스터링을 이용한 모션 대응 방법 - Google Patents

퍼지 클러스터링을 이용한 모션 대응 방법 Download PDF

Info

Publication number
KR101178013B1
KR101178013B1 KR1020110020865A KR20110020865A KR101178013B1 KR 101178013 B1 KR101178013 B1 KR 101178013B1 KR 1020110020865 A KR1020110020865 A KR 1020110020865A KR 20110020865 A KR20110020865 A KR 20110020865A KR 101178013 B1 KR101178013 B1 KR 101178013B1
Authority
KR
South Korea
Prior art keywords
image frame
points
frame
point
source image
Prior art date
Application number
KR1020110020865A
Other languages
English (en)
Inventor
김문현
엄기열
Original Assignee
성균관대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 성균관대학교산학협력단 filed Critical 성균관대학교산학협력단
Priority to KR1020110020865A priority Critical patent/KR101178013B1/ko
Application granted granted Critical
Publication of KR101178013B1 publication Critical patent/KR101178013B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

본 발명에 따른 퍼지 클러스터링을 이용한 모션 대응 방법은 소스 영상 프레임 및 타겟 영상 프레임에 있는 모든 점들이 퍼지 클러스터링을 통하여 그룹으로 나뉘는 S1 단계, S1 단계에서 나뉜 각 그룹 내에서 소스 영상 프레임의 점과 타겟 영상 프레임에 있는 점의 각 쌍에 대한 비용이 산출되는 S2 단계 및 S2 단계에서 산출된 비용을 이용하여 소스 영상 프레임의 점과 타겟 영상 프레임의 점을 매칭하는 S3 단계를 포함한다.
프레임의 점들에 대한 퍼지 클러스터링을 통해 모션 대응 알고리즘의 복잡도를 낮추어 조속한 모션 대응이 수행된다.

Description

퍼지 클러스터링을 이용한 모션 대응 방법{METHOD FOR MOTION CORRESPONDENCE USING FUZZY CLUSTERING}
본 발명은 영상의 프레임 간 모션 대응을 위한 방법 및 장치에 관한 것이다. 특히 본 발명은 퍼지 클러스터링을 이용하여 프레임 간의 점을 그룹화하고, 각 프레임의 점들의 쌍에 대한 비용을 계산하여 모션 대응을 수행하는 방법에 관한 것이다.
모션 대응(motion correspondence)은 연속되는 영상 프레임에서 움직이는 점을 추적하기 위한 것으로, 모션 분석, 물체 추적(object tracking), 지능형 감시(intelligent surveillance) 등의 분야에서 연구되고 있는 중요한 주제이다.
모션 대응의 목적은 프레임에 진입한 시점부터 프레임을 떠날 때까지 움직이는 특징점을 추적하거나, 경로를 파악하기 위한 것이다. 특정 객체(object)의 움직임은 모션 대응 알고리즘을 통해 획득되는 객체의 움직임 경로를 통해 분석된다.
모션 대응에서 객체는 특징점으로 표현되기 때문에 하나의 점은 집중적임 움직임 지점에서는 다른 점들에 의해 가려질 수도 있다. 또한 불완전한 검출 알고리짐에 의해 잘못 인식된 점이나 인식되지 못한 점들이 발생할 수도 있다. 나아가 근접한 점들은 어떤 영역에서는 서로 교차하면서 해석하기 애매한 상황이 나타날 수 있다.
여러 가지 이유로 각 프레임의 점들의 숫자가 달라지는 경우 연속되는 프레임의 점들을 매칭하는 것은 모션 대응에서 해결해야 하는 과제이다.
국부(local) 방법은 국부적으로 불분명한 영역에서 많은 수의 점들이 움직이는 경우 모션 대응에 어려운 문제점이 있었다. 광역(global) 방법은 기하학적 연관 관계 같은 점 집합으로부터 제공되는 추가적인 정보를 이용하거나, 광역 모션 모델을 사용한다. 종래의 광역 방법은 그 복잡도가 높다는 문제점이 있다. 결국 복잡도가 낮으면서도 정확도가 높은 모션 대응 방법이 필요한 것이다.
본 발명에 따른 퍼지 클러스터링을 이용한 모션 대응 방법은 다음과 같은 해결과제를 목적으로 한다.
첫째, 본 발명은 프레임의 점들에 대한 그룹화를 통해 모션 대응 알고리즘의 복잡도를 낮추고자 한다.
둘째, 본 발명은 두 개의 프레임의 점들이 형성할 수 있는 쌍에 대한 비용을 연산하여 모션 대응 알고리즘의 복잡도를 낮추고자 한다.
셋째, 본 발명은 점들의 매칭에 있어서 A* 알고리즘을 사용하여, 연산이 빠르고 정확도가 높은 모션 대응 방법을 제공하고자 한다.
본 발명의 해결과제는 이상에서 언급된 것들에 한정되지 않으며, 언급되지 아니한 다른 해결과제들은 아래의 기재로부터 당업자에게 명확히 이해되어 질 수 있을 것이다.
본 발명에 따른 퍼지 클러스터링을 이용한 모션 대응 방법은 소스 영상 프레임(t-1)에서 타겟 영상 프레임(t)으로 모션 대응을 수행하는 방법에 있어서, 소스 영상 프레임 및 타겟 영상 프레임에 있는 모든 점들이 퍼지 클러스터링을 통하여 그룹으로 나뉘는 S1 단계, S1 단계에서 나뉜 각 그룹 내에서 소스 영상 프레임의 점과 타겟 영상 프레임에 있는 점의 각 쌍에 대한 비용이 산출되는 S2 단계 및 S2 단계에서 산출된 비용을 이용하여 소스 영상 프레임의 점과 타겟 영상 프레임의 점을 매칭하는 S3 단계를 포함한다.
본 발명에 따른 S1 단계는 소스 영상 프레임의 점들은 점들 간의 유사도를 나타내는 유클리드 거리(Euclidean distance)와 함께 퍼지 클러스터링을 이용하여 하나 이상의 그룹으로 나누어지고, 타겟 영상 프레임의 점들은 소스 영상 프레임의 제1 클러스터 중심(cluster center)를 기준으로 하나 이상의 그룹에 추가적으로 클러스터링되는 것을 특징으로 한다.
본 발명에 따른 S1 단계는 소스 영상 프레임의 점들에 대한 개수 및 제1 클러스터 중심의 초기 위치가 마운틴 방법(mountain method)을 이용하여 결정되는 S1-1 단계, 제1 클러스터 중심의 위치가 FCM(Fuzzy C-Means) 알고리즘을 이용하여 반복적으로 결정되는 S1-2 단계, 소스 영상 프레임의 점들에 대한 제1 신뢰도를 기준으로 각 제1 클러스터 중심에 소스 영상 프레임의 점들이 배치되면서 그룹화되는 S1-3 단계 및 타겟 영상 프레임의 점들이 타겟 영상 프레임의 점들에 대한 제1 신뢰도를 기준으로 소스 영상 프레임의 제1 클러스터 중심에 배치되면서 그룹화되는 S1-4 단계를 포함한다.
본 발명에 따른 S1-2 단계는 퍼지 객체 함수(Z)가 정의되는 S1-2-1 단계, S1-2-1 단계에서 정의된 퍼지 객체 함수의 합인 라그랑즈 함수를 최소화하여 퍼지 신뢰도를 추정하는 S1-2-2 단계 및 S1-2-2 단계에서 추정된 퍼지 신뢰도에 따라 클러스터 센터위치가 결정되는 S1-2-3 단계를 포함한다.
본 발명에 따른 퍼지 신뢰도는 아래와 같은 제한 조건을 만족하는 것을 특징으로 하는 퍼지 클러스터링을 이용한 모션 대응 방법.
Figure 112011017024875-pat00001
여기서, mt -1은 소스 영상 프레임(t-1) 점의 개수, r은 클러스터 센터의 첨자, 클러스터 센터의 개수이다.
본 발명에 따른 S1-2-1 단계의 퍼지 객체 함수는 아래의 식 형태로 정의되는 것을 특징으로 한다.
Figure 112011017024875-pat00002
여기서, p는 퍼지정도(fuzziness)를 제어하는 변수이고, Si t -1은 소스 영상 프레임(t-1) 프레임의 점들 중 x 좌표 기준으로 i번째 점을 나타내고, vr t -1은r번째 클러스터의 센터를 나타내고, wir t -1은 점 i가 vr t -1 센터에 소속되는 정도를 나타낸다.
본 발명에 따른 S1-2-2 단계의 퍼지 신뢰도는 아래의 식으로 추정되는 것을 특징으로 한다.
Figure 112011017024875-pat00003
여기서,
Figure 112011017024875-pat00004
는 라그랑즈 곱셈자(lagrange multiplier)이고, p는 퍼지정도(fuzziness)를 제어하는 변수이고, Si t -1은 소스 영상 프레임(t-1) 프레임의 점들 중 x 좌표 기준으로 i번째 점을 나타내고, vr t -1은r번째 클러스터의 센터를 나타내고, wir t -1은 점 i가 vr t -1 센터에 소속되는 정도를 나타낸다.
본 발명에 따른 S1-2-3 단계의 제1 클러스터 중심은 아래의 식으로 결정되는 것을 특징으로 한다.
Figure 112011017024875-pat00005
여기서, p는 퍼지정도(fuzziness)를 나타내고, Si t -1은 소스 영상 프레임(t-1) 프레임의 점들 중 x 좌표 기준으로 i번째 점을 나타내고, vr t -1은r번째 클러스터의 센터를 나타내고, wir t -1은 점 i가 vr t -1 센터에 소속되는 정도를 나타낸다.
본 발명에 따른 S1-3 단계의 소스 영상 프레임의 점들에 대한 제1 신뢰도는 아래의 식으로 결정되는 것을 특징으로 한다.
Figure 112011017024875-pat00006
여기서, Ct -1은 소스 영상 프레임의 점들의 클러스터 숫자, g는 각각의 클러스터 센터의 첨자이다.
본 발명에 따른 S1-4 단계의 타겟 영상 프레임의 점들에 대한 제1 신뢰도는 아래의 식으로 결정되는 것을 특징으로 한다.
Figure 112011017024875-pat00007
여기서, Ct -1은 소스 영상 프레임의 점들의 클러스터 숫자이고, g는 각각의 클러스터 센터의 첨자이다.
본 발명에 따른 S2 단계는 각 점의 속도 벡터 및 방향 각에 기반한 모션 제한 조건을 이용하여 소스 영상 프레임의 점과 타겟 영상 프레임의 점들의 가능한 모든 쌍에 대한 비용이 산출되는 것을 특징으로 한다.
타겟 영상 프레임의 점들을 제2 클러스터 중심이라고 가정하면, 소스 영상 프레임의 점들이 제2 신뢰도에 따라 제2 클러스터 중심에 배치되어 쌍을 이루고, 소스 영상 프레임의 점들에 대한 제2 신뢰도 값을 비용으로 결정하여 산출되는 것을 특징으로 한다.
본 발명에 따른 제2 신뢰도는 아래와 같은 제한 조건을 만족하는 것을 특징으로 한다.
Figure 112011017024875-pat00008
여기서, mt -1은 소스 영상 프레임(t-1) 점의 개수, mt는 타겟 영상 프레임(t) 점의 개수이다.
본 발명에 따른 제2 신뢰도는 아래의 식으로 표현되는 함수를 최소화하여 측정되는 것을 특징으로 한다.
Figure 112011017024875-pat00009
여기서, q는 퍼지정도를 제어하는 변수이고, f는 결합 특성(joint feature)로서 fj=[vj, θj]로 표현되는데 vj는 vj=(vj.x, vj.y)로 표현되는 점을 속도 벡터이고, θj는 점의 방향을 의미한다.
본 발명에 따른 제2 신뢰도는
Figure 112011017024875-pat00010
으로 표현되는 라그랑즈 함수에 대하여, uij t -1로 미분하고, 정규화 조건을 적용하여 아래의 식으로 측정되는 것을 특징으로 한다.
Figure 112011017024875-pat00011
여기서,
Figure 112011017024875-pat00012
는 라그랑즈 곱셈자이고, mt -1은 소스 영상 프레임(t-1) 점의 개수, mt은 타겟 영상 프레임(t) 점의 개수이다.
본 발명에 따른 S3 단계는 소스 영상 프레임의 점 및 타겟 영상 프레임의 점에 대한 CM 행렬이 산출되는 S3-1 단계 및 S3-1 단계에서 산출된 CM 행렬을 이용하여, A* 알고리즘에 적용하는 S3-2 단계를 포함하는 것을 특징으로 한다.
본 발명에 따른 S3-1 단계의 CM 행렬은 아래의 식으로 표현되는 것을 특징으로 한다.
Figure 112011017024875-pat00013
여기서, 행렬의 각 요소는 S2 단계의 제2 신뢰도(
Figure 112011017024875-pat00014
) 값으로 설정되고, 문턱치ε보다 작다면 0으로 설정된다.
본 발명에 따른 S3 단계에서 매칭되는 소스 영상 프레임의 점과 타겟 영상 프레임의 점에 대한 집합은
Figure 112011017024875-pat00015
로 정의되고, 여기서 si t -1이 소스 영상 프레임의 점이고 sj t가 타겟 영상의 점이며, Yt -1은 아래의 식을 만족하는 것을 특징으로 한다.
Figure 112011017024875-pat00016
여기서, mt -1은 소스 영상 프레임(t-1) 점의 개수이고, mt는 타겟 영상 프레임(t) 점의 개수이고, aij t -1은 소스 영상 프레임의 점 si t -1과 타겟 영상 프레임의 점sj t가 매칭되는 경우는 1의 값을 갖는 매칭 행렬(At -1)의 원소를 의미하고,
Figure 112011017024875-pat00017
는 S2 단계에서 결정된 신뢰도,
Figure 112011017024875-pat00018
는 패널티를 나타내는 변수이다.
Yt -1은 트리의 각 레벨은 소스 영상 프레임의 점에 해당하여 트리의 전체 깊이는 소스 영상 프레임의 점의 개수와 같고, 레벨 i의 노드는 타겟 노드의 점이 지정되는 트리를 사용하는 A* 알고리즘을 통해 검출되는 것을 특징으로 한다.
본 발명에 따른 레벨 i의 노드는 해당 레벨이 나타내는 소스 영상 프레임의 점에 대하여 CM 행렬에서 0이 아닌 타겟 영상 프레임의 점이 선택되는 것을 특징으로 한다.
본 발명의 다른 측면으로, 전술한 퍼지 클러스터링을 이용한 모션 대응 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공한다.
본 발명에 따른 퍼지 클러스터링을 이용한 모션 대응 방법은 다음과 같은 효과를 갖는다.
첫째, 프레임의 점들에 대한 그룹화를 통해 모션 대응 알고리즘의 복잡도를 낮추어 조속한 모션 대응이 수행된다.
둘째, 프레임의 점들에 대해 퍼지 클러스터링 방법을 사용하여 효율적인 그룹화를 수행한다.
셋째, 그룹 내의 프레임의 점들에 대한 신뢰도를 측정하여 프레임 간의 점들을 정확하게 매칭한다.
본 발명의 효과는 이상에서 언급된 것들에 한정되지 않으며, 언급되지 아니한 다른 효과들은 아래의 기재로부터 당업자에게 명확하게 이해되어 질 수 있을 것이다.
도 1은 본 발명에 따른 퍼지 클러스터링을 이용한 모션 대응 방법에 대한 순서도이다.
도 2는 본 발명에 따른 퍼지 클러스터링을 통한 그룹이 나뉘는 S1 단계에 대한 구체적인 단계를 도시한 순서도이다.
도 3은 본 발명에 따라 소스 영상 프레임 및 타겟 영상 프레임에 있는 점들이 퍼지 클러스터링을 통해 그룹화되는 과정을 도시한 일 예이다.
도 4는 본 발명에 따라 소스 영상 프레임의 점과 타겟 영상 프레임의 점의 각 쌍에 대한 비용을 산출하기 위해 소스 영상 프레임의 점이 타겟 영상 프레임의 점에 배치되는 과정을 도시한 일 예이다.
도 5는 본 발명에 따라 소스 영상 프레임의 점과 타겟 영상 프레임의 점을 매칭하기 위하여 사용하는 A* 트리를 도시한 일 예이다.
도 6은 본 발명의 효과를 실험한 결과로서, 도 6(a)는 7개의 프레임 동안에 6개의 점이 이동한 실제 궤적을 도시하고, 도 6(b)는 제3 프레임에서 제4 프레임 간의 CM 행렬을 도시하고, 도 6(c)는 본 발명에 따라 산출된 점들의 궤적을 도시한 그래프이다.
도 7(a)는 본 발명의 효과를 측정하기 위해 사용한 CAVIAR 데이터 집합의 샘플 이미지이고, 도 7(b)는 PETS 데이터 집합의 샘플 이미지이다.
도 8은 도 7에 도시된 데이터 집합에 대하여 본 발명의 퍼지 클러스터링에 대한 효과를 실험한 결과로서, 도 8(a)는 크리스프(crisp) 클러스터링의 결과를 도시한 그래프이고, 도 8(b)는 본 발명에 따른 퍼지 클러스터링의 결과를 도시한 그래프이다.
도 9는 CAVIAR 데이터 집합에 대해 본 발명의 모션 대응 기법을 적용한 결과에 대한 궤적을 도시한 것으로, 도 9(a)는 검증자료(ground truth)의 실제 궤적(true trajectories)이고, 도 9(b)는 본 발명의 기법에 의해 연산된 궤적이다.
도 10는 PETS 데이터 집합에 대해 본 발명의 모션 대응 기법을 적용한 결과에 대한 궤적을 도시한 것으로, 도 10(a)는 검증자료(ground truth)의 실제 궤적(true trajectories)이고, 도 10(b)는 본 발명의 기법에 의해 연산된 궤적이다.
연속적인 여러 개의 프레임에 있는 수많은 점들에 대한 모션 대응은 매우 많은 연산이 필요하다. 예컨대, n개의 프레임과 m개의 점이 있다고 가정하면, 모든 매칭의 가능성은 (m!)n-1이 된다. 따라서 이러한 연산에 대한 복잡도를 낮추어야만 하고, 본 발명에서는 퍼지 클러스터링을 통합 그룹화를 통해 복잡도를 낮추고자 하는 것이다.
이하 본 발명에 대한 설명에서 x 좌표 순서에 따른 점들의 순서를 아래의 식(1)과 같이 S 라고 정의한다. 즉 모든 점은 x 좌표값에 따라 일련의 순서를 갖는다.
Figure 112011017024875-pat00019
여기서, si .x는 i 번째 점의 x 좌표이고, m은 점들의 개수이다.
모션 대응의 목적은 점들의 경로를 결정하는 것이다. M 길이의 경로는 T=<T1, T2, ... , TM>이라고 정의하면, Ti는 아래의 식 2로 표현되는 점들의 순서로 정의된다.
Figure 112011017024875-pat00020
여기서, mk는 전체 n개의 프레임 중에서 k 번째 프레임의 점들의 개수이다.
이하에서는 도면을 참조하면서 본 발명에 따른 퍼지 클러스터링을 이용한 모션 대응 방법에 관하여 구체적으로 설명하겠다.
도 1은 본 발명에 따른 퍼지 클러스터링을 이용한 모션 대응 방법에 대한 순서도이다.
여기서, 타겟 영상 프레임은 t시간의 영상 프레임이고, 소스 영상 프레임은 t-1 시간의 영상 프레임으로서 타겟 영상 프레임 직전의 영상 프레임을 말한다. 2개의 프레임 간 점들을 매칭하는 방법을 설명한 것이다.
실제로는 연속되는 프레임간 계속적으로 점들을 매칭하여 모션 대응을 수행한다. 즉 t-2 시간 프레임의 점들과 t-1 시간 프레임의 점들을 매칭하고, t-1 시간 프레임의 점들과 t 시간 프레임의 점들을 매칭하고, t 시간 프레임의 점들과 t+1 시간 프레임의 점들을 매칭하는 방식으로 계속 수행된다.
여기서 소스 영상 프레임을 t-1 시간으로 표기한 것은 시간에 따른 순서임을 나타내기 위한 것에 불과하므로, 권리범위를 한정하는 표현이 아니다.
t-1 시간의 소스 영상 프레임은 t-2 시간 프레임의 점들과 매칭이 끝난 상태이고, 이제 t-1 시간의 소스 영상 프레임의 점들은 t 시간의 타겟 영상 프레임의 점들과 매칭이 수행되게 된다.
즉 매칭이 끝난 직전의 영상 프레임이 소스 영상 프레임이고 소스 영상 프레임의 다음 영상 프레임이 타겟 영상 프레임이 된다. t 시간의 타겟 영상 프레임의 점들이 매칭이 완료된 후에는 t 시간의 영상 프레임이 소스 영상 프레임이 되고, t+1 시간의 영상 프레임이 타겟 영상 프레임이 된다. 따라서 소스 영상 프레임에 있는 점들까지는 특징점의 경로가 결정된 상태가 된다.
본 발명에 따른 퍼지 클러스터링을 이용한 모션 대응 방법은 소스 영상 프레임 및 타겟 영상 프레임에 있는 모든 점들이 퍼지 클러스터링을 통하여 그룹으로 나뉘는 S1 단계, S1 단계에서 나뉜 각 그룹 내에서 소스 영상 프레임의 점과 타겟 영상 프레임에 있는 점의 각 쌍에 대한 비용이 산출되는 S2 단계 및 S2 단계에서 산출된 비용을 이용하여 소스 영상 프레임의 점과 타겟 영상 프레임의 점을 매칭하는 S3 단계를 포함한다. 이하 각 단계에 대해 구체적으로 설명하기로 한다.
퍼지 클러스터링( S1 단계)
연속적인 2개의 프레임에 있는 모든 점들을 클러스터 중심에 따라 하나 이상의 그룹으로 나누는 과정이다. 도 2는 본 발명에 따라 소스 영상 프레임 및 타겟 영상 프레임에 있는 점들이 퍼지 클러스터링을 통해 그룹화되는 과정을 도시한 일 예이다. 점들은 서로 다른 신뢰도를 기반으로 하나 이상의 그룹으로 나뉜다. 퍼지 클러스터링에 사용되는 신뢰도를 제1 신뢰도라 한다.
S1 단계는 소스 영상 프레임의 점들은 점들 간의 유사도를 나타내는 유클리드 거리(Euclidean distance)와 함께 퍼지 클러스터링을 이용하여 하나 이상의 그룹으로 나누어지고, 타겟 영상 프레임의 점들은 소스 영상 프레임의 제1 클러스터 중심(cluster center)을 기준으로 하나 이상의 그룹에 추가적으로 클러스터링되어 그룹을 형성한다.
도 3은 본 발명에 따른 퍼지 클러스터링을 통한 그룹이 나뉘는 S1 단계에 대한 구체적인 단계를 도시한 순서도이다.
S1 단계는 소스 영상 프레임의 점들에 대한 개수 및 제1 클러스터 중심의 초기 위치가 마운틴 방법(mountain method)을 이용하여 결정되는 S1-1 단계, 제1 클러스터 중심의 위치가 FCM(Fuzzy C-Means) 알고리즘을 이용하여 반복적으로 결정되는 S1-2 단계, 소스 영상 프레임의 점들에 대한 제1 신뢰도를 기준으로 각 제1 클러스터 중심에 소스 영상 프레임의 점들이 배치되면서 그룹화되는 S1-3 단계 및 타겟 영상 프레임의 점들이 타겟 영상 프레임의 점들에 대한 제1 신뢰도를 기준으로 소스 영상 프레임의 제1 클러스터 중심에 배치되면서 그룹화되는 S1-4 단계를 포함한다.
마운튼 방법은 클러스터의 개수가 정해지지 않은 경우에 클러스터의 개수 및 센터를 구할 수 있는 방법으로 데이터들의 분포를 산(Mountain)으로 보고 산의 개수가 몇 개 인지에 따라 클러스터의 개수가 정해지는 방법이다.
제1 신뢰도는 아래의 수학식 3과 같은 제한 조건을 만족한다.
Figure 112011017024875-pat00021
여기서, mt-1은 소스 영상 프레임(t-1) 점의 개수이다. r은 클러스터 센터의 첨자를 의미하고, ct-1은 클러스터 센터의 개수를 나타낸다. Ct-1은 t-1 프렘임에서 클러스터 센터의 개수, Wir t-1은 t-1 프레임에서 점 i가 r번째 클러스터 센터 vr t-1에 소속되는 정도를 나타낸다.
퍼지 객체 함수를 Z라고 정의하면, S1-2 단계는 아래의 수학식 4와 같이 Z를 최소화하여 퍼지 신뢰도를 구하여 결정되는 단계라고 하겠다.
Figure 112011017024875-pat00022
여기서, p는 퍼지정도(fuzziness)를 제어하는 변수이고, Si t-1은 소스 영상 프레임(t-1) 프레임의 점들 중 x 좌표 기준으로 i번째 점을 나타낸다. vr t-1기준은 t-1 프레임에 있는 점들의 클러스터 센터를 나타낸다. wir t-1은 점 i가 vr t-1 센터에 소속되는 정도를 나타낸다. w는 퍼지소속정도를 나타내며, v는 클러스터 센터를 나타낸다.
퍼지 객체 함수의 합인 라그랑즈 함수를 최소화하는 식은 아래의 수학식 5와 같이 표현된다.
Figure 112011017024875-pat00023
여기서
Figure 112011017024875-pat00024
는 라그랑즈 곱셈자(lagrange multiplier)이다.
상기 라그랑즈 함수 Z를 고정된 wir t -1에 대한 vr t -1에 따라 미분하고, 정규화 조건(normalization constraint)을 적용하면 클러스터 중심을 아래의 수학식 6과 같이 검출할 수 있다. 클러스터 중심은 소스 영상 프레임의 점 중에서 결정되는 것이다. 하나 이상의 클러스터 중심이 결정된다.
Figure 112011017024875-pat00025
여기서, p는 퍼지정도(fuzziness)를 나타내고, Si t-1은 소스 영상 프레임(t-1) 프레임의 점들 중 x 좌표 기준으로 i번째 점을 나타내고, vr t-1은r번째 클러스터의 센터를 나타내고, wir t-1은 점 i가 vr t-1 센터에 소속되는 정도를 나타내고, mt-1은 소스 영상 프레임(t-1) 점의 개수를 나타내며,
Figure 112012049833105-pat00079
는 t-1 프레임에 있는 점들의 r번째 클러스터 센터를 나타낸다.
S1-2 단계를 정리하면, 퍼지 객체 함수(Z)가 정의되는 S1-2-1 단계, S1-2-1 단계에서 정의된 퍼지 객체 함수의 합인 라그랑즈 함수를 최소화하여 퍼지 신뢰도를 추정하는 S1-2-2 단계 및 S1-2-2 단계에서 추정된 퍼지 신뢰도에 따라 클러스터 센터위치가 결정되는 S1-2-3 단계를 포함한다.
S1-3 단계의 소스 영상 프레임의 점들에 대한 제1 신뢰도는 아래의 수학식 7로 결정된다.
Figure 112011017024875-pat00026
여기서, Ct-1은 소스 영상 프레임의 점들의 클러스터 개수이다. g는 각각의 클러스터 센터의 첨자를 나타낸다. 즉, g는 클러스터 센터 vr t-1 중 임의의 센터에 대한 첨자이다. Si t-1는 소스 영상 프레임의 점,
Figure 112012049833105-pat00080
는 t-1 프레임에서 g번째 클러스터 센터,
Figure 112012049833105-pat00081
는 t-1 프레임에서 r번째 클러스터 센터,
Figure 112012049833105-pat00082
는 t-1 프레임에서 I번째 점이 g클러스터 센터에 소속되는 정도이다.
소스 영상 프레임의 점 중 클러스터 중심에 따라 하나 이상의 그룹으로 타겟 영상의 점들이 클러스터링된다. 이때 기준이 되는 신뢰도는 타겟 영상 프레임의 점들에 대한 제1 신뢰도이다. S1-4 단계의 타겟 영상 프레임의 점들에 대한 제1 신뢰도는 아래의 수학식 8로 결정된다.
Figure 112011017024875-pat00027
여기서, Ct-1은 소스 영상 프레임의 점들의 클러스터 숫자이고, g는 각각의 클러스터 센터의 첨자, Sj t는 타겟 영상 프렘임의 점, mt는 타겟 영상 프레임(t) 점의 개수,
Figure 112012049833105-pat00083
는 t 프레임에서 j번째 점이 g번째 클러스터 센터에 소속되는 정도,
Figure 112012049833105-pat00084
는 t 프레임에서 g번째 클러스터 센터,
Figure 112012049833105-pat00085
은 t 프레임에서 r번째 클러스터 센터이다.

소스 영상 프레임의 점과 타겟 영상 프레임의 점의 쌍에 대한 비용 산출(S2 단계)
도 4는 본 발명에 따라 소스 영상 프레임의 점과 타겟 영상 프레임의 점의 각 쌍에 대한 비용을 산출하기 위해 소스 영상 프레임의 점이 타겟 영상 프레임의 점에 배치되는 과정을 도시한 일 예이다.
S2 단계는 각 점의 속도 벡터 및 방향 각에 기반한 모션 제한 조건을 이용하여 소스 영상 프레임(t-1)의 점과 타겟 영상 프레임(t)의 점들 각각에 대한 비용을 산출하는 과정이다. 그룹 내에서의 소스 영상 프레임 및 타겟 영상 프레임의 점들의 쌍에 대한 비용을 측정하는 것이다.
비용은 소스 영상 프레임의 각 점에 대한 퍼지 신뢰도로 측정된다. S2 단계에서 사용되는 신뢰도를 S1 단계의 신뢰도와 구분하기 위해 제2 신뢰도라고 한다.
S2 단계는 타겟 영상 프레임의 점들을 기준으로 점들 간의 쌍을 형성하게 된다. 타겟 영상 프레임의 점들을 S1 단계의 클러스터 중심과 구별하기 위해 제2 클러스터 중심이라는 표현을 사용하기로 한다.
타겟 영상 프레임의 점(st j)들을 제2 클러스터 중심이라고 가정하면, 소스 영상 프레임의 점들은 FCM을 이용하여 제2 신뢰도(uij)에 따라 제2 클러스터 중심에 배치되어 쌍을 이루고, 소스 영상 프레임의 점들에 대한 제2 신뢰도 값을 비용으로 결정하여 산출한다. S1 단계에서 형성된 그룹들 내에 있는 점들과의 대응비용을 구하는 것으로, 이 대응비용을 통해 대응 쌍들의 비교 횟수를 줄일 수 있다.
결합 특성(joint feature) fj=[vj, θj]라 정의한다. 이때 vj는 vj=(vj.x, vj.y)로 표현되는 점을 속도 벡터이고, θj는 점의 방향각을 의미한다. 타겟 프레임 점의 결합 특성에 대한 집합(Ft)는 아래의 식9와 같이 표현된다.
Figure 112011017024875-pat00028
여기서 st j는 타겟 영상 프레임의 점이고, st -1 j는 소스 영상 프레임의 점이다.
배치 행렬(assignment matrix) At -1=[aij t -1]으로 정의한다. 여기서, 소스 영상 프레임의 점(st -1 j)이 타겟 영상 프레임의 점(st j)들에 배치되는 경우, aij t -1 = 1값을 가지고, 다른 경우는 0의 값을 갖는다. 아래의 수식 10과 같이 다른 표기로 표현이 가능하다.
Figure 112011017024875-pat00029
소스 영상 프레임 점의 결합 특성에 대한 집합(Ft -1)은 아래의 식 11과 같이 표현된다.
Figure 112011017024875-pat00030
여기서, ai t -2는 소스 영상 프레임의 점보다 하나 앞선 프레임의 점의 첨자를 말하는 것으로, 소스 영상 프레임에 앞서 이미 경로가 확정된 트랙의 t-2 프레임의 점의 첨자를 의미한다.
소스 영상 프레임과 타겟 영상 프레임 간의 점들에 대한 제2 신뢰도 함수는 아래의 수학식 12와 같은 제한 조건을 만족한다.
Figure 112012049833105-pat00031
여기서, mt-1은 소스 영상 프레임(t-1) 점의 개수, mt는 타겟 영상 프레임(t) 점의 개수,
Figure 112012049833105-pat00086
는 t-1 프레임의 특징벡터 fi와 t 프레임의 특징벡터 fj간에 소속 정도이다.
타겟 영상 프레임의 각 점을 제2 클러스터 중심이라고 가정하면, 아래의 수학식 13으로 표현되는 함수(Z)를 최소화하여 제2 신뢰도를 측정할 수 있다.
Figure 112011017024875-pat00032
q는 퍼지정도를 제어하는 변수이다. f는 결합 특성(joint feature)로서 fj=[vj, θj]로 표현되는데 vj는 vj=(vj.x, vj.y)로 표현되는 점을 속도 벡터이고, θj는 점의 방향을 의미함. u, f는 t-1 프레임의 특징벡터와 t프레임의 특징벡터간에 소속정도, 속도와 방향각을 특징으로 갖는 특징벡터,
Figure 112012049833105-pat00087
는 t-1 프레임 i번째 점과 트랙으로 연결된 t-2 프레임 점과의 이동 속도 및 방향각을 구성하는 특징벡터,
Figure 112012049833105-pat00088
는 t 프레임 j번째 점과 트랙으로 연결가능한 t-1프레임 점과의 이동속도 및 방향각을 구성하는 특징벡터를 의미한다.
제2 신뢰도는 아래의 수학식 14로 표현되는 라그랑즈 함수로부터 추출될 수 있다.
Figure 112011017024875-pat00033
여기서
Figure 112012049833105-pat00034
는 라그랑즈 곱셈자이다. mt-1은 소스 영상 프레임(t-1) 점의 개수, mt은 타겟 영상 프레임(t) 점의 개수,
Figure 112012049833105-pat00089
는 t 프레임 j번째 점과 트랙으로 연결가능한 t-1 프레임 점과의 이동 속도 및 방향각을 구성하는 특징벡터,
Figure 112012049833105-pat00090
는 t 프레임 h번째 점과 트랙으로 연결가능한 t-1 프레임 점과의 이동 속도 및 방향각을 구성하는 특징벡터,
Figure 112012049833105-pat00091
는 t-1 프레임의 특징벡터 i와 t 프레임의 특징벡터 j간의 소속정도이다.
상기 수학식 14을 uij t-1로 미분하고, 정규화 조건을 적용하면 아래의 수학식 15로 표현되는 함수로 제2 신뢰도를 획득할 수 있다.
Figure 112011017024875-pat00035
상기 수학식 13 부터 상기 수학식 15까지의 과정이 FCM(Fuzzy C-Means) 알고리즘을 이용하여 신뢰도를 산출한 과정에 해당한다.
소스 영상 프레임의 점과 타겟 영상 프레임의 점을 매칭 ( S3 단계)
본 발명은 아래의 식 16으로 표현되는 배치 기준 행렬을 신뢰도를 기준으로 설정할 수 있다. 행렬에서 열(column)은 소스 영상 프레임의 점을 말하고, 행(row)는 타겟 영상 프레임의 점을 나타낸다.
행렬의 각 요소는 상기 수학식 15로 산출된 값을 갖는다. 만약 uij요소가 문턱치ε보다 작다면 0으로 설정된다. 문턱치는 경험적 또는 실험적 결과를 통해 판단하며 보통 0.1보다 작은 값을 갖는다. j번째 행에서 0 값이 아닌 신뢰도를 갖는 요소는 j번째 타겟 영상 프레임의 점(sj t)의 신뢰도가 0 과 1 사이의 값을 갖는다. CM(Cost Matrix)의 마지막 행에 대한 방정식은 아래의 수학식 17과 같이 정의할 수 있다.
Figure 112011017024875-pat00036
후술하겠지만, 상기 식 16을 이용하여 소스 영상 프레임의 점과 타겟 영상 프레임의 점이 매칭된다.
Figure 112011017024875-pat00037
여기서, I(c)는 지시자 함수(indicator function)로서, c가 진실이면 1의 값을 갖고, 그렇지 않다면 0의 값을 갖는다. ei t -1은 CM의 i번째 열에서 문턱치 ε보다 작은 신뢰도들의 합이다.
이하
Figure 112011017024875-pat00038
는 1-
Figure 112011017024875-pat00039
로 표현되는 값으로 패널티(penalty)라고 정의할 수 있다. 대응 문제를 표현하기 위해 아래의 수학식 18로 표현될 수 있다.
Figure 112011017024875-pat00040
여기서, mt -1은 소스 영상 프레임(t-1) 점의 개수이고, mt는 타겟 영상 프레임(t) 점의 개수이고, aij t -1은 소스 영상 프레임의 점 si t -1과 타겟 영상 프레임의 점sj t가 매칭되는 경우는 1의 값을 갖는 매칭 행렬(At -1)의 원소를 의미하고,
Figure 112011017024875-pat00041
는 S2 단계에서 결정된 신뢰도이다.
상기 수학식 18을 만족하는 Yt -1을 아래의 식 19와 같이 표현할 수 있다. 즉, Yt-1은 S3 단계에서 매칭되는 소스 영상 프레임의 점과 타겟 영상 프레임의 점에 대한 집합에 해당한다.
Figure 112011017024875-pat00042
본 발명은 Yt -1을 획득하기 위하여 A* 알고리즘을 이용한 검색을 수행한다. 도 5는 본 발명에 따라 소스 영상 프레임의 점과 타겟 영상 프레임의 점을 매칭하기 위하여 사용하는 A* 트리를 도시한 일 예이다.
A* 트리를 운용하는 방법은 컴퓨터 알고리즘 분야의 통상의 지식을 가진 자라면, 익숙하게 알고 있는 과정이므로 A* 트리에서 본 발명에 특이적인 부분만을 설명하기로 한다.
트리의 각 레벨은 소스 영상 프레임의 점에 해당하여 트리의 전체 깊이는 소스 영상 프레임의 점의 개수와 같고, 레벨 i의 노드는 타겟 노드의 점이 할당된다. 레벨 i의 노드가 최적의 경로에 있는 노드라고 결정되면, 타겟 영상 프레임에 있는 점 sj t가 레벨 i의 소스 영상 프레임의 점 si t -1에 매칭된다.
이때 레벨 i에 할당되는 타겟 영상 프레임의 점은 상기 식 16을 이용하여 선택된다. 레벨 i에 해당하는 소스 영상 프레임 점과의 관계에서 상기 식 16에서 타겟 영상 프레임의 점 중에서 0이 아닌 값을 갖는 점이 레벨 i의 노드로 선택되는 것이다.
최종적으로 레벨 i에 할당된 노드 중에서 패널티(
Figure 112011017024875-pat00043
)들의 합을 가장 작게 하는 노드가 해당 레벨 i에 선택된다. 패널티의 합이 가장 작은 노드들을 선택하는 방법으로 A* 알고리즘을 사용한다.
예컨대, 레벨 1과 2만이 있는 트리를 가정하면, 레벨 1과 레벨 2에서 s2 t가 가장 패널티가 작은 값이었고, 레벨 2에서 보다 작은 값이라면, 레벨 2에 s2 t가 매칭 노드로 선택이되고, 레벨 1에서는 s2 t를 제외한 나머지 노드 중에서 가장 패널티가 작은 값이 매칭 노드로 선택되는 것이다. 보다 구체적인 예는 본 발명에 대한 효과에 대한 실험 부분에서 설명하기로 한다.
도 5를 살펴보면, 두꺼운 선으로 표시된 노드가 해당 레벨에서 선택된 노드를 나타낸다. 도 5는 루트를 0 레벨이라고 하고, 4 레벨의 높이만이 표시되었으나, 레벨 3과 레벨 mt - 1사이에 더 많은 레벨이 있다고 가정한 것이다. 최종적으로 매칭된 점들의 집합은
Figure 112011017024875-pat00044
이다.
A* 알고리즘은 다음과 같은 제한 조건을 만족해야 한다. ① 트리에 있는 각 노드는 한정된 후속자(successor)가 있어야하고, ② 트리에 있는 비용은 양의 값을 가져야하며, ③ 노드 n으로부터의 경로에 대한 실제 비용 h(n)이 추정된
Figure 112011017024875-pat00045
보다 크거나 같아야 한다.
이제 우리가 이용한 A* 알고리즘이 상기 조건을 만족하는지 검토한다. 하나의 프레임에 속한 점들이 노드를 구성하므로 ① 조건은 만족한다. 또한 패널티인
Figure 112011017024875-pat00046
가 0과 1사이의 값을 갖고 있으므로 ② 조건도 만족한다.
Figure 112011017024875-pat00047
을 노드 n부터 최종 목표 노드까지 각 레벨의 최소 패널티의 합이라고 하자. 이는 아래의 수학식 20과 같이 표현된다.
Figure 112011017024875-pat00048
여기서, d는 노드 n의 레벨을 의미한다.
h(n)은 하나의 노드에서 최종 목표 노드까지의 최소 패널티의 합으로, 상기 식 18에서 일대일 대응의 제한을 만족한다. 따라서
Figure 112011017024875-pat00049
이란 조건을 만족하므로, ③ 조건에 부합한다.
본 발명의 다른 실시예로서, 전술한 퍼지 클러스터링을 이용한 모션 대응 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체가 제공될 수 있다.
본 발명의 모션 대응 기법의 효과 실험
도 6은 본 발명의 효과를 실험한 결과로서, 도 6(a)는 7개의 프레임 동안에 6개의 점이 이동한 실제 궤적을 도시하고, 도 6(b)는 제3 프레임에서 제4 프레임 간의 CM 행렬을 도시하고, 도 6(c)는 본 발명에 따라 산출된 점들의 궤적을 도시한 그래프이다.
이 실험을 위해 실험실 내에서 만들어진 데이터 세트를 사용하였다. 중앙부분에서 주변으로 멀어지는 움직임을 보이는 6개의 점을 생성하였다. 이 데이터 집합에서 광역 클러스터 센터는 하나라고 가정하였다.
도 6(b)에 도시된 CM 행렬과 같이, 퍼지 신뢰도는 국소 퍼지 클러스터링(r=2)로부터 산출하였고, CM 에서 문턱치 ε가 0.1 보다 작은 요소는 0으로 설정하였다.
전술한 바와 같이 이 과정은 전체 프레임 중에서 프레임 3(소스 영상 프레임)과 프레임4(타겟 영상 프레임) 간의 점에서 이루어지는 매칭과정을 설명하는 것이다.
A* 트리를 도시하지 않았지만 실험에 사용된 데이터로 과정을 설명해보면, 트리의 첫 번째 후속자(successor)로 14, 24, 44, 54가 생성되고, 레벨 1에서는 이 노드 중 패널티가 가장 작은 24(0.71=1-0.29)가 일단 선택된다. 다만 트리 전체에서 패널티가 작은 순서대로 판단하면, 레벨 6에서는 64가 선택되고, 레벨 5에서는 54가 선택되고, 레벨 4에서는 44가 선택되고, 레벨 2에서는 24가 선택되고, 레벨 3에서는 34가 선택된다. 결국 레벨 1에서는 나머지 노드 중 가장 패널티가 작은 값인 14가 선택되게 된다. Y3={(13,14),(23,24),(33,34),(43,44),(53,54),(63,64)}이 최종적으로 선택된 매칭 쌍의 집합이다.
도 6(a)는 실제 점들이 이동한 경로를 나타내고, 도 6(c)는 본 발명에 따른 퍼지 클러스터링을 이용한 모션 대응 방법을 이용하여 점들의 경로를 추적한 것이다. 도 6(a)와 도 6(c)의 경로가 정확하게 일치하는 것을 확인할 수 있다.
본 발명의 모션 대응 기법의 효과를 측정하기 위하여 정확하게 대응되는 쌍의 비율(ratio of the Correctly Correspondence Pairs, CCPR), 정확하게 검출되는 트랙의 비율(ratio of the Correctly Detected Tracks, CDTR) 및 평균 아이디 변화 값(average ID change, AIDC)을 측정하였다. 각각 CDTR은 100%, CCPR은 100%를 나타내었고 AIDC는 0%로 측정되었다.
도 7(a)는 본 발명의 효과를 측정하기 위해 사용한 CAVIAR 데이터 집합의 샘플 이미지이고, 도 7(b)는 PETS 데이터 집합의 샘플 이미지이다.
2개의 연속된 영상 이미지(image sequence)를 대상으로 본 발명의 모션 대응 기법의 효과를 실험하였다. 첫 번째 데이터 집합은 CAVIAR 프로젝트 웹 사이트로부터 얻은 "4명의 사람이 만나, 걷고 흩어짐(Crowd of four people meet, walk and split)"이라는 이름의 데이터 집합이다. 이 이미지는 4 사람의 등장(scene-in) 및 퇴장(scene-out) 및 4명이 서로를 지나침과 같은 다양한 상황을 담고 있다. 두 번째 데이터 집합은 Pets2009로 부터 얻은 것으로, 연속된 영상 이미지에서 많은 숫자의 사람이 등장하여 서로 가림(occlusion) 현상이 자주 일어난다.
지상 검증자료(ground truth)는 모든 프레임의 움직이는 각 사람의 중심에 있는 점은 수동으로 얻어진다는 것이다. 또한 상기 데이터 집합들에 대해 성능 측정을 위해 고의로 랜덤한 노이즈를 발생시켜 10~50%의 검출 에러를 유발했다. 도 5는 CAVIAR 데이터 집합(488 프레임) 및 PETS 데이터 집합(50프레임)의 샘플 이미지이다.
도 8은 도 7에 도시된 데이터 집합에 대하여 본 발명의 퍼지 클러스터링(S1 단계)에 대한 효과를 실험한 결과로서, 도 8(a)는 크리스프(crisp) 클러스터링의 결과를 도시한 그래프이고, 도 8(b)는 본 발명에 따른 퍼지 클러스터링의 결과를 도시한 그래프이다.
먼저 마운틴 방법을 사용하여 클러스터의 개수와 클러스터 중심의 초기 위치를 산출한다. 이 실험에서는 프레임 5(소스 영상 프레임)와 프레임 6(타겟 영상 프레임)의 점들이 사용되었고, 도 8(b)에서 도시한 바와 같이 5개의 그룹이 형성되었다.
크리스프(crisp) 클러스터링을 수행한 도 8(a)는 프레임 5의 13번째 점(135)과 프레임 6의 13번째 점(136)이 서로 다른 그룹에 속해, 135와 136는 서로 대응할 수 없다. 그러나 검증자료(ground truth)의 실제 궤적(true trajectories)에서는 같은 궤적에 2개의 점이 위치한다. 크리스프 클러스터링이 갖는 문제점이라고 하겠다.
이에 반하여, 본 발명에 따른 퍼지 클러스터링 결과인 도 8(b)는 G2 또는 G3 그룹에 같이 속해 있는 것을 알 수 있다. 따라서 정확한 모션 대응이 가능한 것이다.
도 7에 도시된 데이터 집합에 대하여, 본 발명의 모션 대응 기법을 효과를 측정하기 위하여 정확하게 대응되는 쌍의 비율(ratio of the Correctly Correspondence Pairs, CCPR), 정확하게 검출되는 트랙의 비율(ratio of the Correctly Detected Tracks, CDTR) 및 평균 아이디 변화 값(average ID change, AIDC)을 측정하였다. 측정된 각 결과값은 아래의 표 1과 같다.
Figure 112011017024875-pat00050
측정된 결과를 살펴보면, 노이즈 여부에 따라 다소 수치가 달라지기는 하나, 모션 대응 기법으로 매우 높은 정확도를 보이는 것을 알 수 있다.
도 9는 CAVIAR 데이터 집합에 대해 본 발명의 모션 대응 기법을 적용한 결과에 대한 궤적을 도시한 것으로, 도 9(a)는 검증자료(ground truth)의 실제 궤적(true trajectories)이고, 도 9(b)는 본 발명의 기법에 의해 연산된 궤적이다.
도 10는 PETS 데이터 집합에 대해 본 발명의 모션 대응 기법을 적용한 결과에 대한 궤적을 도시한 것으로, 도 10(a)는 검증자료(ground truth)의 실제 궤적(true trajectories)이고, 도 10(b)는 본 발명의 기법에 의해 연산된 궤적이다.
도 9 및 도 10은 노이즈 없는 상황에서 궤적을 연산한 것으로, 이 결과를 보더라도 양 궤적이 거의 일치하는 것을 알 수 있다.
따라서 본 발명에 따른 퍼지 클러스터링을 이용한 모션 대응 방법은 매우 정확한 결과를 나타낸다고 하겠다.
본 실시예 및 본 명세서에 첨부된 도면은 본 발명에 포함되는 기술적 사상의 일부를 명확하게 나타내고 있는 것에 불과하며, 본 발명의 명세서 및 도면에 포함된 기술적 사상의 범위 내에서 당업자가 용이하게 유추할 수 있는 변형 예와 구체적인 실시예는 모두 본 발명의 권리범위에 포함되는 것이 자명하다고 할 것이다.

Claims (21)

  1. 소스 영상 프레임(t-1)에서 타겟 영상 프레임(t)으로 모션 대응을 수행하는 방법에 있어서,
    소스 영상 프레임 및 타겟 영상 프레임에 있는 모든 점들이 퍼지 클러스터링을 통하여 그룹으로 나뉘는 S1 단계;
    상기 S1 단계에서 나뉜 각 그룹 내에서 소스 영상 프레임의 점과 타겟 영상 프레임에 있는 점의 각 쌍에 대한 비용이 산출되는 S2 단계; 및
    상기 S2 단계에서 산출된 비용을 이용하여 소스 영상 프레임의 점과 타겟 영상 프레임의 점을 매칭하는 S3 단계를 포함하되,
    상기 S1 단계는
    상기 소스 영상 프레임의 점들에 대한 개수 및 제1 클러스터 중심의 초기 위치가 마운틴 방법(mountain method)을 이용하여 결정되는 S1-1 단계;
    상기 제1 클러스터 중심의 위치가 FCM(Fuzzy C-Means) 알고리즘을 이용하여 반복적으로 결정되는 S1-2 단계;
    상기 소스 영상 프레임의 점들에 대한 제1 신뢰도를 기준으로 상기 각 제1 클러스터 중심에 상기 소스 영상 프레임의 점들이 배치되면서 그룹화되는 S1-3 단계; 및
    상기 타겟 영상 프레임의 점들이 타겟 영상 프레임의 점들에 대한 제1 신뢰도를 기준으로 상기 소스 영상 프레임의 제1 클러스터 중심에 배치되면서 그룹화되는 S1-4 단계를 포함하는 것을 특징으로 하되,
    상기 S1-2 단계는
    퍼지 객체 함수(Z)가 정의되는 S1-2-1 단계;
    상기 S1-2-1 단계에서 정의된 퍼지 객체 함수의 합인 라그랑즈 함수를 최소화하여 퍼지 신뢰도를 추정하는 S1-2-2 단계; 및
    상기 S1-2-2 단계에서 추정된 퍼지 신뢰도에 따라 클러스터 센터위치가 결정되는 S1-2-3 단계를 포함하는 것을 특징으로 하는 퍼지 클러스터링을 이용한 모션 대응 방법.
  2. 제1항에 있어서,
    상기 S1 단계는
    상기 소스 영상 프레임의 점들은 점들 간의 유사도를 나타내는 유클리드 거리(Euclidean distance)와 함께 퍼지 클러스터링을 이용하여 하나 이상의 그룹으로 나누어지고,
    상기 타겟 영상 프레임의 점들은 상기 소스 영상 프레임의 제1 클러스터 중심(cluster center)를 기준으로 상기 하나 이상의 그룹에 추가적으로 클러스터링되는 것을 특징으로 하는 퍼지 클러스터링을 이용한 모션 대응 방법.
  3. 삭제
  4. 삭제
  5. 제1항에 있어서,
    상기 퍼지 신뢰도는 아래와 같은 제한 조건을 만족하는 것을 특징으로 하는 퍼지 클러스터링을 이용한 모션 대응 방법.
    Figure 112012049833105-pat00051

    (여기서, mt-1은 소스 영상 프레임(t-1) 점의 개수, r은 클러스터 센터의 첨자, 클러스터 센터의 개수, Ct-1은 t-1 프렘임에서 클러스터 센터의 개수, Wir t-1은 t-1 프레임에서 점 i가 r번째 클러스터 센터 vr t-1에 소속되는 정도임)
  6. 제1항에 있어서,
    상기 S1-2-1 단계의 퍼지 객체 함수는 아래의 식 형태로 정의되는 것을 특징으로 하는 퍼지 클러스터링을 이용한 모션 대응 방법.
    Figure 112012049833105-pat00052

    (여기서, p는 퍼지정도(fuzziness)를 제어하는 변수이고, Si t-1은 소스 영상 프레임(t-1) 프레임의 점들 중 x 좌표 기준으로 i번째 점을 나타내고, vr t-1은r번째 클러스터의 센터를 나타내고, wir t-1은 점 i가 vr t-1 센터에 소속되는 정도를 나타내고, w는 퍼지소속정도를 나타내며, v는 클러스터 센터를 나타냄)
  7. 제1항에 있어서,
    상기 S1-2-2 단계의 퍼지 신뢰도는 아래의 식으로 추정되는 것을 특징으로 하는 퍼지 클러스터링을 이용한 모션 대응 방법.
    Figure 112012049833105-pat00053

    (여기서,
    Figure 112012049833105-pat00054
    는 라그랑즈 곱셈자(lagrange multiplier)이고, p는 퍼지정도(fuzziness)를 제어하는 변수이고, Si t-1은 소스 영상 프레임(t-1) 프레임의 점들 중 x 좌표 기준으로 i번째 점을 나타내고, vr t-1은r번째 클러스터의 센터를 나타내고, wir t-1은 점 i가 vr t-1 센터에 소속되는 정도를 나타냄)
  8. 제1항에 있어서,
    상기 S1-2-3 단계의 제1 클러스터 중심은 아래의 식으로 결정되는 것을 특징으로 하는 퍼지 클러스터링을 이용한 모션 대응 방법.
    Figure 112012049833105-pat00055

    (여기서, p는 퍼지정도(fuzziness)를 나타내고, Si t-1은 소스 영상 프레임(t-1) 프레임의 점들 중 x 좌표 기준으로 i번째 점을 나타내고, vr t-1은r번째 클러스터의 센터를 나타내고, wir t-1은 점 i가 vr t-1 센터에 소속되는 정도를 나타내고, mt-1은 소스 영상 프레임(t-1) 점의 개수를 나타내며,
    Figure 112012049833105-pat00092
    는 t-1 프레임에 있는 점들의 r번째 클러스터 센터를 나타냄)
  9. 제1항에 있어서,
    상기 S1-3 단계의 소스 영상 프레임의 점들에 대한 제1 신뢰도는 아래의 식으로 결정되는 것을 특징으로 하는 퍼지 클러스터링을 이용한 모션 대응 방법.
    Figure 112012049833105-pat00056

    (여기서, Ct-1은 소스 영상 프레임의 점들의 클러스터 숫자, g는 각각의 클러스터 센터의 첨자, Si t-1는 소스 영상 프레임의 점,
    Figure 112012049833105-pat00093
    는 t-1 프레임에서 g번째 클러스터 센터,
    Figure 112012049833105-pat00094
    는 t-1 프레임에서 r번째 클러스터 센터,
    Figure 112012049833105-pat00095
    는 t-1 프레임에서 I번째 점이 g클러스터 센터에 소속되는 정도임)
  10. 제1항에 있어서,
    상기 S1-4 단계의 타겟 영상 프레임의 점들에 대한 제1 신뢰도는 아래의 식으로 결정되는 것을 특징으로 하는 퍼지 클러스터링을 이용한 모션 대응 방법.
    Figure 112012049833105-pat00057

    (여기서, Ct-1은 소스 영상 프레임의 점들의 클러스터 숫자이고, g는 각각의 클러스터 센터의 첨자, Sj t는 타겟 영상 프렘임의 점, mt는 타겟 영상 프레임(t) 점의 개수,
    Figure 112012049833105-pat00096
    는 t 프레임에서 j번째 점이 g번째 클러스터 센터에 소속되는 정도,
    Figure 112012049833105-pat00097
    는 t 프레임에서 g번째 클러스터 센터,
    Figure 112012049833105-pat00098
    은 t 프레임에서 r번째 클러스터 센터임)
  11. 제1항에 있어서,
    상기 S2 단계는 각 점의 속도 벡터 및 방향 각에 기반한 모션 제한 조건을 이용하여 소스 영상 프레임의 점과 타겟 영상 프레임의 점들의 가능한 모든 쌍에 대한 비용이 산출되는 것을 특징으로 하는 퍼지 클러스터링을 이용한 모션 대응 방법.
  12. 제1항에 있어서,
    상기 타겟 영상 프레임의 점들을 제2 클러스터 중심이라고 가정하면, 소스 영상 프레임의 점들이 제2 신뢰도에 따라 상기 제2 클러스터 중심에 배치되어 쌍을 이루고, 상기 소스 영상 프레임의 점들에 대한 제2 신뢰도 값을 비용으로 결정하여 산출되는 것을 특징으로 하는 퍼지 클러스터링을 이용한 모션 대응 방법.
  13. 제12항에 있어서,
    상기 제2 신뢰도는 아래와 같은 제한 조건을 만족하는 것을 특징으로 하는 퍼지 클러스터링을 이용한 모션 대응 방법.
    Figure 112012049833105-pat00058

    (여기서, mt-1은 소스 영상 프레임(t-1) 점의 개수, mt는 타겟 영상 프레임(t) 점의 개수,
    Figure 112012049833105-pat00099
    는 t-1 프레임의 특징벡터 fi와 t 프레임의 특징벡터 fj간에 소속 정도임)
  14. 제13항에 있어서,
    상기 제2 신뢰도는 아래의 식으로 표현되는 함수를 최소화하여 측정되는 것을 특징으로 하는 퍼지 클러스터링을 이용한 모션 대응 방법.
    Figure 112012049833105-pat00059

    (여기서, q는 퍼지정도를 제어하는 변수이고, f는 결합 특성(joint feature)로서 fj=[vj, θj]로 표현되는데 vj는 vj=(vj.x, vj.y)로 표현되는 점을 속도 벡터이고, θj는 점의 방향을 의미함. u, f는 t-1 프레임의 특징벡터와 t프레임의 특징벡터간에 소속정도, 속도와 방향각을 특징으로 갖는 특징벡터,
    Figure 112012049833105-pat00100
    는 t-1 프레임 i번째 점과 트랙으로 연결된 t-2 프레임 점과의 이동 속도 및 방향각을 구성하는 특징벡터,
    Figure 112012049833105-pat00101
    는 t 프레임 j번째 점과 트랙으로 연결가능한 t-1프레임 점과의 이동속도 및 방향각을 구성하는 특징벡터를 의미함)
  15. 제14항에 있어서,
    상기 제2 신뢰도는
    Figure 112012049833105-pat00060

    으로 표현되는 라그랑즈 함수에 대하여, uij t-1로 미분하고, 정규화 조건을 적용하여 아래의 식으로 측정되는 것을 특징으로 하는 퍼지 클러스터링을 이용한 모션 대응 방법.
    Figure 112012049833105-pat00061

    (여기서,
    Figure 112012049833105-pat00062
    는 라그랑즈 곱셈자이고, mt-1은 소스 영상 프레임(t-1) 점의 개수, mt은 타겟 영상 프레임(t) 점의 개수,
    Figure 112012049833105-pat00102
    는 t 프레임 j번째 점과 트랙으로 연결가능한 t-1 프레임 점과의 이동 속도 및 방향각을 구성하는 특징벡터,
    Figure 112012049833105-pat00103
    는 t 프레임 h번째 점과 트랙으로 연결가능한 t-1 프레임 점과의 이동 속도 및 방향각을 구성하는 특징벡터,
    Figure 112012049833105-pat00104
    는 t-1 프레임의 특징벡터 i와 t 프레임의 특징벡터 j간의 소속정도임)
  16. 제14항에 있어서,
    상기 S3 단계는
    소스 영상 프레임의 점 및 타겟 영상 프레임의 점에 대한 CM 행렬이 산출되는 S3-1 단계; 및
    상기 S3-1 단계에서 산출된 CM 행렬을 이용하여, A* 알고리즘에 적용하는 S3-2 단계를 포함하는 것을 특징으로 하는 퍼지 클러스터링을 이용한 모션 대응 방법.
  17. 제16항에 있어서,
    상기 S3-1 단계의 CM 행렬은 아래의 식으로 표현되는 것을 특징으로 하는 퍼지 클러스터링을 이용한 모션 대응 방법.
    Figure 112011017024875-pat00063

    (여기서, 행렬의 각 요소는 S2 단계의 제2 신뢰도(
    Figure 112011017024875-pat00064
    ) 값으로 설정되고, 문턱치ε보다 작다면 0으로 설정됨)
  18. 제17항에 있어서,
    상기 S3 단계에서 매칭되는 소스 영상 프레임의 점과 타겟 영상 프레임의 점에 대한 집합은
    Figure 112011017024875-pat00065
    로 정의되고, 여기서 si t -1이 소스 영상 프레임의 점이고 sj t가 타겟 영상의 점이며, Yt -1은 아래의 식을 만족하는 것을 특징으로 하는 퍼지 클러스터링을 이용한 모션 대응 방법.
    Figure 112011017024875-pat00066

    (여기서, mt -1은 소스 영상 프레임(t-1) 점의 개수이고, mt는 타겟 영상 프레임(t) 점의 개수이고, aij t -1은 소스 영상 프레임의 점 si t -1과 타겟 영상 프레임의 점sj t가 매칭되는 경우는 1의 값을 갖는 매칭 행렬(At -1)의 원소를 의미하고,
    Figure 112011017024875-pat00067
    는 S2 단계에서 결정된 신뢰도,
    Figure 112011017024875-pat00068
    는 패널티를 나타내는 변수임)
  19. 제18항에 있어서,
    상기 Yt -1은
    트리의 각 레벨은 소스 영상 프레임의 점에 해당하여 트리의 전체 깊이는 소스 영상 프레임의 점의 개수와 같고, 레벨 i의 노드는 타겟 노드의 점이 지정되는 트리를 사용하는 A* 알고리즘을 통해 검출되는 것을 특징으로 하는 퍼지 클러스터링을 이용한 모션 대응 방법.
  20. 제19항에 있어서,
    상기 레벨 i의 노드는 해당 레벨이 나타내는 소스 영상 프레임의 점에 대하여 상기 CM 행렬에서 0이 아닌 타겟 영상 프레임의 점이 선택되는 것을 특징으로 하는 퍼지 클러스터링을 이용한 모션 대응 방법.
  21. 제1항, 제2항 및 제5항 내지 제20항 중 어느 한 항에 따른 퍼지 클러스터링을 이용한 모션 대응 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.


KR1020110020865A 2011-03-09 2011-03-09 퍼지 클러스터링을 이용한 모션 대응 방법 KR101178013B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020110020865A KR101178013B1 (ko) 2011-03-09 2011-03-09 퍼지 클러스터링을 이용한 모션 대응 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110020865A KR101178013B1 (ko) 2011-03-09 2011-03-09 퍼지 클러스터링을 이용한 모션 대응 방법

Publications (1)

Publication Number Publication Date
KR101178013B1 true KR101178013B1 (ko) 2012-08-28

Family

ID=46887981

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110020865A KR101178013B1 (ko) 2011-03-09 2011-03-09 퍼지 클러스터링을 이용한 모션 대응 방법

Country Status (1)

Country Link
KR (1) KR101178013B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109613509A (zh) * 2018-12-30 2019-04-12 北京润科通用技术有限公司 一种车载雷达散射点的聚类方法及装置
KR102014234B1 (ko) * 2019-01-31 2019-08-26 엘아이지넥스원 주식회사 무선 프로토콜 자동 분석 방법 및 그를 위한 장치

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
논문1:정보과학회*
논문2:한국퍼지 및 지능 시스템학회*

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109613509A (zh) * 2018-12-30 2019-04-12 北京润科通用技术有限公司 一种车载雷达散射点的聚类方法及装置
CN109613509B (zh) * 2018-12-30 2021-07-27 北京润科通用技术有限公司 一种车载雷达散射点的聚类方法及装置
KR102014234B1 (ko) * 2019-01-31 2019-08-26 엘아이지넥스원 주식회사 무선 프로토콜 자동 분석 방법 및 그를 위한 장치

Similar Documents

Publication Publication Date Title
CN110070074B (zh) 一种构建行人检测模型的方法
CN107545582B (zh) 基于模糊逻辑的视频多目标跟踪方法及装置
CN107103754B (zh) 一种道路交通状况预测方法及系统
CN101853511B (zh) 一种抗遮挡目标轨迹预测跟踪方法
CN104574439A (zh) 一种融合卡尔曼滤波与tld算法的目标跟踪方法
CN113255611B (zh) 基于动态标签分配的孪生网络目标跟踪方法及移动设备
CN106570490B (zh) 一种基于快速聚类的行人实时跟踪方法
CN111582349B (zh) 一种基于YOLOv3和核相关滤波改进的目标跟踪算法
CN115049944B (zh) 一种基于多任务优化的小样本遥感图像目标检测方法
CN111008991B (zh) 一种背景感知的相关滤波目标跟踪方法
CN112052802A (zh) 一种基于机器视觉的前方车辆行为识别方法
CN104517125A (zh) 高速物体的图像实时跟踪方法与系统
Corcoran et al. Modelling topological features of swarm behaviour in space and time with persistence landscapes
WO2018227491A1 (zh) 视频多目标模糊数据关联方法及装置
CN113092807B (zh) 基于多目标跟踪算法的城市高架道路车辆测速方法
KR101178013B1 (ko) 퍼지 클러스터링을 이용한 모션 대응 방법
Jiang et al. Behavior pattern mining based on spatiotemporal trajectory multidimensional information fusion
CN116931583A (zh) 移动对象的确定方法和避让方法、装置、设备及存储介质
CN116563341A (zh) 一种处理复杂环境下动态物体的视觉定位与建图方法
Previtali et al. Predicting future agent motions for dynamic environments
CN104715492A (zh) 一种同时适应于静止相机和运动相机的前景目标提取方法
CN102289797B (zh) 一种基于巴氏距离的层级式图像分割方法
Kandhare et al. Trajectory type prediction and multi-target tracking
CN103345762A (zh) 基于流形学习的贝叶斯视觉跟踪方法
CN108596954A (zh) 一种基于压缩感知的视频车辆跟踪方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20150703

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20160607

Year of fee payment: 5

LAPS Lapse due to unpaid annual fee