KR20100073366A - 변화값 템플릿을 이용한 객체 모델링 방법 및 그 시스템 - Google Patents

변화값 템플릿을 이용한 객체 모델링 방법 및 그 시스템 Download PDF

Info

Publication number
KR20100073366A
KR20100073366A KR1020080132018A KR20080132018A KR20100073366A KR 20100073366 A KR20100073366 A KR 20100073366A KR 1020080132018 A KR1020080132018 A KR 1020080132018A KR 20080132018 A KR20080132018 A KR 20080132018A KR 20100073366 A KR20100073366 A KR 20100073366A
Authority
KR
South Korea
Prior art keywords
image
change value
pixel
modeling
pixels
Prior art date
Application number
KR1020080132018A
Other languages
English (en)
Other versions
KR100996209B1 (ko
Inventor
황인택
최광남
Original Assignee
중앙대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 중앙대학교 산학협력단 filed Critical 중앙대학교 산학협력단
Priority to KR1020080132018A priority Critical patent/KR100996209B1/ko
Publication of KR20100073366A publication Critical patent/KR20100073366A/ko
Application granted granted Critical
Publication of KR100996209B1 publication Critical patent/KR100996209B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/143—Segmentation; Edge detection involving probabilistic approaches, e.g. Markov random field [MRF] modelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Probability & Statistics with Applications (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

변화값 템플릿을 이용한 객체 모델링 방법 및 그 시스템이 개시된다. 본 발명의 객체 모델링 방법은 입력 영상을 수신하는 단계; 상기 입력 영상에서 타겟 객체를 설정하는 단계; 상기 설정된 타겟 객체에서 에지를 검출하여 에지 영상을 생성하는 단계; 상기 에지 영상의 각 픽셀을 기준으로 소정 영역을 설정하는 단계; 및 상기 소정 영역별 대표 변화값을 산출하여 변화값 영상을 생성하는 단계를 구비하여, 타겟 객체를 모델링함으로써 영상에서 비슷한 색상 분포가 객체 주변에 존재하는 경우와 조명에 따라 영상의 색상이 변하는 경우에도 강건하게 객체를 추적할 수 있도록 한다.

Description

변화값 템플릿을 이용한 객체 모델링 방법 및 그 시스템{Object Modeling Method using Gradient Template, and The System thereof}
본 발명은 영상처리 시스템 및 그 방법에 관한 것으로, 더욱 상세하게는 영상에서 분석의 대상이 되는 객체를 모델링하는 방법 및 이를 이용한 영상 처리 방법에 관한 것이다.
객체 추적(Tracking)은 연속하는 비디오 영상에서 프레임(Frame)과 프레임 사이의 특정 객체의 특징을 모델링하여서 원하는 객체의 위치를 추적하는 기술로 현재 로봇 비전과 보안 이외에도 영상과 관련된 전 분야에 걸쳐 활발히 응용되고 있다. 객체 추적시 자료로 활용하는 일반적인 비디오 스트리밍(streaming)에서 이웃한 두 개의 순차적인 프레임간의 시간은 아주 짧으며, 대부분 일정하다. 그러므로 두 프레임간의 변화는 상당히 제한적이며, 이런 변화는 해당 영상들에서 추적 대상 물체의 특징(Feature)을 기반으로 알아낼 수 있다. 하지만 물체의 특징을 추출하기 위해서는 다양한 조명상태와 시점의 변화, 복잡한 배경, 대상 물체의 크기변화와 다른 사물에 의한 가려짐(Occlusion) 등에 의한 여러 가지 다양한 외부변화에 강건한 알고리즘이 필요하다. 그리고 추적 대상에 따라 물체 형태가 고정되지 않는 경우까지 고려해야 한다. 그러므로 객체 추적시 추적 대상의 특징 추출을 위한 내외적 환경의 상태가 변할 때, 특징 추출에 방해가 되는 불필요한 정보들을 어떻게 제거하고 추적 대상의 특징을 유지하느냐가 가장 중요한 이슈가 된다.
대부분의 추적 시스템은 노이즈(Noise)와 관찰데이터의 큰 변화폭에 강건함이 요구된다. 우리는 이런 요구사항을 대부분 사전 지식을 통해 구현할 수 있다. 하지만 대상 객체 혹은 환경에 따라서 이것이 상당히 곤란한 경우가 빈번히 발생한다. 그 중 한 가지가 추적 객체의 색상 변화이다. 색상은 시점에 따라서 변할 수도 있지만 내부 혹은 외부의 조명에 따라서 큰 색상 차이를 가질 수 있다. 한 사람이 그늘과 양지 사이를 모두 거쳐 지나갈 때 우리는 쉽게 그 예를 볼 수가 있다. 이 경우 기존의 객체 추적에서 널리 사용되는 색상 기반 추적 알고리즘은 앞서 언급한 큰 색상의 변화를 수용하는 것이 어렵다.
색상 기반 추적 알고리즘의 경우 추적 객체의 색상 분포와 유사한 배경 혹은 다른 객체가 주변에 존재하는 경우 정확한 결과를 얻는 것이 어렵다.
종래 기술에 따른 색상 정보를 이용한 객체 추적은 크게 두 가지 문제점을 안고 있다. 첫 번째는 추적 대상으로 설정한 색상 정보와 유사한 배경이 추적 대상 근처에 있을 경우 결과가 틀릴 수 있다는 것이다. 두 번째는 초기에 설정한 추적 대상의 색상 정보가 주변 조명에 의해서 많이 변할 경우 추적이 힘들다는 것이다.
본 발명이 이루고자 하는 기술적 과제는, 비슷한 색상 분포가 주변에 존재하 는 경우와 조명에 따라 색상이 변하는 경우에도 강건하게 객체를 추적할 수 있는 객체 모델링 방법, 이를 이용한 영상 처리 방법 및 시스템을 제공하는 것이다.
상기 기술적 과제를 해결하기 위한 본 발명의 일 실시예에 따른 객체 모델링 방법은 입력 영상을 수신하는 단계; 상기 입력 영상에서 타겟 객체를 설정하는 단계; 상기 설정된 타겟 객체에서 에지를 검출하여 에지 영상을 생성하는 단계; 상기 에지 영상의 각 픽셀을 기준으로 소정 영역을 설정하는 단계; 및 상기 소정 영역별 대표 변화값을 산출하여 변화값 영상을 생성하는 단계를 구비한다.
상기 객체 모델링 방법은 상기 변화값 영상 또는 상기 변화값 영상의 정규화된 영상을 가우시안 블러링(Gaussian blurring)하는 단계를 더 구비할 수 있다.
상기 변화값 영상을 생성하는 단계는 상기 소정 영역별로 해당 소정 영역 내에서 두 픽셀로 이루어지는 다수의 픽셀쌍을 선택하는 단계; 상기 다수의 픽셀쌍 각각에 대하여 두 픽셀간 변화값을 구하는 단계; 및 상기 두 픽셀간 변화값에 기초하여 해당 영역의 대표 변화값을 구하는 단계를 구비할 수 있다.
상기 기술적 과제를 해결하기 위한 본 발명의 일 실시예에 따른 영상처리 방법은 상기 객체 모델링 방법을 이용한 객체 추적 방법으로, 제1 영상을 수신하는 단계; 상기 기준 영상에서 타겟 객체를 정의하는 단계; 상기 정의된 타겟 객체를 모델링하는 단계; 제2 영상을 수신하는 단계; 제1 영상의 타겟 객체의 위치를 중심으로 다수의 후보들을 설정하는 단계; 상기 다수의 후보들을 각각 모델링하는 단계; 상기 타겟 객체와 상기 다수의 후보들 각각과의 유사도를 구하여 비교하는 단 계; 및 상기 다수의 후보들 중 상기 타겟 객체와 유사도가 가장 높은 후보를 상기 제2 영상에서의 타겟 객체로 결정하는 단계를 구비한다.
상기 기술적 과제를 해결하기 위한 본 발명의 일 실시예에 따른 영상처리 시스템은 입력 영상을 수신하고 상기 입력 영상에서 모델링 대상 영상을 설정하는 영상 수신부; 상기 모델링 대상 영상에서 에지를 검출하여 에지 영상을 생성하는 에지 검출부; 및 상기 에지 영상의 각 픽셀을 기준으로 소정 영역별 대표 변화값을 산출하여 변화값 영상을 생성하는 변화값 영상 생성부를 구비한다.
상술한 바와 같이 본 발명에 따른 객체 모델링 방법에 따르면, 영상에서 비슷한 색상 분포가 객체 주변에 존재하는 경우와 조명에 따라 영상의 색상이 변하는 경우에도 강건하게 객체를 추적할 수 있다.
본 발명과 본 발명의 동작상의 이점 및 본 발명의 실시 예에 의하여 달성되는 목적을 충분히 이해하기 위해서는 본 발명의 실시 예를 예시하는 첨부도면 및 첨부도면에 기재된 내용을 참조하여야만 한다.
이하, 첨부한 도면을 참조하여 본 발명의 바람직한 실시 예를 설명함으로써, 본 발명을 상세히 설명한다. 각 도면에 제시된 동일한 참조부호는 동일한 부재를 나타낸다.
도 1은 본 발명의 일 실시예에 따른 영상 처리 시스템(10)의 구성 블록도이다. 이를 참조하면, 본 발명의 일 실시예에 따른 영상 처리 시스템(10)은 영상 획 득/저장 모듈(100), 영상 모델링 모듈(200), 및 영상 분석 모듈(300)을 포함한다.
영상 획득/저장 모듈(100)은 영상을 획득하고 저장하는 모듈로서, 예컨대, 영상을 촬영하여 저장하는 카메라 모듈 혹은 이미 촬영된 영상을 수신하여 저장하는 저장 모듈일 수 있다.
영상 모델링 모듈(200)은 영상 획득/저장 모듈(100)로부터 영상을 수신하고 수신된 영상에서 모델링 대상이 되는 객체(수신 영상의 전부 혹은 일부)를 설정하여 모델링한다.
도 2는 본 발명의 일 실시예에 따른 영상 모델링 모듈(200)의 기능 블록도이다. 도 5는 영상 모델링 모듈(200)의 동작을 설명하기 위한 도면이다.
도 1, 2 및 도 5를 참조하면, 영상 모델링 모듈(200)은 영상 수신부(210), 에지 검출부(220), 변화값 영상 생성부(230), 정규화부(240), 블러링부(250)를 포함한다.
영상 수신부(210)는 영상 획득/저장 모듈(100)로부터 영상을 수신하고, 모델링 대상이 되는 타겟 객체를 설정한다. 타겟 객체는 영상에서 추적 혹은 분석의 대상이 되는 부분으로서, 영상의 일정 영역일 수 있다.
도 5의 (a)는 타겟 객체의 일 예를 도시한다. 도 5의 (a)에서 타겟 객체는 사람의 손을 포함하는 영상 영역이다.
에지 검출부(220)는 설정된 타겟 객체의 에지(edge)를 검출하여 에지 영상을 생성한다. 에지를 구하는 알고리즘으로는 이미 알려진 알고리즘(예컨대, Canny Edge Detection 알고리즘)이 사용될 수 있다. 도 5의 (b)는 도 5의 (a)에 도시된 타겟 객체의 에지 영상이다.
변화값 영상 생성부(230)는 에지 검출부(220)에서 생성된 에지 영상의 각 픽셀을 기준으로 소정 영역별 대표 변화값을 산출하여 변화값 영상을 생성한다.
도 6은 변화값 영상 생성부(230)의 동작을 설명하기 위한 도면이다.
이를 참조하면, 변화값 영상 생성부(230)는 에지 영상을 소정 영역별로 나눈다. 도 6의 실시예에서 소정 영역은 기준 픽셀을 중심으로 인접한 픽셀들로 이루어진 정방형의 픽셀 영역, 즉, M x M 픽셀 영역이다. 여기서, M은 2이상의 정수로서, 도 6의 실시예에서는 M은 3이다.
변화값 영상 생성부(230)는 에지 영상의 픽셀들 각각을 기준 픽셀로 하는 각 소정 영역 내에서 두 픽셀로 이루어지는 다수의 픽셀쌍을 선택하여, 다수의 픽셀쌍 각각에 대하여 두 픽셀간 변화값(즉, 차이값)을 구한다.
도 6의 (a)는 p22 픽셀이 기준 픽셀인 3X3 영역만을 도시하나, 에지 영상의 픽셀들은 각각 기준 픽셀이 된다. 즉, p11, p12, p13,..., p33 픽셀 각각을 기준 픽셀로 하는 소정 영역을 정하고 각 소정 영역 내에서 대표 변화값을 산출한다.
본 명세서에서, 소정 영역의 대표 변화값이란 소정 영역 내에서, 두 픽셀로 이루어지는 다수의 픽셀쌍 각각에 대하여 두 픽셀간 차이값을 구하고, 그 차이값에 기초하여 구해지는 값이다. 예컨대, 소정 영역의 대표 변화값은 소정 영역 내의 두 픽셀간 차이값들 중 어느 하나의 값(예를 들어, 가장 큰 값)일 수 있고, 혹은 둘 이상의 차이값들을 연산한 값일 수 있다.
소정 영역 내의 두 픽셀간 차이값들 중 가장 큰 값을 최대 변화값이라 한다. 즉, 최대 변화값이란, 기준이 되는 하나의 픽셀(기준 픽셀)을 지정하고, 이를 중심으로 인접한 픽셀들과 색상 공간에서 변화값을 측정하여 이들 중 가장 큰 값을 가리킨다.
색상 공간에서 색상을 나타내는 값들을 벡터(vector)로 간주한다면 하나의 픽셀은 색상 공간에서 하나의 벡터로 표현할 수 있다. 그러므로 두 개의 픽셀을 두 개의 벡터로 전환하고 둘 사이의 변화값(즉, 차이값)을 구할 수 있다. 변화값은 유클리드(Euclid) 측정법을 이용할 수 있다. 유클리드 측정법을 사용하여 한 쌍의 픽셀들(즉, 기준 픽셀과 기준픽셀의 인접 픽셀)간의 변화값을 구하게 된다. 이를 수학식으로 표현하면 아래의 수학식 1과 같다.
Figure 112008088244299-PAT00001
여기서,
Figure 112008088244299-PAT00002
는 영상에서 한 픽셀을 나타내며,
Figure 112008088244299-PAT00003
는 입력 영상을 나타낸다. 하나의 픽셀
Figure 112008088244299-PAT00004
는
Figure 112008088244299-PAT00005
(1이상의 정수)차원의 색상 공간
Figure 112008088244299-PAT00006
안에서
Figure 112008088244299-PAT00007
과 같이 벡터 형태로 표현 가능하다. 본 실시예에서는 세 개의 값으로 색상을 표현하는 RGB 색상 공간을 사용한다. 그리고 소정 영역을 결정하는 인접 픽셀의 집합
Figure 112008088244299-PAT00008
는 아래의 수학식 2와 같이 정의될 수 있다.
Figure 112008088244299-PAT00009
여기서, (x,y)는 기준픽셀의 좌표, (a, b)는 인접 픽셀의 좌표이며, K는 실수(real number)로서, 예컨대 K 값은 1로 정의될 수 있으나, 이에 한정되는 것은 아니다.
도 6의 (a)에 도시된 영상에서 픽셀 p11, p12, p13, p21, p22, p23, p31, p32, p33의 좌표를 각각 (1,1), (1,2), (1,3), (2,1), (2,2), (2,3), (3,1), (3,2), 및 (3,3)으로 가정하면, 좌표 (2,2)인 픽셀(p22)의 인접 픽셀들을 정의하기 위해서 수학식 2가 사용될 수 있다. K값에 따라서 인접 픽셀의 집합 W의 집합 개수가 달라진다. 만약 K 값을 1로 가정하면 W = p12, p21, p23, p32 이 된다. 만약 K값을 1.5로 가정하면 W= p11, p12, p13, p21, p23, p31, p32, p33이 된다.
수학식 1 및 2를 이용하여 영상
Figure 112008088244299-PAT00010
의 좌표 (x, y)에 위치한 픽셀
Figure 112008088244299-PAT00011
와 인접 픽셀
Figure 112008088244299-PAT00012
간의 변화값은 아래 수학식 3을 이용해 구해질 수 있다.
Figure 112008088244299-PAT00013
여기서, Cj(i)는 픽셀i의 벡터, Cj(W)는 픽셀 i와 쌍을 이루는 인접 픽셀 W의 벡터이다.
도 6의 실시예에서는 하나의 픽셀(p22)을 중심으로 인접한 8개의 픽셀(p11, p12, p13, 21, p23, p31, p32, p33)을 포함하는 소정 영역에서 최대 변화값을 구하는 예를 도시한다. 도 6에서 각 픽셀값은 그레이 스케일(gray scale)로 표현된 값이다. 도 6의 (b)는 소정 영역 내의 선택 가능한 모든 픽셀 쌍에 대하여 변화값을 구하는 것을 설명하기 위해 각 픽셀을 일렬로 배열한 예를 도시한다.
즉, 소정 영역 내의 각 픽셀(p11~p33)은 자신을 제외한 나머지 픽셀 각각과 쌍을 이루어 그 둘 간의 변화값(차이값)이 구해진다. 변화값은 수학식 3에 의해서 구해질 수 있으며, 도 6의 예에서는 각 픽셀값은 1차원의 그레이 스케일로 표현되므로 두 픽셀 간 변화값은 두 그레이 스케일 값의 차의 절대값으로 구해질 수 있다.
예컨대, 픽셀(p11)과 픽셀(p12) 간의 변화값은 1이고, 픽셀(p11)과 픽셀(p13)간의 변화값은 3이며 , 픽셀(p11)과 P(21)간의 변화값은 96이다. 이와 같이 소정 영역 내에서 선택 가능한 모든 픽셀쌍 각각의 변화값이 구해지면, 이들 변화값 중에서 가장 큰 값이 해당 소정 영역의 최대 변화값이 되며, 최대 변화값은 그 영역의 대표 변화값으로 설정될 수 있다.
도 6의 예에서는 최대 변화값은 픽셀(p13)과 픽셀(p22)간의 변화값(즉, 100)이다.
이와 같은 방식으로, 에지 영상의 각 픽셀을 기준으로 소정 영역별 대표 변화값을 산출하여 변화값 영상을 생성한다. 도 6의 예에서는 영역별로 해당 영역 내에서 선택 가능한 모든 픽셀쌍 각각의 변화값을 구하고, 그 변화값들 중 최대 변화 값을 해당 영역의 대표 변화값으로 택함으로써, 변화값 영상이 생성된다. 변화값 영상이란, 에지 영상의 각 기준 픽셀값 대신 해당 기준 픽셀을 포함하는 영역의 대표 변화값으로 대체된 영상을 말한다. 변화값 영상을 변화값 템플릿이라 칭하기도 한다.
이와 같은 방식으로 생성된 변화값 템플릿의 일 예가 도 5의 (c)에 도시된다. 도 5의 (c)는 도 5의 (b)에 도시된 에지 영상의 변화값 템플릿이다.
본 발명의 실시예에서는, 영역별로 해당 영역 내에서 선택 가능한 모든 픽셀쌍 각각의 변화값을 구하고, 그 변화값들 중 최대 변화값을 해당 영역의 대표 변화값으로 선택하여 변화값 영상을 생성하는 예를 기술하나, 본 발명이 이에 한정되는 것은 아니다.
예를 들어, 해당 영역의 대표 변화값을 구할 때, 해당 영역의 기준 픽셀(도 6의 p22)과 그 영역 내의 다른 각각의 픽셀(도 6의 p11, p12, p13, p21, p23, p31, p32, p33)을 픽셀쌍((p22, p11), (p22, p12), (p22, p13), (p22, p21), (p22, p23), (p22, p31), (p22, p32), (p22, p33))으로 하여 각 픽셀쌍간의 변화값을 구하고, 그 변화값들에 기초하여 그 영역의 대표 변화값이 산출될 수 있다.
또한, 최대 변화값이 아닌 다른 연산 방법(예컨대, 평균, 중간값 등)에 의하여 해당 영역의 대표 변화값이 결정될 수 있다.
최대 변화값 영상은 추적 대상(즉, 타겟 객체)을 가장 정확하게 모델링할 수 있지만, 추적 대상이 형태가 고정되지 않고 변화되는 경우 정확도가 떨어질 수 있다.
형태가 고정되지 않는 타겟 객체에 대한 추적을 위해 초기 설정한 에지 위치를 중심으로 가우시안 분포 확률로 형태 변화를 가진다고 가정할 수 있다. 그러므로 본 발명의 일 실시예는 상술한 최대 변화값 영상을 기준으로 가우시안(Gaussian) 확률 분포를 더해서 객체를 모델링할 수 있다. 블러링부(250)는 변화값 영상에 가우시안 확률 분포를 더함으로써 변화값 영상을 블러링(이하, 가우시안 블러링((Gaussian blurring)이라 함) 처리한다.
도 5의 (d)는 도 5의 (c)에 도시된 최대 변화값 영상에 대하여 가우시안 블러링 처리한 영상을 도시한다.
가우시안 블러링 처리 전에 변화값 영상은 정규화될 수 있다. 이를 위하여 본 발명의 일 실시예에 따른 영상 모델링 모듈(200)은 정규화부(240)를 구비할 수 있다.
정규화부(240)는 변화값 영상 생성부(230)에 의해 생성된 변화값 영상을 정규화(normalization)하여 정규화 영상을 생성한다. 예컨대, 정규화부(240)는 그레이 스케일(gray scale) 영상의 최소값 내지 최대값을 “0” 내지 “1” 사이의 값으로 변환시킴으로써 정규화할 수 있다. 정규화는 조명이나 밝기에 따른 영상 간 차이를 극복하는 하나의 방법일 수 있다. 예를 들면 같은 물체에 대해서 영상을 만들어도 어두운 곳에서 찍은 영상의 최소값이 “0” 그리고 최대값이 “30” 정도라고 가정한다면, 반대로 아주 밝은 곳에서 찍은 영상의 최소값은 200, 최대값은 255 정도가 될 수 있다. 이 두 영상간의 조명에 의한 차이를 극복하기 위한 방법 중에 하나로 두 영상을 최소값은 “0”으로, 최대값은 “1”로, 그리고 최소값과 최대값 사이의 값은 0과 1사이의 값으로 변환함으로써, 조명에 의한 영상의 차이를 최소화 할 수 있다.
다시 도 1을 참조하면, 영상 분석 모듈(300)은 영상 모델링 모듈(200)과 연계하여, 영상 모델링 모듈(200)에 의하여 구해진 모델링 값(예컨대, 최대 변화값 템플릿)을 이용하여 영상을 분석하고 처리한다. 예컨대, 영상 분석 모듈(300)은 영상 모델링 모듈(200)에 의하여 구해진 모델링 값(예컨대, 최대 변화값 템플릿)을 이용하여 타겟 객체를 추적할 수 있다.
그러나, 본 발명의 영상 처리 방법이 객체 추적 방법에 한정되지는 않는다. 본 발명의 일실시예에 따른 영상 모델링 방법은 다양한 영상 분석 및 처리에 활용될 수 있다. 예컨대, 본 발명의 영상 모델링 방법은 카메라 기반의 영상 처리/분석 시스템에 적용될 수 있다. 좀 더 구체적으로는, 본 발명의 영상 모델링 방법은 감시/모니터링 카메라에서 획득한 영상을 이용한 감시 및 모니터링 시스템에 적용될 수 있고, 또한 영상에서 물체의 움직임을 인식하는 동작 인식, 사람의 얼굴을 인식하는 얼굴 인식과 같은 객체 인식 기술에 적용될 수 있으며, 로봇 비전 기술에도 적용될 수 있다.
도 1 및 도 2에 도시된 각 구성요소는 설명의 편의에 따른 개념적인 구분일 뿐 물리적인 구분을 의미하지 않는다. 각 구성요소는 S/W, H/W, 혹은 S/W 및 H/W의 결합으로 구현될 수 있다.
도 3은 본 발명의 일 실시예에 따른 영상 처리 방법을 나타내는 플로우챠트이다. 본 발명의 일 실시예에 따른 영상 처리 방법은 상술한 본 발명의 일 실시예 에 따른 객체 모델링 방법을 이용한 객체 추적 방법이다. 그러나, 본 발명의 영상 처리 방법이 객체 추적 방법에 한정되지 않음은 상술한 바 있다.
도 3을 참조하면, 본 발명의 일 실시예에 따른 객체 추적 방법은 먼저 i(i는 1이상의 정수로서 초기에 “1”로 초기화되는 것이 바람직함)번째 영상을 수신한다(S100). i번째 영상에서 추적 대상이 되는 타겟 객체를 설정한다. 타겟 객체는 사용자에 의하여 직접 설정될 수도 있고, 미리 정해진 객체 인식 알고리즘을 이용하여 자동으로 설정될 수도 있다.
다음으로, 설정된 타겟 객체를 모델링한다(S120). 타겟 객체의 모델링은 본 발명의 일 실시예에 따른 객체 모델링 방법을 사용한다.
도 4는 본 발명의 일 실시예에 따른 객체 모델링 방법을 나타내는 플로우챠트이다. 본 발명의 일 실시예에 따른 객체 모델링 방법은 도 2에 도시된 영상 모델링 모듈(200)에 의해 수행될 수 있다.
도 4를 참조하면, 객체 모델링을 위해, 먼저 설정된 타겟 객체의 에지(edge)를 검출하여 에지 영상을 생성한다(S121). 다음으로, 에지 영상의 각 픽셀을 기준으로 소정 영역별 대표 변화값을 산출하여 변화값 영상을 생성한다(S122). 그리고, 변화값 영상을 정규화(normalization)하여 정규화 영상을 생성한다(S123). 마지막으로, 정규화 영상을 가우시안 블러링(Gaussian blurring)한다. 각 단계에 대해서는 도 2를 참조하여 상술하였으므로, 이에 대한 상세한 설명은 생략한다.
i번째 영상에서 타겟 객체를 모델링한 후에는, 다음(i+1, 예컨대, 2번째) 영상을 획득한다(S130). (i+1)번째 영상에서 타겟 객체가 될 가능성이 있는 다수의 후보들을 선정한다(S140). 이 때, 이전 영상, 즉 (i)번째 영상의 타겟 객체 위치를 중심으로 일정 범위 내에서 다수의 후보들이 선정될 수 있다. 예를 들어, (i+1)번째 영상에서 (i)번째 영상의 타겟 객체 위치와 동일한 위치로부터 다수의 방향으로 일정 거리에 있는 다수의 부분 영상(타겟 객체와 동일한 크기의 영상)이 다수의 후보들로 선정될 수 있다.
다음으로, 다수의 후보들을 각각 모델링한다(S150). 다수의 후보들에 대한 모델링 방법은 상술한 타겟 객체의 모델링 방법과 동일하므로, 이에 대한 상세한 설명은 생략된다.
다음으로, 모델링된 타겟 객체와 모델링된 각각의 후보들을 이용하여 타겟 객체와 다수의 후보들 각각과의 유사도를 구하여 비교한다(S160). 그리고, 다수의 후보들 중 타겟 객체와 가장 유사한 후보를 (i+1)번째 영상의 타겟 객체로 결정한다.
타겟 객체와 다수의 후보들 각각과의 유사도 및 (i+1) 영상에서의 타겟 객체는 수학식 4에 의하여 구해질 수 있다.
Figure 112008088244299-PAT00014
여기서, S는 (i)번째 영상에서 설정된 타겟 객체의 모델링 값(예컨대, 최대 변화값 템플릿)을 나타내며,
Figure 112008088244299-PAT00015
은 (i+1) 영상에서 선정된 후보의 모델링 값(예컨대, 최대 변화값 템플릿)을 나타낸다. "S, W(x,y)"는 S와
Figure 112008088244299-PAT00016
간의 내적(inner product)을 의미한다. 따라서, 수학식 4는 S와
Figure 112008088244299-PAT00017
간의 내적을 최대로 하는 후보
Figure 112008088244299-PAT00018
를 (i+1) 영상에서 타겟 객체의 위치로 결정한다는 것을 의미한다.
(i+1)번째 영상에서 타겟 객체를 결정한 후, 객체 추적할 다음 영상이 존재하는지 체크한다(S180). 객체 추적할 다음 영상이 존재하지 않으면, 객체 추적 방법은 종료되고, 객체 추적할 다음 영상이 존재하지 않으면, i를 i+1로 업데이트하여 상술한 단계들(S130~S170)을 반복함으로써 연속하는 영상에 대하여 객체 추적을 수행한다. 이와 같이 함으로써, i번째 영상에서 설정된 타겟 객체를 (i+1), (i+2),... 번째 영상에서 추적할 수 있다.
도 7은 본 발명의 일 실시예에 따른 객체 모델링 방법의 효과를 설명하기 위한 것으로서 영상의 일부를 나타내는 도면이다.
도 7의 (a)와 (b)는 동일한 영상이나, 조명에 의해 그 색상이 달라진 영상을 나타낸다. 조명에 의한 영향으로, 도 7의 (b)는 (a)에 비하여 전체적으로 색상(여기서는 그레이 스케일 픽셀값)이 100만큼 차이가 나는 경우이다. 이와 같이, 조명에 의해 객체의 부분 혹은 전체 색상이 변하더라도 색상들 간의 차이값의 분포는 여전히 그 형태가 유사하다.
좀 더 구체적으로는 도 7의 (a)에 도시된 영역에서 최대 변화값은 픽셀(p11) 과 픽셀(p23)간의 차이값(255-100=155)이다. 도 7의 (b)에 도시된 영역에서 최대 변화값 역시 픽셀(p11)과 픽셀(p23)간의 차이값(255-100=155)이다.
따라서, 조명에 의해 색상 변화가 있더라도 본 발명의 일 실시예에 따른 객체 모델링 방법을 사용하여 모델링된 값(즉, 변화값 템플릿)은 그 영향을 거의 받지 않는다. 그러므로, 색상 차이가 있는 다수의 영상들 내에서도 객체를 정확하게 추적할 수 있다.
도 8 및 도 9는 종래 기술에 따른 객체 추적 방법과 본 발명의 일 실시예에 따른 객체 추적 방법을 비교하여 설명하기 위한 도면들이다.
도 8은 타겟 객체(얼굴 영역, 80)의 위치 변화와 함께 조명에 따라서 추적 객체의 색상이 크게 변하는 경우를 비교 실험한 결과를 나타낸다. 도 8에서 ‘80’은 초기에 설정한 타겟 객체(80)의 원본 영상을 보여준다. 얼굴의 주요 부분인 눈, 코 그리고 입이 모두 포함되어 있다.
도 8에서 81 내지 84는 종래 기술에 따른 색상 기반 Mean shift 알고리즘으로 객체 추적한 결과를 보여주고 있다. 도 8의 81 내지 84를 참조하면, 종래 기술에 따른 객체 추적 방법은 전체적으로 모든 실험 결과에서 부정확한 결과를 보여준다. 초기에 설정한 타겟 객체(80)의 색상 분포가 유사한 곳이 타겟 객체 주변에 넓게 있기 때문에 비록 형태가 다르더라도 가장 유사한 색상 분포를 가지는 곳을 타겟 객체의 위치라고 추정해서 81 내지 84와 같은 결과를 보여준다.
반면 도 8의 85 내지 88은 본 발명의 일 실시예에 따른 객체 추적 방법을 사용해 타겟 객체(80)를 추적한 결과를 보여준다. 도 8의 85 내지 88을 참조하면, 추 적 객체가 위치 이동 뿐만 아니라 약간의 방향 전환과 동시에 조명에 의한 색상변화가 있더라도 정확히 객체 위치를 알아냄을 보여준다. 조명에 의해 색상 변화가 있더라도 본 발명의 일시예에 따른 객체 추적 방법에서 사용하는 객체 모델링 값(예컨대, 최대 변화값)은 영향을 거의 받지 않는다. 왜냐하면 조명에 의해 객체의 부분 혹은 전체 색상이 변하더라도 색상들 간의 차이값의 분포는 여전히 그 형태가 유사하기 때문이다. 그리고 최대 변화값 템플릿에 가우시안 확률분포를 더하여 추적 객체가 약간의 각도 변화 혹은 형태 변화를 가지더라도 정확히 추적한다는 것을 도 8의 85 내지 88을 통해 확인할 수 있다.
도 9는 유사 색상 환경에서의 타겟 객체(손 영역, 90)를 추적하는 경우를 비교 실험한 결과를 나타낸다. 도 9에서 ‘90’은 초기에 설정한 타겟 객체(90)의 원본 영상을 보여준다.
도 9에서 91 내지 94는 종래 기술에 따른 색상 기반 Mean shift 알고리즘으로 객체 추적한 결과를 보여주고 있다. 첫 번째 영상(91)에서는 추적 객체를 비교적 잘 찾는다. 하지만, 두 번째 영상(92)에서부터 약간의 추적 오류가 시작되어 세 번째 영상(93)에서는 확연히 틀린 추적 결과를 보여준다.
타겟 객체(90)의 손목 부분의 짙은 녹색 옷이 세 번째 영상(93)에 있는 어깨부분 옷 색과 일치하고 뒷 배경색이 일치하기 때문에 어깨 부분으로 이동하게 된 것으로 보여진다. 마지막 영상(94)에서는 배경색, 손바닥 색 그리고 옷 색이 모두 포함되어 있는 부분이 타겟 객체로 결정된 것을 볼 수 있다. 이 경우 형태는 틀리지만 색상 분포는 타겟 객체와 거의 동일하다.
반면, 도 9의 95 내지 98은 본 발명의 일 실시예에 따른 객체 추적 방법을 사용해 타겟 객체(90)를 추적한 결과를 보여준다. 종래 기술에 따라 추적된 객체(91~94)와 달리 본 발명의 일 실시예에 따르면 세 번째 영상(97)에서도 타겟 객체를 정확히 추적함을 확인할 수 있다. 즉, 본 발명의 일 실시예에 따른 객체 추적 방법은 추적 대상인 타겟 객체를 변화값 템플릿으로 저장하고 있기 때문에 비록 타겟 객체의 색상이 변하더라도 정확히 객체의 위치를 파악한다는 것을 알 수 있다.
본 발명의 실시 예에 따른 노이즈 추정부 및 영상 처리 시스템은 하드웨어 및 소프트웨어로 구현될 수 있다. 본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 광 데이터 저장장치 등이 있다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고 본 발명을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술분야의 프로그래머들에 의해 용이하게 추론될 수 있다.
본 발명은 도면에 도시된 일 실시 예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시 예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정 한 기술적 보호 범위는 첨부된 등록청구범위의 기술적 사상에 의해 정해져야 할 것이다.
본 발명의 상세한 설명에서 인용되는 도면을 보다 충분히 이해하기 위하여 각 도면의 간단한 설명이 제공된다.
도 1은 본 발명의 일 실시예에 따른 영상 처리 시스템의 구성 블록도이다.
도 2는 본 발명의 일 실시예에 따른 영상 모델링 모듈의 기능 블록도이다.
도 3은 본 발명의 일 실시예에 따른 객체 추적 방법을 나타내는 플로우챠트이다.
도 4는 본 발명의 일 실시예에 따른 타겟 객체 모델링 방법을 나타내는 플로우챠트이다.
도 5는 영상 모델링 모듈의 동작을 설명하기 위한 도면이다.
도 6은 변화값 영상 생성부의 동작을 설명하기 위한 도면이다.
도 7은 본 발명의 일 실시예에 따른 객체 모델링 방법의 효과를 설명하기 위한 것으로서 영상의 일부를 나타내는 도면이다.
도 8 및 도 9는 종래 기술에 따른 객체 추적 방법과 본 발명의 일 실시예에 따른 객체 추적 방법을 바교하여 설명하기 위한 도면들이다.

Claims (15)

  1. 입력 영상을 수신하는 단계;
    상기 입력 영상에서 타겟 객체를 설정하는 단계;
    상기 설정된 타겟 객체에서 에지를 검출하여 에지 영상을 생성하는 단계;
    상기 에지 영상의 각 픽셀을 기준으로 소정 영역을 설정하는 단계; 및
    상기 소정 영역별 대표 변화값을 산출하여 변화값 영상을 생성하는 단계를 구비하는 객체 모델링 방법.
  2. 제1항에 있어서, 상기 영상 모델링 방법은
    상기 변화값 영상 또는 상기 변화값 영상의 정규화된 영상을 가우시안 블러링(Gaussian blurring)하는 단계를 더 구비하는 객체 모델링 방법.
  3. 제1항에 있어서, 상기 변화값 영상을 생성하는 단계는
    상기 소정 영역별로 해당 소정 영역 내에서 두 픽셀로 이루어지는 다수의 픽셀쌍을 선택하는 단계;
    상기 다수의 픽셀쌍 각각에 대하여 두 픽셀간 변화값을 구하는 단계; 및
    상기 두 픽셀간 변화값에 기초하여 해당 영역의 대표 변화값을 구하는 단계를 구비하는 객체 모델링 방법.
  4. 제3항에 있어서, 상기 해당 영역의 대표 변화값을 구하는 단계는
    상기 두 픽셀간 변화값들 중 최대 변화값을 구하는 단계; 및
    상기 최대 변화값을 상기 해당 영역의 대표 변화값으로 설정하는 단계를 구비하는 객체 모델링 방법.
  5. 제3항에 있어서, 상기 두 픽셀간 변화값, G(x, y)는
    Figure 112008088244299-PAT00019
    (여기서, 상기 Cj(i)는 픽셀i의 벡터, Cj(W)는 픽셀 i와 쌍을 이루는 픽셀 W의 벡터, N(1이상의 정수)은 각 벡터의 원소의 수임)와 상응하는 객체 모델링 방법.
  6. 제3항에 있어서, 상기 소정 영역은
    상기 소정 영역 내의 기준 픽셀을 포함하는 M x M 픽셀 영역이고,
    상기 M은 2 이상의 정수인 객체 모델링 방법.
  7. 제6항에 있어서,
    상기 기준 픽셀과 상기 소정 영역 내의 다른 각각의 픽셀이 상기 소정 영역의 다수의 픽셀쌍 중 하나의 픽셀쌍이 되는 객체 모델링 방법.
  8. 제6항에 있어서, 상기 소정 영역의 다수의 픽셀쌍은
    상기 소정 영역 내의 픽셀들 중 선택 가능한 두 픽셀의 모든 조합을 포함하는 객체 모델링 방법.
  9. 제1항 내지 제8항 중 어느 한 항에 기재된 객체 모델링 방법에 의하여 산출된 모델링 값에 기초하여 영상을 처리하는 영상 처리 방법.
  10. 제1 영상을 수신하는 단계;
    상기 기준 영상에서 타겟 객체를 정의하는 단계;
    상기 정의된 타겟 객체를 모델링하는 단계;
    제2 영상을 수신하는 단계;
    제1 영상의 타겟 객체의 위치를 중심으로 다수의 후보들을 설정하는 단계;
    상기 다수의 후보들을 각각 모델링하는 단계;
    상기 타겟 객체와 상기 다수의 후보들 각각과의 유사도를 구하여 비교하는 단계; 및
    상기 다수의 후보들 중 상기 타겟 객체와 유사도가 가장 높은 후보를 상기 제2 영상에서의 타겟 객체로 결정하는 단계를 구비하는 영상 처리 방법.
  11. 제10항에 있어서, 상기 모델링하는 단계는
    모델링 대상 영상에서 에지를 검출하여 에지 영상을 생성하는 단계; 및
    상기 에지 영상의 각 픽셀을 기준으로 소정 영역별 대표 변화값을 산출하여 변화값 영상을 생성하는 단계를 구비하며,
    상기 모델링 대상 영상은 상기 정의된 타겟 영상 또는 상기 다수의 후보들 각각인 영상 처리 방법.
  12. 제11항에 있어서, 상기 변화값 영상을 생성하는 단계는
    상기 소정 영역별로 해당 소정 영역 내에서 두 픽셀로 이루어지는 다수의 픽셀쌍을 선택하는 단계;
    상기 다수의 픽셀쌍 각각에 대하여 두 픽셀간 변화값을 구하는 단계;
    상기 두 픽셀간 변화값들 중 최대 변화값을 구하는 단계; 및
    상기 최대 변화값을 해당 영역의 대표 변화값으로 하여 상기 변화값 영상을 생성하는 단계를 구비하는 영상 처리 방법.
  13. 제1항 내지 제8항 및 제10항 내지 제12항 중 어느 한 항에 기재된 방법을 수행하기 위한 프로그램을 기록한 기록매체.
  14. 입력 영상을 수신하고 상기 입력 영상에서 모델링 대상 영상을 설정하는 영상 수신부;
    상기 모델링 대상 영상에서 에지를 검출하여 에지 영상을 생성하는 에지 검 출부; 및
    상기 에지 영상의 각 픽셀을 기준으로 소정 영역별 대표 변화값을 산출하여 변화값 영상을 생성하는 변화값 영상 생성부를 구비하는 영상 처리 시스템.
  15. 제14항에 있어서, 상기 영상 처리 시스템은
    상기 변화값 영상을 정규화하는 정규화부;
    상기 정규화부에 의해 정규화된 영상을 가우시안 블러링(Gaussian blurring)하는 블러링부; 및
    상기 블러링부의 출력 영상에 기초하여, 상기 입력 영상을 분석하고 처리하는 영상 분석 모듈을 더 구비하는 영상 처리 시스템.
KR1020080132018A 2008-12-23 2008-12-23 변화값 템플릿을 이용한 객체 모델링 방법 및 그 시스템 KR100996209B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020080132018A KR100996209B1 (ko) 2008-12-23 2008-12-23 변화값 템플릿을 이용한 객체 모델링 방법 및 그 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020080132018A KR100996209B1 (ko) 2008-12-23 2008-12-23 변화값 템플릿을 이용한 객체 모델링 방법 및 그 시스템

Publications (2)

Publication Number Publication Date
KR20100073366A true KR20100073366A (ko) 2010-07-01
KR100996209B1 KR100996209B1 (ko) 2010-11-24

Family

ID=42636336

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020080132018A KR100996209B1 (ko) 2008-12-23 2008-12-23 변화값 템플릿을 이용한 객체 모델링 방법 및 그 시스템

Country Status (1)

Country Link
KR (1) KR100996209B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018070844A1 (ko) * 2016-10-13 2018-04-19 경북대학교 산학협력단 에지 모델링을 위한 에지 블러 설정 방법
KR20230086456A (ko) * 2021-12-08 2023-06-15 호남대학교 산학협력단 영상 처리를 위한 전자 장치 및 그 방법

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013077562A1 (ko) * 2011-11-24 2013-05-30 에스케이플래닛 주식회사 특징점 설정 장치 및 방법과 이를 이용한 객체 추적 장치 및 방법
CN110634167B (zh) * 2019-09-27 2021-07-20 北京市商汤科技开发有限公司 神经网络训练方法及装置和图像生成方法及装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10276359A (ja) 1997-03-31 1998-10-13 Sony Corp 追尾装置および追尾方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018070844A1 (ko) * 2016-10-13 2018-04-19 경북대학교 산학협력단 에지 모델링을 위한 에지 블러 설정 방법
US11227394B2 (en) 2016-10-13 2022-01-18 Kyungpook National University Industry-Academic Cooperation Foundation Method for setting edge blur for edge modeling
KR20230086456A (ko) * 2021-12-08 2023-06-15 호남대학교 산학협력단 영상 처리를 위한 전자 장치 및 그 방법

Also Published As

Publication number Publication date
KR100996209B1 (ko) 2010-11-24

Similar Documents

Publication Publication Date Title
US7239718B2 (en) Apparatus and method for high-speed marker-free motion capture
US10216979B2 (en) Image processing apparatus, image processing method, and storage medium to detect parts of an object
EP3857440A1 (en) Method and apparatus for processing video stream
WO2014080613A1 (ja) 色補正装置、色補正方法および色補正用プログラム
JP7272024B2 (ja) 物体追跡装置、監視システムおよび物体追跡方法
KR100988326B1 (ko) 사용자 맞춤형 표정 인식 방법 및 장치
WO2016107638A1 (en) An image face processing method and apparatus
KR100651034B1 (ko) 대상 물체 검출 시스템 및 그 방법
JP4682820B2 (ja) オブジェクト追跡装置及びオブジェクト追跡方法、並びにプログラム
JP5262705B2 (ja) 運動推定装置及びプログラム
US10496874B2 (en) Facial detection device, facial detection system provided with same, and facial detection method
CN108256567B (zh) 一种基于深度学习的目标识别方法及系统
KR101681104B1 (ko) 부분적 가림을 갖는 영상 객체 내의 주요 특징점 기반 다중 객체 추적 방법
KR101737430B1 (ko) 동적 배경을 가진 영상의 대상 객체 검출 방법
KR20150127381A (ko) 얼굴 특징점 추출 방법 및 이를 수행하는 장치
CN109886195B (zh) 基于深度相机近红外单色灰度图的皮肤识别方法
IT202000016054A1 (it) Metodo per determinare la confidenza di una mappa di disparità mediante un apprendimento auto-adattivo di una rete neurale, e relativo sistema di sensori
KR100996209B1 (ko) 변화값 템플릿을 이용한 객체 모델링 방법 및 그 시스템
Tathe et al. Real-time human detection and tracking
JP6244886B2 (ja) 画像処理装置、画像処理方法および画像処理プログラム
US20160253581A1 (en) Processing system, processing method, and recording medium
CN107665495B (zh) 对象跟踪方法及对象跟踪装置
US20220366570A1 (en) Object tracking device and object tracking method
Zou et al. Statistical analysis of signal-dependent noise: application in blind localization of image splicing forgery
Lee et al. Robust visual object tracking with extended CAMShift in complex environments

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20131031

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20151028

Year of fee payment: 6

LAPS Lapse due to unpaid annual fee