KR100977259B1 - 다중 기울기 히스토그램을 이용한 사람 탐색 및 추적 방법 - Google Patents

다중 기울기 히스토그램을 이용한 사람 탐색 및 추적 방법 Download PDF

Info

Publication number
KR100977259B1
KR100977259B1 KR1020080024542A KR20080024542A KR100977259B1 KR 100977259 B1 KR100977259 B1 KR 100977259B1 KR 1020080024542 A KR1020080024542 A KR 1020080024542A KR 20080024542 A KR20080024542 A KR 20080024542A KR 100977259 B1 KR100977259 B1 KR 100977259B1
Authority
KR
South Korea
Prior art keywords
human
image
area
tilt
images
Prior art date
Application number
KR1020080024542A
Other languages
English (en)
Other versions
KR20090099349A (ko
Inventor
이칠우
아리프 세티어완 누럴
오라만 디
오치민
Original Assignee
전남대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 전남대학교산학협력단 filed Critical 전남대학교산학협력단
Priority to KR1020080024542A priority Critical patent/KR100977259B1/ko
Publication of KR20090099349A publication Critical patent/KR20090099349A/ko
Application granted granted Critical
Publication of KR100977259B1 publication Critical patent/KR100977259B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/269—Analysis of motion using gradient-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G06T7/41—Analysis of texture based on statistical description of texture
    • G06T7/44—Analysis of texture based on statistical description of texture using image operators, e.g. filters, edge density metrics or local histograms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 다중 기울기 히스토그램을 이용한 사람탐색 및 추적 방법에 관한 것으로, 더욱 상세하게는 사람 검출의 후보영역인 움직임 영역을 크기가 서로 다른 다수 개의 기울기 영상으로 생성한 후, 상기 기울기 영상들의 셀 히스토그램을 이용하여 특징 벡터들을 합성하고 상기 특징 벡터들을 기반으로 사람영역을 인식함으로써 사람영역의 인식률을 매우 향상시킨 다중 기울기 히스토그램을 이용한 사람탐색 및 추적 방법에 관한 것이다.
사람 추적, 사람 탐색, 히스토그램, 특징 벡터, 서포트 벡터

Description

다중 기울기 히스토그램을 이용한 사람 탐색 및 추적 방법{METHOD FOR A HUMAN SEARCHING AND TRACKING USING A MULTIFULSCALE HISTOGRAM OF ORIENTED GRADIENT}
본 발명은 다중 기울기 히스토그램을 이용한 사람탐색 및 추적 방법에 관한 것으로, 더욱 상세하게는 사람 검출의 후보영역인 움직임 영역을 크기가 서로 다른 다수 개의 기울기 영상으로 생성한 후, 상기 기울기 영상들의 셀 히스토그램을 이용하여 특징 벡터들을 합성하고 상기 특징 벡터들을 기반으로 사람영역을 인식함으로써 사람영역의 인식률을 매우 향상시킨 다중 기울기 히스토그램을 이용한 사람탐색 및 추적 방법에 관한 것이다.
동적인 영상에서 사람들을 탐색하고 추적하는 시스템은 보안, 인간의 행동분석, 로봇비전 및 인간과 컴퓨터 간의 상호작용 분야의 비전 어플리케이션 시스템들 중 가장 중요한 시스템 중의 하나이다.
또한, 상기 사람들을 탐색하고 추적하는 시스템이 원격 보안시스템, 수화 및 제스처 인식 시스템, 원격 교육시스템, 자동 기록 시스템 등에 활용되기 위해서는 카메라를 이용하여 취득한 영상을 분석하여 사람 영역을 분리하고 그 사람 영역이 어떤 동작을 하는지 인식하는 기술이 필요하다.
그러나 사람은 행동반경이 넓고 움직임이 빠르며, 사람이 향한 방향에 따라 동작이나 자세가 매우 다양하게 변화할 수 있으므로, 컴퓨터를 이용하여 자동으로 사람 영역을 인식하는 것은 매우 어려운 일이다.
종래의 사람 영역 인식방법은 입력되는 영상에서 복잡한 배경을 제거하고 사람 영역만을 찾아내기 위해 영상의 색상정보, 에지 형상정보, 특징점 정보 등을 주로 사용하였다.
그러나 이러한 종래의 인식방법은 카메라의 주시 방향, 조명의 밝기, 원근 위치에 따른 크기 변화 등에 민감하여 안정적인 결과를 얻기 어려운 문제점이 있다.
본 발명은 상기의 문제점들을 해결하기 위해 창안된 것으로, 본 발명의 목적은 사람 영역 인식에 있어서 인식률이 매우 향상된 다중 기울기 히스토그램을 이용한 사람 탐색 및 추적 방법을 제공하는 데 있다.
상기의 목적을 달성하기 위한 본 발명의 일 실시예에 따른 다중 기울기 히스토그램을 이용한 사람 탐색 및 추적 방법은 촬영된 영상으로부터 사람 검출의 후보영역인 움직임 영역을 검출하는 움직임 영역 검출단계, 상기 움직임 영역이 사람영역인지 아닌지 인식하는 사람영역 인식단계 및 인식된 사람영역을 추적하는 사람영역 추적단계을 포함하며, 상기 사람영역 인식단계은 상기 움직임 영역 내의 각 화소들에 대해 화소 기울기(pixel gradient)의 방향과 크기를 계산하여 기울기 영상을 도출하는 화소 기울기 방향 및 크기 계산단계, 상기 기울기 영상을 영상은 동일하고 크기가 서로 다른 다수개의 기울기 영상들로 생성하는 다중 스케일 피라미드 영상 발생단계, 상기 기울기 영상들을 각각 일정한 개수의 셀들로 구분하는 셀 크기 결정단계 및 상기 기울기 영상들 별로 각 셀들의 히스토그램(histogram)을 구하고, 구해진 히스토그램의 값들을 더하여 1차원의 특징 벡터를 도출하는 특징 벡터 발생단계를 포함하며, 상기 기울기 영상들의 특징 벡터에 기반하여 상기 움직임 영역이 사람영역인지 아닌지 인식한다.
바람직한 실시예에 있어서, 상기 다중 스케일 피라미드 영상 발생단계는 상기 기울기 영상으로부터 상기 기울기 영상 중의 동일한 영역을 포함하는 서로 다른 크기의 다수 개의 영상들을 추출한 후, 추출된 각각의 영상을 영상은 동일하고 크기가 서로 다른 다수개의 기울기 영상들로 생성한다.
바람직한 실시예에 있어서, 상기 사람영역 인식단계는 임의의 사람 영상 또는 사물 영상의 히스토그램 값이며 상기 사람영역의 인식기준인 서포트 벡터(Support Vector)를 도출하는 서포트 벡터 도출단계 및 상기 서포트 벡터의 값과 상기 특징 벡터들의 값을 서로 비교하여, 상기 특징 벡터들 중 어느 하나의 특징 벡터가 상기 임의의 사람 영상의 서포트 벡터와 일정한 확률값 이상으로 유사할 경우, 상기 움직임 영역을 사람영역으로 인식하는 사람영역 인식단계를 더 포함한다.
삭제
삭제
삭제
상술한 바와 같이 본 발명에 의하면, 하나의 움직임 영상으로부터 다수개의 특징 벡터를 도출하여 서포트 벡터와 비교하므로 사람 영역의 인식률이 매우 향상된 다중 기울기 히스토그램을 이용한 사람 탐색 및 추적 방법을 제공할 수 있는 효과가 있다.
또한, 본 발명에 의하면 다수개의 특징 벡터를 도출할 수 있으므로 원근에 의한 움직임 영상의 크기 변화에도 안정적으로 사람영역을 인식할 수 있는 다중 기울기 히스토그램을 이용한 사람 탐색 및 추적 방법을 제공할 수 있는 효과가 있다.
이하, 첨부한 도면들을 참조하여 본 발명의 실시예를 상세히 설명한다.
도 1은 본 발명의 일 실시예에 따른 다중 기울기 히스토그램을 이용한 사람 탐색 및 추적 시스템을 보여주는 도면이다.
도 1을 참조하면 본 발명의 일 실시에에 따른 다중 기울기 히스토그램을 이용한 사람 탐색 및 추적 방법은 다중 기울기 히스토그램을 이용한 사람 탐색 및 추적 시스템(100)에 의해 수행되며, 상기 사람 탐색 및 추적 시스템(100)은 움직임 영역 검출수단(110), 사람영역 인식수단(120) 및 사람영역 추적수단(130)을 포함하여 이루어진다.
상기 움직임 영역 검출수단(110)은 비디오 카메라로부터 직접 입력되거나 컴퓨터 등의 저장매체에 저장되어 입력되는 영상으로부터 사람 검출의 후보영역인 움직임 영역(110a)을 검출한다.
또한, 상기 움직임 영역 검출수단(110)은 상기 움직임 영역(110a)을 상기 입력되는 영상의 프레임 차로부터 검출하며, 상기 프레임 차는 광류(optical flow) 계산에 기반하여 도출된다.
한편, 상기 광류는 상기 입력되는 영상 중 일정한 영역에 위치하는 화소들의 이동벡터를 말하며, 더욱 자세하게는 이전 영상 프레임에서 현재 영상 프레임으로 이동하는 화소들의 이동량을 뜻한다.
즉, 상기 움직임 영역 검출수단(110)은 상기 입력되는 영상들 중 광류가 큰 화소들이 있는 일정한 영역을 움직임 영역(110a)으로 검출하는 것이다.
상기 사람영역 인식수단(120)은 상기 움직임 영역 검출수단(110)에서 검출된 움직임 영역(110a)이 사람영역인지 아닌지 인식한다.
다시 말하면, 상기 사람영역 인식수단(120)은 상기 움직임 영역 내의 움직임 객체(110aa)가 사람인지 판단한다.
자세한 설명은 도 2를 참조하여 하기로 한다.
상기 사람영역 추적수단(130)은 상기 사람영역 인식수단(120)에서 인식된 사람영역을 지속적으로 추적한다.
한편, 상기 사람영역 추적수단(130)은 한번 인식된 사람영역을 지속적으로 추적함으로써, 지속적으로 입력되는 움직임 영역(110a)이 사람영역인지 인식하는 단계를 줄여 전체 시스템의 동작시간을 줄이고, 입력되는 영상 중 다수 개의 움직임 영상이 있을 경우 어느 하나의 움직임 영상과 커뮤니케이션을 지속하게 해주는 기능을 한다.
또한, 상기 사람영역 추적수단(130)은 상기 사람영역 인식수단(120)에 의해 사람영역으로 인식된 현재 움직임 영역의 광류들이 x축 상에서 이동한 이동량의 중간값을 이용하여 다음에 입력될 움직임 영역의 위치를 예상함으로써 상기 현재 인 식된 움직임 영역을 추적한다.
아래의 수학식 1은 상기 다음에 입력될 움직임 영역의 예상 위치를 도출하는 식이다.
Figure 112008019295413-pat00001
상기 수학식 1에서 dx는 입력될 움직임 영역의 예상 위치, vi x는 현재 움직임 영역의 광류의 이동량, Nw는 상기 현재 움직임 영역 내의 화소 개수이다.
또한, 상기 입력될 움직임 영역의 예상 위치는 현재 움직임 영역의 히스토 그램과 상기 입력될 움직임 영역의 예상위치에 새롭게 위치하는 움직임 영역의 히스토그램을 비교함으로써 검증된다.
즉, 한번 사람영역으로 인식된 움직임 영역이 이동할 위치를 예상하고, 상기 사람으로 인식된 움직임 영역의 히스토그램과 예상된 위치에 새롭게 위치하는 움직임 영역의 히스토그램의 동일성을 비교함으로써 검증된다.
또한, 상기 히스토그램들의 비교하기 위한 거리 계산법은 Battacharyya가 제안한 방법을 사용하였고, 아래의 수학식 2와 같다.
Figure 112008019295413-pat00002
Figure 112008019295413-pat00003
상기 수학식 2에서 현재 움직임 영역의 히스토그램은 q이고 새롭게 위치한 움직임 영역의 히스토그램은 p(y)이다.
따라서, 본 발명의 일 실시예에 따른 다중 기울기 히스토그램을 이용한 사람 탐색 및 추적 시스템은 입력되는 움직임 영상마다 사람영역인지 판단하는 것이 아니라 한번 인식된 사람 영역을 지속적으로 추적하므로 전체 시스템의 동작시간이 빠르고, 입력되는 영상 중 다수 개의 사람 영역이 있을 경우에도 어느 하나의 사람 영역과 지속적으로 커뮤니케이션을 할 수 있다.
도 2는 본 발명의 일 실시예에 따른 다중 기울기 히스토그램을 이용한 사람 탐색 및 추적 시스템의 사람영역 인식수단을 보여주는 도면이고, 도 3은 본 발명의 일 실시예에 따른 다중 기울기 히스토그램을 이용한 사람 탐색 및 추적 시스템의 화소 기울기 방향 및 크기 계산기의 계산원리를 설명하기 위한 도면, 도 4는 본 발명에 일 실시예에 따른 다중 기울기 히스토그램을 이용한 사람 탐색 및 추적시스템의 특징 벡터를 도출하는 과정을 보여주는 도면이고, 도 5는 본 발명의 일 실시예에 따른 다중 기울기 히스토그램을 이용한 사람 탐색 및 추적시스템의 윈도우 기울기 영상들을 설명하기 위한 도면이다.
도면들을 참조하면 본 발병의 일 실시예 따른 사람영역 인식수단(120)은 화소 기울기 방향 및 크기 계산기(121), 다중 스케일 피라미드 영상 발생기(122), 히 스토그램 셀 크기 결정기(123), 특징 벡터 발생기(124), 서포트 벡터 도출기(125) 및 사람영역 인식기(126)를 포함하여 이루어진다.
상기 화소 기울기 방향 및 크기 계산기(121)는 상기 움직임 영역 검출 수단(110)에서 검출된 움직임 영역(110a) 내부의 각 화소(p)들에 대해 화소 기울기(pixel gradient:g)의 방향과 크기를 계산하여 기울기 영상(121a)을 도출한다.
또한, 상기 기울기 영상(121a)은 상기 움직임 영역(110a) 내의 움직임 객체(110aa)의 윤곽선 영상으로 표현된다.
여기서 상기 화소의 기울기(g)란 상기 움직임 영역 내의 임의의 화소가 인접한 화소와의 화소 값 변화량과 변화방향을 말하는 것으로 수평/수직방향 미분연산자나 캐니 에지 오퍼레이터(Canny edge operator)를 이용하여 도출할 수 있다.
그러나, 소벨(Sobel) 연산자 등의 윤곽선 영상 도출을 위한 알고리즘이라면 어떠한 알고리즘도 사용이 가능하다.
또한, 상기 화소의 기울기(g)는 도 3에 도시한 바와 같이 표시될 수 있으며, 상기 화소의 기울기(g)의 크기 m(x,y)와 방향 θ(x,y)은 아래의 수학식 3에 의해 도출된다.
Figure 112008019295413-pat00004
Figure 112008019295413-pat00005
즉, 상기 화소 기울기 방향 및 크기 계산기(121)는 상기 움직임 영역(110a) 에서 실제 움직이고 있는 움직임 객체(110aa)의 윤곽선을 검출하기 위한 것이다.
상기 다중 스케일 피라미드 영상 발생기(122)는 상기 화소 기울기 방향 및 크기 계산기(121)에서 도출된 기울기 영상(121a)을 영상은 동일하고 크기만 서로 다른 다수개의 기울기 영상들(121b,121c,...121n)로 생성한다.
다시 말하면, 하나의 기울기 영상을 스케일이 다른 다수개의 기울기 영상들로 생성하는 것이다.
한편, 상기 다중 스케일 피라미드 영상 발생기(122)는 도 5에 도시된 바와 같이 상기 화소 기울기 방향 및 크기 계산기(121)에서 도출된 기울기 영상(121a)을 영상 및 크기가 서로 다른 다수개의 윈도우 기울기 영상 (122a, 122b, 122c, 122d,...122n)으로 생성하고, 상기 윈도우 기울기 영상들(122a, 122b, 122c, 122d,...122n) 별로 도 4에서 보인 바와 같이 영상은 동일하고 크기만 서로 다른 다수개의 윈도우 기울기 영상(122aa,122ab,122ac,...,122an)들로 생성한다.
즉, 하나의 기울기 영상(121a)으로부터 다수개의 기울기 영상들(121b,121c,...121n)과 다수개의 윈도우 기울기 영상들(122aa, 122ab, 122ac, ...,122an)을 생성한다.
한편, 도 5에서는 어느 하나의 윈도우 기울기 영상(122a)에 대해 다수개의 윈도우 기울기 영상들(122aa, 122ab, 122ac, ...,122an)을 생성하는 것을 도시하였으나 나머지 윈도우 기울기 영상들(122b, 122c, 122d,...122n)에 대해서도 각각 영상은 동일하고 크기만 서로 다른 다수개의 윈도우 기울기 영상들을 생성한다.
상기 히스토그램 셀 크기 결정기(123)는 상기 기울기 영상 들(121a,121b,121c,...121n) 및 상기 윈도우 기울기 영상들(122a, 122b, 122c, 122d,...122n) 각 각이 일정한 크기의 셀들을 가지도록 구분한다.
또한, 상기 히스토그램 셀 크기 결정기(123)는 상기 윈도우 기울기 영상들(122a,122b,122c,122d,...122n)에서 도출된 다수개의 윈도우 기울기 영상(122aa,122ab,122ac,...,122an)들 역시 각 강이 일정한 크기의 셀들을 가지도록 구분한다.
상기 특징 벡터 발생기(124)는 상기 기울기 영상들(121a,121b,121c,...121n)과 상기 다수개의 윈도우 기울기 영상들(122aa, 122ab, 122ac, ...,122an) 별로 일정한 특징 벡터(f1,f2,f3,...fn)를 도출한다.
한편, 상기 기울기 영상들(121a,121b,121c,...121n)이나 상기 다수개의 윈도우 기울기 영상들(122aa, 122ab, 122ac, ...,122an)의 특징 벡터 도출방법은 동일하므로, 이하에서는 상기 기울기 영상들(121a,121b,121c,...121n)의 특징 벡터(f1,f2,f3,...fn)를 도출하는 과정을 설명하고, 상기 윈도우 기울기 영상들(122a,122b,122c,122d,...122n)의 특징 벡터 도출 과정은 생략하기로 한다.
또한, 상기 특징 벡터들(f1,f2,f3,...fn)은 상기 기울기 영상들(121a,121b,121c,...121n)이 가지는 셀들의 히스토그램(h)의 합성으로 도출된다.
상기 특징 벡터들(f1,f2,f3,...fn)이 도출되는 과정을 가장 크기가 큰 기울기 영상(121a)을 예로 들어 설명하면, 기울기 영상(121a)을 상기 히스토그램 셀 크기 결정기(123)에 의해 일정한 크기의 셀들(c11,...c1n,)로 구분하고, 상기 각각의 셀들(c11,...c1n,)의 히스토그램(h11,h12,...h1n)을 도출하여 상기 히스토그램들(h11,h12,...h1n)을 하나의 특징 벡터(f1)로 합성한다.
또한, 상기 특징 벡터(f1)의 합성방법은 응용 목적과 용도에 따라 차원을 달리 할 수 있지만, 본 발명의 실시예에서는 1차원 벡터로 순서대로 연결(f1={h11,h12,...h1n})하여 단순 결합하는 방법을 취하였다.
상술한 특징 벡터의 합성방법을 이용하여 상기 기울기 영상들(121a,121b,121c,...121n) 별로 각각 특징 벡터(f1,f2,f3,...fn)를 도출하게 된다.
즉, 하나의 기울기 영상(121a)이 다수 개의 특징 벡터들((f1,f2,f3,...fn)로 도출되므로, 후술할 사람 영역의 인식기준인 서포트 벡터(Support Vector)와 비교대상이 풍부해져 상기 서포트 벡터에 학습되지 않은 영상에 대해서도 사람 영역인지를 인식할 수 있는 효과가 있다.
또한, 카메라와 영상 간의 거리에 따라 영상의 크기가 서로 달라지는 사람 영역도 안정적으로 검출해낼 수 있다.
상기 서포트 벡터 도출기(125)는 임의의 사람 영상 및 사물 영상의 히스토그램으로부터 상기 기울기 영상(121a)이 사람 영역인지 판단하는 기준인 서포트 벡터를 도출한다.
또한, 상기 서포트 벡터 도출기(125)는 서포트 벡터 머신(Support Vector Machine)을 사용하였다.
한편, 상기 서포트 벡터 머신은 1997 년에 Vapnik, Steven Golowich, Alex Smola 가 제안했으며, 학습된 데이터들 중 포지티브(Positve)와 네거티브(Negative) 데이터로 분류하는 일종의 학습 분류기이다.
또한, 상기 서포트 벡터 머신이 상기 서포트 벡터를 도출하는 과정을 간략히 설명하면 먼저, 커널(Kernel)을 사용해 입력벡터 값들을 고차원 영역으로 매핑한 후 서로 가장 잘 분리되는 두 개의 면을 찾아낸다. 또한, 상기 두 개의 면은 서로 평행하며 서로의 면의 데이터들이 적절히 분리되어 있는 상태이다. 다음, 이렇게 분리된 두 개의 면 중 하나는 파지티브(Positive)로 불리는 상기 임의의 사람 영상 히스토그램의 모음으로부터 얻어진 데이터 면이고, 다른 하나는 네거티브(Negative)인 임의의 사물 영상의 히스토그램들의 데이터 모음이다.
이렇게 임의의 사람 영상과 사물 영상의 면을 적절히 분리하는 데이터들을 모아 서포트 벡터를 도출하게 된다.
상기 사람 영역 인식기(126)는 상기 특징 벡터 발생기(124)에서 도출된 특징 벡터들(f1,f2,f3,...fn)과 상기 서포트 벡터를 비교하여 상기 특징 벡터들(f1,f2,f3,...fn)이 사람 영상의 특징 벡터인지 판단하며, 상기 특징 벡터(f1,f2,f3,...fn) 중 어느 하나의 특징 벡터라도 일정한 확률값 이상이면 상기 움직임 영역(110a)을 사람영역으로 인식한다.
한편, 상기 확률값은 아래의 수학식 4에 의해 도출되는 0 내지 1의 값 중 에 서 설정되며, 설정된 확률값 이상이면 상기 움직임 영역을 사람영역으로 판단한다.
즉, 하나의 움직임 영상(110a)으로부터 다수 개의 특징 벡터를 얻어 상기 서포트 벡터와 각각 비교함으로써, 상기 서포트 벡터가 가지고 있지 않은 크기의 움직임 영상 데이터라도 정확하게 사람 영역으로 인식할 수 있는 것이다.
또한, 상기 사람 영역 인식기(126)는 아래의 수학식 4에 의해 상기 특징 벡터들(f1,f2,f3,...fn)과 상기 서포트 벡터를 비교한다.
Figure 112008019295413-pat00006
상기 수학식 4에서 xn은 서포트 벡터이고, tn은 서포트 벡터의 음수값 또는 양수값이다. 또한, xn은 서포트 벡터가 제로값이 아닌 라그랑쥬 제약값, b는 보정값, n은 서포트 벡터의 개수, x는 특징 벡터이고 k(x,xn)는 커널함수이다.
즉, 상기 수학식 4에 의해 상기 특징 벡터들(f1,f2,f3,...fn)과 상기 서포트 벡터를 비교하여 확률적으로 상기 움직임 영역이 사람영역인지 판단하는 것이다.
이상에서, 본 발명의 구성 및 동작을 상기한 설명 및 도면에 따라 도시하였지만, 이는 예를 들어 설명한 것에 불과하며 본 발명의 기술적 사상 및 범위를 벗어나지 않는 범위 내에서 다양한 변화 및 변경이 가능함은 물론이다.
도 1은 본 발명의 일 실시예에 따른 다중 기울기 히스토그램을 이용한 사람 탐색 및 추적 시스템을 보여주는 도면,
도 2는 본 발명의 일 실시예에 따른 다중 기울기 히스토그램을 이용한 사람 탐색 및 추적 시스템의 사람영역 인식수단을 보여주는 도면,
도 3은 본 발명의 일 실시예에 따른 다중 기울기 히스토그램을 이용한 사람 탐색 및 추적 시스템의 화소 기울기 방향 및 크기 계산기의 계산원리를 설명하기 위한 도면,
도 4는 본 발명에 일 실시예에 따른 다중 기울기 히스토그램을 이용한 사람 탐색 및 추적시스템의 특징 벡터를 도출하는 과정을 보여주는 도면,
도 5는 본 발명의 일 실시예에 따른 다중 기울기 히스토그램을 이용한 사람 탐색 및 추적시스템의 윈도우 기울기 영상들을 설명하기 위한 도면이다.
본 발명에 따른 도면들에서 실질적으로 동일한 구성과 기능을 가진 구성요소들에 대하여는 동일한 참조부호를 사용한다.
<도면의 주요부분에 대한 부호의 설명>
110:움직임 영역 검출수단 120:사람 영역 인식수단
130:사람 영역 추적수단 121:화소기울기 방향 및 크기 계산기
122:다중 스케일 피라미드 영상 발생기
123:히스토그램 셀 크기 결정기 124:특징 벡터 발생기
125:서포트 벡터 도출기 126:사람 영역 인식기

Claims (4)

  1. 촬영된 영상으로부터 사람 검출의 후보영역인 움직임 영역을 검출하는 움직임 영역 검출단계;
    상기 움직임 영역이 사람영역인지 아닌지 인식하는 사람영역 인식단계; 및
    인식된 사람영역을 추적하는 사람영역 추적단계을 포함하며,
    상기 사람영역 인식단계은:
    상기 움직임 영역 내의 각 화소들에 대해 화소 기울기(pixel gradient)의 방향과 크기를 계산하여 기울기 영상을 도출하는 화소 기울기 방향 및 크기 계산단계;
    상기 기울기 영상을 영상은 동일하고 크기가 서로 다른 다수개의 기울기 영상들로 생성하는 다중 스케일 피라미드 영상 발생단계;
    상기 기울기 영상들을 각각 일정한 개수의 셀들로 구분하는 셀 크기 결정단계; 및
    상기 기울기 영상들 별로 각 셀들의 히스토그램(histogram)을 구하고, 구해진 히스토그램의 값들을 더하여 1차원의 특징 벡터를 도출하는 특징 벡터 발생단계를 포함하며,
    상기 기울기 영상들의 특징 벡터에 기반하여 상기 움직임 영역이 사람영역인지 아닌지 인식하는 것을 특징으로 하는 사람영역 인식 및 추적방법.
  2. 제 1 항에 있어서,
    상기 다중 스케일 피라미드 영상 발생단계는 상기 기울기 영상으로부터 상기 기울기 영상 중의 동일한 영역을 포함하는 서로 다른 크기의 다수 개의 영상들을 추출한 후, 추출된 각각의 영상을 영상은 동일하고 크기가 서로 다른 다수개의 기울기 영상들로 생성하는 것을 특징으로 하는 사람영역 인식 및 추적방법.
  3. 제 1 항 또는 제 2 항에 있어서,
    상기 사람영역 인식단계는:
    임의의 사람 영상 또는 사물 영상의 히스토그램 값이며 상기 사람영역의 인식기준인 서포트 벡터(Support Vector)를 도출하는 서포트 벡터 도출단계; 및
    상기 서포트 벡터의 값과 상기 특징 벡터들의 값을 서로 비교하여, 상기 특징 벡터들 중 어느 하나의 특징 벡터가 상기 임의의 사람 영상의 서포트 벡터와 일정한 확률값 이상으로 유사할 경우, 상기 움직임 영역을 사람영역으로 인식하는 사람영역 인식단계를 더 포함하는 것을 특징으로 하는 사람영역 인식 및 추적방법.
  4. 삭제
KR1020080024542A 2008-03-17 2008-03-17 다중 기울기 히스토그램을 이용한 사람 탐색 및 추적 방법 KR100977259B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020080024542A KR100977259B1 (ko) 2008-03-17 2008-03-17 다중 기울기 히스토그램을 이용한 사람 탐색 및 추적 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020080024542A KR100977259B1 (ko) 2008-03-17 2008-03-17 다중 기울기 히스토그램을 이용한 사람 탐색 및 추적 방법

Publications (2)

Publication Number Publication Date
KR20090099349A KR20090099349A (ko) 2009-09-22
KR100977259B1 true KR100977259B1 (ko) 2010-08-23

Family

ID=41357969

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020080024542A KR100977259B1 (ko) 2008-03-17 2008-03-17 다중 기울기 히스토그램을 이용한 사람 탐색 및 추적 방법

Country Status (1)

Country Link
KR (1) KR100977259B1 (ko)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101652261B1 (ko) 2009-12-24 2016-08-30 삼성전자주식회사 카메라를 이용한 오브젝트 검출 방법
KR101405410B1 (ko) 2010-10-20 2014-06-24 고려대학교 산학협력단 객체 검출 장치 및 시스템
KR101313879B1 (ko) * 2011-12-28 2013-10-01 대전대학교 산학협력단 기울기 히스토그램을 이용한 사람 검출 추적 시스템 및 방법
CN104320592B (zh) * 2014-10-30 2017-09-29 浙江大学 一种单幅编码图像的自适应视频重建方法
CN104537683B (zh) * 2014-11-18 2017-05-03 浙江大学 基于编码图像散粒特性的运动区域搜索方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Qiang Zhu et al., "Fast Human Detection Using a Cascade of Histograms of Oriented Gradients", IEEE Computer Society Conference on Computer Vision and Pattern Recognition, vol. 2, pp. 1491-1498, 2006.
김광수, 김태형, 곽수영, 변혜란, "모션 그래디언트 히스토그램 기반의 시공간 크기 변화에 강인한 동작 인식", 정보과학회논문지: 소프트웨어 및 응용, 제34권 제12호, pp.1075-1082, 2007.12.
김태수, 김승진, 이건일, "적응적 대표 컬러 히스토그램과 방향성 패턴 히스토그램을 이용한 내용 기반 영상 검색", 전자공학회논문지, 제42권 SP 제4호, pp. 119-126, 2005.07.

Also Published As

Publication number Publication date
KR20090099349A (ko) 2009-09-22

Similar Documents

Publication Publication Date Title
Dewan et al. Adaptive appearance model tracking for still-to-video face recognition
KR102462818B1 (ko) 모션벡터 및 특징벡터 기반 위조 얼굴 검출 방법 및 장치
JP4216668B2 (ja) 映像視覚情報を結合してリアルタイムで複数の顔を検出して追跡する顔検出・追跡システム及びその方法
US9621779B2 (en) Face recognition device and method that update feature amounts at different frequencies based on estimated distance
US8837773B2 (en) Apparatus which detects moving object from image and method thereof
US9245206B2 (en) Image processing apparatus and image processing method
JP6007682B2 (ja) 画像処理装置、画像処理方法及びプログラム
CN108985210A (zh) 一种基于人眼几何特征的视线追踪方法及系统
US20090097711A1 (en) Detecting apparatus of human component and method thereof
Lu et al. Face detection and recognition algorithm in digital image based on computer vision sensor
JP2007265367A (ja) 視線検出方法および装置ならびにプログラム
KR20100073189A (ko) 얼굴 검출 방법 및 장치
JP2014093023A (ja) 物体検出装置、物体検出方法及びプログラム
KR100988326B1 (ko) 사용자 맞춤형 표정 인식 방법 및 장치
KR101449744B1 (ko) 영역 기반 특징을 이용한 얼굴 검출 장치 및 방법
KR100977259B1 (ko) 다중 기울기 히스토그램을 이용한 사람 탐색 및 추적 방법
Liu et al. Robust real-time eye detection and tracking for rotated facial images under complex conditions
JP2012068948A (ja) 顔属性推定装置およびその方法
JP4788319B2 (ja) 開閉眼判定装置及び方法
JP2002366958A (ja) 画像認識方法および画像認識装置
KR101146417B1 (ko) 무인 감시 로봇에서 중요 얼굴 추적 장치 및 방법
KR101542206B1 (ko) 코아스-파인 기법을 이용한 객체 추출과 추적 장치 및 방법
JP5829155B2 (ja) 歩行者検出装置及びプログラム
Lee et al. Automatic number recognition for bus route information aid for the visually-impaired
Thangamani et al. Image Retrieval System by Skin Colour and Edge Information

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130814

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20140710

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20150805

Year of fee payment: 6

LAPS Lapse due to unpaid annual fee