KR20060064504A - 대상 물체 검출 시스템 및 그 방법 - Google Patents

대상 물체 검출 시스템 및 그 방법 Download PDF

Info

Publication number
KR20060064504A
KR20060064504A KR1020050078822A KR20050078822A KR20060064504A KR 20060064504 A KR20060064504 A KR 20060064504A KR 1020050078822 A KR1020050078822 A KR 1020050078822A KR 20050078822 A KR20050078822 A KR 20050078822A KR 20060064504 A KR20060064504 A KR 20060064504A
Authority
KR
South Korea
Prior art keywords
image
motion
target object
frame
object detection
Prior art date
Application number
KR1020050078822A
Other languages
English (en)
Other versions
KR100651034B1 (ko
Inventor
김계경
조수현
김혜진
이재연
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to US11/287,936 priority Critical patent/US7688999B2/en
Publication of KR20060064504A publication Critical patent/KR20060064504A/ko
Application granted granted Critical
Publication of KR100651034B1 publication Critical patent/KR100651034B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/62—Control of parameters via user interfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/162—Detection; Localisation; Normalisation using pixel segmentation or colour matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 대상 물체 검출 시스템 및 그 방법에 관한 것이다. 본 발명에 따르면, 입력 영상으로부터 대상 물체를 검출할 때, 입력 영상에 움직임 영역이 존재하는 경우, 카메라 움직임 파라미터를 구하여, 영상 프레임을 보정 하고, 영상 프레임과 이전 입력 영상 프레임으로부터 움직임 후보 영역을 추출한다. 그리고, 입력 영상으로부터 영상 특징 정보를 추출하여,상기 움직임 후보 영역 및 상기 영상 특징 정보를 기초로 대상 물체의 형상을 추출한다. 따라서, 대상물체 추출 및 추적이 빨라지고 정확해진다.
동적 카메라, 움직이는 사람 추출, 움직이는 사람 추적

Description

대상 물체 검출 시스템 및 그 방법{SYSTEM FOR DETECTING TARGETS AND METHOD THEREOF}
도 1은 본 발명의 실시 예에 따른 대상 물체 검출 시스템의 전체 구성도이다.
도 2는 본 발명의 실시 예에 따라 t+1번째 프레임의 모션 화소를 찾는 방법을 나타낸 도면이다.
도 3은 본 발명의 실시 예에 따라 획득한 영상 프레임을 도시한 도면이다.
도 4는 본 발명의 실시 예에 따라 카메라와 사람이 같이 움직였을 때의 영상의 윤곽선을 나타낸 도면이다.
도 5는 본 발명의 실시 예에 따라 추출된 사람 형상 블롭들을 도시한 도면이다.
도 6 내지 도 7은 본 발명의 실시 예에 따라 카메라의 좌우 움직임을 보상하기 위한 보정 파라미터 도출 방법을 나타낸 도면이다.
도 8은 본 발명의 실시 예에 따라 형상 추출을 위해 사용된 영상 특징을 나타낸 도면으로 컬러 클러스터링 된 영상의 예이다.
도 9는 본 발명의 실시 예에 따라 형상 추출을 위해 사용된 영상 특징을 나타낸 도면으로 피부색 영역을 추출한 영상의 예이다.
도 10은 본 발명의 실시 예에 따라 카메라의 움직임을 제거한 후의 영상을 나타낸 도면이다.
도 11은 본 발명의 실시 예에 따라 입력된 영상으로부터 움직이는 사람을 검출하고 추적하는 전체 흐름도이다.
본 발명은 대상 물체 검출 시스템 및 그 방법에 관한 것으로, 보다 상세하게는 입력 영상으로부터 대상 물체를 검출하는 시스템 및 그 방법에 관한 것이다.
종래, 카메라의 위치와 시점이 고정된 상태에서 움직이는 물체를 검출하고 추적하는 연구가 주로 진행되어 왔다. 이 방법은 움직이는 물체가 없을 때 카메라로 영상을 획득하여 배경 영상을 생성시켜 놓은 후, 일정한 간격으로 획득한 영상 시퀀스에서 연속된 두 영상을 서로 비교한다. 이 때, 움직이는 물체를 제외한 나머지 영상 영역은 항상 동일하다. 따라서 움직이는 물체가 있을 경우, 연속된 두 영상의 차를 구하면 움직이는 물체를 쉽게 검출할 수 있었다.
또, 카메라의 위치는 고정시키고 카메라 시점을 유동적으로 변화시키면서 이동 물체를 검출하고 추적하는 연구들도 진행되어 왔다. 이 때, 카메라가 움직이는 환경이므로 배경 영역이 일정하지 않아 움직이는 물체를 검출하기는 훨씬 어렵다. 이 방법은 카메라로 획득한 두 영상을 이용하여 카메라의 움직임 정보를 추출하여 영상을 보정한 후, 영상 시퀀스에서 연속된 두 영상의 차를 이용하여 움직이는 물 체를 추출하였다. 또는 카메라 움직임 범위 내에 있는 주변 영상을 미리 획득하여 배경 영상을 미리 생성시켜 놓은 후, 카메라로 획득한 현재 영상과 배경 영상의 차 정보를 구하여 움직이는 물체를 검출하는 방법이 이용되었다.
한편, 모바일 로봇과 같은 경우, 로봇의 움직임에 따라 카메라의 위치와 시점이 동시에 가변되므로 배경 영역의 변화가 심하다. 따라서 움직이는 물체를 검출하고 추적하는 일이 상당히 어렵다. 모바일 로봇처럼 움직이는 물체에 장착된 카메라(이하 동적 카메라라고도 한다.) 환경에서는 카메라의 유동적인 시점 변화와 로봇의 움직임에 의해 발생하는 흔들림까지 카메라로 획득한 영상에 포함된다. 동적 카메라를 이용하여 이동 물체를 검출할 경우 카메라의 움직임 정보와 물체의 움직임 정보가 함께 섞여 있기 때문에 카메라의 움직임 정보를 제거하고 움직이는 물체만 추출하는 것이 쉽지 않다.
기존의 방법에서는 카메라의 움직임 정보를 추출하기 위해 연속된 두 영상의 특징점으로 코너점을 추출한 다음 두 영상의 코너 점들을 서로 정합하여 카메라의 움직임 정보를 추출하도록 하였다. 또한 선형 변환 또는 비선형 변환 등의 방법을 이용하여 카메라 움직임을 보정한 후 두 영상간의 차를 이용하여 움직이는 물체를 추출하도록 하였다. 그러나, 이러한 방법으로도 카메라의 움직임 정보를 정확히 추출해 내지 못하여 최종적으로 추출해낸 움직이는 물체 정보에 카메라의 움직임 정보가 같이 섞여 있는 경우가 많이 발생했다.
또, 이렇게 추출된 움직이는 물체 정보를 이용하여 파티클(particle) 필터 또는 민쉬프트(mean shift) 알고리즘과 같은 각종 필터를 이용하여 움직이는 물체 를 추적하여 왔다. 그러나, 이러한 방법들은 여전히 동적 카메라 환경에서 이동 물체를 검출하고 추적하는데 있어서 움직이는 물체 검출률이나 추적률에서 좋은 성능을 나타내지 못하고 있으며, 또한 카메라 움직임 정보를 제거하여 이동 물체를 추출하고 추적하는데 상당 시간이 소요되어 실시간 처리가 불가능하다는 문제점이 있다.
따라서, 본 발명이 이루고자 하는 기술적 과제는 동적 카메라로 획득한 영상으로부터 움직이는 물체의 형상을 실시간 추출할 수 있고, 또한 추출된 물체의 형상을 실시간 추적할 수 있도록 하는데 있다.
또한, 본 발명이 이루고자 하는 기술적 과제는 동적 카메라 환경에서 이동물체를 검출할 때 카메라 움직임 정보가 함께 검출되지 않도록 하는데 있다
상술한 기술적 과제를 달성하기 위한 본 발명의 특징에 따른 대상 물체 검출 시스템은, 입력 영상으로부터 대상 물체를 검출하는 시스템으로서, 검출 대상이 되는 물체의 영상을 획득하여 전달하는 영상 입력부; 상기 영상 입력부로부터 전달된 영상의 시퀀스로부터 이웃하는 프레임간의 영상차를 통해 추출된 움직임 후보 영역 및 입력 영상의 영상특징정보를 기초로 대상 물체의 형상을 추출하는 형상 디텍터를 포함한다.
한편 상기 기술적 과제를 달성하기 위한 본 발명의 특징에 따른 대상 물체 검출 방법은, 입력 영상으로부터 대상 물체를 검출하는 방법으로서, a) 입력 영상 에 움직임 영역이 존재하는 경우, 카메라 움직임 파라미터를 구하여, 영상 프레임을 보정하는 단계; b) 영상 프레임과 이전 입력 영상 프레임으로부터 움직임 후보 영역을 추출하는 단계; c) 입력 영상으로부터 영상 특징 정보를 추출하는 단계; d) 상기 움직임 후보 영역 및 상기 영상 특징 정보를 기초로 대상 물체의 형상을 추출하는 단계를 포함하는 대상 물체 검출 방법이다.
이하 첨부도면을 참조하여 본 발명을 상세히 설명한다.
또한, 이하 설명의 편의를 위해 카메라를 장착한 모바일 로봇이 움직이는 사람을 대상으로 사람 형상을 추출하고 추적하는 경우를 예로 들어 설명하나, 이는 본 발명의 실시 예 중의 하나에 불과한 것으로 본 발명의 권리범위가 이에 한정되는 것이 아님은 당연하다.
도 1에 도시된 바와 같이, 본 발명의 실시 예에 따른 대상 물체 검출 시스템은, 영상 입력부(100), 형상 디텍터(200) 및 트래커(300)를 포함한다.
영상 입력부(100)는 예를 들어 로봇에 부착된 카메라 등을 포함하여, 검출 대상이 되는 물체의 영상을 획득하여 시스템 내부로 전달한다.
형상 디텍터(200)는 상기 영상 입력부(100)로부터 전달된 연속된 영상의 시퀀스로부터 이웃하는 프레임간의 영상 차를 이용하여 움직임 정보를 추출한다. 움직임 정보를 분석하여 카메라 시점, 카메라 위치, 카메라 흔들림 등의 카메라 움직임 정보가 발생한 경우, 프레임 간의 에지 정보를 추출하여 카메라 움직임 정보를 보정할 카메라의 움직임 파라미터를 구한다.
다음, 형상 디텍터(200)는 카메라의 움직임 파라미터를 이용하여 카메라 움 직임 정보를 보정한 다음, 이웃하는 프레임 간의 차를 이용하여 일차 카메라 움직임 정보가 제거된 움직임 영역을 추출한다.
그리고, 형상 디텍터(200)는 에지, 색상, 형상 정보과 같은 영상 특징 정보를 추출하여, 일차 카메라 움직임 정보가 제거된 움직임 영역과 영상 특징 정보를 통해 사람의 실루엣과 같은 형상을 추출한다.
트래커(300)는 추출된 사람 형상에 대해 블롭 정보를 구하고, 추적 대상이 되는 블롭간의 정합을 통해 대상 물체를 추적한다.
보다 구체적으로, 영상 입력부(100)는 모바일 로봇에 부착된 카메라를 통해 mxn크기의 영상을 획득할 수 있다. 이 때, 로봇에 부착된 카메라로 획득한 영상은 모바일 로봇에 부착된 카메라가 움직이지 않을 경우 획득한 영상과 카메라가 움직일 때 획득한 영상으로 나눌 수 있다.
전자의 경우, 움직임 정보가 없는 배경 영역을 포함한 영상과 사람의 움직임 정보를 포함한 영상이 포함된다. 그리고 후자의 경우, 카메라의 움직임 정보만을 포함한 영상이나 사람의 움직임과 카메라의 움직임이 같이 섞여 있는 영상이 포함된다
형상 디텍터(200)는 움직임 영역 추출부(210), 영상 특징 정보 추출부(220) 및 형상 추출부(230)를 포함한다.
움직임 영역 추출부(210)는 우선, 영상 입력부(100)를 통해 전달 받은 영상이 카메라 움직임 정보를 포함하고 있는지 여부를 판단한다.
도 2에 도시된 바와 같이, 움직임 영역 추출부(210)는 획득한 영상 시퀀스로 부터 연속된 영상 세 프레임 즉 t-1, t, t+1 프레임간의 화소 (x,y)의 명도값의 차가 임계치 보다 큰 경우, 움직임이 발생한 화소(이하 모션 화소라고도 한다.)로 간주한다. 이 때, 모션 화소는 다음식으로부터 도출된다.
Figure 112005047464914-PAT00001
이 때, f t-1 , f t , f t+1 은 t-1, t, t+1 에 대한 각 프레임을 나타내며 T 1 은 임계치를 나타낸다. 임계치는 대략적으로 10≤T 1 ≤20 범위의 값을 가진다. 움직임 영역 추출부는, 입력 영상 mxn 내의 모든 화소에 대해 수학식 1을 이용하여 모션 화소를 구한다.
다음, 움직임 영역 추출부(210)는 모션화소들의 블롭 해석을 통해 각 모션화소들이 사용자의 움직임 이외의 카메라 움직임 정보도 포함하는지 여부를 판단한다.
즉, 도 3에 도시된 바와 같은 영상 프레임으로부터 사람의 움직임 이외에 카메라도 함께 움직인 경우, 영상의 윤곽선은 도 4에 도시된 바와 같이 나타난다.
이 때, 움직임 영역 추출부(210)는 mxn 크기의 영상에 분포하는 모션화소들에 대한 연결 요소 블롭들이 후술할 수학식 2를 만족하는 경우, 현재의 영상 프레임에 카메라의 움직임 정보를 포함하는 화소들이 포함된 것으로 판단한다.
Figure 112005047464914-PAT00002
이 때, 블롭이란 영상에서 특성이 같은 인접한 화소들을 서로 묶어놓은 것으로, 도 5에 도시된 바와 같이, 흰색 화소들 중 인접한 화소들끼리 서로 묶으면 블롭 1 및 블롭 2와 같이 두개의 블롭이 나타나게 된다.
여기서,
Figure 112005047464914-PAT00003
는 t번째 프레임의 모션 화소들에 대한 연결 요소(connected component)들을 나타내는데, 연결요소란 화소 연결성에 기초하여 화소들을 컴포넌트로 그룹핑 하는 것을 가리킨다. 따라서 연결요소 내에 있는 모든 화소는 비슷한 화소 명도값을 가지며, 상술한 블롭을 가리킨다.
그리고, T 2 는 임계치를 나타내며
Figure 112005047464914-PAT00004
으로 계산하며, w는 영상의 가로 폭을 나타낸다.
이 때, t번째 프레임의 모션 화소들에 대한 연결 요소들 중 최대 x값과 최소 x값을 구하여 영상 폭 전체에 대하여 움직임 영역이 어느 정도 분포되어 있는가를 판별한다. 여기서 카메라 움직임이 있는 경우, 영상폭 w 전 영역에 대하여 움직임 정보가 검출되지만, 카메라가 고정되고 검출대상이 되는 사람만 움직이는 경우에는 영상의 일부분에 대해서만 움직임 정보가 검출된다. 0.8은 영상폭 w에 곱해지는 상 수로서 실험적으로 구해진 값이며, 다른 상수가 사용될 수도 있다.
즉, 설정된 임계치 T 2 이하의 영역에 움직임 영역이 존재하는 경우 카메라가 고정된 상태에서 검출 대상이 되는 사람의 움직임만 발생한 것으로 간주하고, 영상폭 전체에 대하여 움직임 영역이 임계치 이상 존재하는 경우, 사람의 움직임 이외에 카메라의 움직임도 있었던 것으로 간주한다.
다음, 움직임 영역 검출부(210)는 카메라의 움직임 정보가 현재 프레임에 포함된 경우, 다음의 수학식 3을 이용하여 카메라의 움직임 파라미터를 구하고 카메라 움직임 정보를 제거하도록 한다. 카메라의 상하 좌우 움직임 파라미터 추출을 위한 수학식은 다음과 같다.
Figure 112005047464914-PAT00005
여기서,
Figure 112005047464914-PAT00006
는 카메라의 x방향 움직임 값을 구하기 위해 정의된 것으로, 도 6에 도시된 바와 같이 t번째 프레임의 에지 값 E(y,x) 와 t-1번째 프레임의 에지 값의 차를 구한 값이다.
이 때, y값은 0에서 h까지의 영상의 높이를 의미하고, k가 -p로부터 p까지 움직이는 것은 카메라가 팬(pan),즉 좌우(x 방향)로 움직일 가능성이 있는 범위를 나타낸다. 그리고, k가 -p로부터 p까지 설정되므로, x값의 범위,즉 j는 p로부터 w-p까지 설정된다.
즉, 도 6은 카메라의 x 방향 움직임 값인 h(0), h(1), h(2)를 구하는 과정을 화소단위로 나타낸 그림으로, h(0), h(1), h(2)는 t번째 영상프레임에서 카메라의 x방향 움직임 값을 구한 값이다. 영상프레임에서 임의의 x 성분 i에서 카메라 움직임 값으로 계산된 값을 h(0)라고 하면, i+1에서는 h(1), i+2에서는 h(2)를 얻을 수 있다.
도 6에서 t프레임에서의 a,b,c,d,e,f 와 t-1 프레임에서의 h,i,j,k,l,m은 각각 에지 성분을 나타내는 화소들로서, h(0)를 구하려면 t번째 영상 프레임에서의 임의의 열 i에 속한 화소들과 t-1번째 영상 프레임에서 임의의 열 j에 속하는 화소들 사이의 에지 성분들을 비교하여야 하는데, 본 도면에서는 t 번째 영상프레임의 a 및 d와 t-1 번째 영상 프레임의 h 및 k를 비교하여야 한다. 마찬가지로, h(1)은 b 및 e와 i 및 l을 비교하여야 하고, h(2)는 c 및 f 와 j 및 m 을 서로 비교하여야 한다.
이런 과정들을 영상 전체에 대하여 수행한 다음 t번째 영상 프레임의 임의의 열들에 속해 있는 화소들끼리의 에지 비교값을 서로 더하여 h(0), h(1), h(2)...등을 구하게 되는 것이다.
따라서, 도 7에 도시된 바와 같이, t-1 번째 영상 프레임과 t번째 영상 프레 임 사이의 에지 값을 서로 비교하여 t번째 프레임에서의 카메라 움직임 값을 h(0), h(1), h(2)..와 같이 구하게 되며, l=0에서 dh(depth)까지 설정되어 영상의 전영역에 대해 카메라의 움직임 보상을 위한 파라미터를 찾은 것이 아니라, 일부 영역에 대해서만 t와 t-1번째 프레임의 에지 값을 조사한다.
즉, 카메라의 좌우 움직임 보상을 위한 파라미터 값을 추출하기 위해, 프레임 영상의 일부 영역에 대해서만 카메라 움직임 파라미터 추출 알고리즘을 적용함으로써, 영상 전체 화소를 비교하여 카메라 움직임 파라미터를 구하는 것에 비해 처리 시간이 단축된다. 그리고 카메라의 x방향으로의 움직임은 상위 수학식의 pan 값을 이용하여 구할 수 있다.
한편
Figure 112005047464914-PAT00007
는 카메라의 y 방향 움직임 값을 구하기 위해 정의된 파라미터로서, 카메라의 x방향 움직임 값을 구한 것과 유사한 방법으로 구할 수 있다.
즉, x=0부터 w까지 영상의 전 폭에 대해서, k=-t부터 t까지 카메라가 상하로 움직일 가능성이 있는 범위내에서, l=0부터 dv까지, 즉, 영상의 일부 영역에 대해서만 t번째와 t-1번째 프레임의 에지 값을 조사한다.
움직임 영역 추출부(210)는 상위 수식으로부터 구한 카메라 움직임 파라미터 pan과 tilt를 이용하여 t번째 영상을 변환시킨다. 이 때, t번째 프레임에 대한 x', y'값은 t-1번째 영상 프레임에 대한 x와 y를 이용하여 x'=x+pan과 y'=y+tilt와와 같이 구할 수 있다. 그리고, 영상 변환시킨 t번째 프레임 영상과 t-1번째 프레임 영상의 차 영상을 생성하여 카메라 움직임 정보가 일차 제거된 영상 움직임, 즉 움 직임 후보 영역을 추출하도록 한다.
즉, 카메라가 x와 y방향으로만 움직이는 경우, 상술한 방식으로부터 도출된 카메라 좌우 움직임 파라미터 pan과 상하 움직임 파라미터 tilt에 의해 카메라의 움직임 정보가 완전 제거될 수 있다. 그러나, 로봇에 부착된 카메라의 경우 전진방향(forward)의 움직임등도 같이 포함되므로 카메라의 움직임 정보가 완전히 제거된다고 볼 수 없다. 따라서, 후술할 영상 특징 정보 추출부(220)로부터 도출되는 영상특징정보와 상기 움직임 후보 영역을 함께 고려하여 최종적으로 사람의 형상을 추출한다.
이하, 영상 특징 정보 추출부(220)를 상술한다.
영상 특징 정보 추출부(220)는 앞서 구한 모션 화소들이 카메라 움직임 정보를 포함하고 있지 않다고 판단된 경우, 혹은 카메라 움직임 정보가 일차 제거된 영상 움직임 영역(이하 움직임 후보 영역이라고도 한다.)이 검출된 경우, 카메라의 움직임과는 무관하게 검출대상 물체, 예를 들어 사람의 형상 특징 정보를 찾는다.
영상 특징 정보 추출부(220)는 도 8에 도시된 바와 같은 컬러 클러스터링을 통한 형태 정보와 도 9에 도시된 바와 같은 사람의 피부색 정보를 이용하여 사람의 얼굴 영역과 손 영역을 추출한다. 이 때 추출된 얼굴 영역과 손 영역은 얼굴 인식 및 제스처 인식을 위한 특징 정보로도 사용할 수 있다.
사람의 형상을 추출하기 위해 사용된 영상특징정보는 아래의 수학식과 같다.
Figure 112005047464914-PAT00008
여기서,
Figure 112005047464914-PAT00009
는 t번째 에지 영상 프레임으로서, 화소 (x, y)에서의 에지값은 상기 수학식 4에 나타난 대로, 수직방향 및 수평방향 에지 추출식을 이용하여 구할 수 있다.
그리고, 사람의 피부색 영역은 아래의 수학식 5를 통해 도출된다.
Figure 112005047464914-PAT00010
여기서
Figure 112005047464914-PAT00011
,
Figure 112005047464914-PAT00012
,
Figure 112005047464914-PAT00013
는 각각 t번째 프레임 영상의 r, g, b값을 나타내며 H와 S는
Figure 112005047464914-PAT00014
,
Figure 112005047464914-PAT00015
,
Figure 112005047464914-PAT00016
로부터 구한 H(ue)와 S(aturation)값이다. 위의 수식에서
Figure 112005047464914-PAT00017
는 실험에 의해 구해진 상수이다.
다음, 형상 추출부(230)는 움직임 영역 추출부(210)에 의해 검출된 움직임 후보 영역과, 영상 특징 정보 추출부(220)에 의해 검출된 사람의 형상 특징 정보를 결합하여 움직이는 사람의 형상, 즉 실루엣을 찾아낸다.
즉, 움직임 영역 추출부(210)에 의해 검출된 움직임 후보 영역들이 (x left , y top ) (x right , y bottom ) 과 같은 박스 형태로 나타나게 되는데, 형상 추출부(230)는 움직임 후보 영역 가운데 피부색이 나타나는 영역을 사람의 형상 영역으로 간주하고, 컬러 클러스터링 방법으로 구한 형태 특징 정보와 에지 정보를 이용하여 사람의 실루엣 형태의 형상을 추출한다.
예를 들어, 형상 추출부는 움직임 후보 영역 가운데 일단 사람의 피부색이 나타나는 영역을 구하고, 해당 영역 근처에서 사람의 머리, 팔, 몸통으로 보이는 영역들을 형태와 에지 정보를 이용하여 찾는다.
따라서, 도 10에 도시된 바와 같이, 카메라와 사람이 같이 움직인 경우에도 카메라의 움직임이 제거된 영상을 얻을 수 있다.
트래커(300)는 블롭 정보 추출부(310) 및 형상 추적부(320)를 포함하여, 추출된 사람 형상에 대해 블롭 정보(blob information)를 추출하고, 추적 대상이 되는 블롭간의 정합을 통해 대상물체를 추적한다.
보다 구체적으로 블롭 정보 추출부(310)는 추출된 사람 형상의 블롭 영역에 대하여, 블롭의 위치, 크기, 형태 및 컬러 분포 등와 같은 블롭 정보를 구하여 물체 특징을 구한다.
형상 추적부(320)는 t번째 프레임에서 추적 대상이 되는 사람의 형상에 대한 블롭 정보와, t-1 번째 프레임에서 추출된 움직이는 사람의 형상에 대한 블롭 정보를 정합한다. 그리고 정합된 영상의 블롭을 해석하여, 노이즈에 해당하는 블롭들을 제거하며, 일반적으로 블롭의 크기를 기준으로 노이즈 여부를 판단한다. 다음, 각 프레임에서 추출된 블롭들에 대해 컬러분포를 추출하여 추적 대상 물체인지 검증한다.
즉, 형상 추적부(320)는 연속 프레임의 이동 물체로부터 추적 대상이 되는 사람의 형상에 대한 블롭을 추출하고, 블롭 해석을 통해 형상 추적을 시행한다. 따라서, 고속의 실시간 추적이 가능하고 추적 대상 물체의 일부 또는 전부가 사라졌다가 다시 나타나는 경우에도 추적 대상 물체를 놓치지 않고 쉽게 추적할 수 있도록 한다.
이하, 도 11을 참조하여, 본 발명의 실시 예에 따른 대상 물체 검출 방법을 정리하여 설명한다.
우선, 모바일 로봇에 부착된 동적 카메라와 같은 영상입력부(100)를 통해 대상 물체에 대한 영상이 획득되면(S1), 형상 디텍터(200)는 상기 영상 입력부(100)로부터 전달된 연속된 영상의 시퀀스로부터 이웃하는 프레임간의 영상 차를 이용하여 모션화소가 존재하는지 판단하고, 모션화소가 존재하는 경우 움직임 정보를 추출한다.
형상 디텍터(200)는 움직임 정보를 분석하여 카메라 시점, 카메라 위치, 카메라 흔들림 등의 카메라 움직임 정보가 발생한 경우, 프레임 간의 에지 정보를 추출하고(S2), mxn 영상 영역 내에서 t번째 영상 프레임과 t-1번째 영상 프레임의 에지를 비교하여 카메라 움직임 정보를 보정할 카메라의 상하 좌우 움직임 파라미터 값을 구한다(S3).
그리고, 형상 디텍터(200)는 카메라 움직임 파라미터 값을 이용하여 t번째 영상 프레임을 변화시킨 다음, t-1번째 영상 프레임과의 차를 구하여 카메라 움직임 정보가 일차 제거된 영상 움직임, 즉 움직임 후보 영역을 추출한다(S4).
다음, 형상 디텍터(200)는 사람의 영상 특징 정보를 추출하기 위해, 우선 사람의 피부색 영역을 추출한다(S5). 그리고, 움직임 후보 영역 가운데 피부색이 나타나는 영역을 사람의 형상 영역으로 간주하고, 컬러 클러스터링 방법으로 구한 형태 특징정보와 에지 정보를 이용하여 영역을 해석한다(S6).
즉, 해당 움직임 후보 영역 가운데, 사람의 피부색이 나타나는 영역 근처에서, 컬러 클러스터링 방법으로 구한 형태 특징 정보와 에지 정보를 이용하여 영역들을 해석하고(S6), 사람의 머리, 팔, 몸통등으로 보이는 영역들을 찾아 실루엣을 추출한다(S7).
다음, 트래커(300)는 블롭 정보를 추출하여 t번째 프레임에서 추출된 사람 형상 블롭들을 t-1번째 프레임에서 추출된 사람 형상 블롭들과 블롭 정합을 한다(S8). 그리고, 정합된 영상의 블롭을 해석하여 노이즈에 해당하는 블롭들을 제거하는데, 일반적으로 블롭크기를 기초로 노이즈 여부를 판단한다(S9). 마지막으로, 트 래커(300)는 각 프레임에서 추출된 블롭들에 대해 컬러 분포를 추출하여 추적 대상 물체가 맞는지 여부를 검증하는 방법을 통해 대상 물체를 추적한다(S10).
이상 설명한 바는 본 발명의 실시 예에 불과한 것으로, 본 발명의 권리범위가 이에 한정되는 것이 아니며, 당업자들에게 자명한 사항에 대하여 다양한 변형 실시가 가능하다. 특히 본 발명의 형상 추출 및 추적 대상이 반드시 사람에 대한 것으로 한정되거나, 본 발명에 따른 검출 시스템이 반드시 모바일 로봇에 한정되는 것이 아님은 앞서 상술한 바와 같다. 본 발명의 권리범위는 후술할 특허청구범위에 기재된 구성요소 및 그 균등물로 인정되는 모든 기술적 구성들을 포함한다.
이상 설명한 바와 같이, 본 발명에 따르면, 연속되는 영상 프레임을 대상으로 현재 프레임에서 추적 대상 이동 물체인 사람을 추출하고 추출된 물체의 블럽 정보를 구한 후, 다음 프레임에서 역시 이동 물체인 사람을 추출하고 물체의 블롭정보들을 계산하여 추적 대상 블롭, 즉 물체를 찾아내는 방법으로 물체를 추적할 수 있다.
종래에는 먼저 이동 물체를 배경으로부터 분리하고 추출된 물체에 대해 이동 예측 방향 성분을 추정해서 목표 물체가 어느 정도 이동했는지 다양한 방법으로 계산해서 추적했다. 특히 이동 방향 예측 필터를 사용하여 이동 가능 방향을 예측하고 물체의 각 화소별 또는 국소 영역별 이동 가능한 방향에 대해 실제 이동한 위치를 계산하는 과정을 수행하므로, 기존 방식에 따르면 이동 물체의 추출 및 추적에 많은 계산이 필요하여 실시간 추적에 제약이 있었다. 또, 추적 대상 물체의 일부 또는 전부가 다른 물체에 의해 숨겨졌다가 나타나는 경우, 사실상 추적이 어려웠다.
그러나, 본 발명에서는 추적 대상 물체를 연속된 프레임의 이동 물체, 즉 블롭을 추출한 후 블롭 해석에 의한 물체 추적을 시행함으로써, 고속의 실시간 추적이 가능하다. 또, 추적 대상 물체의 일부 또는 전부가 사라졌다가 다시 나타나는 경우에도 추적 대상 물체를 놓치지 않고 쉽게 추적할 수 있다.
따라서, 배경이나 카메라의 움직임에 관계없이 움직이는 사람을 실시간 추출하여 추적할 수 있으므로, 이동 물체 추출 및 추적 기술을 실세계에 적용하기 용이하다.

Claims (45)

  1. 입력 영상으로부터 대상 물체를 검출하는 방법에 있어서,
    a) 입력 영상에 움직임 영역이 존재하는 경우, 카메라 움직임 파라미터를 구하여, 영상 프레임을 보정하는 단계;
    b) 영상 프레임과 이전 입력 영상 프레임으로부터 움직임 후보 영역을 추출하는 단계;
    c) 입력 영상으로부터 영상 특징 정보를 추출하는 단계;
    d) 상기 움직임 후보 영역 및 상기 영상 특징 정보를 기초로 대상 물체의 형상을 추출하는 단계를 포함하는
    대상 물체 검출 방법.
  2. 제1항에 있어서,
    상기 a) 단계는,
    움직임 영역의 폭이 소정 임계치(T 2 ) 이상인 경우 카메라 움직임 파라미터를 구하여 영상프레임을 보정하는 단계인
    대상 물체 검출 방법.
  3. 제1항 또는 제2항에 있어서,
    상기 a) 단계 이전,
    연속 영상 프레임간 화소 (x,y)의 명도값의 차가 소정 임계치(T 1 ) 이상인 화소- 모션 화소-가 존재하는지 판단하는 단계를 더 포함하여,
    상기 a) 단계는,
    상기 모션 화소가 존재하는 경우 실행되는
    대상 물체 검출 방법.
  4. 제3항에 있어서,
    상기 모션 화소는,
    Figure 112005047464914-PAT00018
    ( f t-1 , f t , f t+1 : t-1, t, t+1에 대한 각 프레임,
    T 1 : 프레임 간 명도차에 대한 임계치
    f(x,y) : 프레임에서의 화소(x,y)의 명도값
    Figure 112005047464914-PAT00019
    (x,y) : t+1 프레임에서의 모션화소 (x,y))
    로부터 도출되는
    대상 물체 검출 방법.
  5. 제4항에 있어서,
    상기 임계치(T 1 )는 10≤T 1 ≤20 범위의 값을 갖는
    대상 물체 검출 방법
  6. 제3항에 있어서,
    상기 모션 화소는 입력 영상의 전체 화소로부터 도출하는
    대상 물체 검출 방법.
  7. 제3항에 있어서,
    상기 a) 단계에서 움직임 영역의 폭이 소정 임계치(T 2 ) 이상인지 여부에 대한 체크는
    상기 모션 화소들에 대한 연결 요소들 중 최대 x값과 최소 x값의 차이가 전체 영상폭에 대비하여 소정 임계치(T 2 ) 이상인지 체크하는 단계인
    대상 물체 검출 방법.
  8. 제7항에 있어서,
    상기 a)단계에서, 움직임 영역의 폭이 소정 임계치(T 2 ) 이상인지 여부에 대 한 체크는
    Figure 112005047464914-PAT00020
    (
    Figure 112005047464914-PAT00021
    : t번째 프레임 모션 화소들에 대한 연결 요소(connected component)
    T 2 : 입력 영상 움직임 영역 폭에 대한 임계치
    Figure 112005047464914-PAT00022
    : t번째 프레임의 모션 화소들에 대한 연결 요소들 중 최대 x값
    Figure 112005047464914-PAT00023
    : t번째 프레임 모션 화소들에 대한 연결 요소들 중 최소 x값)
    로부터 실행되는
    대상 물체 검출 방법.
  9. 제8항에 있어서,
    상기 임계치(T 2 )는 0.8*w의 값이며, w는 영상의 가로폭인
    대상 물체 검출 방법.
  10. 제1항에 있어서,
    상기 카메라 움직임 파라미터는 카메라의 좌우 움직임 보상을 위해 정의된 파라미터로서, x방향 움직임 파라미터 및 y방향 움직임 파라미터를 포함하는
    대상 물체 검출 방법.
  11. 제10항에 있어서,
    상기 x방향 움직임 파라미터는 영상의 일부 영역에 대하여, t번째 영상 프레임에서 임의의 열 i에 속한 화소들과 t-1번째 영상프레임에서 임의의 열 j에 속하는 화소들 사이의 에지 비교값으로부터 도출되는
    대상 물체 검출 방법.
  12. 제11항에 있어서,
    상기 x방향 움직임 파라미터(pan)는,
    Figure 112005047464914-PAT00024
    (y: o~h까지의 영상의 높이,k : 카메라가 좌우로 움직일 가능성이 있는 범위
    j: x값의 범위 l : 에지값을 조사하는 y영역 범위
    Figure 112005047464914-PAT00025
    : t번째 에지 영상 프레임
    E(x,y) : 화소 (x, y)에서의 에지값)
    로부터 도출되는
    대상 물체 검출 방법.
  13. 제10항에 있어서,
    상기 y방향 움직임 파라미터는 영상의 일부 영역에 대하여, t번째 영상 프레임에서 임의의 행 i에 속한 화소들과 t-1번째 영상프레임에서 임의의 행 j에 속하는 화소들 사이의 에지 비교값으로부터 도출되는
    대상 물체 검출 방법.
  14. 제13항에 있어서,
    상기 y방향 움직임 파라미터(tilt)는
    Figure 112005047464914-PAT00026
    (x: o~w까지의 영상의 폭, k : 카메라가 상하로 움직일 가능성이 있는 범위
    j: y값의 범위 l : 에지 값을 조사하는 x영역 범위
    Figure 112005047464914-PAT00027
    : t번째 에지 영상 프레임
    E(x,y) : 화소 (x, y)에서의 에지값)
    로부터 도출되는
    대상 물체 검출 방법.
  15. 제1항에 있어서,
    상기 a) 단계에 있어서,
    카메라 움직임 파라미터를 구하여, 영상 프레임을 보정하는 것은,
    t번째 프레임의 x', y'값을 x방향 움직임 파라미터(pan), y방향 움직임 파라미터(tilt) 및 t-1번째 프레임의 x, y를 이용하여 x'=x+pan, y'=y+tilt로 보정하는 것인
    대상 물체 검출 방법.
  16. 제1항 또는 제15항에 있어서,
    상기 b) 단계는,
    t번째 프레임 영상과 t-1 번째 프레임 영상의 차영상을 생성하여 움직임 후보 영역을 추출하는 단계인
    대상 물체 검출 방법.
  17. 제1항에 있어서,
    상기 영상특징정보는,
    피부색, 형태, 에지 및 코너 정보 중 하나 이상을 포함하는
    대상 물체 검출 방법.
  18. 제1항에 있어서,
    상기 c)단계는,
    입력 영상으로부터 피부색 영역을 추출하는 단계를 포함하며,
    피부색 영역은,
    Figure 112005047464914-PAT00028
    (
    Figure 112005047464914-PAT00029
    ,
    Figure 112005047464914-PAT00030
    ,
    Figure 112005047464914-PAT00031
    : 각 t번째 프레임 영상의 r,g,b값
    H, S :
    Figure 112005047464914-PAT00032
    ,
    Figure 112005047464914-PAT00033
    ,
    Figure 112005047464914-PAT00034
    로부터 구한 H(ue), S(aturation)값
    Figure 112005047464914-PAT00035
    :실험에 의해 구해진 상수
    w : 영상폭 )
    로부터 도출되는
    대상 물체 검출 방법.
  19. 제1항에 있어서,
    상기 c)단계는,
    입력 영상으로부터 컬러 클러스터링을 통해 형태특징정보를 추출하는 단계를 포함하는
    대상 물체 검출 방법.
  20. 제1항에 있어서,
    상기 c)단계는,
    입력 영상으로부터 에지 정보를 추출하는 단계를 포함하며,
    에지 정보로서 화소 (x,y)에서의 에지값(
    Figure 112005047464914-PAT00036
    )은,
    Figure 112005047464914-PAT00037
    (
    Figure 112005047464914-PAT00038
    : t번째 에지 영상 프레임
    Figure 112005047464914-PAT00039
    (x,y) : 화소 (x,y)에서의 에지값
    Figure 112005047464914-PAT00040
    (x,y) : 화소 (x,y)에서의 명도값)
    로부터 도출되는
    대상 물체 검출 방법
  21. 제1항, 제18항 내지 제20항 중 어느 한 항에 있어서,
    상기 d)단계는,
    상기 움직임 후보 영역에서 피부색 영역을 추출한 후, 형태특징 및 에지특징을 이용하여 대상 물체 영역을 추출하는 단계인
    대상 물체 검출 방법.
  22. 제1항에 있어서,
    상기 d)단계 이후,
    e)추출된 형상에 대한 블롭 정보를 추출하는 단계; 및
    f)이전 프레임에서 추출된 형상의 블롭 정보와 비교하여 추적 대상 물체인지 검증하는 단계를 더 포함하는
    대상 물체 검출 방법.
  23. 제22항에 있어서,
    상기 블롭 정보는 블롭의 위치, 블롭의 크기, 블롭의 형태 및 컬러 분포 중 하나 이상을 포함하는
    대상 물체 검출 방법.
  24. 제22항 또는 제23항에 있어서,
    상기 f)단계는,
    f-1)추출된 대상 물체의 형상에 대한 블롭 정보와 이전 프레임에서 추출된 형상의 블롭 정보를 정합하여, 노이즈에 해당하는 블롭들을 제거하는 단계;
    f-2)추출된 블롭들의 컬러분포를 추출하여 추적 대상 물체인지 검증하는 단계를 포함하는
    대상 물체 검출 방법.
  25. 제24항에 있어서,
    상기 f-1)단계는
    블롭의 크기를 기초로 노이즈 해당 여부를 판단하는 단계인
    대상 물체 검출 방법.
  26. 입력 영상으로부터 대상 물체를 검출하는 시스템에 있어서,
    검출 대상이 되는 물체의 영상을 획득하여 전달하는 영상 입력부;
    상기 영상 입력부로부터 전달된 영상의 시퀀스로부터 이웃하는 프레임간의 영상차를 통해 추출된 움직임 후보 영역 및 입력 영상의 영상특징정보를 기초로 대상 물체의 형상을 추출하는 형상 디텍터를 포함하는
    대상 물체 검출 시스템.
  27. 제26항에 있어서,
    상기 형상 디텍터는,
    영상 프레임과 이전 입력 영상 프레임으로부터 움직임 후보 영역을 추출하 는 움직임 영역 추출부;
    입력 영상으로부터 영상 특징 정보를 추출하는 영상 특징 정보 추출부; 및
    상기 움직임 후보 영역 및 상기 영상 특징 정보를 기초로 대상 물체의 형상을 추출하는 형상 추출부를 포함하는
    대상 물체 검출 시스템.
  28. 제27항에 있어서,
    상기 움직임 영역 추출부는
    입력 영상의 움직임 영역의 폭이 소정 임계치(T 2 ) 이상인 경우, 카메라 움직임 파라미터를 구하여, 상기 카메라 움직임 파라미터를 통해 입력 영상 프레임을 보정하여 움직임 후보 영역을 추출하는
    대상 물체 검출 시스템.
  29. 제27항 또는 제28항에 있어서,
    상기 움직임 영역 추출부는,
    연속 영상 프레임간의 명도차가 소정 임계치(T 1 )이상인 모션 화소가 존재하는 경우, 입력 영상의 움직임 영역의 폭이 소정 임계치(T 2 )이상인지 여부를 체크하는
    대상 물체 검출 시스템.
  30. 제29항에 있어서,
    상기 모션 화소는
    Figure 112005047464914-PAT00041
    ( f t-1 , f t , f t+1 : t-1, t, t+1에 대한 각 프레임,
    T 1 : 프레임 간 명도차에 대한 임계치
    f(x,y) : 프레임에서의 화소(x,y)의 명도값
    Figure 112005047464914-PAT00042
    (x,y) : t+1 프레임에서의 모션화소 (x,y))
    로부터 도출되는
    대상 물체 검출 시스템.
  31. 제30항에 있어서,
    상기 임계치(T 1 )는 10≤T 1 ≤20 범위의 값을 갖는
    대상 물체 검출 시스템.
  32. 제29항에 있어서,
    상기 모션 화소는 입력 영상의 전체 화소로부터 도출되는
    대상 물체 검출 시스템.
  33. 제29항에 있어서,
    상기 움직임 영역 추출부는,
    연속 영상 프레임간의 명도차가 소정 임계치(T 1 )이상인 모션 화소가 존재하는 경우 상기 모션 화소들에 대한 연결 요소들 중 최대 x값과 최소 x값의 차이가 전체 영상폭에 대비하여 소정 임계치(T 2 ) 이상인지 체크하는
    대상 물체 검출 시스템.
  34. 제33항에 있어서,
    상기 움직임 영역 추출부는,
    Figure 112005047464914-PAT00043
    (
    Figure 112005047464914-PAT00044
    : t번째 프레임 모션 화소들에 대한 연결 요소(connected component)
    T 2 : 입력 영상 움직임 영역 폭에 대한 임계치
    Figure 112005047464914-PAT00045
    : t번째 프레임의 모션 화소들에 대한 연결 요소들 중 최대 x값
    Figure 112005047464914-PAT00046
    : t번째 프레임 모션 화소들에 대한 연결 요소들 중 최소 x값)
    로부터, 상기 모션 화소들에 대한 연결 요소들 중 최대 x값과 최소 x값의 차이가 전체 영상폭에 대비하여 소정 임계치(T 2 ) 이상인지 체크하는
    대상 물체 검출 시스템.
  35. 제34항에 있어서,
    상기 임계치(T 2 )는 0.8*W의 값이며, W는 영상의 가로폭인
    대상 물체 검출 시스템.
  36. 제28항에 있어서,
    상기 카메라 움직임 파라미터는 카메라의 좌우 움직임 보상의 위해 정의된 파라미터로, x방향 움직임 파라미터 및 y방향 움직임 파라미터를 포함하여,
    x방향 움직임 파라미터는 영상의 일부 영역에 대하여 t번째 영상 프레임에서 임의의 열 i에 속한 화소들과 t-1번째 영상 프레임에서 임의의 열 j에 속하는 화소들 사이의 에지 비교값으로부터 도출되고,
    y방향 움직임 파라미터는 영상의 일부 영역에 대하여 t번째 영상 프레임에서 임의의 행 i에 속한 화소들과 t-1번째 영상프레임에서 임의의 행 j에 속하는 화 소들 사이의 에지 비교값으로부터 도출되는
    대상 물체 검출 시스템.
  37. 제36항에 있어서,
    상기 x방향 움직임 파라미터(pan)는
    Figure 112005047464914-PAT00047
    (y: o~h까지의 영상의 높이,k : 카메라가 좌우로 움직일 가능성이 있는 범위
    j: x값의 범위 l : 에지값을 조사하는 y영역 범위
    Figure 112005047464914-PAT00048
    : t번째 에지 영상 프레임,
    Figure 112005047464914-PAT00049
    (x,y) : 화소 (x,y)에서의 에지값)
    로부터 도출되는
    대상 물체 검출 시스템.
  38. 제36항 또는 제37항에 있어서,
    상기 y방향 움직임 파라미터(tilt)는
    Figure 112005047464914-PAT00050
    (x: o~w까지의 영상의 폭, k : 카메라가 상하로 움직일 가능성이 있는 범위
    j: y값의 범위 l : 에지성분을 조사하는 x영역 범위
    Figure 112005047464914-PAT00051
    : t번째 에지 영상 프레임 E(x,y) : 화소 (x, y)에서의 에지값)
    로부터 도출되는
    대상 물체 검출 시스템.
  39. 제38항에 있어서,
    상기 움직임 영역 추출부는,
    t번째 프레임의 x', y' 값은 x방향 움직임 파라미터(pan) , y방향 움직임 파라미터(tilt) 및 t-1번째 프레임의 x, y를 이용하여 x'=x+pan, y'=y+tilt로 구하여 t번째 프레임 영상을 보정하고,
    보정한 t번째 프레임 영상과 t-1번째 프레임 영상의 차영상을 생성하여 움직임 후보 영역을 추출하는
    대상 물체 검출 시스템.
  40. 제26항 또는 제27항에 있어서,
    상기 영상 특징 정보는 피부색, 형태, 에지 및 코너 정보 중 하나 이상을 포함하는
    대상 물체 검출 시스템.
  41. 제27항에 있어서,
    상기 영상 특징 정보 추출부는,
    입력 영상으로부터 피부색 영역, 형태 특징 정보, 에지 정보 중 하나 이상을 추출하고,
    피부색 영역은,
    Figure 112005047464914-PAT00052
    (
    Figure 112005047464914-PAT00053
    ,
    Figure 112005047464914-PAT00054
    ,
    Figure 112005047464914-PAT00055
    : 각 t번째 프레임 영상의 r,g,b값
    H, S :
    Figure 112005047464914-PAT00056
    ,
    Figure 112005047464914-PAT00057
    ,
    Figure 112005047464914-PAT00058
    로부터 구한 H(ue), S(aturation)값
    Figure 112005047464914-PAT00059
    :실험에 의해 구해진 값
    w : 영상 폭)
    로부터 추출되고
    에지 정보로서, 화소 (x,y)에서의 에지값(
    Figure 112005047464914-PAT00060
    )은,
    Figure 112005047464914-PAT00061
    (
    Figure 112005047464914-PAT00062
    : t번째 에지 영상 프레임
    Figure 112005047464914-PAT00063
    (x,y) : 화소 (x,y)에서의 에지값
    Figure 112005047464914-PAT00064
    (x,y) : 화소 (x,y)에서의 명도값)
    로부터 추출되고,
    형태 특징 정보는 컬러 클러스터링을 통해 추출되는
    대상 물체 검출 시스템.
  42. 제27항 또는 제41항에 있어서,
    상기 형상 추출부는,
    상기 움직임 후보 영역에서 피부색 영역을 추출한 후, 형태 특징 및 에지 특징을 이용하여 대상 물체 형상을 추출하는
    대상 물체 검출 시스템.
  43. 제26항 또는 제27항에 있어서,
    추출된 대상 물체의 형상에 대해 블롭 정보를 추출하여, 이전 프레임에서 추출된 형상의 블롭 정보와 비교하여 추적 대상 물체인지 검증하는 트래커를 더 포함하는
    대상 물체 검출 시스템.
  44. 제43항에 있어서,
    상기 트래커는
    추출된 대상 물체의 형상에 대해 블롭 정보를 추출하는 블롭 정보 추출부; 및
    이전 프레임에서 추출된 형상의 블롭 정보와 정합하여 블롭의 크기를 기초로 노이즈에 해당하는 블롭들을 제거하고 추출된 블롭들에 대한 컬러분포를 통해 추적대상 물체인지 검증하는 형상 추적부를 포함하는
    대상 물체 검출 시스템.
  45. 제43항에 있어서,
    상기 블롭 정보는 블롭의 위치, 블롭의 크기, 블롭의 형태 및 컬러 분포 중 하나 이상을 포함하는
    대상 물체 검출 시스템.
KR1020050078822A 2004-12-08 2005-08-26 대상 물체 검출 시스템 및 그 방법 KR100651034B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US11/287,936 US7688999B2 (en) 2004-12-08 2005-11-28 Target detecting system and method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20040103033 2004-12-08
KR1020040103033 2004-12-08

Publications (2)

Publication Number Publication Date
KR20060064504A true KR20060064504A (ko) 2006-06-13
KR100651034B1 KR100651034B1 (ko) 2006-11-29

Family

ID=37160055

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020050078822A KR100651034B1 (ko) 2004-12-08 2005-08-26 대상 물체 검출 시스템 및 그 방법

Country Status (1)

Country Link
KR (1) KR100651034B1 (ko)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100814715B1 (ko) * 2006-06-26 2008-03-18 한국산업기술대학교산학협력단 동영상 부호화기, 복호화기 및 그 방법
KR100855348B1 (ko) * 2007-05-04 2008-09-04 에스케이 텔레콤주식회사 동영상 프레임 내의 객체 윤곽선 추적 장치와 시스템 및그에 따른 방법
KR100871833B1 (ko) * 2008-04-28 2008-12-03 재 훈 장 자동 추적 카메라 장치
KR100976584B1 (ko) * 2008-04-21 2010-08-17 중앙대학교 산학협력단 평균 이동 클러스터 및 초기 색상 갱신을 이용한 색상 기반객체 추적 장치 및 방법
KR101158729B1 (ko) * 2010-03-31 2012-06-22 한국과학기술원 실시간 다수 객체 추적시스템 및 방법
KR101451133B1 (ko) * 2010-02-10 2014-10-15 삼성테크윈 주식회사 모션 트래킹을 위한 영상 처리 방법 및 장치
KR20200145730A (ko) * 2019-06-19 2020-12-30 (주) 애니펜 차량 내부 영상을 기반으로 콘텐츠를 저작하는 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체
KR20240008690A (ko) * 2022-07-12 2024-01-19 주식회사 래비노 움직이는 카메라들의 영상 보정을 이용한 3d 이미지 생성 시스템 및 방법

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102399673B1 (ko) 2017-06-01 2022-05-19 삼성전자주식회사 어휘 트리에 기반하여 객체를 인식하는 방법 및 장치
US11468574B2 (en) 2017-10-02 2022-10-11 Sony Corporation Image processing apparatus and image processing method
KR20210070011A (ko) 2019-12-04 2021-06-14 현대자동차주식회사 차량 내 모션 제어 장치 및 방법

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100268183B1 (ko) * 1998-05-27 2000-10-16 정선종 능동 카메라 환경에서 이동물체의 개별 움직임 추적 방법
US6711590B1 (en) 1998-07-10 2004-03-23 Canon Kabushiki Kaisha Linking metadata with a time-sequential digital signal
KR100331050B1 (ko) * 2000-06-01 2002-04-19 송종수 동영상 데이터상의 객체 추적 방법
KR100436593B1 (ko) * 2001-09-18 2004-06-18 주식회사 아이캔텍 능동 카메라 환경에서의 고속 움직임 검출을 위한 배경보상 장치 및 방법
KR100566629B1 (ko) * 2003-06-16 2006-03-31 주식회사 팬택 이동물체 검출 시스템 및 방법

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100814715B1 (ko) * 2006-06-26 2008-03-18 한국산업기술대학교산학협력단 동영상 부호화기, 복호화기 및 그 방법
KR100855348B1 (ko) * 2007-05-04 2008-09-04 에스케이 텔레콤주식회사 동영상 프레임 내의 객체 윤곽선 추적 장치와 시스템 및그에 따른 방법
KR100976584B1 (ko) * 2008-04-21 2010-08-17 중앙대학교 산학협력단 평균 이동 클러스터 및 초기 색상 갱신을 이용한 색상 기반객체 추적 장치 및 방법
KR100871833B1 (ko) * 2008-04-28 2008-12-03 재 훈 장 자동 추적 카메라 장치
KR101451133B1 (ko) * 2010-02-10 2014-10-15 삼성테크윈 주식회사 모션 트래킹을 위한 영상 처리 방법 및 장치
KR101158729B1 (ko) * 2010-03-31 2012-06-22 한국과학기술원 실시간 다수 객체 추적시스템 및 방법
KR20200145730A (ko) * 2019-06-19 2020-12-30 (주) 애니펜 차량 내부 영상을 기반으로 콘텐츠를 저작하는 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체
KR20220049501A (ko) * 2019-06-19 2022-04-21 (주) 애니펜 차량 내부 영상을 기반으로 콘텐츠를 저작하는 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체
KR20240008690A (ko) * 2022-07-12 2024-01-19 주식회사 래비노 움직이는 카메라들의 영상 보정을 이용한 3d 이미지 생성 시스템 및 방법

Also Published As

Publication number Publication date
KR100651034B1 (ko) 2006-11-29

Similar Documents

Publication Publication Date Title
KR100651034B1 (ko) 대상 물체 검출 시스템 및 그 방법
US11360571B2 (en) Information processing device and method, program and recording medium for identifying a gesture of a person from captured image data
US7688999B2 (en) Target detecting system and method
US8233661B2 (en) Object tracking apparatus and object tracking method
CN107452015B (zh) 一种具有重检测机制的目标跟踪系统
US8094884B2 (en) Apparatus and method for detecting object
US20110013840A1 (en) Image processing method and image processing apparatus
JP4373840B2 (ja) 動物体追跡方法、動物体追跡プログラムおよびその記録媒体、ならびに、動物体追跡装置
WO2008020598A1 (fr) Dispositif et procédé de détection d'un nombre d'objets
JP2007156939A (ja) 人物検出装置、人物検出方法及び人物検出プログラム
KR101737430B1 (ko) 동적 배경을 가진 영상의 대상 객체 검출 방법
US10496874B2 (en) Facial detection device, facial detection system provided with same, and facial detection method
JP2010057105A (ja) オブジェクトの３次元追跡方法およびシステム
KR102434397B1 (ko) 전역적 움직임 기반의 실시간 다중 객체 추적 장치 및 방법
JP4235018B2 (ja) 移動物体検出装置、移動物体検出方法及び移動物体検出プログラム
JP2008288684A (ja) 人物検出装置及びプログラム
CN110910426A (zh) 动作过程和动作趋势识别方法、存储介质和电子装置
KR101723536B1 (ko) 도로에서의 차선 검출 방법 및 장치
JP6977337B2 (ja) 部位認識方法、装置、プログラム、及び撮像制御システム
KR101313879B1 (ko) 기울기 히스토그램을 이용한 사람 검출 추적 시스템 및 방법
JP5217917B2 (ja) 物体検知追跡装置，物体検知追跡方法および物体検知追跡プログラム
KR100996209B1 (ko) 변화값 템플릿을 이용한 객체 모델링 방법 및 그 시스템
JP2011043863A (ja) 対象領域判定・追跡装置、方法、プログラム及び対象領域判定装置
US20230410467A1 (en) Image processing device and image processing method
CN111563912B (zh) 一种行人追踪系统和方法

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20121031

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20140521

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20141114

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20151120

Year of fee payment: 10

FPAY Annual fee payment

Payment date: 20161122

Year of fee payment: 11

FPAY Annual fee payment

Payment date: 20171122

Year of fee payment: 12

FPAY Annual fee payment

Payment date: 20181123

Year of fee payment: 13