KR20090050890A - 행동 분석 시스템 및 방법 - Google Patents

행동 분석 시스템 및 방법 Download PDF

Info

Publication number
KR20090050890A
KR20090050890A KR1020070117558A KR20070117558A KR20090050890A KR 20090050890 A KR20090050890 A KR 20090050890A KR 1020070117558 A KR1020070117558 A KR 1020070117558A KR 20070117558 A KR20070117558 A KR 20070117558A KR 20090050890 A KR20090050890 A KR 20090050890A
Authority
KR
South Korea
Prior art keywords
person
behavior
analysis
feature value
based analysis
Prior art date
Application number
KR1020070117558A
Other languages
English (en)
Inventor
카이키 후앙
정문식
박규태
Original Assignee
삼성전자주식회사
중국과학원 자동화연구소
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사, 중국과학원 자동화연구소 filed Critical 삼성전자주식회사
Priority to KR1020070117558A priority Critical patent/KR20090050890A/ko
Publication of KR20090050890A publication Critical patent/KR20090050890A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/269—Analysis of motion using gradient-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • G06V40/25—Recognition of walking or running movements, e.g. gait recognition

Abstract

본 발명은 행동 분석 시스템 및 방법에 관한 것으로, 사람 또는 오브젝트를 감지 및 추적하여, 행동 분석 및 시점에 따른 신(scene)을 분류(classify)하고, 형태(shape), 궤도(trajectory), 및 옵티칼 플로우(optical flow) 피쳐에 기초한 분석이 실행한 후, 베이지안 신뢰 네트워크(Bayesian Belief Network)에 의하여 상기 분석을 종합하여, 사람 또는 오브젝트의 행동에 대한 식별 및 분류가 가능하다.
행동 분석, 분류, 오브젝트

Description

행동 분석 시스템 및 방법{BEHAVIOR ANALYSIS SYSTEM AND CONTROLLING METHOD FOR THE SAME}
본 발명은 행동 분석 시스템 및 방법에 관한 것으로, 특히 사람 또는 오브젝트의 행동에 대한 식별 및 분류가 가능한 행동 분석 시스템 및 방법에 관한 것이다.
최근 테러와 도난　사고 등이 빈번하게 발생함에 따라, 날로 보안에 대한 관심이 높아지고 있다.　 그에 따라 도심의 고층 빌딩뿐 만 아니라, 아파트 단지 등의 주요 생활 환경에 CCD 카메라(charge-coupled device camera)의 설치가 늘어나고 있다.
감시영역의 확장 및 감시인력의 인건비 증가, 그리고 심리학적 실험에 의해 입증된 감시인력의 주의력 분산현상으로 인하여 침입감지의 자동화에 대한 요구가 증대되고 있다.
이와 같은 보안 카메라 등의 침입감지 제품에는, 움직이는 물체에 대한 포착이 필요하며, 단순히 대상 영역을 촬영하고 전송 및 저장하는 것을 넘어서서 영상의 의미를 해석하고 상황에 따라 다르게 대응해야 한다.
따라서, 중요한 단서인 움직임 검출을 바탕으로 한 자동화된 제품들이 선보이기 시작하였으나, 이와 같은 제품들은 사람 등의 오브젝트에 대한 인지를 위한 시야와 거리가 고정되어 있었다.
본 발명은 상기와 같은 종래 기술을 개선하기 위해 안출된 것으로서, 하나 또는 복수의 오브젝트(사람)에 대하여, 다양한 시점(viewpoint) 및 거리에서 사람(오브젝트)의 행동에 대한 식별 및 분류가 가능한 행동 분석 시스템 및 방법을 제공하는 것을 목적으로 한다.
상기의 목적을 이루고 종래기술의 문제점을 해결하기 위하여 본 발명의 일측에 따른 행동 분석 시스템 및 방법은, 사람을 감지 및 추적하는 단계, 상기 사람이 감지 및 추적된 신(scene)을, 시점의 각도에 따라 분류하는 단계, 상기 분류 된 신(scene)에 상응하는 분석 방법을 이용하여, 상기 사람의 행동에 관련된 특징 값을 산출하는 단계, 및 상기 산출된 특징 값에 기초하여 상기 사람의 행동을 판단하는 단계를 포함한다.
본 발명의 또 다른 일측에 따르면, 상기 사람을 감지 및 추적하는 단계는 GMM(Gaussian Mixture Model)을 사용하여 상기 사람을 감지한다.
본 발명의 또 다른 일측에 따르면, 상기 신(scene)을 시점의 각도에 따라 분류하는 단계는, 포그라운드 인베리언트 방법(Foreground Invariant Method) 과 분류 시스템을 사용하여, 상기 신(scene)을 시점의 각도에 따라 분류한다.
본 발명의 또 다른 일측에 따르면, 상기 신(scene)을 시점의 각도에 따라 분류하는 단계는, 선형 SVM 분류기(Linear SVM Classifier)를 사용하여, 상기 신(scene)을 시점의 각도에 따라 분류한다.
본 발명의 또 다른 일측에 따르면, 상기 사람의 행동에 관련된 특징 값을 산출하는 단계는, 상기 사람의 형태에 기초한 분석(Shaped based analysis), 상기 사람이 이동한 궤도에 기초한 분석(Trajectory based analysis), 및 상기 옵티칼 플로우에 기초한 분석(Optical flow based analysis) 중에서 적어도 어느 하나를 사용하여, 상기 특징 값을 산출하고, 상기 산출된 특징 값을 이용한 베이지안 신뢰 네트워크(Bayesian Belief Network)에 의하여 상기 사람의 행동을 판단한다.
본 발명의 또 다른 일측에 따르면, 상기 사람의 형태에 기초한 분석(Shaped based analysis)은, 라돈 트랜스폼(Radon Transform: R-Transform), 확장 라돈 트랜스폼(Extended Radon Transform), 및 HMM(Hidden Markov Model) 중에서 적어도 어느 하나를 사용하여, 상기 사람의 형태에 기초한 분석(Shaped based analysis)을 실행하고, 상기 사람이 이동한 궤도에 기초한 분석(Trajectory based analysis)은, 적어도 한 명 이상의 사람이 이동한 궤도에 기초한 분석을 실행하며, 상기 옵티칼 플로우에 기초한 분석(Optical flow based analysis)은, 상기 사람을 촬영한 화면상의 픽셀이 특정 시간 동안에 다음 위치로 이동한 속도에 기초하여, 상기 사람의 행동에 관련된 특징 값을 산출한다.
이하 첨부된 도면들 및 첨부된 도면들에 기재된 내용들을 참조하여 본 발명의 바람직한 실시예를 상세하게 설명하지만, 본 발명이 실시예들에 의해 제한되거나 한정되는 것은 아니다. 각 도면에 제시된 동일한 참조부호는 동일한 부재를 나 타낸다.
도 1은 본 발명의 일례에 따른 행동 분석 시스템을 도시한 구성도이다. 도 1을 참조하여 본 발명의 일례에 따른 행동 분석 시스템을 설명하기로 한다.
도 1에 도시된 바와 같이, 본 발명의 일례에 따른 행동 분석 시스템은 감지부(110), 분류부(120), 행동 분석부(130), 및 행동 판단부(140)를 포함하여 구성된다.
감지부(110)는 사람을 감지 및 추적한다. 상기 감지부(110)는 MGM(Mixed Gaussian model)를 사용하여 사람(오브젝트)을 감지할 수 있으며, 피쳐 추적(feature tracking)이 가능하다.
오브젝트의 감지를 위한 MGM모델은 자체의 학습능력을 이용하여 실시간 모션 감지를 효과적으로 가능하도록 한다. 특히, MGM모델은 다른 방법과 비교하여 빛, 움직이는 화면의 일그러짐, 복수개의 이동하는 오브젝트 등에 강한 특성을 가지고 있다. 오브젝트가 감지된 후에는 추적이 필요하며, 오브젝트가 겹치게 되어 복수개의 사람을 추적하는 것이 쉽지 않으므로, 오브젝트의 추적을 위하여 학습 피쳐(learning feature)를 사용할 수 있다.
분류부(120)는 상기 신(scene)을 시점(view)의 각도에 따라 분류한다. 이때, 상기 분류를 위한 시점은, 사람(오브젝트)를 바라볼 때 약 0 ~ 30도에 해당하는 수평 시점(horizontal view), 사람(오브젝트)를 바라볼 때 약 30 ~ 60도에 해당하는 대각선 시점(bird view), 및 사람(오브젝트)를 바라볼 때 약 60 ~ 90도에 해당하는 수직 시점(vertical view) 등으로 분류될 수 있다.
상기와 같은 3개의 신(scene)으로부터 외양 피쳐(appearance feature)를 얻을 수 있다. 하지만, 이와 같은 방법은 시점(view)의 각도 또는 카메라 줌의 작은 변화가 있는 비디오에서는 사용될 수 없으므로, 이와 같은 문제를 해결하기 위하여, 포그라운드 인베리언트 방법(foreground invariant method)과 분류 시스템을 사용할 수 있다. 비디오로부터 포그라운드 이미지를 얻을 수 있으며, 이와 같은 이미지는 사람과 같은 이동하는 오브젝트를 포함하고 있다.
행동 분석부(130)는 상기 분류 된 신(scene)에 상응하는 분석 방법을 이용하여, 상기 사람의 행동에 관련된 특징 값을 산출한다.
이때, 상기 행동 분석부(130)는 상기 사람의 형태에 기초한 분석(Shaped based analysis), 상기 사람이 이동한 궤도에 기초한 분석(Trajectory based analysis), 및 상기 옵티칼 플로우에 기초한 분석(Optical flow based analysis) 중에서 적어도 어느 하나를 사용하여, 상기 특징 값을 산출한다.
보다 상세하게 설명하면, 상기 사람의 형태에 기초한 분석(Shaped based analysis)은, 라돈 트랜스폼(Radon Transform: R-Transform), 확장 라돈 트랜스폼(Extended Radon Transform), 및 HMM(Hidden Markov Model) 중에서 적어도 어느 하나를 사용하여, 상기 사람의 형태에 기초한 분석(Shaped based analysis)을 실행한다.
라돈 트랜스폼은 계산이 복잡하지 않고, 기하학적인 변화가 있더라도 영향이 적은 장점이 있으며, HMM(Hidden Markov model)은 행동 인지하기 위하여 사용된다. HMM은 각 행동 클래스에 따른, 행동의 변화를 특징짓는 데에 적합하다.
또한, 상기 사람이 이동한 궤도에 기초한 분석(Trajectory based analysis)은, 적어도 한 명 이상의 사람이 이동한 궤도에 기초한 분석을 실행하는 것이다.
걷기, 달리기 등과 같은 사람 한 명의 행동은 가장 기본적인 요소로서, 사람 한 명의 행동을 인지하기 위하여, 각 프레임(또는 신(scene))의 궤도에 기초한 특징 값(feature)을 추출하고, 베이지안 분류기(Bayesian classifier)를 사용하여 이를 인지할 수 있다.
상기 옵티칼 플로우에 기초한 분석(Optical flow based analysis)은, 상기 사람을 촬영한 화면상의 픽셀이 특정 시간 동안에 다음 위치로 이동한 속도에 기초하여, 상기 사람의 행동에 관련된 특징 값을 산출하는 것이다.
옵티칼 플로우(optical flow)는 이미지 상의 강도 패턴(intensity patterns)이 명확하게 움직이는 것(apparent motion)을 말한다. 옵티칼 플로우는 특정 시간 내에 하나의 이미지를 다음 이미지로 워프(warp)시키는, 속도 필드(velocity field) 내에서 계산된다. 일반적으로 옵티칼 플로우는 모션 필드에 상응하므로, 옵티칼 플로우를 통하여 사람의 행동을 예상할 수 있으며, 속력이 '0'인 픽셀 부분, 메인 방향, 메인 방향의 일부분, 방향 분배의 표준 변화, 및 평균 속력을 포함하는 몇 개의 특징 값(feature)들이, 옵티칼 플로우로부터 추출되어 피쳐 벡터(feature vector)를 형성할 수 있다.
행동 판단부(140)는 상기 산출된 특징 값에 기초하여 사람의 행동을 판단한다. 이때, 상기 산출된 특징 값을 이용한 베이지안 신뢰 네트워크(Bayesian Belief Network)에 의하여 상기 사람의 행동을 판단한다.
베이지안 신뢰 네트워크(Bayesian Belief Network)는, 상기 사람의 형태에 기초한 분석(Shaped based analysis: SB), 상기 사람이 이동한 궤도에 기초한 분석(Trajectory based analysis: TB), 및 상기 옵티칼 플로우에 기초한 분석(Optical flow based analysis: OB)의 결과를 얻고, 상기 결과를 조합(fusion)하여 결과를 도출하여 행동을 분석한다.
이를 위해 입력 노드 "O", "S", "T"를 선택하고, 노드 "B" 및 "Sc"의 타입을 결정한다.
Figure 112007082556300-PAT00001
(단, B는 행동 타입, Sc는 신(scene)의 타입, O는 옵티칼 플로우 피쳐, S는 형태 피쳐, T는 궤도 피쳐)
B 및 Sc는 독립적이므로, O, S, 및 T는 독립적인 랜덤 변수(random variable)이다.
Figure 112007082556300-PAT00002
Figure 112007082556300-PAT00003
Figure 112007082556300-PAT00004
가 행동의 확률을 제공하며, 상기 수학식 2의 결과에서
Figure 112007082556300-PAT00005
은 옵티칼 플로우에 관련된 값이다.
도 2는 본 발명의 신(scene)을 시점 각도에 따라 분류한 일례를 도시한 도면이다.
도 2에 도시된 바와 같이, 신(scene)은 사람(오브젝트)를 바라볼 때 약 0 ~ 30도에 해당하는 수평 시점(horizontal view: 210), 사람(오브젝트)를 바라볼 때 약 30 ~ 60도에 해당하는 대각선 시점(bird view: 220), 및 사람(오브젝트)를 바라볼 때 약 60 ~ 90도에 해당하는 수직 시점(vertical view: 230) 등으로 분류될 수 있다.
도 3은 본 발명의 신(scene)으로부터 전경(foreground) 샘플을 추출한 일례를 도시한 도면이다.
도 3에 도시된 바와 같은 세가지 시점의 비디오 시퀀스로부터, 세개의 시점(310, 320, 330)의 클래스를 얻을 수 있다. 또한, 상기 피쳐(feature)를 설명하기 위하여 SIFT-디스크립션(SIFT-Description)을 사용하고, 상기 피쳐를 분류하기 위하여 선형 SVM 분류기(Linear SVM classifier)이 사용할 수 있다. 피쳐 디스크립터(feature descriptor)는 사람의 포즈에 대한 공간 정보를 포함하고 있으며, 동 적인 정보, 특히 사람이 시간에 따라 취하는 행동의 변화를 특징 짓는다.
도 4는 본 발명의 라돈 트랜스폼(Radon Transform)을 적용한 일례를 도시한 도면이며, 도 5는 본 발명의 라돈 트랜스폼에 기초한 행동 분석의 키 프레임(Key frame)의 일례를 도시한 도면이다.
일반적으로 사용되는 피쳐 디스크립터(feature descriptor)에 비교하여, R-트랜스폼은 비디오의 프레임 손실, 형태의 손실 등에 강인하므로, 유사한 행동들로부터의 인지 특성을 보다 향상시킬 수 있다.
수학적으로, 이차원 라돈 변환(two dimensional Radon transform)은 어떤 특정 라인에서의 투사되는 것과 거의 동일한 모든 방향으로의, 라인들의 셋(set)을 통한 적분 기능으로 구성되는 변환이다. 비연속적인 바이너리 이미지(binary image)를 위하여, 각 이미지 포인트는 라돈 매트릭스에 투사된다. f(x,y)가 이미지라고 하였을 때, 라돈 변환은 다음과 같이 정의된다.
Figure 112007082556300-PAT00006
보다 발전된 형태의 R 변환은 다음과 같다.
Figure 112007082556300-PAT00007
R 변환은 형태 제공과 관련된 유용한 특징을 가지고 있다.
팩터
Figure 112007082556300-PAT00008
을 스케일링(scaling) 하기 위하여, 다음의 수학식 5을 이용하고,
Figure 112007082556300-PAT00009
벡터
Figure 112007082556300-PAT00010
의 변환을 위하여, 다음의 수학식 6를 이용하고,
Figure 112007082556300-PAT00011
θ0의 로테이션(rotation)을 위해, 다음의 수학식 7를 이용하며,
Figure 112007082556300-PAT00012
라돈 변환의 대칭 특성에 따라서,
Figure 112007082556300-PAT00013
가 되고, 다음의 수학식 8이 된다.
Figure 112007082556300-PAT00014
라돈 변환에 의하면, 평면에서의 변환은 라돈 변환을 변화시키지 않으며, 본래 이미지의 θ0의 로데이션은 θ0의 위상 변화를 발생시킨다. 이는 사람의 행동에서는 거의 발생하지 않는다. 또한, 본래 이미지의 스케일링은 라돈 변환의 형태를 변화시키지 않으며, 라돈 변환의 구간은 π이므로, 180도의 형태 벡터는 그림자의 공간 정보를 나타내기에 충분하다.
도 6은 본 발명의 사람의 행동을 분석한 일례를 도시한 도면으로서, 사람(오 브젝트)가 주차장에서 돌아다니는 것(610)을 도시하고, 두 명의 사람(오브젝트)이 서로 싸우고 있는 것(620)을 도시한 도면이다.
이때, MGM(Mixed Gaussian model)를 사용하여 사람(오브젝트)을 감지할 수 있으며, 피쳐 추적(feature tracking)을 통하여 사람(오브젝트)를 추적할 수 있다.
도 7은 본 발명의 신(scene)에 대하여 궤도에 기초한 분석(Trajectory based analysis)을 실시한 것을 도시한 도면이고, 도 8은 본 발명의 속도 크기에 따른 특징(feature) 인지를 도시한 도면이다.
도 7의 좌측 도면(630)은 대각선 시점(bird view)의 이미지, 즉 신(scene)이며, 도 7의 우측 도면(640)은 좌측 도면(630)에 대한 평면으로의 궤도 투사(trajectory projection)를 실시한 것을 나타내고 있다.
도 8에 도시된 바와 같이, 사람(오브젝트)의 속도의 크기 변화를 통하여, 사람(오브젝트)이 걷고(Walking), 잠시 멈추었다가(Stillness), 마지막으로 다시 걷는 것(Walking)을 알 수 있다.
도 9는 본 발명의 두 사람의 상호 동작의 상대적인 궤도의 일례를 도시한 도면이다.
한 사람(오브젝트)의 감지를 위해서는, 세부 행동을 기술하는데 있어서 궤도의 제한 때문에, 세가지 주요 사람의 행동(걷기, 달리기, 및 멈춤)이 고려될 수 있다.
다음의 수학식 9에서와 같이, 평균 속력
Figure 112007082556300-PAT00015
및, 속 도(velocity)는 피쳐 벡터에 의하여 계산된다.
Figure 112007082556300-PAT00016
상기와 같은 행동의 감지를 위하여 베이지안 분류기(Bayesian classifier)가 사용된다. GMM(Gaussian Mixture Model)은 예측 기능을 사용하여, 피쳐 벡터(feature vector)를 제공할 수 있다.
두 명의 사람(오브젝트)에 있어서는, 두 명의 상호 위치가 상호 행동을 인지하기 위한 키 포인트이다. 본 발명의 일실시예에 따르면, 특정 사람(오브젝트)를 상호 행동의 기준으로 설정하고, 다른 사람(오브젝트)의 모션 패턴(motion pattern)을 고려한다. 이를 위하여, 상대 좌표(relative coordinate)가 각 움직이는 사람(오브젝트)을 위하여 설정되고, 상기 기준 사람(오브젝트)의 모션 방향이 상대 좌표의 y축으로 형성된다. 그리고, 새로운 좌표에서의 다른 이동 오브젝트의 상대적인 위치는 후술하는 과정에 의하여 얻을 수 있다.
도 9에서는, 두 개의 상대 좌표 및 그에 상응하는 상호 행동을 도시하고 있으며, 보다 상세하게는 두 사람이 접근하여, 만나고, 헤어져서 다시 각자의 길을 가는 것을 도시하고 있다. 이때, 화살표는 모션의 방향을 나타낸다.
이때, HMM(hidden markov model)이 프리머티브 이벤트 디텍터(primitive event detector)로 사용된다. 궤도(trajectory)를 구획으로 나누기 위하여, 상기 HMM은 감지 결과를 산출한다.
또한, 이와 같은 상호작용을 제공하기 위하여 그래머 룰 셋(grammar rule set)을 사용할 수 있으며, 종래의 CFG(context free grammar)를 확장하기 위하여 알렌의 일시 인터벌 이론(Allens' temporal interval logic)이 사용될 수 있다.
도 10은 본 발명의 데이터베이스에 저장되는, 세가지 시점에 따른 사람의 동작 분석의 일례를 도시한 도면이다.
도 10에 도시된 바와 같이, 데이터베이스에는 사람의 동작 분석을 위하여 세가지 시점(view) 하에서의 사람의 동작을 포함하여 구성된다.
데이터베이스는 신(scene)을 시점(view)의 각도에 따라 분류하여 저장한다. 이때, 상기 데이터베이스에의 분류를 위한 시점은, 사람(오브젝트)를 바라볼 때 약 0 ~ 30도에 해당하는 수평 시점(horizontal view), 사람(오브젝트)를 바라볼 때 약 30 ~ 60도에 해당하는 대각선 시점(bird view), 및 사람(오브젝트)를 바라볼 때 약 60 ~ 90도에 해당하는 수직 시점(vertical view) 등으로 분류되어 저장 될 수 있다.
또한, 데이터 베이스는 각도의 시점에 따라서, 사람 한 명의 행동과 복수의 사람의 행동으로 구분하여 저장할 수 있다. 즉, 한 명의 사람의 행동으로서 걷기, 달리기, 점프하기, 멈추기, 구부리기 등의 행동을 저장할 수 있으며, 복수의 사람의 행동으로서 만나기, 따라가기, 싸우기, 강도 상황 등의 행동을 저장할 수 있다.
도 11은 본 발명의 일례에 따른 행동 분석 방법을 도시한 흐름도이다. 도 11을 참조하여 본 발명의 일례에 따른 행동 분석 방법을 설명하기로 한다.
사람(오브젝트)을 감지 및 추적하여(S110), 상기 사람이 감지 및 추적된 신(scene)을, 시점의 각도에 따라 분류한다(S120).
사람(오브젝트)의 감지 및 추적 시에는 GMM(Gaussian Mixture Model)을 사용할 수 있다.
또한, 신(scene)을 시점의 각도에 따라 분류 시에는, 포그라운드 인베리언트 방법(Foreground Invariant Method)을 사용할 수 있으며, 선형 SVM 분류기(Linear SVM Classifier)를 사용하여, 시점의 각도에 따라 분류할 수 있다.
이후, 상기 분류 된 신(scene)에 상응하는 분석 방법을 이용하여, 상기 사람의 행동에 관련된 특징 값(feature value)을 산출하게 된다(S130).
이때, 상기 사람의 형태에 기초한 분석(Shaped based analysis), 상기 사람이 이동한 궤도에 기초한 분석(Trajectory based analysis), 및 상기 옵티칼 플로우에 기초한 분석(Optical flow based analysis) 중에서 적어도 어느 하나를 사용하여 특징 값을 산출한다.
또한, 상기 사람의 형태에 기초한 분석(Shaped based analysis)은, 라돈 트랜스폼(Radon Transform: R-Transform), 확장 라돈 트랜스폼(Extended Radon Transform), 및 HMM(Hidden Markov Model) 중에서 적어도 어느 하나를 사용하여, 상기 사람의 형태에 기초한 분석(Shaped based analysis)을 실행하고, 상기 사람이 이동한 궤도에 기초한 분석(Trajectory based analysis)은, 적어도 한 명 이상의 사람이 이동한 궤도에 기초한 분석을 실행하며, 상기 옵티칼 플로우에 기초한 분석(Optical flow based analysis)은, 상기 사람을 촬영한 화면상의 픽셀이 특정 시간 동안에 다음 위치로 이동한 속도에 기초하여, 상기 사람의 행동에 관련된 특징 값을 산출한다.
이후, 상기 산출된 특징 값에 기초하여 상기 사람의 행동을 판단하는데, 특히 상기 산출된 특징 값을 이용한 베이지안 신뢰 네트워크(Bayesian Belief Network)에 의하여 상기 사람의 행동을 판단한다(S140).
또한 본 발명의 실시예들은 다양한 컴퓨터로 구현되는 동작을 수행하기 위한 프로그램 명령을 포함하는 컴퓨터 판독 가능 매체를 포함 한다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들 이거나 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 본 발명에서 설명된 이동 단말 또는 기지국의 동작의 전부 또는 일부가 컴퓨터 프로그램으로 구현된 경우, 상기 컴퓨터 프로그램을 저장한 컴퓨터 판독 가능 기록 매체도 본 발명에 포함된다.
이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.
그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.
도 1은 본 발명의 일례에 따른 행동 분석 시스템을 도시한 구성도이다.
도 2는 본 발명의 신(scene)을 시점 각도에 따라 분류한 일례를 도시한 도면이다.
도 3은 본 발명의 신(scene)으로부터 전경(foreground) 샘플을 추출한 일례를 도시한 도면이다.
도 4는 본 발명의 라돈 트랜스폼(Radon Transform)을 적용한 일례를 도시한 도면이다.
도 5는 본 발명의 라돈 트랜스폼에 기초한 행동 분석의 키 프레임(Key frame)의 일례를 도시한 도면이다.
도 6은 본 발명의 사람의 행동을 분석한 일례를 도시한 도면이다.
도 7은 본 발명의 신(scene)에 대하여 궤도에 기초한 분석(Trajectory based analysis)을 실시한 것을 도시한 도면이다.
도 8은 본 발명의 속도 크기에 따른 특징(feature) 인지를 도시한 도면이다.
도 9는 본 발명의 두 사람의 상호 동작의 상대적인 궤도의 일례를 도시한 도면이다.
도 10은 본 발명의 데이터베이스에 저장되는, 세가지 시점에 따른 사람의 동작 분석의 일례를 도시한 도면이다.
도 11은 본 발명의 일례에 따른 행동 분석 방법을 도시한 흐름도이다.
<도면의 주요 부분에 대한 부호의 설명>
110: 감지부
120: 분류부
130: 행동 분석부
140: 행동 판단부

Claims (10)

  1. 사람을 감지 및 추적하는 단계;
    상기 사람이 감지 및 추적된 신(scene)을, 시점의 각도에 따라 분류하는 단계;
    상기 분류 된 신(scene)에 상응하는 분석 방법을 이용하여, 상기 사람의 행동에 관련된 특징 값을 산출하는 단계; 및
    상기 산출된 특징 값에 기초하여 상기 사람의 행동을 판단하는 단계
    를 포함하는 것을 특징으로 하는 행동 분석 방법.
  2. 제1항에 있어서,
    상기 사람을 감지 및 추적하는 단계는,
    GMM(Gaussian Mixture Model)을 사용하여 상기 사람을 감지하는 것을 특징으로 하는 행동 분석 방법.
  3. 제1항에 있어서,
    상기 신(scene)을 시점의 각도에 따라 분류하는 단계는,
    포그라운드 인베리언트 방법(Foreground Invariant Method) 과 분류 시스템을 사용하여, 상기 신(scene)을 시점의 각도에 따라 분류하는 것을 특징으로 하는 행동 분석 방법.
  4. 제1항에 있어서,
    상기 신(scene)을 시점의 각도에 따라 분류하는 단계는,
    선형 SVM 분류기(Linear SVM Classifier)를 사용하여, 상기 신(scene)을 시점의 각도에 따라 분류하는 것을 특징으로 하는 행동 분석 방법.
  5. 제1항에 있어서,
    상기 사람의 행동에 관련된 특징 값을 산출하는 단계는,
    상기 사람의 형태에 기초한 분석(Shaped based analysis), 상기 사람이 이동한 궤도에 기초한 분석(Trajectory based analysis), 및 상기 옵티칼 플로우에 기초한 분석(Optical flow based analysis) 중에서 적어도 어느 하나를 사용하여, 상기 특징 값을 산출하고, 상기 산출된 특징 값을 이용한 베이지안 신뢰 네트워크(Bayesian Belief Network)에 의하여 상기 사람의 행동을 판단하는 것을 특징으로 하는 행동 분석 방법.
  6. 제5항에 있어서,
    상기 사람의 형태에 기초한 분석(Shaped based analysis)은, 라돈 트랜스폼(Radon Transform: R-Transform), 확장 라돈 트랜스폼(Extended Radon Transform), 및 HMM(Hidden Markov Model) 중에서 적어도 어느 하나를 사용하여, 상기 사람의 형태에 기초한 분석(Shaped based analysis)을 실행하고,
    상기 사람이 이동한 궤도에 기초한 분석(Trajectory based analysis)은, 적어도 한 명 이상의 사람이 이동한 궤도에 기초한 분석을 실행하며,
    상기 옵티칼 플로우에 기초한 분석(Optical flow based analysis)은, 상기 사람을 촬영한 화면상의 픽셀이 특정 시간 동안에 다음 위치로 이동한 속도에 기초하여, 상기 사람의 행동에 관련된 특징 값을 산출하는 것을 특징으로 하는 행동 분석 방법.
  7. 제1항 내지 제6항의 방법을 실행하는 프로그램을 기록한 컴퓨터 판독가능 기록 매체.
  8. 사람을 감지 및 추적하는 감지부;
    상기 사람이 감지 및 추적된 신(scene)을, 시점의 각도에 따라 분류하는 분류부;
    상기 분류 된 신(scene)에 상응하는 분석 방법을 이용하여, 상기 사람의 행동에 관련된 특징 값을 산출하는 행동 분석부; 및
    상기 산출된 특징 값에 기초하여 상기 사람의 행동을 판단하는 행동 판단부
    를 포함하는 것을 특징으로 하는 행동 분석 시스템.
  9. 제8항에 있어서,
    상기 행동 분석부는,
    상기 사람의 형태에 기초한 분석(Shaped based analysis), 상기 사람이 이동한 궤도에 기초한 분석(Trajectory based analysis), 및 상기 옵티칼 플로우에 기초한 분석(Optical flow based analysis) 중에서 적어도 어느 하나를 사용하여, 상기 특징 값을 산출하고, 상기 산출된 특징 값을 이용한 베이지안 신뢰 네트워크(Bayesian Belief Network)에 의하여 상기 사람의 행동을 판단하는 것을 특징으로 하는 행동 분석 시스템.
  10. 제9항에 있어서,
    상기 사람의 형태에 기초한 분석(Shaped based analysis)은, 라돈 트랜스폼(Radon Transform: R-Transform), 확장 라돈 트랜스폼(Extended Radon Transform), 및 HMM(Hidden Markov Model) 중에서 적어도 어느 하나를 사용하여, 상기 사람의 형태에 기초한 분석(Shaped based analysis)을 실행하고,
    상기 사람이 이동한 궤도에 기초한 분석(Trajectory based analysis)은, 적어도 한 명 이상의 사람이 이동한 궤도에 기초한 분석을 실행하며,
    상기 옵티칼 플로우에 기초한 분석(Optical flow based analysis)은, 상기 사람을 촬영한 화면상의 픽셀이 특정 시간 동안에 다음 위치로 이동한 속도에 기초하여, 상기 사람의 행동에 관련된 특징 값을 산출하는 것을 특징으로 하는 행동 분석 시스템.
KR1020070117558A 2007-11-16 2007-11-16 행동 분석 시스템 및 방법 KR20090050890A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020070117558A KR20090050890A (ko) 2007-11-16 2007-11-16 행동 분석 시스템 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020070117558A KR20090050890A (ko) 2007-11-16 2007-11-16 행동 분석 시스템 및 방법

Publications (1)

Publication Number Publication Date
KR20090050890A true KR20090050890A (ko) 2009-05-20

Family

ID=40859275

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020070117558A KR20090050890A (ko) 2007-11-16 2007-11-16 행동 분석 시스템 및 방법

Country Status (1)

Country Link
KR (1) KR20090050890A (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160120482A (ko) 2015-04-08 2016-10-18 삼성에스디에스 주식회사 생체 신호를 이용한 사용자 행동 예측 시스템 및 방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160120482A (ko) 2015-04-08 2016-10-18 삼성에스디에스 주식회사 생체 신호를 이용한 사용자 행동 예측 시스템 및 방법

Similar Documents

Publication Publication Date Title
Hongeng et al. Video-based event recognition: activity representation and probabilistic recognition methods
Schulz et al. A controlled interactive multiple model filter for combined pedestrian intention recognition and path prediction
Nam et al. Intelligent video surveillance system: 3-tier context-aware surveillance system with metadata
Maddalena et al. People counting by learning their appearance in a multi-view camera environment
Rout A survey on object detection and tracking algorithms
CN104378582A (zh) 一种基于ptz摄像机巡航的智能视频分析系统及方法
Prokaj et al. Tracking many vehicles in wide area aerial surveillance
US9965687B2 (en) System and method for detecting potential mugging event via trajectory-based analysis
Goldhammer et al. Pedestrian's trajectory forecast in public traffic with artificial neural networks
Makhmutova et al. Object tracking method for videomonitoring in intelligent transport systems
Mishra et al. A survey on human motion detection and surveillance
Saon et al. Cloud-based people counter
Carletti et al. An efficient and effective method for people detection from top-view depth cameras
KR20220032681A (ko) 노상 주차장의 주차 관리 방법
Abdelhalim et al. Towards real-time traffic movement count and trajectory reconstruction using virtual traffic lanes
Xie et al. Motion instability based unsupervised online abnormal behaviors detection
Guo et al. Pedestrian violence detection based on optical flow energy characteristics
Lacabex et al. Lightweight tracking-by-detection system for multiple pedestrian targets
KR101492366B1 (ko) 차량 사고 감지 방법 및 그 장치
Xu et al. Smart video surveillance system
Wang et al. Distributed wide-area multi-object tracking with non-overlapping camera views
KR20090050890A (ko) 행동 분석 시스템 및 방법
Manchanda et al. Identifying moving objects in a video using modified background subtraction and optical flow method
Leo et al. Real‐time smart surveillance using motion analysis
Sumi et al. An intelligent prediction system for pedestrian crossing detection

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid