KR100847143B1

KR100847143B1 - 실시간 동영상의 실루엣 기반 대상체 행동 분석 시스템 및방법

Info

Publication number: KR100847143B1
Application number: KR1020060123837A
Authority: KR
Inventors: 박찬규; 손주찬; 조현규; 조영조
Original assignee: 한국전자통신연구원
Priority date: 2006-12-07
Filing date: 2006-12-07
Publication date: 2008-07-18
Also published as: US20080137950A1; US8000500B2; KR20080051956A

Abstract

본 발명은 실시간 동영상의 실루엣 기반 대상체 행동 분석 시스템 및 그 방법에 관한 것으로, 입력되는 영상에 대해 배경 영상을 제외한 움직이는 전경 객체를 검출하는 전경 검출부; 상기 검출한 전경 객체에 대한 실루엣 외부 윤곽선을 추출하는 윤곽선 추출부; 상기 추출된 실루엣 외부 윤곽선 신호에 대해 분할된 다중 서브 대역별로 웨이브렛 필터링을 수행하여 추출된 특징점들을 코너점들로 하고, 상기 코너점들에 대해 구성한 히스토그램인 코너 히스토그램을 생성하는 코너 히스토그램 생성부; 입력되는 영상에서 객체의 자세를 판별하기 위한 기준 설정시, 상기 전경 검출부 및 상기 윤곽선 추출부를 이용해 미리 만들어진 다수의 실루엣 윤곽선 샘플데이터를 상기 코너 히스토그램 생성부로 전달하고, 상기 코너 히스토그램 생성부에서 생성된 상기 미리 만들어진 다수의 실루엣 윤곽선 샘플데이터의 코너 히스토그램을 각 자세별로 누적하고, 누적한 코너 히스토그램의 평균값을 계산하여 평균값 히스토그램 모델을 구축하는 모델 생성부; 및 실시간으로 입력되는 영상에서 객체의 자세 판정시, 상기 코너 히스토그램 생성부에서 생성되는 현재 프레임의 코너점들에 대한 히스토그램과 상기 모델 생성부에서 사전에 생성된 평균값 히스토그램 모델에 대해 히스토그램 단위로 유사도를 계산하여 현재 프레임에서 계산된 히스토그램과 유사도가 최대가 되는 값을 측정하여 상기 객체의 현재 프레임에 대한 자세로 판정하는 최대 유사도 측정부를 포함한다.

인간행동분석, 배경분리, 다중밴드 신호처리, 행동, 동영상, 실루엣

Description

실시간 동영상의 실루엣 기반 대상체 행동 분석 시스템 및 방법{System and Method for analyzing of human motion based silhouettes of real-time video stream}

도 1은 본 발명의 실시예에 따른 실루엣 기반 대상체 영상을 이용한 대상체 행동 분석 시스템의 전체적인 구성을 도시한 블록도,

도 2는 본 발명의 실시예에 따라 도 1에서 현재 실루엣 영상 프레임이 갖고 있는 사람 윤곽선 정보의 다중대역 히스토그램을 계산하는 다중대역 사람 특징점의 코너 히스토그램 생성부에 대한 상세 구성 예를 도시한 블록도,

도 3은 본 발명의 실시예에 따라 도 2의 다중대역 웨이브렛 필터에서 얻어지는 다중 서브 대역 거리 신호에서 윤곽점(Contour Position)에 대한 스케일(scale) 값을 나타낸 그래프도,

도 4는 본 발명의 실시예에 따라 코너히스토그램 생성부에서 얻어지는 윤곽점에 대한 스케일의 코너히스토그램의 특성값을 표시한 도면,

도 5는 본 발명의 실시예에 따른 실시간으로 입력되는 실루엣영상에서 사람의 행동을 판별하기 위한 기준인 평균값 히스토그램 모델을 샘플데이터로부터 생성하는 기능을 갖는 도 1의 모델 생성부의 구성을 보다 상세히 도시한 블록도,

도 6은 본 발명의 바람직한 실시예에 따른 실루엣 기반 대상체 영상을 이용 한 대상체 행동 분석 방법을 도시한 흐름도,

도 7은 본 발명의 실시예에 따른 도 6의 코너 히스토그램 생성 단계를 보다 상세히 도시한 흐름도, 그리고

도 8은 본 발명의 실시예에 따른 도 6의 모델 생성 단계를 보다 상세히 도시한 흐름도이다.

본 발명은 행동 분석 시스템 및 그 방법에 관한 것으로서, 특히 실시간으로 수집되는 동영상으로부터 대상체의 실루엣을 기반으로 대상체의 행동을 분석하기 위한 시스템 및 그 방법에 관한 것이다.

현재, 컴퓨터 비전(computer vision) 분야에서는 카메라를 이용하여 획득한 동영상에서 인간의 행동패턴을 분류해 낼 수 있는 다양한 방법이 연구되어 지고 있다. 비전 분야는 많은 수학적인 배경과 최첨단 하드웨어의 뒷받침 없이는 이루어지기 힘들기 때문에, 현실에 적용하기가 어려웠고 특히 인간 행동 인식 분야에서는 많은 계산량이 요구되는 방법들이나 시스템들이 주류를 이루었다.

행동 인식 연구의 주요 방향은 얼굴 인식, 제스처 인식, 행동 인식 등으로 분류된다. 행동 인식 연구의 기술 방법적인 분류에서는 전처리 단계, 분석 단계, 인식 단계로 크게 3부분으로 이루어지나, 각 단계에서도 여러 단계의 작업을 거쳐 야 되므로 전체가 커다란 시스템이라 볼 수 있다.

첫째, 전처리 단계는 대부분의 방법들이 배경 분리 방법을 사용하나, 배경분리 방법에도 많은 방법들이 있으며 처리 속도와 정확성이란 두 척도로 비교하면 서로 상보적이다. 즉, 처리 속도가 빠르면 정확성은 떨어진다는 것이다.

둘째, 분석 단계에서는 분석하고자 하는 인간의 행동 패턴을 잘 추출할 수 있도록 의미 있는 특징을 추출하는 것이다. 여기에는 아주 다양한 방법들이 연구되어 왔으며, 크게 객체의 형태학적인 특징을 추출하거나 확률적 모델로서 형태를 추정하여 추출하는 방법들을 사용하고 있다. 하지만 특징 자체에는 진전이 있으나, 추출하는 과정은 잡음의 부가 생성이나 잘못된 특징 추출 같은 문제점들이 여전히 남아 있다.

셋째, 인식 단계는 인공 지능이나 기계 학습 같은 분야에서 많이 연구되기도 하는 분야로 확률 통계적 방법이나 신경망 같은 학습 위주의 방법이 많이 사용된다. 하지만 이 방법은 계산이 복잡하고 계산 량이 많으며 실시간 처리가 떨어진다는 단점이 있다.

상기와 같은 문제점을 해결하기 위한 본 발명의 제1 목적은, 대상체의 동영상 정보로부터 보다 정확한 대상체의 행동을 분석할 수 있는 대상체의 행동 분석 시스템 및 그 방법을 제공하는 데 있다.

본 발명의 제2 목적은, 대상체의 동영상 정보로부터 대상체의 특정 자세를 보다 정확하게 분류하고, 분류된 자세별 행동을 보다 정확하게 분석할 수 있는 대상체의 행동 분석 시스템 및 그 방법을 제공하는 데 있다.

상기와 같은 목적을 달성하기 위한 본 발명의 실시예에 따른 대상체 행동 분석 시스템은, 입력되는 영상에 대해 배경 영상을 제외한 움직이는 전경 객체를 검출하는 전경 검출부; 상기 검출한 전경 객체에 대한 실루엣 외부 윤곽선을 추출하는 윤곽선 추출부; 상기 추출된 실루엣 외부 윤곽선 신호에 대해 분할된 다중 서브 대역별로 웨이브렛 필터링을 수행하여 추출된 특징점들을 코너점들로 하고, 상기 코너점들에 대해 구성한 히스토그램인 코너 히스토그램을 생성하는 코너 히스토그램 생성부; 입력되는 영상에서 객체의 자세를 판별하기 위한 기준 설정시, 상기 전경 검출부 및 상기 윤곽선 추출부를 이용해 미리 만들어진 다수의 실루엣 윤곽선 샘플데이터를 상기 코너 히스토그램 생성부로 전달하고, 상기 코너 히스토그램 생성부에서 생성된 상기 미리 만들어진 다수의 실루엣 윤곽선 샘플데이터의 코너 히스토그램을 각 자세별로 누적하고, 누적한 코너 히스토그램의 평균값을 계산하여 평균값 히스토그램 모델을 구축하는 모델 생성부; 및 실시간으로 입력되는 영상에서 객체의 자세 판정시, 상기 코너 히스토그램 생성부에서 생성되는 현재 프레임의 코너점들에 대한 히스토그램과 상기 모델 생성부에서 사전에 생성된 평균값 히스토그램 모델에 대해 히스토그램 단위로 유사도를 계산하여 현재 프레임에서 계산된 히스토그램과 유사도가 최대가 되는 값을 측정하여 상기 객체의 현재 프레임에 대한 자세로 판정하는 최대 유사도 측정부를 포함한다.

본 발명의 실시예에 따른 대상체 행동 분석 시스템은, 상기 전경 검출부에서 검출된 전경 객체 영상으로부터 잡음 영상을 제거하여 상기 윤곽선 추출부로 출력하는 필터를 더 포함한다. 여기서 상기 필터는 저역통과필터 또는 형태학적 필터가 적용된다.

본 발명의 실시예에 따른 대상체 행동 분석 시스템은, 상기 전경 검출부 전단에 배치되어 입력되는 영상의 프레임들에 대해 혼합가우시안 배경을 생성하여 상 기 전경 검출부로 출력하는 배경 모델 관리부를 더 포함한다. 이에 따라, 상기 전경 검출부는 상기 배경 모델 관리부에서 출력된 혼합가우시안 배경 모델의 배경과 실시간으로 입력되는 동영상 프레임 간의 차를 이용해 정지된 배경에서 움직임을 갖는 상기 전경 객체를 검출한다.

본 발명의 실시예에 따른 대상체 행동 분석 시스템은, 입력되는 실시간 동영상 프레임들을 상기 혼합 가우시안 배경 생성을 위해 초기화하여 상기 배경 모델 관리부로 출력하는 영상 초기화부를 더 포함한다.

본 발명의 실시예에 따른 대상체 행동 분석 시스템은, 카메라를 통해 실시간으로 동영상 스트림을 촬영하여 상기 영상 초기화부 및 상기 전경 검출부로 출력하는 카메라부를 더 포함한다.

본 실시예에서 상기 코너점들은 상기 객체의 머리, 손, 다리, 겨드랑이, 어깨, 및 무릎 등을 포함한다.

본 발명의 실시예에 따른 대상체 행동 분석 시스템은, 상기 모델 생성부에서 생성한 상기 객체의 각 자세별 평균값 히스토그램 모델을 저장하는 저장부를 더 포함한다.

본 실시예에서 상기 객체의 자세는 서있는 자세, 앉아있는 자세, 및 누워 있는 자세 등을 포함한다.

상기 모델 생성부는, 상기 객체의 자세들 및 각 자세의 정면, 좌우 양측면, 및 뒷면 자세별로 실루엣 윤곽선 샘플데이터를 수집하여 상기 코너 히스토그래프 생성부로 전달하는 실루엣 윤곽 수집부; 및 상기 실루엣 윤곽선 샘플데이터에 대한 코너 히스토그램을 누적하여 상기 객체의 자세들 및 각 자세의 정면, 좌우 양측면, 및 뒷면 자세들에 대한 평균값을 산출하여 구한 평균값 히스토그램 모델을 상기 저장부에 저장하는 평균 값 계산를 포함한다.

상기 코너 히스토그램 생성부는, 상기 윤곽선 추출부에서 입력되는 실루엣 객체 윤곽선 영상에 대해 상기 실루엣의 무게 중심점을 계산하는 무게중심 계산부; 상기 무게 중심점으로부터 상기 윤곽선의 첫 출발점으로부터 전체 윤곽선을 따라 유클리디안 거리를 계산하는 유클리디안 거리 산출부; 상기 유클리디안 거리 정보를 다중 서브 대역으로 분할하는 다중 대역 웨이브렛 필터; 및 상기 분할된 다중 서브 대역의 신호들에 대해 상기 코너값의 위치가 변하지 않는 코너들만 추출하여 코너 히스토그램을 생성하는 다중 대역 코너히스토그램 생성부를 포함한다.

본 실시예에서 상기 다중 대역 웨이브렛 필터는 상기 유클리디안 거리 정보를 8개의 다중 서브 대역으로 분할한다.

한편, 상기와 같은 목적을 달성하기 위한 본 발명의 실시예에 따른 실루엣 기반 대상체 영상을 이용한 대상체 행동 분석 방법은, 실시간으로 동영상 스트림을 수집하는 단계; 상기 수집한 동영상 스트림으로부터 정지된 배경에서 움직임을 갖는 전경 객체 영상을 검출하는 단계; 상기 검출한 전경 객체 영상으로부터 잡음을 제거하기 위해 필터링을 수행하는 단계; 상기 잡음 제거 필터링이 수행된 객체 실루엣 영상에 대해, 실루엣 외곽의 윤곽선들을 추출하는 단계; 상기 추출된 윤곽선 신호로부터 분할된 다중 서브 대역별로 웨이브렛 필터링을 수행하여 추출된 특징점인 코너점들에 대해 구성한 히스토그램을 코너 히스토그램으로 생성하는 단계; 상기 생성한 현재 프레임의 코너 히스토그램과 미리 구해진 각 자세별로 누적된 코너 히스토그램의 평균값을 계산하여 구한 평균값 히스토그램 모델을 히스토그램 단위로 유사도를 계산하여 현재 프레임에서 계산된 히스토그램과 유사도가 최대가 되는 값을 측정하는 단계; 및 상기 측정된 최대 유사도의 히스토그램을 상기 객체의 현재 프레임 자세로 판단하는 단계를 포함한다.

바람직하게는, 본 발명의 실시예에 따른 실루엣 기반 대상체 영상을 이용한 대상체 행동 분석 방법은, 실시간으로 입력되는 실루엣 영상에서 상기 객체의 행동을 판별하기 위한 기준으로 상기 평균값 히스토그램 모델을 생성하는 단계;를 상기 실시간으로 동영상 스트림을 수집하는 단계 이전에 수행하고, 상기 평균값 히스토그램 모델 생성 단계는, 기녹화된 샘플데이터에서 상기 객체의 각 자세별 실루엣 윤곽 영상정보를 수집하는 단계; 상기 수집된 영상 정보에 대해 생성된 코너 히스토그램을 상기 객체의 각 자세별로 누적하는 단계; 상기 누적된 코너 히스토그램을 상기 객체의 각 자세별로 평균값을 산출하는 단계; 및 상기 산출된 각 자세별 평균값을 상기 평균값 히스토그램 모델로 저장하는 단계를 포함한다.

상기 객체의 자세는 상기 객체의 서있는 자세, 앉아있는 자세, 및 누워 있는 자세 등을 포함한다. 상기 객체의 자세는 상기 객체의 각 자세별 정면, 좌우 양측면, 및 뒷면 자세 영상을 더 포함한다. 상기 코너점들은 상기 객체의 머리, 손, 다리, 겨드랑이, 어깨, 및 무릎 중 등을 포함한다.

상기 코너 히스토그램 생성 단계는, 상기 실루엣 객체 윤곽선 영상에 대해 무게 중심점을 계산하는 단계; 상기 무게 중심점으로부터 상기 윤곽선의 첫 출발점으로부터 전체 윤곽선을 따라 유클리디안 거리를 계산하는 단계; 상기 유클리디안 거리 신호를 다중 대역 웨이브렛 필터링을 통해 다중 서브대역으로 분할하는 단계; 및 상기 필터링된 다중 대역의 신호들에 대해 적어도 2³ 스케일까지 코너값의 위치가 변하지 않는 코너들만 추출하여 상기 코너 히스토그램을 생성하는 단계를 포함 한다.

본 발명에 따르면, 카메라로부터 전송된 사람의 행동 영상을 실루엣기반의 윤곽선 정보로 가공한 뒤 서있는 자세, 앉아있는 자세, 누워있는 있는 자세를 정면뿐만 아니라 측면까지도 실시간으로 판정함으로써, 보다 정확한 대상체의 인식 및 행동을 판별할 수 있다. 또한, 본 발명은 사람이 현재 동영상 프레임 내에서 어떤 행동을 하고 있는지를 판별하고 그 결과를 가지고 로봇이 어떤 행동이나 서비스를 제공하는데 사용될 수 있으므로 응용가치는 매우 높다. 특히 어린이와 노약자의 행동모니터링이나 일반적 사용자의 행동을 분석하고 그 주변의 환경을 인식하여 사용자의 의도를 파악한 후 로봇이 스스로 능동적인 서비스를 사용자에게 제공할 수 있는 기본 틀을 제공할 수 있다.

이하, 본 발명의 바람직한 실시예들을 첨부한 도면을 참조하여 상세히 설명한다. 도면들 중 동일한 구성요소들은 가능한 한 어느 곳에서든지 동일한 부호들로 나타내고 있음에 유의해야 한다. 또한 본 발명의 요지를 불필요하게 흐릴 수 있는 공지 기능 및 구성에 대한 상세한 설명은 생략한다.

본 발명은 세 가지 사람 행동 즉 서있는 자세, 앉아있는 자세, 및 누워 있는 자세들을 연속된 동영상으로부터 보다 정확하게 분류 및 분석 할 수 있는 판별 기준과 기준을 처리하는 방법을 제공한다.

본 발명은 실루엣 외곽 영상의 다중 밴드 분석을 통한 사람 형태 특징점인 코너점들의 히스토그램을 이용한 3가지 자세(서있는 자세, 앉아있는 자세, 및 누워 있는 자세)의 평균값 히스토그램 모델을 만들어 판별 기준을 제시하고, 실시간으로 입력되는 동영상 프레임들에서 추출되는 실제 실루엣 사람 영상의 다중 대역의 코너 히스토그램과 미리 구해진 평균값 히스토그램 모델의 최대 유사도를 계산하는 방법을 제공한다.

이를 위해, 본 발명은 3가지 자세(서있는 자세, 앉아있는 자세, 및 누워 있는 자세)를 연속된 동영상으로부터 정확하게 분석하기 위해, 미리 구축되어야 할 평균값 히스토그램 모델을 제시한다. 구체적으로, 실루엣 윤곽선 영상의 웨이브렛 필터뱅크를 통해 추출한 사람 형태 특징점들인 코너점들의 히스토그램을 이용한 3가지 자세의 평균값 히스토그램 모델을 만들어 판별 기준으로 제시하고, 실시간으로 입력되는 동영상 프레임들에서 추출되는 실제 실루엣 사람 영상의 코너 히스토그램과의 최대 유사도를 계산하여 사람의 연속적인 동작을 해석하는 방법을 제시한다.

도 1은 본 발명의 실시예에 따른 실루엣 기반 대상체 영상을 이용한 대상체 행동 분석 시스템의 전체적인 구성을 도시한 블록도이다.

본 실시예에서는 대상체의 예로서 사람을 예로 들어 설명한다. 그러나, 본 발명에서 대상체는 능동 또는 수동적으로 움직임이 가능한 모든 생명체 및 전기적 동력에 의해 움직이는 로봇 등과 같은 물체들 중 어느 하나일 수 있다.

도시된 바와 같이, 대상체 행동 분석 시스템은 카메라부(100), 영상 초기화부(110), 배경 모델 관리부(120), 전경 검출부(130), 필터(Filter)(140), 윤곽선 추출부(150), 코너 히스토그램 생성부(160), 최대 유사도 측정부(170), 모델 생성부(180), 및 저장부(190)를 포함한다.

카메라부(100)는 구비된 카메라를 통해 실내외 환경에서 실시간으로 촬영되 는 동영상 스트림을 시스템 내부로 전송한다.

영상 초기화부(110)는 카메라부(100)로부터 입력 받은 실시간 동영상 프레임들을 혼합 가우시안 배경 생성을 위해 초기화한다.

배경 모델 관리부(120)는 초기화된 동영상 프레임들을 입력으로 받아 혼합가우시안 배경을 생성하고 유지한다.

전경 검출부(130)는 생성된 혼합가우시안 배경 모델의 배경과 카메라부(100)로부터 수신한 현재 실시간 동영상 프레임 간의 차를 이용해 정지된 배경에서 움직임을 갖는 사람 객체를 배경이 아닌 전경 객체로 분리한다. 전경 검출부(130)는 주변 조명과 밝기 변화에 따른 배경 모델을 업데이트하기 위하여 다시 배경모델관리부(120)에 피드백한다. 이렇게 해서 최적의 움직이는 전경 객체를 배경으로부터 분리할 수 있다. 이렇게 분리된 인간 전경 객체는 실루엣 기반 인간 전경 객체라고 하며, 행동분석에 기초데이터가 된다. 하지만 배경 분리에 따른 잡음 영상을 실루엣 영상이 포함하고 있어, 저역대역필터와 형태학적 필터를 사용하여 포함된 잡음 영상을 제거해야 한다.

필터(Filter)(140)는 실루엣 기반 인간 전경 객체 영상으로부터 잡음 영상을 제거한다. 본 실시예에서 적용되는 필터(140)는 저역대역필터 및 형태학적 필터가 적용될 수 있다.

윤곽선 추출부(150)는 잡음 제거 필터링을 수행하는 필터(140)를 거친 인간 실루엣 영상에 대해 인간의 형태학적 분석이 가능하도록, 경계 연산자를 사용하여 실루엣 외곽의 윤곽선들을 추출한다.

코너 히스토그램 생성부(160)는 추출된 실루엣 기반 인간 윤곽선들에 대해 우선 윤곽선 영상의 무게 중심점을 구하고 무게 중심점으로부터 윤곽선의 첫 출발점을 따라 유클리디안 거리(Euclidean distance)를 계산한다. 코너 히스토그램 생성부(160)는 이렇게 계산된 유클리디안 거리에 대해 하나의 이산적인 신호로 다루어지고 이 이산 신호로부터 인간 행동의 판별 기준을 위한 특징점들을 추출한다. 코너 히스토그램 생성부(160)는 특징점 추출시 다중 대역 도메인 상에서 대역별로 특징이 될 수 있는 국부 최대값들을 추출하는데, 본 실시예에서는 가우시안 함수를 모함수로 한 웨이브렛 필터 뱅크(미도시)를 사용한다. 코너 히스토그램 생성부(160)는 웨이브렛 필터 뱅크를 거친 거리 신호에 대해 대역별로 국부 최대값이 유지되는 특징점에 대해서만 히스토그램을 다시 구성하고, 이를 코너 히스토그램이라 한다.

최대 유사도 측정부(170)는 미리 생성되어 저장부(190)에 저장된 평균값 히스토그램 데이터들에 대해 현재 프레임에서 계산된 코너 히스토그램과 유사도가 최대가 되는 값을 계산한다. 즉, 최대 유사도 측정부(170)는 미리 계산 되어진 각 자세별 모든 평균값 히스토그램 모델과 현재 프레임의 코너 히스토그램과의 유사도를 계산하여 최대가 되는 유사도의 히스토그램이 현재의 프레임이 의미하고 있는 자세라고 판정할 수 있다.

모델 생성부(180)는 실시간으로 입력되는 실루엣 영상에서 사람의 행동을 판별하기 위한 기준인 평균값 히스토그램 모델을 미리 녹화한 샘플 데이터로부터 생성한다. 이를 위해, 모델 생성부(180)는 샘플데이터들로부터 판단기준인 평균값 히스토그램 모델을 만들기 위해, 미리 만들어진 다수의 실루엣 윤곽선 샘플데이터로부터 계산된 코너 히스토그램을 누적하여 평균값을 계산한다. 즉, 평균값을 3가지 움직임 자세와 각 자세의 정면뿐만 아니라 양측면과 뒷면에 대한 실루엣영상을 포함하여 총 12개의 샘플데이터가 한 집합을 이루고, 이런 집합의 n개의 자세별 평균값 히스토그램 모델을 미리 생성한다.

저장부(190)는 모델 생성부(180)에서 생성한 각 자세별 평균값 히스토그램 모델을 저장한다.

도 2는 본 발명의 실시예에 따라 도 1에서 현재 실루엣 영상 프레임이 갖고 있는 사람 윤곽선 정보의 다중 대역 사람 특징점의 코너 히스토그램을 계산하는 코너 히스토그램 생성부(160)에 대한 상세 구성 예를 도시한 블록도이다.

도시된 바와 같이, 코너 히스토그램 생성부(160)는 무게중심점 계산부(161), 유클리디안 거리 산출부(162), 다중대역 웨이브렛 필터(163), 및 다중대역 코너 히스토그램 생성부(167)를 포함한다.

무게중심점 계산부(161)는 사람의 실루엣 윤곽선 영상을 입력으로 실루엣의 무게 중심점을 계산한다.

유클리디안 거리 산출부(162)는 무게중심점 계산부(161)에서 계산한 무게 중심점으로부터, 윤곽선의 첫 출발점으로부터 전체 윤곽선을 따라 유클리디안 거리를 계산한다.

다중대역 웨이브렛 필터(163)는 유클리디안 거리 산출부(162)에서 계산 되어진 거리 신호를 8개의 다중 서브대역으로 분할한다. 도 3은 본 발명의 실시예에 따라 도 2의 다중대역 웨이브렛 필터(163)에서 얻어지는 다중 서브 대역 거리 신호에서 윤곽점(Contour Position)에 대한 스케일(scale) 값을 나타낸 그래프도이다. 이렇게 하면 거리 신호가 낮은 스케일에서는 윤곽선이 가지고 있는 거친 고주파 성분들 때문에 많은 국부 최대값들 즉 코너점들이 많이 검출되고, 스케일이 커지면서 신호 자체가 많이 스무딩되면서 2³ 스케일에서 고주파 성분이 사라져 코너점들의 특징의 의미를 잃어버린다.

다중대역 코너 히스토그램 생성부(167)는 이렇게 필터링된 여러 대역의 신호들에 대해 2³ 스케일 정도까지 특성을 유지하고, 그 이상은 의미가 없고 2³ 스케일까지 코너값의 위치가 변하지 않는 코너점들만 추출하여 코너 히스토그램을 생성한다. 도 4는 본 발명의 실시예에 따라 다중대역 코너히스토그램 생성부(167)에서 얻어지는 윤곽점에 대한 스케일의 코너히스토그램 특성값을 표시한 도면이다. 도시된 바와 같이, 다중대역 코너히스토그램 생성부(167)에 의해 생성되는 코너히스토그램의 특성값은 2³ 스케일까지의 값으로 8개의 특성값이 얻어짐을 알 수 있다.

도 5는 본 발명의 실시예에 따른 실시간으로 입력되는 실루엣영상에서 사람의 행동을 판별하기 위한 기준인 평균값 히스토그램 모델을 윤곽선 추출부(150)에서 미리 만들어진 실루엣 윤곽선 샘플데이터로부터 생성하는 기능을 갖는 도 1의 모델 생성부(180)의 구성을 보다 상세히 도시한 블록도이다.

도시된 바와 같이, 모델 생성부(180)는 실루엣 윤곽 수집부(181), 평균값 계산부(182)를 포함한다.

본 발명은 사람의 행동패턴을 분석하기 위하여 사전에 판별할 수 있는 모델이 구축되어 있어야 한다. 사전에 구축된 모델이 있는 경우, 행동 판별시 인식율을 최대화할 수 있고 정확한 판단이 가능하다. 하지만 구축된 모델이 복잡하거나 계산량이 많이 요구되는 경우에는 실기간 적용이 어렵다.

본 발명에서는 구축된 모델이 단순히 히스토그램 형식에 데이터들이 일차원 값이고 데이터 수가 적으므로 실시간 실행과 저렴한 하드웨어로 구현이 가능하다.

실루엣 윤곽 수집부(181)는 첫째 샘플데이터들을 준비해야 하는데 일반적인 환경에서 사람의 3가지 자세와 각 자세의 정면, 양측면, 그리고 뒷면 자세들을 녹화하고 모델이 되는 사람은 되도록이면 여러 사람의 샘플들을 녹화한다. 이렇게 녹화된 동영상으로부터 미리 만들어진 실루엣 윤곽선 샘플데이터는 코너 히스토그램 생성부(160)에 입력되어 프레임 하나 단위로 처리된다.

평균 값 계산부(182)는 녹화된 동영상을 각 자세별 평균값 계산을 위해 누적한다. 평균 값 계산부(182)는 이렇게 모든 샘플 데이터들이 계산되어질 수 있도록 히스토그램 생성과 누적을 계속하고, 모든 샘플 데이터들이 다 누적이 되면, 정면, 양측면 및 뒷면을 포함한 3가지 자세(서있는 자세, 앉아있는 자세, 및 누워 있는 자세)에 대한 평균값을 산출한다. 이렇게 산출된 각 자세별 평균값은 저장부(190)에 저장된다.

도 6은 본 발명의 바람직한 실시예에 따른 실루엣 기반 대상체 영상을 이용한 대상체 행동 분석 방법을 도시한 흐름도이다. 본 실시예는 도 1의 대상체 행동 분석 시스템을 통해 수행된다.

도시된 바와 같이, 대상체 행동 분석 시스템은, 실내외 환경에서 설치된 카메라부(100)를 통해 실시간으로 영상을 수집하여 수집한 동영상 스트림을 시스템 내부로 입력한다(S110).

대상체 행동 분석 시스템은 영상 초기화부(110)를 통해 입력되는 동영상 프레임들을 초기화한 후, 배경 모델 관리부(120)를 통해 혼합 가우시안 배경을 생성한다(S120). 대상체 행동 분석 시스템은 전경 검출부(130)를 통해 생성된 혼합가우시안 배경 모델의 배경과 카메라부(100)로부터 수신한 현재 실시간 동영상 프레임 간의 차를 이용해 정지된 배경에서 움직임을 갖는 사람 객체를 배경이 아닌 전경 객체로서 검출한다(S130).

대상체 행동 분석 시스템은 필터(Filter)(140)를 통해 실루엣 기반 인간 전경 객체 영상으로부터 잡음 영상을 필터링한다(S140).

대상체 행동 분석 시스템은 윤곽선 추출부(150)를 통해 잡음 제거 필터링이 수행된 인간 실루엣 영상에 대해, 인간의 형태학적 분석이 가능하도록 경계 연산자를 사용하여 실루엣 외곽의 윤곽선들을 추출한다(S150).

삭제

대상체 행동 분석 시스템은 코너 히스토그램 생성부(160)를 통해 윤곽선 추출부(150)에서 추출된 윤곽선 신호를 거리 신호로 변환한 후, 웨이브렛 필터뱅크를 거쳐 분할한 다중 서브 대역으로 특징되는 코너점들을 검출하고, 검출된 코너점의의 다중 서브 대역 특성을 고려하여 코너 히스토그램을 생성한다(S160). 여기서 코너점들은 머리, 손, 다리, 겨드랑이, 어깨, 및 무릎 등을 예로 들 수 있다.

대상체 행동 분석 시스템은 최대 유사도 측정부(170)를 통해 현재 프레임의 코너 히스토그램과 평균값 히스토그램 모델을 영상이 아닌 히스토그램 단위로 유사도를 계산하여 현재 프레임에서 계산된 히스토그램과 유사도가 최대가 되는 값을 측정한다(S170).

이에 따라, 대상체 행동 분석 시스템은 최대 유사도 측정부(170)를 통해 측정된 최대 유사도의 히스토그램이 현재의 프레임이 의미하고 있는 자세라고 판정한다(S180).
그리고, 대상체 행동 분석 시스템은 모델 생성부(180)를 통해 실시간으로 입력되는 실루엣 영상에서 사람의 행동을 판별하기 위한 기준인 평균값 히스토그램 모델을 미리 녹화한 샘플 데이터로부터 생성한다.
예를 들어, 모델 생성부(180)는 미리 3가지 자세에 대해서 정면, 양측면, 뒷면을 포함해서 각각 n개의 녹화된 데이터를 이용해 총 n x 12개의 히스토그램을 생성할 수 있다. 즉, 모델 생성부(180)는 자세마다 n개의 데이터를 이용해 12개의 평균값 히스토그램을 구하고, 유사도 측정시 12개의 평균값만을 유사도 측정값으로 사용하므로 (n-1) x 12개 데이터에 대한 계산량을 줄일 수 있다.

도 7은 본 발명의 실시예에 따른 도 6의 코너 히스토그램 생성 단계(S160)를 보다 상세히 도시한 흐름도이다.

도시된 바와 같이, 먼저 코너 히스토그램 생성부(160)는 무게중심점 계산부(161)를 통해 실루엣 사람 윤곽선 영상을 입력으로 실루엣의 무게 중심점을 계산한다(S162).

코너 히스토그램 생성부(160)는 유클리디안 거리 산출부(162)를 통해 무게중심점 계산부(161)에서 계산한 무게 중심점으로부터, 윤곽선의 첫 출발점으로부터 전체 윤곽선을 따라 유클리디안 거리를 계산한다(S164).

코너 히스토그램 생성부(160)는 다중대역 웨이브렛 필터(163)를 통해 유클리디안 거리 산출부(162)에서 계산 되어진 거리 신호를 다중 대역 웨이브렛 필터링을 통해 도 3과 같이 8개의 다중 서브대역으로 분할한다(S166).

코너 히스토그램 생성부(160)는 다중대역 코너히스토그램 생성부(167)를 통해 다중대역 웨이브렛 필터(163)에서 필터링된 여러 대역의 신호들에 대해 2³ 스케일 정도까지 특성을 유지하고, 그 이상은 의미가 없고 2³ 스케일까지 코너값의 위치가 변하지 않는 코너들만 추출하여 도 4와 같이 코너 히스토그램을 생성한다(S168).

도 8은 본 발명의 실시예에 따른 모델 생성 과정을 더욱 상세히 도시한 흐름도이다.

도시된 바와 같이, 모델 생성부(180)는 실루엣 윤곽 수집부(181)를 통해 첫째 샘플데이터들을 준비해야 하는데 일반적인 환경에서 사람의 3가지 자세와 각 자세의 정면, 양측면, 그리고 뒷면 자세들을 녹화하고 되도록이면 여러 사람의 샘플들을 녹화하고, 녹화된 동영상에 대해 각 자세별 실루엣 윤곽을 수집한다(S152). 이렇게 녹화된 동영상에 대해 수집된 실루엣 윤곽선은 코너 히스토그램 생성부(160)에 입력되어 프레임 하나 단위로 처리된다.

이에 대하여, 코너 히스토그램 생성부(160)에서는 도 7과 같이 코너 히스토 그램을 생성한다(S160).

모델 생성부(180)은 평균 값 계산부(182)를 통해 코너 히스토그램을 각 자세별 평균값 계산을 위해 누적한다(S154).

모델 생성부(180)는 평균 값 계산부(182)를 통해 모든 샘플 데이터들이 계산되어질 수 있도록 코너 히스토그램 생성과 누적을 계속하고, 모든 샘플 데이터들이 다 누적이 되면, 정면, 양측면 및 뒷면을 포함한 3가지 자세(서있는 자세, 앉아있는 자세, 및 누워 있는 자세)에 대한 평균값을 산출한다(S156).

이에 따라, 모델 생성부(180)는 이렇게 산출된 각 자세별 평균값을 저장부(190)에 저장한다(S158).

이상에서는 본 발명에서 특정의 바람직한 실시예에 대하여 도시하고 또한 설명하였다. 그러나 본 발명은 상술한 실시예에 한정되지 아니하며, 특허 청구의 범위에서 첨부하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 누구든지 다양한 변형 및 균등한 타 실시가 가능할 것이다. 따라서 본 발명의 진정한 기술적 보호범위는 첨부한 특허청구범위에 의해서만 정해져야 할 것이다.

상술한 본 발명에 따르면, 카메라로부터 전송된 사람의 행동 영상을 실루엣기반의 윤곽선 정보로 가공한 뒤 서있는 자세, 앉아있는 자세, 누워있는 있는 자세를 정면뿐만 아니라 측면까지도 실시간으로 판정함으로써, 보다 정확한 대상체의 인식 및 행동을 판별할 수 있다.

또한, 본 발명은 사람이 현재 동영상 프레임 내에서 어떤 행동을 하고 있는지를 판별하고 그 결과를 가지고 로봇이 어떤 행동이나 서비스를 제공하는데 사용될 수 있으므로 응용가치는 매우 높다. 특히 어린이와 노약자의 행동모니터링이나 일반적 사용자의 행동을 분석하고 그 주변의 환경을 인식하여 사용자의 의도를 파악한 후 로봇이 스스로 능동적인 서비스를 사용자에게 제공할 수 있는 기본 틀을 제공할 수 있다.

Claims

입력되는 영상에 대해 배경 영상을 제외한 움직이는 전경 객체를 검출하는 전경 검출부;

상기 검출한 전경 객체에 대한 실루엣 외부 윤곽선을 추출하는 윤곽선 추출부;

상기 추출된 실루엣 외부 윤곽선 신호에 대해 분할된 다중 서브 대역별로 웨이브렛 필터링을 수행하여 추출된 특징점들을 코너점들로 하고, 상기 코너점들에 대해 구성한 히스토그램인 코너 히스토그램을 생성하는 코너 히스토그램 생성부;

입력되는 영상에서 객체의 자세를 판별하기 위한 기준 설정시, 상기 전경 검출부 및 상기 윤곽선 추출부를 이용해 미리 만들어진 다수의 실루엣 윤곽선 샘플데이터를 상기 코너 히스토그램 생성부로 전달하고, 상기 코너 히스토그램 생성부에서 생성된 상기 미리 만들어진 다수의 실루엣 윤곽선 샘플데이터의 코너 히스토그램을 각 자세별로 누적하고, 누적한 코너 히스토그램의 평균값을 계산하여 평균값 히스토그램 모델을 구축하는 모델 생성부; 및

실시간으로 입력되는 영상에서 객체의 자세 판정시, 상기 코너 히스토그램 생성부에서 생성되는 현재 프레임의 코너점들에 대한 히스토그램과 상기 모델 생성부에서 사전에 생성된 평균값 히스토그램 모델에 대해 히스토그램 단위로 유사도를 계산하여 현재 프레임에서 계산된 히스토그램과 유사도가 최대가 되는 값을 측정하여 상기 객체의 현재 프레임에 대한 자세로 판정하는 최대 유사도 측정부를 포함하는 것을 특징으로 하는 대상체 행동 분석 시스템.
제 1항에 있어서,

상기 전경 검출부에서 검출된 전경 객체 영상으로부터 잡음 영상을 제거하여 상기 윤곽선 추출부로 출력하는 필터를 더 포함하는 것을 특징으로 하는 대상체 행동 분석 시스템.
제 2항에 있어서,

상기 필터는 저역통과필터 또는 형태학적 필터가 적용되는 것을 특징으로 하는 대상체 행동 분석 시스템.
제 1항 또는 제 2항에 있어서,

상기 전경 검출부 전단에 배치되어 입력되는 영상의 프레임들에 대해 혼합가우시안 배경을 생성하여 상기 전경 검출부로 출력하는 배경 모델 관리부를 더 포함하며,

상기 전경 검출부는 상기 배경 모델 관리부에서 출력된 혼합가우시안 배경 모델의 배경과 실시간으로 입력되는 동영상 프레임 간의 차를 이용해 정지된 배경에서 움직임을 갖는 상기 전경 객체를 검출하는 것을 특징으로 하는 대상체 행동 분석 시스템.
제 4항에 있어서,

입력되는 실시간 동영상 프레임들을 상기 혼합 가우시안 배경 생성을 위해 초기화하여 상기 배경 모델 관리부로 출력하는 영상 초기화부를 더 포함하는 것을 특징으로 하는 대상체 행동 분석 시스템.
제 5항에 있어서,

카메라를 통해 실시간으로 동영상 스트림을 촬영하여 상기 영상 초기화부 및 상기 전경 검출부로 출력하는 카메라부를 더 포함하는 것을 특징으로 하는 대상체 행동 분석 시스템.
제 1항에 있어서,

상기 코너점들은 상기 객체의 머리, 손, 다리, 겨드랑이, 어깨, 및 무릎 중 적어도 하나를 포함하는 것을 특징으로 하는 대상체 행동 분석 시스템.
제 1항에 있어서,

상기 모델 생성부에서 생성한 상기 객체의 각 자세별 평균값 히스토그램 모델을 저장하는 저장부를 더 포함하는 것을 특징으로 하는 대상체 행동 분석 시스템.
제 8항에 있어서,

상기 객체의 자세는 서있는 자세, 앉아있는 자세, 및 누워 있는 자세 중 적 어도 어느 하나를 포함하는 것을 특징으로 하는 대상체 행동 분석 시스템.
제 8항에 있어서,

상기 모델 생성부는,

상기 객체의 자세들 및 각 자세의 정면, 좌우 양측면, 및 뒷면 자세별로 실루엣 윤곽선 샘플데이터를 수집하여 상기 코너 히스토그래프 생성부로 전달하는 실루엣 윤곽 수집부; 및

상기 실루엣 윤곽선 샘플데이터에 대한 코너 히스토그램을 누적하여 상기 객체의 자세들 및 각 자세의 정면, 좌우 양측면, 및 뒷면 자세들에 대한 평균값을 산출하여 구한 평균값 히스토그램 모델을 상기 저장부에 저장하는 평균 값 계산부를 포함하는 것을 특징으로 하는 대상체 행동 분석 시스템.
제 8항에 있어서,

상기 코너 히스토그램 생성부는,

상기 윤곽선 추출부에서 입력되는 실루엣 객체 윤곽선 영상에 대해 상기 실루엣의 무게 중심점을 계산하는 무게중심 계산부;

상기 무게 중심점으로부터 상기 윤곽선의 첫 출발점으로부터 전체 윤곽선을 따라 유클리디안 거리를 계산하는 유클리디안 거리 산출부;

상기 유클리디안 거리 정보를 다중 서브 대역으로 분할하는 다중 대역 웨이브렛 필터; 및

상기 분할된 다중 서브 대역의 신호들에 대해 상기 코너값의 위치가 변하지 않는 코너점들만 추출하여 코너 히스토그램을 생성하는 다중 대역 코너히스토그램 생성부를 포함하는 것을 특징으로 하는 대상체 행동 분석 시스템.
제 11항에 있어서,

상기 다중 대역 웨이브렛 필터는 상기 유클리디안 거리 정보를 8개의 다중 서브 대역으로 분할하는 것을 특징으로 하는 대상체 행동 분석 시스템.
실시간으로 동영상 스트림을 수집하는 단계;

상기 수집한 동영상 스트림으로부터 정지된 배경에서 움직임을 갖는 전경 객체 영상을 검출하는 단계;

상기 검출한 전경 객체 영상으로부터 잡음을 제거하기 위해 필터링을 수행하는 단계;

상기 잡음 제거 필터링이 수행된 객체 실루엣 영상에 대해, 실루엣 외곽의 윤곽선들을 추출하는 단계;

상기 추출된 윤곽선 신호로부터 분할된 다중 서브 대역별로 웨이브렛 필터링을 수행하여 추출된 특징점인 코너점들에 대해 구성한 히스토그램을 코너 히스토그램으로 생성하는 단계;

상기 생성한 현재 프레임의 코너 히스토그램과 미리 구해진 각 자세별로 누적된 코너 히스토그램의 평균값을 계산하여 구한 평균값 히스토그램 모델을 히스토그램 단위로 유사도를 계산하여 현재 프레임에서 계산된 히스토그램과 유사도가 최대가 되는 값을 측정하는 단계; 및

상기 측정된 최대 유사도의 히스토그램을 상기 객체의 현재 프레임 자세로 판단하는 단계를 포함하는 것을 특징으로 하는 실루엣 기반 대상체 영상을 이용한 대상체 행동 분석 방법.
제 13항에 있어서, 실시간으로 입력되는 실루엣 영상에서 상기 객체의 행동을 판별하기 위한 기준으로 상기 평균값 히스토그램 모델을 생성하는 단계;를 상기 실시간으로 동영상 스트림을 수집하는 단계 이전에 수행하고,

상기 평균값 히스토그램 모델 생성 단계는,

기녹화된 샘플데이터에서 상기 객체의 각 자세별 실루엣 윤곽 영상정보를 수집하는 단계;

상기 수집된 영상 정보에 대해 생성된 코너 히스토그램을 상기 객체의 각 자세별로 누적하는 단계;

상기 누적된 코너 히스토그램을 상기 객체의 각 자세별로 평균값을 산출하는 단계; 및

상기 산출된 각 자세별 평균값을 상기 평균값 히스토그램 모델로 저장하는 단계를 포함하는 것을 특징으로 하는 실루엣 기반 대상체 영상을 이용한 대상체 행동 분석 방법.
제 13항에 있어서,

상기 객체의 자세는 상기 객체의 서있는 자세, 앉아있는 자세, 및 누워 있는 자세 중 적어도 어느 하나를 포함하는 것을 특징으로 하는 실루엣 기반 대상체 영상을 이용한 대상체 행동 분석 방법.
제 15항에 있어서,

상기 객체의 자세는 상기 객체의 각 자세별 정면, 좌우 양측면, 및 뒷면 자세 영상 중 적어도 하나를 더 포함하는 것을 특징으로 하는 실루엣 기반 대상체 영상을 이용한 대상체 행동 분석 방법.
제 13항에 있어서,

상기 코너점들은 상기 객체의 머리, 손, 다리, 겨드랑이, 어깨, 및 무릎 중 적어도 어느 하나를 포함하는 것을 특징으로 하는 실루엣 기반 대상체 영상을 이용한 대상체 행동 분석 방법.
제 13항에 있어서,

상기 코너 히스토그램 생성 단계는,

상기 실루엣 객체 윤곽선 영상에 대해 무게 중심점을 계산하는 단계;

상기 무게 중심점으로부터 상기 윤곽선의 첫 출발점으로부터 전체 윤곽선을 따라 유클리디안 거리를 계산하는 단계;

상기 유클리디안 거리 신호를 다중 대역 웨이브렛 필터링을 통해 다중 서브대역으로 분할하는 단계; 및

상기 필터링된 다중 대역의 신호들에 대해 적어도 2³ 스케일까지 코너값의 위치가 변하지 않는 코너점들만 추출하여 상기 코너 히스토그램을 생성하는 단계를 포함하는 것을 특징으로 하는 실루엣 기반 대상체 영상을 이용한 대상체 행동 분석 방법.