KR102316799B1 - 객체 및 상황 인지 방법 및 시스템 - Google Patents

객체 및 상황 인지 방법 및 시스템 Download PDF

Info

Publication number
KR102316799B1
KR102316799B1 KR1020150154231A KR20150154231A KR102316799B1 KR 102316799 B1 KR102316799 B1 KR 102316799B1 KR 1020150154231 A KR1020150154231 A KR 1020150154231A KR 20150154231 A KR20150154231 A KR 20150154231A KR 102316799 B1 KR102316799 B1 KR 102316799B1
Authority
KR
South Korea
Prior art keywords
data
definition
analysis
situation
tracking
Prior art date
Application number
KR1020150154231A
Other languages
English (en)
Other versions
KR20170048108A (ko
Inventor
박찬우
김정민
이승준
Original Assignee
삼성에스디에스 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성에스디에스 주식회사 filed Critical 삼성에스디에스 주식회사
Publication of KR20170048108A publication Critical patent/KR20170048108A/ko
Application granted granted Critical
Publication of KR102316799B1 publication Critical patent/KR102316799B1/ko

Links

Images

Classifications

    • G06K9/6206—
    • G06K9/6215—
    • G06K9/6267—

Landscapes

  • Image Analysis (AREA)

Abstract

객체 및 상황 인지 방법 및 시스템이 제공된다. 객체 및 상황 인지 시스템은, 관찰 영역에서 동작하는 깊이 센서(depth sensor)로부터 센서 데이터를 수신하여 데이터 컨테이너에 저장하는 데이터 수신부; 상기 센서 데이터를 이용하여 상기 관찰 영역의 객체 및 상황을 인식하기 위한 프로세스를 정의하는 이벤트 플로우(event flow) 정보를 생성하는 이벤트 정의부; 상기 이벤트 플로우 정보에 따라 상기 데이터 컨테이너에 저장된 상기 센서 데이터를 분석하여, 상기 관찰 영역에서 객체를 식별하고 상기 객체와 연관된 상황을 분석한 분석 결과 데이터를 생성하는 데이터 분석부; 및 상기 분석 결과 데이터에 따라 미리 정의된 동작을 수행하는 이벤트 처리부를 포함한다.

Description

객체 및 상황 인지 방법 및 시스템{METHOD AND SYSTEM FOR RECOGNIZING OBJECT AND ENVIRONMENT}
본 발명은 객체 및 상황 인지 방법 및 시스템에 관한 것이다. 보다 상세하게는, 본 발명은 깊이 센서(depth sensor)를 이용하여 관찰 영역으로부터 센싱된 깊이 데이터를 수신하고, 수신된 깊이 데이터를 분석하여 감시 영역 내에서의 객체를 인식하고 상황을 인지하는 방법 및 시스템에 관한 것이다.
감시 영역 내에서 객체를 인식하기 위해서 다양한 방법들이 이용된다. 예를 들어, 관찰 영역 내에 광학 센서, 압력 센서 등의 센서를 이용하여 객체를 인식하는 방법들이 있다. 객체를 인식하기 위해 깊이 센서를 사용하여, 깊이 센서로부터 수집한 깊이 데이터를 이용하여 감시 영역 내에 객체를 인식할 수도 있다.
특히 깊이 센서를 이용하는 경우, 깊이 데이터를 이용하여 감시 영역에 객체가 존재하는지 여부를 판단함에 있어서, 보다 정밀하게 객체를 식별할 필요성이 대두된다. 예를 들어, 객체를 단순히 식별한 것은 넘어, 식별된 객체의 특징적인 부분을 인식하여 객체를 분류하거나, 감시 영역에 대한 상황까지 판단할 수 있는 기술이 요구된다.
미국등록특허 제8406470호
본 발명이 해결하고자 하는 기술적 과제는, 깊이 센서를 이용하여 감시 영역 내에서 객체를 인식할 뿐 아니라, 객체를 분류하고 감시 영역에 대한 상황 인식을 수행할 수 있는 객체 및 상황 인지 시스템을 제공하는 것이다.
본 발명이 해결하고자 하는 다른 기술적 과제는, 깊이 센서를 이용하여 감시 영역 내에서 객체를 인식할 뿐 아니라, 객체를 분류하고 감시 영역에 대한 상황 인식을 수행할 수 있는 객체 및 상황 인지 방법을 제공하는 것이다.
본 발명의 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해 될 수 있을 것이다.
상기 기술적 과제를 달성하기 위한 본 발명의 일 실시예에 따른 객체 및 상황 인지 시스템은, 관찰 영역에서 동작하는 깊이 센서(depth sensor)로부터 센서 데이터를 수신하여 데이터 컨테이너에 저장하는 데이터 수신부; 상기 센서 데이터를 이용하여 상기 관찰 영역의 객체 및 상황을 인식하기 위한 프로세스를 정의하는 이벤트 플로우(event flow) 정보를 생성하는 이벤트 정의부; 상기 이벤트 플로우 정보에 따라 상기 데이터 컨테이너에 저장된 상기 센서 데이터를 분석하여, 상기 관찰 영역에서 객체를 식별하고 상기 객체와 연관된 상황을 분석한 분석 결과 데이터를 생성하는 데이터 분석부; 및 상기 분석 결과 데이터에 따라 미리 정의된 동작을 수행하는 이벤트 처리부를 포함한다.
본 발명의 몇몇의 실시예에서, 상기 데이터 수신부는, 상기 센서 데이터를 미리 정해진 단위를 갖는 값들의 어레이(array) 형태의 가공 데이터로 가공하여 상기 데이터 컨테이너에 저장할 수 있다.
본 발명의 몇몇의 실시예에서, 상기 어레이는 2차원 어레이를 포함하고, 상기 2차원 어레이의 사이즈는 상기 깊이 센서의 해상도에 따라 결정될 수 있다.
본 발명의 몇몇의 실시예에서, 상기 이벤트 정의부는, 상기 센서 데이터로부터 식별하고자 하는 객체의 외형에 관한 정의를 포함하는 객체 분석 정의를 생성하는 객체 분석 정의 모듈, 상기 객체 분석 정의에 의해 식별되는 객체를 추적하는 방식에 관한 정의를 포함하는 객체 추적 정의를 생성하는 객체 추적 정의 모듈, 상기 객체 추적 정의에 의해 추적되는 객체와 연관된 상황에 관한 정의를 포함하는 상황 분석 정의를 생성하는 상황 분석 정의 모듈 및 상기 객체 분석 정의, 상기 객체 추적 정의 및 상기 상황 분석 정의를 이용하여, 상기 센서 데이터로부터 객체 및 상황을 인식하기 위한 프로세스를 정의하는 이벤트 플로우 정보를 생성하는 상황 처리 정의 모듈을 포함할 수 있다.
본 발명의 몇몇의 실시예에서, 상기 객체 분석 정의는 상기 식별하고자 하는 객체의 높이, 너비, 깊이 및 형상 중 적어도 하나에 관한 정의를 포함할 수 있다.
본 발명의 몇몇의 실시예에서, 상기 객체 추적 정의는 상기 객체 분석 정의에 의해 식별되는 객체에 대한 추적 주기, 추적 라이프타임(lifetime) 및 추적에 이용되는 트래킹 기법 중 적어도 하나에 관한 정의를 포함할 수 있다.
본 발명의 몇몇의 실시예에서, 상기 트래킹 기법은 평균 이동(mean shift) 기법, 캠 이동(cam shift) 기법, 특징점을 이용한 트래킹 기법 및 유클리드 거리(Euclidean distance)를 이용한 근접 트래킹 기법 중 적어도 하나를 포함할 수 있다.
본 발명의 몇몇의 실시예에서, 상기 상황 분석 정의는 상기 관찰 영역에 정의되는 하나 이상의 분석 영역에 관한 정의를 포함할 수 있다.
본 발명의 몇몇의 실시예에서, 상기 데이터 분석부는, 상기 이벤트 플로우 정보에 따라 상기 센서 데이터로부터 상기 객체를 식별하는 객체 분석 모듈 및 상기 이벤트 플로우 정보에 따라 상기 식별된 객체를 추적하고, 상기 객체와 연관된 상황을 분석하는 상황 분석 모듈을 포함할 수 있다.
본 발명의 몇몇의 실시예에서, 상기 데이터 분석부는, 차분 기법 또는 GMM(gaussian mixture model) 기법을 이용하여 상기 센서 데이터로부터 전경 또는 배경을 분리하는 데이터 처리 모듈을 더 포함할 수 있다.
본 발명의 몇몇의 실시예에서, 상기 객체 분석 모듈은, 셰이프(shape) 분석 기법을 이용하여 상기 객체의 외형을 분석하는 기본 객체 분석 모듈을 더 포함할 수 있다.
본 발명의 몇몇의 실시예에서, 상기 객체 분석 모듈은, 스켈레톤(Skeleton) 분석 기법을 이용하여 상기 객체의 강성(rigid) 및 연성(flexible) 여부를 분석하는 객체 종류 분석 모듈을 더 포함할 수 있다.
본 발명의 몇몇의 실시예에서, 상기 객체 분석 모듈은, SVM(support vector machine) 또는 CNN(convolutional neural network)을 이용한 머신 러닝 기법을 이용하여 상기 객체를 식별하는 머신 러닝 분석 모듈을 더 포함할 수 있다.
본 발명의 몇몇의 실시예에서, 상기 미리 정의된 동작은, 상기 객체 및 상황 인지 시스템의 내부 또는 외부에 구비된 출력 장치에 상기 분석 결과 데이터에 따라 미리 정의된 메시지를 전송하는 동작을 포함할 수 있다.
본 발명의 몇몇의 실시예에서, 상기 미리 정의된 동작은, 상기 객체 및 상황 인지 시스템의 내부 또는 외부에 구비된 데이터베이스에 상기 분석 결과 데이터를 기록하는 동작을 포함할 수 있다.
상기 기술적 과제를 달성하기 위한 본 발명의 다른 실시예에 따른 객체 및 상황 인지 시스템은, 관찰 영역의 제1 위치에서 동작하는 제1 깊이 센서(depth sensor)로부터 제1 데이터를 수신하고, 상기 관찰 영역의 상기 제1 위치와 다른 제2 위치에서 동작하는 제2 깊이 센서로부터 제2 데이터를 수신하고, 상기 제1 데이터 및 상기 제2 데이터를 분석하여, 상기 관찰 영역에서 객체를 식별하고 상기 객체와 연관된 상황을 분석한 분석 결과 데이터를 생성하는 데이터 분석부; 상기 제1 데이터 및 상기 제2 데이터를 이용하여 상기 관찰 영역의 객체 및 상황을 인식하기 위한 프로세스를 정의하는 이벤트 플로우(event flow) 정보를 생성하는 이벤트 정의부; 및 상기 분석 결과 데이터에 따라 미리 정의된 동작을 수행하는 이벤트 처리부를 포함한다.
본 발명의 몇몇의 실시예에서, 상기 데이터 분석부는, 상기 이벤트 플로우 정보에 따라 상기 센서 데이터로부터 상기 객체를 식별하는 객체 분석 모듈 및 상기 이벤트 플로우 정보에 따라 상기 식별된 객체를 추적하고, 상기 객체와 연관된 상황을 분석하는 상황 분석 모듈을 포함할 수 있다.
본 발명의 몇몇의 실시예에서, 상기 이벤트 정의부는, 상기 센서 데이터로부터 식별하고자 하는 객체의 외형에 관한 정의를 포함하는 객체 분석 정의를 생성하는 객체 분석 정의 모듈, 상기 객체 분석 정의에 의해 식별되는 객체를 추적하는 방식에 관한 정의를 포함하는 객체 추적 정의를 생성하는 객체 추적 정의 모듈, 상기 객체 추적 정의에 의해 추적되는 객체와 연관된 상황에 관한 정의를 포함하는 상황 분석 정의를 생성하는 상황 분석 정의 모듈 및 상기 객체 분석 정의, 상기 객체 추적 정의 및 상기 상황 분석 정의를 이용하여, 상기 센서 데이터로부터 객체 및 상황을 인식하기 위한 프로세스를 정의하는 이벤트 플로우 정보를 생성하는 상황 처리 정의 모듈을 포함할 수 있다.
본 발명의 몇몇의 실시예에서, 상기 미리 정의된 동작은, 상기 객체 및 상황 인지 시스템의 내부 또는 외부에 구비된 출력 장치에 상기 분석 결과 데이터에 따라 미리 정의된 메시지를 전송하는 동작을 포함할 수 있다.
본 발명의 몇몇의 실시예에서, 상기 미리 정의된 동작은, 상기 객체 및 상황 인지 시스템의 내부 또는 외부에 구비된 데이터베이스에 상기 분석 결과 데이터를 기록하는 동작을 포함할 수 있다.
상기 기술적 과제를 달성하기 위한 본 발명의 또 다른 실시예에 따른 객체 및 상황 인지 시스템은, 관찰 영역에서 동작하는 깊이 센서(depth sensor)로부터 센서 데이터를 수신하여 데이터 컨테이너에 저장하는 데이터 수신부; 상기 센서 데이터를 이용하여 상기 관찰 영역의 객체 및 상황을 인식하기 위한 프로세스를 정의하는 이벤트 플로우(event flow) 정보를 생성하는 이벤트 정의부; 상기 이벤트 플로우 정보 및 상기 센서 데이터를 분산 처리 시스템에 제공하고, 상기 분산 처리 시스템으로부터 분석 결과 데이터를 수신하는 데이터 분석부; 및 상기 분석 결과 데이터에 따라 미리 정의된 동작을 수행하는 이벤트 처리부를 포함하고, 상기 분석 결과 데이터는, 상기 센서 데이터가 상기 이벤트 플로우 정보에 따라 분석되어, 상기 관찰 영역에서 객체를 식별하고 상기 객체와 연관된 상황을 분석한 데이터를 포함한다.
본 발명의 몇몇의 실시예에서, 상기 데이터 수신부는, 상기 센서 데이터를 미리 정해진 단위를 갖는 값들의 어레이(array) 형태의 가공 데이터로 가공하여 상기 데이터 컨테이너에 저장할 수 있다.
본 발명의 몇몇의 실시예에서, 상기 이벤트 정의부는, 상기 센서 데이터로부터 식별하고자 하는 객체의 외형에 관한 정의를 포함하는 객체 분석 정의를 생성하는 객체 분석 정의 모듈, 상기 객체 분석 정의에 의해 식별되는 객체를 추적하는 방식에 관한 정의를 포함하는 객체 추적 정의를 생성하는 객체 추적 정의 모듈, 상기 객체 추적 정의에 의해 추적되는 객체와 연관된 상황에 관한 정의를 포함하는 상황 분석 정의를 생성하는 상황 분석 정의 모듈 및 상기 객체 분석 정의, 상기 객체 추적 정의 및 상기 상황 분석 정의를 이용하여, 상기 센서 데이터로부터 객체 및 상황을 인식하기 위한 프로세스를 정의하는 이벤트 플로우 정보를 생성하는 상황 처리 정의 모듈을 포함할 수 있다.
본 발명의 몇몇의 실시예에서, 상기 미리 정의된 동작은, 상기 객체 및 상황 인지 시스템의 내부 또는 외부에 구비된 출력 장치에 상기 분석 결과 데이터에 따라 미리 정의된 메시지를 전송하는 동작을 포함할 수 있다.
본 발명의 몇몇의 실시예에서, 상기 미리 정의된 동작은, 상기 객체 및 상황 인지 시스템의 내부 또는 외부에 구비된 데이터베이스에 상기 분석 결과 데이터를 기록하는 동작을 포함할 수 있다.
상기 기술적 과제를 달성하기 위한 본 발명의 일 실시예에 따른 객체 및 상황 인지 방법은, 관찰 영역에서 동작하는 깊이 센서(depth sensor)로부터 센서 데이터를 수신하여 데이터 컨테이너에 저장하는 단계; 상기 센서 데이터를 이용하여 상기 관찰 영역의 객체 및 상황을 인식하기 위한 프로세스를 정의하는 단계; 상기 이벤트 플로우 정보에 따라 상기 데이터 컨테이너에 저장된 상기 센서 데이터를 분석하여, 상기 관찰 영역에서 객체를 식별하고 상기 객체와 연관된 상황을 분석한 분석 결과 데이터를 생성하는 단계; 및 상기 분석 결과 데이터에 따라 미리 정의된 동작을 수행하는 단계를 포함한다.
본 발명의 몇몇의 실시예에서, 상기 데이터 컨테이너에 저장하는 단계는 상기 센서 데이터를 미리 정해진 단위를 갖는 값들의 어레이(array) 형태의 가공 데이터로 가공하여 상기 데이터 컨테이너에 저장하는 단계를 포함할 수 있다.
본 발명의 몇몇의 실시예에서, 상기 프로세스를 정의하는 단계는, 상기 센서 데이터로부터 식별하고자 하는 객체의 외형에 관한 정의를 포함하는 객체 분석 정의를 생성하는 단계, 상기 객체 분석 정의에 의해 식별되는 객체를 추적하는 방식에 관한 정의를 포함하는 객체 추적 정의를 생성하는 단계, 상기 객체 추적 정의에 의해 추적되는 객체와 연관된 상황에 관한 정의를 포함하는 상황 분석 정의를 생성하는 단계 및 상기 객체 분석 정의, 상기 객체 추적 정의 및 상기 상황 분석 정의를 이용하여, 상기 센서 데이터로부터 객체 및 상황을 인식하기 위한 프로세스를 정의하는 이벤트 플로우 정보를 생성하는 단계를 포함할 수 있다.
본 발명의 몇몇의 실시예에서, 상기 분석 결과 데이터를 생성하는 단계는, 상기 이벤트 플로우 정보에 따라 상기 센서 데이터로부터 상기 객체를 식별하는 단계 및 상기 이벤트 플로우 정보에 따라 상기 식별된 객체를 추적하고, 상기 객체와 연관된 상황을 분석하는 단계를 포함할 수 있다.
본 발명의 몇몇의 실시예에서, 상기 분석 결과 데이터를 생성하는 단계는, 차분 기법 또는 GMM(gaussian mixture model) 기법을 이용하여 상기 센서 데이터로부터 전경 또는 배경을 분리하는 단계를 더 포함할 수 있다.
본 발명의 몇몇의 실시예에서, 상기 미리 정의된 동작은, 상기 객체 및 상황 인지 시스템의 내부 또는 외부에 구비된 출력 장치에 상기 분석 결과 데이터에 따라 미리 정의된 메시지를 전송하는 동작을 포함할 수 있다.
본 발명의 몇몇의 실시예에서, 상기 미리 정의된 동작은, 상기 객체 및 상황 인지 시스템의 내부 또는 외부에 구비된 데이터베이스에 상기 분석 결과 데이터를 기록하는 동작을 포함할 수 있다.
상기 기술적 과제를 달성하기 위한 본 발명의 일 실시예에 따른 컴퓨터 프로그램은, 컴퓨팅 장치와 결합하여, 관찰 영역에서 동작하는 깊이 센서(depth sensor)로부터 센서 데이터를 수신하여 데이터 컨테이너에 저장하는 단계; 상기 센서 데이터를 이용하여 상기 관찰 영역의 객체 및 상황을 인식하기 위한 프로세스를 정의하는 단계; 상기 이벤트 플로우 정보에 따라 상기 데이터 컨테이너에 저장된 상기 센서 데이터를 분석하여, 상기 관찰 영역에서 객체를 식별하고 상기 객체와 연관된 상황을 분석한 분석 결과 데이터를 생성하는 단계; 및 상기 분석 결과 데이터에 따라 미리 정의된 동작을 수행하는 단계를 실행시키기 위하여 컴퓨터로 판독 가능한 기록 매체에 저장된다.
기타 실시예들의 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.
도 1은 본 발명의 일 실시예에 따른 객체 및 상황 인지 시스템을 설명하기 위한 개략 구성도이다.
도 2는 본 발명의 일 실시예에 따른 객체 및 상황 인지 시스템을 설명하기 위한 개략도이다.
도 3은 본 발명의 일 실시예에 따른 객체 및 상황 인지 시스템의 데이터 수신부를 설명하기 위한 개략도이다.
도 4는 본 발명의 일 실시예에 따른 객체 및 상황 인지 시스템의 이벤트 정의부를 설명하기 위한 도면이다.
도 5는 본 발명의 일 실시예에 따른 객체 및 상황 인지 시스템의 데이터 분석부를 설명하기 위한 도면이다.
도 6은 본 발명의 일 실시예에 따른 객체 및 상황 인지 시스템의 데이터 분석부의 객체 분석 모듈을 설명하기 위한 도면이다.
도 7는 본 발명의 일 실시예에 따른 객체 및 상황 인지 시스템의 이벤트 처리부를 설명하기 위한 도면이다.
도 8 및 도 9는 본 발명의 일 실시예에 따른 객체 및 상황 인지 시스템의 동작례을 설명하기 위한 개략도이다.
도 10은 본 발명의 다른 실시예에 따른 객체 및 상황 인지 시스템을 설명하기 위한 개략도이다.
도 11은 본 발명의 또 다른 실시예에 따른 객체 및 상황 인지 시스템을 설명하기 위한 개략도이다.
도 12 및 도 13은 본 발명의 일 실시예에 따른 객체 및 상황 인지 방법을 설명하기 위한 순서도이다.
도 14는 본 발명의 또 다른 실시예에 따른 객체 및 상황 인지 시스템을 설명하기 위한 개략도이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다. 본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다.
도 1은 본 발명의 일 실시예에 따른 객체 및 상황 인지 시스템을 설명하기 위한 개략 구성도이다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 객체 및 상황 인지 시스템(100)은 관찰 영역(10)에서 동작하는 하나 이상의 깊이 센서(300, 310)와 함께 동작한다.
관찰 영역(100)은 하나 이상의 객체(20, 22, 24)를 포함한다. 본 발명의 몇몇의 실시예에서, 객체(20, 22, 24)는 깊이 센서(300, 310)에 의해 측정될 수 있는 위치와 외형을 갖는 모든 물체 또는 생명체를 포함한다. 예를 들어, 객체(20)는 접시와 같은 이동하지 않는 강성(rigid)의 물체일 수 있고, 객체(22)는 인간과 같이 이동할 수 있는 연성(flexible)의 생명체일 수 있다.
객체 및 상황 인지 시스템(100)은 하나 이상의 프로세서를 구비한 컴퓨팅 장치일 수 있다. 본 발명의 몇몇의 실시예에서, 객체 및 상황 인지 시스템(100)은 개인용 컴퓨터, 서버, 범용 컴퓨터, 특수 목적용 컴퓨터, 휴대용 컴퓨터 등 다양한 컴퓨팅 장치로 구현될 수 있으나, 본 발명의 범위가 이에 제한되는 것은 아니다.
본 실시예에서, 객체 및 상황 인지 시스템(100)은 네트워크(200)를 통해 하나 이상의 깊이 센서(300, 310)로부터 센싱된 깊이 데이터, 즉 센서 데이터(30)를 수신할 수 있다. 본 발명의 몇몇의 실시예에서, 네트워크(200)는 LAN(Local Area Network), WAN(Wide Area Network) 등의 유선 네트워크, 또는 WiFi 네트워크, 셀룰러 네트워크 등의 무선 네트워크를 포함할 뿐 아니라, 컴퓨팅 장치 간 또는 컴퓨터 장치의 구성 요소간에, 예컨대, 케이블을 통해 직접 또는 간접으로 연결되는 임의의 커넥션을 모두 포함할 수 있다.
한편, 도 1과 달리, 본 발명의 몇몇의 실시예에서, 객체 및 상황 인지 시스템(100)은 센서 데이터(30)를 이미 저장하고 있는 스토리지 장치로부터 센서 데이터(30)를 제공받을 수도 있다. 또한, 이와 다르게, 객체 및 상황 인지 시스템(100)은 센서 데이터(30)를 처리 및 저장할 수 있는 다른 컴퓨팅 장치로부터 센서 데이터(30)를 제공받을 수도 있다.
도 2는 본 발명의 일 실시예에 따른 객체 및 상황 인지 시스템을 설명하기 위한 개략도이다.
도 2를 참조하면, 본 발명의 일 실시예에 따른 객체 및 상황 인지 시스템(100)은 데이터 수신부(110), 이벤트 정의부(120), 데이터 분석부(130) 및 이벤트 처리부(140)를 포함한다.
데이터 수신부(110)는 관찰 영역(10)에서 동작하는 깊이 센서(300)로부터 센서 데이터(30)를 수신하고, 이를 후술할 데이터 분석부(130)에 전달한다.
본 발명의 몇몇의 실시예에서, 데이터 수신부(110)는 관찰 영역(10)에서 동작하는 깊이 센서(300)로부터 센서 데이터(30)를 수신하자마자 바로 데이터 분석부(130)에 전달할 수도 있고, 이와 다르게 관찰 영역(10)에서 동작하는 깊이 센서(300)로부터 센서 데이터(30)를 도 3과 관련하여 상세하게 후술할 데이터 컨테이너(114)에 저장하고, 데이터 분석부(130)가 데이터 컨테이너(114)에 저장된 센서 데이터(30)를 리드(read)하는 방식으로 센서 데이터(30)를 전달할 수도 있다.
이벤트 정의부(120)는 후술할 데이터 분석부(130)가 센서 데이터(30)를 분석하여, 관찰 영역(10)에서 객체를 식별하고 객체와 연관된 상황을 분석하기 위해 필요한 다양한 정의들(definition)을 포함하는 정의 데이터(34)를 생성한다.
본 발명의 몇몇의 실시예에서, 정의 데이터(34)는 센서 데이터(30)를 이용하여 관찰 영역(10)으로부터 식별하고자 하는 객체의 외형, 예컨대 객체의 높이, 너비, 깊이, 형상 등에 관한 정의, 식별되는 객체를 추적하는 방식에 관한 정의, 추적되는 객체와 연관된 상황에 관한 정의, 이와 같은 정의들을 관찰 영역(10)의 객체 및 상황을 인식하기 위한 프로세스를 정의하는 이벤트 플로우(event flow) 정보 등을 포함할 수 있다.
데이터 분석부(130)는 이벤트 정의부(120)에서 생성된 정의 데이터(34)에 따라 센서 데이터(30)를 분석하여, 관찰 영역(10)에서 객체를 식별하고 객체와 연관된 상황을 분석한 분석 결과 데이터를 생성한다.
이벤트 처리부는(140)는 데이터 분석부(130)에서 생성된 분석 결과 데이터에 따라 미리 정의된 동작을 수행한다.
도 3은 본 발명의 일 실시예에 따른 객체 및 상황 인지 시스템의 데이터 수신부를 설명하기 위한 개략도이다.
도 3을 참조하면, 객체 및 상황 인지 시스템(100)의 데이터 수신부(110)는 데이터 수집 모듈(112) 및 데이터 컨테이너(114)를 포함한다.
데이터 수집 모듈(112)은 관찰 영역(10)에서 동작하는 깊이 센서(300)로부터 센서 데이터(30)를 수집한다. 또한, 데이터 수집 모듈(112)은 센서 데이터(300)를 미리 정해진 단위를 갖는 값들의 어레이(array) 형태의 가공 데이터(32)로 가공한다. 여기서 미리 정해진 단위는 m, cm, mm 등의 단위를 포함할 수 있으나, 본 발명의 범위가 이에 제한되는 것은 아니다.
본 발명의 몇몇의 실시예에서, 이와 같은 어레이는 2차원 어레이이고, 그 사이즈는 깊이 센서(300)의 해상도에 따라 결정될 수 있다. 예를 들어, 깊이 센서(300)의 해상도가 640 픽셀 x 480 픽셀인 경우, 어레이는 640 x 480 사이즈의 2차원 어레이일 수 있다.
한편, 데이터 수집 모듈(112)은 센서 데이터(30)를 수신하자마자 바로 데이터 분석부(130)에 전달할 수도 있고, 이와 다르게 센서 데이터(30)를 데이터 컨테이너(114)에 저장하고, 데이터 분석부(130)가 데이터 컨테이너(114)에 저장된 센서 데이터(30)를 리드(read)하는 방식으로 센서 데이터(30)를 전달할 수도 있다.
센서 데이터(30)를 수집하는 데이터 수신부(110)와 수집된 센서 데이터(30)를 처리하는 데이터 분석부(130) 사이에 데이터 컨테이너(114)를 둠으로써, 데이터 수신부(110)와 데이터 분석부(130) 사이의 성능 차이로 인한 센서 데이터(30)의 손실을 방지할 수 있다. 이하에서는 데이터 수집 모듈(112)이 센서 데이터(30)를 데이터 컨테이너(114)에 저장하는 방식으로 센서 데이터(30)를 데이터 분석부(130)에 전달한다는 가정 하에 설명을 하도록 한다.
도 4는 본 발명의 일 실시예에 따른 객체 및 상황 인지 시스템의 이벤트 정의부를 설명하기 위한 도면이다.
도 4를 참조하면, 객체 및 상황 인지 시스템(100)의 이벤트 정의부(120)는 객체 분석 정의 모듈(122), 객체 추적 정의 모듈(124), 상황 분석 정의 모듈(126) 및 상황 처리 정의 모듈(128)을 포함할 수 있다.
객체 분석 정의 모듈(122)은 센서 데이터로(30)부터 식별하고자 하는 객체의 외형에 관한 정의를 포함하는 객체 분석 정의를 생성한다. 본 발명의 몇몇의 실시예에서, 객체 분석 정의는 식별하고자 하는 객체의 높이, 너비, 깊이 및 형상 중 적어도 하나에 관한 정의를 포함할 수 있다. 또한, 객체 분석 정의는 식별하고자 하는 객체가 고정된 것인지 아니면 이동하는 것인지 여부에 대한 정의도 포함할 수 있다.
한편, 객체 분석 정의는 객체를 식별하기 전에 센서 데이터로(30)부터 전경 또는 배경을 분리하기 위한 기법을 정의할 수 있다. 본 발명의 몇몇의 실시예에서, 상기 기법은 차분 기법 또는 GMM(gaussian mixture model) 기법 등을 포함할 수 있다. 한편, 객체 분석 정의는 식별할 객체가 강성(rigid)인지 연성(flexible)인지 여부를 분석하기 위한 기법을 정의할 수 있다. 본 발명의 몇몇의 실시예에서, 상기 기법은 스켈레톤(Skeleton) 분석 기법 등을 포함할 수 있다. 한편, 객체 분석 정의는 객체 식별의 정확도를 높이기 위해 사용할 머신 러닝 기법을 정의할 수도 있다. 본 발명의 몇몇의 실시예에서, 상기 기법은 SVM(support vector machine) 또는 CNN(convolutional neural network)을 이용한 머신 러닝 기법을 포함할 수 있다.
객체 추적 정의 모듈(124)은 객체 분석 정의에 의해 식별되는 객체를 추적하는 방식에 관한 정의를 포함하는 객체 추적 정의를 생성한다. 본 발명의 몇몇의 실시예에서, 객체 추적 정의는 객체 분석 정의에 의해 식별되는 객체에 대한 추적 주기(현재 시점만 고려할 것인지 과거 시점부터 현재 시점까지 고려할 것인지 여부 포함), 추적 라이프타임(lifetime)(현재 존재하는 객체들만 고려할 것인지 과거에 존재했던 객체들까지 고려할 것인지 여부 포함) 및 추적에 이용되는 트래킹 기법 중 적어도 하나에 관한 정의를 포함할 수 있다. 본 발명의 몇몇의 실시예에서, 트래킹 기법은 평균 이동(mean shift) 기법, 캠 이동(cam shift) 기법, 특징점을 이용한 트래킹 기법 및 유클리드 거리(Euclidean distance)를 이용한 근접 트래킹 기법 중 적어도 하나를 포함할 수 있다.
상황 분석 정의 모듈(126)은 객체 추적 정의에 의해 추적되는 객체와 연관된 상황에 관한 정의를 포함하는 상황 분석 정의를 생성한다. 본 발명의 몇몇의 실시예에서, 상황 분석 정의는 관찰 영역(30)에 정의되는 하나 이상의 분석 영역에 관한 정의를 포함할 수 있다. 여기서 분석 영역은 하나 이상의 영역을 포함할 수 있고, 그 영역은 임의의 외형을 갖는 다각형으로 설정될 수 있다. 또한, 상황 분석 정의는 상황 인식 종류, 예컨대, 침입 상황, 탈출 상황 등에 대한 정의를 포함할 수 있다.
상황 처리 정의 모듈(128)은 객체 분석 정의, 객체 추적 정의 및 상황 분석 정의를 이용하여, 센서 데이터(30)로부터 객체 및 상황을 인식하기 위한 프로세스를 정의하는 이벤트 플로우 정보를 생성한다. 본 발명의 몇몇의 실시예에서, 이벤트 플로우 정보(34)는 관찰 영역(10)의 객체 및 상황을 인식하기 위한 프로세스를 흐름(flow)으로 정의한 것이다. 예를 들어, 이벤트 플로우 정보(34)는 "준비", "객체 인식", "객체 추적", "상황 분석", "결과 처리", "준비"의 사이클로 정의된 흐름을 포함할 수 있고, 이와 같은 흐름에는 특정 조건의 만족 여부에 따라 진행 여부를 달리 정의하는 조건이 부가될 수 있다.
객체 및 상황 인지 시스템(100)의 이벤트 정의부(120)는, 이와 같은 다양한 정의들을 포함하는 정의 데이터(34)를 생성할 수 있고, 정의 데이터(34)는 데이터 분석부(130)에 의해 관찰 영역(10)에서 객체를 식별하고 객체와 연관된 상황을 분석하기 위해 이용될 수 있다.
도 5는 본 발명의 일 실시예에 따른 객체 및 상황 인지 시스템의 데이터 분석부를 설명하기 위한 도면이고, 도 6은 본 발명의 일 실시예에 따른 객체 및 상황 인지 시스템의 데이터 분석부의 객체 분석 모듈을 설명하기 위한 도면이다.
도 5를 참조하면, 객체 및 상황 인지 시스템(100)의 데이터 분석부(130)는 데이터 처리 모듈(132), 객체 분석 모듈(134) 및 상황 분석 모듈(136)을 포함할 수 있다.
데이터 처리 모듈(132)은 객체 분석 모듈(134)이 데이터 수집 모듈(112)에 의해 어레이 형태로 가공된 가공 데이터(32)로부터 객체를 식별하기 전에, 정의 데이터(34)의 이벤트 플로우 정보에 따라 가공 데이터(32)로부터 전경 또는 배경을 분리할 수 있다. 본 발명의 몇몇의 실시예에서, 데이터 처리 모듈(132)은 정의 데이터(34)의 객체 분석 정의에 따라 차분 기법 또는 GMM(gaussian mixture model) 기법을 이용하여 가공 데이터(32)로부터 전경 또는 배경을 분리할 수 있다.
객체 분석 모듈(134)은 정의 데이터(34)의 이벤트 플로우 정보에 따라 가공 데이터(34)로부터 객체를 식별한다.
도 6을 참조하면, 객체 분석 모듈(134)은 기본 객체 분석 모듈(134a), 객체 종류 분석 모듈(134b), 머신 러닝 분석 모듈(134c)을 포함할 수 있다.
기본 객체 분석 모듈(134a)은 정의 데이터(34)의 객체 분석 정의에 따라, 예컨대 셰이프(shape) 분석 기법을 이용하여 객체의 외형을 분석할 수 있다.
객체 종류 분석 모듈(134b)은 정의 데이터(34)의 객체 분석 정의에 따라, 예컨대 스켈레톤(Skeleton) 분석 기법을 이용하여 객체의 강성 및 연성 여부를 분석할 수 있다.
머신 러닝 분석 모듈(134c)은 정의 데이터(34)의 객체 분석 정의에 따라, 예컨대 SVM(support vector machine) 또는 CNN(convolutional neural network)을 이용한 머신 러닝 기법을 이용하여 객체를 식별할 수 있다.
다시 도 5를 참조하면, 상황 분석 모듈(134)은 정의 데이터(34)의 이벤트 플로우 정보에 따라, 객체 분석 모듈(134)에서 식별된 객체를 추적하고, 추적된 객체와 연관된 상황을 분석한다.
데이터 분석부(130)는 이와 같은 방식으로 식별된 객체에 관한 정보 및 객체와 연관된 상황을 분석한 정보를 포함하는 결과 데이터(34)를 생성하여, 후술할 이벤트 처리부(140)에 전달한다.
도 7는 본 발명의 일 실시예에 따른 객체 및 상황 인지 시스템의 이벤트 처리부를 설명하기 위한 도면이다.
도 7을 참조하면, 객체 및 상황 인지 시스템(100)의 이벤트 처리부(140)는 메시지 처리 모듈(142) 및 DB 연계 모듈(144) 중 적어도 하나를 포함할 수 있다.
메시지 처리 모듈(142)은 데이터 분석부(130)로부터 생성된 결과 데이터(36)에 따라 객체 및 상황 인지 시스템(100)의 내부 또는 외부에 구비된 출력 장치(200)에 결과 데이터(36)에 따라 미리 정의된 메시지, 예컨대 경고 메시지를 전송할 수 있다.
DB 연계 모듈(144)은 데이터 분석부(130)로부터 생성된 결과 데이터(36)에 따라 객체 및 상황 인지 시스템(100)의 내부 또는 외부에 구비된 데이터베이스(210)에 결과 데이터(36)를 기록할 수 있다. 또한, 본 발명의 몇몇의 실시예에서, 데이터베이스(210)에는 감지 횟수와 같은 카운트 값이 기록될 수도 있다.
도 8 및 도 9는 본 발명의 일 실시예에 따른 객체 및 상황 인지 시스템의 동작례을 설명하기 위한 개략도이다. 이들 도면을 참조하여, 감시 영역(10) 내 이동 물체(20)의 침입 상황을 감시하는 방법을 설명하도록 한다.
데이터 수신부(110)의 경우, 깊이 센서(300)에서 데이터를 수신한다. 수신된 데이터는 mm 깊이 단위의 값을 가지는 2차원 배열 형태로 가공하여 데이터 컨테이너(114)로 이동된다. 본 실시예에서 수신하는 해상도 및 변환할 2차원 배열은 640 x 480의 크기를 가질 수 있다.
이벤트 정의부(120)는 먼저 객체 추출 방법을 결정하고, 물체의 크기를 지정한다. 본 실시예에서, 해당 물체는 높이와 크기를 만족하면 추출하는 객체로 가정한다. 또한 이벤트 정의부(120)는 높이와 크기의 상/하한 값을 설정한다. 높이는 깊이 정보(depth), 크기는 사각형 정보를 가진다. 이동하는 물체를 감지하기 위하여 전경 추출로 GMM(gaussian mixture model)을 사용한다. 추출 방법은 셰이프(Shape) 분석 기법을 사용하여 형태 정보를 분석한다.
또한, 이벤트 정의부(120)는 객체의 추적 방법을 결정한다. 본 실시 예에서는 해당 시점의 객체가 있는지 여부만 판단한다. 즉, 현재 존재하는 객체만 분석한다. 분석 방법은 유클리드 거리(Euclidean distance) 또는 유사한 방법을 이용한 근접 추적 방법을 사용한다.
또한, 이벤트 정의부(120)는 객체 상황인식 종류를 결정한다. 본 실시 예에서는 움직이는 물체(20)의 침입 상황을 감지하는 것이기 때문에 상황 인식 종류는 침입 상황 감지에 한정한다. 분석 영역은 배열 크기 전체(640x480)영역으로 설정하며, 감지 조건으로 중앙(320,240)에 한 개의 침입 감지 위치(40)를 설정한다.
또한, 이벤트 정의부(120)는 이벤트 흐름 및 결과 처리방법을 결정한다. 예를 들어, 이벤트 흐름은, "A | 객체추출 -> Y | 객체존재 -> Y | 추적된 객체존재 -> Y | 침입상황감지 -> A | 결과"와 같은 흐름으로 표현될 수 있다. 이벤트 결과는 DB에 침입 감지 카운트 값을 저장하는 것으로 한다.
데이터 분석부(130)는, 이벤트 정의부(120)에서 설정된 이벤트 흐름(사이클)에 따라 데이터를 분석한다. 데이터 컨테이너(114)에서 가공된 데이터를 취득하여 객체 인식 -> 객체 추적 -> 상황분석 -> 결과 처리의 프로세스를 따른다. 물체로 인식되어 추출된 객체가 하나 존재하며 침입 감지 위치(40)는 점 형태일 경우, 해당 객체가 감지 위치에 자리할 경우 침입 상황인 것으로 간주하고 결과 데이터(36)를 이벤트 처리부로 전달한다.
이벤트 처리부(140)는 데이터 분석부(130)로부터 전달받은 결과를 설정된 DB(210)의 테이블에 카운트 값으로 입력한다. 다른 실시 예로, 객체의 계수 등을 구현할 수도 있다.
도 10은 본 발명의 다른 실시예에 따른 객체 및 상황 인지 시스템을 설명하기 위한 개략도이다.
도 10을 참조하면, 도 2의 실시예와 달리, 본 발명의 다른 실시예에 따른 객체 및 상황 인지 시스템(102)은 이벤트 정의부(120), 데이터 분석부(130) 및 이벤트 처리부(140)를 포함한다는 점이다.
도 2의 실시예와는 달리, 데이터 수신부(110a)는 관찰 영역(10)의 제1 위치에서 동작하는 제1 깊이 센서(300)와 함께, 그리고 데이터 수신부(110b)는 관찰 영역(10)의 제2 위치에서 동작하는 제2 깊이 센서(310)와 함께, 객체 및 상황 인지 시스템(102)의 외부에 구현된다.
데이터 분석부(130)는 제1 깊이 센서(300)로부터 데이터 수신부(110a)를 거쳐 제1 데이터를 수신하고, 또한, 제2 깊이 센서(310)로부터 데이터 수신부(110b)를 거쳐 제2 데이터를 수신한다. 그리고 데이터 분석부(130)는 제1 데이터 및 제2 데이터를 분석하여, 관찰 영역(10)에서 객체를 식별하고 객체와 연관된 상황을 분석한 분석 결과 데이터를 생성한다.
도 11은 본 발명의 또 다른 실시예에 따른 객체 및 상황 인지 시스템을 설명하기 위한 개략도이다.
도 11을 참조하면, 도 2의 실시예와 달리, 본 발명의 다른 실시예에 따른 객체 및 상황 인지 시스템은 분산 데이터 분석부(132)를 포함한다.
분산 데이터 분석부(132)는 데이터 수신부(110)에 의해 데이터 컨테이너(114)에 저장된 센서 데이터(30)(또는 가공 데이터(32)) 및 이벤트 정의부(120)에 의해 생성된 정의 데이터(34)를 분산 처리 시스템에 제공한다. 또한, 분산 데이터 분석부(132)는 분산 처리 시스템이 객체 및 상황 인식 작업을 완료한 경우 그 분석 결과 데이터를 수신한다. 이와 같이 분석 위치를 분산화함으로써 분석 알고리즘의 운용 및 분석 방법을 다양화할 수 있다.
도 12 및 도 13은 본 발명의 일 실시예에 따른 객체 및 상황 인지 방법을 설명하기 위한 순서도이다.
도 12를 참조하면, 본 발명의 일 실시예에 따른 객체 및 상황 인지 방법은, 관찰 영역에서 동작하는 깊이 센서로부터 센서 데이터를 수신 및 가공하여 데이터 컨테이너에 저장하는 단계(S1201)를 포함한다.
다음으로, 상기 방법은, 객체의 추출 방법을 결정하기 위한, 센서 데이터로부터 식별하고자 하는 객체의 외형에 관한 정의를 포함하는 객체 분석 정의를 생성하는 단계(S1203), 객체의 추적 방법을 결정하기 위한, 객체 분석 정의에 의해 식별되는 객체를 추적하는 방식에 관한 정의를 포함하는 객체 추적 정의를 생성하는 단계(S1205), 및 객체와 연관된 상황을 정의하는 상황 분석 정의 및 객체 분석 정의, 객체 추적 정의 및 상황 분석 정의를 이용하여, 센서 데이터로부터 객체 및 상황을 인식하기 위한 프로세스를 정의하는 이벤트 플로우 정보를 생성하여, 결과 처리 방법을 결정하는 단계(S207)를 포함한다.
다음으로, 상기 방법은, 이벤트 플로우 정보에 따라 데이터 컨테이너에 저장된 센서 데이터를 분석하여, 관찰 영역에서 객체를 식별하고 객체와 연관된 상황을 분석한 분석 결과 데이터를 생성하는 단계(S1209) 및 분석 결과 데이터에 따라 미리 정의된 동작을 수행하는 단계(S1211)를 포함한다.
도 13을 참조하면, 도 12의 단계(S1209)는, 이벤트 플로우 정보에 따라 센서 데이터로부터 객체를 식별하는 단계(S1301) 및 이벤트 플로우 정보에 따라 식별된 객체를 추적(S1303)하고, 객체와 연관된 상황을 분석하는 단계(S1305)를 포함한다.
도 14는 본 발명의 또 다른 실시예에 따른 객체 및 상황 인지 시스템을 설명하기 위한 개략도이다.
도 14를 참조하면, 본 발명의 다른 실시예에 따른 객체 및 상황 인지 시스템(2)은 하나 이상의 프로세서(500), 네트워크 인터페이스(520), 스토리지(530), 및 프로세서(500)에 의하여 수행 되는 컴퓨터 프로그램이 로드(load)된 메모리(RAM)(510)를 포함할 수 있다. 프로세서(500), 네트워크 인터페이스(520), 스토리지(530) 및 메모리(510)는 버스(540)를 통하여 데이터를 송수신한다.
스토리지(530)는, 네트워크 인터페이스(520)를 통하여 객체 및 상황 분석 작업 중에 생성된 중간 데이터 및 결과 데이터(36) 등의 본 발명의 객체 및 상황 인지 방법을 수행하기 위해 요구되는 다양한 데이터들을 일시적으로 저장할 수 있다.
상기 컴퓨터 프로그램은 데이터 분석 소프트웨어(512) 및 가공 데이터(514)를 포함할 수 있다. 데이터 분석 소프트웨어(512)는 상술한 바와 같은 객체 및 상황 인지 방법을 프로세서(500) 상에서 실행시킬 수 있다.
본 발명의 다양한 실시예에 따른 객체 및 상황 인지 방법 및 시스템에 따르면, 1) 실시간으로 객체의 외적 유형(Shape) 및 내재적 유형(Rigid/Flexible)을 분류하고 계수할 수 있으며, 다양한 유형의 객체가 이동하는 상황을 인지하고 대응 할 수 있다. 2) 조도 및 색 등의 외부 영향 요인에 강건한 분석 환경확보가 가능하다. 3) 본 발명의 응용으로서 기존 설치된 CCTV등을 이용한 보안 감지기능과 융합하여 진입감지, 이동/고정 객체의 수를 확인, 주요 행동분석 등에 활용할 수 있다. 특히, 본 발명은 위와 같은 장점들을 통하여 상황인식의 정확성을 높이는 데에 기여할 수 있다.
이상 첨부된 도면을 참조하여 본 발명의 실시예들을 설명하였으나, 본 발명은 상기 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 제조될 수 있으며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다.

Claims (33)

  1. 관찰 영역에서 동작하는 깊이 센서(depth sensor)로부터 센서 데이터를 수신하여 데이터 컨테이너에 저장하는 데이터 수신부;
    상기 센서 데이터를 이용하여 상기 관찰 영역의 객체 및 상황을 인식하기 위한 프로세스를 정의하는 이벤트 플로우(event flow) 정보를 생성하는 이벤트 정의부;
    상기 이벤트 플로우 정보에 따라 상기 데이터 컨테이너에 저장된 상기 센서 데이터를 분석하여, 상기 관찰 영역에서 객체를 식별하고 상기 객체와 연관된 상황을 분석한 분석 결과 데이터를 생성하는 데이터 분석부; 및
    상기 분석 결과 데이터에 따라 미리 정의된 동작을 수행하는 이벤트 처리부를 포함하고,
    상기 데이터 수신부는, 상기 센서 데이터를 미리 정해진 단위를 갖는 값들의 2차원 어레이(array) 형태의 가공 데이터로 가공하여 상기 데이터 컨테이너에 저장하고,
    상기 2차원 어레이의 사이즈는 상기 깊이 센서의 해상도에 따라 결정되는,
    객체 및 상황 인지 시스템.
  2. 삭제
  3. 삭제
  4. 제1항에 있어서,
    상기 이벤트 정의부는,
    상기 센서 데이터로부터 식별하고자 하는 객체의 외형에 관한 정의를 포함하는 객체 분석 정의를 생성하는 객체 분석 정의 모듈,
    상기 객체 분석 정의에 의해 식별되는 객체를 추적하는 방식에 관한 정의를 포함하는 객체 추적 정의를 생성하는 객체 추적 정의 모듈,
    상기 객체 추적 정의에 의해 추적되는 객체와 연관된 상황에 관한 정의를 포함하는 상황 분석 정의를 생성하는 상황 분석 정의 모듈 및
    상기 객체 분석 정의, 상기 객체 추적 정의 및 상기 상황 분석 정의를 이용하여, 상기 센서 데이터로부터 객체 및 상황을 인식하기 위한 프로세스를 정의하는 이벤트 플로우 정보를 생성하는 상황 처리 정의 모듈을 포함하는
    객체 및 상황 인지 시스템.
  5. 제4항에 있어서,
    상기 객체 분석 정의는 상기 식별하고자 하는 객체의 높이, 너비, 깊이 및 형상 중 적어도 하나에 관한 정의를 포함하는
    객체 및 상황 인지 시스템.
  6. 제4항에 있어서,
    상기 객체 추적 정의는 상기 객체 분석 정의에 의해 식별되는 객체에 대한 추적 주기, 추적 라이프타임(lifetime) 및 추적에 이용되는 트래킹 기법 중 적어도 하나에 관한 정의를 포함하는
    객체 및 상황 인지 시스템.
  7. 제6항에 있어서,
    상기 트래킹 기법은 평균 이동(mean shift) 기법, 캠 이동(cam shift) 기법, 특징점을 이용한 트래킹 기법 및 유클리드 거리(Euclidean distance)를 이용한 근접 트래킹 기법 중 적어도 하나를 포함하는
    객체 및 상황 인지 시스템.
  8. 제4항에 있어서,
    상기 상황 분석 정의는 상기 관찰 영역에 정의되는 하나 이상의 분석 영역에 관한 정의를 포함하는
    객체 및 상황 인지 시스템.
  9. 제1항에 있어서,
    상기 데이터 분석부는,
    상기 이벤트 플로우 정보에 따라 상기 센서 데이터로부터 상기 객체를 식별하는 객체 분석 모듈 및
    상기 이벤트 플로우 정보에 따라 상기 식별된 객체를 추적하고, 상기 객체와 연관된 상황을 분석하는 상황 분석 모듈을 포함하는
    객체 및 상황 인지 시스템.
  10. 제9항에 있어서,
    상기 데이터 분석부는, 차분 기법 또는 GMM(gaussian mixture model) 기법을 이용하여 상기 센서 데이터로부터 전경 또는 배경을 분리하는 데이터 처리 모듈을 더 포함하는
    객체 및 상황 인지 시스템.
  11. 제9항에 있어서,
    상기 객체 분석 모듈은, 셰이프(shape) 분석 기법을 이용하여 상기 객체의 외형을 분석하는 기본 객체 분석 모듈을 더 포함하는
    객체 및 상황 인지 시스템.
  12. 제9항에 있어서,
    상기 객체 분석 모듈은, 스켈레톤(Skeleton) 분석 기법을 이용하여 상기 객체의 강성(rigid) 및 연성(flexible) 여부를 분석하는 객체 종류 분석 모듈을 더 포함하는
    객체 및 상황 인지 시스템.
  13. 제9항에 있어서,
    상기 객체 분석 모듈은, SVM(support vector machine) 또는 CNN(convolutional neural network)을 이용한 머신 러닝 기법을 이용하여 상기 객체를 식별하는 머신 러닝 분석 모듈을 더 포함하는
    객체 및 상황 인지 시스템.
  14. 제1항에 있어서,
    상기 미리 정의된 동작은, 상기 객체 및 상황 인지 시스템의 내부 또는 외부에 구비된 출력 장치에 상기 분석 결과 데이터에 따라 미리 정의된 메시지를 전송하는 동작을 포함하는
    객체 및 상황 인지 시스템.
  15. 제1항에 있어서,
    상기 미리 정의된 동작은, 상기 객체 및 상황 인지 시스템의 내부 또는 외부에 구비된 데이터베이스에 상기 분석 결과 데이터를 기록하는 동작을 포함하는
    객체 및 상황 인지 시스템.
  16. 관찰 영역의 제1 위치에서 동작하는 제1 깊이 센서(depth sensor)로부터 제1 데이터를 수신하고, 상기 제1 데이터를 미리 정해진 단위를 갖는 값들의 2차원 어레이(array) 형태의 가공 데이터로 가공하여 제1 데이터 컨테이너에 저장하는 제1 데이터 수신부;
    상기 관찰 영역의 상기 제1 위치와 다른 제2 위치에서 동작하는 제2 깊이 센서로부터 제2 데이터를 수신하고, 상기 제2 데이터를 상기 2차원 어레이 형태의 가공 데이터로 가공하여 제2 데이터 컨테이너에 저장하는 제2 데이터 수신부;
    상기 제1 데이터 및 상기 제2 데이터를 분석하여, 상기 관찰 영역에서 객체를 식별하고 상기 객체와 연관된 상황을 분석한 분석 결과 데이터를 생성하는 데이터 분석부;
    상기 제1 데이터 및 상기 제2 데이터를 이용하여 상기 관찰 영역의 객체 및 상황을 인식하기 위한 프로세스를 정의하는 이벤트 플로우(event flow) 정보를 생성하는 이벤트 정의부; 및
    상기 분석 결과 데이터에 따라 미리 정의된 동작을 수행하는 이벤트 처리부를 포함하고,
    상기 2차원 어레이의 사이즈는 상기 제1 깊이 센서 또는 상기 제2 깊이 센서의 해상도에 따라 결정되는,
    객체 및 상황 인지 시스템.
  17. 제16항에 있어서,
    상기 데이터 분석부는,
    상기 이벤트 플로우 정보에 따라 상기 제1 데이터 및 상기 제2 데이터로부터 상기 객체를 식별하는 객체 분석 모듈 및
    상기 이벤트 플로우 정보에 따라 상기 식별된 객체를 추적하고, 상기 객체와 연관된 상황을 분석하는 상황 분석 모듈을 포함하는
    객체 및 상황 인지 시스템.
  18. 제16항에 있어서,
    상기 이벤트 정의부는,
    상기 제1 데이터 및 상기 제2 데이터로부터 식별하고자 하는 객체의 외형에 관한 정의를 포함하는 객체 분석 정의를 생성하는 객체 분석 정의 모듈,
    상기 객체 분석 정의에 의해 식별되는 객체를 추적하는 방식에 관한 정의를 포함하는 객체 추적 정의를 생성하는 객체 추적 정의 모듈,
    상기 객체 추적 정의에 의해 추적되는 객체와 연관된 상황에 관한 정의를 포함하는 상황 분석 정의를 생성하는 상황 분석 정의 모듈 및
    상기 객체 분석 정의, 상기 객체 추적 정의 및 상기 상황 분석 정의를 이용하여, 상기 제1 데이터 및 상기 제2 데이터로부터 객체 및 상황을 인식하기 위한 프로세스를 정의하는 이벤트 플로우 정보를 생성하는 상황 처리 정의 모듈을 포함하는
    객체 및 상황 인지 시스템.
  19. 제16항에 있어서,
    상기 미리 정의된 동작은, 상기 객체 및 상황 인지 시스템의 내부 또는 외부에 구비된 출력 장치에 상기 분석 결과 데이터에 따라 미리 정의된 메시지를 전송하는 동작을 포함하는
    객체 및 상황 인지 시스템.
  20. 제16항에 있어서,
    상기 미리 정의된 동작은, 상기 객체 및 상황 인지 시스템의 내부 또는 외부에 구비된 데이터베이스에 상기 분석 결과 데이터를 기록하는 동작을 포함하는
    객체 및 상황 인지 시스템.
  21. 관찰 영역에서 동작하는 깊이 센서(depth sensor)로부터 센서 데이터를 수신하여 데이터 컨테이너에 저장하는 데이터 수신부;
    상기 센서 데이터를 이용하여 상기 관찰 영역의 객체 및 상황을 인식하기 위한 프로세스를 정의하는 이벤트 플로우(event flow) 정보를 생성하는 이벤트 정의부;
    상기 이벤트 플로우 정보 및 상기 센서 데이터를 분산 처리 시스템에 제공하고, 상기 분산 처리 시스템으로부터 분석 결과 데이터를 수신하는 데이터 분석부; 및
    상기 분석 결과 데이터에 따라 미리 정의된 동작을 수행하는 이벤트 처리부를 포함하고,
    상기 분석 결과 데이터는, 상기 센서 데이터가 상기 이벤트 플로우 정보에 따라 분석되어 상기 관찰 영역에서 객체를 식별하고 상기 객체와 연관된 상황을 분석한 데이터를 포함하고,
    상기 데이터 수신부는, 상기 센서 데이터를 미리 정해진 단위를 갖는 값들의 2차원 어레이(array) 형태의 가공 데이터로 가공하여 상기 데이터 컨테이너에 저장하고,
    상기 2차원 어레이의 사이즈는 상기 깊이 센서의 해상도에 따라 결정되는,
    객체 및 상황 인지 시스템.
  22. 삭제
  23. 제21항에 있어서,
    상기 이벤트 정의부는,
    상기 센서 데이터로부터 식별하고자 하는 객체의 외형에 관한 정의를 포함하는 객체 분석 정의를 생성하는 객체 분석 정의 모듈,
    상기 객체 분석 정의에 의해 식별되는 객체를 추적하는 방식에 관한 정의를 포함하는 객체 추적 정의를 생성하는 객체 추적 정의 모듈,
    상기 객체 추적 정의에 의해 추적되는 객체와 연관된 상황에 관한 정의를 포함하는 상황 분석 정의를 생성하는 상황 분석 정의 모듈 및
    상기 객체 분석 정의, 상기 객체 추적 정의 및 상기 상황 분석 정의를 이용하여, 상기 센서 데이터로부터 객체 및 상황을 인식하기 위한 프로세스를 정의하는 이벤트 플로우 정보를 생성하는 상황 처리 정의 모듈을 포함하는
    객체 및 상황 인지 시스템.
  24. 제21항에 있어서,
    상기 미리 정의된 동작은, 상기 객체 및 상황 인지 시스템의 내부 또는 외부에 구비된 출력 장치에 상기 분석 결과 데이터에 따라 미리 정의된 메시지를 전송하는 동작을 포함하는
    객체 및 상황 인지 시스템.
  25. 제21항에 있어서,
    상기 미리 정의된 동작은, 상기 객체 및 상황 인지 시스템의 내부 또는 외부에 구비된 데이터베이스에 상기 분석 결과 데이터를 기록하는 동작을 포함하는
    객체 및 상황 인지 시스템.
  26. 관찰 영역에서 동작하는 깊이 센서(depth sensor)로부터 센서 데이터를 수신하여 데이터 컨테이너에 저장하는 단계;
    상기 센서 데이터를 이용하여 상기 관찰 영역의 객체 및 상황을 인식하기 위한 프로세스를 정의하는 이벤트 플로우 정보를 생성하는 단계;
    상기 이벤트 플로우 정보에 따라 상기 데이터 컨테이너에 저장된 상기 센서 데이터를 분석하여, 상기 관찰 영역에서 객체를 식별하고 상기 객체와 연관된 상황을 분석한 분석 결과 데이터를 생성하는 단계; 및
    상기 분석 결과 데이터에 따라 미리 정의된 동작을 수행하는 단계를 포함하고,
    상기 저장하는 단계는, 상기 센서 데이터를 미리 정해진 단위를 갖는 값들의 2차원 어레이(array) 형태의 가공 데이터로 가공하여 상기 데이터 컨테이너에 저장하는 단계를 포함하고,
    상기 2차원 어레이의 사이즈는 상기 깊이 센서의 해상도에 따라 결정되는,
    객체 및 상황 인지 방법.
  27. 삭제
  28. 제26항에 있어서,
    상기 프로세스를 정의하는 단계는,
    상기 센서 데이터로부터 식별하고자 하는 객체의 외형에 관한 정의를 포함하는 객체 분석 정의를 생성하는 단계,
    상기 객체 분석 정의에 의해 식별되는 객체를 추적하는 방식에 관한 정의를 포함하는 객체 추적 정의를 생성하는 단계,
    상기 객체 추적 정의에 의해 추적되는 객체와 연관된 상황에 관한 정의를 포함하는 상황 분석 정의를 생성하는 단계 및
    상기 객체 분석 정의, 상기 객체 추적 정의 및 상기 상황 분석 정의를 이용하여, 상기 센서 데이터로부터 객체 및 상황을 인식하기 위한 프로세스를 정의하는 이벤트 플로우 정보를 생성하는 단계를 포함하는
    객체 및 상황 인지 방법.
  29. 제26항에 있어서,
    상기 분석 결과 데이터를 생성하는 단계는,
    상기 이벤트 플로우 정보에 따라 상기 센서 데이터로부터 상기 객체를 식별하는 단계 및
    상기 이벤트 플로우 정보에 따라 상기 식별된 객체를 추적하고, 상기 객체와 연관된 상황을 분석하는 단계를 포함하는
    객체 및 상황 인지 방법.
  30. 제29항에 있어서,
    상기 분석 결과 데이터를 생성하는 단계는,
    차분 기법 또는 GMM(gaussian mixture model) 기법을 이용하여 상기 센서 데이터로부터 전경 또는 배경을 분리하는 단계를 더 포함하는 객체 및 상황 인지 방법.
  31. 제26항에 있어서,
    상기 미리 정의된 동작은, 상기 객체 및 상황 인지 시스템의 내부 또는 외부에 구비된 출력 장치에 상기 분석 결과 데이터에 따라 미리 정의된 메시지를 전송하는 동작을 포함하는
    객체 및 상황 인지 방법.
  32. 제26항에 있어서,
    상기 미리 정의된 동작은, 상기 객체 및 상황 인지 시스템의 내부 또는 외부에 구비된 데이터베이스에 상기 분석 결과 데이터를 기록하는 동작을 포함하는
    객체 및 상황 인지 방법.
  33. 컴퓨팅 장치와 결합하여,
    관찰 영역에서 동작하는 깊이 센서(depth sensor)로부터 센서 데이터를 수신하여 데이터 컨테이너에 저장하는 단계;
    상기 센서 데이터를 이용하여 상기 관찰 영역의 객체 및 상황을 인식하기 위한 프로세스를 정의하는 이벤트 플로우 정보를 생성하는 단계;
    상기 이벤트 플로우 정보에 따라 상기 데이터 컨테이너에 저장된 상기 센서 데이터를 분석하여, 상기 관찰 영역에서 객체를 식별하고 상기 객체와 연관된 상황을 분석한 분석 결과 데이터를 생성하는 단계; 및
    상기 분석 결과 데이터에 따라 미리 정의된 동작을 수행하는 단계를 실행시키기 위하여 컴퓨터로 판독 가능한 기록 매체에 저장되되,
    상기 저장하는 단계는, 상기 센서 데이터를 미리 정해진 단위를 갖는 값들의 2차원 어레이(array) 형태의 가공 데이터로 가공하여 상기 데이터 컨테이너에 저장하는 단계를 포함하고,
    상기 2차원 어레이의 사이즈는 상기 깊이 센서의 해상도에 따라 결정되는 것인,
    컴퓨터 프로그램.
KR1020150154231A 2015-10-23 2015-11-04 객체 및 상황 인지 방법 및 시스템 KR102316799B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020150148103 2015-10-23
KR20150148103 2015-10-23

Publications (2)

Publication Number Publication Date
KR20170048108A KR20170048108A (ko) 2017-05-08
KR102316799B1 true KR102316799B1 (ko) 2021-10-25

Family

ID=60164058

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150154231A KR102316799B1 (ko) 2015-10-23 2015-11-04 객체 및 상황 인지 방법 및 시스템

Country Status (1)

Country Link
KR (1) KR102316799B1 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101877294B1 (ko) * 2018-01-16 2018-07-11 한국비전기술주식회사 객체, 영역 및 객체가 유발하는 이벤트의 유기적 관계를 기반으로 한 복수 개 기본행동패턴 정의를 통한 복합 상황 설정 및 자동 상황 인지가 가능한 지능형 방범 ｃｃｔｖ 시스템
US11423570B2 (en) 2018-12-26 2022-08-23 Intel Corporation Technologies for fusing data from multiple sensors to improve object detection, identification, and localization
KR102317628B1 (ko) 2019-07-04 2021-10-26 (주)넷비젼텔레콤 이벤트 태깅 기반 상황인지 방법 및 그 시스템

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101133924B1 (ko) * 2010-05-27 2012-04-16 박용헌 행동패턴 데이터베이스를 이용한 능동형 영상감시 시스템 및 그 방법
US8406470B2 (en) 2011-04-19 2013-03-26 Mitsubishi Electric Research Laboratories, Inc. Object detection in depth images
KR20150061745A (ko) * 2013-11-28 2015-06-05 (주) 임베디드 솔루션 적외선 방식 뎁스 카메라 기반의 독거노인 위급상황 감지 시스템
KR101644443B1 (ko) * 2014-02-05 2016-08-01 김세영 시공적 상황데이터를 이용한 경고 방법 및 시스템

Also Published As

Publication number Publication date
KR20170048108A (ko) 2017-05-08

Similar Documents

Publication Publication Date Title
CN108875833B (zh) 神经网络的训练方法、人脸识别方法及装置
US10672140B2 (en) Video monitoring method and video monitoring system
US11354901B2 (en) Activity recognition method and system
US10614310B2 (en) Behavior recognition
US11295139B2 (en) Human presence detection in edge devices
US9008365B2 (en) Systems and methods for pedestrian detection in images
CN102163290B (zh) 基于时空关联信息的多视角视频监控中异常事件建模方法
Shi et al. Real-time traffic light detection with adaptive background suppression filter
US20190362144A1 (en) Eyeball movement analysis method and device, and storage medium
US20160048726A1 (en) Three-Dimensional Hand Tracking Using Depth Sequences
CN108009466B (zh) 行人检测方法和装置
US20130170711A1 (en) Edge detection image capture and recognition system
CN109165685B (zh) 基于表情和动作的监狱服刑人员潜在性风险监测方法和系统
JP2013210968A (ja) 物体検出装置及びその方法、プログラム
CN109672863A (zh) 一种基于图像识别的施工人员安全装备智能监测方法
CN110728252B (zh) 一种应用于区域人员运动轨迹监控的人脸检测方法
JP6351243B2 (ja) 画像処理装置、画像処理方法
KR102316799B1 (ko) 객체 및 상황 인지 방법 및 시스템
JP2013206458A (ja) 画像における外観及びコンテキストに基づく物体分類
CN115862113A (zh) 陌生人异常识别方法、装置、设备及存储介质
JP7141518B2 (ja) 指静脈照合方法、装置、コンピュータ機器、及び記憶媒体
CN113313098B (zh) 视频处理方法、设备、系统及存储介质
Ngxande et al. Detecting inter-sectional accuracy differences in driver drowsiness detection algorithms
US20160140395A1 (en) Adaptive sampling for efficient analysis of ego-centric videos
CN114463779A (zh) 吸烟识别方法、装置、设备及存储介质

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant