KR101788269B1 - 이상 상황을 감지하는 장치 및 방법 - Google Patents

이상 상황을 감지하는 장치 및 방법 Download PDF

Info

Publication number
KR101788269B1
KR101788269B1 KR1020160049593A KR20160049593A KR101788269B1 KR 101788269 B1 KR101788269 B1 KR 101788269B1 KR 1020160049593 A KR1020160049593 A KR 1020160049593A KR 20160049593 A KR20160049593 A KR 20160049593A KR 101788269 B1 KR101788269 B1 KR 101788269B1
Authority
KR
South Korea
Prior art keywords
point
sensing
region
sensing device
count line
Prior art date
Application number
KR1020160049593A
Other languages
English (en)
Inventor
주진선
김휘준
최향숙
Original Assignee
주식회사 에스원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 에스원 filed Critical 주식회사 에스원
Priority to KR1020160049593A priority Critical patent/KR101788269B1/ko
Priority to US16/094,971 priority patent/US10853664B2/en
Priority to CN201680084843.1A priority patent/CN109076190B/zh
Priority to PCT/KR2016/007913 priority patent/WO2017183769A1/ko
Application granted granted Critical
Publication of KR101788269B1 publication Critical patent/KR101788269B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/188—Capturing isolated or intermittent images triggered by the occurrence of a predetermined event, e.g. an object reaching a predetermined position
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G06K9/00214—
    • G06K9/00248—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/53—Recognition of crowd images, e.g. recognition of crowd congestion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G06V20/653—Three-dimensional objects by matching three-dimensional models, e.g. conformal mapping of Riemann surfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/169—Holistic features and representations, i.e. based on the facial image taken as a whole
    • H04N13/0278—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/261—Image signal generators with monoscopic-to-stereoscopic image conversion
    • H04N13/268—Image signal generators with monoscopic-to-stereoscopic image conversion based on depth image-based rendering [DIBR]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/275—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals
    • H04N13/279—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals the virtual viewpoint locations being selected by the viewers or determined by tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps

Abstract

감지 장치의 감지 방법이 제공된다. 상기 감지 장치는, 카메라에 의해 획득되는 영상의 깊이 정보를 이용해, 상기 영상으로부터 적어도 하나의 객체를 검출한다. 상기 감지 장치는, 상기 적어도 하나의 객체의 머리 후보 영역과 3차원 머리 모델을 비교하는 3차원 머리 모델 매칭(head model matching)을 통해, 상기 적어도 하나의 객체가 사람인지를 식별한다. 그리고 상기 감지 장치는, 상기 적어도 하나의 객체가 사람으로 식별된 경우에, 상황 감지를 위한 특징을 상기 적어도 하나의 객체를 이용해 계산한다.

Description

이상 상황을 감지하는 장치 및 방법{METHOD AND APPARATUS FOR SENSING INNORMAL SITUATION}
본 발명은 3차원 영상 정보를 이용해 이상 상황을 감지하는 방법 및 장치에 관한 것이다.
영상 감시 장치로써 CCTV(closed circuit television) 시스템이 다양한 분야에 적용되고 있다. 기존의 감시 장치로써의 CCTV에서는 사람이 촬영 내용의 대부분을 AVR(analog video recorder), DVR(digital video recorder), NVR(network video recorder) 등을 통해 직접 확인하고, 이상 행동을 식별한다. 이로 인해, 많은 운영 인원이 필요하고, 운영 인원이 식별해야 할 객체나 행위를 놓치기 쉬웠다.
한 사람이 두 대 이상의 CCTV를 22분 이상 감시할 경우에, 중요 이벤트의 95% 이상을 감지하지 못한다는 연구 결과가 있다.
따라서 사람이 24시간 영상을 감시할 필요 없이 특정 물체나 사람의 행위를 자동으로 감지한 후 이를 사용자에게 알려주고 이상 행동에 맞는 빠른 대처를 수행할 수 있는 지능형 CCTV의 개발이 활발히 진행되고 있다.
최근에는 특정 공간(예, 매장 등)의 이동자 계수, 이동 경로 분석, 혼잡도 분석 등을 마케팅 자료로써 활용하려는 시도가 늘고 있다.
어린이집 잔류 아동 사망 사례(2012.02, 불이 꺼진 체육관에 홀로 방치된 여아 심장마비로 사망), 위험 작업장 단독 잔류 작업자 사망 사례(2015.07, 위험 작업장에서 규정을 위반하고 홀로 작업을 하던 작업자 사고 사망), 고층 빌딩 옥상 배회자 사망 사례(2015.01, 옥상에서 장시간 배회하던 사람 추락 사망) 등과 같은 사례에서와 같이, 잔류자 감지 기술이 필요하다.
한편, 이동자 계수, 혼잡도 분석, 및 잔류자 감지를 위해서, 적외선 센서 방식과 단일 카메라 방식이 주로 이용된다.
적외선 센서 방식은 감지 공간에 여러 개의 적외선 센서를 설치하고, 센서에 근접하는 사람 또는 물체의 거리를 측정하여 계수하는 방법이다. 적외선 센서 방식에서는, 빠르고 단순한 계수가 가능하다. 다만, 적외선 센서 방식에서는, 외란광에 의한 오계수가 빈번하게 나타나며 여러 센서에서 얻어진 데이터를 취합하기 위한 컨트롤러가 별도로 필요하다. 또한, 적외선 센서 방식에서는, 영상 데이터가 취득될 수 없기 때문에, 실보와 오보 구분 및 관리가 용이하지 않으며, 다수의 중첩된 인원을 분리하여 계수하는 것이 불가능하고, 사람과 물체의 구별이 어려워 계수의 정확성이 떨어진다.
단일 카메라 방식은 하나의 카메라를 통해 입력되는 영상을 처리하여 이동자를 계수하는 방법이다. 단일 카메라 방식에서는, 적용되는 영상처리 기법에 따라 그 성능은 조금씩 차이가 있다. 단일 카메라 방식은 색상 정보만을 사용하여 사람을 검출하고 특징을 추출하기 때문에, 주변 환경 변화(예, 조명의 변화, 그림자, 사물에 의해 영상이 가려짐 등)에 민감하게 반응하여 높은 오보율을 야기한다.
본 발명이 해결하고자 하는 과제는, 깊이 정보를 제공하는 3차원 카메라를 사용하여 이동자를 계수하고, 이동자 수를 기반으로 혼잡도 및 잔류자를 감지하는 방법 및 장치를 제공하는 것이다.
본 발명의 실시예에 따르면, 감지 장치의 감지 방법이 제공된다. 상기 감지 방법은, 카메라에 의해 획득되는 영상의 깊이 정보를 이용해, 상기 영상으로부터 적어도 하나의 객체를 검출하는 단계; 상기 적어도 하나의 객체의 머리 후보 영역과 3차원 머리 모델을 비교하는 3차원 머리 모델 매칭(head model matching)을 통해, 상기 적어도 하나의 객체가 사람인지를 식별하는 단계; 및 상기 적어도 하나의 객체가 사람으로 식별된 경우에, 상황 감지를 위한 특징을 상기 적어도 하나의 객체를 이용해 계산하는 단계를 포함한다.
상기 식별하는 단계는, 상기 적어도 하나의 객체의 픽셀들 중에서 상기 카메라를 기준으로 최소 깊이 값을 가지는 제1 픽셀과 상기 영상의 바닥 영역을 기준으로 최대 높이 값을 가지는 제2 픽셀 중 적어도 하나를 중심으로 하며 소정의 반지름을 가지는 원 영역을, 제1 머리 후보 영역으로 지정하는 단계를 포함할 수 있다.
상기 식별하는 단계는, 상기 적어도 하나의 객체의 전체 픽셀 수와 상기 제1 머리 후보 영역이 차지하는 픽셀 수 간의 비율이 제1 임계값 이하인 경우에, 상기 적어도 하나의 객체의 영역 중에서 상기 제1 머리 후보 영역을 제외한 나머지 영역을 구하는 단계; 상기 나머지 영역의 픽셀들 중에서 상기 카메라를 기준으로 최소 깊이 값을 가지는 제3 픽셀과 상기 바닥 영역을 기준으로 최대 높이 값을 가지는 제4 픽셀 중 적어도 하나를 추출하는 단계; 및 상기 제3 픽셀과 상기 제4 픽셀 중 적어도 하나를 중심으로 하며 소정의 반지름을 가지는 원 영역을, 제2 머리 후보 영역으로 지정하는 단계를 더 포함할 수 있다.
상기 식별하는 단계는, 소정의 깊이를 가지는 상기 3차원 머리 모델을 생성하는 단계; 및 상기 제1 머리 후보 영역과 상기 3차원 머리 모델 간의 바타차야 거리(Bhattacharyya distance)를 계산하는 단계를 더 포함할 수 있다.
상기 바타차야 거리를 계산하는 단계는, 상기 제1 머리 후보 영역과 상기 3차원 머리 모델에 깊이 기반의 히스토그램 투영(histogram projection)을 적용하여, 제1 히스토그램과 제2 히스토그램을 생성하는 단계; 및 상기 제1 히스토그램과 상기 제2 히스토그램을 이용해, 상기 바타차야 거리를 계산하는 단계를 포함할 수 있다.
상기 식별하는 단계는, 상기 바타차야 거리가 제1 임계값 이하인 경우에, 상기 적어도 하나의 객체 중 상기 제1 머리 후보 영역을 포함하는 객체를 사람으로 식별하는 단계를 더 포함할 수 있다.
상기 상황 감지를 위한 특징을 계산하는 단계는, 카운트 라인을 설정하는 단계; 상기 카운트 라인으로부터 소정의 거리만큼 떨어진 위치에 가상 카운트 라인을 설정하는 단계; 및 상기 적어도 하나의 객체의 중심점이 상기 카운트 라인과 상기 가상 카운트 라인을 통과하는 경우에, 이동자 수를 카운팅하는 단계를 포함할 수 있다.
상기 가상 카운트 라인은, 상기 카운트 라인으로부터 제1 방향으로 소정의 거리만큼 떨어진 위치에 설정된 제1 가상 카운트 라인과 상기 카운트 라인으로부터 상기 제1 방향의 반대인 제2 방향으로 소정의 거리만큼 떨어진 위치에 설정된 제2 가상 카운트 라인을 포함할 수 있다.
상기 카운팅하는 단계는, 상기 적어도 하나의 객체의 중심점이 상기 카운트 라인과 상기 제1 가상 카운트 라인을 순차적으로 통과하는 경우에, 상기 제1 방향의 이동자 수를 카운팅하는 단계; 및 상기 적어도 하나의 객체의 중심점이 상기 카운트 라인과 상기 제2 가상 카운트 라인을 순차적으로 통과하는 경우에, 상기 제2 방향의 이동자 수를 카운팅하는 단계를 포함할 수 있다.
상기 상황 감지를 위한 특징을 계산하는 단계는, 상기 제1 방향의 이동자 수와 상기 제2 방향의 이동자 수 간의 차이를 계산하는 단계; 상기 차이에 해당하는 잔류자의 잔류 시간을 측정하는 단계; 및 상기 잔류 시간이 제1 임계값 이상인 경우에, 알람을 발보하는 단계를 포함할 수 있다.
상기 상황 감지를 위한 특징을 계산하는 단계는, 상기 영상의 바닥 영역의 넓이인 제1 값을 계산하는 단계; 상기 적어도 하나의 객체의 너비인 제2 값을 계산하는 단계; 및 상기 제1 값과 상기 제2 값을 이용해, 혼잡도를 계산하는 단계를 포함할 수 있다.
상기 제1 값을 계산하는 단계는, 상기 바닥 영역 내에서 상기 카메라와 가장 가까운 제1 영역과 상기 카메라와 가장 먼 제2 영역을 구하는 단계; 상기 제1 영역의 지점들 중에서 가장 좌측 지점인 제1 지점과 가장 우측 지점인 제2 지점을 구하는 단계; 상기 제2 영역의 지점들 중에서 가장 좌측 지점인 제3 지점과 가장 우측 지점인 제4 지점을 구하는 단계; 및 상기 제1 지점, 상기 제2 지점, 상기 제3 지점, 및 상기 제4 지점을 이용해, 상기 바닥 영역의 가로 길이와 세로 길이를 계산하는 단계를 포함할 수 있다.
상기 상황 감지를 위한 특징을 계산하는 단계는, 상기 혼잡도가 제1 임계값 이상인 경우에, 군집 형성을 감지하는 단계를 더 포함할 수 있다.
상기 영상은 상기 영상의 바닥 영역으로부터 제1 높이만큼 떨어지며 상기 카메라로부터 제1 깊이만큼 떨어진 제1 영역을 포함할 수 있다.
상기 적어도 하나의 객체를 검출하는 단계는, 상기 제1 높이와 상기 제1 깊이에 기초해, 상기 제1 영역을 위한 제1 임계값을 계산하는 단계; 및 상기 영상의 배경 모델과 상기 제1 높이 간의 차이가 상기 제1 임계값 이상인 경우에, 상기 제1 영역을 객체로써 검출하는 단계를 포함할 수 있다.
또한 본 발명의 다른 실시예에 따르면, 감지 장치가 제공된다. 상기 감지 장치는, 카메라에 의해 획득되는 영상의 깊이 정보를 이용해, 적어도 하나의 객체를 검출하는 객체 검출부; 상기 적어도 하나의 객체의 머리 후보 영역과 3차원 머리 모델을 비교하여, 상기 적어도 하나의 객체가 타겟 타입의 객체인지를 식별하는 식별부; 및 상기 적어도 하나의 객체가 상기 타겟 타입 객체로 식별된 경우에, 상황 감지를 위한 특징을 상기 적어도 하나의 객체를 이용해 계산하는 인식 특징 계산부를 포함한다.
본 발명의 실시예에 따르면, 3차원 카메라를 사용함으로써, 감지 정확성을 향상시킬 수 있고 오보를 절감할 수 있다.
또한 본 발명의 실시예에 따르면, 3차원 카메라의 설치 위치에 관계 없이 감지 공간의 바닥 검출을 수행함으로써, 3차원 특징을 정확하게 추출할 수 있다.
또한 본 발명의 실시예에 따르면, 거리 정보 기반의 레이블링(labeling)을 사용함으로써, 겹쳐진 객체를 개별 객체로 정확하게 분리할 수 있다.
또한 본 발명의 실시예에 따르면, 3차원 머리 모델 매칭(3D head model matching)을 사용함으로써, 사람과 사물을 정확하게 식별할 수 있다.
또한 본 발명의 실시예에 따르면, 이동자 계수에서 분리 인식이 어려운 경우에도 분리 인식을 성공할 수 있다. 예를 들어, 본 발명의 실시예에 따르면, 어른이 아이를 안고 가는 경우에도, 아이와 어른 모두를 식별하고 계수할 수 있다. 다른 예를 들어, 본 발명의 실시예에 따르면, 사람이 짐을 들거나 끌고 가는 경우에도, 사람을 식별하고 계수할 수 있다.
또한 본 발명의 실시예에 따르면, 깊이 정보를 영상으로 구성함으로써, 영상 정보 활용이 어려운 민감한 장소에서도 감지가 가능하다. 예를 들어, 사우나, 탈의실 등 프라이버시 보장이 필요한 장소에도, 본 발명의 실시예에 따른 장치가 설치될 수 있다.
또한 본 발명의 실시예에 따르면, 색상 정보를 사용하지 않기 때문에, 조명 변화 및 환경 변화에도 강건하게 인식이 가능하다.
또한 본 발명의 실시예에 따르면, 이동자 계수 정보를 활용하여 잔류자를 감지함으로써, 사고 예방이 가능하다. 구체적으로 본 발명의 실시예에 따르면, 잔류자 감지가 필요한 공간에 추가적인 센서나 카메라를 설치하지 않더라도, 이동자 계수의 출입 시간을 활용하여 잔류자를 감지할 수 있다.
도 1은 본 발명의 실시예에 따른, 감지 장치를 나타내는 도면이다.
도 2는 본 발명의 실시예에 따른, 감지 장치의 감지 방법을 나타내는 도면이다.
도 3a 및 도 3b는 본 발명의 실시예에 따른, 깊이 영상을 나타내는 도면이다.
도 4는 본 발명의 실시예에 따른, 바닥 검출 결과를 나타내는 도면이다.
도 5는 본 발명의 실시예에 따른, 배경 학습 결과를 나타내는 도면이다.
도 6은 본 발명의 실시예에 따른, 배경 업데이트 결과를 나타내는 도면이다.
도 7은 본 발명의 실시예에 따른, 객체 검출 결과를 나타내는 도면이다.
도 8은 본 발명의 실시예에 따른, 레이블이 할당된 객체에 대한 상, 하, 좌, 우, 중심점, 깊이(거리)의 최소 및 최대 픽셀의 위치를 나타내는 도면이다.
도 9a, 도 9b, 및 도 9c는 본 발명의 실시예에 따른, 사람 식별 과정 중 머리 모델 생성 과정과 머리 후보 영역 지정 과정을 나타내는 도면이다.
도 10a는 본 발명의 실시예에 따른, 사람 식별 과정 중 매칭 스코어 계산 과정을 나타내는 도면이다.
도 10b는 본 발명의 실시예에 따른, 3차원 머리 모델 매칭 결과를 나타내는 도면이다.
도 11a는 본 발명의 실시예에 따른, 3차원 카메라(101a)가 천장에 설치된 경우에 카운트 라인 설정을 나타내는 도면이다.
도 11b는 본 발명의 실시예에 따른, 바닥 넓이를 계산하기 위한 특징을 추출하는 방법을 나타내는 도면이다.
도 11c는 본 발명의 실시예에 따른, 잔류자 감지 방법을 나타내는 도면이다.
도 12a는 본 발명의 실시예에 따른, 천장에 3차원 카메라가 설치된 경우에 혼잡도를 측정하는 방법을 나타내는 도면이다.
도 12b는 본 발명의 실시예에 따른, 벽면에 3차원 카메라가 설치된 경우에 혼잡도를 측정하는 방법을 나타내는 도면이다.
도 12c는 본 발명의 실시예에 따른, 천장에 3차원 카메라가 설치된 경우에 이동자를 계수하는 방법을 나타내는 도면이다.
도 12d는 본 발명의 실시예에 따른, 벽면에 3차원 카메라가 설치된 경우에 이동자를 계수하는 방법을 나타내는 도면이다.
도 12e는 본 발명의 실시예에 따른, 천장에 3차원 카메라가 설치된 경우에 잔류자를 감지하는 방법을 나타내는 도면이다.
도 12f는 본 발명의 실시예에 따른, 벽면에 3차원 카메라가 설치된 경우에 잔류자를 감지하는 방법을 나타내는 도면이다.
아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 다른 부분과 '연결'되어 있다고 할 때, 이는 '직접적으로 연결'되어 있는 경우뿐만 아니라, 그 중간에 다른 소자를 사이에 두고 '전기적으로 연결'되어 있는 경우도 포함한다.
명세서 및 청구범위 전체에서, 어떤 부분이 어떤 구성 요소를 '포함'한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것을 의미한다.
한편, 본 명세서에서, 'A 또는 B'는, 'A', 'B', 또는 'A와 B 모두'를 포함할 수 있다.
본 명세서에서 객체는 사람, 동물, 또는 물체를 지칭할 수 있다. 이하에서는 설명의 편의를 위해 객체가 사람인 경우를 가정하여 설명하지만, 본 발명의 권리 범위는 이에 한정되지는 않는다.
도 1은 본 발명의 실시예에 따른, 감지 장치(100)를 나타내는 도면이다. 그리고 도 2는 본 발명의 실시예에 따른, 감지 장치(100)의 감지 방법을 나타내는 도면이다.
감지 장치(100)는 깊이 영상 생성부(101), 좌표 변환부(102), 바닥 검출부(103), 배경 학습부(104), 객체 검출부(105), 객체 특징 추출부(106), 객체 추적부(107), 식별부(108), 인식 특징 계산부(109), 프로세서(120), 및 메모리(121)를 포함한다. 배경 학습부(104) 및 객체 검출부(105)는 검출기(detector)에 해당하고, 객체 특징 추출부(106) 및 객체 추적부(107)는 추적기(tracker)에 해당하고, 식별부(108) 및 인식 특징 계산부(109)는 인식기(recognizer)에 해당한다.
깊이 영상 생성부(101)는 3차원 카메라(101a)에 의해 획득된 깊이 정보(거리 정보)를 이용하여 깊이 영상을 생성한다(S101). 즉, 깊이 영상은 깊이 정보를 포함한다. 도 1에는 3차원 카메라(101a)가 깊이 영상 생성부(101)에 포함된 경우가 예시되어 있지만, 3차원 카메라(101a)는 감지 장치(100)와 구별되는 별도의 장치일 수도 있다. 3차원 카메라(101a)는 감시하고자 하는 감시 영역에 설치되며, 감시 영역의 영상을 촬영한다. 예를 들어, 3차원 카메라(101a)는 감시 영역의 천장이나 벽면에 설치될 수 있다. 3차원 카메라(101a)는 깊이 정보를 제공하는 TOF(time of flight) 카메라, 구조광 방식의 카메라, LRF(laser range finder) 센서 등을 통해 구현될 수 있다.
구체적으로, 도 3a에 예시된 바와 같이, 깊이 영상 생성부(101)는 3차원 카메라(101a)에 의해 획득되는 깊이 정보를 0~255 사이의 값으로 정규화하여, 그레이 스케일(gray scale) 영상으로 표현할 수 있다. 도 3a에는 0cm~10m의 깊이 범위(거리 범위)를 가지는 그레이 스케일 영상이 예시되어 있다.
도 3b에는 일반 영상(색상 영상)과 깊이 영상의 차이점이 예시되어 있다. 구체적으로 도 3b에서, (a)는 조명이 없는 경우의 일반 영상을 나타내고, (b)는 조명이 없는 경우의 깊이 영상을 나타낸다. 그리고 도 3b에서, (c)는 조명이 있는 경우의 일반 영상을 나타내고, (d)는 조명이 있는 경우의 깊이 영상을 나타낸다.
좌표 변환부(102)는 Z축에 대한 깊이 정보를 이용하여, 깊이 영상을 실세계 좌표(즉, 3차원 좌표)로 변환한다(S102). 구체적으로, 좌표 변환부(102)는 2차원 영상(색상 영상)과 3차원 깊이 영상을 정합하여, 2차원 영상의 좌표가 가지는 3차원 깊이 값을 추정할 수 있다. 3차원 카메라(101a)는 Z축에 대한 거리 정보(깊이 정보)만을 제공하므로, 좌표 변환부(102)는 아래의 수학식 1을 이용하여, 깊이 영상의 모든 픽셀을 3차원 좌표로 변환한다.
Figure 112016039126079-pat00001
수학식 1에서, Xrw는 X축의 실세계 좌표를, Yrw는 Y축의 실세계 좌표를, Zrw는 3차원 카메라(101a)에 의해 제공되는 거리(깊이)를 나타낸다. 수학식 1에서, W는 영상의 너비, H는 영상의 높이를 나타낸다. 수학식 1에서, X, Y는 영상의 2차원 픽셀 좌표를 나타내고, constx는
Figure 112016039126079-pat00002
이며, FovH는 3차원 카메라(101a)의 수평 화각을 나타낸다. 그리고 수학식 1에서, consty는
Figure 112016039126079-pat00003
이며, FovV는 3차원 카메라(101a)의 수직 화각을 나타낸다.
바닥 검출부(103)는 3차원 카메라(101a)에 의해 획득되는 깊이 정보를 이용해, 바닥 평면을 정의하고 바닥 영역을 검출한다(S103). 구체적으로, 바닥 검출부(103)는 소정의 초기 시간 동안에 좌표 변환부(102)로부터 전송되는 실세계 좌표(3차원 좌표)를 이용하여, 전체 영상에서 바닥 평면을 검출하고, 영상의 모든 픽셀에 대해서 평면 기준 거리 값을 계산한다. 여기서, 평면 기준 거리 값(d)은 모든 픽셀(3차원 좌표)이 바닥 평면으로부터 얼마나 떨어져 있는 지를 나타낸다. 바닥 영역 검출부(103)에 의해 검출된 바닥 평면의 정보는, 후술할 배경 모델 학습, 객체 검출, 그리고 객체 특징 추출 과정에서 사용될 수 있다. 바닥 검출부(103)는 아래의 수학식 2 내지 5를 이용하여 바닥 평면 및 평면 기준 거리 값을 계산한다.
Figure 112016039126079-pat00004
수학식 2에서, p1, p2, 및 p3는 평면을 지나는 세 점이다. 방법 M100 또는 방법 M101을 통해, p1, p2, 및 p3가 획득될 수 있다.
방법 M100은 p1, p2, 및 p3가 사용자에 의해 설정된 세 점의 실세계 좌표 값을 가지도록 한다.
방법 M101은 Yrw (3차원 카메라(101a)가 벽면에 설치된 경우) 또는 Zrw(3차원 카메라(101a)가 천장에 설치된 경우)이 최소값을 가지는 한 점을 선택하고, 상기 선택된 점을 중심으로 상, 하, 좌, 우 주변 5cm에서 탐색된 모든 Xrw, Yrw, Zrw을 누적하고, 상기 누적된 값의 평균을 구하고, 상기 평균을 p1으로 지정한다. 그리고 방법 M101은 p1의 z1 (3차원 카메라(101a)가 벽면에 설치된 경우) 또는 p1의 x1 (3차원 카메라(101a)가 천장에 설치된 경우)가 80cm 이상인 곳의 상, 하, 좌, 우 주변 50cm를 탐색하고, p1의 y1과의 차이가 임계치 이하인 한 점을 선택하고, 상기 선택된 점의 상, 하, 좌, 우 주변 5cm를 탐색하여 Xrw, Yrw, Zrw을 누적하고, 상기 누적된 값의 평균을 구하고, 상기 평균을 p2로 지정한다. 방법 M101은 p2를 구하는 방식과 동일한 방식으로 p3를 구한다.
즉, 방법 M101은 p1을, 3차원 좌표(실세계 좌표)에서 Yrw가 최소값을 가지는 한 점으로 정의한다. 방법 M101은 p2를, p1의 z1보다 80cm 이상인 곳의 상, 하, 좌, 우 주변으로 50cm를 탐색하여, p1의 y1과의 차이가 임계치 이하인 한 점으로 정의한다. 그리고, 방법 M101은 p3를, p2의 z2보다 80cm 이상인 곳의 상, 하, 좌, 우 주변으로 50cm를 탐색하여, p2의 y2와의 차이가 임계치 이하인 한 점으로 정의한다. 여기서, 80cm, 50cm, 5cm는 영상의 크기에 따라 임의로 설정되는 값으로, 영상의 크기에 따라 변경될 수 있다.
수학식 2의 세점(p1, p2, p3)을 이용하여, 아래의 수학식 3과 같은 평면 방정식이 구해질 수 있다.
Figure 112016039126079-pat00005
수학식 3은 p1, p2, p3이 지나는 평면을 나타낸다. 수학식 3에서, a, b, c는 평면 방적식의 계수를 나타내며, 아래의 수학식 4에 의해 구해질 수 있다.
Figure 112016039126079-pat00006
그리고 수학식 3에서 d는 평면 기준 거리 값을 나타내며, 바닥 영역의 세점(p1,p2,p3)에 대해서는 0의 값을 가질 수 있다. 이러한 평면 기준 거리 값(d)은 아래의 수학식 5와 같이 구해질 수 있다.
Figure 112016039126079-pat00007
수학식 5에서, realworldX, realworldY, 및 realworldZ 는 실세계 좌표(즉, 3차원 좌표)를 의미하며, ptPointX, ptPointY, 및 ptPointZ는 바닥 평면의 임의의 한점(예, p1, p2, 또는 p3)을 나타낸다. 따라서, 바닥 평면의 모든 픽셀을 수학식 5에 적용하면, 바닥 평면에 대한 평면 기준 거리 값(d)은 0이 될 수 있다.
수학식 3 또는 수학식 5에 의해 얻어진 평균 기준 거리 값(d)이 소정의 임계치(예, 3cm) 이하이면, 바닥 영역(바닥 평면)으로 간주될 수 있다. 바닥 영역으로 기준으로 하는 높이에 따른 깊이 영상이 생성될 수 있다.
도 4는 본 발명의 실시예에 따른, 바닥 검출 결과를 나타내는 도면이다.
구체적으로 도 4에서, (a)는 바닥 평면을 지나는 세점(p1, p2, p3)을 나타내고, (b)는 바닥 검출을 통해 검출된, d < 3cm 인 바닥 평면(FP1)을 나타내고, (c)는 바닥 검출 결과에 기반하는 깊이 영상을 나타낸다. (c)에는 바닥 평면(FP1)을 기준으로 0cm~5m의 높이 범위를 가지는 그레이 스케일 영상이 예시되어 있다. (c)에서 좌표가 바닥 평면(FP1)에 가까울수록 어두운 그레이 레벨(낮은 값)을 가진다.
배경 학습부(104)는 바닥 검출부(103)에 의해 검출된 바닥 영역을 기준으로 하는 높이 값을 누적하여, 배경 모델을 생성한다(S104). 구체적으로 배경 학습부(104)는 소정의 초기 시간(ta)(예, 10초) 동안에 영상의 영역 중 Zrw가 0인 영역을 배경 모델로써 누적하고, 그 이후 소정의 시간(t)(예, 30초) 동안에 영상의 영역 중 Zrw가 0이 아닌 영역에 대해 높이 값(바닥 영역 기준)을 누적 평균하여, 초기 배경 모델을 생성할 수 있다. 즉, 배경 학습부(104)는 바닥 영역 검출부(103)에 의해 계산된 각 픽셀의 평면 기준 거리 값(d)을 소정의 시간(t) 동안에 누적하여 평균 값을 계산하고, 이 평균 값을 초기 배경 모델로써 생성할 수 있다. 여기서, 소정의 시간(ta, t)는 3차원 카메라(101a)의 초기 구동 이후의 소정의 시간이며, 사용자에 의해 설정될 수 있다.
도 5는 본 발명의 실시예에 따른, 배경 학습 결과를 나타내는 도면이다. 구체적으로 도 5에서, (a)는 바닥 검출부(103)에 의해 검출된 바닥 영역(FP1)을 나타내고, (b)는 깊이 영상 생성부(101)에 의해 생성되며 깊이 정보(Z)를 포함하는 깊이 영상을 나타내고, (c)는 높이 영상(바닥 영역(FP1)을 기준으로 하는 평면 기준 거리 값(d))을 기반으로 하는 배경 모델을 나타낸다. (c)에서, Cbg1은 영상의 영역 중 Zrw가 0인 영역의 배경 모델을 나타내고, Cbg2는 영상의 영역 중 Zrw가 0이 아닌 영역의 배경 모델을 나타낸다.
한편, 후술하는 객체 검출 과정(배경 모델과 입력 영상을 비교)에 의해 객체가 검출된 경우에, 배경 학습부(104)는 영상의 영역 중 배경으로써 식별된 영역을 실시간으로 배경 모델에 업데이트한다. 또한, 후술하는 사람 식별 과정에 의해 비사람 객체(사람이 아닌 객체, 예, 물체)가 식별된 경우에, 배경 학습부(104)는 비사람 객체도 배경 모델에 업데이트한다.
도 6은 본 발명의 실시예에 따른, 배경 업데이트 결과를 나타내는 도면이다. 구체적으로 도 6에서, (a)는 비사람 객체의 식별 결과(1024 프레임)를 나타내고, (b)는 배경 학습부(104)가 비사람 객체를 배경 모델에 업데이트한 결과(1066 프레임)를 나타낸다.
도 6의 (a)에서, 1번째 영상은 입력된 색상 영상을 나타내고, 2번째 영상은 깊이 영상을 나타내고, 3번째 영상은 배경 모델을 나타내고, 4번째 영상은 검출된 객체(Ob1)를 나타내고, 5번째 영상은 레이블링이 적용된 객체(Ob1)를 나타낸다. 객체(Ob1)가 비사람 객체로 식별된 경우에, 배경 학습부(104)는 도 6의 (b)에 예시된 바와 같이, 객체(Ob1)를 배경 모델에 업데이트한다. 도 6의 (b)에서, 1번째 영상은 입력된 색상 영상을 나타내고, 2번째 영상은 깊이 영상을 나타내고, 3번째 영상은 배경 모델(객체(Ob1)가 배경 모델에 포함)을 나타내고, 4번째 영상은 객체 검출 영상(검출 객체 없음)을 나타내고, 5번째 영상은 레이블링 영상을 나타낸다.
객체 검출부(105)는 배경 학습부(104)에 의해 생성된 배경 모델을 이용해 배경과 전경을 구분한다(S105). 구체적으로, 객체 검출부(105)는 배경 모델과 현재 영상의 바닥 기준 높이 값(평면 기준 거리 값(d)) 간의 차이가 검출용 임계치 이상인 영역을 전경으로써 검출하고, 검출용 임계치 미만이면 배경으로써 검출할 수 있다. 여기서, 배경은 움직이지 않는 영역(예, 바닥, 벽면 등)을 의미하며, 전경은 객체(예, 사람, 동물, 물체 등)가 움직이는 영역을 의미한다.
검출용 임계치는 바닥 기준 높이 값과 3차원 카메라(101a)에 의해 획득되는 깊이 값(거리 값)에 따라 다른 값을 가질 수 있다. 즉, 바닥 기준 높이 값과 깊이 값(거리 값)이 검출용 임계치를 위한 가중치로써 사용될 수 있다. 예를 들어, 영상의 영역 중에서 바닥 영역으로부터 가깝고 3차원 카메라(101a)로부터 거리(깊이)가 가까운 영역(객체)일수록 해당 영역(객체)에는 작은 검출용 임계치가 적용되고, 바닥 영역으로부터 멀고 3차원 카메라(101a)로부터 거리(깊이)가 먼 영역(객체)일수록 해당 영역(객체)에는 큰 검출용 임계치가 적용될 수 있다. 객체 검출부(105)는 배경 모델과 특정 영역의 바닥 기준 높이 값 간의 차이가 해당 영역을 위한 검출용 임계치 이상인 경우에, 해당 영역을 객체로써 검출할 수 있다.
검출용 임계치는, 아래의 수학식 6과 같이 정의될 수 있다.
Figure 112016039126079-pat00008
수학식 6은, Dfloor가 θ 보다 크면 해당 영역은 전경(Foreground)에 해당하는 것을 나타낸다. 수학식 6에서, θ는 검출용 임계치를 나타내고, Dfloor는 현재 영상의 바닥 기준 높이 값(floor)과 배경 모델(Background model) 간의 차이를 나타내고, weighty는 바닥 기준 높이 값(floor)을 기초로 하는 가중치를 나타내고, weightz는 깊이 값(Zrw)을 기초로 하는 가중치를 나타낸다. 수학식 6에서, d는 2.5cm 인 것으로 가정하였으나, 다른 값으로 변경될 수 있다.
상술한 바와 같이, 객체 검출부(105)에 의해 배경으로 검출된 영역은, 배경 학습부(104)에 의해 실시간으로 배경 모델에 업데이트된다.
객체 검출부(105)는 전경으로 검출된 영역에 대해, 거리 기반 레이블링을 적용하여 노이즈를 제거하고 관심 객체만을 검출한다. 여기서, 거리 기반 레이블링은 전경으로 검출된 영역의 픽셀 값을 탐색하여, 인접한 픽셀 값은 동일한 객체로 판단하여 동일한 레이블(label)을 할당하는 것을 의미한다. 객체 검출부(105)는 검출 영상 결과의 인접한 픽셀 정보(객체의 픽셀 값)와 각 픽셀이 가지고 있는 3차원 실세계 좌표 값(Xrw, Yrw, Zrw)을 사용하여, 픽셀 간의 거리가 임계치 미만이면 해당 픽셀은 동일한 객체에 속하는 것으로 판단하여 동일한 레이블을 할당하고, 픽셀 간의 거리가 임계치 이상이면 해당 픽셀은 다른 객체에 속하는 것으로 판단하여 다른 레이블을 할당한다.
도 7은 본 발명의 실시예에 따른, 객체 검출 결과를 나타내는 도면이다.
도 7에서, (a)는 입력된 2차원 색상 영상을 나타내고, (b)는 깊이 영상 생성부(101)에 의해 생성된 3차원 깊이 영상을 나타내고, (c)는 객체 검출부(105)에 의해 검출된 전경(객체)를 나타내고, (d)는 객체 검출부(105)의 레이블링에 의해 최종적으로 검출된 객체를 나타낸다.
3차원 실세계 좌표값을 기반으로 하는 레이블링이 수행되는 경우에, 도 7의 (c)에서와 같이 두 객체의 픽셀들이 인접해 있더라도, 픽셀 거리 차이가 임계치 이상이기 때문에, 객체 검출부(105)는 도 7의 (d)에서와 같이 두 객체를 다른 객체로 판단하여 각각에 다른 레이블(예, ID:1, ID:2)을 할당한다. 따라서, 객체 검출부(105)는 두 명 이상이 일정 거리를 두고 붙어있을 경우에도, 각각을 개별 객체로 분리 검출할 수 있다.
하지만, 2차원 영상을 기반으로 하는 레이블링이 수행되는 경우에는, 도 7의 (c)에서와 같이 두 객체의 픽셀들이 인접해 있다면, 두 객체는 동일한 객체로 잘못 판단되어 두 객체에 동일한 하나의 레이블만이 할당된다.
객체 특징 추출부(106)는 객체 검출부(105)에 의해 레이블링된 객체의 3차원 특징(객체의 크기, 객체의 속도 등)을 계산한다(S106). 구체적으로, 객체 특징 추출부(106)는 객체의 상, 하, 좌, 우, 중심점, Zrw의 최대 및 최소 위치에 대한 2차원 픽셀 좌표와 3차원 실세계 좌표를 추출하고, 이를 이용해 소정 단위(예, cm)의 3차원 특징을 추출할 수 있다.
도 8은 본 발명의 실시예에 따른, 레이블(예, ID:0)이 할당된 객체에 대한 상, 하, 좌, 우, 중심점, 깊이(거리)의 최소 및 최대 픽셀의 위치를 나타내는 도면이다.
도 8에서, (a)는 3차원 카메라(101a)가 측면에 설치된 경우에 추출되는 객체 특징점을 나타내고, (b)는 3차원 카메라(101a)가 천장에 설치된 경우에 추출되는 객체 특징점을 나타낸다.
도 8의 (a)와 (b)에서, XMin은 X축 좌표의 최소 값 픽셀 위치를, XMax는 X축 좌표의 최대 값 픽셀 위치를 나타낸다. 도 8의 (a)와 (b)에서, YMin 및 YMax는 각각 Y축 좌표의 최소 값 픽셀 위치 및 최대 값 픽셀 위치를 나타내며, ZMin 및 ZMax는 각각 Z축 좌표의 최소 값 픽셀 위치 및 최대 값 픽셀 위치를 나타낸다. 그리고 도 8의 (a)와 (b)에서, CoM3d는 객체의 중심점에 대한 픽셀 위치를 나타낸다. 즉, 추출되는 객체 특징점은 아래의 표 1과 같다.
특징점 설명
YMax 검출된 객체의 이미지 좌표 중 가장 윗부분인 한 점 (i, j)
YMaxrw 검출된 객체의 실세계 좌표 중 가장 윗부분인 한 점 (Xrw, Yrw, Zrw)
YMin 검출된 객체의 이미지 좌표 중 가장 아랫부분인 한 점 (i, j)
YMinrw 검출된 객체의 실세계 좌표 중 가장 아랫부분인 한 점(Xrw, Yrw, Zrw)
XMax 검출된 객체의 이미지 좌표 중 가장 오른쪽에 있는 한 점(i, j)
XMaxrw 검출된 객체의 실세계 좌표 중 가장 오른쪽에 있는 한 점(Xrw, Yrw, Zrw)
XMin 검출된 객체의 이미지 좌표 중 가장 왼쪽에 있는 한 점(i, j)
XMinrw 검출된 객체의 실세계 좌표 중 가장 왼쪽에 있는 한 점(Xrw, Yrw, Zrw)
ZMin 검출된 객체의 실세계 좌표 중 가장 작은 한 점의 이미지 좌표 (i, j)
ZMinrw 검출된 객체의 실세계 좌표 중 가장 작은 한 점(Xrw, Yrw, Zrw)
ZMax 검출된 객체의 실세계 좌표 중 가장 큰 한 점의 이미지 좌표 (i, j)
ZMaxrw 검출된 객체의 실세계 좌표 중 가장 큰 한 점 (Xrw, Yrw, Zrw)
CoM2d 검출된 객체의 이미지 좌표 i, j의 중심점
CoM3d 검출된 객체의 실세계 좌표 Xrw, Yrw, Zrw의 중심점
객체 특징 추출부(106)는 3차원 실세계 좌표(Xrw, Yrw, Zrw)를 이용하여 아래의 표 2과 같이, 객체의 높이, 너비, 두께, 이동 속도 등 3차원 특징을 추출한다.
3차원 특징 내용
2차원 크기 검출 객체의 2차원 픽셀 개수
Area(i) = 레이블링된 객체에서 레이블이 i인 픽셀의 수 = n
3차원 크기 검출 객체의 2차원 픽셀 개수(n)에 거리 가중치를 적용
Area(i)z = n×CoM3Dz
2차원 중심점
Figure 112016039126079-pat00009

상기 수학식에서, Sum2d는 레이블링된 영역을 구성하는 픽셀의 이미지 가로축 좌표(yi)와 이미지 세로축 좌표(xi)의 누적 합을 나타내고, n은 검출 객체의 2차원 픽셀 개수를 나타냄
3차원 중심점
Figure 112016039126079-pat00010

상기 수학식에서, Sum3d는 레이블링된 영역을 구성하는 픽셀의 실세계 세로축 좌표(xrw), 실세계 가로축 좌표(yrw), 및 실세계 깊이축 좌표(zrw)의 누적 합을 나타내고, n은 검출 객체의 2차원 픽셀 개수를 나타냄
3차원 높이 - 3차원 카메라(101a)가 측면에 설치된 경우
Figure 112016039126079-pat00011

3차원 카메라(101a)가 측면에 설치된 경우에, 3D Height는 바닥을 기준으로 객체의 최상위점까지의 높이를 나타냄

- 3차원 카메라(101a)가 천장에 설치된 경우
Figure 112016039126079-pat00012

상기 수학식에서, vNormal.x,y,z는 바닥의 노멀(수학식 4의 a, b, c)의 좌표를 나타내고, ptPoint.x,y,z는 바닥의 한 점의 좌표를 나타내고, CoM3d.x,y,z는 3차원 중심점의 좌표를 나타내고, ZMin.x,y,z는 Z축 최소값 픽셀의 좌표를 나타내고, YMax.y는 객체의 최상위점을 나타냄
3차원 너비
Figure 112016039126079-pat00013
3차원 두께
Figure 112016039126079-pat00014
2차원 높이
Figure 112016039126079-pat00015
2차원 너비
Figure 112016039126079-pat00016
이동 속도
Figure 112016039126079-pat00017

상기 수학식에서, CoM3dx(t)와 CoM3dz (t) 각각은 현재 프레임의 중심점 x와 z를 나타내며, CoM3dx(t-1)와 CoM3dz (t-1) 각각은 1 프레임 전의 중심점 x와 z를 나타내고, FPS는 초당 처리되는 프레임 수를 나타냄
객체 추적부(107)는 객체 특징 추출부(106)에 의해 추출된 객체 특징에 대해서 실시간으로 추적한다(S107). 구체적으로, 객체 추적부(107)는 객체 특징 추출 결과를 이용해 객체의 움직임을 추적함으로써, 해당 객체에 동일한 ID를 할당할 수 있다. 즉, 객체 추적부(107)는 이전 프레임에서 검출된 객체의 특징점(예, YMax.xrw, YMax.yrw, YMax.zrw, YMin.xrw, YMin.yrw, YMin.zrw, CoM2d.x, CoM2d.y, CoM3d.x, CoM3d.y, CoM3d.z, speed 등)과 현재 프레임에서 검출된 객체의 특징점(예, YMax.xrw, YMax.yrw, YMax.zrw, YMin.xrw, YMin.yrw, YMin.zrw, CoM2d.x, CoM2d.y, CoM3d.x, CoM3d.y, CoM3d.z, speed 등)을 이용하여, 유클리드 거리(Euclidean distance)를 계산할 수 있다. 그리고 객체 추적부(107)는 계산된 유클리드 거리 값이 임계치 이내인 경우에는, 이전 프레임의 객체와 현재 프레임의 객체는 동일한 객체인 것으로 판단하고, 이전 프레임에서 해당 객체에 할당된 ID를 현재 프레임에서 해당 객체에 할당할 수 있다.
식별부(108)는 객체 추적부(107)에 의해 추적된 객체가 타겟 타입의 객체(예, 사람 객체)인지를, 3차원 머리 모델 매칭(head model matching)을 통해 식별한다(S108). 구체적으로, 식별부(108)는 추적된 객체 내에 사람의 머리가 존재하는지를 판단하여, 해당 객체가 사람인지를 식별할 수 있다. 객체가 사람으로 식별된 경우에, 해당 객체의 인식 특징이 계산되고, 객체가 사람으로 식별되지 않은 경우에, 해당 객체는 배경 모델로 업데이트된다.
식별부(108)의 사람 식별 과정은 머리 모델 생성 과정, 머리 후보 영역 지정 과정, 그리고 매칭 스코어 계산 과정을 포함한다. 도 9a, 도 9b, 및 도 9c는 본 발명의 실시예에 따른, 사람 식별 과정 중 머리 모델 생성 과정과 머리 후보 영역 지정 과정을 나타내는 도면이고, 도 10a는 본 발명의 실시예에 따른, 사람 식별 과정 중 매칭 스코어 계산 과정을 나타내는 도면이다.
구체적으로 식별부(108)는 도 9a에 예시된 바와 같이, 원의 중심이 0cm의 깊이(거리)를 가지며 원의 바깥쪽이 5cm의 깊이(거리)를 가지는 원을 3차원 머리 모델로써 생성할 수 있다. 즉, 소정의 깊이를 가지는 3차원 머리 모델의 단면은 원이다. 도 9a에는 0cm~5cm의 깊이 범위(거리 범위)를 가지는 3차원 머리 모델이 예시되어 있다. 도 9a에서, (a)는 3차원 머리 모델의 탑 뷰(top view)를 나타내고, (b)는 3차원 머리 모델의 사이드 뷰(side view)를 나타낸다.
식별부(108)는 3차원 머리 모델 생성 후에, 도 9b에 예시된 바와 같이, 머리 후보 영역을 지정할 수 있다. 도 9b에서, (a)는 3차원 카메라(101a)가 천장에 설치된 경우를 나타내고, (b)는 3차원 카메라(101a)가 측면(벽면)에 설치된 경우를 나타낸다.
식별부(108)는 객체의 픽셀들 중에서 3차원 카메라(101a)를 기준으로 최소 깊이 값을 가지는 픽셀(3차원 카메라(101a)가 천장에 설치된 경우) 또는 바닥 영역을 기준으로 최대 높이 값을 가지는 픽셀(3차원 카메라(101a)가 측면에 설치된 경우)을 중심으로 하며 소정의 반지름을 가지는 원 영역을, 머리 후보 영역으로 지정할 수 있다. 즉, 식별부(108)는 추적된 객체의 ZMin(3차원 카메라(101a)가 천장에 설치된 경우, 예, 도 9b의 (a)) 또는 YMax(3차원 카메라(101a)가 측면에 설치된 경우, 예, 도 9b의 (b))를 중심으로, 반지름이 5cm인 원 영역을 머리 후보 영역으로 지정할 수 있다.
한편, 식별부(108)는 도 9c에 예시된 바와 같이, 여러 객체가 겹쳐져 있는 경우를 고려할 수 있다. 도 9c에는 3차원 카메라(101a)가 천장에 설치된 경우가 예시되어 있으며, 구체적으로 도 9c에서, (a)는 1번째 머리 후보 영역을 나타내고, (b)는 1번째 머리 후보 영역과 2번째 머리 후보 영역을 나타낸다. 2번째 머리 후보 영역은 레이블(ID:1)을 할당 받은 객체에 해당한다.
구체적으로 식별부(108)는 도 9c의 (a)에 예시된 바와 같이, 객체의 ZMin(1st ZMin)을 이용해 1번째 머리 후보 영역을 지정할 수 있다. 여기서, 1번째 머리 후보 영역은 레이블(ID:0)을 할당 받은 객체에 해당한다. 그리고 식별부(108)는 객체의 전체 픽셀 개수 (예, 도 9c의 (b)에서, 좌측 객체의 픽셀 수, 우측 객체의 픽셀 수, 그리고 카트의 픽셀 수를 포함) 대비 1번째 머리 후보 영역이 차지하는 픽셀이 일정 비율 이하일 경우에, 도 9c의 (b)에 예시된 바와 같이, 1번째 머리 후보 영역을 제외한 나머지 영역 (예, 도 9c의 (b)에서, 좌측 객체의 영역 중 1번째 머리 후보 영역을 제외한 나머지 영역, 우측 객체, 그리고 카트를 포함)에 대해, ZMin(2nd ZMin) 또는 YMax를 재추출하여 2번째 머리 후보 영역을 지정할 수 있다. 식별부(108)는 머리 후보 영역을 제외한 나머지 영역의 픽셀 개수(예, 도 9c의 (b)에서, 좌측 객체의 영역 중 1번째 머리 후보 영역을 제외한 나머지 영역, 우측 객체의 영역 중 2번째 머리 후보 영역을 제외한 나머지 영역, 그리고 카트를 포함)가 임계치 이하가 될 때까지, 상술한 과정을 반복하여, 여러 개의 머리 후보 영역을 지정할 수 있다.
식별부(108)는 도 10a에 예시된 바와 같이, 매칭 스코어를 계산할 수 있다. 구체적으로, 식별부(108)는 3차원 머리 모델과 머리 후보 영역 간의 매칭 스코어(matching score)를 계산하여, 사람 객체와 비사람 객체를 식별할 수 있다. 상술한 바와 같이, 비사람 객체는 배경 모델로 업데이트된다.
식별부(108)는 매칭 스코어를 계산하기 위해, 3차원 머리 모델과 머리 후보 영역에 깊이 값 기반의 히스토그램 투영(histogram projection)을 적용하여 히스토그램을 생성하고, 히스토그램을 이용해 아래의 수학식 7의 바타차야 거리(Bhattacharyya distance)를 계산할 수 있다.
Figure 112016039126079-pat00018
수학식 7에서, H1(i)과 H2(i)은 각각 3차원 머리 모델의 히스토그램 (또는 템플릿 히스토그램)과 머리 후보 영역의 히스토그램 (또는 머리 후보 히스토그램)을 나타낸다.
그리고 식별부(108)는 계산된 바타차야 거리가 0에 가까운 경우(임계치 이하인 경우)에, 해당 머리 후보 영역을 가지는 객체를 사람으로 식별할 수 있고, 해당 객체의 인식 특징을 계산할 수 있다.
도 10b는 본 발명의 실시예에 따른, 3차원 머리 모델 매칭 결과를 나타내는 도면이다. 도 10b에서, (a)는 탑 뷰(top view) 머리 모델 매칭 결과를 나타내고, (b)는 사이드 뷰(side view) 머리 모델 매칭 결과를 나타낸다.
인식 특징 계산부(109)는 식별부(108)에 의해 식별된 사람 객체에 대하여, 인식 특징(예, 이동자 계수, 군집, 잔류자 감지를 위한 특징 등)을 계산한다(S109).
구체적으로 인식 특징 계산부(109)는 이동자 계수를 계산할 수 있다. 여기서, 이동자 계수는 단방향 또는 양방향으로 이동하는 사람의 수를 측정하는 것을 의미한다. 이동자의 수가 파악되면, 특정 공간의 시간대별 혼잡도가 분석될 수 있고, 이는 마케팅 용도로써 활용될 수 있다. 또한 이동자의 수가 파악되면, 특정 공간에 오랫동안 머물러 있는 잔류자가 감지될 수 있고, 이는 사고 감지 및 예방 용도로써 활용될 수 있다. 인식 특징 계산부(109)는 감지 공간(감지 영역) 내 이동자가 계수될 위치에 카운트 라인을 설정할 수 있고, 사람 객체의 머리 중심점이 카운트 라인을 통과하면 통과 객체를 카운트할 수 있다.
도 11a는 본 발명의 실시예에 따른, 3차원 카메라(101a)가 천장에 설치된 경우에 카운트 라인 설정을 나타내는 도면이다.
인식 특징 계산부(109)는 카운트 라인을 1개 이상 설정할 수 있다. 카운트 라인이 설정되면, 도 11a에 예시된 바와 같이, 인식 특징 계산부(109)는 카운트 라인의 앞 및 뒤 ±10cm 위치에 가상 카운트 라인을 자동으로 설정할 수 있다.
인식 특징 계산부(109)는 사람 객체의 머리 중심점이 카운트 라인과 가상 카운트 라인을 모두 통과하는 경우에, 통과 방향에 따라 In 객체(예, 입실자) 또는 Out 객체(예, 퇴실자)를 카운트할 수 있다. 예를 들어, 인식 특징 계산부(109)는 사람 객체의 머리 중심점이 카운트 라인과 앞 가상 카운트 라인을 순차적으로 통과하는 경우에, 입실자 수를 카운팅하고, 사람 객체의 머리 중심점이 카운트 라인과 뒤 가상 카운트 라인을 순차적으로 통과하는 경우에, 퇴실자 수를 카운팅할 수 있다. 인식 특징 계산부(109)는 이동자 수에 대한 알람을 발보할 수 있다.
인식 특징 계산부(109)는 혼잡도를 계산할 수 있다. 구체적으로, 인식 특징 계산부(109)는 바닥 검출 결과를 기반으로, 감지 영역의 바닥 넓이와 사람 객체의 너비, 두께, 및 높이를 이용하여, 혼잡도를 계산할 수 있다.
도 11b는 본 발명의 실시예에 따른, 바닥 넓이를 계산하기 위한 특징을 추출하는 방법을 나타내는 도면이다.
인식 특징 계산부(109)는 바닥 넓이를 계산하기 위하여, 바닥으로 감지된 영역(예, d < 3cm인 floor) 내에서 카메라(101a)와 가장 가까운 부분인 Floor_Zmin과 가장 먼 부분인 Floor_Zmax를 찾을 수 있다. 그리고 인식 특징 계산부(109)는 Floor_Zmin과 Floor_Zmax 각각을 기준으로, 가장 왼쪽의 한 점(Floor_Zmin.Xmin, Floor_Zmax.Xmin)과 가장 오른쪽의 한 점(Floor_Zmin.Xmax, Floor_Zmax.Xmax)을 찾을 수 있다. 즉, 인식 특징 계산부(109)는 Floor_Zmin에 해당하는 지점들 중에서 가장 좌측 지점인 Floor_Zmin.Xmin과 가장 우측 지점인 Floor_Zmin.Xmax을 구할 수 있고, Floor_Zmax에 해당하는 지점들 중에서 가장 좌측 지점인 Floor_Zmax.Xmin 과 가장 우측 지점인 Floor_Zmax.Xmax 을 구할 수 있다.
그리고 인식 특징 계산부(109)는 가장 왼쪽의 한 점(Floor_Zmin.Xmin, Floor_Zmax.Xmin)과 가장 오른쪽의 한 점(Floor_Zmin.Xmax, Floor_Zmax.Xmax)을 이용해, 감지 영역(또는 바닥 영역)의 가로 길이와 세로 길이를 계산할 수 있다. 그리고 인식 특징 계산부(109)는 감지 영역(또는 바닥 영역)의 가로 길이와 세로 길이를 이용해, 바닥 영역의 넓이를 계산할 수 있다. 도 11b에는 바닥 영역의 가로 길이가 2.8m이고 세로 길이가 5.8m 인 경우가 예시되어 있다.
인식 특징 계산부(109)는 바닥 영역의 넓이와 사람 객체의 너비, 두께, 및 높이를 이용하여, 아래의 수학식 8과 같이 정의되는 혼잡도를 계산할 수 있다.
Figure 112016039126079-pat00019
수학식 8에서, Floor Area는 감지 영역의 바닥 넓이를 나타내고, Head Width는 감지 영역 내에 존재하는 전체 사람 객체의 머리 너비를 나타내고, Head Depth는 감지 영역 내에 존재하는 전체 사람 객체의 머리 두께 또는 머리 높이를 나타낸다. 그리고 인식 특징 계산부(109)는 혼잡도에 따라 군집 상황을 판단할 수 있다. 예를 들어, 인식 특징 계산부(109)는 혼잡도가 임계치 이상인 경우에, 군집 형성을 감지할 수 있다. 인식 특징 계산부(109)는 군집 상황을 감지한 경우에, 알람을 발보할 수 있다.
인식 특징 계산부(109)는 잔류 시간을 측정할 수 있다.
도 11c는 본 발명의 실시예에 따른, 잔류자 감지 방법을 나타내는 도면이다.
인식 특징 계산부(109)는 이동자 계수 정보를 활용하여, 입실자와 퇴실자의 수를 체크할 수 있다. 인식 특징 계산부(109)는 입실자의 수와 퇴실자의 수가 동일하지 않는 경우에, 잔류자가 존재하는 것으로 판단할 수 있다. 잔류자의 수는 입실자의 수 - 퇴실자의 수 이다. 도 11c에는 입실자가 10명이고 퇴실자가 9명이고 잔류자가 1명인 경우가 예시되어 있다. 인식 특징 계산부(109)는 잔류자의 잔류 시간을 누적할 수 있다. 인식 특징 계산부(109)는 잔류 시간이 일정 임계치 이상일 경우에, 알람을 발보할 수 있다.
프로세서(120)는 본 명세서에서 감지 장치(100)와 관련하여 기술된 절차, 기능, 및 방법들을 구현하도록 구성될 수 있다. 또한, 프로세서(120)는 감지 장치(100)의 각 구성을 제어할 수 있다.
메모리(121)는 프로세서(120)와 연결되고, 프로세서(120)의 동작과 관련된 다양한 정보를 저장한다.
지금까지, 감지 장치(100)가 3차원 카메라(101a)를 이용하여 이동자를 계수하고, 이동자 계수 정보에 기초하여 이상 상황(예, 잔류자, 군집 등)을 감지하는 방법에 대하여 설명하였다. 도 12a 내지 도 12f를 참고하여, 본 발명의 실시예에 따른 감지 방법을 정리한다.
감지 장치(100)는 천장 또는 벽면에 설치된 3차원 카메라(101a)로부터 깊이(depth) 정보를 획득하고, 깊이 정보를 이용해 객체를 검출하고, 상기 검출된 객체들 중 사람만을 3차원 머리 모델 매칭(head model matching)을 통해 식별한다. 그리고 감지 장치(100)는 감지 공간 내의 혼잡도를 측정한다.
감지 장치(100)는 도 12a와 도 12b에 예시된 바와 같이, 구역별 혼잡도(Section A, Section B, Section C, Section D)와 전체 혼잡도를 측정할 수 있고, 혼잡도를 이용해 군집 상황을 감지할 수 있다.
도 12a는 본 발명의 실시예에 따른, 천장에 3차원 카메라(101a)가 설치된 경우에 혼잡도를 측정하는 방법을 나타내는 도면이고, 도 12b는 본 발명의 실시예에 따른, 측면(벽면)에 3차원 카메라(101a)가 설치된 경우에 혼잡도를 측정하는 방법을 나타내는 도면이다. 도 12a는 각 구역이 2.5m×3.5m인 경우가 예시되어 있다. 도 12b에는 3차원 카메라(101a)가 바닥으로부터 2.1m 높이에 15도 각도로 설치된 경우가 예시되어 있다.
그리고 감지 장치(100)는 도 12c 및 도 12d에 예시된 바와 같이, 카운트 라인을 통과하는 이동자를 계수할 수 있다.
도 12c는 본 발명의 실시예에 따른, 천장에 3차원 카메라(101a)가 설치된 경우에 이동자를 계수하는 방법을 나타내는 도면이고, 도 12d는 본 발명의 실시예에 따른, 측면(벽면)에 3차원 카메라(101a)가 설치된 경우에 이동자를 계수하는 방법을 나타내는 도면이다.
그리고 감지 장치(100)는 도 12e 및 도 12f에 예시된 바와 같이, 출입하는 이동자의 수를 기반으로 특정 공간의 잔류자를 감지하고, 이를 통해 이상 상황을 감지할 수 있다.
도 12e는 본 발명의 실시예에 따른, 천장에 3차원 카메라(101a)가 설치된 경우에 잔류자를 감지하는 방법을 나타내는 도면이고, 도 12f는 본 발명의 실시예에 따른, 측면(벽면)에 3차원 카메라(101a)가 설치된 경우에 잔류자를 감지하는 방법을 나타내는 도면이다. 도 12e 및 도 12f에는 입실자가 6명이고 퇴실자가 5명이고 잔류자가 1명인 경우가 예시되어 있다.
한편, 본 발명의 실시예는 지금까지 설명한 장치 및/또는 방법을 통해서만 구현되는 것은 아니며, 본 발명의 실시예의 구성에 대응하는 기능을 실현하는 프로그램 또는 그 프로그램이 기록된 기록 매체를 통해 구현될 수도 있으며, 이러한 구현은 상술한 실시예의 기재로부터 본 발명이 속하는 기술 분야의 당업자라면 쉽게 구현할 수 있는 것이다.
이상에서 본 발명의 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.

Claims (20)

  1. 카메라에 의해 획득되는 영상의 깊이 정보를 이용해, 상기 영상으로부터 적어도 하나의 객체를 검출하는 단계;
    상기 적어도 하나의 객체의 머리 후보 영역과 3차원 머리 모델을 비교하는 3차원 머리 모델 매칭(head model matching)을 통해, 상기 적어도 하나의 객체가 사람인지를 식별하는 단계; 및
    상기 적어도 하나의 객체가 사람으로 식별된 경우에, 상황 감지를 위한 특징을 상기 적어도 하나의 객체를 이용해 계산하는 단계를 포함하고,
    상기 식별하는 단계는,
    상기 적어도 하나의 객체의 픽셀들 중에서 상기 카메라를 기준으로 최소 깊이 값을 가지는 제1 픽셀과 상기 영상의 바닥 영역을 기준으로 최대 높이 값을 가지는 제2 픽셀 중 적어도 하나를 중심으로 하며 소정의 반지름을 가지는 원 영역을, 제1 머리 후보 영역으로 지정하는 단계를 포함하는
    감지 장치의 감지 방법.
  2. 삭제
  3. 제1항에 있어서,
    상기 식별하는 단계는,
    상기 적어도 하나의 객체의 전체 픽셀 수와 상기 제1 머리 후보 영역이 차지하는 픽셀 수 간의 비율이 제1 임계값 이하인 경우에, 상기 적어도 하나의 객체의 영역 중에서 상기 제1 머리 후보 영역을 제외한 나머지 영역을 구하는 단계;
    상기 나머지 영역의 픽셀들 중에서 상기 카메라를 기준으로 최소 깊이 값을 가지는 제3 픽셀과 상기 바닥 영역을 기준으로 최대 높이 값을 가지는 제4 픽셀 중 적어도 하나를 추출하는 단계; 및
    상기 제3 픽셀과 상기 제4 픽셀 중 적어도 하나를 중심으로 하며 소정의 반지름을 가지는 원 영역을, 제2 머리 후보 영역으로 지정하는 단계를 더 포함하는
    감지 장치의 감지 방법.
  4. 제1항에 있어서,
    상기 식별하는 단계는,
    소정의 깊이를 가지는 상기 3차원 머리 모델을 생성하는 단계; 및
    상기 제1 머리 후보 영역과 상기 3차원 머리 모델 간의 바타차야 거리(Bhattacharyya distance)를 계산하는 단계를 더 포함하는
    감지 장치의 감지 방법.
  5. 제4항에 있어서,
    상기 바타차야 거리를 계산하는 단계는,
    상기 제1 머리 후보 영역과 상기 3차원 머리 모델에 깊이 기반의 히스토그램 투영(histogram projection)을 적용하여, 제1 히스토그램과 제2 히스토그램을 생성하는 단계; 및
    상기 제1 히스토그램과 상기 제2 히스토그램을 이용해, 상기 바타차야 거리를 계산하는 단계를 포함하는
    감지 장치의 감지 방법.
  6. 제5항에 있어서,
    상기 제1 히스토그램과 상기 제2 히스토그램을 이용해 상기 바타차야 거리를 계산하는 단계는,
    아래의 수학식 1을 이용해, 상기 바타차야 거리를 계산하는 단계를 포함하는
    감지 장치의 감지 방법.
    [수학식 1]
    Figure 112016039126079-pat00020

    (DB: 상기 바타차야 거리, H1(i): 상기 제1 히스토그램, H2(i): 상기 제2 히스토그램)
  7. 제4항에 있어서,
    상기 식별하는 단계는,
    상기 바타차야 거리가 제1 임계값 이하인 경우에, 상기 적어도 하나의 객체 중 상기 제1 머리 후보 영역을 포함하는 객체를 사람으로 식별하는 단계를 더 포함하는
    감지 장치의 감지 방법.
  8. 제1항에 있어서,
    상기 상황 감지를 위한 특징을 계산하는 단계는,
    카운트 라인을 설정하는 단계;
    상기 카운트 라인으로부터 소정의 거리만큼 떨어진 위치에 가상 카운트 라인을 설정하는 단계; 및
    상기 적어도 하나의 객체의 중심점이 상기 카운트 라인과 상기 가상 카운트 라인을 통과하는 경우에, 이동자 수를 카운팅하는 단계를 포함하는
    감지 장치의 감지 방법.
  9. 제8항에 있어서,
    상기 가상 카운트 라인은, 상기 카운트 라인으로부터 제1 방향으로 소정의 거리만큼 떨어진 위치에 설정된 제1 가상 카운트 라인과 상기 카운트 라인으로부터 상기 제1 방향의 반대인 제2 방향으로 소정의 거리만큼 떨어진 위치에 설정된 제2 가상 카운트 라인을 포함하고,
    상기 카운팅하는 단계는,
    상기 적어도 하나의 객체의 중심점이 상기 카운트 라인과 상기 제1 가상 카운트 라인을 순차적으로 통과하는 경우에, 상기 제1 방향의 이동자 수를 카운팅하는 단계; 및
    상기 적어도 하나의 객체의 중심점이 상기 카운트 라인과 상기 제2 가상 카운트 라인을 순차적으로 통과하는 경우에, 상기 제2 방향의 이동자 수를 카운팅하는 단계를 포함하는
    감지 장치의 감지 방법.
  10. 제9항에 있어서,
    상기 상황 감지를 위한 특징을 계산하는 단계는,
    상기 제1 방향의 이동자 수와 상기 제2 방향의 이동자 수 간의 차이를 계산하는 단계;
    상기 차이에 해당하는 잔류자의 잔류 시간을 측정하는 단계; 및
    상기 잔류 시간이 제1 임계값 이상인 경우에, 알람을 발보하는 단계를 포함하는
    감지 장치의 감지 방법.
  11. 제1항에 있어서,
    상기 상황 감지를 위한 특징을 계산하는 단계는,
    상기 영상의 바닥 영역의 넓이인 제1 값을 계산하는 단계;
    상기 적어도 하나의 객체의 너비인 제2 값을 계산하는 단계; 및
    상기 제1 값과 상기 제2 값을 이용해, 혼잡도를 계산하는 단계를 포함하는
    감지 장치의 감지 방법.
  12. 제11항에 있어서,
    상기 제1 값을 계산하는 단계는,
    상기 바닥 영역 내에서 상기 카메라와 가장 가까운 제1 영역과 상기 카메라와 가장 먼 제2 영역을 구하는 단계;
    상기 제1 영역의 지점들 중에서 가장 좌측 지점인 제1 지점과 가장 우측 지점인 제2 지점을 구하는 단계;
    상기 제2 영역의 지점들 중에서 가장 좌측 지점인 제3 지점과 가장 우측 지점인 제4 지점을 구하는 단계; 및
    상기 제1 지점, 상기 제2 지점, 상기 제3 지점, 및 상기 제4 지점을 이용해, 상기 바닥 영역의 가로 길이와 세로 길이를 계산하는 단계를 포함하는
    감지 장치의 감지 방법.
  13. 제11항에 있어서,
    상기 상황 감지를 위한 특징을 계산하는 단계는,
    상기 혼잡도가 제1 임계값 이상인 경우에, 군집 형성을 감지하는 단계를 더 포함하는
    감지 장치의 감지 방법.
  14. 제1항에 있어서,
    상기 영상은 상기 영상의 바닥 영역으로부터 제1 높이만큼 떨어지며 상기 카메라로부터 제1 깊이만큼 떨어진 제1 영역을 포함하고,
    상기 적어도 하나의 객체를 검출하는 단계는,
    상기 제1 높이와 상기 제1 깊이에 기초해, 상기 제1 영역을 위한 제1 임계값을 계산하는 단계; 및
    상기 영상의 배경 모델과 상기 제1 높이 간의 차이가 상기 제1 임계값 이상인 경우에, 상기 제1 영역을 객체로써 검출하는 단계를 포함하는
    감지 장치의 감지 방법.
  15. 카메라에 의해 획득되는 영상의 깊이 정보를 이용해, 적어도 하나의 객체를 검출하는 객체 검출부;
    상기 적어도 하나의 객체의 머리 후보 영역과 3차원 머리 모델을 비교하여, 상기 적어도 하나의 객체가 타겟 타입의 객체인지를 식별하는 식별부; 및
    상기 적어도 하나의 객체가 상기 타겟 타입 객체로 식별된 경우에, 상황 감지를 위한 특징을 상기 적어도 하나의 객체를 이용해 계산하는 인식 특징 계산부를 포함하고,
    상기 인식 특징 계산부는,
    설정된 카운트 라인으로부터 제1 방향과 제2 방향 각각으로 소정의 거리만큼 떨어진 위치에 제1 가상 카운트 라인과 제2 가상 카운트 라인을 설정하고, 상기 적어도 하나의 객체의 중심점이 상기 카운트 라인과 상기 제1 가상 카운트 라인을 통과하는 경우에, 상기 제1 방향의 이동자 수를 카운팅하고, 상기 적어도 하나의 객체의 중심점이 상기 카운트 라인과 상기 제2 가상 카운트 라인을 통과하는 경우에, 상기 제2 방향의 이동자 수를 카운팅하는
    감지 장치.
  16. 제15항에 있어서,
    상기 식별부는,
    상기 적어도 하나의 객체의 픽셀들 중에서 상기 카메라를 기준으로 최소 깊이 값을 가지는 제1 픽셀과 상기 영상의 바닥 영역을 기준으로 최대 높이 값을 가지는 제2 픽셀 중 적어도 하나를 구하고, 상기 제1 픽셀과 상기 제2 픽셀 중 적어도 하나를 중심으로 하며 소정의 반지름을 가지는 원 영역을 제1 머리 후보 영역으로 지정하는
    감지 장치.
  17. 제16항에 있어서,
    상기 식별부는,
    상기 제1 머리 후보 영역과 상기 3차원 머리 모델 간의 바타차야 거리가 제1 임계값 이하인 경우에, 상기 적어도 하나의 객체 중 상기 제1 머리 후보 영역을 포함하는 객체를 사람으로써 식별하는
    감지 장치.
  18. 삭제
  19. 제15항에 있어서,
    상기 인식 특징 계산부는,
    상기 제1 방향의 이동자 수와 상기 제2 방향의 이동자 수 간의 차이를 이용해 잔류자를 판단하고, 상기 잔류자의 잔류 시간이 제1 임계값 이상인 경우에, 알람을 발보하는
    감지 장치.
  20. 제15항에 있어서,
    상기 인식 특징 계산부는,
    상기 영상의 바닥 영역 내에서 상기 카메라와 가장 가까운 제1 영역과 상기 카메라와 가장 먼 제2 영역을 구하고, 상기 제1 영역의 지점들 중에서 가장 좌측 지점인 제1 지점과 가장 우측 지점인 제2 지점과 상기 제2 영역의 지점들 중에서 가장 좌측 지점인 제3 지점과 가장 우측 지점인 제4 지점을 구하고, 상기 제1 지점 내지 상기 제4 지점을 이용해 상기 바닥 영역의 넓이인 제1 값을 계산하고, 상기 제1 값과 상기 적어도 하나의 객체의 너비인 제2 값을 이용해 혼잡도를 계산하는
    감지 장치.
KR1020160049593A 2016-04-22 2016-04-22 이상 상황을 감지하는 장치 및 방법 KR101788269B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020160049593A KR101788269B1 (ko) 2016-04-22 2016-04-22 이상 상황을 감지하는 장치 및 방법
US16/094,971 US10853664B2 (en) 2016-04-22 2016-07-20 Device and method for detecting abnormal situation
CN201680084843.1A CN109076190B (zh) 2016-04-22 2016-07-20 检测异常情况的设备和方法
PCT/KR2016/007913 WO2017183769A1 (ko) 2016-04-22 2016-07-20 이상 상황을 감지하는 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160049593A KR101788269B1 (ko) 2016-04-22 2016-04-22 이상 상황을 감지하는 장치 및 방법

Publications (1)

Publication Number Publication Date
KR101788269B1 true KR101788269B1 (ko) 2017-10-19

Family

ID=60116894

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160049593A KR101788269B1 (ko) 2016-04-22 2016-04-22 이상 상황을 감지하는 장치 및 방법

Country Status (4)

Country Link
US (1) US10853664B2 (ko)
KR (1) KR101788269B1 (ko)
CN (1) CN109076190B (ko)
WO (1) WO2017183769A1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190119926A (ko) * 2018-04-13 2019-10-23 경북대학교 산학협력단 3차원 스캐닝을 통해 획득된 점군 데이터 기반에서 깊이 이미지를 생성하는 장치 및 방법 및 이를 이용한 3차원 객체 식별 방법
CN111368634A (zh) * 2020-02-05 2020-07-03 中国人民解放军国防科技大学 基于神经网络的人头检测方法、系统及存储介质
KR20220168299A (ko) * 2021-06-16 2022-12-23 주식회사 에스에프에이 반송시스템을 위한 이송차량 및 그 이송차량의 구동방법

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10650249B2 (en) * 2016-10-25 2020-05-12 Shenzhen University Method and device for counting pedestrians based on identification of head top of human body
JP2019015553A (ja) * 2017-07-05 2019-01-31 ソニーセミコンダクタソリューションズ株式会社 情報処理装置、情報処理方法および個体撮像装置
EP3704558A4 (en) * 2017-11-01 2021-07-07 Nokia Technologies Oy DEEP CONSCIOUS OBJECT COUNTING
KR102008503B1 (ko) * 2017-11-06 2019-10-21 전자부품연구원 지능형 협업 서버, 시스템 및 이의 협업 기반 분석 방법
JP2019096072A (ja) * 2017-11-22 2019-06-20 株式会社東芝 物体検出装置、物体検出方法およびプログラム
NL2022442B1 (nl) * 2019-01-24 2020-01-07 Lely Patent Nv Positiebepalingsinrichting
US11048948B2 (en) * 2019-06-10 2021-06-29 City University Of Hong Kong System and method for counting objects
CN110705417A (zh) * 2019-09-24 2020-01-17 杭州驭光光电科技有限公司 人头计数方法及光投射装置
KR102187123B1 (ko) * 2020-02-12 2020-12-04 주식회사 카카오뱅크 홀로그램 검출 서비스 제공 서버 및 홀로그램 검출 방법
JP2021197623A (ja) * 2020-06-12 2021-12-27 キヤノン株式会社 撮像装置及びその制御方法及びプログラム
CN113706472B (zh) * 2021-07-30 2023-05-12 中国公路工程咨询集团有限公司 公路路面病害检测方法、装置、设备及存储介质

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20030018487A (ko) 2001-08-29 2003-03-06 주식회사 하나엘 영상을 이용한 출입 이동 물체 계수 방법 및 장치
JP5227888B2 (ja) * 2009-05-21 2013-07-03 富士フイルム株式会社 人物追跡方法、人物追跡装置および人物追跡プログラム
US8611604B2 (en) * 2009-06-03 2013-12-17 Chubu University Educational Foundation Object detection device
KR20110038983A (ko) 2009-10-09 2011-04-15 조용범 영상을 이용하여 승객의 승하차수를 카운트하는 방법 및 장치
US20140347479A1 (en) * 2011-11-13 2014-11-27 Dor Givon Methods, Systems, Apparatuses, Circuits and Associated Computer Executable Code for Video Based Subject Characterization, Categorization, Identification, Tracking, Monitoring and/or Presence Response
KR101421962B1 (ko) * 2012-11-09 2014-07-23 (주)데이타비전 출입자의 영상을 이용한 출입 관리 장치 및 출입자 감시 방법
US10009579B2 (en) 2012-11-21 2018-06-26 Pelco, Inc. Method and system for counting people using depth sensor
CN103279791B (zh) * 2013-05-30 2016-03-30 上海汇纳信息科技股份有限公司 基于多特征的行人计算方法
KR101454548B1 (ko) 2013-06-26 2014-10-27 주식회사 에스원 3차원 카메라를 이용한 감시 장치 및 이의 구동 방법
KR20150068709A (ko) 2013-12-12 2015-06-22 (주)샤인정보통신 무인방범 객체인식시스템
KR101593187B1 (ko) 2014-07-22 2016-02-11 주식회사 에스원 3차원 영상 정보를 이용한 이상 행동 감시 장치 및 방법
KR102335045B1 (ko) 2014-10-07 2021-12-03 주식회사 케이티 깊이 카메라 기반 사람 객체를 판별하는 방법 및 장치
CN104410793B (zh) * 2014-12-16 2018-08-10 联想(北京)有限公司 一种图像处理方法及电子设备
WO2016172856A1 (zh) * 2015-04-28 2016-11-03 北京旷视科技有限公司 用于识别人脸的装置、系统、方法和计算机程序产品

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190119926A (ko) * 2018-04-13 2019-10-23 경북대학교 산학협력단 3차원 스캐닝을 통해 획득된 점군 데이터 기반에서 깊이 이미지를 생성하는 장치 및 방법 및 이를 이용한 3차원 객체 식별 방법
KR102042343B1 (ko) 2018-04-13 2019-11-07 경북대학교 산학협력단 3차원 스캐닝을 통해 획득된 점군 데이터 기반에서 깊이 이미지를 생성하는 장치 및 방법 및 이를 이용한 3차원 객체 식별 방법
CN111368634A (zh) * 2020-02-05 2020-07-03 中国人民解放军国防科技大学 基于神经网络的人头检测方法、系统及存储介质
KR20220168299A (ko) * 2021-06-16 2022-12-23 주식회사 에스에프에이 반송시스템을 위한 이송차량 및 그 이송차량의 구동방법
KR102492161B1 (ko) * 2021-06-16 2023-01-26 주식회사 에스에프에이 반송시스템을 위한 이송차량 및 그 이송차량의 구동방법

Also Published As

Publication number Publication date
CN109076190A (zh) 2018-12-21
CN109076190B (zh) 2021-03-02
WO2017183769A1 (ko) 2017-10-26
US10853664B2 (en) 2020-12-01
US20190095720A1 (en) 2019-03-28

Similar Documents

Publication Publication Date Title
KR101788269B1 (ko) 이상 상황을 감지하는 장치 및 방법
US11670086B2 (en) System and process for detecting, tracking and counting human objects of interest
KR101593187B1 (ko) 3차원 영상 정보를 이용한 이상 행동 감시 장치 및 방법
US10909695B2 (en) System and process for detecting, tracking and counting human objects of interest
JP5559335B2 (ja) 挙動解析装置
WO2019220589A1 (ja) 映像解析装置、映像解析方法、及びプログラム
Snidaro et al. Automatic camera selection and fusion for outdoor surveillance under changing weather conditions
CN105354540A (zh) 基于视频分析实现人员倒地行为检测的方法
JP4610005B2 (ja) 画像処理による侵入物体検出装置および方法およびプログラム
Hernández et al. People counting with re-identification using depth cameras
JP2011198244A (ja) 対象物認識システム及び該システムを利用する監視システム、見守りシステム
Kirchner et al. A robust people detection, tracking, and counting system
JP5679760B2 (ja) 侵入物体検出装置
Hernández-Sosa et al. Multi-sensor people counting
Thirde et al. Multi-camera tracking for visual surveillance applications
Szczodrak et al. An approach to the detection of bank robbery acts employing thermal image analysis
Bas et al. Towards fish-eye camera based in-home activity assessment
Chakravarty et al. People tracking from a moving panoramic camera
Elmarhomy A Method for Real Time Counting Passersby utilizing Space-time Imagery
Bloisi Visual Tracking and Data Fusion for Automatic Video Surveillance
Colombo et al. Consistent detection and identification of individuals in a large camera network
Keur Intelligent Methods for Automated Video Surveillance

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant