KR102176045B1 - 무인 매장 내 안전사고 예방을 위한 딥러닝 기반 실시간 잔류자 감지 방법 및 이를 이용한 잔류자 감지 시스템 - Google Patents

무인 매장 내 안전사고 예방을 위한 딥러닝 기반 실시간 잔류자 감지 방법 및 이를 이용한 잔류자 감지 시스템 Download PDF

Info

Publication number
KR102176045B1
KR102176045B1 KR1020180137428A KR20180137428A KR102176045B1 KR 102176045 B1 KR102176045 B1 KR 102176045B1 KR 1020180137428 A KR1020180137428 A KR 1020180137428A KR 20180137428 A KR20180137428 A KR 20180137428A KR 102176045 B1 KR102176045 B1 KR 102176045B1
Authority
KR
South Korea
Prior art keywords
deep learning
management server
person
time
store
Prior art date
Application number
KR1020180137428A
Other languages
English (en)
Other versions
KR20200056498A (ko
Inventor
구경모
Original Assignee
주식회사 에스원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 에스원 filed Critical 주식회사 에스원
Priority to KR1020180137428A priority Critical patent/KR102176045B1/ko
Publication of KR20200056498A publication Critical patent/KR20200056498A/ko
Application granted granted Critical
Publication of KR102176045B1 publication Critical patent/KR102176045B1/ko

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06K9/00362
    • G06K9/481
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/46Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/469Contour-based spatial representations, e.g. vector-coding
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/94Hardware or software architectures specially adapted for image or video understanding
    • G06V10/95Hardware or software architectures specially adapted for image or video understanding structured as a network, e.g. client-server architectures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Signal Processing (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Alarm Systems (AREA)
  • Image Analysis (AREA)

Abstract

본 발명 무인 매장 내 안전사고 예방을 위한 딥러닝 기반 실시간 잔류자 감지 방법은 영상분석 관리 서버가 CCTV로부터 매장 내 영상 정보를 수신하는 단계와, 영상분석 관리 서버가 수신된 영상에서 딥러닝 기반으로 사람을 검출하는 단계와, 영상분석 관리 서버가 히트 맵을 계산하는 단계와, 영상분석 관리 서버가 잔류자 후보를 검출하는 단계와, 영상분석 관리 서버가 후보자를 추적하여 잔류 시간을 산정하는 단계와, 영상분석 관리 서버가 기준 시간을 기초로 하여 잔류자를 확정하는 단계를 포함하여 이루어지는 것을 특징으로 하는 것이다.

Description

무인 매장 내 안전사고 예방을 위한 딥러닝 기반 실시간 잔류자 감지 방법 및 이를 이용한 잔류자 감지 시스템{Residual Person Monitering Method based on Deep Learning to prevent negligent Accident of Store and System thereof }
본 발명은 매장 내부에 설치된 CCTV에서 획득된 영상을 분석하여 무인 매장 운영 시간에 매장 내 장시간 체류하는 노숙자나 취객 등의 잔류자를 검출하는 것에 관한 것이다. 일반적으로 무인 운영 중에 매장 내부에서 장시간 잔류하는 노숙자나 취객은 일반 이용자에게 불편함이나 혐오감을 주어 매장 이용을 감소시키는 원인이 되므로 이들을 검출하여 조치할 필요가 있는 것이다.
본 발명과 관련된 종래의 기술은 대한민국 등록특허 제10-1437678호(2014. 9. 3. 공고)에 개시되어 있는 것이다. 도 1은 상기 종래의 피플 카운팅 가능을 갖는 무인 방범 시스템 구성도이다. 상기도 1에서 종래의 피플 카운팅 가능을 갖는 무인 방범 시스템은 감지 센서부(220)와, 고객 감지부(230)와, 경보부(240), 무인 방범 단말기(210)와, 중앙 관제서버(250)와, 매장 관리서버(260)를 포함하여 이루어진다. 감지 센서부(220)는 다양한 종류의 감지센서로 이루어질 수 있지만, 대표적으로 도어 감지센서, 열선 감지센서, 적외선 감지센서 중 어느 하나 이상으로 이루어질 수 있으며, 매장의 출입구 쪽에 설치됨이 바람직하다. 여기서 도어 감지센서는 창문이나 출입문이 강제로 열릴 경우 이를 감지하는 센서이며, 열선 감지센서는 침입자의 인체열을 감지하는 센서이고, 적외선 감지센서는 인체에 의해 차단되는 적외선 변화을 검출하여 침입자를 감지하는 센서를 의미한다. 고객 감지부(230)는 매장의 각 단위섹터(S1~ S6)에 위치하는 고객을 인식하여 감지신호를 검출하여 무인 방범 단말기(210)에 전송하는 역할을 담당한다. 고객 감지부(230)는 감지 센서부(220)와 마찬가지로 다양한 종류의 센서로 구성될 수 있지만, 바람직하게는 적외선 감지센서, 열선 감지센서 또는 카메라 중 어느 하나로 구성될 수 있다. 여기서, 적외선 감지센서와 열선 감지센서의 경우 검출되는 감지신호는 적외선 변화에 의한 적외선 감지신호를 의미하며, 카메라의 경우 영상 이미지가 될 수 있다. 또한, 고객 감지부(230)는 매장 입구(G)와 출구(E)를 포함하여 각 단위섹터(S1~ S6)마다 설치되어 네트워크를 구성하며, 각 섹터(S1~ S6)마다 하나 또는 둘 이상으로 설치될 수 있다. 여기서 단위섹터(S1~S6)는 하위 카테고리 상품(가령, 등산 용품 매장의 경우 상위 카테고리는 등산 용품이 되며, 하위 카테고리는 등산복, 등산화, 배낭 등이 될 수 있다.)이 진열되는 각 섹터를 의미하며, 편의상 여섯 개의 섹터를 예로 들었지만 하나 또는 둘 이상으로 구성될 있다. 경보부(240)는 감지 센서(220)에 의해 생성된 침입 감지신호에 따라 경보신호를 알리는 역할을 하며, 경보음을 발하는 싸이렌(244) 또는 적색등(242)을 발하는 경광등으로 구성될 수 있다. 무인 방범 단말기(200)는 센서 입출력부와, 제어부와, 피플 카운팅부와, 이더넷 인터페이스와, 전원부를 포함할 수 있다. 센서 입출력부는 감지 센서부(220)로부터 인가된 감지신호를 소정의 데이터로 변환, 출력하는 역할을 하는 장치로서, 여기에는 아날로그 신호를 디지털 신호로 전환하는 A/D변환부가 포함될 수 있다. 제어부는 무인 방범 단말기의 내부 주요 구성부를 제어하는 역할을 하는 장치로서, 센서 입출력부와 연결되어 센서 입출력부에서 출력된 감지신호를 이더넷 인터페이스를 통하여 방범 관제 서버로 전송한다. 피플 카운팅부는 고객 감지부(230)로부터 전송된 감지신호를 분석하여 각 단위섹터(S1~S6)에 존재하는 고객의 수를 카운팅하여 카운팅 정보를 출력하는 역할을 하는 장치로서, 카운트 프로그램을 포함하여 이루어지며 영상 이미지를 압축하는 영상코덱과 카운팅 정보를 저장할 수 있는 메모리부를 더 포함할 수 있다. 이더넷 인터페이스는 제어부와 피플 카운팅부와 연결되며, 제어부에 의해 센서 입출력부에서 출력된 감지신호를 중앙 관제서버(250)로 전송하는 한편, 피플 카운팅부에 저장된 카운팅 정보를 실시간 내지 기 설정된 시간에 매장의 관리서버(250)로 전송하게 된다. 이때 이더넷 인터페이스부는 카운팅 정보의 오류를 방지하기 위해 TCP/IP방식에 따라 유무선 네트워크를 통하여 관리서버(260)와 연결됨이 바람직하다. 전원부는 무인 방범 단말(210)기 내부의 주요 구성부, 가령 제어부, 피플 카운팅부, 센서 입출력부 등에 전원을 공급하는 역할을 한다. 전원부는 내부에 장착된 배터리에 의해 단말기에 전원을 공급할 수도 있지만, 외부 전원을 통하여 전원을 공급할 수 있다. 다만, 이 경우 AC-DC 컨버터 또는 DC-DC 컨버터가 추가로 구비될 것이 요구된다. 관제 서버(250)는 경비업체나 관리소 등의 중앙 관제센터에 마련된 중앙 컴퓨터 서버로서, 네트워크를 통하여 전송된 방범 감지신호를 기설정된 데이터와 비교 분석한 후 위급상황 여부를 판단하고, 위급상황으로 판단될 경우 사용자와 방범 관련기관, 가령 경찰서나 소방서 등에 위급상황임을 알리는 역할을 하는 것이다.
상기와 같이 구성된 종래 피플 카운팅 기능을 갖는 무인 방범 시스템은 매장의 침입자를 감지할 수 있으나 무인 매장의 경우 운영 시간 내 매장 내부에 있는 사람이 고객인지 또는 노숙자 또는 취객인지 여부를 알 수 없는 문제점이 있는 것이다. 따라서 본 발명의 목적은 CCTV에서 검출되는 방문자가 일정 시간 이상 매장 내부에 머무르는 것을 판단하여 잔류자 또는 취객으로 간주하여 도출하기 위한 것이다. 또한, 본 발명의 다른 목적은 고성능 GPU(GTX 1080 TI급 또는 그 이상)을 사용하는 대신에 보급형 GPU(GTX 1030)을 기반으로 하여 설치비를 절감하기 위한 것이다.
상기와 같은 목적을 가진 본 발명 무인 매장 내 안전사고 예방을 위한 딥러닝 기반 실시간 잔류자 감지 방법은 영상분석 관리 서버가 CCTV로부터 매장 내 영상 정보를 수신하는 단계와, 영상분석 관리 서버가 수신된 영상에서 딥러닝 기반으로 사람을 검출하는 단계와, 영상분석 관리 서버가 히트 맵에서 검출 값을 산정하는 단계와, 영상분석 관리 서버가 잔류자 후보를 선정하는 단계와, 영상분석 관리 서버가 후보자를 추적하여 잔류 시간을 산정하는 단계와, 영상분석 관리 서버가 기준 시간을 기초로 하여 잔류자를 확정하는 단계를 포함하여 이루어지는 것을 특징으로 하는 것이다.
상기와 같이 구성된 본 발명 무인 매장 내 안전사고 예방을 위한 딥러닝 기반 실시간 잔류자 감지 방법 및 이를 이용한 잔류자 감지 시스템은 매장 내 모니터링을 위해 설치된 카메라의 영상을 실시간으로 분석해서 노숙자나 취객과 같은 잠재적인 문제 원인을 자동으로 감지해 낼 수 있는 효과가 있는 것이다. 또한, 본 발명의 다른 효과는 중앙 관제와 연결되어 적은 인원으로 많은 매장의 보안을 관리할 수 있는 효과가 있는 것이다.
도 1은 종래의 피플 카운팅 기능을 갖는 무인 방범 시스템 구성도,
도 2는 본 발명 무인 매장 내 안전사고 예방을 위한 딥러닝 기반 실시간 잔류자 감지 방법 제어 흐름도,
도 3은 본 발명 무인 매장 내 안전사고 예방을 위한 딥러닝 기반 실시간 잔류자 감지 시스템 구성도,
도 4는 본 발명에 적용되는 보급형 GPU 기반 영상분석 관리서버의 처리 파이프라인 흐름도,
도 5는 본 발명에 적용되는 딥러닝 CNN 구성도,
도 6은 본 발명 히트 맵을 이용한 최종 잔류자 판별도 이다.
상기와 같은 목적을 가진 본 발명 무인 매장 내 안전사고 예방을 위한 딥러닝 기반 실시간 잔류자 감지 방법 및 이를 이용한 잔류자 감지 시스템을 도 2 내지 도 6을 기초로 하여 설명하면 다음과 같다.
도 2는 본 발명 무인 매장 내 안전사고 예방을 위한 딥러닝 기반 실시간 잔류자 감지 방법 제어 흐름도이다. 상기도 2에서 본 발명 무인 매장 내 안전사고 예방을 위한 딥러닝 기반 실시간 잔류자 감지 방법은 영상분석 관리 서버가 다수의 CCTV로부터 매장 내 영상 정보를 수신하는 단계(S11)와, 영상분석 관리 서버가 수신된 영상에서 딥러닝 기반으로 사람을 검출하는 단계(S12)와, 영상분석 관리 서버가 검출된 사람의 히트 맵에서의 검출 값을 산정하는 단계(S13)와, 히트 맵의 검출 값을 기초로 영상분석 관리 서버가 잔류자 후보를 선정하는 단계(S14)와, 영상분석 관리 서버가 후보자를 추적하여 잔류 시간을 산정하는 단계(S15)와, 영상분석 관리 서버가 기준 시간을 기초로 하여 잔류자를 확정하는 단계(S16)를 포함하여 이루어지는 것을 특징으로 하는 것이다. 상기 S12 단계는 CNN(Convolution Neural Network) 기반의 딥 러닝을 사용하였으며 딥러닝 프레임워크 중 하나의 다크넷 기반의 YOLO v2 기반으로 입력 크기를 448*448에서 640*640으로 수정한 네트워크를 사용한 것을 특징으로 하는 것이다. 또한, 상기 S13 단계는 검출된 사람의 위치에 대하여 최초 검출 시간과 기준 검출 값(예 : 100)을 기초로 하여 주기적으로 영상을 모니터링하여 사람이 검출되는 경우에는 검출 값을 증가시키고 사람이 없는 영역에 대하여는 해당 검출 값을 감소시키는 것으로 어느 위치에 사람이 지속적으로 검출되는 경우 히트 맵에서의 검출 값은 증가 되는 것이다. 또한, 상기 S14 단계에서 잔류자 후보 선정은 5분 동안 지속적으로 사람이 검출되는 영역을 히트 맵 임계 영역이라 하고 이 임계 영역을 포함하는 사람을 잔류자 후보로 선정하는 것이다.
도 3은 본 발명 무인 매장 내 안전사고 예방을 위한 딥러닝 기반 실시간 잔류자 감지 시스템 구성도이다. 상기도 3에서 본 발명 무인 매장 내 안전사고 예방을 위한 딥러닝 기반 실시간 잔류자 감지 시스템은 매장 내부를 촬영하고 촬영된 영상 정보를 관리 서버로 전송하는 다수의 CCTV(100)와, CCTV로부터 영상 정보를 수신하고 수신된 영상에서 CNN을 기초로 딥 러닝을 수행하여 사람을 검출하고 검출된 사람에 대한 히트 맵에서의 검출 값을 기초로 잔류자 후보를 선정하고 기준 시간을 기초로 하여 잔류자 후보를 확정하는 영상분석 관리서버(200)로 구성된 것을 특징으로 하는 것이다. 상기 본 발명에서 사용되는 CCTV는 9개를 사용하고, 영상분석 관리 서버는 보급형 GPU(GTX 1030)를 기반으로 실시간으로 사람의 위치를 정확하게 분석하기 위하여 CNN을 기반으로 딥 러닝을 수행하여 영상을 분석하는 것이다.
도 4는 본 발명에 적용되는 보급형 GPU 기반 영상분석 관리 서버의 처리 파이프라인 흐름도이다. 상기도4에서 본 발명에 적용되는 보급형 GPU 기반 영상분석 관리 서버의 처리 파이프라인은 각 채널(카메라)은 독립된 스레드에 의해 처리 파이프 라인을 갖는 것이고, 각 처리 파이프 라인 내부에는 RTSP/RTP Protocol을 이용해서 카메라(CCTV)로부터 영상을 수신하는 부분, 압축된 영상 정보를 디코딩한 후 분석을 위하여 버퍼에 저장하는 부분, 딥러닝을 이용하여 사람을 검출하는 부분, 사람 위치를 이용하여 잔류를 감지하는 부분, 감지된 결과를 메타 데이터 형태로 전달하는 부분으로 이루어지는 것이다. 또한, 각각의 처리 단계에서 결과를 버퍼에 저장하는 이유는 다음 단계 처리에서의 지연으로 인한 영상 손실을 방지하기 위한 것이다. 또한, 본 발명은 각 채널의 디코딩한 영상 정보를 별도의 공용 버퍼(Detect buffer)로 전송한 후 딥 러닝을 통하여 사람을 검출하고 그 결과를 잔류자 콜백 형식으로 잔류자 분석 단계로 보내는 것이다. 만약에 각 채널의 처리 파이프라인마다 독립적인 사람 검출을 위한 딥 러닝을 사용할 경우 보급형 GPU에서 메모리 부족으로 일부 채널만이 동작하게 되며 과도한 GPU 사용으로 인해 시스템 전체가 느려지거나 동작이 중단될 위험이 있게 되는 것이다. 또한, 본 발명과 같이 모든 채널의 공용 버퍼를 사용하는 경우에는 각 채널의 사람 검출 빈도가 줄어드는 단점은 있으나 감지 대상이 움직임이 적은 노숙자 또는 취객으로 한정하므로 성능에는 큰 영향이 없을 수 있는 것이다.
도 5는 본 발명에 적용되는 딥러닝 CNN 구성도이다. 상기도 5에서 본 발명에 적용되는 딥러닝 CNN(Convolution Neural Network)은 딥 러닝 프레임워크 중 하나의 다크넷 기반의 YOLO v2를 기반으로 입력 크기를 448*448에서 640*640으로 수정한 네트워크를 사용하였으며 이는 매장 내부 카메라의 경우 대부분 광각 영상이므로 5m 정도의 매우 가까운 거리의 사람이 작게 보여 기존의 딥러닝 네트워크에서는 잘 검출되지 않기 때문이다.
도 6은 본 발명 히트 맵을 이용한 최종 잔류자 판별도 이다. 상기도 6에서 본 발명 히트 맵을 이용한 잔류자 판별은 영상 분석을 통하여 검출된 사람의 위치에 대하여 기준 값에서 검출 값을 증가시키고 사람이 없는 영역에 대하여는 해당 검출 값을 감소시키는 것으로 어느 위치에 사람이 지속적으로 검출되는 경우 히트 맵에서의 검출 값은 증가 되는 것이다. 또한, 잔류자 후보 검출은 5분 동안 지속적으로 사람이 검출되는 영역을 히트 맵 임계 영역이라 하고 이 임계 영역을 포함하는 사람을 잔류자 후보로 선정하여 잔류 시간이 기준 시간을 초과하는 경우 잔류자로 확정하는 것이다. 상기에서 기준 시간은 30분을 적용하여 설정할 수 있는 것이다. 또한, 사람의 이동 경로를 추적하기 위하여는 연속된 프레임 간에 검출된 사람이 실제로 사람인지 판단하는 과정이 선행되어야 하며 이 과정을 매칭이라 하고 연속된 매칭을 진행함으로써 추적이 이루어지는 것이다. 매칭에서는 거리 정보 이외에 크기와 색상 정보를 나타내는 특징 벡터(feature vector)를 추출하고 이를 이용하여 사람 간의 유사도를 계산하는 것이다. 그리고 유사도를 기반으로 프레임 간에 가장 큰 유사도를 가지는 사람이 동일하다고 판단하며 본 발명에서는 다수의 사람을 매칭시키는 방법으로 헝가리안 매칭(Hungarian matching)을 사용하고 있는 것이다. 헝가리안 매칭은 할당 문제(Assignment Problem)를 푸는 방법 중의 하나로 매칭 시 발생하는 비용(cost)을 최소화하면서 최대한 많은 매칭(maximum matching)을 구하는 최적화 알고리즘이다. 지속적으로 추적되는 사람의 경우 추적되는 총 시간이 계산될 수 있으며 30분을 잔류자 감지의 기준 시간으로 정하고 사용자가 편의에 따라 조정할 수도 있는 것이다.
100 : CCTV, 200 : 관리 서버

Claims (14)

  1. 매장 내부에 설치된 CCTV에서 획득된 영상을 분석하여 무인 매장 운영 시간에 매장 내 장시간 체류하는 노숙자나 취객과 같은 잔류자를 검출하여 운영 시간 내에 무인 매장 내부에서의 안전사고를 예방하기 위한 딥러닝 기반 실시간 잔류자 감지 방법에 있어서,
    상기 운영 시간 내에 무인 매장 내부에서의 안전사고를 예방하기 위한 딥러닝 기반 실시간 잔류자 감지 방법은,
    영상분석 관리 서버가 다수의 CCTV로부터 매장 내 영상 정보를 수신하는 단계(S11)와;
    영상분석 관리 서버가 수신된 영상에서 CNN(Convolution Neural Network) 기반의 딥러닝으로 사람을 검출하는 단계(S12)와;
    영상분석 관리 서버가 검출된 사람의 히트 맵에서 검출된 사람의 위치에 대하여 최초 검출 시간과 기준 검출 값을 기초로 하여 주기적으로 영상을 모니터링하여 사람이 검출되는 경우에는 검출 값을 증가시키고 사람이 없는 영역에 대하여는 해당 검출 값을 감소시키는 방식으로 검출 값을 산정하는 단계(S13)와;
    히트 맵의 검출 값을 기초로 영상분석 관리 서버가 5분 동안 지속적으로 사람이 검출되는 영역을 히트 맵 임계 영역으로 하고 이 임계 영역을 포함하는 사람을 잔류자 후보로 선정하는 단계(S14)와;
    영상분석 관리 서버가 후보자를 추적하여 잔류 시간을 산정하는 단계(S15);
    및 영상분석 관리 서버가 기준 시간을 기초로 하여 잔류자를 확정하는 단계(S16)를 포함하여 이루어지는 것을 특징으로 하는 운영 시간 내에 무인 매장 내부에서의 안전사고를 예방하기 위한 딥러닝 기반 실시간 잔류자 감지 방법.
  2. 삭제
  3. 삭제
  4. 삭제
  5. 제1항에 있어서,
    상기 CNN(Convolution Neural Network) 기반의 딥 러닝은,
    다크넷 기반의 YOLO v2 기반으로 입력 크기가 448*448에서 640*640인 네트워크에서 딥러닝을 수행하는 것을 특징으로 하는 운영 시간 내에 무인 매장 내부에서의 안전사고를 예방하기 위한 딥러닝 기반 실시간 잔류자 감지 방법.
  6. 제1항에 있어서,
    상기 영상분석 관리 서버는,
    보급형 GPU(GTX 1030) 기반의 관리 서버인 것을 특징으로 하는 운영 시간 내에 무인 매장 내부에서의 안전사고를 예방하기 위한 딥러닝 기반 실시간 잔류자 감지 방법.
  7. 매장 내부에 설치된 CCTV에서 획득된 영상을 분석하여 무인 매장 운영 시간에 매장 내 장시간 체류하는 노숙자나 취객과 같은 잔류자를 검출하여 운영 시간 내에 무인 매장 내부에서의 안전사고를 예방하기 위한 딥러닝 기반 실시간 잔류자 감지 시스템에 있어서,
    상기 운영 시간 내에 무인 매장 내부에서의 안전사고를 예방하기 위한 딥러닝 기반 실시간 잔류자 감지 시스템은,
    매장 내부를 촬영하고 촬영된 영상 정보를 관리 서버로 전송하는 다수의 CCTV(100);
    및 다수의 CCTV로부터 영상 정보를 수신하고 수신된 영상에서 CNN을 기초로 딥 러닝을 수행하여 사람을 검출하고 검출된 사람에 대한 히트 맵에서의 검출 값을 기초로 잔류자 후보를 선정하고 기준 시간을 기초로 하여 잔류자 후보를 확정하는 보급형 GPU(GTX 1030) 기반의 영상분석 관리서버(200)로 구성된 것으로 상기 검출된 사람의 이동 경로 추적은 연속된 프레임 간에 검출된 사람이 실제로 사람인지 판단하는 연속된 매칭을 진행함으로써 추적이 이루어지고, 상기 GPU 기반 영상분석 관리 서버의 처리 파이프라인은 각 채널(카메라)은 독립된 스레드에 의해 처리 파이프 라인을 갖고, 각 처리 파이프 라인 내부에는 RTSP/RTP Protocol을 이용해서 카메라(CCTV)로부터 영상을 수신하는 부분, 압축된 영상 정보를 디코딩한 후 분석을 위하여 버퍼에 저장하는 부분, 딥러닝을 이용하여 사람을 검출하는 부분, 사람 위치를 이용하여 잔류를 감지하는 부분, 감지된 결과를 메타 데이터 형태로 전달하는 부분으로 이루어지는 것을 특징으로 하는 운영 시간 내에 무인 매장 내부에서의 안전사고를 예방하기 위한 딥러닝 기반 실시간 잔류자 감지 시스템.
  8. 삭제
  9. 삭제
  10. 삭제
  11. 제7항에 있어서,
    상기 운영 시간 내에 무인 매장 내부에서의 안전사고를 예방하기 위한 딥러닝 기반 실시간 잔류자 감지 시스템은,
    각 채널의 디코딩한 영상 정보를 별도의 공용 버퍼(Detect buffer)로 전송한 후 딥 러닝을 통하여 사람을 검출하고 그 결과를 잔류자 콜백 형식으로 잔류자 분석 단계로 보내는 것을 특징으로 하는 운영 시간 내에 무인 매장 내부에서의 안전사고를 예방하기 위한 딥러닝 기반 실시간 잔류자 감지 시스템.
  12. 제7항에 있어서,
    상기 CNN(Convolution Neural Network) 기반의 딥 러닝은,
    다크넷 기반의 YOLO v2 기반으로 입력 크기가 448*448에서 640*640인 네트워크에서 딥러닝을 수행하는 것을 특징으로 하는 운영 시간 내에 무인 매장 내부에서의 안전사고를 예방하기 위한 딥러닝 기반 실시간 잔류자 감지 시스템.
  13. 제7항에 있어서,
    상기 매칭은,
    헝가리안 매칭(Hungarian matching)을 사용하는 것을 특징으로 하는 운영 시간 내에 무인 매장 내부에서의 안전사고를 예방하기 위한 딥러닝 기반 실시간 잔류자 감지 시스템.
  14. 제7항에 있어서,
    상기 매칭은,
    특징 벡터(feature vector)를 추출하고 이를 이용하여 사람 간의 유사도를 계산하는 것을 특징으로 하는 운영 시간 내에 무인 매장 내부에서의 안전사고를 예방하기 위한 딥러닝 기반 실시간 잔류자 감지 시스템.






KR1020180137428A 2018-11-09 2018-11-09 무인 매장 내 안전사고 예방을 위한 딥러닝 기반 실시간 잔류자 감지 방법 및 이를 이용한 잔류자 감지 시스템 KR102176045B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180137428A KR102176045B1 (ko) 2018-11-09 2018-11-09 무인 매장 내 안전사고 예방을 위한 딥러닝 기반 실시간 잔류자 감지 방법 및 이를 이용한 잔류자 감지 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180137428A KR102176045B1 (ko) 2018-11-09 2018-11-09 무인 매장 내 안전사고 예방을 위한 딥러닝 기반 실시간 잔류자 감지 방법 및 이를 이용한 잔류자 감지 시스템

Publications (2)

Publication Number Publication Date
KR20200056498A KR20200056498A (ko) 2020-05-25
KR102176045B1 true KR102176045B1 (ko) 2020-11-09

Family

ID=70914505

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180137428A KR102176045B1 (ko) 2018-11-09 2018-11-09 무인 매장 내 안전사고 예방을 위한 딥러닝 기반 실시간 잔류자 감지 방법 및 이를 이용한 잔류자 감지 시스템

Country Status (1)

Country Link
KR (1) KR102176045B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230157707A (ko) 2022-05-10 2023-11-17 인천대학교 산학협력단 사람 탐지 및 감시 시스템

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102234555B1 (ko) 2020-10-23 2021-03-31 주식회사 만랩 무인 매장 운영을 위한 방범 및 보안 관리 방법, 장치 및 시스템
KR102357425B1 (ko) * 2021-02-26 2022-02-08 이동영 비대면 지향적 공용세탁실의 효율적 운용을 위한 원격 모니터링 및 제어 시스템

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008047074A (ja) * 2006-08-21 2008-02-28 Sogo Keibi Hosho Co Ltd 警備装置、警備方法および警備プログラム
JP2010176380A (ja) * 2009-01-29 2010-08-12 Sony Corp 情報処理装置および方法、プログラム、並びに記録媒体

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101995107B1 (ko) * 2017-03-23 2019-07-01 한국과학기술원 딥 러닝을 이용한 인공지능 기반 영상 감시 방법 및 시스템

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008047074A (ja) * 2006-08-21 2008-02-28 Sogo Keibi Hosho Co Ltd 警備装置、警備方法および警備プログラム
JP2010176380A (ja) * 2009-01-29 2010-08-12 Sony Corp 情報処理装置および方法、プログラム、並びに記録媒体

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230157707A (ko) 2022-05-10 2023-11-17 인천대학교 산학협력단 사람 탐지 및 감시 시스템

Also Published As

Publication number Publication date
KR20200056498A (ko) 2020-05-25

Similar Documents

Publication Publication Date Title
US11157778B2 (en) Image analysis system, image analysis method, and storage medium
US11704936B2 (en) Object tracking and best shot detection system
KR102176045B1 (ko) 무인 매장 내 안전사고 예방을 위한 딥러닝 기반 실시간 잔류자 감지 방법 및 이를 이용한 잔류자 감지 시스템
KR101215948B1 (ko) 신체정보 및 얼굴인식에 기반한 감시 시스템의 영상정보 마스킹 방법
WO2020073505A1 (zh) 基于图像识别的图像处理方法、装置、设备及存储介质
WO2018096787A1 (ja) 人物行動監視装置および人物行動監視システム
KR101387628B1 (ko) 출입 통제 통합 영상 저장 장치
CA3114734A1 (en) Video surveillance and object recognition
US20070229663A1 (en) Image processing apparatus, monitoring camera, and image monitoring system
JP2011070576A (ja) 画像処理装置、及び画像処理方法
CN112132045A (zh) 一种基于计算机视觉的小区人员异常行为监控方案
US11321949B2 (en) Display control device, display control system, and display control method
KR20110129789A (ko) 얼굴과 신체 정보를 융합한 다중 생체 인식을 이용한 영상 감시 시스템 및 방법
KR20160074208A (ko) 비콘신호를 이용한 안전 서비스 제공 시스템 및 방법
KR101964374B1 (ko) 출입 통제 시스템 및 방법
KR20180007615A (ko) 네트워크 카메라 및 이를 이용한 폭력 감지 방법
KR102046591B1 (ko) 영상 감시 시스템 및 영상 감시방법
US11164008B2 (en) Method and controller for controlling a video processing unit to facilitate detection of newcomers in a first environment
JP5758165B2 (ja) 物品検出装置および静止人物検出装置
JP5444103B2 (ja) 通報装置
KR20100077662A (ko) 지능형 영상감시 시스템 및 영상감시 방법
JP6266088B2 (ja) 人物検出装置および人物検出方法
KR101437678B1 (ko) 피플 카운팅 기능을 갖는 무인 방범 시스템
KR101482646B1 (ko) 스마트 기기 연동형 지능형 방범보안 시스템
JP2017062594A (ja) 迷惑行為者推定システム、迷惑行為者推定システムの制御方法及び制御プログラム

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant