KR20150029324A - 감시카메라 영상을 이용한 실시간 결제 이벤트 요약 시스템 및 그 방법 - Google Patents

감시카메라 영상을 이용한 실시간 결제 이벤트 요약 시스템 및 그 방법 Download PDF

Info

Publication number
KR20150029324A
KR20150029324A KR20130108347A KR20130108347A KR20150029324A KR 20150029324 A KR20150029324 A KR 20150029324A KR 20130108347 A KR20130108347 A KR 20130108347A KR 20130108347 A KR20130108347 A KR 20130108347A KR 20150029324 A KR20150029324 A KR 20150029324A
Authority
KR
South Korea
Prior art keywords
image
event
counter
frame
customer
Prior art date
Application number
KR20130108347A
Other languages
English (en)
Other versions
KR101513180B1 (ko
Inventor
원웅재
황만원
김용석
김동욱
Original Assignee
주식회사 제론헬스케어
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 제론헬스케어 filed Critical 주식회사 제론헬스케어
Priority to KR1020130108347A priority Critical patent/KR101513180B1/ko
Publication of KR20150029324A publication Critical patent/KR20150029324A/ko
Application granted granted Critical
Publication of KR101513180B1 publication Critical patent/KR101513180B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G06V20/47—Detecting features for summarising video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

본 발명은 매장의 카운터를 향해 촬영하여 생성된 카운터 영상을 카메라로부터 수신하여 영상 분석부로 송신하는 영상 관리부; 영상 관리부로부터 수신한 카운터 영상에서, 이동객체를 배경영상으로부터 분리하여 추출하고, 추출된 이동객체를 추적 처리하는 영상 분석부; 카운터 영상을, 사용자에 의해 미리 설정된 고객 영역, 종업원 영역 및 계산대 영역으로 분할하여 관리하는 이벤트 관리부; 영상 분석부에서 추적 처리된 이동객체가 이벤트 관리부에 의해 분할된 고객 영역 또는 종업원 영역 내에 존재하는지 체크하고, 상기 이동객체가 고객 영역 및 종업원 영역 내에 모두 존재하는 경우, 계산대 영역의 영상에서 움직임이 있는지 검출하고, 계산대 영역의 영상에서 움직임이 검출되면 해당 카운터 영상의 프레임은 고객-종업원 상호작용 이벤트가 발생한 것으로 기록하는 영상 내용 분석부; 및 상기 영상 내용 분석부에서 고객-종업원 상호작용 이벤트가 발생된 프레임을 데이터베이스에 저장하는 데이터 관리부; 를 포함한다. 본 발명에 따르면, 저해상도 감시 카메라를 이용하여 계산대에서 고객과 종업원 사이에 상호작용하는 영상을 데이터베이스에 분류하여 저장함으로써, 사용자가 값싼 감시카메라로도 결제행동을 모니터링하고 고객 또는 종업원에 의하여 발생하는 부정행위 등의 문제 영상을 손쉽게 검색할 수 있도록 하는 감시카메라 영상을 이용한 실시간 결제 이벤트 요약 시스템 및 그 방법을 제공할 수 있다.

Description

감시카메라 영상을 이용한 실시간 결제 이벤트 요약 시스템 및 그 방법{SYSTEM FOR A REAL-TIME CASHING EVENT SUMMARIZATION IN SURVEILLANCE IMAGES AND THE METHOD THEREOF}
본 발명은 감시카메라 영상을 이용한 실시간 결제 이벤트 요약 시스템 및 그 방법에 관한 것으로서, 보다 구체적으로는 저해상도 감시 카메라를 이용하여 계산대에서 고객과 종업원 사이에 상호작용하는 영상을 데이터베이스에 분류하여 저장함으로써, 사용자가 값싼 저해상도 감시카메라로도 고객 또는 종업원에 의하여 발생하는 부정행위 등의 문제 영상을 손쉽게 검색할 수 있도록 하는 감시카메라 영상을 이용한 실시간 결제 이벤트 요약 시스템 및 그 방법에 관한 것이다.
지능형 감시 시스템은 불규칙적인 객체의 움직임 및 이벤트를 자동적으로 감지 및 모니터링하기 위해 최근 보안 카메라 리서치 커뮤니티로부터 많은 관심을 받고 있다[1]. 또한 비디오 분석 시스템은 소매점 및 매장의 판매 및 결제 지역에서 종업원의 계산대 관련 고의적 또는 비고의적 종업원 부정행위를 모니터링하기 위한 매우 효율적인 수단으로 고려되어 왔다[2, 3, 4]. 또한, 주식회사 제론헬스케어는 병원, 매장 및 일반 응용제품용 지능형 감시 솔루션을 개발하여 왔다[5].
이러한 추세를 따라, 연구자들은 손의 움직임에 기반한 소매 행동 인식 모델을 개발하여 왔다[3, 4]. 그러나, 이러한 모델이 특정 제한 영역 내에서 좋은 성능을 낸다고 하더라도, 이러한 모델은 피부색으로 손을 감지하는 손 감지기에 기반한 것이고, 따라서 이러한 시스템은 실제 카메라의 왜곡이 많은 환경이나, 피부색과 유사한 배경에 대해서는 적용하기 어렵다.
상술한 문제점을 해결하기 위해 안출된 본 발명의 목적은, 저해상도 감시 카메라를 이용하여 계산대에서 고객과 종업원 사이에 상호작용하는 영상을 데이터베이스에 분류하여 저장함으로써, 사용자가 값싼 저해상도 감시카메라로도 결제행동을 모니터링하고 고객 또는 종업원에 의하여 발생하는 부정행위 등의 문제 영상을 손쉽게 검색할 수 있도록 하는 감시카메라 영상을 이용한 실시간 결제 이벤트 요약 시스템 및 그 방법을 제공하기 위한 것이다.
또한, 본 발명의 다른 목적은, 고객의 존재 이벤트, 종업원의 존재 이벤트, 고객-종업원 상호작용 이벤트, 금전 등록기의 개방 이벤트 및 카드 결제 이벤트가 각 표시되고, 각 이벤트 종류별로 검색 및 분류 가능하도록 생성된 이력 리스트를 사용자 단말기에 제공하여, 사용자가 각 이벤트 종류별로 영상 검색 및 분류를 손쉽게 할 수 있도록 하는 감시카메라 영상을 이용한 실시간 결제 이벤트 요약 시스템 및 그 방법을 제공하기 위한 것이다.
상기 목적을 달성하기 위한 본 발명의 감시카메라 영상을 이용한 실시간 결제 이벤트 요약 시스템은, 매장의 카운터를 향해 촬영하여 생성된 카운터 영상을 카메라로부터 수신하여 영상 분석부로 송신하는 영상 관리부; 영상 관리부로부터 수신한 카운터 영상에서, 이동객체를 배경영상으로부터 분리하여 추출하고, 추출된 이동객체를 추적 처리하는 영상 분석부; 카운터 영상을, 사용자에 의해 미리 설정된 고객 영역, 종업원 영역 및 계산대 영역으로 분할하여 관리하는 이벤트 관리부; 영상 분석부에서 추적 처리된 이동객체가 이벤트 관리부에 의해 분할된 고객 영역 또는 종업원 영역 내에 존재하는지 체크하고, 상기 이동객체가 고객 영역 및 종업원 영역 내에 모두 존재하는 경우, 계산대 영역의 영상에서 움직임이 있는지 검출하고, 계산대 영역의 영상에서 움직임이 검출되면 해당 카운터 영상의 프레임은 고객-종업원 상호작용 이벤트가 발생한 것으로 기록하는 영상 내용 분석부; 및 상기 영상 내용 분석부에서 고객-종업원 상호작용 이벤트가 발생된 프레임을 데이터베이스에 저장하는 데이터 관리부; 를 포함한다.
또한, 상기 영상 관리부는, 카메라로부터 카운터 영상을 수신하는 카메라 관리부; 및 카메라 관리부가 수신한 카운터 영상을 RGB 이미지 데이터로 변환하여 영상 분석부로 송신하는 영상 포맷부; 를 포함한다.
또한, 상기 이벤트 관리부는, 카운터 영상 중 사용자에 의해 미리 설정된 금전등록기 영역에 해당하는 영상을 분할하여 관리하며, 상기 영상 내용 분석부는, 이벤트 관리부에 의해 분할된 금전등록기의 영상을 금전등록기가 개방된 상태인 기준 템플릿 영상과 비교하여, 그 유사도가 기 설정된 기준치 이상인 경우, 해당 카운터 영상의 프레임은 금전등록기 개방 이벤트가 발생한 것으로 기록하는 것을 특징으로 한다.
또한, 상기 이벤트 관리부는, 카운터 영상 중 사용자에 의해 미리 설정된 금전등록기 영역에 해당하는 영상을 분할하여 관리하며, 상기 영상 내용 분석부는, 이벤트 관리부에 의해 분할된 금전등록기의 영상에서, 기 설정된 움직임 방향 및 움직임 거리를 만족시키는 특징점들을 추출하고, 이 추출된 특징점들의 개수 및 평균 움직임 거리를 산출한 후, 특징점들의 개수가 기 설정된 개수 이상이고, 상기 평균 움직임 거리가 기 설정된 움직임 거리 이상이면, 해당 카운터 영상의 프레임은 금전등록기 개방 이벤트가 발생한 것으로 기록하는 것을 특징으로 한다.
또한, 상기 이벤트 관리부는, 카운터 영상 중 사용자에 의해 미리 설정된 카드영수증 영역에 해당하는 영상을 분할하여 관리하며, 상기 영상 내용 분석부는, 이벤트 관리부에 의해 분할된 카드영수증 영역의 영상을 카드 영수증이 미출력 상태인 기준 템플릿 영상과 비교하여, 그 유사도가 기 설정된 기준치 이하인 경우, 해당 카운터 영상의 프레임은 카드 결제 이벤트가 발생한 것으로 기록하는 것을 특징으로 한다.
또한, 상기 영상 내용 분석부는, 계산대 영역의 영상에서 움직임을 검출하는 경우, 특정 프레임의 계산대 영역 영상에서 이전 프레임의 계산대 영역 영상을 뺀 프레임 차이 이미지를 다수 개의 서브 블록으로 분할하고, 각 서브 블록 내 개개의 픽셀에 대한 프레임 차이 이미지 밝기는, 그 밝기값이 일정 수치보다 크면 해당 밝기값, 상기 일정 수치보다 작으면 0으로 처리하여 산출하고, 각 서브 블록 내 개개의 픽셀의 프레임 차이 이미지 밝기의 평균값을 각 서브 블록의 밝기값으로 하고, 모든 서브 블록들의 각 밝기값의 평균값이 제1 임계치 이상인 경우, 상기 특정 프레임은 움직임이 있는 것으로 검출하는 계산대 움직임 검출부;를 포함한다.
또한, 상기 영상 내용 분석부는, 상기 계산대 움직임 검출부에서 움직임이 있는 것으로 검출된 특정 프레임에 대해서, 그 특정 프레임 이전의 K개 프레임 구간에서의 움직임이 감지된 프레임 개수를 움직임이 감지되지 않은 프레임 개수로 나눈 값이 제2 임계치 이상인 경우, 최종적으로 상기 특정 프레임은 움직임이 있는 프레임으로 검출하고, 제2 임계치 이하인 경우 상기 특정 프레임은 움직임이 없는 프레임으로 검출하는 계산대 움직임 에러 보상부;를 더 포함한다.
또한, 상기 데이터 관리부는, 영상 분석부에서 이동 객체가 고객 영역 내에 존재하는 것으로 판단되는 경우, 해당 카운터 영상의 프레임에 고객 존재 이벤트 식별자를 표기하여 데이터베이스에 저장하고, 영상 분석부에서 이동 객체가 종업원 영역 내에 존재하는 것으로 판단되는 경우, 해당 카운터 영상의 프레임에 종업원 존재 이벤트 식별자를 표기하여 데이터베이스에 저장하고, 영상 분석부에서 고객-종업원 상호작용 이벤트가 발생한 것으로 판단되는 경우, 해당 카운터 영상의 프레임에 고객-종업원 상호작용 이벤트 식별자를 표기하여 데이터베이스에 저장하고, 영상 분석부에서 금전등록기 개방 이벤트가 발생한 것으로 판단되는 경우, 해당 카운터 영상의 프레임에 금전등록기 개방 이벤트 식별자를 표기하여 데이터베이스에 저장하고, 영상 분석부에서 카드 결제 이벤트가 발생한 것으로 판단되는 경우, 해당 카운터 영상의 프레임에 카드 결제 이벤트 식별자를 표기하여 데이터베이스에 저장하는 것을 특징으로 한다.
또한, 상기 데이터 관리부는, 데이터베이스에 저장된 카운터 영상에 관한 이벤트 식별자를 이용하여, 고객 존재 이벤트, 종업원 존재 이벤트, 고객-종업원 상호작용 이벤트, 금전등록기 개방 이벤트 및 카드 결제 이벤트들이 각 이벤트 종류별로 검색 및 분류 가능하도록 생성된 이벤트 이력 리스트를 사용자 단말기에 제공하여 주고, 사용자 단말기로부터 특정 이벤트가 선택되면 해당 이벤트에 해당하는 카운터 영상을 사용자 단말기에 제공하는 것을 특징으로 한다.
상기 목적을 달성하기 위한 본 발명의 감시카메라 영상을 이용한 실시간 결제 이벤트 요약 방법은, (a) 영상 관리부가, 매장의 카운터를 향해 촬영하여 생성된 카운터 영상을 카메라로부터 수신하여 영상 분석부로 송신하는 단계; (b) 영상 분석부가, 영상 관리부로부터 수신한 카운터 영상에서, 이동객체를 배경영상으로부터 분리하여 추출하고, 추출된 이동객체를 추적 처리하는 단계; (c) 영상 내용 분석부가, 영상 분석부에서 추적 처리된 이동객체가 이벤트 관리부에 의해 분할된 고객 영역 또는 종업원 영역 내에 존재하는지 체크하고, 상기 이동객체가 고객 영역 및 종업원 영역 내에 모두 존재하는 경우, 계산대 영역의 영상에서 움직임이 있는지 검출하고, 계산대 영역의 영상에서 움직임이 검출되면 해당 카운터 영상의 프레임은 고객-종업원 상호작용 이벤트가 발생한 것으로 기록하는 단계; 및 (d) 데이터 관리부가, 상기 영상 내용 분석부에서 고객-종업원 상호작용 이벤트가 발생된 프레임을 데이터베이스에 저장하는 단계; 를 포함한다.
또한, 상기 (c) 단계는, 영상 내용 분석부가, 이벤트 관리부에 의해 분할된 금전등록기의 영상을 금전등록기가 개방된 상태인 기준 템플릿 영상과 비교하여, 그 유사도가 기 설정된 기준치 이상인 경우, 해당 카운터 영상의 프레임은 금전등록기 개방 이벤트가 발생한 것으로 기록하는 것을 특징으로 한다.
또한, 상기 (c) 단계는, 영상 내용 분석부가, 이벤트 관리부에 의해 분할된 금전등록기의 영상에서, 기 설정된 움직임 방향 및 움직임 거리를 만족시키는 특징점들을 추출하고, 이 추출된 특징점들의 개수 및 평균 움직임 거리를 산출한 후, 특징점들의 개수가 기 설정된 개수 이상이고, 상기 평균 움직임 거리가 기 설정된 움직임 거리 이상이면, 해당 카운터 영상의 프레임은 금전등록기 개방 이벤트가 발생한 것으로 기록하는 것을 특징으로 한다.
또한, 상기 (c) 단계는, 영상 내용 분석부가, 이벤트 관리부에 의해 분할된 카드영수증 영역의 영상을 카드 영수증이 미출력 상태인 기준 템플릿 영상과 비교하여, 그 유사도가 기 설정된 기준치 이하인 경우, 해당 카운터 영상의 프레임은 카드 결제 이벤트가 발생한 것으로 기록하는 것을 특징으로 한다.
또한, 상기 (c) 단계는, (c1) 계산대 영역의 영상에서 움직임을 검출하는 경우, 특정 프레임의 계산대 영역 영상에서 이전 프레임의 계산대 영역 영상을 뺀 프레임 차이 이미지를 다수 개의 서브 블록으로 분할하고, 각 서브 블록 내 개개의 픽셀에 대한 프레임 차이 이미지 밝기는, 그 밝기값이 일정 수치보다 크면 해당 밝기값, 상기 일정 수치보다 작으면 0으로 처리하여 산출하고, 각 서브 블록 내 개개의 픽셀의 프레임 차이 이미지 밝기의 평균값을 각 서브 블록의 밝기값으로 하고, 모든 서브 블록들의 각 밝기값의 평균값이 제1 임계치 이상인 경우, 상기 특정 프레임은 움직임이 있는 것으로 검출하는 단계;를 포함한다.
또한, 상기 (c) 단계는, (c2) 상기 (c1) 단계에서 움직임이 있는 것으로 검출된 특정 프레임에 대해서, 그 특정 프레임 이전의 K개 프레임 구간에서의 움직임이 감지된 프레임 개수를 움직임이 감지되지 않은 프레임 개수로 나눈 값이 제2 임계치 이상인 경우, 최종적으로 상기 특정 프레임은 움직임이 있는 프레임으로 검출하고, 제2 임계치 이하인 경우 상기 특정 프레임은 움직임이 없는 프레임으로 검출하는 단계;를 포함한다.
또한, 상기 (d) 단계는, 데이터 관리부가, 영상 분석부에서 이동 객체가 고객 영역 내에 존재하는 것으로 판단되는 경우, 해당 카운터 영상의 프레임에 고객 존재 이벤트 식별자를 표기하여 데이터베이스에 저장하고, 영상 분석부에서 이동 객체가 종업원 영역 내에 존재하는 것으로 판단되는 경우, 해당 카운터 영상의 프레임에 종업원 존재 이벤트 식별자를 표기하여 데이터베이스에 저장하고, 영상 분석부에서 고객-종업원 상호작용 이벤트가 발생한 것으로 판단되는 경우, 해당 카운터 영상의 프레임에 고객-종업원 상호작용 이벤트 식별자를 표기하여 데이터베이스에 저장하고, 영상 분석부에서 금전등록기 개방 이벤트가 발생한 것으로 판단되는 경우, 해당 카운터 영상의 프레임에 금전등록기 개방 이벤트 식별자를 표기하여 데이터베이스에 저장하고, 영상 분석부에서 카드 결제 이벤트가 발생한 것으로 판단되는 경우, 해당 카운터 영상의 프레임에 카드 결제 이벤트 식별자를 표기하여 데이터베이스에 저장하는 것을 특징으로 한다.
또한, 본 발명의 감시카메라 영상을 이용한 실시간 결제 이벤트 요약 방법은, (e) 상기 데이터 관리부가, 데이터베이스에 저장된 카운터 영상에 관한 이벤트 식별자를 이용하여, 고객 존재 이벤트, 종업원 존재 이벤트, 고객-종업원 상호작용 이벤트, 금전등록기 개방 이벤트 및 카드 결제 이벤트들이 각 이벤트 종류별로 검색 및 분류 가능하도록 생성된 이벤트 이력 리스트를 사용자 단말기에 제공하여 주고, 사용자 단말기로부터 특정 이벤트가 선택되면 해당 이벤트에 해당하는 카운터 영상을 사용자 단말기에 제공하는 단계;를 더 포함한다.
상술한 본 발명에 따르면, 저해상도 감시 카메라를 이용하여 계산대에서 고객과 종업원 사이에 상호작용하는 영상을 데이터베이스에 분류하여 저장함으로써, 사용자가 값싼 저해상도 감시카메라로도 결제행동을 모니터링하고 고객 또는 종업원에 의하여 발생하는 부정행위 등의 문제 영상을 손쉽게 검색할 수 있도록 하는 감시카메라 영상을 이용한 실시간 결제 이벤트 요약 시스템 및 그 방법을 제공할 수 있다.
또한, 본 발명에 따르면, 고객의 존재 이벤트, 종업원의 존재 이벤트, 고객-종업원 상호작용 이벤트, 금전 등록기의 개방 이벤트 및 카드 결제 이벤트가 각 표시되고, 각 이벤트 종류별로 검색 및 분류 가능하도록 생성된 이력 리스트를 사용자 단말기에 제공하여, 사용자가 각 이벤트 종류별로 영상 검색 및 분류를 손쉽게 할 수 있도록 하는 감시카메라 영상을 이용한 실시간 결제 이벤트 요약 시스템 및 그 방법을 제공할 수 있다.
도 1은 본 발명의 일실시예에 따른 실시간 결제 이벤트 요약 시스템의 블록 구성도이다.
도 2는 본 발명의 결제 이벤트 감지를 위한 4개의 영역- 고객, 종업원, 계산대 및 금전 등록기 영역이 표시된 감시카메라 영상 화면이다.
도 3은 본 발명의 고객-종업원 상호작용 이벤트 감지를 위한 프레임 차이 이미지 처리 화면이다.
도 4는 본 발명의 금전 등록기 개방 이벤트 감지를 위한 이미지 유사도 체크 화면이다.
도 5는 본 발명의 시스템을 개발하기 위한 XeronISS-SDK 화면이다.
도 6은 본 발명에 따른 시스템의 모든 프로세스에 대한 실험 결과를 나타내는 화면이다.
도 7은 본 발명에 따라 사용자 단말기에 제공되는 이벤트 이력 리스트 화면이다.
도 8은 본 발명의 움직임 기반 금전등록기 개방 상태 감지를 나타내는 화면이다.
도 9는 본 발명의 카드 결제 이벤트 검출예를 나타내는 화면이다.
도 10은 본 발명의 일실시예에 따른 실시간 결제 이벤트 요약 방법의 순서도이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다.
그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.
이하, 본 발명의 바람직한 실시예를 첨부한 도면을 참조하여 상세하게 설명한다.
도 1은 본 발명의 일실시예에 따른 실시간 결제 이벤트 요약 시스템의 블록 구성도이다.
도 1을 참조하면, 본 발명의 일실시예에 따른 실시간 결제 이벤트 요약 시스템(100)은 영상 관리부(110), 영상 분석부(120), 이벤트 관리부(130), 영상 내용 분석부(140) 및 데이터 관리부(150)를 포함한다.
영상 관리부(110)는 매장의 카운터를 향해 촬영하여 생성된 카운터 영상을 카메라(200)로부터 수신하여 영상 분석부(120)로 송신한다.
영상 분석부(120)는, 영상 관리부(110)로부터 수신한 카운터 영상에서, 이동객체를 배경영상으로부터 분리하여 추출하고, 추출된 이동객체를 추적 처리한다.
이벤트 관리부(130)는, 카운터 영상을, 사용자에 의해 미리 설정된 고객 영역, 종업원 영역 및 계산대 영역으로 분할하여 관리한다.
영상 내용 분석부(140)는, 영상 분석부(120)에서 추적 처리된 이동객체가 이벤트 관리부(130)에 의해 분할된 고객 영역 또는 종업원 영역 내에 존재하는지 체크하고, 상기 이동객체가 고객 영역 및 종업원 영역 내에 모두 존재하는 경우, 계산대 영역의 영상에서 움직임이 있는지 검출하고, 계산대 영역의 영상에서 움직임이 검출되면 해당 카운터 영상의 프레임은 고객-종업원 상호작용 이벤트가 발생한 것으로 기록한다.
데이터 관리부(150)는, 영상 내용 분석부(140)에서 고객-종업원 상호작용 이벤트가 발생된 프레임을 데이터베이스(300)에 저장한다.
영상 관리부(110)는, 카메라 관리부(112) 및 영상 포맷부(114)를 포함하는데, 카메라 관리부(112)는 카메라(200)로부터 카운터 영상을 수신하고, 영상 포맷부(114)는 카메라 관리부(112)가 수신한 카운터 영상을 RGB 이미지 데이터로 변환하여 영상 분석부(120)로 송신한다.
또한, 이벤트 관리부(130)는, 카운터 영상 중 사용자에 의해 미리 설정된 금전등록기 영역에 해당하는 영상을 분할하여 관리할 수도 있으며, 이 경우 영상 내용 분석부(140)는, 이벤트 관리부(130)에 의해 분할된 금전등록기의 영상을 금전등록기가 개방된 상태인 기준 템플릿 영상과 비교하여, 그 유사도가 기 설정된 기준치 이상인 경우, 해당 카운터 영상의 프레임은 금전등록기 개방 이벤트가 발생한 것으로 기록한다.
또는, 영상 내용 분석부(140)는, 이벤트 관리부(130)에 의해 분할된 금전등록기의 영상에서, 기 설정된 움직임 방향 및 움직임 거리를 만족시키는 특징점들을 추출하고, 이 추출된 특징점들의 개수 및 평균 움직임 거리를 산출한 후, 특징점들의 개수가 기 설정된 개수 이상이고, 상기 평균 움직임 거리가 기 설정된 움직임 거리 이상이면, 해당 카운터 영상의 프레임은 금전등록기 개방 이벤트가 발생한 것으로 기록할 수 있다.
이벤트 관리부(130)는, 카운터 영상 중 사용자에 의해 미리 설정된 카드영수증 영역에 해당하는 영상을 분할하여 관리하며, 영상 내용 분석부(140)는, 이벤트 관리부(130)에 의해 분할된 카드영수증 영역의 영상을 카드 영수증이 미출력 상태인 기준 템플릿 영상과 비교하여, 그 유사도가 기 설정된 기준치 이하인 경우, 해당 카운터 영상의 프레임은 카드 결제 이벤트가 발생한 것으로 기록한다.
또한, 영상 내용 분석부(140)는, 계산대 움직임 검출부(142) 및 계산대 움직임 에러 보상부(144)를 포함한다.
계산대 움직임 검출부(142)는, 계산대 영역의 영상에서 움직임을 검출하는 경우, 특정 프레임의 계산대 영역 영상에서 이전 프레임의 계산대 영역 영상을 뺀 프레임 차이 이미지를 다수 개의 서브 블록으로 분할하고, 각 서브 블록 내 개개의 픽셀에 대한 프레임 차이 이미지 밝기는, 그 밝기값이 일정 수치보다 크면 해당 밝기값, 상기 일정 수치보다 작으면 0으로 처리하여 산출하고, 각 서브 블록 내 개개의 픽셀의 프레임 차이 이미지 밝기의 평균값을 각 서브 블록의 밝기값으로 하고, 모든 서브 블록들의 각 밝기값의 평균값이 제1 임계치 이상인 경우, 상기 특정 프레임은 움직임이 있는 것으로 검출한다.
계산대 움직임 에러 보상부(144)는, 계산대 움직임 검출부(142)에서 움직임이 있는 것으로 검출된 특정 프레임에 대해서, 그 특정 프레임 이전의 K개 프레임 구간에서의 움직임이 감지된 프레임 개수를 움직임이 감지되지 않은 프레임 개수로 나눈 값이 제2 임계치 이상인 경우, 최종적으로 상기 특정 프레임은 움직임이 있는 프레임으로 검출하고, 제2 임계치 이하인 경우 상기 특정 프레임은 움직임이 없는 프레임으로 검출한다.
데이터 관리부(150)는, 영상 분석부(120)에서 이동 객체가 고객 영역 내에 존재하는 것으로 판단되는 경우, 해당 카운터 영상의 프레임에 고객 존재 이벤트 식별자를 표기하여 데이터베이스(300)에 저장하고, 영상 분석부(120)에서 이동 객체가 종업원 영역 내에 존재하는 것으로 판단되는 경우, 해당 카운터 영상의 프레임에 종업원 존재 이벤트 식별자를 표기하여 데이터베이스(300)에 저장하고, 영상 분석부(120)에서 고객-종업원 상호작용 이벤트가 발생한 것으로 판단되는 경우, 해당 카운터 영상의 프레임에 고객-종업원 상호작용 이벤트 식별자를 표기하여 데이터베이스(300)에 저장하고, 영상 분석부(120)에서 금전등록기 개방 이벤트가 발생한 것으로 판단되는 경우, 해당 카운터 영상의 프레임에 금전등록기 개방 이벤트 식별자를 표기하여 데이터베이스(300)에 저장하고, 영상 분석부(120)에서 카드 결제 이벤트가 발생한 것으로 판단되는 경우, 해당 카운터 영상의 프레임에 카드 결제 이벤트 식별자를 표기하여 데이터베이스(300)에 저장한다.
또한, 데이터 관리부(150)는, 데이터베이스(300)에 저장된 카운터 영상에 관한 이벤트 식별자를 이용하여, 고객 존재 이벤트, 종업원 존재 이벤트, 고객-종업원 상호작용 이벤트, 금전등록기 개방 이벤트 및 카드 결제 이벤트들이 각 이벤트 종류별로 검색 및 분류 가능하도록 생성된 이벤트 이력 리스트를 사용자 단말기(400)에 제공하여 주고, 사용자 단말기(400)로부터 특정 이벤트가 선택되면 해당 이벤트에 해당하는 카운터 영상을 사용자 단말기(400)에 제공한다.
위와 같은 본 발명의 특징에 관하여 더욱 상세하게 설명하자면 다음과 같다.
1. 개요
본 발명은, 감시카메라 이미지에서 고의적 또는 비고의적인 종업원의 부정행위를 감시하고 체크하는 실시간 결제 이벤트 요약 시스템에 관한 것이다. 녹화된 영상에서 결제 이벤트를 요약하기 위하여, 본 발명은 영역 기반 고객-종업원 상호작용 이벤트(customer-cashier interaction event; CCIE) 및 금전 등록기 개방 이벤트(cash register opening event; CROE)를 제안한다. 이러한 이벤트들을 감지하기 위하여, 본 발명은 추적된 객체의 정보 및 그 사용자 정의 영역을 이용하여 고객 또는 종업원의 존재 이벤트를 고려한다. 또한, CCIE 및 CROE를 감지하기 위하여, 본 발명은 감지된 고객 또는 종업원 존재 이벤트와 함께, 이들 각 영역에서 움직임 및 패턴 매칭 분석 방법을 고려한다. 또한, 이 영역들 내에서 고객 또는 종업원 존재 이벤트를 감지하기 위하여, 본 발명은 느린 이동 및 정지 객체 문제를 처리함과 동시에, 적응형 배경 기반 이동 객체 감지 및 추적 접근을 고려한다.
2. 본 발명의 일실시예에 따른 실시간 결제 이벤트 요약 시스템에 대한 설명
본 발명의 시스템(100)은 카메라 관리부(112), 영상 포맷부(114), 영상 분석부(120), 영상 내용 분석부(140), 데이터 관리부(150) 및 이벤트 관리부(130)의 6개 중요 구성요소를 포함한다.
본 발명의 시스템(100)에서, 카메라 관리부(112) 및 영상 포맷부(114)는 영상 입력 단말기를 관리하고 입력 이미지를 RGB 이미지 데이터로 변환한다. 그 다음, 이벤트 관리부(130)는 영상 분석부(120) 및 영상 내용 분석부(140)를 위해, 사용자 정의 영상의 룰 생성, 삭제, 수정 및 스케줄링을 관리한다. 영상 분석부(120)는 객체 이동 지역을 고유번호(ID) 및 그 속성, 예컨대 순차 입력 이미지에서의 크기, 속도, 색상 및 형상 등과 함께 추출한다. 영상 내용 분석부(140)는 입력 영상으로부터 사용자 정의 이벤트 룰 뿐만 아니라 이동 객체의 정보도 사용하여 결제 이벤트와 같은 이벤트를 분석한다. 데이터 관리부(150)는 영상 분석부(120) 및 영상 내용 분석부(140)로부터의 출력 데이터를 메타 데이터 포맷으로 변환하고 추후 사용을 위하여 그것을 데이터베이스(300)에 저장한다.
3. 결제 이벤트 감지
결제 이벤트를 감지하기 위하여, 본 발명은 도 2에 도시된 바와 같이 4개의 영역- 고객, 종업원, 계산대 및 금전 등록기 영역을 정의한다. CCIE를 감지하기 위한 첫 번째 단계에서, 본 발명의 시스템(100)은 추적 정보(tracking information)를 이용하여 이 영역들에서 고객 또는 종업원을 감지한다. 그 다음, CCIE는 계산대 영역에서의 움직임 분석에 의해 결정된다. CROE를 결정하기 위하여, 본 발명은 종업원 영역에서 종업원 존재 이벤트를 감지한 후, 금전 등록기 영역에서의 패턴 매칭 분석을 수행한다. 그 다음, 감지된 이벤트 결과는 데이터베이스(300)에 저장된다. 이에 따라, 결제 이벤트는, 감지된 이벤트 시각 및 해당 녹화 영상들을 데이터베이스(300)에서 검색하는 것에 의해 요약될 수 있다.
3.1. 이동 객체 감지 및 추적
고객 및 종업원의 존재 이벤트를 감지하기 위해 순차 입력 영상으로부터 이동 객체의 정보를 얻기 위하여, 본 발명은 적응형 배경 모델 기반 객체 검출 및 추적 또는 학습 기반 사람 검출 모델로 검토 적용될 수 있다(X. Wang, T. X. Han, and S. Yan, "An HOG-LBP Human detector with Partial Occlsion Handling", ICCV09 참조)[6, 7, 8].
우선 적응형 배경 모델의 경우, 입력 영상의 픽셀들에 대해 Gaussian Mixture Model(GMM)을 이용하여 배경을 학습하고, GMM 배경 모델과 입력영상을 비교 하여 배경 pixel 인지 이동 객체 영역 pixel인지 분류한다. 분류된 이동 객체 영상에 대해서 잘못 분류된 pixel들을 제거 하기 위해 모폴로지 같은 후처리 기법을 적용한 후 connected components labeling를 이용하여 이동 객체 영역을 분리 한다. [6, 7, 8, 9, 10, 11]. 그 다음, 최소/최대 싸이즈 필터를 적용하여 사람의 크기가 아닌 노이즈 객체 영역을 제거한다. 마지막으로, 검출된 사람 영역에 대하여 단순히 페어 과정(matching pair procedure)을 수행하는 것을 통해 추적될 수 있다(-W. J. Won and et all, "Simplified Multiple Objet Tracking model for real-time intelligent surveillance system", ECTICON, 2013. 참조)[12, 13].
Staffer 와 Grimson은 K 가우시안 혼합(K Gaussian mixture)을 이용한 GMM 기반 적응형 배경 모델을 제안하였다[6, 8]. 각 픽셀에 대하여, 시각 t에서의 혼합 가중치는 시각 t-1에서의 가중치에 기반하여 아래 수학식 1과 같이 업데이트된다.
Figure pat00001
여기서,
Figure pat00002
는 학습 비율(learning rate)이다.
또한, 입력 영상에 대해 배경 업데이트 하기 위해 기존에 학습된 K 가우시안에 대해 평균값과 분산값을 이용하여 매칭되는 모델이 있는지 체크하여 매칭된 모델이 있으면 해당 모델을 업데이트 하고, 그렇지 않으면 새로운 모델을 생성한다. 또한, 해당 픽셀에 대한 배경 가우시안 모델의 생성/업데이트 후 픽셀의 가우시안 모델들을
Figure pat00003
의 하향 순서로 정렬된 된다. 또한, 입력 영상과 매칭되는 가우시안 모델의 수식인 B는 다음 수학식 2와 같다.
Figure pat00004
T는 배경에 의해 고려되어야 하는 데이터의 최소 부분이다. 여기서,
Figure pat00005
는 매칭되지 않은 분산을 위해 동일하게 남아있게 된다.
비록 본 모델은 조명 및 배경에 의한 객체 반사의 변화와 같은 실제 환경에서도 강건하게 동작하나, 느리게 움직이거나 정지된 객체를 감지하는 데에는 문제가 있다[6]. 객체가 매우 느리게 움직이거나 정지한 경우에는, 객체 영역의 픽셀은 동일한 학습 비율로서 배경으로서 업데이트된다. 이에 따라, 이 모델은 느리게 움직이거나 정지된 객체는 감지해낼 수가 없다. 이 문제를 해결하기 위하여, 본 발명은 추적부(tracker)로부터 추적 객체 영역 피드백을 사용하는 다음 수학식 3과 같은 적응형 학습 비율 개념을 도입한다.
Figure pat00006
여기서,
Figure pat00007
은 고정된 초기
Figure pat00008
변수이고,
Figure pat00009
는 각 추적된 객체에 대한 추적 이력(count)이고, TM은 추적 영역에 포함된 픽셀들에 대해서는 1로 설정되어 있고 그렇지 않은 영역에서는 0으로 설정되어 있는 추적 맵 표시자이다. 또한, 본 발명에서는
Figure pat00010
가 특정된 경계를 벗어나지 않도록 상한 및 하한 경계로서
Figure pat00011
을 설정하였다. 이에 따라,
Figure pat00012
는
Figure pat00013
로서 계산되고,
Figure pat00014
는 업데이트 시간 변수이다.
이 객체 추적을 위하여, 본 발명은 감지 객체 영역과 추적 객체 영역 사이에서 해당 매칭 페어(matching pair)을 생성하기 위한 특성 매칭 방법(feature matching method)을 도입한다[12, 13]. 특성 매칭 단계에서, 후보 매칭 Pair를 추적 객체 리스트와 감지 객체 리스트들에 대해 영상 상의 거리와 객체간 사이즈 비율을 이용해 선택한다. 그리고, 이진 매칭 페어 테이블은 히스토그램 유사성이 사용자가 설정한 추적 임계치보다 클 경우 매칭 검출 및 추적 객체의 최종 후보로써 간주 해준다. 이진 매칭 테이블 및 검출/추적 객체 영역간 거리에 대해서 스코링 방법(scoring method)을 사용하여 감지 객체와 추적 객체 사이의 최적의 매칭 페어를 찾은 다음, 매칭된 추적 객체는 해당 감지 객체의 위치와 특성에 의해 업데이트된다. 그러나, 매칭 페어가 중첩 객체(merging object)로서 인식되면, 추적 객체 특성은 업데이트되지 않는다. 그렇지 않으면, 매칭되지 않고 중첩된 추적 객체에 대해서, 추적 객체 위치는 이전 프레임으로부터 예상된 위치에 의해 업데이트된다. 매칭되지 않은 감지 객체는 특정 일치도를 체크한 후 신규 추적 객체로서 기록된다.
3.2. 고객-종업원 상호작용 이벤트 감지
CCIE를 감지하기 위하여, 본 발명의 시스템(100)은 추적 객체 영역을 사용자 정의 영역과 비교하는 것에 의하여 고객 및 종업원이 존재하는지 여부를 체크한다. 그 다음, 고객 및 종업원이 있는 경우, 사용자 정의 계산대 영역에서 CCIE가 있는지 결정하기 위하여 움직임 분석을 수행한다. 이 움직임 분석을 위하여, 본 발명은 다음 수학식 4를 이용한 간단한 프레임 차이 방법(frame difference method)을 도입한다.
Figure pat00015
여기서,
Figure pat00016
는 프레임 비율(frame rate)에 의해 결정되는 프레임 간격(frame interval)이다.
프레임 차이 이미지(frame difference image), 즉 특정 시간
Figure pat00017
에서의 프레임 이미지에서
Figure pat00018
에서의 프레임 이미지를 뺀 이미지를 얻은 후, 이 프레임 차이 이미지는 도 3에 도시된 바와 같이 N x M 서브 블록에 의해 분할된다. 그 다음, 각 서브 블록 내 개개의 픽셀(x,y 좌표상의 픽셀)에 대하여 프레임 차이 이미지의 밝기 D(x, y)를 Dth보다 크면 해당 밝기값(d), Dth보다 작으면 0으로 처리하여 산출하고, 각 서브 블록 내 개개의 픽셀의
Figure pat00019
의 평균값을 구하여, 그 평균값을 각 서브 블록의 밝기값 S(m,n)으로 한다.
프레임 레벨에서의 상호작용 이벤트인 프레임 레벨 상호작용 이벤트(TE)는 다음 수학식 5를 이용하여 서브 블록 밝기값인 S(m, n)과 임계치(
Figure pat00020
)에 의해 결정된다.
Figure pat00021
그러나, 이미지 왜곡 및 노이즈는 프레임 레벨 상호작용 감지에 있어서 잘못된 결정을 일으킬 수 있다. 일시적인 이벤트 감지 에러를 줄이기 위하여, 본 발명은 일시적 분석 방법(temporal analysis method)을 사용하는 에러 보상 방법을 도입하였다. 각 프레임 레벨 감지 결과는 K개 구간동안 저장된다. 그 다음, 최종 이벤트 감지 결과(final event detection result; FE)는 감지 이벤트(
Figure pat00022
)와 감지되지 않은 이벤트(
Figure pat00023
)의 비율과 임계치(
Figure pat00024
)에 의해 다음 수학식 6을 사용하여 결정된다.
Figure pat00025
즉, 위 수학식 6은, 영상에서 순간적인 영상 왜곡(빛의 변화, 그림자 등으로 생기는 영상 왜곡)으로 인하여 이벤트가 발생할 우려가 있는데, 이를 극복하기 위해서는 단순히 한 번의 이벤트 검출로 검출 여부를 판단하는 것이 아니고, 사용자가 설정된 시간 동안 이벤트 검출 여부를 지켜보고, 설정 시간 동안 이벤트 검출 발생 결과와 이벤트 미 검출 결과의 비율을 확인함으로써 순간적인 영상 왜곡으로 인한 이벤트 검출을 막기 위해 필요한 것이다.
3.3. 금전 등록기 개방 이벤트 감지
도 4에 도시된 바와 같이, 종업원이 종업원 영역 내에 있는 경우, 본 발명의 시스템은 패턴 매칭 분석에 기반하여 CROE를 감지하기 위하여 사용자 정의 금전 등록기 영역에서 금전 등록기의 개방 상태를 체크한다. 금전 등록기 개방 상태를 체크하기 위하여, 본 발명은 간단히 템플릿 매칭 방법[14]을 도입한다. 입력 이미지에 대해서, 유사도 맵은 다음 수학식 7에 의하여 생성된다.
Figure pat00026
그 다음, 금전 등록기 개방 상태는 각 프레임에 대한 유사도 맵에서, 임계치를 초과하는 로컬 최대 수치(local maximum point)를 검색하는 것에 의해 결정된다. 최종 감지 결과는 에러 보상 알고리즘인 위 수학식 6에 의해서 결정된다.
4. 실험 결과
Xeron Intelligent surveillance system-software development kit(XeronISS-SDK)를 사용하여, XeronISS Client 라는 매장 감시 어플리케이션으로서 결제 이벤트 요약 시스템을 구현해보았다. 도 5에 도시된 바와 같이, XeronISS-SDK는 감시 시스템을 손쉽게 개발하기 위하여 C++ 라이브러리 기반 파라미터 환경설정, 단말기 관리부, 영상 포맷부, 데이터 관리부, 이미지 프로세서, VA, VCA 및 알람/이벤트 관리 모듈을 지원한다. 또한, XeronISS Client는 16개 채널 모니터링, VA, VCA, 스마트 검색, 이벤트 통계 분석, 영상 녹화 및 요약 및 능동형 자동 추적 기능을 가지고 있다.
도 6은 본 발명에 따른 시스템의 모든 프로세스에 대한 실험 결과를 보여준다. 이동 객체가 화면에 나타나면, 본 발명의 시스템은 이 이동 객체를 감지하고 추적한다. 그 다음, 도 6(a)에 도시된 바와 같이, 추적 객체 영역을 사용하여 고객 및 종업원 존재 이벤트가 결정된다. 최종적으로, 본 발명의 시스템은 도 6(b)에 도시된 바와 같이, 움직임 및 패턴 매칭 분석을 이용하여 CCIE 및 CROE를 감지한다.
도 7에 도시된 바와 같이, 본 발명의 시스템은 사용자 정의 기간 동안의 이벤트 이력을 리스트로 정리하여 보여줄 수 있고 검색하는 것도 가능하다. 그 다음, 사용자는 이 이벤트 이력 리스트를 클릭하는 것에 의해 요약 영상 및 이미지의 스냅샷을 볼 수 있다.
도 8은 본 발명의 움직임 기반 금전등록기 개방 상태 감지를 나타내는 화면이고, 도 9는 본 발명의 카드 결제 이벤트 검출예를 나타내는 화면이다.
이하, 본 발명의 동작 및 작용에 대하여 도 10을 참조하여 상세히 설명한다.
도 10은 본 발명의 일실시예에 따른 실시간 결제 이벤트 요약 방법의 순서도이다.
먼저, 영상 관리부(110)가, 매장의 카운터를 향해 촬영하여 생성된 카운터 영상을 카메라(200)로부터 수신하여 영상 분석부(120)로 송신한다(단계 S110).
그 다음, 영상 분석부(120)가, 영상 관리부(110)로부터 수신한 카운터 영상에서, 이동객체를 배경영상으로부터 분리하여 추출하고, 추출된 이동객체를 추적 처리한다(단계 S120).
그 다음, 영상 내용 분석부(140)가, 영상 분석부(120)에서 추적 처리된 이동객체가 이벤트 관리부(130)에 의해 분할된 고객 영역 또는 종업원 영역 내에 존재하는지 체크하고, 상기 이동객체가 고객 영역 및 종업원 영역 내에 모두 존재하는 경우, 계산대 영역의 영상에서 움직임이 있는지 검출하고, 계산대 영역의 영상에서 움직임이 검출되면 해당 카운터 영상의 프레임은 고객-종업원 상호작용 이벤트가 발생한 것으로 기록한다(단계 S130).
그 다음, 데이터 관리부(150)가, 상기 영상 내용 분석부(140)에서 고객-종업원 상호작용 이벤트가 발생된 프레임을 데이터베이스(300)에 저장한다(단계 S140).
그 다음, 데이터 관리부(150)가, 데이터베이스(300)에 저장된 카운터 영상에 관한 이벤트 식별자를 이용하여, 고객 존재 이벤트, 종업원 존재 이벤트, 고객-종업원 상호작용 이벤트, 금전등록기 개방 이벤트 및 카드 결제 이벤트들이 각 이벤트 종류별로 검색 및 분류 가능하도록 생성된 이벤트 이력 리스트를 사용자 단말기(400)에 제공하여 주고, 사용자 단말기(400)로부터 특정 이벤트가 선택되면 해당 이벤트에 해당하는 카운터 영상을 사용자 단말기(400)에 제공한다(단계 S150).
여기서, 단계 S130은, 영상 내용 분석부(140)가, 이벤트 관리부(130)에 의해 분할된 금전등록기의 영상을 금전등록기가 개방된 상태인 기준 템플릿 영상과 비교하여, 그 유사도가 기 설정된 기준치 이상인 경우, 해당 카운터 영상의 프레임은 금전등록기 개방 이벤트가 발생한 것으로 기록할 수 있다.
또는, 단계 S130은, 영상 내용 분석부(140)가, 이벤트 관리부(130)에 의해 분할된 금전등록기의 영상에서, 기 설정된 움직임 방향 및 움직임 거리를 만족시키는 특징점들을 추출하고, 이 추출된 특징점들의 개수 및 평균 움직임 거리를 산출한 후, 특징점들의 개수가 기 설정된 개수 이상이고, 상기 평균 움직임 거리가 기 설정된 움직임 거리 이상이면, 해당 카운터 영상의 프레임은 금전등록기 개방 이벤트가 발생한 것으로 기록할 수도 있다.
또한, 단계 S130은, 영상 내용 분석부(140)가, 이벤트 관리부(130)에 의해 분할된 카드영수증 영역의 영상을 카드 영수증이 미출력 상태인 기준 템플릿 영상과 비교하여, 그 유사도가 기 설정된 기준치 이하인 경우, 해당 카운터 영상의 프레임은 카드 결제 이벤트가 발생한 것으로 기록한다.
또한, 단계 S130은, 다음과 같은 단계 S132 및 단계 S134를 포함한다.
먼저, 단계 S132는, 계산대 영역의 영상에서 움직임을 검출하는 경우, 특정 프레임의 계산대 영역 영상에서 이전 프레임의 계산대 영역 영상을 뺀 프레임 차이 이미지를 다수 개의 서브 블록으로 분할하고, 각 서브 블록 내 개개의 픽셀에 대한 프레임 차이 이미지 밝기는, 그 밝기값이 일정 수치보다 크면 해당 밝기값, 상기 일정 수치보다 작으면 0으로 처리하여 산출하고, 각 서브 블록 내 개개의 픽셀의 프레임 차이 이미지 밝기의 평균값을 각 서브 블록의 밝기값으로 하고, 모든 서브 블록들의 각 밝기값의 평균값이 제1 임계치 이상인 경우, 상기 특정 프레임은 움직임이 있는 것으로 검출한다.
그 다음 단계인 S134는, 단계 S134에서 움직임이 있는 것으로 검출된 특정 프레임에 대해서, 그 특정 프레임 이전의 K개 프레임 구간에서의 움직임이 감지된 프레임 개수를 움직임이 감지되지 않은 프레임 개수로 나눈 값이 제2 임계치 이상인 경우, 최종적으로 상기 특정 프레임은 움직임이 있는 프레임으로 검출하고, 제2 임계치 이하인 경우 상기 특정 프레임은 움직임이 없는 프레임으로 검출한다.
본 발명은 상술한 바람직한 실시예에 한정되지 아니하며 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자라면 누구든지 용이하게 변형 실시 가능한 것은 물론이고, 이와 같은 변경은 청구항의 청구범위 기재범위 내에 있게 된다.
참고문헌 목록
[1] Y. Tian, L. Brown, A. Hampapur, M. Lu, "IBM Smart Surveillance System (S3): Event Based Video Surveillance System with an Open and Extensible Framework," Machine Vision and Applications, vol. 19, Sep. 2008.
[2] A.W. Senior, "Video analytics for retail," in AVSS, pp.423-428, 2007.
[3] H. Trinh, Q. Fan, J. Pan, P. Gabbur, S. Miyazawa, and S.Pankanti, "Detecting Human Activities in Retail Surveillance Using Hierarchical Finite State Machine," in ICASSP, pp.1337-1340, 2011.
[4] H. Trinh, Q. Fan, P. Gabbur, and S. Pankanti, "Hand Tracking Binary Quadratic Programming and Its Application to Retail Activity Recognition," in CVPR, pp. 1902-1909, 2012.
[5] http://www.xeron-healthcare.com/
[6] Y. Tian, A. Senior, and M. Lu, "Robust and Efficient Foreground Analysis in Complex Surveillance Video," Machine Vision and Application, vol. 23, no.7, pp. 967-983, Sep. 2012.
[7] T. Bouwmans, F. El Baf, and B. Vachon, "Background Modeling using Mixture of Gaussians for Foreground Detection -A Survey," Recent Patents on Computer Science, vol. 1, no.3 pp.21-237, 2008.
[8] C. Stauffer, and W.E.L. Grimson, "Adaptive background mixture models for real-time tracking," in CVPR, 1999.
[9] Z. Zivkovic, and F. Heijden, "Efficient adaptive density estimation per image pixel for the task of background substraction," Pattern Recognition Letter, vol. 27, pp. 773-780,2006.
[10] F. Porikli, and J. Thornton, "Shadow flow: a recursive method to learn moving cast shadows" in ICCV, 2005.
[11] S. Nadmi and B. Bhanu, "Physical models for moving shadow and object detection in video," IEEE Trans . Pattern Analysis and Machine Intelligence, vol.26, no.8, pp.1079-1087, 2004.
[12] Q. Pan, J. Li, and S. Z. Li, "Real-time multiple objects tracking with occlusion handling in dynamic scenes," in CVPR, pp.970-975, 2005.
[13] S. Johnsen, and A. Tews, "Real-Time Object Tracking and Classification Using a Static Camera," in People and Detection workshop of ICRA , 2009.
[14] F. Jurie, and M. Dhome, "Real Time Robust Template Matching," in BMCV, pp. 123-132, 2002.
100: 실시간 결제 이벤트 요약 시스템 110: 영상 관리부
112: 카메라 관리부 114: 영상 포맷부
120: 영상 분석부 130: 이벤트 관리부
140: 영상 내용 분석부 142: 계산대 움직임 검출부
144: 계산대 움직임 에러 보상부 150: 데이터 관리부
200: 카메라 300: 데이터베이스
400: 사용자 단말기

Claims (17)

  1. 매장의 카운터를 향해 촬영하여 생성된 카운터 영상을 카메라로부터 수신하여 영상 분석부로 송신하는 영상 관리부;
    영상 관리부로부터 수신한 카운터 영상에서, 이동객체를 배경영상으로부터 분리하여 추출하고, 추출된 이동객체를 추적 처리하는 영상 분석부;
    카운터 영상을, 사용자에 의해 미리 설정된 고객 영역, 종업원 영역 및 계산대 영역으로 분할하여 관리하는 이벤트 관리부;
    영상 분석부에서 추적 처리된 이동객체가 이벤트 관리부에 의해 분할된 고객 영역 또는 종업원 영역 내에 존재하는지 체크하고, 상기 이동객체가 고객 영역 및 종업원 영역 내에 모두 존재하는 경우, 계산대 영역의 영상에서 움직임이 있는지 검출하고, 계산대 영역의 영상에서 움직임이 검출되면 해당 카운터 영상의 프레임은 고객-종업원 상호작용 이벤트가 발생한 것으로 기록하는 영상 내용 분석부; 및
    상기 영상 내용 분석부에서 고객-종업원 상호작용 이벤트가 발생된 프레임을 데이터베이스에 저장하는 데이터 관리부; 를 포함하는 감시카메라 영상을 이용한 실시간 결제 이벤트 요약 시스템.
  2. 제1항에 있어서, 상기 영상 관리부는,
    카메라로부터 카운터 영상을 수신하는 카메라 관리부; 및
    카메라 관리부가 수신한 카운터 영상을 RGB 이미지 데이터로 변환하여 영상 분석부로 송신하는 영상 포맷부; 를 포함하는 것을 특징으로 하는 감시카메라 영상을 이용한 실시간 결제 이벤트 요약 시스템.
  3. 제1항에 있어서,
    상기 이벤트 관리부는, 카운터 영상 중 사용자에 의해 미리 설정된 금전등록기 영역에 해당하는 영상을 분할하여 관리하며,
    상기 영상 내용 분석부는, 이벤트 관리부에 의해 분할된 금전등록기의 영상을 금전등록기가 개방된 상태인 기준 템플릿 영상과 비교하여, 그 유사도가 기 설정된 기준치 이상인 경우, 해당 카운터 영상의 프레임은 금전등록기 개방 이벤트가 발생한 것으로 기록하는 것을 특징으로 하는 감시카메라 영상을 이용한 실시간 결제 이벤트 요약 시스템.
  4. 제1항에 있어서,
    상기 이벤트 관리부는, 카운터 영상 중 사용자에 의해 미리 설정된 금전등록기 영역에 해당하는 영상을 분할하여 관리하며,
    상기 영상 내용 분석부는, 이벤트 관리부에 의해 분할된 금전등록기의 영상에서, 기 설정된 움직임 방향 및 움직임 거리를 만족시키는 특징점들을 추출하고, 이 추출된 특징점들의 개수 및 평균 움직임 거리를 산출한 후, 특징점들의 개수가 기 설정된 개수 이상이고, 상기 평균 움직임 거리가 기 설정된 움직임 거리 이상이면, 해당 카운터 영상의 프레임은 금전등록기 개방 이벤트가 발생한 것으로 기록하는 것을 특징으로 하는 감시카메라 영상을 이용한 실시간 결제 이벤트 요약 시스템.
  5. 제1항에 있어서,
    상기 이벤트 관리부는, 카운터 영상 중 사용자에 의해 미리 설정된 카드영수증 영역에 해당하는 영상을 분할하여 관리하며,
    상기 영상 내용 분석부는, 이벤트 관리부에 의해 분할된 카드영수증 영역의 영상을 카드 영수증이 미출력 상태인 기준 템플릿 영상과 비교하여, 그 유사도가 기 설정된 기준치 이하인 경우, 해당 카운터 영상의 프레임은 카드 결제 이벤트가 발생한 것으로 기록하는 것을 특징으로 하는 감시카메라 영상을 이용한 실시간 결제 이벤트 요약 시스템.
  6. 제1항에 있어서, 상기 영상 내용 분석부는,
    계산대 영역의 영상에서 움직임을 검출하는 경우, 특정 프레임의 계산대 영역 영상에서 이전 프레임의 계산대 영역 영상을 뺀 프레임 차이 이미지를 다수 개의 서브 블록으로 분할하고, 각 서브 블록 내 개개의 픽셀에 대한 프레임 차이 이미지 밝기는, 그 밝기값이 일정 수치보다 크면 해당 밝기값, 상기 일정 수치보다 작으면 0으로 처리하여 산출하고, 각 서브 블록 내 개개의 픽셀의 프레임 차이 이미지 밝기의 평균값을 각 서브 블록의 밝기값으로 하고, 모든 서브 블록들의 각 밝기값의 평균값이 제1 임계치 이상인 경우, 상기 특정 프레임은 움직임이 있는 것으로 검출하는 계산대 움직임 검출부;를 포함하는 감시카메라 영상을 이용한 실시간 결제 이벤트 요약 시스템.
  7. 제6항에 있어서, 상기 영상 내용 분석부는,
    상기 계산대 움직임 검출부에서 움직임이 있는 것으로 검출된 특정 프레임에 대해서, 그 특정 프레임 이전의 K개 프레임 구간에서의 움직임이 감지된 프레임 개수를 움직임이 감지되지 않은 프레임 개수로 나눈 값이 제2 임계치 이상인 경우, 최종적으로 상기 특정 프레임은 움직임이 있는 프레임으로 검출하고, 제2 임계치 이하인 경우 상기 특정 프레임은 움직임이 없는 프레임으로 검출하는 계산대 움직임 에러 보상부;를 더 포함하는 감시카메라 영상을 이용한 실시간 결제 이벤트 요약 시스템.
  8. 제3항 내지 제5항 중 어느 한 항에 있어서, 상기 데이터 관리부는,
    영상 분석부에서 이동 객체가 고객 영역 내에 존재하는 것으로 판단되는 경우, 해당 카운터 영상의 프레임에 고객 존재 이벤트 식별자를 표기하여 데이터베이스에 저장하고,
    영상 분석부에서 이동 객체가 종업원 영역 내에 존재하는 것으로 판단되는 경우, 해당 카운터 영상의 프레임에 종업원 존재 이벤트 식별자를 표기하여 데이터베이스에 저장하고,
    영상 분석부에서 고객-종업원 상호작용 이벤트가 발생한 것으로 판단되는 경우, 해당 카운터 영상의 프레임에 고객-종업원 상호작용 이벤트 식별자를 표기하여 데이터베이스에 저장하고,
    영상 분석부에서 금전등록기 개방 이벤트가 발생한 것으로 판단되는 경우, 해당 카운터 영상의 프레임에 금전등록기 개방 이벤트 식별자를 표기하여 데이터베이스에 저장하고,
    영상 분석부에서 카드 결제 이벤트가 발생한 것으로 판단되는 경우, 해당 카운터 영상의 프레임에 카드 결제 이벤트 식별자를 표기하여 데이터베이스에 저장하는 것을 특징으로 하는 감시카메라 영상을 이용한 실시간 결제 이벤트 요약 시스템.
  9. 제8항에 있어서, 상기 데이터 관리부는,
    데이터베이스에 저장된 카운터 영상에 관한 이벤트 식별자를 이용하여, 고객 존재 이벤트, 종업원 존재 이벤트, 고객-종업원 상호작용 이벤트, 금전등록기 개방 이벤트 및 카드 결제 이벤트들이 각 이벤트 종류별로 검색 및 분류 가능하도록 생성된 이벤트 이력 리스트를 사용자 단말기에 제공하여 주고, 사용자 단말기로부터 특정 이벤트가 선택되면 해당 이벤트에 해당하는 카운터 영상을 사용자 단말기에 제공하는 것을 특징으로 하는 감시카메라 영상을 이용한 실시간 결제 이벤트 요약 시스템.
  10. (a) 영상 관리부가, 매장의 카운터를 향해 촬영하여 생성된 카운터 영상을 카메라로부터 수신하여 영상 분석부로 송신하는 단계;
    (b) 영상 분석부가, 영상 관리부로부터 수신한 카운터 영상에서, 이동객체를 배경영상으로부터 분리하여 추출하고, 추출된 이동객체를 추적 처리하는 단계;
    (c) 영상 내용 분석부가, 영상 분석부에서 추적 처리된 이동객체가 이벤트 관리부에 의해 분할된 고객 영역 또는 종업원 영역 내에 존재하는지 체크하고, 상기 이동객체가 고객 영역 및 종업원 영역 내에 모두 존재하는 경우, 계산대 영역의 영상에서 움직임이 있는지 검출하고, 계산대 영역의 영상에서 움직임이 검출되면 해당 카운터 영상의 프레임은 고객-종업원 상호작용 이벤트가 발생한 것으로 기록하는 단계; 및
    (d) 데이터 관리부가, 상기 영상 내용 분석부에서 고객-종업원 상호작용 이벤트가 발생된 프레임을 데이터베이스에 저장하는 단계; 를 포함하는 감시카메라 영상을 이용한 실시간 결제 이벤트 요약 방법.
  11. 제10항에 있어서, 상기 (c) 단계는,
    영상 내용 분석부가, 이벤트 관리부에 의해 분할된 금전등록기의 영상을 금전등록기가 개방된 상태인 기준 템플릿 영상과 비교하여, 그 유사도가 기 설정된 기준치 이상인 경우, 해당 카운터 영상의 프레임은 금전등록기 개방 이벤트가 발생한 것으로 기록하는 것을 특징으로 하는 감시카메라 영상을 이용한 실시간 결제 이벤트 요약 방법.
  12. 제10항에 있어서, 상기 (c) 단계는,
    영상 내용 분석부가, 이벤트 관리부에 의해 분할된 금전등록기의 영상에서, 기 설정된 움직임 방향 및 움직임 거리를 만족시키는 특징점들을 추출하고, 이 추출된 특징점들의 개수 및 평균 움직임 거리를 산출한 후, 특징점들의 개수가 기 설정된 개수 이상이고, 상기 평균 움직임 거리가 기 설정된 움직임 거리 이상이면, 해당 카운터 영상의 프레임은 금전등록기 개방 이벤트가 발생한 것으로 기록하는 것을 특징으로 하는 감시카메라 영상을 이용한 실시간 결제 이벤트 요약 방법.
  13. 제10항에 있어서, 상기 (c) 단계는,
    영상 내용 분석부가, 이벤트 관리부에 의해 분할된 카드영수증 영역의 영상을 카드 영수증이 미출력 상태인 기준 템플릿 영상과 비교하여, 그 유사도가 기 설정된 기준치 이하인 경우, 해당 카운터 영상의 프레임은 카드 결제 이벤트가 발생한 것으로 기록하는 것을 특징으로 하는 감시카메라 영상을 이용한 실시간 결제 이벤트 요약 방법.
  14. 제10항에 있어서, 상기 (c) 단계는,
    (c1) 계산대 영역의 영상에서 움직임을 검출하는 경우, 특정 프레임의 계산대 영역 영상에서 이전 프레임의 계산대 영역 영상을 뺀 프레임 차이 이미지를 다수 개의 서브 블록으로 분할하고, 각 서브 블록 내 개개의 픽셀에 대한 프레임 차이 이미지 밝기는, 그 밝기값이 일정 수치보다 크면 해당 밝기값, 상기 일정 수치보다 작으면 0으로 처리하여 산출하고, 각 서브 블록 내 개개의 픽셀의 프레임 차이 이미지 밝기의 평균값을 각 서브 블록의 밝기값으로 하고, 모든 서브 블록들의 각 밝기값의 평균값이 제1 임계치 이상인 경우, 상기 특정 프레임은 움직임이 있는 것으로 검출하는 단계;를 포함하는 감시카메라 영상을 이용한 실시간 결제 이벤트 요약 방법.
  15. 제14항에 있어서, 상기 (c) 단계는,
    (c2) 상기 (c1) 단계에서 움직임이 있는 것으로 검출된 특정 프레임에 대해서, 그 특정 프레임 이전의 K개 프레임 구간에서의 움직임이 감지된 프레임 개수를 움직임이 감지되지 않은 프레임 개수로 나눈 값이 제2 임계치 이상인 경우, 최종적으로 상기 특정 프레임은 움직임이 있는 프레임으로 검출하고, 제2 임계치 이하인 경우 상기 특정 프레임은 움직임이 없는 프레임으로 검출하는 단계;를 포함하는 감시카메라 영상을 이용한 실시간 결제 이벤트 요약 방법.
  16. 제11항 내지 제13항 중 어느 한 항에 있어서, 상기 (d) 단계는,
    데이터 관리부가, 영상 분석부에서 이동 객체가 고객 영역 내에 존재하는 것으로 판단되는 경우, 해당 카운터 영상의 프레임에 고객 존재 이벤트 식별자를 표기하여 데이터베이스에 저장하고, 영상 분석부에서 이동 객체가 종업원 영역 내에 존재하는 것으로 판단되는 경우, 해당 카운터 영상의 프레임에 종업원 존재 이벤트 식별자를 표기하여 데이터베이스에 저장하고, 영상 분석부에서 고객-종업원 상호작용 이벤트가 발생한 것으로 판단되는 경우, 해당 카운터 영상의 프레임에 고객-종업원 상호작용 이벤트 식별자를 표기하여 데이터베이스에 저장하고, 영상 분석부에서 금전등록기 개방 이벤트가 발생한 것으로 판단되는 경우, 해당 카운터 영상의 프레임에 금전등록기 개방 이벤트 식별자를 표기하여 데이터베이스에 저장하고, 영상 분석부에서 카드 결제 이벤트가 발생한 것으로 판단되는 경우, 해당 카운터 영상의 프레임에 카드 결제 이벤트 식별자를 표기하여 데이터베이스에 저장하는 것을 특징으로 하는 감시카메라 영상을 이용한 실시간 결제 이벤트 요약 방법.
  17. 제16항에 있어서,
    (e) 상기 데이터 관리부가, 데이터베이스에 저장된 카운터 영상에 관한 이벤트 식별자를 이용하여, 고객 존재 이벤트, 종업원 존재 이벤트, 고객-종업원 상호작용 이벤트, 금전등록기 개방 이벤트 및 카드 결제 이벤트들이 각 이벤트 종류별로 검색 및 분류 가능하도록 생성된 이벤트 이력 리스트를 사용자 단말기에 제공하여 주고, 사용자 단말기로부터 특정 이벤트가 선택되면 해당 이벤트에 해당하는 카운터 영상을 사용자 단말기에 제공하는 단계; 를 더 포함하는 감시카메라 영상을 이용한 실시간 결제 이벤트 요약 방법.
KR1020130108347A 2013-09-10 2013-09-10 감시카메라 영상을 이용한 실시간 결제 이벤트 요약 시스템 및 그 방법 KR101513180B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020130108347A KR101513180B1 (ko) 2013-09-10 2013-09-10 감시카메라 영상을 이용한 실시간 결제 이벤트 요약 시스템 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130108347A KR101513180B1 (ko) 2013-09-10 2013-09-10 감시카메라 영상을 이용한 실시간 결제 이벤트 요약 시스템 및 그 방법

Publications (2)

Publication Number Publication Date
KR20150029324A true KR20150029324A (ko) 2015-03-18
KR101513180B1 KR101513180B1 (ko) 2015-04-17

Family

ID=53023841

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130108347A KR101513180B1 (ko) 2013-09-10 2013-09-10 감시카메라 영상을 이용한 실시간 결제 이벤트 요약 시스템 및 그 방법

Country Status (1)

Country Link
KR (1) KR101513180B1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170030419A (ko) * 2015-09-09 2017-03-17 주식회사 아이티엑스엠투엠 가상 카메라를 이용한 개인화된 쇼핑몰 시스템
KR20170135319A (ko) * 2016-05-31 2017-12-08 한국전자통신연구원 상호작용 이벤트 인식장치
US9967446B2 (en) 2015-09-09 2018-05-08 Itx-M2M Co., Ltd. Personalized shopping mall system using virtual camera

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101925907B1 (ko) * 2016-06-03 2019-02-26 (주)싸이언테크 신경망 생성 모델을 이용한 객체 움직임 패턴 학습장치 및 그 방법

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5005607B2 (ja) 2008-04-22 2012-08-22 株式会社タイテック 監視システム及びイベント記録方法
KR101285128B1 (ko) 2013-05-08 2013-07-19 (주)리얼허브 영상 분석을 위한 지능형 검색 로봇

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170030419A (ko) * 2015-09-09 2017-03-17 주식회사 아이티엑스엠투엠 가상 카메라를 이용한 개인화된 쇼핑몰 시스템
US9967446B2 (en) 2015-09-09 2018-05-08 Itx-M2M Co., Ltd. Personalized shopping mall system using virtual camera
KR20170135319A (ko) * 2016-05-31 2017-12-08 한국전자통신연구원 상호작용 이벤트 인식장치

Also Published As

Publication number Publication date
KR101513180B1 (ko) 2015-04-17

Similar Documents

Publication Publication Date Title
Cucchiara et al. Probabilistic posture classification for human-behavior analysis
US8761517B2 (en) Human activity determination from video
Bertini et al. Multi-scale and real-time non-parametric approach for anomaly detection and localization
US10009579B2 (en) Method and system for counting people using depth sensor
CN102831439B (zh) 手势跟踪方法及系统
Vezzani et al. Probabilistic people tracking with appearance models and occlusion classification: The ad-hoc system
Zin et al. Unattended object intelligent analyzer for consumer video surveillance
Chen et al. Anomaly detection in crowded scenes using motion energy model
Höferlin et al. Uncertainty-aware video visual analytics of tracked moving objects
Simon et al. Visual event recognition using decision trees
CN113766330A (zh) 基于视频生成推荐信息的方法和装置
KR101513180B1 (ko) 감시카메라 영상을 이용한 실시간 결제 이벤트 요약 시스템 및 그 방법
Patil et al. Suspicious movement detection and tracking based on color histogram
CN115691034A (zh) 一种智能家居异常情况告警方法、系统及存储介质
Boekhoudt et al. Hr-crime: Human-related anomaly detection in surveillance videos
CN114708537A (zh) 一种基于多视角的复杂场所异常行为分析系统及分析方法
Khan et al. Comparative study of various crowd detection and classification methods for safety control system
Şaykol et al. Keyframe labeling technique for surveillance event classification
Shi et al. Saliency-based abnormal event detection in crowded scenes
Khaire et al. RGB+ D and deep learning-based real-time detection of suspicious event in Bank-ATMs
CN116419059A (zh) 基于行为标签的自动监控方法、装置、设备及介质
Wang et al. A classification method based on streak flow for abnormal crowd behaviors
Revathi et al. A survey of activity recognition and understanding the behavior in video survelliance
Roy et al. Real-time record sensitive background classifier (RSBC)
CN111798356A (zh) 一种基于大数据的轨道交通客流异常模式识别方法

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
FPAY Annual fee payment

Payment date: 20190410

Year of fee payment: 5