KR101860881B1 - 적외선 마커와 영상분석기술을 이용한 감시대상 분류 및 선별적 방문자 계수 시스템 - Google Patents

적외선 마커와 영상분석기술을 이용한 감시대상 분류 및 선별적 방문자 계수 시스템 Download PDF

Info

Publication number
KR101860881B1
KR101860881B1 KR1020160052621A KR20160052621A KR101860881B1 KR 101860881 B1 KR101860881 B1 KR 101860881B1 KR 1020160052621 A KR1020160052621 A KR 1020160052621A KR 20160052621 A KR20160052621 A KR 20160052621A KR 101860881 B1 KR101860881 B1 KR 101860881B1
Authority
KR
South Korea
Prior art keywords
infrared
marker
infrared marker
classification
visitor
Prior art date
Application number
KR1020160052621A
Other languages
English (en)
Other versions
KR20170123422A (ko
Inventor
전석호
김인수
Original Assignee
(주)넥스리얼
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)넥스리얼 filed Critical (주)넥스리얼
Priority to KR1020160052621A priority Critical patent/KR101860881B1/ko
Publication of KR20170123422A publication Critical patent/KR20170123422A/ko
Application granted granted Critical
Publication of KR101860881B1 publication Critical patent/KR101860881B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • G08B13/19606—Discriminating between target movement or movement in an area of interest and other non-signicative movements, e.g. target movements induced by camera shake or movements of pets, falling leaves, rotating fan
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19639—Details of the system layout
    • G08B13/19645—Multiple cameras, each having view on one of a plurality of scenes, e.g. multiple cameras for multi-room surveillance or for tracking an object by view hand-over
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19678—User interface
    • G08B13/19682—Graphic User Interface [GUI] presenting system data to the user, e.g. information on a screen helping a user interacting with an alarm system
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19678—User interface
    • G08B13/19691—Signalling events for better perception by user, e.g. indicating alarms by making display brighter, adding text, creating a sound
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

본 발명은 사람의 수를 계수하는 시스템에 관한 것으로서, 더욱 상세하게는 영상분석 기술로 감지한 감시대상을 적외선 마커를 활용하여 대상에 대한 분류를 정의하고, 감시 대상이 특정 지역을 지나갈 때 정의된 분류에 의하여 선별적으로 계수하는 분류 및 인원 계수 시스템에 관한 것이다.
본 발명에 따른 적외선 마커와 영상분석기술을 이용한 감시대상 분류 및 선별적 방문자 계수 시스템은, 카메라를 통해 감시대상을 계수하고 적외선 수신부를 통해 적외선 마커의 영상을 획득하여, 상기 적외선 마커의 검출에 따라 상기 감시대상을 선별적으로 계수하는 것을 특징으로 하여 이루어진다.
이러한 본 발명에 따르면, 적외선 마커와 영상감시 기술을 결합하여 감시대상의 분류를 자동으로 수행할 수 있으며, 이에 따라 분류된 대상별로 인원을 계수할 수 있기 때문에 상황에 맞게 데이터를 수집할 수 있다는 장점이 있다.

Description

적외선 마커와 영상분석기술을 이용한 감시대상 분류 및 선별적 방문자 계수 시스템{MONITORING TARGET CLASSIFICATION AND SELECTIVE PEOPLE COUNTING SYSTEM USING INFRARED MARKER AND VIDEO IMAGE ANALYSIS TECHNOLOGY}
본 발명은 사람의 수를 계수하는 시스템에 관한 것으로서, 더욱 상세하게는 영상분석 기술로 감지한 감시대상을 적외선 마커를 활용하여 대상에 대한 분류를 정의하고, 감시 대상이 특정 지역을 지나갈 때 정의된 분류에 의하여 선별적으로 계수하는 분류 및 인원 계수 시스템에 관한 것이다.
대한민국 공개특허공보 10-2014-0047714에 개시된 '수동 적외선 탐지기들을 사용한 인원 계수를 위한 방법 및 시스템은 출입문에 여러 개의 적외선 센서를 설치하여 검출된 적외선의 패턴을 분석하여 사람이 지나간 사건을 검출하여 인원을 계수하는 방법을 사용하였다.
적외선 센서를 사용하는 방법의 경우 지나감을 감지하는 성능이 뛰어나다는 장점이 있지만, 센서의 설치에 대한 제약이 많고 출입문에서 발생하는 상황을 직관적으로 확인하는 것이 어렵다는 단점을 갖는다.
최근에는 적외선 센서를 활용하는 방식에 비하여 CCTV등의 영상을 활용하는 방식에 대한 기술개발이 활발히 진행되고 있다.
CCTV등의 영상을 활용하는 경우 영상분석 기술로 이동하는 사람을 자동으로 감지하여 특정지역을 지나가는 수를 계술 할 수 있을 뿐만 아니라 CCTV가 설치된 장소에서 발생하는 상황을 원격지에서 직관적으로 관찰 할 수 있다는 장점이 있다.
대한민국 등록특허공보 10-0885418에서는 오버헤드 카메라 영상에서 사람을 감지하고 추적하는 방법에 대한 기술이며, 대한민국 등록특허공보 10-1377394에서는 영상분석의 성능을 높이기 위하여 스테레오 카메라를 활용하며 매장 등에서 방문고객의 수를 자동으로 계수하는 시스템에 대한 방법과 시스템에 대한 기술이 개시되어 있다.
영상분석을 활용한 인원계수 기술은 설치가 편리하고 상황을 직관적으로 관찰할 수 있다는 장점이 있지만, 영상만으로는 지나가는 사람을 분류할 수 없어서 단순히 지나감을 계수하는 기능만을 제공하는 단점이 있다.
예를 들어 매장의 경우 출입문을 지나가는 직원이나 방문고객을 구분하는 것이 어렵기 때문에 측정된 인원계수 데이터를 매장운영에 효과적으로 반영하는 것에 한계가 있다.
이런 단점을 극복하기 위하여 최근에는 대한민국 등록특허공보 10-1171281에 개시된 특허와 같이 무선기기를 활용하는 방안에 대해서 많은 연구가 진행되고 있다.
BLE(Blue-tooth Low Energy), WiFi, RFID등의 고유 ID를 가지는 기기에서 발생하는 신호를 감지하여 무선기기를 소지한 사람의 수를 계수하는 방식에 대해서 많은 연구가 진행되고 있다.
하지만 무선통신의 특성상 특히 실내 환경의 경우 가구의 배치나 무선기기 간의 간섭 및 무선기기의 소지상태 등에 따라서 수신된 전파의 세기와 특성을 정확히 분석하는 것에는 많은 어려움이 따른다.
따라서 무선기기를 소지한 사람과 소지하지 않는 사람이 같은 공간에 존재하는 경우 무선기기가 부여하는 ID와 소지하고 있는 사람의 1:1 대응 관계를 알아내는 것이 매우 어렵다. 이런 어려움 때문에 무선기기를 활용하는 방식은 무선기기의 ID와 정확히 대응이 되어야 검출할 수 있는 계수 업무에서는 성능이 떨어지는 단점이 있다.
예를 들어 무선기기를 소지한 2인과 소지하지 않는 2인이 같은 공간에 있는 경우 같은 방향으로 이동하는 경우에는 어떤 사람이 무선기기를 소지한 것인지 정의하는 것이 매우 어렵기 때문에 선별적으로 계수하는 것이 어렵다.
그리고 무엇보다도 무선기기에서 측정된 데이터를 영상분석 기술에서 감지한 감시 대상과 결합하는 것에 많은 어려움이 있기 때문에 영상분석 기술과의 시너지 효과를 내기에 제한이 많다는 단점도 보유하고 있다.
특허문헌 1 : 대한민국 공개특허공보 10-2014-0047714 특허문헌 2 : 대한민국 등록특허공보 10-0885418 특허문헌 3 : 대한민국 등록특허공보 10-1377394 특허문헌 4 : 대한민국 등록특허공보 10-1171281
상술한 종래의 문제점을 해결하기 위한 본 발명의 과제는, 적외선 마커를 이용하여 감시대상의 분류를 정의하는 방법을 제공하고, 해당 방법을 영상분석 기술과 결합하여 선별된 분류별로 인원을 계수하는 시스템을 제공하고자 한다.
상술한 과제를 해결하기 위한 본 발명에 따른 적외선 마커와 영상분석기술을 이용한 감시대상 분류 및 선별적 방문자 계수 시스템은, 카메라를 통해 감시대상을 계수하고 적외선 수신부를 통해 적외선 마커의 영상을 획득하여, 상기 적외선 마커의 검출에 따라 상기 감시대상을 선별적으로 계수하는 것을 특징으로 하여 이루어진다.
여기서, 상기 적외선 마커는 1차원 패턴 또는 2차원 패턴 중 어느 하나일 수 있다.
여기서, 상기 적외선 마커의 패턴, 색상 또는 적외선 LED의 발산 주기 중 어느 하나 이상의 조합을 통해, 상기 감시대상을 재선별하여 계수하는 것이 가능하다.
여기서, 상기 적외선 마커의 광원은 적외선 LED로부터 적외선을 발산하고 적외선 반사 재질로 구성된 적외선 마커의 수동적 방식, 또는 적외선 LED를 포함하여 독립적으로 적외선을 발산하는 능동적 방식에 따라 행할 수 있다.
여기서, 상기 감시대상은 영상분석 모듈을 통해 감지, 분류 및 계수되며, 상기 적외선 마커는 마커 검출부에 의해 검출되어, 상기 영상분석 모듈에 전달되어 카메라 영상과 적외선 영상이 정합되어 상기 감시대상이 선별되어 계수될 수 있다.
여기서, 상기 적외선 마커는 상기 감시대상의 하나의 그룹과 1:1로 대응되도록 분류속성을 부여하는 것이 바람직하다.
여기서, 상기 감시대상을 실시간으로 추적하는 과정에서 새로운 적외선 마커가 검출되는 경우, 기 저장된 적외선 마커와의 속성 및 분류기준과 비교하여 상기 새로운 적외선 마커에 대한 분류 속성을 갱신할 수 있다.
여기서, 상기 선별적 방문자 계수 시스템은 분류 속성에 따라 실시간으로 인원을 계수하는 실시간 분류별 인원계수와, 상기 실시간 분류별 인원계수 시스템에 의해 계수된 인원을 보정하는 인원계수의 후보정으로 구분될 수 있다.
상술한 본 발명의 구성에 따르면, 적외선 마커와 영상감시 기술을 결합하여 감시대상의 분류를 자동으로 수행할 수 있으며, 이에 따라 분류된 대상별로 인원을 계수할 수 있기 때문에 상황에 맞게 데이터를 수집할 수 있다는 장점이 있다.
구체적으로 직원의 지나간 수를 제외한 순수 방문객의 수를 측정할 수 있을 뿐만 아니라, 출입 통행의 패턴을 시간별로 직원과 방문객에 대해서 별도로 수집 할 수 있다는 장점이 있다.
추가적으로 마커를 착용하지 않은 사람의 출입을 감지하여 통제구역에 대한 감시 기능도 효율적으로 구현할 수 있다.
또한, 본 발명의 구성에 따른 감시 대상에 대한 분류 방법을 사용하면 영상분석 기술과 쉽게 결합하여 쉽고 정확하게 감시 대상에 대한 분류가 가능하며, 이에 따라 선별적인 인원 계수뿐만 아니라 여러 응용분야에서 필요한 기능들은 영상분석 기술과의 결합을 통하여 쉽고 효과적으로 구현할 수 있다는 장점을 가진다.
도 1은 본 발명에 따른 적외선 마커와 영상분석기술을 이용한 선별적 방문자 계수 시스템의 개략도이다.
도 2는 본 발명에 따른 적외선 마커와 영상분석기술을 이용한 감시대상 분류방법의 개략도이다.
도 3은 본 발명에 따른 선별적 방문자 계수 시스템에 적용된 적외선 마커 패턴의 예시이다.
도 4는 본 발명에 따른 선별적 방문자 계수 시스템의 수동적 방식의 적외선 마커 및 검출 구성도와, 능동적 방식의 적외선 마커 및 검출 구성도이다.
도 5는 본 발명에 따른 선별적 방문자 계수 시스템에서의 적외선 마커 검출 방법 순서도이다.
도 6은 본 발명에 따른 선별적 방문자 계수 시스템에서의 적외선 마커를 이용한 영상분석 모듈의 감시대상 분류 방법의 순서도이다.
도 7은 본 발명에 따른 선별적 방문자 계수 시스템에서의 적외선 마커를 이용한 감시대상의 분류 속성 부여 개념도이다.
도 8은 본 발명에 따른 선별적 방문자 계수 시스템에서의 감시대상의 분류속성 부여 및 갱신 순서도이다.
도 9는 본 발명에 따른 선별적 방문자 계수 시스템에서의 분류속성을 이용한 선별적 인원계수 순서도를 나타낸 것이다.
이하, 본 발명에 따른 적외선 마커와 영상분석기술을 이용한 감시대상 분류방법 및 선별적 방문자 계수 시스템 및 작용효과를 첨부된 도면을 참조하여 상세하게 설명한다.
첨부 도면에 도시된 특정 실시예에 대한 상세한 설명은, 그에 수반하는 도면들과 연관하여 읽히게 되며, 도면은 전체 발명의 설명에 대한 일부로 간주된다. 방향이나 지향성에 대한 언급은 설명의 편의를 위한 것일 뿐, 어떠한 방식으로도 본 발명의 권리범위를 제한하는 의도를 갖지 않는다.
위치를 나타내는 용어나 구성 간의 상호 결합 관계를 나타내는 용어는, 설명되고 있는 도면과 관련 설명을 모두 참조하여 이해되어야 한다.
도 1은 본 발명에 따른 적외선 마커와 영상분석기술을 이용한 선별적 방문자 계수 시스템의 개략도이며, 도 2는 본 발명에 따른 적외선 마커와 영상분석기술을 이용한 감시대상 분류방법의 개략도이다.
본 발명은 감시대상을 적외선 마커를 이용하여 분류하는 방법을 제공한다. 적외선 마커는 동작 방식에 따라서 수동적 적외선 마커와 능동적 적외선 마커로 구분되며, 해당 방식에 따라서 적외선 마커를 검출하는 검출부도 다르게 구성될 수 있다.
도 1에 도시된 바와 같이, 본 발명에 따른 적외선 마커와 영상분석기술을 이용한 선별적 방문자 계수 시스템은 매장 방문객(115a)과 직원(115b)을 촬영하는 카메라(111)와 적외선 수신부(113)가 출입구 근처에 설치되고, 촬영된 영상을 분석하여 그 영상분석결과(117)와 적외선 수신부(113)에 의해 검출된 적외선 마커 검출(119)을 정합하여 매장 방문객인지 아니면 직원인지 여부를 구분 설정(121)하여 각각 방문객 DB(123a)와 직원 DB(123b)에 저장한다.
본 발명에서 감시 대상은 기본적으로 적외선 마커를 소지하지 않은 일반 대상의 매장 방문객(115a)과 적외선 마커를 소지한 인증된 대상인 직원(115b)으로 구분될 수 있다.
또한 인증된 대상인 직원(115b)은 인원계수의 적용 상황에 맞게 다양한 분류를 가질 수 있도록 서로 다른 패턴으로 정의될 수 있다.
예를 들어, 매장 방문객(115a)과 직원(115b)에 대한 계수 시스템의 경우 적외선 마커를 소지하지 않은 감시 대상은 매장 방문객으로 정의하고, 직원의 부서에 따라서 적외선 마커를 세부적으로 판매직원, 관리직원, 결재직원 등으로 세분화하여 직원들간의 구분 감시 대상을 정의하는 것이 가능하다.
도 2를 참조하면, 본 발명에서는 출입되는 인원을 구분하기 위해 카메라(111)와 적외선 수신부(113)를 사용하며, 카메라(111)는 색상 카메라를 사용할 수 있다.
카메라(111)에서 획득한 영상은 영상분석 모듈(211)의 객체 감지부(221)에서 사람을 감지하고 추적한다.
특정 지역(감지 가능 지역을 의미함)을 지나간 경우 객체 통과 감지부(225)에서는 인원을 계수한다.
마커 검출부(213)에서는 적외선 수신부(113)에서 획득한 영상으로부터 직원이 소지한 적외선 마커를 검출하여 해당 마커의 패턴을 분석한 후 객체분류 및 추적부(223)에 마커의 분류와 위치 정보를 전달한다.
적외선 마커의 분류와 위치를 전달받은 영상분석 모듈(211)의 객체분류 및 추적부(223)에서는 인원을 계수할 때 감시대상의 분류를 참조하여 선별적으로 인원을 계수하고 인원계수 DB(123)에 저장한다.
객체 통과 감지부(225)는 감시대상의 분류를 참조하여 적외선 마커의 유무에 따라 나아가 적외선 마커의 패턴 종류에 따라 각각 적외선 마커가 없는 경우 매장 방문객으로 하여 방문객 DB(123a)에 저장하고, 적외선 마커가 감지되는 경우 적외선 마커의 패턴 형식에 따라 제1 직원 DB(123b), 제2 직원 DB(123c)...제n 직원 DB로 저장한다. 제1 직원은 판매직원, 제2 직원은 관리직원, 제3 직원은 결재직원, 제4 직원은 관리자 등으로 정의하여, 선별적 인원 계수를 가능케 한다.
도 3은 본 발명에 따른 선별적 방문자 계수 시스템에 적용된 적외선 마커 패턴의 예시이며, 도 4는 본 발명에 따른 선별적 방문자 계수 시스템의 수동적 방식의 적외선 마커 및 검출 구성도와, 능동적 방식의 적외선 마커 및 검출 구성도이다.
본 발명에 따라 직원의 계수를 선별적으로 계수하기 위해 본 발명에서는 적외선 마커 검출 방식을 채택한다.
적외선 마커 패턴은 다양한 상황에 맞게 1차원 패턴(311, 313) 또는 2차원 패턴(315, 317)을 가질 수 있으며, 다양한 색상의 조합이 가능하다.
패턴과 색상의 조합에 따른 적외선 마커에 따라 직원임이 선별될 뿐만 아니라, 직원이 어느 부서의 직원인지 여부도 선별될 수 있다.
즉, 도 3에서 1차원 패턴 중 좌측의 1차원 패턴(311)이 판매직원으로 정의되고, 우측의 제1 차원 패턴(313)이 관리직원으로 정의될 경우, 적외선 마커의 패턴 및 색상 구분에 따라 계수되는 인원이 판매직원인지 관리직원인지 여부가 식별되어 계수될 수 있다.
마찬가지로, 2차원 패턴에서도 좌측의 2차원 패턴(315)을 결재직원으로 정의하고, 우측의 2차원 패턴(317)을 관리자로 정의한 경우, 각각 계수되는 인원을 선별하여 계수가 가능하게 된다.
적외선 마커의 구분을 위해 패턴 정의, 색상 정의 뿐만 아니라 적외선 LED의 발산 주기를 조절할 수도 있다.
도 4는 그러한 예를 도시하고 있는데, 다른 발광채와 구분하는 성능을 높이기 위하여 적외선 LED의 발산의 주기를 조정하는 방법으로서, 도 4의 (A)는 수동적 방식의 적외선 마커 및 검출부를 나타내고, 도 4의 (B)는 능동적 방식의 적외선 마커 및 검출부를 나타낸다.
도 4의 (A)와 같은 수동적 방식의 적외선 마커 방식에서는 검출부(413)의 적외선 LED(415)로부터 적외선을 발산하고, 적외선 반사 재질로 구성된 적외선 마커 패턴(417)을 마커 검출부(413)에서 분석하여 마커 영상(411)을 획득하고, 감시대상의 분류를 검출한다.
감시대상을 분류하는 패턴의 검출이 용이하도록 각각의 패턴들은 반사 재질로 구성될 수 있으며, 회전된 패턴을 검출하기 용이하도록 2차원 배열로 배치하거나 바코드형식으로 배치하는 등의 형태로 패턴을 구성할 수 있다.
그리고 패턴들의 색상을 다양하게 사용하여 마커가 서로 겹쳐서 이동하는 동안에도 색상을 이용한 구분이 가능하도록 구성할 수도 있다.
마커 검출부(413)에서는 적외선 LED를 발산하며, 패턴의 검출 성능을 높이기 위하여 발산의 주기 및 점등/소등 패턴을 다양화하는 방법도 사용할 수 있다.
검출부(413)는 적외선 통과필터 및 적외선 감지 센서를 포함할 수 있다.
도 4의 (B)와 같은 능동적 방식의 적외선 마커 방식에서는 마커부(401)에 장착된 적외선 LED가 독립된 전원(419)을 이용하여 적외선을 발산하고, 마커 검출부(413)에서 마커부(401)에서 발산된 적외선을 감지하여 패턴을 검출하도록 구성된다.
감시대상을 분류하는 패턴의 검출이 용이하도록 각각의 패턴들은 다양한 색상의 LED의 조합(415)으로 구성될 수 있으며, 2차원 배열 배치 혹은 바코드 형식으로 배치하여 패턴의 검출 성능을 높일 수 있도록 구성될 수 있다.
또한, 다른 발광채와 구분할 수 있도록 적외선 LED의 발산의 주기 및 점등/소등 패턴을 다양화 하여 감시대상을 분류하는 패턴을 만들어 내는 것이 가능하다.
도 5는 본 발명에 따른 선별적 방문자 계수 시스템에서의 적외선 마커 검출 방법 순서도이다.
도 5에 도시된 바와 같이, 적외선 마커 검출 방법에 있어서 먼저 적외선 마커 영상을 획득한다(S511). 적외선 마커 영상의 획득 방법은 상술한 바와 같이, 적외선 수신부(113)를 이용하여, 마커의 패턴, 색상 및 적외선 LED의 발산주기 등의 다양한 방법을 이용하여 수신이 가능하다.
획득된 적외선 마커는 마커를 분류하기 위해 먼저, 영상을 이진화한다(S513).
아래의 [수학식 1]을 이용하여 획득한 적외선 영상에서 마커의 후보군을 찾기 위하여 영상 이진화를 수행한다.
[수학식 1]에서 사용된 임계수치는 다양한 방법으로 정의가 가능함은 물론이다.
Figure 112016041294382-pat00001
여기서, x,y는 각각 화소의 x,y 좌표이고, IR(x,y)는 적외선 수신부에 의해 획득된 적외선 마커의 영상이며, IR(x,y)는 이진화되어 출력되는 적외선 마커의 출력영상이고, Threshbin는 임계수치를 의미한다.
여기서, 적외선 영상 이진화 과정(S513)에서는 검출부에서 획득한 적외선 영상에서 노이즈 부분을 제거하고 적외선 마커 영역만을 검출하기 위하여 적외선 영상에서 임계 수치 이하의 값을 가지는 영역을 제거하는 과정을 수행하게 된다.
이후, 적외선 영상의 이진화 과정을 통하여 마커의 후보군을 검출한 후, 마커의 후보영역에 색상 정보를 추가하는 색상 카메라 영상 정합 과정을 수행한다(S515).
카메라(111)와 적외선 수신부(113)는 영상을 획득하는 특성이 서로 다르기 때문에 카메라(111)에서 획득된 색상정보를 적외선 영상에서 사용하기 위해서는 두 개의 영상을 서로 정합해야 한다.
일반적으로 두개의 영상을 정합하는 과정은 두 영상간의 호모그래피(homography) 변환을 추정하는 것으로 수행될 수 있다.
구체적으로 카메라(111)와 적외선 수신부(113) 영상 간의 물리적 위치의 관계를 표시하는 Extrinsic 변환과, 렌즈의 초점거리와 왜곡에 대한 관계를 표시하는 Intrinsic 변환으로 구분된다.
[수학식 2]는 적외선 영상을 카메라 영상과 정합하기 위하여 변환하는 과정을 나타낸다.
Figure 112016041294382-pat00002
여기서, IR은 적외선 수신부에 입력된 적외선 영상이고, IR trans 는 카메라 영상과의 정합된 영상을 의미하며, A intrinsic 은 Intrinsic 변환, A extrinsic 은 Extrinsic 변환이고, A intrinsic· A extrinsic 은 호모그래피 행렬을 의미한다.
카메라와의 영상정합 과정에서는 적외선 영상의 이진화 과정에서 검출된 마커 후보 영역과 카메라의 영상을 정합하여 이진화로 검출된 적외선 마커에 색상 정보를 추가하는 과정을 수행하게 된다.
적외선 영상은 일종의 채널이 하나인 흑백 영상이기 때문에 검출된 마커들이 서로 겹쳐지거나 인접한 영역에 위치한 경우 구분하는 성능이 떨어질 수 있다. 따라서 적외선 영상에서 마커의 후보 영역으로 검출된 영역에 색상 카메라에서 획득된 색상 정보를 추가함으로써 마커의 추적 및 분류 성능을 높일 수 있게 된다.
카메라의 색상 정보를 적외선 영상에 추가하기 위해서는 색상 영상과 적외선 영상을 정합하는 과정이 필요하며, 정합 과정은 카메라(111)와 적외선 수신부(113)의 물리적인 위치를 정합하는 extrinsic alignment와 카메라(111)와 적외선 수신부(113)에 사용되는 렌즈의 왜곡의 차이와 초점 거리의 차이를 정합하는 intrinsic alignment 과정으로 분류된다.
카메라 영상과 정합을 수행한 후, 적외선 영상에서 검출된 마커의 후보 영역의 색상 정보 및 영상의 패턴과 미리 정의한 감시대상을 분류할 마커의 패턴을 정합하는 과정을 수행한 후(S517), 적외선 마커를 검출할 수 있다(S519).
패턴의 정합은 다양한 방법으로 수행이 가능하다. 미리 정의한 패턴과 검출된 마커 후보 영역간의 유사도를 비교하는 함수를 정의하고 계산하여 검출된 영역과 가장 유사한 패턴으로 표시할 수 있다.
패턴 정합 과정(S517)에서는 적외선 마커부의 색상과 형태의 패턴을 기존에 정의한 패턴의 대응 관계를 검사하는 과정을 진행한다. 정의한 패턴의 형태적 패턴(색상 및 위치 관계)과 점등/소등의 시간적 패턴을 이용하여 적외선 영상에서 최종적으로 마커의 위치와 분류를 결정할 수 있다.
도 6은 본 발명에 따른 선별적 방문자 계수 시스템에서의 적외선 마커를 이용한 영상분석 모듈의 감시대상 분류 방법의 순서도이고, 도 7은 본 발명에 따른 선별적 방문자 계수 시스템에서의 적외선 마커를 이용한 감시대상의 분류 속성 부여 개념도이며, 도 8은 본 발명에 따른 선별적 방문자 계수 시스템에서의 감시대상의 분류속성 부여 및 갱신 순서도이다.
본 발명의 영상분석 모듈(211)에서는 마커 검출부(213)에서 검출한 감시대상 분류와 위치를 이용하여 영상분석 기술에서 감지 및 추적하고 있는 감시 대상에 고유 분류를 부여하는 과정을 수행하여, 영상분석 기술이 선별적으로 인원을 계수할 수 있도록 구성된다.
도 6를 참조하면, 마커 검출부(213)를 통해 검출된 마커는 영상분석 기술과 결합하기 전에 유효성 검사를 수행한다(S611).
유효성 검사에서는 검출된 마커가 일정시간 동안 일관성 있게 동일한 분류로 판명되는 지 여부를 검사하고(S611), 마커와 감시대상이 1:1로 대응되는 경우(S613), 감시대상의 분류 정보를 갱신한다(S615).
마커의 유효성 검사에서는 마커 검출부(213)가 검출한 결과의 지속성을 검사하여 일시적으로 잘못 검출된 마커가 활용되는 것을 방지할 수 있게 한다.
마커와 감시대상의 1:1 대응을 검색하는 과정에서는 유효성이 검증된 마커의 위치를 기반으로 영상분석에서 감지한 감시 대상의 연관성을 검사하여 1:1 대응 관계를 검색하는 과정이다. 1:1 대응 관계를 검사하기 위하여 마커를 검출하기 위하여 수행했던 적외선 영상과 카메라 영상의 정합 정보를 활용하여 위치적인 인접성과 시간 연속적인 정합 여부 등을 검사한다.
감시대상의 분류정보 갱신 과정에서는 영상분석 기술에서 감지한 감시 대상에 1:1 대응 관계를 가지는 마커의 분류정보를 할당하는 과정을 수행할 수 있다.
도 7를 참조하면, 검출된 적외선 마커(711)의 정보를 이용하여 영상분석 기술의 감시대상(713)에 분류 속성을 부여하는 개념을 표시한 것이다.
영상분석 모듈(211)에서 감지한 감시대상은 마커의 정보를 이용하여 감시대상에 분류속성을 부여하게 된다.
그리고 실시간으로 갱신되는 마커의 정보를 활용하여 감시대상의 분류속성을 실시간으로 갱신하게 된다.
검출된 적외선 마커(711)에 대응되도록 직원(713a)에 분류 속성을 부여하게 되고, 직원이 아닌 일반 방문객(713b)은 적외선 마커가 부착되어 있지 않으므로 분류 속성을 부여할 필요가 없다.
도 8를 참조하여, 영상분석 모듈에서 수행되는 감시대상에 대한 분류속성의 설정 및 갱신에 대해 설명한다.
먼저, 실시간으로 감시대상을 추적한다(S811).
감시대상의 추적을 통해, 새로운 마커가 검출되는 지 여부를 확인한다(S813).
새로운 마커가 검출되지 않은 경우는 계속해서 감시대상을 추적하고, 새로운 마커가 검출되는 경우에는 기존에 부여된 속성이 존재하는 지 여부를 체크한다(S815).
검출된 새로운 마커가 기존에 부여된 속성에 포함되지 않는 경우에는 새로운 마커의 분류로 속성을 설정하게 되고, 설정후에 다시 감시대상을 추적한다(S817).
검출된 새로운 마커가 기존에 부여된 속성에 포함되는 경우에는, 새로운 마커와 동일 분류인지 여부를 확인한다(S819).
새로운 마커가 동일 분류에 포함된 경우에는 분류 속성을 유지하고 감시대상을 계속 추적하며(S821), 새로운 마커가 동일 분류에 포함되지 않는 경우에는 기존의 분류가 유효한 지 여부를 검토하여, 기존의 분류가 유효한 경우에는 감시대상을 계속 추적하게 되고(S823), 기존의 분류가 유효하지 않은 경우에는 새로운 마커의 분류로 속성을 설정한 후 감시대상을 계속 추적하게 된다(S825).
마커 검출부(213)는 실시간으로 마커를 분류하면서 적외선 마커의 정보를 활용하여 속성분류를 설정하거나 갱신한다. 이렇게 설정 또는 갱신된 분류속성은 인원계수 과정에서 분류 속성별로 선별되어 관리되는 과정에 사용된다.
도 9는 본 발명에 따른 선별적 방문자 계수 시스템에서의 분류속성을 이용한 선별적 인원계수 순서도를 나타낸 것이다.
도 6 내지 도 8에 기한 마커의 분류속성을 이용하여 선별적으로 인원을 계수 하는 방법을 살펴본다.
도 6 내지 도 8과 같이, 적외선 마커의 활용을 통하여 영상분석 기술에서 감시대상에 분류속성을 부여할 수 있다.
이런 분류 속성은 감시대상을 추적하고 인원계수를 위한 통과 이벤트를 관찰 할때 활용하여 분류별로 계수를 반영한다.
선별적 인원계수 방법에서는 크게 실시간 분류별 인원계수 과정과 인원계수의 후보정 과정으로 구성될 수 있다.
실시간 분류별 인원계수 과정은 영상분석 모듈이 실시간으로 감시대상을 추적하면서 통과 이벤트를 발생할 때마다 분류속성에 맞게 인원계수를 갱신하는 과정을 수행한다.
예를 들어 매장 감시의 응용에서는 감시대상의 분류가 없는 경우는 일반 방문객으로 계수하고 마커를 소지한 감시대상의 경우 분류에 따라서 판매직원, 관리자에 해당하는 인원계수 정보를 갱신하는 과정을 의미한다.
인원계수의 후보정 과정에서는 추적하던 감시대상의 추적이 끝나는 경우, 분류속성의 변경 이력을 감지하여 마커가 탐지되기 전 방문객으로 계수했던 이전의 계수 이력을 최종 분류속성을 이용하여 보정하는 작업을 수행한다.
다시 말하면, 인원계수의 후보정 과정에서는 감시대상이 특정영역을 지나간 행위에 의하여 인원계수 정보가 갱신된 후에 감시대상의 분류정보가 변경되는 경우에 이전에 갱신된 인원계수 정보를 보정하는 과정을 수행한다. 예를 들어 마커를 가린 상황에서 직원이 지나가는 경우 영상분석 기술에서는 마커가 없는 방문객으로 계수하였으나 얼마 후 동일 인물에 대하여 마커가 검출된 경우에 분류를 재조정하여 기존에 계수 했던 방문객의 수를 조정하고 직원의 수를 갱신하는 과정을 수행한다.
분류속성을 이용한 선별적 인원계수 순서는, 먼저 감시대상을 실시간으로 추적한다(S911).
감시대상을 추적함에 따라 통과 이벤트 발생이 있는 지 여부를 체크한다(S913).
통과 이벤트가 발생한 경우에는 분류속성에 기초하여 매장 방문객인지 여부를 확인한다(S915).
매장 방문객인 경우 즉, 적외선 마커의 식별이 없는 경우 매장 방문객을 계수하고 갱신하며, 방문객 계수의 이력을 설정하고 DB에 저장한다(S917).
매장 방문객이 아닌 경우 즉, 적외선 마커의 식별이 있는 경우 직원 계수를 갱신한다(S919).
S911부터 S919까지의 순서는 위에서 설명한 실시간 분류별 인원계수 과정에 해당된다.
이후 S921 내지 S929 순서는 인원계수의 후보정 과정을 나타낸다.
통과 이벤트가 발생되고, 매장 방문객인지 직원인지 여부가 확인되고 즉 감시대상의 추적이 성공했는 지에 따라(S921), 감시대상의 추적이 성공적으로 이루어진 경우에는 감시대상 추적(S911)을 계속 실시하게 된다.
만약, 감시대상의 추적이 실패한 경우에는 방문객 계수 이력을 확인하는 과정을 거친다(S923).
방문객 계수 이력에 남아 있지 않은 경우에는 감시대상에서 제거하고(S929), 방문객 계수 이력에 남아 있는 경우에는 분류 속성에 따라 방문객인지 여부를 확인한다(S925).
매장 방문객인 경우에는, 감시대상에서 제거하고(S929), 매장 방문객이 아닌 경우에는 방문객 계수를 재조정하고(S927), 감시대상에서 제거한다(S927).
이상 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 설명하였지만, 상술한 본 발명의 기술적 구성은 본 발명이 속하는 기술 분야의 당업자가 본 발명의 그 기술적 사상이나 필수적 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적인 것이 아닌 것으로서 이해되어야 하고, 본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 등가 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
111 : 카메라 113 : 적외선 수신부
115a : 매장 방문객 115b : 직원
117 : 영상분석 결과 119 : 적외선 마커 검출
121 : 구분 설정 123a, 123b : DB
211 : 영상분석 모듈 213 : 마커 검출부
221 : 객체 감지부 223 : 객체분류 및 객체추적부
225 : 객체통과 감지부 311, 313 : 1차원 패턴
315, 317 : 2차원 패턴 401 : 마커부
411 : 마커 영상 413 : 마커 검출부
415 : 적외선 LED 417 : 적외선 마커
419 : 전원

Claims (8)

  1. 카메라로부터 획득된 영상에 의해 객체를 감지하는 객체 감지부와;
    마커 검출부로부터 검출된 적외선 마커의 패턴을 분석하여 객체를 분류하고 추적하는 객체분류 및 추적부와;
    기설정된 영역을 통과한 경우 객체를 계수하는 객체 통과 감지부와;
    적외선 수신부를 통해 상기 객체가 소지하고 있는 적외선 마커를 검출하는 마커 검출부와;
    상기 객체 감지부, 상기 객체분류 및 추적부, 상기 객체 통과 감지부 및 상기 마커 검출부를 통해 선별적으로 계수된 객체의 수를 저장하는 데이터 베이스;를 포함하며,
    상기 객체 통과 감지부는 적외선 마커의 유무에 따라 방문객과 직원을 구분하고, 적외선 마커에 따라 부서별 분류를 수행하여, 각각 해당 DB에 선별적으로 객체를 계수하여 저장시키며,
    상기 적외선 마커의 패턴, 색상, 패턴/색상, 패턴/적외선 LED의 발산 주기, 색상/적외선 LED의 발산 주기, 또는 패턴/색상/LED의 발산 주기 중 어느 하나를 통해, 상기 객체를 재선별하여 계수하는, 적외선 마커와 영상분석기술을 이용한 감시대상 분류 및 선별적 방문자 계수 시스템.
  2. 제1항에 있어서,
    상기 적외선 마커는 1차원 패턴 또는 2차원 패턴인, 적외선 마커와 영상분석기술을 이용한 감시대상 분류 및 선별적 방문자 계수 시스템.
  3. 삭제
  4. 제1항에 있어서,
    상기 적외선 마커의 광원은 적외선 LED로부터 적외선을 발산하고 적외선 반사 재질로 구성된 적외선 마커의 수동적 방식, 또는 적외선 LED를 포함하여 독립적으로 적외선을 발산하는 능동적 방식에 따라 행하는, 적외선 마커와 영상분석기술을 이용한 감시대상 분류 및 선별적 방문자 계수 시스템.
  5. 삭제
  6. 제1항에 있어서,
    상기 적외선 마커는 객체의 하나의 그룹과 1:1로 대응되도록 분류속성을 부여하는, 적외선 마커와 영상분석기술을 이용한 감시대상 분류 및 선별적 방문자 계수 시스템.
  7. 제1항에 있어서,
    객체를 실시간으로 추적하는 과정에서 새로운 적외선 마커가 검출되는 경우, 기 저장된 적외선 마커와의 속성 및 분류기준과 비교하여 상기 새로운 적외선 마커에 대한 분류 속성을 갱신하는, 적외선 마커와 영상분석기술을 이용한 감시대상 분류 및 선별적 방문자 계수 시스템.
  8. 제1항에 있어서,
    상기 선별적 방문자 계수 시스템은 분류 속성에 따라 실시간으로 객체를 계수하는 실시간 분류별 인원계수와,
    상기 실시간 분류별 인원계수 시스템에 의해 계수된 인원을 보정하는 인원계수의 후보정으로 구분되는, 적외선 마커와 영상분석기술을 이용한 감시대상 분류 및 선별적 방문자 계수 시스템.
KR1020160052621A 2016-04-29 2016-04-29 적외선 마커와 영상분석기술을 이용한 감시대상 분류 및 선별적 방문자 계수 시스템 KR101860881B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160052621A KR101860881B1 (ko) 2016-04-29 2016-04-29 적외선 마커와 영상분석기술을 이용한 감시대상 분류 및 선별적 방문자 계수 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160052621A KR101860881B1 (ko) 2016-04-29 2016-04-29 적외선 마커와 영상분석기술을 이용한 감시대상 분류 및 선별적 방문자 계수 시스템

Publications (2)

Publication Number Publication Date
KR20170123422A KR20170123422A (ko) 2017-11-08
KR101860881B1 true KR101860881B1 (ko) 2018-05-24

Family

ID=60385227

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160052621A KR101860881B1 (ko) 2016-04-29 2016-04-29 적외선 마커와 영상분석기술을 이용한 감시대상 분류 및 선별적 방문자 계수 시스템

Country Status (1)

Country Link
KR (1) KR101860881B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102178118B1 (ko) 2017-09-25 2020-11-13 주식회사 엘지화학 액정 배향용 필름의 제조방법

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004226227A (ja) 2003-01-23 2004-08-12 Shigeo Kaneda 位置検出システム
KR100542370B1 (ko) * 2004-07-30 2006-01-11 한양대학교 산학협력단 보이지 않는 마커를 이용하는 비전기반 증강현실 시스템
JP2009267827A (ja) * 2008-04-25 2009-11-12 Yokogawa Denshikiki Co Ltd 被指揮者識別装置及び指揮支援システム
KR101175611B1 (ko) 2011-03-16 2012-08-21 재단법인대구경북과학기술원 마커를 이용한 물체 위치 추적 시스템 및 그 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004226227A (ja) 2003-01-23 2004-08-12 Shigeo Kaneda 位置検出システム
KR100542370B1 (ko) * 2004-07-30 2006-01-11 한양대학교 산학협력단 보이지 않는 마커를 이용하는 비전기반 증강현실 시스템
JP2009267827A (ja) * 2008-04-25 2009-11-12 Yokogawa Denshikiki Co Ltd 被指揮者識別装置及び指揮支援システム
KR101175611B1 (ko) 2011-03-16 2012-08-21 재단법인대구경북과학기술원 마커를 이용한 물체 위치 추적 시스템 및 그 방법

Also Published As

Publication number Publication date
KR20170123422A (ko) 2017-11-08

Similar Documents

Publication Publication Date Title
US10733427B2 (en) System and method for detecting, tracking, and counting human objects of interest using a counting system and a data capture device
US10915131B2 (en) System and method for managing energy
US10909695B2 (en) System and process for detecting, tracking and counting human objects of interest
EP2620896B1 (en) System And Method For Face Capture And Matching
CA2849016C (en) System and method for detecting, tracking and counting human objects of interest using a counting system and a data capture device
US10936859B2 (en) Techniques for automatically identifying secondary objects in a stereo-optical counting system
US11080881B2 (en) Detection and identification systems for humans or objects
JP2018067755A (ja) 検出データ管理装置
CN108701211A (zh) 用于实时地检测、跟踪、估计和识别占用的基于深度感测的系统
US20210133491A1 (en) System and method for detecting, tracking and counting human objects of interest with an improved height calculation
US10565811B2 (en) Access control system with curtain antenna system
KR101860881B1 (ko) 적외선 마커와 영상분석기술을 이용한 감시대상 분류 및 선별적 방문자 계수 시스템

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant