KR20170123422A - Monitoring target classification and selective people counting system using infrared marker and video image analysis technology - Google Patents

Monitoring target classification and selective people counting system using infrared marker and video image analysis technology Download PDF

Info

Publication number
KR20170123422A
KR20170123422A KR1020160052621A KR20160052621A KR20170123422A KR 20170123422 A KR20170123422 A KR 20170123422A KR 1020160052621 A KR1020160052621 A KR 1020160052621A KR 20160052621 A KR20160052621 A KR 20160052621A KR 20170123422 A KR20170123422 A KR 20170123422A
Authority
KR
South Korea
Prior art keywords
infrared
marker
infrared marker
classification
image analysis
Prior art date
Application number
KR1020160052621A
Other languages
Korean (ko)
Other versions
KR101860881B1 (en
Inventor
전석호
김인수
Original Assignee
(주)넥스리얼
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)넥스리얼 filed Critical (주)넥스리얼
Priority to KR1020160052621A priority Critical patent/KR101860881B1/en
Publication of KR20170123422A publication Critical patent/KR20170123422A/en
Application granted granted Critical
Publication of KR101860881B1 publication Critical patent/KR101860881B1/en

Links

Images

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00Burglar, theft or intruder alarms
    • G08B13/18Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • G08B13/19606Discriminating between target movement or movement in an area of interest and other non-signicative movements, e.g. target movements induced by camera shake or movements of pets, falling leaves, rotating fan
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00Burglar, theft or intruder alarms
    • G08B13/18Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19639Details of the system layout
    • G08B13/19645Multiple cameras, each having view on one of a plurality of scenes, e.g. multiple cameras for multi-room surveillance or for tracking an object by view hand-over
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00Burglar, theft or intruder alarms
    • G08B13/18Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19678User interface
    • G08B13/19682Graphic User Interface [GUI] presenting system data to the user, e.g. information on a screen helping a user interacting with an alarm system
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00Burglar, theft or intruder alarms
    • G08B13/18Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19678User interface
    • G08B13/19691Signalling events for better perception by user, e.g. indicating alarms by making display brighter, adding text, creating a sound
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10048Infrared image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • G06T2207/20221Image fusion; Image merging
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30204Marker

Abstract

The present invention relates to a system for counting the number of people and, more specifically, to a classification and visitor counting system to define classification of a monitoring target, which is detected by a video analysis technology, by using an infrared marker and to perform selective counting by the defined classification when the monitoring target passes a specific region. According to the present invention, a monitoring target classification and selective visitor counting system using an infrared marker and a video analysis technology counts a monitoring target through a camera, acquires an image of an infrared marker through an infrared receiving unit, and selectively counts the monitoring target in accordance with the detection of the infrared marker. According to the present invention, it is possible to automatically classify the monitoring target by combining the infrared marker and the video monitoring technology, and to count the number of people for each classified target to collect data in accordance with the situation.

Description

적외선 마커와 영상분석기술을 이용한 감시대상 분류 및 선별적 방문자 계수 시스템{MONITORING TARGET CLASSIFICATION AND SELECTIVE PEOPLE COUNTING SYSTEM USING INFRARED MARKER AND VIDEO IMAGE ANALYSIS TECHNOLOGY}Field of the Invention < RTI ID = 0.0 > [0001] < / RTI > A monitoring target classification and selective visitor counting system using infrared markers and image analysis techniques,

본 발명은 사람의 수를 계수하는 시스템에 관한 것으로서, 더욱 상세하게는 영상분석 기술로 감지한 감시대상을 적외선 마커를 활용하여 대상에 대한 분류를 정의하고, 감시 대상이 특정 지역을 지나갈 때 정의된 분류에 의하여 선별적으로 계수하는 분류 및 인원 계수 시스템에 관한 것이다.
The present invention relates to a system for counting the number of people, and more particularly, to a system for counting a number of people, more specifically, to a system for counting a number of people, And a classification and personnel counting system for selectively counting by classification.

대한민국 공개특허공보 10-2014-0047714에 개시된 '수동 적외선 탐지기들을 사용한 인원 계수를 위한 방법 및 시스템은 출입문에 여러 개의 적외선 센서를 설치하여 검출된 적외선의 패턴을 분석하여 사람이 지나간 사건을 검출하여 인원을 계수하는 방법을 사용하였다. Korean Patent Laid-Open Publication No. 10-2014-0047714 discloses a method and system for counting personnel using passive infrared detectors, in which a plurality of infrared sensors are installed at a door to analyze patterns of infrared rays detected, Was used.

적외선 센서를 사용하는 방법의 경우 지나감을 감지하는 성능이 뛰어나다는 장점이 있지만, 센서의 설치에 대한 제약이 많고 출입문에서 발생하는 상황을 직관적으로 확인하는 것이 어렵다는 단점을 갖는다. The method using infrared sensor is advantageous in that it has a good performance for detecting the passing, but it has a disadvantage that it is difficult to intuitively check the situation occurring at the door because there are many restrictions on the installation of the sensor.

최근에는 적외선 센서를 활용하는 방식에 비하여 CCTV등의 영상을 활용하는 방식에 대한 기술개발이 활발히 진행되고 있다. In recent years, the development of techniques for using images such as CCTV has been actively developed in comparison with a method using an infrared sensor.

CCTV등의 영상을 활용하는 경우 영상분석 기술로 이동하는 사람을 자동으로 감지하여 특정지역을 지나가는 수를 계술 할 수 있을 뿐만 아니라 CCTV가 설치된 장소에서 발생하는 상황을 원격지에서 직관적으로 관찰 할 수 있다는 장점이 있다.CCTV, etc., it is possible to automatically detect the person moving to the image analysis technology and to count the number of people passing through a specific area, and to be able to intuitively observe the situation occurring at the place where the CCTV is installed .

대한민국 등록특허공보 10-0885418에서는 오버헤드 카메라 영상에서 사람을 감지하고 추적하는 방법에 대한 기술이며, 대한민국 등록특허공보 10-1377394에서는 영상분석의 성능을 높이기 위하여 스테레오 카메라를 활용하며 매장 등에서 방문고객의 수를 자동으로 계수하는 시스템에 대한 방법과 시스템에 대한 기술이 개시되어 있다.In Korean Patent Registration No. 10-0885418, a method for detecting and tracking a person in an overhead camera image is disclosed. In Korean Patent Registration No. 10-1377394, a stereo camera is used to enhance the performance of image analysis. Techniques for systems and methods for automatically counting numbers are disclosed.

영상분석을 활용한 인원계수 기술은 설치가 편리하고 상황을 직관적으로 관찰할 수 있다는 장점이 있지만, 영상만으로는 지나가는 사람을 분류할 수 없어서 단순히 지나감을 계수하는 기능만을 제공하는 단점이 있다. Personnel counting technology using image analysis is advantageous in that it is convenient to install and can observe the situation intuitively, but there is a disadvantage in that it provides only the function of counting past passages because the passengers can not be classified by the image alone.

예를 들어 매장의 경우 출입문을 지나가는 직원이나 방문고객을 구분하는 것이 어렵기 때문에 측정된 인원계수 데이터를 매장운영에 효과적으로 반영하는 것에 한계가 있다. For example, in the case of a store, it is difficult to effectively divide the measured personnel count data into the store operation, because it is difficult to distinguish the employee who is passing through the door or the visiting customer.

이런 단점을 극복하기 위하여 최근에는 대한민국 등록특허공보 10-1171281에 개시된 특허와 같이 무선기기를 활용하는 방안에 대해서 많은 연구가 진행되고 있다. In order to overcome such disadvantages, many studies have recently been made on a method of using a wireless device as disclosed in Korean Patent Registration No. 10-1171281.

BLE(Blue-tooth Low Energy), WiFi, RFID등의 고유 ID를 가지는 기기에서 발생하는 신호를 감지하여 무선기기를 소지한 사람의 수를 계수하는 방식에 대해서 많은 연구가 진행되고 있다. Many researches have been conducted on a method of counting the number of persons having wireless devices by detecting signals generated by devices having unique IDs such as BLE (Blue-tooth Low Energy), WiFi, and RFID.

하지만 무선통신의 특성상 특히 실내 환경의 경우 가구의 배치나 무선기기 간의 간섭 및 무선기기의 소지상태 등에 따라서 수신된 전파의 세기와 특성을 정확히 분석하는 것에는 많은 어려움이 따른다. However, due to the characteristics of wireless communication, especially in the indoor environment, it is difficult to accurately analyze the strength and characteristics of received radio waves in accordance with the arrangement of furniture, interference between radio devices, and the state of radio equipment.

따라서 무선기기를 소지한 사람과 소지하지 않는 사람이 같은 공간에 존재하는 경우 무선기기가 부여하는 ID와 소지하고 있는 사람의 1:1 대응 관계를 알아내는 것이 매우 어렵다. 이런 어려움 때문에 무선기기를 활용하는 방식은 무선기기의 ID와 정확히 대응이 되어야 검출할 수 있는 계수 업무에서는 성능이 떨어지는 단점이 있다. Therefore, it is very difficult to find out the 1: 1 correspondence relationship between the ID given by the wireless device and the person who has the wireless device if the person possessing the wireless device exists in the same space. Because of this difficulty, there is a disadvantage in that the performance of the method using the wireless device is degraded in the counting task that can be detected only when the ID of the wireless device is exactly matched with the ID of the wireless device.

예를 들어 무선기기를 소지한 2인과 소지하지 않는 2인이 같은 공간에 있는 경우 같은 방향으로 이동하는 경우에는 어떤 사람이 무선기기를 소지한 것인지 정의하는 것이 매우 어렵기 때문에 선별적으로 계수하는 것이 어렵다. For example, if two people who have a wireless device and two people who do not have one are in the same space and move in the same direction, it is very difficult to define which person has a wireless device. it's difficult.

그리고 무엇보다도 무선기기에서 측정된 데이터를 영상분석 기술에서 감지한 감시 대상과 결합하는 것에 많은 어려움이 있기 때문에 영상분석 기술과의 시너지 효과를 내기에 제한이 많다는 단점도 보유하고 있다.
And most of all, it has many difficulties to combine the measured data from the wireless device with the surveillance object detected by the image analysis technology, so it has a disadvantage that there is a lot of synergy effect with the image analysis technology.

특허문헌 1 : 대한민국 공개특허공보 10-2014-0047714Patent Document 1: Korean Patent Publication No. 10-2014-0047714 특허문헌 2 : 대한민국 등록특허공보 10-0885418Patent Document 2: Korean Patent Publication No. 10-0885418 특허문헌 3 : 대한민국 등록특허공보 10-1377394Patent Document 3: Korean Patent Publication No. 10-1377394 특허문헌 4 : 대한민국 등록특허공보 10-1171281Patent Document 4: Korean Patent Publication No. 10-1171281

상술한 종래의 문제점을 해결하기 위한 본 발명의 과제는, 적외선 마커를 이용하여 감시대상의 분류를 정의하는 방법을 제공하고, 해당 방법을 영상분석 기술과 결합하여 선별된 분류별로 인원을 계수하는 시스템을 제공하고자 한다.
SUMMARY OF THE INVENTION The present invention has been made to solve the above-mentioned problems occurring in the prior art, and it is an object of the present invention to provide a method of defining a classification of a monitoring target using an infrared marker, .

상술한 과제를 해결하기 위한 본 발명에 따른 적외선 마커와 영상분석기술을 이용한 감시대상 분류 및 선별적 방문자 계수 시스템은, 카메라를 통해 감시대상을 계수하고 적외선 수신부를 통해 적외선 마커의 영상을 획득하여, 상기 적외선 마커의 검출에 따라 상기 감시대상을 선별적으로 계수하는 것을 특징으로 하여 이루어진다.According to another aspect of the present invention, there is provided a method for classifying and selecting a visitor object using an infrared marker and an image analysis technique, comprising the steps of: counting an object to be monitored through a camera; acquiring an image of an infrared marker through an infrared receiver; And the monitoring target is selectively counted according to the detection of the infrared marker.

여기서, 상기 적외선 마커는 1차원 패턴 또는 2차원 패턴 중 어느 하나일 수 있다.Here, the infrared marker may be a one-dimensional pattern or a two-dimensional pattern.

여기서, 상기 적외선 마커의 패턴, 색상 또는 적외선 LED의 발산 주기 중 어느 하나 이상의 조합을 통해, 상기 감시대상을 재선별하여 계수하는 것이 가능하다.Here, the object to be monitored can be re-selected and counted through a combination of at least one of the pattern of the infrared marker, the color, and the divergence period of the infrared LED.

여기서, 상기 적외선 마커의 광원은 적외선 LED로부터 적외선을 발산하고 적외선 반사 재질로 구성된 적외선 마커의 수동적 방식, 또는 적외선 LED를 포함하여 독립적으로 적외선을 발산하는 능동적 방식에 따라 행할 수 있다.Here, the light source of the infrared marker may be performed according to a passive method of emitting an infrared ray from an infrared ray LED and composed of an infrared ray reflective material, or an active method of emitting infrared rays independently including an infrared ray LED.

여기서, 상기 감시대상은 영상분석 모듈을 통해 감지, 분류 및 계수되며, 상기 적외선 마커는 마커 검출부에 의해 검출되어, 상기 영상분석 모듈에 전달되어 카메라 영상과 적외선 영상이 정합되어 상기 감시대상이 선별되어 계수될 수 있다.Here, the monitored object is detected, classified and counted through an image analysis module. The infrared marker is detected by a marker detection unit, and transmitted to the image analysis module. The camera image and the infrared image are matched with each other, Can be counted.

여기서, 상기 적외선 마커는 상기 감시대상의 하나의 그룹과 1:1로 대응되도록 분류속성을 부여하는 것이 바람직하다. Here, it is preferable that the infrared marker is assigned a classification attribute such that the infrared marker corresponds to one group of the monitoring target at 1: 1.

여기서, 상기 감시대상을 실시간으로 추적하는 과정에서 새로운 적외선 마커가 검출되는 경우, 기 저장된 적외선 마커와의 속성 및 분류기준과 비교하여 상기 새로운 적외선 마커에 대한 분류 속성을 갱신할 수 있다.Here, when a new infrared marker is detected in the course of real-time tracking of the monitored object, the classification attribute for the new infrared marker can be updated by comparing the attribute with the pre-stored infrared marker and the classification criteria.

여기서, 상기 선별적 방문자 계수 시스템은 분류 속성에 따라 실시간으로 인원을 계수하는 실시간 분류별 인원계수와, 상기 실시간 분류별 인원계수 시스템에 의해 계수된 인원을 보정하는 인원계수의 후보정으로 구분될 수 있다.
Here, the selective visitor counting system may be classified into a real-time classification by the real-time classification unit for real-time classification according to the classification attribute, and a post-classification of the personnel coefficient for correcting the number of persons counted by the real-time classification.

상술한 본 발명의 구성에 따르면, 적외선 마커와 영상감시 기술을 결합하여 감시대상의 분류를 자동으로 수행할 수 있으며, 이에 따라 분류된 대상별로 인원을 계수할 수 있기 때문에 상황에 맞게 데이터를 수집할 수 있다는 장점이 있다. According to the configuration of the present invention described above, the monitoring target can be automatically classified by combining the infrared marker and the video surveillance technology, and the number of persons can be counted according to the classified target. Therefore, There is an advantage that it can be.

구체적으로 직원의 지나간 수를 제외한 순수 방문객의 수를 측정할 수 있을 뿐만 아니라, 출입 통행의 패턴을 시간별로 직원과 방문객에 대해서 별도로 수집 할 수 있다는 장점이 있다. Specifically, it is possible to measure the number of pure visitors excluding the number of past employees, and it is also advantageous that the pattern of entrance and exit can be collected separately for employees and visitors over time.

추가적으로 마커를 착용하지 않은 사람의 출입을 감지하여 통제구역에 대한 감시 기능도 효율적으로 구현할 수 있다.In addition, the monitoring function for the controlled area can be implemented efficiently by detecting the entrance of a person who does not wear the marker.

또한, 본 발명의 구성에 따른 감시 대상에 대한 분류 방법을 사용하면 영상분석 기술과 쉽게 결합하여 쉽고 정확하게 감시 대상에 대한 분류가 가능하며, 이에 따라 선별적인 인원 계수뿐만 아니라 여러 응용분야에서 필요한 기능들은 영상분석 기술과의 결합을 통하여 쉽고 효과적으로 구현할 수 있다는 장점을 가진다.
In addition, by using the classification method for the monitoring object according to the configuration of the present invention, it is possible to easily and accurately classify the monitoring object by easily combining with the image analysis technology. Accordingly, not only the selected personnel coefficient but also the functions It can be implemented easily and effectively through combination with image analysis technology.

도 1은 본 발명에 따른 적외선 마커와 영상분석기술을 이용한 선별적 방문자 계수 시스템의 개략도이다.
도 2는 본 발명에 따른 적외선 마커와 영상분석기술을 이용한 감시대상 분류방법의 개략도이다.
도 3은 본 발명에 따른 선별적 방문자 계수 시스템에 적용된 적외선 마커 패턴의 예시이다.
도 4는 본 발명에 따른 선별적 방문자 계수 시스템의 수동적 방식의 적외선 마커 및 검출 구성도와, 능동적 방식의 적외선 마커 및 검출 구성도이다.
도 5는 본 발명에 따른 선별적 방문자 계수 시스템에서의 적외선 마커 검출 방법 순서도이다.
도 6은 본 발명에 따른 선별적 방문자 계수 시스템에서의 적외선 마커를 이용한 영상분석 모듈의 감시대상 분류 방법의 순서도이다.
도 7은 본 발명에 따른 선별적 방문자 계수 시스템에서의 적외선 마커를 이용한 감시대상의 분류 속성 부여 개념도이다.
도 8은 본 발명에 따른 선별적 방문자 계수 시스템에서의 감시대상의 분류속성 부여 및 갱신 순서도이다.
도 9는 본 발명에 따른 선별적 방문자 계수 시스템에서의 분류속성을 이용한 선별적 인원계수 순서도를 나타낸 것이다.
1 is a schematic diagram of a selective visitor counting system using an infrared marker and an image analysis technique according to the present invention.
2 is a schematic diagram of a method of classifying a surveillance object using an infrared marker and an image analysis technique according to the present invention.
Figure 3 is an illustration of an infrared marker pattern applied to the selective visitor counting system according to the present invention.
FIG. 4 is a view illustrating a passive infrared marker and detection configuration of the selective visitor counting system according to the present invention, and an infrared marker and detection configuration of the active method.
FIG. 5 is a flowchart of a method of detecting an infrared marker in the selective visitor counting system according to the present invention.
6 is a flowchart of a method of classifying a monitored object in an image analysis module using an infrared marker in the selective visitor counting system according to the present invention.
FIG. 7 is a conceptual view for assigning a classification attribute to a monitored object using an infrared marker in the selective visitor counting system according to the present invention.
FIG. 8 is a diagram showing a classification attribute granting and updating sequence of a monitoring object in the selective visitor counting system according to the present invention.
9 is a flowchart of a selective personnel counting process using the classification attribute in the selective visitor counting system according to the present invention.

이하, 본 발명에 따른 적외선 마커와 영상분석기술을 이용한 감시대상 분류방법 및 선별적 방문자 계수 시스템 및 작용효과를 첨부된 도면을 참조하여 상세하게 설명한다.DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Hereinafter, a monitoring target classification method, a selective visitor counting system, and an action effect using an infrared marker and an image analysis technique according to the present invention will be described in detail with reference to the accompanying drawings.

첨부 도면에 도시된 특정 실시예에 대한 상세한 설명은, 그에 수반하는 도면들과 연관하여 읽히게 되며, 도면은 전체 발명의 설명에 대한 일부로 간주된다. 방향이나 지향성에 대한 언급은 설명의 편의를 위한 것일 뿐, 어떠한 방식으로도 본 발명의 권리범위를 제한하는 의도를 갖지 않는다. The detailed description of the specific embodiments shown in the accompanying drawings is read in conjunction with the accompanying drawings, which are considered a part of the description of the entire invention. The reference to direction or orientation is for convenience of description only and is not intended to limit the scope of the invention in any way.

위치를 나타내는 용어나 구성 간의 상호 결합 관계를 나타내는 용어는, 설명되고 있는 도면과 관련 설명을 모두 참조하여 이해되어야 한다.Terms indicating the position or mutual coupling relationship between configurations should be understood with reference to both the drawings and the related descriptions.

도 1은 본 발명에 따른 적외선 마커와 영상분석기술을 이용한 선별적 방문자 계수 시스템의 개략도이며, 도 2는 본 발명에 따른 적외선 마커와 영상분석기술을 이용한 감시대상 분류방법의 개략도이다.FIG. 1 is a schematic view of a selective visitor counting system using an infrared marker and an image analysis technique according to the present invention, and FIG. 2 is a schematic diagram of a method of classifying a monitored object using an infrared marker and an image analysis technique according to the present invention.

본 발명은 감시대상을 적외선 마커를 이용하여 분류하는 방법을 제공한다. 적외선 마커는 동작 방식에 따라서 수동적 적외선 마커와 능동적 적외선 마커로 구분되며, 해당 방식에 따라서 적외선 마커를 검출하는 검출부도 다르게 구성될 수 있다. The present invention provides a method of classifying an object to be monitored using an infrared marker. The infrared marker may be classified into a passive infrared marker and an active infrared marker according to an operation method, and a detector for detecting an infrared marker may be configured differently according to the method.

도 1에 도시된 바와 같이, 본 발명에 따른 적외선 마커와 영상분석기술을 이용한 선별적 방문자 계수 시스템은 매장 방문객(115a)과 직원(115b)을 촬영하는 카메라(111)와 적외선 수신부(113)가 출입구 근처에 설치되고, 촬영된 영상을 분석하여 그 영상분석결과(117)와 적외선 수신부(113)에 의해 검출된 적외선 마커 검출(119)을 정합하여 매장 방문객인지 아니면 직원인지 여부를 구분 설정(121)하여 각각 방문객 DB(123a)와 직원 DB(123b)에 저장한다.1, a selective visitor counting system using an infrared marker and an image analysis technique according to the present invention includes a camera 111 and an infrared ray receiving unit 113 for photographing a shop visitor 115a and a staff 115b And the captured image is analyzed and the image analysis result 117 and the infrared marker detection 119 detected by the infrared ray receiver 113 are matched to determine whether the visitor is a shop visitor or an employee, And stores them in the visitor DB 123a and the employee DB 123b, respectively.

본 발명에서 감시 대상은 기본적으로 적외선 마커를 소지하지 않은 일반 대상의 매장 방문객(115a)과 적외선 마커를 소지한 인증된 대상인 직원(115b)으로 구분될 수 있다. In the present invention, the surveillance target can be basically divided into a shop visitor 115a having a general object and an employee 115b having an infrared marker.

또한 인증된 대상인 직원(115b)은 인원계수의 적용 상황에 맞게 다양한 분류를 가질 수 있도록 서로 다른 패턴으로 정의될 수 있다.In addition, the authorized personnel 115b can be defined in different patterns so as to have various categories according to the application of the personnel coefficient.

예를 들어, 매장 방문객(115a)과 직원(115b)에 대한 계수 시스템의 경우 적외선 마커를 소지하지 않은 감시 대상은 매장 방문객으로 정의하고, 직원의 부서에 따라서 적외선 마커를 세부적으로 판매직원, 관리직원, 결재직원 등으로 세분화하여 직원들간의 구분 감시 대상을 정의하는 것이 가능하다.For example, in the case of the counting system for the shop visitor (115a) and the employee (115b), the monitoring target that does not have an infrared marker is defined as a shop visitor, and the infrared marker , And payment staff, it is possible to define the target of monitoring the employees.

도 2를 참조하면, 본 발명에서는 출입되는 인원을 구분하기 위해 카메라(111)와 적외선 수신부(113)를 사용하며, 카메라(111)는 색상 카메라를 사용할 수 있다. 2, in the present invention, a camera 111 and an infrared ray receiving unit 113 are used to distinguish the entering and exiting personnel, and the camera 111 can use a color camera.

카메라(111)에서 획득한 영상은 영상분석 모듈(211)의 객체 감지부(221)에서 사람을 감지하고 추적한다.The image obtained by the camera 111 is detected and tracked by the object detection unit 221 of the image analysis module 211.

특정 지역(감지 가능 지역을 의미함)을 지나간 경우 객체 통과 감지부(225)에서는 인원을 계수한다. When passing through a specific area (meaning a detectable area), the object passing detection unit 225 counts the number of persons.

마커 검출부(213)에서는 적외선 수신부(113)에서 획득한 영상으로부터 직원이 소지한 적외선 마커를 검출하여 해당 마커의 패턴을 분석한 후 객체분류 및 추적부(223)에 마커의 분류와 위치 정보를 전달한다. The marker detecting unit 213 detects an infrared marker held by an employee from the image acquired by the infrared ray receiving unit 113 and analyzes the pattern of the marker and then transmits the classification and position information of the marker to the object classification and tracking unit 223 do.

적외선 마커의 분류와 위치를 전달받은 영상분석 모듈(211)의 객체분류 및 추적부(223)에서는 인원을 계수할 때 감시대상의 분류를 참조하여 선별적으로 인원을 계수하고 인원계수 DB(123)에 저장한다.In the object classification and tracking unit 223 of the image analysis module 211 receiving the classification and position of the infrared marker, the personnel are counted selectively by referring to the classification of the object to be monitored, .

객체 통과 감지부(225)는 감시대상의 분류를 참조하여 적외선 마커의 유무에 따라 나아가 적외선 마커의 패턴 종류에 따라 각각 적외선 마커가 없는 경우 매장 방문객으로 하여 방문객 DB(123a)에 저장하고, 적외선 마커가 감지되는 경우 적외선 마커의 패턴 형식에 따라 제1 직원 DB(123b), 제2 직원 DB(123c)...제n 직원 DB로 저장한다. 제1 직원은 판매직원, 제2 직원은 관리직원, 제3 직원은 결재직원, 제4 직원은 관리자 등으로 정의하여, 선별적 인원 계수를 가능케 한다.The object passage sensing unit 225 refers to the classification of objects to be monitored and stores the infrared marker in the visitor DB 123a as a shop visitor in accordance with the presence or absence of the infrared marker in accordance with the pattern type of the infrared marker, The first employee DB 123b, the second employee DB 123c, ..., the nth employee DB in accordance with the pattern pattern of the infrared marker. The first employee is defined as a sales employee, the second employee as a management employee, the third employee as a settlement employee, and the fourth employee as an administrator, thereby enabling a selective personnel count.

도 3은 본 발명에 따른 선별적 방문자 계수 시스템에 적용된 적외선 마커 패턴의 예시이며, 도 4는 본 발명에 따른 선별적 방문자 계수 시스템의 수동적 방식의 적외선 마커 및 검출 구성도와, 능동적 방식의 적외선 마커 및 검출 구성도이다.FIG. 3 is an example of an infrared marker pattern applied to the selective visitor counting system according to the present invention. FIG. 4 is a block diagram illustrating the passive infrared marker and detection structure of the selective visitor counting system according to the present invention, Fig.

본 발명에 따라 직원의 계수를 선별적으로 계수하기 위해 본 발명에서는 적외선 마커 검출 방식을 채택한다.According to the present invention, the infrared marker detection method is employed in order to selectively count the number of employees.

적외선 마커 패턴은 다양한 상황에 맞게 1차원 패턴(311, 313) 또는 2차원 패턴(315, 317)을 가질 수 있으며, 다양한 색상의 조합이 가능하다. The infrared marker pattern may have one-dimensional patterns 311 and 313 or two-dimensional patterns 315 and 317 to suit various situations, and various combinations of colors are possible.

패턴과 색상의 조합에 따른 적외선 마커에 따라 직원임이 선별될 뿐만 아니라, 직원이 어느 부서의 직원인지 여부도 선별될 수 있다.Infrared markers according to the combination of patterns and colors not only select employees, but also can determine which employees are employees.

즉, 도 3에서 1차원 패턴 중 좌측의 1차원 패턴(311)이 판매직원으로 정의되고, 우측의 제1 차원 패턴(313)이 관리직원으로 정의될 경우, 적외선 마커의 패턴 및 색상 구분에 따라 계수되는 인원이 판매직원인지 관리직원인지 여부가 식별되어 계수될 수 있다.3, when the left one-dimensional pattern 311 is defined as a salesperson and the right first pattern 313 is defined as a management employee, in accordance with the pattern and color classification of the infrared marker, It can be identified and counted whether the person being counted is a sales person or a management person.

마찬가지로, 2차원 패턴에서도 좌측의 2차원 패턴(315)을 결재직원으로 정의하고, 우측의 2차원 패턴(317)을 관리자로 정의한 경우, 각각 계수되는 인원을 선별하여 계수가 가능하게 된다.Likewise, when the two-dimensional pattern 315 on the left side is defined as a payment staff and the two-dimensional pattern 317 on the right side is defined as an administrator, counting is possible by selecting the counted personnel.

적외선 마커의 구분을 위해 패턴 정의, 색상 정의 뿐만 아니라 적외선 LED의 발산 주기를 조절할 수도 있다.In addition to pattern definition and color definition for infrared markers, you can also adjust the divergence period of infrared LEDs.

도 4는 그러한 예를 도시하고 있는데, 다른 발광채와 구분하는 성능을 높이기 위하여 적외선 LED의 발산의 주기를 조정하는 방법으로서, 도 4의 (A)는 수동적 방식의 적외선 마커 및 검출부를 나타내고, 도 4의 (B)는 능동적 방식의 적외선 마커 및 검출부를 나타낸다.Fig. 4 shows such an example. As a method of adjusting the divergence period of the infrared LED in order to enhance the performance distinguishing it from other light bars, Fig. 4A shows a passive infrared marker and a detector, 4 (B) shows an active infrared marker and detector.

도 4의 (A)와 같은 수동적 방식의 적외선 마커 방식에서는 검출부(413)의 적외선 LED(415)로부터 적외선을 발산하고, 적외선 반사 재질로 구성된 적외선 마커 패턴(417)을 마커 검출부(413)에서 분석하여 마커 영상(411)을 획득하고, 감시대상의 분류를 검출한다. 4A, infrared rays are emitted from the infrared LED 415 of the detection unit 413 and the infrared marker pattern 417 composed of infrared reflection material is analyzed by the marker detection unit 413 And obtains the marker image 411, and detects the classification of the monitored object.

감시대상을 분류하는 패턴의 검출이 용이하도록 각각의 패턴들은 반사 재질로 구성될 수 있으며, 회전된 패턴을 검출하기 용이하도록 2차원 배열로 배치하거나 바코드형식으로 배치하는 등의 형태로 패턴을 구성할 수 있다. Each pattern may be made of a reflective material so as to facilitate detection of a pattern to classify the object to be monitored. The pattern may be formed by arranging the rotated pattern in a two-dimensional array for easy detection, or in a barcode format .

그리고 패턴들의 색상을 다양하게 사용하여 마커가 서로 겹쳐서 이동하는 동안에도 색상을 이용한 구분이 가능하도록 구성할 수도 있다. The colors of the patterns may be used in various ways so that the markers can be distinguished from each other while the markers are being moved over each other.

마커 검출부(413)에서는 적외선 LED를 발산하며, 패턴의 검출 성능을 높이기 위하여 발산의 주기 및 점등/소등 패턴을 다양화하는 방법도 사용할 수 있다.In the marker detecting unit 413, a method of diverging an infrared LED and diverging a divergence cycle and an on / off pattern may be used in order to enhance the detection performance of the pattern.

검출부(413)는 적외선 통과필터 및 적외선 감지 센서를 포함할 수 있다.The detecting unit 413 may include an infrared ray passing filter and an infrared ray detecting sensor.

도 4의 (B)와 같은 능동적 방식의 적외선 마커 방식에서는 마커부(401)에 장착된 적외선 LED가 독립된 전원(419)을 이용하여 적외선을 발산하고, 마커 검출부(413)에서 마커부(401)에서 발산된 적외선을 감지하여 패턴을 검출하도록 구성된다. 4B, the infrared LED mounted on the marker unit 401 diverges infrared rays using an independent power source 419, and the marker detecting unit 413 detects the marker unit 401, And detects the pattern.

감시대상을 분류하는 패턴의 검출이 용이하도록 각각의 패턴들은 다양한 색상의 LED의 조합(415)으로 구성될 수 있으며, 2차원 배열 배치 혹은 바코드 형식으로 배치하여 패턴의 검출 성능을 높일 수 있도록 구성될 수 있다.Each of the patterns may be composed of a combination of LEDs 415 of various colors so as to facilitate detection of a pattern for sorting the monitoring object, and may be arranged in a two-dimensional arrangement or in a barcode format so as to increase the detection performance of the pattern .

또한, 다른 발광채와 구분할 수 있도록 적외선 LED의 발산의 주기 및 점등/소등 패턴을 다양화 하여 감시대상을 분류하는 패턴을 만들어 내는 것이 가능하다.In addition, it is possible to produce a pattern for classifying the monitored object by diversifying the period of the divergence of the infrared LED and the ON / OFF pattern so that the LED can be distinguished from other LEDs.

도 5는 본 발명에 따른 선별적 방문자 계수 시스템에서의 적외선 마커 검출 방법 순서도이다.FIG. 5 is a flowchart of a method of detecting an infrared marker in the selective visitor counting system according to the present invention.

도 5에 도시된 바와 같이, 적외선 마커 검출 방법에 있어서 먼저 적외선 마커 영상을 획득한다(S511). 적외선 마커 영상의 획득 방법은 상술한 바와 같이, 적외선 수신부(113)를 이용하여, 마커의 패턴, 색상 및 적외선 LED의 발산주기 등의 다양한 방법을 이용하여 수신이 가능하다.As shown in FIG. 5, in the infrared marker detection method, an infrared marker image is acquired first (S511). As described above, the method of acquiring the infrared marker image can be received by using the infrared receiver 113 by using various methods such as the pattern of the marker, the color, and the divergence period of the infrared LED.

획득된 적외선 마커는 마커를 분류하기 위해 먼저, 영상을 이진화한다(S513).The acquired infrared marker first binarizes the image to classify the marker (S513).

아래의 [수학식 1]을 이용하여 획득한 적외선 영상에서 마커의 후보군을 찾기 위하여 영상 이진화를 수행한다. Image binarization is performed to find a candidate group of the marker in the infrared image acquired using the following Equation (1).

[수학식 1]에서 사용된 임계수치는 다양한 방법으로 정의가 가능함은 물론이다. It goes without saying that the threshold value used in the equation (1) can be defined by various methods.

Figure pat00001
Figure pat00001

여기서, x,y는 각각 화소의 x,y 좌표이고, IR(x,y)는 적외선 수신부에 의해 획득된 적외선 마커의 영상이며, IR(x,y)는 이진화되어 출력되는 적외선 마커의 출력영상이고, Threshbin는 임계수치를 의미한다.IR (x, y) is the image of the infrared marker acquired by the infrared receiver, IR (x, y) is the output image of the infrared marker output by binarization, And Thresh bin means a threshold value.

여기서, 적외선 영상 이진화 과정(S513)에서는 검출부에서 획득한 적외선 영상에서 노이즈 부분을 제거하고 적외선 마커 영역만을 검출하기 위하여 적외선 영상에서 임계 수치 이하의 값을 가지는 영역을 제거하는 과정을 수행하게 된다.Herein, in the infrared image binarization process (S513), a noise region is removed from the infrared image acquired by the detection unit, and a region having a value less than the threshold value is removed from the infrared image to detect only the infrared marker region.

이후, 적외선 영상의 이진화 과정을 통하여 마커의 후보군을 검출한 후, 마커의 후보영역에 색상 정보를 추가하는 색상 카메라 영상 정합 과정을 수행한다(S515). After the candidate group of the marker is detected through the binarization process of the infrared image, a color camera image matching process is performed to add color information to the candidate region of the marker (S515).

카메라(111)와 적외선 수신부(113)는 영상을 획득하는 특성이 서로 다르기 때문에 카메라(111)에서 획득된 색상정보를 적외선 영상에서 사용하기 위해서는 두 개의 영상을 서로 정합해야 한다. Since the camera 111 and the infrared receiver 113 have different characteristics of acquiring images, two images must be matched to each other in order to use the color information obtained by the camera 111 in an infrared image.

일반적으로 두개의 영상을 정합하는 과정은 두 영상간의 호모그래피(homography) 변환을 추정하는 것으로 수행될 수 있다. Generally, the process of matching two images can be performed by estimating a homography transformation between two images.

구체적으로 카메라(111)와 적외선 수신부(113) 영상 간의 물리적 위치의 관계를 표시하는 Extrinsic 변환과, 렌즈의 초점거리와 왜곡에 대한 관계를 표시하는 Intrinsic 변환으로 구분된다. Specifically, it is divided into Extrinsic conversion, which indicates the relationship between the camera 111 and the image of the infrared receiver 113, and Intrinsic conversion, which indicates the relationship between the focal length and distortion of the lens.

[수학식 2]는 적외선 영상을 카메라 영상과 정합하기 위하여 변환하는 과정을 나타낸다.
Equation (2) represents a process of converting an infrared image to match a camera image.

Figure pat00002
Figure pat00002

여기서, IR은 적외선 수신부에 입력된 적외선 영상이고, IR trans 는 카메라 영상과의 정합된 영상을 의미하며, A intrinsic 은 Intrinsic 변환, A extrinsic 은 Extrinsic 변환이고, A intrinsic· A extrinsic 은 호모그래피 행렬을 의미한다.Here, IR is an infrared image input to the infrared receiver, IR trans is an image matched with a camera image, A intrinsic is an Intrinsic transformation, A extrinsic is an Extrinsic transformation, A intrinsic A extrinsic is a homography matrix it means.

카메라와의 영상정합 과정에서는 적외선 영상의 이진화 과정에서 검출된 마커 후보 영역과 카메라의 영상을 정합하여 이진화로 검출된 적외선 마커에 색상 정보를 추가하는 과정을 수행하게 된다. In the image matching process with the camera, the process of adding the color information to the infrared marker detected by binarization is performed by matching the marker candidate region detected in the process of binarization of the infrared image with the image of the camera.

적외선 영상은 일종의 채널이 하나인 흑백 영상이기 때문에 검출된 마커들이 서로 겹쳐지거나 인접한 영역에 위치한 경우 구분하는 성능이 떨어질 수 있다. 따라서 적외선 영상에서 마커의 후보 영역으로 검출된 영역에 색상 카메라에서 획득된 색상 정보를 추가함으로써 마커의 추적 및 분류 성능을 높일 수 있게 된다. Since the infrared image is a monochrome image having one kind of channel, the performance of distinguishing the detected markers when they are overlapped with each other or located in an adjacent area may be deteriorated. Therefore, it is possible to enhance the tracking and classification performance of the marker by adding the color information obtained from the color camera to the region detected as the candidate region of the marker in the infrared image.

카메라의 색상 정보를 적외선 영상에 추가하기 위해서는 색상 영상과 적외선 영상을 정합하는 과정이 필요하며, 정합 과정은 카메라(111)와 적외선 수신부(113)의 물리적인 위치를 정합하는 extrinsic alignment와 카메라(111)와 적외선 수신부(113)에 사용되는 렌즈의 왜곡의 차이와 초점 거리의 차이를 정합하는 intrinsic alignment 과정으로 분류된다.In order to add the color information of the camera to the infrared image, a process of matching the color image and the infrared image is required. The matching process includes extrinsic alignment to match the physical positions of the camera 111 and the infrared ray receiver 113, And an intrinsic alignment process for matching the difference between the distortion of the lens used in the infrared receiver 113 and the focal distance.

카메라 영상과 정합을 수행한 후, 적외선 영상에서 검출된 마커의 후보 영역의 색상 정보 및 영상의 패턴과 미리 정의한 감시대상을 분류할 마커의 패턴을 정합하는 과정을 수행한 후(S517), 적외선 마커를 검출할 수 있다(S519).After matching with the camera image, a process of matching the color information of the candidate region of the marker detected in the infrared image and the pattern of the image with the pattern of the marker to classify the predefined monitored object is performed (S517) (S519).

패턴의 정합은 다양한 방법으로 수행이 가능하다. 미리 정의한 패턴과 검출된 마커 후보 영역간의 유사도를 비교하는 함수를 정의하고 계산하여 검출된 영역과 가장 유사한 패턴으로 표시할 수 있다. Pattern matching can be performed in various ways. A function for comparing the similarity between the predefined pattern and the detected marker candidate region can be defined and calculated and displayed in the pattern most similar to the detected region.

패턴 정합 과정(S517)에서는 적외선 마커부의 색상과 형태의 패턴을 기존에 정의한 패턴의 대응 관계를 검사하는 과정을 진행한다. 정의한 패턴의 형태적 패턴(색상 및 위치 관계)과 점등/소등의 시간적 패턴을 이용하여 적외선 영상에서 최종적으로 마커의 위치와 분류를 결정할 수 있다.In the pattern matching process (S517), the process of checking the correspondence relationship between the pattern and the pattern of the color and shape of the infrared marker unit is performed. The position and classification of the marker can be finally determined in the infrared image using the morphological pattern (color and positional relationship) of the defined pattern and the temporal pattern of on / off.

도 6은 본 발명에 따른 선별적 방문자 계수 시스템에서의 적외선 마커를 이용한 영상분석 모듈의 감시대상 분류 방법의 순서도이고, 도 7은 본 발명에 따른 선별적 방문자 계수 시스템에서의 적외선 마커를 이용한 감시대상의 분류 속성 부여 개념도이며, 도 8은 본 발명에 따른 선별적 방문자 계수 시스템에서의 감시대상의 분류속성 부여 및 갱신 순서도이다.FIG. 6 is a flow chart of a method of classifying a monitored object in an image analysis module using an infrared marker in a selective visitor coefficient system according to the present invention. FIG. 7 is a flowchart illustrating a method of classifying a monitored object using an infrared marker in the selective visitor coefficient system according to the present invention FIG. 8 is a diagram showing a classification attribute granting and updating sequence of a monitored object in the selective visitor counting system according to the present invention.

본 발명의 영상분석 모듈(211)에서는 마커 검출부(213)에서 검출한 감시대상 분류와 위치를 이용하여 영상분석 기술에서 감지 및 추적하고 있는 감시 대상에 고유 분류를 부여하는 과정을 수행하여, 영상분석 기술이 선별적으로 인원을 계수할 수 있도록 구성된다.The image analysis module 211 of the present invention performs a process of assigning a unique classification to a target to be monitored and tracked by the image analysis technique using the target classification and position detected by the marker detection unit 213, The technology is configured so that the personnel can be counted selectively.

도 6를 참조하면, 마커 검출부(213)를 통해 검출된 마커는 영상분석 기술과 결합하기 전에 유효성 검사를 수행한다(S611). Referring to FIG. 6, the marker detected through the marker detection unit 213 performs validation before combining with the image analysis technique (S611).

유효성 검사에서는 검출된 마커가 일정시간 동안 일관성 있게 동일한 분류로 판명되는 지 여부를 검사하고(S611), 마커와 감시대상이 1:1로 대응되는 경우(S613), 감시대상의 분류 정보를 갱신한다(S615).In the validity check, whether or not the detected marker is consistently determined to be the same classification for a predetermined time is checked (S611). If the marker and the monitored object correspond to each other at 1: 1 (S613), the classification information of the monitored object is updated (S615).

마커의 유효성 검사에서는 마커 검출부(213)가 검출한 결과의 지속성을 검사하여 일시적으로 잘못 검출된 마커가 활용되는 것을 방지할 수 있게 한다. In the validation of the marker, the marker detecting unit 213 examines the persistence of the detected result, thereby preventing the erroneously detected marker from being utilized.

마커와 감시대상의 1:1 대응을 검색하는 과정에서는 유효성이 검증된 마커의 위치를 기반으로 영상분석에서 감지한 감시 대상의 연관성을 검사하여 1:1 대응 관계를 검색하는 과정이다. 1:1 대응 관계를 검사하기 위하여 마커를 검출하기 위하여 수행했던 적외선 영상과 카메라 영상의 정합 정보를 활용하여 위치적인 인접성과 시간 연속적인 정합 여부 등을 검사한다. In the process of searching for 1: 1 correspondence between markers and surveillance objects, the process of searching for 1: 1 correspondence by checking the relevance of the surveillance objects detected by the image analysis based on the positions of the validated markers. In order to check the 1: 1 correspondence relationship, the positional adjacency and time-continuous matching are checked by using the matching information of the infrared image and the camera image which are performed to detect the marker.

감시대상의 분류정보 갱신 과정에서는 영상분석 기술에서 감지한 감시 대상에 1:1 대응 관계를 가지는 마커의 분류정보를 할당하는 과정을 수행할 수 있다. In the process of updating the classification information of the object to be monitored, the classification information of the marker having a 1: 1 correspondence relationship with the object to be monitored detected by the image analysis technique may be allocated.

도 7를 참조하면, 검출된 적외선 마커(711)의 정보를 이용하여 영상분석 기술의 감시대상(713)에 분류 속성을 부여하는 개념을 표시한 것이다. Referring to FIG. 7, the concept of assigning a classification attribute to the monitored object 713 of the image analysis technique using the information of the detected infrared marker 711 is shown.

영상분석 모듈(211)에서 감지한 감시대상은 마커의 정보를 이용하여 감시대상에 분류속성을 부여하게 된다.The object to be monitored detected by the image analysis module 211 is given a classification attribute to the object to be monitored using the information of the marker.

그리고 실시간으로 갱신되는 마커의 정보를 활용하여 감시대상의 분류속성을 실시간으로 갱신하게 된다.Then, the classification attribute of the monitored object is updated in real time using the information of the marker updated in real time.

검출된 적외선 마커(711)에 대응되도록 직원(713a)에 분류 속성을 부여하게 되고, 직원이 아닌 일반 방문객(713b)은 적외선 마커가 부착되어 있지 않으므로 분류 속성을 부여할 필요가 없다.The classification attribute is assigned to the employee 713a so as to correspond to the detected infrared marker 711. Since the infrared marker is not attached to the general visitor 713b other than the employee, the classification attribute need not be given.

도 8를 참조하여, 영상분석 모듈에서 수행되는 감시대상에 대한 분류속성의 설정 및 갱신에 대해 설명한다.With reference to FIG. 8, setting and updating of the classification attribute for the monitoring target performed in the image analysis module will be described.

먼저, 실시간으로 감시대상을 추적한다(S811).First, the monitored object is tracked in real time (S811).

감시대상의 추적을 통해, 새로운 마커가 검출되는 지 여부를 확인한다(S813).Through the tracking of the object to be monitored, it is confirmed whether or not a new marker is detected (S813).

새로운 마커가 검출되지 않은 경우는 계속해서 감시대상을 추적하고, 새로운 마커가 검출되는 경우에는 기존에 부여된 속성이 존재하는 지 여부를 체크한다(S815).If no new marker is detected, the monitoring target is continuously tracked. If a new marker is detected, it is checked whether there is an existing attribute (S815).

검출된 새로운 마커가 기존에 부여된 속성에 포함되지 않는 경우에는 새로운 마커의 분류로 속성을 설정하게 되고, 설정후에 다시 감시대상을 추적한다(S817).If the detected new marker is not included in the existing attribute, the attribute is set as the classification of the new marker, and the monitored object is tracked again after the setting (S817).

검출된 새로운 마커가 기존에 부여된 속성에 포함되는 경우에는, 새로운 마커와 동일 분류인지 여부를 확인한다(S819).If the detected new marker is included in the attribute previously assigned, it is checked whether or not the new marker is the same as the new marker (S819).

새로운 마커가 동일 분류에 포함된 경우에는 분류 속성을 유지하고 감시대상을 계속 추적하며(S821), 새로운 마커가 동일 분류에 포함되지 않는 경우에는 기존의 분류가 유효한 지 여부를 검토하여, 기존의 분류가 유효한 경우에는 감시대상을 계속 추적하게 되고(S823), 기존의 분류가 유효하지 않은 경우에는 새로운 마커의 분류로 속성을 설정한 후 감시대상을 계속 추적하게 된다(S825).If the new marker is included in the same classification, the classification attribute is maintained and the object to be monitored is continuously tracked (S821). If the new marker is not included in the same classification, it is checked whether or not the existing classification is valid, The monitoring object is continuously tracked (S823). If the existing classification is not valid, the attribute is set to the classification of the new marker, and the monitored object is continuously tracked (S825).

마커 검출부(213)는 실시간으로 마커를 분류하면서 적외선 마커의 정보를 활용하여 속성분류를 설정하거나 갱신한다. 이렇게 설정 또는 갱신된 분류속성은 인원계수 과정에서 분류 속성별로 선별되어 관리되는 과정에 사용된다.The marker detecting unit 213 sets or updates the attribute classification using the information of the infrared marker while classifying the markers in real time. The set or updated classification attribute is used in the process of selecting and managing by classification attribute in the personnel counting process.

도 9는 본 발명에 따른 선별적 방문자 계수 시스템에서의 분류속성을 이용한 선별적 인원계수 순서도를 나타낸 것이다.9 is a flowchart of a selective personnel counting process using the classification attribute in the selective visitor counting system according to the present invention.

도 6 내지 도 8에 기한 마커의 분류속성을 이용하여 선별적으로 인원을 계수 하는 방법을 살펴본다.A method of selectively counting the number of persons using the classification attributes of the markers in FIGS. 6 to 8 will be described.

도 6 내지 도 8과 같이, 적외선 마커의 활용을 통하여 영상분석 기술에서 감시대상에 분류속성을 부여할 수 있다. As shown in FIG. 6 to FIG. 8, the classification attribute can be assigned to the object to be monitored in the image analysis technology through the use of the infrared marker.

이런 분류 속성은 감시대상을 추적하고 인원계수를 위한 통과 이벤트를 관찰 할때 활용하여 분류별로 계수를 반영한다. This classification attribute is used to track the monitored objects and to observe the passage event for the personnel coefficient, and to reflect the coefficients by classification.

선별적 인원계수 방법에서는 크게 실시간 분류별 인원계수 과정과 인원계수의 후보정 과정으로 구성될 수 있다. The selected personnel counting method can be composed of the personnel counting process by the real time classification and the postprocessing process of the personnel counting.

실시간 분류별 인원계수 과정은 영상분석 모듈이 실시간으로 감시대상을 추적하면서 통과 이벤트를 발생할 때마다 분류속성에 맞게 인원계수를 갱신하는 과정을 수행한다. The real-time person counting process is performed by the image analysis module to update the person count according to the classification attribute each time a pass event is generated while tracking the monitored object in real time.

예를 들어 매장 감시의 응용에서는 감시대상의 분류가 없는 경우는 일반 방문객으로 계수하고 마커를 소지한 감시대상의 경우 분류에 따라서 판매직원, 관리자에 해당하는 인원계수 정보를 갱신하는 과정을 의미한다. For example, in the case of a store monitoring application, it means a process of counting general visitors when there is no category to be monitored, and updating the count information of a sales person or manager according to classification in case of a monitoring subject having a marker.

인원계수의 후보정 과정에서는 추적하던 감시대상의 추적이 끝나는 경우, 분류속성의 변경 이력을 감지하여 마커가 탐지되기 전 방문객으로 계수했던 이전의 계수 이력을 최종 분류속성을 이용하여 보정하는 작업을 수행한다.In the process of posting the personnel coefficient, when the tracking of the monitored object ends, the change history of the classification attribute is detected, and the previous count history which is counted as the visitor before the marker is detected is corrected using the final classification attribute .

다시 말하면, 인원계수의 후보정 과정에서는 감시대상이 특정영역을 지나간 행위에 의하여 인원계수 정보가 갱신된 후에 감시대상의 분류정보가 변경되는 경우에 이전에 갱신된 인원계수 정보를 보정하는 과정을 수행한다. 예를 들어 마커를 가린 상황에서 직원이 지나가는 경우 영상분석 기술에서는 마커가 없는 방문객으로 계수하였으나 얼마 후 동일 인물에 대하여 마커가 검출된 경우에 분류를 재조정하여 기존에 계수 했던 방문객의 수를 조정하고 직원의 수를 갱신하는 과정을 수행한다.In other words, in the process of posting the personnel coefficient, the process of correcting the previously updated personnel coefficient information is performed in the case where the monitoring object is changed in classification information of the monitoring object after the personnel coefficient information is updated by the action passing through the specific region . For example, if an employee is passing through a marker screen, the image analysis technique counts as a visitor without a marker. However, if a marker is detected for the same person a few moments later, Lt; / RTI >

분류속성을 이용한 선별적 인원계수 순서는, 먼저 감시대상을 실시간으로 추적한다(S911).In the selective person counting order using the classification attribute, the monitored object is first tracked in real time (S911).

감시대상을 추적함에 따라 통과 이벤트 발생이 있는 지 여부를 체크한다(S913).It is checked whether or not a passage event has occurred as the monitored object is traced (S913).

통과 이벤트가 발생한 경우에는 분류속성에 기초하여 매장 방문객인지 여부를 확인한다(S915).If a pass event has occurred, it is checked whether or not it is a store visitor based on the classification attribute (S915).

매장 방문객인 경우 즉, 적외선 마커의 식별이 없는 경우 매장 방문객을 계수하고 갱신하며, 방문객 계수의 이력을 설정하고 DB에 저장한다(S917).In the case of the store visitor, that is, when the infrared marker is not identified, the store visitor is counted and updated, and the history of the visitor coefficient is set and stored in the DB (S917).

매장 방문객이 아닌 경우 즉, 적외선 마커의 식별이 있는 경우 직원 계수를 갱신한다(S919).If it is not a shop visitor, that is, if there is an infrared marker, the employee count is updated (S919).

S911부터 S919까지의 순서는 위에서 설명한 실시간 분류별 인원계수 과정에 해당된다.The order from S911 to S919 corresponds to the above-mentioned personnel counting process by real-time classification.

이후 S921 내지 S929 순서는 인원계수의 후보정 과정을 나타낸다.Subsequently, the procedure of S921 to S929 represents the post process of the personnel coefficient.

통과 이벤트가 발생되고, 매장 방문객인지 직원인지 여부가 확인되고 즉 감시대상의 추적이 성공했는 지에 따라(S921), 감시대상의 추적이 성공적으로 이루어진 경우에는 감시대상 추적(S911)을 계속 실시하게 된다.If the tracing event is generated and it is confirmed whether the shop visitor or the employee is successfully traced (S921), the monitoring target tracking (S911) is continuously performed if the monitoring target is successfully traced .

만약, 감시대상의 추적이 실패한 경우에는 방문객 계수 이력을 확인하는 과정을 거친다(S923).If the tracking of the monitoring target fails, the process of checking the visitor count history is performed (S923).

방문객 계수 이력에 남아 있지 않은 경우에는 감시대상에서 제거하고(S929), 방문객 계수 이력에 남아 있는 경우에는 분류 속성에 따라 방문객인지 여부를 확인한다(S925).If the visitor count history does not remain in the visitor count history, it is removed from the monitoring subject (S929). If the visitor count history remains in the visitor count history, it is determined whether the visitor is a visitor according to the classification attribute (S925).

매장 방문객인 경우에는, 감시대상에서 제거하고(S929), 매장 방문객이 아닌 경우에는 방문객 계수를 재조정하고(S927), 감시대상에서 제거한다(S927).If it is a store visitor, it is removed from the monitoring object (S929). If it is not a store visitor, the visitor coefficient is readjusted (S927) and removed from the monitoring object (S927).

이상 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 설명하였지만, 상술한 본 발명의 기술적 구성은 본 발명이 속하는 기술 분야의 당업자가 본 발명의 그 기술적 사상이나 필수적 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적인 것이 아닌 것으로서 이해되어야 하고, 본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 등가 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
While the present invention has been described with reference to exemplary embodiments, it is to be understood that the invention is not limited to the disclosed embodiments, but, on the contrary, As will be understood by those skilled in the art. Therefore, it should be understood that the above-described embodiments are to be considered in all respects as illustrative and not restrictive, the scope of the invention being indicated by the appended claims rather than the foregoing description, It is intended that all changes and modifications derived from the equivalent concept be included within the scope of the present invention.

111 : 카메라 113 : 적외선 수신부
115a : 매장 방문객 115b : 직원
117 : 영상분석 결과 119 : 적외선 마커 검출
121 : 구분 설정 123a, 123b : DB
211 : 영상분석 모듈 213 : 마커 검출부
221 : 객체 감지부 223 : 객체분류 및 객체추적부
225 : 객체통과 감지부 311, 313 : 1차원 패턴
315, 317 : 2차원 패턴 401 : 마커부
411 : 마커 영상 413 : 마커 검출부
415 : 적외선 LED 417 : 적외선 마커
419 : 전원
111: camera 113: infrared receiver
115a: shop visitor 115b: employee
117: Image analysis result 119: Infrared marker detection
121: Division setting 123a, 123b: DB
211: image analysis module 213: marker detection unit
221: object detection unit 223: object classification and object tracking unit
225: object passage detection unit 311, 313: one-dimensional pattern
315, 317: two-dimensional pattern 401: marker portion
411: marker image 413: marker detection section
415: Infrared LED 417: Infrared marker
419: Power supply

Claims (8)

카메라를 통해 감시대상을 계수하고 적외선 수신부를 통해 적외선 마커의 영상을 획득하여, 상기 적외선 마커의 검출에 따라 상기 감시대상을 선별적으로 계수하는, 적외선 마커와 영상분석기술을 이용한 감시대상 분류 및 선별적 방문자 계수 시스템.An infrared marker and an image analysis technique for counting an object to be monitored through a camera, acquiring an image of an infrared marker through an infrared receiver, and selectively counting the object to be monitored in accordance with the detection of the infrared marker, Visitor Counting System. 제1항에 있어서,
상기 적외선 마커는 1차원 패턴 또는 2차원 패턴인, 적외선 마커와 영상분석기술을 이용한 감시대상 분류 및 선별적 방문자 계수 시스템.
The method according to claim 1,
The infrared marker is a one-dimensional pattern or a two-dimensional pattern, and is classified into a monitoring target and an optional visitor counting system using an infrared marker and an image analysis technique.
제1항에 있어서,
상기 적외선 마커의 패턴, 색상 또는 적외선 LED의 발산 주기 중 어느 하나 이상의 조합을 통해, 상기 감시대상을 재선별하여 계수하는, 적외선 마커와 영상분석기술을 이용한 감시대상 분류 및 선별적 방문자 계수 시스템.
The method according to claim 1,
Wherein the monitoring object is re-selected and counted through a combination of at least one of the pattern of the infrared marker, the color of the infrared marker, and the divergence period of the infrared LED, using the infrared marker and the image analysis technique.
제1항에 있어서,
상기 적외선 마커의 광원은 적외선 LED로부터 적외선을 발산하고 적외선 반사 재질로 구성된 적외선 마커의 수동적 방식, 또는 적외선 LED를 포함하여 독립적으로 적외선을 발산하는 능동적 방식에 따라 행하는, 적외선 마커와 영상분석기술을 이용한 감시대상 분류 및 선별적 방문자 계수 시스템.
The method according to claim 1,
The light source of the infrared marker may be an infrared marker, an infrared marker, an infrared marker, an infrared marker, and an infrared marker. The infrared marker may be an infrared marker, an infrared marker, or an infrared marker. Supervised Classification and Selective Visitor Counting System.
제1항에 있어서,
상기 감시대상은 영상분석 모듈을 통해 감지, 분류 및 계수되며,
상기 적외선 마커는 마커 검출부에 의해 검출되어, 상기 영상분석 모듈에 전달되어 카메라 영상과 적외선 영상이 정합되어 상기 감시대상이 선별되어 계수되는, 적외선 마커와 영상분석기술을 이용한 감시대상 분류 및 선별적 방문자 계수 시스템.
The method according to claim 1,
The monitored object is detected, classified and counted through an image analysis module,
Wherein the infrared marker is detected by a marker detection unit and transmitted to the image analysis module so that a camera image and an infrared image are matched with each other and the monitored object is selected and counted. Coefficient system.
제1항에 있어서,
상기 적외선 마커는 상기 감시대상의 하나의 그룹과 1:1로 대응되도록 분류속성을 부여하는, 적외선 마커와 영상분석기술을 이용한 감시대상 분류 및 선별적 방문자 계수 시스템.
The method according to claim 1,
Wherein the infrared marker assigns classification attributes such that the infrared marker corresponds to one group of the objects to be monitored in a 1: 1 manner.
제1항에 있어서,
상기 감시대상을 실시간으로 추적하는 과정에서 새로운 적외선 마커가 검출되는 경우, 기 저장된 적외선 마커와의 속성 및 분류기준과 비교하여 상기 새로운 적외선 마커에 대한 분류 속성을 갱신하는, 적외선 마커와 영상분석기술을 이용한 감시대상 분류 및 선별적 방문자 계수 시스템.
The method according to claim 1,
An infrared marker and an image analysis technique for updating a classification attribute for the new infrared marker by comparing the attribute with a previously stored infrared marker and a classification standard when a new infrared marker is detected in the course of real- Classification and Selective Visitor Counting System.
제1항에 있어서,
상기 선별적 방문자 계수 시스템은 분류 속성에 따라 실시간으로 인원을 계수하는 실시간 분류별 인원계수와,
상기 실시간 분류별 인원계수 시스템에 의해 계수된 인원을 보정하는 인원계수의 후보정으로 구분되는, 적외선 마커와 영상분석기술을 이용한 감시대상 분류 및 선별적 방문자 계수 시스템.
The method according to claim 1,
The selected visitor counting system includes a real-time classification-based person counting module for counting a real-time person according to a classification attribute,
The target classification and selective visitor counting system using infrared markers and image analysis technology, which are classified into the post - correction of the number of people who correct the number counted by the real - time classification system.
KR1020160052621A 2016-04-29 2016-04-29 Monitoring target classification and selective people counting system using infrared marker and video image analysis technology KR101860881B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160052621A KR101860881B1 (en) 2016-04-29 2016-04-29 Monitoring target classification and selective people counting system using infrared marker and video image analysis technology

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160052621A KR101860881B1 (en) 2016-04-29 2016-04-29 Monitoring target classification and selective people counting system using infrared marker and video image analysis technology

Publications (2)

Publication Number Publication Date
KR20170123422A true KR20170123422A (en) 2017-11-08
KR101860881B1 KR101860881B1 (en) 2018-05-24

Family

ID=60385227

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160052621A KR101860881B1 (en) 2016-04-29 2016-04-29 Monitoring target classification and selective people counting system using infrared marker and video image analysis technology

Country Status (1)

Country Link
KR (1) KR101860881B1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019059720A2 (en) 2017-09-25 2019-03-28 주식회사 엘지화학 Method for producing liquid crystal orientation film

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004226227A (en) 2003-01-23 2004-08-12 Shigeo Kaneda Position detection system
KR100542370B1 (en) * 2004-07-30 2006-01-11 한양대학교 산학협력단 Vision-based augmented reality system using invisible marker
JP5066479B2 (en) * 2008-04-25 2012-11-07 横河電子機器株式会社 Commandee identification device and command support system
KR101175611B1 (en) 2011-03-16 2012-08-21 재단법인대구경북과학기술원 Object tracking system using marker and method thereof

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019059720A2 (en) 2017-09-25 2019-03-28 주식회사 엘지화학 Method for producing liquid crystal orientation film

Also Published As

Publication number Publication date
KR101860881B1 (en) 2018-05-24

Similar Documents

Publication Publication Date Title
US10733427B2 (en) System and method for detecting, tracking, and counting human objects of interest using a counting system and a data capture device
US10909695B2 (en) System and process for detecting, tracking and counting human objects of interest
EP2620896B1 (en) System And Method For Face Capture And Matching
US20160217345A1 (en) Role-based tracking and surveillance
CA2849016C (en) System and method for detecting, tracking and counting human objects of interest using a counting system and a data capture device
US10936859B2 (en) Techniques for automatically identifying secondary objects in a stereo-optical counting system
KR20100010325A (en) Method for tracking object
CN108701211A (en) For detecting, tracking, estimating and identifying the system based on depth sense occupied in real time
US11308792B2 (en) Security systems integration
US11080881B2 (en) Detection and identification systems for humans or objects
US20210133491A1 (en) System and method for detecting, tracking and counting human objects of interest with an improved height calculation
KR101860881B1 (en) Monitoring target classification and selective people counting system using infrared marker and video image analysis technology
US10600264B2 (en) Tracked ticket validation and feedback system
KR101522683B1 (en) Profiling apparatus for tracking and analyzing object and method thereof

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant