KR20220074335A

KR20220074335A - Apparatus and Method for Object Counting by Type Using Artificial Intelligence-Based Edge Computing

Info

Publication number: KR20220074335A
Application number: KR1020200162716A
Authority: KR
Inventors: 김민영; 장시웅; 장종욱; 이현섭; 조진환; 김지성; 최동규; 양동빈; 이지민; 이상락; 강태구; 오수진; 최진혁
Original assignee: 동의대학교 산학협력단
Priority date: 2020-11-27
Filing date: 2020-11-27
Publication date: 2022-06-03
Also published as: KR102511626B1

Abstract

본 발명은 다수의 사람이 동시에 출입하여도 방향성 및 계수 측정이 가능하고 출입 객체의 유형 판별이 가능하도록 한 인공지능 기반 엣지 컴퓨팅을 활용한 유형별 객체 계수를 위한 장치 및 방법에 관한 것으로, 라인 형태의 압력 센서 어레이를 갖고, 다수의 사람이 동시에 출입하여도 방향성 및 계수 측정, 출입 객체의 유형 판별이 가능하도록 센싱 신호를 출력하는 플렉서블 압력 센서 매트;상기 플렉서블 압력 센서 매트로부터 센싱 데이터를 수신하여, 감지 포인트 변화 검출 및 이동 방향 판단을 하여 객체 유형 판단을 하고, 유형별 객체 카운트를 하는 엣지 컴퓨팅 기반 모니터링부;딥러닝 기반 모듈 및 알고리즘을 통해 엣지 컴퓨팅 기반 모니터링부로부터 추출된 학습 자료를 수신하여 인공지능 기반 엣지 컴퓨팅을 활용한 유형별 객체 계수를 위한 학습을 수행하는 딥러닝 기반 학습 데이터 생성 서버;엣지 컴퓨팅 기반 모니터링부로부터 추출된 분석 데이터를 수신하여 빅데이터 분석에 의한 결과 제공 및 활용을 지원하는 데이터 수집 및 분석 서버;를 포함하는 것이다.The present invention relates to an apparatus and method for counting objects by type using artificial intelligence-based edge computing, which enables measurement of directionality and coefficients even when multiple people enter and exits at the same time and makes it possible to determine types of entry and exit objects. A flexible pressure sensor mat having a pressure sensor array and outputting a sensing signal to measure directionality and coefficient, and to determine the type of entry/exit object even when multiple people enter and exit at the same time; Receive sensing data from the flexible pressure sensor mat to detect Edge computing-based monitoring unit that determines object type by detecting point change and determining movement direction, and counts objects by type; AI-based by receiving the learning data extracted from the edge computing-based monitoring unit through deep learning-based modules and algorithms A deep learning-based learning data generation server that performs learning for counting objects by type using edge computing; data collection and data collection that support the provision and utilization of results by big data analysis by receiving the analysis data extracted from the edge computing-based monitoring unit analysis server; to include.

Description

Apparatus and Method for Object Counting by Type Using Artificial Intelligence-Based Edge Computing

본 발명은 객체 계수에 관한 것으로, 구체적으로 다수의 사람이 동시에 출입하여도 방향성 및 계수 측정이 가능하고 출입 객체의 유형 판별이 가능하도록 한 인공지능 기반 엣지 컴퓨팅을 활용한 유형별 객체 계수를 위한 장치 및 방법에 관한 것이다.The present invention relates to object counting, and specifically, an apparatus for counting objects by type using artificial intelligence-based edge computing that enables measurement of direction and count even when multiple people enter and exits at the same time, and enables identification of types of entering and exiting objects; it's about how

일반적으로 지능형 영상 감시 시스템들은 먼저 영상으로부터 식별한 전경 영역들을 미리 제공된 보행자 형태 모델에 기초하여 분할하여 개별 보행자들을 추출하고 계수하는 방식이다.In general, intelligent video surveillance systems are a method of extracting and counting individual pedestrians by dividing foreground areas identified from an image based on a previously provided pedestrian shape model.

이러한 방식은 특정한 장소를 특정한 시야(viewpoint)에서 바라보았을 때에 얻어지는 보행자 형태 모델에 의존하므로, 카메라의 방향과 화각, 초점거리 등이 매우 제한적이다. 또한 흔히 일어나는 혼잡한 상황에서 보행자가 다른 보행자에 가리는 "폐색(occlusion)"이 일어나면 가려진 개별 보행자의 식별이 실패할 가능성이 매우 크다.Since this method depends on a pedestrian shape model obtained when a specific place is viewed from a specific viewpoint, the direction, angle of view, and focal length of the camera are very limited. In addition, when "occlusion" occurs in which pedestrians are obstructed by other pedestrians in congested conditions, which often occurs, it is very likely that the identification of occluded individual pedestrians will fail.

이러한 종래 기술의 시스템들은 전경 영역의 추출과 모델 분석, 유사도 판정, 추적 등의 세부 알고리즘을 거치면서 대단히 많은 연산 자원을 필요로 함에도 불구하고 정확도는 충분하지 않다.Although these prior art systems require a lot of computational resources through detailed algorithms such as extraction of the foreground region, model analysis, similarity determination, and tracking, the accuracy is not sufficient.

한편, 특정(지정) 공간에서 주기적으로 인원 계수를 필요로 하는 국립공원, 박물관, 관광지 등은 '무인 인원 계수시스템'을 통해 지속적으로 출입 인원을 측정하고 있으나, 짧으면 당일, 길어도 일주일을 넘기지 않는 이벤트성 행사(공연, 박람회, 플리마켓(벼룩시장) 등)의 경우 현장에서 수동 계수기를 통해 사람이 일일이 출입 인원을 카운팅하고 있다.On the other hand, national parks, museums, and tourist sites that require periodic counting of people in a specific (designated) space continuously measure the number of people entering through the 'unmanned counting system'. In the case of sexual events (performances, fairs, flea markets, etc.), the number of people entering and leaving is counted one by one through a manual counter at the site.

도 1은 일반적인 수동 계수기의 일 예를 나타낸 구성도이다.1 is a block diagram showing an example of a general manual counter.

이벤트성 행사 대부분이 대규모로 진행되며, 그중에서도 입장권 발급이 없이 이뤄지는 축제, 박람회, 플리마켓 등의 경우 입장 인원 규모에 따라 입장객 질서유지, 안전 지도관리, 시설물 안전 상태 점검을 위한 안전관리 요원이 배치되므로 예상인원 규모와 실제 입장 인원 규모의 집계는 매우 중요한 지표로 이용된다.Most of the event-type events are held on a large scale, and in the case of festivals, fairs, flea markets, etc., which are held without issuance of tickets, safety management personnel are assigned to maintain order for visitors, manage safety guidance, and inspect facility safety conditions according to the size of the number of visitors. The aggregation of the expected number of people and the actual number of visitors is used as a very important indicator.

이와 같은 출입 인원 계수시스템의 필요성에 의해 인원 계수를 위한 인원체크원을 모집해 수동 계수기를 통해 출입 인원을 카운팅하고 있으나, 여러 출입구에서 동시다발적으로 입장하는 입장객을 정확하게 카운팅해 최종 입장객 수를 확인하기에는 너무나도 비효율적이다.Due to the necessity of such a system for counting people, we have recruited people checkers for counting and counting the people through a manual counter. It's too inefficient to do that.

사람이 일일이 수동으로 카운팅하는 방식이 아닌, 무인 인원 계수시스템을 사용하고 싶어도, 현재 상용화되어 있는 무인 인원 계수시스템의 경우 설치 환경 및 설치 비용 등의 문제로 이벤트성 행사에서의 사용성은 매우 떨어지는 문제가 있다.Even if people want to use an unmanned person counting system instead of manually counting, the currently commercialized unmanned person counting system has a very low usability at event-type events due to problems such as the installation environment and installation cost. have.

특정 공간에서의 무인 인원 계수 추정 및 밀도 감지는 다양한 센서를 통해 수행될 수 있다.Estimation of unattended personnel count and density detection in a specific space can be performed through various sensors.

대표적으로 표 1에서와 같이, 레이더형,이미지 분석형,게이트형,적외선 차단형,인체열 감지형이 있다.Representatively, as shown in Table 1, there are radar type, image analysis type, gate type, infrared blocking type, and body heat sensing type.

레이더형은 시야가 방해받는 환경에서도 제약 없이 사용할 수 있어 최근 활발하게 연구되고 있지만, 객체의 종류가 어떤 것인지를 판별할 수 없고 안테나(신호 송수신부)의 성능에 따라 측정 거리(최소 1m)가 길어지면 길어질수록 비용이 수직으로 상승하는 단점이 있다.The radar type can be used without restrictions even in an environment where visibility is obstructed, so it is being actively researched recently, but it is not possible to determine the type of object and the measurement distance (at least 1m) is long depending on the performance of the antenna (signal transceiver) There is a disadvantage that the cost rises vertically as the length of the land increases.

레이더형의 단점을 보완하고, 객체의 종류를 판별하기 위해 카메라를 활용한 이미지 분석형 감지 시스템 역시 활용되고 있으나 날씨나 시간(낮·밤), 다수의 피사체가 임의로 움직이는 경우 등 주위환경에 의해 성능이 좌우되며, 사생활 침해의 문제로 인해 사용자들에게 불쾌감을 주는 문제가 있다.To compensate for the shortcomings of the radar type and to identify the type of object, an image analysis type detection system using a camera is also used, but the performance depends on the surrounding environment, such as the weather, time (day/night), and multiple subjects moving arbitrarily. This is dependent on this, and there is a problem that causes discomfort to users due to the problem of invasion of privacy.

게이트 형 역시 회전 차단기설치를 통한 정확한 출입통제가 가능하지만, 공간의 제약이 크고 통행에 방해가 되는 등 최근에는 사람들의 이동 동선을 고려해 해당 방식의 시스템을 선호하지 않는 추세이다.The gate type also allows accurate access control through the installation of a revolving breaker, but recently, considering the movement of people, there is a trend not to prefer this type of system, as space is limited and it interferes with passage.

그 외 초음파 센서, 레이더 센서, 키넥트 센서의 경우 인원 계수를 위해서는 센서의 설치가 가능한 기둥이나 벽 등의 물체가 반드시 있어야 하며, 이와 비교해 설치는 간단하나 인원 계수보다 인원 빈도수 측정에 적합한 인체열 감지형이 있다.In the case of other ultrasonic sensors, radar sensors, and Kinect sensors, an object such as a column or wall where the sensor can be installed must be present in order to count the number of people. I have a brother.

이러한 무인 인원 계수 추정 및 밀도 감지를 위한 장치들의 문제를 해결하기 위한 계수 매트가 제안되고 있으나, 종래 기술의 계수 매트의 경우에는 보행자의 걸음 습관 또는, 센서 발판 위에서 여러 방향으로 움직이거나 센서가 위치하지 않는 센서 발판 위에서 여러 방향으로 움직이거나 센서가 위치하지 않는 부분을 밟고 지나갔을 시 실제 걷는 방향과 센서가 감지하는 방향이 일치하지 않는 문제가 있다.Counting mats have been proposed to solve the problems of devices for estimating the unattended number of people and detecting the density. There is a problem in that the actual walking direction and the direction detected by the sensor do not match when moving in multiple directions on a non-sensor footing or stepping on a part where the sensor is not located.

도 2는 종래 기술의 계수 매트의 문제를 나타낸 구성도이다.2 is a block diagram showing the problem of the coefficient mat of the prior art.

특히, 보행자 이외의 다른 이동 객체의 판별(휠체어 등 이동체, 반려동물 등)이 불가능하여 인원 계수 시 오차가 발생할 확률이 높다는 문제가 있다.In particular, there is a problem in that there is a high probability that an error occurs in counting the number of people because it is impossible to identify moving objects other than pedestrians (mobile objects such as wheelchairs, companion animals, etc.).

따라서, 종래 기술의 무인 인원 계수 추정 및 밀도 감지를 위한 장치들의 문제를 해결하고, 카운팅 오류 발생을 최소화할 수 있도록 하는 새로운 출입자 계수 시스템의 개발이 요구되고 있다.Therefore, there is a need for developing a new occupant counting system capable of solving the problems of the prior art devices for estimating the unattended person count and detecting the density and minimizing the occurrence of a counting error.

대한민국 등록특허 제10-1467360호Republic of Korea Patent Registration No. 10-1467360 대한민국 공개특허 제10-2017-0107161호Republic of Korea Patent Publication No. 10-2017-0107161 대한민국 공개특허 제10-2010-0115595호Republic of Korea Patent Publication No. 10-2010-0115595

본 발명은 종래 기술의 계수 장치의 문제점을 해결하기 위한 것으로, 다수의 사람이 동시에 출입하여도 방향성 및 계수 측정이 가능하고 출입 객체의 유형 판별이 가능하도록 한 인공지능 기반 엣지 컴퓨팅을 활용한 유형별 객체 계수를 위한 장치 및 방법을 제공하는데 그 목적이 있다.The present invention is to solve the problems of the prior art counting device, and it is possible to measure the direction and count even when a large number of people enter and exit at the same time, and to make it possible to determine the type of entry and exit object by type using artificial intelligence-based edge computing. An object of the present invention is to provide an apparatus and method for counting.

본 발명은 고해상도 플렉서블(Flexible) 압력센서 매트와 딥러닝 기반 입출입 패턴 분석 시스템(SW)의 융합 적용으로 출입 객체의 유형 판별 정확도를 높일 수 있도록 한 인공지능 기반 엣지 컴퓨팅을 활용한 유형별 객체 계수를 위한 장치 및 방법을 제공하는데 그 목적이 있다.The present invention is a high-resolution flexible pressure sensor mat and deep learning-based entry/exit pattern analysis system (SW) fusion application to increase the accuracy of type identification of entry and exit objects for counting objects by type using artificial intelligence-based edge computing It is an object to provide an apparatus and method.

본 발명은 입출구 바닥 전면에 플렉서블 압력센서 발판을 설치하여 이를 통해 감지한 데이터를 센서 보드에 연결하여 데이터를 전송하고, 센서 발판에서 수집된 데이터의 정보는 딥러닝 기반 모듈 및 알고리즘을 통해 처리되어 객체의 유형 (보행자, 이동체, 반려동물), 방향성, 카운터(계수) 정보를 모니터링 시스템에 제공할 수 있도록 한 인공지능 기반 엣지 컴퓨팅을 활용한 유형별 객체 계수를 위한 장치 및 방법을 제공하는데 그 목적이 있다.The present invention installs a flexible pressure sensor footrest on the front of the floor at the entrance and exit to connect the detected data to the sensor board to transmit the data, and the information of the data collected from the sensor footrest is processed through a deep learning-based module and algorithm to object The purpose is to provide a device and method for counting objects by type using artificial intelligence-based edge computing that can provide information on the type (pedestrian, moving object, companion animal), direction, and counter (counting) to the monitoring system. .

본 발명은 고해상도 플렉서블(Flexible) 압력센서 매트는 센싱(Sensing)과 인터넷 통신 기능을 통해 환경감지, 이상 징후 등의 데이터를 데이터 수집 및 분석 서버에 전달하여 빅데이터 분석에 의한 부가가치 창출이 가능하도록 한 인공지능 기반 엣지 컴퓨팅을 활용한 유형별 객체 계수를 위한 장치 및 방법을 제공하는데 그 목적이 있다.The present invention is a high-resolution flexible pressure sensor mat that transmits data such as environmental detection and abnormal signs to a data collection and analysis server through sensing and Internet communication functions to create added value through big data analysis. It aims to provide an apparatus and method for counting objects by type using artificial intelligence-based edge computing.

본 발명의 다른 목적들은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.Other objects of the present invention are not limited to the above-mentioned objects, and other objects not mentioned will be clearly understood by those skilled in the art from the following description.

상기와 같은 목적을 달성하기 위한 본 발명에 따른 인공지능 기반 엣지 컴퓨팅을 활용한 유형별 객체 계수를 위한 장치는 라인 형태의 압력 센서 어레이를 갖고, 다수의 사람이 동시에 출입하여도 방향성 및 계수 측정, 출입 객체의 유형 판별이 가능하도록 센싱 신호를 출력하는 플렉서블 압력 센서 매트;상기 플렉서블 압력 센서 매트로부터 센싱 데이터를 수신하여, 감지 포인트 변화 검출 및 이동 방향 판단을 하여 객체 유형 판단을 하고, 유형별 객체 카운트를 하는 엣지 컴퓨팅 기반 모니터링부;딥러닝 기반 모듈 및 알고리즘을 통해 엣지 컴퓨팅 기반 모니터링부로부터 추출된 학습 자료를 수신하여 인공지능 기반 엣지 컴퓨팅을 활용한 유형별 객체 계수를 위한 학습을 수행하는 딥러닝 기반 학습 데이터 생성 서버;엣지 컴퓨팅 기반 모니터링부로부터 추출된 분석 데이터를 수신하여 빅데이터 분석에 의한 결과 제공 및 활용을 지원하는 데이터 수집 및 분석 서버;를 포함하는 것을 특징으로 한다.The device for counting objects by type using artificial intelligence-based edge computing according to the present invention for achieving the above object has a line-type pressure sensor array, and measures direction and coefficient even when multiple people enter and exit at the same time A flexible pressure sensor mat for outputting a sensing signal so as to be able to determine the type of an object; Receive sensing data from the flexible pressure sensor mat, detect a change in a detection point and determine a movement direction to determine the object type, and count the object by type Edge computing-based monitoring unit; Deep learning-based learning data generation that receives learning data extracted from edge computing-based monitoring unit through deep learning-based modules and algorithms and performs learning for object counting by type using artificial intelligence-based edge computing Server; A data collection and analysis server that receives the analysis data extracted from the edge computing-based monitoring unit and supports the provision and utilization of results by big data analysis; characterized in that it comprises a.

여기서, 상기 엣지 컴퓨팅 기반 모니터링부는, 플렉서블 압력 센서 매트가 전송한 2차원 벡터 데이터와, 객체 유형 판별이 가능한 객체 계수 결과 데이터 모두를 데이터 수집 및 분석 서버로 전송하여 DB에 저장되도록 하여 빅데이터 분석에 이용될 수 있도록 하는 것을 특징으로 한다.Here, the edge computing-based monitoring unit transmits both the two-dimensional vector data transmitted by the flexible pressure sensor mat and the object count result data that can determine the object type to the data collection and analysis server to be stored in the DB to analyze big data It is characterized in that it can be used.

그리고 엣지 컴퓨팅 기반 모니터링부는 감지 포인트 변화 검출 및 이동 방향 판단을 하여 객체 유형 판단을 하기 위하여, 최초 한 발이 밟은 센싱 신호를 기준으로 한 발 내에서의 포션별 착지 순서 및 이탈 순서를 판단하여 출입자의 진행 방향을 판단하고, 사람의 평균 보폭과 반려 동물의 보폭을 비교하거나, 2족 보행 특성 및 4족 보행 특성을 비교하여 사람과 반려 동물을 구분하는 것을 특징으로 한다.And, the edge computing-based monitoring unit detects the change of the detection point and determines the movement direction to determine the object type by determining the landing order and departure order for each potion within one foot based on the sensing signal that the first foot stepped on to determine the progress of the entrants It is characterized in that the direction is determined, the average stride length of a person and the stride length of the companion animal are compared, or the human and the companion animal are distinguished by comparing the bipedal and quadrupedal characteristics.

그리고 플렉서블 압력 센서 매트는, 온도,습도를 포함하는 외부 환경을 감지하는 센서를 더 구비하고, 충격이나 수평을 감지하는 센서를 구비하여 이상 상태 발생을 경고할 수 있도록 하는 것을 특징으로 한다.And the flexible pressure sensor mat further includes a sensor for detecting an external environment including temperature and humidity, and a sensor for detecting an impact or level to warn the occurrence of an abnormal state.

그리고 엣지 컴퓨팅 기반 모니터링부는, 플렉서블 압력 센서 매트에서 센싱된 데이터를 수신하는 센서 매트 센싱 데이터 수신부와,수신된 센싱 데이터로부터 출입 객체의 시간에 따른 감지 포인트 변화를 검출하는 감지 포인트 변화 검출부와,딥러닝에 의한 판단 기준 학습 데이터를 기반으로 객체의 이동 방향을 판단하는 이동 방향 판단부와,딥러닝에 의한 판단 기준 학습 데이터를 기반으로 객체의 유형을 판단하는 객체 유형 판단부와,이동 방향 판단부 및 객체 유형 판단부의 판단 결과를 기준으로 유형별 객체 카운트를 하는 유형별 객체 카운트부와,유형별 객체 카운트부의 카운트 결과를 표시하는 유형별 객체 카운트 정보 표시부를 포함하는 것을 특징으로 한다.And the edge computing-based monitoring unit, a sensor mat sensing data receiving unit for receiving data sensed from the flexible pressure sensor mat, A detection point change detection unit for detecting a change in the detection point according to time of an entry/exit object from the received sensing data, Deep learning A movement direction determination unit for determining the movement direction of an object based on the determination criterion learning data by and an object counting unit for each type that counts objects by type based on the determination result of the object type determining unit, and an object count information display unit for each type that displays the count result of the object counting unit for each type.

그리고 플렉서블 압력 센서 매트로부터 수신된 센싱 데이터 및 센싱 데이터로부터 추출된 결과 데이터를, 학습 및 분석을 위하여 딥러닝 기반 학습 데이터 생성 서버 및 데이터 수집 및 분석 서버로 전송하는 학습 및 분석 자료 추출 전송부를 더 포함하는 것을 특징으로 한다.And the sensing data received from the flexible pressure sensor mat and the result data extracted from the sensing data, for learning and analysis, a deep learning-based learning data generation server and a data collection and analysis server for transmitting a learning and analysis data extraction transmission unit further included characterized in that

그리고 플렉서블 압력 센서 매트로부터 온도,습도의 외부 환경을 감지하는 센서의 센싱 신호 및 충격이나 수평을 감지하는 센서의 센싱 신호를 수신하는 환경 정보 수집부를 더 포함하는 것을 특징으로 한다.And it characterized in that it further comprises an environment information collection unit for receiving the sensing signal of the sensor for detecting the external environment of temperature and humidity from the flexible pressure sensor mat and the sensing signal of the sensor for detecting the shock or level.

그리고 이동 방향 판단부 및 객체 유형 판단부의 판단 기준 업데이트를 위하여, 딥러닝 기반 학습 데이터 생성 서버로부터 판단 기준 학습 정보를 수신하여 업데이트하는 판단 기준 학습 정보 업데이트부를 더 포함하는 것을 특징으로 한다.And in order to update the determination criteria of the movement direction determination unit and the object type determination unit, it characterized in that it further comprises a determination reference learning information update unit for receiving and updating the determination reference learning information from the deep learning-based learning data generation server.

다른 목적을 달성하기 위한 본 발명에 따른 인공지능 기반 엣지 컴퓨팅을 활용한 유형별 객체 계수를 위한 방법은 플렉서블 압력 센서 매트에서 센싱된 데이터를 엣지 컴퓨팅 기반 모니터링부에서 수신하는 단계;시간에 따른 감지 포인트 변화를 검출하고, 딥러닝에 의한 판단 기준 학습 데이터를 기반으로 객체의 이동 방향 및 유형 판단을 하는 단계;유형별 객체 카운트 정보를 표시하고, 학습 및 분석 자료를 추출하여 딥러닝 기반 학습 데이터 생성 서버와 데이터 수집 및 분석 서버로 전송하는 단계;판단 기준 학습 정보의 업데이트가 필요한 것으로 판단되면, 딥러닝 기반 학습 데이터 생성 서버로부터 판단 기준 학습 정보를 수신하여 업데이트하는 단계;플렉서블 압력 센서 매트로부터 환경 정보 및 이상 상태 정보가 수신되면, 수신된 환경 정보 및 이상 상태 정보를 데이터 수집 및 분석 서버로 전송하는 단계;를 포함하는 것을 특징으로 한다.A method for counting objects by type using artificial intelligence-based edge computing according to the present invention for achieving another object comprises: receiving data sensed by a flexible pressure sensor mat from an edge computing-based monitoring unit; detection point change over time detecting and judging the movement direction and type of the object based on the learning data based on the judgment criterion by deep learning; displaying the object count information for each type, and extracting the learning and analysis data to generate the deep learning-based learning data server and data Collecting and transmitting to the analysis server; When it is determined that the update of the judgment criterion learning information is necessary, receiving and updating the judgment criterion learning information from the deep learning-based learning data generation server; Environmental information and abnormal state from the flexible pressure sensor mat When the information is received, transmitting the received environmental information and abnormal state information to the data collection and analysis server; characterized in that it includes.

여기서, 객체의 이동 방향 및 유형 판단을 하는 단계에서, 최초 한 발이 밟은 센싱 신호를 기준으로 한 발 내에서의 포션별 착지 순서 및 이탈 순서를 판단하여 출입자의 진행 방향을 판단하고, 사람의 평균 보폭과 반려 동물의 보폭을 비교하거나, 2족 보행 특성 및 4족 보행 특성을 비교하여 사람과 반려 동물을 구분하는 것을 특징으로 한다.Here, in the step of determining the movement direction and type of the object, the landing order and departure order for each potion within one foot are determined based on the sensing signal stepped on by the first foot to determine the moving direction of the occupant, and the average stride length of the person It is characterized in that humans and companion animals are distinguished from each other by comparing the stride length of a companion animal with a bipedal gait characteristic and a quadrupedal gait characteristic.

이상에서 설명한 바와 같은 본 발명에 따른 인공지능 기반 엣지 컴퓨팅을 활용한 유형별 객체 계수를 위한 장치 및 방법은 다음과 같은 효과가 있다.The apparatus and method for counting objects by type using artificial intelligence-based edge computing according to the present invention as described above have the following effects.

첫째, 다수의 사람이 동시에 출입하여도 방향성 및 계수 측정이 가능하고 출입 객체의 유형 판별이 가능하도록 한다.First, it is possible to measure the direction and coefficient even if a large number of people enter at the same time, and to determine the type of entry and exit object.

둘째, 고해상도 플렉서블(Flexible) 압력센서 매트와 딥러닝 기반 입출입 패턴 분석 시스템(SW)의 융합 적용으로 출입 객체의 유형 판별 정확도를 높일 수 있도록 한다.Second, the fusion application of a high-resolution flexible pressure sensor mat and a deep learning-based entry/exit pattern analysis system (SW) can increase the accuracy of determining the type of entry and exit objects.

셋째, 입출구 바닥 전면에 플렉서블 압력센서 발판을 설치하여 이를 통해 감지한 데이터를 센서 보드에 연결하여 데이터를 전송하고, 센서 발판에서 수집된 데이터의 정보는 딥러닝 기반 모듈 및 알고리즘을 통해 처리되어 객체의 유형 (보행자, 이동체, 반려동물), 방향성, 카운터(계수) 정보를 모니터링 시스템에 제공할 수 있도록 한다.Third, by installing a flexible pressure sensor footrest on the front of the floor at the entrance and exit, the detected data is connected to the sensor board to transmit the data, and the information of the data collected from the sensor footing is processed through deep learning-based modules and algorithms to Type (pedestrian, moving object, companion animal), direction, and counter (counting) information can be provided to the monitoring system.

넷째, 고해상도 플렉서블(Flexible) 압력센서 매트는 센싱(Sensing)과 인터넷 통신 기능을 통해 환경감지, 이상 징후 등의 데이터를 데이터 수집 및 분석 서버에 전달하여 빅데이터 분석에 의한 부가가치 창출이 가능하도록 한다.Fourth, the high-resolution flexible pressure sensor mat transmits data such as environmental detection and anomalies to the data collection and analysis server through sensing and Internet communication functions to enable added value creation by big data analysis.

도 1은 일반적인 수동 계수기의 일 예를 나타낸 구성도
도 2는 종래 기술의 계수 매트의 문제를 나타낸 구성도
도 3은 본 발명에 따른 유형별 객체 계수 매트의 일 예를 나타낸 구성도
도 4는 본 발명에 따른 인공지능 기반 엣지 컴퓨팅을 활용한 유형별 객체 계수를 위한 장치의 구성도
도 5a와 도 5b는 플렉서블 압력 센서 매트의 상세 구성도
도 6a와 도 6b는 엣지 컴퓨팅 기반 모니터링부의 상세 구성도
도 7은 본 발명에 따른 인공지능 기반 엣지 컴퓨팅을 활용한 유형별 객체 계수를 위한 방법을 나타낸 플로우 차트1 is a configuration diagram showing an example of a general manual counter
Figure 2 is a block diagram showing the problem of the coefficient mat of the prior art
3 is a block diagram showing an example of an object counting mat for each type according to the present invention
4 is a block diagram of an apparatus for counting objects by type using artificial intelligence-based edge computing according to the present invention;
5a and 5b are detailed configuration diagrams of the flexible pressure sensor mat
6A and 6B are detailed configuration diagrams of an edge computing-based monitoring unit.
7 is a flowchart illustrating a method for counting objects by type using artificial intelligence-based edge computing according to the present invention.

이하, 본 발명에 따른 인공지능 기반 엣지 컴퓨팅을 활용한 유형별 객체 계수를 위한 장치 및 방법의 바람직한 실시 예에 관하여 상세히 설명하면 다음과 같다.Hereinafter, a preferred embodiment of an apparatus and method for counting objects by type using artificial intelligence-based edge computing according to the present invention will be described in detail as follows.

본 발명에 따른 인공지능 기반 엣지 컴퓨팅을 활용한 유형별 객체 계수를 위한 장치 및 방법의 특징 및 이점들은 이하에서의 각 실시 예에 대한 상세한 설명을 통해 명백해질 것이다.Features and advantages of the apparatus and method for object counting by type using artificial intelligence-based edge computing according to the present invention will become apparent through the detailed description of each embodiment below.

도 3은 본 발명에 따른 유형별 객체 계수 매트의 일 예를 나타낸 구성도이다.3 is a configuration diagram illustrating an example of an object counting mat for each type according to the present invention.

본 발명에 따른 인공지능 기반 엣지 컴퓨팅을 활용한 유형별 객체 계수를 위한 장치 및 방법은 다수의 사람이 동시에 출입하여도 방향성 및 계수 측정이 가능하고 출입 객체의 유형 판별이 가능하도록 한 것이다.The apparatus and method for counting objects by type using artificial intelligence-based edge computing according to the present invention enable measurement of direction and coefficient even when multiple people enter and exit at the same time, and make it possible to determine the type of entry and exit object.

이를 위하여 본 발명은 고해상도 플렉서블(Flexible) 압력센서 매트와 딥러닝 기반 입출입 패턴 분석 시스템(SW)의 융합 적용으로 출입 객체의 유형 판별 정확도를 높이기 위한 구성을 포함할 수 있다.To this end, the present invention may include a configuration for increasing the accuracy of determining the type of an entry/exit object by applying a fusion of a high-resolution flexible pressure sensor mat and a deep learning-based entry/exit pattern analysis system (SW).

본 발명은 입출구 바닥 전면에 플렉서블 압력센서 발판을 설치하여 이를 통해 감지한 데이터를 센서 보드에 연결하여 데이터를 전송하고, 센서 발판에서 수집된 데이터의 정보는 딥러닝 기반 모듈 및 알고리즘을 통해 처리되어 객체의 유형 (보행자, 이동체, 반려동물), 방향성, 카운터(계수) 정보를 모니터링 시스템에 제공하는 구성을 포함할 수 있다.The present invention installs a flexible pressure sensor footrest on the front of the floor at the entrance and exit to connect the detected data to the sensor board to transmit the data, and the information of the data collected from the sensor footrest is processed through a deep learning-based module and algorithm to object It may include a configuration that provides information about the type (pedestrian, moving object, companion animal), direction, and counter (counter) to the monitoring system.

본 발명은 고해상도 플렉서블(Flexible) 압력센서 매트는 센싱(Sensing)과 인터넷 통신 기능을 통해 환경감지, 이상 징후 등의 데이터를 데이터 수집 및 분석 서버에 전달하여 빅데이터 분석에 의한 부가가치 창출이 가능한 활용에 관한 구성을 포함할 수 있다.The present invention is a high-resolution flexible pressure sensor mat that transmits data such as environmental detection and abnormal signs to a data collection and analysis server through sensing and Internet communication functions to create added value through big data analysis. configuration may be included.

현재까지 국내 관련 계수시스템은 환경적·비용적 측면에서 여러 가지 한계를 드러내고 있어 보다 활용도 높은 객체 계수시스템을 제공하기 위하여, 본 발명은 이동 객체의 유형 예측, 방향성, 정확도 높은 계수 데이터 제공이 가능하도록 한다.Until now, domestic related counting systems have exposed various limitations in terms of environmental and cost. In order to provide a more usable object counting system, the present invention aims to provide high-accuracy counting data for predicting the type of moving object, direction, and so on. do.

본 발명은 유모차, 휠체어 및 전동킥보드, 자전거, 인라인스케이트 등 이동체 판별 및, 동물(고양이, 강아지, 야생 동물 등) 판별 및, 다수 인원의 동시 출입에도 정확한 계수 데이터 제공, 보행자의 진행 방향 파악(들어가고 나오는 출입 인원의 정확한 분류)이 가능하도록 한다.The present invention identifies moving objects such as strollers, wheelchairs, electric kickboards, bicycles, and inline skates, determines animals (cats, dogs, wild animals, etc.) Accurate classification of incoming and outgoing personnel) is possible.

본 발명에 따른 유형별 객체 계수 매트는 도 3에서와 같이, 복수의 압력 센서가 라인 형태로 배열되는 구조의 매트를 포함하는 것으로, 센서 어레이로부터의 센싱 신호를 입력받아 출입자가 상기 매트를 밟고 출입하는 것을 감지한 결과 정보를 생성하여 외부로 전송하는 제어모듈을 포함한다.The object counting mat for each type according to the present invention includes a mat having a structure in which a plurality of pressure sensors are arranged in a line form as shown in FIG. and a control module for generating information as a result of detecting that and transmitting the information to the outside.

외부로 전송되는 결과 정보는 최초 한 발이 밟은 센싱 신호를 기준으로 한 발 내에서의 포션별 착지 순서 및 이탈 순서를 판단하여 출입자의 진행 방향을 판단하도록 할 수 있다.As for the result information transmitted to the outside, the landing order and departure order for each potion within one foot are determined based on the sensing signal that the first foot stepped on to determine the moving direction of the occupant.

또한, 사람의 평균 보폭과 반려 동물의 보폭을 비교하거나, 2족 보행 특성 및 4족 보행 특성을 비교하여 사람과 반려 동물을 구분할 수 있고, 연속적인 센싱 신호를 자전거와 같은 객체로 판단할 수도 있다.In addition, it is possible to distinguish a human from a companion animal by comparing the average stride length of a person and the stride length of a companion animal, or by comparing the bipedal and quadrupedal characteristics, and a continuous sensing signal can be determined as an object such as a bicycle. .

그리고 매트에는 온도,습도 등의 외부 환경을 감지하는 센서를 더 구비할 수도 있고, 충격이나 수평을 감지하는 센서를 구비하여 이상 상태 발생을 경고하는데 사용할 수도 있다.And, the mat may further include a sensor for detecting an external environment such as temperature and humidity, and a sensor for detecting an impact or level may be used to warn the occurrence of an abnormal condition.

도 4는 본 발명에 따른 인공지능 기반 엣지 컴퓨팅을 활용한 유형별 객체 계수를 위한 장치의 구성도이다.4 is a block diagram of an apparatus for counting objects by type using artificial intelligence-based edge computing according to the present invention.

본 발명에 따른 인공지능 기반 엣지 컴퓨팅을 활용한 유형별 객체 계수를 위한 장치는 도 4에서와 같이, 라인 형태의 압력 센서 어레이를 갖고, 다수의 사람이 동시에 출입하여도 방향성 및 계수 측정, 출입 객체의 유형 판별이 가능하도록 센싱 신호를 출력하는 플렉서블 압력 센서 매트(100)와, 플렉서블 압력 센서 매트(100)로부터 센싱 데이터를 수신하여, 감지 포인트 변화 검출 및 이동 방향 판단을 하여 객체 유형 판단을 하고, 유형별 객체 카운트를 하는 엣지 컴퓨팅 기반 모니터링부(200)와, 딥러닝 기반 모듈 및 알고리즘을 통해 엣지 컴퓨팅 기반 모니터링부(200)로부터 추출된 학습 자료를 수신하여 인공지능 기반 엣지 컴퓨팅을 활용한 유형별 객체 계수를 위한 학습을 수행하는 딥러닝 기반 학습 데이터 생성 서버(300)와, 엣지 컴퓨팅 기반 모니터링부(200)로부터 추출된 분석 데이터를 수신하여 빅데이터 분석에 의한 부가가치 창출을 위한 정보의 제공 및 활용을 지원하는 데이터 수집 및 분석 서버(400)를 포함한다.As shown in FIG. 4, the apparatus for counting objects by type using artificial intelligence-based edge computing according to the present invention has a line-type pressure sensor array, and measures directionality and coefficient even if multiple people enter and exit at the same time, A flexible pressure sensor mat 100 that outputs a sensing signal to enable type determination, and receiving sensing data from the flexible pressure sensor mat 100, detecting a change in a detection point and determining a movement direction to determine the object type, and by type The edge computing-based monitoring unit 200 that counts objects, and the learning data extracted from the edge computing-based monitoring unit 200 through deep learning-based modules and algorithms are received, and object counts by type using artificial intelligence-based edge computing are measured To receive the analysis data extracted from the deep learning-based learning data generation server 300 and edge computing-based monitoring unit 200 that performs learning for It includes a data collection and analysis server 400 .

여기서, 엣지 컴퓨팅은 중앙 집중식 서버나 클라우드가 아닌 데이터가 수집되고 분석되는 물리적 위치에서 컴퓨팅이 이루어지는 분산 컴퓨팅 모델을 의미한다. 이는 데이터를 수집하는 센서와 현장에서 실시간으로 데이터를 안전하게 처리하는 엣지 서버가 사용되며, 노트북, 스마트폰과 같은 다른 기기도 네트워크에 연결될 수 있다.Here, edge computing refers to a distributed computing model in which computing is performed at a physical location where data is collected and analyzed, rather than a centralized server or cloud. It uses sensors that collect data and an edge server that safely processes data in real time in the field, and other devices such as laptops and smartphones can also be connected to the network.

본 발명에서는 플렉서블 압력 센서 매트(100)에서 보내 준 데이터 자체(2차원 벡터 데이터)와, 수집 데이터 기반 객체 유형 판별이 가능한 객체 계수 결과 데이터 모두 데이터 수집 및 분석 서버(400)로 전송되어 DB에 저장되어 빅데이터 분석에 이용될 수 있도록 한다.In the present invention, both the data itself (two-dimensional vector data) sent from the flexible pressure sensor mat 100 and the object count result data that can determine the object type based on the collected data are transmitted to the data collection and analysis server 400 and stored in the DB to be used for big data analysis.

최근 사물인터넷(Internet of Things : IoT) 기술의 발전에 따라 이를 스마트 시티(Smart City) 구축에 활용하려는 연구가 활발히 진행 중이다.Recently, with the development of Internet of Things (IoT) technology, research to utilize it in the construction of a smart city is being actively conducted.

그중에서 센서(Sensor) 기술은 주변 상황에 대한 정보를 자동으로 획득할 수 있게 하는 기술로서, 스마트 시티의 환경 구축을 위한 핵심 요소 중 하나로 주목받고 있다.Among them, sensor technology is a technology that enables automatic acquisition of information about surrounding conditions, and is attracting attention as one of the key factors for building a smart city environment.

본 발명은 다수의 사람이 동시에 출입하여도 방향성 및 계수 측정이 정확할 뿐 아니라 휠체어, 자전거, 퀵보드 등의 이동체 및 반려동물 등 모든 출입 객체의 유형 판별이 가능한 매트형 객체 계수 서비스가 가능하도록 한 것이다.The present invention makes it possible to provide a mat-type object counting service that can accurately measure the direction and count even when multiple people enter at the same time, as well as identify the types of all access objects, such as moving objects such as wheelchairs, bicycles, and quick boards, and companion animals.

본 발명에 따른 인공지능 기반 엣지 컴퓨팅을 활용한 유형별 객체 계수를 위한 장치는 고해상도 플렉서블(Flexible) 압력센서 매트와 딥러닝 기반 입·출입 패턴(데이터) 분석 시스템(SW)의 융합적용을 중심으로 구성되는 것이다.The device for counting objects by type using artificial intelligence-based edge computing according to the present invention is composed mainly of convergence application of high-resolution flexible pressure sensor mat and deep learning-based entry/exit pattern (data) analysis system (SW) will become

입출구 바닥 전면에 플렉서블 압력센서 발판을 설치하여 이를 통해 감지한 데이터를 센서 보드에 연결하여 데이터를 전송하고, 센서 발판에서 수집된 데이터의 정보는 딥러닝 기반 모듈 및 알고리즘을 통해 처리되어 객체의 유형(보행자, 이동체, 반려동물), 방향성, 카운터(계수) 정보를 모니터링 시스템에 제공하는 프로세스로 설계되어, 출입 객체의 유형 예측, 진행 방향 판단, 다수의 객체가 동시에 이동하더라도 정확한 계수가 가능하도록 한 것이다.By installing a flexible pressure sensor footrest on the front of the entrance and exit floor, the data detected through it is connected to the sensor board to transmit data, and the information of the data collected from the sensor footing is processed through deep learning-based modules and algorithms to determine the type of object ( It is designed as a process that provides information on pedestrians, moving objects, companion animals), direction, and counter (counting) to the monitoring system, enabling accurate counting even when multiple objects move simultaneously .

고해상도 플렉서블(Flexible) 압력센서를 통해 수집한 데이터는 데이터 수집 및 분석 서버(400)로 전송되어 DB에 저장되어 빅데이터 분석에 이용되어 다음과 같은 서비스가 가능하도록 한다.The data collected through the high-resolution flexible pressure sensor is transmitted to the data collection and analysis server 400, stored in the DB, and used for big data analysis to enable the following services.

일,주,월 및 연도별 방문객 통계 및 계절, 기상 기후, 연휴 등 과거 추세를 기반으로 한 방문자 수(규모) 예측 분석 및, 방문객 입장 및 퇴장시간 등 방문객 이용 통계에 따른 운영시간 조정 또는 이용객 입장 대기 불편 (혼잡) 감소를 위한 분산 목적의 안내 메시지 발송, 쿠폰 발행 등을 수행할 수 있도록 한다.Predictive analysis of the number (scale) of visitors based on daily, weekly, monthly and yearly visitor statistics and historical trends such as season, weather, climate, and holidays, and adjustment of operating hours according to visitor usage statistics such as visitor entry and exit times or visitor entry To reduce waiting inconvenience (congestion), it is possible to send information messages for the purpose of distribution and issue coupons.

또한, 방문객 진행 방향 확인, 이용 편의성 제고를 위한 적정 인원 배치에 이용될 수 있다.In addition, it can be used to confirm the direction of the visitor and to allocate an appropriate number of people to improve the convenience of use.

그리고 방문객 특성(유모차, 휠체어, 전동킥보드, 자전거) 분석에 따른 마케팅 전략수립이 가능하도록 한다.In addition, it is possible to establish marketing strategies according to the characteristics of visitors (prams, wheelchairs, electric scooters, bicycles).

특히, 이상 신호 감지(이동 없이 머무르는 등), 보안취약점 점검 및 조치 시행 및, 반려동물(고양이, 강아지 등) 주의사항 안내방송 등의 활용을 지원한다.In particular, it supports the detection of abnormal signals (staying without moving, etc.), checking for security vulnerabilities and implementing measures, and the use of warning announcements for companion animals (cats, puppies, etc.).

플렉서블 압력 센서 매트(100)의 상세 구성은 다음과 같다.The detailed configuration of the flexible pressure sensor mat 100 is as follows.

도 5a와 도 5b는 플렉서블 압력 센서 매트의 상세 구성도이다.5A and 5B are detailed configuration views of the flexible pressure sensor mat.

본 발명에 따른 플렉서블 압력 센서 매트(100)는 라인 형태를 갖고 x방향(x1,x2,x3,...)과 y방향(y1,y2,y3,...)으로 서로 교차 배열되어, 각 교차 영역에서의 구리조각의 가로/세로 압력을 측정하고, 이후 압력측정 값을 수치화하여 출력한다.The flexible pressure sensor mat 100 according to the present invention has a line form and is arranged to cross each other in the x-direction (x1, x2, x3, ...) and the y-direction (y1, y2, y3, ...), each Measure the horizontal/vertical pressure of the copper piece at the intersection area, and then digitize and output the pressure measurement value.

32bit MCU(Micro Controller Unit) 기반 하드웨어 모듈을 적용하여 구리조각에 전류를 흘려 차단되는 순간의 전류 값을 바탕으로 압력 측정한다.A 32-bit MCU (Micro Controller Unit)-based hardware module is applied to measure the pressure based on the current value at the moment when the current flows through the copper piece.

이후 2차원 벡터 데이터로 실시간으로 UART 통신으로 연결된 카운터 컨트롤러로 전송한다.After that, it is transmitted as 2D vector data to the counter controller connected through UART communication in real time.

엣지 컴퓨팅 기반 모니터링부(200)의 상세 구성은 다음과 같다.The detailed configuration of the edge computing-based monitoring unit 200 is as follows.

도 6a와 도 6b는 엣지 컴퓨팅 기반 모니터링부의 상세 구성도이다.6A and 6B are detailed configuration diagrams of an edge computing-based monitoring unit.

엣지 컴퓨팅 기반 모니터링부(200)는 플렉서블 압력 센서 매트(100)에서 센싱된 데이터를 수신하는 센서 매트 센싱 데이터 수신부(51)와, 수신된 센싱 데이터로부터 출입 객체의 시간에 따른 감지 포인트 변화를 검출하는 감지 포인트 변화 검출부(52)와, 딥러닝에 의한 판단 기준 학습 데이터를 기반으로 객체의 이동 방향을 판단하는 이동 방향 판단부(53)와, 딥러닝에 의한 판단 기준 학습 데이터를 기반으로 객체의 유형을 판단하는 객체 유형 판단부(53)와, 이동 방향 판단부(53) 및 객체 유형 판단부(53)의 판단 결과를 기준으로 유형별 객체 카운트를 하는 유형별 객체 카운트부(56)와, 플렉서블 압력 센서 매트(100)로부터 수신된 센싱 데이터 및 센싱 데이터로부터 추출된 결과 데이터를 학습 및 분석을 위하여 딥러닝 기반 학습 데이터 생성 서버(300) 및 데이터 수집 및 분석 서버(400)로 전송하는 학습 및 분석 자료 추출 전송부(57)와, 플렉서블 압력 센서 매트(100)로부터 온도,습도 등의 외부 환경을 감지하는 센서의 센싱 신호 및 충격이나 수평을 감지하는 센서의 센싱 신호를 수신하는 환경 정보 수집부(58)와, 유형별 객체 카운트부(56)의 카운트 결과를 표시하는 유형별 객체 카운트 정보 표시부(59)를 포함한다.The edge computing-based monitoring unit 200 includes a sensor mat sensing data receiving unit 51 for receiving data sensed from the flexible pressure sensor mat 100, and detecting a change in the detection point of an entry/exit object from the received sensing data over time. A detection point change detection unit 52, a movement direction determination unit 53 that determines the movement direction of the object based on the determination criterion learning data by deep learning, and the type of object based on the determination criterion learning data by deep learning An object type determination unit 53 that determines , a movement direction determination unit 53 and an object count unit 56 that counts objects by type based on the determination results of the object type determination unit 53, and a flexible pressure sensor The sensing data received from the mat 100 and the result data extracted from the sensing data are transmitted to the deep learning-based learning data generation server 300 and the data collection and analysis server 400 for learning and analysis, learning and analysis data extraction An environmental information collection unit 58 for receiving a sensing signal of a sensor sensing an external environment such as temperature and humidity and a sensing signal of a sensor sensing an impact or level from the transmission unit 57 and the flexible pressure sensor mat 100 and an object count information display unit 59 for each type that displays the count result of the object count unit 56 for each type.

여기서, 이동 방향 판단부(53) 및 객체 유형 판단부(53)의 판단 기준 업데이트를 위하여, 딥러닝 기반 학습 데이터 생성 서버(300)로부터 판단 기준 학습 정보를 수신하여 업데이트하는 판단 기준 학습 정보 업데이트부(55)를 더 포함한다.Here, in order to update the determination criteria of the movement direction determination unit 53 and the object type determination unit 53, the determination criterion learning information update unit that receives and updates the determination reference learning information from the deep learning-based learning data generation server 300 (55) is further included.

엣지 컴퓨팅 기반 모니터링부(200)는 딥러닝 기술을 이용한 유형별 객체 판별 및 계수를 하는 것이다.The edge computing-based monitoring unit 200 is to identify and count objects by type using deep learning technology.

각 객체 구별 및 계수 실시하는 과정에서 객체 판별 및 계수는 딥러닝 기반 학습 데이터 생성 서버(300)로부터 받은 데이터 셋을 기반으로 판단하고, 딥러닝 기술을 신속 정확하게 수행 할 수 있도록 뉴럴 네트워크가 구현된 NPU(Neural Processing Unit)를 탑재하여 이 NPU를 이용해 계수를 수행한다.In the process of classifying and counting each object, object discrimination and counting are determined based on the data set received from the deep learning-based learning data generation server 300, and a neural network implemented NPU to quickly and accurately perform deep learning technology (Neural Processing Unit) is mounted and counting is performed using this NPU.

엣지 컴퓨팅 기반 모니터링부(200)는 해당 장비의 유지보수를 위한 고성능 AP(Application processor) 기반 장비로 구성되고, 서비스 서버에서의 원격 조정, 프로그램의 업데이트를 지원한다.The edge computing-based monitoring unit 200 is configured as a high-performance application processor (AP)-based equipment for maintenance of the corresponding equipment, and supports remote control in the service server and program update.

매트에서 전송되는 데이터를 실시간으로 데이터 수집 및 분석 서버(400)로 전송하고, NPU에서 계수할 때 사용되는 데이터셋을 서버와 동기화한다.The data transmitted from the mat is transmitted to the data collection and analysis server 400 in real time, and the data set used for counting in the NPU is synchronized with the server.

본 발명에 따른 인공지능 기반 엣지 컴퓨팅을 활용한 유형별 객체 계수를 위한 방법을 구체적으로 설명하면 다음과 같다.A method for counting objects by type using artificial intelligence-based edge computing according to the present invention will be described in detail as follows.

도 7은 본 발명에 따른 인공지능 기반 엣지 컴퓨팅을 활용한 유형별 객체 계수를 위한 방법을 나타낸 플로우 차트이다.7 is a flowchart illustrating a method for counting objects by type using artificial intelligence-based edge computing according to the present invention.

먼저, 플렉서블 압력 센서 매트(100)에서 센싱된 데이터를 엣지 컴퓨팅 기반 모니터링부(200)에서 수신한다.(S601)First, data sensed by the flexible pressure sensor mat 100 is received by the edge computing-based monitoring unit 200 (S601).

이어, 시간에 따른 감지 포인트 변화를 검출하고, 딥러닝에 의한 판단 기준 학습 데이터를 기반으로 객체의 이동 방향 및 유형 판단을 한다.(S602)Next, the detection point change over time is detected, and the movement direction and type of the object are determined based on the learning data based on the determination criterion by deep learning (S602).

그리고 유형별 객체 카운트 정보를 표시하고, 학습 및 분석 자료를 추출하여 딥러닝 기반 학습 데이터 생성 서버와 데이터 수집 및 분석 서버로 전송한다.(S603)Then, the object count information for each type is displayed, and the learning and analysis data are extracted and transmitted to the deep learning-based learning data generation server and the data collection and analysis server (S603).

이어, 판단 기준 학습 정보의 업데이트가 필요한지 판단한다.(S604)Next, it is determined whether the judgment criterion learning information needs to be updated. (S604)

그리고 판단 기준 학습 정보의 업데이트가 필요한 것으로 판단되면, 딥러닝 기반 학습 데이터 생성 서버로부터 판단 기준 학습 정보를 수신하여 업데이트한다.(S605)And if it is determined that the update of the judgment criterion learning information is necessary, it receives and updates the judgment criterion learning information from the deep learning-based learning data generation server. (S605)

이어, 환경 정보 및 이상 상태 정보가 수신되었는지 판단하여(S606), 수신된 환경 정보 및 이상 상태 정보를 데이터 수집 및 분석 서버(400)로 전송한다.(S607)Next, it is determined whether the environmental information and the abnormal state information have been received (S606), and the received environmental information and the abnormal state information are transmitted to the data collection and analysis server 400 (S607).

이와 같은 본 발명에 따른 인공지능 기반 엣지 컴퓨팅을 활용한 유형별 객체 계수를 위한 장치 및 방법은 대형상점, 국립공원, 놀이공원 등과 같이 실내외를 막론하고 출입 인원이 빈번한 곳에 센서 발판을 설치하여 실시간 계수와 분석 서버에 의한 출입자 및 이동체의 이동 경로 분석과 센서 계수기의 네트워크화로 조사 경비 절감은 물론 데이터에 대한 신뢰도 향상을 기대할 수 있도록 한다.The apparatus and method for counting objects by type using artificial intelligence-based edge computing according to the present invention as described above are real-time counting and By analyzing the movement path of entrants and moving objects by the analysis server and networking the sensor counter, it is possible to not only reduce the research cost but also to improve the reliability of the data.

본 발명에 따른 고해상도 플렉서블(Flexible) 압력센서 매트는 센싱(Sensing)과 인터넷 통신 기능을 통해 환경감지, 이상 징후 등 수집된 데이터를 서버에 전달하고, 전달된 데이터는 해당 시스템의 부가가치를 높이고 새로운 서비스에는 수익과 경쟁력을 제공할 수 있도록 한다.The high-resolution flexible pressure sensor mat according to the present invention transmits collected data such as environmental detection and abnormal symptoms to the server through sensing and Internet communication functions, and the transmitted data increases the added value of the system and provides a new service to provide revenue and competitiveness.

압력센서 매트에서 보내 준 데이터 자체(2차원 벡터 데이터)와, 수집 데이터 기반 객체 유형 판별이 가능한 객체 계수 결과 데이터를 데이터 수집 서버에 전송, 컨트롤러에서 보낸 두 데이터는 DB에 저장되고, 수집된 데이터는 데이터 로깅 과정을 거쳐 하나의 틀로 융합되고, 융합된 데이터는 분류, 예측, 군집화, 연관성 등의 분석 과정을 거쳐 사용자에게 의미 있는 정보와 서비스를 제공할 수 있게 된다.The data itself (two-dimensional vector data) sent from the pressure sensor mat and the object count result data that can determine the object type based on the collected data are sent to the data collection server. The two data sent from the controller are stored in the DB, and the collected data is After the data logging process, they are fused into a single frame, and the fused data goes through analysis processes such as classification, prediction, clustering, and correlation to provide meaningful information and services to users.

고해상도 플렉서블(Flexible) 압력센서 매트를 통해 얻을 수 있는 유의미한 정보(데이터)의 일 예는 다음과 같다.An example of meaningful information (data) that can be obtained through a high-resolution flexible pressure sensor mat is as follows.

일,주,월 및 연도별 출입 인원수 확인 및 보행자의 입장 시간, 퇴장시간 확인 (시간대별 고객 출입량 분석) 및 보행자의 진행 방향 (이동 경로) 확인 및 계절, 기상 기후 및 생활 기상지수, 연휴 등 내외부적 환경적 요소에 따른 출입 인원 통계 확인 및, 객체 유형(보행자, 반려동물, 이동체) 예측 및 이상 징후 감지 등의 서비스를 제공할 수 있다.Check the number of people entering by day, week, month and year, check the entry and exit time of pedestrians (analysis of customer access by time), and check the direction (moving route) of pedestrians, season, weather, climate and living weather index, holidays, etc. It can provide services such as checking the number of people entering and leaving according to internal and external environmental factors, predicting object types (pedestrians, companion animals, moving objects), and detecting abnormal signs.

본 발명에 따른 이동 객체 유형 판별 기술은 단순 유동인구파악, 출입 인원 카운팅에서 나아가 다양한 데이터를 통한 유의미한 정보 제공이 가능하다.The moving object type determination technology according to the present invention is capable of providing meaningful information through various data beyond simple floating population identification and entry/exit person counting.

일 예로, 빅데이터 관리 분석을 통한 새로운 비즈니스 모델(Data Marketplace 서비스) 창출이 가능하도록 한다.As an example, it enables creation of a new business model (Data Marketplace service) through big data management analysis.

수집된 데이터는 지역 내 국립공원, 박물관, 관광지 및 이벤트성 행사장, 그 외 소매점 등 운영의 주요 의사 결정에 기초자료로 활용할 수 있고, 운영 성과지표 분석은 물론 마케팅 전략수립에 바탕이 되는 중요 데이터로써, 인사이트 도출이 가능하다.The collected data can be used as basic data for major decision-making in operations such as national parks, museums, tourist destinations, event venues, and other retail stores in the region. , insights can be derived.

이상에서 설명한 본 발명에 따른 인공지능 기반 엣지 컴퓨팅을 활용한 유형별 객체 계수를 위한 장치 및 방법은 다수의 사람이 동시에 출입하여도 방향성 및 계수 측정이 가능하고 출입 객체의 유형 판별이 가능하도록 한 것이다,The apparatus and method for counting objects by type using artificial intelligence-based edge computing according to the present invention described above enables directionality and coefficient measurement even when a large number of people enter and exit at the same time, and makes it possible to determine the type of entry and exit object,

본 발명은 고해상도 플렉서블(Flexible) 압력센서 매트와 딥러닝 기반 입출입 패턴 분석 시스템(SW)의 융합 적용으로 출입 객체의 유형 판별 정확도를 높일 수 있도록 한 것이다.The present invention is to increase the accuracy of type identification of an entry/exit object by applying a fusion of a high-resolution flexible pressure sensor mat and a deep learning-based entry/exit pattern analysis system (SW).

이상에서의 설명에서와 같이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 본 발명이 구현되어 있음을 이해할 수 있을 것이다.As described above, it will be understood that the present invention is implemented in a modified form without departing from the essential characteristics of the present invention.

그러므로 명시된 실시 예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 하고, 본 발명의 범위는 전술한 설명이 아니라 특허청구 범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.Therefore, the specified embodiments should be considered in an illustrative rather than a restrictive sense, the scope of the present invention is indicated in the claims rather than the foregoing description, and all differences within the equivalent scope are included in the present invention. will have to be interpreted.

100. 플렉서블 압력 센서 매트
200. 엣지 컴퓨팅 기반 모니터링부
300. 딥러닝 기반 학습 데이터 생성 서버
400. 데이터 수집 및 분석 서버100. Flexible Pressure Sensor Mat
200. Edge computing-based monitoring unit
300. Deep learning-based training data generation server
400. Data Collection and Analysis Server

Claims

a flexible pressure sensor mat having a line-type pressure sensor array, and outputting a sensing signal to measure directionality and coefficient, and to determine the type of entry/exit object even when multiple people enter and exit at the same time;
an edge computing-based monitoring unit that receives sensing data from the flexible pressure sensor mat, detects a change in a detection point and determines a moving direction to determine an object type, and counts objects by type;
a deep learning-based learning data generating server that receives learning data extracted from an edge computing-based monitoring unit through a deep learning-based module and algorithm and performs learning for each type of object count using artificial intelligence-based edge computing;
A data collection and analysis server that receives the analysis data extracted from the edge computing-based monitoring unit and supports the provision and utilization of results by big data analysis; device for.

According to claim 1, wherein the edge computing-based monitoring unit,
It is characterized in that both the two-dimensional vector data transmitted by the flexible pressure sensor mat and the object count result data that can determine the object type are transmitted to the data collection and analysis server and stored in the DB so that they can be used for big data analysis. A device for counting objects by type using artificial intelligence-based edge computing.

The method of claim 1, wherein the edge computing-based monitoring unit detects a change in the detection point and determines the moving direction to determine the object type,
Based on the sensing signal that the first foot stepped on, the landing order and departure order for each potion within one foot are judged to determine the direction of entry and exit,
A device for counting objects by type using artificial intelligence-based edge computing, characterized in that a person and a companion animal are distinguished by comparing the average stride length of a person and the stride length of a companion animal, or by comparing the bipedal and quadrupedal characteristics. .

According to claim 1, wherein the flexible pressure sensor mat,
Further comprising a sensor for sensing an external environment including temperature and humidity,
A device for counting objects by type using artificial intelligence-based edge computing, characterized in that it is equipped with a sensor that detects shock or level to warn the occurrence of an abnormal condition.

The method of claim 1, wherein the edge computing-based monitoring unit,
A sensor mat sensing data receiver for receiving data sensed by the flexible pressure sensor mat;
A detection point change detection unit for detecting a detection point change according to time of an entry/exit object from the received sensing data;
A movement direction determination unit that determines the movement direction of the object based on the learning data based on the determination criterion by deep learning;
An object type determination unit that determines the type of an object based on the determination criterion learning data by deep learning;
An object counting unit for each type that counts objects by type based on the determination result of the movement direction determination unit and the object type determination unit;
An apparatus for counting objects by type using artificial intelligence-based edge computing, characterized in that it comprises an object count information display unit for each type for displaying the count result of the object count unit for each type.

The method of claim 5, wherein the sensing data received from the flexible pressure sensor mat and the result data extracted from the sensing data,
A device for counting objects by type using artificial intelligence-based edge computing, characterized in that it further comprises a learning and analysis data extraction transmission unit that transmits to a deep learning-based learning data generation server and data collection and analysis server for learning and analysis.

According to claim 5, The flexible pressure sensor mat, characterized in that it further comprises an environmental information collecting unit for receiving the sensing signal of the sensor for detecting the external environment of temperature and humidity and the sensing signal of the sensor for detecting the impact or level artificial A device for counting objects by type using intelligence-based edge computing.

The method of claim 5, wherein for updating the determination criteria of the movement direction determination unit and the object type determination unit,
A device for counting objects by type using artificial intelligence-based edge computing, characterized in that it further comprises a judgment criterion learning information update unit that receives and updates the judgment criterion learning information from the deep learning-based learning data generation server.

Receiving data sensed by the flexible pressure sensor mat from an edge computing-based monitoring unit;
Detecting a change in the detection point over time, and determining the movement direction and type of the object based on the judgment reference learning data by deep learning;
Displaying object count information for each type, extracting learning and analysis data, and transmitting it to a deep learning-based learning data generation server and a data collection and analysis server;
When it is determined that the update of the judgment criterion learning information is necessary, receiving and updating the judgment criterion learning information from the deep learning-based learning data generation server;
When environmental information and abnormal state information are received from the flexible pressure sensor mat, transmitting the received environmental information and abnormal state information to a data collection and analysis server; by type using artificial intelligence-based edge computing, comprising: A method for counting objects.

The method of claim 9, wherein in the step of determining the movement direction and type of the object,
Based on the sensing signal that the first foot stepped on, the landing order and departure order for each potion within one foot are judged to determine the direction of entry and exit,
A method for counting objects by type using artificial intelligence-based edge computing, characterized in that humans and companion animals are distinguished by comparing the average stride length of a human and the stride length of a companion animal or by comparing the bipedal and quadrupedal characteristics .