KR102511626B1

KR102511626B1 - 인공지능 기반 엣지 컴퓨팅을 활용한 유형별 객체 계수를 위한 장치 및 방법

Info

Publication number: KR102511626B1
Application number: KR1020200162716A
Authority: KR
Inventors: 김민영; 장시웅; 조진환; 김지성; 이현섭; 장종욱; 최동규
Original assignee: 동의대학교 산학협력단
Priority date: 2020-11-27
Filing date: 2020-11-27
Publication date: 2023-03-21
Also published as: KR20220074335A

Abstract

본 발명은 다수의 사람이 동시에 출입하여도 방향성 및 계수 측정이 가능하고 출입 객체의 유형 판별이 가능하도록 한 인공지능 기반 엣지 컴퓨팅을 활용한 유형별 객체 계수를 위한 장치 및 방법에 관한 것으로, 라인 형태의 압력 센서 어레이를 갖고, 다수의 사람이 동시에 출입하여도 방향성 및 계수 측정, 출입 객체의 유형 판별이 가능하도록 센싱 신호를 출력하는 플렉서블 압력 센서 매트;상기 플렉서블 압력 센서 매트로부터 센싱 데이터를 수신하여, 감지 포인트 변화 검출 및 이동 방향 판단을 하여 객체 유형 판단을 하고, 유형별 객체 카운트를 하는 엣지 컴퓨팅 기반 모니터링부;딥러닝 기반 모듈 및 알고리즘을 통해 엣지 컴퓨팅 기반 모니터링부로부터 추출된 학습 자료를 수신하여 인공지능 기반 엣지 컴퓨팅을 활용한 유형별 객체 계수를 위한 학습을 수행하는 딥러닝 기반 학습 데이터 생성 서버;엣지 컴퓨팅 기반 모니터링부로부터 추출된 분석 데이터를 수신하여 빅데이터 분석에 의한 결과 제공 및 활용을 지원하는 데이터 수집 및 분석 서버;를 포함하는 것이다.

Description

인공지능 기반 엣지 컴퓨팅을 활용한 유형별 객체 계수를 위한 장치 및 방법{Apparatus and Method for Object Counting by Type Using Artificial Intelligence-Based Edge Computing}

본 발명은 객체 계수에 관한 것으로, 구체적으로 다수의 사람이 동시에 출입하여도 방향성 및 계수 측정이 가능하고 출입 객체의 유형 판별이 가능하도록 한 인공지능 기반 엣지 컴퓨팅을 활용한 유형별 객체 계수를 위한 장치 및 방법에 관한 것이다.

일반적으로 지능형 영상 감시 시스템들은 먼저 영상으로부터 식별한 전경 영역들을 미리 제공된 보행자 형태 모델에 기초하여 분할하여 개별 보행자들을 추출하고 계수하는 방식이다.

이러한 방식은 특정한 장소를 특정한 시야(viewpoint)에서 바라보았을 때에 얻어지는 보행자 형태 모델에 의존하므로, 카메라의 방향과 화각, 초점거리 등이 매우 제한적이다. 또한 흔히 일어나는 혼잡한 상황에서 보행자가 다른 보행자에 가리는 "폐색(occlusion)"이 일어나면 가려진 개별 보행자의 식별이 실패할 가능성이 매우 크다.

이러한 종래 기술의 시스템들은 전경 영역의 추출과 모델 분석, 유사도 판정, 추적 등의 세부 알고리즘을 거치면서 대단히 많은 연산 자원을 필요로 함에도 불구하고 정확도는 충분하지 않다.

한편, 특정(지정) 공간에서 주기적으로 인원 계수를 필요로 하는 국립공원, 박물관, 관광지 등은 '무인 인원 계수시스템'을 통해 지속적으로 출입 인원을 측정하고 있으나, 짧으면 당일, 길어도 일주일을 넘기지 않는 이벤트성 행사(공연, 박람회, 플리마켓(벼룩시장) 등)의 경우 현장에서 수동 계수기를 통해 사람이 일일이 출입 인원을 카운팅하고 있다.

도 1은 일반적인 수동 계수기의 일 예를 나타낸 구성도이다.

이벤트성 행사 대부분이 대규모로 진행되며, 그중에서도 입장권 발급이 없이 이뤄지는 축제, 박람회, 플리마켓 등의 경우 입장 인원 규모에 따라 입장객 질서유지, 안전 지도관리, 시설물 안전 상태 점검을 위한 안전관리 요원이 배치되므로 예상인원 규모와 실제 입장 인원 규모의 집계는 매우 중요한 지표로 이용된다.

이와 같은 출입 인원 계수시스템의 필요성에 의해 인원 계수를 위한 인원체크원을 모집해 수동 계수기를 통해 출입 인원을 카운팅하고 있으나, 여러 출입구에서 동시다발적으로 입장하는 입장객을 정확하게 카운팅해 최종 입장객 수를 확인하기에는 너무나도 비효율적이다.

사람이 일일이 수동으로 카운팅하는 방식이 아닌, 무인 인원 계수시스템을 사용하고 싶어도, 현재 상용화되어 있는 무인 인원 계수시스템의 경우 설치 환경 및 설치 비용 등의 문제로 이벤트성 행사에서의 사용성은 매우 떨어지는 문제가 있다.

특정 공간에서의 무인 인원 계수 추정 및 밀도 감지는 다양한 센서를 통해 수행될 수 있다.

대표적으로 표 1에서와 같이, 레이더형,이미지 분석형,게이트형,적외선 차단형,인체열 감지형이 있다.

레이더형은 시야가 방해받는 환경에서도 제약 없이 사용할 수 있어 최근 활발하게 연구되고 있지만, 객체의 종류가 어떤 것인지를 판별할 수 없고 안테나(신호 송수신부)의 성능에 따라 측정 거리(최소 1m)가 길어지면 길어질수록 비용이 수직으로 상승하는 단점이 있다.

레이더형의 단점을 보완하고, 객체의 종류를 판별하기 위해 카메라를 활용한 이미지 분석형 감지 시스템 역시 활용되고 있으나 날씨나 시간(낮·밤), 다수의 피사체가 임의로 움직이는 경우 등 주위환경에 의해 성능이 좌우되며, 사생활 침해의 문제로 인해 사용자들에게 불쾌감을 주는 문제가 있다.

게이트 형 역시 회전 차단기설치를 통한 정확한 출입통제가 가능하지만, 공간의 제약이 크고 통행에 방해가 되는 등 최근에는 사람들의 이동 동선을 고려해 해당 방식의 시스템을 선호하지 않는 추세이다.

그 외 초음파 센서, 레이더 센서, 키넥트 센서의 경우 인원 계수를 위해서는 센서의 설치가 가능한 기둥이나 벽 등의 물체가 반드시 있어야 하며, 이와 비교해 설치는 간단하나 인원 계수보다 인원 빈도수 측정에 적합한 인체열 감지형이 있다.

이러한 무인 인원 계수 추정 및 밀도 감지를 위한 장치들의 문제를 해결하기 위한 계수 매트가 제안되고 있으나, 종래 기술의 계수 매트의 경우에는 보행자의 걸음 습관 또는, 센서 발판 위에서 여러 방향으로 움직이거나 센서가 위치하지 않는 센서 발판 위에서 여러 방향으로 움직이거나 센서가 위치하지 않는 부분을 밟고 지나갔을 시 실제 걷는 방향과 센서가 감지하는 방향이 일치하지 않는 문제가 있다.

도 2는 종래 기술의 계수 매트의 문제를 나타낸 구성도이다.

특히, 보행자 이외의 다른 이동 객체의 판별(휠체어 등 이동체, 반려동물 등)이 불가능하여 인원 계수 시 오차가 발생할 확률이 높다는 문제가 있다.

따라서, 종래 기술의 무인 인원 계수 추정 및 밀도 감지를 위한 장치들의 문제를 해결하고, 카운팅 오류 발생을 최소화할 수 있도록 하는 새로운 출입자 계수 시스템의 개발이 요구되고 있다.

대한민국 등록특허 제10-1467360호 대한민국 공개특허 제10-2017-0107161호 대한민국 공개특허 제10-2010-0115595호

본 발명은 종래 기술의 계수 장치의 문제점을 해결하기 위한 것으로, 다수의 사람이 동시에 출입하여도 방향성 및 계수 측정이 가능하고 출입 객체의 유형 판별이 가능하도록 한 인공지능 기반 엣지 컴퓨팅을 활용한 유형별 객체 계수를 위한 장치 및 방법을 제공하는데 그 목적이 있다.

본 발명은 고해상도 플렉서블(Flexible) 압력센서 매트와 딥러닝 기반 입출입 패턴 분석 시스템(SW)의 융합 적용으로 출입 객체의 유형 판별 정확도를 높일 수 있도록 한 인공지능 기반 엣지 컴퓨팅을 활용한 유형별 객체 계수를 위한 장치 및 방법을 제공하는데 그 목적이 있다.

본 발명은 입출구 바닥 전면에 플렉서블 압력센서 발판을 설치하여 이를 통해 감지한 데이터를 센서 보드에 연결하여 데이터를 전송하고, 센서 발판에서 수집된 데이터의 정보는 딥러닝 기반 모듈 및 알고리즘을 통해 처리되어 객체의 유형 (보행자, 이동체, 반려동물), 방향성, 카운터(계수) 정보를 모니터링 시스템에 제공할 수 있도록 한 인공지능 기반 엣지 컴퓨팅을 활용한 유형별 객체 계수를 위한 장치 및 방법을 제공하는데 그 목적이 있다.

본 발명은 고해상도 플렉서블(Flexible) 압력센서 매트는 센싱(Sensing)과 인터넷 통신 기능을 통해 환경감지, 이상 징후 등의 데이터를 데이터 수집 및 분석 서버에 전달하여 빅데이터 분석에 의한 부가가치 창출이 가능하도록 한 인공지능 기반 엣지 컴퓨팅을 활용한 유형별 객체 계수를 위한 장치 및 방법을 제공하는데 그 목적이 있다.

본 발명의 다른 목적들은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.

상기와 같은 목적을 달성하기 위한 본 발명에 따른 인공지능 기반 엣지 컴퓨팅을 활용한 유형별 객체 계수를 위한 장치는 라인 형태의 압력 센서 어레이를 갖고, 다수의 사람이 동시에 출입하여도 방향성 및 계수 측정, 출입 객체의 유형 판별이 가능하도록 센싱 신호를 출력하는 플렉서블 압력 센서 매트;상기 플렉서블 압력 센서 매트로부터 센싱 데이터를 수신하여, 감지 포인트 변화 검출 및 이동 방향 판단을 하여 객체 유형 판단을 하고, 유형별 객체 카운트를 하는 엣지 컴퓨팅 기반 모니터링부;딥러닝 기반 모듈 및 알고리즘을 통해 엣지 컴퓨팅 기반 모니터링부로부터 추출된 학습 자료를 수신하여 인공지능 기반 엣지 컴퓨팅을 활용한 유형별 객체 계수를 위한 학습을 수행하는 딥러닝 기반 학습 데이터 생성 서버;엣지 컴퓨팅 기반 모니터링부로부터 추출된 분석 데이터를 수신하여 빅데이터 분석에 의한 결과 제공 및 활용을 지원하는 데이터 수집 및 분석 서버;를 포함하는 것을 특징으로 한다.

여기서, 상기 엣지 컴퓨팅 기반 모니터링부는, 플렉서블 압력 센서 매트가 전송한 2차원 벡터 데이터와, 객체 유형 판별이 가능한 객체 계수 결과 데이터 모두를 데이터 수집 및 분석 서버로 전송하여 DB에 저장되도록 하여 빅데이터 분석에 이용될 수 있도록 하는 것을 특징으로 한다.

그리고 엣지 컴퓨팅 기반 모니터링부는 감지 포인트 변화 검출 및 이동 방향 판단을 하여 객체 유형 판단을 하기 위하여, 최초 한 발이 밟은 센싱 신호를 기준으로 한 발 내에서의 포션별 착지 순서 및 이탈 순서를 판단하여 출입자의 진행 방향을 판단하고, 사람의 평균 보폭과 반려 동물의 보폭을 비교하거나, 2족 보행 특성 및 4족 보행 특성을 비교하여 사람과 반려 동물을 구분하는 것을 특징으로 한다.

그리고 플렉서블 압력 센서 매트는, 온도,습도를 포함하는 외부 환경을 감지하는 센서를 더 구비하고, 충격이나 수평을 감지하는 센서를 구비하여 이상 상태 발생을 경고할 수 있도록 하는 것을 특징으로 한다.

그리고 엣지 컴퓨팅 기반 모니터링부는, 플렉서블 압력 센서 매트에서 센싱된 데이터를 수신하는 센서 매트 센싱 데이터 수신부와,수신된 센싱 데이터로부터 출입 객체의 시간에 따른 감지 포인트 변화를 검출하는 감지 포인트 변화 검출부와,딥러닝에 의한 판단 기준 학습 데이터를 기반으로 객체의 이동 방향을 판단하는 이동 방향 판단부와,딥러닝에 의한 판단 기준 학습 데이터를 기반으로 객체의 유형을 판단하는 객체 유형 판단부와,이동 방향 판단부 및 객체 유형 판단부의 판단 결과를 기준으로 유형별 객체 카운트를 하는 유형별 객체 카운트부와,유형별 객체 카운트부의 카운트 결과를 표시하는 유형별 객체 카운트 정보 표시부를 포함하는 것을 특징으로 한다.

그리고 플렉서블 압력 센서 매트로부터 수신된 센싱 데이터 및 센싱 데이터로부터 추출된 결과 데이터를, 학습 및 분석을 위하여 딥러닝 기반 학습 데이터 생성 서버 및 데이터 수집 및 분석 서버로 전송하는 학습 및 분석 자료 추출 전송부를 더 포함하는 것을 특징으로 한다.

그리고 플렉서블 압력 센서 매트로부터 온도,습도의 외부 환경을 감지하는 센서의 센싱 신호 및 충격이나 수평을 감지하는 센서의 센싱 신호를 수신하는 환경 정보 수집부를 더 포함하는 것을 특징으로 한다.

그리고 이동 방향 판단부 및 객체 유형 판단부의 판단 기준 업데이트를 위하여, 딥러닝 기반 학습 데이터 생성 서버로부터 판단 기준 학습 정보를 수신하여 업데이트하는 판단 기준 학습 정보 업데이트부를 더 포함하는 것을 특징으로 한다.

다른 목적을 달성하기 위한 본 발명에 따른 인공지능 기반 엣지 컴퓨팅을 활용한 유형별 객체 계수를 위한 방법은 플렉서블 압력 센서 매트에서 센싱된 데이터를 엣지 컴퓨팅 기반 모니터링부에서 수신하는 단계;시간에 따른 감지 포인트 변화를 검출하고, 딥러닝에 의한 판단 기준 학습 데이터를 기반으로 객체의 이동 방향 및 유형 판단을 하는 단계;유형별 객체 카운트 정보를 표시하고, 학습 및 분석 자료를 추출하여 딥러닝 기반 학습 데이터 생성 서버와 데이터 수집 및 분석 서버로 전송하는 단계;판단 기준 학습 정보의 업데이트가 필요한 것으로 판단되면, 딥러닝 기반 학습 데이터 생성 서버로부터 판단 기준 학습 정보를 수신하여 업데이트하는 단계;플렉서블 압력 센서 매트로부터 환경 정보 및 이상 상태 정보가 수신되면, 수신된 환경 정보 및 이상 상태 정보를 데이터 수집 및 분석 서버로 전송하는 단계;를 포함하는 것을 특징으로 한다.

여기서, 객체의 이동 방향 및 유형 판단을 하는 단계에서, 최초 한 발이 밟은 센싱 신호를 기준으로 한 발 내에서의 포션별 착지 순서 및 이탈 순서를 판단하여 출입자의 진행 방향을 판단하고, 사람의 평균 보폭과 반려 동물의 보폭을 비교하거나, 2족 보행 특성 및 4족 보행 특성을 비교하여 사람과 반려 동물을 구분하는 것을 특징으로 한다.

이상에서 설명한 바와 같은 본 발명에 따른 인공지능 기반 엣지 컴퓨팅을 활용한 유형별 객체 계수를 위한 장치 및 방법은 다음과 같은 효과가 있다.

첫째, 다수의 사람이 동시에 출입하여도 방향성 및 계수 측정이 가능하고 출입 객체의 유형 판별이 가능하도록 한다.

둘째, 고해상도 플렉서블(Flexible) 압력센서 매트와 딥러닝 기반 입출입 패턴 분석 시스템(SW)의 융합 적용으로 출입 객체의 유형 판별 정확도를 높일 수 있도록 한다.

셋째, 입출구 바닥 전면에 플렉서블 압력센서 발판을 설치하여 이를 통해 감지한 데이터를 센서 보드에 연결하여 데이터를 전송하고, 센서 발판에서 수집된 데이터의 정보는 딥러닝 기반 모듈 및 알고리즘을 통해 처리되어 객체의 유형 (보행자, 이동체, 반려동물), 방향성, 카운터(계수) 정보를 모니터링 시스템에 제공할 수 있도록 한다.

넷째, 고해상도 플렉서블(Flexible) 압력센서 매트는 센싱(Sensing)과 인터넷 통신 기능을 통해 환경감지, 이상 징후 등의 데이터를 데이터 수집 및 분석 서버에 전달하여 빅데이터 분석에 의한 부가가치 창출이 가능하도록 한다.

도 1은 일반적인 수동 계수기의 일 예를 나타낸 구성도
도 2는 종래 기술의 계수 매트의 문제를 나타낸 구성도
도 3은 본 발명에 따른 유형별 객체 계수 매트의 일 예를 나타낸 구성도
도 4는 본 발명에 따른 인공지능 기반 엣지 컴퓨팅을 활용한 유형별 객체 계수를 위한 장치의 구성도
도 5a와 도 5b는 플렉서블 압력 센서 매트의 상세 구성도
도 6a와 도 6b는 엣지 컴퓨팅 기반 모니터링부의 상세 구성도
도 7은 본 발명에 따른 인공지능 기반 엣지 컴퓨팅을 활용한 유형별 객체 계수를 위한 방법을 나타낸 플로우 차트

이하, 본 발명에 따른 인공지능 기반 엣지 컴퓨팅을 활용한 유형별 객체 계수를 위한 장치 및 방법의 바람직한 실시 예에 관하여 상세히 설명하면 다음과 같다.

본 발명에 따른 인공지능 기반 엣지 컴퓨팅을 활용한 유형별 객체 계수를 위한 장치 및 방법의 특징 및 이점들은 이하에서의 각 실시 예에 대한 상세한 설명을 통해 명백해질 것이다.

도 3은 본 발명에 따른 유형별 객체 계수 매트의 일 예를 나타낸 구성도이다.

본 발명에 따른 인공지능 기반 엣지 컴퓨팅을 활용한 유형별 객체 계수를 위한 장치 및 방법은 다수의 사람이 동시에 출입하여도 방향성 및 계수 측정이 가능하고 출입 객체의 유형 판별이 가능하도록 한 것이다.

이를 위하여 본 발명은 고해상도 플렉서블(Flexible) 압력센서 매트와 딥러닝 기반 입출입 패턴 분석 시스템(SW)의 융합 적용으로 출입 객체의 유형 판별 정확도를 높이기 위한 구성을 포함할 수 있다.

본 발명은 입출구 바닥 전면에 플렉서블 압력센서 발판을 설치하여 이를 통해 감지한 데이터를 센서 보드에 연결하여 데이터를 전송하고, 센서 발판에서 수집된 데이터의 정보는 딥러닝 기반 모듈 및 알고리즘을 통해 처리되어 객체의 유형 (보행자, 이동체, 반려동물), 방향성, 카운터(계수) 정보를 모니터링 시스템에 제공하는 구성을 포함할 수 있다.

본 발명은 고해상도 플렉서블(Flexible) 압력센서 매트는 센싱(Sensing)과 인터넷 통신 기능을 통해 환경감지, 이상 징후 등의 데이터를 데이터 수집 및 분석 서버에 전달하여 빅데이터 분석에 의한 부가가치 창출이 가능한 활용에 관한 구성을 포함할 수 있다.

현재까지 국내 관련 계수시스템은 환경적·비용적 측면에서 여러 가지 한계를 드러내고 있어 보다 활용도 높은 객체 계수시스템을 제공하기 위하여, 본 발명은 이동 객체의 유형 예측, 방향성, 정확도 높은 계수 데이터 제공이 가능하도록 한다.

본 발명은 유모차, 휠체어 및 전동킥보드, 자전거, 인라인스케이트 등 이동체 판별 및, 동물(고양이, 강아지, 야생 동물 등) 판별 및, 다수 인원의 동시 출입에도 정확한 계수 데이터 제공, 보행자의 진행 방향 파악(들어가고 나오는 출입 인원의 정확한 분류)이 가능하도록 한다.

본 발명에 따른 유형별 객체 계수 매트는 도 3에서와 같이, 복수의 압력 센서가 라인 형태로 배열되는 구조의 매트를 포함하는 것으로, 센서 어레이로부터의 센싱 신호를 입력받아 출입자가 상기 매트를 밟고 출입하는 것을 감지한 결과 정보를 생성하여 외부로 전송하는 제어모듈을 포함한다.

외부로 전송되는 결과 정보는 최초 한 발이 밟은 센싱 신호를 기준으로 한 발 내에서의 포션별 착지 순서 및 이탈 순서를 판단하여 출입자의 진행 방향을 판단하도록 할 수 있다.

또한, 사람의 평균 보폭과 반려 동물의 보폭을 비교하거나, 2족 보행 특성 및 4족 보행 특성을 비교하여 사람과 반려 동물을 구분할 수 있고, 연속적인 센싱 신호를 자전거와 같은 객체로 판단할 수도 있다.

그리고 매트에는 온도,습도 등의 외부 환경을 감지하는 센서를 더 구비할 수도 있고, 충격이나 수평을 감지하는 센서를 구비하여 이상 상태 발생을 경고하는데 사용할 수도 있다.

도 4는 본 발명에 따른 인공지능 기반 엣지 컴퓨팅을 활용한 유형별 객체 계수를 위한 장치의 구성도이다.

본 발명에 따른 인공지능 기반 엣지 컴퓨팅을 활용한 유형별 객체 계수를 위한 장치는 도 4에서와 같이, 라인 형태의 압력 센서 어레이를 갖고, 다수의 사람이 동시에 출입하여도 방향성 및 계수 측정, 출입 객체의 유형 판별이 가능하도록 센싱 신호를 출력하는 플렉서블 압력 센서 매트(100)와, 플렉서블 압력 센서 매트(100)로부터 센싱 데이터를 수신하여, 감지 포인트 변화 검출 및 이동 방향 판단을 하여 객체 유형 판단을 하고, 유형별 객체 카운트를 하는 엣지 컴퓨팅 기반 모니터링부(200)와, 딥러닝 기반 모듈 및 알고리즘을 통해 엣지 컴퓨팅 기반 모니터링부(200)로부터 추출된 학습 자료를 수신하여 인공지능 기반 엣지 컴퓨팅을 활용한 유형별 객체 계수를 위한 학습을 수행하는 딥러닝 기반 학습 데이터 생성 서버(300)와, 엣지 컴퓨팅 기반 모니터링부(200)로부터 추출된 분석 데이터를 수신하여 빅데이터 분석에 의한 부가가치 창출을 위한 정보의 제공 및 활용을 지원하는 데이터 수집 및 분석 서버(400)를 포함한다.

여기서, 엣지 컴퓨팅은 중앙 집중식 서버나 클라우드가 아닌 데이터가 수집되고 분석되는 물리적 위치에서 컴퓨팅이 이루어지는 분산 컴퓨팅 모델을 의미한다. 이는 데이터를 수집하는 센서와 현장에서 실시간으로 데이터를 안전하게 처리하는 엣지 서버가 사용되며, 노트북, 스마트폰과 같은 다른 기기도 네트워크에 연결될 수 있다.

본 발명에서는 플렉서블 압력 센서 매트(100)에서 보내 준 데이터 자체(2차원 벡터 데이터)와, 수집 데이터 기반 객체 유형 판별이 가능한 객체 계수 결과 데이터 모두 데이터 수집 및 분석 서버(400)로 전송되어 DB에 저장되어 빅데이터 분석에 이용될 수 있도록 한다.

최근 사물인터넷(Internet of Things : IoT) 기술의 발전에 따라 이를 스마트 시티(Smart City) 구축에 활용하려는 연구가 활발히 진행 중이다.

그중에서 센서(Sensor) 기술은 주변 상황에 대한 정보를 자동으로 획득할 수 있게 하는 기술로서, 스마트 시티의 환경 구축을 위한 핵심 요소 중 하나로 주목받고 있다.

본 발명은 다수의 사람이 동시에 출입하여도 방향성 및 계수 측정이 정확할 뿐 아니라 휠체어, 자전거, 퀵보드 등의 이동체 및 반려동물 등 모든 출입 객체의 유형 판별이 가능한 매트형 객체 계수 서비스가 가능하도록 한 것이다.

본 발명에 따른 인공지능 기반 엣지 컴퓨팅을 활용한 유형별 객체 계수를 위한 장치는 고해상도 플렉서블(Flexible) 압력센서 매트와 딥러닝 기반 입·출입 패턴(데이터) 분석 시스템(SW)의 융합적용을 중심으로 구성되는 것이다.

입출구 바닥 전면에 플렉서블 압력센서 발판을 설치하여 이를 통해 감지한 데이터를 센서 보드에 연결하여 데이터를 전송하고, 센서 발판에서 수집된 데이터의 정보는 딥러닝 기반 모듈 및 알고리즘을 통해 처리되어 객체의 유형(보행자, 이동체, 반려동물), 방향성, 카운터(계수) 정보를 모니터링 시스템에 제공하는 프로세스로 설계되어, 출입 객체의 유형 예측, 진행 방향 판단, 다수의 객체가 동시에 이동하더라도 정확한 계수가 가능하도록 한 것이다.

고해상도 플렉서블(Flexible) 압력센서를 통해 수집한 데이터는 데이터 수집 및 분석 서버(400)로 전송되어 DB에 저장되어 빅데이터 분석에 이용되어 다음과 같은 서비스가 가능하도록 한다.

일,주,월 및 연도별 방문객 통계 및 계절, 기상 기후, 연휴 등 과거 추세를 기반으로 한 방문자 수(규모) 예측 분석 및, 방문객 입장 및 퇴장시간 등 방문객 이용 통계에 따른 운영시간 조정 또는 이용객 입장 대기 불편 (혼잡) 감소를 위한 분산 목적의 안내 메시지 발송, 쿠폰 발행 등을 수행할 수 있도록 한다.

또한, 방문객 진행 방향 확인, 이용 편의성 제고를 위한 적정 인원 배치에 이용될 수 있다.

그리고 방문객 특성(유모차, 휠체어, 전동킥보드, 자전거) 분석에 따른 마케팅 전략수립이 가능하도록 한다.

특히, 이상 신호 감지(이동 없이 머무르는 등), 보안취약점 점검 및 조치 시행 및, 반려동물(고양이, 강아지 등) 주의사항 안내방송 등의 활용을 지원한다.

플렉서블 압력 센서 매트(100)의 상세 구성은 다음과 같다.

도 5a와 도 5b는 플렉서블 압력 센서 매트의 상세 구성도이다.

본 발명에 따른 플렉서블 압력 센서 매트(100)는 라인 형태를 갖고 x방향(x1,x2,x3,...)과 y방향(y1,y2,y3,...)으로 서로 교차 배열되어, 각 교차 영역에서의 구리조각의 가로/세로 압력을 측정하고, 이후 압력측정 값을 수치화하여 출력한다.

32bit MCU(Micro Controller Unit) 기반 하드웨어 모듈을 적용하여 구리조각에 전류를 흘려 차단되는 순간의 전류 값을 바탕으로 압력 측정한다.

이후 2차원 벡터 데이터로 실시간으로 UART 통신으로 연결된 카운터 컨트롤러로 전송한다.

엣지 컴퓨팅 기반 모니터링부(200)의 상세 구성은 다음과 같다.

도 6a와 도 6b는 엣지 컴퓨팅 기반 모니터링부의 상세 구성도이다.

엣지 컴퓨팅 기반 모니터링부(200)는 플렉서블 압력 센서 매트(100)에서 센싱된 데이터를 수신하는 센서 매트 센싱 데이터 수신부(51)와, 수신된 센싱 데이터로부터 출입 객체의 시간에 따른 감지 포인트 변화를 검출하는 감지 포인트 변화 검출부(52)와, 딥러닝에 의한 판단 기준 학습 데이터를 기반으로 객체의 이동 방향을 판단하는 이동 방향 판단부(53)와, 딥러닝에 의한 판단 기준 학습 데이터를 기반으로 객체의 유형을 판단하는 객체 유형 판단부(53)와, 이동 방향 판단부(53) 및 객체 유형 판단부(53)의 판단 결과를 기준으로 유형별 객체 카운트를 하는 유형별 객체 카운트부(56)와, 플렉서블 압력 센서 매트(100)로부터 수신된 센싱 데이터 및 센싱 데이터로부터 추출된 결과 데이터를 학습 및 분석을 위하여 딥러닝 기반 학습 데이터 생성 서버(300) 및 데이터 수집 및 분석 서버(400)로 전송하는 학습 및 분석 자료 추출 전송부(57)와, 플렉서블 압력 센서 매트(100)로부터 온도,습도 등의 외부 환경을 감지하는 센서의 센싱 신호 및 충격이나 수평을 감지하는 센서의 센싱 신호를 수신하는 환경 정보 수집부(58)와, 유형별 객체 카운트부(56)의 카운트 결과를 표시하는 유형별 객체 카운트 정보 표시부(59)를 포함한다.

여기서, 이동 방향 판단부(53) 및 객체 유형 판단부(53)의 판단 기준 업데이트를 위하여, 딥러닝 기반 학습 데이터 생성 서버(300)로부터 판단 기준 학습 정보를 수신하여 업데이트하는 판단 기준 학습 정보 업데이트부(55)를 더 포함한다.

엣지 컴퓨팅 기반 모니터링부(200)는 딥러닝 기술을 이용한 유형별 객체 판별 및 계수를 하는 것이다.

각 객체 구별 및 계수 실시하는 과정에서 객체 판별 및 계수는 딥러닝 기반 학습 데이터 생성 서버(300)로부터 받은 데이터 셋을 기반으로 판단하고, 딥러닝 기술을 신속 정확하게 수행 할 수 있도록 뉴럴 네트워크가 구현된 NPU(Neural Processing Unit)를 탑재하여 이 NPU를 이용해 계수를 수행한다.

엣지 컴퓨팅 기반 모니터링부(200)는 해당 장비의 유지보수를 위한 고성능 AP(Application processor) 기반 장비로 구성되고, 서비스 서버에서의 원격 조정, 프로그램의 업데이트를 지원한다.

매트에서 전송되는 데이터를 실시간으로 데이터 수집 및 분석 서버(400)로 전송하고, NPU에서 계수할 때 사용되는 데이터셋을 서버와 동기화한다.

본 발명에 따른 인공지능 기반 엣지 컴퓨팅을 활용한 유형별 객체 계수를 위한 방법을 구체적으로 설명하면 다음과 같다.

도 7은 본 발명에 따른 인공지능 기반 엣지 컴퓨팅을 활용한 유형별 객체 계수를 위한 방법을 나타낸 플로우 차트이다.

먼저, 플렉서블 압력 센서 매트(100)에서 센싱된 데이터를 엣지 컴퓨팅 기반 모니터링부(200)에서 수신한다.(S601)

이어, 시간에 따른 감지 포인트 변화를 검출하고, 딥러닝에 의한 판단 기준 학습 데이터를 기반으로 객체의 이동 방향 및 유형 판단을 한다.(S602)

그리고 유형별 객체 카운트 정보를 표시하고, 학습 및 분석 자료를 추출하여 딥러닝 기반 학습 데이터 생성 서버와 데이터 수집 및 분석 서버로 전송한다.(S603)

이어, 판단 기준 학습 정보의 업데이트가 필요한지 판단한다.(S604)

그리고 판단 기준 학습 정보의 업데이트가 필요한 것으로 판단되면, 딥러닝 기반 학습 데이터 생성 서버로부터 판단 기준 학습 정보를 수신하여 업데이트한다.(S605)

이어, 환경 정보 및 이상 상태 정보가 수신되었는지 판단하여(S606), 수신된 환경 정보 및 이상 상태 정보를 데이터 수집 및 분석 서버(400)로 전송한다.(S607)

이와 같은 본 발명에 따른 인공지능 기반 엣지 컴퓨팅을 활용한 유형별 객체 계수를 위한 장치 및 방법은 대형상점, 국립공원, 놀이공원 등과 같이 실내외를 막론하고 출입 인원이 빈번한 곳에 센서 발판을 설치하여 실시간 계수와 분석 서버에 의한 출입자 및 이동체의 이동 경로 분석과 센서 계수기의 네트워크화로 조사 경비 절감은 물론 데이터에 대한 신뢰도 향상을 기대할 수 있도록 한다.

본 발명에 따른 고해상도 플렉서블(Flexible) 압력센서 매트는 센싱(Sensing)과 인터넷 통신 기능을 통해 환경감지, 이상 징후 등 수집된 데이터를 서버에 전달하고, 전달된 데이터는 해당 시스템의 부가가치를 높이고 새로운 서비스에는 수익과 경쟁력을 제공할 수 있도록 한다.

압력센서 매트에서 보내 준 데이터 자체(2차원 벡터 데이터)와, 수집 데이터 기반 객체 유형 판별이 가능한 객체 계수 결과 데이터를 데이터 수집 서버에 전송, 컨트롤러에서 보낸 두 데이터는 DB에 저장되고, 수집된 데이터는 데이터 로깅 과정을 거쳐 하나의 틀로 융합되고, 융합된 데이터는 분류, 예측, 군집화, 연관성 등의 분석 과정을 거쳐 사용자에게 의미 있는 정보와 서비스를 제공할 수 있게 된다.

고해상도 플렉서블(Flexible) 압력센서 매트를 통해 얻을 수 있는 유의미한 정보(데이터)의 일 예는 다음과 같다.

일,주,월 및 연도별 출입 인원수 확인 및 보행자의 입장 시간, 퇴장시간 확인 (시간대별 고객 출입량 분석) 및 보행자의 진행 방향 (이동 경로) 확인 및 계절, 기상 기후 및 생활 기상지수, 연휴 등 내외부적 환경적 요소에 따른 출입 인원 통계 확인 및, 객체 유형(보행자, 반려동물, 이동체) 예측 및 이상 징후 감지 등의 서비스를 제공할 수 있다.

본 발명에 따른 이동 객체 유형 판별 기술은 단순 유동인구파악, 출입 인원 카운팅에서 나아가 다양한 데이터를 통한 유의미한 정보 제공이 가능하다.

일 예로, 빅데이터 관리 분석을 통한 새로운 비즈니스 모델(Data Marketplace 서비스) 창출이 가능하도록 한다.

수집된 데이터는 지역 내 국립공원, 박물관, 관광지 및 이벤트성 행사장, 그 외 소매점 등 운영의 주요 의사 결정에 기초자료로 활용할 수 있고, 운영 성과지표 분석은 물론 마케팅 전략수립에 바탕이 되는 중요 데이터로써, 인사이트 도출이 가능하다.

이상에서 설명한 본 발명에 따른 인공지능 기반 엣지 컴퓨팅을 활용한 유형별 객체 계수를 위한 장치 및 방법은 다수의 사람이 동시에 출입하여도 방향성 및 계수 측정이 가능하고 출입 객체의 유형 판별이 가능하도록 한 것이다,

본 발명은 고해상도 플렉서블(Flexible) 압력센서 매트와 딥러닝 기반 입출입 패턴 분석 시스템(SW)의 융합 적용으로 출입 객체의 유형 판별 정확도를 높일 수 있도록 한 것이다.

이상에서의 설명에서와 같이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 본 발명이 구현되어 있음을 이해할 수 있을 것이다.

그러므로 명시된 실시 예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 하고, 본 발명의 범위는 전술한 설명이 아니라 특허청구 범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.

100. 플렉서블 압력 센서 매트
200. 엣지 컴퓨팅 기반 모니터링부
300. 딥러닝 기반 학습 데이터 생성 서버
400. 데이터 수집 및 분석 서버

Claims

라인 형태의 압력 센서 어레이를 갖고, 다수의 사람이 동시에 출입하여도 방향성 및 계수 측정, 출입 객체의 유형 판별이 가능하도록 센싱 신호를 출력하는 플렉서블 압력 센서 매트;
상기 플렉서블 압력 센서 매트로부터 센싱 데이터를 수신하여, 감지 포인트 변화 검출 및 이동 방향 판단을 하여 객체 유형 판단을 하고, 유형별 객체 카운트를 하는 엣지 컴퓨팅 기반 모니터링부;
딥러닝 기반 모듈 및 알고리즘을 통해 엣지 컴퓨팅 기반 모니터링부로부터 추출된 학습 자료를 수신하여 인공지능 기반 엣지 컴퓨팅을 활용한 유형별 객체 계수를 위한 학습을 수행하는 딥러닝 기반 학습 데이터 생성 서버;
엣지 컴퓨팅 기반 모니터링부로부터 추출된 분석 데이터를 수신하여 빅데이터 분석에 의한 결과 제공 및 활용을 지원하는 데이터 수집 및 분석 서버;를 포함하는 것을 특징으로 하는 인공지능 기반 엣지 컴퓨팅을 활용한 유형별 객체 계수를 위한 장치.
제 1 항에 있어서, 상기 엣지 컴퓨팅 기반 모니터링부는,
플렉서블 압력 센서 매트가 전송한 2차원 벡터 데이터와, 객체 유형 판별이 가능한 객체 계수 결과 데이터 모두를 데이터 수집 및 분석 서버로 전송하여 DB에 저장되도록 하여 빅데이터 분석에 이용될 수 있도록 하는 것을 특징으로 하는 인공지능 기반 엣지 컴퓨팅을 활용한 유형별 객체 계수를 위한 장치.
제 1 항에 있어서, 엣지 컴퓨팅 기반 모니터링부는 감지 포인트 변화 검출 및 이동 방향 판단을 하여 객체 유형 판단을 하기 위하여,
최초 한 발이 밟은 센싱 신호를 기준으로 한 발 내에서의 포션별 착지 순서 및 이탈 순서를 판단하여 출입자의 진행 방향을 판단하고,
사람의 평균 보폭과 반려 동물의 보폭을 비교하거나, 2족 보행 특성 및 4족 보행 특성을 비교하여 사람과 반려 동물을 구분하는 것을 특징으로 하는 인공지능 기반 엣지 컴퓨팅을 활용한 유형별 객체 계수를 위한 장치.
제 1 항에 있어서, 플렉서블 압력 센서 매트는,
온도,습도를 포함하는 외부 환경을 감지하는 센서를 더 구비하고,
충격이나 수평을 감지하는 센서를 구비하여 이상 상태 발생을 경고할 수 있도록 하는 것을 특징으로 하는 인공지능 기반 엣지 컴퓨팅을 활용한 유형별 객체 계수를 위한 장치.
제 1 항에 있어서, 엣지 컴퓨팅 기반 모니터링부는,
플렉서블 압력 센서 매트에서 센싱된 데이터를 수신하는 센서 매트 센싱 데이터 수신부와,
수신된 센싱 데이터로부터 출입 객체의 시간에 따른 감지 포인트 변화를 검출하는 감지 포인트 변화 검출부와,
딥러닝에 의한 판단 기준 학습 데이터를 기반으로 객체의 이동 방향을 판단하는 이동 방향 판단부와,
딥러닝에 의한 판단 기준 학습 데이터를 기반으로 객체의 유형을 판단하는 객체 유형 판단부와,
이동 방향 판단부 및 객체 유형 판단부의 판단 결과를 기준으로 유형별 객체 카운트를 하는 유형별 객체 카운트부와,
유형별 객체 카운트부의 카운트 결과를 표시하는 유형별 객체 카운트 정보 표시부를 포함하는 것을 특징으로 하는 인공지능 기반 엣지 컴퓨팅을 활용한 유형별 객체 계수를 위한 장치.
제 5 항에 있어서, 플렉서블 압력 센서 매트로부터 수신된 센싱 데이터 및 센싱 데이터로부터 추출된 결과 데이터를,
학습 및 분석을 위하여 딥러닝 기반 학습 데이터 생성 서버 및 데이터 수집 및 분석 서버로 전송하는 학습 및 분석 자료 추출 전송부를 더 포함하는 것을 특징으로 하는 인공지능 기반 엣지 컴퓨팅을 활용한 유형별 객체 계수를 위한 장치.
제 5 항에 있어서, 플렉서블 압력 센서 매트로부터 온도,습도의 외부 환경을 감지하는 센서의 센싱 신호 및 충격이나 수평을 감지하는 센서의 센싱 신호를 수신하는 환경 정보 수집부를 더 포함하는 것을 특징으로 하는 인공지능 기반 엣지 컴퓨팅을 활용한 유형별 객체 계수를 위한 장치.
제 5 항에 있어서, 이동 방향 판단부 및 객체 유형 판단부의 판단 기준 업데이트를 위하여,
딥러닝 기반 학습 데이터 생성 서버로부터 판단 기준 학습 정보를 수신하여 업데이트하는 판단 기준 학습 정보 업데이트부를 더 포함하는 것을 특징으로 하는 인공지능 기반 엣지 컴퓨팅을 활용한 유형별 객체 계수를 위한 장치.
플렉서블 압력 센서 매트에서 센싱된 데이터를 엣지 컴퓨팅 기반 모니터링부에서 수신하는 단계;
시간에 따른 감지 포인트 변화를 검출하고, 딥러닝에 의한 판단 기준 학습 데이터를 기반으로 객체의 이동 방향 및 유형 판단을 하는 단계;
유형별 객체 카운트 정보를 표시하고, 학습 및 분석 자료를 추출하여 딥러닝 기반 학습 데이터 생성 서버와 데이터 수집 및 분석 서버로 전송하는 단계;
판단 기준 학습 정보의 업데이트가 필요한 것으로 판단되면, 딥러닝 기반 학습 데이터 생성 서버로부터 판단 기준 학습 정보를 수신하여 업데이트하는 단계;
플렉서블 압력 센서 매트로부터 환경 정보 및 이상 상태 정보가 수신되면, 수신된 환경 정보 및 이상 상태 정보를 데이터 수집 및 분석 서버로 전송하는 단계;를 포함하는 것을 특징으로 하는 인공지능 기반 엣지 컴퓨팅을 활용한 유형별 객체 계수를 위한 방법.
제 9 항에 있어서, 객체의 이동 방향 및 유형 판단을 하는 단계에서,
최초 한 발이 밟은 센싱 신호를 기준으로 한 발 내에서의 포션별 착지 순서 및 이탈 순서를 판단하여 출입자의 진행 방향을 판단하고,
사람의 평균 보폭과 반려 동물의 보폭을 비교하거나, 2족 보행 특성 및 4족 보행 특성을 비교하여 사람과 반려 동물을 구분하는 것을 특징으로 하는 인공지능 기반 엣지 컴퓨팅을 활용한 유형별 객체 계수를 위한 방법.