KR102332699B1 - 영상 모델 기반 ai 알고리즘을 활용한 공간 환경 상태변화 감지 이벤트처리 시스템 - Google Patents

영상 모델 기반 ai 알고리즘을 활용한 공간 환경 상태변화 감지 이벤트처리 시스템 Download PDF

Info

Publication number
KR102332699B1
KR102332699B1 KR1020210072794A KR20210072794A KR102332699B1 KR 102332699 B1 KR102332699 B1 KR 102332699B1 KR 1020210072794 A KR1020210072794 A KR 1020210072794A KR 20210072794 A KR20210072794 A KR 20210072794A KR 102332699 B1 KR102332699 B1 KR 102332699B1
Authority
KR
South Korea
Prior art keywords
image
model
information
donut
change
Prior art date
Application number
KR1020210072794A
Other languages
English (en)
Inventor
박문규
Original Assignee
(주)재상피앤에스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)재상피앤에스 filed Critical (주)재상피앤에스
Priority to KR1020210072794A priority Critical patent/KR102332699B1/ko
Application granted granted Critical
Publication of KR102332699B1 publication Critical patent/KR102332699B1/ko

Links

Images

Classifications

    • G06K9/6288—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B08—CLEANING
    • B08B—CLEANING IN GENERAL; PREVENTION OF FOULING IN GENERAL
    • B08B1/00—Cleaning by methods involving the use of tools
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B08—CLEANING
    • B08B—CLEANING IN GENERAL; PREVENTION OF FOULING IN GENERAL
    • B08B3/00—Cleaning by methods involving the use or presence of liquid or steam
    • B08B3/04—Cleaning involving contact with liquid
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481—Constructional features, e.g. arrangements of optical elements
    • G01S7/4811—Constructional features, e.g. arrangements of optical elements common to transmitter and receiver
    • G01S7/4812—Constructional features, e.g. arrangements of optical elements common to transmitter and receiver transmitted and received beams following a coaxial path
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Electromagnetism (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 영상 모델 기반 AI 알고리즘을 활용한 공간 환경 상태변화 감지 이벤트처리 시스템에 관련되며, 이는 이미지 수집모듈을 기반으로 취득한 이미지 데이터의 특정 영역에 대한 물리적 환경 정보를 AI 학습 모델과 물리적 표준모델을 결합하여 변화량 정보를 수치화하는 융합처리 과정을 통해 측정하고자 하는 유의미한 이벤트 정보를 신속 정확하게 인지할 수 있도록 기록 이미지 데이터를 생성하는 단계(S10), 변화량 정보를 수치화하는 단계(S20), 이벤트 정보를 추출하는 단계(S30)를 포함하여 주요 구성으로 한다.

Description

영상 모델 기반 AI 알고리즘을 활용한 공간 환경 상태변화 감지 이벤트처리 시스템{Event processing system for detecting changes in spatial environment conditions using image model-based AI algorithms}
본 발명은 영상 모델 기반 AI 알고리즘을 활용한 공간 환경 상태변화 감지 이벤트처리 시스템에 관련되며, 보다 상세하게는 이미지 수집모듈을 기반으로 취득한 이미지 데이터의 특정 영역에 대한 물리적 환경 정보를 AI 학습 모델과 물리적 표준모델을 결합하여 변화량 정보를 수치화하는 융합처리 과정을 통하여, 측정하고자 하는 유의미한 이벤트 정보를 신속 정확하게 인지할 수 있는 영상 모델 AI 알고리즘 기반 공간 환경 상태변화 감지 이벤트처리 시스템에 관한 것이다.
근자에는 정보통신기술의 발달로 인해, CCTV, IP Cam, 블랙박스와 같은 영상 데이터, 음성 데이터 수집 장치가 널리 보급되고, 이러한 장치들은 사회 및 개인의 안전을 위한 무인 감시 체계의 일부로서 사용될 수 있으나, 대부분 녹화된 영상, 음성 데이터를 사후적으로 이용하여 문제를 확인하는 용도로 주로 사용되고 있다.
일례로서, 교통정보센터, 시민안전센터 등의 각 지자체 및 국가 관리센터, 기업의 보안관리센터 등에서는 실시간 CCTV 영상을 수집하지만, CCTV 영상을 분석하고 비상 상황의 발생을 인지하고 대응하기 위한 모니터링 요원을 필요로 하고, 이로 인해 수십 개 내지 수만 개에 이르는 CCTV 모든 영상을 제한된 인력으로 커버하여 위험상황의 발생에 신속히 대응하는 데에는 한계가 있다.
이에 종래에 개시된 등록특허 10-1841882호에서, 일반 주택가 가정집, 아파트 현관, 사무실, 아파트를 포함하는 주택가, 각종 건물 주변에 설치된 것으로, 카메라, 스피커 및 마이크를 포함하여 구성되어 영상 및 음성을 수집하는 다수의 방범용 CCTV; 상기 다수의 CCTV로부터 수집된 영상 및 음성을 통신망을 통해 전송받는 무인 방범 서버; 및 상기 통신망을 통해 상기 무인 방범 서버와 통신하는 경비업체 서버나 경찰서 서버로 구성되어, 가정이나, 사무실, 건물 주변에서 발생되는 사람들의 행동과 음성을 상기 통신망을 통해 상기 CCTV로부터 전송받은 상기 무인 방범 서버에서 상기 수집된 영상 및 음성을 분석하여 범죄를 예측함에 따라 상기 CCTV의 스피커를 통해 범죄예방을 위한 안내 음성을 출력하고, 범죄발생 시나 범죄발생 가능성이 예측되면 상기 통신망을 통해 상기 경비업체 서버나 경찰서 서버로 경비강화, 범죄자 검거를 요청하는 기술을 선 제시된 바 있다.
그러나, 상기 종래기술은 가정이나, 사무실 주변에서 발생되는 사람들의 행동과 음성을 분석하여 범죄를 예측하려는 것이나, 무인 방범 서버에 의존하여 수집된 영상 및 음성을 분석하여 범죄를 예측한다는 것은 정확도 측면에서 신뢰할 수 없는 실정이다.
KR 10-1841882 B1 (2018.03.19.)
이에 따라 본 발명은 상기한 문제점을 해결하기 위해 착안 된 것으로서, 이미지 수집모듈을 기반으로 취득한 이미지 데이터의 특정 영역에 대한 물리적 환경 정보를 AI 학습 모델과 물리적 표준모델을 결합하여 변화량 정보를 수치화하는 융합처리과정을 통하여 측정하고자 하는 유의미한 이벤트정보를 신속 정확하게 인지할 수 있는 영상 모델 기반 AI 알고리즘을 활용한 공간 환경 상태변화 감지 이벤트처리 시스템을 제공하는 것에 그 목적이 있다.
이러한 목적을 달성하기 위해 본 발명의 특징은, 이미지 수집모듈을 기반으로 취득한 이미지 데이터에 저장된 기록 이미지 데이터를 생성하는 단계(S10); 상기 기록 이미지 데이터를 기반으로 소정의 영역에 대한 상태 변화를 AI 학습 모델과 물리적 표준모델을 결합하여 산출된 변화량을 표준 모델의 기준치와 비교하여 변화량 정보를 수치화하는 단계(S20); 및 상기 변화량에 대한 상한값, 하한값을 포함하는 기준을 설정하고, 측정하고자 하는 유의미한 변화정보를 선택할 수 있도록 매핑(mapping) 또는 레이어링(Layering) 기능을 부가하여 변화에 대한 유의미한 상태 변화 이벤트 정보를 추출하는 단계(S30);를 포함하는 것을 특징으로 한다.
이때, 상기 이미지 수집모듈은, 영상카메라에 융합된 열 화상카메라를 이용하여 취득된 열 분포 이미지 데이터를 기반으로 타임시프트된 기록 이미지 데이터와 비하도록 구비되는 것을 특징으로 한다.
또한, 상기 이미지 수집모듈은, 가속도 센서, 라이다 센서, 소리 감지센서, 온도센서 중 어느 하나 이상을 영상카메라에 융합하여 주변환경에 대한 진동, 3D 영상 모델링, 소리, 온도 정보 중 어느 하나 이상의 현장정보를 추가로 획득하고, 추가 현장정보를 영상카메라를 통하여 취득된 이미지 데이터와 매칭하여 이벤트 발생 지점을 검출하도록 구비되는 것을 특징으로 한다.
또한, 상기 (S20)단계에서 물리적 표준모델은, 시계열 표준 모델, 계절별 표준 모델, 환경 조건별 표준 모델을 포함하는 기초 학습 표준 모델을 생성하고, 기초 학습 표준 모델을 환경변화 및 유의미한 상태 변화 감지 이벤트 정보 추출에 활용하도록 구비되는 것을 특징으로 한다.
또한, 상기 이미지 수집모듈을 구성하는 라이다 센서부(100)는, 타겟을 향해 센싱광을 출력하는 송광부(110)와, 타겟에 의해 반사되어 입사되는 반사광을 감지하는 수광부(120)와, 송광부(110) 및 수광부(120)를 지지하는 몸체부(130)와, 센싱광 및 반사광의 진행경로 상에 위치되고, 구동부에 의해 회전되어 센싱광 및 상기 반사광을 360°방향으로 굴절 입출력하는 반사부(140)와, 반사부(140)를 보호하도록 설치되고, 상부가 폐쇄되고, 하부가 개방되는 원통형 커버부(150)와, 원통형 커버부(150)를 세척하는 세척수단(160)을 포함하는 것을 특징으로 한다.
또한, 상기 세척수단(160)은, 몸체부(130)를 감싸도록 설치되고, 상부에 개구가 형성되어 원통형 커버부(150)의 하부가 수용되도록 구비되며, 내부에 세척수가 수용되며, 구동부에 의해 회전운동되는 도넛형 세척조(162)와, 몸체부(130)에 일단이 연결되고, 다른 일단은 세척조(162) 내부로 투입되는 직선레일(163)과, 직선레일(163)과 맞물려 상하방향으로 원통형 커버(150)의 이동을 안내하는 직선캠롤러(164)와, 도넛형 세척조(162) 내주면에 형성되는 나선형 레일(165)과, 나선형 레일(165)과 맞물려 경사운동에 의해 원통형 커버(150)를 상하 방향으로 직선 이동하는 경사캠롤러(166)와, 도넛형 세척조(162) 내주면에 설치되어 원통형 커버(150) 내, 외주면을 세척하도록 스펀지, 브러쉬, 스크래퍼 중 어느 하나 이상으로 구비되는 청소부재(167)와, 원통형 커버(150)를 상부에서 감싸도록 설치되고, 탄성체(168a)에 의해 원통형 커버(150) 측으로 밀착 이송력이 작용하도록 구비되는 외부커버(168)와, 도넛형 세척조(162) 상단부와 외부커버(168) 하단부에 배치되고, 척력에 의해 외부커버(168)를 부양 지지하여, 도넛형 세척조(162) 상단부와 외부커버(168) 하단부 사이에 센싱광 및 반사광이 입출력되는 투시 공간부(169a)를 형성하는 상, 하부 자석모듈(169)(169')을 포함하고, 상기 도넛형 세척조(162)가 회전운동시, 나선형 레일(165)와 경사캠롤러(166)의 경사운동에 의해 원통형 커버(150)가 도넛형 세척조(162) 내측 방향으로 하향 이동되면서 세척수 및 청소부재(167)에 의해 내, 외주면이 세척되고, 상기 외부커버(168)는 상, 하부 자석모듈(169)(169')에 의해 부양지지되어 투시 공간부(169a)가 소정의 사이즈로 유지되며, 상기 도넛형 세척조(162)가 반대 방향으로 회전운동시, 나선형 레일(165)와 경사캠롤러(166)의 경사운동에 의해 원통형 커버(150)가 도넛형 세척조(162) 외측 방향으로 상향 이동되면서 청소부재(167)에 의해 내, 외주면이 세척되고, 상기 외부커버(168)는 상, 하부 자석모듈(169)(169')에 의해 부양지지되면서 탄성체(168a)에 의해 원통형 커버(150) 측으로 밀착 이송되면서 투시 공간부(169a)가 소정의 사이즈로 유지되도록 구비되는 것을 특징으로 한다.
이상의 구성 및 작용에 의하면, 본 발명은 이미지 수집모듈을 기반으로 취득한 이미지 데이터의 특정 영역에 대한 물리적 환경 정보를 AI 학습 모델과 물리적 표준모델을 결합하여 변화량 정보를 수치화하는 융합처리 과정을 통해 측정하고자 하는 유의미한 이벤트 정보를 신속 정확하게 인지할 수 있는 효과가 있다.
도 1은 본 발명의 일실시예에 따른 영상 모델 기반 AI 알고리즘을 활용한 공간 환경 상태변화 감지 이벤트처리 시스템을 개략적으로 나타내는 순서도.
도 2 내지 도 4는 본 발명의 일실시예에 따른 영상 모델 기반 AI 알고리즘을 활용한 공간 환경 상태변화 감지 이벤트처리 시스템을 나타내는 블록도.
도 5 내지 도 6은 본 발명의 일실시예에 따른 영상 모델 기반 AI 알고리즘을 활용한 공간 환경 상태변화 감지 이벤트처리 시스템을 이용하여 화재로 인한 이벤트 시점 및 지점을 검출하는 상태를 나타내는 구성도.
도 7은 본 발명의 일실시예에 따른 영상 모델 기반 AI 알고리즘을 활용한 공간 환경 상태변화 감지 이벤트처리 시스템의 열화상 카메라와 라이다 센서부를 이용하여 추출된 3D 영상 모델링 객체를 나타내는 구성도.
도 8 내지 도 9는 본 발명의 일실시 예에 따른 영상 모델 기반 AI 알고리즘을 활용한 공간 환경 상태변화 감지 이벤트처리 시스템의 라이다 센서부를 나타내는 구성도.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명한다. 그리고 본 발명을 설명함에 있어서 관련된 공지기능에 대하여 이 분야의 기술자들에게 자명한 사항으로서 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략한다.
도 1은 본 발명의 일실시 예에 따른 영상 모델 기반 AI 알고리즘을 활용한 공간 환경 상태변화 감지 이벤트처리 시스템을 개략적으로 나타내는 순서도이고, 도 2 내지 도 4는 본 발명의 일실시예에 따른 영상 모델 기반 AI 알고리즘을 활용한 공간 환경 상태변화 감지 이벤트처리 시스템을 나타내는 블록도이며, 도 5 내지 도 6은 본 발명의 일실시예에 따른 영상 모델 기반 AI 알고리즘을 활용한 공간 환경 상태변화 감지 이벤트처리 시스템을 이용하여 화재로 인한 이벤트 시점 및 지점을 검출하는 상태를 나타내는 구성도이고, 도 7은 본 발명의 일실시예에 따른 영상 모델 기반 AI 알고리즘을 활용한 공간 환경 상태변화 감지 이벤트처리 시스템의 열화상 카메라와 라이다 센서를 이용하여 추출된 3D 영상 모델링 객체를 나타내는 구성도이며, 도 8 내지 도 9는 본 발명의 일실시예에 따른 영상 모델 기반 AI 알고리즘을 활용한 공간 환경 상태변화 감지 이벤트처리 시스템의 라이다 센서부를 나타내는 구성도이다.
본 발명은 영상 모델 기반 AI 알고리즘을 활용한 공간 환경 상태변화 감지 이벤트처리 시스템에 관련되며, 이는 이미지 수집모듈을 기반으로 취득한 이미지 데이터의 특정 영역에 대한 물리적 환경 정보를 AI 학습 모델과 물리적 표준모델을 결합하여 변화량 정보를 수치화하는 융합처리 과정을 통해 측정하고자 하는 유의미한 이벤트 정보를 신속 정확하게 인지할 수 있도록 기록 이미지 데이터를 생성하는 단계(S10), 변화량 정보를 수치화하는 단계(S20), 이벤트 정보를 추출하는 단계(S30)를 포함하여 주요 구성으로 한다.
1. 기록 이미지 데이터를 생성하는 단계(S10)
본 발명에 따른 기록 이미지 데이터를 생성하는 단계(S10)는, 이미지 수집모듈을 기반으로 취득한 이미지 데이터의 저장된 기록 이미지 데이터를 생성하는 단계이다.
상기 이미지 수집모듈은, 영상카메라에 융합된 열 화상카메라를 이용하여 취득된 열 분포 이미지 데이터를 기반으로 타임시프트된 기록 이미지 데이터와 비교하도록 구비된다.
이때, 상기 이미지 데이터의 비교과정은 벡터화된 디지털 데이터로 비교하거나, AI를 활용하여 이미지 데이터를 비교하도록 구비된다.
여기서 상기 벡터화된 디지털 데이터를 이용한 이미지 데이터의 비교 과정을 살펴보면, 우선 비교를 위한 표준 데이터 즉, 데이터베이스에 저장된 학습용 데이터를 이용한 일상적 상황에 대한 이미지에서 고유의 벡터화 처리를 통해 디지털 수치화된 정보를 내부 처리 함수(수치화 모델) 바탕으로 설정한다. 이는 이벤트에 의해 발생 된 비교 영상 이미지를 시계열 구간의 데이터량 만큼 AI 분석 모델의 지원을 통해 비교 이미지에 대한 최종 상태변화 감지를 수행하게 된다.
본 과정을 구체적으로 단계별 묘사하면, 우선 지속적으로 Input 되고 있는 이미지를 1차적으로 프레임 단위로 특정 시계열 주기로 컷팅하고 이를 다차원 이미지로 분할 및 재배열하는 이미지 프로세싱 과정을 진행한다. 1차 이미지 전처리 단계에서 유의미한 상태의 이벤트 여부에 대한 수치화된 값을 통해 상세 분석 여부를 결정하게 된다. 이후 내부에 저장되어 있는 데이터베이스 기준 모델을 활용하여 지속적으로 반복하는 이 과정을 진행하는 동시에, AI 학습 모델을 통해 상태변화 감지 수치화 모델 결과값의 정확도 향상 과정을 진행하게 된다. 이 과정에서 정확도 여부는 지속적인 AI 학습을 반복하고, 학습 데이터에 대한 자료는 수치화 모델에서 지속적으로 피드백 받아 정확도 및 케이스 이미지를 학습용 데이터로 제공하는 과정을 진행한다.
예를 들면 화재상황 이벤트에 대한 판단을 가정해 보면, 시계열 데이터의 흐름; 다시 말해 상태 이미지 프레임의 스트림 속에서 모델화 된 수치화 모델의 비교값과 특정 상태 시점의 이벤트 감지 분석 결과를 비교 상세 수치화 과정을 위한 결정모델을 적용하고 이때 채택된 이미지는 세부적으로 고유의 프레임 분할 알고리즘을 활용하여 벡터 이미지로 디지털화 처리한다.
이는 기존 학습모델용 벡터 이미지와 분석 대상으로 채택된 벡터 이미지를 다차원 배열하고, 각각의 세부 이미지 변화량 벡터값을 결정하기 위해 이미지 픽셀의 다차원 공간 구조상에서 가칭 낚시바늘(Fishing Needle hook) 알고리즘을 활용하여 변화 유효 영역을 결정해 AI모델에 적용하기 위한 처리 데이터량을 줄이는 과정을 반복처리 한다.
여기서, 상기 낚시바늘(Fishing Needle hook) 알고리즘은, 이미지 프레임을 다차원 공간에 벡터화 할 수 있도록 구성하고 내부 컴퓨팅이 가능한 상태로 메모리에 가상화하여 배열된 상태에서 비교 대상 프레임 벡터와 다차원 배열된 비교 프레임 사이를 가상의 낚시를 통과시켜 비교 프레임과 수치화 값의 유의미한 부분(차이)을 구분하고 과정을 반복하여 유의미한 영역(Zone) 데이터를 추출하는 과정이다.
그리고, 화재상황 이전, 이후의 이미지 상태는 화재로 인한 환경의 변화 즉, 열 발생, 온도상승, 색온도 변화(컬러) 등의 변화를 필연적으로 동반하므로 이미지 프레임 분할, 벡터화 과정에서 기존 학습 모델에서의 수치화 결정값과 차이가 발생하게 되고 특정 영역에서의 벡터화 처리와 수치 모델, 분석 영역 최적화를 자체 Niddle 알고리즘으로 최적화 할 수 있게 된다.
이 과정에서 불필요한 이미지 벡터량과 계산량을 줄이는 과정을 거친다. 이후 분석 영역이 결정되면 수치화 모델을 활용해 이벤트 성격을 결정하고 AI 모델을 활용하여 추가 분석을 진행한다. AI는 제공된 벡터 이미지를 지속적인 학습에 의해 이벤트 상황에 대한 의미 분석 정보를 추가로 제공한다. 상기 수치화 모델과 AI분석 결과를 융합하여 이벤트 정보를 결정하고 다음 단계 처리로 넘겨 사용자에게 알람 또는 Alerting을 할 수 있는 모듈로 연계 처리하게 된다.
또한, 상기 AI를 활용하여 이미지 데이터를 비교하는 과정을 구체적으로 살펴보면, AI 활용 이미지 데이터 분석은 학습용 데이터 구간 영역을 대상으로 표준 수치화 변화량 범위값을 결정하고 반대로 신규 비교 대상 이미지를 내부 이미지 프로세싱 과정을 거쳐 AI로 넘겨지면 AI는 넘겨받은 이미지 프레임을 대상으로 이벤트로 유효한 학습 모델에서 학습한 값을 분석하여 유의미한 이벤트 대상 학습 경험을 활용해 최종 분석 수치화 결과값을 리턴하게 된다. 이때 AI분석 모델 활용은 널리 활용중인 CNN, LSTM 모델을 활용하거나 자체적으로 전문 영역에서 추가 개발한 모델도 적용 가능하다. 결론적으로 AI 모델은 유의미한 이벤트 케이스를 학습함으로써 상태변화 모델의 정교성을 지원하는 역할을 한다.
또한, 상기 이미지 수집모듈은, 가속도 센서, 라이다 센서, 소리 감지센서, 온도센서 중 어느 하나 이상을 영상카메라에 융합하여 주변 환경에 대한 진동, 3D 영상 모델링, 소리, 온도 정보 중 어느 하나 이상의 현장정보를 추가로 획득하도록 구비된다.
그리고 상기 추가 현장정보를 영상카메라를 통하여 취득된 이미지 데이터와 매칭하여 이벤트 발생 지점을 검출하도록 구비된다. 즉, 상기 주변 환경에 대한 진동, 소리, 온도 정보 중 적어도 하나 이상의 정보 값 변동 편차가 설정된 범위를 벗어나거나 타임시프트된 기록된 데이터와 비교하여 편차 값이 설정된 범위를 벗어나는 경우 이벤트 발생으로 감지하고, 동시간대 영상카메라를 통하여 취득된 이미지 데이터를 분석하여 이벤트 발생 지점을 검출하도록 구비된다.
이처럼 상기 추가 현장정보를 영상카메라를 통하여 취득된 이미지 데이터와 매칭하여 이벤트 발생 지점을 검출하도록 구비됨에 따라 이벤트 발생 지점에 대한 포커싱 정확도가 향상되고, 정확한 포커싱 원리는 주변의 사고나 위험이 발생하는 조건에서는 대부분 진동(소리 진동) 또는 온도의 변화 평소와 다른 활동들이 병행하여 전조 증상 및 동시 발생이 일어나므로 이를 인지하여 영상 정보와 동시 모니터하는 이미지와 융합과정으로 정확한 이상 상황 유무를 판단할 수 있도록 한다.
일례로서, 도 5 내지 도 6은 영상카메라 및 열화상카메라를 통하여 취득된 이미지 데이터를 통하여 화재발생 상황을 나타내는 것으로, 이때 열화상 카메라를 통한 온도 정보 및 영상카메라를 통한 영상정보를 이용하여 화재로 인한 이벤트 시점 및 지점을 검출하도록 구비된다.
또한, 도 7은 상기 열화상 카메라와 라이다 센서를 이용하여 추출된 3D 영상 모델링 객체를 나타내는 구성으로서, 이때 객체의 이동방향, 이동 속도가 소정의 설정범위를 벗어나는 경우 이상 징후로 판단하고, 해당 영상 및 이미지 데이터를 팝업 알림하도록 구비된다.
그리고, 상기 진동 정보 값과 3D 영상 모델링 객체를 이용하여 더욱 신뢰할 수 있는 데이터를 확보할 수 있고, 기존 영상 데이터에 라이다 영상을 융합하여 처리 시에는 후술하는 변화량 정보를 수치화하는 단계(S20)의 OUTPUT 정밀도 향상을 도모한다.
한편, 취득된 디지털 이미지 종류에 따라 이벤트 감시 처리 모델을 세부적으로 선택할 수 있고, 복수의 영상수집 장치를 활용하여 합성된 이미지 데이터를 처리대상으로 반영 후 영상의 변화량 정도, 상태 변화 감지 이벤트 발생 여부를 판단의 근거가 되는 수치모델의 결과값으로 적용할 수 있다.
2. 변화량 정보를 수치화하는 단계(S20)
본 발명에 따른 변화량 정보를 수치화하는 단계(S20)는, 상기 기록 이미지 데이터를 기반으로 소정의 영역에 대한 상태 변화를 AI 학습 모델과 물리적 표준모델을 결합하여 산출된 변화량을 표준 모델의 기준치와 비교하여 변화량 정보를 수치화하는 단계이다.
일례로서, 상기 AI 학습 모델과 물리적 표준모델을 결합하여 산출된 변화량을 표준 모델의 기준치와 비교하여 변화량 정보를 수치화하는 과정은 앞서 설명한 Fishing needle hook 알고리즘을 활용하여 기존 데이터 대비 변화량을 수치화 할 수 있으며, 다시 부연설명 한다면, 다차원 벡터 상태의 픽셀 공간에서 Needle hook을 통과시켜 동일 구조가 아닌 경우 즉, 변화량이 생긴 경우 hook에 걸리는 비율이 증가하게 된다. 이 알고리즘을 활용하여 변화량을 수치화 할 수 있으며 또한 변화량이 증가한 영역과 변화량의 치우침(Bias, Deviation)을 확인할 수 있다. 이 Bias 영역을 세부 분석함으로써 어떤 이벤트인지 판단할 수 있는 기준이 되고, 이를 AI학습 모델을 활용하여 결정모델을 정교화하는 과정을 실현한다.
상기 (S20)단계에서 물리적 표준모델은, 도 2와 같이 시계열 표준 모델, 계절별 표준 모델, 환경 조건별 표준 모델을 포함하는 기초 학습 표준 모델을 포함하고, 기초 학습 표준 모델을 환경변화 및 유의미한 상태 변화 감지 이벤트 정보 추출에 활용하도록 구비된다.
상기 물리적 표준모델은 학습형 데이터 처리 알고리즘 적용 SW, 시계열, 환경조건별 표준 모델 영상과 분석 효율 향상을 위한 특정 영역 정보를 지정할 수 있도록 구비된다.
한편, 데이터 처리 효율성을 강화하고 AI 활용을 위한 방법으로 이미지 처리를 클라우드 컴퓨팅 환경 필요 시 적용할 수 있고, 내부 처리 SW 알고리즘은 해당 모델의 아이디어 도안의 흐름(모듈간) 을 기반으로 설계하여 솔루션으로 구현하는 것이 바람직하다.
3. 이벤트 정보를 추출하는 단계(S30)
본 발명에 따른 이벤트 정보를 추출하는 단계(S30)는, 상기 변화량에 대한 상한값, 하한값을 포함하는 기준을 설정하고, 측정하고자 하는 유의미한 변화정보를 선택할 수 있도록 매핑(mapping) 또는 레이어링(Layering) 기능을 부가하여 변화에 대한 유의미한 상태 변화 이벤트 정보를 추출하는 단계이다.
이때 매핑 방식은 이미지 스트림을 이미지 프레임 레이어로 분할하고, 분할 된 이미지는 컴퓨터를 활용하여 메모리에 다차원 Array로 배열 배치한다.
이 배열 배치를 활용하여 벡터화 처리를 할 수 있게 된다. 즉, 각 스트림 상의 이미지 데이터는 기존 학습 데이터용의 데이터베이스 자료를 기준으로 신규 이미지를 Overlap 시켜 매핑 할 수 있도록 하고 이미지의 영역 결정은 Overlap 이미지를 활용하여 이미 설명한 Fishing Needle Hook 알고리즘(기법)을 활용하여 특정 판단 필요 이미지 영역 존재 유무를 확인하게 된다. 이때 이미지는 줌인/줌아웃 등을 최적의 Overlap 상태가 되도록 조절한다.
또한, 상기 레이어링(Layering) 방식은, 레이어의 의미와 같이 데이터가 존재할 수 있는 컴퓨팅 가상의 환경을 구성하고 메모리를 활용할 수 있는 마이크로 프로세서 지원을 통해 이미징 처리를 위한 다차원 레이어링, 즉 프레임을 다단계로 적층하는 방식을 기본으로 벡터 처리를 위한 위치 개념을 반영한 픽셀 단위 Location positioning을 메모리에 구현한다. 이 방식은 일부 이미지 처리를 위해 신규로 개선하여 처리한다.
이처럼 상기 가속도 센서, 라이다 센서, 소리 감지센서, 온도센서 검출 정보를 이용하여 주변환경에 대한 이벤트 정보를 추가로 획득하고, 이를 영상 정보와 연동하여 주요 이벤트 발생 지점에 대한 포커싱 처리 과정을 신속 정확하게 처리하므로 공간 환경 상태변화를 능동적으로 감지하여 산업 안전, 범죄나 교통안전 등의 문제를 포함하는 위험요소를 사전에 인지하여 예방할 수 있는 이점이 있다.
한편, 실시간 동영상 처리 기술, 사람이 상태 변화를 확인하기 위해 지속적으로 시각적인 확인할 수 없으므로 영상 카메라를 활용하여 이 영상으로부터 진단, 이상 유무를 확인하기 영상 처리, 분석을 위한 영상정보 처리 프로세스와 필요에 따라 이벤트 처리(SW, HW)장치를 포함한다.
그리고, 영상정보 프로세싱 기술, 이러한 영상 카메라로부터 취득된 영상을 분석, 진단하기 위해 영상 정보 처리 장치와 처리에 필요한 처리 분석 모델을 포함하여 구비된다.
또, 동영상 이미지를 포함한 공간 이미지 데이터 모델링 기술 등 영상 분석(AI 활용 분석 모델 포함)에서 의미 있는 변화에 의한 이벤트 처리와 분석, 진단 결과를 표출하기 위한 모델이 필요하게 되며, 이는 인공지능 학습 모델과 물리적 모델과 같은 다양한 모델링 방법론을 적용할 수 있다.
다만, 상태 변화에 대한 타깃(Target)을 정하는 부분은 상태 변화 감지 이벤트 노출을 위한 기준으로 설정해서 모델링의 결과물로 얻어야 하므로 모델링의 결과물을 도출하기 위한 주제(목적)를 인지하는 기능은 사전에 정의되어 사용한다.
그리고 인공지능 활용 데이터 분석, 이벤트 감지 여부를 판단하기 위한 Input 함수 정의가 위에 언급한 처리(감지) 이벤트의 모델에 입력되어 처리의 결과물을 얻기 위한 방안으로 AI 모델, 물리적 모델과 같은 모델 Base 데이터 분석 기술을 적용하는 것이 바람직하다.
도 8 내지 도 9는 본 발명의 일실시예에 따른 영상 모델 기반 AI 알고리즘을 활용한 공간 환경 상태변화 감지 이벤트처리 시스템의 라이다 센서부를 나타내는 구성도이다.
상기 이미지 수집모듈을 구성하는 라이다 센서부(100)는, 타겟을 향해 센싱광을 출력하는 송광부(110)와, 타겟에 의해 반사되어 입사되는 반사광을 감지하는 수광부(120)와, 송광부(110) 및 수광부(120)를 지지하는 몸체부(130)와, 센싱광 및 반사광의 진행경로 상에 위치되고, 구동부에 의해 회전되어 센싱광 및 상기 반사광을 360°방향으로 굴절 입출력하는 반사부(140)와, 반사부(140)를 보호하도록 설치되고, 상부가 폐쇄되고, 하부가 개방되는 원통형 커버부(150)와, 원통형 커버부(150)를 세척하는 세척수단(160)을 포함한다.
이때, 상기 세척수단(160)은, 몸체부(130)를 감싸도록 설치되고, 상부에 개구가 형성되어 원통형 커버부(150)의 하부가 수용되도록 구비되며, 내부에 세척수가 수용되며, 구동부에 의해 회전운동되는 도넛형 세척조(162)와, 몸체부(130)에 일단이 연결되고, 다른 일단은 세척조(162) 내부로 투입되는 직선레일(163)과, 직선레일(163)과 맞물려 상하방향으로 원통형 커버(150)의 이동을 안내하는 직선캠롤러(164)와, 도넛형 세척조(162) 내주면에 형성되는 나선형 레일(165)과, 나선형 레일(165)과 맞물려 경사운동에 의해 원통형 커버(150)를 상하 방향으로 직선 이동하는 경사캠롤러(166)와, 도넛형 세척조(162) 내주면에 설치되어 원통형 커버(150) 내, 외주면을 세척하도록 스펀지, 브러쉬, 스크래퍼 중 어느 하나 이상으로 구비되는 청소부재(167)와, 원통형 커버(150)를 상부에서 감싸도록 설치되고, 탄성체(168a)에 의해 원통형 커버(150) 측으로 밀착 이송력이 작용하도록 구비되는 외부커버(168)와, 도넛형 세척조(162) 상단부와 외부커버(168) 하단부에 배치되고, 척력에 의해 외부커버(168)를 부양 지지하여, 도넛형 세척조(162) 상단부와 외부커버(168) 하단부 사이에 센싱광 및 반사광이 입출력되는 투시 공간부(169a)를 형성하는 상, 하부 자석모듈(169)(169')을 포함한다.
그리고 상기 도넛형 세척조(162)가 회전운동시, 도 9와 같이 나선형 레일(165)와 경사캠롤러(166)의 경사운동에 의해 원통형 커버(150)가 도넛형 세척조(162) 내측 방향으로 하향 이동되면서 세척수 및 청소부재(167)에 의해 내, 외주면이 세척되고, 상기 외부커버(168)는 상, 하부 자석모듈(169)(169')에 의해 부양지지되어 투시 공간부(169a)가 소정의 사이즈로 유지된다.
이후 상기 도넛형 세척조(162)가 반대 방향으로 회전운동시, 나선형 레일(165)와 경사캠롤러(166)의 경사운동에 의해 원통형 커버(150)가 도넛형 세척조(162) 외측 방향으로 상향 이동되면서 청소부재(167)에 의해 내, 외주면이 세척되고, 상기 외부커버(168)는 상, 하부 자석모듈(169)(169')에 의해 부양지지되면서 탄성체(168a)에 의해 원통형 커버(150) 측으로 밀착 이송되면서 투시 공간부(169a)가 소정의 사이즈로 유지되도록 구비됨에 따라 원통형 커버(150)가 세척되는 중에 센싱광 및 반사광의 입출력을 방해하는 요소가 제거되어 측정 정밀도 향상 및 측정 오류가 방지되는 이점이 있다.
이상과 같이 본 발명의 상세한 설명에는 본 발명의 가장 바람직한 실시 예에 관하여 설명하였으나, 본 발명의 기술범위에 벗어나지 않는 범위 내에서는 다양한 변형실시도 가능하다 할 것이다. 따라서 본 발명의 보호범위는 상기 실시 예에 한정하여 정하여 질 것이 아니라 후술하는 특허청구범위의 기술들과 이들 기술로부터 균등한 기술수단들에까지 보호범위가 인정되어야 할 것이다.
100: 라이다 센서부 110: 송광부 120: 수광부
130: 몸체부 140: 반사부 150: 원통형 커버부
160: 세척수단

Claims (6)

  1. 이미지 수집모듈을 기반으로 취득한 이미지 데이터에 저장된 기록 이미지 데이터를 생성하는 단계(S10); 상기 기록 이미지 데이터를 기반으로 소정의 영역에 대한 상태 변화를 AI 학습 모델과 물리적 표준모델을 결합하여 산출된 변화량을 표준 모델의 기준치와 비교하여 변화량 정보를 수치화하는 단계(S20); 및 상기 변화량에 대한 상한값, 하한값을 포함하는 기준을 설정하고, 측정하고자 하는 유의미한 변화정보를 선택할 수 있도록 매핑(mapping) 또는 레이어링(Layering) 기능을 부가하여 변화에 대한 유의미한 상태 변화 이벤트 정보를 추출하는 단계(S30);를 포함하고,
    상기 이미지 수집모듈은, 영상카메라에 융합된 열 화상카메라를 이용하여 취득된 열 분포 이미지 데이터를 기반으로 타임시프트된 기록 이미지 데이터와 비하도록 구비되며,
    상기 이미지 수집모듈은, 가속도 센서, 라이다 센서, 소리 감지센서, 온도센서 중 어느 하나 이상을 영상카메라에 융합하여 주변환경에 대한 진동, 3D 영상 모델링, 소리, 온도 정보 중 어느 하나 이상의 현장정보를 추가로 획득하고, 추가 현장정보를 영상카메라를 통하여 취득된 이미지 데이터와 매칭하여 이벤트 발생 지점을 검출하도록 구비되고,
    상기 이미지 수집모듈을 구성하는 라이다 센서부(100)는, 타겟을 향해 센싱광을 출력하는 송광부(110)와, 타겟에 의해 반사되어 입사되는 반사광을 감지하는 수광부(120)와, 송광부(110) 및 수광부(120)를 지지하는 몸체부(130)와, 센싱광 및 반사광의 진행경로 상에 위치되고, 구동부에 의해 회전되어 센싱광 및 상기 반사광을 360°방향으로 굴절 입출력하는 반사부(140)와, 반사부(140)를 보호하도록 설치되고, 상부가 폐쇄되고, 하부가 개방되는 원통형 커버부(150)와, 원통형 커버부(150)를 세척하는 세척수단(160)을 포함하며,
    상기 세척수단(160)은, 몸체부(130)를 감싸도록 설치되고, 상부에 개구가 형성되어 원통형 커버부(150)의 하부가 수용되도록 구비되며, 내부에 세척수가 수용되며, 구동부에 의해 회전운동되는 도넛형 세척조(162)와, 몸체부(130)에 일단이 연결되고, 다른 일단은 세척조(162) 내부로 투입되는 직선레일(163)과, 직선레일(163)과 맞물려 상하방향으로 원통형 커버(150)의 이동을 안내하는 직선캠롤러(164)와, 도넛형 세척조(162) 내주면에 형성되는 나선형 레일(165)과, 나선형 레일(165)과 맞물려 경사운동에 의해 원통형 커버(150)를 상하 방향으로 직선 이동하는 경사캠롤러(166)와, 도넛형 세척조(162) 내주면에 설치되어 원통형 커버(150) 내, 외주면을 세척하도록 스펀지, 브러쉬, 스크래퍼 중 어느 하나 이상으로 구비되는 청소부재(167)와, 원통형 커버(150)를 상부에서 감싸도록 설치되고, 탄성체(168a)에 의해 원통형 커버(150) 측으로 밀착 이송력이 작용하도록 구비되는 외부커버(168)와, 도넛형 세척조(162) 상단부와 외부커버(168) 하단부에 배치되고, 척력에 의해 외부커버(168)를 부양 지지하여, 도넛형 세척조(162) 상단부와 외부커버(168) 하단부 사이에 센싱광 및 반사광이 입출력되는 투시 공간부(169a)를 형성하는 상, 하부 자석모듈(169)(169')을 포함하고, 상기 도넛형 세척조(162)가 회전운동시, 나선형 레일(165)와 경사캠롤러(166)의 경사운동에 의해 원통형 커버(150)가 도넛형 세척조(162) 내측 방향으로 하향 이동되면서 세척수 및 청소부재(167)에 의해 내, 외주면이 세척되고, 상기 외부커버(168)는 상, 하부 자석모듈(169)(169')에 의해 부양지지되어 투시 공간부(169a)가 소정의 사이즈로 유지되며, 상기 상기 도넛형 세척조(162)가 반대 방향으로 회전운동시, 나선형 레일(165)와 경사캠롤러(166)의 경사운동에 의해 원통형 커버(150)가 도넛형 세척조(162) 외측 방향으로 상향 이동되면서 청소부재(167)에 의해 내, 외주면이 세척되고, 상기 외부커버(168)는 상, 하부 자석모듈(169)(169')에 의해 부양지지되면서 탄성체(168a)에 의해 원통형 커버(150) 측으로 밀착 이송되면서 투시 공간부(169a)가 소정의 사이즈로 유지되도록 구비되는 것을 특징으로 하는 영상 모델 기반 AI 알고리즘을 활용한 공간 환경 상태변화 감지 이벤트처리 시스템.
  2. 삭제
  3. 삭제
  4. 제 1항에 있어서,
    상기 (S20)단계에서 물리적 표준모델은, 시계열 표준 모델, 계절별 표준 모델, 환경 조건별 표준 모델을 포함하는 기초 학습 표준 모델을 포함하고, 기초 학습 표준 모델을 환경변화 및 유의미한 상태 변화 감지 이벤트 정보 추출에 활용하도록 구비되는 것을 특징으로 하는 영상 모델 기반 AI 알고리즘을 활용한 공간 환경 상태변화 감지 이벤트처리 시스템.
  5. 삭제
  6. 삭제
KR1020210072794A 2021-06-04 2021-06-04 영상 모델 기반 ai 알고리즘을 활용한 공간 환경 상태변화 감지 이벤트처리 시스템 KR102332699B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210072794A KR102332699B1 (ko) 2021-06-04 2021-06-04 영상 모델 기반 ai 알고리즘을 활용한 공간 환경 상태변화 감지 이벤트처리 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210072794A KR102332699B1 (ko) 2021-06-04 2021-06-04 영상 모델 기반 ai 알고리즘을 활용한 공간 환경 상태변화 감지 이벤트처리 시스템

Publications (1)

Publication Number Publication Date
KR102332699B1 true KR102332699B1 (ko) 2021-12-01

Family

ID=78900160

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210072794A KR102332699B1 (ko) 2021-06-04 2021-06-04 영상 모델 기반 ai 알고리즘을 활용한 공간 환경 상태변화 감지 이벤트처리 시스템

Country Status (1)

Country Link
KR (1) KR102332699B1 (ko)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170006079A (ko) * 2015-07-07 2017-01-17 이선구 화재 감시 장치
KR101841882B1 (ko) 2017-10-12 2018-05-04 유가현 무인방범 시스템 및 방법
KR20200057986A (ko) * 2018-11-19 2020-05-27 주식회사 엠쏘텍 라이다 스캐닝 장치
KR20210049555A (ko) * 2019-10-25 2021-05-06 한국과학기술연구원 시설의 센싱 데이터를 이미지화하여 시설의 상태를 판단하는 시스템 및 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170006079A (ko) * 2015-07-07 2017-01-17 이선구 화재 감시 장치
KR101841882B1 (ko) 2017-10-12 2018-05-04 유가현 무인방범 시스템 및 방법
KR20200057986A (ko) * 2018-11-19 2020-05-27 주식회사 엠쏘텍 라이다 스캐닝 장치
KR20210049555A (ko) * 2019-10-25 2021-05-06 한국과학기술연구원 시설의 센싱 데이터를 이미지화하여 시설의 상태를 판단하는 시스템 및 방법

Similar Documents

Publication Publication Date Title
WO2020168960A1 (zh) 一种视频分析方法及装置
CN110516522B (zh) 一种巡检方法及系统
CN101329804B (zh) 安全设备及系统
CN110494861B (zh) 基于图像的异常检测方法和系统
CN109980781A (zh) 一种变电站智能监控系统
CN108319926A (zh) 一种工地现场的安全帽佩戴检测系统及检测方法
CN107644190A (zh) 行人监控方法和装置
CN111401161A (zh) 基于智能视频分析算法实现行为识别的智慧建筑管控系统
CN107122743B (zh) 安防监控方法、装置和电子设备
CN111127825A (zh) 环境预测方法和装置、电子设备
CN112669316A (zh) 电力生产异常监控方法、装置、计算机设备和存储介质
CN112132048A (zh) 一种基于计算机视觉的社区巡更分析方法及系统
KR101979375B1 (ko) 감시 영상의 객체 행동 예측 방법
Barnoviciu et al. Gdpr compliance in video surveillance and video processing application
Kumar et al. Crime activities prediction system in video surveillance by an optimized deep learning framework
CN108564751A (zh) 电缆隧道防入侵的监测方法、装置及系统
Varghese et al. Video anomaly detection in confined areas
KR102332699B1 (ko) 영상 모델 기반 ai 알고리즘을 활용한 공간 환경 상태변화 감지 이벤트처리 시스템
Giacco et al. Toward a system for post-earthquake safety evaluation of masonry buildings
KR101814040B1 (ko) 3차원 깊이 정보 초점 조절을 이용한 통합 관제 장치
Pitafi et al. Revolutionizing Perimeter Intrusion Detection: A Machine Learning-Driven Approach with Curated Dataset Generation for Enhanced Security
Jojo et al. Intruder detection system using IoT with adaptive face monitoring and motion sensing algorithm
KR20220072499A (ko) 다중 뷰 영상 기반 행위 인지 방법, 장치 및 시스템
Mohammed et al. Implementation of human detection on raspberry pi for smart surveillance
Gorodnichy et al. Recognizing people and their activities in surveillance video: technology state of readiness and roadmap

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant