KR20210070763A - Ｐｉｒ 센서를 이용한 딥러닝 기반 객체 인지 시스템 및 방법 - Google Patents

Ｐｉｒ 센서를 이용한 딥러닝 기반 객체 인지 시스템 및 방법 Download PDF

Info

Publication number
KR20210070763A
KR20210070763A KR1020190160873A KR20190160873A KR20210070763A KR 20210070763 A KR20210070763 A KR 20210070763A KR 1020190160873 A KR1020190160873 A KR 1020190160873A KR 20190160873 A KR20190160873 A KR 20190160873A KR 20210070763 A KR20210070763 A KR 20210070763A
Authority
KR
South Korea
Prior art keywords
pir sensor
data
object recognition
deep learning
neural network
Prior art date
Application number
KR1020190160873A
Other languages
English (en)
Other versions
KR102388782B1 (ko
Inventor
김종덕
이재민
김동현
Original Assignee
부산대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 부산대학교 산학협력단 filed Critical 부산대학교 산학협력단
Priority to KR1020190160873A priority Critical patent/KR102388782B1/ko
Priority to US17/082,225 priority patent/US11042768B1/en
Publication of KR20210070763A publication Critical patent/KR20210070763A/ko
Application granted granted Critical
Publication of KR102388782B1 publication Critical patent/KR102388782B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/19—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using infrared-radiation detection systems
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/19—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using infrared-radiation detection systems
    • G08B13/191—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using infrared-radiation detection systems using pyroelectric sensor means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/30—Scenes; Scene-specific elements in albums, collections or shared content, e.g. social network photos or video
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B29/00—Checking or monitoring of signalling or alarm systems; Prevention or correction of operating errors, e.g. preventing unauthorised operation
    • G08B29/18—Prevention or correction of operating errors
    • G08B29/185—Signal analysis techniques for reducing or preventing false alarms or for enhancing the reliability of the system
    • G08B29/186—Fuzzy logic; neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Automation & Control Theory (AREA)
  • Fuzzy Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • Geophysics And Detection Of Objects (AREA)

Abstract

본 발명은 새로운 형태의 PIR 센서와 머신 러닝 기반 물체 감지 알고리즘으로 인간과 물체를 식별할 수 있도록 한 PIR 센서를 이용한 딥러닝 기반 객체 인지 시스템 및 방법에 관한 것으로, 샘플링 주기에 따라 PIR 센서의 값을 수집하는 데이터 수집 프로세스를 수행하는 데이터 수집 프로세스 실행부;수집된 PIR 센서의 값들을 인공신경망 모델에 입력하고 그 결과는 RESTful API를 이용하여 클라우드로 전달하는 데이터 분류 프로세스를 수행하는 데이터 분류 프로세스 실행부;데이터 분류 프로세스 실행부로부터 받은 정보를 데이터베이스에 저장하고 웹 어플리케이션이 저장된 정보를 요청할 때 정보를 전달하고, RESTful API를 이용하여 기기에서 수집 및 분류하고 있는 정보를 표현하는 객체 인지 클라우드 시스템;을 포함하는 것이다.

Description

ＰＩＲ 센서를 이용한 딥러닝 기반 객체 인지 시스템 및 방법{System and Method for Deep Learning Based Object Detection Using ＰＩＲ Sensor}
본 발명은 객체 인지 시스템에 관한 것으로, 구체적으로 새로운 형태의 PIR 센서와 머신 러닝 기반 물체 감지 알고리즘으로 인간과 물체를 식별할 수 있도록 한 PIR 센서를 이용한 딥러닝 기반 객체 인지 시스템 및 방법에 관한 것이다.
물체 감지가 가능한 다양한 센서 중 하나인 PIR(Passive infra-red) 센서는 초전효과에 의한 전압변화를 통해 시계열 데이터를 출력하며, 시간에 따라 변화하는 주변의 원적외선 방출량 차이를 수동적으로 받아들임으로써 값이 변한다.
원적외선 방출량에 변화를 주는 요소는 원적외선을 방출하는 물체의 표면적, 표면의 열, 속도 등으로 다양하며, 각 요소마다 값을 변화시키는 양 또한 다르다.
종래 기술의 물체 감지 방법은 임계치 혹은 간단한 알고리즘을 통해 판단하는 것이다. 값이 다양한 요소에 영향을 받기 때문에 종래 기술의 방법으로 물체의 유무를 판단한다면 결과를 신뢰할 수 있다고 말하기 어렵고, 응용이 제한적이다.
최근 많은 관련연구가 진행중인 기계학습은 다양한 변수를 고려한 결론 도출이 가능하므로 PIR 센서를 활용한 여러 응용을 위해 활용할 수 있다.
하지만, 수용 가능한 성능을 내도록 학습할 때, 필요한 양만큼의 데이터 수집과 데이터에 의미를 부여하는 작업은 많은 비용이 소요되는 문제가 있다.
한편, 보안 시스템에는 침입을 방지하고 PIR 기반 모션 센서를 사용하여 경보를 발생시키는 수많은 광선 감지 기계가 개발되고 있다.
그러나 물체와 주변 환경 사이의 온도 차이로 작동하는 PIR 기반 모션 감지 센서는 물체가 센서에 더 가까이 이동할 때 매우 민감하다.
그러므로 물체가 주변 환경을 예열하기에 충분히 가까울 때는 민감도가 떨어지는 문제가 있고, 여름과 같이 주변 온도가 인체 온도에 더 가까운 경우 센서가 겨울보다 더 많은 문제를 나타낸다.
또한, 인체가 느리게 움직이거나 열을 차단하는 덮개가 있는 경우에도 센서의 감도가 저하되는 경향이 있다.
예를 들어, 우산을 들고 있거나 비옷을 입고 있는 경우 우산이나 비옷은 신체에서 발생하는 열을 차단하며 PIR 센서는 움직임을 감지하기가 어렵다.
이러한 센서의 감도 저하 문제는 햇빛의 경우에도 마찬가지로 발생한다.
종래 기술에서 PIR 센서를 이용하는 침입 방지 시스템은 PIR 센서의 임계값을 기반으로 동작을 감지한다. 디지털 로직 값이 고정 임계값을 초과하면 침입으로 간주되는 HIGH를 생성하고, 그렇지 않으면 침입으로 간주되지 않는 LOW를 생성한다.
이와 같은 종래 기술의 PIR 센서를 이용하는 침입 방지 시스템은 객체가 있는지 여부만 검출할 수 있고, 검출된 객체를 식별하는 것은 어렵다.
따라서, 새로운 형태의 PIR 센서와 머신 러닝 기반 물체 감지 알고리즘으로 인간과 물체를 식별할 수 있도록 하는 객체 인지 시스템에 관한 기술의 개발이 요구되고 있다.
대한민국 등록특허 제10-1551374호 대한민국 공개특허 제10-2014-0082726호 대한민국 등록특허 제10-1616790호
본 발명은 종래 기술의 객체 인지 시스템의 문제점을 해결하기 위한 것으로, 새로운 형태의 PIR 센서와 머신 러닝 기반 물체 감지 알고리즘으로 인간과 물체를 식별할 수 있도록 한 PIR 센서를 이용한 딥러닝 기반 객체 인지 시스템 및 방법을 제공하는데 그 목적이 있다.
본 발명은 PIR 센서로부터 획득된 다양한 신호의 추출 및 PIR 데이터 처리를 통하여 신호의 주파수 성분이 특징 벡터로 추출되도록 하여 객체 인지 성능을 높일 수 있도록 한 PIR 센서를 이용한 딥러닝 기반 객체 인지 시스템 및 방법을 제공하는데 그 목적이 있다.
본 발명은 CNN(Artificial Convolutional Neural Network)을 통한 학습 방법과 학습 후 분류를 통하여 객체 인지 성능을 높일 수 있도록 한 PIR 센서를 이용한 딥러닝 기반 객체 인지 시스템 및 방법을 제공하는데 그 목적이 있다.
본 발명은 사물-클라우드를 활용한 실시간 웹 기반 모니터링 시스템을 구축하여 객체 인지 성능 및 활용성을 높일 수 있도록 한 PIR 센서를 이용한 딥러닝 기반 객체 인지 시스템 및 방법을 제공하는데 그 목적이 있다.
본 발명은 딥러닝을 이용한 측정 데이터의 객체 인지 기술을 활용하여 오탐(False-alarm)율을 낮출 수 있도록 한 PIR 센서를 이용한 딥러닝 기반 객체 인지 시스템 및 방법을 제공하는데 그 목적이 있다.
본 발명의 다른 목적들은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
상기와 같은 목적을 달성하기 위한 본 발명에 따른 PIR 센서를 이용한 딥러닝 기반 객체 인지 시스템은 샘플링 주기에 따라 PIR 센서의 값을 수집하는 데이터 수집 프로세스를 수행하는 데이터 수집 프로세스 실행부;수집된 PIR 센서의 값들을 인공신경망 모델에 입력하고 그 결과는 RESTful API를 이용하여 클라우드로 전달하는 데이터 분류 프로세스를 수행하는 데이터 분류 프로세스 실행부;데이터 분류 프로세스 실행부로부터 받은 정보를 데이터베이스에 저장하고 웹 어플리케이션이 저장된 정보를 요청할 때 정보를 전달하고, RESTful API를 이용하여 기기에서 수집 및 분류하고 있는 정보를 표현하는 객체 인지 클라우드 시스템;을 포함하는 것을 특징으로 한다.
여기서, PIR 센서는 특정 영역 내에서 전압 스케일을 기반으로 출력을 제공하여, 아날로그 신호 샘플에서 FFT(Fast Fourier Transform) 처리 주파수가 생성되어 CNN의 특징 벡터로 사용되도록 하는 것을 특징으로 한다.
그리고 객체 인지 클라우드 시스템은, 데이터 분류 프로세스 실행부로부터 받은 정보를 데이터베이스에 저장하고 웹 어플리케이션이 저장된 정보를 요청할 때 정보를 전달하는 RESTful API 프레임워크와, RESTful API를 이용하여 기기에서 수집 및 분류하고 있는 정보를 표현하는 모니터링 웹 어플리케이션을 포함하는 것을 특징으로 한다.
그리고 데이터 수집 프로세스 실행부는 수집된 PIR 센서의 값들을 인공신경망 모델에 입력하고, 인공신경망은 사람의 적외선 파형과 동물의 적외선 파형이 다른 것을 기반으로 인간 움직임과 동물 움직임의 신호 패턴을 학습하여 인지된 객체가 사람인지 동물인지 구분하여, 입력 데이터를 물체 없음, 동물, 사람 3가지 결과 중 하나로 분류하고 해당 객체의 거리를 나타내는 것을 특징으로 한다.
다른 목적을 달성하기 위한 본 발명에 따른 PIR 센서를 이용한 딥러닝 기반 객체 인지 방법은 샘플링 주기에 따라 PIR 센서의 값을 수집하는 데이터 수집 프로세스를 수행하는 데이터 수집 프로세스 실행 단계;수집된 PIR 센서의 값들을 인공신경망 모델에 입력하고 그 결과는 RESTful API를 이용하여 클라우드로 전달하는 데이터 분류 프로세스를 수행하는 데이터 분류 프로세스 실행 단계;데이터 분류 프로세스로부터 받은 정보를 데이터베이스에 저장하고 웹 어플리케이션이 저장된 정보를 요청할 때 정보를 전달하고, RESTful API를 이용하여 기기에서 수집 및 분류하고 있는 정보를 표현하는 객체 인지 단계;를 포함하는 것을 특징으로 한다.
여기서, 데이터 수집 프로세스 실행 단계에서, 수집된 PIR 센서의 값들을 인공신경망 모델에 입력하고, 인공신경망은 사람의 적외선 파형과 동물의 적외선 파형이 다른 것을 기반으로 인간 움직임과 동물 움직임의 신호 패턴을 학습하여 인지된 객체가 사람인지 동물인지 구분하여, 입력 데이터를 물체 없음, 동물, 사람 3가지 결과 중 하나로 분류하고 해당 객체의 거리를 나타내는 것을 특징으로 한다.
그리고 데이터 분류 프로세스 실행 단계에서, 인공신경망을 통한 계산으로 마이크로프로세서에 과부하를 주는 것을 막기 위하여 2개 이상이 중복되어 생성되지 않도록 제한을 하고, 데이터 분류 프로세스의 계산 시간
Figure pat00001
은
Figure pat00002
으로 정의하고, 분류 프로세스의 개수 제약을 시간으로 표현하면
Figure pat00003
인 것을 특징으로 한다.
그리고
Figure pat00004
의 범위가
Figure pat00005
이라고 할 때, 데이터 수집 프로세스는
Figure pat00006
의 최대 시간
Figure pat00007
보다 긴 주기로 발생하여 프로세스의 중복 생성을 막을 수 있도록 하고,
Figure pat00008
주기로 데이터 수집 프로세스를 생성하는 것을 특징으로 한다.
그리고 인공신경망은, CNN을 활용하여 데이터 특징 추출하기 위하여 PIR 센서에서 수신될 수 있는 사람과 동물의 파형들을 학습하여 노이즈와 환경 변화로 인한 데이터 값의 변질로부터 대응할 수 있도록 하는 데이터 특징 추출 신경망과,RNN망을 활용한 특징의 연관성을 구분하기 위하여 하나의 데이터 샘플로부터 추출된 여러 특징들을 토대로 연관성을 판단하여 최종 결과를 도출하는 특징 연관성 구분 신경망으로 이루어지는 것을 특징으로 한다.
그리고 결과 데이터는 사람, 동물, 객체 없음 3가지 결과 중 하나로 분류하고 해당 객체의 거리를 나타내고, 구분 결과 중 거리는 연속된 데이터이며 선형 회귀(Linear Regression),사람, 동물, 객체 없음은 존재 유/무에 따라 0과 1에 해당하는 결과를 나타내야 하며 논리 회귀(Logistic Regression)로, 객체 인지를 위한 알고리즘을 두 회귀 방법이 합쳐진 형태로 구성하는 것을 특징으로 한다.
그리고 선형 회귀와 논리 회귀의 비용 함수(Cost Function)은 차이가 있으며 최종 비용함수는,
Figure pat00009
,
Figure pat00010
으로 두 값을 합쳐 계산하는 것을 특징으로 한다.
이상에서 설명한 바와 같은 본 발명에 따른 PIR 센서를 이용한 딥러닝 기반 객체 인지 시스템 및 방법은 다음과 같은 효과가 있다.
첫째, 새로운 형태의 PIR 센서와 머신 러닝 기반 물체 감지 알고리즘으로 인간과 물체를 식별할 수 있도록 한다.
둘째, PIR 센서로부터 획득된 다양한 신호의 추출 및 PIR 데이터 처리를 통하여 신호의 주파수 성분이 특징 벡터로 추출되도록 하여 객체 인지 성능을 높일 수 있도록 한다.
셋째, CNN(Artificial Convolutional Neural Network)을 통한 학습 방법과 학습 후 분류를 통하여 객체 인지 성능을 높이고, 사물-클라우드를 활용한 실시간 웹 기반 모니터링 시스템을 구축하여 객체 인지 성능 및 활용성을 높일 수 있도록 한다.
넷째, 딥러닝을 이용한 측정 데이터의 객체 인지 기술을 활용하여 오탐(False-alarm)율을 낮출 수 있도록 한다.
도 1은 본 발명에 따른 PIR 센서를 이용한 딥러닝 기반 객체 인지 시스템의 전체 구성도
도 2a와 도 2b는 본 발명에 따른 PIR 센서를 이용한 딥러닝 기반 객체 인지 시스템의 동작 특성을 나타낸 구성도
도 3은 본 발명에 따른 PIR 센서를 이용한 딥러닝 기반 객체 인지 시스템의 상세 구성도
도 4는 본 발명에 따른 PIR 센서를 이용한 딥러닝 기반 객체 인지 시스템의 이벤트 처리 과정을 나타낸 흐름도
도 5는 본 발명에 따른 PIR 센서를 이용한 딥러닝 기반 객체 인지 방법을 나타낸 플로우 차트
도 6은 실시간 데이터 처리 과정을 나타낸 구성도
도 7a와 도 7b는 본 발명에 따른 PIR 센서를 이용한 딥러닝 기반 객체 인지 알고리즘을 설명하기 위한 구성도
이하, 본 발명에 따른 PIR 센서를 이용한 딥러닝 기반 객체 인지 시스템 및 방법의 바람직한 실시 예에 관하여 상세히 설명하면 다음과 같다.
본 발명에 따른 PIR 센서를 이용한 딥러닝 기반 객체 인지 시스템 및 방법의 특징 및 이점들은 이하에서의 각 실시 예에 대한 상세한 설명을 통해 명백해질 것이다.
도 1은 본 발명에 따른 PIR 센서를 이용한 딥러닝 기반 객체 인지 시스템의 전체 구성도이고, 도 2a와 도 2b는 본 발명에 따른 PIR 센서를 이용한 딥러닝 기반 객체 인지 시스템의 동작 특성을 나타낸 구성도이다.
본 발명에 따른 PIR 센서를 이용한 딥러닝 기반 객체 인지 시스템 및 방법은 새로운 형태의 PIR 센서와 머신 러닝 기반 물체 감지 알고리즘으로 인간과 물체를 식별할 수 있도록 한 것으로, PIR 센서로부터 획득된 다양한 신호의 추출 및 PIR 데이터 처리를 통하여 신호의 주파수 성분이 특징 벡터로 추출되도록 하여 객체 인지 성능을 높일 수 있도록 한 것이다.
특히, CNN(Artificial Convolutional Neural Network)을 통한 학습 방법과 학습 후 분류를 통하여 객체 인지 성능을 높이고, 사물-클라우드를 활용한 실시간 웹 기반 모니터링 시스템을 구축하여 객체 인지 성능 및 활용성을 높일 수 있도록 한 것이다.
도 1은 본 발명에 따른 PIR 센서를 이용한 딥러닝 기반 객체 인지 시스템의 전체 구성을 나타낸 것으로, 외부 객체의 적외선 신호를 PIR 센서가 감지하고, CNN(Artificial Convolutional Neural Network)을 통한 학습 방법과 학습 후 분류를 통하여 딥러닝 기반 객체 인지 클라우드에서 객체 인지를 하여 결과를 제공하는 것이다.
디지털 PIR(Pyroelectric Infra-Red) 센서를 사용하는 침입 방지 시스템은 사람이 아니라 물체에 오류를 발생시키는데, 이 오류를 해결하기 위해 본 발명에서는 기계 학습을 사용하는 아날로그 PIR 센서 및 물체 감지 시스템을 구축한다.
도 2a에서와 같이, 이전 기술의 PIR 센서를 이용하는 침입 방지 시스템은 PIR 센서의 임계값을 기반으로 동작을 감지한다. 디지털 로직 값이 고정 임계값을 초과하면 침입으로 간주되는 HIGH를 생성하고, 그렇지 않으면 침입으로 간주되지 않는 LOW를 생성한다.
이에 비하여, 아날로그 PIR 센서는 도 2b에서와 같이, 임계값을 사용하여 이진 출력을 생성하지 않고 특정 영역 내에서 다양한 전압 스케일을 기반으로 출력을 제공한다.
본 발명에서는 아날로그 PIR 센서를 사용하여 얻은 아날로그 신호 샘플에서 FFT (Fast Fourier Transform) 처리 주파수가 생성되어 CNN의 특징 벡터로 사용되도록 한다.
본 발명에서는 인공 신경망(CNN)을 이용하여 인간 움직임과 동물 움직임의 신호 패턴을 학습하여 인지된 객체가 사람인지 동물인지 식별할 수 있도록 한다.
도 2b에서와 같이, 사람의 적외선 파형과 동물의 적외선 파형이 다른 것을 기반으로 사물의 종류 및 거리를 판단할 수 있도록 한 것이다.
본 발명에 따른 PIR 센서를 이용한 딥러닝 기반 객체 인지 시스템의 상세 구성을 설명하면 다음과 같다.
도 3은 본 발명에 따른 PIR 센서를 이용한 딥러닝 기반 객체 인지 시스템의 상세 구성도이다.
본 발명에 따른 PIR 센서를 이용한 딥러닝 기반 객체 인지 시스템은 샘플링 주기에 따라 PIR 센서의 값을 수집하는 데이터 수집 프로세스를 수행하는 데이터 수집 프로세스 실행부(100)와, 수집된 PIR 센서의 값들을 인공신경망 모델에 입력하고 그 결과는 RESTful API를 이용하여 클라우드로 전달하는 데이터 분류 프로세스를 수행하는 데이터 분류 프로세스 실행부(200)와, 데이터 분류 프로세스 실행부(200)로부터 받은 정보를 데이터베이스에 저장하고 웹 어플리케이션이 저장된 정보를 요청할 때 정보를 전달하고, RESTful API를 이용하여 기기에서 수집 및 분류하고 있는 정보를 표현하는 객체 인지 클라우드 시스템(300)을 포함한다.
여기서, 객체 인지 클라우드 시스템(300)은 데이터 분류 프로세스 실행부(200)로부터 받은 정보를 데이터베이스에 저장하고 웹 어플리케이션이 저장된 정보를 요청할 때 정보를 전달하는 RESTful API 프레임워크와, RESTful API를 이용하여 기기에서 수집 및 분류하고 있는 정보를 표현하는 모니터링 웹 어플리케이션을 포함한다.
도 4는 본 발명에 따른 PIR 센서를 이용한 딥러닝 기반 객체 인지 시스템의 이벤트 처리 과정을 나타낸 흐름도이다.
데이터 수집 프로세스 실행부(100)는 샘플링 주기에 따라 PIR 센서의 값을 수집하고, 수집된 PIR 센서의 값들을 학습한 인공신경망 모델에 입력한다.
학습한 인공신경망은 입력 데이터가 물체 없음, 동물, 사람 3가지 결과 중 하나로 분류하고 해당 객체의 거리를 나타낸다.
그 결과는 RESTful API를 이용하여 객체 인지 클라우드 시스템(300)으로 전달한다.
객체 인지 클라우드 시스템(300)은 RESTful API 프레임워크와 모니터링 웹 어플리케이션을 구성하고, RESTful API 프레임워크가 데이터 분류 프로세스 실행부(200)로부터 받은 정보를 데이터베이스에 저장하고 웹 어플리케이션이 저장된 정보를 요청할 때 정보를 전달한다.
모니터링 웹 어플리케이션은 프레임워크에서 제공하는 RESTful API를 이용하여 다양한 기기에서 수집 및 분류하고 있는 정보를 표현한다.
본 발명에 따른 PIR 센서를 이용한 딥러닝 기반 객체 인지 방법을 구체적으로 설명하면 다음과 같다.
도 5는 본 발명에 따른 PIR 센서를 이용한 딥러닝 기반 객체 인지 방법을 나타낸 플로우 차트이다.
본 발명에 따른 PIR 센서를 이용한 딥러닝 기반 객체 인지 방법응 먼저, 사물의 데이터 수집 프로세스 실행부(100)가 PIR 센서가 측정한 적외선 양을 주기적으로 수신(샘플링 비율 : 100Hz)한다.(S501)
사물은 100Hz의 비율로 PIR 센서의 값을 수집한다. 데이터 수집 개수가 300개에 도달하였을 때, 분류 프로세스를 생성한다.
분류 프로세스가 생성될 때, 수집된 데이터 중 일부분(15개)을 제거하고 수집을 계속한다. 마찬가지로 데이터 개수가 300개에 도달할 경우, 분류 프로세스를 생성한다.
이어, 사물의 데이터 분류 프로세스 실행부(200)가 수집한 PIR 센서의 값들을 인공신경망에 입력하여 분류하고(S502), 사물의 데이터 분류 프로세스 실행부(200)는 분류한 결과를 객체 인지 클라우드 시스템(300)으로 전송한다.(S503)
객체 인지 클라우드 시스템(300)은 사물로부터 수신한 데이터를 저장 및 표현하고(S504), 비인가자 유무를 판단하여(S505) 비인가자 알림을 수행한다.(S506)
도 6은 실시간 데이터 처리 과정을 나타낸 구성도이다.
데이터 분류 프로세스 실행부(200)는 인공신경망을 계산하기 때문에 마이크로프로세서에 과부하를 줄 수 있다. 따라서 본 발명에서는 2개 이상이 중복되어 생성되지 않도록 제한할 필요가 있다.
데이터 분류 프로세스의 계산 시간
Figure pat00011
은 다음과 같이 정의한다.
Figure pat00012
또한 분류 프로세스의 개수 제약을 시간으로 표현하면 다음과 같다.
Figure pat00013
Figure pat00014
의 범위가 대략
Figure pat00015
이라고 할 때, 데이터 수집 프로세스는
Figure pat00016
의 최대 시간
Figure pat00017
보다 긴 주기로 발생하면 프로세스의 중복 생성을 막을 수 있다.
따라서, 본 발명에서는
Figure pat00018
주기로 데이터 수집 프로세스를 생성한다.
그리고 도 7a와 도 7b는 본 발명에 따른 PIR 센서를 이용한 딥러닝 기반 객체 인지 알고리즘을 설명하기 위한 구성도이다.
객체 인지 알고리즘은 인공신경망을 활용한다. 입력 데이터는 총 300개의 샘플 데이터를 말한다.
그리고 인공신경망은 CNN을 활용하여 데이터 특징 추출하기 위한 신경망과 RNN망을 활용한 특징의 연관성을 구분하기 위한 신경망으로 구성되는 것이 바람직하다.
데이터 특징 추출 신경망은 PIR 센서에서 수신될 수 있는 사람과 동물의 여러 파형들을 학습한다. 이는 또한 노이즈와 환경 변화로 인한 데이터 값의 변질로부터 대응할 수 있다.
그리고 특징 연관성 구분 신경망은 하나의 데이터 샘플로부터 추출된 여러 특징들을 토대로 연관성을 판단하여 최종 결과를 도출한다.
결과 데이터는 사람, 동물, 객체 없음 총 3개의 분류 데이터 및 거리(m)를 나타낸다.
구분 결과 중 거리는 연속된 데이터이며 선형 회귀(Linear Regression)와 같다. 구분 결과 중 나머지(사람, 동물, 객체 없음)는 존재 유/무에 따라 0과 1에 해당하는 결과를 나타내야 하며 논리 회귀(Logistic Regression)와 같다.
본 발명에서의 객체 인지 알고리즘은 두 회귀 방법이 합쳐진 형태로 구성한다.
선형 회귀와 논리 회귀의 비용 함수(Cost Function)은 차이가 있으며 최종 비용함수는 두 값을 합쳐 계산한다.
Figure pat00019
Figure pat00020
이상에서 설명한 본 발명에 따른 PIR 센서를 이용한 딥러닝 기반 객체 인지 시스템 및 방법은 인공 신경망(CNN)을 이용하여 인간 움직임과 동물 움직임의 신호 패턴을 학습하여 인지된 객체가 사람인지 동물인지 식별할 수 있도록 한 것으로, 사람의 적외선 파형과 동물의 적외선 파형이 다른 것을 기반으로 사물의 종류 및 거리를 판단할 수 있도록 한 것이다.
이상에서의 설명에서와 같이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 본 발명이 구현되어 있음을 이해할 수 있을 것이다.
그러므로 명시된 실시 예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 하고, 본 발명의 범위는 전술한 설명이 아니라 특허청구 범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.
100. 데이터 수집 프로세스 실행부
200. 데이터 분류 프로세스 실행부
300. 딥러닝 기반 객체 인지 클라우드

Claims (11)

  1. 샘플링 주기에 따라 PIR 센서의 값을 수집하는 데이터 수집 프로세스를 수행하는 데이터 수집 프로세스 실행부;
    수집된 PIR 센서의 값들을 인공신경망 모델에 입력하고 그 결과는 RESTful API를 이용하여 클라우드로 전달하는 데이터 분류 프로세스를 수행하는 데이터 분류 프로세스 실행부;
    데이터 분류 프로세스 실행부로부터 받은 정보를 데이터베이스에 저장하고 웹 어플리케이션이 저장된 정보를 요청할 때 정보를 전달하고, RESTful API를 이용하여 기기에서 수집 및 분류하고 있는 정보를 표현하는 객체 인지 클라우드 시스템;을 포함하는 것을 특징으로 하는 PIR 센서를 이용한 딥러닝 기반 객체 인지 시스템.
  2. 제 1 항에 있어서, PIR 센서는 특정 영역 내에서 전압 스케일을 기반으로 출력을 제공하여,
    아날로그 신호 샘플에서 FFT(Fast Fourier Transform) 처리 주파수가 생성되어 CNN의 특징 벡터로 사용되도록 하는 것을 특징으로 하는 PIR 센서를 이용한 딥러닝 기반 객체 인지 시스템.
  3. 제 1 항에 있어서, 객체 인지 클라우드 시스템은,
    데이터 분류 프로세스 실행부로부터 받은 정보를 데이터베이스에 저장하고 웹 어플리케이션이 저장된 정보를 요청할 때 정보를 전달하는 RESTful API 프레임워크와,
    RESTful API를 이용하여 기기에서 수집 및 분류하고 있는 정보를 표현하는 모니터링 웹 어플리케이션을 포함하는 것을 특징으로 하는 PIR 센서를 이용한 딥러닝 기반 객체 인지 시스템.
  4. 제 1 항에 있어서, 데이터 수집 프로세스 실행부는 수집된 PIR 센서의 값들을 인공신경망 모델에 입력하고,
    인공신경망은 사람의 적외선 파형과 동물의 적외선 파형이 다른 것을 기반으로 인간 움직임과 동물 움직임의 신호 패턴을 학습하여 인지된 객체가 사람인지 동물인지 구분하여,
    입력 데이터를 물체 없음, 동물, 사람 3가지 결과 중 하나로 분류하고 해당 객체의 거리를 나타내는 것을 특징으로 하는 PIR 센서를 이용한 딥러닝 기반 객체 인지 시스템.
  5. 샘플링 주기에 따라 PIR 센서의 값을 수집하는 데이터 수집 프로세스를 수행하는 데이터 수집 프로세스 실행 단계;
    수집된 PIR 센서의 값들을 인공신경망 모델에 입력하고 그 결과는 RESTful API를 이용하여 클라우드로 전달하는 데이터 분류 프로세스를 수행하는 데이터 분류 프로세스 실행 단계;
    데이터 분류 프로세스로부터 받은 정보를 데이터베이스에 저장하고 웹 어플리케이션이 저장된 정보를 요청할 때 정보를 전달하고, RESTful API를 이용하여 기기에서 수집 및 분류하고 있는 정보를 표현하는 객체 인지 단계;를 포함하는 것을 특징으로 하는 PIR 센서를 이용한 딥러닝 기반 객체 인지 방법.
  6. 제 5 항에 있어서, 데이터 수집 프로세스 실행 단계에서,
    수집된 PIR 센서의 값들을 인공신경망 모델에 입력하고, 인공신경망은 사람의 적외선 파형과 동물의 적외선 파형이 다른 것을 기반으로 인간 움직임과 동물 움직임의 신호 패턴을 학습하여 인지된 객체가 사람인지 동물인지 구분하여,
    입력 데이터를 물체 없음, 동물, 사람 3가지 결과 중 하나로 분류하고 해당 객체의 거리를 나타내는 것을 특징으로 하는 PIR 센서를 이용한 딥러닝 기반 객체 인지 방법.
  7. 제 5 항에 있어서, 데이터 분류 프로세스 실행 단계에서,
    인공신경망을 통한 계산으로 마이크로프로세서에 과부하를 주는 것을 막기 위하여 2개 이상이 중복되어 생성되지 않도록 제한을 하고,
    데이터 분류 프로세스의 계산 시간
    Figure pat00021
    은
    Figure pat00022
    으로 정의하고,
    분류 프로세스의 개수 제약을 시간으로 표현하면
    Figure pat00023
    인 것을 특징으로 하는 PIR 센서를 이용한 딥러닝 기반 객체 인지 방법.
  8. 제 7 항에 있어서,
    Figure pat00024
    의 범위가
    Figure pat00025
    이라고 할 때,
    데이터 수집 프로세스는
    Figure pat00026
    의 최대 시간
    Figure pat00027
    보다 긴 주기로 발생하여 프로세스의 중복 생성을 막을 수 있도록 하고,
    Figure pat00028
    주기로 데이터 수집 프로세스를 생성하는 것을 특징으로 하는 PIR 센서를 이용한 딥러닝 기반 객체 인지 방법.
  9. 제 5 항에 있어서, 인공신경망은,
    CNN을 활용하여 데이터 특징 추출하기 위하여 PIR 센서에서 수신될 수 있는 사람과 동물의 파형들을 학습하여 노이즈와 환경 변화로 인한 데이터 값의 변질로부터 대응할 수 있도록 하는 데이터 특징 추출 신경망과,
    RNN망을 활용한 특징의 연관성을 구분하기 위하여 하나의 데이터 샘플로부터 추출된 여러 특징들을 토대로 연관성을 판단하여 최종 결과를 도출하는 특징 연관성 구분 신경망으로 이루어지는 것을 특징으로 하는 PIR 센서를 이용한 딥러닝 기반 객체 인지 방법.
  10. 제 9 항에 있어서, 결과 데이터는 사람, 동물, 객체 없음 3가지 결과 중 하나로 분류하고 해당 객체의 거리를 나타내고,
    구분 결과 중 거리는 연속된 데이터이며 선형 회귀(Linear Regression),
    사람, 동물, 객체 없음은 존재 유/무에 따라 0과 1에 해당하는 결과를 나타내야 하며 논리 회귀(Logistic Regression)로,
    객체 인지를 위한 알고리즘을 두 회귀 방법이 합쳐진 형태로 구성하는 것을 특징으로 하는 PIR 센서를 이용한 딥러닝 기반 객체 인지 방법.
  11. 제 10 항에 있어서, 선형 회귀와 논리 회귀의 비용 함수(Cost Function)은 차이가 있으며 최종 비용함수는,
    Figure pat00029
    ,
    Figure pat00030
    으로 두 값을 합쳐 계산하는 것을 특징으로 하는 PIR 센서를 이용한 딥러닝 기반 객체 인지 방법.
KR1020190160873A 2019-12-05 2019-12-05 Ｐｉｒ 센서를 이용한 딥러닝 기반 객체 인지 시스템 및 방법 KR102388782B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020190160873A KR102388782B1 (ko) 2019-12-05 2019-12-05 Ｐｉｒ 센서를 이용한 딥러닝 기반 객체 인지 시스템 및 방법
US17/082,225 US11042768B1 (en) 2019-12-05 2020-10-28 Deep learning-based object recognition system and method using PIR sensor

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190160873A KR102388782B1 (ko) 2019-12-05 2019-12-05 Ｐｉｒ 센서를 이용한 딥러닝 기반 객체 인지 시스템 및 방법

Publications (2)

Publication Number Publication Date
KR20210070763A true KR20210070763A (ko) 2021-06-15
KR102388782B1 KR102388782B1 (ko) 2022-04-20

Family

ID=76209025

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190160873A KR102388782B1 (ko) 2019-12-05 2019-12-05 Ｐｉｒ 센서를 이용한 딥러닝 기반 객체 인지 시스템 및 방법

Country Status (2)

Country Link
US (1) US11042768B1 (ko)
KR (1) KR102388782B1 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021117800A (ja) * 2020-01-28 2021-08-10 株式会社東芝 信号処理装置、信号処理方法およびプログラム
JP7334689B2 (ja) * 2020-07-27 2023-08-29 トヨタ自動車株式会社 制御システム、制御方法及び制御プログラム
EP4345785A1 (en) * 2022-09-30 2024-04-03 Verisure Sàrl Machine learning for thermal detectors

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140082726A (ko) 2011-10-28 2014-07-02 브람세 인스텔링 부르 테크놀로지스크 온데르죄크(비토) 엔브이 감시 영역 내의 객체의 존재를 검출하는 적외선 존재 검출기
KR101551374B1 (ko) 2014-03-19 2015-09-09 홍익대학교 산학협력단 Pir센서 및 ｉｐ네트워크 카메라 기반 융합 보안 시스템 및 방법
KR101616790B1 (ko) 2015-03-31 2016-04-29 국방과학연구소 Pir 센서 신호에서 배경잡음과 사람이동신호를 분리하는 센서시스템 및 그것의 신호 분리방법
KR101964683B1 (ko) * 2018-10-22 2019-04-02 주식회사 인텔리빅스 스마트 영상처리장치 및 그 장치의 구동방법

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200007615A1 (en) * 2017-06-05 2020-01-02 Umajin Inc. Server kit configured to execute custom workflows and methods therefor
JP7346401B2 (ja) * 2017-11-10 2023-09-19 エヌビディア コーポレーション 安全で信頼できる自動運転車両のためのシステム及び方法
US10776695B1 (en) * 2019-03-08 2020-09-15 Ai Concepts, Llc Intelligent recognition and alert methods and systems

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140082726A (ko) 2011-10-28 2014-07-02 브람세 인스텔링 부르 테크놀로지스크 온데르죄크(비토) 엔브이 감시 영역 내의 객체의 존재를 검출하는 적외선 존재 검출기
KR101551374B1 (ko) 2014-03-19 2015-09-09 홍익대학교 산학협력단 Pir센서 및 ｉｐ네트워크 카메라 기반 융합 보안 시스템 및 방법
KR101616790B1 (ko) 2015-03-31 2016-04-29 국방과학연구소 Pir 센서 신호에서 배경잡음과 사람이동신호를 분리하는 센서시스템 및 그것의 신호 분리방법
KR101964683B1 (ko) * 2018-10-22 2019-04-02 주식회사 인텔리빅스 스마트 영상처리장치 및 그 장치의 구동방법

Also Published As

Publication number Publication date
US11042768B1 (en) 2021-06-22
KR102388782B1 (ko) 2022-04-20
US20210174112A1 (en) 2021-06-10

Similar Documents

Publication Publication Date Title
KR102388782B1 (ko) Ｐｉｒ 센서를 이용한 딥러닝 기반 객체 인지 시스템 및 방법
Dewi et al. Human activity recognition based on evolution of features selection and random Forest
Ehatisham-ul-Haq et al. Opportunistic sensing for inferring in-the-wild human contexts based on activity pattern recognition using smart computing
Casilari et al. A wearable fall detection system using deep learning
JP2022120775A (ja) オンデバイスでの活動認識
Mishra et al. Fault detection of elevator systems using multilayer perceptron neural network
Menter et al. Application of machine learning-based pattern recognition in iot devices
Naser et al. Privacy-preserving, thermal vision with human in the loop fall detection alert system
Hou et al. An SVM fall recognition algorithm based on a gravity acceleration sensor
Rekha et al. Methodical activity recognition and monitoring of a person through smart phone and wireless sensors
Gupta et al. Plant disease prediction using deep learning and IoT
Fan et al. Fall detection with unobtrusive infrared array sensors
Gill et al. Human Action Detection using EfficientNetB3 Model
Chen et al. Locally weighted ensemble-detection-based adaptive random forest classifier for sensor-based online activity recognition for multiple residents
Soni et al. An enhanced deep learning approach for smartphone-based human activity recognition in IoHT
Umutoni et al. Integrating Analog PIR Sensor Telemetry with TinyML Inference for On-The-Edge Classification of Moving Objects
Wlodarczak et al. Reality mining in eHealth
Patil et al. A machine learning approach to weather prediction in wireless sensor networks
Mojarad et al. A context-aware approach to detect abnormal human behaviors
Kareem et al. Hybrid Approach for Fall Detection Based on Machine Learning
Liubun et al. Neural-network-based Gesture Detection for Capacitive Sensing
Mourey et al. Human body fall recognition system
Sohaimi et al. Design methodology of modular-ANN pattern recognizer for bivariate quality control
Sharma et al. Towards Improving Human Activity Recognition Using Artificial Neural Network
Vidua et al. Analysis of Fall Detection Systems: A Review

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right