KR102476777B1 - 인공지능 기반 경로 예측시스템 - Google Patents

인공지능 기반 경로 예측시스템 Download PDF

Info

Publication number
KR102476777B1
KR102476777B1 KR1020220063920A KR20220063920A KR102476777B1 KR 102476777 B1 KR102476777 B1 KR 102476777B1 KR 1020220063920 A KR1020220063920 A KR 1020220063920A KR 20220063920 A KR20220063920 A KR 20220063920A KR 102476777 B1 KR102476777 B1 KR 102476777B1
Authority
KR
South Korea
Prior art keywords
tracking
registered
area
path
information
Prior art date
Application number
KR1020220063920A
Other languages
English (en)
Inventor
윤사빈
김영관
Original Assignee
주식회사 유투에스알
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 유투에스알 filed Critical 주식회사 유투에스알
Priority to KR1020220063920A priority Critical patent/KR102476777B1/ko
Application granted granted Critical
Publication of KR102476777B1 publication Critical patent/KR102476777B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/66—Radar-tracking systems; Analogous systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/417—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section involving the use of neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C9/00—Individual registration on entry or exit
    • G07C9/00174—Electronically operated locks; Circuits therefor; Nonmechanical keys therefor, e.g. passive or active electrical keys or other data carriers without mechanical keys
    • G07C9/00571—Electronically operated locks; Circuits therefor; Nonmechanical keys therefor, e.g. passive or active electrical keys or other data carriers without mechanical keys operated by interacting with a central unit

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Theoretical Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Electromagnetism (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 문제에 관한 인공지능 기반 경로 예측시스템에 관한 것이다. 본 발명의 일측면에 따르면, 객체의 존재 유무를 탐지하는 탐지영역과 미리 등록된 등록객체가 출입가능한 영역인 추적영역을 가지는 레이더센서 및 감시카메라를 포함하는 복수 개의 추적장비, 상기 객체에 등록번호를 부여하여 상기 객체를 등록객체로 저장하는 데이터베이스, 상기 객체가 상기 등록객체인지 확인하고, 기저장된 상기 등록객체의 이동경로와 실시간으로 출입한 상기 등록객체의 이동경로를 비교하여, 상기 등록객체의 이동경로를 예측하고, 상기 등록객체의 예측경로 이탈시 상기 등록객체의 이상 행동을 판단하는 제어부를 포함한다.

Description

인공지능 기반 경로 예측시스템{AI-based path prediction system}
본 발명은 인공지능 기반 경로 예측시스템에 관한 것으로, 추적장비를 활용하여, 데이터를 축적하고 객체를 탐지 및 추적하여, 객체에 대한 추적 및 정확도를 높이며, 비정상 상황에 대처가 용이하도록 추적장비 내의 객체에 대한 이동경로를 예측하는 인공지능 기반 경로 예측시스템에 관한 것이다.
일반적으로 감시 카메라를 이용한 모니터링 시스템은 특정 장소에 고정식 또는 이동식으로 설치된 카메라를 통하여 입력되는 영상을 처리하여 특정 지역을 감시하는 모니터링 시스템이다. 최근에 모니터링 시스템은 지능형 감시 경계 로봇, GOP(Gerenal OutPost) 과학화 시스템, 사회안전 로봇 시스템과 같이 영상을 이용한 시큐리티 시스템(security system) 전반에 걸쳐 사용되고 있다.
이러한 모니터링 시스템은 유사한 적용 분야로 관제 시스템이라 하며, 공공기관 또는 공공기관과 연계된 업체에서 지역사회의 안전을 위한 목적으로 특정 위치나 특정 지역에서 카메라로 수집된 영상을 모니터링 및 관리하는 것으로, 많게는 수 백여개의 영상을 모니터링하고 관리하기 위한 많은 디스플레이가 사용된다. 이러한 모니터링 시스템에서는 일반적인 전시나 광고 목적으로 사용되는 디스플레이에 비해 규모가 크기 때문에, 그에 따른 카메라는 복수개가 상호 연동되어 작동된다. 복수개의 카메라들 중에서 적어도 하나 이상의 카메라가 지정된 영역 또는 위치를 감시할 수 있다. 또한, 모니터링 시스템에 의하여 촬영되는 방향이 지정된 영역 또는 위치로 향할 수 있도록, 감시 카메라에 패닝(panning), 틸팅(tilting), 및 줌(zoom) 등의 기능이 마련된다.
그러나, 이러한 모니터링 또는 감시시스템에서 사용되는 카메라들은 각각 카메라들이 독립적으로 사용되기 때문에 각각의 카메라들이 겹치게 되어 중복적으로 추적하게 되어 추적에 혼동을 주는 문제점이 있다.
또한, 이러한 감시시스템은 중복으로 추적된 객체에 대한 정보의 공유가 어려운 문제점이 있어, 사용자의 육안으로만 파악이 가능하여 인력 소모가 과도하게 발생되는 문제점이 있다.
또한, 이러한 감시시스템은 추적도의 정확성이 저하될 수 있고, 각각 독립적으로 모든 장비가 작동함에 있어서, 비효율적인 자원이 소모될 수 있으며, 객체정보의 예측이 불가능하여, 감시 영역 외의 상황파악이 어려운 문제점이 있다.
본 발명의 목적은, 감시시스템을 운용할 때, 독립적으로 감시하는 장비들을 서로 연동시켜, 중복되는 정보를 제거함으로써, 잉여 정보 생성을 방지하고, 객체 들의 구분이 용이하며, 객체의 경로를 예측 가능함으로써, 추적 정확도를 향상시키고, 감시 영역 외의 영역에서 대처 방안에 대해 사용자에게 제공하여 사용자의 대응이 용이할 수 있으며, 각 장비 간의 정보 공유를 통해, 정보를 효율적으로 운용 가능할 수 있는 것을 목적으로 한다.
상기와 같은 목적을 달성하기 위하여 본 발명은 객체의 존재 유무를 탐지하는 탐지영역과 미리 등록된 등록객체가 출입가능한 영역인 추적영역을 가지는 레이더센서 및 감시카메라를 포함하는 복수 개의 추적장비, 상기 객체에 등록번호를 부여하여 상기 객체를 등록객체로 저장하는 데이터베이스, 상기 객체가 상기 등록객체인지 확인하고, 기저장된 상기 등록객체의 이동경로와 실시간으로 출입한 상기 등록객체의 이동경로를 비교하여, 상기 등록객체의 이동경로를 예측하고, 상기 등록객체의 예측경로 이탈시 상기 등록객체의 이상 행동을 판단하는 제어부를 포함할 수 있다.
또한, 상기 제어부는, 상기 추적장비가 상기 추적영역으로 진입한 실시간 상기 객체를 추적하도록 제어하고, 상기 객체를 컨볼루션 신경망(CNN, Convolutional Neural Network)을 통해, 실시간 상기 객체가 사람인지 구분하는 것을 특징으로 할 수 있다.
또한, 상기 제어부는, 상기 추적장비로 추출가능한 상기 객체에 대한 정보인 이동속도, 키, 보폭인 객체정보를 추출하여, 심층 신경망(DNN, Deep Neural Network)을 통해, 상기 객체의 경로를 예측하는 것을 특징으로 할 수 있다.
또한, 상기 제어부는, 예측경로에서 벗어난 상기 추적영역을 가지는 상기 추적장비를 탐지모드로 전환시키는 것을 특징으로 할 수 있다.
또한, 상기 제어부는, 상기 추적영역이 중복되는 중복영역에서 상기 객체가 출입하면, 상기 객체를 추적하는 복수 개의 상기 추적장비를 모두 작동시켜, 상기 객체를 다각도로 추적하는 것을 특징으로 할 수 있다.
또한, 상기 추적장비로 탐지 또는 촬영되는 상기 객체의 영상정보를 표시하는 디스플레이부를 더 포함하여, 상기 제어부가 상기 추적영역 내의 상기 객체가 사람인 경우, 상기 객체에 대한 영상정보를 표출하는 상기 디스플레이부에 추적 대상인 상기 객체에 상기 객체를 식별하기 위한 추적표시를 출력하여 상기 디스플레이부에 표출하는 것을 특징으로 할 수 있다.
또한, 상기 제어부는, 상기 미등록 객체가 상기 추적영역에 탐지되면, 상기 미등록 객체와 상기 미등록 객체가 탐지된 복수의 추적 장비 사이의 거리를 측정하여 추적우선지수를 산정하여, 상기 추적우선지수가 높은 값을 가진 상기 추적장비로 상기 미등록 객체를 추적하도록 상기 추적장비를 제어하는 것을 특징으로 할 수 있다.
또한, 상기 추적우선지수는 상기 객체와 상기 추적장비의 거리값과, 상기 미등록 객체를 촬영하는 상기 추적장비의 성능에 따른 지수인 성능값에 따른 가중치를 고려하여 산정하는 것을 특징으로 할 수 있다.
또한, 상기 추적우선지수는 하기 식으로 산정되는 것을 특징으로 할 수 있다.
Value = (((Erng - Tdis)/Erng)*(100*Eweight)+(Sacc * Sweight)
(여기서, Erng: 모든 추적장비 내 최대 추적 사거리(m), Tdis: 추적장비와 객체 간의 거리, Eweight: 사거리 가중치(0.0~1.0), Sacc: 센서 추적 정확도(백분율), Sweight: 정확도 가중치(0.0~1.0), 사거리 가중치와 정확도 가중치의 합은 1이다.)
본 발명의 일 실시예에 따른 인공지능 기반 경로 예측시스템은, 영상 추적 장비 간 시스템을 구축함으로써, 불필요한 추적을 방지하고, 데이터, 인력 등의 자원소모를 절감할 수 있어, 장비의 운용 효율을 향상시킬 수 있는 효과를 가지고 있다.
또한, 통합 제어가 가능하도록, 모든 정보를 하나의 장치에서 종합하여 관리 및 처리할 수 있어, 사용자가 종합적으로 상황판단이 가능하며, 사용자의 상황판단 시 감시시스템의 예측을 통해, 보다 정확한 상황을 인지할 수 있다.
도 1 은 본 발명의 일 실시예에 따른 인공지능 기반 경로 예측시스템의 개략도이다.
도 2는 본 발명의 일 실시예에 따른 디스플레이부를 나타낸 도면이다.
도 3은 본 발명의 일 실시예에 따른 디스플레이부의 표시부를 나타낸 도면이다.
도 4는 본 발명의 일 실시예에 따른 인공지능 기반 경로 예측시스템의 감시카메라의 감시범위를 나타낸 도면이다.
도 5은 본 발명의 일 실시예에 따른 추적부의 컨볼루션 신경망(CNN, Convolution Neural Network)의 계층을 나타낸 도면이다.
도 6은 본 발명의 일 실시예에 따른 추적부의 심층 신경망(DNN, Deep Neural Network)를 나타낸 도면이다.
이하, 첨부된 도면을 참조하면서 본 발명에 따른 바람직한 실시 예를 상세히 설명하기로 한다.
본 발명의 이점 및 특징, 그리고 그것을 달성하는 방법은 첨부된 도면과 함께 상세하게 후술 되어 있는 실시 예들을 참조하면 명확해질 것이다.
그러나, 본 발명은 이하에 개시되는 실시 예들에 의해 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시 예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.
또한, 본 발명을 설명함에 있어 관련된 공지 기술 등이 본 발명의 요지를 흐리게 할 수 있다고 판단되는 경우 그에 관한 자세한 설명은 생략하기로 한다.
도 1 은 본 발명의 일 실시예에 따른 인공지능 기반 경로 예측시스템의 개략도이고, 도 2은 본 발명의 일 실시예에 따른 제어부의 블록구성도이며, 도 3는 본 발명의 일 실시예에 따른 인공지능 기반 경로 예측시스템의 감시카메라의 감시범위를 나타낸 도면이고, 도 4는 본 발명의 일 실시예에 따른 디스플레이부를 나타낸 도면이며, 도 5은 본 발명의 일 실시예에 따른 디스플레이부의 표시부를 나타낸 도면이다.
도 1 내지 도 5를 참고하면, 본 발명의 일 실시예에 따른 인공지능 기반 경로 예측시스템(10)은, 센서, 카메라 등을 사용하여 객체에 대한 정보를 효율적으로 추적하고, 객체의 경로를 예측하며, 이동하는 객체들의 정보를 저장하여 추적이 필요한 공간 내에 이동되는 객체의 이상 행동 등을 감시할 수 있어, 비정상 상황, 위험 상황 등을 효율적으로 감시하고, 빠르게 대응할 수 있으며, 하나의 통솔 장치로 모든 센서, 카메라 등을 제어할 수 있어, 비용 및 인력의 소모를 절감시킬 수 있어, 효율적인 감시시스템(10)의 운영이 가능할 수 있다.
또한, 추적된 객체의 정보를 저장 및 축적하여, 이전에 출입 정보가 있는 고유의 등록번호가 부여된 등록객체와 미등록 객체를 구분하여, 등록된 객체의 예측 경로의 정확성을 높일 수 있어, 이상 행동 감시가 더욱 빠르고 효율적으로 감시할 수 있다.
또한, 감시 대상인 객체의 경로를 실시간으로 예측함으로써, 감시시스템(10)의 외로 이동되는 객체의 경로 또한 예측할 수 있어, 감시 외의 영역에서의 대처 방안에 대해 사용자에게 제공하여 감시 외의 영역에서 사용자가 객체에 대한 대응이 용이 할 수 있다.
또한, 추적장비(100) 간의 정보 공유가 실시간으로 이루어질 수 있어, 객체에 대한 정보의 추적이 장비들 간에 자체적으로 이루어질 수 있어, 장비들의 운영이 용이하고, 운영 효율이 향상될 수 있다.
상술한 바와 같이, 장비들 간의 서로 정보 공유가 이루어지고, 하나의 장치로 모든 장비를 제어할 수 있으며, 실시간으로 객체의 이동 경로를 추적 및 예측할 수 있도록, 인공지능 기반 경로 예측시스템(10)은 추적장비(100), 디스플레이부(300) 및 제어부(500)를 포함할 수 있다.
도 1 내지 도 3을 참고하면, 추적장비(100)는 레이더센서(110) 및 감시카메라(130)를 포함할 수 있다,
또한, 추적장비(100)는 탐지영역과 추적영역(A)을 분리하여 설정될 수 있다. 또한, 탐지영역은 객체의 유무를 구분할 수 있다. 또한, 탐지영역은 레이더센서(110) 및 감시카메라(130)를 통해 탐지될 수 있다.
또한, 추적영역(A)은 탐지영역의 범위 내에 형성될 수 있고, 추적영역(A)은 등록되거나, 출입이 허용된 객체만의 출입이 가능한 영역일 수 있다.
예를 들어, 탐지영역은 추적영역보다 범위가 넓게 형성될 수 있고, 추적영역은 탐지영역 안에서 출입이 허가된 관계자만이 출입 가능한 영역일 수 있다.
또한, 탐지영역에서 추적영역(A)으로 출입하려는 객체를 레이더센서(110)가 추출할 수 있고, 추적영역(A)으로 객체가 진입하면 감시카메라(130)가 객체의 이동에 따라, 위치를 추적할 수 있다.
즉, 레이더센서(110)는 탐지영역에서 추적영역(A)으로 진입하는 객체의 유무를 확인할 수 있고, 객체가 추적영역(A)을 향하는 방향으로 움직여 추적영역(A)으로 진입하면, 레이더센서(110)는 객체의 위치를 추적할 수 있다.
이때, 객체가 복수의 레이더센서(110)가 중복되는 영역에 출입하게 되면, 해당 영역을 추적영역(A)으로 가지는 복수의 레이더센서(110)는 레이더센서(110)의 위치, 객체의 위치, 각 레이더센서(110)와 위치와 객체의 거리 등에 대한 정보로 복수의 추적장비(100) 중 추적우선지수를 계산하여 높은 값을 가진 추적우선지수를 통해, 객체를 추적할 하나의 추적장비(100)의 선택이 가능할 수 있다.
예를 들어, 레이더센서(110)는 제1 내지 제6 레이더센서(111, 112, 113, 114, 115, 116)가 형성될 수 있다.
도 4를 참고하면, 레이더센서(110)는 6개의 레이더센서(110)를 도시하고 있으나, 복수의 레이더센서(110)는 2개 이상이면 모두 적용 가능할 수 있다.
레이더센서(110)는 서로 인접한 레이더센서(110) 간에 추적영역이 중복되는 중복영역(L)이 형성될 수 있다. 이때, 레이더센서(110)는 중복영역(L)의 레이더망에 객체와 각각의 레이더센서(110)와의 추적우선지수가 높은 값을 1초마다 계산하여, 추적우선지수가 높은 레이더센서(110)로 추적 중인 객체의 추적이 가능할 수 있다. 이때, 추적우선지수가 연산부(530)를 통해 계산되는 것은 후술하기로 한다.
또한, 레이더센서(110)는 추적영역(A)에 출입한 객체에 대해 추적하는 추적모드(581, 583, 585)가 수행시, 추적영역(A)으로 진입하는 모든 객체에 대해, 진입한 순서 중 먼저 들어온 순서에 따라, 추적할 수 있다.
예를 들어, 복수의 레이더센서(110)의 탐지영역에 위치한 객체가 이동하여 추적영역(A)으로 진입하게 되면, 레이더센서(110)는 중복영역(L)일 경우, 추적우선지수를 계산하여 객체를 추적할 레이더센서(110)를 결정하여 레이더센서(110)가 진입한 객체에 대해 추적이 가능할 수 있다.
이때, 레이더센서(110)는 감시카메라(130)와 일체화되어 설치될 수 있어, 추적영역(A)으로 진입한 객체에 대해 감시카메라(130)가 작동되어, 출입한 객체에 대해 영상정보를 생성할 수 있다.
이후, 생성된 영상정보에서 추출한 객체정보(O)로 해당 객체가 등록객체이면, 추적모드(581, 583, 585)를 중지하고, 해당 객체가 미등록 객체이면, 추적모드(581, 583, 585)를 지속할 수 있다.
또한, 등록 객체이라도 이전에 등록된 등록 객체의 이동경로와 차이가 발생하는 경로 혹은 이상행동이 발생되면, 해당 객체의 추적을 지속할 수 있다.
즉, 상술한 바와 같이, 복수의 추적장비(100)는 레이더센서(110)의 추적영역(A)으로 추적할 추적장비(100)의 선택이 가능할 수 있고, 선택된 추적장비(100)에 설치되는 감시카메라(130)로 영상정보에 대한 추적이 실행될 수 있다.
또한, 감시카메라(130)는 레이더센서(110)를 통해, 결정된 추적장비(100)에 포함된 감시카메라(130)가 출입한 해당 객체를 영상으로 직접 추적하기 위해, 객체를 촬영할 수 있다.
이때, 감시카메라(130)는 독립촬영범위를 가지고 있어, 독립촬영범위를 향하게 배치된 복수 개의 감시카메라(130)가 독립촬영범위 내로 진입하는 객체의 키, 보폭, 이동속도, 폭에 대한 정보인 객체정보(O)에 대한 영상을 촬영하여 영상정보를 생성할 수 있다.
또한, 감시카메라(130)는 영상정보의 객체정보(O)를 추출하여 해당 객체가 등록번호가 부여된 등록된 객체인지 미등록 객체인지 판단이 가능할 수 있다.
예를 들어, 출입한 객체의 얼굴인식, 등록번호, 키, 보폭, 이동속도, 이동경로를 추출하고, 후술한 데이터베이스에 저장된 등록객체와 비교하여 등록객체로 판단되면, 추적영역(A)으로 진입 가능한 객체로 판단하여 추적을 중지할 수 있다.
또한, 등록객체의 실시간 이동이 등록된 이동경로와 차이가 발생하면, 추적을 지속할 수 있다.
이때, 독립촬영범위는 복수 개의 감시카메라(130)가 각각 촬영하는 범위를 나타낼 수 있고, 독립촬영범위 내에서 하나의 감시카메라(130)가 추적 또는 촬영하는 범위는 추적영역(A)과 동일한 영역일 수 있다.
또한, 감시카메라(130)는 독립촬영범위를 촬영하기 위해, 제1 내지 제6 감시카메라(131, 132, 133, 134, 135, 136)를 포함할 수 있다. 본 발명의 실시예는 6대의 감시카메라(130)를 예시로 들었으나, 본 발명은 2대 이상의 감시카메라(130)에 모두 적용 가능할 수 있다.
즉, 제1 내지 제6 감시카메라(131, 132, 133, 134, 135, 136)은 제1 내지 제6 레이더센서(111, 112, 113, 114, 115, 116)와 동일하게 설치될 수 있다.
또한, 감시카메라(130)는 내부에 디스플레이부(300) 및 제어부(500)와 송수신이 가능할 수 있어, 레이더센서(110)로 생성되는 객체의 위치, 이동경로, 이동속도, 예상 이동경로와 감시카메라(130)로 생성되는 영상정보는 디스플레이부(300)를 통해, 사용자에게 제공될 수 있고, 사용자는 제어부(500)를 통해, 레이더센서(110) 및 감시카메라(130)를 포함하는 추적장비(100)가 제어될 수 있다.
또한, 감시카메라(130)는 감시카메라(130) 간의 정보를 공유할 수 있어, 제1 감시카메라(110)에서 제2 감시카메라(120)를 향하는 방향으로 이동되는 객체정보(O)를 제2 감시카메라(120) 내지 제6 감시카메라(130)와 연동되어 객체정보(O)가 이동하는 방향의 감시카메라(130)로 객체정보(O)를 전송하여 레이더센서(110)와 감시카메라(130)가 자체적으로 객체정보(O)를 추적하기 위한, 추적대기모드가 수행될 수 있다.
이때, 추적대기모드는, 추적이 중지된 레이더센서(110) 및 감시카메라(130)가 재추적을 위한, 준비상태일 수 있다. 즉, 추적대기모드는 탐지모드에서 추적모드를 수행하기 위한 대기시간 상태일 수 있다.
예를 들어, 탐지모드는 탐지영역을 탐지하는 모드일 수 있다. 또한, 탐지모드는 추적이 중단된 상태에서 객체의 존재유무만을 판단하고 있는 상태이고, 추적대기모드는 객체가 추적영역(A)에 진입하면 이전 출입한 객체인 것을 확인하여 바로 추적이 가능한 상태일 수 있다.
즉, 해당 출입하는 객체에 대한 정보가 설정되어 있어, 해당 객체가 감시카메라(130)에 촬영되면 바로 추적모드(581, 583, 585)가 가능한 상태일 수 있다.
디스플레이부(300)는 추적장비(100)를 통해, 전송되는 레이더정보 및 영상정보를 표시하고, 추적장비(100)를 사용자가 직접 제어할 수 있도록, 표시부(310) 및 수동제어부(330)를 포함할 수 있다.
표시부(310)는 사용자가 표시부(310)의 전방에서 추적장비(100)가 촬영하여 전송하는 객체정보(O)에 대한 레이더정보 및 영상정보를 화면 등으로 표시하여 사용자에게 객체정보(O)를 2D 매핑으로 변환 및 단순화하여 시각적으로 사용자가 간략하게 객체정보(O)의 경로, 예측 경로, 이동 방향 등을 확인할 수 있도록, 사용자에게 화면으로 표출할 수 있다.
예를 들어, 표시부(310)는 사각 단면으로 형성될 수 있다. 또한, 표시부(310)는 좌측 부분에 현재 객체정보(O)를 생성하고 있는 감시카메라(130)의 실시간 영상을 표출할 수 있다.
또한, 표시부(310)의 우측 부분에는 독립촬영범위를 촬영하고 있는 복수의 추적장비(100)가 수직방향으로 표시되어, 현재 탐지, 탐지 및 추적을 촬영하고 있는 제1 내지 제6 레이더센서(110) 및 감시카메라(130) 중에서 사용자가 직접 선택하여 사용자가 확인하고자 하는 제1 내지 제6 레이더센서(110) 및 감시카메라(130)의 레이더정보 및 영상정보의 객체정보(O)를 좌측 부분과 후술할 중간 부분에 표시될 수 있다.
예를 들어, 객체정보(O)가 제1 레이더센서(111)과 제2 레이더센서(112) 및 제1 감시카메라(131)와 제2 감시카메라(132)의 독립촬영범위에 진입하면, 제1 감시카메라(131)와 제2 감시카메라(132)에서 실시간 추적 또는 촬영되는 영상과 위치가 표시될 수 있다.
또한, 좌측 부분에는 객체정보(O)일 수 있는 객체에 대해 사각형의 점선 단면으로 표시하여 현재 추적 또는 촬영되어 좌측 부분에 표시되는 실시간 영상에 현재 추적 중인 객체정보(O)인 객체의 타겟을 사용자에게 제공할 수 있다.
또한, 우측 부분에는 독립촬영범위를 촬영 또는 추적하여 실시간 영상을 송출하는 제1 감시카메라(110)와 제2 감시카메라(120)는 우측 부분에서 위치한 제1 내지 제6 레이더센서(111, 112, 113, 114, 115, 116) 및 감시카메라(131, 132, 133, 134, 135, 136)는 사용자가 사용하고자 하는 장치를 선택하여 해당 장치를 사용자가 직접 조절할 수 있다.
또한, 좌측 부분의 실시간 영상이 송출되는 부분과 우측 부분의 사용자가 사용하고자 하는 추적장비(100)를 선택하는 부분의 사이에 위치하는 중간 부분에는 현재 추적되고 있는 객체정보(O)를 레이더센서(110)에서 추출되는 정보일 수 있는 2D 매핑화하여 예측 경로, 이동 경로 등을 간략하게 표현할 수 있다.
예를 들어, 중간 부분에는 객체정보(O)는 십자가 등의 모양으로 표현될 수 있고, 객체정보(O)가 이동하는 방향 또는 예측된 방향에 따라, 점선으로 표시될 수 있다. 또한, 진행 방향은 점선의 끝단에 위치할 수 있다. 이때, 이동하는 방향과 예측 가능한 제어부(500)는 후술하기로 한다.
또한, 디스플레이부(300)는 수동제어부(330)가 설치될 수 있다. 이때, 수동제어부(330)는 표시부(310)에 표시된 복수 개의 추적장비(100)를 선택가능하고, 감시카메라(130)들의 회전시킬 수 있도록 조이스틱으로 형성될 수 있다.
또한, 표시부(310)가 화면일 수 있어, 표시부(310)에 표시되는 화면의 내부에 위치한 커서 등을 조절할 수 있는 제어패드 등으로 형성될 수 있다.
본 발명의 일 실시예에 따른, 인공지능 기반 경로 예측시스템(10)의 제어부(500)는 추적장비(100)의 모드를 제어하고, 실시간으로 복수 개의 제1 내지 제6 레이더센서(111, 112, 113, 114, 115, 116)와 제1 내지 제6 감시카메라(131, 132, 133, 134, 135, 136) 간에 지속적인 추적이 가능할 수 있다.
이를 통해, 복수 개의 레이더센서(110)와 감시카메라(130)가 자체적으로 운영이 가능하며, 비정상 상황 발생 시, 사용자에게 알림을 전달하며, 이후 객체정보(O)의 이후 경로를 예측함으로써, 사용자가 효율적인 대응이 가능하도록, 데이터베이스(510), 식별부(520), 연산부(530), 비교부(540), 판단부(550), 예측부(560), 통제부(570) 및 추적부(580)를 포함할 수 있다.
데이터베이스(510)는 사용자가 추적영역(A)으로 출입이 가능한 객체에 대한 정보인 등록번호가 부여된 객체일 수 있는 등록객체에 대한 정보를 저장할 수 있다. 또한, 추적장비(100)로 새롭게 진입한 객체정보(O)가 생성되면, 생성된 객체정보(O)를 저장 및 축적할 수 있다.
이때, 데이터베이스(510)에 축적 및 저장된 등록객체(R)는 고유의 등록번호를 부여하여 객체정보(O)일 수 있고, 이후, 등록객체(R)가 추적영역(A)으로 재진입하게 되면, 등록객체(R)의 이동경로는 등록번호에 따라, 업데이트될 수 있다.
즉, 사용자는 등록객체(R)를 등록하여 추적영역(A)으로 진입을 허가하고, 추적영역(A)으로 진입한 등록객체(R)를 추적시에는 등록객체(R)의 이동경로를 추적모드(581, 583, 585)를 통해, 추적하여 추적된 이동경로가 업데이트될 수 있어, 등록객체(R)의 이동경로의 데이터를 축적할 수 있다.
이를 통해, 데이터베이스(510)는 등록객체(R)가 추적영역(A)에서 추적될 때, 기저장된 이동경로가 있을 경우, 등록객체(R)의 이동경로가 기저장된 이동경로를 기초로 예측될 수 있어, 등록객체(R)에 대한 이동경로의 예측이 빠르게 이루어질 수 있고, 기존의 이동경로가 다른 이동경로 혹은 이상 행동시, 해당 등록객체(R)의 비정상 상황을 빠르게 검출할 수 있다.
즉, 데이터베이스(510)에는 추적장비(100)에서 추출된 영상정보에서 객체의 얼굴인식, 등록번호, 출입카드, 키, 보폭, 이동속도, 폭 등에 대한 정보인 등록객체(R)와 등록객체(R)의 이동경로를 지속적으로 저장하여 축적함으로써, 등록객체(R)의 이동경로를 예측할 수 있고, 객체의 등록여부를 확인할 수 있다.
식별부(520)는 복수 개의 추적장비(100)로 추적 또는 촬영되는 추적영역 내로 진입한 객체에 식별번호를 부여할 수 있다.
예를 들어, 추적영역으로 객체가 진입하면, 추적장비(100) 중 레이더센서(110)는 추적우선지수가 높은 추적장비(100)가 선택되고, 선택된 추적장비(100)에 포함된 감시카메라(130)가 객체를 촬영하여 영상정보를 확인할 수 있다.
또한, 영상정보에서 추출된 객체에 대한 정보일 수 있는 키, 보폭, 이동속도, 안면과, 등록번호가 기재된 출입증 등을 통해, 기존에 추적영역(A)에 진입 가능한 등록객체(R)인지 판단이 가능할 수 있다. 이때, 객체가 미등록일 경우, 미등록 객체를 추적하기 위해, 객체에 식별번호를 부가할 수 있다.
예를 들어, 첫 번째로 추적영역(A)에 출입한 객체는 1로 식별번호를 부가하여, 추적할 수 있다. 이때, 등록번호는 이후, 추적을 진행 중인 제1 추적장비(111, 131)를 벗어나 다른 추적장비일 수 있는 제2 추적장비(112, 132)로 진입하게 되면, 추적장비(100)가 식별번호 1에 대한 객체가 다시 제1 추적장비(111, 131)로 진입할 것을 대비하여 추적을 대기하고 있는 상태를 유지할 수 있다.
또한, 출입한 객체에 대해서, 식별번호를 부여함으로써, 추적영역(A) 내로 진입한 객체는 식별번호에 따라 데이터베이스(510)에 저장될 수 있고, 객체정보(O)가 이동하는 이동경로가 식별번호에 따라 데이터베이스(510)에 저장될 수 있다.
예를 들어, 식별번호 1의 미등록 객체가 이동한 경로와 미등록 객체가 촬영된 영상에서 객체의 키, 보폭, 이동속도, 이동경로, 안면 등을 추출하여 데이터베이스(510)에 저장될 수 있다.
또한, 등록객체(R)의 이상 경로 또는 이상 행동으로 인해, 등록객체(R)를 추적할 때에는 등록객체(R)에 부여된 등록번호로 해당 등록객체(R)의 이상 행동 또는 이상 경로에 대한 영상이 저장될 수 있다.
이를 통해, 이후 추적영역(A) 내로 진입한 객체가 등록객체(R)인지 새로운 객체인지 판별할 수 있어, 이후, 등록객체(R)의 진입 시, 과거 등록객체(R)가 진행한 경로를 토대로, 효율적으로 객체의 경로를 예측 및 비교 판단할 수 있다.
연산부(530)는 후술할 추적부(580)의 추적모드(581, 583, 585)일 수 있는 협력추적모드(583) 및 예측추적모드(585)에 따라, 복수 개의 추적장비(100)를 제어하기 위해, 추적우선지수를 계산 또는 연산할 수 있다.
즉, 복수 개의 추적장비(100)는 레이더센서(110) 및 감시카메라(130)를 포함하여, 객체가 추적영역(A) 내에서 해당 추적장비(100)와의 거리, 보폭, 이동 속도 등을 측정하면, 연산부(530)는 측정한 값에 따라, 하기 식을 통해, 추적우선지수를 계산 또는 연산하여, 높은 추적우선지수를 갖는 추적장비(100)로 객체의 추적이 가능할 수 있다.
이때, 추적장비(100)의 추적우선지수를 연산할 때는, 레이더센서(110)에서 도출된 값으로 계산될 수 있다.
하기 식은 다음과 같다.
Value(추적우선지수) = (((Erng - Tdis)/Erng)* 100*Eweight)+(Sacc * Sweight)
(여기서, Erng: 모든 감시카메라 내 최대 추적 사거리(m), Tdis: 감시카메라와 객체 간의 거리, Eweight: 사거리 가중치(0.0~1.0), Sacc: 센서 추적 정확도(백분율), Sweight: 정확도 가중치(0.0~1.0)
또한, 각 가중치는 사용자가 변경 가능할 수 있고, 센서 추적 정확도는 장비의 스펙에 따라, 달라질 수 있으며, 각 가중치는 사용자가 사거리와 정확도 중 추적 전환시 우선순위를 부여하기 위한 수치일 수 있어, 가중치의 합은 1을 유지할 수 있다.
이때, 연산부(530)를 통해 연산된 추적우선지수를 다른 감시카메라(130)와 비교할 수 있도록, 제어부(500)에는 비교부를 포함할 수 있다.
비교부(540)는 복수 개의 추적장비(100)의 추적영역(A)이 중복되는 중복영역(L)에서 추적장비(100) 간의 추적우선지수를 계산하고, 상호 추적장비(100) 간에 계산된 추적우선지수를 전달받아 값을 비교할 수 있다.
또한, 비교부(540)는 상술한 데이터베이스(510)에 저장된 등록객체(R)와 추적영역(A) 내로 진입한 객체의 등록 유무에 대해, 추적장비(100)에서 추출된 객체에 대한 정보를 토대로, 등록번호와 비교할 수 있다. 또한, 해당 객체가 등록번호가 부여된 객체를 추적할 시에는, 등록객체(R)의 기존의 데이터베이스(510)에 저장된 이동경로와 실시간 이동되는 등록객체(R)의 이동경로가 일정 범위를 벗어나는 지 여부를 비교할 수 있다.
이때, 비교부(540)를 통해, 비교된 추적우선지수의 결과는 판단부(550)를 통해, 높은 값을 가진 추적우선지수의 추적장비(100)가 추적을 실행할 수 있다. 또한, 판단부(550)는 미등록 객체 를 판단할 수 있다.
또한, 예측부(560)는 후술할 추적부(580)에 저장된 예측추적모드(585)를 실행할 수 있도록, 컨볼루션 신경망(CNN, Convolutional Neural Network)으로 객체를 구분할 수 있다. 예를 들어, 추적된 객체가 사람인지를 구분할 수 있고, 데이터베이스(510)에 저장된 객체인지 여부를 구분할 수 있다.
또한, 예측부(560)는 컨볼루션 신경망(CNN)을 통해, 객체가 사람 이외의 객체로 판단되면, 사용자에게 알람을 송신하도록 통제부(570)로 알람정보를 전송할 수 있다. 예를 들어, 객체의 폭이 높이보다 크면, 사람으로 판단하지 않을 수 있어, 이상 객체가 추정영역으로 출입된 상태를 알람정보로 전송할 수 있다.
또한, 예측부(560)는 심층 신경망(DNN, Deep Neural Network)이 저장되어 있어, 컨볼루션 신경망(CNN)을 통해, 객체가 사람으로 구분되면, 심층 신경망(DNN) 기반의 경로 예측을 통해, 사람일 수 있는 해당 객체의 경로를 예측할 수 있다.
또한, 예측부(560)는 진입한 객체가 등록객체(R) 이외의 객체인 미등록 객체 또는 사람 이외의 객체로 판단되면, 예측부(560)는 통제부(570)를 통해, 사용자에게 알람 정보를 전송하여, 통제부(570)가 디스플레이부(300)에 알람을 발생시키고, 해당 객체는 심층 신경망(DNN)을 통해, 경로를 예측할 수 있다.
예측부(560)의 컨볼루션 신경망(CNN)에 의해, 해당 객체가 사람 이외의 것으로 판단되면, 객체의 특징일 수 있는 객체정보(O)의 특징정보를 추출하여 데이터베이스(510)에 저장시킬 수 있다.
예를 들어, 바닥면과 수직인 길이일 수 있는 높이와 바닥면으로부터 수평인 길이일 수 있는 폭의 길이에서 폭의 길이가 더 넓게 형성되면 사람 이외의 것으로 판단되고, 이는 객체의 특징으로 데이터베이스(510)에 저장될 수 있다.
통제부(570)는 연산부(530)에서 연산되어 비교부(540)와 판단부(550)를 통해 도출된 결과를 전달받아, 감시카메라(130)의 실행시키거나, 위치 또는 방향 등을 통제시킬 수 있다.
또한, 통제부(570)는 후술할 추적부(580)의 추적모드(581, 583, 585)에 따라, 감시카메라(130)가 객체를 추적, 촬영, 탐지모드할 수 있도록 통제할 수 있다.
또한, 통제부(570)는 판단부(550)에서 이상 상황일 수 있는 사람 이외의 객체 등의 알람이 필요할 때, 알람정보를 수신 받아 디스플레이부(300)를 통해, 사용자에게 알람을 전송할 수 있다.
추적부(580)는 추적영역(A)에 객체가 진입하여 추적, 촬영 및 탐지되는 객체를 정확하게 추적하고, 효율적으로 복수 개의 추적장비(100)를 작동시키며, 객체의 이동 경로를 예측할 수 있고, 불필요한 추적을 방지하고, 데이터, 인력 등의 자원소모를 절감시킬 수 있다.
추적부(580)에는 복수 개의 추적모드(581, 583, 585)가 저장될 수 있다. 이때, 추적모드(581, 583, 585)는 데이터베이스(510)에 기저장된 등록객체(R)에 대한 등록번호와 추적장비(100)에서 추출된 객체정보(O)인 객체의 키, 보폭, 이동 방향, 이동속도를 사용하여, 연산부(530), 비교부(540), 예측부(560), 판단부(550) 및 통제부(570)를 통해, 객체의 추적이 가능할 수 있다. 이때, 추적모드(581, 583, 585)는, 추적영역(A)에 진입되는 객체의 경로를 추적, 촬영, 예측하는 모드일 수 있다.
또한, 추적모드(581, 583, 585)는 등록객체(R) 또는 미등록 객체의 경로를 추적 또는 예측하기 위해, 단독추적모드(581), 협력추적모드(583) 및 예측추적모드(585)를 포함할 수 있다.
단독추적모드(581)는 추적장비(100)가 추적영역(A)을 추적 또는 촬영할 때, 객체가 복수 개의 추적장비(100)의 촬영 가능한 범위에 위치하면, 복수 개의 추적장비(100)의 중복 추적을 허용할 수 있어, 객체에 대한 위치, 이동 등에 대한 추적을 반복적으로 탐지할 수 있다.
이를 통해, 추적영역(A) 내에 진입하여 해당 추적장비(100)의 추적영역(A) 내의 객체에 대해, 다양한 각도로 객체의 추적 또는 촬영이 가능할 수 있어, 객체정보(O)일 수 있는 객체의 위치, 이동 방향 등의 추출이 더욱 정확할 수 있다.
협력추적모드(583)는 복수의 추적장비(100)가 추적영역(A)을 추적 또는 촬영할 때, 객체가 복수 개의 추적장비(100)의 추적 또는 촬영 가능한 범위에 위치하면, 복수 개의 추적장비(100) 중에서 하나의 추적장비(100)가 선택되어 객체를 추적하는 모드일 수 있다.
또한, 하나의 추적장비(100)가 객체를 추적 또는 촬영하게 되면, 다른 타 장비들은 탐지영역을 탐지하는 탐지모드로 전환되어 추적 중인 객체 외의 다른 객체의 진입 등을 감시할 수 있다.
탐지모드는 탐지영역을 탐지하는 모드로써, 추적영역(A)보다 범위가 넓은 탐지영역에 레이더센서(110)를 통해, 객체의 진입여부를 판단할 수 있고, 객체가 추적영역(A)으로 진입시 객체를 추적하는 추적모드(581, 583, 585)가 수행될 수 있다.
이때, 객체의 추적 또는 촬영을 위한 하나의 추적장비(100)를 결정하는 것은 추적우선지수로 결정될 수 있다. 추적우선지수는 연산부(530)에서 연산될 수 있고, 추적우선지수에 부합하는 추적장비(100)가 객체를 추적 또는 촬영할 수 있다. 이때, 추적우선지수가 높은 값을 갖는 추적장비(100)일 수 있다.
예를 들어, 제1 추적장비(111, 131)와 제2 추적장비(112, 132)가 하나의 객체를 추적하는데 각각의 추적영역(A)이 중복되는 중복영역이 형성되면, 협력추적모드(583)가 실행될 수 있다.
이때, 추적 또는 촬영하는 추적장비(100) 외의 추적 또는 촬영하는 중복영역(L)의 추적장비(100)는 탐지모드로 전환되어 해당 객체 외의 다른 객체를 탐지하여 촬영영역 내의 영상정보를 생성 및 저장하는 상태를 수행할 수 있다.
예를 들어, 제1 추적장비(111, 131)와 제2 추적장비(112, 132) 중 제1 추적장비(111)의 추적우선지수가 높게 연산되어 제1 추적장비(111, 131)가 추적 또는 촬영을 진행하게 되고, 객체가 중복영역(L)에서 이동되고 있으면, 1초마다 제1 추적장비(111, 131)와 제2 추적장비(112, 132)는 추적우선지수를 다시 계산하여, 객체를 추적할 장비가 계산 또는 연산되어 재선택될 수 있다.
이를 통해, 반복적으로 중복영역(L)을 이동하고, 왕복하는 객체에 대한 위치와 행동을 실시간으로 추적 가능하고, 객체가 중복영역(L)으로 재진입시 오류를 방지할 수 있다.
협력추적모드(583)의 감시는 복수 개의 추적장비(100)가 각각 개별적으로 객체를 반복적으로 감시하고, 객체가 해당 추적장비(100)의 추적영역(A)으로 진입하면, 해당 영역을 감시하던 추적장비(100)는 객체를 추적할 수 있다.
이때, 미등록 객체는 객체에 따라, 상술한 식별부(520)에 의해, 식별번호가 부가된 상태일 수 있고, 식별번호가 부가된 미등록 객체의 객체정보(O)는 식별번호에 따라, 데이터베이스(510)로 저장될 수 있다.
또한, 복수 개의 추적장비(100)의 추적영역(A)이 중복되는 경우, 설정된 값인 추적우선지수에 따라, 추적우선지수가 높은 추적장비(100)가 객체를 추적할 수 있어, 추적 중인 객체가 이동하여 또 다른 추적장비(100)와 추적영역(A)이 중복되는 경우 연산부(530)는 1초 간격으로 추적영역(A)이 겹치는 두 추적장비(100)의 추적우선지수를 각각 계산하고, 추적 중이지 않는 추적장비(100)의 추적우선지수가 높아지면 높아진 추적장비(100)로 추적 상태를 전환할 수 있고, 기존 추적하고 있던 추적장비(100)는 탐지모드로 전환될 수 있다.
도 5은 본 발명의 일 실시예에 따른 추적부의 컨볼루션 신경망(CNN, Convolution Neural Network)의 계층을 나타낸 도면이고, 도 6은 본 발명의 일 실시예에 따른 추적부의 심층 신경망(DNN, Deep Neural Network)를 나타낸 도면이다.
도 5 및 도 6을 참고하면, 예측추적모드(585)는 복수 개의 추적장비(100)가 각각 개별 추적영역(A)을 감시하고 있는 상태에서 객체가 추적영역(A)에 진입하면 추적영역(A)에 해당하는 추적장비(100)가 추적을 시작할 수 있다.
이때, 추적을 시작하는 해당 추적장비(100)는 컨볼루션 신경망(CNN, Convolutional Neural Network) 기반의 객체 구분을 통해, 탐지된 객체의 종류를 구분할 수 있다. 예를 들어, 사람과 사람 이외의 객체를 구분시킬 수 있다. 이때, 컨볼루션 신경망(CNN)은 별도의 DB를 저장할 수 있다.
또한, 컨볼루션 신경망(CNN)의 구분은 특정 필터를 이용해 입력된 이미지에서 특징을 추출하고, 완전 연결 계층 (Fully-Connected Layer)에서 분류를 수행할 수 있다. 이때, 분류를 하기 위해 우선적으로 신뢰할 수 있는 사람의 얼굴정보를 DB(Database)에 저장하고, 이를 컨볼루션 신경망(CNN)의 학습데이터로 이용하여 컨볼루션 신경망(CNN)을 학습시킬 수 있다.
또한, 컨볼루션 신경망(CNN)은 도 6에 도시된 바와 같이 컨볼루션 계층(Convolution Layer), 최대 풀링 계층(Max Pooling Layer), 완전 연결 계층으로 이루어져 있다.
이때, 컨볼루션 계층은 이미지의 특징들을 추출할 수 있고, 최대 풀링 계층은 이미지의 크기를 절반으로 줄이며 강한 특징을 추출할 수 있다.
이와 같이, 컨볼루션 계층과 최대 풀링 계층을 반복적으로 구성하여 강한 특징들로 구성된 특징맵(feature Map)을 뽑아낼 수 있다.
이후, 완전연결 계층에 전달되기 전 플래튼 계층(Flatten Layer)을 통과하여 특징맵을 1차원으로 변경 후, 완전연결 계층을 통과하여 최종적으로 학습된 이미지와의 비교를 통해 이미지 분류를 수행할 수 있다.
이때, 학습된 이미지와 유사도가 임계 값을 넘으면 DB에 등록 사람으로 판단하고, 유사도가 임계 값보다 작으면 Unknown으로 분류할 수 있다.
추적영역(A)의 감시카메라(130)가 추적을 시작하면, 움직이는 영역의 이미지를 CNN 모델의 입력하여 해당 이미지가 DB에 있는 사람인지 아니면 Unknown 인지 판단한다.
이후, 구분된 객체의 종류가 DB에 있는 사람일 경우, 심층 신경망(DNN, Deep Neural Network) 기반의 경로 예측을 통해 해당 사람의 이동경로를 예측한다.
구분된 객체의 종류가 Unknown일 경우, 통제부(570)로 알람정보를 전송하고 통제부(570)는 알람정보를 디스플레이부(300)로 전송시켜 알람을 발생시킬 수 있고, DNN 기반의 경로 예측을 통해 해당 사람의 이동 경로를 예측할 수 있다. 이때, 사용자는 발생한 알람을 확인하고 해제할 수 있다.
Unknown 이미지는 라벨링하여 컨볼루션 신경망(CNN)의 별도 DB와 데이터베이스(510)에 저장할 수 있고, 이를 컨볼루션 신경망(CNN)의 학습데이터로 사용하여 객체 구분에 대한 성능향상에 이용할 수 있다.
구분된 객체가 사람일 경우, 심층 신경망(DNN, Ceep Neural Network)를 통해, 객체의 이동 경로를 예측할 수 있다.
심층 신경망(DNN) 기반 경로 예측 모델은 해당 객체의 이동 방향, 이동 속도를 이용하여 대상의 이동경로 예측 지도(Path Prediction Map)을 생성할 수 있다.
또한, 심층 신경망(DNN)의 은닉 계층(Hidden Layer)은 여러 개인 인공 신경망으로, 손실 함수(Loss Function)를 정의하여 손실 함수가 최소가 되는 값으로 모델을 훈련시켜 원하는 예측 값을 얻을 수 있다.
또한, 심층 신경망(DNN)을 사전에 많은 데이터로 훈련시키면 더 좋은 예측 성능을 기대할 수 있기 때문에, 여러 추적 영상을 기반으로 객체의 이동 방향과 이동 속도를 얻어 심층 신경망(DNN)을 훈련시킬 수 있다.
심층 신경망(DNN)의 훈련 단계는 먼저 입력 Feature인 객체의 이동 방향과 이동 속도를 추적 시작단계에서의 객체의 위치와 일정 시간 뒤의 객체의 위치를 바탕으로 객체의 이동 방향과 이동 속도를 습득할 수 있다.
이후, 최소화할 손실함수를 실제 이동 경로와 예측 이동 경로의 차로 정의하고, 예측 이동경로와 실제 이동경로의 차가 최소가 되게 심층 신경망(DNN)의 가중치를 학습시킬 수 있다.
심층 신경망(DNN)의 입력 계층은 입력 Feature와 동일한 2층, 출력 계층은 예측 경로인 1층으로 구성한다. 이렇게 예측한 경로를 바탕으로 추적장비(100)가 커버하는 영역에 대해 이동경로 예측 지도를 생성할 수 있다.
또한, 심층 신경망(DNN)을 통해, 생성된 이동경로 예측 지도에서 가장 높은 확률을 가지는 이동경로를 선정하고, 이 경로를 포함하는 다른 추적장비(100)는 해당 경로에 대해 미리 추적할 수 있도록 추적대기 모드로 변경할 수 있다.
이때, 객체가 중복영역(L)에 진입하면, 기존 추적장비(100)는 객체 추적을 유지하고, 다른 추적장비(100)는 해당 객체를 기존 추적장비(100)와 동시에 추적할 수 있어, 객체를 추적하는데 필요한 객체정보()를 정확하게 추출할 수 있다.
이때, 객체의 예측 이동 경로가 장비의 추적영역(A)을 벗어나 다른 장비의 추적영역(A)으로 이동하게 되면, 기존 장비는 탐지모드로 전환될 수 있다.
상술한 바와 같이, 본 발명의 인공지능 기반 경로 예측시스템(10)은, 각 추적영역(A)을 갖는 복수 개의 추적장비(100)가 객체를 각각의 추적장비(100) 별로 추적할 수 있고, 독립적으로 추적된 추적장비(100) 간의 연동 가능하여, 중복되는 정보를 최소화할 수 있어, 잉여 데이터 생성을 방지하고, 불필요한 추적을 방지하여 비용 및 인력을 절감시킬 수 있어, 추적장비(100) 들의 운영 효율을 향상시킬 수 있다.
또한, 디스플레이부(300)에 2D 매핑화된 지도를 표시할 수 있어, 사용자가 간편하게 객체의 이동을 확인할 수 있고, 객체의 이동 경로도 사전에 예측할 수 있으며, 독립촬영범위 밖으로 이동되는 객체의 이동 경로도 일부 예측 가능할 수 있어, 다양한 분야에서 활용 가능할 수 있다.
이상에서, 본 명세서에서 설명한 기능적 동작과 본 주제에 관한 실시형태들은 본 명세서에서 개시한 구조들 및 그들의 구조적인 등가물을 포함하여 디지털 전자 회로나 컴퓨터 소프트웨어, 펌웨어 또는 하드웨어에서 혹은 이들 중 하나 이상의 조합에서 구현 가능하다.
본 기술한 설명은 본 발명의 최상의 모드를 제시하고 있으며, 본 발명을 설명하기 위하여, 그리고 당업자가 본 발명을 제작 및 이용할 수 있도록 하기 위한 예를 제공하고 있다. 이렇게 작성된 명세서는 그 제시된 구체적인 용어에 본 발명을 제한하는 것이 아니다.
따라서, 상술한 예를 참조하여 본 발명을 상세하게 설명하였지만, 당업자라면 본 발명의 범위를 벗어나지 않으면서도 본 예들에 대한 개조, 변경 및 변형을 가할 수 있다. 요컨대 본 발명이 의도하는 효과를 달성하기 위해 도면에 도시된 모든 기능 블록을 별도로 포함하거나 도면에 도시된 모든 순서를 도시된 순서 그대로 따라야만 하는 것은 아니며, 그렇지 않더라도 얼마든지 청구항에 기재된 본 발명의 기술적 범위에 속할 수 있음에 주의한다.
이상의 본 발명은 도면에 도시된 실시 예(들)를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형이 이루어질 수 있으며, 상기 설명된 실시예(들)의 전부 또는 일부가 선택적으로 조합되어 구성될 수도 있다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 청구범위의 기술적 사상에 의해 정해여야 할 것이다.
10: 인공지능 기반 경로 예측시스템
100: 추적장비 110: 레이더센서
130: 감시카메라
300: 디스플레이부
500: 제어부 510: 데이터베이스
520: 식별부 530: 연산부
540: 비교부 550: 판단부
560: 예측부 570: 통제부
580: 추적부 581: 단독추적모드
583: 협력추적모드 585: 예측추적모드
R; 등록객체 A: 추적영역
O: 객체정보 L: 중복영역

Claims (9)

  1. 객체의 존재 유무를 탐지하는 탐지영역과 미리 등록된 등록객체가 출입가능한 영역인 추적영역을 가지는 레이더센서 및 감시카메라를 포함하는 복수 개의 추적장비;
    상기 객체에 등록번호를 부여하여 상기 객체를 등록객체로 저장하는 데이터베이스;
    상기 객체가 상기 등록객체인지 확인하고, 기저장된 상기 등록객체의 이동경로와 실시간으로 출입한 상기 등록객체의 이동경로를 비교하여, 상기 등록객체의 이동경로를 예측하고, 상기 등록객체의 예측경로 이탈시 상기 등록객체의 이상 행동을 판단하는 제어부를 포함하고
    상기 제어부는,
    상기 등록객체에 저장되지 않은 미등록 객체가 상기 추적영역에 탐지되면, 상기 미등록 객체와 상기 미등록 객체가 탐지된 복수의 추적 장비 사이의 거리를 측정하여 추적우선지수를 산정하여, 상기 추적우선지수가 가장 높은 값을 가진 상기 추적장비로 상기 미등록 객체를 추적하도록 상기 추적장비를 제어하는 것을 특징으로 하며,
    상기 추적우선지수는 상기 객체와 상기 추적장비의 거리값과, 상기 미등록 객체를 촬영하는 상기 추적장비의 성능에 따른 지수인 성능값에 따른 가중치를 고려하여 산정하는 것을 특징으로 하고,
    상기 추적우선지수는 하기 식으로 산정되는 것을 특징으로 하는 인공지능 기반 경로 예측시스템.
    Value = (((Erng - Tdis)/Erng)*(100*Eweight)+(Sacc * Sweight)
    (여기서, Erng: 모든 추적장비 내 각각의 최대 추적 사거리(m), Tdis: 추적장비와 객체 간의 거리, Eweight: 사거리 가중치(0.0~1.0), Sacc: 센서의 추적 정확도(백분율), Sweight: 정확도 가중치(0.0~1.0), 사거리 가중치와 정확도 가중치의 합은 1이다.)
  2. 제1 항에 있어서,
    상기 제어부는,
    상기 추적장비가 상기 추적영역으로 진입한 실시간 상기 객체를 추적하도록 제어하고, 상기 객체를 컨볼루션 신경망(CNN, Convolutional Neural Network)을 통해, 실시간 상기 객체가 사람인지 구분하는 것을 특징으로 하는 인공지능 기반 경로 예측시스템.
  3. 제2 항에 있어서,
    상기 제어부는, 상기 추적장비로 추출가능한 상기 객체에 대한 정보인 이동속도, 키, 보폭인 객체정보를 추출하여, 심층 신경망(DNN, Deep Neural Network)을 통해, 상기 객체의 경로를 예측하는 것을 특징으로 하는 인공지능 기반 경로 예측시스템.
  4. 제1 항에 있어서,
    상기 제어부는,
    예측경로에서 벗어난 상기 추적영역을 가지는 상기 추적장비를 탐지모드로 전환시키는 것을 특징으로 하는 인공지능 기반 경로 예측시스템.
  5. 제1 항에 있어서,
    상기 제어부는, 상기 추적영역이 중복되는 중복영역에서 상기 객체가 출입하면, 상기 객체를 추적하는 복수 개의 상기 추적장비를 모두 작동시켜, 상기 객체를 다각도로 추적하는 것을 특징으로 하는 인공지능 기반 경로 예측시스템.
  6. 제2 항에 있어서,
    상기 추적장비로 탐지 또는 촬영되는 상기 객체의 영상정보를 표시하는 디스플레이부를 더 포함하여,
    상기 제어부가 상기 추적영역 내의 상기 객체가 사람인 경우, 상기 객체에 대한 영상정보를 표출하는 상기 디스플레이부에 추적 대상인 상기 객체에 상기 객체를 식별하기 위한 추적표시를 출력하여 상기 디스플레이부에 표출하는 것을 특징으로 하는 인공지능 기반 경로 예측시스템.
  7. 삭제
  8. 삭제
  9. 삭제
KR1020220063920A 2022-05-25 2022-05-25 인공지능 기반 경로 예측시스템 KR102476777B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020220063920A KR102476777B1 (ko) 2022-05-25 2022-05-25 인공지능 기반 경로 예측시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020220063920A KR102476777B1 (ko) 2022-05-25 2022-05-25 인공지능 기반 경로 예측시스템

Publications (1)

Publication Number Publication Date
KR102476777B1 true KR102476777B1 (ko) 2022-12-12

Family

ID=84391610

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220063920A KR102476777B1 (ko) 2022-05-25 2022-05-25 인공지능 기반 경로 예측시스템

Country Status (1)

Country Link
KR (1) KR102476777B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102559135B1 (ko) * 2023-02-23 2023-07-25 주식회사 유투에스알 Ai 융합 무인비행기 탐지시스템

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR200266128Y1 (ko) * 2001-11-22 2002-02-27 주식회사 나노스타스 움직임 추적 감시 및 격퇴 시스템
JP2019114213A (ja) * 2017-12-26 2019-07-11 富士通株式会社 侵入者検知装置、侵入者検知プログラムおよび侵入者検知方法
KR102152318B1 (ko) * 2019-11-13 2020-09-04 주식회사 벡터시스 객체의 이동경로를 추적할 수 있는 추적시스템
KR20210004271A (ko) * 2019-07-04 2021-01-13 (주)넷비젼텔레콤 이벤트 태깅 기반 상황인지 방법 및 그 시스템
KR20210050897A (ko) * 2019-10-29 2021-05-10 엘지전자 주식회사 지능형 보안 디바이스
KR102266548B1 (ko) * 2021-02-09 2021-06-18 케이에스아이 주식회사 오작동 방지와 침입 감지 신뢰성이 향상된 스마트 보안 울타리 시스템
KR20210079224A (ko) * 2019-12-19 2021-06-29 엑시스 에이비 다중 카메라 배열의 카메라들 사이에서의 우선순위 결정
KR20210126313A (ko) * 2020-04-10 2021-10-20 한국전자기술연구원 경로 예측 기반 영상 분석 시스템
KR20220008843A (ko) * 2020-02-28 2022-01-21 상하이 센스타임 인텔리전트 테크놀로지 컴퍼니 리미티드 행위 예측 방법 및 장치, 걸음걸이 인식 방법 및 장치, 전자 장비 및 컴퓨터 판독 가능 저장 매체

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR200266128Y1 (ko) * 2001-11-22 2002-02-27 주식회사 나노스타스 움직임 추적 감시 및 격퇴 시스템
JP2019114213A (ja) * 2017-12-26 2019-07-11 富士通株式会社 侵入者検知装置、侵入者検知プログラムおよび侵入者検知方法
KR20210004271A (ko) * 2019-07-04 2021-01-13 (주)넷비젼텔레콤 이벤트 태깅 기반 상황인지 방법 및 그 시스템
KR20210050897A (ko) * 2019-10-29 2021-05-10 엘지전자 주식회사 지능형 보안 디바이스
KR102152318B1 (ko) * 2019-11-13 2020-09-04 주식회사 벡터시스 객체의 이동경로를 추적할 수 있는 추적시스템
KR20210079224A (ko) * 2019-12-19 2021-06-29 엑시스 에이비 다중 카메라 배열의 카메라들 사이에서의 우선순위 결정
KR20220008843A (ko) * 2020-02-28 2022-01-21 상하이 센스타임 인텔리전트 테크놀로지 컴퍼니 리미티드 행위 예측 방법 및 장치, 걸음걸이 인식 방법 및 장치, 전자 장비 및 컴퓨터 판독 가능 저장 매체
KR20210126313A (ko) * 2020-04-10 2021-10-20 한국전자기술연구원 경로 예측 기반 영상 분석 시스템
KR102266548B1 (ko) * 2021-02-09 2021-06-18 케이에스아이 주식회사 오작동 방지와 침입 감지 신뢰성이 향상된 스마트 보안 울타리 시스템

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102559135B1 (ko) * 2023-02-23 2023-07-25 주식회사 유투에스알 Ai 융합 무인비행기 탐지시스템

Similar Documents

Publication Publication Date Title
JP6905850B2 (ja) 画像処理システム、撮像装置、学習モデル作成方法、情報処理装置
Snidaro et al. Video security for ambient intelligence
JP4759988B2 (ja) 複数カメラを用いた監視システム
JP5369175B2 (ja) 映像によるエレベータドアの検出装置および検出方法
KR101788269B1 (ko) 이상 상황을 감지하는 장치 및 방법
EP2058777A1 (en) Suspicious behavior detection system and method
KR20130097868A (ko) 카메라 기반 지능형 주차관제 방법 및 시스템
KR102174784B1 (ko) 딥 러닝과 멀티 에이전트를 활용한 대규모 개체 식별 및 추적 방법
JP2015512042A (ja) 区域内の人の存在を監視する装置、方法及びシステム
JP5114924B2 (ja) 防犯ロボットシステムによる警告方法及び防犯ロボットシステム
US20210374426A1 (en) Occupancy control apparatus
KR20160074208A (ko) 비콘신호를 이용한 안전 서비스 제공 시스템 및 방법
KR102476777B1 (ko) 인공지능 기반 경로 예측시스템
CN109492548B (zh) 基于视频分析的区域mask图片的获得方法
JP2005086626A (ja) 広域監視装置
KR102482545B1 (ko) 인공지능 기반 경로 예측 방법
JP2020145511A (ja) カメラ装置、人物検出方法および人物検出システム
KR102464196B1 (ko) 빅데이터 기반 영상 감시시스템
KR101695127B1 (ko) 영상을 이용한 집단 행동 분석 방법
JP5111795B2 (ja) 監視装置
CN109977796A (zh) 尾随通行检测方法及装置
KR20190072323A (ko) 영상 감시 시스템 및 영상 감시방법
JP6570906B2 (ja) 監視システム及び監視方法
KR102464197B1 (ko) 빅데이터 기반 영상 감시 방법
KR20210060275A (ko) 영상분석 기반의 차량객체 인식 및 추적을 이용한 주차관리 시스템 및 방법

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant