KR101935399B1 - 심층 신경망 알고리즘 기반 광역 다중 객체 감시 시스템 - Google Patents

심층 신경망 알고리즘 기반 광역 다중 객체 감시 시스템 Download PDF

Info

Publication number
KR101935399B1
KR101935399B1 KR1020180080409A KR20180080409A KR101935399B1 KR 101935399 B1 KR101935399 B1 KR 101935399B1 KR 1020180080409 A KR1020180080409 A KR 1020180080409A KR 20180080409 A KR20180080409 A KR 20180080409A KR 101935399 B1 KR101935399 B1 KR 101935399B1
Authority
KR
South Korea
Prior art keywords
image
objects
unit
algorithm
surveillance
Prior art date
Application number
KR1020180080409A
Other languages
English (en)
Inventor
이상석
Original Assignee
주식회사 두원전자통신
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 두원전자통신 filed Critical 주식회사 두원전자통신
Priority to KR1020180080409A priority Critical patent/KR101935399B1/ko
Application granted granted Critical
Publication of KR101935399B1 publication Critical patent/KR101935399B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06K9/00771—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06K9/3258—
    • G06K9/6267—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration by the use of histogram techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/63—Scene text, e.g. street names
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/58—Means for changing the camera field of view without moving the camera body, e.g. nutating or panning of optics or image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • H04N5/2259—
    • H04N5/23296—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G06K2209/15—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/625—License plates

Abstract

본 발명은 광역의 감시영역에 대한 영상에서 사람이나 차량, 번호판 등의 객체를 일괄적으로 인식 및 검출하여 영상처리시간을 최소화하면서 광역존의 다양한 감시목적을 효율적으로 수행함을 제공하도록, 감시영역의 촬영을 위한 감시카메라와 연동하며, 상기 감시카메라의 촬영 영상에서 객체 인식을 위한 전처리 기능을 실행하도록 구성하는 영상처리 시스템에 있어서, 상기 감시카메라로부터 영상을 취득하는 영상헤더부와; 상기 영상헤더부로부터 취득한 영상을 변환하여 배경 및 객체영역을 구분한 후 특징별 객체들을 판단하는 전처리부와; 상기 전처리부의 영상데이터에서 특징별 복수의 객체들을 심층 신경망 방식에 의해 동시다발적으로 분류 및 검출하고, 설정 파라미터 정보에 따라 객체를 구분 인식하는 DNN알고리즘과; 상기 전처리부 및 상기 DNN알고리즘을 거쳐 인식된 객체정보를 출력하는 영상출력부;를 포함하는 심층 신경망 알고리즘 기반 광역 다중 객체 감시 시스템을 제공한다.

Description

심층 신경망 알고리즘 기반 광역 다중 객체 감시 시스템 {Wide Area Multi-Object Monitoring System Based on Deep Neural Network Algorithm}
본 발명은 심층 신경망 알고리즘 기반 광역 다중 객체 감시 시스템에 관한 것으로서, 더욱 상세하게는 광역의 감시영역에 대한 영상에서 사람이나 차량, 번호판 등의 객체를 일괄적으로 인식 및 검출하여 영상처리시간을 최소화하면서 광역존의 다양한 감시목적을 효율적으로 수행하는 것이 가능한 심층 신경망 알고리즘 기반 광역 다중 객체 감시 시스템에 관한 것이다.
일반적으로 영상정보를 수집하기 위한 영상처리 시스템으로는 일정한 지역에 고정식 또는 이동식으로 설치된 감시카메라를 통하여 영상정보를 수집하는 CCTV보안시스템, 지능형 영상분석 기법을 적용하여 개별 오브젝트를 분류하는 객체인식 시스템, 주행 중인 차량의 속도위반이나 신호위반, 주차위반 등을 감지하는 차량번호판 인식시스템 등 각종 감시카메라와 연동하여 다양한 유형의 영상정보를 수집할 수 있는 영상처리 시스템이 폭넓게 사용되고 있다.
이러한 영상처리 시스템은 다양한 목적에 따라 대상객체를 확인하고 추적하기 위한 시스템으로 적용하기 위해서는 팬(pan)/틸트(tilt)/줌(zoom) 기능을 갖는 감시카메라를 목적하는 감시지점에 설치하고, 해당 감시지점을 감시카메라에서 촬영한 영상을 녹화 및 재생하기 위한 장치와 전기적 및 전자적으로 연결하여 구성하게 된다.
상기와 같은 영상처리 시스템과 관련하여 개시되어 있었던 종래기술로써, 대한민국 등록특허공보 제1060528호(2011.08.24.)에는 사고발생 상황을 촬영하기 위해 특정의 지점에 설치되어 대상지점을 상시 촬영하는 범용카메라와; 상기 사고발생시 범용카메라에 촬영된 원본영상을 스트림 형태로 추출하는 원본영상 추출부와; 상기 원본영상 추출부에 의해 추출된 영상의 이미지를 대상객체와 주변사물로 구분하고, 상기 대상객체와 주변사물을 인식하여 이들 정보를 각각 처리가능한 데이터 형태로 가공하는 이미지 처리부와; 상기 이미지 처리부를 통해 전송된 데이터에 의해 대상객체를 인식하고 대상객체를 확인하고 추적하기 위한 데이터를 생성하여 출력하며, 각 구성을 제어하는 마이크로 컴퓨터와; 상기 이미지 처리부에서 대상객체와 주변사물을 구분하고 이들을 인식하기 위한 데이터가 미리 저장되어, 대상객체와 주변사물의 구분 및 인식시 상기 마이크로 컴퓨터를 통해 미리 저장된 데이터를 제공하는 데이터 서버와; 상기 마이크로 컴퓨터에 의해 생성된 데이터를 수신하여 목적하는 대상객체에 초점을 두고 연속적으로 추적하며 촬영하는 전용카메라;를 포함하여 구성됨에 따라 대상객체에 대한 보다 향상된 인식률을 얻을 수 있는 보안시스템으로 적용되는 영상처리 시스템이 공지되어 있다.
또한 등록특허공보 제1053939호(2011.07.28.)에는 적어도 2개 차량이 나란히 주행할 수 있는 폭의 도로를 한꺼번에 촬영하는 하나의 카메라와, 상기 카메라가 촬영한 원본 이미지를 처리하는 영상제어기를 포함하고, 상기 영상제어기는 저장매체; 상기 카메라로부터 상기 원본 이미지를 수신하는 영상수신부; 상기 원본 이미지에서 상기 도로를 주행하는 차량의 이미지 영역을 추출 인식하는 차량인식부; 및 상기 원본 이미지에서 상기 인식된 차량 이미지 영역을 포함하는 부분 이미지를 잘라내어 상기 저장매체에 저장하는 영상분할부를 포함하여 구성됨에 따라 고해상도 카메라로 촬영한 차량의 이미지를 생성하면서 저장 및 관리를 효율적으로 수행할 수 있는 고해상도 카메라를 이용한 차량 방범용 CCTV 시스템이 공지되어 있다.
그러나 상기한 종래기술인 등록특허공보 제1060528호 및 제1053939호는 양자 모두 해당 감시지역의 사물이나 차량 등의 특정 객체를 검출하기 위해서는 감시카메라의 줌 기능에 따른 거리 값을 가깝게 설정해야만 하기 때문에 감시가능한 영역 범위가 매우 한정적이며, 감시카메라의 줌 기능에 따른 거리 값을 멀리 설정할 경우 감시영역은 확대할 수 있으나 객체인식의 인식률이 현저히 저하된다는 문제가 있었다.
또한 상기한 종래기술에서는 객체인식효율을 높이기 위하여 제1060528호의 경우 범용카메라와 함께 전용카메라를 구비한 복수 개의 감시카메라를 적용하거나 평소 감시영역 범위가 매우 제한적임은 물론 객체추적 이외의 객체에 대한 상세검출효율이 미비하다는 문제가 있고, 제1053939호의 경우에는 고해상도의 카메라를 적용하였으나 단순히 카메라의 해상도에만 의존하기 때문에 인식효율이 한계가 있다는 문제가 있었다.
KR 등록특허공보 제10-1060528호 (2011.08.24.) KR 등록특허공보 제10-1053939호 (2011.07.28.)
본 발명은 상기와 같은 문제점을 해결하기 위한 것으로서, 심층 신경망(deep neural network)에 의한 다목적 상황을 감시할 수 있는 객체인식 알고리즘을 적용하므로 해당 감시영역을 향한 감시카메라의 거리 값이 최대한 줌 아웃 상태로 설정한 채 사람이나 차량, 번호판 등의 객체를 일괄 인식 및 검출하여 감시범위를 광역으로 확대하면서 객체 인식성능을 높일 수 있는 심층 신경망 알고리즘 기반 광역 다중 객체 감시 시스템을 제공하는데, 그 목적이 있다.
본 발명이 제안하는 심층 신경망 알고리즘 기반 광역 다중 객체 감시 시스템은 감시영역의 촬영을 위한 감시카메라와 연동하며, 상기 감시카메라의 촬영 영상에서 객체 인식을 위한 전처리 기능을 실행하도록 구성하는 영상처리 시스템에 있어서, 상기 감시카메라로부터 영상을 취득하는 영상헤더부와; 상기 영상헤더부로부터 취득한 영상을 변환하여 배경 및 객체영역을 구분한 후 특징별 객체들을 판단하는 전처리부와; 상기 전처리부의 영상데이터에서 특징별 복수의 객체들을 심층 신경망 방식에 의해 동시다발적으로 분류 및 검출하고, 설정 파라미터 정보에 따라 객체를 구분 인식하는 DNN알고리즘과; 상기 전처리부 및 상기 DNN알고리즘을 거쳐 인식된 객체정보를 출력하는 영상출력부;를 포함하여 이루어진다.
상기 감시카메라는 감시영역에 팬/틸트/줌 기능을 갖는 PTZ카메라 및 복수 개의 고정형 카메라, 일체형 카메라 중 적어도 어느 하나로 구성하고, 상기 감시카메라의 해당 감시영역을 향한 거리 값이 최대한 줌 아웃 상태로 설정하여 광역존 감시 영상을 취득하도록 구성한다.
상기 영상헤더부에 설정 조작가능하게 연결되고 상기 전처리부의 객체 인식조건에 대한 파라미터 정보를 설정 입력하는 설정유틸리티를 구비한다.
상기 전처리부에는 상기 영상헤더부로부터 입력된 광범위한 감시영역의 영상을 변환하는 영상변환수단을 구비하고, 상기 영상변환수단에서는 이미지 크기를 1080×720 픽셀로 리사이즈(resize)하도록 변환한다.
상기 전처리부에는 상기 영상헤더부로부터 입력된 영상의 배경을 갱신하여 지능형 배경을 생성시키는 배경추출수단을 구비한다.
상기 DNN알고리즘에는 사람이나 차량, 번호판의 객체를 구분하여 일괄적으로 인식하되 교통단속(불법주정차, 속도위반) 및 생활방범에 필요한 객체를 구분 인식하여 검출하는 객체추출수단을 구비하고, 상기 객체추출수단에서는 교통단속에 따른 차량단속시 차량을 인식한 후 해당 차량 내 번호판 추출하도록 이루어진다.
상기 객체추출수단에서는 교통단속에 따른 차량단속시 주변 모든 객체 중에서 이동중인 차량 필터링 기능을 수행하도록 형성한다.
상기 DNN알고리즘에는 영상 중 특정 객체에 대한 특징을 추출한 데이터를 이용하여 영상의 객체를 판단하는 객체판단수단을 구성하고, 상기 객체판단수단에는 빅데이터에 대한 학습과정을 거쳐 새롭게 생성된 벡터데이터로 영상을 스캔할 수 있게 구비되는 학습기반데이터분류기를 구성한다.
본 발명에 따른 심층 신경망 알고리즘 기반 광역 다중 객체 감시 시스템에 의하면 심층 신경망에 의해 여러 유형의 객체를 동시다발적으로 인식할 수 있는 DNN알고리즘을 적용하여 영상 전처리하도록 구현하므로, 감시카메라로부터 감시영역을 광역화함과 동시에 객체인식효율을 향상시키고, 교통단속 및 생활방범을 일괄적으로 처리하여 다목적성능을 발휘할 수 있는 효과를 얻는다.
뿐만 아니라 본 발명에 따른 심층 신경망 알고리즘 기반 광역 다중 객체 감시 시스템은 교통단속에 따른 차량을 단속할 때 차량을 인식한 후 해당 차량 내 번호판을 추출하도록 구현하므로, 번호판 인식을 위한 처리속도를 개선하는 것이 가능하다. 나아가 교통단속시 주변 모든 객체 중 이동중인 차량의 필터링 기능을 수행할 수 있게 구현하므로, 차량단속의 효율을 향상시키면서 단속작업의 고도화를 도모할 수 있는 효과가 있다.
또한 본 발명에 따른 심층 신경망 알고리즘 기반 광역 다중 객체 감시 시스템은 심층 신경망에 의해 여러 유형의 객체를 동시다발적으로 인식할 수 있는 DNN알고리즘을 적용하여 차량, 사람, 동물 등의 객체 형태를 구분 인식하고, 사람으로 인식된 객체의 경우 얼굴인식을 통해 카메라에 촬영된 객체를 실시간으로 식별 및 추적함으로써 다양한 방범분야의 감시 정확도를 증대시킬 뿐만 아니라 광역존 방식의 영상처리 방식을 통해 특정 지역에서 원거리의 객체 위치정보를 전달받으면 카메라에서 인식된 움직이는 물체 추적정보와 위치정보를 제공하기 때문에 광범위 감시 정찰기능을 갖출 수 있는 효과가 있다.
도 1은 본 발명에 따른 일실시예를 개략적으로 나타내는 구성도.
도 2는 본 발명에 따른 일실시예에서 영상의 객체 인식상태를 예시적으로 나타내는 화면.
도 3은 본 발명에 따른 일실시예의 시스템 프로그램 중 영상출력페이지를 개략적으로 나타내는 화면.
본 발명은 감시영역의 촬영을 위한 감시카메라와 연동하며, 상기 감시카메라의 촬영 영상에서 객체 인식을 위한 전처리 기능을 실행하도록 구성하는 영상처리 시스템에 있어서, 상기 감시카메라로부터 영상을 취득하는 영상헤더부와; 상기 영상헤더부로부터 취득한 영상을 변환하여 배경 및 객체영역을 구분한 후 특징별 객체들을 판단하는 전처리부와; 상기 전처리부의 영상데이터에서 특징별 복수의 객체들을 심층 신경망 방식에 의해 동시다발적으로 분류 및 검출하고, 설정 파라미터 정보에 따라 객체를 구분 인식하는 DNN알고리즘과; 상기 전처리부 및 상기 DNN알고리즘을 거쳐 인식된 객체정보를 출력하는 영상출력부;를 포함하는 심층 신경망 알고리즘 기반 광역 다중 객체 감시 시스템을 기술구성의 특징으로 한다.
다음으로 본 발명에 따른 심층 신경망 알고리즘 기반 광역 다중 객체 감시 시스템의 바람직한 실시예를 도면을 참조하여 상세하게 설명한다.
그러나, 아래에 설명된 실시형태는 본 발명을 설명함에 있어서 필수적인 부분들을 제외하고 그 도시와 설명을 생략하였으며, 명세서 전체를 통하여 동일 유사한 구성요소에 대하여는 동일한 참조부호를 부여하고 그에 대한 상세한 설명을 생략한다.
먼저 본 발명에 따른 심층 신경망 알고리즘 기반 광역 다중 객체 감시 시스템의 일실시예는 도 1에 나타낸 바와 같이, 감시영역의 촬영을 위한 감시카메라(10)와 연동하며, 상기 감시카메라(10)의 촬영 영상에서 객체 인식을 위한 전처리 기능을 실행하도록 구성하는 영상처리 시스템에 있어서, 영상헤더부(20)와, 전처리부(30)와, DNN알고니즘(40)과, 영상출력부(50)를 포함하여 이루어진다.
상기 감시카메라(10)는 감시영역에 설치되어 객체를 인식하기 위한 수단으로서, 팬(pan)/틸트(tilt)/줌(zoom) 기능을 갖는 PTZ카메라 및 파노라마촬영가능한 복수 개의 고정형 카메라, PTZ카메라 및 복수 개의 고정형 카메라를 일체로 구비하는 일체형 카메라 중 적어도 어느 하나를 구비토록 구성한다.
상기 감시카메라(10)는 해당 감시영역을 향한 거리 값이 최대한 줌 아웃 상태로 설정하여 감시카메라(10)로부터 최대한 감시가능한 영역이 확보된 촬영상태를 유지하므로 광역존 감시 영상을 취득하도록 구비한다. 즉 본 발명에서의 감시 영상에 대한 객체 인식은 감시카메라(10)의 촬영 영상 중 특정 촬영영역으로 한정하지 않으며, 감시카메라(10)로부터 촬영된 영상 모든 범위의 영역으로 확대하여 객체 인식가능하다.
상기 영상헤더부(20)는 상기 감시카메라(10)로부터 촬영된 영상을 수신하여 취득할 수 있게 형성한다.
상기 영상헤더부(20)에서 상기 감시카메라(10)의 영상을 수신함에는 일반적인 무선통신망이나 유선통신망, 인터넷, 전용통신망 등의 통신망으로 연결된 구조를 이룬다.
상기 영상헤더부(20)에서는 상기 감시카메라(10)로부터 촬영된 영상정보와 함께 관리자에 따른 외부 설정된 정보를 취득한다. 즉 상기 영상헤더부(20)에는 관리자로부터 설정 조작가능하게 연결되는 설정유틸리티(25)를 구비하고, 상기 설정유틸리티(25)로부터 상기 전처리부(30)의 객체 인식조건에 대한 파라미터 정보가 설정 입력되도록 구성한다.
상기 설정유틸리티(25)는 본 발명의 시스템 프로그램(SP)에서 객체 인식조건에 필요한 다양한 항목(단속방법, 저장이미지, 디버그, 테스트)을 셋팅(setting) 목록으로 출력하고, 관리자로부터 항목을 체크 설정하여 파라미터 정보를 입력할 수 있게 형성한다.
상기에서 시스템 프로그램(SP)은 본 발명의 구성들(감시카메라(10), 영상헤더부(20), 전처리부(30), DNN알고리즘(40), 영상출력부(50))로부터 신호를 전달받아 동작할 수 있는 구조로서, 대용량의 빅데이터 환경에 적합하도록 설계되고, 수집 대용량의 데이터를 로그 분석한 후, 로그 분석된 결과를 구조화된 GUI(graphic user interface) 방식의 화면으로 나타내는 기능을 수행한다.
상기 전처리부(30)는 상기 영상헤더부(20)로부터 취득한 영상정보 및 상기 설정유틸리티(25)로부터 설정된 파라미터 정보가 입력되고, 파라미터 정보를 기반으로 영상 처리하는 기능을 수행한다.
상기 전처리부(30)는 상기 DNN알고리즘(40)과 함께 소프트웨어적인 다양한 알고리즘에 의해 운용된다.
상기 전처리부(30)는 도 2에 나타낸 바와 같이, 상기 영상헤더부(20)로부터 취득한 영상을 변환하여 배경 및 객체영역을 구분한 후 특징별 객체들을 판단하는 일련의 영상처리과정을 실행할 수 있게 조성한다.
상기 전처리부(30)는 상기 영상헤더부(20)로부터 입력된 영상을 객체 인식을 위하여 처리할 수 있는 구조로서, 영상변환수단(31) 및 배경추출수단(33)을 구비토록 구성한다.
상기 영상변환수단(31)은 상기 영상헤더부(20)로부터 입력된 광범위한 감시영역의 영상을 변환하되, 하양에서 검정 사이의 회색의 점진적인 10단계의 범위로 명도 차를 갖게 나타내는 그레이스케일 형태로 변환한다.
상기 영상변환수단(31)에서는 이미지 크기를 1080×720 픽셀로 리사이즈(resize)하도록 변환한다.
상기 배경추출수단(33)은 상기 영상헤더부(20)로부터 입력된 영상의 배경을 갱신하여 지능형 배경을 생성시킨다.
상기 배경추출수단(33)에서는 상기 영상헤더부(20)로부터 입력된 영상에 대한 최초 배경에서의 특정 프레임 영상을 기억하고, 실시간 객체의 움직임을 계속해서 업데이트한다.
상기 배경추출수단(33)에서는 영상의 노이즈를 제거하며 명확한 객체 부분의 지역화를 도모한다. 즉 노이즈 부분과 객체 부분 지역의 특성을 비교 분석하여 객체 부분 지역의 엣지를 부각시킬 수 있게 한다.
상기에서 노이즈 제거를 위한 알고리즘으로는 모폴로지(morphology) 연산을 적용하게 구성하거나, 이진화된 영상에서 침식 및 팽창 연산을 적용하여 노이즈를 제거하게 구성한다.
상기 DNN알고리즘(40)은 상기 전처리부(30)의 영상데이터에서 특징별 복수의 객체들을 심층 신경망 방식에 의해 동시다발적으로 분류 및 검출하고 설정 파라미터 정보에 따라 객체를 구분 인식한다.
상기에서 심층 신경망(DNN:deep neural network)이란 다중의 은닉층을 포함하여 다양한 비선형적 관계를 학습할 수 있는 알고리즘 형태를 의미한다.
상기 DNN알고리즘(40)은 다양한 유형의 객체들(예를 들면, 사람이나 차량, 오토바이, 자전거 등)로 인한 전반적인 감시상황을 고려하여 영상의 객체들을 구분 분류 및 검출할 수 있게 구현한다. 즉 상기 DNN알고리즘(40)에서는 영상에서 교통단속을 위한 정차감지를 기초로 추적 및 확대, 가상선, 생활방범을 위한 침입 및 월담, 유기, 배회, 군집 등의 상황을 구분할 수 있게 연산을 통해 지속적으로 학습하여 딥 러닝(deep learning) 형태로 객체를 인식한다.
상기 DNN알고리즘(40)에서 영상의 객체들을 구분 인식하되, 객체 중 사람으로 구분 인식된 경우에는 사람의 얼굴을 인식하도록 진행한다. 즉 영상 객체가 사람인 경우 자동으로 얼굴을 인식하므로 다양한 방범분야의 감시 정확도를 증대시키는 것이 가능하다.
상기 DNN알고리즘(40)에는 영상에 대한 구분된 객체를 인식하기 위한 구조로서, 객체추출수단(41), 객체판단수단(43)을 구비토록 구성한다.
상기 객체추출수단(41)에서는 상기 DNN알고리즘(40)에 의하여 사람이나 차량, 번호판 등의 객체를 구분하여 일괄적으로 인식하되 교통단속(불법주정차, 속도위반 등) 및 생활방범(침입 및 월담, 유기, 배회, 군집 등)에 필요한 객체를 구분 인식하여 검출한다.
상기 객체추출수단(41)에서는 단계적인 윤곽선 즉 엣지(edge) 방식으로 객체를 검출하는데, 이러한 엣지 검출은 기본적으로 다른 명암도를 가진 두 영역 사이의 경계에 윤곽선을 나타내는 것으로 픽셀의 밝기가 임계값보다 크게 변하는 부분을 연산에 의해 검출한다.
상기 객체추출수단(41)에서는 1차적인 엣지 검출로서, 라플라시안(laplacian) 연산방식을 적용한다. 즉 라플라시안 연산방식은 2차 미분 값을 이용하며 국지적으로 최대인 점만을 윤곽선으로 인정하는 특징을 나타내므로, 윤곽선의 중심에 존재하는 윤곽선만을 표시하여 윤곽선의 국한성을 잘 보여주게 된다.
상기한 라플라시안 연산방식을 적용하는 것에 의하여, 연산속도가 매우 빠르며, 모든 방향의 윤곽선을 하나의 마스크로 검출함은 물론 다른 연산자에 비해 매우 날카로운 윤곽선을 검출하는 것이 가능하다.
상기 객체추출수단(41)에서는 2차적인 엣지 검출로서, 캐니(canny) 연산방식을 적용한다. 즉 캐니 연산방식은 윤곽선 검출 전 잡음 제거 마스크가 사용되며, 여러 형태의 윤곽선 검출 마스크를 활용할 수 있으므로, 강한 윤곽선들만 효율적으로 검출하는 것이 가능하다.
상기 객체추출수단(41)에는 엣지 검출로 인해 주어진 마스크 영역의 값들을 크기 순서대로 정렬한 후 중간 크기의 값을 선택하는 메디안필터(median filter)를 적용한다.
상기 객체추출수단(41)에서는 엣지 검출에 경계선 검출을 위한 알고리즘인 DoG(difference of gaussian) 알고리즘을 적용하므로, 연산 수행시간이 적게 걸리면서 명도 대비가 낮거나 조명의 영향을 받은 영상에서 정교한 엣지 정보를 추출가능하고, 엣지의 넓이를 조정 가능하다.
상기 객체추출수단(41)에서는 교통단속에 따른 차량단속시 차량을 인식한 후 해당 차량 내 번호판 추출하도록 구성하므로, 검출 속도를 개선하는 것이 가능하다.
상기 객체추출수단(41)에서는 통단속(불법주정차 단속)에 따른 차량단속시 주변 모든 객체 중에서 이동중인 차량 필터링 기능을 수행하도록 이루어진다. 즉 상기 DNN알고리즘(40)에 의하여 차량 중 이동중인 차량 여부에 대한 상황 및 해당 객체인 차량의 번호판을 사람이 가린 상황 등을 고려하여 불법주정차 차량을 단속하므로, 단속의 고도화를 도모하는 것이 가능하다.
상기 객체판단수단(43)은 영상 중 특정 객체에 대한 특징을 추출한 데이터를 이용하여 영상의 객체를 판단하도록 구성한다.
상기 객체판단수단(43)에는 빅데이터에 대한 학습과정을 거쳐 새롭게 생성된 벡터데이터로 영상을 스캔할 수 있게 구비되는 학습기반데이터분류기(도면에 미도시)를 구성한다.
상기와 같은 전처리부(30) 및 DNN알고리즘(40)을 통하여 객체 중 차량 번호판의 번호인식과정을 살펴보면, 먼저 영상헤더부(20)로부터 입력된 영상은 영상변환수단(31)에서 이미지 크기를 리사이즈하면서 그레이스케일 형태로 변환하고, 배경추출수단(33)에서 영상의 배경을 갱신함과 동시에 모폴로지 및 이진화 연산을 통해 영상의 노이즈를 제거한다. 이어, 객체추출수단(41)에서 라플라시안 연산 및 캐니 연산, DoG 알고리즘을 적용하여 단계적으로 엣지 방식으로 객체를 검출하며, 재차 침식 및 팽창 연산을 거쳐 객체를 검출하고, 해당 차량에서 번호판의 정확한 위치를 추출한다. 이후, 영상의 화상을 개선하며 번호판의 각 문자를 분할하여 출력하게 된다.
상기 영상출력부(50)에서는 상기 전처리부(30) 및 상기 DNN알고리즘(40)을 거쳐 인식된 다양한 객체정보를 출력한다.
상기 영상출력부(50)에는 다양한 영상정보 및 객체정보 중 특정 객체가 감지된 이벤트정보와 일반 영상정보를 구분하고, 모든 객체와 관련된 정보를 저장할 수 있는 객체DB서버(55)를 구비한다.
상기 영상출력부(50)에서는 도 3에 나타낸 바와 같이, 다양한 PC수단을 통하여 수행될 수 있는 시스템 프로그램(SP)을 통해 영상처리목록별로 구분하여 출력한다. 즉 상기 영상출력부(50)에서는 시스템 프로그램(SP)에 원본영상 이미지 및 영상처리된 이미지 등을 서로 구분하여 다양한 형태로 일괄 출력한다.
상기 영상출력부(50)에서는 객체를 모니터링하기 위한 시스템으로 CMS(condition monitoring system) 및 VMS(vibration monitoring system)의 객체뷰어를 적용한다.
즉 상기와 같이 구성되는 본 발명에 따른 심층 신경망 알고리즘 기반 광역 다중 객체 감시 시스템에 의하면 심층 신경망에 의해 여러 유형의 객체를 동시다발적으로 인식할 수 있는 DNN알고리즘을 적용하여 영상 전처리하도록 구현하므로, 감시카메라로부터 감시영역을 광역화함과 동시에 객체인식효율을 향상시키고, 교통단속 및 생활방범을 일괄적으로 처리하여 다목적성능을 발휘하는 것이 가능하다.
뿐만 아니라 본 발명은 교통단속에 따른 차량을 단속할 때 차량을 인식한 후 해당 차량 내 번호판을 추출하도록 구현하므로, 번호판 인식을 위한 처리속도를 개선하는 것이 가능하다. 나아가 교통단속시 주변 모든 객체 중 이동중인 차량의 필터링 기능을 수행할 수 있게 구현하므로, 차량단속의 효율을 향상시키면서 단속작업의 고도화를 도모하는 것이 가능하다.
또한 본 발명은 심층 신경망에 의해 여러 유형의 객체를 동시다발적으로 인식할 수 있는 DNN알고리즘을 적용하여 차량, 사람, 동물 등의 객체 형태를 구분 인식하고, 사람으로 인식된 객체의 경우 얼굴인식을 통해 카메라에 촬영된 객체를 실시간으로 식별 및 추적함으로써 다양한 방범분야의 감시 정확도를 증대시킬 뿐만 아니라 광역존 방식의 영상처리 방식을 통해 특정 지역에서 원거리의 객체 위치정보를 전달받으면 카메라에서 인식된 움직이는 물체 추적정보와 위치정보를 제공하기 때문에 광범위 감시 정찰기능을 갖추는 것이 가능하다.
상기에서는 본 발명에 따른 심층 신경망 알고리즘 기반 광역 다중 객체 감시 시스템의 바람직한 실시예에 대하여 설명하였지만, 본 발명은 이에 한정되는 것이 아니고 특허청구범위와 발명의 상세한 설명 및 첨부한 도면의 범위 안에서 여러 가지로 변형하여 실시하는 것이 가능하고, 이 또한 본 발명의 범위에 속한다.
10 : 감시카메라 20 : 영상헤더부
25 : 설정유틸리티 30 : 전처리부
31 : 영상변환수단 33 : 배경추출수단
40 : DNN알고리즘 41 : 객체추출수단
43 : 객체판단수단 50 : 영상출력부
55 : 객체DB서버 SP : 시스템 프로그램

Claims (8)

  1. 감시영역의 촬영을 위한 감시카메라와 연동하며, 상기 감시카메라의 촬영 영상에서 객체 인식을 위한 전처리 기능을 실행하도록 구성하는 영상처리 시스템의 상기 감시카메라로부터 영상을 취득하는 영상헤더부와;
    상기 영상헤더부로부터 취득한 영상을 변환하여 배경 및 객체영역을 구분한 후 특징별 객체들을 판단하는 전처리부와;
    상기 전처리부의 영상데이터에서 특징별 복수의 객체들을 심층 신경망 방식에 의해 동시다발적으로 분류 및 검출하고, 설정 파라미터 정보에 따라 객체를 구분 인식하는 DNN알고리즘과;
    상기 전처리부 및 상기 DNN알고리즘을 거쳐 인식된 객체정보를 출력하는 영상출력부;를 포함하여 이루어지되,
    상기 감시카메라는 감시영역에 팬/틸트/줌 기능을 갖는 PTZ카메라 및 복수 개의 고정형 카메라, 일체형 카메라 중 적어도 어느 하나로 구성하고, 상기 감시카메라의 해당 감시영역을 향한 거리 값이 최대한 줌 아웃 상태로 설정하여 광역존 감시 영상을 취득하도록 구성되며,
    상기 전처리부는 상기 영상헤더부로부터 입력된 광범위한 감시영역의 영상을 변환하는 영상변환수단과, 상기 영상헤더부로부터 입력된 영상의 배경을 갱신하여 지능형 배경을 생성시키는 배경추출수단을 구비하되, 상기 영상변환수단은 이미지 크기를 1080×720 픽셀로 리사이즈(resize)하도록 변환하고,
    상기 DNN알고리즘은 사람이나 차량, 번호판의 객체를 구분하여 일괄적으로 인식하되 불법주정차, 속도위반 및 생활방범에 필요한 객체를 구분 인식하여 검출하는 객체추출수단과, 특정 객체에 대한 특징을 추출한 데이터를 이용하여 영상의 객체를 판단하는 객체판단수단을 포함하며,
    상기 객체추출수단은 2차 미분 값을 이용하며 국지적으로 최대인 점만을 윤곽선으로 검출하는 라플라시안(laplacian) 연산방식의 1차 엣지검출과, 윤곽선 검출 전 잡음 제거 마스크가 사용되며, 여러 형태의 윤곽선 검출 마스크를 활용하여 강한 윤곽선들만 효율적으로 검출하는 캐니(canny) 연산방식의 2차 엣지검출 및 명도 대비가 낮거나 조명의 영향을 받은 영상에서도 엣지 검출이 가능한 DoG(difference of gaussian) 알고리즘의 엣지 경계선 검출이 단계적으로 적용되어 엣지 방식으로 객체를 검출하며,
    상기 객체판단수단은 빅데이터에 대한 학습과정을 거쳐 새롭게 생성된 벡터데이터로 영상을 스캔할 수 있게 구비되는 학습기반데이터분류기를 포함하여 구성되고,
    상기 영상출력부에서는 객체를 모니터링하기 위한 시스템으로 CMS(condition monitoring system) 및 VMS(vibration monitoring system)의 객체뷰어를 적용하는 것을 특징으로 하는 심층 신경망 알고리즘 기반 광역 다중 객체 감시 시스템.
  2. 삭제
  3. 청구항 1에 있어서,
    상기 영상헤더부에 설정 조작가능하게 연결되고 상기 전처리부의 객체 인식조건에 대한 파라미터 정보를 설정 입력하는 설정유틸리티를 포함하여 이루어지는 것을 특징으로 하는 심층 신경망 알고리즘 기반 광역 다중 객체 감시 시스템.
  4. 삭제
  5. 삭제
  6. 삭제
  7. 청구항 1에 있어서,
    상기 객체추출수단은 교통단속에 따른 차량단속시 주변 모든 객체 중에서 이동중인 차량 필터링 기능을 수행하도록 이루어지는 것을 특징으로 하는 심층 신경망 알고리즘 기반 광역 다중 객체 감시 시스템.
  8. 삭제
KR1020180080409A 2018-07-11 2018-07-11 심층 신경망 알고리즘 기반 광역 다중 객체 감시 시스템 KR101935399B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180080409A KR101935399B1 (ko) 2018-07-11 2018-07-11 심층 신경망 알고리즘 기반 광역 다중 객체 감시 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180080409A KR101935399B1 (ko) 2018-07-11 2018-07-11 심층 신경망 알고리즘 기반 광역 다중 객체 감시 시스템

Publications (1)

Publication Number Publication Date
KR101935399B1 true KR101935399B1 (ko) 2019-01-16

Family

ID=65280633

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180080409A KR101935399B1 (ko) 2018-07-11 2018-07-11 심층 신경망 알고리즘 기반 광역 다중 객체 감시 시스템

Country Status (1)

Country Link
KR (1) KR101935399B1 (ko)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102133913B1 (ko) * 2019-11-21 2020-07-15 문병국 딥러닝 기반의 객체인식을 이용한 객체별 맞춤 정보제공 안내전광판 시스템 및 그 제어 방법
CN111507906A (zh) * 2019-01-31 2020-08-07 斯特拉德视觉公司 用用于容错及波动鲁棒性的神经网络除抖动的方法及装置
KR102143029B1 (ko) * 2020-04-02 2020-08-10 아성글로벌(주) 인공지능형 cctv 시스템
CN111666938A (zh) * 2020-05-21 2020-09-15 珠海大横琴科技发展有限公司 一种基于深度学习的两地双车牌检测识别方法及系统
CN112019803A (zh) * 2020-05-27 2020-12-01 今瞳半导体技术(上海)有限公司 图像信号处理器、图像处理装置及神经网络图像处理系统
KR20210081697A (ko) 2019-12-24 2021-07-02 주식회사 싸인텔레콤 열전소자를 이용한 고열 방지 기능을 갖는 임베디드 일체형 카메라
US11076088B2 (en) 2019-09-24 2021-07-27 Sony Corporation Artificial intelligence (AI)-based control of imaging parameters of image-capture apparatus
KR20210098109A (ko) * 2020-01-31 2021-08-10 에스케이 주식회사 딥러닝 기반의 자동차 견인 유형 분류 및 자동차 번호 인식 방법 및 시스템
KR20220015253A (ko) * 2020-07-30 2022-02-08 한국전자통신연구원 교통 객체 위치 추정 장치 및 방법
KR102372508B1 (ko) * 2021-05-26 2022-03-08 한국교통대학교산학협력단 이상객체탐지장치 및 그 동작 방법
KR20220079479A (ko) * 2020-12-04 2022-06-13 주식회사 두원전자통신 심층 신경망 알고리즘 기반 객체 자동학습, 검증 및 배포에 의한 객체분석 정확도 향상을 위한 지능형 영상 분석 시스템
KR102647960B1 (ko) * 2023-10-11 2024-03-15 주식회사 지솔 AI Vision 기반의 객체 이미지 고해상도 고화질 변환 기법을 적용한 초지능 객체 분석 방법 및 시스템

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100834550B1 (ko) * 2007-12-17 2008-06-02 (주)동화이엔지 불법 주정차 무인 자동 단속방법 및 그 시스템
KR101053939B1 (ko) 2011-03-25 2011-08-04 주식회사 엘리소프트 고해상도 카메라를 이용한 차량 방범용 ｃｃｔｖ 시스템 및 그 영상처리 방법
KR101060528B1 (ko) 2011-05-06 2011-08-30 웅진보안시스템(주) 보안시스템으로 적용되는 영상처리 시스템 및 그 운영방법
KR20130122262A (ko) * 2012-04-30 2013-11-07 전자부품연구원 영상 검색 시스템 및 영상 분석 서버
KR101743689B1 (ko) * 2016-09-07 2017-06-07 주식회사 엠제이비전테크 통합 방범 지능형 cctv의 영상 처리 방법 및 통합 방범 지능형 cctv 시스템
KR101824973B1 (ko) * 2017-11-17 2018-03-14 공간정보기술 주식회사 단일카메라를 이용한 교차로 이동객체 충돌 방지 시스템

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100834550B1 (ko) * 2007-12-17 2008-06-02 (주)동화이엔지 불법 주정차 무인 자동 단속방법 및 그 시스템
KR101053939B1 (ko) 2011-03-25 2011-08-04 주식회사 엘리소프트 고해상도 카메라를 이용한 차량 방범용 ｃｃｔｖ 시스템 및 그 영상처리 방법
KR101060528B1 (ko) 2011-05-06 2011-08-30 웅진보안시스템(주) 보안시스템으로 적용되는 영상처리 시스템 및 그 운영방법
KR20130122262A (ko) * 2012-04-30 2013-11-07 전자부품연구원 영상 검색 시스템 및 영상 분석 서버
KR101743689B1 (ko) * 2016-09-07 2017-06-07 주식회사 엠제이비전테크 통합 방범 지능형 cctv의 영상 처리 방법 및 통합 방범 지능형 cctv 시스템
KR101824973B1 (ko) * 2017-11-17 2018-03-14 공간정보기술 주식회사 단일카메라를 이용한 교차로 이동객체 충돌 방지 시스템

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111507906B (zh) * 2019-01-31 2023-10-10 斯特拉德视觉公司 用用于容错及波动鲁棒性的神经网络除抖动的方法及装置
CN111507906A (zh) * 2019-01-31 2020-08-07 斯特拉德视觉公司 用用于容错及波动鲁棒性的神经网络除抖动的方法及装置
US11076088B2 (en) 2019-09-24 2021-07-27 Sony Corporation Artificial intelligence (AI)-based control of imaging parameters of image-capture apparatus
KR102133913B1 (ko) * 2019-11-21 2020-07-15 문병국 딥러닝 기반의 객체인식을 이용한 객체별 맞춤 정보제공 안내전광판 시스템 및 그 제어 방법
KR20210081697A (ko) 2019-12-24 2021-07-02 주식회사 싸인텔레콤 열전소자를 이용한 고열 방지 기능을 갖는 임베디드 일체형 카메라
KR20210098109A (ko) * 2020-01-31 2021-08-10 에스케이 주식회사 딥러닝 기반의 자동차 견인 유형 분류 및 자동차 번호 인식 방법 및 시스템
KR102294560B1 (ko) * 2020-01-31 2021-08-26 에스케이 주식회사 딥러닝 기반의 자동차 견인 유형 분류 및 자동차 번호 인식 방법 및 시스템
KR102143029B1 (ko) * 2020-04-02 2020-08-10 아성글로벌(주) 인공지능형 cctv 시스템
CN111666938A (zh) * 2020-05-21 2020-09-15 珠海大横琴科技发展有限公司 一种基于深度学习的两地双车牌检测识别方法及系统
CN111666938B (zh) * 2020-05-21 2021-08-17 珠海大横琴科技发展有限公司 一种基于深度学习的两地双车牌检测识别方法及系统
CN112019803A (zh) * 2020-05-27 2020-12-01 今瞳半导体技术(上海)有限公司 图像信号处理器、图像处理装置及神经网络图像处理系统
KR20220015253A (ko) * 2020-07-30 2022-02-08 한국전자통신연구원 교통 객체 위치 추정 장치 및 방법
KR102612438B1 (ko) * 2020-07-30 2023-12-12 한국전자통신연구원 교통 객체 위치 추정 장치 및 방법
KR20220079479A (ko) * 2020-12-04 2022-06-13 주식회사 두원전자통신 심층 신경망 알고리즘 기반 객체 자동학습, 검증 및 배포에 의한 객체분석 정확도 향상을 위한 지능형 영상 분석 시스템
KR102448268B1 (ko) 2020-12-04 2022-09-28 주식회사 두원전자통신 심층 신경망 알고리즘 기반 객체 자동학습, 검증 및 배포에 의한 객체분석 정확도 향상을 위한 지능형 영상 분석 시스템
KR102372508B1 (ko) * 2021-05-26 2022-03-08 한국교통대학교산학협력단 이상객체탐지장치 및 그 동작 방법
KR102647960B1 (ko) * 2023-10-11 2024-03-15 주식회사 지솔 AI Vision 기반의 객체 이미지 고해상도 고화질 변환 기법을 적용한 초지능 객체 분석 방법 및 시스템

Similar Documents

Publication Publication Date Title
KR101935399B1 (ko) 심층 신경망 알고리즘 기반 광역 다중 객체 감시 시스템
CN110516609B (zh) 一种基于图像多特征融合的火灾视频检测及预警方法
KR101808587B1 (ko) 객체인식과 추적감시 및 이상상황 감지기술을 이용한 지능형 통합감시관제시스템
KR101647370B1 (ko) 카메라 및 레이더를 이용한 교통정보 관리시스템
KR101971878B1 (ko) 다차로 환경에서의 딥러닝 기반 차량번호인식 기술을 활용한 영상감시 시스템 및 방법
US6985172B1 (en) Model-based incident detection system with motion classification
EP0567059B1 (en) Object recognition system using image processing
US9672434B2 (en) Video-based system and method for parking occupancy detection
KR100879623B1 (ko) Ｐｔｚ 카메라를 이용한 자동화된 광역 감시 시스템 및 그방법
US20140369567A1 (en) Authorized Access Using Image Capture and Recognition System
KR101565978B1 (ko) 원거리 캡처 영상으로 복수의 차량번호를 인식하고 복수의 증거사진을 동시에 추출하는 방법
KR101735365B1 (ko) 학습 기반의 영상 내 관심 물체 검지 및 환경 변화에 강인한 물체 추적 방법
Manfredi et al. Detection of static groups and crowds gathered in open spaces by texture classification
KR101570339B1 (ko) 영상분석 서버를 통한 미래 발생범죄 예측 시스템
KR101040049B1 (ko) 영상 기반 감시 시스템에서 신속하고 강인한 다수 이동 물체 추적 방법
KR101788225B1 (ko) 건설현장 맞춤형 이미지 분석기술을 활용한 중장비/근로자 인식 및 추적 방법 및 시스템
US9030559B2 (en) Constrained parametric curve detection using clustering on Hough curves over a sequence of images
KR102282800B1 (ko) 라이다와 영상카메라를 이용한 멀티 표적 추적 방법
KR101552600B1 (ko) 영상분할을 이용한 복수의 보행자 객체를 동시에 추적하는 방법
JP5047382B2 (ja) ビデオ監視時に移動物体を分類するシステムおよび方法
CN107662874A (zh) 乘客运输机的扶手入口监测系统及其监测方法
KR101485512B1 (ko) 객체 행동패턴의 해마 신경망 학습을 이용한 미래범죄 발생확률 우선순위 이벤트 cctv 영상처리 방법
Baris et al. Classification and tracking of traffic scene objects with hybrid camera systems
KR102506971B1 (ko) 딥러닝 기반의 후방 촬영을 통한 이륜자동차 번호판 인식 방법 및 시스템
KR101154350B1 (ko) 고해상도 영상의 객체 검지 및 분할 인식을 이용한 다중 영상처리시스템 및 방법

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant