KR102435435B1 - 인공지능 기반 차량번호 및 보행자 검색 시스템 및 방법 - Google Patents

인공지능 기반 차량번호 및 보행자 검색 시스템 및 방법 Download PDF

Info

Publication number
KR102435435B1
KR102435435B1 KR1020190062283A KR20190062283A KR102435435B1 KR 102435435 B1 KR102435435 B1 KR 102435435B1 KR 1020190062283 A KR1020190062283 A KR 1020190062283A KR 20190062283 A KR20190062283 A KR 20190062283A KR 102435435 B1 KR102435435 B1 KR 102435435B1
Authority
KR
South Korea
Prior art keywords
vehicle
pedestrian
image
artificial intelligence
pedestrians
Prior art date
Application number
KR1020190062283A
Other languages
English (en)
Other versions
KR20200136583A (ko
Inventor
박영석
Original Assignee
주식회사 엠제이비전테크
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 엠제이비전테크 filed Critical 주식회사 엠제이비전테크
Priority to KR1020190062283A priority Critical patent/KR102435435B1/ko
Publication of KR20200136583A publication Critical patent/KR20200136583A/ko
Application granted granted Critical
Publication of KR102435435B1 publication Critical patent/KR102435435B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/625—License plates
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/63—Scene text, e.g. street names
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08—Detecting or categorising vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 차량번호 및 얼굴의 인식방법을 개시한다. 보다 상세하게는, 근거리 또는 원거리의 영상으로부터 다수개의 차량과 보행자의 얼굴에 대해서 그 수의 제한이 없고, 그 크기의 제한이 없이 육안식별이 가능한 상태에서 인식 및 검색을 수행하는 인공지능 기반 차량번호 및 보행자 검색 시스템에 관한 것이다.
본 발명의 실시예에 따르면, 각 지역에 설치된 다수의 CCTV 카메라로부터 영상신호를 수집하고, 영상 내 등장하는 차량 및 보행자에 대하여 ROI를 설정하고, 인공지능 기법을 이용하여 차량 또는 보행자 여부를 판단하여 차량 및 보행자 검색의 정확도를 향상시키는 효과가 있다.

Description

인공지능 기반 차량번호 및 보행자 검색 시스템 및 방법{SYSTEM FOR SEARCHING NUMBERS OF VEHICLE AND PEDESTRIAN BASED ON ARTIFICIAL INTELLIGENCE}
본 발명은 차량번호 및 얼굴의 인식방법에 관한 것으로서, 특히 근거리 또는 원거리의 영상으로부터 다수개의 차량과 보행자의 얼굴에 대해서 그 수의 제한이 없고, 그 크기의 제한이 없이 육안식별이 가능한 상태에서 인식 및 검색을 수행하는 인공지능 기반 차량번호 및 보행자 검색 시스템에 관한 것이다.
인구의 증가, 도시화로 인한 인구의 밀집, 산업화로 인한 소외 등으로 증가하는 범죄문제에 대응하고 사회안전망을 구축하기 위해, 각 지방자체단체 등 정부기관은 CCTV의 도입은 전국적으로 확산되고 있으며, 이를 이용한 범죄 해결의 비중은 해마다 증가하고 있다.
범죄사실이나 범인을 객관적으로 입증할 수 있는 증거자료로써 CCTV는 그 중요성이 증가하고 있는 반면, 정보과부하(Information Overload: 지나치게 많이 수집된 이미지 정보)로 인한 과도한 판독업무로 인해 또한, 담당자들에게 많은 어려움을 주고 있다.
통상의 경우, 일반인은 22분 이상 연속하여 CCTV를 모니터링시 상황인지 확률이 5% 미만으로 급감한다는 보고가 있다.
이와 같은 문제점을 해결하기 위해, 차량번호 인식, 보행자의 얼굴 인식 그리고, 침입등의 다양한 행동을 분석하는 지능형 영상 감시기술 도입의 수요가 증가되고 있다.
그러나, 기존의 CCTV 시스템은 "지능형 CCTV 행위기반 DB 구축 및 시험, 인증 방안 연구(한국인터넷진흥원, 2012)"에 따르면, 잦은 오탐지로 인하여 만족도가 100점 만점에 21.5점으로 조사되었으며, 도입된 시스템들은 거의 사용되지 않는 것으로 파악되고 있다.
본 발명은 시스템은 컴퓨터(영상분석 솔루션)가 CCTV 카메라를 통한 영상을 이용하여 차량번호 및 얼굴을 자동으로 인식하고 검색하되 그 정확도를 극대화한 인공지능 기반의 CCTV 통합관제 솔루션을 제시하고자 한다.
본 발명은 상술한 종래기술의 문제점을 해결하기 위해 안출된 것으로, 딥 러닝기반의 데이터 학습을 통해서 차량번호 및 얼굴을 인식하는 방법을 제공하는 데 과제가 있다.
특히, 본 발명은 딥러닝 기반의 데이터 학습 방법에 있어서 객체(Object)의 계층적 구조를 이용함으로써 오탐지를 개선하는 방법을 제공하는 데 과제가 있다.
전술한 과제를 해결하기 위해, 본 발명의 실시예에 따른 인공지능 기반 차량번호 및 보행자 검색 시스템은, 정보통신망을 통해 원격지에 설치된 복수의 CCTV 카메라로부터 영상신호를 실시간으로 수집하는 검색 시스템으로서, 다수의 차량번호 및 보행자의 얼굴정보를 저장하는 데이터 베이스 서버, 전송단말로부터 상기 영상신호를 전달받아 영상 내 등장하는 하나 이상의 객체를 추출하고, 추출된 객체를 차량 또는 보행자로 분류 및 저장하는 저장분배 서버 및 영상처리 기법을 통해 분류된 차량 또는 보행자에 대한 영상처리를 수행하고, 상기 데이터 베이스를 참조하여 상기 영상신호의 영상 내 등장하는 각 객체의 차량 또는 보행자를 식별하는 영상 분석 서버를 포함할 수 있다.
상기 영상 분석 서버는, 저장분배 서버에 저장된 하나 이상의 객체를 순차적으로 로딩하는 영상 신호 입력부, 로딩된 객체에 포함된 특성에 따라 객체의 영역에 하나 이상의 ROI를 설정하는 분류부, 상기 ROI와 상기 데이터 베이스에 저장된 다수의 차량번호 또는 얼굴정보를 인공지능 기법을 이용하여 대조하여 동일 또는 유사 범주에 속하는 차량 또는 보행자를 검증하는 검증부 및 검증결과에 따라, 기준치 이상의 유사도를 갖는 차량정보 또는 얼굴정보에 대응하는 ROI의 객체를 특정 차량 또는 보행자로 식별하는 식별부를 포함할 수 있다.
또한, 전술한 과제를 해결하기 위한 본 발명의 다른 양태의 실시예에 따른 인공지능 기반 차량번호 및 보행자 검색 방법은, 복수의 CCTV 카메라로부터 영상신호를 실시간으로 획득하고, 영상 내 등장하는 하나 이상의 객체를 추출 및 추출된 객체를 차량 또는 보행자로 분류 및 저장하는 단계, 추출된 객체에 하나 이상의 ROI를 설정하여 차량 또는 보행자인지 여부를 판단하고, 차량인 경우 번호판을 검출하여 차량번호를 인식하는 단계, 차량 및 보행자가 아닌 객체가 이륜차인지 여부를 판단하고, 객체의 규칙을 검증하여 이륜차는 제외하는 단계, 현재 분석중인 ROI에 대하여 이웃한 객체 영역과의 겹침이 발생했는지 여부를 판단하는 단계, 겹침 발생시 이웃한 객체들의 영역을 합산하는 단계, 대상 영상의 각 프레임을 VGA 해상도의 픽셀 크기로 변환하는 단계 및 변환된 영상을 파일형태로 저장하는 단계를 포함할 수 있다.
본 발명의 실시예에 따르면, 각 지역에 설치된 다수의 CCTV 카메라로부터 영상신호를 수집하고, 영상 내 등장하는 차량 및 보행자에 대하여 ROI를 설정하고, 인공지능 기법을 이용하여 차량 또는 보행자 여부를 판단하여 차량 및 보행자 검색의 정확도를 향상시키는 효과가 있다.
도 1은 본 발명의 실시예에 따른 인공지능 기반 차량번호 및 보행자 검색 시스템의 전체 구조에 관한 도면이다.
도 2는 본 발명의 실시예에 따른 인공지능 기반 차량번호 및 보행자 검색 시스템의 영상 분석 장치에 관한 도면이다.
도 3은 본 발명의 실시예에 따른 인공지능 기반 차량번호 및 보행자 검색 방법에 관한 도면이다.
도 4는 본 발명의 실시예에 따른 인공지능 기반 차량번호 및 보행자 검색 시스템의 차량번호 분석 방법을 모식화한 도면이다.
도 5는 본 발명의 실시예에 따른 인공지능 기반 차량번호 및 보행자 검색 시스템이 제공하는 전광판 화면을 예시한 도면이다.
명세서 전체에서 어떤 부분이 어떤 구성요소를 "구비" 또는 "포함" 한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 또한, 명세서에 기재된 "...부(Unit)", "...서버(Server)" 및 "...시스템(System)" 등의 용어는 하나 또는 그 이상의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어, 소프트웨어 또는, 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.
또한 본 명세서에서 "실시예"라는 용어는 예시, 사례 또는 도해의 역할을 하는 것을 의미하나, 발명의 대상은 그러한 예에 의해 제한되지 않는다. 또한 "포함하는", "구비하는", "갖는" 및 다른 유사한 용어가 사용되고 있으나, 청구범위에서 사용되는 경우 임의의 추가적인 또는 다른 구성요소를 배제하지 않는 개방적인 전환어(Transition word)로서 "포함하는(Comprising)"이라는 용어와 유사한 방식으로 포괄적으로 사용될 수 있다.
본 명세서에 설명된 다양한 기법은 하드웨어 또는 소프트웨어와 함께 구현되거나, 적합한 경우에 이들 모두의 조합과 함께 구현될 수 있다. 본 명세서에 사용된 바와 같은 "...부(Unit)", "...서버(Server)" 및 "...시스템(System)" 등의 용어는 마찬가지로 컴퓨터 관련 엔티티(Entity), 즉 하드웨어, 하드웨어 및 소프트웨어의 조합, 소프트웨어 또는 실행 시의 소프트웨어와 등가로 취급할 수 있다. 또한, 본 발명의 프로그램에서 실행되는 각 기능은 모듈단위로 구성될 수 있고, 하나의 물리적 메모리에 기록되거나, 둘 이상의 메모리 및 기록매체 사이에 분산되어 기록될 수 있다.
도 1은 본 발명의 실시예에 따른 인공지능 기반 차량번호 및 보행자 검색 시스템의 전체 구조에 관한 도면이다.
도 1을 참조하면, 본 발명의 실시예에 따른 인공지능 기반 차량번호 및 보행자 검색 시스템은, 정보통신망을 통해 원격지에 설치된 복수의 CCTV 카메라(10)로부터 영상신호를 실시간으로 수집하는 검색 시스템으로서, 다수의 차량번호 및 보행자의 얼굴정보를 저장하는 데이터 베이스 서버(110), 전송단말(50)로부터 영상신호를 전달받아 영상 내 등장하는 하나 이상의 객체를 추출하고, 추출된 객체를 차량 또는 보행자로 분류 및 저장하는 저장분배 서버(120), 각 CCTV 카메라(10)에 대응하는 영상신호를 화면상에 실시간으로 표시하는 전광판 장치(130) 및 영상처리 기법을 통해 분류된 차량 또는 보행자에 대한 영상처리를 수행하고, 데이터 베이스 서버(110)를 참조하여 상기 영상신호의 영상 내 등장하는 각 객체의 차량 또는 보행자를 식별하는 영상 분석 서버(200)를 포함할 수 있다.
상세하게는, 본 발명의 실시예에 따른 검색 시스템에 적용되는 인공지능(AI) 기반 영상분석 솔루션은 차량번호 인식 카메라 및 네트워크 카메라로부터 전송되는 동영상 데이터로부터 실시간으로 차량번호 및 보행자의 얼굴을 인식하는 것을 특징으로 한다.
하나의 검색 시스템에는 최대 24개 또는 최대 32개의 채널의 CCTV 카메라(10) 영상으로부터 차량번호 및 보행자의 얼굴을 인식할 수 있다.
데이터 베이스 서버(110)는 인식된 차량번호 및 얼굴정보를 저장하고 있으며, 이는 인식된 시간, 차량번호 및 특정 얼굴에 대한 검색 질의어를 통해서 조회될 수 있다.
저장분배 서버(120)는 전송된 영상신호를 지정된 저장공간에 분류하여 저장할 수 있다. CCTV 카메라(10)는 각 지역의 도로 등에 다수개가 설치될 수 있고, 저장분배 서버(120)는 각 지역의 CCTV 카메라(10)로부터 전송되는 영상신호를 실시간으로 수신 및 저장할 수 있다.
영상 분석 서버(200)는 전송된 영상신호를 실시간으로 분석 및 연결된 전광판 장치(130)를 통해 화면상에 표시할 수 있다. 화면상에 표시되는 영상은 관제 요원들이 모니터링 할 수 있다.
이를 위한 전광판 장치(130)는 대면적, 고화질의 대형 평판표시장치로 구현될 수 있다.
또한, 영상 분석 서버(200)는 영상 내 등장하는 차량 및 보행자의 인식된 시간, 특정 얼굴의 검색 질의어를 조합하여 저장분배 서버(120)에 저장된 영상신호를 조회할 수 있으며 조회결과는 저장분배 서버(120)에 기록할 수 있다.
이러한 영상 분석 서버(200)에 적용되는 영상 분석 솔루션은 영상분석, 동영상 저장, 데이터 저장 그리고, 자료처리를 하나의 제어장치의 형태로 구현될 수 있고, 하나의 장치를 통해 영상분석 작업을 처리할 수 있다.
도 2는 본 발명의 실시예에 따른 인공지능 기반 차량번호 및 보행자 검색 시스템의 영상 분석 장치에 관한 도면이다.
도 2를 참조하면, 영상 분석 장치(200)는 저장분배 서버에 저장된 하나 이상의 객체를 순차적으로 로딩하는 영상 신호 입력부(210), 로딩된 객체에 포함된 특성에 따라 객체의 영역에 하나 이상의 ROI를 설정하는 분류부(220), ROI와 데이터 베이스에 저장된 다수의 차량번호 또는 얼굴정보를 인공지능 기법을 이용하여 대조하여 동일 또는 유사 범주에 속하는 차량 또는 보행자를 검증하는 검증부(230) 및 검증결과에 따라, 기준치 이상의 유사도를 갖는 차량정보 또는 얼굴정보에 대응하는 ROI의 객체를 특정 차량 또는 보행자로 식별하는 식별부(240)를 포함할 수 있다.
영상 신호 입력부(210)는 CCTV 카메라부터 수집되고 분류저장된 영상신호를 순차적으로 메모리에 로딩하고, 영상 처리 준비를 한다. 이때, 영상에 대한 전처리 과정이 더 포함할 수 있다.
분류부(220)는 영상 내 객체 등장여부를 판단하고 객체가 등장하는 경우, 그 형태에 따라 차량, 이륜차 및 보행자로 객체의 종류를 분류 및 ROI를 설정할 수 있다. 특히, 차량의 경우에는 번호판이 더 포함되어 있고, 이에 번호판에 대한 ROI를 더 설정할 수 있다.
검증부(230)는 ROI에 대한 영상 분석 절차를 통해 각 객체가 차량 또는 보행자 인지 여부를 검증할 수 있다. 차량의 경우에는 전방유리, 번호판, 타이어 등에 대응하는 요소가 포함되고, 보행자의 경우에는 얼굴, 몸, 팔, 다리에 대응하는 요소가 포함된다. 검증부(230)는 전술한 요소의 유무를 통해 각 객체의 종류를 구분할 수 있다.
식별부(240)는 종류가 특정된 객체에 대하여 식별절차를 수행할 수 있다. 차량의 경우에는 번호판에 기재된 차량번호를 통해 대상을 특정할 수 있고, 보행자의 경우에는 얼굴부분에 대한 영상대조를 통해 누구인지를 식별할 수 있다. 이를 위해 데이터 베이스 서버에는 딥러닝을 위한 다수의 영상이 저장되어 이고, 식별부(240)는 딥러닝 기반의 데이터 학습 방법에 있어서 객체의 계층적 구조를 이용하여 차량 및 보행자를 특정하고 오탐지를 개선할 수 있다.
도 3은 본 발명의 실시예에 따른 인공지능 기반 차량번호 및 보행자 검색 방법에 관한 도면이다. 이하의 설명에서 각 단계별 실행주체는 전술한 본 발명의 검색 시스템 및 이의 각 구성부가 되고, 각 단계는 공지의 프로그래밍 언어에 의해 제작되며, 영상 분석 장치에 탑재되는 마이크로 프로세서에 의해 실행 가능하고, 읽고 쓰기가 가능한 기록매체에 기록되어 영상 분석 장치에 탑재될 수 있다.
도 3을 참조하면, 본 발명의 차량번호 및 보행자 검색 방법은 복수의 CCTV 카메라로부터 영상신호를 실시간으로 획득하고, 영상 내 등장하는 하나 이상의 객체를 추출 및 추출된 객체를 차량 또는 보행자로 분류 및 저장하는 단계, 추출된 객체에 하나 이상의 ROI를 설정하여 차량 또는 보행자인지 여부를 판단하고, 차량인 경우 번호판을 검출하여 차량번호를 인식하는 단계, 차량 및 보행자가 아닌 객체가 이륜차인지 여부를 판단하고, 객체의 규칙을 검증하여 이륜차는 제외하는 단계, 현재 분석중인 ROI에 대하여 이웃한 객체 영역과의 겹침이 발생했는지 여부를 판단하는 단계, 겹침 발생시 이웃한 객체들의 영역을 합산하는 단계, 대상 영상의 각 프레임을 VGA 해상도의 픽셀 크기로 변환하는 단계 및 변환된 영상을 파일형태로 저장하는 단계를 포함할 수 있다.
상세하게는, 먼저 검색 시스템이 원격지에 설치된 복수의 CCTV 카메라로부터 실시간으로 도로 등을 촬영한 영상신호를 수신하여 획득하고(S100), 영상 내 등장하는 하나 이상의 객체를 추출 및 추출된 객체를 차량 또는 보행자로 분류 및 저장한다.
이후, 영상 분석을 통해 영상 신호에 등장하는 각 객체가 차량인지 여부를 판단한다(S110). 차량이 아닌 것으로 판단되는 경우 해당 객체가 보행자인지 여부를 확인하고(S120), 보행자도 아닌 경우 이륜차인지 여부를 확인한다(S130).
또한, S110 단계에서 해당 객체가 차량인 경우 번호판을 검출하고(S140), 차량번호를 인식한다(S150).
다음으로, 차량, 보행자 또는 이륜차로 판단된 객체에 대하여 객체의 규칙을 검증하여(S160), 객체로 최종 판단되는 경우 이웃한 타 객체와의 겹침 여부를 판단한다(S170).
상기의 S170 단계에서 이웃한 둘 이상의 객체간 겹침 영역이 발생한 것으로 판단되면 객체의 영역을 합산한다(S180).
이후, 해당 영상에 대하여 해상도를 VGA 즉, 가로 640, 세로 480의 크기로 변환하고(S190), 파일을 저장함으로써 절차를 종료한다(S190).
도 4는 본 발명의 실시예에 따른 인공지능 기반 차량번호 및 보행자 검색 시스템의 차량번호 분석 방법을 모식화한 도면이다.
도 4를 참조하면, 본 발명의 실시예에 따른 인공지능 기반 차량번호 및 보행자 검색 시스템에서는 두 가지 규격의 번호판에 대하여 번호 추출을 수행할 수 있다.
먼저, 번호판이 인식된 결과에서 그 번호판의 규격 조건을 만족하는지 판단하게 된다. 번호판의 규격조건은 다음과 같다.
제1 조건으로서, 일련번호 숫자(D1 ~ D4)가 네 자리가 존재해야 한다.
제2 조건으로서, 용도문자 한글(H1)이 존재해야 한다.
제3 조건으로서, 상기 제1 및 제2 조건을 제외한 한글+숫자 조합(H3, H2, D6, D5)이 존재해야 한다.
여기서, 제1 및 제2 조건을 필수충분조건이며, 제3 조건은 필요조건일 수 있다.
도 5는 본 발명의 실시예에 따른 인공지능 기반 차량번호 및 보행자 검색 시스템이 제공하는 전광판 화면을 예시한 도면이다.
도 5를 참조하면, 본 발명의 실시예에 따른 인공지능 기반 차량번호 및 보행자 검색 시스템은 CCTV 카메라에 의해 수집된 영상신호를 전광판 장치를 통해 표시할 수 있다. 이러한 전광판 장치를 통해 표시되는 영상화면(W100)은 화면이 분할된 형태로서 각각 하나의 CCTV 카메라로부터 실시간으로 전송되는 영상(W110)일 수 있다.
하나의 영상(W110)에는 차량, 보행자 및 이륜차 등 복수의 객체가 등장할 수 있고, 검색 시스템은 각 객체에 대하여 설정하고, ROI별 분석을 통해 그 객체를 식별할 수 있다.
특히, 보행자 및 이륜차(ROI1)가 아닌 차량(ROI3)의 경우에는 번호판(ROI2)을 포함하고 있으며, 번호판(ROI2)의 유무에 따라 차량(ROI3) 여부가 결정됨과 아울러 번호판(ROI2) 부분은 영상처리 절차를 거쳐 해당 차량을 식별하는데 이용되게 된다.
상기한 설명에 많은 사항이 구체적으로 기재되어 있으나 이것은 발명의 범위를 한정하는 것이라기보다 바람직한 실시예의 예시로서 해석되어야 한다. 따라서 발명은 설명된 실시예에 의하여 정할 것이 아니고 특허청구범위와 특허청구범위에 균등한 것에 의하여 정하여져야 한다.
10 : CCTV 카메라 50 : 전송단말
100 : 인공지능 기반 차량번호 및 보행자 검색 시스템
110 : 데이터 베이스 서버 120 : 저장분배 서버
130 : 전광판 장치 200 : 영상분배서버
210 : 영상신호 입력부 220 : 분류부
230 : 검증부 240 : 식별부

Claims (3)

  1. 정보통신망을 통해 원격지에 설치된 복수의 CCTV 카메라로부터 영상신호를 실시간으로 수집하는 검색 시스템으로서,
    상기 검색 시스템은,
    다수의 차량번호 및 보행자의 얼굴정보를 저장하는 데이터 베이스 서버;
    전송단말로부터 상기 영상신호를 전달받아 영상 내 등장하는 하나 이상의 객체를 추출하고, 추출된 객체를 차량 또는 보행자로 분류 및 저장하는 저장분배 서버; 및
    영상처리 기법을 통해 분류된 차량 또는 보행자에 대한 영상처리를 수행하고, 상기 데이터 베이스를 참조하여 상기 영상신호의 영상 내 등장하는 각 객체의 차량 또는 보행자를 식별하는 영상 분석 서버
    를 포함하고,
    상기 영상 분석 서버는,
    상기 저장분배 서버에 저장된 하나 이상의 객체를 순차적으로 로딩하는 영상 신호 입력부;
    로딩된 객체에 포함된 특성에 따라 객체의 영역에 하나 이상의 ROI를 설정하는 분류부;
    상기 ROI와 상기 데이터 베이스에 저장된 다수의 차량번호 또는 얼굴정보를 인공지능 기법을 이용하여 대조하여 동일 또는 유사 범주에 속하는 차량 또는 보행자를 검증하는 검증부; 및
    검증결과에 따라, 기준치 이상의 유사도를 갖는 차량정보 또는 얼굴정보에 대응하는 ROI의 객체를 특정 차량 또는 보행자로 식별하는 식별부
    를 포함하고,
    상기 영상 분석 서버는 상기 영상신호를 전광판 장치를 통해 화면상에 표시하고,
    상기 영상 신호에 등장하는 차량 및 보행자의 인식된 시간, 특정 얼굴의 검색 질의어를 조합하여 상기 저장분배 서버에 저장된 영상신호를 조회하고, 조회결과는 상기 저장분배 서버에 기록하고,
    상기 검증부는 상기 ROI에 대해 전방유리, 번호판 또는 타이어의 유무나 얼굴, 몸, 팔 또는 다리의 유무에 따라 차량 또는 보행자 여부를 검증하고,
    상기 식별부는 상기 데이터 베이스 서버에 저장된 다수의 영상에 대해 딥러닝 기반의 학습을 수행하는 인공지능 기반 차량번호 및 보행자 검색 시스템.
  2. 삭제
  3. 제1항에 기재된 인공지능 기반 차량번호 및 보행자 검색 시스템을 이용한 방법으로,
    복수의 CCTV 카메라로부터 영상신호를 실시간으로 획득하고, 영상 내 등장하는 하나 이상의 객체를 추출 및 추출된 객체를 차량 또는 보행자로 분류 및 저장하는 단계;
    추출된 객체에 하나 이상의 ROI를 설정하여 차량 또는 보행자인지 여부를 판단하고, 차량인 경우 번호판을 검출하여 차량번호를 인식하는 단계;
    차량 및 보행자가 아닌 객체가 이륜차인지 여부를 판단하고, 객체의 규칙을 검증하여 이륜차는 제외하는 단계;
    현재 분석중인 ROI에 대하여 이웃한 객체 영역과의 겹침이 발생했는지 여부를 판단하는 단계;
    겹침 발생시 이웃한 객체들의 영역을 합산하는 단계;
    대상 영상의 각 프레임을 VGA 해상도의 픽셀 크기로 변환하는 단계; 및
    변환된 영상을 파일형태로 저장하는 단계
    를 포함하는 인공지능 기반 차량번호 및 보행자 검색 방법.
KR1020190062283A 2019-05-28 2019-05-28 인공지능 기반 차량번호 및 보행자 검색 시스템 및 방법 KR102435435B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190062283A KR102435435B1 (ko) 2019-05-28 2019-05-28 인공지능 기반 차량번호 및 보행자 검색 시스템 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190062283A KR102435435B1 (ko) 2019-05-28 2019-05-28 인공지능 기반 차량번호 및 보행자 검색 시스템 및 방법

Publications (2)

Publication Number Publication Date
KR20200136583A KR20200136583A (ko) 2020-12-08
KR102435435B1 true KR102435435B1 (ko) 2022-08-24

Family

ID=73779055

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190062283A KR102435435B1 (ko) 2019-05-28 2019-05-28 인공지능 기반 차량번호 및 보행자 검색 시스템 및 방법

Country Status (1)

Country Link
KR (1) KR102435435B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117253380B (zh) * 2023-11-13 2024-03-26 国网天津市电力公司培训中心 一种基于数据融合技术的智慧校园安全管理系统和方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017142760A (ja) * 2016-02-12 2017-08-17 日立オートモティブシステムズ株式会社 移動体の周囲環境認識装置
KR101972428B1 (ko) * 2018-10-11 2019-04-25 주식회사 사라다 개인 정보 보호를 위한 모드 설정이 가능한 영상 처리 장치 및 방법

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101116789B1 (ko) * 2009-12-23 2012-03-13 클레어픽셀 주식회사 감시 카메라 장치 및 영상 데이터 처리 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017142760A (ja) * 2016-02-12 2017-08-17 日立オートモティブシステムズ株式会社 移動体の周囲環境認識装置
KR101972428B1 (ko) * 2018-10-11 2019-04-25 주식회사 사라다 개인 정보 보호를 위한 모드 설정이 가능한 영상 처리 장치 및 방법

Also Published As

Publication number Publication date
KR20200136583A (ko) 2020-12-08

Similar Documents

Publication Publication Date Title
US10950124B2 (en) License plate recognition
Kasaei et al. New morphology-based method for robustiranian car plate detection and recognition
US11113582B2 (en) Method and system for facilitating detection and identification of vehicle parts
Kumar et al. Automatic vehicle number plate recognition system using machine learning
US20140369566A1 (en) Perimeter Image Capture and Recognition System
CN110619277A (zh) 一种多社区智慧布控方法以及系统
CN109344886B (zh) 基于卷积神经网络的遮挡号牌判别方法
Li et al. Road vehicle monitoring system based on intelligent visual internet of things
Yoon et al. Automatic container code recognition from multiple views
CN112132048A (zh) 一种基于计算机视觉的社区巡更分析方法及系统
CN111783700A (zh) 一种路面异物自动识别预警方法和系统
Arnob et al. An intelligent traffic system for detecting lane based rule violation
Ali et al. License plate recognition system
KR102435435B1 (ko) 인공지능 기반 차량번호 및 보행자 검색 시스템 및 방법
CN114494994A (zh) 车辆异常聚集监控方法、装置、计算机设备及存储介质
CN108205670B (zh) 一种车牌识别方法及装置
Pinthong et al. The License Plate Recognition system for tracking stolen vehicles
Nigussie et al. Automatic recognition of Ethiopian license plates
Kumar et al. The Real Time Vehicle License Plate Identification System
Amin et al. An automatic number plate recognition of Bangladeshi vehicles
Kodwani et al. Automatic license plate recognition in real time videos using visual surveillance techniques
CN115880632A (zh) 超时停留检测方法、监控设备、计算机可读存储介质和芯片
Łubkowski et al. Assessment of quality of identification of data in systems of automatic licence plate recognition
CN113743316A (zh) 基于目标检测的车辆加塞行为识别方法、系统及装置
Singh et al. Vehicle number plate recognition using matlab

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right