WO2020149576A1 - 인공지능 기반 차량 검색 시스템 - Google Patents

인공지능 기반 차량 검색 시스템 Download PDF

Info

Publication number
WO2020149576A1
WO2020149576A1 PCT/KR2020/000410 KR2020000410W WO2020149576A1 WO 2020149576 A1 WO2020149576 A1 WO 2020149576A1 KR 2020000410 W KR2020000410 W KR 2020000410W WO 2020149576 A1 WO2020149576 A1 WO 2020149576A1
Authority
WO
WIPO (PCT)
Prior art keywords
vehicle
unit
information
image data
target vehicle
Prior art date
Application number
PCT/KR2020/000410
Other languages
English (en)
French (fr)
Inventor
박영석
Original Assignee
주식회사 엠제이비전테크
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 엠제이비전테크 filed Critical 주식회사 엠제이비전테크
Publication of WO2020149576A1 publication Critical patent/WO2020149576A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/625—License plates
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/141—Control of illumination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08—Detecting or categorising vehicles

Definitions

  • An embodiment of the present invention relates to an artificial intelligence based vehicle search system.
  • CCTV is increasing in importance as evidence that can objectively prove a crime or a criminal, but it causes many difficulties to the personnel due to excessive reading due to information overload. .
  • An embodiment of the present invention provides an artificial intelligence-based vehicle search system capable of improving a false detection of a monitoring target through CCTV by recognizing and analyzing a vehicle through deep learning-based data learning.
  • Video recording equipment unit for generating image data using a surveillance camera of a different model; And receiving the image data, registering condition information for the target vehicle to be monitored, and recognizing and recognizing the target vehicle from the image data using the registered condition information and deep-learning based artificial intelligence image analysis algorithm. It includes an integrated control unit that analyzes the target vehicle and provides it through inquiry of the recognized and analyzed data.
  • the video photographing equipment unit includes a vehicle number recognition camera and a network camera, a surveillance camera unit for photographing an image;
  • An infrared lighting device unit installed in the surveillance camera unit and operating at night when the surveillance camera is photographed;
  • it may include an infrared light control unit for controlling the light emission operation of the infrared lighting device unit with a synchronization signal of the same pulse width as the shutter signal for controlling the operation of the camera shutter of the surveillance camera unit.
  • an image monitoring unit for monitoring by outputting the image data received from the image recording equipment unit; At least one vehicle information among at least one vehicle license plate standard information, a vehicle type/model and a vehicle color, and receives detailed information on at least one of the vehicle information, and receives a condition information registration unit for registering as the condition information; Vehicle recognition storage for recognizing the target vehicle from the image data through AI image analysis algorithm based on the condition information registered through the condition information registration unit, and extracting and storing the image data captured by the corresponding target vehicle separately part; And based on the image data stored through the vehicle recognition storage unit, analyzes and stores at least one of the time, location, movement path, state/stop, and event of the target vehicle, and provides the analyzed information through inquiry It may include a vehicle analysis and information providing unit.
  • the vehicle recognition storage unit detects the type/model and license plate of the vehicle of the target vehicle, recognizes the number of the detected license plate, verifies the condition information, and when the target vehicle overlaps another object in the image data It may operate in the order of summing areas of the target vehicle and other objects, converting the summed areas to an image size of 640x480 pixels (width x length), and storing the converted data as a file.
  • the vehicle analysis and information providing unit includes time, location, movement route, state/stop, and event information of the target vehicle in the search query information, from the time when the target vehicle is found in the image data Provides image data up to the point of disappearance, but displays the route traveled from the point where the target vehicle was found on the map to the point of disappearance, the location of the main/stop on the route, and the win/get off and share event in chronological order Can.
  • an artificial intelligence-based vehicle search system capable of improving a false detection of a monitoring target through CCTV by recognizing and analyzing a vehicle through deep learning-based data learning.
  • FIG. 1 is a schematic diagram showing the overall configuration of an artificial intelligence-based vehicle search system according to an embodiment of the present invention.
  • FIG. 2 is a block diagram showing a configuration of an image photographing equipment unit according to an embodiment of the present invention.
  • FIG. 3 is a block diagram showing the configuration of an integrated control unit according to an embodiment of the present invention.
  • FIG. 4 is a view showing a trigger signal and a shutter signal output through the infrared light control unit of the infrared lighting device according to an embodiment of the present invention.
  • FIG. 5 is a capture screen showing an example of a server program and a client program operating in the video monitoring unit according to an embodiment of the present invention.
  • FIG. 6 is a view showing standard conditions for a vehicle license plate according to an embodiment of the present invention.
  • FIG. 7 is a flowchart illustrating an operation of a vehicle recognition storage unit according to an embodiment of the present invention.
  • FIG. 8 is a view showing an example of information provided through a vehicle analysis and information providing unit according to an embodiment of the present invention.
  • FIG. 1 is a schematic diagram showing the overall configuration of an artificial intelligence-based vehicle search system according to an embodiment of the present invention
  • FIG. 2 is a block diagram showing the configuration of an imaging equipment unit according to an embodiment of the present invention
  • FIG. 3 is the present invention 4 is a block diagram showing the configuration of an integrated control unit according to an embodiment of the present invention
  • FIG. 4 is a view showing a trigger signal of an infrared lighting device unit and a shutter signal output through an infrared light control unit according to an embodiment of the present invention.
  • a capture screen showing an example of a server program and a client program operating in an image monitoring unit according to an embodiment of the present invention
  • FIG. 6 is a view showing standard conditions for a license plate according to an embodiment of the present invention
  • FIG. 7 is a view 8 is a flowchart illustrating an operation of a vehicle recognition storage unit according to an embodiment of the present invention
  • FIG. 8 is a view showing an example of information provided through a vehicle analysis and information providing unit according to an embodiment of the present invention.
  • the artificial intelligence-based vehicle search system 1000 includes an image photographing equipment unit 100 and an integrated control unit 200.
  • the AI-based vehicle search system 1000 of the present embodiment further includes a data communication equipment unit 300 for transmitting the image data generated through the image photographing equipment unit 100 to the integrated control unit 200. Can be configured.
  • the image photographing equipment unit 100 may generate image data using surveillance cameras of different types.
  • the image photographing equipment unit 100 may include a surveillance camera unit 110, an infrared illumination device unit 120, and an infrared illumination control unit 130.
  • the surveillance camera unit 110 includes a vehicle number recognition camera and a network camera, and may take an external image including a vehicle, a pedestrian, and the like.
  • Vehicle number recognition camera is installed in the form of CCTV on the outside of the road, roadside, alley, etc., and can continuously shoot the image of the site, and the captured image data is integrated control through the data communication equipment unit 300 ( 200).
  • the network camera can also take an external image including a vehicle, a pedestrian, etc., and connect the data communication equipment 300 or a separate Internet communication device to transmit the captured image data in real time to the integrated control unit 200. .
  • the infrared lighting unit 120 may be installed in the surveillance camera 110 to operate when the surveillance camera 110 is photographed at night. More specifically, the infrared lighting device unit 120 may emit infrared light to improve the image quality of the night photographed image of the surveillance camera 110.
  • the infrared illuminating device unit 120 may be applied with infrared illumination in a wavelength range of 740 nm to 850 nm depending on the type of the surveillance camera 110.
  • the infrared lighting control unit 130 may control the light emission operation of the infrared lighting device unit 120 with a synchronization signal having the same pulse width as the shutter signal controlling the operation of the camera shutter of the surveillance camera unit 110. More specifically, when the shutter of the surveillance camera 110 is opened (OPEN), when the infrared light is emitted (ON), the amount of light absorbed by the camera lens increases and a good image quality can be obtained.
  • the infrared light control unit 130 allows the infrared light to emit light (trigger signal) in accordance with a synchronization signal (Strobe) having a pulse width equal to the shutter speed of the surveillance camera 110 as shown in FIG. 4.
  • the integrated control unit 200 receives the image data of the video recording equipment unit 100 through the data communication equipment unit 300, and registers condition information for the target vehicle (which may also include a pedestrian) to be monitored. Then, the target vehicle (which may include a pedestrian) is recognized from the received image data using the registered condition information and deep-learning based AI image analysis algorithm, and the recognized target vehicle (which may also include a pedestrian) ), and it can be provided to the administrator through inquiry of the recognized and analyzed data.
  • the integrated control unit 200 may include an image monitoring unit 210, a condition information registration unit 220, a vehicle recognition storage unit 230, and a vehicle analysis and information providing unit 240.
  • the image monitoring unit 210 outputs image data received from the image photographing equipment unit 100 so that it can be monitored.
  • the image monitoring unit 210 is a server program (a) that receives image data from the image photographing equipment unit 100 in real time and a client program (b) that provides the received image data through a screen.
  • the image monitoring unit 210 may acquire image data from a surveillance camera of up to 32 channels, and output it to a screen for monitoring by monitoring personnel, and the server program and the client program may be executed on different computers, or It can be run on one computer.
  • the condition information registration unit 220 stores at least one vehicle information among one or more vehicle license plate standard information, vehicle type/model, and vehicle color, and receives detailed information on at least one of the vehicle information and registers it as condition information Can receive
  • the vehicle license plate standard information consists of H1 Hangul from the left column, D4 to D1 are numbers, H3 and H2 in the upper column are Hangul, and D6 and D5 are in the form of numbers. It may be the basic standard information (first basic standard information) of the vehicle license plate, as shown in (b) of Figure 6, D4, D3 is a number, then H1 is Hangul, then D4 to D1 are made of numbers. It may be other basic standard information (second basic standard information) of the vehicle license plate.
  • the first and second basic standard information is a basic form of a vehicle license plate in Korea, and may include a condition in which four digits of a serial number exist and a condition in which a Hangul character must be present.
  • Other license plates for special purpose vehicles In addition to the standard information, in the case of commercial vehicles, electric vehicles, etc., the color of the license plate can be standardized and defined.
  • the condition information registration unit 220 is selected from among the basic standard information whether the number format of the target vehicle corresponds to the first basic standard information or the second basic standard information, and the detailed information according to the selected standard information, that is, the vehicle number
  • the vehicle information may include not only the standard information of the license plate as described above, but also the type, model, color, and the like of the target vehicle, and inputable information may be registered.
  • the vehicle recognition storage unit 230 recognizes the target vehicle from the image data through the artificial intelligence image analysis algorithm based on the condition information registered through the condition information registration unit 220, and the recognized target vehicle captured image data Can be extracted and stored separately.
  • storing separately means that the integrated control unit 200 stores and manages image data recognized and analyzed for a specific object in a database separately from storing image data received from the image photographing equipment unit 100 on the server. can do.
  • the vehicle recognition storage unit 230 detects the type/model and license plate of the vehicle of the target vehicle, recognizes the number of the detected license plate, verifies condition information, and when the target vehicle overlaps another object in the image data It may operate in the order of summing the areas of the target vehicle and other objects, converting the summed areas to an image size of 640x480 pixels (width x length), and storing the converted data as a file.
  • areas for the target vehicle and the overlapping other objects may be summed. For example, when another vehicle crossing the front of the target vehicle is photographed with the target vehicle, when a two-wheeled vehicle or pedestrian crossing the front of the target vehicle is photographed with the target vehicle, the target vehicle overlaps the target vehicle.
  • the object is processed as one object to sum the area, and the summed object area can be converted into a video size of 640 pixels horizontally and 480 pixels vertically.
  • the converted image data are stored as files, and can be searched and provided according to a search command.
  • the vehicle analysis and information providing unit 240 based on the image data stored through the vehicle recognition storage unit 230, at least one of the time, location, movement path, week/stop and event of the target vehicle was taken It can be analyzed and stored, and the analyzed information can be provided through inquiry.
  • the vehicle analysis and information providing unit 240 when the search query information includes the time, location, movement route, state/stop, and event information of the target vehicle, from the time the target vehicle was found in the image data Provides image data up to the point of disappearance, but displays the route traveled from the point where the target vehicle was found on the map to the point of disappearance, the location of the main/stop on the route, and the win/get off and share event in chronological order Can.
  • the target vehicle when the target vehicle is recognized and found at point 1 near Yeoksam Station, the found time information and location information, and an event (parking, stop, boarding/unloading, boarding the passenger, etc.)
  • the detected image data may be stored as a file together with the detected information.
  • the detected time information, location information, and event (parking, stop, boarding/unloading, boarding of passengers, etc.) are detected and the corresponding video data is detected. Can be saved as a file.
  • the detected time information, location information, and event (parking, stop, boarding/unloading, boarding of passengers, etc.) are detected and the corresponding video data is detected. Can be saved as a file.
  • the detected time information, location information, and event (parking, stop, boarding/unloading, boarding of passengers, etc.) are detected and the corresponding video data is detected. Can be saved as a file.
  • the detected time information, location information, and event (parking, stop, boarding/unloading, boarding of passengers, etc.) are detected and the corresponding video data is detected. Can be saved as a file.
  • five image data files can be generated and stored for a specific target vehicle. If a user inputs a specific search condition, 1 ⁇ 5 on the map where the target vehicle is found, as shown in FIG. Displays the movement route information using the location marker as shown above. When selecting each movement route information, text information such as the recognized vehicle number, vehicle type, model, shooting time, and event is displayed. Video data captured at the location can be loaded and played.
  • the search information of the target vehicle is provided in the form of a map, but not shown, it may be provided in the form of a timeline according to user selection.
  • the target vehicle icon No. 1 ⁇ 5 is displayed on the timeline, and text information such as the recognized vehicle number, vehicle type, model, shooting time, and event is displayed under the icon, and the icon is selected (click, touch). If you do, you can retrieve and play the image data captured at that location.
  • the vehicle analysis and information providing unit 240 may search and provide search information in a map or timeline format.

Abstract

본 발명은 인공지능 기반 차량 검색 시스템에 관한 것으로, 본 발명이 해결하고자 하는 과제는 딥 러닝기반의 데이터 학습을 통해서 차량을 인식하고, 분석하여 CCTV를 통한 모니터링 대상에 대한 오 탐지를 개선하는데 있다. 일례로, 서로 다른 기종의 감시카메라를 이용하여 영상데이터를 생성하는 영상촬영 장비부; 및 상기 영상데이터를 수신하고, 모니터링 대상인 대상 차량에 대한 조건정보를 등록하고, 등록된 조건정보 및 딥-러닝 기반의 인공지능 영상분석알고리즘을 이용하여 상기 영상데이터로부터 상기 대상 차량을 인식하고, 인식된 상기 대상 차량을 분석하며, 인식 및 분석된 데이터의 조회를 통해 제공하는 통합 관제부를 포함하는 인공지능 기반 차량 검색 시스템을 개시한다.

Description

인공지능 기반 차량 검색 시스템
본 발명의 실시예는 인공지능 기반 차량 검색 시스템에 관한 것이다.
인구의 증가, 도시화로 인한 인구의 밀집, 산업화로 인한 소외 등으로 증가하는 범죄문제에 대응하고 사회 안전망을 구축하기 위해서 CCTV의 도입은 전국적으로 확산되고 있으며 이를 이용한 범죄 해결의 비중은 해마다 증가하고 있다.
범죄사실이나 범인을 객관적으로 입증할 수 있는 증거자료로써 CCTV는 그 중요성이 증가하고 있지만 정보과부하(Information Overload: 지나치게 많이 수집된 이미지 정보)로 인한 과도한 판독업무로 인해 담당자들에게 많은 어려움을 주고 있다.
이와 같은 문제점을 해결하기 위해서 차량번호 인식, 보행자의 얼굴 인식 그리고, 침입 등의 다양한 행동을 분석하는 지능형 영상 감시기술 도입의 수요가 증가되어 왔다.
그러나, 기존의 시스템은 잦은 오 탐지로 인하여 만족도가 100점 만점에 21.5점으로 조사 되었으며 도입된 시스템들은 거의 사용되지 않는 것으로 파악 되었다("지능형 CCTV 행위기반 DB 구축 및 시험, 인증 방안 연구", 한국인터넷진흥원, 2012).
본 발명의 실시예는, 딥 러닝기반의 데이터 학습을 통해서 차량을 인식하고, 분석하여 CCTV를 통한 모니터링 대상에 대한 오 탐지를 개선할 수 있는 인공지능 기반 차량 검색 시스템을 제공한다.
본 발명의 실시예에 따른 인공지능 기반 차량 검색 시스템은, 서로 다른 기종의 감시카메라를 이용하여 영상데이터를 생성하는 영상촬영 장비부; 및 상기 영상데이터를 수신하고, 모니터링 대상인 대상 차량에 대한 조건정보를 등록하고, 등록된 조건정보 및 딥-러닝 기반의 인공지능 영상분석알고리즘을 이용하여 상기 영상데이터로부터 상기 대상 차량을 인식하고, 인식된 상기 대상 차량을 분석하며, 인식 및 분석된 데이터의 조회를 통해 제공하는 통합 관제부를 포함한다.
또한, 상기 영상촬영 장비부는, 차량번호 인식 카메라와 네트워크 카메라를 포함하고, 영상을 촬영하는 감시 카메라부; 상기 감시 카메라부에 설치되고, 상기 감시 카메라의 야간 촬영 시 동작하는 적외선 조명 장치부; 및 상기 감시 카메라부의 카메라 셔터의 동작을 제어하는 셔터 신호와 동일한 펄스 폭의 동기 신호로 상기 적외선 조명 장치부의 발광 동작을 제어하는 적외선 조명 제어부를 포함할 수 있다.
또한, 상기 통합 관제부는, 상기 영상촬영 장비부로부터 수신되는 상기 영상데이터를 출력하여 모니터링하기 위한 영상 모니터링부; 하나 이상의 차량 번호판 규격정보, 차량의 종류/모델 및 차량의 색상 중 적어도 하나의 차량정보가 저장되고, 상기 차량정보 중 적어도 하나에 대한 상세정보를 입력 받아 상기 조건정보로 등록 받는 조건정보 등록부; 상기 조건정보 등록부를 통해 등록된 상기 조건정보를 기반으로 인공지능 영상분석알고리즘을 통해 상기 영상데이터로부터 상기 대상 차량을 인식하고, 인식된 해당 대상 차량이 촬영된 영상데이터를 추출해 별도로 저장하는 차량 인식 저장부; 및 상기 차량 인식 저장부를 통해 저장된 영상데이터를 기반으로 해당 대상 차량이 촬영된 시간, 위치, 이동경로, 주/정차 및 이벤트 중 적어도 하나의 정보를 분석하여 저장하고, 분석된 정보를 조회를 통해 제공하는 차량 분석 및 정보 제공부를 포함할 수 있다.
또한, 상기 차량 인식 저장부는, 상기 대상 차량의 차량의 종류/모델, 번호판 검출하고, 검출된 번호판의 번호 인식하고, 상기 조건정보를 검증하고, 상기 영상데이터에서 상기 대상 차량이 다른 객체와 겹치는 경우 상기 대상 차량과 다른 객체의 영역을 합산하고, 합산된 영역을 640x480 픽셀(가로x세로)의 영상 크기로 변환하며, 변환된 데이터를 파일로 저장하는 순서로 동작할 수 있다.
또한, 상기 차량 분석 및 정보 제공부는, 검색조회정보에 상기 대상 차량이 촬영된 시간, 위치, 이동경로, 주/정차 및 이벤트 정보를 포함하는 경우, 상기 영상데이터에서 해당 대상 차량이 발견된 시점부터 사라진 시점까지의 영상데이터를 제공하되, 지도 상에서 해당 대상 차량이 발견된 시점부터 사라진 시점까지 이동한 경로, 이동 경로 상에 주/정차한 위치와, 승/하차 및 합승 이벤트를 시간 순서대로 표시할 수 있다.
본 발명에 따르면, 딥 러닝기반의 데이터 학습을 통해서 차량을 인식하고, 분석하여 CCTV를 통한 모니터링 대상에 대한 오 탐지를 개선할 수 있는 인공지능 기반 차량 검색 시스템을 제공할 수 있다.
도 1은 본 발명의 실시예에 따른 인공지능 기반 차량 검색 시스템의 전체 구성을 나타낸 개요도이다.
도 2는 본 발명의 실시예에 따른 영상촬영 장비부의 구성을 나타낸 블록도이다.
도 3은 본 발명의 실시예에 따른 통합 관제부의 구성을 나타낸 블록도이다.
도 4는 본 발명의 실시예에 따른 적외선 조명 장치부의 트리거 신호와 적외선 조명 제어부를 통해 출력되는 셔터 신호를 나타낸 도면이다.
도 5는 본 발명의 실시예에 따른 영상 모니터링부에서 동작하는 서버 프로그램과 클라이언트 프로그램의 예시를 나타낸 캡쳐 화면이다.
도 6은 본 발명의 실시예에 따른 차량 번호판에 대한 규격조건을 나타낸 도면이다.
도 7은 본 발명의 실시예에 따른 차량 인식 저장부의 동작을 설명하기 위해 나타낸 순서도이다.
도 8은 본 발명의 실시예에 따른 차량 분석 및 정보 제공부를 통해 제공되는 정보의 일례를 나타낸 도면이다.
도 1은 본 발명의 실시예에 따른 인공지능 기반 차량 검색 시스템의 전체 구성을 나타낸 개요도이고, 도 2는 본 발명의 실시예에 따른 영상촬영 장비부의 구성을 나타낸 블록도이고, 도 3은 본 발명의 실시예에 따른 통합 관제부의 구성을 나타낸 블록도이고, 도 4는 본 발명의 실시예에 따른 적외선 조명 장치부의 트리거 신호와 적외선 조명 제어부를 통해 출력되는 셔터 신호를 나타낸 도면이고, 도 5는 본 발명의 실시예에 따른 영상 모니터링부에서 동작하는 서버 프로그램과 클라이언트 프로그램의 예시를 나타낸 캡쳐 화면이고, 도 6은 본 발명의 실시예에 따른 차량 번호판에 대한 규격조건을 나타낸 도면이고, 도 7은 본 발명의 실시예에 따른 차량 인식 저장부의 동작을 설명하기 위해 나타낸 순서도이며, 도 8은 본 발명의 실시예에 따른 차량 분석 및 정보 제공부를 통해 제공되는 정보의 일례를 나타낸 도면이다.
도 1 내지 도 3을 참조하면, 본 발명의 실시예에 따른 인공지능 기반 차량 검색 시스템(1000)은 영상촬영 장비부(100)와 통합 관제부(200)를 포함한다. 더불어, 본 실시예의 인공지능 기반 차량 검색 시스템(1000)은 영상촬영 장비부(100)를 통해 생성된 영상데이터를 통합 관제부(200)로 전송하기 위한 데이터통신 장비부(300)를 더 포함하여 구성될 수 있다.
상기 영상촬영 장비부(100)는 서로 다른 기종의 감시카메라를 이용하여 영상데이터를 생성할 수 있다. 이를 위해 영상촬영 장비부(100)는 감시 카메라부(110), 적외선 조명 장치부(120) 및 적외선 조명 제어부(130)를 포함할 수 있다.
상기 감시 카메라부(110)는 차량번호 인식 카메라와 네트워크 카메라를 포함하고, 차량, 보행자 등을 포함하는 외부 영상을 촬영할 수 있다. 차량번호 인식 카메라는 도로, 길가, 골목 등의 외부 현장 곳곳에 CCTV 형태로 설치되어 해당 현장의 영상을 계속해서 촬영할 수 있으며, 촬영된 영상데이터는 데이터통신 장비부(300)를 통해 통합 관제부(200)로 실시간 전송될 수 있다. 네트워크 카메라 또한, 차량, 보행자 등을 포함하는 외부 영상을 촬영할 수 있으며, 데이터통신 장비부(300) 또는 별도의 인터넷 통신 장치에 연결되어 촬영된 영상데이터를 통합 관제부(200)로 실시간 전송할 수 있다.
상기 적외선 조명 장치부(120)는 감시 카메라(110)에 설치되어 감시 카메라(110)의 야간 촬영 시 동작할 수 있다. 좀 더 구체적으로, 적외선 조명 장치부(120)는 적외선 조명을 발광하여 감시 카메라(110)의 야간 촬영 영상의 화질을 개선할 수 있다. 이러한 적외선 조명 장치부(120)는 감시 카메라(110)의 종류에 따라서 740nm 내지 850nm 파장대의 적외선 조명이 적용될 수 있다.
상기 적외선 조명 제어부(130)는 감시 카메라부(110)의 카메라 셔터의 동작을 제어하는 셔터 신호와 동일한 펄스 폭의 동기 신호로 적외선 조명 장치부(120)의 발광 동작을 제어할 수 있다. 좀 더 구체적으로, 감시 카메라(110)의 셔터가 열린(OPEN) 상태에서 적외선 조명이 발광(ON)되어야 카메라 렌즈로 흡수되는 빛의 양이 많아지며 좋은 화질의 영상을 획득할 수 있으므로, 이를 위해 적외선 조명 제어부(130)는 도 4에 도시된 바와 같이 감시 카메라(110)의 셔터 스피드와 동일한 펄스 폭의 동기신호(Strobe)에 맞춰 적외선 조명이 발광(트리거 신호)할 수 있도록 한다.
상기 통합 관제부(200)는, 데이터통신 장비부(300)를 통해 영상촬영 장비부(100)의 영상데이터를 수신하고, 모니터링 대상인 대상 차량(보행자도 포함할 수 있음)에 대한 조건정보를 등록하고, 등록된 조건정보 및 딥-러닝 기반의 인공지능 영상분석알고리즘을 이용하여 수신된 영상데이터로부터 대상 차량(보행자도 포함할 수 있음)을 인식하고, 인식된 대상 차량(보행자도 포함할 수 있음)을 분석하며, 인식 및 분석된 데이터의 조회를 통해 관리자에게 제공될 수 있다. 이를 위해 통합 관제부(200)는 영상 모니터링부(210), 조건정보 등록부(220), 차량 인식 저장부(230), 및 차량 분석 및 정보 제공부(240)를 포함할 수 있다.
상기 영상 모니터링부(210)는 영상촬영 장비부(100)로부터 수신되는 영상데이터를 출력하여 모니터링 할 수 있도록 한다. 이를 위해 영상 모니터링부(210)는 도 5를 참조하면 영상촬영 장비부(100)로부터 영상데이터를 실시간 수신하는 서버 프로그램(a)과 수신된 영상데이터를 화면을 통해 제공하는 클라이언트 프로그램(b)으로 구성될 수 있다. 이러한 영상 모니터링부(210)는 최대 32개 채널의 감시 카메라로부터 영상데이터를 각각 획득하여 관제요원들이 모니터링 가능하도록 화면으로 출력할 수 있으며, 서버 프로그램과 클라이언트 프로그램은 서로 다른 컴퓨터에서 실행될 수 있으며 또는, 하나의 컴퓨터에서 실행 될 수 있다.
상기 조건정보 등록부(220)는 하나 이상의 차량 번호판 규격정보, 차량의 종류/모델 및 차량의 색상 중 적어도 하나의 차량정보가 저장되고, 차량정보 중 적어도 하나에 대한 상세정보를 입력 받아 조건정보로 등록 받을 수 있다.
예를 들어, 차량 번호판 규격정보는 도 6의 (a)에 도시된 바와 같이 아래 열 좌측부터 H1 한글, D4~D1은 숫자, 윗 열의 H3, H2는 한글, 그리고 D6, D5는 숫자 형태로 이루어진 차량 번호판의 기본규격정보(제1 기본규격정보)일 수 있고, 도 6의 (b)에 도시된 바와 같이 D4, D3은 숫자, 그 다음 H1은 한글, 그 다음 D4~D1은 숫자 형태로 이루어진 차량 번호판의 다른 기본규격정보(제2 기본규격정보)일 수 있다. 이러한 제1 및 제2 기본규격정보는 대한민국 차량 번호판의 기본적인 형식으로서 일련번호 숫자 네 자리가 존재하는 조건과 용도문자 한글이 존재해야 하는 조건을 포함할 수 있으며, 그 외 특수 목적의 차량에 대한 번호판 규격정보와 더불어, 영업용 차량, 전기차량 등의 경우 번호판의 색상까지 기본적으로 규격화되어 정의될 수 있다.
상기 조건정보 등록부(220)는 이러한 기본규격정보 중 대상 차량의 번호 형식이 제1 기본규격정보에 해당되는지 제2 기본규격정보에 해당되는지를 선택 받고, 선택된 해당 규격정보에 따른 상세정보 즉 차량번호정보를 등록 받을 수 있다 또한, 차량정보는 상기와 같은 차량번호판의 규격정보뿐만 아니라, 대상 차량의 종류, 모델, 색상 등을 포함할 수 있으며, 입력 가능한 정보를 등록 받을 수 있다.
상기 차량 인식 저장부(230)는 조건정보 등록부(220)를 통해 등록된 조건정보를 기반으로 인공지능 영상분석알고리즘을 통해 영상데이터로부터 대상 차량을 인식하고, 인식된 해당 대상 차량이 촬영된 영상데이터를 추출해 별도로 저장할 수 있다. 여기서 별도로 저장한다는 것은 통합 관제부(200)가 영상촬영 장비부(100)로부터 받은 영상데이터를 서버에 저장하는 것과 별도로 특정 대상에 대하여 인식 및 분석된 영상데이터를 데이터베이스에 저장하여 관리하도록 한다는 것을 의미할 수 있다.
좀 더 구체적으로 차량 인식 저장부(230)는 대상 차량의 차량의 종류/모델, 번호판 검출하고, 검출된 번호판의 번호 인식하고, 조건정보를 검증하고, 영상데이터에서 대상 차량이 다른 객체와 겹치는 경우 대상 차량과 다른 객체의 영역을 합산하고, 합산된 영역을 640x480 픽셀(가로x세로)의 영상 크기로 변환하며, 변환된 데이터를 파일로 저장하는 순서로 동작할 수 있다.
예를 들어, 도 7에 도시된 바와 같이 영상촬영 장비부(100)의 각 감시 카메라로부터 영상데이터를 획득하면 기본적으로 차량인지 이륜차인지(또는 보행자)인지를 구분한 후, 차량인 경우 해당 차량의 번호판을 검출한 후, 조건정보 등록부(220)를 통해 등록된 조건정보 중 차량 번호판의 규격정보에 기초하여 해당 차량이 등록된 차량 번호판의 규격정보와 실제 모니터링 하고자 하는 차량번호에 부합하는 차량인지를 검증할 수 있다. 한편, 차량이 아닌 경우 이륜차로 분류(또는 보행자)하고, 해당 이륜차의 번호판의 규격정보와 실제 모니터링 하고자 하는 이륜차번호에 부합하는지 검증할 수 있다.
이후, 해당 차량(또는 이륜차, 보행자)이 다른 객체와 영상 내에서 겹치는 경우, 대상 차량 및 겹치는 다른 객체에 대한 영역을 합산할 수 있다. 예를 들어, 대상 차량의 앞을 가로지르는 다른 차량이 대상 차량과 함께 촬영된 경우, 대상 차량의 앞을 가로지르는 이륜차 또는 보행자 등이 대상 차량과 함께 촬영된 경우, 대상 차량과 그 대상 차량과 겹치는 해당 객체를 하나의 객체로 처리하여 해당 영역을 합산하며, 합산된 객체 영역을 가로 640픽셀, 세로 480 픽셀의 영상 크기로 변환할 수 있다. 변환된 영상데이터는 파일로 각각 저장되며, 검색 명령에 따라 조회되어 제공될 수 있다.
상기 차량 분석 및 정보 제공부(240)는 차량 인식 저장부(230)를 통해 저장된 영상데이터를 기반으로 해당 대상 차량이 촬영된 시간, 위치, 이동경로, 주/정차 및 이벤트 중 적어도 하나의 정보를 분석하여 저장하고, 분석된 정보를 조회를 통해 제공할 수 있다.
또한, 차량 분석 및 정보 제공부(240)는 검색조회정보에 대상 차량이 촬영된 시간, 위치, 이동경로, 주/정차 및 이벤트 정보를 포함하는 경우, 영상데이터에서 해당 대상 차량이 발견된 시점부터 사라진 시점까지의 영상데이터를 제공하되, 지도 상에서 해당 대상 차량이 발견된 시점부터 사라진 시점까지 이동한 경로, 이동 경로 상에 주/정차한 위치와, 승/하차 및 합승 이벤트를 시간 순서대로 표시할 수 있다.
예를 들어, 도 8에 도시된 바와 같이 대상 차량이 역삼역 근처에서 ①번 지점에서 인식 및 발견되면, 발견된 시간정보와 위치정보, 그리고 이벤트(주차, 정차, 승/하차, 합승자 탑승 등)을 검출하여 검출된 정보와 함께 해당 영상데이터가 파일로 저장될 수 있다.
이후, ①번 지점과 다른 ②번 지점에서 발견되면, 발견된 시간정보와 위치정보, 그리고 이벤트(주차, 정차, 승/하차, 합승자 탑승 등)을 검출하여 검출된 정보와 함께 해당 영상데이터가 파일로 저장될 수 있다.
이후, ②번 지점과 다른 ③번 지점에서 발견되면, 발견된 시간정보와 위치정보, 그리고 이벤트(주차, 정차, 승/하차, 합승자 탑승 등)을 검출하여 검출된 정보와 함께 해당 영상데이터가 파일로 저장될 수 있다.
이후, ③번 지점과 다른 ④번 지점에서 발견되면, 발견된 시간정보와 위치정보, 그리고 이벤트(주차, 정차, 승/하차, 합승자 탑승 등)을 검출하여 검출된 정보와 함께 해당 영상데이터가 파일로 저장될 수 있다.
이후, ④번 지점과 다른 ⑤번 지점에서 발견되면, 발견된 시간정보와 위치정보, 그리고 이벤트(주차, 정차, 승/하차, 합승자 탑승 등)을 검출하여 검출된 정보와 함께 해당 영상데이터가 파일로 저장될 수 있다.
이러한 과정을 통해 특정 대상 차량에 대하여 영상데이터 파일이 5개가 생성 및 저장될 수 있는데, 사용자가 특정 검색 조건을 입력하면, 도 8에 도시된 바와 같이 대상 차량이 발견된 지도 상에 ①~⑤번과 같은 위치 마커를 이용한 이동경로정보를 표시하며, 각각의 이동경로정보를 선택하는 경우 인식된 차량번호, 차종, 모델, 촬영시각, 이벤트 등의 텍스트 정보가 표시되며, 촬영영상보기를 선택하는 경우 해당 위치에서 촬영된 영상데이터를 불러와 재생할 수 있다.
본 실시예에서는 도 8에 도시된 바와 같이 지도 형태로 대상 차량의 검색 정보를 제공할 뿐만 아니라, 도시하지는 않았지만 사용자 선택에 따라 타임 라인 형태로 제공할 수 있다. 이러한 경우 타임 라인 상에 ①~⑤번 대상 차량 아이콘이 표시되며 해당 아이콘 아래에 인식된 차량번호, 차종, 모델, 촬영시각, 이벤트 등의 텍스트 정보가 표시되며, 해당 아이콘을 선택(클릭, 터치)하는 경우 해당 위치에서 촬영된 영상데이터를 불러와 재생할 수 있다.
이와 같이 차량 분석 및 정보 제공부(240)는 지도 또는 타임 라인 형식으로 검색정보를 조회하여 제공할 수 있다.

Claims (4)

  1. 서로 다른 기종의 감시카메라를 이용하여 영상데이터를 생성하는 영상촬영 장비부; 및
    상기 영상데이터를 수신하고, 모니터링 대상인 대상 차량에 대한 조건정보를 등록하고, 등록된 조건정보 및 딥-러닝 기반의 인공지능 영상분석알고리즘을 이용하여 상기 영상데이터로부터 상기 대상 차량을 인식하고, 인식된 상기 대상 차량을 분석하며, 인식 및 분석된 데이터의 조회를 통해 제공하는 통합 관제부를 포함하는 것을 특징으로 하는 인공지능 기반 차량 검색 시스템.
  2. 제1 항에 있어서,
    상기 영상촬영 장비부는,
    차량번호 인식 카메라와 네트워크 카메라를 포함하고, 영상을 촬영하는 감시 카메라부;
    상기 감시 카메라부에 설치되고, 상기 감시 카메라의 야간 촬영 시 동작하는 적외선 조명 장치부; 및
    상기 감시 카메라부의 카메라 셔터의 동작을 제어하는 셔터 신호와 동일한 펄스 폭의 동기 신호로 상기 적외선 조명 장치부의 발광 동작을 제어하는 적외선 조명 제어부를 포함하는 것을 특징으로 하는 인공지능 기반 차량 검색 시스템.
  3. 제1 항에 있어서,
    상기 통합 관제부는,
    상기 영상촬영 장비부로부터 수신되는 상기 영상데이터를 출력하여 모니터링하기 위한 영상 모니터링부;
    하나 이상의 차량 번호판 규격정보, 차량의 종류/모델 및 차량의 색상 중 적어도 하나의 차량정보가 저장되고, 상기 차량정보 중 적어도 하나에 대한 상세정보를 입력 받아 상기 조건정보로 등록 받는 조건정보 등록부;
    상기 조건정보 등록부를 통해 등록된 상기 조건정보를 기반으로 인공지능 영상분석알고리즘을 통해 상기 영상데이터로부터 상기 대상 차량을 인식하고, 인식된 해당 대상 차량이 촬영된 영상데이터를 추출해 별도로 저장하는 차량 인식 저장부; 및
    상기 차량 인식 저장부를 통해 저장된 영상데이터를 기반으로 해당 대상 차량이 촬영된 시간, 위치, 이동경로, 주/정차 및 이벤트 중 적어도 하나의 정보를 분석하여 저장하고, 분석된 정보를 조회를 통해 제공하는 차량 분석 및 정보 제공부를 포함하는 것을 특징으로 하는 인공지능 기반 차량 검색 시스템.
  4. 제3 항에 있어서,
    상기 차량 인식 저장부는,
    상기 대상 차량의 차량의 종류/모델, 번호판 검출하고, 검출된 번호판의 번호 인식하고, 상기 조건정보를 검증하고, 상기 영상데이터에서 상기 대상 차량이 다른 객체와 겹치는 경우 상기 대상 차량과 다른 객체의 영역을 합산하고, 합산된 영역을 640x480 픽셀(가로x세로)의 영상 크기로 변환하며, 변환된 데이터를 파일로 저장하는 순서로 동작하는 것을 특징으로 하는 인공지능 기반 차량 검색 시스템.
PCT/KR2020/000410 2019-01-17 2020-01-09 인공지능 기반 차량 검색 시스템 WO2020149576A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2019-0006319 2019-01-17
KR1020190006319A KR102181355B1 (ko) 2019-01-17 2019-01-17 인공지능 기반 차량 검색 시스템

Publications (1)

Publication Number Publication Date
WO2020149576A1 true WO2020149576A1 (ko) 2020-07-23

Family

ID=71614274

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2020/000410 WO2020149576A1 (ko) 2019-01-17 2020-01-09 인공지능 기반 차량 검색 시스템

Country Status (2)

Country Link
KR (1) KR102181355B1 (ko)
WO (1) WO2020149576A1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113852792A (zh) * 2021-09-18 2021-12-28 杭州禹疆智能科技有限公司 一种基于人工智能的监控系统及监控方法
CN114137512A (zh) * 2021-11-29 2022-03-04 湖南大学 一种毫米波雷达与深度学习视觉融合的前方多车辆跟踪方法
CN114137512B (zh) * 2021-11-29 2024-04-26 湖南大学 一种毫米波雷达与深度学习视觉融合的前方多车辆跟踪方法

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102608447B1 (ko) * 2021-04-08 2023-12-01 에이원(주) 인공지능을 이용한 차량번호인식 제어시스템 및 그 방법
WO2024035041A1 (ko) * 2022-08-08 2024-02-15 주식회사 아이나비시스템즈 위치 추정 장치 및 방법
KR102651108B1 (ko) * 2022-08-08 2024-03-26 주식회사 아이나비시스템즈 위치 추정 장치 및 방법

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20030012371A (ko) * 2001-07-31 2003-02-12 김관중 통신망을 이용한 감시 카메라의 통합 원격 제어 시스템 및방법과 이를 이용한 영상 데이터 처리 방법
KR20130105952A (ko) * 2012-03-19 2013-09-27 한밭대학교 산학협력단 차량 번호판 인식 방법과 그 장치
KR20160034064A (ko) * 2014-09-19 2016-03-29 주식회사 케이티앤씨 차량 번호 인식 장치 및 그 방법
JP2018060511A (ja) * 2016-10-06 2018-04-12 株式会社アドバンスド・データ・コントロールズ シミュレーションシステム、シミュレーションプログラム及びシミュレーション方法
KR20180133657A (ko) * 2017-06-07 2018-12-17 한화에어로스페이스 주식회사 기계 학습을 이용한 다중 뷰포인트 차량 인식 장치

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101850286B1 (ko) 2017-06-27 2018-04-19 한국기술교육대학교 산학협력단 딥 러닝 기반 cctv용 영상 인식 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20030012371A (ko) * 2001-07-31 2003-02-12 김관중 통신망을 이용한 감시 카메라의 통합 원격 제어 시스템 및방법과 이를 이용한 영상 데이터 처리 방법
KR20130105952A (ko) * 2012-03-19 2013-09-27 한밭대학교 산학협력단 차량 번호판 인식 방법과 그 장치
KR20160034064A (ko) * 2014-09-19 2016-03-29 주식회사 케이티앤씨 차량 번호 인식 장치 및 그 방법
JP2018060511A (ja) * 2016-10-06 2018-04-12 株式会社アドバンスド・データ・コントロールズ シミュレーションシステム、シミュレーションプログラム及びシミュレーション方法
KR20180133657A (ko) * 2017-06-07 2018-12-17 한화에어로스페이스 주식회사 기계 학습을 이용한 다중 뷰포인트 차량 인식 장치

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113852792A (zh) * 2021-09-18 2021-12-28 杭州禹疆智能科技有限公司 一种基于人工智能的监控系统及监控方法
CN114137512A (zh) * 2021-11-29 2022-03-04 湖南大学 一种毫米波雷达与深度学习视觉融合的前方多车辆跟踪方法
CN114137512B (zh) * 2021-11-29 2024-04-26 湖南大学 一种毫米波雷达与深度学习视觉融合的前方多车辆跟踪方法

Also Published As

Publication number Publication date
KR20200094818A (ko) 2020-08-10
KR102181355B1 (ko) 2020-11-20

Similar Documents

Publication Publication Date Title
WO2020149576A1 (ko) 인공지능 기반 차량 검색 시스템
CN110008298B (zh) 驻车多维信息感知应用系统及方法
CN107633687A (zh) 一种用于停车场的车辆识别方法及系统
US20060200307A1 (en) Vehicle identification and tracking system
WO2017018744A1 (ko) 무인 스마트카를 이용한 공익서비스 시스템 및 방법
KR101688218B1 (ko) 객체 인지 기반의 실시간 영상 검지 기술을 이용한 교통 흐름 및 돌발 상황 관리 시스템 및 그 처리 방법
KR101397453B1 (ko) 영상 감시 시스템 및 그 방법
CN110619277A (zh) 一种多社区智慧布控方法以及系统
KR100968433B1 (ko) 차량번호 인식정보 저장 시스템과 그 시스템을 이용한 차량 영상정보 검색 시스템
CN111340003B (zh) 一种针对电子警察盲区内违法变道行为的取证方法及系统
CN107527506A (zh) 嵌入式雷达监测复合仪、以及雷达监测抓拍系统和方法
CN108205896A (zh) 一种校园交通安全智能监控管理系统
CN111353369A (zh) 一种城市路侧停车高位视频在辅助刑侦中的应用方法及系统
KR100970278B1 (ko) 주차위치 안내 및 방범기능을 갖는 통합 주차관제 시스템
CN108389295A (zh) 一种用于工地出入口的渣土综合监管系统
CN108710827A (zh) 一种社区微警务巡查和信息自动分析系统及方法
CN111539338A (zh) 行人口罩佩戴管控方法、装置、设备及计算机存储介质
JP3664784B2 (ja) 広域監視装置
CN111540109A (zh) 一种人脸识别系统
CN108510744B (zh) 基于长短焦距相机实现半封闭车场管理的系统及方法
KR20090035798A (ko) 차량 번호판의 영상 저장 시스템 및 그 방법
KR20190136515A (ko) 차량 인식 장치
KR100877930B1 (ko) 과속감지시스템을 이용한 수배차량 검색 방법
CN111726583A (zh) 智能管理系统
CN112580470A (zh) 城市视觉感知方法、装置、电子设备和存储介质

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20741387

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20741387

Country of ref document: EP

Kind code of ref document: A1

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205A DATED 18.11.2021)

122 Ep: pct application non-entry in european phase

Ref document number: 20741387

Country of ref document: EP

Kind code of ref document: A1