WO2020105780A1 - 다중 객체 검출 시스템 및 방법 - Google Patents

다중 객체 검출 시스템 및 방법

Info

Publication number
WO2020105780A1
WO2020105780A1 PCT/KR2018/015219 KR2018015219W WO2020105780A1 WO 2020105780 A1 WO2020105780 A1 WO 2020105780A1 KR 2018015219 W KR2018015219 W KR 2018015219W WO 2020105780 A1 WO2020105780 A1 WO 2020105780A1
Authority
WO
WIPO (PCT)
Prior art keywords
detection
tracking
recognized
module
frame
Prior art date
Application number
PCT/KR2018/015219
Other languages
English (en)
French (fr)
Inventor
정부은
최흥묵
김영규
뉴엔탄하이
Original Assignee
유니셈(주)
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 유니셈(주) filed Critical 유니셈(주)
Publication of WO2020105780A1 publication Critical patent/WO2020105780A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/017—Detecting movement of traffic to be counted or controlled identifying vehicles
    • G08G1/0175—Detecting movement of traffic to be counted or controlled identifying vehicles by photographing vehicles, e.g. when violating traffic rules
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition

Definitions

  • the present invention relates to a system and method for detecting multiple objects based on deep learning.
  • the present invention is to reduce the amount of computation and memory required in a multi-class object detection engine based on deep learning and to increase the accuracy of performance for object detection.
  • the present invention is to show robust tracking performance for an object whose shape changes with time by simultaneously using multiple object detection and multiple object tracking.
  • a multi-object detection system includes a communication module that receives an image captured from a camera; A detection module that recognizes one or more objects matching the pre-stored criteria based on the image received from the communication module; And a tracking module that recognizes at least one object similar to at least one object recognized by the detection module.
  • the detection module may recognize at least one object having a pre-stored object format value and a matching rate greater than or equal to a specific numerical value.
  • the pre-stored object format value may include at least one of a front surface of a vehicle, a motorcycle, and a rear surface of a motorcycle.
  • the tracking module may track the detected object using a correlation filter-based tracking technique.
  • the tracking module in the n-th frame, may recognize at least one object having a similarity rate or higher than a specific numerical value recognized by at least one object recognized by the detection module.
  • a classification module for determining at least one object recognized by the detection module as a detection object and determining an object similar to the at least one object recognized by the tracking module as a tracking object may be further included.
  • the position coordinates of at least one object are determined by comparing the position coordinates of at least one object recognized by the detection module with the position coordinates of at least one object recognized by the tracking module.
  • the analysis module may be further included.
  • a multi-object detection method includes receiving an image captured from a camera; A detection step of recognizing one or more objects matching the pre-stored criteria based on the received image; And a tracking step of recognizing at least one object similar to the at least one object recognized in the step of recognizing the object.
  • At least one object having a pre-stored object format value and a matching rate equal to or greater than a specific numerical value may be recognized.
  • the pre-stored object format value may include at least one of a front surface of a vehicle, a motorcycle, and a rear surface of a motorcycle.
  • the tracking step may track the detected object using a correlation filter-based tracking technique.
  • the tracking step in the n-th frame, at least one object recognized in the detection step and an object having a similarity rate equal to or greater than a specific numerical value may be recognized.
  • the tracking step further comprising a classification step of determining at least one object recognized in the detection step as a detection object, and determining an object similar to the at least one object recognized in the tracking step as a tracking object.
  • a classification step of determining at least one object recognized in the detection step as a detection object, and determining an object similar to the at least one object recognized in the tracking step as a tracking object.
  • the tracking step in the n-th frame, compares the position coordinates of at least one object recognized in the detection step with the position coordinates of at least one object recognized in the tracking module, and averages the at least one object
  • the analysis step of determining the position coordinates may be further included.
  • a deep learning-based multi-class object detection engine may reduce the amount of computation and memory required and increase the accuracy of performance for object detection.
  • FIG. 1 is an overall block diagram of a deep learning-based multi-object detection system according to an embodiment of the present invention.
  • FIG. 2 is a detailed block diagram of a deep learning-based multi-object detection system according to an embodiment of the present invention.
  • FIG. 3 is a flowchart of a method for detecting multiple objects based on deep learning according to an embodiment of the present invention.
  • FIG. 4 is an exemplary diagram for describing deep learning-based multi-object detection of FIG. 3.
  • 5 is a flowchart illustrating a method of calculating the speed of the recognized object.
  • FIG. 6 is a view for explaining S20 of FIG. 5.
  • FIG. 7 is a flowchart for specifically describing S20 of FIG. 5.
  • 8 is a flow chart showing the license plate area detection algorithm.
  • 9 is a flow chart showing the license plate recognition algorithm.
  • 10 is a view for explaining the centerline algorithm of S44 of FIG. 9.
  • terms such as ' ⁇ unit', ' ⁇ group', ' ⁇ block', and ' ⁇ module' used throughout this specification may mean a unit that processes at least one function or operation.
  • it can mean a hardware component such as software, FPGA or ASIC.
  • ' ⁇ bu', ' ⁇ gi', ' ⁇ block', and ' ⁇ module' are not limited to software or hardware.
  • the ' ⁇ unit', ' ⁇ gi', ' ⁇ block', and ' ⁇ module' may be configured to be in an addressable storage medium or may be configured to play one or more processors.
  • ' ⁇ unit', ' ⁇ gi', ' ⁇ block', and ' ⁇ module' are components such as software components, object-oriented software components, class components and task components. Fields, processes, functions, attributes, procedures, subroutines, segments of program code, drivers, firmware, microcode, circuitry, data, database, data structures, tables, arrays and Includes variables.
  • Components and functions provided in ' ⁇ unit', ' ⁇ gi', ' ⁇ block', and ' ⁇ module' have a smaller number of components and ' ⁇ unit', ' ⁇ gi', ' ⁇ block It can be combined with ',' ⁇ modules', or can be further separated into additional components and ' ⁇ units',' ⁇ gi ',' ⁇ blocks', and ' ⁇ modules'.
  • FIG. 1 is an overall block diagram of a deep laearning-based multi-object detection system 100 according to an embodiment of the present invention.
  • the multi-object detection system 100 receives an image captured from the image collection device 30 of the object 20.
  • the multi-object detection system 10 is connected to the image collection device 30 through a network.
  • the present invention is a deep learning-based multi-object detection system 100, which can reduce the amount of computation and memory required in the deep-learning-based multi-class object detection engine while increasing the accuracy of performance for object detection.
  • NMS non-maximum suppression
  • FIG. 2 is a detailed block diagram of a deep learning-based multi-object detection system according to an embodiment of the present invention.
  • the multi-object detection system 100 includes a communication module (not shown), a detection module 110, a tracking module 120, a classification module 130, and an analysis module 140.
  • the communication module receives an image captured from the camera and detects one or more regions of interest (ROI) including an object.
  • the communication module extracts a region of interest using a stick cell technique.
  • the stick cell technique refers to a method of expressing an image in a group such as a stick of a certain width instead of a pixel in the assumption that obstacle objects upright on the road have the same parallax information, and this is grouped.
  • the region of interest can be extracted.
  • the detection module 110 recognizes one or more objects matching the pre-stored criteria based on the image received from the communication module. For example, the detection module 110 recognizes each object existing in the region of interest for each region of interest detected using the deep learning-based multi-object classification technique.
  • the detection module 110 recognizes a class of multiple objects using a deep learning technique, but may use a technique such as a random forest.
  • random forest is an ensemble method of randomly learning multiple decision trees in machine learning.
  • the random forest method is largely composed of a learning step composing a plurality of decision trees and a test step classifying or predicting when an input vector is received. Random forest is used in various applications such as detection, classification, and regression.
  • deep learning is a technique used to cluster or classify objects or data. For example, computers don't distinguish between dogs and cats by pictures alone, but people can easily distinguish them. For this, machine learning technology is to input data into a computer and classify similar ones. In other words, deep learning means that when a picture similar to a stored dog picture is input, the computer classifies it as a dog picture.
  • the detection module 110 generates labeling data for learning by using a labeling authoring tool.
  • data regarding a format value of an object and a position coordinate of an object is generated using a labeling authoring tool.
  • the format value of the object can be divided into a car, a van, a bus, a truck, a motorcycle front, a motorcycle rear, and a motorcycle side.
  • the reason for separating the front, back, and side surfaces of a motorcycle separately is that cars have license plates on both the front and the back, but motorcycles usually have license plates on the back.
  • the tracking module 120 recognizes at least one object similar to at least one object recognized by the detection module 110.
  • the tracking module 120 tracks the object based on the detected format value of the object.
  • the tracking module 120 estimates the detected object using a correlation filter based tracking technique. This tracking technique shows robust tracking performance even for an object whose shape changes over time, such as a person.
  • tracking module 120 Details of the tracking module 120 will be described later.
  • the classification module 130 determines at least one object recognized by the detection module 110 as a detection object, and determines an object similar to the at least one object recognized by the tracking module 120 as a tracking object.
  • FIG. 3 is a flowchart of a method for detecting a multi-object based on deep learning according to an embodiment of the present invention
  • FIG. 4 is an exemplary diagram for explaining a multi-object based on deep learning in FIG. 3.
  • the deep learning-based multi-object detection system 10 of the present invention is composed of the following steps.
  • an image is received from the image collection device 30, and an image is recognized in the system (S100).
  • the detection module 110 recognizes at least one object having an object format value and a matching rate that are previously stored in an n (n is an integer greater than or equal to 2) th frame at least a specific numerical value (S200).
  • the tracking module 120 recognizes at least one object recognized by the detection module 110 in the n-th frame and at least one object having a similarity rate equal to or greater than a specific numerical value (S300).
  • the previously detected object classifies the image in the bounding box as an image type and compares it with the previously detected image type, and when the image of the image in the bounding box matches the image of the previously detected image, it is the same object. I can judge.
  • object information on an image is used to check whether object information matches, but object information may use various information in an image.
  • the position coordinates of at least one object recognized by the detection module 110 and the position coordinates of at least one object recognized by the tracking module 120 are compared, and the position of the at least one object is averaged. Determine the coordinates.
  • the analysis module 140 compares the position coordinates of at least one object recognized by the detection module 110 and the position coordinates of at least one object recognized by the tracking module 120 in the n-th frame to obtain an average value.
  • the position coordinates of at least one object are determined (S400).
  • the position coordinates of the object recognized in the n-th frame are coordinates of the upper left, upper right, lower left, and lower right of the object's bounding box.
  • the present invention can obtain the position coordinates of the object recognized in the second frame as an average value of the position coordinates of the object recognized in the first frame and the position coordinates of the object recognized in the third frame. Using this method, data that can be missed in object detection can be compensated by using object tracking.
  • the object information in the present invention includes information on at least one of an object format value and an object position coordinate.
  • the format value of the object includes information on at least one of a car, a motorcycle's front side, and a motorcycle's rear side.
  • the license plate is only on the back side, in order to apply the technology to the traffic analysis and enforcement system, it is to distinguish the front side of the motorcycle and the back side of the motorcycle.
  • the format value of the object may further distinguish the side of the motorcycle, the motorcycle driver wearing the helmet, the motorcycle driver without the helmet, and the pedestrian. Depending on local traffic conditions, the format value of the object can be added to anything through machine learning.
  • the tracking module 120 recognizes at least one object including the format value of the same object as the format value of the previously detected object in the n-th frame. Thereafter, an object including the format value of the object equal to the format value of the object previously detected in the n + kth frame is determined as a tracking object, and the tracking object determined in the subsequent frame is tracked (k is an integer of 1 or more).
  • the format value of the object in the first frame is the back of the motorcycle
  • the object is set as the tracking object
  • the format value of the object in the subsequent frame is It generates data that continuously tracks the object behind the motorcycle.
  • the tracking module 120 has the same object as the format value of the object detected in the n + k frame and the center point of the bounding box of the object including the format value of the object equal to the format value of the object previously detected in the n-th frame.
  • the centerline is determined by connecting the center points of the bounding box of the object containing the format value of.
  • the tracking module 120 may include an area of an object bounding box that includes the object's format value equal to the object's format value detected in the n-th frame, and a format value of the object detected in the n + k-th frame. Determines the area of the object's bounding box that contains the same object's format value. Subsequently, when the area of the bounding box of the object determined in the n-th frame and the area of the bounding box of the object determined in the n + k-th frame overlap more than a preset ratio, the object determined in the n-th frame and the determined object in the n + k-th frame Determine the object as a tracking object.
  • This method can be used in the field of image analysis or autonomous driving where real-time performance is required because the position and motion information of an object can be estimated by referring only to the image input so far.
  • 5 is a flowchart illustrating a method of calculating the speed of the recognized object.
  • the license plate recognition system 200 of the present invention uses only the image collecting device 30 without a loop detector to store an image of an object that crosses the first boundary line among two preset boundary lines and an image of an object that crosses the second boundary line. Then, the speed of the object is calculated by comparing the image of the object crossing the first boundary with the image of the object crossing the second boundary.
  • the license plate is recognized based on the image of the object that crosses the first stored boundary.
  • the image of the object that is the basis for recognizing the license plate may be determined as an image of an object that is relatively easy to process, among an image of an object that crosses the first boundary line and an image of an object that crosses the second boundary line.
  • the deep learning based number recognition system 200 includes a communication unit (not shown), a detection unit 210, a processing unit 230, and a recognition unit 220.
  • the communication unit receives an image captured from the camera, and the detection unit 210 detects one or more objects matching the pre-stored criteria based on the image received from the communication unit (not shown).
  • the processing unit 230 calculates the speed of the recognized object.
  • the recognition unit 220 recognizes an object exceeding a preset speed in a frame collected by the processing unit 230, recognizes the object's license plate from the recognized object, and recognizes the object's license plate from the recognized object's license plate. Recognize.
  • the detection unit 210 detects at least one object having a matching rate equal to or greater than a preset value in the n-th frame. Thereafter, when there is at least one object recognized in the n-th frame by the processing unit 230, the speed of the object recognized in the n-th frame is calculated.
  • the license plate of at least one object recognized in the n-th frame is recognized (S10), at least one object is recognized in the n-th frame, and among them, when there is an object recognized in S10, The speed is calculated (S20).
  • S20 The detailed description of S20 will be described later with reference to FIGS. 6 and 7.
  • FIG. 6 is a view for explaining S20 of FIG. 5, and FIG. 7 is a flow chart specifically explaining S20 of FIG. 5.
  • the speed of the object can be obtained using only the camera.
  • the distance from the camera's shooting center to the ground (the height at which the camera is installed) is H, and the actual distance from the camera's shooting center to the bottom of the image screen taken by the camera at the intersection of the ground is L 1 , The actual distance from the camera's shooting center to the top of the image screen taken by the camera from the intersection of the ground is L 2 .
  • the angle formed in the upper direction on the image screen taken by the camera from the camera's shooting center and the direction from the camera's shooting center to the ground is the first angle ⁇ , and on the image screen taken by the camera from the camera's shooting center
  • the angle made from the top direction and the bottom direction on the image screen taken by the camera from the camera's shooting center is the second angle ( ⁇ ), and the direction from the camera's shooting center toward the point A displayed on the image screen taken by the camera
  • the angle formed in the direction toward the orthogonal point of the screen of the image taken by the camera from the shooting center of the camera is the third angle ( ⁇ P ), and the point displayed on the image screen taken by the camera from the shooting center of the camera
  • the angle formed in the direction toward B and the direction toward the point where the screen of the image captured by the camera is orthogonal to the camera's shooting center is the fourth angle ⁇ Q.
  • the processing unit 230 finds the actual distance between the first point and the second point.
  • the specific process is as follows.
  • the angle ⁇ is obtained by arctan (L 2 / H) (S21, Equation 1), and the distance D from the camera to the lower part of the screen can be obtained by arranging the Pythagorean based on the lengths of H and L 1 . (S22, Equation 2).
  • the angle ⁇ is obtained from the angle ⁇ as arctan (L 1 / H) (S23, Equation 3), and the distance C from the camera to the screen can be obtained by the product of D and cos ( ⁇ / 2) (S24, Equation) 4).
  • the screen can be obtained by multiplying sin ( ⁇ / 2) by D and doubling it (S25, Equation 5). Then, ⁇ P is obtained by subtracting ⁇ / 2 from angle ⁇ and adding arctan (P / C), and ⁇ Q is obtained by subtracting ⁇ / 2 from angle ⁇ and subtracting arctan (Q / C) (S26, Equation) 6).
  • the actual distance of pixel A can be obtained by subtracting the product of tan ( ⁇ P ) and H from L 2
  • the actual distance of pixel B can be obtained by subtracting the product of tan ( ⁇ Q ) and H from L 2 (S27, Math) Equation 7).
  • the processing unit 230 is based on the time when the object detected in the n-th frame passes the first point, the time the object detected in the n-th frame passes the second point, and the distance between the first point and the second point. Calculate the velocity between the first and second points of the furnace object.
  • pixel B is detected in the frame of the first image
  • pixel A is detected in the frame after a certain time.
  • the license plate recognition is performed by selecting a frame that can easily recognize the license plate of the object from the frame of the first image to the frame after a certain time.
  • 8 is a flow chart showing the license plate area detection algorithm.
  • the processing unit 230 collects a frame including an object exceeding a preset speed when the calculated speed of the object exceeds a preset speed.
  • data is input from the image collection device 30 (S30), and at least one license plate is recognized within the object area using a Yolo3-based localization network model (S31, S32). If there is no at least one recognized license plate, again, at least one license plate is recognized within the object area.
  • the number of recognized plates, the location information of the plates, the reliability of the plates, and the type of the plates are recognized (S34).
  • the license plate having the highest reliability of the license plate determined in step S34 is selected (S35).
  • the position of the number plate refers to the position of at least one of the upper left, lower left, upper right and lower right of the bounding box including the number plate, and the center of the bounding box may be the position of the number plate if necessary.
  • the reliability of the license plate is given according to the recognition rate of the pre-stored text compared to the pre-stored text in the object area.
  • the type of the number plate may vary depending on the type of vehicle and the timing of delivery of the vehicle for each country. For example, there may be a number plate arranged in one row or in two rows. In order to increase the recognition rate of the license plate, the type of the license plate is determined in the step of detecting the license plate area.
  • the recognition unit 220 compares the characters recognized in the object number plate with the pre-stored characters, and gives the higher the average value of the matching rate of each character, the higher the number of the plates, and the higher the reliability. Choose the highest number plate.
  • FIG. 9 is a flow chart showing the license plate recognition algorithm
  • FIG. 10 is a view for explaining the centerline algorithm of S44 in FIG. 9.
  • the license plate recognition algorithm determines one of the recognized characters from the overlapped at least two or more character regions when at least two or more character regions of the recognized character regions in the selected license plate partially overlap.
  • the determined character is a character corresponding to the largest value of the determined character reliability values.
  • the character of the number plate selected in step S35 is recognized (S410).
  • the overlap character is removed based on the recognized character (S43).
  • the criterion of the overlap character means that the crossing area is 70% or more.
  • the character with the higher score is selected from the overlapped characters, and characters except the selected character are removed.
  • the higher the character recognition rate the higher the score.
  • the centerline algorithm is performed as follows.
  • the center point of the character bounding box recognized in the license plate area is determined, and a line having a minimum sum of distances from the center point of each character bounding box is determined as a center line. Since the line division is not performed when the license plate is recognized, the line division can be accurately performed based on the determined center line, and the robustness of character recognition in the license plate area can be improved by correcting the inclined license plate.
  • the processing unit 230 determines a center point of the character areas including the determined character, and determines a straight line having a minimum sum of the distances from the center point of the character areas including the determined character as a center line.
  • the character recognized at the top with respect to the center line is regarded as one line character, and the character recognized at the bottom with respect to the center line is determined as the character with two lines.
  • a first type number plate in which the characters are arranged in two rows is determined, and when the center line passes through the recognized text area, one character is displayed. Determined by the second type of plates arranged in rows. Characters are matched in order from the left to each row in the smallest order of the x-coordinate of the center point based on the x-coordinate of the center point of the character area including the character determined based on the determined type of license plate.
  • the bounding box located above the determined center line is arranged in line 1
  • the bounding box located below the determined center line is arranged in line 2.
  • the characters can be matched according to the type of the license plate by arranging the characters in order of small size based on the x-coordinate value of each character's bounding box.
  • a center line whose center line passes through the center point of each bounding box will be determined, and based on the determined center line, based on the x-coordinate value of each character's bounding box. Characters can be arranged in order of small size.
  • the deep learning-based number recognition system 200 described above takes a picture of a motorcycle rear object that crosses a first boundary line among two designated boundary lines, and determines that a motorcycle is a speed violation based on a picture of a rear object of a motorcycle that crosses a second boundary line. It is to recognize the license plate with a clearer image by importing a picture of the identified object on the back of the motorcycle.
  • the reason for recognizing the license plate by retrieving the previously identified object picture on the back of the motorcycle is that the image obtained from the image with a relatively short distance is clear, so that it is easy to process the image.
  • an object exceeding the preset speed is identified to recognize the number plate and number of the object.
  • the present invention recognizes the license plate and number of the identified object when the object identified based on the image received from the camera meets a preset condition.
  • Traffic in violation of traffic laws including, for example, lane violations, signal violations, motorcycle helmet wear violations, motorcycle occupant violations, lane interruption violations, intersection tailing violations, and reverse driving based on images received from the camera.
  • the license plate and number of objects that violate the regulations can be recognized.
  • the conventional method for determining a traffic law violation is a method of determining a traffic law violation by recognizing an object by installing a hardware sensor separately installed in the lane.
  • it is possible to establish a more effective intelligent traffic system because it is possible to determine a traffic law violation only with an image without a hardware sensor separately installed in the lane.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 딥 러닝 기반 다중 객체 검출 시스템에 관한 것이다. 본 발명의 일 실시 예에 따른 딥 러닝 기반 다중 객체 검출 시스템은 카메라로부터 촬영된 영상을 수신하는 통신모듈, 상기 통신모듈에서 수신된 영상을 기초로 기 저장된 기준에 매칭하는 하나 이상의 오브젝트를 인식하는 검출 모듈 및 상기 검출 모듈에서 인식한 적어도 하나의 오브젝트와 유사한 오브젝트를 적어도 하나 인식하는 추적 모듈을 포함할 수 있다.

Description

다중 객체 검출 시스템 및 방법
본 발명은 딥 러닝 기반 다중 객체 검출 시스템 및 방법에 관한 것이다.
최근 스마트 교통 분야에서 영상인식 기술을 기반으로 실시간으로 교통량을 분석하여 스마트 시티를 위한 도시 계획에 활용하고, 교통 법규 위반 사항 검지, 보안 분야 등에서 연구가 활발히 이루어지고 있다.
기존의 단속 시스템의 경우 위반 사항 검지를 위해 루프 검지기를 사용하고 있으나, 이는 동남아의 교통 환경상 검지기 내에 차량과 모터사이클이 혼재되어 있어 적용이 어려운 상황이다.
또한, 레이저 및 레이다 센서를 이용한 차량의 속도 검지의 경우 크기가 작은 모터 사이클이 자동차와 혼재되어 있어 제대로 인식이 되지 않는 문제점이 있는 실정이다.
본 발명은 딥 러닝 기반의 다중 클래스 객체 검출 엔진에서 소요되는 연산량과 메모리 량을 경량화 하고 객체 검출에 대한 성능의 정확도를 높이기 위한 것이다.
또한, 본 발명은 다중 객체 검출과 다중 객체 추적을 동시에 활용하여 시간에 따라 형태가 변하는 객체에 대해서도 강건한 추적 성능을 보여주기 위한 것이다.
본 발명의 일 측면에 따르면, 다중 객체 검출 시스템은 카메라로부터 촬영된 영상을 수신하는 통신모듈; 상기 통신모듈에서 수신된 영상을 기초로 기 저장된 기준에 매칭하는 하나 이상의 오브젝트를 인식하는 검출 모듈; 및 상기 검출 모듈에서 인식한 적어도 하나의 오브젝트와 유사한 오브젝트를 적어도 하나 인식하는 추적 모듈을 포함할 수 있다.
또한, 상기 검출 모듈은, n번째 프레임에서, 기 저장된 오브젝트 형식 값과 매칭률이 특정 수치 값 이상인 오브젝트를 적어도 하나 인식할 수 있다.
또한, 기 저장된 오브젝트 형식 값은, 자동차, 오토바이의 앞면 및 오토바이의 뒷면 중 적어도 어느 하나를 포함할 수 있다.
또한, 상기 추적 모듈은, 상관 필터 기반의 추적 기술을 사용하여 검출된 오브젝트를 추적할 수 있다.
또한, 상기 추적 모듈은, n번째 프레임에서, 상기 검출모듈에서 인식한 적어도 하나의 오브젝트와 유사율이 특정 수치 값 이상인 오브젝트를 적어도 하나 인식할 수 있다.
또한, 상기 검출 모듈에서 인식한 적어도 하나의 오브젝트를 검출 오브젝트로 결정하고, 상기 추적 모듈에서 인식한 적어도 하나의 오브젝트와 유사한 오브젝트를 추적 오브젝트로 결정하는 분류 모듈을 더 포함할 수 있다.
또한, n번째 프레임에서, 상기 검출 모듈에서 인식된 적어도 하나의 오브젝트의 위치 좌표와 상기 추적 모듈에서 인식된 적어도 하나의 오브젝트의 위치 좌표를 비교하여 평균 값으로 적어도 하나의 오브젝트의 위치 좌표를 결정하는 분석 모듈을 더 포함할 수 있다.
본 발명의 다른 측면에 따르면, 다중 객체 검출 방법은 카메라로부터 촬영된 영상을 수신하는 단계; 수신된 영상을 기초로 기 저장된 기준에 매칭하는 하나 이상의 오브젝트를 인식하는 검출 단계; 및 상기 오브젝트를 인식하는 단계에서 인식한 적어도 하나의 오브젝트와 유사한 오브젝트를 적어도 하나 인식하는 추적 단계를 포함할 수 있다.
또한, 상기 검출 단계는, n번째 프레임에서, 기 저장된 오브젝트 형식 값과 매칭률이 특정 수치 값 이상인 오브젝트를 적어도 하나 인식할 수 있다.
또한, 기 저장된 오브젝트 형식 값은, 자동차, 오토바이의 앞면 및 오토바이의 뒷면 중 적어도 어느 하나를 포함할 수 있다.
또한, 상기 추적 단계는, 상관 필터 기반의 추적 기술을 사용하여 검출된 오브젝트를 추적할 수 있다.
또한, 상기 추적 단계는, n번째 프레임에서, 상기 검출 단계에서 인식한 적어도 하나의 오브젝트와 유사율이 특정 수치 값 이상인 오브젝트를 적어도 하나 인식할 수 있다.
또한, 상기 추적 단계 이후에, 상기 검출 단계에서 인식한 적어도 하나의 오브젝트를 검출 오브젝트로 결정하고, 상기 추적 단계에서 인식한 적어도 하나의 오브젝트와 유사한 오브젝트를 추적 오브젝트로 결정하는 분류 단계를 더 포함할 수 있다.
또한, 상기 추적 단계는, n번째 프레임에서, 상기 검출 단계에서 인식된 적어도 하나의 오브젝트의 위치 좌표와 상기 추적 모듈에서 인식된 적어도 하나의 오브젝트의 위치 좌표를 비교하여 평균 값으로 적어도 하나의 오브젝트의 위치 좌표를 결정하는 분석 단계를 더 포함할 수 있다.
본 발명의 일 실시 예에 의하면, 딥 러닝 기반의 다중 클래스 객체 검출 엔진에서 소요되는 연산량과 메모리 량을 경량화 하고 객체 검출에 대한 성능의 정확도를 높일 수 있다.
또한, 본 발명의 일 실시 예에 의하면, 다중 객체 검출과 다중 객체 추적을 동시에 활용하여 시간에 따라 형태가 변하는 객체에 대해서도 강건한 추적 성능을 보여 줄 수 있다.
도 1은 본 발명의 일 실시 예에 따른 딥 러닝 기반 다중 객체 검출 시스템의 전체적인 블록도이다.
도 2는 본 발명의 일 실시 예에 따른 딥 러닝 기반 다중 객체 검출 시스템의 세부적인 블록도이다.
도 3은 본 발명의 일 실시 예에 따른 딥 러닝 기반 다중 객체 검출 방법의 순서도이다.
도 4는 도 3의 딥 러닝 기반 다중 객체 검출을 설명하기 위한 예시적인 도면이다.
도 5는 인식한 객체의 속도를 계산하는 방법을 설명하기 위한 순서도이다.
도 6은 도 5의 S20을 설명하기 위한 도면이다.
도 7은 도 5의 S20을 구체적으로 설명하는 순서도이다.
도 8은 번호판 영역 검출 알고리즘을 보여주는 순서도이다.
도 9는 번호판 인식 알고리즘을 보여주는 순서도이다.
도 10은 도 9의 S44의 중심선 알고리즘을 설명하기 위한 도면이다.
본 발명의 다른 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술 되는 실시 예를 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시 예에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시 예는 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.
만일 정의되지 않더라도, 여기서 사용되는 모든 용어들(기술 혹은 과학 용어들을 포함)은 이 발명이 속한 종래 기술에서 보편적 기술에 의해 일반적으로 수용되는 것과 동일한 의미를 가진다. 일반적인 사전들에 의해 정의된 용어들은 관련된 기술 그리고/혹은 본 출원의 본문에 의미하는 것과 동일한 의미를 갖는 것으로 해석될 수 있고, 그리고 여기서 명확하게 정의된 표현이 아니더라도 개념화되거나 혹은 과도하게 형식적으로 해석되지 않을 것이다.
본 명세서에서 사용된 용어는 실시 예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 '포함한다' 및/또는 이 동사의 다양한 활용형들 예를 들어, '포함', '포함하는', '포함하고', '포함하며' 등은 언급된 조성, 성분, 구성요소, 단계, 동작 및/또는 소자는 하나 이상의 다른 조성, 성분, 구성요소, 단계, 동작 및/또는 소자의 존재 또는 추가를 배제하지 않는다. 본 명세서에서 '및/또는' 이라는 용어는 나열된 구성들 각각 또는 이들의 다양한 조합을 가리킨다.
한편, 본 명세서 전체에서 사용되는 '~부', '~기', '~블록', '~모듈' 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미할 수 있다. 예를 들어 소프트웨어, FPGA 또는 ASIC과 같은 하드웨어 구성요소를 의미할 수 있다. 그렇지만 '~부', '~기', '~블록', '~모듈' 등이 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. '~부', '~기', '~블록', '~모듈'은 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다.
따라서, 일 예로서 '~부', '~기', '~블록', '~모듈'은 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로 코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들 및 변수들을 포함한다. 구성요소들과 '~부', '~기', '~블록', '~모듈'들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 '~부', '~기', '~블록', '~모듈'들로 결합되거나 추가적인 구성요소들과 '~부', '~기', '~블록', '~모듈'들로 더 분리될 수 있다.
이하, 본 명세서에 첨부된 도면을 참조하여 본 발명의 실시예를 상세하게 설명한다.
도 1은 본 발명의 일 실시 예에 따른 딥 러닝(Deep laearning) 기반 다중 객체 검출 시스템(100)의 전체적인 블록도이다.
도 1을 참조하면, 다중 객체 검출 시스템(100)은 오브젝트(20)를 영상 수집 장치(30)로부터 촬영된 영상을 수신한다. 다중 객체 검출 시스템(10)은 영상 수집 장치(30)와 네트워크를 통해 연결된다.
본 발명은 딥 러닝 기반 다중 객체 검출 시스템(100)으로 딥 러닝 기반의 다중 클래스 객체 검출 엔진에서 소요되는 연산량과 메모리 량을 경량화하면서도 객체 검출에 대한 성능의 정확도를 높일 수 있다.
또한, 추정된 객체들의 영역이 생성되면 NMS(non-maximum suppression)기법을 이용하여 서로 겹치는 바운딩 박스 중에서 신뢰도가 낮은 바운딩 박스를 제거함으로써 다중 객체를 검출한다.
도 2는 본 발명의 일 실시 예에 따른 딥 러닝 기반 다중 객체 검출 시스템의 세부적인 블록도이다.
도 2를 참조하면, 다중 객체 검출 시스템(100)은 통신 모듈(미도시), 검출 모듈(110), 추적 모듈(120), 분류 모듈(130) 및 분석 모듈(140)을 포함한다.
먼저, 통신 모듈은 카메라로부터 촬영된 영상을 수신하고 오브젝트를 포함하는 하나 이상의 관심 영역(ROI: region of interest)을 검출한다. 통신 모듈은 스틱셀(stixel) 기법을 이용하여 관심 영역을 추출한다. 여기서, 스틱셀 기법은 도로 위에 직립하여 있는 장애 물체들을 동일한 시차 정보를 갖는다는 가정에서 화소 대신에 일정 폭의 스틱(stick)과 같은 그룹으로 영상을 표현하는 방법을 의미하며, 이것을 그룹핑(grouping)하여 관심 영역을 추출할 수 있다.
검출 모듈(110)은 통신 모듈에서 수신된 영상을 기초로 기 저장된 기준에 매칭하는 하나 이상의 오브젝트를 인식한다. 예를 들면, 검출 모듈(110)은 딥 러닝 기반 다중 객체 분류 기법을 이용하여 검출된 관심 영역 별로 관심 영역 내에 존재하는 각각의 오브젝트를 인식한다.
여기서, 검출 모듈(110)은 딥 러닝 기법을 이용하여 다중 객체의 클래스를 인식하지만, 랜덤 포레스트(Random forest)와 같은 기법을 이용할 수 있다. 여기서, 랜덤 포레스트는 기계 학습(Machine Learning)에서 여러 개의 결정 트리들을 임의적으로 학습하는 방식의 앙상블 방법이다. 랜덤 포레스트 방법은 크게 복수의 결정 트리를 구성하는 학습 단계와 입력 벡터가 들어왔을 때, 분류하거나 예측하는 테스트 단계로 구성되어 있다. 랜덤 포레스트는 검출, 분류, 그리고 회귀 등 다양한 어플리케이션으로 활용되고 있다.
또한, 딥 러닝은 사물이나 데이터를 군집하거나 분류하는데 사용하는 기술이다. 예를 들면, 컴퓨터는 사진만으로 개와 고양이를 구분하지 못하지만 사람은 아주 쉽게 구분할 수 있다. 이를 위해 데이터를 컴퓨터에 입력하고 비슷한 것끼리 분류하도록 하는 것이 기계 학습 기술이다. 즉, 딥 러닝은 저장된 개 사진과 비슷한 사진이 입력되면, 이를 개 사진이라고 컴퓨터가 분류하도록 한 것이다.
또한, 검출 모듈(110)은 레이블링 저작 도구를 활용하여 학습용 레이블링 데이터를 생성한다. 본 발명에서는 레이블링 저작 도구를 활용하여 오브젝트의 형식값 및 오브젝트의 위치 좌표에 관한 데이터를 생성한다. 오브젝트의 형식값은 자동차, 밴, 버스, 트럭, 오토바이의 앞면, 오토바이의 뒷면, 오토바이의 옆면 등으로 구분될 수 있다. 여기서, 오토바이의 앞면, 뒷면, 옆면을 별도로 구분하는 이유는 자동차는 앞면과 뒷면에 모두 번호판이 있지만 일반적으로 오토바이는 뒷면에 번호판이 있기 때문이다.
추적 모듈(120)은 검출 모듈(110)에서 인식한 적어도 하나의 오브젝트와 유사한 오브젝트를 적어도 하나 인식한다. 여기서, 추적 모듈(120)은 검출된 오브젝트의 형식값을 기초로 오브젝트를 추적한다. 추적 모듈(120)은 상관 필터 기반의 추적 기술을 사용하여 검출된 오브젝트를 추정한다. 이러한 추적 기술은 사람과 같이 시간에 따라 형태가 변화하는 객체에 대하여도 강건한 추적 성능을 보여준다.
또한, 객체 추적과 데이터 연관에서는 다중 채널 특징 벡터를 재활용함으로써 각각의 모듈에서 특징 벡터를 추출할 때 소요되는 연산 시간을 최소화 할 수 있다.
추적 모듈(120)에 대한 자세한 내용은 후술하기로 한다.
분류 모듈(130)은 검출 모듈(110)에서 인식한 적어도 하나의 오브젝트를 검출 오브젝트로 결정하고, 추적 모듈(120)에서 인식한 적어도 하나의 오브젝트와 유사한 오브젝트를 추적 오브젝트로 결정한다.
도 3은 본 발명의 일 실시 예에 따른 딥 러닝 기반 다중 객체 검출 방법의 순서도이고, 도 4는 도 3의 딥 러닝 기반 다중 객체 검출을 설명하기 위한 예시적인 도면이다.
먼저 도 3을 참조하면, 본 발명의 딥 러닝 기반 다중 객체 검출 시스템(10)은 아래와 같은 단계로 구성된다.
먼저, 영상수집장치(30)로부터 영상을 수신하고, 시스템 내에서 영상을 인식한다(S100). 이후에, 검출 모듈(110)은 n(n은 2 이상의 정수)번째 프레임에서 기 저장된 오브젝트 형식값과 매칭률이 특정 수치 값 이상인 오브젝트를 적어도 하나 인식한다(S200).
또한, 추적 모듈(120)은 n번째 프레임에서 검출 모듈(110)에서 인식한 적어도 하나의 오브젝트와 유사율이 특정 수치 값 이상인 오브젝트를 적어도 하나 인식한다(S300).
예를 들면, 기 검출된 오브젝트는 바운딩 박스 내의 영상을 이미지의 형태로 분류하여 이전에 검출되었던 이미지의 형태와 비교하여 바운딩 박스 내의 영상의 이미지가 기 검출된 영상의 이미지와 매칭이 되면 동일한 오브젝트로 판단할 수 있다. 본 실시 예에서는 이미지에 관한 객체 정보를 사용하여 객체 정보의 매칭 여부를 확인하였지만, 객체 정보는 영상 내의 다양한 정보를 사용할 수도 있다.
마지막으로, n번째 프레임에서 검출 모듈(110)에서 인식된 적어도 하나의 오브젝트의 위치 좌표와 추적 모듈(120)에서 인식된 적어도 하나의 오브젝트의 위치 좌표를 비교하여 평균 값으로 적어도 하나의 오브젝트의 위치 좌표를 결정한다.
이후에, 분석 모듈(140)은 n번째 프레임에서 검출 모듈(110)에서 인식된 적어도 하나의 오브젝트의 위치 좌표와 추적 모듈(120)에서 인식된 적어도 하나의 오브젝트의 위치 좌표를 비교하여 평균 값으로 적어도 하나의 오브젝트의 위치 좌표를 결정한다(S400).
예를 들면, n번째 프레임에서 인식된 오브젝트의 위치 좌표는 오브젝트의 바운딩 박스의 좌측 상단, 우측 상단, 좌측 하단, 우측 하단의 좌표이다.
본 발명은 첫번째 프레임에서 인식된 오브젝트의 위치 좌표와 세번째 프레임에서 인식된 오브젝트의 위치 좌표의 평균 값으로 두번째 프레임에서 인식된 해당 오브젝트의 위치 좌표를 구할 수 있다. 이러한 방법을 사용하면 오브젝트 검출에서 놓칠 수 있는 데이터를 오브젝트 추적을 이용하여 보완할 수 있다.
본 발명의 일 실시 예에 따르면, 본 발명에서 오브젝트 정보는 오브젝트의 형식 값 및 오브젝트의 위치 좌표 중 적어도 어느 하나에 대한 정보를 포함한다. 오브젝트의 형식 값은 자동차, 오토바이의 앞면, 오토바이의 뒷면 중 적어도 어느 하나에 대한 정보를 포함한다. 여기서, 오토바이의 경우 번호판이 뒷면에만 있기 때문에 교통 분석 및 단속 시스템에 본 기술을 적용하기 위해서 오토바이의 앞면 및 오토바이의 뒷면을 구분하는 것이다.
나아가, 오브젝트의 형식 값은 오토바이의 측면, 헬멧을 착용한 오토바이 운전자, 헬멧을 착용하지 않은 오토바이 운전자, 보행자를 추가로 구분할 수 있다. 현지 교통 사정에 따라 오브젝트의 형식 값은 기계 학습을 통해 어떠한 것이라도 추가할 수 있다.
본 발명의 딥 러닝 기반 다중 객체 인식 시스템(100)은 추적 모듈(120)이 n번째 프레임에서 기 검출된 오브젝트의 형식 값과 동일한 오브젝트의 형식 값을 포함하는 오브젝트를 적어도 하나 이상 인식한다. 이후에, n+k번째 프레임에서 기 검출된 오브젝트의 형식 값과 동일한 오브젝트의 형식 값을 포함하는 오브젝트를 추적 객체로 결정하고 이후 프레임에서 결정된 추적 오브젝트를 추적한다(k는 1 이상의 정수).
예를 들면, 첫번째 프레임에서 오브젝트의 형식 값이 오토바이의 뒷면인 경우에 3번째 프레임에서 오브젝트의 형식 값이 오토바이의 뒷면인 오브젝트가 있으면, 해당 오브젝트를 추적 오브젝트로 정하고 이후 프레임에서 오브젝트의 형식 값이 오토바이 뒷면인 오브젝트를 연속적으로 추적하는 데이터를 생성한다.
그러나, 도로에는 다수의 차량과 오토바이가 통행을 한다. 그렇기 때문에 다중 객체를 구별하여 추적하는 방법이 필요하다.
나아가, 추적 모듈(120)은 n번째 프레임에서 기 검출된 오브젝트의 형식 값과 동일한 오브젝트의 형식 값를 포함하는 객체의 바운딩 박스의 중심점 및 n+k번째 프레임에서 기 검출된 오브젝트의 형식 값과 동일한 오브젝트의 형식 값을 포함하는 오브젝트의 바운딩 박스의 중심점을 연결하여 중심선을 결정한다. 이후에, m번째 프레임에서 기 검출된 오브젝트의 형식 값과 동일한 객체가 복수 개 일 때 m번째 프레임에서 검출된 오브젝트의 바운딩 박스의 중심점에서 중심선까지의 수직 거리가 가장 가까운 오브젝트를 m번째 프레임에서 추적 오브젝트로 결정한다.
더 나아가, 추적 모듈(120)은 n번째 프레임에서 기 검출된 오브젝트의 형식 값과 동일한 오브젝트의 형식 값을 포함하는 오브젝트의 바운딩 박스의 영역과 n+k번째 프레임에서 기 검출된 오브젝트의 형식 값과 동일한 오브젝트의 형식 값을 포함하는 오브젝트의 바운딩 박스의 영역을 결정한다. 이후에, n번째 프레임에서 결정된 오브젝트의 바운딩 박스의 영역과 n+k번째 프레임에서 결정된 오브젝트의 바운딩 박스의 영역이 기 설정된 비율 이상 중첩되면, n번째 프레임에서 결정된 객체와 n+k번째 프레임에서 결정된 오브젝트를 추적 오브젝트로 결정한다.
이러한 방법은 현재까지 입력된 영상만을 참조하여 영상에서 오브젝트의 위치와 움직임 정보를 추정할 수 있어 실시간 성이 요구되는 영상 분석이나 자율주행 분야에서 활용될 수 있다.
도 5는 인식한 객체의 속도를 계산하는 방법을 설명하기 위한 순서도이다.
본 발명의 번호판 인식 시스템(200)은 루프 검지기 없이 영상수집장치(30)만을 이용하여, 기 설정된 두 개의 경계선 중 첫번째 경계선을 지나는 객체의 이미지를 저장하고 두번째 경계선을 지나는 객체의 이미지를 저장한다. 이후에, 첫번째 경계선을 지나는 객체의 이미지와 두번째 경계선을 지나는 객체의 이미지를 비교하여 객체의 속도를 산출한다.
산출된 객체의 속도가 속도 위반으로 판단되면 기 저장된 첫번째 경계선을 지나는 객체의 이미지를 기초로 번호판을 인식한다. 여기서, 번호판을 인식하는 기초가 되는 객체의 이미지는 첫번째 경계선을 지나는 객체의 이미지와 두번째 경계선을 지나는 객체의 이미지 중 상대적으로 영상처리에 용이한 객체의 이미지로 결정할 수 있다.
다시 도 2를 참조하면, 딥 러닝 기반 번호 인식 시스템(200)은 통신 유닛(미도시), 검출 유닛(210), 처리 유닛(230) 및 인식 유닛(220)을 포함한다. 통신 유닛(미도시)은 카메라로부터 촬영된 영상을 수신하고, 검출 유닛(210)은 통신 유닛(미도시)에서 수신된 영상을 기초로 기 저장된 기준에 매칭하는 하나 이상의 오브젝트를 검출한다. 처리 유닛(230)은 인식한 오브젝트의 속도를 산출한다. 또한, 인식 유닛(220)은 처리 유닛(230)에 의해 수집된 프레임에서 기 설정된 속도를 초과하는 오브젝트를 인식하고 인식된 오브젝트에서 오브젝트의 번호판을 인식하고, 인식된 오브젝트의 번호판에서 오브젝트의 번호를 인식한다.
본 발명의 일 실시 예에 따르면, 검출 유닛(210)은 n번째 프레임에서 기 저장된 오브젝트와 매칭률이 기 설정된 수치 값 이상인 오브젝트를 적어도 하나 검출한다. 이후에, 처리 유닛(230)에서 n번째 프레임에서 인식한 오브젝트가 적어도 하나 이상 있는 경우에 n번째 프레임에서 인식한 오브젝트의 속도를 산출한다.
도 5를 참조하면, n번째 프레임에서 인식된 적어도 하나의 오브젝트의 번호판을 인식하고(S10), n번째 프레임에서 적어도 하나의 오브젝트를 인식하고, 이 중 S10에서 인식한 오브젝트가 있을 때 해당 오브젝트의 속도를 산출한다(S20). S20에 과한 구체적인 설명은 도 6 및 도 7을 참조하여 후술한다.
도 6은 도 5의 S20을 설명하기 위한 도면이고, 도 7은 도 5의 S20을 구체적으로 설명하는 순서도이다.
카메라 화면(Screen)에서 픽셀 A와 픽셀 B의 실제 거리를 구하고 픽셀 A와 픽셀 B를 포함하는 프레임의 촬영 시간과 비교하면, 카메라만 사용하여 오브젝트의 속도를 구할 수 있다.
도 6을 참조하면, 카메라의 촬영 중심에서 지면까지의 거리(카메라가 설치된 높이)는 H, 카메라의 촬영 중심에서 지면의 교점에서 카메라에 의하여 촬영된 이미지 화면상의 하단 부분까지의 실제 거리는 L1, 카메라의 촬영 중심에서 지면의 교점에서 카메라에 의하여 촬영된 이미지 화면상의 상단 부분까지의 실제 거리는 L2라고 한다.
오브젝트가 제 1 지점에 위치할 때에 카메라에 의하여 촬영된 이미지 화면상에 표시되는 지점과 스크린의 중심 사이의 거리가 P이고, 오브젝트가 제 2 지점에 위치할 때에 카메라에 의하여 촬영된 이미지 화면상에 표시되는 지점과 스크린의 중심 사이의 거리가 Q이다.
카메라의 촬영 중심에서 카메라에 의하여 촬영된 이미지 화면상의 상단 방향과 카메라의 촬영 중심에서 지면으로 향하는 방향에서 이루어지는 각도가 제 1 각도(α)이고, 카메라의 촬영 중심에서 카메라에 의하여 촬영된 이미지 화면상의 상단 방향과 카메라의 촬영 중심에서 카메라에 의하여 촬영된 이미지 화면상의 하단 방향에서 이루어지는 각도가 제 2 각도(θ)이고, 카메라의 촬영 중심에서 카메라에 의하여 촬영된 이미지 화면상에 표시된 지점 A를 향하는 방향과 카메라의 촬영 중심에서 카메라에 의하여 촬영된 이미지의 화면이 직교하는 지점을 향하는 방향에서 이루어지는 각도가 제 3 각도(αP)이고, 카메라의 촬영 중심에서 카메라에 의하여 촬영된 이미지 화면상에 표시된 지점 B를 향하는 방향과 카메라의 촬영 중심에서 카메라에 의하여 촬영된 이미지의 화면이 직교하는 지점을 향하는 방향에서 이루어지는 각도가 제 4 각도(αQ)이다.
처리 유닛(230)는 제 1 지점과 제 2 지점 사이의 실제 거리를 구한다. 구체적인 과정은 아래와 같다.
먼저, 각도α를 arctan(L2/H)로 구하고(S21, 수학식 1), 카메라부터 스크린의 아래쪽 부분까지의 거리 D는 H와 L1의 길이를 기초로 피타고라스의 정리를 하면 구할 수 있다(S22, 수학식 2). 각도θ는 각도α에서 arctan(L1/H)로 구하고(S23, 수학식 3), 카메라부터 스크린까지의 거리 C는 D와 cos(θ/2)의 곱으로 구할 수 있다(S24, 수학식 4).
스크린은 sin(θ/2)와 D를 곱하고 2배를 하면 그 길이를 구할 수 있다(S25, 수학식 5). 그 다음에, θP는 각도α에서 θ/2를 빼고 arctan(P/C)를 더해서 구하고, θQ는 각도α에서 θ/2를 빼고 arctan(Q/C)를 빼서 구한다(S26, 수학식 6).
마지막으로, 픽셀 A의 실제 거리는 L2에서 tan(θP)와 H의 곱을 빼면 구할 수 있고, 픽셀 B의 실제 거리는 L2에서 tan(θQ)와 H의 곱을 빼면 구할 수 있다(S27, 수학식 7). 픽셀 A와 픽셀 B의 실제 거리와 영상의 입력 시간을 비교하면 객체의 속도를 구할 수 있다.
Figure PCTKR2018015219-appb-M000001
Figure PCTKR2018015219-appb-M000002
Figure PCTKR2018015219-appb-M000003
Figure PCTKR2018015219-appb-M000004
Figure PCTKR2018015219-appb-M000005
Figure PCTKR2018015219-appb-M000006
Figure PCTKR2018015219-appb-M000007
처리 유닛(230)은 n번째 프레임에서 검출된 오브젝트가 제 1 지점을 통과한 시간, n번째 프레임에서 검출된 오브젝트가 제 2 지점을 통과한 시간 및 제 1 지점에서 제 2 지점 사이의 거리를 기초로 오브젝트의 제 1 지점과 제 2 지점 사이의 속도를 산출한다.
다시 말하면, 최초의 영상의 프레임에서 픽셀 B를 감지하고, 일정 시간 뒤에 프레임에서 픽셀 A를 감지한다. 해당 객체의 속도를 감지하고 감지된 속도가 위반 속도에 해당하면 최초의 영상의 프레임에서 일정 시간 뒤에 프레임까지의 프레임 중 해당 객체의 번호판을 용이하게 인식할 수 있는 프레임을 선택하여 번호판 인식을 수행한다.
예를 들면, 오토바이의 경우 번호판이 후면에 배치되어 있어 속도를 감지하기 위해서는 먼저 영상을 촬영하고, 이후에 속도 위반이 감지되면 회귀분석을 통해 번호판을 인식하고 위반을 단속해야 한다.
도 8은 번호판 영역 검출 알고리즘을 보여주는 순서도이다.
본 발명에서 처리 유닛(230)은 산출된 오브젝트의 속도가 기 설정된 속도를 초과하는 경우에 기 설정된 속도를 초과하는 오브젝트를 포함하는 프레임을 수집한다.
도 8을 참조하면, 영상수집장치(30)로부터 데이터를 입력 받고(S30), Yolo3기반 Localization 네트워크 모델을 이용하여 오브젝트의 영역 내에서 적어도 하나의 번호판을 인식한다(S31, S32). 적어도 하나 이상의 인식된 번호판이 없다면, 다시 오브젝트의 영역 내에서 적어도 하나의 번호판을 인식한다.
적어도 하나 이상의 번호판을 인식하면, 인식된 번호판의 개수, 번호판의 위치 정보, 번호판의 신뢰도, 번호판의 유형을 인식한다(S34). S34 단계에서 결정된 번호판의 신뢰도가 가장 높은 번호판을 선택한다(S35). 여기서, 번호판의 위치는 번호판을 포함하는 바운딩 박스의 좌측 상단, 좌측 하단, 우측 상단 및 우측 하단 중 적어도 하나의 위치를 말하고, 필요에 따라 바운딩 박스의 중심이 번호판의 위치 일 수도 있다. 번호판의 신뢰도는 오브젝트의 영역 내에서 기 저장된 문자와 비교하여 기 저장된 문자의 인식률에 따라 부여한다. 또한, 번호판의 유형은 개별 국가마다 차량의 유형 및 차량의 출고 시기에 따라 번호판의 유형이 다양하다. 예를 들면, 하나의 행으로 되거나 두개의 행으로 배치된 번호판이 있을 수 있다. 번호판의 인식률을 높이기 위해 번호판 영역을 검출하는 단계에서 번호판의 유형을 결정한다.
본 발명의 일 실시 예에 따르면, 인식 유닛(220)은 오브젝트의 번호판에서 인식된 문자들과 기 저장된 문자들을 비교하여 각각의 문자들의 매칭률의 평균값이 높은 번호판일수록 높은 신뢰도를 부여하고 부여된 신뢰도가 가장 높은 번호판을 선택한다.
도 9는 번호판 인식 알고리즘을 보여주는 순서도이고, 도 10은 도 9의 S44의 중심선 알고리즘을 설명하기 위한 도면이다.
번호판 인식 알고리즘은 선택된 번호판 내의 인식된 문자 영역들 중 적어도 2개 이상의 문자 영역들이 부분적으로 오버랩 되는 경우에 오버랩 되는 상기 적어도 2개 이상의 문자 영역으로부터 인식된 문자들 중 하나의 문자를 결정한다.
결정된 상기 문자는 결정된 상기 문자 신뢰도 값들 중 가장 큰 값에 대응하는 문자이다.
도 9를 참조하면, S35단계에서 선택된 번호판의 문자를 인식한다(S410). 인식된 문자를 기초로 오버랩 문자를 제거한다(S43). 오버랩 문자의 기준은 교차 영역이 70% 이상인 것을 말한다. 오버랩 된 문자 중에서 점수가 더 높은 문자를 선택하고, 선택된 문자를 제외한 문자는 제거한다. 여기서, 점수는 문자 인식률이 높을수록 높게 부여한다.
이후에, 번호판의 종류 및 중심선 알고리즘을 사용하여 문자를 배열하고(S44), 인식된 문자와 번호판을 매칭하고(S45), 결과를 출력한다(S46).
도 10을 참조하면, 중심선 알고리즘은 아래와 같이 수행된다.
먼저, 번호판 영역 내에 인식된 문자 바운딩 박스의 센터 포인트를 결정하고, 각각의 문자 바운딩 박스의 센터 포인트로부터 거리의 합이 최소가 되는 라인을 중심선으로 결정한다. 번호판 인식 시 행 구분이 이루어지지 않으므로, 결정된 중심선을 기준으로 행 구분을 정확히 할 수 있으며, 기울어진 번호판에 대해서도 보정을 통해 번호판 영역 내의 문자 인식의 강건성을 높일 수 있다.
본 발명에 따르면, 처리 유닛(230)은 결정된 상기 문자를 포함하는 문자 영역들의 중심점을 결정하고, 결정된 상기 문자를 포함하는 문자 영역들의 중심점으로부터 거리의 합이 최소가 되는 직선을 중심선으로 결정한다. 상기 중심선을 기준으로 상단에 인식된 문자를 1행의 문자로 하고, 상기 중심선을 기준으로 하단에 인식된 문자를 2행의 문자로 결정한다.
또한, 상기 중심선을 기준으로 상단과 하단에 문자가 인식된 경우에 문자가 2개의 행으로 배열된 제 1 유형의 번호판을 결정하고, 상기 중심선이 인식된 문자 영역을 통과하는 경우에 문자가 1개의 행으로 배열된 제 2 유형의 번호판으로 결정한다. 결정된 번호판의 유형을 기초로 결정된 상기 문자를 포함하는 문자 영역의 중심점의 x좌표를 기준으로 중심점의 x좌표가 작은 순으로 각각의 행에 좌측부터 순서대로 문자를 매칭한다.
예를 들면, 번호판 유형이 2개의 행으로 구분된 번호판으로 결정된 경우 결정된 중심선을 기준으로 위쪽에 위치한 바운딩 박스는 1행에 배열된 문자, 결정된 중심선을 기준으로 아래쪽에 위치한 바운딩 박스는 2행에 배열된 문자로 할 수 있다. 이후에, 각각의 문자의 바운딩 박스의 x좌표 값을 기초로 크기가 작은 순으로 문자를 순서대로 배열하여 번호판의 유형에 따라 문자를 매칭할 수 있다.
다른 예를 들면, 번호판 유형이 1개의 행으로 구분된 번호판은 중심선이 각각의 바운딩 박스의 센터 포인트를 지나는 중심선이 결정될 것이고, 결정된 중심선을 기초로 각각의 문자의 바운딩 박스의 x좌표 값을 기초로 크기가 작은 순으로 문자를 순서대로 배열할 수 있다.
이상에서 설명한 딥 러닝 기반 번호 인식 시스템(200)은 지정한 두 개의 경계선 중 첫번째 경계선을 지나는 오토바이 후면 객체 사진을 찍고 두번째 경계선을 지나는 오토바이의 후면 객체 사진을 기초로 오토바이가 속도 위반으로 판단되면, 이전에 식별 되었던 오토바이 후면 객체 사진을 불러와 보다 선명한 이미지를 가지고 번호판을 인식하는 것이다. 여기서, 이전에 식별된 오토바이 후면 객체 사진을 불러와 번호판을 인식하는 이유는 상대적으로 거리가 가까운 영상에서 얻은 이미지가 선명하여 영상 처리를 하기 용이하기 때문이다.
본 발명의 일 실시 예에 따르면, 카메라로부터 수신된 영상을 기초로 산출된 오브젝트의 속도가 기 설정된 속도를 초과하는 경우에 기 설정된 속도를 초과하는 오브젝트를 식별하여 해당 오브젝트의 번호판 및 번호를 인식한다.
다시 말하면, 본 발명은 카메라로부터 수신된 영상을 기초로 식별된 오브젝트가 기 설정된 조건에 부합하는 경우 식별된 오브젝트의 번호판 및 번호를 인식한다. 예를 들면, 카메라로부터 수신된 영상을 기초로 차선 위반, 신호 위반, 오토바이 헬멧 착용 위반, 오토바이 탑승자 위반, 차선 끼어들기 위반, 교차로 꼬리물기 위반 및 역주행을 포함하는 교통 법규 위반에 해당하는 경우에 교통 법규를 위반하는 오브젝트의 번호판 및 번호를 인식 할 수 있다.
기존에 교통 법규 위반을 판별하는 방법은 차선에 별도로 설치된 하드웨어 센서를 설치하여 오브젝트를 인식하여 교통 법규 위반을 판별하는 방식이다. 그러나, 본 발명을 이용하면 차선에 별도로 설치된 하드웨어 센서없이 영상만으로 교통 법규 위반을 판별할 수 있어 보다 효과적인 지능형 교통 시스템을 구축할 수 있다.
이상의 상세한 설명은 본 발명을 예시하는 것이다. 또한 전술한 내용은 본 발명의 바람직한 실시 형태를 나타내어 설명하는 것이며, 본 발명은 다양한 다른 조합, 변경 및 환경에서 사용할 수 있다. 즉 본 명세서에 개시된 발명의 개념의 범위, 저술한 개시 내용과 균등한 범위 및/또는 당 업계의 기술 또는 지식의 범위 내에서 변경 또는 수정이 가능하다. 저술한 실시 예는 본 발명의 기술적 사상을 구현하기 위한 최선의 상태를 설명하는 것이며, 본 발명의 구체적인 적용 분야 및 용도에서 요구되는 다양한 변경도 가능하다. 따라서 이상의 발명의 상세한 설명은 개시된 실시 상태로 본 발명을 제한하려는 의도가 아니다. 또한 첨부된 청구범위는 다른 실시 상태도 포함하는 것으로 해석되어야 한다.

Claims (15)

  1. 카메라로부터 촬영된 영상을 수신하는 통신모듈;
    상기 통신모듈에서 수신된 영상을 기초로 기 저장된 기준에 매칭하는 하나 이상의 오브젝트를 인식하는 검출 모듈; 및
    상기 검출 모듈에서 인식한 적어도 하나의 오브젝트와 유사한 오브젝트를 적어도 하나 인식하는 추적 모듈을 포함하는 다중 객체 검출 시스템.
  2. 제 1 항에 있어서, 상기 검출 모듈은,
    n번째 프레임에서, 기 저장된 오브젝트 형식 값과 매칭률이 특정 수치 값 이상인 오브젝트를 적어도 하나 인식하는 다중 객체 검출 시스템(n은 2 이상의 정수).
  3. 제 2 항에 있어서, 기 저장된 오브젝트 형식 값은,
    자동차, 오토바이의 앞면 및 오토바이의 뒷면 중 적어도 어느 하나를 포함하는 딥 러닝 기반 다중 객체 검출 및 추적 시스템.
  4. 제 1 항에 있어서, 상기 추적 모듈은,
    상관 필터 기반의 추적 기술을 사용하여 검출된 오브젝트를 추적하는 다중 객체 검출 시스템.
  5. 제 1 항에 있어서, 상기 추적 모듈은,
    n번째 프레임에서, 상기 검출모듈에서 인식한 적어도 하나의 오브젝트와 유사도가 특정 수치 값 이상인 오브젝트를 적어도 하나 인식하는 다중 객체 검출 시스템.
  6. 제 1 항에 있어서,
    상기 검출 모듈에서 인식한 적어도 하나의 오브젝트를 검출 오브젝트로 결정하고, 상기 추적 모듈에서 인식한 적어도 하나의 오브젝트와 유사도가 특정 수치 값 이상인 오브젝트를 추적 오브젝트로 결정하는 분류 모듈을 더 포함하는 다중 객체 검출 시스템.
  7. 제 1 항에 있어서,
    n번째 프레임에서, 상기 검출 모듈에서 인식된 적어도 하나의 오브젝트의 위치 좌표와 상기 추적 모듈에서 인식된 적어도 하나의 오브젝트의 위치 좌표를 비교하여 평균 값으로 적어도 하나의 오브젝트의 위치 좌표를 결정하는 분석 모듈을 더 포함하는 다중 객체 검출 시스템.
  8. 카메라로부터 촬영된 영상을 수신하는 단계;
    수신된 영상을 기초로 기 저장된 기준에 매칭하는 하나 이상의 오브젝트를 인식하는 검출 단계; 및
    상기 오브젝트를 인식하는 단계에서 인식한 적어도 하나의 오브젝트와 유사한 오브젝트를 적어도 하나 인식하는 추적 단계를 포함하는 다중 객체 검출 방법.
  9. 제 8 항에 있어서, 상기 검출 단계는,
    n번째 프레임에서, 기 저장된 오브젝트 형식 값과 매칭률이 특정 수치 값 이상인 오브젝트를 적어도 하나 인식하는 다중 객체 검출 방법.
  10. 제 9 항에 있어서, 기 저장된 오브젝트 형식 값은,
    자동차, 오토바이의 앞면 및 오토바이의 뒷면 중 적어도 어느 하나를 포함하는 다중 객체 검출 및 추적 방법.
  11. 제 8 항에 있어서, 상기 추적 단계는,
    상관 필터 기반의 추적 기술을 사용하여 검출된 오브젝트를 추적하는 다중 객체 검출 방법.
  12. 제 8 항에 있어서, 상기 추적 단계는,
    n번째 프레임에서, 상기 검출 단계에서 인식한 적어도 하나의 오브젝트와 유사도가 특정 수치 값 이상인 오브젝트를 적어도 하나 인식하는 다중 객체 검출 방법.
  13. 제 8 항에 있어서, 상기 추적 단계 이후에,
    상기 검출 단계에서 인식한 적어도 하나의 오브젝트를 검출 오브젝트로 결정하고, 상기 추적 단계에서 인식한 적어도 하나의 오브젝트와 유사도가 특정 수치 값 이상인 오브젝트를 추적 오브젝트로 결정하는 분류 단계를 더 포함하는 다중 객체 검출 방법.
  14. 제 11 항에 있어서, 상기 추적 단계는,
    n번째 프레임에서, 상기 검출 단계에서 인식된 적어도 하나의 오브젝트의 위치 좌표와 상기 추적 모듈에서 인식된 적어도 하나의 오브젝트의 위치 좌표를 비교하여 평균 값으로 적어도 하나의 오브젝트의 위치 좌표를 결정하는 분석 단계를 더 포함하는 다중 객체 검출 방법.
  15. 제 8 항 내지 제 14 항 중 어느 한 항에 따른 다중 객체 검출 방법을 실행시키는 기록매체에 저장된 컴퓨터 프로그램.
PCT/KR2018/015219 2018-11-23 2018-12-04 다중 객체 검출 시스템 및 방법 WO2020105780A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020180146198A KR102031503B1 (ko) 2018-11-23 2018-11-23 다중 객체 검출 시스템 및 방법
KR10-2018-0146198 2018-11-23

Publications (1)

Publication Number Publication Date
WO2020105780A1 true WO2020105780A1 (ko) 2020-05-28

Family

ID=68542083

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2018/015219 WO2020105780A1 (ko) 2018-11-23 2018-12-04 다중 객체 검출 시스템 및 방법

Country Status (2)

Country Link
KR (1) KR102031503B1 (ko)
WO (1) WO2020105780A1 (ko)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102337034B1 (ko) * 2020-02-26 2021-12-09 슈어소프트테크주식회사 자율 주행 상황 인지 프로그램 성능 테스트 방법 및 동일 방법을 수행하기 위한 자율 주행 상황 인지 프로그램 성능 테스트 장치
KR102482427B1 (ko) * 2020-12-02 2022-12-29 한국도로공사 정밀도로지도 생성을 위한 교통안전표지 인식/추출 방법 및 시스템
CN112699839B (zh) * 2021-01-13 2024-02-27 安徽水天信息科技有限公司 一种动态背景下视频目标自动锁定及跟踪方法
KR102662230B1 (ko) * 2021-06-18 2024-04-30 엘아이지넥스원 주식회사 이미지 처리 방법 및 장치
KR102407170B1 (ko) * 2022-01-07 2022-06-10 (주)토페스 이륜차 교통법규 위반 검지 방법 및 그 실행을 위한 시스템
KR102556791B1 (ko) * 2022-11-15 2023-07-18 (주)한국알파시스템 주차관제장치 및 차량 번호판 인식 방법

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006018339A (ja) * 2004-06-30 2006-01-19 Hitachi Ltd ナンバープレート認識装置及び方法
KR20140013407A (ko) * 2012-07-23 2014-02-05 삼성테크윈 주식회사 객체 추적 장치 및 방법
KR20150110697A (ko) * 2013-01-22 2015-10-02 퀄컴 인코포레이티드 타깃 오브젝트를 추적 및 검출하기 위한 시스템들 및 방법들
KR101888381B1 (ko) * 2018-06-19 2018-08-14 (주)서광시스템 검지영역 딥러닝 기반의 차량 단속 시스템
KR20180105876A (ko) * 2017-03-16 2018-10-01 한국전자통신연구원 색상과 형태를 동시에 고려한 실시간 영상 추적 방법 및 이를 위한 장치

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4623135B2 (ja) * 2008-05-08 2011-02-02 株式会社デンソー 画像認識装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006018339A (ja) * 2004-06-30 2006-01-19 Hitachi Ltd ナンバープレート認識装置及び方法
KR20140013407A (ko) * 2012-07-23 2014-02-05 삼성테크윈 주식회사 객체 추적 장치 및 방법
KR20150110697A (ko) * 2013-01-22 2015-10-02 퀄컴 인코포레이티드 타깃 오브젝트를 추적 및 검출하기 위한 시스템들 및 방법들
KR20180105876A (ko) * 2017-03-16 2018-10-01 한국전자통신연구원 색상과 형태를 동시에 고려한 실시간 영상 추적 방법 및 이를 위한 장치
KR101888381B1 (ko) * 2018-06-19 2018-08-14 (주)서광시스템 검지영역 딥러닝 기반의 차량 단속 시스템

Also Published As

Publication number Publication date
KR102031503B1 (ko) 2019-11-08

Similar Documents

Publication Publication Date Title
WO2020105780A1 (ko) 다중 객체 검출 시스템 및 방법
WO2020122300A1 (ko) 딥러닝 기반 번호 인식 시스템
WO2020122301A1 (ko) 딥 러닝 기반 교통 위반 단속 시스템 및 방법
EP1030188B1 (en) Situation awareness system
CN105702048B (zh) 基于行车记录仪的高速公路前车违法占道识别系统及方法
KR101859402B1 (ko) 터널 내 카메라 간 물체 연계 추적 및 차선 변경 차량 탐지 방법
JP6679152B1 (ja) 事故分析装置、事故分析方法及びプログラム
US20120148092A1 (en) Automatic traffic violation detection system and method of the same
CN101377811B (zh) 一种车牌识别的方法与系统
KR101742490B1 (ko) 끼어들기 위반차량 단속 시스템 및 그 방법
WO2013115470A1 (en) Integrated control system and method using surveillance camera for vehicle
CN104951784A (zh) 一种车辆无牌及车牌遮挡实时检测方法
JPH06337938A (ja) 画像処理装置及び距離測定装置
CN106991820A (zh) 违规车辆处理方法及装置
CN110021172A (zh) 一种车辆全要素特征采集方法和系统
KR102332517B1 (ko) 영상감시 제어장치
CN113033275B (zh) 基于深度学习的车辆变道不打转向灯分析系统
JP2023104982A (ja) 事故分析装置
CN116534035A (zh) 用于搜索车辆可以行驶的车道的装置和方法
WO2023286917A1 (ko) 심층 신경망을 이용한 도로 노면 손상 및 장애물 동시 탐지 시스템, 방법, 및 상기 방법을 실행시키기 위한 컴퓨터 판독 가능한 프로그램을 기록한 기록 매체.
CN101882219B (zh) 图像辨识以及输出方法及其系统
KR102533582B1 (ko) 인공지능기반 운행위반 이륜자동차 단속 시스템 및 방법
WO2022197042A1 (ko) 교차로 꼬리물기 인지 및 영상 저장 장치
CN112329724B (zh) 机动车变道实时检测与抓拍方法
KR102316700B1 (ko) 이륜차 전용 무인단속시스템

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18940721

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18940721

Country of ref document: EP

Kind code of ref document: A1