KR101647370B1 - road traffic information management system for g using camera and radar - Google Patents
road traffic information management system for g using camera and radar Download PDFInfo
- Publication number
- KR101647370B1 KR101647370B1 KR1020140166072A KR20140166072A KR101647370B1 KR 101647370 B1 KR101647370 B1 KR 101647370B1 KR 1020140166072 A KR1020140166072 A KR 1020140166072A KR 20140166072 A KR20140166072 A KR 20140166072A KR 101647370 B1 KR101647370 B1 KR 101647370B1
- Authority
- KR
- South Korea
- Prior art keywords
- information
- image
- radar
- traffic information
- unit
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/04—Detecting movement of traffic to be counted or controlled using optical or ultrasonic detectors
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Traffic Control Systems (AREA)
- Image Processing (AREA)
Abstract
본 발명은 카메라 및 레이더검지기를 구비하여 영상정보 및 레이더신호로부터 객체 및 객체특징정보를 검출함으로써 다양하고 정확한 교통정보를 생성할 수 있으며, 영상객체 및 레이더객체를 좌표 및 시간 동기화한 후 ransac(random sample consensus) 알고리즘을 사용한 호모그래피 행렬(homography matrix)을 사용하여 동기화된 영상객체 및 레이더객체를 정합함으로써 객체검출의 정확도를 현저히 높일 수 있고, 영상객체 정보 검출 시 차량, 보행자, 배경 등의 유형마다 각기 다른 패턴을 갖는 HOG 서술자를 기 설정하여 저장하며, 이러한 HOG 서술자의 패턴 차이를 RBF 커널을 사용한 비선형 SVM(Support Vector Machine) 분류기를 사용하여 객체를 검출함으로써 객체 검출의 정확도를 높임과 동시에 검출된 객체의 종류까지 검출할 수 있으며, 교통정보 사용자 인터페이스를 통해 실제 영상, 돌발상황 추적영상 및 가상맵이 디스플레이 됨으로써 사용자는 간단하고 용이하게 교통정보를 열람할 수 있는 카메라 및 레이더를 이용한 교통정보 관리시스템에 관한 것이다.The present invention includes a camera and a radar detector and can detect various types of accurate traffic information by detecting object and object feature information from image information and radar signals, coordinate and time-synchronize image objects and radar objects, the accuracy of object detection can be significantly improved by matching a synchronized image object and a radar object using a homography matrix using a sample consensus algorithm, The HOG descriptor with different patterns is pre-set and stored. By detecting the pattern difference of the HOG descriptor using the nonlinear SVM (Support Vector Machine) classifier using the RBF kernel, the accuracy of the object detection is increased and the detected It is possible to detect the type of object, and the traffic information user interface And more particularly, to a traffic information management system using a camera and a radar that allows a user to easily and easily view traffic information by displaying an actual image, an incident tracking image, and a virtual map.
Description
본 발명은 카메라 및 레이더를 이용한 교통정보 관리시스템에 관한 것으로서, 상세하게로는 영상정보 및 레이더신호를 이용하여 객체를 검출함과 동시에 이들 각각의 장점을 최적화하여 특징정보를 검출함으로써 교통정보의 다양성 및 객체 인식의 정확도를 획기적으로 높일 수 있을 뿐만 아니라 다양한 교통정보를 제공할 수 있는 교통정보 관리시스템에 관한 것이다.The present invention relates to a traffic information management system using a camera and a radar. More specifically, the present invention relates to a traffic information management system using a camera and a radar, And a traffic information management system capable of dramatically increasing the accuracy of object recognition and providing various traffic information.
자동차의 대중화 및 도로 보급률이 기하급수적으로 증가함에 따라 차량 감지수단을 이용하여 차량정보를 수집한 후 수집된 차량정보를 기반으로 차량밀도, 정체률, 차량속도, 위반차량 등의 교통정보를 생성하여 생성된 교통정보를 종합적으로 관리 및 모니터링 하기 위한 지능형 교통시스템(ITS:Intelligent Transportation System)이 널리 사용되고 있다. As the popularization of vehicles and the rate of road penetration increase exponentially, vehicle information is collected using vehicle detection means, and traffic information such as vehicle density, congestion rate, vehicle speed, and offending vehicle is generated based on collected vehicle information Intelligent Transportation System (ITS) is widely used for comprehensive management and monitoring of generated traffic information.
이러한 차량정보를 수집하기 위한 차량 감지방법으로는 레이더신호를 이용하는 방식과, 카메라를 이용하는 방식이 통상적으로 사용되고 있다. As a vehicle detection method for collecting such vehicle information, a method using a radar signal and a method using a camera are usually used.
레이더신호를 이용하는 방식은 기 설정된 감지영역으로 송신된 레이더신호의 반사 신호를 수집한 후 수집된 반사 신호를 분석하여 차량정보를 수집하는 방식으로서, 차량위치 및 속도에 대한 검출의 정확도가 우수할 뿐만 아니라 외부 환경에 영향을 적게 받으며, 종 방향에 대한 객체 검출이 뛰어난 장점을 가진다. 그러나 이러한 레이더를 이용한 방식은 횡 방향에 대한 위치 및 속도 검출과, 객체에 대한 분류 및 정보 검출의 정확도가 떨어지는 단점을 가진다.A method using a radar signal is a method of collecting vehicle information by analyzing a collected reflected signal after collecting a reflected signal of a radar signal transmitted to a predetermined sensing area, But it is less affected by the external environment and has an advantage of object detection in the longitudinal direction. However, this method using radar has disadvantages of detection of position and velocity in the lateral direction, accuracy of classification and information detection for objects, and the like.
카메라를 이용하는 방식은 카메라의 촬영에 의해 획득된 영상정보를 분석하여 차량정보를 수집하기 위한 장치로서, 객체 분류가 우수함과 동시에 객체 분류 및 정보 검출의 정확도가 우수하며, 횡 방향에 대한 위치 및 속도 검출이 우수한 장점을 갖는다. 그러나 상기 카메라를 이용한 방식은 외부 환경에 영향을 쉽게 받으며, 거리 및 속도에 대한 검출 정확도가 레이더신호에 비교하여 상대적으로 떨어지는 단점을 갖는다.A method using a camera is a device for collecting vehicle information by analyzing image information obtained by photographing a camera. The device is excellent in object classification, has excellent accuracy of object classification and information detection, Detection is advantageous. However, the method using the camera is easily affected by the external environment, and has a disadvantage that the detection accuracy with respect to the distance and the speed is relatively low as compared with the radar signal.
이에 따라 카메라 및 레이더 송수신기를 일체형으로 제작하여 영상정보 및 레이더신호를 분석하여 차량정보를 검출하기 위한 다양한 연구가 진행되고 있다. Accordingly, various studies have been conducted to detect vehicle information by analyzing image information and radar signals by integrally manufacturing a camera and a radar transceiver.
본 출원인에 의해 출원된 국내등록특허 제10-1343975호(발명의 명칭 : 돌발검지 시스템)에 개시된 돌발검지 시스템은 카메라 및 레이더검지기를 동시에 구비하여 획득된 영상정보의 질에 따라 영상정보 및 레이더신호를 선택적으로 사용하도록 구성됨으로써 차량정보의 검출 정확도 및 신뢰도를 높일 수 있다. An unexpected detection system disclosed in Korean Patent No. 10-1343975 filed by the applicant of the present invention includes a camera and a radar detector at the same time, and the image information and the radar signal The detection accuracy and the reliability of the vehicle information can be increased.
그러나 상기 돌발검지 시스템은 단순히 카메라에 의해 획득된 영상정보가 차량검출이 가능한 상태인 경우에는 영상정보만을 이용하고, 획득된 영상정보가 차량검출이 불가능한 상태인 경우에는 레이더신호를 이용하도록 구성된 것이기 때문에 레이더신호 및 영상정보의 장점을 극대화하여 사용할 수 없고, 이에 따라 레이더신호 및 영상정보를 복합하여 사용할 때에 비교하여 검출의 정확도가 떨어지는 한계를 갖는다. 즉 상기 돌발검지 시스템은 획득된 영상정보가 선명한 경우에는 영상분석을 통해서만 차량정보가 검출되기 때문에 거리 및 속도에 대한 검출 정확도가 떨어지게 되고, 획득된 영상정보가 선명하지 않은 경우에는 레이더 신호를 통해서만 차량정보가 검출되기 때문에 객체 분류 및 객체특징정보 검출의 정확도가 떨어지는 한계를 갖는다. However, since the unexpected detection system is configured to use only the image information when the image information obtained by the camera is in a state in which the vehicle can be detected, and to use the radar signal in the case where the obtained image information is in a state in which the vehicle can not be detected The advantages of the radar signal and the image information can not be maximized and can not be used. Therefore, the accuracy of the detection is lower than when the radar signal and the image information are used in combination. That is, in the case where the obtained image information is clear, since the vehicle information is detected only through the image analysis, the detection accuracy of the distance and the speed is deteriorated. If the obtained image information is not clear, The accuracy of object classification and object feature information detection is low.
도 1은 본 발명의 출원인에 의해 출원된 국내등록특허 제10-1446546호(발명의 명칭 : 위치기반 실시간 차량정보 표시시스템)에 개시된 차량검지기를 나타내는 블록도이고, 도 2는 도 1의 차량검지기에 의해 수집된 교통정보가 전시되는 교통정보 사용자 인터페이스를 나타내는 예시도이다.1 is a block diagram showing a vehicle detector disclosed in Korean Patent No. 10-1446546 filed by the applicant of the present invention and entitled " Position Based Real Time Vehicle Information Display System "; FIG. 2 is a block diagram of a vehicle detector FIG. 3 is a view illustrating a traffic information user interface in which traffic information collected by the user is displayed.
도 1의 차량검지기(이하 종래기술이라고 함)(100)는 데이터들이 저장되는 데이터베이스부(102)와, 데이터를 송수신하는 데이터 송수신부(103)와, 레이더 송수신부(110)로부터 입력받은 레이더 신호를 분석하여 차량들 각각의 궤적을 검출하는 차량궤적 검출부(104)와, 차량궤적 검출부(104)에 의해 검출된 차량궤적정보를 기반으로 차량들 각각의 속도, 위치, 주행방향 및 앞차간거리 등을 포함하는 차량정보를 검출하는 차량정보 검출부(105)와, 차량정보 검출부(105)에 의해 검출된 차량정보들 중 차량속도 및 앞차간거리를 기 설정된 제한속도 및 안전거리에 비교하여 위반차량이 검출되면 돌발상황을 발생하는 돌발상황 발생부(106)와, 차량정보 검출부(105)에 의해 검출된 위치, 속도, 주행방향 및 앞차간거리들과 돌발상황 발생부(106)에 의해 검출된 위반차량에 대한 정보, 단말기 식별ID값, 감지영역(S)의 위치정보 및 촬영영역의 위치정보에 매칭시켜 위치기반 차량정보를 생성하는 위치기반 차량정보 생성부(107)와, 레이더 송수신부(110)를 제어하는 레이더 구동부(108)와, 촬영수단(120)을 제어하는 촬영수단 구동부(109)와, 이들 제어대상(102), (103), (104), (105), (106), (107), (108), (109)들을 제어하는 제어부(101)로 이루어진다.1 is a block diagram showing a
또한 촬영수단(120)의 촬영에 의해 획득된 영상정보는 교통관리 서버로 전송되고, 교통관리 서버는 영상정보를 분석하여 차량 위치정보를 분석한 후 차량 위치정보를 위치기반 차량정보 생성부(107)에 의해 생성된 위치기반 차량정보에 매칭시킨다. The image information obtained by the photographing of the photographing means 120 is transmitted to the traffic management server. The traffic management server analyzes the image information to analyze the vehicle location information, and then transmits the vehicle location information to the location-based vehicle
이와 같이 구성되는 종래기술(100)에 의해 획득된 데이터들은 단말기에 전시될 때 도 2의 교통정보 사용자 인터페이스(200)를 통해 전시되고, 교통정보 사용자 인터페이스(200)는 실제 도로 형상에 대응되는 이미지인 도로 이미지(212)가 전시되는 기 제작된 가상맵(211)에, 위치기반 교통정보를 매핑시켜 전시하는 가상맵 활성창(720)과, 교통관리 서버로부터 전송받은 영상을 전시하는 영상 활성창(230)으로 이루어진다.The data obtained by the
이와 같이 종래기술(100)는 레이더검지기(110) 및 촬영수단(120)을 동시에 수행하여 정보를 수집한 후 수집된 차량정보를 매칭시켜 교통정보 사용자 인터페이스(200)를 통해 단말기로 전시함으로써 사용자에게 보다 정확한 교통정보를 제공할 수 있게 된다.As described above, the
그러나 종래기술(100)은 객체검출, 검출된 객체의 위치, 검출된 객체의 속도 등의 객체 특징정보가 레이더신호만을 이용하여 검출되고, 영상정보는 객체 검출에 활용되지 않고 단순히 촬영도로에 대한 영상을 제공하기 위한 목적만으로 사용되기 때문에 횡 방향에 대한 위치 및 속도정보, 검출된 객체의 크기, 차선정보 등에 대한 검출의 정확도가 떨어지는 한계를 갖는다. However, in the
또한 종래기술(100)은 검출된 객체가 차량인지 또는 보행자인지, 고정된 물체인지를 분류하기 위한 별도의 구성수단이 없기 때문에 검출된 모든 객체는 동일한 객체로 판단되어 정보의 정확도가 떨어지게 된다. In addition, since the
또한 종래기술(100)은 촬영수단(120)에 비교하여 감지영역이 상대적으로 큰 레이더검지기(110)의 특성을 감안할 때 레이더검지기(110)의 감지영역에 대응되도록 영상이 획득되기 위해서는 복수개의 카메라들이 서로 다른 촬영영역들을 촬영하도록 구성되어야 하나, 단순히 하나의 촬영수단(120)만이 설치됨으로써 레이더검지기의 감지영역에 비교하여 객체(차량)을 인지할 수 있는 촬영영역의 넓이가 과도하게 작아 감지의 효율성이 떨어지는 문제점이 발생한다. In order to acquire an image corresponding to the detection area of the
이러한 문제점을 해결하기 위해서는 레이더검지기의 감지영역을 복수개의 카메라들이 분할하여 촬영함과 동시에 이들에 의해 획득된 파노라마 영상을 조합하여 활용하여야 하고, 이러한 파노라마 영상을 조합할 때에는 카메라의 설치각도 또는 어안렌즈 사용으로 인한 영상의 왜곡을 보정한 후에 조합하여야 하나, 종래기술(100)에 복수개의 촬영수단들이 설치되었다고 가정하더라도, 종래기술(100)에는 영상 조합 시 왜곡을 보정하기 위한 방법 및 수단이 기재되어 있지 않아 정확도가 떨어지는 한계를 갖는다.In order to solve such a problem, a plurality of cameras divide the detection area of the radar detector into a plurality of cameras, and at the same time, the panorama images acquired by these cameras are used in combination. When these panorama images are combined, It is necessary to combine the distortion after the correction of the image due to use. However, even if it is supposed that a plurality of imaging means are provided in the
즉 1)영상정보의 장점과, 레이더신호의 장점을 감안하여 객체정보를 검출함으로써 객체특징정보의 정확도를 높임과 동시에 다양성을 확보할 수 있고, 2)검출된 객체의 크기 및 종류를 검출할 수 있으며, 3)종류 별 객체특징정보를 포함하는 객체종류별 모델을 이용하여 객체 종류를 용이하게 검출할 수 있고, 4)영상전처리 과정을 통해 영상정보를 이용한 객체특징정보를 정확하게 검출할 수 있는 교통관리 시스템 및 방법에 대한 연구가 시급한 실정이다.That is, 1) it is possible to increase the accuracy of the object feature information and to secure diversity by detecting the object information in consideration of the advantages of the image information and the advantages of the radar signal, 2) to detect the size and type of the detected object And 3) it is possible to easily detect the object type by using the object type model including the object feature information for each kind, 4) the traffic management which can accurately detect the object feature information using the image information through the image preprocessing process System and method are urgently needed.
본 발명은 이러한 문제를 해결하기 위한 것으로, 본 발명의 해결과제는 카메라 및 레이더검지기를 구비하여 영상정보 및 레이더신호로부터 객체 및 객체특징정보를 검출함으로써 다양하고 정확한 교통정보를 생성할 수 있는 카메라 및 레이더를 이용한 교통정보 관리시스템을 제공하기 위한 것이다.SUMMARY OF THE INVENTION The present invention has been made to solve the above problems, and an object of the present invention is to provide a camera and a radar detector, which can generate various and accurate traffic information by detecting object and object characteristic information from image information and a radar signal, And to provide a traffic information management system using radar.
또한 본 발명의 다른 해결과제는 영상객체 및 레이더객체를 좌표 및 시간 동기화한 후 ransac(random sample consensus) 알고리즘을 사용한 호모그래피 행렬(homography matrix)을 사용하여 동기화된 영상객체 및 레이더객체를 정합함으로써 객체검출의 정확도를 현저히 높일 수 있는 카메라 및 레이더를 이용한 교통정보 관리시스템을 제공하기 위한 것이다.Another object of the present invention is to provide a method and apparatus for synchronizing a video object and a radar object by coordinate and time synchronization and then matching a synchronized video object and a radar object using a homography matrix using a ransac (random sample consensus) And to provide a traffic information management system using a camera and a radar capable of remarkably increasing the accuracy of detection.
또한 본 발명의 또 다른 해결과제는 영상객체 정보 검출 시 차량, 보행자, 배경 등의 유형마다 각기 다른 패턴을 갖는 HOG 서술자를 기 설정하여 저장하며, 이러한 HOG 서술자의 패턴 차이를 RBF 커널을 사용한 비선형 SVM(Support Vector Machine) 분류기를 사용하여 객체를 검출함으로써 객체 검출의 정확도를 높임과 동시에 검출된 객체의 종류까지 검출할 수 있는 카메라 및 레이더를 이용한 교통정보 관리시스템을 제공하기 위한 것이다.Another object of the present invention is to provide a HOG descriptor having a different pattern for each type of vehicle, pedestrian, and background during the detection of video object information and storing the pattern difference of the HOG descriptor in a nonlinear SVM The present invention is to provide a traffic information management system using a camera and a radar capable of detecting an object by using a support vector machine classifier.
또한 본 발명의 또 다른 해결과제는 교통정보 사용자 인터페이스를 통해 실제 영상, 돌발상황 추적영상 및 가상맵이 디스플레이 됨으로써 사용자는 간단하고 용이하게 교통정보를 열람할 수 있는 카메라 및 레이더를 이용한 교통정보 관리시스템을 제공하기 위한 것이다.Further, another object of the present invention is to provide a traffic information management system using a camera and a radar which can easily and easily view traffic information by displaying a real image, an unexpected situation tracking image and a virtual map through a traffic information user interface .
상기 과제를 해결하기 위한 본 발명의 해결수단은 기 설정된 감지영역(S)으로 레이더를 송수신하는 레이더검지기; 상기 감지영역을 촬영하여 영상을 획득하고, 상기 감지영역을 분할하여 촬영하되 가장 인접한 영역을 촬영하는 카메라로 구성되는 어레이카메라들을 포함하는 촬영수단; 상기 레이더검지기에 의해 수집된 레이더신호를 분석하여 객체인 레이더객체를 검출하는 레이더객체 검출부와, 상기 촬영수단에 의해 획득된 영상을 분석하여 영상 내 객체인 영상객체를 검출하는 영상객체 검출부와, 상기 영상객체 및 상기 레이더객체를 좌표 및 시간 동기화하여 정합하는 정합부로 구성되는 컨트롤러를 포함하고, 상기 컨트롤러는 상기 어레이카메라들로부터 영상이 입력되면 상기 어레이카메라의 방사왜곡(radial distotion)을 보정하며, 각 채널의 영상을 원근투영변환하여 모자이크 영상을 획득하는 전처리부를 더 포함하고, 상기 영상객체 검출부는 상기 모자이크 영상에 대해 가우시안 혼합 모델을 이용하여 전경의 이진영상으로 변환하는 이진영상 변환모듈과, 상기 이진영상 변환모듈에 의해 변환된 이진영상의 중간값 필터 또는 모폴로지 연산으로 노이즈를 제거하는 노이즈 제거모듈과, 상기 노이즈 제거모듈에 의해 노이즈가 제거된 이진영상을 블롭 처리(blob processing) 하여 객체를 추출하는 객체추출모듈과, 상기 노이즈가 제거된 이진영상의 HOG 서술자를 검출한 후 RBF 커널을 사용한 비선형 SVM(Support Vector Machine) 분류기를 사용하여 학습과정을 통해 차량, 보행자, 차량색상들 중 적어도 하나 이상의 객체종류를 인식하는 SVM 분류모듈을 포함하는 것이다.According to an aspect of the present invention, there is provided a radar apparatus comprising: a radar detector for transmitting / receiving a radar to a predetermined sensing area; An array camera configured to capture an image of the sensing area to acquire an image, and to capture the sensing area and photograph the closest area; A radar object detection unit for detecting a radar object that is an object by analyzing a radar signal collected by the radar detector; a video object detection unit for detecting a video object that is an object in the image by analyzing the image acquired by the photographing unit; And a matching unit for matching the video object and the radar object by coordinate and time synchronization, wherein the controller corrects radial distotion of the array camera when an image is input from the array cameras, A binary image transformation module for transforming the mosaic image into a binary image of a foreground using a Gaussian mixture model; and a binary image transformation module for transforming the binary image into a foreground binary image using a Gaussian mixture model, A binary image transformed by the image transformation module, or An object extraction module for extracting an object by performing a blob processing on a noise-removed binary image by the noise elimination module; and an object extraction module for extracting the noise from the binocular HOG descriptor And a SVM classification module for recognizing at least one object type of a vehicle, a pedestrian, and a vehicle color through a learning process using a nonlinear SVM (Support Vector Machine) classifier using an RBF kernel.
또한 본 발명에서 상기 정합부는 동일한 프레임에서 영상객체의 위치 및 레이더객체의 위치를 대응시킨 후 ransac(random sample consensus) 알고리즘을 사용한 호모그래피 행렬(homography matrix)을 구한 후 이 행렬들 가운데 가장 적합도가 큰 행렬을 구함으로써 영상객체정보 및 레이더객체 정보를 정합한 융복합 객체정보를 검출하는 것이 바람직하다. In the present invention, the matching unit maps a position of a video object and a position of a radar object in the same frame, obtains a homography matrix using a ransac (random sample consensus) algorithm, It is preferable to detect the composite composite object information by matching the image object information and the radar object information.
또한 본 발명에서 상기 컨트롤러는 상기 영상객체에 대한 관련정보인 영상객체 특징정보를 검출하는 영상객체 특징정보 검출부와, 상기 레이더객체에 대한 관련정보인 레이더객체 특징정보를 검출하는 레이더객체 특징정보 검출부를 더 포함하고, 상기 영상객체 특징정보는 상기 영상객체 특징정보 및 상기 레이더객체 특징정보를 상기 융복합 객체정보에 매칭시켜 교통정보를 생성하는 것이 바람직하다.The controller may further include a video object feature information detector for detecting video object feature information related to the video object and a radar object feature information detector for detecting radar object feature information related to the radar object, And the video object feature information may generate traffic information by matching the video object feature information and the radar object feature information to the fused composite object information.
또한 본 발명에서 상기 컨트롤러는 상기 교통정보가 기 설정된 그래픽 절차에 따라 전시되는 그래픽 사용자 인터페이스(graphic user interface)인 교통정보 사용자 인터페이스를 생성하는 인터페이스 관리부를 더 포함하고, 상기 영상객체 특징정보 검출부는 상기 영상객체의 크기정보를 포함하는 영상객체 특징정보를 검출하고, 상기 교통정보 사용자 인터페이스는 실제 도로 형상에 대응되는 가상맵에, 교통정보를 매핑시켜 전시하는 가상맵 활성창과, 영상이 전시되는 영상활성창을 포함하고, 상기 가상맵은 실제 도로의 형상에 대응하여 기 제작된 도로이미지와, 융복합 객체의 위치에 대응하여 상기 도로이미지 상에 전시되는 차량이미지가 전시되되 상기 차량이미지는 상기 영상객체 특징정보의 크기정보에 대응하여 이미지의 크기가 설정되는 것이 바람직하다.The controller may further include an interface management unit for generating a traffic information user interface that is a graphic user interface in which the traffic information is displayed according to a predetermined graphic procedure, The traffic information user interface includes a virtual map active window for displaying traffic information mapped to a virtual map corresponding to an actual road shape and a virtual map active window for displaying the image, Wherein the virtual map displays a road image produced in correspondence with a shape of an actual road and a vehicle image displayed on the road image corresponding to a position of the fusion compound object, The size of the image is set corresponding to the size information of the feature information Is recommended.
또한 본 발명에서 상기 컨트롤러는 움직임 추정부를 더 포함하고, 상기 움직임 추정부는 상기 융복합 객체정보에 레이더객체정보가 포함될 때 상기 레이더객체 특징정보에 포함된 속도정보를 움직임 추정값으로 결정하고, 상기 융복합 객체정보에 레이더객체정보가 포함되지 않을 때 상기 영상객체정보에 대한 연속프레임의 객체에 루카스 카나데 방식을 이용하여 연속프레임의 옵티컬 플로우(optical flow)를 반복적으로 산출하여 산출된 옵티컬 플로우를 움직임 추정값을 결정하고, 상기 교통정보는 상기 움직임 추정값을 포함하고, 상기 교통정보 사용자 인터페이스의 상기 가상맵의 상기 차량이미지는 상기 움직임 추정값에 따라 이동하는 것이 바람직하다.The controller may further include a motion estimator, wherein the motion estimator determines velocity information included in the radar object feature information as a motion estimation value when radar object information is included in the fusion composite object information, When the radar object information is not included in the object information, an optical flow of a continuous frame is repeatedly calculated for a continuous frame object for the image object information using a Lucas Canade method, and the calculated optical flow is used as a motion estimation value The traffic information includes the motion estimation value, and the vehicle image of the virtual map of the traffic information user interface moves according to the motion estimation value.
또한 본 발명에서 상기 교통정보 관리장치는 돌발상황이 발생되었을 때 돌발상황의 원인인 대상객체를 추적하여 촬영을 수행하는 추적카메라를 더 포함하고, 상기 컨트롤러는 상기 교통정보를 기 설정된 한계치에 비교하여 돌발상황 발생여부를 판단하는 돌발상황 판단부를 더 포함하는 것이 바람직하다.In addition, the traffic information management apparatus may further include a tracking camera that tracks a target object that is a cause of an unexpected situation when an unexpected situation occurs, and performs shooting, and the controller compares the traffic information with a preset threshold value And an abrupt situation judging unit for judging whether or not an erroneous situation has occurred.
또한 본 발명에서 상기 교통정보 사용자 인터페이스는 돌발상황 발생 시 상기 추적카메라에 의해 획득된 영상이 상기 영상활성창에 전시되며, 상기 가상맵에는 돌발상황 원인객체를 상기 차량이미지들과 다른 색상으로 전시하는 것이 바람직하다.Also, in the present invention, the traffic information user interface displays an image obtained by the tracking camera when an unexpected situation occurs in the image active window, and displays an object of an unexpected situation in a color different from the vehicle images .
삭제delete
삭제delete
삭제delete
상기 과제와 해결수단을 갖는 본 발명에 따르면 카메라 및 레이더검지기를 구비하여 영상정보 및 레이더신호로부터 객체 및 객체특징정보를 검출함으로써 다양하고 정확한 교통정보를 생성할 수 있다.According to the present invention having the above-mentioned problems and solutions, a camera and a radar detector can be provided, and various accurate traffic information can be generated by detecting object and object characteristic information from image information and a radar signal.
또한 본 발명에 의하면 영상객체 및 레이더객체를 좌표 및 시간 동기화한 후 ransac(random sample consensus) 알고리즘을 사용한 호모그래피 행렬(homography matrix)을 사용하여 동기화된 영상객체 및 레이더객체를 정합함으로써 객체검출의 정확도를 현저히 높일 수 있다.According to the present invention, after synchronizing the video object and the radar object with each other, the synchronized image object and the radar object are matched by using a homography matrix using a ransac (random sample consensus) algorithm, Can be significantly increased.
또한 본 발명에 의하면 영상객체 정보 검출 시 차량, 보행자, 배경 등의 유형마다 각기 다른 패턴을 갖는 HOG 서술자를 기 설정하여 저장하며, 이러한 HOG 서술자의 패턴 차이를 RBF 커널을 사용한 비선형 SVM(Support Vector Machine) 분류기를 사용하여 객체를 검출함으로써 객체 검출의 정확도를 높임과 동시에 검출된 객체의 종류까지 검출할 수 있다.According to the present invention, a HOG descriptor having a different pattern for each type of vehicle, pedestrian, background, and the like is previously set and stored at the time of detecting the video object information, and the pattern difference of the HOG descriptor is stored in a Support Vector Machine (SVM) ) Classifier, it is possible to increase the accuracy of object detection and to detect the kinds of detected objects.
또한 본 발명에 의하면 교통정보 사용자 인터페이스를 통해 실제 영상, 돌발상황 추적영상 및 가상맵이 디스플레이 됨으로써 사용자는 간단하고 용이하게 교통정보를 열람할 수 있다.In addition, according to the present invention, a real image, an unexpected situation tracking image, and a virtual map are displayed through a traffic information user interface, so that a user can easily and easily view traffic information.
도 1은 본 발명의 출원인에 의해 출원된 국내등록특허 제10-1446546호(발명의 명칭 : 위치기반 실시간 차량정보 표시시스템)에 개시된 차량검지기를 나타내는 블록도이다.
도 2는 도 1의 차량검지기에 의해 수집된 교통정보가 전시되는 교통정보 사용자 인터페이스를 나타내는 예시도이다.
도 3은 본 발명의 일실시예인 교통관리 시스템을 나타내는 구성도이다.
도 4는 도 3의 컨트롤러를 나타내는 블록도이다.
도 5는 도 4의 전처리부에 의한 방사왜곡을 설명하기 위한 예시 실사진이다.
도 6은 도 4의 전처리부에 의한 모자이크 영상을 설명하기 위한 예시 실사진이다.
도 7은 도 4의 영상객체 검출 및 분류부를 나타내는 블록도이다.
도 8은 도 7의 이진영상 변환모듈을 설명하기 위한 예시도이다.
도 9는 도 8의 SVM 분류모듈에 적용되는 HOG 서술자를 나타내는 예시도이다.
도 10은 도 4의 정합부를 나타내는 블록도이다.
도 11은 도 4의 교통정보 사용자 인터페이스 관리부에 의해 생성되는 교통정보 사용자 인터페이스를 나타내는 예시도이다.
도 12는 돌발상황이 발생될 때 도 11의 교통정보 사용자 인터페이스를 나타내는 예시도이다.1 is a block diagram illustrating a vehicle detector disclosed in Korean Patent No. 10-1446546 (entitled " Location Based Real Time Vehicle Information Display System ") filed by the applicant of the present invention.
FIG. 2 is an exemplary view showing a traffic information user interface on which traffic information collected by the vehicle detector of FIG. 1 is displayed.
3 is a configuration diagram illustrating a traffic management system according to an embodiment of the present invention.
4 is a block diagram showing the controller of Fig.
FIG. 5 is an exemplary real world view for explaining the radial distortion caused by the preprocessing unit of FIG. 4;
6 is an illustrative real-time image for explaining a mosaic image by the preprocessing unit of FIG.
FIG. 7 is a block diagram illustrating a video object detection and classification unit of FIG. 4;
8 is an exemplary diagram for explaining the binary image transformation module of FIG.
FIG. 9 is an exemplary diagram illustrating a HOG descriptor applied to the SVM classification module of FIG. 8. FIG.
10 is a block diagram showing the matching unit of Fig.
11 is a diagram illustrating an example of a traffic information user interface generated by the traffic information user interface management unit of FIG.
FIG. 12 is an exemplary view showing the traffic information user interface of FIG. 11 when an unexpected situation occurs.
이하, 첨부된 도면을 참조하여 본 발명의 일실시예를 설명한다.Hereinafter, an embodiment of the present invention will be described with reference to the accompanying drawings.
도 3은 본 발명의 일실시예인 교통관리 시스템을 나타내는 구성도이다. 3 is a configuration diagram illustrating a traffic management system according to an embodiment of the present invention.
도 3의 교통관리 시스템(1)은 어레이카메라(33), 레이더검지기(35) 및 추적카메라(37)를 포함하여 어레이카메라(33)에 의해 영상정보 및 레이더검지기(35)에 의해 수집된 레이더신호를 분석하여 교통정보를 생성함과 동시에 생성된 교통정보가 기 제작된 툴에 따라 전시되는 그래픽 사용자 인터페이스(graphic user interface)인 교통정보 사용자 인터페이스를 생성하는 통합형 검지기(3)와, 통합형 검지기(3)로부터 전송받은 교통정보를 관리 및 모니터링 하는 교통관제서버(7)와, 통합형 검지기(3)로부터 전송받은 교통정보 사용자 인터페이스가 전시되는 클라이언트(8)들과, 이들 사이의 데이터 이동경로를 제공하는 데이터 통신망(9)으로 이루어진다. The
이때 본 발명에서는 설명의 편의를 위해 통합형 검지기(3)가 자체적으로 교통정보 및 교통정보 사용자 인터페이스를 생성하는 것으로 예를 들어 설명하였으나, 통합형 검지기(3)는 단순히 교통정보 생성에 활용될 객체특징정보를 검출하여 검출된 객체특징정보 및 영상정보를 별도의 관리서버로 전송하고, 관리서버에서 통합형 검지기(3)로부터 전송받은 객체특징정보 및 영상정보를 분석하여 교통정보 및 교통정보 사용자 인터페이스를 제작하는 것으로 구성되어도 무방하다. Although the integrated
데이터 통신망(9)은 통합형 검지기(3), 클라이언트(8) 및 교통관제센터 서버(7) 사이의 접속경로 및 데이터 이동경로를 제공하며, 상세하게로는 근거리 통신망(LAN), 광역통신망(WAN), 이동통신망, 유선통신망 등과 같이 데이터를 송수신할 수 있는 다양한 구성이 적용될 수 있다.The
클라이언트(8)는 데이터 통신망(9)에 접속하여 통합형 검지기(3)로 교통정보 사용자 인터페이스를 요청하거나 또는 통합형 검지기(3)로부터 전송받은 교통정보 사용자 인터페이스가 모니터에 디스플레이 되는 디지털 디바이스이다. The
교통관제서버(7)는 통합형 검지기(3)들을 관리 및 제어하며, 컨트롤러(31)로부터 전송받은 교통정보 및 영상정보를 가공하여 관리하며, 도로를 모니터링 한다.The
통합형 검지기(3)는 기 설정된 감지영역(S)으로 송신된 레이더신호의 반사신호를 수신하는 레이더검지기(35)와, 감지영역(S)을 분할한 촬영영역들 각각을 촬영하여 영상을 획득하는 어레이카메라(33)들과, 돌발상황 발생 시 해당 객체를 추적하여 촬영하는 추적카메라(37)와, 레이더검지기(35) 및 어레이카메라(33)들에 의해 획득된 레이더신호 및 영상정보를 분석하여 객체를 검출함과 동시에 교통정보 및 교통정보 사용자 인터페이스를 생성하는 컨트롤러(31)로 이루어진다. The
이때 어레이카메라(33)들 중 가장 인접한 촬영영역을 촬영하는 카메라는 어안렌즈(fish-eye lens)로 구성되고, 타 카메라들은 초점거리에 대응되는 고배율렌즈로 구성된다.At this time, the camera for photographing the nearest shooting area among the array cameras 33 is composed of a fish-eye lens, and the other cameras are composed of a high magnification lens corresponding to the focal distance.
도 4는 도 3의 컨트롤러를 나타내는 블록도이다. 4 is a block diagram showing the controller of Fig.
도 4의 컨트롤러(31)는 내장형 및 외장형 중 어느 하나로 구성될 수 있으며, 어레이카메라(33) 및 레이더검지기(35)로부터 입력된 영상정보 및 레이더신호를 분석하여 교통정보 및 교통정보 사용자 인터페이스를 생성한다. The
또한 컨트롤러(31)는 데이터들이 저장되는 데이터베이스부(312)와, 교통관제서버(7) 및 클라이언트(8)와 데이터를 송수신하는 데이터 송수신부(313)와, 어레이카메라(33)들의 촬영에 의해 획득된 영상의 전처리 공정을 수행하는 전처리부(314)와, 전처리부(314)에 의해 왜곡보정 및 노이즈 제거된 영상을 분석하여 영상 내 객체(이하 영상객체라고 함)를 검출함과 동시에 검출된 영상객체의 종류를 검출하는 영상객체 검출 및 분류부(315)와, 움직이 추정이 이루어져야할 영상객체에 대한 리스트를 생성하는 움직임추정 대상 리스트부(316)와, 레이더검지기(35)에 의해 수집된 레이더신호를 분석하여 객체(이하 레이더객체라고 함)을 검출함과 동시에 검출된 레이더객체의 특징정보를 검출하는 레이더객체 특징 검출부(317)와, 영상객체 및 레이더객체를 시간 및 좌표 동기화하는 정합부(318)와, 영상객체 데이터를 분석하여 영상객체의 특징정보를 검출하는 영상객체 특징 검출부(319)와, 객체의 움직임을 추정하는 움직임 추정부(320)와, 프레임 단위로 각 객체에 대한 칼만 필터 알고리즘을 수행하여 예측(prediction) 및 보정(update)을 수행하는 칼만 필터링부(321)와, 칼만 필터링부(321)를 수행한 융복합데이터, 영상객체 특징정보 및 레이더객체 특징정보를 포함하는 교통정보를 분석하여 돌발상황을 판단하는 돌발상황 판단부(322)와, 객체정보, 객체특징정보, 움직임 추정값, 돌발상황 정보 등을 기 설계된 교통정보 사용자 인터페이스에 저장하는 교통정보 사용자 인터페이스 관리부(323)와, 이들 제어대상(312), (313), (314), (315), (316), (317), (318), (319), (320), (321), (322), (323)들을 관리 및 제어하는 제어부(311)로 이루어진다. The controller 31 includes a database unit 312 for storing data, a data transmitting and receiving unit 313 for transmitting and receiving data to and from the traffic control server 7 and the client 8, A preprocessing unit 314 for performing a preprocessing process on the acquired image, and an image processing unit 314 for analyzing the image subjected to the distortion correction and the noise removal by the preprocessing unit 314 to detect an object (hereinafter referred to as a video object) A motion estimation target list unit 316 for generating a list of image objects to which movement estimation is to be performed and a motion estimation target list unit 316 for detecting A radar object feature detecting unit 317 for detecting an object (hereinafter referred to as a radar object) by analyzing the radar signal and detecting feature information of the detected radar object, A motion object feature detecting unit 319 for detecting feature information of a video object by analyzing the video object data, a motion estimating unit 320 for estimating motion of the object, A Kalman filtering unit 321 for performing prediction and correction by performing a Kalman filter algorithm for the object, a fusion complex data for performing the Kalman filtering unit 321, image object characteristic information and a radar object characteristic A traffic information user interface for storing the object information, the object feature information, the motion estimation value, the unexpected situation information, and the like in the designed traffic information user interface, for analyzing the traffic information including the traffic information, 313, 314, 315, 316, 317, 318, 319, 320, 321, 321, 322, 323, And a control unit 311 for managing and controlling the control units 322 and 323.
제어부(311)는 컨트롤러(31)의 O.S(Operating system)이며, 연결대상(312), (313), (314), (315), (316), (317), (318), (319), (320), (321), (322), (323)들을 관리 및 제어한다. 313, 314, 315, 316, 317, 318, and 319, which are operating systems (OS) of the
또한 제어부(311)는 주기적으로 데이터송수신부(313)를 크롤링(crawling) 하여 관리서버(7) 및 클라이언트(8)로부터 수신 받은 데이터를 탐색한다. The
또한 제어부(311)는 주기적으로 데이터송수신부(313)를 제어하여 획득된 영상정보, 객체 가상맵, 교통정보 사용자 인터페이스, 교통정보(영상객체정보, 레이더객체정보, 영상객체 특징정보, 레이더객체 특징정보, 돌발상황정보 등을 포함)를 교통관제서버(7)로 송신한다. The
또한 제어부(311)는 어레이카메라(33)의 촬영에 의해 획득된 영상정보를 전처리부(314)로 입력하며, 레이더검지기(35)에 의해 수집된 레이더신호를 레이더객체 특징 검출부(317)로 입력한다. The
또한 제어부(311)는 돌발상황 판단부(322)에 의해 돌발상황이 발생되었다고 판단되면 추적카메라(37)를 제어하여 추적카메라(37)가 돌발상황 대상객체를 추적 촬영하도록 한다. The
또한 제어부(311)는 칼만 필터링부(321)에 의해 예측 및 보정이 수행되면 융복합 데이터를 움직임추정 대상 리스트부(316)로 입력한다. When the
데이터베이스부(312)에는 기 제작된 교통정보 사용자 인터페이스(500), 영상정보, 추적영상정보 및 객체맵이 저장된다. The
또한 데이터베이스부(312)에는 영상객체정보, 영상객체 특징정보, 레이더객체정보, 레이더객체 특징정보, 융복합 데이터가 저장된다. The
데이터 송수신부(313)는 데이터 통신망(9)에 접속된 교통관제서버(7) 및 클라이언트(8)와 데이터를 송수신한다.The data transmission /
도 5는 도 4의 전처리부에 의한 방사왜곡을 설명하기 위한 예시 실사진이고, 도 6은 도 4의 전처리부에 의한 모자이크 영상을 설명하기 위한 예시 실사진이다.FIG. 5 is an exemplary real world view for explaining the radial distortion by the preprocessing unit of FIG. 4, and FIG. 6 is an exemplary real world view for explaining a mosaic image by the preprocessing unit of FIG.
전처리부(314)는 영상객체 검출 및 분류부(315)에서 영상객체 검출 및 분류가 정확하게 이루지도록 입력된 영상정보에 대한 전처리를 수행한다. The
이때 어레이카메라(33)들 중 가장 인접한 거리를 촬영하는 카메라는 어안렌즈로 구성되기 때문에 도 5에 도시된 바와 같이 어안렌즈의 획득영상(410)은 가장자리 근처의 픽셀의 위치가 왜곡되는 방사왜곡(radial distotion) 현상이 발생하게 된다. Since the camera for photographing the nearest distance among the array cameras 33 is composed of a fisheye lens, as shown in FIG. 5, the acquired
이에 따라 전처리부(314)는 방사왜곡 현상을 보정하여 보정영상(420)을 획득하게 되며, 방사왜곡 현상의 보정방법은 다음의 수학식 1로 정의된다. Accordingly, the
이때 는 어안렌즈의 획득영상의 왜곡된 픽셀을 나타내고, 는 보정된 픽셀을 나타낸다. At this time Represents the distorted pixel of the acquired image of the fisheye lens, Represents the corrected pixel.
또한 어안렌즈의 영상을 보정하더라도 어레이카메라(33)들이 다채널로 이루어짐과 동시에 각 채널에 따라 다른 원근감이 적용되기 때문에 도 6에 도시된 바와 같이 각 채널의 영상(430)들의 원근영상을 평면영상으로 변환시키는 원근투영변환(perspective projective transformation) 하여 모자이크 영상(440)을 획득한다. 이때 원근투영변환이란 원근영상을 평면영상으로 보정하며, 이러한 영상보정에 있어서 통상적으로 사용되는 기술이기 때문에 상세한 설명은 생략하기로 한다. In addition, even if the image of the fish-eye lens is corrected, the array cameras 33 are formed in multiple channels and a different perspective is applied to each channel. Therefore, as shown in FIG. 6, To obtain a
또한 전처리부(314)에 의해 보정된 영상은 영상객체 검출 및 분류부(315)로 입력된다.The image corrected by the
도 7은 도 4의 영상객체 검출 및 분류부를 나타내는 블록도이고, 도 8은 도 7의 이진영상 변환모듈을 설명하기 위한 예시도이고, 도 9는 도 8의 SVM 분류모듈에 적용되는 HOG 서술자를 나타내는 예시도이다.FIG. 7 is a block diagram showing a video object detection and classification unit of FIG. 4, FIG. 8 is an exemplary view for explaining the binary image transformation module of FIG. 7, and FIG. 9 is a diagram illustrating a HOG descriptor applied to the SVM classification module of FIG. Fig.
영상객체 검출 및 분류부(315)는 전처리부(314)로부터 모자이크 영상(440)이 입력되면 구동되며, 입력된 모자이크 영상(440)을 분석하여 영상 내 객체인 영상객체를 검출하며, 검출된 영상객체의 종류를 분류한다. The image object detection and
또한 영상객체 검출 및 분류부(315)는 도 7과 8에 도시된 바와 같이 입력된 모자이크 영상(440)에 대해 공지된 가우시안 혼합 모델을 이용하여 모자이크 영상(440)을 전경(451)의 이진 영상(450)으로 변환하는 이진영상 변환모듈(351)과, 이진영상 변환모듈(351)에 의해 변화된 이진 영상의 중간값 필터(median filter) 또는 모폴로지 연산으로 노이즈(잡음)를 제거하는 노이즈 제거모듈(353)과, 노이즈 제거모듈(353)에 의해 노이즈가 제거된 이진영상을 블롭 처리(blob processing) 하여 객체(451)를 추출하는 객체추출모듈(355)로 이루어진다. 7 and 8, the image object detection and
이때 본 발명에서는 설명의 편의를 위해 객체추출모듈(355)이 블록 처리 방식을 이용하는 것으로 예를 들어 설명하였으나, 객체추출방식은 이에 한정되지 않으며 전경 히스토그램을 이용한 방식 등과 같이 공지된 다양한 방식이 적용될 수 있음은 당연한다.In the present invention, the
또한 영상객체 검출 및 분류부(315)는 SVM 분류모듈(357)을 더 포함하고, SVM 분류모듈(357)은 차량, 보행자, 배경 등의 유형마다 각기 다른 HOG 서술자를 갖기 때문에 이러한 HOG 서술자의 패턴 차이를 RBF 커널을 사용한 비선형 SVM(Support Vector Machine) 분류기를 사용하여 객체를 검출함과 동시에 객체의 종류를 검출할 수 있게 된다. In addition, the video object detection and
이때 HOG 서술자는 도 9에 도시된 바와 같이 에지의 방향성분과 크기의 히스토그램을 통해 특징벡터를 검출하는 방법으로서, 사물인식이 뛰어나기 때문에 본 발명에서는 영상객체 검출 및 분류부(315)의 SVM 분류모듈(357)이 HOG서술자를 검출한 후 SVM(Support Vector Machine)을 사용하여 학습과정을 통해 량, 보행자, 차량색상들 중 적어도 하나 이상의 객체종류를 인식하는 과정을 갖게 된다.9, the HOG descriptor is a method for detecting a feature vector through a histogram of the direction component and size of an edge as shown in FIG. 9. Since the object recognition is excellent, the SVM classification of the video object detection and
이와 같이 영상객체 검출 및 분류부(315)는 보정영상으로부터 영상객체를 검출함과 동시에 영상객체의 종류정보를 검출하며, 검출된 영상객체정보 및 종류정보는 움직임추정 대상 리스트부(316)로 입력된다.In this way, the video object detection and
움직임추정 대상 리스트부(316)는 영상객체 검출 및 분류부(315)로부터 입력된 영상객체정보를 이전프레임의 영상객체정보와 비교하며, 이전프레임의 영상객체로부터 가장 가까운 위치에 있는 현재 프레임의 영상객체가 존재하면 이전프레임의 영상객체에 부여된 식별ID를 현재 프레임의 영상객체에 부여함으로써 움직임 추정 대상인 영상객체 리스트가 생성된다.The motion estimation
또한 움직임추정 대상 리스트부(316)에 의해 식별ID가 부여된 영상객체정보 및 객체종류 정보는 정합부(318)로 입력된다. The video object information and the object type information to which the identification ID is assigned by the motion estimation
레이더객체 특징 검출부(317)는 레이더검지기(35)에 의해 수집된 레이더신호가 입력되면 구동되며, 입력된 레이더신호를 분석하여 객체(레이더객체)를 검출함과 동시에 검출된 레이더객체에 식별ID를 부여한다. The radar object characteristic detecting
또한 레이더객체 특징 검출부(317)는 레이더신호를 분석하여 검출된 레이더객체의 위치, 속도, 앞차간 거리, 움직임(궤적) 등을 검출한다. 이때 레이더객체의 위치정보, 속도정보, 앞차간 거리, 움직임정보 등을 레이더객체 특징정보라고 하기로 한다.Also, the radar object
또한 레이더객체 특징 검출부(317)에 의해 검출된 레이더객체의 식별ID 정보 및 레이더객체 특징정보는 정합부(318)로 입력된다. The ID information of the radar object detected by the radar object
도 10은 도 4의 정합부를 나타내는 블록도이다. 10 is a block diagram showing the matching unit of Fig.
도 10의 정합부(318)는 영상객체정보 및 레이더객체정보의 시간을 동기화하는 시간동기화 모듈(381)과, 시간동기화 모듈(381)에 의해 시간 동기화된 보정영상의 영상좌표를 거리 좌표계로 변환하여 위치를 동기화하는 위치동기화 모듈(383)과, 영상객체정보 및 레이더객체정보를 정합하여 융복합객체정보를 생성하는 정합모듈(385)로 이루어진다. The
시간동기화 모듈(381)은 영상객체정보 및 레이더객체정보의 시간을 동기화한다. 이때 레이더 검지 데이터와 영상 데이터의 검지 속도는 초당 30 frames/sec 이상이기 때문에 각 프레임별 시간차는 적은 편이나, 어레이카메라(33)가 인코더를 사용하거나 RTSP로 동영상을 스트리밍하는 네트워크 카메라를 사용하는 경우 1초 내외의 시간차이(t)가 발생하게 된다. 이에 따라 레이더객체정보를 t만큼 버퍼링하여 영상객체정보에 대응하는 시간으로 동기화가 이루어지게 된다.The
위치동기화 모듈(383)은 시간동기화 모듈(381)에 의해 시간 동기화된 보정영상의 영상좌표를 거리 좌표계로 변환한다. 이때 레이더객체정보는 도플러 효과를 사용하여 거리 데이터가 정확하기 때문에 보정영상을 거리 좌표계로 변환하는 것이 정합에 수월하게 된다. The
정합모듈(385)은 동일한 프레임에서 영상객체의 위치 및 레이더객체의 위치를 대응시켜 ransac(random sample consensus) 알고리즘을 사용한 호모그래피 행렬(homography matrix)을 구한 후 이 행렬들 가운데 가장 적합도가 큰 행렬을 구하여 영상객체정보 및 레이더객체 정보를 정합한 융복합 객체정보를 검출할 수 있게 된다.The
영상객체 특징 검출부(319)는 정합부(318)에 의해 시간 및 위치 동기화된 영상객체정보를 분석하여 영상객체의 크기, 차선정보, 횡방향 속도정보 등의 영상객체 특징정보를 검출한다. 이때 영상객체 특징정보는 전술하였던 영상객체 검출 및 분류부(315)에 의해 검출된 객체종류 정보를 더 포함한다. The video object
움직임 추정부(320)는 정합부(318)에 의해 검출된 융복합 객체정보에 대한 연속 프레임을 이용하여 객체의 움직임을 추정하며, 만약 융복합 객체정보에 레이더객체정보가 정합되었을 때에는 레이더객체 특징정보의 움직임정보를 참 값으로 선택하며, 만약 융복합 객체정보에 레이더객체정보가 정합되지 않았을 때(영상검지만 이루어질 때)에는 다음의 움직임 정보를 참 값으로 선택한다.The
즉 움직임 추정부(320)는 영상검지만 이루어지는 경우 루카스 카나데 방식을 이용하여 연속프레임의 객체의 옵티컬 플로우(optical flow)를 계산한다. That is, the
옵티컬 플로우는 다음의 수학식 2에서와 같이 연속프레임의 이미지 와 에서 잔류 함수(residual function) 를 최소화하는 움직임 를 구하는 것이 목표이나, 특징 추적(feature tracking) 시 윈도우 크기인 에 따라 정확도와 강인성에 영향을 받는다. 이때 옵티컬 플로의 계산 시 윈도우 사이즈를 선택할 때 지역적 정확성 및 강인성은 상호 교환 및 희생관계이 있기 때문에 피라미드 형태의 루카스 카나데 옵티컬 플로우 계산을 반복적으로 구하면 충분한 지역의 추적 정확도를 제공받을 수 있게 된다.The optical flow is expressed by the following equation (2) Wow The residual function in Eq. Movement to minimize , But the size of the window at the time of feature tracking Are affected by accuracy and robustness. Since the local accuracy and robustness have mutual exchange and sacrifice relations in selecting the window size when calculating the optical flow, it is possible to obtain sufficient local tracking accuracy by repeatedly calculating the pyramid-shaped Lucas Canade optical flow calculation.
이때 는 잔류함수이고, 는 잔류함수 를 최소화하는 움직임이고, 와 는 연속프레임 상에서 객체의 위치이다.At this time Is a residual function, The residual function , ≪ / RTI > Wow Is the position of the object on consecutive frames.
칼만 필터링부(321)는 움직임 추정부(320)에 의해 검출된 각 객체에 대한 움직임 정보를 프레임단위로 칼만 필터 알고리즘을 수행하여 예측(prediction) 및 보정(update)을 수행함으로써 객체의 인식 및 동일화 과정의 정확도를 높일 수 있다. The
이때 칼만 필터링부(321)를 수행한 융복합 데이터와, 영상객체 특징정보, 레이더객체 특징정보를 교통정보라고 하기로 한다. In this case, the fusion complex data, the video object characteristic information, and the radar object characteristic information, which are performed by the
돌발상황 판단부(322)는 칼만 필터링부(321)를 수행한 융복합 데이터, 영상객체 특징정보 및 레이더객체 특징정보를 포함하는 교통정보를 분석하여 돌발상황을 판단한다. The unexpected
이때 돌발상황은 과속, 앞차간거리, 비상도로 주행, 불법주차, 과도한 정차 등과 같이 다양한 상황이 적용될 수 있으며, 돌발상황 판단부(322)는 교통정보를 통해 적용된 상황에 대응하는 연산을 처리하는 것으로 구성된다.The unexpected situation may be various situations such as speed, ahead distance, emergency road driving, illegal parking, excessive stop, etc., and the unexpected
또한 돌발상황 판단부(322)는 돌발상황이 발생되는 경우 돌발상황 대상객체를 추적한다. 이때 제어부(311)는 추적카메라(37)가 돌발상황 대상객체를 추적하여 촬영하도록 추적카메라(37)를 제어한다.Also, the unexpected
도 11은 도 4의 교통정보 사용자 인터페이스 관리부에 의해 생성되는 교통정보 사용자 인터페이스를 나타내는 예시도이고, 도 12는 돌발상황이 발생될 때 도 11의 교통정보 사용자 인터페이스를 나타내는 예시도이다.FIG. 11 is an exemplary view illustrating a traffic information user interface generated by the traffic information user interface management unit of FIG. 4, and FIG. 12 is an exemplary view illustrating the traffic information user interface of FIG. 11 when an unexpected situation occurs.
교통정보 사용자 인터페이스 관리부(323)는 보정영상, 추적영상, 교통정보를 기 설정된 그래픽 절차에 따라 전시되는 교통정보 사용자 인터페이스(500)를 생성하며, 접속된 클라이언트(8)로부터 열람을 요청받으면 해당 클라이언트(8)로 생성된 교통정보 사용자 인터페이스(500)를 전송한다. The traffic information user
교통정보 사용자 인터페이스(500)는 도 11과 12에 도시된 바와 같이 실제 도로 형상에 대응되는 가상맵(511)에, 교통정보를 매핑시켜 전시하는 가상맵 활성창(510)과, 모자이크 영상(440) 및 추적영상(521)을 전시하는 영상활성창(520)과, 기타정보가 전시되는 기타정보 전시창(540)으로 이루어진다.11 and 12, the traffic
기타정보 전시창(540)에는 레이더검지기(35), 어레이카메라(33) 및 추적카메라(37)의 동작상태정보와, 노면상태정보, 환경정보 등을 포함하는 기타정보가 전시된다.The other
가상맵 활성창(510)에는 가상맵(511)이 전시되고, 가상맵(511)은 실제 도로의 형상에 대응하여 기 제작된 도로이미지(512)와, 실제 도로를 주행하는 차량의 위치에 대응하여 도로이미지(512) 상에 전시되는 차량이미지(513)로 이루어진다. The
또한 가상맵(511)의 차량이미지(512)에는 해당 차량의 속도정보(514)가 표기된다. In addition,
또한 가상맵(511)은 교통정보, 상세하게로는 영상객체 특징정보의 차량크기정보에 대응하여 차량이미지(512)의 크기가 반영된다. In addition, the size of the
또한 가상맵(511)은 돌발상황이 발생되었을 때 돌발상황 대상객체(517)를 다른 차량이미지(512)와 다른 색상으로 표시한다. 이때 영상활성창(520)에는 추적카메라에 의해 촬영된 돌발상황 대상의 영상(522)이 전시된다. Also, the
1:교통관리 시스템 3:통합형 감지기
7:교통관제서버 8:클라이언트 9:데이터통신망
311:제어부 312:데이터베이스부 313:데이터송수신부
314:전처리부 315:영상객체 검출 및 분류부
316:움직임 추정대상 리스트부 317:레이더객체 특징 검출부
318:정합부 319:영상객체 특징 검출부
320:움직임 추정부 321:칼만 필터링부
322:돌발상황 판단부 323:교통정보 사용자 인터페이스 관리부1: Traffic management system 3: Integrated sensor
7: Traffic control server 8: Client 9: Data communication network
311: Control section 312: Database section 313: Data transmission /
314: preprocessing unit 315: video object detection and classification unit
316: Motion estimation target list unit 317: Radar object feature detection unit
318: Matching unit 319: Video object feature detecting unit
320: motion estimation unit 321: Kalman filtering unit
322: an abrupt situation determination unit 323: a traffic information user interface management unit
Claims (9)
상기 감지영역을 촬영하여 영상을 획득하고, 상기 감지영역을 분할하여 촬영하되 가장 인접한 영역을 촬영하는 카메라로 구성되는 어레이카메라들을 포함하는 촬영수단;
상기 레이더검지기에 의해 수집된 레이더신호를 분석하여 객체인 레이더객체를 검출하는 레이더객체 검출부와, 상기 촬영수단에 의해 획득된 영상을 분석하여 영상 내 객체인 영상객체를 검출하는 영상객체 검출부와, 상기 영상객체 및 상기 레이더객체를 좌표 및 시간 동기화하여 정합하는 정합부로 구성되는 컨트롤러를 포함하고,
상기 컨트롤러는 상기 어레이카메라들로부터 영상이 입력되면 상기 어레이카메라의 방사왜곡(radial distotion)을 보정하며, 각 채널의 영상을 원근투영변환하여 모자이크 영상을 획득하는 전처리부를 더 포함하고,
상기 영상객체 검출부는 상기 모자이크 영상에 대해 가우시안 혼합 모델을 이용하여 전경의 이진영상으로 변환하는 이진영상 변환모듈과, 상기 이진영상 변환모듈에 의해 변환된 이진영상의 중간값 필터 또는 모폴로지 연산으로 노이즈를 제거하는 노이즈 제거모듈과, 상기 노이즈 제거모듈에 의해 노이즈가 제거된 이진영상을 블롭 처리(blob processing) 하여 객체를 추출하는 객체추출모듈과, 상기 노이즈가 제거된 이진영상의 HOG 서술자를 검출한 후 RBF 커널을 사용한 비선형 SVM(Support Vector Machine) 분류기를 사용하여 학습과정을 통해 차량, 보행자, 차량색상들 중 적어도 하나 이상의 객체종류를 인식하는 SVM 분류모듈을 포함하는 것을 특징으로 하는 교통정보 관리장치.A radar detector for transmitting and receiving a radar to a predetermined sensing area S;
An array camera configured to capture an image of the sensing area to acquire an image, and to capture the sensing area and photograph the closest area;
A radar object detection unit for detecting a radar object that is an object by analyzing a radar signal collected by the radar detector; a video object detection unit for detecting a video object that is an object in the image by analyzing the image acquired by the photographing unit; And a matching unit for matching the video object and the radar object by coordinate and time synchronization,
The controller further includes a preprocessor for correcting radial distor- tion of the array camera when an image is input from the array cameras and acquiring a mosaic image by subjecting the image of each channel to perspective projection transformation,
The image object detection unit may include a binary image transformation module for transforming the mosaic image into a binary image of a foreground using a Gaussian mixture model and a binaural image filter or morphology operation transformed by the binary image transformation module to remove noise An object extraction module for extracting an object by blob processing the binary image from which the noise is removed by the noise removal module; and a RBF kernel detecting module for detecting the HOG descriptor of the noise- And a SVM classification module for recognizing at least one object type among a vehicle, a pedestrian, and a vehicle color through a learning process using a nonlinear SVM (Support Vector Machine) classifier using the SVM.
상기 영상객체 특징정보는 상기 영상객체 특징정보 및 상기 레이더객체 특징정보를 상기 융복합 객체정보에 매칭시켜 교통정보를 생성하는 것을 특징으로 하는 교통정보 관리장치.[Claim 4] The method of claim 2, wherein the controller comprises: a video object feature information detector for detecting video object feature information that is related to the video object; and a radar object feature detector for detecting radar object feature information, Further comprising an information detecting unit,
Wherein the video object feature information generates traffic information by matching the video object feature information and the radar object feature information with the fused composite object information.
상기 영상객체 특징정보 검출부는 상기 영상객체의 크기정보를 포함하는 영상객체 특징정보를 검출하고,
상기 교통정보 사용자 인터페이스는 실제 도로 형상에 대응되는 가상맵에, 교통정보를 매핑시켜 전시하는 가상맵 활성창과, 영상이 전시되는 영상활성창을 포함하고, 상기 가상맵은 실제 도로의 형상에 대응하여 기 제작된 도로이미지와, 융복합 객체의 위치에 대응하여 상기 도로이미지 상에 전시되는 차량이미지가 전시되되 상기 차량이미지는 상기 영상객체 특징정보의 크기정보에 대응하여 이미지의 크기가 설정되는 것을 특징으로 하는 교통정보 관리장치.The method of claim 3, wherein the controller further comprises an interface management unit for generating a traffic information user interface, which is a graphical user interface in which the traffic information is displayed according to a predetermined graphical procedure,
The video object characteristic information detection unit detects video object characteristic information including size information of the video object,
Wherein the traffic information user interface includes a virtual map active window for displaying traffic information mapped to a virtual road map corresponding to an actual road shape and an image active window for displaying the image, A vehicle image displayed on the road image corresponding to the position of the fusion composite object is displayed and the size of the image is set in correspondence with the size information of the video object feature information The traffic information management apparatus comprising:
상기 움직임 추정부는
상기 융복합 객체정보에 레이더객체정보가 포함될 때 상기 레이더객체 특징정보에 포함된 속도정보를 움직임 추정값으로 결정하고, 상기 융복합 객체정보에 레이더객체정보가 포함되지 않을 때 상기 영상객체정보에 대한 연속프레임의 객체에 루카스 카나데 방식을 이용하여 연속프레임의 옵티컬 플로우(optical flow)를 반복적으로 산출하여 산출된 옵티컬 플로우를 움직임 추정값을 결정하고,
상기 교통정보는 상기 움직임 추정값을 포함하고, 상기 교통정보 사용자 인터페이스의 상기 가상맵의 상기 차량이미지는 상기 움직임 추정값에 따라 이동하는 것을 특징으로 하는 교통정보 관리장치.5. The apparatus of claim 4, wherein the controller further comprises a motion estimator,
The motion estimator
Determining velocity information included in the radar object feature information as a motion estimation value when the composite compound object information includes radar object information, and determining, when the radar object information is not included in the composite composite object information, An optical flow of a continuous frame is repeatedly calculated for a frame object using a Lucas Canade system, the calculated optical flow is determined as a motion estimation value,
Wherein the traffic information includes the motion estimation value and the vehicle image of the virtual map of the traffic information user interface moves according to the motion estimation value.
상기 컨트롤러는 상기 교통정보를 기 설정된 한계치에 비교하여 돌발상황 발생여부를 판단하는 돌발상황 판단부를 더 포함하는 것을 특징으로 하는 교통정보 관리장치.The traffic information management apparatus of claim 5, wherein the traffic information management apparatus further comprises a tracking camera that tracks a target object, which is a cause of an unexpected situation when an unexpected situation occurs,
Wherein the controller further comprises an unexpected situation determiner for comparing the traffic information with predetermined threshold values to determine whether an unexpected situation has occurred.
돌발상황 발생 시 상기 추적카메라에 의해 획득된 영상이 상기 영상활성창에 전시되며, 상기 가상맵에는 돌발상황 원인객체를 상기 차량이미지들과 다른 색상으로 전시하는 것을 특징으로 하는 교통정보 관리장치.The method of claim 6, wherein the traffic information user interface
Wherein the image captured by the tracking camera is displayed on the image active window when an unexpected event occurs and the object causing the unexpected event is displayed in a color different from the vehicle images.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020140166072A KR101647370B1 (en) | 2014-11-26 | 2014-11-26 | road traffic information management system for g using camera and radar |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020140166072A KR101647370B1 (en) | 2014-11-26 | 2014-11-26 | road traffic information management system for g using camera and radar |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20160062880A KR20160062880A (en) | 2016-06-03 |
KR101647370B1 true KR101647370B1 (en) | 2016-08-10 |
Family
ID=56192178
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020140166072A KR101647370B1 (en) | 2014-11-26 | 2014-11-26 | road traffic information management system for g using camera and radar |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR101647370B1 (en) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109886126A (en) * | 2019-01-23 | 2019-06-14 | 长安大学 | A kind of region traffic density estimation method based on dynamic sampling mechanism and RBF neural |
KR102001594B1 (en) * | 2018-10-11 | 2019-07-17 | (주)와이즈콘 | Radar-camera fusion disaster tracking system and method for scanning invisible space |
CN111060101A (en) * | 2018-10-16 | 2020-04-24 | 深圳市优必选科技有限公司 | Vision-assisted distance SLAM method and device and robot |
KR102104351B1 (en) | 2019-11-20 | 2020-05-29 | 주식회사 플랜비 | Cctv camera for detecting moving object using radar module and cctv system including thereof |
KR102118581B1 (en) | 2019-11-20 | 2020-06-03 | 주식회사 플랜비 | Image processing method of cctv camera with radar module and image processing method of cctv system including thereof |
Families Citing this family (23)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102071720B1 (en) * | 2017-02-22 | 2020-01-30 | 한국전자통신연구원 | Method for matching radar target list and target of vision image |
CN109034171B (en) * | 2018-07-24 | 2022-10-04 | 北京易泊时代科技有限公司 | Method and device for detecting unlicensed vehicles in video stream |
CN109754599B (en) * | 2018-12-19 | 2022-01-04 | 南京莱斯信息技术股份有限公司 | Crossing traffic state identification method based on space-time analysis |
KR102177268B1 (en) * | 2018-12-20 | 2020-11-10 | 한국전자기술연구원 | Road Object Map Generation Method using Road Radar Information Generated by V2X Base Station |
CN109637135A (en) * | 2018-12-29 | 2019-04-16 | 江苏工程职业技术学院 | A kind of circumstance video monitoring early warning system based on computer network |
CN109559528B (en) * | 2019-01-18 | 2023-03-21 | 吉林大学 | Self-perception interactive traffic signal control device based on 3D laser radar |
CN110444026B (en) * | 2019-08-06 | 2021-07-09 | 北京万集科技股份有限公司 | Triggering snapshot method and system for vehicle |
KR102118125B1 (en) * | 2020-01-15 | 2020-06-09 | 주식회사 사라다 | Apparatus and method for monitoring images using rader and camera |
KR102125955B1 (en) * | 2020-01-31 | 2020-06-23 | 주식회사 사라다 | Apparatus and method for controling monitoring area using cameras and lasers |
US11030893B1 (en) * | 2020-06-05 | 2021-06-08 | Samuel Messinger | System for reducing speed of a vehicle and method thereof |
CN112116031B (en) * | 2020-10-29 | 2024-02-09 | 重庆长安汽车股份有限公司 | Target fusion method, system, vehicle and storage medium based on road side equipment |
KR102380599B1 (en) * | 2021-04-14 | 2022-04-01 | 렉스젠(주) | System for analyzing traffic information, and method thereof |
KR102502300B1 (en) * | 2021-04-26 | 2023-02-23 | 주식회사 파로스 | Fusion method and system using radar and camera |
KR102364331B1 (en) * | 2021-05-20 | 2022-02-18 | 양국승 | Method and device for estimating user's location using personal mobility |
CN113361477A (en) * | 2021-07-02 | 2021-09-07 | 江西理工大学 | Unmanned aerial vehicle identification method and system |
CN113793508B (en) * | 2021-09-27 | 2023-06-16 | 深圳市芊熠智能硬件有限公司 | Anti-interference rapid detection method for entrance and exit unlicensed vehicle |
CN114622469A (en) * | 2022-01-28 | 2022-06-14 | 南通威而多专用汽车制造有限公司 | Automatic old wire laying control system and control method thereof |
KR102583171B1 (en) * | 2022-06-30 | 2023-09-27 | 웨이즈원 주식회사 | Apparatus and method for predicting dangerous situation for pedestrian |
KR102472075B1 (en) * | 2022-07-14 | 2022-11-30 | 주식회사 비츠에스앤지 | System and method for supporting automatic detection service based on real-time road image and radar signal analysis results |
CN116504070B (en) * | 2023-06-27 | 2023-09-05 | 苏州旭安交通科技有限公司 | Traffic accident early warning method and system combining road characteristics |
KR102617591B1 (en) * | 2023-07-10 | 2023-12-27 | 메타빌드 주식회사 | Smart object information matching system and method using artificial intelligence based image sensor and radar sensor |
KR102606724B1 (en) * | 2023-08-08 | 2023-11-29 | 주식회사 아이티아이비전 | Integrated unmanned traffic control system for cracking down on stable speed maintenance violations in protected areas using radar and camera |
KR102660024B1 (en) * | 2023-08-09 | 2024-04-23 | 뱀부스 주식회사 | Method for detection road event and apparatus for the same |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003157487A (en) * | 2001-11-22 | 2003-05-30 | Mitsubishi Electric Corp | Traffic state monitoring device |
KR101125233B1 (en) | 2010-11-25 | 2012-03-21 | 재단법인대구경북과학기술원 | Fusion technology-based security method and security system thereof |
KR101287190B1 (en) * | 2012-06-04 | 2013-07-17 | 주식회사 로드코리아 | Photographing position automatic tracking method of video monitoring apparatus |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101446545B1 (en) * | 2013-03-13 | 2014-10-06 | 휴앤에스(주) | Display system of vehicle information based on location in cross-road |
-
2014
- 2014-11-26 KR KR1020140166072A patent/KR101647370B1/en active IP Right Grant
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003157487A (en) * | 2001-11-22 | 2003-05-30 | Mitsubishi Electric Corp | Traffic state monitoring device |
KR101125233B1 (en) | 2010-11-25 | 2012-03-21 | 재단법인대구경북과학기술원 | Fusion technology-based security method and security system thereof |
KR101287190B1 (en) * | 2012-06-04 | 2013-07-17 | 주식회사 로드코리아 | Photographing position automatic tracking method of video monitoring apparatus |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102001594B1 (en) * | 2018-10-11 | 2019-07-17 | (주)와이즈콘 | Radar-camera fusion disaster tracking system and method for scanning invisible space |
CN111060101A (en) * | 2018-10-16 | 2020-04-24 | 深圳市优必选科技有限公司 | Vision-assisted distance SLAM method and device and robot |
CN111060101B (en) * | 2018-10-16 | 2022-06-28 | 深圳市优必选科技有限公司 | Vision-assisted distance SLAM method and device and robot |
CN109886126A (en) * | 2019-01-23 | 2019-06-14 | 长安大学 | A kind of region traffic density estimation method based on dynamic sampling mechanism and RBF neural |
KR102104351B1 (en) | 2019-11-20 | 2020-05-29 | 주식회사 플랜비 | Cctv camera for detecting moving object using radar module and cctv system including thereof |
KR102118581B1 (en) | 2019-11-20 | 2020-06-03 | 주식회사 플랜비 | Image processing method of cctv camera with radar module and image processing method of cctv system including thereof |
Also Published As
Publication number | Publication date |
---|---|
KR20160062880A (en) | 2016-06-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101647370B1 (en) | road traffic information management system for g using camera and radar | |
US9846812B2 (en) | Image recognition system for a vehicle and corresponding method | |
JP5297078B2 (en) | Method for detecting moving object in blind spot of vehicle, and blind spot detection device | |
US10970871B2 (en) | Estimating two-dimensional object bounding box information based on bird's-eye view point cloud | |
EP1796043B1 (en) | Object detection | |
JP4612635B2 (en) | Moving object detection using computer vision adaptable to low illumination depth | |
JP3822515B2 (en) | Obstacle detection device and method | |
JP5663352B2 (en) | Image processing apparatus, image processing method, and image processing program | |
US20160232410A1 (en) | Vehicle speed detection | |
KR101569919B1 (en) | Apparatus and method for estimating the location of the vehicle | |
KR101326943B1 (en) | Overtaking vehicle warning system and overtaking vehicle warning method | |
CN104378582A (en) | Intelligent video analysis system and method based on PTZ video camera cruising | |
JP2006268345A (en) | Image processing device and image processing method | |
JP2021510227A (en) | Multispectral system for providing pre-collision alerts | |
CN103366155B (en) | Temporal coherence in unobstructed pathways detection | |
WO2020154990A1 (en) | Target object motion state detection method and device, and storage medium | |
WO2012001709A2 (en) | Automatic detection of moving object by using stereo vision technique | |
EP3115966B1 (en) | Object detection device, object detection method, and computer program | |
KR101264282B1 (en) | detection method vehicle in road using Region of Interest | |
Baris et al. | Classification and tracking of traffic scene objects with hybrid camera systems | |
KR20190134303A (en) | Apparatus and method for image recognition | |
JP2013069045A (en) | Image recognition device, image recognition method, and image recognition program | |
Nambi et al. | FarSight: a smartphone-based vehicle ranging system | |
KR101161557B1 (en) | The apparatus and method of moving object tracking with shadow removal moudule in camera position and time | |
Al-Refai et al. | A framework for background modeling using vehicle-to-infrastructure communication for improved candidate generation in pedestrian detection |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant |