KR20210080865A

KR20210080865A - Traffic accident prevention safety system

Info

Publication number: KR20210080865A
Application number: KR1020190172897A
Authority: KR
Inventors: 신수용; 이상훈; 한승헌; 라힘 타릭
Original assignee: 금오공과대학교 산학협력단
Priority date: 2019-12-23
Filing date: 2019-12-23
Publication date: 2021-07-01

Abstract

The present invention relates to a traffic accident prevention safety system. More particularly, the present invention is to recognize objects based on machine learning algorithms from images of a lane and a pedestrian photographed with a black box placed in a vehicle, and provide information to a driver by determining a distance between the lane and the pedestrian. The system can prevent traffic accidents in advance by recognizing objects based on machine learning algorithms, determining the distance between the lane and the pedestrian, and alerting the driver. By applying a situation recognition algorithm using the recognized information to analyze the lane of the vehicle being driven and the location of the pedestrian, the accident occurrence situation can be predicted and the alertness of the driver can be raised, so as to prevent traffic accidents in advance.

Description

Traffic accident prevention safety system

본 발명은 교통사고 예방 안전 시스템에 관한 것으로, 보다 상세하게는 차선및 보행자 통합 인식정보를 머신러닝 알고리즘을 통해 보행자가 차로에 진입하는 것을 운전자에게 신속히 알려주어 교통사고 발생을 미연에 방지하기 위한 교통사고 예방 안전 시스템에 관한 것이다.The present invention relates to a traffic accident prevention safety system, and more specifically, traffic accident prevention by promptly notifying a driver that a pedestrian enters a lane through a machine learning algorithm with integrated lane and pedestrian recognition information. It is about an accident prevention safety system.

일반적으로 교통에서 교통 흐름과 돌발 상황이란 도로상에서 발생되는 비반복적이고 예측 불가능한 일련의 사건으로, 예를 들어, 차량의 지정체, 교통 사고, 도로 공사, 차량의 고장 등으로 인한 차로의 차단, 도로상의 장애물 존재, 도로의 유지 보수 작업, 기타 비일상적인 사건 등이 포함된다. 돌발 상황이 발생하게 되면, 교통류의 정상 흐름이 와해되고, 도로의 용량은 감소하게 되며, 교통 혼잡과 대기 오염 등 막대한 사회적, 경제적인 손실을 초래하게 된다. 그러므로 예측 불가능한 돌발 상황에 대해 효과적인 대응을 하기 위해서는 보다 신속하고 정확한 돌발 상황의 검지가 요구되고 있는 실정이다.In general, traffic flow and abrupt situations in traffic are a series of non-repetitive and unpredictable events that occur on the road, for example, blocking of lanes due to vehicle designation, traffic accidents, road construction, vehicle breakdown, etc. These include the presence of obstacles, maintenance work on roads, and other unusual events. When a sudden situation occurs, the normal flow of traffic is disrupted, the capacity of the road is reduced, and enormous social and economic losses such as traffic congestion and air pollution are caused. Therefore, in order to effectively respond to unpredictable unexpected situations, more rapid and accurate detection of unexpected situations is required.

종래에는 촬영된 영상을 기반으로 한 IMU(Inertial Measurement Unit), Lidar, ADAS(Advanced Driver Assistance System)인 영상기반 인식기술이 활용되었지만 고가이고 설치 및 주변환경에 영향을 많이 받아 실제 사용하는데 한계가 있었으며, 사고방지용으로 사용하는 ADAS의 경우 50 ~ 60 Km 이상의 속도가 감지되면 동작하고 저속운행에는 한계점이 있으며 오판단이 많아 운전자 입장에서 사고발생시 도움이 안는 문제점이 있었다.Conventionally, image-based recognition technology, which is an Inertial Measurement Unit (IMU), Lidar, and ADAS (Advanced Driver Assistance System) based on the captured image, has been used, but it is expensive and has limitations in actual use due to its high installation and surrounding environment. However, in the case of ADAS, which is used for accident prevention, it operates when a speed of 50 ~ 60 km or more is detected, and there is a limit to low-speed operation.

즉, 차선, 보행자 등을 인식하기 위해서 기존에는 이미지 처리 방식이 사용되었으나 알고리즘이 복잡하고 정확도가 떨어지는 문제점이 있었으며, 머신러닝을 활용한 영상기반 인식을 위해서는 목적에 맞는 알고리즘을 설계, 학습, 테스트 등의 반복 작업이 필요하였다.In other words, image processing methods were used in the past to recognize lanes and pedestrians, but the algorithm was complicated and had poor accuracy. For image-based recognition using machine learning, an algorithm suitable for the purpose was designed, learned, tested, etc. repeated work was required.

또한, 사용자에게 사고예방 경고 및 알람을 위해서는 인식된 정보(차선, 보행자, 버스와 보행자 간 거리 등)를 사용하여 사고 상황 인식 알고리즘 개발이 요구되고 있는 실정이다.In addition, there is a need to develop an accident situation recognition algorithm using recognized information (lanes, pedestrians, distances between bus and pedestrians, etc.) for accident prevention warnings and alarms to users.

대한민국 공개특허공보 제10-2019-0127303호Republic of Korea Patent Publication No. 10-2019-0127303

본 발명은 상기와 같은 문제점을 감안하여 안출된 것으로, 본 발명의 목적은, 머신러닝 알고리즘을 기초로 객체를 인식하여 차선과 보행자 간의 거리를 판단하여 운전자에게 경보를 함으로써 교통사고를 미연에 방지하기 위한 교통사고 예방 안전 시스템을 제공하는데 있다.The present invention has been devised in view of the above problems, and an object of the present invention is to prevent a traffic accident in advance by recognizing an object based on a machine learning algorithm, determining the distance between a lane and a pedestrian, and alerting the driver. To provide a traffic accident prevention safety system for

본 발명의 다른 목적은, 인식된 정보를 이용한 상황 인식 알고리즘을 적용하여 주행중인 차량의 차선 및 보행자의 위치 등을 분석함으로써 사고발생 상황을 예측하고 운전자의 경각심을 불러올 수 있어 교통사고를 미연에 방지하기 위한 교통사고 예방 안전 시스템을 제공하는데 있다.Another object of the present invention is to predict the accident situation by applying a situation recognition algorithm using the recognized information to analyze the lane of the vehicle and the position of the pedestrian, etc. To provide a safety system for preventing traffic accidents.

본 발명의 실시예들의 목적은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.The purpose of the embodiments of the present invention is not limited to the above-mentioned purpose, and other objects not mentioned will be clearly understood by those of ordinary skill in the art to which the present invention belongs from the description below. .

상기한 바와 같은 목적을 달성하기 위한 특징에 따르면, 차량에 배치된 블랙박스로 촬영된 차선의 영상 및 보행자 영상으로부터 머신러닝 알고리즘을 기초로 객체를 인식하고, 차선과 보행자 간의 거리를 판단하여 운전자에게 정보를 제공하는 것을 특징으로 한다.According to the feature for achieving the above object, it recognizes an object based on a machine learning algorithm from an image of a lane and a pedestrian image taken with a black box placed in a vehicle, and determines the distance between the lane and the pedestrian to give the driver It is characterized by providing information.

또한, 상기 블랙박스와 연동되어 차선을 촬영하고, 차선의 영상을 획득하는 제1카메라와, 상기 제1카메라로부터 획득된 차선의 영상을 제공받아 영상으로부터 차선의 객체를 인식하는 차선 인식부;In addition, there is provided a first camera for photographing a lane in conjunction with the black box and acquiring an image of the lane, and a lane recognition unit receiving the image of the lane obtained from the first camera and recognizing an object of the lane from the image;

차량의 일측에 보행자를 촬영하고, 보행자의 영상을 획득하는 제2카메라와, 상기 제2카메라로부터 획득된 보행자의 영상을 제공받아 영상으로부터 보행자의 객체를 인식하는 보행자 인식부;A second camera for photographing a pedestrian on one side of the vehicle and acquiring an image of the pedestrian, and a pedestrian recognition unit receiving the image of the pedestrian obtained from the second camera and recognizing the object of the pedestrian from the image;

상기 차선 인식부와 보행자 인식부로부터 객체 인식 여부 판단에 의해 객체가 인식되면, 객체 인식정보를 전송받는 통신부;a communication unit that receives object recognition information when an object is recognized by the lane recognition unit and the pedestrian recognition unit by determining whether to recognize the object;

상기 통신부에서 상기 객체 인식정보에 포함된 보행자 특징값을 전송받아 차량과 보행자 간의 거리를 판단하는 거리측정부;a distance measuring unit for receiving a pedestrian feature value included in the object recognition information from the communication unit and determining a distance between the vehicle and the pedestrian;

상기 통신부와 거리측정부로 부터 요청된 객체 인식정보와 차선에 진입된 보행자와의 거리 정보를 분석하고 판단하는 제어부;a controller for analyzing and determining the object recognition information requested from the communication unit and the distance measuring unit and the distance information between the pedestrian and the pedestrian entering the lane;

상기 제어부의 요청을 받아 디스플레이에 경보 출력을 제공하는 경보부;an alarm unit for receiving a request from the control unit and providing an alarm output to a display;

를 더 포함하는 것을 특징으로 한다.It is characterized in that it further comprises.

또한, 상기 차선 인식부는 CNN(Convolutional Neural Network) 방식을 적용하는 것을 특징으로 한다.In addition, the lane recognition unit is characterized in that applying a CNN (Convolutional Neural Network) method.

또한, 상기 보행자 인식부는 R-CNN(Regional Convolutional Neural Network) 방식을 적용하는 것을 특징으로 한다.In addition, the pedestrian recognition unit is characterized in that the R-CNN (Regional Convolutional Neural Network) method is applied.

또한, 상기 제2카메라는 360°로 회전되어 차량의 주변의 객체가 인식되면, 객체 인식정보를 상기 통신부에 전송하는 것을 특징으로 한다.In addition, when the second camera is rotated 360° and an object around the vehicle is recognized, it is characterized in that it transmits object recognition information to the communication unit.

또한, 상기 제1, 2카메라는 열화상 카메라인 것을 특징으로 한다.In addition, the first and second cameras are characterized in that the thermal imaging camera.

본 발명에 따른 교통사고 예방 안전 시스템에 따르면, 머신러닝 알고리즘을 기초로 객체를 인식하여 차선과 보행자 간의 거리를 판단하여 운전자에게 경보를 함으로써 교통사고를 미연에 방지하는 효과가 있다.According to the traffic accident prevention safety system according to the present invention, there is an effect of preventing a traffic accident in advance by recognizing an object based on a machine learning algorithm, determining the distance between a lane and a pedestrian, and alerting the driver.

또한, 인식된 정보를 이용한 상황 인식 알고리즘을 적용하여 주행중인 차량의 차선 및 보행자의 위치 등을 분석함으로써 사고발생 상황을 예측하고 운전자의 경각심을 불러올 수 있어 교통사고를 미연에 방지하는 효과가 있다.In addition, by applying a situation recognition algorithm using the recognized information to analyze the lane of the vehicle being driven and the location of pedestrians, the accident situation can be predicted and the driver's alertness can be called, thereby preventing traffic accidents in advance.

도 1은 본 발명의 일 실시예에 따른 교통사고 예방 안전 시스템의 구성을 나타낸 블록도,
도 2는 본 발명의 일 실시예에 따른 교통사고 예방 안전 시스템의 차선 인식부를 도시한 전개도.1 is a block diagram showing the configuration of a traffic accident prevention safety system according to an embodiment of the present invention;
Figure 2 is an exploded view showing a lane recognition unit of the traffic accident prevention safety system according to an embodiment of the present invention.

이하의 본 발명의 목적들, 다른 목적들, 특징들 및 이점들은 첨부된 도면과 관련된 이하의 바람직한 실시예들을 통해서 쉽게 이해될 것이다. 그러나 본 발명은 여기서 설명되는 실시예들에 한정되지 않고 다른 형태로 구체화될 수도 있다.The following objects, other objects, features and advantages of the present invention will be readily understood through the following preferred embodiments in conjunction with the accompanying drawings. However, the present invention is not limited to the embodiments described herein and may be embodied in other forms.

오히려, 여기서 소개되는 실시예들은 개시된 내용이 철저하고 완전해질 수 있도록 그리고 당업자에게 본 발명의 사상이 충분히 전달될 수 있도록 하기 위해 제공되는 것이다.Rather, the embodiments introduced herein are provided so that the disclosed subject matter may be thorough and complete, and that the spirit of the present invention may be sufficiently conveyed to those skilled in the art.

여기에 설명되고 예시되는 실시예들은 그것의 상보적인 실시예들도 포함한다.The embodiments described and illustrated herein also include complementary embodiments thereof.

본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 '포함한다(comprise)' 및/또는 '포함하는(comprising)'은 언급된 구성요소는 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다.As used herein, the singular also includes the plural unless specifically stated otherwise in the phrase. As used herein, the terms 'comprise' and/or 'comprising' do not exclude the presence or addition of one or more other components.

이하, 도면을 참조하여 본 발명을 상세히 설명하도록 한다. 아래의 특정 실시예들을 기술하는데 있어서, 여러가지의 특정적인 내용들은 발명을 더 구체적으로 설명하고 이해를 돕기 위해 작성되었다. 하지만 본 발명을 이해할 수 있을 정도로 이 분야의 지식을 갖고 있는 독자는 이러한 여러 가지의 특정적인 내용들이 없어도 사용될수 있다는 것을 인지할 수 있다. 어떤 경우에는, 발명을 기술하는 데 있어서 흔히 알려졌으면서 발명과 크게 관련없는 부분들은 본 발명을 설명하는 데 있어 혼돈을 막기 위해 기술하지 않음을 미리 언급해 둔다.Hereinafter, the present invention will be described in detail with reference to the drawings. In describing the specific embodiments below, various specific contents have been prepared to more specifically explain and help the understanding of the invention. However, a reader having enough knowledge in this field to understand the present invention can recognize that it can be used without these various specific details. In some cases, it is mentioned in advance that parts that are commonly known and not largely related to the invention in describing the invention are not described in order to avoid confusion in describing the invention.

도 1은 본 발명의 일 실시예에 따른 교통사고 예방 안전 시스템의 구성을 나타낸 블록도이고, 도 2는 본 발명의 일 실시예에 따른 교통사고 예방 안전 시스템의 차선 인식부를 도시한 전개도이다.1 is a block diagram illustrating the configuration of a traffic accident prevention safety system according to an embodiment of the present invention, and FIG. 2 is an exploded view illustrating a lane recognition unit of the traffic accident prevention safety system according to an embodiment of the present invention.

도 1 내지 도 2에 도시된 바와 같이, 본 발명의 교통사고 예방 안전 시스템은, 차량에 배치된 블랙박스로 촬영된 차선의 영상 및 보행자 영상으로부터 머신러닝 알고리즘을 기초로 객체를 인식하고, 차선과 보행자 간의 거리를 판단하여 운전자에게 정보를 제공할 수 있다.1 to 2, the traffic accident prevention safety system of the present invention recognizes an object based on a machine learning algorithm from an image of a lane and a pedestrian image taken with a black box disposed in a vehicle, and It is possible to provide information to the driver by determining the distance between pedestrians.

이를 위해 본 발명인 교통사고 예방 안전 시스템은, 크게 차선 인식부(100), 보행자인식부(200), 통신부(300), 거리측정부(400), 제어부(500), 경보부(600)를 포함하는 구성이다.To this end, the present inventor's traffic accident prevention safety system largely includes a lane recognition unit 100, a pedestrian recognition unit 200, a communication unit 300, a distance measurement unit 400, a control unit 500, and an alarm unit 600. is the composition

차선 인식부(100)는 상기 블랙박스와 연동되어 차선을 촬영하고, 차선의 영상을 획득하는 제1카메라(110)를 포함하며, 상기 제1카메라(110)는 야간 촬영을 위해 적외선 카메라가 될 수 있으며, 보행자를 감지하기 위하여 열화상 카메라일 수 일수도 있다.The lane recognition unit 100 includes a first camera 110 for photographing a lane by interworking with the black box and acquiring an image of the lane, and the first camera 110 is an infrared camera for night photography. It may also be a thermal imaging camera to detect pedestrians.

예컨데, 상기 제1카메라(110)는 RGB-D를 사용함으로써 카메라에서 특정 객체까지의 거리의 정확도를 높일 수 있다.For example, the first camera 110 may increase the accuracy of the distance from the camera to a specific object by using RGB-D.

이러한 차선 인식부(100)는 상기 제1카메라(110)로부터 획득된 차선의 영상을 제공받아 영상으로부터 차선의 객체를 인식할 수 있다.The lane recognition unit 100 may receive the image of the lane obtained from the first camera 110 and recognize the object of the lane from the image.

여기서 상기 차선 인식부(100)에 추출되는 객체는 중앙선, 횡단보도, 주차선, 실선, 점선 등이 된다.Here, the object extracted by the lane recognition unit 100 is a center line, a crosswalk, a parking line, a solid line, a dotted line, and the like.

상기 차선 인식부(100)는 예컨대 영상의 특정 객체를 중앙선, 횡단보도, 주차선, 실선, 점선 등의 특징값으로 구분하고, 이 특징값을 추출하여 분석함으로써, 객체 여부를 인식할 수 있다.The lane recognition unit 100, for example, classifies a specific object of the image into characteristic values such as a center line, a crosswalk, a parking line, a solid line, and a dotted line, and extracts and analyzes the characteristic value to recognize whether an object is an object.

또한, 다른 객체 인식 방법으로 배경영상을 미리 저장하고, 배경영상과 실시간 획득되는 차도 영상의 프레임 비교에 의해 영상 간 차이에 의해 객체를 인식할 수도 있다.In addition, the background image may be stored in advance by another object recognition method, and the object may be recognized by the difference between the images by comparing the frame between the background image and the real-time obtained roadway image.

또한 차선 인식부(100)는 객체인식 알고리즘으로 라플라시안(Laplacian) 에지 검출 알고리즘 캐니(Canny) 에지 검출 알고리즘, 라인(Line) 에지 검출 알고리즘 등과 같은 에지 검출 알고리즘을 이용하여 영상 내 경계선을 검출하고 차선 객체를 추출할 수 있다.In addition, the lane recognition unit 100 detects a boundary line in the image by using an edge detection algorithm such as a Laplacian edge detection algorithm, a Canny edge detection algorithm, a Line edge detection algorithm, etc. as an object recognition algorithm, and detects a lane line object can be extracted.

이렇게 인식된 차선의 객체는 Inverse perspective mapping (IPM) 이미지 확보를 위해 전처리를 수행하게 된다.The recognized suboptimal object is pre-processed to obtain an inverse perspective mapping (IPM) image.

전처리는 차선의 객체 이미지를 선명하기 위하여 노이즈를 제거하게 되고, 차선의 객체 이미지 계산 영역을 줄이기 위해 non-region of interest (NROI) 영역을 제거와 동시에, 차선의 객체 이미지를 균일하게 만들기 위한 이미지의 크기를 조정할 수 있다.The preprocessing removes noise to sharpen the next best object image, removes the non-region of interest (NROI) area to reduce the next best object image calculation area, and at the same time removes the image to make the next best object image uniform. You can resize it.

또한, 차선 탐지를 위한 머신러닝 학습 및 테스트용 레이블링 수행하게 되는데, 차선의 시작점으로 부터 마지막 차선까지 탐지 할 수 있는 학습 시스템을 구축할 수 있고, 차선을 구분하기 위해 Binary segmentation을 사용하며, 색상, 너비, 허브변환(Hough transform) 출력과 같은 관심영역을 딥러닝 네트워크의 입력으로 사용하여 총 차선 수를 감지하고 이 정보를 바탕으로 현채 주행 차량의 위치를 찾기 위한 간단한 규칙을 설계할 수 도 있다.In addition, machine learning learning for lane detection and labeling for testing will be performed. A learning system that can detect from the starting point of a lane to the last lane can be built, and binary segmentation is used to classify lanes, color, Using regions of interest, such as width and Hough transform output, as inputs to a deep learning network, it is also possible to design a simple rule to detect the total number of lanes and find the location of the currently driving vehicle based on this information.

아울러, 상기 차선 인식부(100)는 CNN(Convolutional Neural Network) 방식이 적용될 수 있는데, 상기 CNN(Convolutional Neural Network)은 사람이 물체를 인식할 때 물체의 기본적인 특징들을 추출한 다음 뇌 속에서 복잡한 계산을 거쳐 그 결과를 기반으로 물체를 인식한다는 가정을 기반으로 만들어진 사람의 뇌 기능을 모사한 모델이다.In addition, the lane recognition unit 100 can be applied to a Convolutional Neural Network (CNN) method. The CNN (Convolutional Neural Network) extracts basic features of an object when a person recognizes an object, and then performs complex calculations in the brain. It is a model that simulates the brain function of a person created based on the assumption that objects are recognized based on the results.

CNN에서는 기본적으로 컨볼루션(convolution) 연산을 통해 영상의 특징을 추출하기 위한 다양한 필터와 비선형적인 특성을 더하기 위한 풀링(pooling) 또는 비선형 활성화(non-linear activation) 함수 등이 함께 사용되며, 모델이 클수록 객체 인식의 정확도가 커지는 장점이 있다.In CNN, various filters for extracting image features through convolution operation and pooling or non-linear activation functions to add nonlinear characteristics are used together, and the model is There is an advantage of increasing the accuracy of object recognition as it is larger.

또한, 상기 차선 인식부(100)는 촬영 영상으로부터 객체 인식율을 높이기 위해 에이다부스트(AdaBoost), 서포트 벡터 머신(Support Vector Machine: SVM), 선형판별식 해석(Linear Disciminant Analysis: LDA), 주성분 분석(Principal Component Analusis: PCA) 등의 알고리즘이 추가로 내장될 수도 있다.In addition, the lane recognition unit 100 includes AdaBoost, Support Vector Machine (SVM), Linear Disciminant Analysis (LDA), principal component analysis ( Algorithms such as Principal Component Analytic (PCA) may be additionally embedded.

이러한 알고리즘 기법들은 모두 외형에 기반하여 인식대상 영역을 식별하는 것으로, 트레이닝에 사용될 촬상 이미지들의 집합에 의해 트레이닝된 모델을 이용해서 횡단보도 주위의 영역을 검출하며, 여러 주변의 제약 조건들이 트레이닝을 통해 극복되어지기 때문에 결과적으로 촬영된 영상들로부터 객체의 인식 정확도와 신뢰도를 높일 수 있다.All of these algorithmic techniques identify the area to be recognized based on the appearance, and the area around the crosswalk is detected using a model trained by a set of captured images to be used for training. As a result, it is possible to increase the object recognition accuracy and reliability from the captured images.

보행자 인식부(200)는 차량의 일측에 보행자를 촬영하고, 보행자의 영상을 획득하는 제2카메라(210)를 포함하며, 상기 제2카메라(210)는 야간 촬영을 위해 적외선 카메라가 될 수 있으며, 보행자를 감지하기 위하여 열화상 카메라일 수 일수도 있다.The pedestrian recognition unit 200 includes a second camera 210 for photographing a pedestrian on one side of the vehicle and acquiring an image of the pedestrian, and the second camera 210 may be an infrared camera for night photography. , it may be a thermal imaging camera to detect pedestrians.

예컨데, 상기 제2카메라(210)는 RGB-D를 사용함으로써 카메라에서 특정 객체까지의 거리의 정확도를 높일 수 있다.For example, the second camera 210 may increase the accuracy of the distance from the camera to a specific object by using RGB-D.

상기 제2카메라(210)는 360°로 회전되어 차량의 주변의 객체가 인식되면, 객체 인식정보를 통신부(300)에 전송할 수 도 있다.When the second camera 210 is rotated 360° and an object around the vehicle is recognized, the second camera 210 may transmit object recognition information to the communication unit 300 .

이러한 보행자 인식부(200)는 상기 제2카메라(210)로부터 획득된 보행자의 영상을 제공받아 영상으로부터 보행자의 객체를 인식할 수 있다.The pedestrian recognition unit 200 may receive the image of the pedestrian obtained from the second camera 210 and recognize the object of the pedestrian from the image.

여기서 상기 보행자 인식부(200)에 추출되는 객체는 보행자 형상, 차량 형상 및 색상 등이 된다.Here, the object extracted by the pedestrian recognition unit 200 is a pedestrian shape, a vehicle shape, and a color.

상기 보행자 인식부(200)는 예컨대 영상의 특정 객체를 보행자 형상, 차량 형상 및 색상 등의 특징값으로 구분하고, 이 특징값을 추출하여 분석함으로써, 객체 여부를 인식할 수 있다.The pedestrian recognition unit 200, for example, classifies a specific object of the image into characteristic values such as a pedestrian shape, a vehicle shape, and a color, and extracts and analyzes the characteristic values to recognize whether the object is an object.

또한, 다른 객체 인식 방법으로 배경영상을 미리 저장하고, 배경영상과 실시간 획득되는 보행자 형상, 차량 형상 및 색상 등의 영상 프레임과 비교에 의해 영상 간 차이에 의해 객체를 인식할 수도 있다.In addition, a background image may be stored in advance by another object recognition method, and an object may be recognized by a difference between the images by comparing the background image with an image frame such as a pedestrian shape, a vehicle shape, and a color obtained in real time.

또한 보행자 인식부(200)는 객체인식 알고리즘으로 라플라시안(Laplacian) 에지 검출 알고리즘 캐니(Canny) 에지 검출 알고리즘, 라인(Line) 에지 검출 알고리즘 등과 같은 에지 검출 알고리즘을 이용하여 영상 내 경계선을 검출하고 객체를 추출할 수 있다.In addition, the pedestrian recognition unit 200 uses an edge detection algorithm such as a Laplacian edge detection algorithm, a Canny edge detection algorithm, a Line edge detection algorithm, etc. as an object recognition algorithm to detect a boundary in the image and detect the object. can be extracted.

상기 보행자 인식부(200)는 R-CNN(Regional Convolutional Neural Network) 방식이 적용될 수 있는데, 상기 R-CNN(Regional Convolutional Neural Network)은 Selective Search와 CNN의 결합한 방법으로써 일반적인 CNN 방식보다 빠르게 사물 인식 가능하다.The pedestrian recognition unit 200 may apply a Regional Convolutional Neural Network (R-CNN) method. The R-CNN (Regional Convolutional Neural Network) is a method of combining Selective Search and CNN, and it can recognize objects faster than the general CNN method. Do.

또한, 상기 보행자 인식부(200)는 1-Stage Object Detector 방식인 YOLO(You Only Look Once), SSD(Single Shot Detector) 활용 가능하며, 머신러닝 학습을 위한 데이터를 수집할 수 있으며, 머신러닝 네트워크 설계 및 학습이 가능하고, 학습된 결과를 분석 및 재설계를 반복할 수 있는 장점이 있다.In addition, the pedestrian recognition unit 200 can utilize the 1-Stage Object Detector method YOLO (You Only Look Once), SSD (Single Shot Detector), and can collect data for machine learning learning, and a machine learning network It has the advantage of being able to design and learn, and repeat the analysis and redesign of the learned results.

통신부(300)는 상기 차선 인식부(100)와 보행자 인식부(200)로부터 객체 인식 여부 판단에 의해 객체가 인식되면, 객체 인식정보를 전송받고 저장할 수 있다.When an object is recognized by the lane recognition unit 100 and the pedestrian recognition unit 200 by determining whether the object is recognized, the communication unit 300 may receive and store object recognition information.

거리측정부(400)는 상기 통신부(300)에서 상기 객체 인식정보에 포함된 보행자 특징값을 전송받아 차량과 보행자 간의 거리를 판단할 수 도 있다.The distance measuring unit 400 may receive the pedestrian feature value included in the object recognition information from the communication unit 300 to determine the distance between the vehicle and the pedestrian.

제어부(500)는 차선 인식부(100)와 보행자 인식부(200)로부터 객체 인식여부 판단에 의해 객체가 인식되면, 객체 인식정보를 전달받게 되고, 객체 인식정보에 포함된 차로 및 보행자 특징값에 따라 차로 및 보행자를 판단하고 운전자에게 이하 설명될 경보부(600)의 경보 출력에 의해 인지할 수 있도록 제어할 수 있다.When an object is recognized by the lane recognition unit 100 and the pedestrian recognition unit 200 by determining whether to recognize the object, the control unit 500 receives object recognition information, and the lane and pedestrian characteristic values included in the object recognition information. Accordingly, it is possible to determine a lane and a pedestrian and to control so that the driver can be recognized by the warning output of the warning unit 600, which will be described below.

또한, 상기 통신부(300)와 거리측정부(400)로 부터 요청된 객체 인식정보와 차선에 진입된 보행자와의 거리 정보를 분석하고 판단하여 제어할 수 도 있다.In addition, object recognition information requested from the communication unit 300 and the distance measurement unit 400 and distance information between a pedestrian entering a lane may be analyzed, determined, and controlled.

경보부(600)는 상기 제어부(500)의 요청을 받아 디스플레이(미도시) 또는 음성 및 부저음 등으로 경보 출력하여 운전자에게 경각심을 불러올 수 있어 교통사고를 미연에 방지하는 효과가 있다.The alarm unit 600 receives a request from the control unit 500 and outputs an alarm such as a display (not shown) or a voice and a buzzer to bring the driver's attention, thereby preventing a traffic accident in advance.

이때, 인식된 정보를 이용한 상황 인식 알고리즘을 적용하여 주행중인 차량의 차선 및 보행자의 위치 등을 분석함으로써 사고발생 상황을 예측하고 운전자의 경각심을 불러올 수 있다.At this time, by applying a situation recognition algorithm using the recognized information to analyze the lane of the vehicle being driven and the position of the pedestrian, it is possible to predict the accident situation and bring the driver's alertness.

본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일 실시예에 불과할 뿐이고 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형 예들이 있을 수 있음을 이해하여야 한다.The embodiments described in this specification and the configurations shown in the drawings are only the most preferred embodiment of the present invention and do not represent all the technical spirit of the present invention, so various equivalents that can be substituted for them at the time of the present application It should be understood that there may be variations and examples.

100 : 차선 인식부 110 : 제1카메라
200 : 보행자인식부 210 : 제2카메라
300 : 통신부 400 : 거리측정부
500 : 제어부 600 : 경보부100: lane recognition unit 110: first camera
200: pedestrian recognition unit 210: second camera
300: communication unit 400: distance measurement unit
500: control unit 600: alarm unit

Claims

A traffic accident prevention safety system characterized in that it recognizes an object based on a machine learning algorithm from an image of a lane and a pedestrian image taken with a black box placed in a vehicle, and provides information to the driver by determining the distance between the lane and pedestrian .

The method according to claim 1,
a first camera interlocking with the black box to photograph a lane and acquiring an image of the lane, and a lane recognition unit receiving an image of the lane obtained from the first camera and recognizing an object of the lane from the image;
A second camera for photographing a pedestrian on one side of the vehicle and acquiring an image of the pedestrian, and a pedestrian recognition unit receiving the image of the pedestrian obtained from the second camera and recognizing the object of the pedestrian from the image;
a communication unit receiving object recognition information when an object is recognized by the lane recognition unit and the pedestrian recognition unit by determining whether to recognize the object;
a distance measuring unit receiving the pedestrian feature value included in the object recognition information from the communication unit and determining a distance between the vehicle and the pedestrian;
a control unit for analyzing and determining the object recognition information requested from the communication unit and the distance measuring unit and the distance information between the pedestrian and the pedestrian entering the lane;
an alarm unit for receiving a request from the control unit and providing an alarm output to a display;
Traffic accident prevention safety system, characterized in that it further comprises.

3. The method according to claim 2,
The lane recognition unit is a traffic accident prevention safety system, characterized in that applying a CNN (Convolutional Neural Network) method.

3. The method according to claim 2,
Traffic accident prevention safety system, characterized in that the pedestrian recognition unit R-CNN (Regional Convolutional Neural Network) method is applied.

3. The method according to claim 2,
The second camera is rotated 360° and when an object around the vehicle is recognized, the traffic accident prevention safety system, characterized in that it transmits object recognition information to the communication unit.

3. The method according to claim 2,
The first and second cameras are a traffic accident prevention safety system, characterized in that they are thermal imaging cameras.