KR102494493B1 - System for detecting and notifying danger of pedestrian for right turn vehicle at intersection - Google Patents
System for detecting and notifying danger of pedestrian for right turn vehicle at intersection Download PDFInfo
- Publication number
- KR102494493B1 KR102494493B1 KR1020220125087A KR20220125087A KR102494493B1 KR 102494493 B1 KR102494493 B1 KR 102494493B1 KR 1020220125087 A KR1020220125087 A KR 1020220125087A KR 20220125087 A KR20220125087 A KR 20220125087A KR 102494493 B1 KR102494493 B1 KR 102494493B1
- Authority
- KR
- South Korea
- Prior art keywords
- intersection
- information
- vehicle
- pedestrian
- danger
- Prior art date
Links
- 238000001514 detection method Methods 0.000 claims abstract description 46
- 239000003086 colorant Substances 0.000 claims abstract description 8
- 238000000034 method Methods 0.000 description 23
- 238000010586 diagram Methods 0.000 description 7
- 238000010191 image analysis Methods 0.000 description 7
- 238000004891 communication Methods 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 5
- 206010039203 Road traffic accident Diseases 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/09—Arrangements for giving variable traffic instructions
- G08G1/091—Traffic information broadcasting
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01K—MEASURING TEMPERATURE; MEASURING QUANTITY OF HEAT; THERMALLY-SENSITIVE ELEMENTS NOT OTHERWISE PROVIDED FOR
- G01K1/00—Details of thermometers not specially adapted for particular types of thermometer
- G01K1/02—Means for indicating or recording specially adapted for thermometers
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B3/00—Audible signalling systems; Audible personal calling systems
- G08B3/10—Audible signalling systems; Audible personal calling systems using electric transmission; using electromagnetic transmission
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B5/00—Visible signalling systems, e.g. personal calling systems, remote indication of seats occupied
- G08B5/22—Visible signalling systems, e.g. personal calling systems, remote indication of seats occupied using electric transmission; using electromagnetic transmission
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
Abstract
Description
본 발명의 실시예들은 인공지능 모델을 이용하여 교차로에서 우회전 차량에 대한 보행자의 위험을 감지하고 차량 운전자와 보행자에게 위험 알림을 주기 위한 기술과 관련된다.Embodiments of the present invention relate to a technology for detecting a pedestrian's danger to a right-turning vehicle at an intersection using an artificial intelligence model and giving a danger notification to a vehicle driver and a pedestrian.
우리나라의 보행자 교통사고 비율은 선진국 대비 약 2배 이상 높은 편이다. 특히, 교차로에서의 교통사고 비율이 높은 편이며 이 중에서도 우회전 차량에 의한 교통사고 비율이 매우 높다. 이에, 최근에는 대부분의 선진국들처럼 우리나라도 적신호 시 우회전을 금지해야 한다는 지적이 제기되고 있다.The rate of pedestrian traffic accidents in Korea is about twice as high as in developed countries. In particular, the ratio of traffic accidents at intersections is high, and among them, the ratio of traffic accidents caused by right-turning vehicles is very high. Accordingly, it has recently been pointed out that Korea, like most developed countries, should ban right turns at red lights.
또한, 우리나라의 교통안전 수준은 OECD 회원국들과 비교하였을 때 하위권을 벗어나지 못하고 있으며, 인구 10만명 당 교통사고 수 또한 매우 높은 편이다. 따라서, 교차로에서 우회전 차량에 대한 보행자의 위험을 감지하고 차량 운전자와 보행자에게 위험에 대한 알림을 줄 수 있는 기술이 필요하다.In addition, Korea's traffic safety level is not out of the bottom range compared to OECD member countries, and the number of traffic accidents per 100,000 population is also very high. Accordingly, there is a need for a technology capable of detecting a danger to a pedestrian from a right-turning vehicle at an intersection and notifying the driver and pedestrian of the danger.
본 발명의 실시예들은 교차로에서 차량 운전자 및 보행자에게 안전사고 위험에 대한 경각심을 고취시키고 예측 모델을 이용하여 교차로에서의 사고 위험을 보다 정확하게 예측하기 위한 것이다.Embodiments of the present invention are intended to raise awareness of safety accident risks to vehicle drivers and pedestrians at intersections and to more accurately predict accident risks at intersections using a predictive model.
예시적인 실시예에 따르면, 교차로에서 우회전 차량에 대한 보행자의 위험 감지 및 알림 시스템으로서, 상기 교차로의 진입구간에 설치되어 상기 교차로를 진입하는 차량의 유무 및 상기 차량의 속도를 감지하는 제1 센서; 상기 차량이 상기 교차로에 진입한 후 우회전하였을 때 마주하는 횡단보도에 설치되어 상기 횡단보도 내 보행자의 유무를 감지하는 제2 센서; 상기 교차로의 진입구간 및 상기 횡단보도에 각각 설치되어 상기 제1 센서 및 상기 제2 센서에서의 감지결과에 따라 서로 다른 색깔의 빛을 발광하여 차량 운전자 및 보행자에게 위험 알림 메시지를 출력하는 복수 개의 엘이디 표시부; 상기 엘이디 표시부에서의 발광을 제어하는 제어부; 상기 교차로의 진입구간에 설치되어 상기 교차로를 진입하는 차량을 촬영하는 영상 촬영부; 및 상기 제1 센서에서의 감지결과, 상기 제2 센서에서의 감지결과 및 상기 영상 촬영부에서 획득된 영상 프레임을 설정된 예측 모델에 시간 흐름에 따라 순차적으로 입력하여 상기 교차로에서의 보행자의 위험 레벨을 예측하는 예측부를 포함하며, 상기 예측부는, 상기 제1 센서에서의 감지결과로부터 상기 교차로를 진입하는 차량의 속도를 포함하는 제1 정보를 획득하고, 상기 영상 프레임에 포함된 상기 차량의 종류, 크기, 개수 및 교통상황을 포함하는 제2 정보를 파악하며, 상기 제2 센서에서의 감지결과로부터 상기 횡단보도 내 상기 보행자의 위치 및 숫자를 포함하는 제3 정보를 획득하며, 상기 제1 정보, 상기 제2 정보 및 상기 제3 정보를 획득한 시점에 대응되는 상기 교차로에서의 신호등 상태를 실시간으로 수집하며, 상기 제1 정보, 상기 제2 정보, 상기 제3 정보 및 상기 신호등 상태와 가장 유사한 과거의 학습 데이터를 선별하고, 상기 학습 데이터를 참조하여 상기 교차로에서의 보행자의 위험 레벨을 예측하되, 상기 교차로에 진입하는 차량과 상기 횡단보도 내 보행자 간의 거리를 시간대별로 예측한 후 상기 예측된 거리에 따라 상기 교차로에서의 보행자의 위험 레벨을 결정하고, 상기 제어부는, 상기 위험 레벨이 설정된 복수 개의 레벨 중 최상위 레벨인 경우 상기 엘이디 표시부를 제어하여 상기 차량 운전자 및 보행자에게 위험 경보 메시지를 각각 출력하는, 교차로에서 우회전 차량에 대한 보행자의 위험 감지 및 알림 시스템이 제공된다.According to an exemplary embodiment, a pedestrian danger detection and notification system for a vehicle turning right at an intersection includes: a first sensor installed in an entry section of the intersection and detecting presence or absence of a vehicle entering the intersection and speed of the vehicle; a second sensor installed at a crosswalk facing the vehicle when turning right after entering the intersection and detecting the presence or absence of a pedestrian in the crosswalk; A plurality of LEDs installed at the entrance section of the intersection and the crosswalk, respectively, to output a danger notification message to vehicle drivers and pedestrians by emitting light of different colors according to the detection results of the first sensor and the second sensor. display unit; a control unit controlling light emission from the LED display unit; an image capture unit installed in an entry section of the intersection and capturing a vehicle entering the intersection; and sequentially inputting the detection result from the first sensor, the detection result from the second sensor, and the image frame obtained from the image capture unit to the set predictive model over time to determine the danger level of the pedestrian at the intersection. A prediction unit for predicting, wherein the prediction unit obtains first information including a speed of a vehicle entering the intersection from a detection result of the first sensor, and the type and size of the vehicle included in the image frame. , Recognize second information including the number and traffic conditions, obtain third information including the location and number of the pedestrian in the crosswalk from the detection result of the second sensor, and obtain the first information, the Collects the traffic light conditions at the intersection corresponding to the point of time when the second information and the third information are obtained in real time, and collects the first information, the second information, the third information, and the past data most similar to the traffic light conditions. Select learning data, predict the danger level of pedestrians at the intersection by referring to the learning data, predict the distance between a vehicle entering the intersection and a pedestrian in the crosswalk by time period, and then according to the predicted distance determining a danger level for pedestrians at the intersection, and when the danger level is the highest level among a plurality of set levels, the control unit controls the LED display unit to output a danger warning message to the vehicle driver and the pedestrian, respectively. A pedestrian danger detection and notification system for right-turning vehicles is provided.
상기 최상위 레벨은, 상기 차량과 상기 보행자 간의 거리가 설정된 기준치 미만인 경우이며, 상기 예측부는, 상기 교차로에서의 신호등 상태 중 상기 교차로를 통과하는 직진 차량에 대한 차량 신호 및 상기 횡단보도에서의 보행자 신호가 각각 녹색 및 빨간색인 제1 케이스, 상기 교차로에서의 신호등 상태 중 상기 교차로를 통과하는 직진 차량에 대한 차량 신호 및 상기 횡단보도에서의 보행자 신호가 모두 녹색인 제2 케이스에서 상기 위험 레벨 중 상기 최상위 레벨을 결정하는 기준치를 서로 다르게 적용할 수 있다.The highest level is when the distance between the vehicle and the pedestrian is less than a set reference value, and the prediction unit determines that a vehicle signal for a vehicle passing straight through the intersection and a pedestrian signal at the crosswalk among traffic light conditions at the intersection The highest level among the danger levels in a first case of green and red, respectively, and a second case in which both a vehicle signal for a straight vehicle passing through the intersection and a pedestrian signal at the crosswalk are green among traffic light conditions at the intersection The criterion for determining can be applied differently.
상기 예측부는, 상기 제1 케이스에서 상기 위험 레벨을 상기 최상위 레벨로 결정하는 데 기준으로서 제1 기준치를 적용하고, 상기 제2 케이스에서 상기 위험 레벨을 상기 최상위 레벨로 결정하는 데 기준으로서 제2 기준치를 적용하되, 상기 제1 기준치에 대응되는 상기 차량과 보행자 간의 거리는, 상기 제2 기준치에 대응되는 상기 차량과 보행자 간의 거리보다 작을 수 있다.The prediction unit applies a first reference value as a criterion for determining the risk level as the highest level in the first case, and a second reference value as a criterion for determining the risk level as the highest level in the second case. , but the distance between the vehicle and the pedestrian corresponding to the first reference value may be smaller than the distance between the vehicle and the pedestrian corresponding to the second reference value.
상기 위험 감지 및 알림 시스템은, 상기 횡단보도 내 또는 상기 횡단보도로부터 설정된 거리 이내의 지점에서 차량과 보행자와의 충돌 이력을 수집하고, 상기 차량과 보행자와의 충돌이 발생된 시점으로부터 전후 설정된 시간 이내의 상기 제1 정보, 상기 제2 정보, 상기 제3 정보 및 상기 신호등 상태를 포함하는 제1 피드백 정보를 상기 예측 모델에 입력하고, 상기 횡단보도 내 또는 상기 횡단보도로부터 설정된 거리 이내의 지점에서 차량의 급정거 또는 경적 발생에 대한 이력을 수집하고, 상기 차량의 급정거 또는 경적 발생이 일어난 시점으로부터 전후 설정된 시간 이내의 상기 제1 정보, 상기 제2 정보, 상기 제3 정보 및 상기 신호등 상태를 포함하는 제2 피드백 정보를 상기 예측 모델에 입력하는 피드백부를 더 포함하며, 상기 예측부는, 상기 실시간으로 수집되는 상기 제1 정보, 상기 제2 정보, 상기 제3 정보 및 상기 신호등 상태가 상기 제2 피드백 정보와 대응되는 경우 상기 제어부로 위험 경보 메시지를 전달하고, 상기 실시간으로 수집되는 상기 제1 정보, 상기 제2 정보, 상기 제3 정보 및 상기 신호등 상태가 상기 제1 피드백 정보와 대응되는 경우 상기 제어부로 사고 경보 메시지를 전달하며, 상기 제어부는, 상기 차량 운전자 및 보행자에게 상기 사고 경보 메시지 또는 상기 위험 경보 메시지를 출력하도록 상기 엘이디 표시부 또는 음성 안내부를 제어하되, 상기 사고 경보 메시지는, 상기 위험 경보 메시지와 비교하여 상기 엘이디 표시부에서의 발광 및 상기 음성 안내부에서의 음성 출력이 상이할 수 있다.The danger detection and notification system collects the history of collision between the vehicle and the pedestrian at a point within the crosswalk or within a set distance from the crosswalk, and within a set time before and after the collision between the vehicle and the pedestrian occurred. input the first feedback information including the first information, the second information, the third information, and the traffic light state into the prediction model, and the vehicle at a point within the crosswalk or within a set distance from the crosswalk Collects the history of the sudden stop or horn generation of the vehicle, and includes the first information, the second information, the third information, and the traffic light state within a set time before and after the sudden stop or horn generation of the vehicle. 2 Further comprising a feedback unit for inputting feedback information to the prediction model, wherein the prediction unit determines that the first information, the second information, the third information, and the traffic light state collected in real time are combined with the second feedback information. If so, a danger alert message is transmitted to the controller, and if the first information, the second information, the third information, and the traffic light state collected in real time correspond to the first feedback information, an accident to the controller A warning message is transmitted, and the control unit controls the LED display unit or the voice guidance unit to output the accident warning message or the danger warning message to the vehicle driver and the pedestrian, wherein the accident warning message is compared with the danger warning message. Thus, light emission from the LED display unit and audio output from the voice guidance unit may be different.
본 발명의 실시예들에 따르면, 제1 센서 및 제2 센서에서의 감지결과에 따라 엘이디 표시부 및 음성 안내부가 서로 다른 색깔의 빛을 발광하거나 기 정의된 음성을 출력하도록 제어함으로써, 차량 운전자 및 보행자에게 안전사고 위험에 대한 경각심을 고취시킬 수 있다.According to embodiments of the present invention, by controlling the LED display unit and the voice guide unit to emit light of different colors or to output a predefined voice according to the detection result of the first sensor and the second sensor, vehicle drivers and pedestrians It can raise awareness about the risk of safety accidents.
또한, 본 발명의 실시예들에 따르면, 교차로에 진입하는 차량과 관련된 정보, 상기 차량이 상기 교차로에 진입한 후 우회전하였을 때 마주하는 횡단보도에 진입하는 보행자와 관련된 정보 및 차량 신호등과 보행자 신호등의 신호 상태 등을 예측 모델에 실시간으로 입력하여 교차로에서의 보행자의 위험 레벨을 실시간으로 예측하고, 예측된 위험 레벨에 따라 교차로 내 차량 운전자 및 보행자에게 경보 메시지를 출력하도록 함으로써 교차로에서의 사고 위험을 최소화할 수 있다. 특히, 본 발명의 실시예들에 따르면, 과거의 학습 데이터를 토대로 차량과 보행자 간의 거리를 실시간으로 예측함으로써 교차로에서의 사고 위험을 보다 정확하게 예측할 수 있다.In addition, according to embodiments of the present invention, information related to a vehicle entering an intersection, information related to a pedestrian entering a crosswalk encountered when the vehicle turns right after entering the intersection, and vehicle traffic lights and pedestrian traffic lights Minimizes the risk of accidents at intersections by inputting signal conditions into the prediction model in real time to predict the risk level of pedestrians at the intersection in real time and outputting a warning message to vehicle drivers and pedestrians within the intersection according to the predicted risk level can do. In particular, according to embodiments of the present invention, the risk of an accident at an intersection can be more accurately predicted by estimating the distance between a vehicle and a pedestrian in real time based on past learning data.
또한, 본 발명의 실시예들에 따르면, 과거에 횡단보도 내 또는 근처에서 충돌 이력이 있거나 충돌에 가까운 상황발생에 대한 이력이 있는 경우 이를 참조하여 이와 유사한 상황이 발생될 것으로 예측되는 경우 차량 운전자 및 보행자에게 위험 경보 메시지 또는 사고 경보 메시지를 전달할 수 있다.In addition, according to the embodiments of the present invention, if there is a history of a collision in or near a crosswalk in the past or a history of a situation close to a collision, if a similar situation is predicted to occur by referring to this, the vehicle driver and A danger warning message or an accident warning message may be delivered to pedestrians.
도 1은 본 발명의 일 실시예에 따른 위험 감지 및 알림 시스템의 상세 구성을 나타낸 블록도
도 2는 본 발명의 일 실시예에 따른 교차로 및 횡단보도의 예시
도 3은 본 발명의 일 실시예에 따른 제어부에서 엘이디 표시부의 발광을 제어하는 과정을 설명하기 위한 도면
도 4는 본 발명의 일 실시예에 따른 교차로에서의 보행자의 위험 레벨을 예측하는 과정을 설명하기 위한 도면
도 5는 본 발명의 일 실시예에 따른 위험 감지 및 알림 방법을 설명하기 위한 흐름도
도 6은 본 발명의 일 실시예에 따른 위험 레벨을 예측하는 방법을 설명하기 위한 흐름도
도 7은 예시적인 실시예들에서 사용되기에 적합한 컴퓨팅 장치를 포함하는 컴퓨팅 환경을 예시하여 설명하기 위한 블록도1 is a block diagram showing the detailed configuration of a risk detection and notification system according to an embodiment of the present invention.
2 is an example of an intersection and crosswalk according to an embodiment of the present invention
3 is a view for explaining a process of controlling light emission of an LED display unit in a controller according to an embodiment of the present invention.
4 is a diagram for explaining a process of predicting a pedestrian's risk level at an intersection according to an embodiment of the present invention;
5 is a flowchart for explaining a risk detection and notification method according to an embodiment of the present invention
6 is a flowchart for explaining a method of predicting a risk level according to an embodiment of the present invention
7 is a block diagram for illustrating and describing a computing environment including a computing device suitable for use in example embodiments.
이하, 도면을 참조하여 본 발명의 구체적인 실시형태를 설명하기로 한다. 이하의 상세한 설명은 본 명세서에서 기술된 방법, 장치 및/또는 시스템에 대한 포괄적인 이해를 돕기 위해 제공된다. 그러나 이는 예시에 불과하며 본 발명은 이에 제한되지 않는다.Hereinafter, specific embodiments of the present invention will be described with reference to the drawings. The detailed descriptions that follow are provided to provide a comprehensive understanding of the methods, devices and/or systems described herein. However, this is only an example and the present invention is not limited thereto.
본 발명의 실시예들을 설명함에 있어서, 본 발명과 관련된 공지기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략하기로 한다. 그리고, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다. 상세한 설명에서 사용되는 용어는 단지 본 발명의 실시예들을 기술하기 위한 것이며, 결코 제한적이어서는 안 된다. 명확하게 달리 사용되지 않는 한, 단수 형태의 표현은 복수 형태의 의미를 포함한다. 본 설명에서, "포함" 또는 "구비"와 같은 표현은 어떤 특성들, 숫자들, 단계들, 동작들, 요소들, 이들의 일부 또는 조합을 가리키기 위한 것이며, 기술된 것 이외에 하나 또는 그 이상의 다른 특성, 숫자, 단계, 동작, 요소, 이들의 일부 또는 조합의 존재 또는 가능성을 배제하도록 해석되어서는 안 된다.In describing the embodiments of the present invention, if it is determined that the detailed description of the known technology related to the present invention may unnecessarily obscure the subject matter of the present invention, the detailed description will be omitted. In addition, terms to be described later are terms defined in consideration of functions in the present invention, which may vary according to the intention or custom of a user or operator. Therefore, the definition should be made based on the contents throughout this specification. Terminology used in the detailed description is only for describing the embodiments of the present invention and should in no way be limiting. Unless expressly used otherwise, singular forms of expression include plural forms. In this description, expressions such as "comprising" or "comprising" are intended to indicate any characteristic, number, step, operation, element, portion or combination thereof, one or more other than those described. It should not be construed to exclude the existence or possibility of any other feature, number, step, operation, element, part or combination thereof.
도 1은 본 발명의 일 실시예에 따른 위험 감지 및 알림 시스템(100)의 상세 구성을 나타낸 블록도이며, 도 2는 본 발명의 일 실시예에 따른 교차로 및 횡단보도의 예시이다. 본 발명의 일 실시예에 따른 위험 감지 및 알림 시스템(100)은 교차로에서 우회전 차량에 대한 보행자의 위험을 감지하고 이에 대한 알림을 주기 위한 것이다. 본 실시예들에 있어서 교차로는 2개 이상의 차도가 만나는 지점 또는 상기 지점을 포함하는 지역이다. 이때, 교차로에 진입하는 차량은 우회전이 가능하며, 상기 차량이 상기 교차로에 진입한 후 우회전하였을 때 횡단보도를 마주하는 것으로 가정한다.1 is a block diagram showing the detailed configuration of a danger detection and
도 1 및 도 2에 도시된 바와 같이, 본 발명의 일 실시예에 따른 위험 감지 및 알림 시스템(100)은 제1 센서(102), 제2 센서(104), 엘이디 표시부(106), 제어부(108), 음성 안내부(110), 영상 촬영부(112), 예측부(114) 및 피드백부(116)를 포함한다.1 and 2, the risk detection and
제1 센서(102)는 상기 교차로의 진입구간에 설치되어 상기 교차로를 진입하는 차량의 유무 및 상기 차량의 속도를 감지한다. 제1 센서(102)는 예를 들어, 열감지 카메라, 라이다(LIDAR) 센서, 움직임 감지 센서, 광학 센서 등의 조합으로 이루어질 수 있다. 제1 센서(102)는 상기 교차로를 진입하는 차량을 마주하도록 상기 교차로의 진입구간에 설치될 수 있다.The
제2 센서(104)는 상기 차량이 상기 교차로에 진입한 후 우회전하였을 때 마주하는 횡단보도에 설치되어 상기 횡단보도 내 보행자의 유무를 감지한다. 제2 센서(104)는 예를 들어, 열감지 카메라, 라이다(LIDAR) 센서, 움직임 감지 센서, 광학 센서 등의 조합으로 이루어질 수 있다. 제2 센서(104)는 횡단보도를 진입하는 보행자를 마주하도록 횡단보도로부터 설정된 반경 이내의 일 지점에 설치될 수 있다.The
엘이디 표시부(106)는 상기 교차로의 진입구간 및 상기 횡단보도에 각각 설치되어 제1 센서(102) 및 제2 센서(104)에서의 감지결과에 따라 서로 다른 색깔의 빛을 발광하여 차량 운전자 및 보행자에게 위험 알림 메시지를 출력한다. 엘이디 표시부(106)는 복수 개의 면(예를 들어, 2면 또는 3면)의 Full Color LED 표시판을 구비할 수 있다. 엘이디 표시부(106)는 예를 들어, 제1 엘이디 표시부(106-1) 및 제2 엘이디 표시부(106-2)를 포함할 수 있다. 제1 엘이디 표시부(106-1)는 상기 교차로의 진입구간에 설치되어 차량 운전자에게 위험 알림 메시지를 출력하도록 발광할 수 있다. 또한, 제2 엘이디 표시부(106-2)는 횡단보도에 설치되어 보행자에게 위험 알림 메시지를 출력하도록 발광할 수 있다. 제1 엘이디 표시부(106-1) 및 제2 엘이디 표시부(106-2)는 교차로에서의 위험 레벨에 따라 서로 다른 색깔의 빛을 발광할 수 있으며, 후술할 제어부(108)의 제어에 따라 그 발광 색깔이 달라질 수 있다. 제1 엘이디 표시부(106-1) 및 제2 엘이디 표시부(106-2)는 예를 들어, 교차로에서의 위험 레벨에 따라 적색, 파란색, 녹색, 노란색 등의 빛을 발광할 수 있다. 또한, 제1 엘이디 표시부(106-1) 및 제2 엘이디 표시부(106-2)는 위험 알림과 관련된 특정 문구 또는 문장을 나타내는 빛을 표시할 수도 있다.The
제어부(108)는 엘이디 표시부(106) 및 후술할 음성 안내부(110)에서의 동작을 제어한다. 상술한 바와 같이, 제어부(108)는 교차로에서의 위험 레벨에 따라 엘이디 표시부(106)가 특정 색깔의 빛을 발광하도록 엘이디 표시부(106)의 동작을 제어할 수 있다. 또한, 제어부(108)는 교차로에서의 위험 레벨에 따라 음성 안내부(110)가 특정 음성을 출력하도록 음성 안내부(110)의 동작을 제어할 수 있다. 또한, 제어부(108)는 후술할 예측부(114)로부터 교차로에서의 보행자의 위험 레벨에 관한 예측 결과를 수신하고, 상기 예측 결과를 토대로 엘이디 표시부(106) 및 음성 안내부(110)에서의 동작을 제어할 수 있다.The
음성 안내부(110)는 상기 교차로의 진입구간 및 상기 횡단보도에 각각 설치되어 제1 센서(102) 및 제2 센서(104)에서의 감지결과에 따라 위험 알림을 위한 특정 음성을 출력한다. 상술한 바와 같이, 제어부(108)는 교차로에서의 위험 레벨에 따라 음성 안내부(110)가 특정 음성을 출력하도록 음성 안내부(110)의 동작을 제어할 수 있다.The
영상 촬영부(112)는 교차로의 진입구간에 설치되어 상기 교차로를 진입하는 차량을 촬영한다. 영상 촬영부(112)는 하나 이상의 카메라를 포함하는 광학 모듈을 구비할 수 있으며, 상기 광학 모듈을 통해 상기 교차로를 진입하는 차량을 촬영할 수 있다. 영상 촬영부(112)는 실시간으로 수집되는 영상 프레임을 예측부(114)로 전달할 수 있다. 후술할 바와 같이, 예측부(114)는 제1 센서(102)에서의 감지결과, 제2 센서(104)에서의 감지결과 및 영상 촬영부(112)에서 획득된 영상 프레임을 설정된 예측 모델에 시간 흐름에 따라 순차적으로 입력하여 상기 교차로에서의 보행자의 위험 레벨을 예측할 수 있다.The
예측부(114)는 예측 모델을 이용하여 교차로에서의 보행자의 위험 레벨을 예측한다. 본 실시예들에 있어서, 예측 모델은 예를 들어, CNN(Convolutional Neural Network), RNN(Recurrent Neural Network) 등이 될 수 있다. 상술한 바와 같이, 예측부(114)는 제1 센서(102)에서의 감지결과, 제2 센서(104)에서의 감지결과 및 영상 촬영부(112)에서 획득된 영상 프레임을 상기 예측 모델에 시간 흐름에 따라 순차적으로 입력하여 상기 교차로에서의 보행자의 위험 레벨을 예측할 수 있다. The
이를 위해, 예측부(114)는 제1 센서(102)에서의 감지결과로부터 상기 교차로를 진입하는 차량의 속도를 포함하는 제1 정보를 획득하고, 상기 영상 프레임에 포함된 상기 차량의 종류, 크기, 개수 및 교통상황을 포함하는 제2 정보를 파악하며, 제2 센서(104)에서의 감지결과로부터 상기 횡단보도 내 상기 보행자의 위치 및 숫자를 포함하는 제3 정보를 획득하며, 상기 제1 정보, 상기 제2 정보 및 상기 제3 정보를 획득한 시점에 대응되는 상기 교차로에서의 신호등 상태를 실시간으로 수집할 수 있다. 여기서, 제2 정보에 포함된 차량의 종류는 예를 들어, 차량이 트럭인지, 승용차인지 여부 등을 나타내며, 차량 크기는 차량의 전체 길이 또는 너비를 나타내며, 차량의 개수는 영상 프레임에 포함된 차량의 개수를 나타낼 수 있다. 또한, 제3 정보에 포함된 보행자의 위치는 횡단보도 내 또는 횡단보도로부터 설정된 거리 이내에서 보행자가 어느 위치에 있는지를 나타내며, 보행자의 숫자는 횡단보도에 진입하는 보행자가 몇 명인지 등을 나타낼 수 있다. 또한, 신호등 상태는 예를 들어, 차량 신호등이 적색인지, 주황색인지, 녹색인지 여부, 보행자 신호등이 적색인지, 녹색인지 여부 등을 나타내는 정보일 수 있다. 예측부(114)는 상기 제1 정보, 제2 정보, 제3 정보 및 신호등 상태를 실시간으로 획득하고, 데이터베이스에 기 저장된 학습 데이터 중 상기 제1 정보, 상기 제2 정보, 상기 제3 정보 및 상기 신호등 상태와 가장 유사한 과거의 학습 데이터를 선별할 수 있다. 이후, 예측부(114)는 선별된 상기 학습 데이터를 참조하여 상기 교차로에서의 보행자의 위험 레벨을 예측할 수 있다.To this end, the
구체적으로, 예측부(114)는 상기 예측 모델을 이용하여 상기 교차로에 진입하는 차량과 상기 횡단보도 내 보행자 간의 거리를 시간대별로 예측하고, 상기 예측된 거리에 따라 상기 교차로에서의 보행자의 위험 레벨을 결정할 수 있다. 여기서, 상기 교차로에 진입하는 차량과 상기 횡단보도 내 보행자 간의 거리는 교차로 내에서 상기 차량과 보행자 간의 가장 짧은 직선 거리일 수 있다. 예측부(114)는 예를 들어, 이미지 분석 기법을 통해 상기 교차로에 진입하는 차량과 상기 횡단보도 내 보행자 간의 거리를 예측하되 상기 예측된 거리와 상기 과거의 학습 데이터를 통해 획득된 거리를 비교하여 상기 예측된 거리를 검증, 보정할 수 있다. 예측부(114)는 이미지 분석 기법을 통해 예측된 거리와 상기 과거의 학습 데이터를 통해 획득된 거리 간의 차이가 임계치 이하인 경우 이미지 분석 기법을 통해 예측된 거리를 최종 예측 거리로 결정하고, 이미지 분석 기법을 통해 예측된 거리와 상기 과거의 학습 데이터를 통해 획득된 거리 간의 차이가 임계치를 초과하는 경우 선별된 과거의 학습 데이터를 제외한 학습 데이터 중 상기 제1 정보, 상기 제2 정보, 상기 제3 정보 및 상기 신호등 상태와 가장 유사한 다른 과거의 학습 데이터를 선별한 후 앞선 과정을 반복 수행할 수 있다. 예측부(114)는 이러한 반복적인 비교 과정을 통해 이미지 분석 기법을 통해 예측된 거리를 검증하고, 검증 결과 두 값의 차이가 설정된 횟수 이상 임계치를 초과하는 경우 이미지 분석 기법을 통해 예측된 거리와 상기 제1 정보, 상기 제2 정보, 상기 제3 정보 및 상기 신호등 상태와 가장 유사한 과거의 학습 데이터를 통해 획득된 거리 간의 평균치를 최종 예측 거리로 결정할 수 있다.Specifically, the
이후, 예측부(114)는 상기 예측된 거리에 따라 상기 교차로에서의 보행자의 위험 레벨을 결정할 수 있다. 여기서, 보행자의 위험 레벨은 설정된 개수의 레벨(예를 들어, 최상위 레벨, 상위 레벨, 보통 레벨, 하위 레벨, 최하위 레벨 등)로 기 정의될 수 있으며, 최하위 레벨에서 최상위 레벨로 갈수록 교차로에서의 위험도가 커질 수 있다. 예측부(114)는 이와 같이 결정된 위험 레벨에 대한 예측 결과를 제어부(108)로 전달하고, 제어부(108)는 예측된 위험 레벨이 설정된 복수 개의 레벨 중 최상위 레벨인 경우 엘이디 표시부(106)를 제어하여 상기 차량 운전자 및 보행자에게 위험 경보 메시지를 각각 출력할 수 있다. 여기서, 최상위 레벨은 상기 차량과 상기 보행자 간의 거리가 설정된 기준치 미만인 경우로서 차량과 보행자 간의 거리가 매우 가깝게 예측되어 사고 위험이 있는 상황을 의미한다.Thereafter, the
한편, 교차로에서의 사고 위험은 교차로에서의 신호등 상태에 따라 달라질 수 있다. 즉, 상기 교차로를 통과하는 직진 차량에 대한 차량 신호 및 상기 횡단보도에서의 보행자 신호가 각각 녹색 및 빨간색인 제1 케이스와, 상기 교차로에서의 신호등 상태 중 상기 교차로를 통과하는 직진 차량에 대한 차량 신호 및 상기 횡단보도에서의 보행자 신호가 모두 녹색인 제2 케이스에서 교차로에서의 사고 위험이 달라질 수 있다. 제2 케이스의 경우 차량과 보행자가 모두 움직이기 때문에 제1 케이스에 비해 상대적으로 사고 위험이 더 커질 수 있다. 이에 따라, 예측부(114)는 상기 제1 케이스와 상기 제2 케이스에서 상기 위험 레벨 중 상기 최상위 레벨을 결정하는 기준치를 서로 다르게 적용할 수 있다. Meanwhile, the risk of an accident at an intersection may vary depending on the state of traffic lights at the intersection. That is, in the first case, the vehicle signal for the vehicle going straight through the intersection and the pedestrian signal at the crosswalk are green and red, respectively, and the vehicle signal for the vehicle going straight through the intersection among the traffic light conditions at the intersection. And in the second case in which all of the pedestrian signals at the crosswalk are green, the risk of an accident at the intersection may be different. In the case of the second case, since both the vehicle and the pedestrian move, the risk of an accident may be relatively greater than that of the first case. Accordingly, the
예를 들어, 예측부(114)는 상기 제1 케이스에서 상기 위험 레벨을 상기 최상위 레벨로 결정하는 데 기준으로서 제1 기준치를 적용하고, 상기 제2 케이스에서 상기 위험 레벨을 상기 최상위 레벨로 결정하는 데 기준으로서 제2 기준치를 적용할 수 있다. 이때, 상기 제1 기준치에 대응되는 상기 차량과 보행자 간의 거리는, 상기 제2 기준치에 대응되는 상기 차량과 보행자 간의 거리보다 작을 수 있다. 즉, 예측부(114)는 제2 케이스에서 상대적으로 사고 위험이 더 크므로 최상위 레벨로 결정하는 기준치가 되는 거리를 제1 케이스에서보다 더 크게 설정할 수 있다.For example, the
이와 같이, 본 발명의 실시예들에 따르면, 교차로에 진입하는 차량과 관련된 정보, 상기 차량이 상기 교차로에 진입한 후 우회전하였을 때 마주하는 횡단보도에 진입하는 보행자와 관련된 정보 및 차량 신호등과 보행자 신호등의 신호 상태 등을 예측 모델에 실시간으로 입력하여 교차로에서의 보행자의 위험 레벨을 실시간으로 예측하고, 예측된 위험 레벨에 따라 교차로 내 차량 운전자 및 보행자에게 경보 메시지를 출력하도록 함으로써 교차로에서의 사고 위험을 최소화할 수 있다. 특히, 본 발명의 실시예들에 따르면, 과거의 학습 데이터를 토대로 차량과 보행자 간의 거리를 실시간으로 예측함으로써 교차로에서의 사고 위험을 보다 정확하게 예측할 수 있다.As such, according to embodiments of the present invention, information related to a vehicle entering an intersection, information related to a pedestrian entering a crosswalk encountered when the vehicle turns right after entering the intersection, and vehicle traffic lights and pedestrian traffic lights The risk level of pedestrians at the intersection is predicted in real time by inputting the signal conditions of the intersection into the prediction model in real time, and an alarm message is output to the vehicle driver and pedestrians in the intersection according to the predicted risk level, thereby reducing the risk of accidents at the intersection. can be minimized. In particular, according to embodiments of the present invention, the risk of an accident at an intersection can be more accurately predicted by estimating the distance between a vehicle and a pedestrian in real time based on past learning data.
피드백부(116)는 상기 횡단보도 내 또는 상기 횡단보도로부터 설정된 거리 이내의 지점에서 발생된 사고 이력 또는 사고 위험 이력에 관한 피드백 정보를 수집하여 예측 모델에 입력한다. The
구체적으로, 피드백부(116)는 상기 횡단보도 내 또는 상기 횡단보도로부터 설정된 거리 이내의 지점에서 차량과 보행자와의 충돌 이력을 수집하고, 상기 차량과 보행자와의 충돌이 발생된 시점으로부터 전후 설정된 시간 이내의 상기 제1 정보, 상기 제2 정보, 상기 제3 정보 및 상기 신호등 상태를 포함하는 제1 피드백 정보를 상기 예측 모델에 입력할 수 있다.Specifically, the
또한, 피드백부(116)는 상기 횡단보도 내 또는 상기 횡단보도로부터 설정된 거리 이내의 지점에서 차량의 급정거 또는 경적 발생에 대한 이력을 수집하고, 상기 차량의 급정거 또는 경적 발생이 일어난 시점으로부터 전후 설정된 시간 이내의 상기 제1 정보, 상기 제2 정보, 상기 제3 정보 및 상기 신호등 상태를 포함하는 제2 피드백 정보를 상기 예측 모델에 입력할 수 있다. 여기서, 급정거는 설정된 시간 이내(예를 들어, 5초 이내)에 차량의 속도가 설정된 기준치(예를 들어, 20km/h) 이상 감소하는 것을 의미한다.In addition, the
예측부(114)는 상기 실시간으로 수집되는 상기 제1 정보, 상기 제2 정보, 상기 제3 정보 및 상기 신호등 상태가 상기 제2 피드백 정보와 대응되는 경우 상기 제어부로 위험 경보 메시지를 전달하고, 상기 실시간으로 수집되는 상기 제1 정보, 상기 제2 정보, 상기 제3 정보 및 상기 신호등 상태가 상기 제1 피드백 정보와 대응되는 경우 상기 제어부로 사고 경보 메시지를 전달할 수 있다. 이후, 제어부(108)는 상기 차량 운전자 및 보행자에게 상기 사고 경보 메시지 또는 상기 위험 경보 메시지를 출력하도록 엘이디 표시부(106) 또는 음성 안내부(110)를 제어할 수 있다. 이때, 상기 사고 경보 메시지는 상기 위험 경보 메시지와 비교하여 엘이디 표시부(106)에서의 발광 및 음성 안내부(110)에서의 음성 출력이 상이할 수 있다. 즉, 본 발명의 실시예들에 따르면, 과거에 횡단보도 내 또는 근처에서 충돌 이력이 있거나 충돌에 가까운 상황발생에 대한 이력이 있는 경우 이를 참조하여 이와 유사한 상황이 발생될 것으로 예측되는 경우 차량 운전자 및 보행자에게 위험 경보 메시지 또는 사고 경보 메시지를 전달할 수 있다.The
도 3은 본 발명의 일 실시예에 따른 제어부(108)에서 엘이디 표시부(106)의 발광을 제어하는 과정을 설명하기 위한 도면이다.3 is a diagram for explaining a process of controlling light emission of the
상술한 바와 같이, 엘이디 표시부(106)는 제1 엘이디 표시부(106-1) 및 제2 엘이디 표시부(106-2)를 포함할 수 있다. 제어부(108)는 제1 센서(102), 제2 센서(104) 및 영상 촬영부(112)와 각각 연결되고, 상기 제1 센서에서의 감지결과, 상기 제2 센서에서의 감지결과 및 상기 영상 촬영부에서 획득된 영상 프레임에 기초하여 제1 엘이디 표시부(106-1) 및 제2 엘이디 표시부(106-2)의 동작을 제어할 수 있다. 제1 엘이디 표시부(106-1) 및 제2 엘이디 표시부(106-2)는 SMPS(302, 304)와 각각 연결될 수 있다.As described above, the
도 4는 본 발명의 일 실시예에 따른 교차로에서의 보행자의 위험 레벨을 예측하는 과정을 설명하기 위한 도면이다.4 is a diagram for explaining a process of predicting a pedestrian's risk level at an intersection according to an embodiment of the present invention.
상술한 바와 같이, 예측부(114)는 상기 예측 모델을 이용하여 상기 교차로에 진입하는 차량과 상기 횡단보도 내 보행자 간의 거리(d)를 시간대별로 예측하고, 상기 예측된 거리(d)에 따라 상기 교차로에서의 보행자의 위험 레벨을 결정할 수 있다. 여기서, 상기 교차로에 진입하는 차량과 상기 횡단보도 내 보행자 간의 거리(d)는 교차로 내에서 상기 차량과 보행자 간의 가장 짧은 직선 거리일 수 있다. 상술한 바와 같이, 예측부(114)는 예를 들어, 이미지 분석 기법을 통해 상기 교차로에 진입하는 차량과 상기 횡단보도 내 보행자 간의 거리를 예측하되 상기 예측된 거리와 상기 과거의 학습 데이터를 통해 획득된 거리를 비교하여 상기 예측된 거리를 검증, 보정할 수 있다. As described above, the
도 5는 본 발명의 일 실시예에 따른 위험 감지 및 알림 방법을 설명하기 위한 흐름도이다. 도시된 흐름도에서는 상기 방법을 복수 개의 단계로 나누어 기재하였으나, 적어도 일부의 단계들은 순서를 바꾸어 수행되거나, 다른 단계와 결합되어 함께 수행되거나, 생략되거나, 세부 단계들로 나뉘어 수행되거나, 또는 도시되지 않은 하나 이상의 단계가 부가되어 수행될 수 있다.5 is a flowchart illustrating a risk detection and notification method according to an embodiment of the present invention. In the illustrated flowchart, the method is divided into a plurality of steps, but at least some of the steps are performed in reverse order, combined with other steps, performed together, omitted, divided into detailed steps, or not shown. One or more steps may be added and performed.
S102 단계에서, 제1 센서(102)는 교차로의 진입구간에서 상기 교차로를 진입하는 차량의 유무 및 상기 차량의 속도를 감지한다.In step S102, the
S104 단계에서, 제어부(108)는 제1 센서(102)에서 감지된 차량의 속도가 설정된 임계치 이상인지의 여부를 판단한다.In step S104, the
S106 단계에서, 제어부(108)는 제1 센서(102)에서 감지된 차량의 속도가 설정된 임계치 이상인 경우 엘이디 표시부(106)가 적색의 빛을 발광하도록 엘이디 표시부(106)의 동작을 제어한다.In step S106, the
S108 단계에서, 제어부(108)는 제1 센서(102)에서 감지된 차량의 속도가 설정된 임계치 미만인 경우 엘이디 표시부(106)가 위험 레벨에 따라 파란색, 녹색, 노란색 등의 빛을 발광하도록 엘이디 표시부(106)의 동작을 제어한다. 여기서, 위험 레벨은 예를 들어 상기 차량의 속도에 따라 높음/보통/낮음 등으로 구분될 수 있다.In step S108, the
S110 단계에서, 제2 센서(104)는 상기 차량이 상기 교차로에 진입한 후 우회전하였을 때 마주하는 횡단보도에서 상기 횡단보도 내 보행자의 유무를 감지한다.In step S110, the
S112 단계에서, 제어부(108)는 제2 센서(104)를 통해 상기 횡단보도 내 보행자가 존재하는 것으로 판단되는 경우 엘이디 표시부(106)가 적색의 빛을 발광하도록 엘이디 표시부(106)의 동작을 제어한다.In step S112, the
S114 단계에서, 제어부(108)는 음성 안내부(110)가 위험 안내를 나타내는 음성을 출력하도록 음성 안내부(110)의 동작을 제어한다.In step S114, the
S116 단계에서, 제어부(108)는 제2 센서(104)를 통해 상기 횡단보도 내 보행자가 존재하지 않는 것으로 판단되는 경우 엘이디 표시부(106)가 위험 레벨에 따라 파란색, 녹색, 노란색 등의 빛을 발광하도록 엘이디 표시부(106)의 동작을 제어한다. 여기서, 위험 레벨은 상기 S106 단계에서의 위험 레벨과 동일할 수 있다.In step S116, when the
이후에는 다시 S102 단계로 되돌아가 앞선 과정을 반복 수행한다. 본 발명의 실시예들에 따르면, 제1 센서(102) 및 제2 센서(104)에서의 감지결과에 따라 엘이디 표시부(106) 및 음성 안내부(110)가 서로 다른 색깔의 빛을 발광하거나 기 정의된 음성을 출력하도록 제어함으로써, 차량 운전자 및 보행자에게 안전사고 위험에 대한 경각심을 고취시킬 수 있다.Thereafter, the process returns to step S102 and the previous process is repeated. According to the embodiments of the present invention, the
또한, 상술한 바와 같이, 본 발명의 실시예들에 따르면 단순히 제1 센서(102) 및 제2 센서(104)에서의 감지결과에 따라 위험 알림 메시지를 출력하는 데 그치는 것이 아니라, 인공지능 모델을 이용하여 교차로에서의 보행자의 위험 레벨을 실시간으로 예측한 후 예측 결과에 따른 위험 경보 메시지 또는 사고 경보 메시지를 차량 운전자 및 보행자에게 전달함으로써 교차로에서의 보행자의 안전을 보다 확실하게 보장할 수 있다. 이하에서는, 도 6을 참조하여 본 발명의 일 실시예에 따른 위험 레벨을 예측하는 방법에 대해 설명하기로 한다.In addition, as described above, according to the embodiments of the present invention, rather than simply outputting a danger notification message according to the detection results of the
도 6은 본 발명의 일 실시예에 따른 위험 레벨을 예측하는 방법을 설명하기 위한 흐름도이다. 도시된 흐름도에서는 상기 방법을 복수 개의 단계로 나누어 기재하였으나, 적어도 일부의 단계들은 순서를 바꾸어 수행되거나, 다른 단계와 결합되어 함께 수행되거나, 생략되거나, 세부 단계들로 나뉘어 수행되거나, 또는 도시되지 않은 하나 이상의 단계가 부가되어 수행될 수 있다.6 is a flowchart illustrating a method of predicting a risk level according to an embodiment of the present invention. In the illustrated flowchart, the method is divided into a plurality of steps, but at least some of the steps are performed in reverse order, combined with other steps, performed together, omitted, divided into detailed steps, or not shown. One or more steps may be added and performed.
S202 단계에서, 예측부(114)는 제1 센서(102)에서의 감지결과를 획득한다. 여기서, 제1 센서(102)에서의 감지결과는 상기 교차로를 진입하는 차량의 속도를 포함하는 제1 정보를 포함할 수 있다.In step S202 , the
S204 단계에서, 예측부(114)는 영상 촬영부(112)로부터 영상 프레임을 획득한다. 예측부(114)는 상기 영상 프레임을 통해 상기 차량의 종류, 크기, 개수 및 교통상황을 포함하는 제2 정보를 파악할 수 있다.In step S204, the
S206 단계에서, 예측부(114)는 제2 센서(104)에서의 감지결과를 획득한다. 여기서, 제2 센서(104)에서의 감지결과는 상기 횡단보도 내 상기 보행자의 위치 및 숫자를 포함하는 제3 정보를 포함할 수 있다.In step S206, the
S208 단계에서, 예측부(114)는 상기 제1 정보, 상기 제2 정보 및 상기 제3 정보를 획득한 시점에 대응되는 상기 교차로에서의 신호등 상태를 실시간으로 수집한다. 여기서, 신호등 상태는 예를 들어, 차량 신호등이 적색인지, 주황색인지, 녹색인지 여부, 보행자 신호등이 적색인지, 녹색인지 여부 등을 나타내는 정보일 수 있다.In step S208, the
S210 단계에서, 예측부(114)는 상기 제1 정보, 상기 제2 정보, 상기 제3 정보 및 상기 신호등 상태를 예측 모델에 입력한다. In step S210, the
S212 단계에서, 예측부(114)는 상기 예측 모델을 이용하여 교차로에서의 보행자의 위험 레벨을 예측한다. 구체적으로, 예측부(114)는 상기 제1 정보, 상기 제2 정보, 상기 제3 정보 및 상기 신호등 상태와 가장 유사한 과거의 학습 데이터를 선별하고, 상기 학습 데이터를 참조하여 상기 교차로에서의 보행자의 위험 레벨을 예측하되, 상기 교차로에 진입하는 차량과 상기 횡단보도 내 보행자 간의 거리를 시간대별로 예측한 후 상기 예측된 거리에 따라 상기 교차로에서의 보행자의 위험 레벨을 결정할 수 있다. 예측부(114)는 이와 같이 결정된 위험 레벨에 대한 예측 결과를 제어부(108)로 전달할 수 있다.In step S212, the
S214 단계에서, 제어부(108)는 예측부(114)에서 예측된 위험 레벨이 설정된 복수 개의 레벨 중 최상위 레벨인 경우 엘이디 표시부(106)를 제어하여 상기 차량 운전자 및 보행자에게 위험 경보 메시지(또는 사고 경보 메시지)를 각각 출력할 수 있다. 여기서, 최상위 레벨은 상기 차량과 상기 보행자 간의 거리가 설정된 기준치 미만인 경우로서 차량과 보행자 간의 거리가 매우 가깝게 예측되어 사고 위험이 있는 상황을 의미한다.In step S214, the
도 7은 예시적인 실시예들에서 사용되기에 적합한 컴퓨팅 장치를 포함하는 컴퓨팅 환경을 예시하여 설명하기 위한 블록도이다. 도시된 실시예에서, 각 컴포넌트들은 이하에 기술된 것 이외에 상이한 기능 및 능력을 가질 수 있고, 이하에 기술되지 않은 것 이외에도 추가적인 컴포넌트를 포함할 수 있다.7 is a block diagram illustrating and describing a computing environment including a computing device suitable for use in example embodiments. In the illustrated embodiment, each component may have different functions and capabilities other than those described below, and may include additional components other than those not described below.
도시된 컴퓨팅 환경(10)은 컴퓨팅 장치(12)를 포함한다. 일 실시예에서, 컴퓨팅 장치(12)는 위험 감지 및 알림 시스템(100), 또는 위험 감지 및 알림 시스템(100)에 포함되는 하나 이상의 컴포넌트일 수 있다.The illustrated
컴퓨팅 장치(12)는 적어도 하나의 프로세서(14), 컴퓨터 판독 가능 저장 매체(16) 및 통신 버스(18)를 포함한다. 프로세서(14)는 컴퓨팅 장치(12)로 하여금 앞서 언급된 예시적인 실시예에 따라 동작하도록 할 수 있다. 예컨대, 프로세서(14)는 컴퓨터 판독 가능 저장 매체(16)에 저장된 하나 이상의 프로그램들을 실행할 수 있다. 상기 하나 이상의 프로그램들은 하나 이상의 컴퓨터 실행 가능 명령어를 포함할 수 있으며, 상기 컴퓨터 실행 가능 명령어는 프로세서(14)에 의해 실행되는 경우 컴퓨팅 장치(12)로 하여금 예시적인 실시예에 따른 동작들을 수행하도록 구성될 수 있다.
컴퓨터 판독 가능 저장 매체(16)는 컴퓨터 실행 가능 명령어 내지 프로그램 코드, 프로그램 데이터 및/또는 다른 적합한 형태의 정보를 저장하도록 구성된다. 컴퓨터 판독 가능 저장 매체(16)에 저장된 프로그램(20)은 프로세서(14)에 의해 실행 가능한 명령어의 집합을 포함한다. 일 실시예에서, 컴퓨터 판독 가능 저장 매체(16)는 메모리(랜덤 액세스 메모리와 같은 휘발성 메모리, 비휘발성 메모리, 또는 이들의 적절한 조합), 하나 이상의 자기 디스크 저장 디바이스들, 광학 디스크 저장 디바이스들, 플래시 메모리 디바이스들, 그 밖에 컴퓨팅 장치(12)에 의해 액세스되고 원하는 정보를 저장할 수 있는 다른 형태의 저장 매체, 또는 이들의 적합한 조합일 수 있다.Computer-
통신 버스(18)는 프로세서(14), 컴퓨터 판독 가능 저장 매체(16)를 포함하여 컴퓨팅 장치(12)의 다른 다양한 컴포넌트들을 상호 연결한다.
컴퓨팅 장치(12)는 또한 하나 이상의 입출력 장치(24)를 위한 인터페이스를 제공하는 하나 이상의 입출력 인터페이스(22) 및 하나 이상의 네트워크 통신 인터페이스(26)를 포함할 수 있다. 입출력 인터페이스(22) 및 네트워크 통신 인터페이스(26)는 통신 버스(18)에 연결된다. 입출력 장치(24)는 입출력 인터페이스(22)를 통해 컴퓨팅 장치(12)의 다른 컴포넌트들에 연결될 수 있다. 예시적인 입출력 장치(24)는 포인팅 장치(마우스 또는 트랙패드 등), 키보드, 터치 입력 장치(터치패드 또는 터치스크린 등), 음성 또는 소리 입력 장치, 다양한 종류의 센서 장치 및/또는 촬영 장치와 같은 입력 장치, 및/또는 디스플레이 장치, 프린터, 스피커 및/또는 네트워크 카드와 같은 출력 장치를 포함할 수 있다. 예시적인 입출력 장치(24)는 컴퓨팅 장치(12)를 구성하는 일 컴포넌트로서 컴퓨팅 장치(12)의 내부에 포함될 수도 있고, 컴퓨팅 장치(12)와는 구별되는 별개의 장치로 컴퓨팅 장치(12)와 연결될 수도 있다.
이상에서 대표적인 실시예를 통하여 본 발명에 대하여 상세하게 설명하였으나, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 전술한 실시예에 대하여 본 발명의 범주에서 벗어나지 않는 한도 내에서 다양한 변형이 가능함을 이해할 것이다. 그러므로 본 발명의 권리범위는 설명된 실시예에 국한되어 정해져서는 안 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다. Although the present invention has been described in detail through representative examples above, those skilled in the art can make various modifications to the above-described embodiments without departing from the scope of the present invention. will understand Therefore, the scope of the present invention should not be limited to the described embodiments and should not be defined, and should be defined by not only the claims to be described later, but also those equivalent to these claims.
100 : 위험 감지 및 알림 시스템
102 : 제1 센서
104 : 제2 센서
106 : 엘이디 표시부
108 : 제어부
110 : 음성 안내부
112 : 영상 촬영부
114 : 예측부
116 : 피드백부
200 : 교차로
302, 304 : SMPS(Switching Mode Power Supply)100: Hazard detection and notification system
102: first sensor
104: second sensor
106: LED display unit
108: control unit
110: voice guidance unit
112: video recording unit
114: prediction unit
116: feedback unit
200: intersection
302, 304: SMPS (Switching Mode Power Supply)
Claims (4)
상기 교차로의 진입구간에 설치되어 상기 교차로를 진입하는 차량의 유무 및 상기 차량의 속도를 감지하는 제1 센서;
상기 차량이 상기 교차로에 진입한 후 우회전하였을 때 마주하는 횡단보도에 설치되어 상기 횡단보도 내 보행자의 유무를 감지하는 제2 센서;
상기 교차로의 진입구간 및 상기 횡단보도에 각각 설치되어 상기 제1 센서 및 상기 제2 센서에서의 감지결과에 따라 서로 다른 색깔의 빛을 발광하여 차량 운전자 및 보행자에게 위험 알림 메시지를 출력하는 복수 개의 엘이디 표시부;
상기 엘이디 표시부에서의 발광을 제어하는 제어부;
상기 교차로의 진입구간에 설치되어 상기 교차로를 진입하는 차량을 촬영하는 영상 촬영부; 및
상기 제1 센서에서의 감지결과, 상기 제2 센서에서의 감지결과 및 상기 영상 촬영부에서 획득된 영상 프레임을 설정된 예측 모델에 시간 흐름에 따라 순차적으로 입력하여 상기 교차로에서의 보행자의 위험 레벨을 예측하는 예측부를 포함하며,
상기 예측부는, 상기 제1 센서에서의 감지결과로부터 상기 교차로를 진입하는 차량의 속도를 포함하는 제1 정보를 획득하고, 상기 영상 프레임에 포함된 상기 차량의 종류, 크기, 개수 및 교통상황을 포함하는 제2 정보를 파악하며, 상기 제2 센서에서의 감지결과로부터 상기 횡단보도 내 상기 보행자의 위치 및 숫자를 포함하는 제3 정보를 획득하며, 상기 제1 정보, 상기 제2 정보 및 상기 제3 정보를 획득한 시점에 대응되는 상기 교차로에서의 신호등 상태를 실시간으로 수집하며, 상기 제1 정보, 상기 제2 정보, 상기 제3 정보 및 상기 신호등 상태와 가장 유사한 과거의 학습 데이터를 선별하고, 상기 학습 데이터를 참조하여 상기 교차로에서의 보행자의 위험 레벨을 예측하되, 상기 교차로에 진입하는 차량과 상기 횡단보도 내 보행자 간의 거리를 시간대별로 예측한 후 상기 예측된 거리에 따라 상기 교차로에서의 보행자의 위험 레벨을 결정하고,
상기 제어부는, 상기 위험 레벨이 설정된 복수 개의 레벨 중 최상위 레벨인 경우 상기 엘이디 표시부를 제어하여 상기 차량 운전자 및 보행자에게 위험 경보 메시지를 각각 출력하며,
상기 최상위 레벨은, 상기 차량과 상기 보행자 간의 거리가 설정된 기준치 미만인 경우이며,
상기 예측부는, 상기 교차로에서의 신호등 상태 중 상기 교차로를 통과하는 직진 차량에 대한 차량 신호 및 상기 횡단보도에서의 보행자 신호가 각각 녹색 및 빨간색인 제1 케이스, 상기 교차로에서의 신호등 상태 중 상기 교차로를 통과하는 직진 차량에 대한 차량 신호 및 상기 횡단보도에서의 보행자 신호가 모두 녹색인 제2 케이스에서 상기 위험 레벨 중 상기 최상위 레벨을 결정하는 기준치를 서로 다르게 적용하고,
상기 예측부는, 상기 제1 케이스에서 상기 위험 레벨을 상기 최상위 레벨로 결정하는 데 기준으로서 제1 기준치를 적용하고, 상기 제2 케이스에서 상기 위험 레벨을 상기 최상위 레벨로 결정하는 데 기준으로서 제2 기준치를 적용하되,
상기 제1 기준치에 대응되는 상기 차량과 보행자 간의 거리는, 상기 제2 기준치에 대응되는 상기 차량과 보행자 간의 거리보다 작고,
상기 교차로에서 우회전 차량에 대한 보행자의 위험 감지 및 알림 시스템은,
상기 횡단보도 내 또는 상기 횡단보도로부터 설정된 거리 이내의 지점에서 차량과 보행자와의 충돌 이력을 수집하고, 상기 차량과 보행자와의 충돌이 발생된 시점으로부터 전후 설정된 시간 이내의 상기 제1 정보, 상기 제2 정보, 상기 제3 정보 및 상기 신호등 상태를 포함하는 제1 피드백 정보를 상기 예측 모델에 입력하고, 상기 횡단보도 내 또는 상기 횡단보도로부터 설정된 거리 이내의 지점에서 차량의 급정거 또는 경적 발생에 대한 이력을 수집하고, 상기 차량의 급정거 또는 경적 발생이 일어난 시점으로부터 전후 설정된 시간 이내의 상기 제1 정보, 상기 제2 정보, 상기 제3 정보 및 상기 신호등 상태를 포함하는 제2 피드백 정보를 상기 예측 모델에 입력하는 피드백부를 더 포함하며,
상기 예측부는, 상기 실시간으로 수집되는 상기 제1 정보, 상기 제2 정보, 상기 제3 정보 및 상기 신호등 상태가 상기 제2 피드백 정보와 대응되는 경우 상기 제어부로 위험 경보 메시지를 전달하고, 상기 실시간으로 수집되는 상기 제1 정보, 상기 제2 정보, 상기 제3 정보 및 상기 신호등 상태가 상기 제1 피드백 정보와 대응되는 경우 상기 제어부로 사고 경보 메시지를 전달하며,
상기 제어부는, 상기 차량 운전자 및 보행자에게 상기 사고 경보 메시지 또는 상기 위험 경보 메시지를 출력하도록 상기 엘이디 표시부 또는 음성 안내부를 제어하되,
상기 사고 경보 메시지는, 상기 위험 경보 메시지와 비교하여 상기 엘이디 표시부에서의 발광 및 상기 음성 안내부에서의 음성 출력이 상이한, 교차로에서 우회전 차량에 대한 보행자의 위험 감지 및 알림 시스템.As a pedestrian danger detection and notification system for vehicles turning right at an intersection,
a first sensor installed in the entry section of the intersection to detect whether or not there is a vehicle entering the intersection and the speed of the vehicle;
a second sensor installed at a crosswalk facing the vehicle when turning right after entering the intersection and detecting the presence or absence of a pedestrian in the crosswalk;
A plurality of LEDs installed at the entrance section of the intersection and the crosswalk, respectively, to output a danger notification message to vehicle drivers and pedestrians by emitting light of different colors according to the detection results of the first sensor and the second sensor. display unit;
a control unit controlling light emission from the LED display unit;
an image capture unit installed in an entry section of the intersection and capturing a vehicle entering the intersection; and
The detection result from the first sensor, the detection result from the second sensor, and the image frame obtained from the image capture unit are sequentially input to a set predictive model over time to predict the danger level of pedestrians at the intersection. It includes a prediction unit that
The prediction unit obtains first information including a speed of a vehicle entering the intersection from a detection result of the first sensor, and includes the type, size, number, and traffic condition of the vehicle included in the image frame. The second information to be grasped, and the third information including the position and number of the pedestrian in the crosswalk is obtained from the detection result of the second sensor, and the first information, the second information and the third information are obtained. Collects the traffic light conditions at the intersection corresponding to the time of acquiring the information in real time, selects the first information, the second information, the third information, and past learning data most similar to the traffic light conditions, The danger level of pedestrians at the intersection is predicted with reference to the learning data, and the distance between a vehicle entering the intersection and a pedestrian in the crosswalk is predicted for each time period, and the danger level of the pedestrian at the intersection is predicted according to the predicted distance. determine the level
The control unit controls the LED display unit to output a danger warning message to the vehicle driver and the pedestrian, respectively, when the danger level is the highest level among a plurality of set levels;
The highest level is when the distance between the vehicle and the pedestrian is less than a set reference value,
The prediction unit determines a first case in which, among traffic light conditions at the intersection, a vehicle signal for a vehicle passing straight through the intersection and a pedestrian signal at the crosswalk are green and red, respectively, and the intersection among traffic light conditions at the intersection. In a second case in which both a vehicle signal for a passing straight vehicle and a pedestrian signal at the crosswalk are green, different reference values for determining the highest level among the danger levels are applied,
The prediction unit applies a first reference value as a criterion for determining the risk level as the highest level in the first case, and a second reference value as a criterion for determining the risk level as the highest level in the second case. apply,
The distance between the vehicle and the pedestrian corresponding to the first reference value is smaller than the distance between the vehicle and the pedestrian corresponding to the second reference value;
The pedestrian danger detection and notification system for vehicles turning right at the intersection,
A history of collision between a vehicle and a pedestrian is collected at a point within the crosswalk or within a set distance from the crosswalk, and the first information and the first information within a set time before and after the collision between the vehicle and the pedestrian occurred. 2 information, the third information, and the first feedback information including the traffic light state are input to the predictive model, and history of sudden stop of the vehicle or horn generation at a point within the crosswalk or within a set distance from the crosswalk is collected, and the second feedback information including the first information, the second information, the third information, and the traffic light state within a set time before and after the sudden stop or horn generation of the vehicle occurs is converted to the prediction model. Further comprising a feedback unit to input,
The prediction unit transmits a danger alert message to the controller when the first information, the second information, the third information, and the traffic light state collected in real time correspond to the second feedback information, and When the first information, the second information, the third information, and the collected traffic light state correspond to the first feedback information, an accident alert message is transmitted to the control unit;
The control unit controls the LED display unit or the voice guidance unit to output the accident warning message or the danger warning message to the vehicle driver and the pedestrian,
The accident warning message is a pedestrian danger detection and notification system for a right-turning vehicle at an intersection, wherein light emission from the LED display unit and audio output from the voice guidance unit are different compared to the danger warning message.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020220125087A KR102494493B1 (en) | 2022-09-30 | 2022-09-30 | System for detecting and notifying danger of pedestrian for right turn vehicle at intersection |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020220125087A KR102494493B1 (en) | 2022-09-30 | 2022-09-30 | System for detecting and notifying danger of pedestrian for right turn vehicle at intersection |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR102494493B1 true KR102494493B1 (en) | 2023-01-31 |
Family
ID=85108990
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020220125087A KR102494493B1 (en) | 2022-09-30 | 2022-09-30 | System for detecting and notifying danger of pedestrian for right turn vehicle at intersection |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102494493B1 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116665154A (en) * | 2023-07-27 | 2023-08-29 | 山东科技大学 | Sensing and early warning method for night road pedestrian traffic event |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100956978B1 (en) * | 2009-09-21 | 2010-05-11 | 주식회사 토페스 | The system which integrated manages a traffic accident notice area |
| KR101338124B1 (en) * | 2012-11-09 | 2013-12-06 | 재단법인대구경북과학기술원 | Smart traffic controll system |
| KR20190062184A (en) * | 2017-11-27 | 2019-06-05 | 고려대학교 산학협력단 | System and method for pedestrian-vehicle collision warning based on pedestrian state |
| KR102254992B1 (en) | 2019-01-10 | 2021-05-24 | 주식회사 위츠 | Pedestrian traffic safety device at intersection |
| KR20210086381A (en) * | 2019-12-30 | 2021-07-08 | 계명대학교 산학협력단 | System and Method for Predicting Traffic Accident Risk |
| KR102280338B1 (en) * | 2020-12-01 | 2021-07-21 | 주식회사 블루시그널 | Crossroad danger alarming system based on surroundings estimation |
| KR102287609B1 (en) * | 2020-12-11 | 2021-08-10 | 주식회사 바이다 | Pedestrian safety system |
| KR20220016397A (en) * | 2020-07-31 | 2022-02-09 | 주식회사 만도모빌리티솔루션즈 | Collision risk reduction apparatus and method |
-
2022
- 2022-09-30 KR KR1020220125087A patent/KR102494493B1/en active IP Right Grant
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100956978B1 (en) * | 2009-09-21 | 2010-05-11 | 주식회사 토페스 | The system which integrated manages a traffic accident notice area |
| KR101338124B1 (en) * | 2012-11-09 | 2013-12-06 | 재단법인대구경북과학기술원 | Smart traffic controll system |
| KR20190062184A (en) * | 2017-11-27 | 2019-06-05 | 고려대학교 산학협력단 | System and method for pedestrian-vehicle collision warning based on pedestrian state |
| KR102254992B1 (en) | 2019-01-10 | 2021-05-24 | 주식회사 위츠 | Pedestrian traffic safety device at intersection |
| KR20210086381A (en) * | 2019-12-30 | 2021-07-08 | 계명대학교 산학협력단 | System and Method for Predicting Traffic Accident Risk |
| KR20220016397A (en) * | 2020-07-31 | 2022-02-09 | 주식회사 만도모빌리티솔루션즈 | Collision risk reduction apparatus and method |
| KR102280338B1 (en) * | 2020-12-01 | 2021-07-21 | 주식회사 블루시그널 | Crossroad danger alarming system based on surroundings estimation |
| KR102287609B1 (en) * | 2020-12-11 | 2021-08-10 | 주식회사 바이다 | Pedestrian safety system |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116665154A (en) * | 2023-07-27 | 2023-08-29 | 山东科技大学 | Sensing and early warning method for night road pedestrian traffic event |
| CN116665154B (en) * | 2023-07-27 | 2023-10-20 | 山东科技大学 | Sensing and early warning method for night road pedestrian traffic event |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6501851B2 (en) | Driver assistance device with man-machine interface system | |
| US10860019B2 (en) | Planning autonomous motion | |
| KR102593948B1 (en) | Automatic selection of data samples for annotation | |
| CN110738870B (en) | System and method for avoiding collision routes | |
| KR102029656B1 (en) | IoT based Embedded traffic signal autonomous operation system | |
| US9524643B2 (en) | Orientation sensitive traffic collision warning system | |
| US10839691B2 (en) | Driving assistance apparatus, driving assistance system, and driving assistance method | |
| KR102101956B1 (en) | Enforcement system for school-zone using pedestrian detection | |
| KR102494493B1 (en) | System for detecting and notifying danger of pedestrian for right turn vehicle at intersection | |
| KR102465686B1 (en) | System for implementing fallback behaviors for autonomous vehicles | |
| CN110740916B (en) | Processing request signals related to operation of autonomous vehicles | |
| KR20170119842A (en) | Apparatus and method for controlling autonomous driving vehicle | |
| US20210245735A1 (en) | Automatic parking assistance system, in-vehicle device and method | |
| KR102453672B1 (en) | Estimating speed profiles | |
| JP2016130966A (en) | Risk estimation device, risk estimation method and computer program for risk estimation | |
| US11355006B1 (en) | Crosswalk system and electronic device for providing indication around crosswalk | |
| US11273762B2 (en) | Vehicle control device | |
| WO2023028208A1 (en) | Techniques for detecting road blockages and generating alternative routes | |
| KR102174863B1 (en) | Autonomous Vehicle Exterior Display Interaction Apparatus and Method | |
| KR102422235B1 (en) | System for intelligently notifying traffic jam in tunnel | |
| KR102372439B1 (en) | Device for controlling light of road tunnel | |
| JP4968004B2 (en) | Safe driving support device, safe driving support system, safe driving support method, and computer program | |
| KR20170114296A (en) | Smart traffic signal system | |
| EP3454269A1 (en) | Planning autonomous motion | |
| KR20190143626A (en) | System and method for displaying information |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |