KR102608705B1 - 도로의 사고 발생 위험을 알리는 안전제어 신호를 생성하는 방법 및 장치 - Google Patents
도로의 사고 발생 위험을 알리는 안전제어 신호를 생성하는 방법 및 장치 Download PDFInfo
- Publication number
- KR102608705B1 KR102608705B1 KR1020230036845A KR20230036845A KR102608705B1 KR 102608705 B1 KR102608705 B1 KR 102608705B1 KR 1020230036845 A KR1020230036845 A KR 1020230036845A KR 20230036845 A KR20230036845 A KR 20230036845A KR 102608705 B1 KR102608705 B1 KR 102608705B1
- Authority
- KR
- South Korea
- Prior art keywords
- road
- information
- safety control
- control signal
- time
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 37
- 238000005259 measurement Methods 0.000 claims abstract description 36
- 230000006870 function Effects 0.000 claims description 16
- 230000007613 environmental effect Effects 0.000 claims description 6
- 230000006399 behavior Effects 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 17
- 238000004891 communication Methods 0.000 description 11
- 238000005070 sampling Methods 0.000 description 10
- 238000004590 computer program Methods 0.000 description 8
- 230000008569 process Effects 0.000 description 8
- 206010039203 Road traffic accident Diseases 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 231100001261 hazardous Toxicity 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 239000000428 dust Substances 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000003062 neural network model Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012502 risk assessment Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
- G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/09—Arrangements for giving variable traffic instructions
- G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
- G08G1/0967—Systems involving transmission of highway information, e.g. weather, speed limits
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
- G08G1/0108—Measuring and analyzing of parameters relative to traffic conditions based on the source of data
- G08G1/0116—Measuring and analyzing of parameters relative to traffic conditions based on the source of data from roadside infrastructure, e.g. beacons
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
- G08G1/0125—Traffic data processing
- G08G1/0133—Traffic data processing for classifying traffic situation
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
- G08G1/0137—Measuring and analyzing of parameters relative to traffic conditions for specific applications
- G08G1/0141—Measuring and analyzing of parameters relative to traffic conditions for specific applications for traffic information dissemination
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/04—Detecting movement of traffic to be counted or controlled using optical or ultrasonic detectors
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/09—Arrangements for giving variable traffic instructions
- G08G1/091—Traffic information broadcasting
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/09—Arrangements for giving variable traffic instructions
- G08G1/095—Traffic lights
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/09—Arrangements for giving variable traffic instructions
- G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
- G08G1/0967—Systems involving transmission of highway information, e.g. weather, speed limits
- G08G1/096708—Systems involving transmission of highway information, e.g. weather, speed limits where the received information might be used to generate an automatic action on the vehicle control
- G08G1/096716—Systems involving transmission of highway information, e.g. weather, speed limits where the received information might be used to generate an automatic action on the vehicle control where the received information does not generate an automatic action on the vehicle control
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/09—Arrangements for giving variable traffic instructions
- G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
- G08G1/0967—Systems involving transmission of highway information, e.g. weather, speed limits
- G08G1/096708—Systems involving transmission of highway information, e.g. weather, speed limits where the received information might be used to generate an automatic action on the vehicle control
- G08G1/096725—Systems involving transmission of highway information, e.g. weather, speed limits where the received information might be used to generate an automatic action on the vehicle control where the received information generates an automatic action on the vehicle control
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/09—Arrangements for giving variable traffic instructions
- G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
- G08G1/0967—Systems involving transmission of highway information, e.g. weather, speed limits
- G08G1/096733—Systems involving transmission of highway information, e.g. weather, speed limits where a selection of the information might take place
- G08G1/096741—Systems involving transmission of highway information, e.g. weather, speed limits where a selection of the information might take place where the source of the transmitted information selects which information to transmit to each vehicle
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/09—Arrangements for giving variable traffic instructions
- G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
- G08G1/0967—Systems involving transmission of highway information, e.g. weather, speed limits
- G08G1/096766—Systems involving transmission of highway information, e.g. weather, speed limits where the system is characterised by the origin of the information transmission
- G08G1/096783—Systems involving transmission of highway information, e.g. weather, speed limits where the system is characterised by the origin of the information transmission where the origin of the information is a roadside individual element
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Atmospheric Sciences (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Engineering & Computer Science (AREA)
- Traffic Control Systems (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Computational Linguistics (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Signal Processing (AREA)
Abstract
본 개시는 도로의 안전제어 신호를 생성하는 방법 및 장치에 관한 것이다. 본 개시의 일 실시예는, 도로에 대한 영상으로부터 획득된 제1 시점(time point)에서의 동적 정보 및 상기 제1 시점에서의 안전제어 신호를 포함하는, 상기 제1 시점에서의 도로 상태 정보를 예측 모델에 입력하는 단계; 상기 예측 모델을 이용하여 상기 제1 시점 이후의 제2 시점에 대한 위험상황 예측 정보를 추론하는 단계; 및 상기 추론된 위험상황 예측 정보에 기초하여 상기 제2 시점에서의 상기 도로의 사고 발생 위험을 알리는 안전제어 신호를 생성하는 단계;를 포함하고, 상기 예측 모델은, 특정 시점 이전의 도로 상태 정보로부터 상기 특정 시점에 대해 추론된 위험상황 예측 정보 및 상기 특정 시점에서의 도로 상태 정보로부터 계산된 위험상황 측정 정보로 구성된 손실함수를 이용하여 학습되는, 도로의 안전제어 신호를 생성하는 방법을 제공한다.
Description
본 개시는 도로의 사고 발생 위험을 알리는 안전제어 신호를 생성하는 방법 및 장치를 제공한다.
최근에는 도로 이용자들에 대한 교통정보 수요 증가와 효율적인 도로 이용을 위해 지능형 교통 시스템(ITS, Intelligent Transport System)의 활용이 증가되는 추세이다.
특히 교차로나 우회전 차로와 같이 교통사고 위험성이 높은 도로에서의 사고 발생을 예방하기 위한 다양한 방법들이 제안되고 있다.
주행 중인 차량의 경우 칼만 필터 등을 사용하여 단기 궤적을 추정하는 기술을 활용할 수 있으나 횡단보도의 경우 횡단보도가 위치한 공간적 특성, 차량의 회전 의도 등에 따라 차량의 궤적 추정이 어려우며, 교통 신호 및 보행자의 보행 의도 등에 의해 위험 상황에 대한 심각도 예측 또한 어려운 것이 실정이다.
사고 발생을 효율적으로 예방하기 위해서는 위험 상황을 예측하는 모델의 정확도가 개선되어야 하며 개별 환경에 따라 모델의 개별적인 개선이 필요하다.
전술한 배경기술은 발명자가 본 발명의 도출을 위해 보유하고 있었거나, 본 발명의 도출 과정에서 습득한 기술 정보로서, 반드시 본 발명의 출원 전에 일반 공중에게 공개된 공지기술이라 할 수는 없다.
본 개시의 목적은 도로의 사고 발생 위험을 알리는 안전제어 신호를 생성하는 방법 및 장치를 제공하는 데 있다. 본 개시가 해결하고자 하는 과제는 이상에서 언급한 과제에 한정되지 않으며, 언급되지 않은 본 개시의 다른 과제 및 장점들은 하기의 설명에 의해서 이해될 수 있고, 본 개시의 실시예에 의해 보다 분명하게 이해될 것이다. 또한, 본 개시가 해결하고자 하는 과제 및 장점들은 특허 청구범위에 나타난 수단 및 그 조합에 의해 실현될 수 있음을 알 수 있을 것이다.
본 개시의 제1 측면은, 도로에 대한 영상으로부터 획득된 제1 시점(time point)에서의 동적 정보 및 상기 제1 시점에서의 안전제어 신호를 포함하는, 상기 제1 시점에서의 도로 상태 정보를 예측 모델에 입력하는 단계; 상기 예측 모델을 이용하여 상기 제1 시점 이후의 제2 시점에 대한 위험상황 예측 정보를 추론하는 단계; 및 상기 추론된 위험상황 예측 정보에 기초하여 상기 제2 시점에서의 상기 도로의 사고 발생 위험을 알리는 안전제어 신호를 생성하는 단계;를 포함하고, 상기 예측 모델은, 특정 시점 이전의 도로 상태 정보로부터 상기 특정 시점에 대해 추론된 위험상황 예측 정보 및 상기 특정 시점에서의 도로 상태 정보로부터 계산된 위험상황 측정 정보로 구성된 손실함수를 이용하여 학습되는, 도로의 안전제어 신호를 생성하는 방법을 제공할 수 있다.
본 개시의 제2 측면은, 적어도 하나의 프로그램이 저장된 메모리; 및 상기 적어도 하나의 프로그램을 실행함으로써 연산을 수행하는 적어도 하나의 프로세서를 포함하고, 상기 적어도 하나의 프로세서는, 도로에 대한 영상으로부터 획득된 제1 시점(time point)에서의 동적 정보 및 상기 제1 시점에서의 안전제어 신호를 포함하는, 상기 제1 시점에서의 도로 상태 정보를 예측 모델에 입력하고, 상기 예측 모델을 이용하여 상기 제1 시점 이후의 제2 시점에 대한 위험상황 예측 정보를 추론하고, 상기 추론된 위험상황 예측 정보에 기초하여 상기 제2 시점에서의 상기 도로의 사고 발생 위험을 알리는 안전제어 신호를 생성하되, 상기 예측 모델은, 특정 시점 이전의 도로 상태 정보로부터 상기 특정 시점에 대해 추론된 위험상황 예측 정보 및 상기 특정 시점에서의 도로 상태 정보로부터 계산된 위험상황 측정 정보로 구성된 손실함수를 이용하여 학습되는, 도로의 안전제어 신호를 생성하는 장치를 제공할 수 있다.
본 개시의 제 3 측면은, 제 1 측면의 방법을 컴퓨터에서 실행하기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공할 수 있다.
이 외에도, 본 발명을 구현하기 위한 다른 방법, 다른 장치 및 상기 방법을 실행하기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체가 더 제공될 수 있다.
전술한 것 외의 다른 측면, 특징, 이점이 이하의 도면, 특허 청구범위 및 발명의 상세한 설명으로부터 명확해질 것이다.
전술한 본 개시의 과제 해결 수단에 의하면, 도로에서 발생할 수 있는 위험 상황 및 심각도에 대한 예측 정확성을 개선하여 교통 사고를 예방할 수 있다.
또한, 본 개시의 과제 해결 수단에 의하면, 효과적인 안전제어 신호를 생성 및 제공하여 교통 사고를 예방할 수 있다.
도 1은 일 실시예에 따른 도로의 안전제어 신호를 생성하는 장치의 구현 예시도이다.
도 2는 일 실시예에 따른 도로에 대한 영상의 개략적인 예시도이다.
도 3은 일 실시예에 따른 예측 모델을 이용하여 위험상황 예측 정보를 추론하는 방법을 설명하기 위한 도면이다.
도 4는 일 실시예에 따른 위험상황 예측 정보를 추론함에 있어 안전제어 신호가 활용되는 과정을 설명하기 위한 도면이다.
도 5는 일 실시예에 따른 위험상황 예측 정보의 예시도이다.
도 6은 일 실시예에 따른 위험상황 측정 정보를 계산하는 과정을 설명하기 위한 도면이다.
도 7은 일 실시예에 따른 예측 모델이 갱신되는 과정을 설명하기 위한 도면이다.
도 8은 일 실시예에 따른 학습 데이터를 구성하는 방법을 설명하기 위한 도면이다.
도 9는 일 실시예에 따른 도로의 안전제어 신호를 생성하는 방법의 흐름도이다.
도 10은 일 실시예에 따른 도로의 안전제어 신호를 생성하는 장치의 블록도이다.
도 2는 일 실시예에 따른 도로에 대한 영상의 개략적인 예시도이다.
도 3은 일 실시예에 따른 예측 모델을 이용하여 위험상황 예측 정보를 추론하는 방법을 설명하기 위한 도면이다.
도 4는 일 실시예에 따른 위험상황 예측 정보를 추론함에 있어 안전제어 신호가 활용되는 과정을 설명하기 위한 도면이다.
도 5는 일 실시예에 따른 위험상황 예측 정보의 예시도이다.
도 6은 일 실시예에 따른 위험상황 측정 정보를 계산하는 과정을 설명하기 위한 도면이다.
도 7은 일 실시예에 따른 예측 모델이 갱신되는 과정을 설명하기 위한 도면이다.
도 8은 일 실시예에 따른 학습 데이터를 구성하는 방법을 설명하기 위한 도면이다.
도 9는 일 실시예에 따른 도로의 안전제어 신호를 생성하는 방법의 흐름도이다.
도 10은 일 실시예에 따른 도로의 안전제어 신호를 생성하는 장치의 블록도이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 설명되는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 아래에서 제시되는 실시예들로 한정되는 것이 아니라, 서로 다른 다양한 형태로 구현될 수 있고, 본 발명의 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 아래에 제시되는 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 “가지다” 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
본 개시의 일부 실시예는 기능적인 블록 구성들 및 다양한 처리 단계들로 나타내어질 수 있다. 이러한 기능 블록들의 일부 또는 전부는, 특정 기능들을 실행하는 다양한 개수의 하드웨어 및/또는 소프트웨어 구성들로 구현될 수 있다. 예를 들어, 본 개시의 기능 블록들은 하나 이상의 마이크로프로세서들에 의해 구현되거나, 소정의 기능을 위한 회로 구성들에 의해 구현될 수 있다. 또한, 예를 들어, 본 개시의 기능 블록들은 다양한 프로그래밍 또는 스크립팅 언어로 구현될 수 있다. 기능 블록들은 하나 이상의 프로세서들에서 실행되는 알고리즘으로 구현될 수 있다. 또한, 본 개시는 전자적인 환경 설정, 신호 처리, 및/또는 데이터 처리 등을 위하여 종래 기술을 채용할 수 있다. "매커니즘", "요소", "수단" 및 "구성"등과 같은 용어는 넓게 사용될 수 있으며, 기계적이고 물리적인 구성들로서 한정되는 것은 아니다.
또한, 도면에 도시된 구성 요소들 간의 연결 선 또는 연결 부재들은 기능적인 연결 및/또는 물리적 또는 회로적 연결들을 예시적으로 나타낸 것일 뿐이다. 실제 장치에서는 대체 가능하거나 추가된 다양한 기능적인 연결, 물리적인 연결, 또는 회로 연결들에 의해 구성 요소들 간의 연결이 나타내어질 수 있다.
이하 첨부된 도면을 참고하여 본 개시를 상세히 설명하기로 한다.
도 1은 일 실시예에 따른 도로의 안전제어 신호를 생성하는 장치의 구현 예시도이다.
도 1을 참조하면, 도로의 안전제어 신호를 생성하는 장치(이하, '장치'라 함)의 구현 환경(100)은 하나 이상의 센서(110), 장치(120) 및 예측 모델(130)을 포함할 수 있다.
도 1에서는 센서(110) 및 예측 모델(130)이 장치(120) 외부에 별도로 존재하는 구성으로 도시하였으나, 센서(110) 및 예측 모델(130)은 장치(120)에 포함된 구성일 수 있다.
센서(110)는 소정의 도로 환경에 대한 영상(이하, '도로에 대한 영상')을 촬영하기 위한 촬영 장치를 포함할 수 있다. 센서(110)는 가시광선, 적외선 등 일정 범위의 파장의 영상을 촬영할 수 있는 촬영 장치 또는 센서를 포함할 수 있다. 이에 따라, 센서(110)는 주간이나 야간, 또는 현재의 상황에 따라 서로 다른 파장 영역의 영상을 촬영하여 도로에 대한 영상을 획득할 수 있다. 이 때, 센서(110)는 미리 설정한 주기로 도로에 대한 영상을 획득할 수 있다. 도로에 대한 영상은, 도로에 대한 이미지를 포함한다.
센서(110)는 촬영 장치 이외에도 레이더(RAdio Detection And Ranging, RADAR), 라이다(Light Detection And Ranging, LiDAR) 등의 장치를 포함할 수 있다. 이 때, 도로에 대한 영상은 도로에 대한 이미지 뿐만 아니라 RADAR 및/또는 LiDAR의 도로에 대한 센싱 결과인, 복수의 측정 포인트를 포함할 수 있다. 예를 들어, 센서(110)가 RADAR인 경우, 센서(110)는 전파를 방사하고, 주변 객체에 반사되어 입사되는 반사파들을 감지함으로써 복수의 측정 포인트를 획득할 수 있다. 장치(120) 또는 센서(110)는 복수의 측정 포인트를 점군 또는 벡터 데이터로 변환하고, 도식화함으로써 도로에 대한 영상을 획득할 수 있다.
장치(120)는 서로 다른 복수의 센서(110) 각각으로부터 획득된 데이터에 기초하여 도로에 대한 영상을 획득하거나, 도로에 대한 영상으로부터 동적 정보를 획득할 수 있다. 즉, 장치(120)는 이종의 센서(110)가 획득한 데이터를 병행하여 사용할 수 있다.
도로에 대한 영상은 교차로, 우회전 차로 등 교통사고 위험성이 높은 도로 환경을 포함할 수 있다. 또한, 도로에 대한 영상은 횡단보도 영역을 포함할 수 있다. 센서(110)는 도로에 설치되되 교통사고 위험성이 높은 국소 지역에 설치될 수 있다.
장치(120)는 센서(110)가 획득한 도로에 대한 영상에 기초하여 동적 정보를 추출할 수 있다. 동적 정보는 도로에 대한 영상에 포함된 동적 객체(차량, 보행자 등)의 거동에 관한 정보일 수 있다.
장치(120)는 동적 정보를 포함하는 도로 상태 정보를 예측 모델(130)에 입력할 수 있다.
예측 모델(130)은 소정의 도로 환경에서 발생할 수 있는 위험상황을 예측할 수 있다. 예측 모델(130)은 뉴럴 네트워크(Neural Network) 모델일 수 있으며, 학습 및 훈련에 의해 예측의 정확도가 개선될 수 있다. 일 예로서, 횡단보도의 경우 동적 정보의 분석이 어렵고 변수가 많아 위험상황을 정확하게 예측하는 것이 현실적으로 어렵다. 따라서 예측 모델(130)을 지속적으로 갱신하여 교통사고 발생을 미연에 예방하는 것이 중요하다.
장치(120)는 예측 모델(130)을 이용하여 위험상황 예측 정보를 추론할 수 있다. 일 예로서, 장치(120)는 미리 설정한 주기로 위험상황 예측 정보를 추론할 수 있다. 이 때, 미리 설정한 주기는 소정의 도로 환경에 대한 영상을 획득하는 주기와 동일할 수 있다. 이하의 설명에서, 전술한 미리 설정한 주기를 샘플링(Sampling) 주기라고 한다.
장치(120)는 예측 모델(130)로부터 위험상황 예측 정보를 수신하여 소정의 시간 이후의 안전제어 신호를 생성할 수 있다. 또한, 장치(120)는 안전제어 신호를 도로의 차량, 도로의 안전제어기 및 관제 센터에 송신할 수 있다.
도 2는 일 실시예에 따른 도로에 대한 영상의 개략적인 예시도이다.
도 2를 참조하면, 센서가 획득한 도로에 대한 영상(200)은 도로를 위에서 수직으로 내려다본 정면도로 표현되었으나, 도로에 대한 영상(200)은 센서가 설치된 위치, 높이 및 촬영 각도에 따라 다양한 구도를 가질 수 있다.
일 실시예에서, 도로에 대한 영상(200)에는 동적 객체가 포함될 수 있다. 동적 객체의 일 예로서, 차량(201, 202, 203) 및 보행자(210, 220)가 있다. 또한, 도로에 대한 영상(200)에는 안전제어기(미도시)가 포함될 수 있다.
안전제어기(미도시)의 일 예로서, 차량 운전자 및 보행자에게 위험발생 알림 신호를 표출하기 위하여 빛(예컨대, LED)을 발광 또는 점멸하는 발광 신호기 및 음성을 출력하는 음향 신호기와, 차량 운전자 및 보행자의 주의를 환기하기 위하여 제어되는 표지 신호기 및 차량 및 보행자의 이동을 물리적으로 차단하는 차단 신호기 등을 포함할 수 있다.
안전제어기(미도시)의 다른 예로서, 자율주행 차량 또는 OBU(On-Board Unit)가 탑재된 차량에 위험 신호를 전송하는 송신기를 포함할 수 있다. 구체적으로, 안전제어기(미도시)는 자율주행 차량 또는 OBU가 탑재된 주변 차량에 메시지를 송신하는 방법에 기초하여 위험발생 알림 신호를 표출할 수 있다. 이 때, 메시지는 RSA(Road Side Alert) 메시지일 수 있으며, RSA 메시지는 위험 상황의 종류, 위치, 시간 등의 정보가 포함될 수 있다. 한편, 송신기는 주변 차량과 DSRC(Dedicated Short Range Communication), LTE, 5G 등의 통신기술을 기반으로 한방향 또는 양방향 통신할 수 있다.
일 실시예예서, 장치는 도로에 대한 영상(200) 기초하여 동적 정보를 추출할 수 있다.
동적 정보는 횡단보도에 접근하는 하나 이상의 차량(201, 202, 203)에 대하여, 상기 차량(201, 202, 203)의 궤적, 속도, 가속도, 위치, 헤딩 방향 등을 포함할 수 있다. 또한, 동적 정보는, 횡단보도 주변 보행하거나 횡단보도를 횡단하는 하나 이상의 보행자(210, 220)에 대하여, 상기 보행자의 궤적, 속도, 가속도, 위치 등을 포함할 수 있다. 이 때, 차량(201, 202, 203) 및 보행자(210, 220)의 위치는 횡단보도 영역에 대한 상대적인 위치로 정의될 수 있다.
또한, 동적 정보는 차량(201, 202, 203) 운전자 및 보행자(210, 220)에 대하여 규격화하여 표현할 수 있는 모든 정보를 포함할 수 있다. 예를 들어, 동적 정보는 차량(201, 202, 203) 운전자 및 보행자(210, 220)가 응시하고 있는 방향에 대한 정보를 포함할 수 있다.
일 실시예에서, 도로에 대한 영상(200)은 도로에 표출된 안전제어 신호를 포함할 수 있다. 안전제어 신호는, 도로에 대한 영상(200)이 촬영되는 시점 이전에 추론된 위험상황 예측 정보에 기초하여, 도로에 대한 영상(200)이 촬영되는 시점에 도로에 적용됨으로써, 도로에 대한 영상(200)에 표출될 수 있다.
도로에 대한 영상(200)은 교차로 및 횡단보도를 포함할 수 있다. 횡단보도는, 교차로의 우회전 차로를 기준으로 1차 횡단보도 및 2차 횡단보도로 구분될 수 있다. 1차 횡단보도 및 2차 횡단보도는 우회전 차로를 기준으로 상대적으로 결정될 수 있다.
예를 들어, 차량(201)이 우회전하는 상황을 가정하면 우회전 차로에는 두 개의 횡단보도(230, 240)가 존재할 수 있다. 이 때, 우회전 차로의 전면에 위치하여, 우회전 차량(201)이 우회전을 위해 진입하는 횡단보도(230)가 1차 횡단보도가 될 수 있다. 또한, 우회전 차로의 측면에 위치하여, 우회전 차량(201)이 우회전 후 진출하는 횡단보도(240)가 2차 횡단보도가 될 수 있다.
마찬가지로, 차량(202)이 우회전하는 상황을 가정하면 우회전 차로에는 두 개의 횡단보도(240, 250)가 존재할 수 있다. 이 때, 우회전 차로의 전면에 위치하여, 우회전 차량(202)이 우회전을 위해 진입하는 횡단보도(240)가 1차 횡단보도가 될 수 있다. 또한, 우회전 차로의 측면에 위치하여, 우회전 차량(202)이 우회전 후 진출하는 횡단보도(250)가 2차 횡단보도가 될 수 있다.
다시 말해, 동일한 횡단보도(240)에 대하여 우회전 차로를 기준으로 1차 횡단보도인지 2차 횡단보도인지 여부가 상대적으로 결정될 수 있다.
도로에 대한 영상(200)을 참조하면, 교차로에는 다양한 위험상황이 존재할 수 있다. 예를 들어, 차량(201, 202)이 우회전하는 상황을 가정하면, 보행자(210, 220)와의 관계에서 위험상황이 발생할 수 있다. 이 때, 위험상황별 심각도가 상이하게 존재할 수 있다.
구체적으로, 차량(201)이 1차 횡단보도(230)를 향하여 주행하되, 서행하거나 속도를 줄이면 2차 횡단보도(240)를 횡단하기 위해 보행중인 보행자(210)와의 관계에서, 1차 횡단보도(230)에서의 충돌 가능성은 0에 가까우며 2차 횡단보도(240)에서의 충돌 가능성 또한 비교적 낮을 것이다.
또한, 차량(202)이 1차 횡단보도(230)를 향하여 주행하되 서행하지 않거나 속도를 줄이지 않으면 1차 횡단보도(240)를 향하여 정지하고 있는 보행자(220)와의 관계에서, 1차 횡단보도(240)에서의 충돌 가능성은 비교적 낮으며 2차 횡단보도(250)에서의 충돌 가능성은 0에 가까울 것이다.
또한, 차량(203)이 1차 횡단보도(240)를 지나 주행하되 서행하지 않거나 속도를 줄이지 않는다면, 차량(203)은 우회전 의도가 없으며 계속하여 직진 차로를 주행할 것임을 알 수 있다. 이 때, 차량(203)은 보행자(210, 220)와의 관계에서 충돌 가능성은 0에 가까울 것이다.
전술한 실시예에서, 충돌(자세하게는, 보행자 및 차량의 충돌)은 위험상황의 유형에 해당하고, 충돌 가능성은 위험상황의 심각도에 대응될 수 있다. 후술할 바와 같이, 예측 모델은 교통공학적으로 정의된 다양한 위험상황의 유형과, 위험상황 유형별 심각도를 추론할 수 있으며 추론된 예측 값을 위험상황 예측 정보로 출력할 수 있다.
도 3은 일 실시예에 따른 예측 모델을 이용하여 위험상황 예측 정보를 추론하는 방법을 설명하기 위한 도면이다.
장치는 제1 시점(t*)에서의 도로 상태 정보를 예측 모델에 입력할 수 있다.
일 실시예에서, 도로 상태 정보는, 전술한 동적 정보 및 안전제어 신호를 포함할 수 있다. 또한, 도로 상태 정보는, 도로의 교통신호 정보 및/또는 도로의 환경 정보를 더 포함할 수 있다.
교통신호 정보는 교차로의 차량 신호기의 점등 및 점멸 정보와 횡단보도의 보행자 신호기의 점등 및 점멸 정보를 포함할 수 있다. 예를 들어, 교통신호 정보는 신호기의 현재 현시 정보, 남은 시간 및 다음 현시 정보를 포함할 수 있다. 예를 들어, 현재 현시 정보가 적색 신호, 남은 시간이 5초, 다음 현시 정보가 녹색 신호인 경우 위험상황의 심각도는 높게 추론될 수 있다.
환경 정보는 시각(일몰 여부를 포함함), 날씨, 미세먼지 농도 등 도로의 위험상황 발생 가능성에 영향을 미치는 요소에 관한 환경적인 정보를 포함할 수 있다. 또한, 환경 정보는 도로의 차선 수, 좌회전 차로 수, 도로에 적용되는 교통 법규 등 도로교통과 관련된 정보를 포함할 수 있다. 이에 따라, 장치가 설치된 사이트(Site)별 고정된 환경 정보에 기초하여 학습될 수 있어, 설치된 사이트에 최적화된 예측 모델 갱신 방법을 제공할 수 있다.
일 실시예에서, 장치는 예측 모델을 이용하여 제1 시점(t*) 이후의 제2 시점(t*+3)에 대한 위험상황 예측 정보를 추론할 수 있다. 특정 시점에 대한 위험상황 예측 정보는, 특정 시점에서의 도로 환경이 갖는 위험상황 및 위험상황의 심각도를 의미할 수 있다. 예를 들어, 제2 시점이 현재(제1 시점)로부터 3초 후일 때, 제2 시점에 대한 위험상황 예측 정보는 3초 후의 도로 환경이 갖는 위험상황 및 위험상황의 심각도를 의미할 수 있다. 제2 시점에 대한 위험상황 예측 정보는 예측모델을 이용하여 추론된 것이므로, 제2 시점에 도달하기 전에 결과 값이 출력될 수 있다.
샘플링 주기(t=1)는 장치가 위험상황 예측 정보를 추론하는 주기, 장치가 도로에 대한 영상을 획득하는 주기 또는 장치가 도로 상태 정보를 수신하는 주기를 의미할 수 있다.
도 3을 참조하면, 장치는 예측 모델을 이용하여 단위 시간 이후 시점에 대한 위험상황 예측 정보를 추론할 수 있는데, 도 3에서는 제2 시점(t*+3)이 제1 시점(t*)으로부터 3 샘플링 주기 이후의 시점인 것으로 도시하였으나, 일 실시예일 뿐이며 단위 시간은 이에 제한되지 않는다.
일 실시예에서, 장치는 예측 모델을 이용하여 제1 시점(t*) 이후의 제2 시점(t*+3)에 대한 위험상황 예측 정보를 추론할 수 있다. 또는, 예측 모델은 제1 시점(t*)에서 제2 시점(t*+3)에 대한 위험상황 예측 정보를 추론할 수 있으며, 장치는 예측 모델로부터 위험상황 예측 정보를 수신할 수 있다.
도 4는 일 실시예에 따른 위험상황 예측 정보를 추론함에 있어 안전제어 신호가 활용되는 과정을 설명하기 위한 도면이다.
일 실시예에서, 장치는 제1 시점 이후의 제3 시점(제3 시점은 제2 시점과 같거나 제2 시점 이전임. 예컨대, t*+1)에서의 안전제어 신호를 생성할 수 있다. 제3 시점에서의 안전제어 신호는, 제3 시점의 도로에 적용되는 안전제어 신호를 의미할 수 있다. 이에 따라, 예측 모델이 단위 시간 후에 위험상황이 발생할 확률이 높다고 추론한 경우, 샘플링 주기 후의 안전제어 신호를 미리 생성하여 도로에 적용함으로써 위험상황의 발생을 사전에 방지할 수 있다.
이하에서, 제3 시점이 제1 시점(t*)으로부터 1 샘플링 주기 이후의 시점인 것으로 설명하나, 제3 시점은 제2 시점과 같거나 이전이고 제1 시점 이후의 시점을 의미할 수 있다.
일 실시예에서, 장치는 제3 시점(t*+1)에서의 도로 상태 정보를 예측 모델에 입력하고, 예측 모델을 이용하여 제3 시점 이후 시점(t*+4)에 대한 위험상황 예측 정보를 추론할 수 있다. 이 때, 제3 시점(t*+1)에서의 도로 상태 정보는 제1 시점(t*)에서 생성한 안전제어 신호가 적용된 도로 상태 정보이다. 즉, 제3 시점(t*+1)에서의 도로 상태 정보는, 안전제어 신호 및 도로의 동적 객체들의 안전제어 신호를 인지하여 이에 따른 움직임이 반영된 동적 정보가 포함된다.
예를 들어, 장치가 제1 시점(t*)에서 제2 시점에 대한 위험상황 예측 정보를 추론한 결과, 차량과 보행자의 충돌 가능성이 매우 높다고 결정된 경우, 제3 시점(t*+1)에서의 안전제어 신호를 생성하여 도로에 적용할 수 있다. 제2 시점에 대한 위험상황 예측 정보에 기초하여 생성된 제3 시점(t*+1)에서의 안전제어 신호는, 제2 시점에서의 도로의 사고 발생 위험을 알리는 안전제어 신호일 수 있다.
한편, 도로의 차량 및 보행자에게 안전제어 신호가 표출되어 동적 정보의 급격한 변동(차량의 감속 및 보행자의 일시 정지 등)이 발생할 수 있다. 제3 시점(t*+1)에서의 이와 같은 동적 정보의 급격한 변동이 도로 상태 정보로써 예측 모델에 입력된다.
이와 같이, 장치는 샘플링 주기마다 추론과 안전제어 신호 생성을 반복할 수 있다. 생성된 안전제어 신호는 다음 샘플링 주기에 대한 추론을 위하여 예측 모델에 입력될 수 있다.
전술한 설명에 따르면, 제1 시점(t*)에서의 도로 상태 정보에 포함되는 제1 시점(t*)에서의 안전제어 신호는, 제1 시점 이후 시점(예컨대, t*+2)에 대한 위험상황 예측 정보를 기초로 생성되어, 제1 시점(t*)에 도로에 적용될 수 있다. 이 때, 제1 시점 이후 시점(t*+2)에 대한 위험상황 예측 정보는 제1 시점 이전(예컨대, t*-1)에 추론된 정보일 수 있다.
도 5는 일 실시예에 따른 위험상황 예측 정보의 예시도이다.
장치는 동적 정보 및 안전제어 신호를 예측 모델에 입력하고, 예측 모델을 이용하여 위험상황 예측 정보(500)를 추론할 수 있다.
도 5를 참조하면, 위험상황 예측 정보(500)는 위험상황 유형(class) 및 위험상황 유형별 심각도(score)를 포함할 수 있다.
위험상황 유형(class)은 교통공학적으로 정의된 사고 발생 유형을 의미한다. 예를 들어, 위험상황 유형에는 차대사람(car-to-person) 사고, 차대차(car-to-car) 사고, 차량단독(car only) 사고 등이 포함된다. 도 5에 도시하지 않았으나, 차대차 사고의 세부 유형에는 측면 직각 충돌, 추돌, 정면충돌 등이 포함된다.
위험상황 유형별 심각도는 위험상황 유형별로 해당 위험상황이 발생할 것으로 예측되는 가능성을 나타내는 수치일 수 있다. 위험상황 유형별 심각도는 스코어(score) 또는 레벨(Level)로 구현될 수 있다.
일 실시예에서, 장치는 위험상황 유형별 심각도의 스코어 또는 레벨이 기설정된 특정 범위에 해당하는 경우, 상기 특정 범위에 대응하는 안전제어 신호를 생성할 수 있다. 예를 들어, 위험상황 유형별 심각도가 레벨 3인 경우, 장치는 발광 신호기를 통해 LED를 표출할 수 있다. 또는, 예를 들어, 위험상황 유형별 심각도가 레벨 4인 경우, 장치는 발광 신호기를 통해 LED를 0.1초 간격으로 점멸하되, 음향 신호기를 통해 차량 운전자 및 보행자의 주의를 환기시키는 음성을 동시에 출력할 수 있다.
위험상황 예측 정보(500)는 1차 횡단보도 및 2차 횡단보도 각각에 대하여 분류될 수 있다. 즉, 위험상황 예측 정보는 1차 횡단보도의 위험상황 유형별 심각도를 포함하는 1차 위험상황 예측 정보 및 2차 횡단보도의 위험상황 유형별 심각도를 포함하는 2차 위험상황 예측 정보를 포함할 수 있다.
예를 들어, 위험상황 유형별 심각도가 높아지는 예시적인 상황은 이하와 같다. 1차 횡단보도로 진입하는 차량의 속도가 높거나, 도달 시간이 짧은 경우, 1차 횡단보도 및 2차 횡단보도 인근에 정차 차량이 있는 경우, 일몰 이후의 경우, 안개, 미세먼지 등으로 인하여 차량 전방 시야가 흐린 경우, 차량이 트럭, 버스, 오토바이와 같은 차종인 경우 및 보행자가 어린이, 노약자 등 보행약자인 경우 위험상황 유형별 심각도가 높아질 수 있다.
도 6은 일 실시예에 따른 위험상황 측정 정보를 계산하는 과정을 설명하기 위한 도면이다.
일 실시예에서, 장치는 특정 시점까지의 도로 상태 정보로부터 상기 특정 시점에서의 위험 상황 측정 정보를 계산할 수 있다. 위험상황 측정 정보는 교통공학적 지표를 이용하여 특정 시점에서의 위험상황에 대한 위험도 평가 결과일 수 있다.
일 예로서, 장치는 제1 시점부터 제2 시점까지의 누적된 도로 상태 정보에 기초하여 제2 시점에서의 위험상황 측정 정보를 계산할 수 있다. 구체적으로, 장치는 제1 시점부터 제2 시점까지의 누적된 동적 정보에 기초하여, 제2 시점에서 얼마나 위험했는지를 정량적으로 계산할 수 있다.
일 실시예에서, 장치는 보행자 안전 간격(Pedestrian safety margin, 이하 'PSM')을 추정하여 위험상황 측정 정보를 계산할 수 있다. PSM은 횡단지점의 보행자의 도착과 그 지점에 접근하는 차량과의 시간 차이(time interval)를 의미한다. PSM을 기반으로 위험상황 측정 정보를 계산하기 위해서, 장치는 제1 시점부터 제2 시점까지의 누적된 차량과 보행자의 동적 정보를 이용할 수 있다.
전술한 동적 정보 더하여, 차량의 차종, 차로별 교통량 및 보행자별로 횡단을 위해 연석에서 접근할 때 지나가는 모든 차량의 차두간격의 평균인 평균차두시간이 도로 상태 정보에 더 포함될 수 있다. 또한, 보행자의 성별 및 고령자 유무, 도로 내 영상에서 보행자가 나타난 후 연석에 정지할 때까지의 시간차이인 횡단보도 접근시간, 횡단보도 대기시간, 횡단보도 길이, 보행자의 보폭 수, 보폭 길이, 횡단 속도, 횡단보도 대기시간동안의 시선 수 및 횡단보도 횡단시의 시선수가 도로 상태 정보에 더 포함될 수 있다. 또한, 차량 및 보행자의 상충 예상지점이 도로 상태 정보에 더 포함될 수 있다.
다른 실시예에서, 장치는 TTC(Time to Collision), PET(Post Encroachment Time), DR(Deceleration Rate), MaxS(Max Speed) 및 DeltaS(Delta Speed) 중 적어도 하나를 기반으로 위험상황 측정 정보를 계산할 수 있다. TTC는 두 차량이 현재의 속도와 동일한 경로로 진행될 경우 상충까지 예상되는 시간이다. PET는 회전교차 차량이 직진차량 우선권의 침해가 종료되는 시점과, 통과 차량이 잠재적 상충지점에 실제로 도착한 시점 사이의 시간이다. DR은 후속 차량이 감속하는 데에 걸리는 거리 대비 시간의 길이다. MaxS는 두 차량 중 속도가 높은 차량의 최고 속도이다. DeltaS는 두 차량의 상대속도이다.
구체적으로, TTC 값이 낮을수록, PET 값이 높을수록, DR 값이 높을수록 사고 발생 위험이 높아 위험상황에 대한 위험도가 높게 평가될 수 있으며, DeltaS 값이 높을수록, DeltaS 값이 높을수록 사고가 발생했을 때 심각도가 높아, 마찬가지로 위험상황에 대한 위험도가 높게 평가될 수 있다.
한편, 장치는 차량 및/또는 보행자의 동적 정보에 기초하여 전술한 지표들을 산출할 수 있다.
도 6을 참조하면, 교차로에서의 상충유형을 분류한 예시도를 확인할 수 있다.
도 7은 일 실시예에 따른 예측 모델이 갱신되는 과정을 설명하기 위한 도면이다.
도 7을 참조하면, 장치(700)는 예측 모델을 갱신할 수 있다. 도 7에서는 센서(710)가 장치(700)에 포함되지 않은 것으로 도시되나, 센서(710)는 장치(700) 내부에 구비된 것일 수 있다. 또한, 도 7에서는 예측 모델(720)이 장치(700)에 포함된 것으로 도시되나, 예측 모델(720)은 장치(700)와 별도로 존재하건, 외부 서버에 의해 연산이 수행되는 뉴럴 네트워크 모델일 수 있다.
이하의 실시예에서, 제1 시점이 t, 제2 시점이 t+n인 것으로 가정하여 서술하기로 한다.
일 실시예에서, 장치(700)는 센서(710)에 의해 획득된 도로에 대한 영상으로부터 제1 시점에서의 동적 정보를 추출할 수 있다. 또한, 장치(700)는 제1 시점에서의 안전제어 신호를 획득할 수 있다. 또한, 장치(700)는 교통신호 정보 및 도로의 환경 정보를 더 획득할 수 있다.
일 실시예에서, 장치(700)는 제1 시점에서의 도로 상태 정보를 예측 모델(720)에 입력할 수 있다. 예측 모델(720)이 제2 시점에 대한 위험상황 예측 정보를 추론하는 과정은 전술한 바와 같다.
일 실시예에서, 장치(700)는 제1 시점부터 제2 시점까지의 도로 상태 정보에 기초하여 제2 시점에서의 위험상황 측정 정보를 계산할 수 있다. 구체적으로, 장치(700)는 산출부(730)를 별도로 구비하여 제2 시점에서의 위험상황 측정 정보를 계산할 수 있다.
일 실시예에서, 장치(700)는 제1 시점에서의 도로 상태 정보, 제1 시점에서 추론한 제2 시점에 대한 위험상황 예측 정보 및 제2 시점에서 계산한 제2 시점에서의 위험상황 측정 정보를 누적 저장할 수 있다. 이를 위해, 장치(700)는 저장부(미도시)를 별도로 구비할 수 있다.
일 실시예에서, 장치(700)는 저장부(미도시)에 누적 저장된 정보를 기초로 예측 모델(720)을 갱신할 수 있다. 일 예로서, 장치(700)는 제2 시점에 대한 위험상황 예측 정보 및 제2 시점에서의 위험상황 측정 정보로 구성된 손실함수를 이용하여 예측 모델(720)을 학습시킬 수 있다.
손실함수는, 특정 시점 이전의 도로 상태 정보로부터 특정 시점에 대해 추론된 위험상황 예측 정보와, 특정 시점에서의 도로 상태 정보로부터 계산된 위험상황 측정 정보로 구성될 수 있다. 이 때, 손실함수는 제2 시점에 대한 위험상황 예측 정보와 제2 시점에서의 위험상황 측정 정보의 차이에 해당하거나, 차이에 비례하는 값에 해당할 수 있다.
일 실시예에서, 장치(700)는 저장부(미도시)에 누적 저장된 정보를 기초로 예측 모델(720)을 갱신하기 위한 학습 데이터를 생성할 수 있다.
장치(700)는 학습 데이터에 기초하여 손실함수가 최소 값을 갖도록 예측 모델(720)을 갱신 주기마다 갱신할 수 있다. 예를 들어, 장치(700)는 매 샘플링 주기마다 학습 데이터를 생성하되, 예측 모델(720)은 샘플링 주기 또는 단위 시간에 따른 주기가 아닌 갱신 주기에 따라 갱신할 수 있다. 이 때, 갱신 주기는 기 설정될 수 있고, 임의로 설정될 수도 있다.
도 8은 일 실시예에 따른 학습 데이터를 구성하는 방법을 설명하기 위한 도면이다.
도 8을 참조하면, 학습 데이터(800)를 구성하는 일 실시예가 도시되어 있다. 설명의 편의를 위하여, 제2 시점에서의 정보를 기준으로 구성된 학습 데이터(800)만을 도시하였다.
학습 데이터(800)는 제1 시점에서의 도로 상태 정보, 제2 시점에 대한 위험상황 예측 정보 및 제2 시점에서의 위험상황 측정 정보에 기초하여 생성될 수 있다. 즉, 장치는 누적 저장된 제1 시점에서의 도로 상태 정보, 제2 시점에 대한 위험상황 예측 정보 및 제2 시점에서의 위험상황 측정 정보에 기초하여 학습 데이터(800)를 생성할 수 있다.
일 실시예에서, 장치는 누적 저장된 모든 정보가 아닌, 제1 시점에서의 도로 상태 정보, 제2 시점에 대한 위험상황 예측 정보 및 제2 시점에서의 위험상황 측정 정보를 샘플링하여 학습 데이터(800)를 생성할 수 있다.
학습 데이터(800)는 도로에 대한 영상 등 소정의 도로 환경으로부터 획득된 도로 상태 정보, 예측 모델로부터 추론된 위험상황 예측 정보 및 도로 상태 정보로부터 계산된 위험상황 측정 정보로 구성될 수 있다. 이 때, 전술한 바와 같이 도로 상태 정보에는 이전 시점에서 추론된 위험상황 예측 정보에 기초하여 생성된, 안전제어 신호가 포함될 수 있다.
도 9는 일 실시예에 따른 도로의 안전제어 신호를 생성하는 방법의 흐름도이다.
단계 910에서, 장치는 도로에 대한 영상으로부터 획득된 제1 시점에서의 동적 정보 및 제1 시점에서의 안전제어 신호를 포함하는, 제1 시점에서의 도로 상태 정보를 예측 모델에 입력할 수 있다.
일 실시예에서, 도로에 대한 영상은 도로에 표출된 안전제어 신호를 포함할 수 있다.
일 실시예에서, 동적 정보는 도로에 대한 영상에 포함된 차량 및 보행자의 거동에 관한 정보일 수 있다.
일 실시예에서, 도로 상태 정보는 도로의 교통신호 정보 및 도로의 환경 정보 중 적어도 하나를 더 포함할 수 있다.
일 실시예예서, 도로는 우회전 차로, 우회전 차로에 위치하며 우회전 차량이 진입하는 1차 횡단보도 및 우회전 차로에 위치하며 우회전 차량이 진출하는 2차 횡단보도를 포함할 수 있다.
일 실시예에서, 예측 모델은 특정 시점 이전의 도로 상태 정보로부터 특정 시점에 대해 추론된 위험상황 예측 정보 및 특정 시점에서의 도로 상태 정보로부터 계산된 위험상황 측정 정보로 구성된 손실함수를 이용하여 학습될 수 있다.
일 실시예에서, 제1 시점에서의 안전제어 신호는 예측 모델을 이용하여 제1 시점 이전에 추론된 위험상황 예측 정보를 기초로 생성되고, 제1 시점에 도로에 적용된 것일 수 있다.
단계 920에서, 장치는 예측 모델을 이용하여 제1 시점 이후의 제2 시점에 대한 위험상황 예측 정보를 추론할 수 있다.
일 실시예에서, 위험상황 예측 정보는 1차 횡단보도의 위험상황 유형별 심각도를 포함하는 1차 위험상황 예측 정보 및 2차 횡단보도의 위험상황 유형별 심각도를 포함하는 2차 위험상황 예측 정보를 포함할 수 있다.
단계 930에서, 장치는 추론된 위험상황 예측 정보에 기초하여 제2 시점에서의 도로의 사고 발생 위험을 알리는 안전제어 신호를 생성할 수 있다.
일 실시예에서, 장치는 제1 시점부터 제2 시점까지의 도로 상태 정보에 기초하여 제2 시점에서의 위험상황 측정 정보를 계산할 수 있다.
일 실시예에서, 위험상황 측정 정보는 동적 정보에 기초하여 정량적으로 계산된 것일 수 있다.
일 실시예에서, 장치는 제1 시점에서의 도로 상태 정보, 제2 시점에서의 위험상황 예측 정보 및 제2 시점에서의 위험상황 측정 정보에 기초하여 학습 데이터를 생성할 수 있다.
일 실시예에서, 예측 모델은 학습 데이터에 기초하여 손실함수가 최소 값을 갖도록 갱신 주기마다 갱신되는 것일 수 있다.
도 10은 일 실시예에 따른 도로의 안전제어 신호를 생성하는 장치의 블록도이다.
도 10을 참조하면, 장치(1000)는 통신부(1010), 프로세서(1020) 및 DB(1030)를 포함할 수 있다. 도 10의 장치(1000)에는 실시예와 관련된 구성요소들만이 도시되어 있다. 따라서, 도 10에 도시된 구성요소들 외에 다른 범용적인 구성요소들이 더 포함될 수 있음을 당해 기술분야의 통상의 기술자라면 이해할 수 있다.
통신부(1010)는 외부 서버 또는 외부 장치와 유선/무선 통신을 하게 하는 하나 이상의 구성 요소를 포함할 수 있다. 예를 들어, 통신부(1010)는, 근거리 통신부(미도시), 이동 통신부(미도시) 및 방송 수신부(미도시) 중 적어도 하나를 포함할 수 있다. 일 실시예에서, 통신부(1010)는 장치(1000) 외부의 센서로부터 도로에 대한 영상을 획득할 수 있다. 다른 실시예에서, 통신부(1010)는 도로의 안전제어 신호를 생성하기 위한 데이터를 예측 모델과 송수신할 수 있다. 또 다른 실시예에서, 통신부(1010)는 자율주행 차량 또는 OBU가 탑재된 차량에 위험 신호를 전송할 수 있다.
DB(1030)는 장치(1000) 내에서 처리되는 각종 데이터들을 저장하는 하드웨어로서, 프로세서(1020)의 처리 및 제어를 위한 프로그램을 저장할 수 있다.
DB(1030)는 DRAM(dynamic random access memory), SRAM(static random access memory) 등과 같은 RAM(random access memory), ROM(read-only memory), EEPROM(electrically erasable programmable read-only memory), CD-ROM, 블루레이 또는 다른 광학 디스크 스토리지, HDD(hard disk drive), SSD(solid state drive), 또는 플래시 메모리를 포함할 수 있다.
프로세서(1020)는 장치(1000)의 전반적인 동작을 제어한다. 예를 들어, 프로세서(1020)는 DB(1030)에 저장된 프로그램들을 실행함으로써, 입력부(미도시), 디스플레이(미도시), 통신부(1010), DB(1030) 등을 전반적으로 제어할 수 있다. 프로세서(1020)는, DB(1030)에 저장된 프로그램들을 실행함으로써, 장치(1000)의 동작을 제어할 수 있다.
프로세서(1020)는 도 1 내지 도 9에서 상술한 도로의 안전제어 신호를 생성하는 장치의 동작 중 적어도 일부를 제어할 수 있다.
프로세서(1020)는 ASICs (application specific integrated circuits), DSPs(digital signal processors), DSPDs(digital signal processing devices), PLDs(programmable logic devices), FPGAs(field programmable gate arrays), 제어기(controllers), 마이크로 컨트롤러(micro-controllers), 마이크로 프로세서(microprocessors), 기타 기능 수행을 위한 전기적 유닛 중 적어도 하나를 이용하여 구현될 수 있다.
일 실시예에서, 장치(1000)는 서버일 수 있다. 서버는 네트워크를 통해 통신하여 명령, 코드, 파일, 컨텐츠, 서비스 등을 제공하는 컴퓨터 장치 또는 복수의 컴퓨터 장치들로 구현될 수 있다. 서버는 도로의 안전제어 신호를 생성하기 위해 필요한 데이터를 수신하고, 수신한 데이터에 기초하여 도로의 안전제어 신호를 생성할 수 있다.
한편, 본 발명에 따른 실시예는 컴퓨터 상에서 다양한 구성요소를 통하여 실행될 수 있는 컴퓨터 프로그램의 형태로 구현될 수 있으며, 이와 같은 컴퓨터 프로그램은 컴퓨터로 판독 가능한 매체에 기록될 수 있다. 이때, 매체는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical medium), 및 ROM, RAM, 플래시 메모리 등과 같은, 프로그램 명령어를 저장하고 실행하도록 특별히 구성된 하드웨어 장치를 포함할 수 있다.
한편, 상기 컴퓨터 프로그램은 본 발명을 위하여 특별히 설계되고 구성된 것이거나 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수 있다. 컴퓨터 프로그램의 예에는, 컴파일러에 의하여 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용하여 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함될 수 있다.
일 실시예에 따르면, 본 개시의 다양한 실시예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory (CD-ROM))의 형태로 배포되거나, 또는 어플리케이션 스토어(예: 플레이 스토어TM)를 통해 또는 두 개의 사용자 장치들 간에 직접, 온라인으로 배포(예: 다운로드 또는 업로드)될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 기기로 읽을 수 있는 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.
본 발명에 따른 방법을 구성하는 단계들에 대하여 명백하게 순서를 기재하거나 반하는 기재가 없다면, 상기 단계들은 적당한 순서로 행해질 수 있다. 반드시 상기 단계들의 기재 순서에 따라 본 발명이 한정되는 것은 아니다. 본 발명에서 모든 예들 또는 예시적인 용어(예들 들어, 등등)의 사용은 단순히 본 발명을 상세히 설명하기 위한 것으로서 특허청구범위에 의해 한정되지 않는 이상 상기 예들 또는 예시적인 용어로 인해 본 발명의 범위가 한정되는 것은 아니다. 또한, 당업자는 다양한 수정, 조합 및 변경이 부가된 특허청구범위 또는 그 균등물의 범주 내에서 설계 조건 및 팩터에 따라 구성될 수 있음을 알 수 있다.
따라서, 본 발명의 사상은 상기 설명된 실시 예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 또는 이로부터 등가적으로 변경된 모든 범위는 본 발명의 사상의 범주에 속한다고 할 것이다.
Claims (19)
- 도로에 대한 영상으로부터 획득된 제1 시점(time point)에서의 동적 정보 및 상기 제1 시점에서의 안전제어 신호를 포함하는, 상기 제1 시점에서의 도로 상태 정보를 예측 모델에 입력하는 단계;
상기 예측 모델을 이용하여 상기 제1 시점 이후의 제2 시점에 대한 위험상황 예측 정보를 추론하는 단계;
상기 추론된 위험상황 예측 정보에 기초하여 상기 제2 시점에서의 상기 도로의 사고 발생 위험을 알리는 안전제어 신호를 생성하는 단계; 및
상기 제1 시점에서의 도로 상태 정보, 상기 제2 시점에 대한 위험상황 예측 정보 및 상기 제2 시점에서의 위험상황 측정 정보에 기초하여 학습 데이터를 생성하는 단계;를 포함하고,
상기 예측 모델은,
특정 시점 이전의 도로 상태 정보로부터 상기 특정 시점에 대해 추론된 위험상황 예측 정보 및 상기 특정 시점에서의 위험상황 측정 정보로 구성된 손실함수를 이용하여 학습되는, 도로의 안전제어 신호를 생성하는 방법. - 제 1 항에 있어서,
상기 제1 시점에서의 안전제어 신호는,
상기 예측 모델을 이용하여 상기 제1 시점 이전에 추론된 위험상황 예측 정보를 기초로 생성되고, 상기 제1 시점에 상기 도로에 적용된 것인, 도로의 안전제어 신호를 생성하는 방법. - 제 1 항에 있어서,
상기 제2 시점에서의 위험상황 측정 정보는,
상기 제1 시점부터 상기 제2 시점까지의 도로 상태 정보에 기초하여 계산되는, 도로의 안전제어 신호를 생성하는 방법. - 삭제
- 제 1 항에 있어서,
상기 예측 모델은,
상기 학습 데이터에 기초하여 상기 손실함수가 최소 값을 갖도록 갱신 주기마다 갱신되는 것인, 도로의 안전제어 신호를 생성하는 방법. - 제 1 항에 있어서,
상기 도로에 대한 영상은,
상기 도로에 표출된 안전제어 신호를 포함하는, 도로의 안전제어 신호를 생성하는 방법. - 제 3 항에 있어서,
상기 동적 정보는,
상기 도로에 대한 영상에 포함된 차량 및 보행자의 거동에 관한 정보이며,
상기 위험상황 측정 정보는,
상기 동적 정보에 기초하여 정량적으로 계산된 것인, 도로의 안전제어 신호를 생성하는 방법. - 제 1 항에 있어서,
상기 도로 상태 정보는,
상기 도로의 교통신호 정보 및 상기 도로의 환경 정보 중 적어도 하나를 더 포함하는, 도로의 안전제어 신호를 생성하는 방법. - 제 1 항에 있어서,
상기 도로는,
우회전 차로, 상기 우회전 차로에 위치하며 우회전 차량이 진입하는 1차 횡단보도 및 상기 우회전 차로에 위치하며 상기 우회전 차량이 진출하는 2차 횡단보도를 포함하고,
상기 위험상황 예측 정보는,
상기 1차 횡단보도의 위험상황 유형별 심각도를 포함하는 1차 위험상황 예측 정보 및 상기 2차 횡단보도의 상기 위험상황 유형별 심각도를 포함하는 2차 위험상황 예측 정보를 포함하는, 도로의 안전제어 신호를 생성하는 방법. - 적어도 하나의 프로그램이 저장된 메모리; 및
상기 적어도 하나의 프로그램을 실행함으로써 연산을 수행하는 적어도 하나의 프로세서를 포함하고,
상기 적어도 하나의 프로세서는,
도로에 대한 영상으로부터 획득된 제1 시점(time point)에서의 동적 정보 및 상기 제1 시점에서의 안전제어 신호를 포함하는, 상기 제1 시점에서의 도로 상태 정보를 예측 모델에 입력하고,
상기 예측 모델을 이용하여 상기 제1 시점 이후의 제2 시점에 대한 위험상황 예측 정보를 추론하고,
상기 추론된 위험상황 예측 정보에 기초하여 상기 제2 시점에서의 상기 도로의 사고 발생 위험을 알리는 안전제어 신호를 생성하고,
상기 제1 시점에서의 도로 상태 정보, 상기 제2 시점에 대한 위험상황 예측 정보 및 상기 제2 시점에서의 위험상황 측정 정보에 기초하여 학습 데이터를 생성하되,
상기 예측 모델은,
특정 시점 이전의 도로 상태 정보로부터 상기 특정 시점에 대해 추론된 위험상황 예측 정보 및 상기 특정 시점에서의 위험상황 측정 정보로 구성된 손실함수를 이용하여 학습되는, 도로의 안전제어 신호를 생성하는 장치. - 제 10 항에 있어서,
상기 제1 시점에서의 안전제어 신호는,
상기 예측 모델을 이용하여 상기 제1 시점 이전에 추론된 위험상황 예측 정보를 기초로 생성되고, 상기 제1 시점에 상기 도로에 적용된 것인, 도로의 안전제어 신호를 생성하는 장치. - 제 10 항에 있어서,
상기 제2 시점에서의 위험상황 측정 정보는,
상기 제1 시점부터 상기 제2 시점까지의 도로 상태 정보에 기초하여 계산되는, 도로의 안전제어 신호를 생성하는 장치. - 삭제
- 제 10 항에 있어서,
상기 예측 모델은,
상기 학습 데이터에 기초하여 상기 손실함수가 최소 값을 갖도록 갱신 주기마다 갱신되는 것인, 도로의 안전제어 신호를 생성하는 장치. - 제 10 항에 있어서,
상기 도로에 대한 영상은,
상기 도로에 표출된 안전제어 신호를 포함하는, 도로의 안전제어 신호를 생성하는 장치. - 제 12 항에 있어서,
상기 동적 정보는,
상기 도로에 대한 영상에 포함된 차량 및 보행자의 거동에 관한 정보이며,
상기 위험상황 측정 정보는,
상기 동적 정보에 기초하여 정량적으로 계산된 것인, 도로의 안전제어 신호를 생성하는 장치. - 제 10 항에 있어서,
상기 도로 상태 정보는,
상기 도로의 교통신호 정보 및 상기 도로의 환경 정보 중 적어도 하나를 더 포함하는, 도로의 안전제어 신호를 생성하는 장치. - 제 10 항에 있어서,
상기 도로는,
우회전 차로, 상기 우회전 차로에 위치하며 우회전 차량이 진입하는 1차 횡단보도 및 상기 우회전 차로에 위치하며 상기 우회전 차량이 진출하는 2차 횡단보도를 포함하고,
상기 위험상황 예측 정보는,
상기 1차 횡단보도의 위험상황 유형별 심각도를 포함하는 1차 위험상황 예측 정보 및 상기 2차 횡단보도의 상기 위험상황 유형별 심각도를 포함하는 2차 위험상황 예측 정보를 포함하는, 도로의 안전제어 신호를 생성하는 장치. - 제 1 항의 방법을 컴퓨터에서 실행하기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US18/452,955 US20240071219A1 (en) | 2022-08-24 | 2023-08-21 | Method and apparatus for generating safety control signal notifying risk of accident on road |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020220105907 | 2022-08-24 | ||
| KR20220105907 | 2022-08-24 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR102608705B1 true KR102608705B1 (ko) | 2023-12-04 |
Family
ID=89165096
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020230036845A KR102608705B1 (ko) | 2022-08-24 | 2023-03-21 | 도로의 사고 발생 위험을 알리는 안전제어 신호를 생성하는 방법 및 장치 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US20240071219A1 (ko) |
| KR (1) | KR102608705B1 (ko) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20060092909A (ko) * | 2004-11-16 | 2006-08-23 | 마이크로소프트 코포레이션 | 확률적 상호 의존 관계 및 정황 데이터의 모델링 및 분석을이용하는 교통 예측 |
| JP2008003707A (ja) * | 2006-06-20 | 2008-01-10 | Matsushita Electric Ind Co Ltd | 危険予測装置 |
| KR102280338B1 (ko) * | 2020-12-01 | 2021-07-21 | 주식회사 블루시그널 | 상황 예측 기반 교차로 위험 경보 시스템 |
| KR102336258B1 (ko) * | 2020-10-21 | 2021-12-09 | 주식회사 이지스로직 | 사고 발생 판별을 통한 사고 처리를 위한 ｙｏｌｏ 기반 모니터링 시스템 |
-
2023
- 2023-03-21 KR KR1020230036845A patent/KR102608705B1/ko active IP Right Grant
- 2023-08-21 US US18/452,955 patent/US20240071219A1/en active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20060092909A (ko) * | 2004-11-16 | 2006-08-23 | 마이크로소프트 코포레이션 | 확률적 상호 의존 관계 및 정황 데이터의 모델링 및 분석을이용하는 교통 예측 |
| JP2008003707A (ja) * | 2006-06-20 | 2008-01-10 | Matsushita Electric Ind Co Ltd | 危険予測装置 |
| KR102336258B1 (ko) * | 2020-10-21 | 2021-12-09 | 주식회사 이지스로직 | 사고 발생 판별을 통한 사고 처리를 위한 ｙｏｌｏ 기반 모니터링 시스템 |
| KR102280338B1 (ko) * | 2020-12-01 | 2021-07-21 | 주식회사 블루시그널 | 상황 예측 기반 교차로 위험 경보 시스템 |
Also Published As
| Publication number | Publication date |
|---|---|
| US20240071219A1 (en) | 2024-02-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7153071B2 (ja) | 自律型車両のための歩行者行動予測 | |
| CN111497864B (zh) | 利用v2x应用程序向人传递当前驾驶意图信号的方法及装置 | |
| KR102316406B1 (ko) | 부과된 책임 제약이 있는 항법 시스템 | |
| US11024165B2 (en) | Driver behavior monitoring | |
| JP7362721B2 (ja) | 早期警告および衝突回避 | |
| US11040726B2 (en) | Alarm system of autonomous driving vehicles (ADVs) | |
| US10957201B2 (en) | System and method for relative positioning based safe autonomous driving | |
| US11493920B2 (en) | Autonomous vehicle integrated user alert and environmental labeling | |
| US11117584B2 (en) | Merge behavior systems and methods for mainline vehicles | |
| US10077007B2 (en) | Sidepod stereo camera system for an autonomous vehicle | |
| JP2022546320A (ja) | 高度車載機器 | |
| US20190035276A1 (en) | Running vehicle alerting system and method | |
| WO2016067550A1 (ja) | 危険予測装置、運転支援システム | |
| KR20190107057A (ko) | 차량 움직임에 기반한 항법 | |
| US11820387B2 (en) | Detecting driving behavior of vehicles | |
| WO2017123665A1 (en) | Driver behavior monitoring | |
| US20220126875A1 (en) | Control of an autonomous vehicle based on behavior of surrounding agents and limited observations of environment | |
| KR102608705B1 (ko) | 도로의 사고 발생 위험을 알리는 안전제어 신호를 생성하는 방법 및 장치 | |
| White et al. | Inexpensive, infrastructure-based, intersection collision-avoidance system to prevent left-turn crashes with opposite-direction traffic | |
| US20240062656A1 (en) | Predictive threat warning system | |
| EP4331938A1 (en) | Control method and apparatus | |
| JP2021068344A (ja) | 運転指標出力装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |