KR20220073472A - V2x 통신기반 자율주행 혼합류환경 교차로 통합정보 제공 시스템 및 방법 - Google Patents
V2x 통신기반 자율주행 혼합류환경 교차로 통합정보 제공 시스템 및 방법 Download PDFInfo
- Publication number
- KR20220073472A KR20220073472A KR1020200161581A KR20200161581A KR20220073472A KR 20220073472 A KR20220073472 A KR 20220073472A KR 1020200161581 A KR1020200161581 A KR 1020200161581A KR 20200161581 A KR20200161581 A KR 20200161581A KR 20220073472 A KR20220073472 A KR 20220073472A
- Authority
- KR
- South Korea
- Prior art keywords
- information
- intersection
- module
- location
- pedestrian
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims description 23
- 230000009471 action Effects 0.000 claims abstract description 18
- 238000007670 refining Methods 0.000 claims abstract description 15
- 230000010354 integration Effects 0.000 claims abstract description 7
- 230000010391 action planning Effects 0.000 claims abstract description 5
- 230000004927 fusion Effects 0.000 claims description 11
- 230000006870 function Effects 0.000 claims description 9
- 239000000446 fuel Substances 0.000 claims description 7
- 230000033001 locomotion Effects 0.000 claims description 6
- 238000007781 pre-processing Methods 0.000 claims description 6
- 238000007635 classification algorithm Methods 0.000 claims description 4
- 238000012937 correction Methods 0.000 claims description 3
- 238000010801 machine learning Methods 0.000 claims description 3
- 238000002940 Newton-Raphson method Methods 0.000 claims description 2
- 230000002776 aggregation Effects 0.000 claims description 2
- 238000004220 aggregation Methods 0.000 claims description 2
- 230000008859 change Effects 0.000 claims description 2
- 238000002360 preparation method Methods 0.000 claims description 2
- 238000012795 verification Methods 0.000 claims description 2
- 238000000746 purification Methods 0.000 claims 4
- 230000001131 transforming effect Effects 0.000 claims 2
- 238000011017 operating method Methods 0.000 claims 1
- 238000004891 communication Methods 0.000 description 22
- 238000010586 diagram Methods 0.000 description 14
- 238000004422 calculation algorithm Methods 0.000 description 10
- 230000005540 biological transmission Effects 0.000 description 8
- 230000006399 behavior Effects 0.000 description 7
- 238000012545 processing Methods 0.000 description 7
- 230000001149 cognitive effect Effects 0.000 description 5
- 238000013480 data collection Methods 0.000 description 4
- 238000013499 data model Methods 0.000 description 4
- 238000009434 installation Methods 0.000 description 4
- 230000001133 acceleration Effects 0.000 description 3
- 238000005452 bending Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000002265 prevention Effects 0.000 description 3
- CURLTUGMZLYLDI-UHFFFAOYSA-N Carbon dioxide Chemical compound O=C=O CURLTUGMZLYLDI-UHFFFAOYSA-N 0.000 description 2
- 239000006185 dispersion Substances 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000003909 pattern recognition Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 206010039203 Road traffic accident Diseases 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 229910002092 carbon dioxide Inorganic materials 0.000 description 1
- 239000001569 carbon dioxide Substances 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- LIWAQLJGPBVORC-UHFFFAOYSA-N ethylmethylamine Chemical compound CCNC LIWAQLJGPBVORC-UHFFFAOYSA-N 0.000 description 1
- 230000007717 exclusion Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 210000004744 fore-foot Anatomy 0.000 description 1
- 230000005021 gait Effects 0.000 description 1
- 230000009191 jumping Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 230000005226 mechanical processes and functions Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/07—Controlling traffic signals
- G08G1/081—Plural intersections under common control
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
- G06Q50/30—Transportation; Communications
-
- G06Q50/40—
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/04—Detecting movement of traffic to be counted or controlled using optical or ultrasonic detectors
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
- G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
Abstract
본 발명에 따른 교차로 통합 정보 시스템은, 인프라 영상정보 통합플랫폼, 자율주행차량단말기, 스마트기기로부터 수신한 공간정보로부터 객체의 위치와 속도를 추정하는 전처리기와, 상기 전처리기에서 얻은 데이터들을 분석하여 개체를 정의하고 연관성이 낮은 정보는 제거하는 개체 정제 모듈과, 상기 개체 정제 모듈에서 판단된 개체들 간의 관계를 정의하는 상황 인지 모듈과, 상기 개체 정제 모듈 및 상기 상황 인지 모듈로부터의 정보를 토대로 정보를 이용하여 교차로 내 위험 요소를 판단하는 위험 판단 모듈과, 상기 개체 정제 모듈, 상황 인지 모듈 및 위험 판단 모듈 중 적어도 하나로부터의 정보에 기초하여 상황 판단 및 행동 계획을 수립하는 행동 계획 모듈을 포함한다.
Description
본 발명은 교차로 안전 지원 시스템 및 그 방법에 관한 것으로서, 구체적으로는 V2X 통신을 기반으로 자율주행 혼합류 환경에서 인접 교차로의 정보를 포함한 통합정보를 제공하여 자율주행차, 비자율주행차, 보행자의 교차로 안전을 지원하는 시스템 및 방법에 관한 것이다.
근래 부분 자율 주행차(자율주행 L2)가 상용화 되어 도로상에서 주행중이며, 2025년에 자율주행 L4 이상의 고도의 자율주행성을 가진 상용차가 출시될 것으로 예상되고 있다.
그런데 상당 기간까지는 실 주행도로 환경에서는 자율주행차와 비자율주행차가 혼재될 것이고, 교차로의 경우에는 자율주행차가 100% 보급되더라도 보행자가 자율차량과 함께 혼재하여 이동하게 된다.
따라서, 자율주행차, 비자율주행차, 보행자가 혼재하여 이동하는 교차로 구간은 교통상황 중에서 가장 분석 및 예측이 어려운 영역인데, 이러한 영역에서의 혼합류 환경을 고려한 통합 정보 제공 시스템은 아직 부재한 상황이다.
본 발명이 이루고자 하는 과제는 다음과 같다.
1) 자율주행 혼합류 환경에서의 정확한 통합 정보 제공을 위해 인프라 기반 정보, 차량 기반의 정보, 디지털 맵 등을 융합 처리하여 도심 교차로 통합정보를 실시간으로 생성하는 시스템 제공
2) 교차로 혼합류 환경에서의 다중 객체(자율주행차, 비자율주행차, 보행자 등)에 대한 고정밀 위치 보정이 가능한 통합 정보 제공
3) 융합된 통합 정보를 기반으로 신호 현시와 연동하여 차량, 보행자, 자전거 등에 대한 교차로 내에서의 위험 상황을 예측하여 고안전 자율주행을 지원
4) 시스템이 탑재되지 않은 비자율주행 차량과 보행자에게도 스마트폰 기반으로 위험 상황 경보 서비스를 지원
전술한 문제를 해결하기 위한 교차로 통합 정보 시스템은, 인프라 영상정보 통합플랫폼, 자율주행차량단말기, 스마트기기로부터 수신한 공간정보로부터 객체의 위치와 속도를 추정하는 전처리기와, 상기 전처리기에서 얻은 데이터들을 분석하여 개체를 정의하고 연관성이 낮은 정보는 제거하는 개체 정제 모듈과, 상기 개체 정제 모듈에서 판단된 개체들 간의 관계를 정의하는 상황 인지 모듈과, 상기 개체 정제 모듈 및 상기 상황 인지 모듈로부터의 정보를 토대로 정보를 이용하여 교차로 내 위험 요소를 판단하는 위험 판단 모듈과, 상기 개체 정제 모듈, 상황 인지 모듈 및 위험 판단 모듈 중 적어도 하나로부터의 정보에 기초하여 상황 판단 및 행동 계획을 수립하는 행동 계획 모듈을 포함한다.
본 발명의 다른 면에 따라, 인프라 영상정보 통합플랫폼, 자율주행차량단말기, 스마트기기로부터 수신한 공간정보로부터 객체의 위치와 속도를 추정하는 전처리 단계와, 상기 전처리 단계에서 얻은 데이터들을 분석하여 개체를 정의하고 연관성이 낮은 정보는 제거하는 개체 정제 단계와, 상기 개체 정제 단계에서 판단된 개체들 간의 관계를 정의하는 상황 인지 단계와, 상기 개체 정제 단계 및 상기 상황 인지 단계에서 생성된 정보를 토대로 정보를 이용하여 교차로 내 위험 요소를 판단하는 위험 판단 단계와, 상기 개체 정제 단계, 상황 인지 단계 및 위험 판단 단계 중 적어도 하나로부터의 정보에 기초하여 상황 판단 및 행동 계획을 수립하는 행동 계획 단계를 포함하는 교차로 통합 정보 시스템 운영 방법이 제공된다.
본 발명의 또 다른 면에 따라, 교차로내의 차량, 보행자등 다중객체의 유형 및 위치정보를 생성하는 인프라 센서와, 상기 인프라 센서 및 교차로 부근의 자율주행차로부터 객체 정보 및 상기 객체의 위치정보를 수신하는 교차로 통합 정보 서버를 포함하되, 상기 인프라 센서는 머신러닝을 이용한 분류 알고리즘을 통해 객체인식을 수행하여 차량, 보행자, 배경을 구분하고 오인식 상황을 대비해 두 개의 분류기로 이중 검증이 가능하도록 구성되는 교차로 통합 정보 시스템이 제공된다.
본 발명의 또 다른 면에 따라, 교차로내의 차량, 보행자등 다중객체의 유형 및 위치정보를 생성하는 인프라 센서와, 상기 인프라 센서 및 교차로 부근의 자율주행차, 비자율주행차 운전자 및 보행자의 스마트폰로부터 객체 정보 및 상기 객체의 위치정보를 수신하는 교차로 통합 정보 서버를 포함하되, 상기 교차로 통합 정보 서버는, 상기 인프라 센서의 위치 인지정보, 자율주행차량의 위치정보 및 스마트폰 위치정보에 대하여 단일한 좌표계로 변환하고 단위를 통일한 후, 상기 인프라 센서, 자율주행차 및스마트폰으로부터의 데이터에 대한 위치 분산비를 가중치로 적용하여 각 데이터를 융합하며, 상기 융합된 데이터를 토대로 각 객체간 충돌 위험 경고, 시계 불량 충돌 위험 경고, 연비 최적 속도 추천, 은폐 돌발보행자 보호 및 보행자 횡단 지원 서비스를 제공하는 교차로 통합 정보 시스템이 제공된다.
본 발명을 통해 실시간 교통 상황 추정 및 신호 현시 연동을 통해 연비 최적 주행 지원이 가능하며, 또한 인프라에 설치된 인지 센서를 통해 개방적인 디지털시야를 확보함으로써 교차로 주위에 은폐된 보행자 및 이륜차의 거동까지도 인지 가능하게 하며, 이틀 통해 보다 효과적으로 교차로 보행 사고를 방지할 수 있다.
종국적으로, 자율주행차와 비자율차 및 보행자의 통행을 조율하여 자율주행차의 조기 확산, 교차로 사고예방 효과가 발휘될 수 있다.
도 1은 본 발명의 바람직한 일 실시예에 따른 통합 정보 제공 시스템 상 각 주체별 데이터 흐름을 도시한 데이터 흐름도.
도 2는 본 발명에 따른 인프라 센서의 개략 설치 사양도.
도 3은 본 발명에 따른 자율주행차의 데이터 수집 및 처리를 도시한 데이터 흐름도.
도 4는 본 발명에 따른 교차로 통합 정보 제공 시스템의 주요 데이터 수집원의 데이터 종류를 도시한 데이터 흐름도.
도 5는 본 발명에 따른 교차로 통합 정보 제공 시스템의 논리 데이터 모델.
도 6은 본 발명에 따른 교차로 통합 정보 서버의 구조도.
도 7은 본 발명에 따라 보행자의 정상상태 속도 파악을 위한 첫 걸음 소요시간과 정상상태 속도 크기간의 상관관계도.
도 8은 본 발명에 따라 획득 영상 내에서 보행자 인지영역을 도시한 예시도.
도 9는 본 발명의 직선 세그먼트 기반 충돌위험도 산출의 설명을 위한 예시도.
도 10은 본 발명에 따른 시계불량 충돌 위험 경고 서비스의 개념도.
도 11은 본 발명에 따른연비 최적 속도 추천 시나리오 서비스 개념도.
도 12는 본 발명에 따른 은폐 돌발보행자 보호 서비스 개념도
도 13은 본 발명에 따른 보행자 횡단 지원 서비스 개념도.
도 14는 본 발명에 따른 교차로 통합 정보 제공 시스템의 운영 방법을 도시한 흐름도.
도 2는 본 발명에 따른 인프라 센서의 개략 설치 사양도.
도 3은 본 발명에 따른 자율주행차의 데이터 수집 및 처리를 도시한 데이터 흐름도.
도 4는 본 발명에 따른 교차로 통합 정보 제공 시스템의 주요 데이터 수집원의 데이터 종류를 도시한 데이터 흐름도.
도 5는 본 발명에 따른 교차로 통합 정보 제공 시스템의 논리 데이터 모델.
도 6은 본 발명에 따른 교차로 통합 정보 서버의 구조도.
도 7은 본 발명에 따라 보행자의 정상상태 속도 파악을 위한 첫 걸음 소요시간과 정상상태 속도 크기간의 상관관계도.
도 8은 본 발명에 따라 획득 영상 내에서 보행자 인지영역을 도시한 예시도.
도 9는 본 발명의 직선 세그먼트 기반 충돌위험도 산출의 설명을 위한 예시도.
도 10은 본 발명에 따른 시계불량 충돌 위험 경고 서비스의 개념도.
도 11은 본 발명에 따른연비 최적 속도 추천 시나리오 서비스 개념도.
도 12는 본 발명에 따른 은폐 돌발보행자 보호 서비스 개념도
도 13은 본 발명에 따른 보행자 횡단 지원 서비스 개념도.
도 14는 본 발명에 따른 교차로 통합 정보 제공 시스템의 운영 방법을 도시한 흐름도.
본 발명의 목적 및 효과는 이상에서 언급한 것으로 제한되지 않으며, 본 발명의 목적 및 효과, 그리고 그것들을 달성하기 위한 기술적 구성들은 첨부 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다.
본 발명을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략한다. 또한, 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있다. 이하의 각 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며 본 발명의 범위를 제한하고자 하는 것이 아니다.
명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함" 또는 "구비"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 또한, 명세서에 기재된 "...유닛", "...장치", "...디바이스", "...부" 또는 "...모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.
한편, 본 발명의 각 실시예에 있어서, 각 구성요소들, 기능 블록들 또는 수단들은 하나 또는 그 이상의 하부 구성요소로 구성될 수 있으며, 각 구성요소들이 수행하는 전기, 전자, 기계적 기능들은 전자회로, 집적회로, ASIC(Application Specific Integrated Circuit) 등 공지된 다양한 소자들 또는 기계적 요소들로 구현될 수 있으며, 각각 별개로 구현되거나 2 이상이 하나로 통합되어 구현될 수도 있다.
본 발명의 바람직한 일 실시예에 따라, 인프라 및 차량 내 탑재 센서를 이용하여 교차로내의 차량 및 보행자의 정확한 위치 정보를 수집하고, 수집된 정보를 융합하여 실시간 통합정보를 생성하고, 이를 기반으로 위험상황을 예측하며, 생성된 정보를 차량 및 보행자에게 제공하고 현 교차로와 인접 교차로의 신호 체계와 연동하여 이산화탄소 저감 등의 경제 운전을 지원하고, 각 수집 모듈 간을 통신으로 연결하여 인프라와 차량간 커넥티드 환경을 구현하여 교차로내의 전반적인 상황 정보를 실시간으로 제공하는 통합 정보 제공 시스템의 구성 및 방법에 대하여 개시한다.
이하, 첨부도면을 참조하여 정보 수집, 통합 정보 생성, 위험상황 예측, 운전 지원에 대하여 각각 상세히 설명한다.
[차량 및 보행자 위치 정보 수집]
도 1은 본 발명의 바람직한 일 실시예에 따른 통합 정보 제공 시스템 상 각 주체별 데이터 흐름을 도시하고 있다.
도시된 바와 같이, 인프라(교차로 카메라, 레이더 등) 및 자율주행 차량 내 센서(카메라, GPS, UWB tag, IMU 등), 비자율차량 운전자 또는 보행자의 스마트폰을 이용하여 교차로내 다중객체의 위치 및 상태 정보를 수집하고 교환한다.
교차로 상황 정보는 인프라 카메라 기반 영상 인식정보, 차량으로부터의 정보, 디지털 맵, 보행자로부터의 정보 등 다양한 수집원이 존재하기 때문에 표준 정보교환 인터페이스를 통해 정보 수집 및 제공된다.
각 데이터 수집원별로 별도의 데이터 처리부를 통해 데이터 처리의 효율성을 확보하고 데이터 융합 플랫폼인 미래형 교차로 통합정보 서버(100)를 통해 통합 상황 정보를 기반으로 차량 및 보행자에게 교차로 안전 지원 및 경제 운전 서비스를 제공한다.
- 인프라 센서
인프라 센서 모듈은 HD급 해상도의 카메라부, 트래픽 레이더부, 객체인식부, 통신부가 일체화된 구성을 채택하여 센서 단말에서 교차로내의 차량, 보행자등 다중객체의 유형 및 위치정보를 생성하여 교차로내 로컬 네트워크상 교차로 통합정보 엣지컴퓨터로 무선통신(WIFI)를 이용하여 전송한다.
교차로 코너 모서리에 매설된 통상의 신호등 지주 혹은 가로등 지주에 설치한다. 설치대수는 각 코너당 최소 1대, 최대 2대를 설치하되, 도 2와 같이 설치하여 각 카메라 센서가 교차로 내 객체인식 및 진입방향의 객체 인식이 가능하도록 설치함이 바람직하다.
바람직한 카메라의 화각(FOV: Field of View)은 수평 각 60도, 수직 각 33도, HD급(1280x720) 화질을 적용하여 객체의 동적정보를 취득하기 위해 요구되는 4cm (상대거리 40m 기준)의 공간해상도를 갖는다.
하나의 인프라 센서 모듈은 교차로 내부 인식, 진입방향 인식을 동시에 수행(각 코너 및 진입방향에 대한 중복 인식)이 가능하도록 한다.
도 2에 도시된 것처럼, 설치위치는 지면으로부터 5m의 높이에, 각도는 카메라의 중심이 지면의 수직방향과 73.5°를 이루는 것이 좋다. 교차로 코너 모서리 위치에 카메라 설치하는 경우에는, 수평 FOV 60°로 모든 CP(Critical Point)를 커버하도록 하고, 보행자 모션 측정을 용이하게 하기 위해, 보행자의 횡단방향과 수직이 되도록 카메라 설치 위치를 설정하는 것이 좋다.
인프라 센서는 머신러닝을 이용한 분류 알고리즘을 통해 객체인식을 수행하여 차량, 보행자, 배경을 구분하고 오인식 상황을 대비해 두 개의 분류기로 이중 검증이 가능하도록 구성된다.
머신러닝을 통한 분류 알고리즘은 많은 연산이 필요하므로, 본 발명에서는 별도의 후보 추출 알고리즘을 적용하여 분류할 대상을 축소할 수 있도록 하였다.
1차 분류 알고리즘은 분류 대상이 많으므로 고속처리가 가능 한 알고리즘이 필요하기 때문에 HOG+SVM (Histogram of Gradient + Support Vector Mahcine) 기반으로 설계하고, 2차 분류 알고리즘은 1차 분류기에서 오인식된 결과를 최종 배제하여 2차 분류를 실시한다.
본 발명의 객체 인식 알고리즘은 칼만 필터를 기본 추적 알고리즘으로 적용하며, 인프라 센서에서 객체까지의 거리와 영상 내의 이동량에 따른 상대속도를 추정하고, 고정밀 도로지도의 고정시설물 정보인 신호등 지주 지면위치, 도로표지(정지선, 횡단보도)의 모서리 지점을 이용하여 다중객체의 절대위치 및 상대위치를 추출한다.
- 자율주행 차량 내 센서
자율주행 차량은 도 3에 도시된 것처럼, 전방카메라, 측위센서(GPS, IMU), V2X통신부가 공통적으로 채택되는데, 본 발명에서는 추가로 UWB-태그를 사용하여 도심내 GPS수신불량 지역에서도 고정밀 위치정보를 취득할수 있도록 구성한다.
UWB부는 무선동기 방식의 OTDoA(Observed Time Difference Of Arrival)기술을 기반으로 AP를 교차로에 설치하여 차량에 설치된 UWB-태크를 통해 고정밀 위치정보를 생성한다. 차량에 탑재되는 UWB-태그의 동시 인식 개수는 제한이 없기 때문에 교차로내 다수의 차량 위치를 인식할 수 있다.
측위센서(GPS/UWB/IMU)들로부터의 측위는, 도 3과 같이 여러 종류의 센서로부터 측위 신호를 획득하고, 신호 품질(Quality)을 이용한 구간 스위칭 알고리즘을 통해 차량의 주변 환경별 GPS의 신호 품질을 통계를 내어 가장 양호한 신호로 측위한다.
구체적으로, GPS의 NMEA Message 중 위성개수, HDOP, FIX값, 신뢰도 파라미터를 측정하여 GPS의 신호 품질을 판별하며, UWB 인프라가 설치되어 있지 않은 공간에서는 GPS/INS로 동작하고, 도심 교차로 등 GPS 음영지역에서는 UWB/INS로 동작하게 된다. GPS와 UWB의 성능에 따라 GPS Zone(GPS/INS기반 위치추정), UWB Zone(UWB/INS기반 위치추정), Dead Zone(INS기반 위치추정)으로 차량 주행환경을 구분하여 위치추정을 한다.
생성된 고정밀 위치정보는 V2X통신(WAVE) 통신을 통해 BSM메시지에 삽입되어 교차로 통합정보 엣지컴퓨터로 전송한다.
자율주행차량의 전방 카메라는 주행차로 차선인식정보, 전방 차량의 인식정보(유형 및 위치정보) 및 도로를 가로지르는 무단횡단 보행자 인식정보를 획득하고, 이를 V2X통신(WAVE) 통신을 통해 BSM메시지에 삽입하여 교차로 통합정보 엣지컴퓨터로 전송한다.
- 비자율차량 운전자 또는 보행자의 스마트폰
비자율차량 운전자 또는 서비스를 원하는 보행자는 스마트폰 앱을 통해 서비스를 받을 수 있다.
스마트폰을 교차로 V2X통신에 참여하기 위하여 교차로 소정 위치에 WAVE 통신모듈이 구비되며, 스마트폰과 WAVE 통신모듈은 블루투스 통신을 이용한다.
스마트폰 내장 MEMS (MicroelEctroMechanical Systems) 센서를 사용하며 가속도 센서, 자이로스코프, 지자기 센서 등을 사용하여 추측항법 시스템을 구현한다.
지자기센서와 자이로스코프를 혼용하여 자세추정기(Attitude Heading Reference System)를 제작하며 지구자기장의 방향을 측정하고, 회전을 측정하여 진행 방향을 추측한다.
위성 항법 시스템은 도심음영지역에서 측위 정확도가 낮아지는 문제가 있고, 추측 항법은 장시간 운용 시 오차 누적 문제가 존재하기 때문에 각 측위 시스템의 단점을 보완하기 위해 위성 항법 시스템과 추측 항법을 융합하여 사용한다. 두 시스템을 융합하기 위해 칼만 필터를 사용하는 것이 좋다.
스마트폰의 위치정보와 시간정보 등은 블루투스 통신으로 WAVE 단말을 경유하여 PSM메시지로 교차로 통합정보 엣지 컴퓨터로 송신하고, 위험 경보와 경제운전 정보등 서비스 정보를 스마트폰 유저 타입(비자율차, 보행자)에 따라 수신한다.
- V2X통신부
본 발명에서는 IEEE 1609.X 기반의 통신 프로토콜을 이용하며 SAE J 2735기반의 메시지셋을 정의하였다.
차량대상 BSM 및 보행자 대상 PSM 기본메시지셋에 확장영역을 추가(VehicleSafetyExtensions, SpecialVehicleExtensions, SupplementalVehicleExtensions)하였다.
자율주행차의 WAVE통신모듈과, 비자율차 및 보행자등 스마트폰이용자의 WAVE통신모듈을 통해 수신되는 정보와, 송신되는 서비스 정보는 교차로 인프라 환경의 WAVE안테나를 통해 WAVE제어기에서 메시지를 인코딩/디코딩 하여 로컬 네트워크로 구성된 교차로 통합정보 엣지컴퓨터와 송수신하게 된다.
로컬 네트워크는 NTP-Time Server로 동기화된 시간정보를 기준으로 동기화된다.
교차로 통합정보 융합을 위한 정보수집 주체별 정보전송 항목은 다음과 같다.
인프라 카메라(차량, 보행자, 돌발상황) : 전송시간, 위치(x,y,z), 헤딩, 속도, 인지시간, 폭, 높이, 종별신뢰도, 위치신뢰도(x,y,z), 행동패턴 등
자율주행차량 단말기 UWB(자율주행차량) : 전송시간, 위도, 경도, 고도, 정확도, 속도, 방향, 가속도 등
자율주행차량 단말기 전방카메라(전방차량, 돌발보행자) : 전송시간, 전방차량 상대거리(x,y), 상대속도, 전방차량 복, 객체종별 신뢰도 등
스마트폰 정보 : 전송시간, 종별(차량/보행자), 경도, 위도, 고도, 측위신뢰도, 헤딩, 속도, 위성 상태정보, 측위시간, 행동패턴 등
이상의 설명을 정리하면 아래의 표 1과 같다.
| 정보수집 주체 | 인지범위 | 인지정보 | V2I 통신방식 |
| 인프라 카메라 | 교차로내 | -차량 -보행자 -돌발상황 |
무선(TCP/IP) |
| 자율주행차량 단말기 UWB | 교차로 전범위 | BSM -자율주행차량 |
WAVE |
| 자율주행차량 단말기 전방카메라 | 주행차로 | BSM확장 -전방차량 -돌발보행자 |
WAVE |
| 스마트폰 | 교차로 전범위 | BSM -비자율주행차량 PSM -보행자 |
BLE+WAVE |
- 클라우드 연계 정보 수집 및 제공을 위한 논리 데이터 모델
본 발명에서 이용하는 교차로 상황정보에 해당하는 동적 정보 데이터 항목을 기반으로 한 교차로 상황 정보 기준 논리데이터 모델은, 교차로 상황 정보 Class의 하위 클래스에 MAP, Dynamic Information 클래스가 상속되어 진다.
도 5에 논리 데이터 모델이 예시되어 있으며, MAP과 Dynamic Information 클래스는 교차로 상황정보를 표현하기 위한 클래스로서 지도상에 정적인 정보를 제공하는 속도정보, 교통제한정보, 차로정보, 교통표지판정보, 구간정보 들의 집합과 동적인 정보를 제공하는 교통상황정보, 노면정보, 날씨정보, 차량주변정보, 위험상황정보 들의 집합이다.
이하, 수집된 정보를 바탕으로, 데이터 융합 프레임 워크의 미래형 교차로 통합정보 서버(100)가 실시간 통합 정보 생성, 위험상황 예측, 안전운전 및 경제운전 서비스 지원을 수행하는 방식을 상세히 설명한다.
양방향성 데이터 흐름도를 순차적인 레벨관계로 정의하였으며 개략도는 도 6과 같다.
도시된 바와 같이, 데이터 흐름의 중추가 되는 데이터 융합 프레임 워크의 미래형 교차로 통합정보 서버(100)는 전처리기(110), 개체 정제 모듈(120), 상황 인지 모듈(130), 위험 판단 모듈(140) 및 행동 계획 모듈(150)을 포함한다.
전처리기(110)는 인프라 영상정보 통합플랫폼, 자율주행차량단말기, 스마트기기로부터 수신한 공간정보로부터 객체의 위치와 속도를 추정한다.
개체 정제 모듈(Level1)(120)은 객체의 위치, 파라미터 정보와 식별 정보를 알아내며, 추정, 표적 추적 및 패턴 인식과 같은 작업으로 전처리에서 얻은 데이터들을 분석하여 개체를 정의하고 연관성이 낮은 정보는 제거한다. 이 단계에서 하게 되는 기능을 4가지로 분류한다.
* 데이터 정렬(Data alignment): 좌표계 변환, 단위 통일
* 데이터/객체 상관(Data/object correlation): 니어스트 네이버(Nearest Neighbor)방식
* 위치/거동 & 속성 예측(Position/kinematics & attribute estimation): 칼만(kalman filter) 이용
* 객체 존재 추정(Object identity estimation): 패턴 인식 이용
상황인지 모듈(Level2)(130)은 1레벨에서 판단된 개체들 간의 관계를 정의한다. 객체 정보를 이용하여 현재 상황을 기술한다.
* 객체 결합(Object aggregation)
* 이벤트/액티버티 해석(Event/activity interpretation)
* 의미론적 해석(Contextual interpretation)
위험판단 모듈(Level3)(140)은 현재 상황으로부터 미래의 위험 정보를 판단하는 모듈로서, 1레벨과 2레벨에서 얻은 정보를 이용하여 각 객체가 교통사고에 미칠 수 있는 영향과 안전정보제공에 대한 의사 결정을 하게 되는 3레벨 단계를 처리한다. 3레벨에서 상황 예측을 위한 근거가 부족 할 시에는 판단을 보류하고 2레벨과 1레벨에게 해당 상황 예측을 위한 정보 수집 요구의 피드백을 요구하게 된다.
행동계획 모듈(Level4)(150)은 위험판단 모듈(130)이 처리한 3레벨의 예측 결과에 의해 제공된 정보로부터 상황을 판단하여 의사결정에 대한 행동을 계획하는 4레벨 단계를 처리한다.
데이터베이스(160)는 객체 데이터베이스와 융합 데이터베이스를 포함한다. 객체 데이터베이스는 다양한 출처로부터 수집한 원시 데이터를 전처리기에서 해석한 객체들을 저장한다. 융합 데이터베이스는 위험과 대응책에 관련된 목록들을 저장한다.
또한 본 발명에 따른 서버(100)는 교차로 실시간 LDM 생성 및 데이터 베이스를 구축하며, 교차로 자율주행 혼합류 통합 정보(LDM)는 데이터 수집 단계에 따라 기초 데이터, 융합데이터, 서비스 데이터로 구분하며 데이터베이스에 저장하며 단계별 키워드를 테이블명에 부여하여 구분한다.
| 수집체계 | 수집데이터 |
| 통신 기지국 서버 | 자율주행차량 전송 데이터 일반차량 전송 데이터 보행자 전송 데이터 |
| 인프라 영상 서버 | 인프라 차량 인지 인프라 보행자 인지 대기열 인지 |
| 데이터베이스 서버 | 경제운전 교통량 데이터 Map 데이터 차량정보 융합 데이터 보행자 정보 융합 데이터 대기열 융합 데이터 신호 현시 데이터(통신) |
아울러, 파악된 상황이나 회피 정보, 안내 정보 등의 행동 계획을 안내하는 안내 모듈(미도시)이 더 포함된다.
이하, 각 모듈이 수행하는 처리에 대해서 구체적으로 설명한다
[실시간 통합 정보 생성]
교차로 통합정보 LDM(Local Dynamic Map)은 정적인 디지털 맵과 계속 변화하고 있는 차량 및 보행자등 이동객체의 위치가 통합되어 교차로 주변의 상세 정보를 표시하는 동적 Map 정보이다.
개체 정제 모듈(120)은 기 수집된 정보를 융합하여 지역맵을 생성, 다중 객체에 대한 고정밀 위치 보정을 수행한다.
인프라 카메라 객체위치 인지정보, 자율주행차량의 위치정보(UWB) 및 스마트폰(GPS-PDR)의 위치정보를 데이터 융합을 통해 객체ID를 부여하고 위치를 보정한다.
우선, 상이한 수집원으로부터 획득된 인프라 카메라의 위치 인지정보, 자율주행차량의 위치정보, 스마트폰 위치정보에 대하여 단일한 좌표계로 변환하고 단위를 통일한다.
그 다음, 인프라 카메라, 자율주행차, 스마트폰으로부터의 데이터에 대한 위치 분산비를 가중치로 적용하여 각 데이터를 융합한다.
상황 인지 모델(130)은 위 융합 데이터를 토대로 보행자 경로와 차량 경로를 예측한다.
보행자 경로의 예측은 수집 데이터 이력을 토대로 RLS 기반의 선형 경로예측 모델을 생성하여 수행한다. 그런데, 교차로 내 보행자의 거동 특성상 일정 속도로 지속적으로 보행하는 경우보다는 서있다가 움직이는 경우가 훨씬 더 많다. 따라서, 각 영상 프레임상의 이동 변위만을 고려할 경우 오차가 클 수 있으므로, 교차로 보행자 모델 신뢰성을 확보하기 위해서는 보행자 거동패턴의 불확실성을 고려한 통계 기반의 거동예측 알고리즘 개선이 필요하다.
이를 위하여, 보행자가 서있다가 움직이기 시작하여 안정적인 보행에 접어드는 정상상태 도달 소요시간 파라미터(Prediction)를 추정한다. 즉, 보행자 경로예측 신뢰도를 높이기 위해 보행자의 정상상태 속도 도달까지의 소요시간(가속구간) 파라미터가 필요하며, 이는 실교차로에서 취득된 120여개의 Ground Truth(GT)를 리그레션(regression)하여 모델 식을 유도할 수 있다.
정상상태 도달 예측 소요시간은 도 7에 도시된 바와 같이 2.5m/s 이하의 정상상태 속도는 첫 걸음 소요시간와 선형적인 관계를 보이며, 그 이상의 값에서는 1.55초로 가정하여 적용하였다.
보행자 경로예측을 위한 정상상태 도달 소요시간은 다음 식과 같이 정의된다.
정상상태 속도 도달 소요시간은 정상상태 속도의 크기에 비례하는 경향을 보이며 일정 속도 이상에서는 연계성이 없다.
아울러, 실 교차로 센서데이터 특성을 고려한 실 도심 교차로 센서 인지 특성 고려 보행자 거동모델 개선(알고리즘 튜닝 및 False-positive 성능 개선)은 아래와 같이 수행된다.
보행자 모션정보는 레퍼런스 센서와 달리 신체부위별 정밀 측정이 아닌 보행자 사각 인지영역(ROI)을 기반으로 추출하는데(도 8 참조), 보행자 보폭 크기는 인지영역의 가로 폭(Box width)를 기준으로 취득할 수 있고, 하반신 속도는 보폭의 증가량에 대한 영상 fps를 연산하여 계산한다.
보행자 상반신 굽힘의 크기는 1~3단계로 구분하며 직립하여 서있는 보행자 자세와, 빠른 걸음 시 발생하는 중간 굽힌 자세, 그리고 돌발적으로 뛰어나갈 경우 발생하는 큰 굽힘의 크기로 분류한다.
보행자 중 인지 영역 가로길이의 변화가 없는 상태를 정지 보행자로 판단하고, 보행자가 거동을 시작하면 인지영역 박스 폭(Box width)의 크기가 증가하며, 일정 값(threshold)를 넘어갈 경우 거동 중인 보행자로 판단할 수 있다.
보행자의 첫 걸음이 완료되어 앞발이 지면에 착지되는 순간 인지영역 가로 폭 증가량이 멈추었다가 다시 감소하는 추세를 보이며 이를 첫 걸음 완료 지점으로 판단한다.
거동을 시작하여 보행자 인지영역(Box width)이 증가하더라도 첫 걸음이 완료되기 이전의 보행자 속도는 검출되지 않은 단계이며, 예측알고리즘을 통해 이 단계에서의 정상상태 속도 예측을 수행한다.
노변센서로 취득된 보행자 모션정보는 보행자 인지영역(Box)으로 추출되며, 보폭/하반신 속도/상체 기울기를 센서 취득 가능 형태로 변형한다.
본 발명은 서있던 보행자의 정상상태 속도 도달 소요시간을 소요시간을 고려하여 보행자의 경로 예측을 수행하여 보행자 경로 예측을 한 결과, 경로예측 결과 및 실제 이동거리(GT)의 비교 결과 20~40cm 이내의 오차가 발생함을 검증하였다.
보행자의 첫 걸음 완료 시점은 0.3~0.6초 이내에 이뤄지는데 이는 노변 센서의 10 frame 시점에 해당하며, 본 발명에 따른 보행자 예측 방식에 따르면 해당 시점에 향후 2~3초 이후의 경로 예측이 가능함을 실교차로 보행자 샘플을 통해 검증하였다.
차량 경로 예측에 대해 설명한다. 자율주행차의 경우 차량으로부터 현재 위치, 헤딩각, 조향각, 속도 등 정보를 수신하여 정확한 경로 예측이 가능하다. 차량 경로 예측은 비자율주행차에 대해 관련되며 차량 주행 차로를 개별적 모델로 간주하여, 현재 시점의 차량의 속도 및 헤딩각을 입력 정보로 처리하며, 비선형적으로 EKF(Extended Kalman Filter)를 사용한다.
그런데, 비자율주행차의 경우 노변 카메라를 통해 비자율주행자동차의 위치, 속도, 헤딩을 인지한다. 하지만 헤딩각은 매우 부정확하며, 차량의 크기 정보 또한 가용하지 않다. 따라서 칼만필터 설계에 앞서 다음을 가정한다.
모델을 위해 Point mass를 가정한다. 각 모델은 도로 요소(Road component)의 속성에 따라 예측 및 갱신된다. 속도와 요 율(yaw rate)는 모델 입력으로 구성되며, 요 율은 도로의 곡률에 따라 결정된다.
전술한 바와 같이 노변 카메라 영상을 통해 추출한 헤딩각은 매우 부정확하며 이로 인한 예측 오류가 가장 크다. 따라서, 관측 값은 오직 위치만으로 구성하며 헤딩각은 필터를 통해 추정한다.
[위험상황 예측]
이상의 과정을 통해서 자율주행차, 비자율주행차, 보행자 등의 객체를 인식하고 위치 및 경로를 예측하면, 위험 판단 모듈(140)이 위험상황을 예측한다.
교차로 내 위험상황(사전위험도, 융합위험도)을 판단/예측하여 차량 및 보행자에 정보 제공 경로계획 유형 별 사고위험도 판단 알고리즘을 설명한다.
만약, 차량 및 보행자의 경로가 특정한 함수로 정의할 수 있거나, 또는 regression이 가능하다고 하면 알려진 함수를 바탕으로 사고위험을 산출 가능하다.
충돌 가능성을 판단하기 위한 두 객체의 알려진 경로함수가 f1, f2라고 하면, Newton -Raphson method를 사용하여 아래와 같은 함수의 해를 구한다.
만약 유효한 해가 존재한다면 해가 존재하는 지점에서 두 경로 간에 시공간 상에서의 교점이 있는지를 확인하여, 만약 유사시점에 해가 존재한다면 충돌이 발생하는 상황으로 판단할 수 있다.
그런데, 경로점(waypoint)은 알려져 있으나, 경로의 형태는 알려지지 않거나 정형화되어 있지 않은 경우, 즉 미상의 경로에 대한 경우, 예를 들어 IMM KF 알고리즘을 통해 추정된 경로와 같은 경우 위와 같은 방법을 사용할 수 없다. 따라서 이런 경우에는 경로점과 이웃 경로점 사이는 직선 세그먼트 (line segment)라고 가정하여 충돌 위험도를 산출한다.
도 9는 특정 시점에 대한 차량의 직선 세그먼트 L1과 보행자의 직선 세그먼트 L2를 통한 충돌위험도를 판단하는 도식을 나타낸다.
도 9에서 십자 원은 차량의 경로점, 엑스 자 원은 보행자의 경로점을 나타낸다.
먼저 두 객체의 경로상의 각 직선 세그먼트를 비교해 교차점이 있는지 확인한 후, 교차점이 시공간 상으로 동일한 공간에 있을 경우 충돌이 예상됨으로 판정한다.
점(point mass)을 기준으로 정확히 충돌이 되기 위해서는 교차점에서의 양 객체의 경로점 상 시점이 완전히 동일해야 하나, 양 객체의 예상경로 상의 불확실성 및 차량/보행자의 디멘전을 고려하여 아래의 수학식 3과 같이 소정의 허용치를 적용함이 바람직하다.
위 수식에서 T(obj1)은 객체1에 대한 교차점에서의 시점을, T(obj2)는 객체2에 대한 교차점에서의 시점을 나타낸다.
두 객체의 경로점 상의 직선 세그먼트 간에 교차점이 있는지를 확인하는 방식은, 어느 한 객체를 기준으로 해당 객체의 경로점 상 직선 세그먼트를 순차적으로 바꿔가며 상대 객체의 직선 세그먼트와 비교하여 교차점이 있는지를 확인하도록 하였다.
각 객체별 직선 세그먼트는 아래의 수학식 4와 같이 1차 Bezier Curve를 이용하여 정의할 수 있다.
다음으로 각 직선 세그먼트의 연장선이 교차하는 점에서의 직선 세그먼트를 다음의 수학식 5를 통해 계산한다.
위 행렬식을 통해 계산된 파라미터의 값이 모두 [0 1] 범위 내에 있게 되면 두 직선 세그먼트간의 교차점이 있게 되며, 이 때 교차점을 다음과 같이 계산할 수 있다.
충돌 시까지의 시간(TTC, Time-to-Collision)은 아래와 같이 산출할 수 있다.
위 수식은 직선 세그먼트 간 교차점이 어느 한 객체를 기준으로 j번째 경로점과 j+1번째 경로점 사이에 존재하는 경우를 가정한 것이고, time_offset_collision은 j번째 경로점으로부터 교차점까지 객체가 진행하는데 걸리는 시간을 나타낸다.
한편, 교차로 내에 자율주행차량 및 일반차량의 대수가 많을 경우 그에 비례해 연산량이 증가하게 되는데, 기존의 예측 방식으로는 일반차량의 대수가 많아질수록 위험도판단이 필요한 계산량이 기하급수적으로 증가할 수 있다. 또한 기존 예측 방식의 경우 도로모델 상의 점들을 혼합(mixing)함에 따라 예측치가 도로모델 내로 바운드되는 문제점이 있다.
그래서 본 발명에서는, 예측 방식을 현재 혼합된 상태(mixed state)에서 도로모델들에 대해 혼합된 입력 값을 갖고 다음 상태가 계산되는 방식으로 변경하였고, 이럼으로써 예측 기간 중 별도의 칼만 필터 계산을 하지 않으므로, 개선된 방식에서의 시간 복잡도는 아래와 같이 크게 감소시킬 수 있다.
[인접 교차로 연동 안전운전 및 경제운전 서비스 지원]
행동 계획 모듈(150)은, 예측된 위험을 예방하거나 회피하기 위하여 자율주행차, 비자율주행차, 보행자에 대한 행동 계획을 수립한다. 예방 또는 회피는 자율주행차에 대한 경로 변경 권고, 비자율주행차 운전자 및/또는 보행자에 대한 경고 제공을 포함한다.
한편, 행동 계획 모듈(150)은 현 교차로와 인접 교차로의 신호체계와 연동하여 안전운전 및 경제운전 서비스를 지원한다.
안전운전 및 경제운전 서비스를 지원하기 위해 서비스 이용자에게 제공되는 데이터 목록은 교차로 상황정보 서비스 데이터, 교차로 돌발상황 서비스 데이터, 교차로 예상 경로 서비스 데이터, 교차로 경제 운전 서비스 데이터를 포함한다.
행동 계획 모듈(150)에 의해 수립된 행동 계획 및 안내 정보는 통신부(미도시)를 통해 노변 장치나 자율주행차, 비자율주행차/보행자 스마트폰으로 제공된다.
이러한 구성을 통해 본 발명에 따른 미래형 교차로 통합정보 서버(100)는 서비스 이용자에게 제공하는 데이터에 따라 아래와 같은 안전운전 및 경제운전 서비스를 지원할수 있다.
① 시계불량 충돌 위험경고
도 10에 예시된 바와 같이, 장애물, 악천후로 인해 자율주행 차량에 탑재된 범용센서가 충돌위험이 있는 주변차량의 정보를 인식하기 어려운 경우, 통합정보 서버(100)는 직접 또는 노변장치를 통해 자율주행 차량에 해당 차량의 정보를 전송한다. 아래 그림과 같이 검지장치에서 주변차량의 정보를 수집하여 융합서버로 전송하고 융합서버에서 은폐차량 예상 경로, 충돌위험 경고 자료를 생성하여 자율주행차량에 전송한다.
② 연비 최적 속도 추천 시나리오
교차로에 접근하는 비자율주행차량에게 교통류 이론에 적용하여 인접교차로 신호등 현시에 맞는 차량의 연비 최적 추천 속도를 산출하여 전송한다. 도 11과 같이, 신호 현시 정보를 융합서버로 전송하고 융합서버에서 연비 최적 속도를 산출 자료를 생성하여 비자율주행차량에게 전송한다.
③ 은폐 돌발보행자 보호
시계불량 충돌 위험사고와 같이 악천후, 주변 주정차 차량이나 구조물, 건물 등으로 인해 자율주행 차량에 탑재된 범용센서가 충돌위험이 있는 보행자 정보를 인식하기 어려운 경우, 노변장치(또는 통합서버)에서 자율주행 차량에 해당 돌발 보행자 정보를 전송한다. 도 12와 같이 교차로에 설치된 노변센서에서 돌발보행자의 정보를 수집하여 융합서버로 전송하고 융합서버에서 수신 자율주행 차량에 해당 정보를 전송하여 사고를 방지한다.
④ 보행자 횡단 지원
보행자가 보행환경 상에서 악천후, 기타 장애물 등으로 인해 주변 위험상황 인식이 어려워 위험도가 높은 경우 또는 보행자의 도보이동 중 스마트기기 사용으로 인한 주의력 하락 상황 시에 쉽게 발생할 수 있는 사고 예방 서비스이다. 도 13과 같이, 노변센서나 기타 자율주행/비자율주행 차량에서 수집되는 접근차량, 신호위반차량, 동일 이동방향의 우회전 차량 등의 충돌예측정보를 보행자 스마트기기를 통해 경고한다.
이상 설명한 바를 토대로, 본 발명에 따른 교차로 통합 정보 제공 시스템의 운영 발명을 정리하면 다음과 같다.
인프라 영상정보 통합플랫폼, 자율주행차량단말기, 스마트기기로부터 객체의 위치, 속성 등이 포함된 공간정보를 수집하고 수신한 공간정보로부터 객체의 위치와 속도를 추정하는 전처리한다(S110).
그 다음 전처리 단계에서 얻은 데이터들을 분석하여 개체를 정의하고 연관성이 낮은 정보는 제거하는 개체 정제 단계와(S120), 개체 정제 단계에서 판단된 개체들 간의 관계를 정의하는 상황 인지 단계를 거친다(S130).
개체 정제 단계 및 상기 상황 인지 단계에서 생성된 정보를 토대로 정보를 이용하여 교차로 내 위험 요소를 판단하고(S140), 상기 개체 정제 단계, 상황 인지 단계 및 위험 판단 단계 중 적어도 하나로부터의 정보에 기초하여 상황 판단 및 행동 계획을 수립한다(S150).
수립된 행동 계획에 따라 보행자/비자율주행차 운전자, 자율주행차에 경고, 권고 또는 안내를 한다(S160).
이상 몇몇 실시예를 들어 본 발명의 구성에 대하여 상세히 설명하였다. 그러나, 이는 예시에 불과한 것으로 본 발명의 기술적 사상의 범주 내에 다양한 변형과 변경이 가능함은 물론이다. 따라서, 본 발명의 권리범위는 이하의 특허청구범위의 기재에 의하여 정해져야 할 것이다.
Claims (18)
- 인프라 영상정보 통합플랫폼, 자율주행차량단말기, 스마트기기로부터 수신한 공간정보로부터 객체의 위치와 속도를 추정하는 전처리기와,
상기 전처리기에서 얻은 데이터들을 분석하여 개체를 정의하고 연관성이 낮은 정보는 제거하는 개체 정제 모듈과,
상기 개체 정제 모듈에서 판단된 개체들 간의 관계를 정의하는 상황 인지 모듈과,
상기 개체 정제 모듈 및 상기 상황 인지 모듈로부터의 정보를 토대로 정보를 이용하여 교차로 내 위험 요소를 판단하는 위험 판단 모듈과,
상기 개체 정제 모듈, 상황 인지 모듈 및 위험 판단 모듈 중 적어도 하나로부터의 정보에 기초하여 상황 판단 및 행동 계획을 수립하는 행동 계획 모듈
을 포함하는 교차로 통합 정보 시스템. - 제1항에 있어서,
상기 행동 계획 모듈이 수립한 행동 계획을 안내하는 안내모듈을 더 포함하는 교차로 통합 정보 시스템. - 제1항에 있어서,
전처리기에서 해석한 객체들을 저장하는 객체 DB와 각 위험과 대응책에 대한 목록을 저장하는 융합 DB를 포함하는 데이터베이스를 더 포함하는 교차로 통합 정보 시스템. - 제1항에 있어서, 상기 개체 정제 모듈은,
수집된 정보를 융합하여 지역맵을 생성, 다중 객체에 대한 고정밀 위치 보정을 수행하는 것
인 교차로 통합 정보 시스템. - 제1항에 있어서, 상기 개체 정제 모듈은,
상기 인프라 카메라의 위치 인지정보, 자율주행차량의 위치정보, 스마트폰 위치정보에 대하여 단일한 좌표계로 변환하고 단위를 통일한 후, 상기 인프라 카메라, 자율주행차, 스마트폰으로부터의 데이터에 대한 위치 분산비를 가중치로 적용하여 각 데이터를 융합하는 것
인 교차로 통합 정보 시스템. - 제1항에 있어서, 상기 상황 인지 모듈은,
보행자 경로와 차량 경로를 각각 예측하는 것
인 교차로 통합 정보 시스템. - 제6항에 있어서, 상기 상황 인지 모듈은,
수집 데이터 이력을 토대로 RLS 기반의 선형 경로예측 모델을 생성하여 상기 보행자 경로를 예측하되, 보행자의 정상상태 속도 도달까지의 소요시간을 고려하여 예측하는 것
인 교차로 통합 정보 시스템. - 제6항에 있어서, 상기 상황 인지 모듈은,
자율주행차의 경우 차량으로부터 현재 위치, 헤딩각, 조향각 및 속도 정보를 수신하여 경로를 예측하고,
비자율주행차의 경우 노변 카메라를 통해 비자율주행자동차의 위치를 인지하고, 칼만 필터를 통해 헤딩각을 추정하고, 도로의 곡률에 따라 요 율을 결정하여 이로부터 경로를 예측하는 것
인 교차로 통합 정보 시스템. - 제1항에 있어서, 상기 위험 판단 모듈은,
두 객체의 경로를 특정 함수로 정의할 수 있는 경우에는 뉴튼-랩슨 방법을 사용하여 상기 두 객체의 각 경로 함수의 차이에 대한 해가 존재하는지 여부에 기초하여 충돌 상황을 판단하는 것
인 교차로 통합 정보 시스템. - 제1항에 있어서, 상기 위험 판단 모듈은,
경로점은 알지만 경로를 알 수 없는 두 객체에 대해서, 각 경로점과 이웃 경로점 사이는 직선 세그먼트로 가정하여, 상기 두 객체 간의 경로상의 각 직선 세그먼트를 비교해 교차점이 있는지 확인한 후, 교차점이 시공간 상으로 동일한 공간에 있을 경우 충돌이 예상됨으로 판정하는 것
인 교차로 통합 정보 시스템. - 제1항에 있어서, 상기 행동 계획 모듈은,
예측된 위험을 예방하거나 회피하기 위하여 자율주행차, 비자율주행차, 보행자에 대한 경로 변경 권고, 위험 경고를 포함하는 행동 계획을 수립하고, 현 교차로와 인접 교차로의 신호체계와 연동하여 안전운전 및 경제운전 서비스를 지원하는 것
인 교차로 통합 정보 시스템. - 인프라 영상정보 통합플랫폼, 자율주행차량단말기, 스마트기기로부터 수신한 공간정보로부터 객체의 위치와 속도를 추정하는 전처리 단계와,
상기 전처리 단계에서 얻은 데이터들을 분석하여 개체를 정의하고 연관성이 낮은 정보는 제거하는 개체 정제 단계와,
상기 개체 정제 단계에서 판단된 개체들 간의 관계를 정의하는 상황 인지 단계와,
상기 개체 정제 단계 및 상기 상황 인지 단계에서 생성된 정보를 토대로 정보를 이용하여 교차로 내 위험 요소를 판단하는 위험 판단 단계와,
상기 개체 정제 단계, 상황 인지 단계 및 위험 판단 단계 중 적어도 하나로부터의 정보에 기초하여 상황 판단 및 행동 계획을 수립하는 행동 계획 단계
를 포함하는 교차로 통합 정보 시스템 운영 방법. - 제12항에 있어서, 상기 상황 인지 단계는,
보행자의 첫 걸음 완료를 판단하는 단계와,
첫 걸음 완료 후의 보행자의 정상상태 속도 도달 소요시간을 파악하는 단계와,
상기 정상상태 속도 도달 소요시간을 고려하여 보행자의 경로 예측을 수행하는 단계
를 포함하는 것인 교차로 통합 정보 시스템 운영 방법. - 교차로내의 차량, 보행자등 다중객체의 유형 및 위치정보를 생성하는 인프라 센서와,
상기 인프라 센서 및 교차로 부근의 자율주행차로부터 객체 정보 및 상기 객체의 위치정보를 수신하는 교차로 통합 정보 서버를 포함하되,
상기 인프라 센서는 머신러닝을 이용한 분류 알고리즘을 통해 객체인식을 수행하여 차량, 보행자, 배경을 구분하고 오인식 상황을 대비해 두 개의 분류기로 이중 검증이 가능하도록 구성된 것
인 교차로 통합 정보 시스템. - 제14항에 있어서, 상기 인프라 센서는,
객체까지의 거리와 영상 내의 이동량에 따른 상대속도를 추정하고, 고정밀 도로지도의 고정시설물 정보인 신호등 지주 지면위치, 도로표지(정지선, 횡단보도)의 모서리 지점을 이용하여 다중객체의 절대위치 및 상대위치를 추출하는 것
인 교차로 통합 정보 시스템. - 제14항에 있어서, 상기 교차로 통합 정보 서버는,
교차로 내의 비자율주행차 운전자 및 보행자의 스마트폰으로부터 객체 및 위치 정보를 더 수신하는 것
인 교차로 통합 정보 시스템. - 교차로내의 차량, 보행자등 다중객체의 유형 및 위치정보를 생성하는 인프라 센서와, 상기 인프라 센서 및 교차로 부근의 자율주행차, 비자율주행차 운전자 및 보행자의 스마트폰로부터 객체 정보 및 상기 객체의 위치정보를 수신하는 교차로 통합 정보 서버를 포함하되,
상기 교차로 통합 정보 서버는,
상기 인프라 센서의 위치 인지정보, 자율주행차량의 위치정보 및 스마트폰 위치정보에 대하여 단일한 좌표계로 변환하고 단위를 통일한 후, 상기 인프라 센서, 자율주행차 및스마트폰으로부터의 데이터에 대한 위치 분산비를 가중치로 적용하여 각 데이터를 융합하는 것
인 교차로 통합 정보 시스템. - 제17항에 있어서, 상기 교차로 통합 정보 서버는,
상기 융합된 데이터를 토대로 각 객체간 충돌 위험 경고, 시계 불량 충돌 위험 경고, 연비 최적 속도 추천, 은폐 돌발보행자 보호 및 보행자 횡단 지원 서비스를 제공하는 것
인 교차로 통합 정보 시스템.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200161581A KR20220073472A (ko) | 2020-11-26 | 2020-11-26 | V2x 통신기반 자율주행 혼합류환경 교차로 통합정보 제공 시스템 및 방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200161581A KR20220073472A (ko) | 2020-11-26 | 2020-11-26 | V2x 통신기반 자율주행 혼합류환경 교차로 통합정보 제공 시스템 및 방법 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20220073472A true KR20220073472A (ko) | 2022-06-03 |
Family
ID=81983405
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020200161581A KR20220073472A (ko) | 2020-11-26 | 2020-11-26 | V2x 통신기반 자율주행 혼합류환경 교차로 통합정보 제공 시스템 및 방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR20220073472A (ko) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117152964A (zh) * | 2023-11-01 | 2023-12-01 | 宁波宁工交通工程设计咨询有限公司 | 一种基于行驶车辆的城市道路信息智能采集方法 |
| WO2024035118A1 (ko) * | 2022-08-09 | 2024-02-15 | 엘지전자 주식회사 | 센서 정보를 변환 및 전송하는 방법 및 장치 |
-
2020
- 2020-11-26 KR KR1020200161581A patent/KR20220073472A/ko unknown
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2024035118A1 (ko) * | 2022-08-09 | 2024-02-15 | 엘지전자 주식회사 | 센서 정보를 변환 및 전송하는 방법 및 장치 |
| CN117152964A (zh) * | 2023-11-01 | 2023-12-01 | 宁波宁工交通工程设计咨询有限公司 | 一种基于行驶车辆的城市道路信息智能采集方法 |
| CN117152964B (zh) * | 2023-11-01 | 2024-02-02 | 宁波宁工交通工程设计咨询有限公司 | 一种基于行驶车辆的城市道路信息智能采集方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11874119B2 (en) | Traffic boundary mapping | |
| US11685360B2 (en) | Planning for unknown objects by an autonomous vehicle | |
| US11400925B2 (en) | Planning for unknown objects by an autonomous vehicle | |
| CN109791565B (zh) | Adas视野和视觉补充v2x | |
| US11967230B2 (en) | System and method for using V2X and sensor data | |
| US11531354B2 (en) | Image processing apparatus and image processing method | |
| US10234864B2 (en) | Planning for unknown objects by an autonomous vehicle | |
| CN102792316B (zh) | 交通信号的映射和检测 | |
| US9373255B2 (en) | Method and system for producing an up-to-date situation depiction | |
| KR20190082712A (ko) | 차량의 예상 주행 의도에 관한 정보를 제공하는 방법 | |
| WO2020090306A1 (ja) | 情報処理装置、情報処理方法及び情報処理プログラム | |
| US20230222671A1 (en) | System for predicting near future location of object | |
| CN113665570A (zh) | 自动地感知行驶信号的方法、装置及运载工具 | |
| KR20220073472A (ko) | V2x 통신기반 자율주행 혼합류환경 교차로 통합정보 제공 시스템 및 방법 | |
| CN107839691B (zh) | 车辆控制方法和装置 | |
| Zhang et al. | Tracking multi-vehicles with reference points switches at the intersection using a roadside LiDAR sensor | |
| WO2018165199A1 (en) | Planning for unknown objects by an autonomous vehicle | |
| WO2022070250A1 (ja) | 情報処理装置、情報処理方法、および、プログラム | |
| CN112257488A (zh) | 信息提供装置、信息提供方法及存储介质 | |
| CN113808270B (zh) | 基于网联的无人驾驶测试环境地图搭建方法及系统 | |
| CN113390422B (zh) | 汽车的定位方法、装置及计算机存储介质 | |
| CN214504216U (zh) | 一种自动行驶配送车 | |
| Lee et al. | Research of V2I situated cognition system based on LiDAR | |
| Slijpen | Machine to Machine Perception for Safer Traffic | |
| Rehborn et al. | Handling Occlusions in Automated Driving Using a MEC Server-based Environment Model From Infrastructure Sensors |