KR102680954B1 - 하이브리드 v2x기반의 항만협력자율주행 화물운송시스템에서 도로 위에서 발생하는 이벤트를 알려주는 장치 및 방법 - Google Patents
하이브리드 v2x기반의 항만협력자율주행 화물운송시스템에서 도로 위에서 발생하는 이벤트를 알려주는 장치 및 방법 Download PDFInfo
- Publication number
- KR102680954B1 KR102680954B1 KR1020230171343A KR20230171343A KR102680954B1 KR 102680954 B1 KR102680954 B1 KR 102680954B1 KR 1020230171343 A KR1020230171343 A KR 1020230171343A KR 20230171343 A KR20230171343 A KR 20230171343A KR 102680954 B1 KR102680954 B1 KR 102680954B1
- Authority
- KR
- South Korea
- Prior art keywords
- vehicle
- event
- collision
- time
- information
- Prior art date
Links
- 238000004891 communication Methods 0.000 title claims abstract description 132
- 238000000034 method Methods 0.000 title claims abstract description 21
- 238000010295 mobile communication Methods 0.000 claims description 25
- 230000008859 change Effects 0.000 claims description 16
- 238000004590 computer program Methods 0.000 claims description 7
- 238000013473 artificial intelligence Methods 0.000 description 19
- 238000005516 engineering process Methods 0.000 description 14
- 238000012545 processing Methods 0.000 description 14
- 238000010586 diagram Methods 0.000 description 10
- 230000006870 function Effects 0.000 description 9
- 238000009530 blood pressure measurement Methods 0.000 description 6
- 238000004422 calculation algorithm Methods 0.000 description 6
- 238000002485 combustion reaction Methods 0.000 description 6
- 230000014509 gene expression Effects 0.000 description 5
- 230000009466 transformation Effects 0.000 description 5
- 206010039203 Road traffic accident Diseases 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 4
- 230000003068 static effect Effects 0.000 description 4
- 238000013527 convolutional neural network Methods 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000002441 reversible effect Effects 0.000 description 3
- 238000012800 visualization Methods 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000000977 initiatory effect Effects 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000012806 monitoring device Methods 0.000 description 2
- 238000013403 standard screening design Methods 0.000 description 2
- 238000013480 data collection Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000003064 k means clustering Methods 0.000 description 1
- 238000011089 mechanical engineering Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000011897 real-time detection Methods 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 239000004984 smart glass Substances 0.000 description 1
- 230000008685 targeting Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/09—Arrangements for giving variable traffic instructions
- G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
- G08G1/0967—Systems involving transmission of highway information, e.g. weather, speed limits
- G08G1/096708—Systems involving transmission of highway information, e.g. weather, speed limits where the received information might be used to generate an automatic action on the vehicle control
- G08G1/096725—Systems involving transmission of highway information, e.g. weather, speed limits where the received information might be used to generate an automatic action on the vehicle control where the received information generates an automatic action on the vehicle control
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W60/00—Drive control systems specially adapted for autonomous road vehicles
- B60W60/001—Planning or execution of driving tasks
- B60W60/0025—Planning or execution of driving tasks specially adapted for specific operations
- B60W60/00256—Delivery operations
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B3/00—Audible signalling systems; Audible personal calling systems
- G08B3/10—Audible signalling systems; Audible personal calling systems using electric transmission; using electromagnetic transmission
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
- G08G1/0108—Measuring and analyzing of parameters relative to traffic conditions based on the source of data
- G08G1/0116—Measuring and analyzing of parameters relative to traffic conditions based on the source of data from roadside infrastructure, e.g. beacons
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
- G08G1/0125—Traffic data processing
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
- G08G1/0137—Measuring and analyzing of parameters relative to traffic conditions for specific applications
- G08G1/0141—Measuring and analyzing of parameters relative to traffic conditions for specific applications for traffic information dissemination
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/017—Detecting movement of traffic to be counted or controlled identifying vehicles
- G08G1/0175—Detecting movement of traffic to be counted or controlled identifying vehicles by photographing vehicles, e.g. when violating traffic rules
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
- G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
- H04W4/30—Services specially adapted for particular environments, situations or purposes
- H04W4/40—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P]
- H04W4/42—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P] for mass transport vehicles, e.g. buses, trains or aircraft
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
- H04W4/30—Services specially adapted for particular environments, situations or purposes
- H04W4/40—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P]
- H04W4/48—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P] for in-vehicle communication
Abstract
일 개시에 의하여 항만 내 설치된 CCTV로부터 획득한 영상을 분석하여, 항만 내 도로에서 발생하는 이벤트를 검출하는 단계, 이벤트의 유형 및 하이브리드 V2X 통신시스템이 포함된 차량과 충돌할 확률에 따라 경고 알림 메시지를 생성하는 단계, 차량이 V2X 통신 서비스 영역에 위치하고 있는지 여부를 판단하는 단계 및 차량이 V2X 통신 서비스 영역에 위치한 경우, V2X 통신 서비스를 이용하여 경고 알림 메시지를 차량으로 전송하는 단계를 포함하는, 하이브리드 V2X기반의 항만협력자율주행 화물운송시스템에서 도로 위에서 발생하는 이벤트를 알려주는 방법을 제공한다.
Description
일 개시에 의하여, 항만 내 구축되어 있는 CCTV 및 V2X 통신시스템을 활용하여 도로 위에서 발생하는 이벤트, 예를 들어 역주행 차량, 고속 주행 차량, 낙하물 등의 위험 상황에 대하여 미리 알려주는 장치 및 방법을 제공한다.
최근 차량(vehicle)은 기계 공학 중심에서 전기, 전자, 통신 기술이 융합된 복합적인 산업 기술의 결과물이 되어 가고 있으며, 이러한 면에서 차량은 스마트카라고도 불린다. 스마트 카는 운전자, 차량, 교통 인프라 등을 연결하여 교통 안전/복잡 해소와 같은 전통적인 의미의 차량 기술뿐 아니라 다양한 사용자 맞춤형 이동 서비스를 제공하게 되었다. 이러한 연결성은 V2X(Vehicle to Everything) 통신 기술을 사용하여 구현될 수 있다.
C-ITS란 Cooperative-Intelligent Transport Systems의 약자로 협력적 지능형 교통체계라고 하며, 차세대 지능형 교통시스템이라고도 한다. C-ITS는 차량이 인프라 또는 다른 차량과 통신을 통해 협력하는 시스템을 의미한다. C-ITS는 센터(서버), 노변 기지국 그리고 차량 간 V2X 통신을 통해 도로를 주행하는 운전자에게 전방 위험 상황 정보 및 편의 정보 등을 사전에 제공하여 교통사고를 예방하고 고속도로 이용 편의를 증진하기 위한 시스템이다.
최근 전 세계적으로 활발하게 구축 중인 C-ITS에서는 기존의 단방향 교통서비스와는 다르게 V2X(Vehicle-to-Everything) 통신 기술과 단대단 정보교환 프로토콜을 이용한 장치 간 상호작용을 통해 보다 다양하고 풍부한 교통·안전 서비스를 실시간으로 제공할 수 있다.
V2X(Vehicle to Everything) 기술은, 차량-도로 인프라 간 협력으로 자율주행차량의 센서 한계(원거리, 사각지대)를 극복하여 자율협력주행이 가능한 도로 환경을 만들고, 일반차량은 차량에 장착된 단말기를 통해 다른 차량 또는 도로에 설치된 인프라와 사고, 정체 등 도로 상황정보를 수집분석가공하여 교통사고를 예방하는 기술이다. 하이브리드 V2X 통신 시스템은 노변의 지상 혹은 노변에 설치된 각종 구조물 상에 설치될 수 있으며, 설치 위치 및 방법은 멀티모달 통신 시스템이 지원하는 통신 기능의 종류 및 운영 효율성 등 다양한 요소를 고려하여 결정될 수 있다.
도 1에서 보여 지다시피, V2X 통신에서 사용되는 무선 통신(Wireless Access in Vehicular Environments, 이하 "WAVE"라고도 함) 기술에서는, 하나의 제어 채널(control channel, CCH)과 복수 개의 서비스 채널(service channel, SCH)을 두어 멀티 채널 스위칭 방식을 채택하고 있으며, 노변 기지국과 차량 단말기간의 동기화를 위해 GPS 신호를 이용한다. 차량과 차량, 차량과 노변 기지국(RSU: Road Side Unit) 통신은 단말 간 직접 통신(D2D)이다. 한편 차량과 기지국 사이, RSU와 기지국 사이는 LTE 이동통신(V2N: Vehicle-to-Network) 기술을 사용하여 교통 정보를 실시간으로 전달할 수 있을 뿐만 아니라 수 킬로미터 전방의 교통 상황 정보 등도 실시간에 제공한다.
V2X 통신시스템에 기반하여 운영되는 자율주행 차량의 경우 도로 내에서 돌발 상황이 발생하는 경우 자율주행 차량 스스로 판단하여 경로를 수정하거나, 이동을 정지하는 등 돌발 상황이 해소될 때까지 화물의 운송이 지체되는 문제가 발생하였으며, 이로 인해 작업 효율이 감소되었다.
일 개시에 의한 기술적 과제는 항만 내 CCTV시스템 및 V2X 인프라를 구축하여 도로 위에서 발생하는 다양한 이벤트를 검출하고, 자율 주행차량 및 다른 차량에 경고 알림 정보를 전송하여 자율주행 차량의 화물운송효율을 개선하고자 함에 목적이 있다.
제 1 실시예에 의하여 항만 내 설치된 CCTV로부터 획득한 영상을 분석하여, 항만 내 도로에서 발생하는 이벤트를 검출하는 단계, 이벤트의 유형 및 하이브리드 V2X 통신시스템이 포함된 차량과 충돌할 확률에 따라 경고 알림 메시지를 생성하는 단계, 차량이 V2X 통신 서비스 영역에 위치하고 있는지 여부를 판단하는 단계 및 차량이 V2X 통신 서비스 영역에 위치한 경우, V2X 통신 서비스를 이용하여 경고 알림 메시지를 차량으로 전송하는 단계를 포함하는, 하이브리드 V2X기반의 항만협력자율주행 화물운송시스템에서 도로 위에서 발생하는 이벤트를 알려주는 방법을 제공한다.
일 개시에 의하여, 컨텍스트 맵에 실시간 차량 상태 정보를 표시하는 단계, 및 차량의 목적지까지의 실시간 교통 정보를 표시하고, 인공지능 학습모델을 이용하여 차량에 지정된 작업에 가장 적합한 경로를 생성하여 표시하는 단계를 제공할 수 있다.
일 개시에 의하여, 차량에 포함된 센서를 이용하여 획득한 소음 데이터, 진동 데이터 및 연소 압력 측정 데이터를 획득하는 단계, 인공지능 학습 모델을 이용하여 소음 데이터, 진동 데이터, 연소 압력 측정 데이터 및 차량 운행 목적에 대한 정보 학습하여, 차량의 주행 상태를 진단하는 단계, 차량의 주행 상태에 기초하여 차량의 주행 모드를 실시간 결정하는 단계, 및 결정된 차량의 주행 모드에 기초하여 차량 제어 정보를 생성하는 단계를 제공할 수 있다.
제 2 실시예에 의하여 이동통신망 서버를 이용하여 외부 서버와 통신하는 이동통신 장치, V2X 서버를 이용하여 외부 서버와 통신하는 V2X송수신부, 이동통신 장치 또는 V2X송수신부와 연결되는 채널스위치 및 차량 제어부에 연결되어 차량의 통신 모드를 제어하는 중앙처리부를 포함하는 하이브리드 V2X 단말기를 포함하는 차량, 항만 내 설치되는 적어도 하나의 CCTV, 항만 내 설치되는 적어도 하나의 지향 스피커, 적어도 하나의 인스트럭션(instruction)을 저장하는 메모리 및 적어도 하나의 인스트럭션을 실행하는 프로세서를 포함하고, 프로세서는 항만 내 설치된 CCTV로부터 획득한 영상을 분석하여, 항만 내 도로에서 발생하는 이벤트를 검출하고, 이벤트의 유형 및 하이브리드 V2X 통신시스템이 포함된 차량과 충돌할 확률에 따라 경고 알림 메시지를 생성하고, 차량이 V2X 통신 서비스 영역에 위치하고 있는지 여부를 판단하고, 차량이 V2X 통신 서비스 영역에 위치한 경우, V2X 통신 서비스를 이용하여 경고 알림 메시지를 차량으로 전송하는, 하이브리드 V2X기반의 항만협력자율주행 화물운송시스템에서 도로 위에서 발생하는 이벤트를 알려주는 장치를 제공할 수 있다.
제 3 실시예에 의하여 컴퓨터로 판독 가능한 비일시적인 기록 매체에 저장된 컴퓨터 프로그램에 있어서, 항만 내 설치된 CCTV로부터 획득한 영상을 분석하여, 항만 내 도로에서 발생하는 이벤트를 검출하는 단계, 이벤트의 유형 및 하이브리드 V2X 통신시스템이 포함된 차량과 충돌할 확률에 따라 경고 알림 메시지를 생성하는 단계, 차량이 V2X 통신 서비스 영역에 위치하고 있는지 여부를 판단하는 단계 및 차량이 V2X 통신 서비스 영역에 위치한 경우, V2X 통신 서비스를 이용하여 경고 알림 메시지를 차량으로 전송하는 단계를 수행하는 기록 매체에 저장된 컴퓨터 프로그램을 제공할 수 있다.
본 발명의 기타 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.
일 개시에 의하면 기존의 자율주행 차량에서 획득한 정보로만 제어 정보를 생성하는 경우, 주변 차량과 정보 공유가 이루어지지 않아 연쇄적인 교통사고를 초래할 가능성이 컸으나, CCTV 및 V2X 인프라 설비를 이용하여 항만 도로 상태를 직접 확인함으로써 항만 내 안전 사고를 예방할 수 있다.
일 개시에 따라, 하이브리드 V2X통신 장치를 사용하여 V2X기지국이 설치되어 있는 영역에서는 V2X 통신을 사용하여 차량의 위치를 수집하고, V2X 기지국이 없는 곳에서만 이동통신망을 사용하여 차량의 위치를 수집함으로써 이동통신망의 사용료를 최소화할 수 있다.
본원발명에 의하면 V2X RSU를 경유한 데이터는 데이터 수집 및 전송의 지연시간이 적어 실시간 데이터로 활용할 수 있어, 항만 자율주행 트랙터의 실시간 위치 추적 서비스를 제공할 수 있다.
일 개시에 의하여 항만 내에서 이동하는 보행자 및 작업자에게 스피커를 사용하여 자율주행트랙터의 운행을 미리 알림으로써 위험 상황이 발생할 가능성을 낮춰 사고를 예방할 수 있다.
일 개시에 의하여 자율주행트랙터에게 도로 위에서 발생한, 포트홀, 도로 작업 구간, 불법 주차차량, 역주행 차량, 저속 차량 등의 위험 상황을 주변 차량에게도 알림으로써 항내 안전 사고 발생을 예방할 수 있다.
일 개시에 의하여 항만 내 촘촘히 구축된 V2X 기지국을 이용하여 항만 자율 주행 트랙터에 발생가능한 위험 상황정보를 실시간 제공할 수 있다.
도 1은 일 개시에 의한 차량이 노변장치(RSU) 및 V2X서버를 통해 외부 서버와 통신하는 기술을 설명하는 도면이다.
도 2는 본원발명에서 제공하는 하이브리드 V2X기반의 항만협력자율주행 화물운송시스템에서 도로 위에서 발생하는 이벤트를 알려주는 방법을 개략적으로 설명하기 위한 도면이다.
도 3은 일 개시에 의한 하이브리드 V2X기반의 항만협력자율주행 화물운송시스템에서 도로 위에서 발생하는 이벤트를 알려주는 장치의 구성을 설명하기 위한 도면이다.
도 4는 일 개시에 하이브리드 V2X기반의 항만협력자율주행 화물운송시스템에서 도로 위에서 발생하는 이벤트를 알려주는 장치가 외부 장치 및 외부 서버와 통신하는 구성을 설명하기 위한 도면이다.
도 5는 일 개시에 의한 하이브리드 V2X기반의 항만협력자율주행 화물운송시스템에서 도로 위에서 발생하는 이벤트를 알려주는 서비스의 흐름을 설명하기 위한 도면이다.
도 6은 일 개시에 의한 인공지능 학습모델을 포함하는 프로세서의 구성을 나타내는 도면이다.
도 2는 본원발명에서 제공하는 하이브리드 V2X기반의 항만협력자율주행 화물운송시스템에서 도로 위에서 발생하는 이벤트를 알려주는 방법을 개략적으로 설명하기 위한 도면이다.
도 3은 일 개시에 의한 하이브리드 V2X기반의 항만협력자율주행 화물운송시스템에서 도로 위에서 발생하는 이벤트를 알려주는 장치의 구성을 설명하기 위한 도면이다.
도 4는 일 개시에 하이브리드 V2X기반의 항만협력자율주행 화물운송시스템에서 도로 위에서 발생하는 이벤트를 알려주는 장치가 외부 장치 및 외부 서버와 통신하는 구성을 설명하기 위한 도면이다.
도 5는 일 개시에 의한 하이브리드 V2X기반의 항만협력자율주행 화물운송시스템에서 도로 위에서 발생하는 이벤트를 알려주는 서비스의 흐름을 설명하기 위한 도면이다.
도 6은 일 개시에 의한 인공지능 학습모델을 포함하는 프로세서의 구성을 나타내는 도면이다.
이하에서는 첨부 도면을 참조하여 본 개시를 상세히 설명한다.
본 명세서에서 사용되는 용어에 대해 간략히 설명하고, 본 개시에 대해 구체적으로 설명하기로 한다.
본 개시의 실시 예에서 사용되는 용어는 본 개시에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 개시의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 개시에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 개시의 전반에 걸친 내용을 토대로 정의되어야 한다.
본 명세서에서, "가진다," "가질 수 있다," "포함한다," 또는 "포함할 수 있다" 등의 표현은 해당 특징(예: 수치, 기능, 동작, 또는 부품 등의 구성요소)의 존재를 가리키며, 추가적인 특징의 존재를 배제하지 않는다.
A 또는/및 B 중 적어도 하나라는 표현은 "A" 또는 "B" 또는 "A 및 B" 중 어느 하나를 나타내는 것으로 이해되어야 한다.
본 명세서에서 사용된 "제1," "제2," "첫째," 또는 "둘째,"등의 표현들은 다양한 구성요소들을, 순서 및/또는 중요도에 상관없이 수학식할 수 있고, 한 구성요소를 다른 구성요소와 구분하기 위해 사용될 뿐 해당 구성요소들을 한정하지 않는다.
어떤 구성요소(예: 제1 구성요소)가 다른 구성요소(예: 제2 구성요소)에 "(기능적으로 또는 통신적으로) 연결되어((operatively or communicatively) coupled with/to)" 있다거나 "접속되어(connected to)" 있다고 언급된 때에는, 어떤 구성요소가 다른 구성요소에 직접적으로 연결되거나, 다른 구성요소(예: 제3 구성요소)를 통하여 연결될 수 있다고 이해되어야 할 것이다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "구성되다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
본 개시에서 "모듈" 혹은 "부"는 적어도 하나의 기능이나 동작을 수행하며, 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다. 또한, 복수의 "모듈" 혹은 복수의 "부"는 특정한 하드웨어로 구현될 필요가 있는 "모듈" 혹은 "부"를 제외하고는 적어도 하나의 모듈로 일체화되어 적어도 하나의 프로세서(미도시)로 구현될 수 있다.
이하에서 하이브리드 V2X기반의 항만협력자율주행 화물운송시스템에서 도로 위에서 발생하는 이벤트를 알려주는 장치(100)는 도로 위 이벤트 알림 장치(10)로 축약하여 설명하도록 한다.
도 2는 본원발명에서 제공하는 하이브리드 V2X기반의 항만협력자율주행 화물운송시스템에서 도로 위에서 발생하는 이벤트를 알려주는 방법을 개략적으로 설명하기 위한 도면이다.
일 개시에 의하여 도로 위 이벤트 알림 장치(10)는 항만 내 설치된 CCTV로부터 획득한 영상을 분석하여, 항만 내 도로에서 발생하는 이벤트를 검출하는 단계, 이벤트의 유형 및 하이브리드 V2X 통신시스템이 포함된 차량과 충돌할 확률에 따라 경고 알림 메시지를 생성하는 단계, 차량이 V2X 통신 서비스 영역에 위치하고 있는지 여부를 판단하는 단계 및 차량이 V2X 통신 서비스 영역에 위치한 경우, V2X 통신 서비스를 이용하여 경고 알림 메시지를 차량으로 전송하는 단계를 수행할 수 있다.
일 개시에 의한 도로 위 이벤트 알림 장치(10)는 항만 내 설치된 CCTV로부터 획득한 영상을 분석하여, 도로에서 발생하는 다양한 이벤트를 검출할 수 있다. 또한, 일 개시에 의한 도로 위 이벤트 알림 장치(10)는 항만 내 설치된 CCTV로부터 획득한 영상을 분석하여, 도로 외의 항만 내에 보행자가 존재하는지 여부를 판단할 수 있다.
여기서 보행자는 항만 내에 존재하는 사람을 의미하는 것으로서, 단순히 길을 건너는 보행자(2001) 이외에, 작업을 위해 존재하는 작업자(2002)등을 포함할 수 있으며, 항만 내에 존재하는 모든 사람을 포함할 수 있다. 또한, CCTV 영상 속에서 보행자는 동적 객체이거나, 정적 객체로서 검출될 수 있다.
일 개시에 의한 도로 위 이벤트 알림 장치(10)는 CCTV(220)를 통해 촬영된 영상을 수신한다. CCTV(220)는 항만 내 복수개 설치된 V2X RSU(200)에 설치될 수 있으며, 그 설치 위치를 제한하지 않는다. CCTV(220)에서 촬영된 영상은 V2X 통신 시스템을 이용하여 항만관제서버(600)로 전송될 수 있어, 경제적 효과를 얻을 수 있다.
일 개시에 의한 도로 위 이벤트 알림 장치(10)는 CCTV 영상에서 획득된 이미지 프레임에서 동적객체를 인식하고 위치를 확인할 수 있다. 여기서 동적객체의 인식은 인공지능을 활용할 수 있다. 영상 프레임에 포함된 동적 객체인 차량, 사람, 자전거 등을 식별하는데 있어서, 하나의 이미지에서 여러 객체(를 실시간 가까운 속도로 인지가 가능하다. 이때 인공지능을 활용하여 인지하고자 하는 객체를 학습한 후, CCTV 영상의 프레임에서 해당 객체들을 추적하는 모델을 적용하는 것이다. 한편 인공지능 기술에서도 영상정보를 분석하는 기술이 탑재되기도 한다. 본 발명에서의 영상분석을 위한 인공지능 기술로는 Faster RCNN, YOLO, SSD 중 어느 하나가 이용될 수 있으며 이로써 한정하는 것은 아니다. Faster RCNN은 초기 RCNN에서 Fast RCNN을 거쳐 실시간 처리속도를 목표로 개선된 모델이다. 이는 Fast RCNN과 구조는 유사하지만, 매우 작은 region proposal network라는 회귀네트워크를 셀렉티브 서치(selective search)에 활용하여 RCNN 대비 250배, Fast RCNN 대비 25배의 처리 속도 성능을 보여준다. YOLO는 이미지의 픽셀 단위가 아닌 n개의 상자에 해당하는 그리드(grid) 단위로 나누어 객체를 추적하는 방식이며, 실시간에 가까운 거리 성능으로 리얼타임 디텍션 시스템(Realtime Detection System)에 적합한 모델이다. SSD는 다양한 크기의 피쳐 맵(Feature Map)을 바탕으로 한 장의 이미지에서 다양한 목표 객체를 추적하는 방식을 취하는 방식으로 균형 있는 정확도와 처리 속도를 보여주는 모델이다.
다음으로 일 개시에 의한 도로 위 이벤트 알림 장치(10)는 인식된 동적객체의 위치를 글로벌 좌표계로 변환할 수 있다. 본 발명의 실시예에서 입력정보로 이용되는 CCTV 영상은 가로(X), 세로(Y)가 각각 1920과 1080 해상도를 가지고 있는 반면, 정밀, 항공, 일반지도가 활용되는 시각화에서는 위도 -19~90, 경도 -180~180의 범위를 가지는 WGS84 좌표계를 사용한다. 따라서 입력영상에서 추적되는 객체의 정위치 매핑을 위해서는 좌표계 간의 차이(translate, rotation, scale)를 설명할 수 있는 변환 행렬이 요구된다. CCTV 영상과 시각화의 차원이 CCTV 좌표계와 지도간의 좌표계 변환 관계가 정립된 변환 행렬을 통해 영상좌표계로 정의된 위치를 지도좌표계로 변환하는 것으로, 본 발명은 유용성 검증 측면에서 H 계산 방법을 이용하였다. H는 2D-2D, 2D-3D 간 좌표계 변환에 주로 활용되는 방법이다.
보다 구체적으로 서로 다른 두 방향의 카메라에서 같은 점 x를 바라볼 때 각 카메라의 영상에 맺히는 점 x(121)와 WGS84 좌표계에서의 x'(122) 간의 이동, 회전 등이 정의된 3*3행렬의 변환 관계의 정의를 통해 좌표변환이 가능하다.
예를 들어, CCTV 영상의 불변하는 특징점에 대한 WGS 좌표계 대응점을 활용하면, CCTV영상에서 불변하는 특징점(차선, 노면표시, 횡단보도 등)을 정의하고, 도로의 정보를 실측하여 WGS84 좌표에 제작한 정밀도로지도에서 영상 특징점에 대응되는 점들을 정의하여 매뉴얼 방식을 통해 객체의 위치를 변환할 수 있다.
아래 수학식 1은 객체의 위치를 변환하기 위한 것으로서, 좌표계간 변환관계 계산을 위해 각 영상별 25개의 불변 특징점을 정의할 수 있다.
[수학식 1]
여기서, 는 WGS84 좌표계의 동적객체의 위치를 나타내고, 는 영상이미지 내에서의 객체 위치를 나타낸다.
그리고 좌표계로 변환된 동적객체정보가 활용되도록 출력할 수 있다. 이때 동적객체정보는 객체 타입, 위치, ID 등으로 출력되며, 하나의 동적객체에 대한 속성들로서 용이한 전달 및 활용을 위해서 하나의 데이터 셋으로 묶는 과정이 요구되며, 이를 위해 적용할 수 있는 포맷들은 다양할 수 있다. 예를 들어 인코딩, 디코딩이 빠르고 안정적인 json 포맷을 채택하여 동적객체의 식별 및 추적 결과로 출력된 속성정보를 정의할 수 있다.
이와 같이 정의된 동적객체정보는 시각화 모듈이 동적객체정보를 받아와 디코딩을 수행한 후 컨텍스트 맵에 동적객체정보를 매핑하여 웹기반에서 시각화되어 제공받을 수 있다.
일 개시에 의한 지향 스피커(240)는 V2X RSU(200)에 설치될 수 있다. 지향 스피커(240)는 지상에 존재하는 사람들에게 음성 메시지를 전달하는 역할을 수행할 수 있다.
일 개시에 의한 도로 위 이벤트 알림 장치(10)는 보행자가 하이브리드 V2X 통신시스템이 포함된 차량의 이동 경로에 존재하는지 여부를 판단할 수 있다. 일 개시에 의하여 도로 위 이벤트 알림 장치(10)는 보행자가 차량의 이동 경로에 존재하는지 여부를 인공지능 모델을 활용하여 판단할 수 있다.
일 개시에 의한 도로 위 이벤트 알림 장치(10)는 보행자의 이동 경로 및 이동 속도에 따라 차량과 충돌할 가능성을 계산한 결과값에 기초하여 경고 알림 메시지를 생성할 수 있다. 먼저, 도로 위 이벤트 알림 장치(10)는 차량의 주행 상태 정보에 기초하여 차량의 이동 경로 및 이동 속도를 결정할 수 있다. 다음으로, 차량의 이동 경로 내에 보행자가 존재하는지, 차량이 이동 경로로 계속 이동하는 경우 보행자와 충돌할 가능성에 대하여 계산할 수 있다. 그런 다음, 계산값에 기초하여 경고 알림 메시지를 생성할 수 있다.
도로 위 이벤트 알림 장치(10)는 차량에 포함될 수 있으며, V2X RSU(200)와 V2I 통신을 통해 실시간 교통정보, 낙하물 정보 및 노면 기상정보를 제공받을 수 있다. 또한, V2X RSU(200)에서는 V2I 통신을 통해 도로 위 이벤트 알림 장치(10)로부터 현재 위치 및 시간 정보를 포함하는 메시지 정보 및 교통정보를 실시간으로 수집하여 항만관제서버(600)로 전송하고, 항만관제서버(600)로부터 전송받은 제어 정보 및 주변 교통정보를 해당 구역의 다른 차량에게 제공할 수 있다.
일 개시에 의한 도로 위 이벤트 알림 장치(10)는 차량이 V2X 통신 서비스 영역에 위치하고 있는지 여부를 판단할 수 있다. 일 개시에 의한 도로 위 이벤트 알림 장치(10)는 차량이 V2X 통신 서비스 영역에 위치한 경우, 차량의 V2X 수신부를 이용하여 외부 서버로부터 경고 알림 메시지를 수신하도록 제어할 수 있다.
일 개시에 의한 경고 알림 메시지는, 도로 위의 이벤트 종류, 이벤트의 속성에 따른 위험성, 차량 이동 경로에 있는 객체(사람)의 정보, 객체와 충돌할 가능성, 차량의 이동속도 제어 정보, 차량의 이동방향 제어 정보를 포함할 수 있다.
일 개시에 의한 도로 위 이벤트 알림 장치(10)는 V2X RSU(노변기지국, 200)을 통해 V2X 서버(300)로 차량의 위치 정보 및 차량상태정보를 전송할 수 있다. 차량 상태정보는 예를 들어, 차량에 관련된 센싱 정보, 배터리 잔량, 운영모드, 운영 목적지, 현재 속도, 현재 위치 등을 포함할 수 있다.
일 개시에 의한 도로 위 이벤트 알림 장치(10)는 V2X 서버(300)를 통해 항만관제서버(FMS, 600)로 차량 상태 정보를 전송할 수 있다. 다만, 일 개시에 의한 도로 위 이벤트 알림 장치(10)가 V2X 통신시스템을 이용하기 위하여는, 차량이 V2X 서비스 영역에 포함되어 있어야 한다.
V2X 분야 통신기술은 크게 V2X 웨이브(WAVE: Wireless Access Vehicular Environment, 와이파이 기반 차량 통신)와 C-V2X로 양분된다. 공통점은 근거리 차량이 통신을 주고받을 수 있다는 점이며, 통신 방식에서 차이가 나타난다. C-V2X는 기존 이동통신사 기지국을 이용한다. 반면 와이파이 기반의 V2X 웨이브는 전용 노변기지국(RSU: Roadside Unit)을 세워야만 통신이 가능하다. 정보 처리량이 많은 환경에서 원활한 실시간 통신이 이루어지려면 V2X 웨이브 기술이 유리하다.
따라서, 도로 위 이벤트 알림 장치(10)는 V2X RSU(200)가 없는 지역 또는 V2X 통신 서비스 영역이 아닌 경우, 이동 통신망(400)을 이용하여 이동통신 서버(500)를 통해 항만관제서버(600)로 차량에 대한 정보를 전송할 수 있다.
도로 위 이벤트 알림 장치(10)는 PVD 통신을 통해 이동통신망(400)을 거쳐 도로 위 이벤트 알림 장치(10)로부터 현재 위치 및 시간 정보를 포함하는 메시지 정보 및 교통정보를 실시간으로 수집하여 항만관제서버(600)로 전송하고, 항만관제서버(600)로부터 전송받은 제어 정보 및 주변 교통정보를 해당 구역의 다른 차량에게 제공할 수 있다.
일 개시에 의하여 도로 위 이벤트 알림 장치(10)는 V2X RSU(200)와 JSON 형식으로 통신할 수 있으며, V2X RSU(200)와 V2X 서버(300)는 항만관제서버(FMS, 600)와 국제표준 규격인 ISO 15784(TIC4.0포함)를 적용하여 국내 환경에 맞는 통신환경에 따라 정보 교환을 할 수 있다.
일 개시에 의하여 도로 위 이벤트 알림 장치(10)는 차량이 V2X 통신 서비스 영역에 위치하지 않은 경우, 차량의 이동통신 장치를 이용하여 외부 서버로부터 경고 알림 메시지를 수신하도록 제어할 수 있다.
일 개시에 의하여 도로 위 이벤트 알림 장치(10)는 경고 알림 정보의 단계에 따라 생성된 경고 알림을 항만 내 설치된 지향 스피커(240)를 통해 출력할 수 있다.
일 개시에 의하여 CCTV(220) 및 스피커(240)는 V2X RSU(200)에 설치될 수 있으며, V2X RSU(200)에서 제공하는 통신 서비스를 이용하여 외부 서버, 예를 들어 항만관제서버(600)와 통신할 수 있다.
도 3은 일 개시에 의한 하이브리드 V2X기반의 항만협력자율주행 화물운송시스템에서 도로 위에서 발생하는 이벤트를 알려주는 장치의 구성을 설명하기 위한이다.
일 개시에 의한 도로 위 이벤트 알림 장치(10)는 프로세서(20), 메모리(30) 및 통신부(40)를 포함할 수 있다. 일 개시에 의한 도로 위 이벤트 알림 장치(10)는 차량 내에 포함되거나, 차량 외부의 외부 서버 또는 외부 장치에 포함될 수 있다.
여기서 외부 서버 및 외부 장치는 통신 가능한 장치를 포함할 수 있으며, 예를 들어, 통신 가능한 데스크탑 컴퓨터(desktop computer), 랩탑 컴퓨터(laptop computer), 노트북(notebook), 스마트폰(smart phone), 태블릿 PC(tablet PC), 모바일폰(mobile phone), 스마트 워치(smart watch), 스마트 글래스(smart glass), e-book 리더기, PMP(portable multimedia player), 휴대용 게임기, 네비게이션(navigation) 장치, 디지털 카메라(digital camera), DMB(digital multimedia broadcasting) 재생기, 디지털 음성 녹음기(digital audio recorder), 디지털 음성 재생기(digital audio player), 디지털 동영상 녹화기(digital video recorder), 디지털 동영상 재생기(digital video player), PDA(Personal Digital Assistant) 등일 수 있다.
일 개시에 의한 프로세서(20)는, 통상적으로 도로 위 이벤트 알림 장치(10)의 전반적인 동작을 제어한다. 예를 들어, 프로세서(20)는, 메모리(30)에 저장된 프로그램들을 실행함으로써, 도로 위 이벤트 알림 장치(10)에 포함된 다른 구성들을 전반적으로 제어할 수 있다. 또한, 프로세서(20)는 메모리(30)에 저장된 프로그램들을 실행함으로써, 도로 위 이벤트 알림 장치(10)의 기능을 수행할 수 있다. 프로세서(20)는 적어도 하나의 프로세서를 구비할 수 있다. 프로세서(20)는 그 기능 및 역할에 따라, 복수의 프로세서들을 포함하거나, 통합된 형태의 하나의 프로세서를 포함할 수 있다. 일 실시예에서, 프로세서(20)는 메모리(30)에 저장된 적어도 하나의 프로그램을 실행함으로써 알림 메시지를 제공하도록 하는 적어도 하나의 프로세서를 포함할 수 있다.
메모리(30)는, 프로세서(20)의 처리 및 제어를 위한 프로그램을 저장할 수 있고, 도로 위 이벤트 알림 장치(10))로 입력되거나 태양광 발전 설비 모니터링 장치(100)로부터 출력되는 데이터를 저장할 수도 있다.
메모리(30)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리(30) 등), 램(RAM, Random Access Memory) SRAM(Static Random Access Memory), 롬(ROM, Read-Only Memory), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다.
메모리(30)에 저장된 프로그램들은 그 기능에 따라 복수 개의 모듈들로 분류할 수 있는데, 여기서, 복수 개의 모듈들은 하드웨어가 아닌 소프트웨어로서, 기능적으로 동작하는 모듈을 의미한다.
메모리(30)는, 프로세서(20)의 처리 및 제어를 위한 프로그램을 저장할 수 있고, 도로 위 이벤트 알림 장치(10)로 입력되는 이미지 또는 도로 위 이벤트 알림 장치(10)로부터 출력되는 가이드 정보를 저장할 수도 있다. 또한, 메모리(30)는 가이드 정보의 출력 여부 판단을 위한 특정 정보를 저장할 수 있다.
또한, 프로세서(20)는 통신부(40)를 이용하여 다른 장치 및 다른 서버와 통신할 수 있다. 통신부는, 도로 위 이벤트 알림 장치(10)가 다른 장치(미도시) 및 서버(미도시)와 통신을 하게 하는 하나 이상의 구성요소를 포함할 수 있다. 다른 장치(미도시)는 태양광 발전 설비 모니터링 장치(100)와 같은 컴퓨팅 장치이거나, 센싱 장치일 수 있으나, 이에 한정되는 것은 아니다. 예를 들어, 통신부는, 근거리 통신부, 이동 통신부, 방송 수신부를 포함할 수 있다.
근거리 통신부(short-range wireless communication unit)는, 블루투스 통신부, BLE(Bluetooth Low Energy) 통신부, 근거리 무선 통신부(Near Field Communication unit), WLAN(와이파이) 통신부, 지그비(Zigbee) 통신부, 적외선(IrDA, infrared Data Association) 통신부, WFD(Wi-Fi Direct) 통신부, UWB(ultra wideband) 통신부, Ant+ 통신부 등을 포함할 수 있으나, 이에 한정되는 것은 아니다.
이동 통신부는, 이동 통신망 상에서 기지국, 외부의 단말, 서버 중 적어도 하나와 무선 신호를 송수신한다. 여기에서, 무선 신호는, 음성 호 신호, 화상 통화 호 신호 또는 문자/멀티미디어 메시지 송수신에 따른 다양한 형태의 데이터를 포함할 수 있다.
일 개시에 의하여 도로 위 이벤트 알림 장치(10)는 획득한 이벤트의 이미지 정보를 기초로 이벤트 유형 식별모델을 이용하여 이벤트의 유형을 식별할 수 있다.
이벤트 유형 식별모델은 미리 설정된 인공지능 알고리즘을 이용하여 미리 설정된 기준에 따라 구분한 다수의 이벤트 유형별 이미지/영상 정보를 미리 학습시킨 결과에 기초하여 생성된 것으로서, 합성곱 신경망(Convolutional Neural Network, CNN)이 포함될 수 있다. 이벤트 유형 식별모델은 합성곱 신경망 외에도 순환 신경망(Recurrent Neural Network, RNN)과 결합되어 학습된 결과에 따라 생성될 수도 있다.
여기서 이벤트는, 차량, 사람, 동적 객체 및 정적 객체를 포함할 수 있다. 동적 객체는 도로 위에서 움직이는 모든 물체 및 생명체를 포함할 수 있고, 정적 객체는 도로 상에 떨어진 낙하물, 돌을 포함하는 다양한 물체를 포함할 수 있다. 이벤트는 이벤트의 현재 상태에 따라 상세하게 분류될 수 있으며 그 개수를 제한하지 않는다.
예를 들어, 차량에 관련된 이벤트는 고속주행 차량(2004), 서행 차량(2005), 불법 정차 차량(2006), 역주행 차량(2007), 차량에서 떨어진 낙하물(2008), 교통사고(2003) 등을 포함할 수 있으며, 이에 제한하지 않는다.
일 개시에 의하여 도로 위 이벤트 알림 장치(10)는 이벤트에 관한 정보를 기초로 충돌 예측 모델을 이용하여 이벤트와 자율주행 차량 간의 거리 변화, 이벤트의 상대속도 변화 및 이벤트의 위치변화 중 적어도 어느 하나를 예측한 후, 이벤트와 자율주행 차량 간의 충돌예측시간을 계산할 수 있다.
충돌예측모델은 도로위의 차량 및 객체에 관한 정보를 기초로 학습된다. 충돌예측모델은 기계학습 알고리즘을 이용하여 학습될 수 있다. 여기서, 기계학습 알고리즘은 경사/기울기 하강법(Gradient Descent), 인공신경망, Naive Bayes Classifier(NBC), Hidden Markov Model(HMM), K-Means Clustering, k-Nearest Neighbors(k-NN) 및 Support Vector Machine(SVM) 중 적어도 어느 하나일 수 있다.
일 개시에 의하여 도로 위 이벤트 알림 장치(10)는 차량에 포함된 다양한 센서로부터 획득한 주변 정보들을 추가적으로 이용하여 이벤트에 대한 정보를 획득할 수 있다.
일 개시에 의한 차량에 포함된 센서는 주변차량 및 도로 위의 다양한 객체들을 감지하기 위하여 다양한 종류의 센서들이 복수로 탑재되어야 한다. 예를 들면, 레이더(RAdio Detection And Ranging, RADAR), 라이다 센서, 이미지 센서 및 초음파 센서 등이 이용된다.
특히, 라이다 센서는 자율주행 차량의 주변 전방위에 존재하는 주변차량을 실시간으로 감지할 수 있다. 차량에 포함된 라이다는 자율주행 차량의 미리 설정된 위치에 설치되어 미리 설정된 방향으로 회전하면서 자율주행 차량 주변 전 방위에 펄스레이저를 조사한다. 라이다는 자율주행 차량 주변 전방위로부터 반사된 펄스레이저를 수신함으로써, 차량 주변에 대한 정보를 획득할 수 있다. 라이다 센서는 자율주행 차량 주변 360도의 방위각 중에서 각기 다른 범위의 방위각에 해당하는 영역의 정보를 감지하도록 설치될 수 있다.
일 개시에 의하여 도로 위 이벤트 알림 장치(10)는 이벤트의 위치, 이동 속도 및 이동 방향에 대한 정보를 포함하는 위험상황 정보를 생성할 수 있으며, 위험상황 정보를 이벤트로부터 일정 반경 이내에 위치한 다른 차량으로 전송할 수 있다.
일 개시에 의하여 도로 위 이벤트 알림 장치(10)는 주변차량의 제1 시점으로부터 제2 시점에 이르기까지의 주변차량과 자율주행 차량 간의 거리에 관한 정보, 주변차량의 상대속도에 관한 정보, 및 주변차량의 위치에 관한 정보를 기초로 충돌예측모델을 학습시킨다. 여기서, 제1 시점은 차량의 센서가 주변차량을 최초로 감지한 시점이 될 수 있고, 제2 시점은 제1 시점으로부터 미리 설정된 시간이 경과된 시점이 될 수 있다. 미리 설정된 시간은 주변차량에 관한 정보를 기초로 예측하고자 하는 주변차량과 자율주행 차량 간의 거리 변화, 주변차량의 상대속도 변화 및 주변차량의 위치변화의 시구간과 같은 길이의 시간일 수 있다.
충돌예측모델은 제1 시점으로부터 제2 시점에 이르기까지의 주변차량과 자율주행 차량 간의 거리에 관한 정보, 주변차량의 상대속도에 관한 정보, 및 주변차량의 위치에 관한 정보가 입력되면, 입력시점에서 미리 설정된 시간(예컨대, 제1 시점과 제2 시점 사이의 시간) 이후의 주변차량과 자율주행 차량 간의 거리, 주변차량의 상대속도 및 위치를 예측할 수 있도록 학습된다.
일 개시에 의하여 도로 위 이벤트 알림 장치(10)는 충돌예측모델이 예측한 주변차량과 자율주행 차량 간의 거리, 주변차량의 상대속도 및 위치 중 적어도 어느 하나를 기초로 주변차량과의 충돌확률을 계산한다.
일 개시에 의하여 도로 위 이벤트 알림 장치(10)는 계산한 주변차량과의 충돌확률을 기초로 자율주행 차량과 주변차량 간의 충돌 가능 여부를 판단한다. 도로 위 이벤트 알림 장치(10)가 계산한 충돌확률이 미리 설정된 값, 예컨대, 90% 보다 큰 경우, 도로 위 이벤트 알림 장치(10)는 주변차량이 자율주행 차량과 충돌한다고 판단할 수 있다.
일 개시에 의하여 도로 위 이벤트 알림 장치(10)는 자율주행 차량과 충돌한다고 판단한 주변차량에 관한 정보를 기초로 충돌예측시간(Time to Collision, TTC)을 계산한다. 충돌예측시간은 충돌예측모델이 예측한 주변차량과 자율주행 차량 간의 거리, 주변차량의 상대속도 및 위치 중 적어도 어느 하나를 기초로 계산된 충돌 발생 예측시점까지의 잔여시간을 의미한다.
일 개시에 의하여 도로 위 이벤트 알림 장치(10)는 차량 주변의 객체에 관한 정보 및 프로세서(20)가 계산한 자율주행 차량과 충돌한다고 결정된 주변차량과의 충돌예측시간 중 적어도 어느 하나를 기초로 차량을 제어한다.
일 개시에 의하여 도로 위 이벤트 알림 장치(10)는 CCTV 영상을 분석하여 감지한 도로 위 이벤트(ex. 주변 차량)와 자율주행 차량 간의 거리가 미리 설정된 안전거리 이상인 경우, 자율주행 차량이 주변차량과 미리 설정된 안전거리를 유지하며 주행하도록 자율주행 차량의 속도를 제어하는 정보를 제어 정보를 생성할 수 있다.
미리 설정된 안전거리는 이벤트에 관한 정보를 기초로 정해진 충돌 안전거리이다. 예를 들면, 프로세서(20)가 충돌예측모델을 이용하여 계산한 자율주행 차량과 이벤트 차량 간의 충돌확률이 50% 이하인 값을 갖는 거리일 수 있다.
미리 설정된 안전거리는 이벤트의 유형에 따라 서로 다른 값으로 설정될 수 있다. 예를 들면, 프로세서(20)는 주변차량이 대형화물차, 버스, 중장비 등의 위험차량 유형에 해당하는 경우의 안전거리를 프로세서(20)가 계산한 충돌확률이 25% 이하인 값을 갖는 거리로 설정하고, 그 외의 차량 유형에 해당하는 경우의 안전거리는 프로세서(20)가 계산한 충돌확률이 50% 이하인 값을 갖는 거리로 설정할 수 있다.
프로세서(20)는 충돌예측시간이 미리 설정한 충돌위험시간 이하인 경우, 충돌이 임박했다고 결정한다. 예를 들면, 충돌예측시간이 1.1 초 이하인 경우, 프로세서(20)는 주변차량과의 충돌이 임박했다고 결정할 수 있다.
프로세서(20)가 주변차량과의 충돌이 임박했다고 결정하면, 충돌을 대비하기 위한 차량 제어를 수행한다. 여기서, 프로세서(20)가 수행하는 차량 제어는 주변차량과 자율주행 차량 간의 거리가 멀어지도록 자율주행 차량의 속도를 제어하거나 자율주행 차량을 좌측 및 우측 인접 차로 중 어느 하나의 인접 차로로 이동하도록 제어하는 것이다.
프로세서(20)는 충돌예측시간이 미리 설정된 충돌경고시간 이하이고, 미리 설정된 충돌위험시간을 초과하는 경우, 충돌경보를 출력할 수 있다.
프로세서(20)는 미리 설정된 충돌경고시간 및 충돌위험시간을 주변차량의 유형에 따라 서로 다른 값으로 설정할 수 있다. 예를 들면, 주변차량이 역주행 차량, 고속 주행 차량, 불법 주차 차량 등의 위험차량 유형에 해당하는 경우 프로세서(20)는 미리 설정된 충돌경고시간을 1.6 초, 충돌위험시간을 1.3초로 설정하고, 그 외의 차량 유형에 해당하는 경우 미리 설정된 충돌경고시간을 1.4 초, 충돌위험시간을 1.1초로 설정할 수 있다. 설정된 충돌위험시간은 예시일 뿐 이에 제한되지 않는다.
프로세서(20)는 주변차량의 유형이 위험차량에 해당하면, 충돌예측시간이 1.3초 초과 1.6초 이하일 때 충돌경보를 출력하고, 충돌예측시간이 1.3초 이하일 때는 주변차량과 자율주행 차량 간의 거리가 멀어지도록 자율주행 차량의 속도를 제어하거나 자율주행 차량을 좌측 및 우측 인접 차로 중 어느 하나의 인접 차로로 이동하도록 제어할 수 있다.
프로세서(20)는 주변차량의 유형이 위험차량 외의 유형에 해당하면, 충돌예측시간이 1.1초 초과 1.4초 이하일 때 충돌경보를 출력하고, 충돌예측시간이 1.1초 이하일 때는 주변차량과 자율주행 차량간의 거리가 멀어지도록 자율주행 차량의 속도를 제어하거나 자율주행 차량을 좌측 및 우측 인접 차로 중 어느 하나의 인접 차로로 이동하도록 제어한다. 즉, 이벤트의 속성에 따른 위험성에 따라 차량 제어 신호를 설정하여 차량 충돌을 예방할 수 있다.
프로세서(20)는 주변차량이 자율주행 차량과 동일 차로의 후행차량인 경우 주변차량과의 충돌예측시간이 미리 설정된 충돌위험시간 이하이면 자율주행 차량을 좌측 및 우측 인접 차로 중 어느 하나의 인접 차로로 이동하도록 제어한다. 여기서, 어느 하나의 인접 차로는 자율주행 차량의 측면 위치에 주행 중인 다른 주변차량이 없는 차로일 수 있다.
프로세서(20)는 좌측 및 우측 인접 차로 모두 자율주행 차량의 측면 위치에 주변차량이 주행 중이어서 차로 변경이 불가능한 경우, 주변차량과 자율주행 차량 간의 거리가 멀어지도록 자율주행 차량의 속도를 제어한다.
일 개시에 의한 프로세서(20)는 수신한 경고 알림 메시지에 기초하여, 차량의 이동 속도 및 이동 경로를 변경하는 제어 명령을 생성할 수 있다. 프로세서(20)는 생성한 제어 명령을 외부 서버 및 주변 차량 중 어느 하나로 전송할 수 있다. 프로세서(20)는 V2X 통신을 우선적으로 사용하되, V2X 통신을 사용할 수 없는 환경에서는 이동통신망을 이용하여 제어 명령을 전송할 수 있다.
일 개시에 의한 프로세서(20)는 차량이 지나가는 구역의 맵을 생성하고, 구역에 설치된 복수의 V2X 기지국 및 복수의 이동통신 기지국으로부터 구역의 정보들을 획득할 수 있다.
일 개시에 의한 프로세서(20)는 구역의 정보들을 맵에 매핑하여 컨텍스트 맵을 생성하고, 구역에 새로운 이벤트가 발생하는 경우, 새로운 이벤트를 컨텍스트 맵에 업데이트 할 수 있다.
일 개시에 의한 프로세서(20)는 컨텍스트 맵에 실시간 차량 상태 정보를 표시하고, 차량의 목적지까지의 실시간 교통 정보를 표시하고, 제 1인공지능 학습모델을 이용하여 차량에 지정된 작업에 가장 적합한 경로를 생성하여 표시할 수 있다.
일 개시에 의한 제 1 인공지능 학습모델은 차량의 종류, 차량의 운반목적, 목적지, 차량의 속도 및 차량의 상태 등을 포함하는 차량 상태 정보와, 도로 정보, 날씨 정보 등을 포함하는 주변 환경 정보를 학습하여 적합 경로 생성 모델을 생성할 수 있다. 일 개시에 의한 프로세서(20)는 적합 경로 생성 모델을 이용하여 현재 차량에게 가장 적합한 이동 경로를 결정할 수 있다.
일 개시에 의하여 도로 위 이벤트 알림 장치(10)는 차량이 V2X 통신 서비스 영역에 위치하고 있는지 여부를 판단하기 위하여 차량이 지나가는 도로에 설치된 V2X 기지국의 위치 정보 및 V2X 기지국의 통신 서비스 영역을 획득할 수 있다. V2X 기지국은 복수개 설치되어 주변 영역에 V2X 통신 서비스를 제공할 수 있다.
일 개시에 의하여 도로 위 이벤트 알림 장치(10)는 차량으로부터 GNSS(Global Navigation Satellite System)에 따른 도로 정보, 차량 위치 정보 및 차량 속도 정보를 수신할 수 있다.
일 개시에 의하여 도로 위 이벤트 알림 장치(10)는 도로 정보, 차량 위치 정보 및 차량 속도 정보에 기초하여 차량의 현재 위치가 V2X 통신 서비스 영역에 해당하는지 실시간으로 판단할 수 있다.
일 개시에 의한 프로세서(20)는 컨텍스트 맵에 실시간 차량 상태 정보를 표시할 수 있으며, 도로 위 이벤트의 종류 및 이벤트의 속성에 대한 정보를 포함하는 이벤트 정보 및 차량의 이동 속도 및 작업 종류를 포함하는 차량 정보를 입력값으로 학습하는 제 1인공지능 학습모델을 이용하여 차량에 지정된 작업에 가장 적합한 경로를 생성하여 표시할 수 있다.
도 4는 일 개시에 하이브리드 V2X기반의 항만협력자율주행 화물운송시스템에서 도로 위에서 발생하는 이벤트를 알려주는 장치가 외부 장치 및 외부 서버와 통신하는 구성을 설명하기 위한 도면이다.
보다 상세한 일 개시에 의한 도로 위 이벤트 알림 장치(10)의 동작을 살펴보면, CCTV(220)로부터 획득한 영상을 CCTV 영상분석부(230)를 통해 도로 상에서 새로운 이벤트가 발생하는지 검출한 후, 항만 관제 서버(600)로 전송할 수 있다. 이 경우, 항만관제서버(600)의 일부로서 도로 위 이벤트 알림 장치(10)가 포함될 수 있으며, 또는 항만관제서버(600)와 통신하여 정보를 공유할 수도 있다.
일 개시에 의하여 도로 위 이벤트 알림 장치(10)는 보행자 또는 작업자에게 차량이 다가옴을 알릴 수 있다. 특히, 지향 스피커(240) 및 오디오 앰프(250)를 통해 이벤트로부터 일정 영역에 위치한 작업자 및 보행자에게 경고 알림을 제공함으로써 차량과의 충돌과 같은 사고를 예방할 수 있다.
일 개시에 의하여 도로 위 이벤트 알림 장치(10)는 이벤트의 종류 및 이벤트의 속성에 따라 차량과 충돌할 가능성을 계산한 결과값에 기초하여 단계별 경고 알림 정보를 생성할 수 있다. 예를 들어, 이벤트가 도로 위 보행자이고, 이벤트의 속성이 보행자의 무단횡단인 경우 보행자와 차량의 현재 이동 속도에 기초하여 충돌 가능성을 계산하고 그에 따라 경고 알림 단계를 설정할 수 있다.
예를 들어, 보행자의 이동 경로와 차량의 이동 경로가 30%이상 겹치고, 보행자의 이동 속도 및 차량의 이동 속도를 고려할 때, 보행자와 차량의 충돌 확률이 40%이상이라고 판단되면 제 1 단계 경고 알림을 생성할 수 있다. 나아가, 제 1 단계 경고 알림에 대응하는 제 1 단계 차량 제어 명령을 생성할 수 있다. 제 1 단계 차량 제어 명령은 차량의 속도 변경 및 차량의 이동 경로 변경에 대한 제어 명령을 포함할 수 있다.
일 개시에 의하여 보행자의 이동 경로와 차량의 이동 경로가 50%이상 겹치고, 보행자의 이동 속도 및 차량의 이동 속도를 고려할 때, 보행자와 차량의 충돌 확률이 70%이상이라고 판단되면 제 2 단계 경고 알림을 생성할 수 있다. 제 2 단계 경고 알림은 제 1 단계 경고 알림에 비해 더 높은 데시벨의 알림을 포함할 수 있다. 또한, 제 2 단계 경고 알림에 대응하는 제 2 단계 차량 제어 명령을 생성할 수 있다. 제 2 단계 차량 제어 명령은 차량의 속도 변경 및 차량의 이동 경로 변경에 대한 제어 명령을 포함할 수 있으며, 특히 제 1 단계 차량 제어 명령보다 차량의 속도 및 이동 경로 변경 폭이 더 클 수 있다.
일 개시에 의하여 보행자의 이동 경로와 차량의 이동 경로가 70%이상 겹치고, 보행자의 이동 속도 및 차량의 이동 속도를 고려할 때, 보행자와 차량의 충돌 확률이 90%이상이라고 판단되면 제 3 단계 경고 알림을 생성할 수 있다. 제 3 단계 경고 알림은 제 2 단계 경고 알림에 비해 더 높은 데시벨의 알림을 포함할 수 있다. 나아가 제 3 단계 경고 알림은 조명 장치를 통한 시각적 알림을 포함할 수 있다. 또한, 제 3 단계 경고 알림에 대응하는 제 3 단계 차량 제어 명령을 생성할 수 있다. 제 3 단계 차량 제어 명령은 차량의 속도 변경 및 차량의 이동 경로 변경에 대한 제어 명령을 포함할 수 있으며, 특히 제 1 단계 차량 제어 명령보다 차량의 속도 및 이동 경로 변경 폭이 더 클 수 있으며, 특히 차량의 급정거 제어 명령을 포함할 수 있다.
일 개시에 의하여 하이브리드 V2X 단말기(100)의 중앙처리부(140)는 하이브리드 V2X 통신시스템이 포함된 차량이 V2X 통신 서비스 영역에 위치하고 있는지 여부를 판단할 수 있다.
예를 들어, 도로 위 이벤트 알림 장치(10)는 V2X 수신부(130)를 통해 V2I를 지속적으로 수신가능한 경우, 하이브리드 V2X 통신시스템이 포함된 차량이 V2X 통신 서비스 영역에 위치하고 있다고 판단할 수 있으며, V2X 수신부(130)를 통해 V2I 신호를 수신하지 못하는 경우, 하이브리드 V2X 통신시스템이 포함된 차량이 V2X 통신 서비스 영역에 위치하고 있지 않다고 판단할 수 있다.
일 개시에 의하여 도로 위 이벤트 알림 장치(10)는 차량이 V2X 통신 서비스 영역에 위치한 경우, 차량의 V2X 수신부(130)를 이용하여 외부 서버(600)로부터 차량 제어 정보를 수신할 수 있다. 이때, 차량이 V2X 통신 서비스 영역에 위치하지 않은 경우, 차량의 이동통신 장치(110)를 이용하여 외부 서버로부터 경고 메시지 및 차량 제어 정보를 수신하도록 채널 스위치(150)를 제어할 수 있다.
도로 위 이벤트 알림 장치(10)는 차량 제어 정보에 기반하여 차량 상태 정보를 생성한 후, 차량이 V2X 통신 서비스 영역에 위치하고 있는지 여부를 판단하고, 차량이 V2X 통신 서비스 영역에 위치한 경우, 차량의 V2X 송신부(120)를 이용하여 차량 상태 정보를 외부 서버로 송신할 수 있다.
일 개시에 의하여 도로 위 이벤트 알림 장치(10)는 차량이 V2X 통신 서비스 영역을 벗어나는 경우, V2X 송신부(120)가 아닌 이동통신 장치(110)를 이용하여 차량 상태 정보를 외부 서버로 송신할 수 있다.
일 개시에 의한 이동통신 장치(110)는 이동체 상호 간 또는 이동체와 이동체 외부와의 통신을 수행하는 것을 목적으로 한 통신망으로서, 이동체 위치의 추적, 기지국 설정, 경로 설정 등 이동체를 대상으로 한 특유의 기능을 포함할 수 있으며, LTE, 5G, 6G등의 통신 방법을 포함할 수 있다. 통신 방법의 종류를 제한하지 않는다.
일 개시에 의한 차량 제어부(101)는 차량의 전반적인 제어를 담당하며, 특히, 외부 서버(600)로부터 수신한 제어 정보에 기반하여 차량의 자율주행을 제어할 수 있다.
예를 들어, 제어 정보는 항만을 주행하는 야드트럭 및 크레인 등 이동객체 각각에서 이동 객체의 현재 위치, 목적지, 항만 시설 및 다른 이동객체의 위치 변화량을 고려하여 항만위를 주행하는 야드 트럭과 트레인의 안전 주행 경로를 포함할 수 있으며, 아울러, 안전 주행 경로, 작업 효율을 향상시키는 경로 및 최단 경로 등 다양한 경로를 사용자 옵션에 따라 생성할 수 있다.
일 개시에 의한 이동통신 장치(110)는 컨텍스트 맵에 실시간 차량 상태 정보를 표시하고, 차량의 목적지까지의 실시간 교통 정보를 표시하고, 제 2인공지능 학습모델을 이용하여 차량에 지정된 작업에 가장 적합한 경로를 생성하여 표시할 수 있다.
일 개시에 의한 제 2 인공지능 학습모델은 차량의 종류, 차량의 운반목적, 목적지, 차량의 속도 및 차량의 상태 등을 포함하는 차량 상태 정보와, 도로 정보, 날씨 정보 등을 포함하는 주변 환경 정보를 학습하여 적합 경로 생성 모델을 생성할 수 있다. 일 개시에 의한 이동통신 장치(110)는 적합 경로 생성 모델을 이용하여 현재 차량에게 가장 적합한 이동 경로를 결정할 수 있다.
일 개시에 의하여 도로 위 이벤트 알림 장치(10)는 차량이 V2X 통신 서비스 영역에 위치하고 있는지 여부를 판단하기 위하여 차량이 지나가는 도로에 설치된 V2X 기지국의 위치 정보 및 V2X 기지국의 통신 서비스 영역을 획득할 수 있다. V2X 기지국은 복수개 설치되어 주변 영역에 V2X 통신 서비스를 제공할 수 있다.
일 개시에 의하여 도로 위 이벤트 알림 장치(10)는 차량으로부터 GNSS(Global Navigation Satellite System)에 따른 도로 정보, 차량 위치 정보 및 차량 속도 정보를 수신할 수 있다.
일 개시에 의하여 도로 위 이벤트 알림 장치(10)는 도로 정보, 차량 위치 정보 및 차량 속도 정보에 기초하여 차량의 현재 위치가 V2X 통신 서비스 영역에 해당하는지 실시간으로 판단할 수 있다.
도 5는 일 개시에 의한 하이브리드 V2X기반의 항만협력자율주행 화물운송시스템에서 도로 위에서 발생하는 이벤트를 알려주는 서비스의 흐름을 설명하기 위한 도면이다.
일 개시에 의하여 도로 위 이벤트 알림 장치(10)는 CCTV 시스템(230)을 이용하여 항만의 도로 상에 존재하는 이벤트를 감지할 수 있다. 이벤트는 도로 위에 존재하는 차량, 보행자, 객체 등을 포함할 수 있다. 일 개시에 의하여 도로 위 이벤트 알림 장치(10)는 보행자 및 작업자에게 일정영역 내에서 접근하는 차량에 대한 알림을 야외 스피커를 통해 방송할 수 있으며, 다른 차량들에게 이벤트의 존재를 알릴 수 있다.
도로 위 이벤트 알림 장치(10)는 다른 차량이 V2X 통신 서비스 영역에 위치한 경우 V2X 통신을 이용하여 경고 알림 메시지를 다른 차량으로 전송하고, 다른 차량이 V2X 통신 서비스 영역에 위치하지 않은 경우, 이동통신망을 이용하여 경고 알림 메시지를 다른 차량으로 전송할 수 있다.
일 개시에 의하여 도로 위 이벤트 알림 장치(10)는 수신한 경고 알림 메시지에 기초하여, 차량의 이동 속도 및 이동 경로를 변경하는 제어 명령을 생성할 수 있다.
나아가, 일 개시에 의하여 도로 위 이벤트 알림 장치(10)는 항만관제서버(600)로 도로 내에서 발생한 이벤트를 알리고, 경고 메시지를 차량으로 전송할 수 있다.
일 개시에 의하여 항만관제서버(600)는 경고 메시지를 전달해야 할 차량이 V2X 통신 가능한 영역에 위치하고 있는지 여부를 판단할 수 있다. 예를 들어, 항만관제서버(600)가 차량으로부터 V2I 통신 메시지를 수신하는 경우 차량이 V2X 통신 가능 영역에 있다고 판단할 수 있으며, PVD 통신 메시지를 수신하는 경우 V2X 통신 불가능 영역에 있다고 판단할 수 있다.
일 개시에 의하여 항만관제서버(600)가 차량이 V2X 통신 가능한 영역에 위치하고 있다고 판단되면 V2X 서버(300) 및 V2X 기지국(RSU, 200)을 통해 차량의 V2X 수신부(130)로 경고 메시지를 전송할 수 있다. 추가적으로, 차량의 제어 정보를 함께 전송할 수 있다.
차량은 V2X 수신부(130)를 통해 차량 위치 정보를 수신한 후, 중앙처리부(140)를 거쳐 차량 제어부(101)로 전달할 수 있다. 차량 제어부(101)는 수신한 경고 메시지 및 차량 제어 정보에 기반하여, 차량의 위치 정보, 현재 상태 정보 등과 같은 다양한 실시간 정보를 결합하여 차량 상태 정보 메시지를 생성할 수 있다.
다음으로, 차량 제어부(101)는 생성한 차량 상태 정보를 다시 중앙처리부(140)로 전송할 수 있다. 중앙처리부(140)는 차량이 현재 V2X 통신 가능한 영역에 위치하고 있는지 여부를 판단하여, 어떤 통신장치를 이용하여 외부 서버와 통신할 지 결정할 수 있다.
일 개시에 의하여, 중앙처리부(140)는 차량이 V2X 통신 가능 영역에 존재한다고 판단하면 우선적으로 V2X 송신부(120)를 이용하여 항만관제서버(600)로 차량 상태 정보를 전송할 수 있고, 차량이 V2X 통신 불가능 영역에 존재한다고 판단되면, 이동통신장치(110)를 이용하여 항만관제서버(600)로 차량 상태 정보를 전송할 수 있다.
도 6은 일 개시에 의한 인공지능 학습모델을 포함하는 프로세서의 구성을 나타내는 도면이다.
일 개시에 의한 도로 위 이벤트 알림 장치(10)의 중앙처리부(140)는 데이터 학습부(21) 및 제어정보 생성부(22) 중 적어도 하나를 포함할 수 있다.
일 개시에 의하여 도로 위 이벤트 알림 장치(10)는 차량에 포함된 센서를 이용하여 획득한 소음 데이터, 진동 데이터 및 연소 압력 측정 데이터를 획득할 수 있다.
일 개시에 의하여 도로 위 이벤트 알림 장치(10)는 제 3 인공지능 학습 모델을 이용하여 소음 데이터, 진동 데이터, 연소 압력 측정 데이터 및 차량 운행 목적에 대한 정보 학습하여, 차량의 주행 상태를 진단할 수 있다.
일 개시에 의하여 도로 위 이벤트 알림 장치(10)는 차량의 주행 상태에 기초하여 차량의 주행 모드를 실시간 결정할 수 있다. 또한, 결정된 차량의 주행 모드에 기초하여 차량 제어 정보를 생성하여 차량으로 전달할 수 있다.
제 3 인공지능 학습모델은 전처리된 센서 데이터를 분석하여 자율주행을 위한 제어 데이터 및 주행 경로를 생성하도록 학습된 딥러닝 모델 또는 이를 실행하는 프로세서를 말한다.
일 개시에 의한 데이터 학습부(21)는 소음 데이터, 진동 데이터, 연소 압력 측정 데이터 및 차량 운행 목적에 대한 정보를 학습할 수 있다. 구체적으로, 데이터 학습부(21)는 소음 데이터, 진동 데이터, 연소 압력 측정 데이터 및 차량 운행 목적에 대한 정보로부터, 차량의 주행 상태를 진단하는 기준을 학습할 수 있다. 또한, 데이터 학습부(21)는 차량의 주행 상태의 양상에 따른 차량의 주행 상태에 따른 제어 정보를 학습할 수 있다. 즉, 데이터 학습부(21)는 누적된 차량의 주행 상태에 기초하여 새로운 차량의 제어 정보를 생성, 학습 또는 업데이트할 수 있다.
프로세서(140)는 학습된 기준에 따라 차량의 주행 상태를 분석하여 차량의 주행 모드를 결정할 수 있다. 그리고 프로세서(140)는 차량의 주행 정보, 상태 정보 및 도로 주변 환경 정보로부터 학습에 필요한 데이터를 추출할 수 있다. 이로부터 데이터 학습부(21)는 차량 제어 정보 생성 모델을 생성 및 업데이트할 수 있다.
제어정보 생성부(22)는 학습된 차량 제어 생성 모델을 이용하여, 소정의 데이터로부터 상황을 인식할 수 있다. 제어정보 생성부(22)는 학습에 의한 기설정된 기준에 따라 소정의 데이터를 획득하고, 획득된 데이터를 입력 값으로 하여 데이터 인식 모델을 이용할 수 있다. 예를 들어, 학습된 컨텍스트 모델 등을 이용하여 차량의 상태 정보, 운전 히스토리, 목적지 정보, 차량운행 목적 정보, 교통 정보, 기 저장된 맵 정보, 차량의 주변 환경 정보 등을 분석하고 주행 경로를 생성하기 위한 데이터를 추출할 수 있다. 또한, 학습된 모델을 이용하여, 제어정보 생성부(22)는 외부서버로부터 현재 주변 상황에 대한 정보를 획득하여 차량에게 가장 알맞은 주행 모드를 생성할 수 있다. 여기서 주행 모드는 주행 시간 단축 모드, 안정 주행 모드, 장애물 발견 모드, 차량 결함에 따른 주행 모드 등을 포함할 수 있으며, 모드의 수에 제한두지 않는다.
데이터 학습부(21)의 적어도 일부 및 제어정보 생성부(22)의 적어도 일부는, 소프트웨어 모듈로 구현되거나 적어도 하나의 하드웨어 칩 형태로 제작되어 전자 장치에 탑재될 수 있다. 예를 들어, 데이터 학습부(21) 및 제어정보 생성부(22)중 적어도 하나는 인공 지능(AI, artificial intelligence)을 위한 전용 하드웨어 칩 형태로 제작될 수도 있고, 또는 기존의 범용 프로세서(예: CPU 또는 application processor) 또는 그래픽 전용 프로세서(예: GPU)의 일부로 제작되어 전술한 각종 전자 장치 또는 컨텐츠 데이터 재생 장치에 탑재될 수도 있다. 이때, 인공 지능을 위한 전용 하드웨어 칩은 확률 연산에 특화된 전용 프로세서로서, 기존의 범용 프로세서보다 병렬처리 성능이 높아 기계 학습과 같은 인공 지능 분야의 연산 작업을 빠르게 처리할 수 있다. 데이터 학습부(21) 및 제어정보 생성부(22)가 소프트웨어 모듈(또는, 인스트럭션(instruction) 포함하는 프로그램 모듈)로 구현되는 경우, 소프트웨어 모듈은 컴퓨터로 읽을 수 있는 판독 가능한 비일시적 판독 가능 기록매체(non-transitory computer readable media)에 저장될 수 있다. 이 경우, 소프트웨어 모듈은 OS(Operating System)에 의해 제공되거나, 소정의 애플리케이션에 의해 제공될 수 있다. 또는, 소프트웨어 모듈 중 일부는 OS(Operating System)에 의해 제공되고, 나머지 일부는 소정의 애플리케이션에 의해 제공될 수 있다.
일 실시예에 의하여 컴퓨터로 판독 가능한 비일시적인 기록 매체에 저장된 컴퓨터 프로그램에 있어서, 항만 내 설치된 CCTV로부터 획득한 영상을 분석하여, 항만 내 도로에서 발생하는 이벤트를 검출하는 단계, 이벤트의 유형 및 하이브리드 V2X 통신시스템이 포함된 차량과 충돌할 확률에 따라 경고 알림 메시지를 생성하는 단계, 차량이 V2X 통신 서비스 영역에 위치하고 있는지 여부를 판단하는 단계 및 차량이 V2X 통신 서비스 영역에 위치한 경우, V2X 통신 서비스를 이용하여 경고 알림 메시지를 차량으로 전송하는 단계를 수행하는 기록 매체에 저장된 컴퓨터 프로그램을 제공할 수 있다.
또한, 컴퓨터 프로그램은 본원발명에서 제공하는 모든 방법의 단계를 수행하는 기록 매체에 저장된 컴퓨터 프로그램을 제공할 수 있다.
본 발명의 실시예와 관련하여 설명된 방법 또는 알고리즘의 단계들은 하드웨어로 직접 구현되거나, 하드웨어에 의해 실행되는 소프트웨어 모듈로 구현되거나, 또는 이들의 결합에 의해 구현될 수 있다. 소프트웨어 모듈은 RAM(Random Access Memory), ROM(Read Only Memory), EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM), 플래시 메모리(Flash Memory), 하드 디스크, 착탈형 디스크, CD-ROM, 또는 본 발명이 속하는 기술 분야에서 잘 알려진 임의의 형태의 컴퓨터 판독가능 기록매체에 상주할 수도 있다.
본 발명의 구성 요소들은 하드웨어인 컴퓨터와 결합되어 실행되기 위해 프로그램(또는 애플리케이션)으로 구현되어 매체에 저장될 수 있다. 본 발명의 구성 요소들은 소프트웨어 프로그래밍 또는 소프트웨어 요소들로 실행될 수 있으며, 이와 유사하게, 실시 예는 데이터 구조, 프로세스들, 루틴들 또는 다른 프로그래밍 구성들의 조합으로 구현되는 다양한 알고리즘을 포함하여, C, C++, 자바(Java), 어셈블러(assembler) 등과 같은 프로그래밍 또는 스크립팅 언어로 구현될 수 있다. 기능적인 측면들은 하나 이상의 프로세서들에서 실행되는 알고리즘으로 구현될 수 있다.
이상, 첨부된 도면을 참조로 하여 본 발명의 실시예를 설명하였지만, 본 발명이 속하는 기술분야의 통상의 기술자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며, 제한적이 아닌 것으로 이해해야만 한다.
Claims (10)
- 외부 장치와 통신하는 통신부, 적어도 하나의 인스트럭션(instruction)을 저장하는 메모리 및 상기 적어도 하나의 인스트럭션을 실행하는 프로세서를 포함하는 하이브리드 V2X기반의 항만협력자율주행 화물운송시스템에서 도로 위에서 발생하는 이벤트를 알려주는 장치에 있어서, 상기 프로세서에서,
항만 내 설치된 CCTV로부터 획득한 영상을 분석하여, 상기 항만 내 도로에서 발생하는 이벤트를 검출하는 단계;
하이브리드 V2X 통신시스템이 포함된 차량의 센서에서 획득한 상기 이벤트를 최초로 감지한 시점을 제 1 시점, 상기 제 1 시점으로부터 미리 설정된 시간이 경과한 시점을 제 2 시점으로 설정하고, 상기 제 1 시점으로부터 제 2 시점까지의 이벤트와의 거리 정보, 이벤트의 상대속도 및 위치 정보를 입력값으로, 상기 제 2 시점 이후의 이벤트의 거리, 상대속도 및 위치를 예측하는 단계;
충돌 예측 모델을 이용하여 상기 이벤트와의 충돌 확률에 따라 단계별 경고 알림 메시지를 생성하는 단계;
상기 차량이 V2X 통신 서비스 영역에 위치한 경우 V2X 통신 서비스를 이용하고, 상기 차량이 V2X 통신 서비스 영역에 위치하지 않은 경우 상기 차량의 이동통신 장치를 이용하여 경고 알림 메시지를 전송하는 단계; 및
상기 이벤트의 위치, 이동 속도 및 이동 방향에 대한 정보를 포함하는 위험상황 정보를 생성하여, 상기 이벤트로부터 일정 반경 이내에 위치한 다른 차량으로 전송하는 단계를 포함하며,
상기 단계별 경고 알림 메시지는, 상기 이벤트가 위험 차량 유형에 해당하는 경우 충돌 확률 25%, 충돌경고시간 1.6초 및 충돌 위험시간 1.3초로 설정한 제 1 안전거리 및 상기 이벤트가 위험 차량 유형에 해당하지 않는 경우 충돌 확률 50%, 충돌경고시간 1.4초, 충돌 위험시간 1.1초로 설정한 제 2 안전거리를 기준으로 생성된 단계별 제어 신호를 포함하는 것을 특징으로 하는, 하이브리드 V2X기반의 항만협력자율주행 화물운송시스템에서 도로 위에서 발생하는 이벤트를 알려주는 방법. - 제 1 항에 있어서,
상기 획득한 이벤트의 이미지 정보를 기초로 이벤트 유형 식별모델을 이용하여 상기 이벤트의 유형을 식별하는 단계; 및
상기 이벤트에 관한 정보를 기초로 충돌 예측 모델을 이용하여 상기 이벤트와 자율주행 차량 간의 거리 변화, 상기 이벤트의 상대속도 변화 및 상기 이벤트의 위치변화 중 적어도 어느 하나를 예측한 후, 상기 이벤트와 상기 자율주행 차량 간의 충돌예측시간을 계산하는 단계를 포함하는, 하이브리드 V2X기반의 항만협력자율주행 화물운송시스템에서 도로 위에서 발생하는 이벤트를 알려주는 방법. - 삭제
- 제 1 항에 있어서,
상기 다른 차량이 V2X 통신 서비스 영역에 위치한 경우 V2X 통신을 이용하여 상기 경고 알림 메시지를 상기 다른 차량으로 전송하고,
상기 다른 차량이 V2X 통신 서비스 영역에 위치하지 않은 경우, 이동통신망을 이용하여 상기 경고 알림 메시지를 다른 차량으로 전송하는 단계를 포함하는, 하이브리드 V2X기반의 항만협력자율주행 화물운송시스템에서 도로 위에서 발생하는 이벤트를 알려주는 방법. - 제 1 항에 있어서,
상기 이벤트로부터 일정 반경 이내에 위치한 보행자에게 상기 위험상황 정보를 알리기 위해 상기 항만 내에 설치된 스피커를 이용하여 경고 알림을 출력하는 단계를 포함하는, 하이브리드 V2X기반의 항만협력자율주행 화물운송시스템에서 도로 위에서 발생하는 이벤트를 알려주는 방법. - 삭제
- 제 1 항에 있어서,
상기 단계별 경고 알림 메시지에 기초하여, 상기 차량의 이동 속도 및 이동 경로를 변경하는 제어 명령을 생성하는 단계를 포함하는, 하이브리드 V2X기반의 항만협력자율주행 화물운송시스템에서 도로 위에서 발생하는 이벤트를 알려주는 방법. - 외부 장치와 통신하는 통신부;
적어도 하나의 인스트럭션(instruction)을 저장하는 메모리; 및
상기 적어도 하나의 인스트럭션을 실행하는 프로세서; 를 포함하고,
상기 프로세서는,
항만 내 설치된 CCTV로부터 획득한 영상을 분석하여, 상기 항만 내 도로에서 발생하는 이벤트를 검출하고,
하이브리드 V2X 통신시스템이 포함된 차량의 센서에서 획득한 상기 이벤트를 최초로 감지한 시점을 제 1 시점, 상기 제 1 시점으로부터 미리 설정된 시간이 경과한 시점을 제 2 시점으로 설정하고, 상기 제 1 시점으로부터 제 2 시점까지의 이벤트와의 거리 정보, 이벤트의 상대속도 및 위치 정보를 입력값으로, 상기 제 2 시점 이후의 이벤트의 거리, 상대속도 및 위치를 예측하고,
충돌 예측 모델을 이용하여 상기 이벤트와의 충돌 확률에 따라 단계별 경고 알림 메시지를 생성하고,
상기 차량이 V2X 통신 서비스 영역에 위치한 경우 V2X 통신 서비스를 이용하고, 상기 차량이 V2X 통신 서비스 영역에 위치하지 않은 경우 상기 차량의 이동통신 장치를 이용하여 경고 알림 메시지를 전송하고,
상기 이벤트의 위치, 이동 속도 및 이동 방향에 대한 정보를 포함하는 위험상황 정보를 생성하여, 상기 이벤트로부터 일정 반경 이내에 위치한 다른 차량으로 전송하되,
상기 단계별 경고 알림 메시지는, 상기 이벤트가 위험 차량 유형에 해당하는 경우 충돌 확률 25%, 충돌경고시간 1.6초 및 충돌 위험시간 1.3초로 설정한 제 1 안전거리 및 상기 이벤트가 위험 차량 유형에 해당하지 않는 경우 충돌 확률 50%, 충돌경고시간 1.4초, 충돌 위험시간 1.1초로 설정한 제 2 안전거리를 기준으로 생성된 단계별 제어 신호를 포함하는 것을 특징으로 하는, 하이브리드 V2X기반의 항만협력자율주행 화물운송시스템에서 도로 위에서 발생하는 이벤트를 알려주는 장치. - 제 8 항에 있어서,
상기 프로세서는,
상기 차량의 센서로부터 상기 차량 주변의 정보를 획득하고,
상기 차량 주변의 정보에 기초하여 상기 이벤트의 유형을 식별하는 것을 특징으로 하는, 하이브리드 V2X기반의 항만협력자율주행 화물운송시스템에서 도로 위에서 발생하는 이벤트를 알려주는 장치. - 컴퓨터로 판독 가능한 비일시적인 기록 매체에 저장된 컴퓨터 프로그램에 있어서,
항만 내 설치된 CCTV로부터 획득한 영상을 분석하여, 상기 항만 내 도로에서 발생하는 이벤트를 검출하는 단계;
하이브리드 V2X 통신시스템이 포함된 차량의 센서에서 획득한 상기 이벤트를 최초로 감지한 시점을 제 1 시점, 상기 제 1 시점으로부터 미리 설정된 시간이 경과한 시점을 제 2 시점으로 설정하고, 상기 제 1 시점으로부터 제 2 시점까지의 이벤트와의 거리 정보, 이벤트의 상대속도 및 위치 정보를 입력값으로, 상기 제 2 시점 이후의 이벤트의 거리, 상대속도 및 위치를 예측하는 단계;
충돌 예측 모델을 이용하여 상기 이벤트와의 충돌 확률에 따라 단계별 경고 알림 메시지를 생성하는 단계;
상기 차량이 V2X 통신 서비스 영역에 위치한 경우 V2X 통신 서비스를 이용하고, 상기 차량이 V2X 통신 서비스 영역에 위치하지 않은 경우 상기 차량의 이동통신 장치를 이용하여 경고 알림 메시지를 전송하는 단계; 및
상기 이벤트의 위치, 이동 속도 및 이동 방향에 대한 정보를 포함하는 위험상황 정보를 생성하여, 상기 이벤트로부터 일정 반경 이내에 위치한 다른 차량으로 전송하는 단계를 수행하며,
상기 단계별 경고 알림 메시지는, 상기 이벤트가 위험 차량 유형에 해당하는 경우 충돌 확률 25%, 충돌경고시간 1.6초 및 충돌 위험시간 1.3초로 설정한 제 1 안전거리 및 상기 이벤트가 위험 차량 유형에 해당하지 않는 경우 충돌 확률 50%, 충돌경고시간 1.4초, 충돌 위험시간 1.1초로 설정한 제 2 안전거리를 기준으로 생성된 단계별 제어 신호를 포함하는 것을 특징으로 하는, 기록 매체에 저장된 컴퓨터 프로그램.
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR102680954B1 true KR102680954B1 (ko) | 2024-07-04 |
Family
ID=
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101964175B1 (ko) * | 2017-11-15 | 2019-04-02 | 올래디오 주식회사 | 차량통신 서비스 제공 방법 및 차량통신 서비스 제공 단말 |
| KR102497716B1 (ko) * | 2021-12-28 | 2023-02-08 | 한국교통연구원 | 자율주행협력 차량의 권장 제한 속도를 제공하는 관제 서버 |
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101964175B1 (ko) * | 2017-11-15 | 2019-04-02 | 올래디오 주식회사 | 차량통신 서비스 제공 방법 및 차량통신 서비스 제공 단말 |
| KR102497716B1 (ko) * | 2021-12-28 | 2023-02-08 | 한국교통연구원 | 자율주행협력 차량의 권장 제한 속도를 제공하는 관제 서버 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11958504B2 (en) | Method and apparatus for controlling a vehicle's driving operation using advance information | |
| US20220227394A1 (en) | Autonomous Vehicle Operational Management | |
| US10654476B2 (en) | Autonomous vehicle operational management control | |
| EP3580084B1 (en) | Autonomous vehicle operational management including operating a partially observable markov decision process model instance | |
| US11881030B2 (en) | Method for detecting vehicle and device for executing the same | |
| CN102362301B (zh) | 车用信息提供装置 | |
| US10352704B2 (en) | System and method for detection of vehicle lane departure | |
| US11702070B2 (en) | Autonomous vehicle operation with explicit occlusion reasoning | |
| US11014555B1 (en) | Method and system for pedestrian-to-vehicle collision avoidance based on emitted wavelength | |
| US11820387B2 (en) | Detecting driving behavior of vehicles | |
| US10369995B2 (en) | Information processing device, information processing method, control device for vehicle, and control method for vehicle | |
| US10162357B2 (en) | Distributed computing among vehicles | |
| US11210937B2 (en) | Method for un-signalized intersection traffic flow management | |
| JP2018156462A (ja) | 移動体及びそれを含む運転支援システム | |
| US20220092981A1 (en) | Systems and methods for controlling vehicle traffic | |
| CN113692751A (zh) | 用于调遣和路径规划的v2x信息元素 | |
| Gelbal et al. | Mobile Safety Application for Pedestrians Utilizing P2V Communication over Bluetooth | |
| CN114503177A (zh) | 信息处理装置、信息处理系统和信息处理方法 | |
| KR102680954B1 (ko) | 하이브리드 v2x기반의 항만협력자율주행 화물운송시스템에서 도로 위에서 발생하는 이벤트를 알려주는 장치 및 방법 | |
| KR102678602B1 (ko) | 하이브리드 v2x기반의 항만협력자율주행 화물운송시스템의 차량에게 최적의 운행 경로를 안내하는 장치 및 방법 | |
| KR102680960B1 (ko) | 하이브리드 v2x기반의 항만협력자율주행 화물운송시스템에서 목적지에 도착한 차량을 대기모드로 전환하는 방법 및 장치 | |
| CN112232581A (zh) | 驾驶风险的预测方法、装置、电子设备及存储介质 | |
| KR102675049B1 (ko) | 하이브리드 v2x 통신시스템을 포함하는 자율주행트랙터의 위치기반 차량 데이터 수집 장치 및 방법 | |
| WO2020241273A1 (ja) | 車両用通信システム、車載機、制御方法及びコンピュータプログラム | |
| WO2023187718A1 (en) | Adaptive advanced driver-assistance system (adas) |