KR20240003364A - 원격 주행을 위한 네트워크 상태 모니터링 방법 및 그를 위한 장치 및 시스템 - Google Patents

원격 주행을 위한 네트워크 상태 모니터링 방법 및 그를 위한 장치 및 시스템 Download PDF

Info

Publication number
KR20240003364A
KR20240003364A KR1020220080275A KR20220080275A KR20240003364A KR 20240003364 A KR20240003364 A KR 20240003364A KR 1020220080275 A KR1020220080275 A KR 1020220080275A KR 20220080275 A KR20220080275 A KR 20220080275A KR 20240003364 A KR20240003364 A KR 20240003364A
Authority
KR
South Korea
Prior art keywords
remote control
network
driving
remote
vehicle
Prior art date
Application number
KR1020220080275A
Other languages
English (en)
Inventor
김성민
Original Assignee
주식회사 엘지유플러스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 엘지유플러스 filed Critical 주식회사 엘지유플러스
Priority to KR1020220080275A priority Critical patent/KR20240003364A/ko
Priority to PCT/KR2023/009146 priority patent/WO2024005570A1/ko
Publication of KR20240003364A publication Critical patent/KR20240003364A/ko

Links

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/0098Details of control systems ensuring comfort, safety or stability not otherwise provided for
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/10Path keeping
    • B60W30/12Lane keeping
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/04Monitoring the functioning of the control system
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001Planning or execution of driving tasks
    • B60W60/0015Planning or execution of driving tasks specially adapted for safety
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00Drive control systems specially adapted for autonomous road vehicles
    • B60W60/005Handover processes
    • B60W60/0053Handover processes from vehicle to occupant
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00Drive control systems specially adapted for autonomous road vehicles
    • B60W60/005Handover processes
    • B60W60/0059Estimation of the risk associated with autonomous or manual driving, e.g. situation too complex, sensor failure or driver incapacity
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00Arrangements for monitoring or testing data switching networks
    • H04L43/08Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H04L43/0852Delays
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00Arrangements for monitoring or testing data switching networks
    • H04L43/08Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H04L43/0876Network utilisation, e.g. volume of load or congestion level
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00Arrangements for monitoring or testing data switching networks
    • H04L43/10Active monitoring, e.g. heartbeat, ping or trace-route
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00Arrangements for monitoring or testing data switching networks
    • H04L43/16Threshold monitoring
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W24/00Supervisory, monitoring or testing arrangements
    • H04W24/08Testing, supervising or monitoring using real traffic
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30Services specially adapted for particular environments, situations or purposes
    • H04W4/40Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P]
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00Input parameters relating to data
    • B60W2556/45External transmission of data to or from the vehicle
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2756/00Output or target parameters relating to data
    • B60W2756/10Involving external transmission of data to or from the vehicle
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60YINDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2300/00Purposes or special features of road vehicle drive control systems
    • B60Y2300/10Path keeping
    • B60Y2300/12Lane keeping

Abstract

본 발명은 원격 주행을 위한 네트워크 상태 모니터링 방법 및 그를 위한 장치 및 시스템에 관한 것으로서, 본 개시의 일 측면에 따른 네트워크에 구비된 장치에서의 원격 주행 모니터링 방법은 원격 주행을 위해 페어링된 원격 제어 차량 및 원격 제어 센터를 식별하는 단계와 상기 식별된 원격 제어 차량 및 원격 제어 센터에 상응하는 네트워크 상태를 측정하는 단계와 상기 측정된 네트워크 상태에 기반하여 최적 네트워크 경로를 결정하는 단계를 포함하되, 상기 최적 네트워크 경로를 통해 상기 원격 주행을 위한 신호가 송수신되는 것을 특징으로 한다.

Description

원격 주행을 위한 네트워크 상태 모니터링 방법 및 그를 위한 장치 및 시스템{Method for monitoring network status for teleoperated driving and apparatus and system therefor}
본 발명은 원격 주행에 관한 것으로서, 상세하게 원격 제어 차량과 원격 제어 센터 사이에 위치한 네트워크 상태 모니터링 장치를 통해 원격 주행을 위한 네트워크 상태를 모니터링하여 원격 주행을 제어하는 기술에 관한 것이다.
자율 주행 차량이란 운전자 또는 승객의 조작없이 차량 스스로 운행이 가능한 차량을 말한다. 또한, 통신 기술이 발전함에 따라 고속으로 대용량의 데이터 전송이 가능해지면서, 무선 통신 시스템에 의해 더 다양한 서비스를 제공할 수 있게 된다.
현재 자율 주행 차량은 기술적으로도 아직 폭우나 폭설, 짙은 안개가 있는 환경이나 돌발 상황에서 문제 없이 주행할 수 있는 수준이 아니다. 구글이 네바다주에서 무인 자동차로 면허를 받았을 때 검사관은 여러 가지 기상 상황이나 비포장 도로 같은 환경에 적응하지 못하는 문제점을 지적한 바 있다.
이러한 자율 주행 차량의 문제점을 보완하기 위해, 원격지에서 자율 주행 차량의 주행 지점에 대한 정보, 자율 주행 차량의 위치 정보, 자율 주행 차량에 의해 수집된 각종 센싱 정보 등을 기초로 자율 주행 차량을 원격으로 상시 감시하고 조작하는 것이 가능한 원격 제어 자율 주행 제어 시스템, 즉 원격 주행(teleoperated driving, ToD)에 대한 연구가 활발히 진행되고 있다. 다양한 교통 수단이나 서비스가 보급 및 확대됨에 따라 자율 주행 차량의 원격 제어는 매우 중요한 교통의 요소가 될 전망이다.
자율 주행 차량의 안전한 원격 제어를 위해서는 제어 명령의 신뢰성 및 유효성이 보장되어야 한다.
원격 제어 센터로부터 수신되는 제어 명령이 원격 제어 중인 차량에 지연되어 수신되거나 원격 제어 차량에 의해 촬영된 영상이 대역폭 제한 등으로 인해 원격 제어 센터에 지연되어 전송되는 경우, 원격 제어 차량에 대한 제어가 지연되어 사고 위험이 높아질 수 있다.
예를 들어, 원격 제어 센터에서 일정한 시간 간격(예, 10ms)으로 스티어링 휠 제어를 위한 제어 명령을 생성한다고 가정하자. 원격 제어 센터 내부 시스템상에서의 문제로 인해 제어 신호의 전송 지연 또는 전송 주기 오차가 발생되거나 네트워크상에서 순간적으로 발생한 다양한 문제들로 인한 스티어링 휠 제어 신호의 전송 지연이 발생된 경우, 도 1에 도시된 바와 같이, 차량의 회전 궤적은 원격지 운전자의 의도와 다른 방향으로 전개될 수 있다.
물론 원격지 운전자가 원격 주행 화면을 모니터링하여 상술한 문제 상황을 인식하고 원격지 운전 장치의 스티어링 휠을 조정할 수 있지만, 이는 원격지 운전자의 원격 제어 피로도를 상승시킬 수 있을 뿐만 아니라 크고 작은 제어 신호 지연 현상으로 인해 차량이 매우 불안하게 제어되므로 승차감이 떨어지고 각종 안전 문제가 발생될 확률이 높아질 수 있다.
한국 특허공개 제10-2018-0052673호(2018.05.18)는 자율 주행 차량 제어를 위한 시스템 지연 추정 방법에 관한 것으로서, 자율 주행 시스템 내부의 다양한 지연을 측정하고, 측정된 지연에 기초하여 추정된 전체 시스템 지연에 기초하여 제어 데이터를 생성하는 기술을 개시하고 있다.
한국 특허공개 제10-2021-0010994호(2021.01.26)에는 차량이 자동 운전 시스템과 연동하여 자동 운전 시스템으로부터의 명령에 따라 차량을 제어하는 차량 플랫폼에 관한 것으로서, 특히, 자동 운전 시스템은 자율 모드와 메뉴얼 모드 중 어느 상태인지를 나타내는 제1 시그널을 차량 플랫폼에 전송하고, 차량의 진행 방향을 나타내는 제 2 시그널을 취득한 경우 제1 시그널이 자율 모드이고, 제2 시그널이 정지 신호인 경우에만 제1 시그널에 따라 시프트 변경을 실시하는 방법이 개시되어 있다.
한국 공개특허 제10-2020-0055596호(2020.05.21)에는 차량 단말 장치가 복수의 카메라로부터 복수의 입력 영상들을 획득하고 이를 네트워크를 통해 원격 제어 장치에 전송하면, 원격 제어 장치가 수신된 영상을 기초로 패킹 영상을 구성하는 기술이 개시되어 있다.
한국 공개특허 제10-2018-012625(2018.11.27)에는 무인차량에 탑재된 다양한 센서들로부터 생성된 환경 정보 지도 및 영상 정보를 기반으로 원격 통제 장치가 무인 차량이 추종할 경로점 및 가감속 명령을 생성하는 기술이 개시되어 있다.
본 개시의 목적은 원격 주행을 위한 네트워크 상태 모니터링 방법 및 그를 위한 장치 및 시스템을 제공하는 것이다.
본 개시의 다른 목적은 원격 제어 차량과 원격 제어 센터 사이에 위치한 네트워크 상태 모니터링 장치를 통해 원격 주행을 위한 네트워크 상태를 모니터링하여 원격 주행을 제어하는 것이 가능한 원격 주행을 위한 네트워크 상태 모니터링 방법 및 그를 위한 장치 및 시스템을 제공하는 것이다.
본 개시의 또 다른 목적은 네트워크단에 위치하여 원격 주행 중 실시간 네트워크 상태에 기반하여 목적지까지의 최적 경로를 제공하는 것이 가능한 네트워크 상태 모니터링 장치를 제공하는 것이다.
본 개시의 또 다른 목적은 5G 백본에 연결되어 원격 주행 중 실시간 네트워크 상태를 측정하고, 측정 결과에 따른 소정 경고 알람을 원격 제어 차량 및 원격 제어 센터에 제공함으로써 보다 안전한 원격 주행을 가능하게 하는 네트워크 상태 모니터링 장치를 제공하는 것이다.
본 발명의 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재들로부터 당업자에게 명확하게 이해될 수 있을 것이다.
본 개시의 일 측면에 따른 네트워크에 구비된 장치에서의 원격 주행 모니터링 방법은 원격 주행을 위해 페어링된 원격 제어 차량 및 원격 제어 센터를 식별하는 단계와 상기 식별된 원격 제어 차량 및 원격 제어 센터에 상응하는 네트워크 상태를 측정하는 단계와 상기 측정된 네트워크 상태에 기반하여 최적 네트워크 경로를 결정하는 단계를 포함하되, 상기 최적 네트워크 경로를 통해 상기 원격 주행을 위한 신호가 송수신되는 것을 특징으로 한다.
실시 예로, 상기 장치는 5G망의 백본 라우터에 연결될 수 있다.
실시 예로, 상기 네트워크 상태는 대역폭 상태 및 지연 상태 중 적어도 하나를 포함할 수 있다.
실시 예로, 상기 네트워크 상태를 측정하는 단계는 상기 장치와 상기 원격 제어 차량 사이의 제1 지연을 측정하는 단계와 상기 장치와 상기 원격 제어 센터 사이의 제2 지연을 측정하는 단계를 포함하되, 상기 제1 지연과 상기 제2 지연의 합을 소정 지연 임계치와 비교하여 상기 원격 제어 차량 및 상기 원격 제어 센터 중 적어도 하나로의 경고 알람 전송 여부가 결정될 수 있다.
실시 예로, 상기 제1 지연 및 상기 제2 지연은 핑 테스트(Ping Test)를 통해 측정될 수 있다.
실시 예로, 상기 네트워크 상태를 측정하는 단계는 상기 장치와 상기 원격 제어 차량 사이의 제1 대역폭을 측정하는 단계와 상기 장치와 상기 원격 제어 센터 사이의 제2 대역폭을 측정하는 단계를 포함하되, 상기 제1 대역폭과 상기 제2 대역폭 각각을 소정 대역폭 임계치와 비교하여 상기 원격 제어 차량 및 상기 원격 제어 센터 중 적어도 하나로의 경고 알람 전송 여부가 결정될 수 있다.
실시 예로, 상기 경고 알람은 안전 프로세스 타입에 관한 정보를 포함하고, 상기 안전 프로세스 타입은 안전하게 긴급 갓길 주/정차를 수행하는 긴급 주정차 프로세스 타입, 원격 주행 모드에서 자율 주행 모드로의 전환을 수행하는 자율 주행 전환 프로세스 타입, 운전자 탑승 시 원격 주행 모드에서 수동 운전 모드로의 전환을 수행하는 수동 주행 전환 프로세스 타입, 현재 차선을 유지하면서 감속 주행을 유도하는 차선 유지 감속 프로세스 타입 중 적어도 하나를 포함할 수 있다.
실시 예로, 상기 식별된 원격 제어 차량과 원격 제어 센터 사이에 가용한 적어도 하나의 네트워크 라우팅 경로를 식별하고, 상기 식별된 적어도 하나의 네트워크 라우팅 경로 별 측정된 네트워크 상태에 기반하여 상기 최적 네트워크 경로가 결정될 수 있다.
실시 예로, 상기 원격 제어 차량 또는 상기 원격 제어 센터로부터 사용자 설정된 목적지 정보 및 주행 경로 정보 중 적어도 하나를 수신하는 단계를 더 포함하되, 상기 원격 주행 중 상기 목적지 정보 및 주행 경로 정보 중 적어도 하나에 더 기반하여 상기 최적 네트워크 경로가 실시간 갱신될 수 있다.
실시 예로, 상기 방법은 상기 원격 제어 차량 또는 상기 원격 제어 센터로부터 사용자 설정된 목적지 정보를 수신하는 단계와 상기 결정된 최적 네트워크 경로에 기반하여 상기 목적지까지의 최적 주행 경로를 결정하는 단계와 상기 결정된 최적 주행 경로에 관한 정보를 상기 원격 제어 차량 및 상기 원격 제어 센터 중 적어도 하나에 전송하는 단계를 더 포함할 수 있다.
다른 측면에 따른 적어도 하나의 프로세서에 의해 실행될 때, 상기 적어도 하나의 프로세서가 네트워크를 통해 원격 제어 차량 및 원격 제어 센터와 연동되어 네트워크 상태를 모니터링하기 동작들을 수행하게 하는 명령을 포함하는 적어도 하나의 컴퓨터 프로그램을 저장하는 비휘발성 컴퓨터 판독 가능 저장 매체에 있어서, 상기 동작들은 원격 주행을 위해 페어링된 원격 제어 차량 및 원격 제어 센터를 식별하는 단계와 상기 식별된 원격 제어 차량 및 원격 제어 센터에 상응하는 네트워크 상태를 측정하는 단계와 상기 측정된 네트워크 상태에 기반하여 최적 네트워크 경로를 결정하는 단계를 포함하되, 상기 최적 네트워크 경로를 통해 상기 원격 주행을 위한 신호가 송수신될 수 있다.
또 다른 측면에 따른 네트워크에 구비되는 원격 주행 모니터링 장치는 제어부와 현재 원격 주행을 위해 페어링된 원격 제어 차량 및 원격 제어 센터에 대한 페어링 정보를 유지하는 페어링 정보 데이터베이스와 상기 원격 제어 차량 및 상기 원격 제어 센터와 신호를 송수신하는 송수신부와 상기 제어부의 제어에 따라 상기 식별된 원격 제어 차량 및 원격 제어 센터에 상응하는 네트워크 상태를 측정하는 측정부와 상 제어부의 제어에 따라 상기 측정된 네트워크 상태에 기반하여 최적 네트워크 경로를 결정하는 경로 산출부를 포함하되, 상기 최적 네트워크 경로를 통해 상기 원격 주행을 위한 신호가 송수신될 수 있다.
실시 예로, 상기 장치는 5G망의 백본 라우터에 연결될 수 있다.
실시 예로, 상기 네트워크 상태는 대역폭 상태 및 지연 상태 중 적어도 하나를 포함할 수 있다..
실시 예로, 상기 측정부는 상기 장치와 상기 원격 제어 차량 사이의 제1 지연을 측정하고, 상기 장치와 상기 원격 제어 센터 사이의 제2 지연을 측정하는 지연 측정부를 포함하되, 상기 제어부가 상기 제1 지연과 상기 제2 지연의 합을 소정 지연 임계치와 비교하여 상기 원격 제어 차량 및 상기 원격 제어 센터 중 적어도 하나로의 경고 알람 전송 여부를 결정할 수 있다.
실시 예로, 상기 지연 측정부는 핑 테스트(Ping Test)를 통해 상기 제1 지연 및 상기 제2 지연을 측정할 수 있다.
실시 예로, 상기 측정부는 상기 장치와 상기 원격 제어 차량 사이의 제1 대역폭을 측정하고, 상기 장치와 상기 원격 제어 센터 사이의 제2 대역폭을 측정하는 대역폭 측정부를 포함하되, 상기 제어부가 상기 제1 대역폭과 상기 제2 대역폭 각각을 소정 대역폭 임계치와 비교하여 상기 원격 제어 차량 및 상기 원격 제어 센터 중 적어도 하나로의 경고 알람 전송 여부를 결정할 수 있다.
상기 장치는 상기 제어부의 제어에 따라 상기 경고 알람을 생성하는 알람 생성부를 더 포함하고, 상기 경고 알람은 안전 프로세스 타입에 관한 정보를 포함하고, 상기 안전 프로세스 타입은 안전하게 긴급 갓길 주/정차를 수행하는 긴급 주정차 프로세스 타입, 원격 주행 모드에서 자율 주행 모드로의 전환을 수행하는 자율 주행 전환 프로세스 타입, 운전자 탑승 시 원격 주행 모드에서 수동 운전 모드로의 전환을 수행하는 수동 주행 전환 프로세스 타입, 현재 차선을 유지하면서 감속 주행을 유도하는 차선 유지 감속 프로세스 타입 중 적어도 하나를 포함할 수 있다.
실시 예로, 상기 경로 산출부가 상기 식별된 원격 제어 차량과 원격 제어 센터 사이에 가용한 적어도 하나의 네트워크 라우팅 경로를 식별하고, 상기 식별된 적어도 하나의 네트워크 라우팅 경로 별 측정된 네트워크 상태에 기반하여 상기 최적 네트워크 경로가 결정할 수 있다.
실시 예로, 상기 원격 제어 차량 또는 상기 원격 제어 센터로부터 사용자 설정된 목적지 정보 및 주행 경로 정보 중 적어도 하나가 수신된 경우, 상기 경로 산출부가 상기 원격 주행 중 상기 목적지 정보 및 주행 경로 정보 중 적어도 하나에 더 기반하여 상기 최적 네트워크 경로를 실시간 갱신할 수 있다.
실시 예로, 상기 장치는 상기 원격 제어 차량 또는 상기 원격 제어 센터로부터 사용자 설정된 목적지 정보를 수신하는 수단과 상기 결정된 최적 네트워크 경로에 기반하여 상기 목적지까지의 최적 주행 경로를 결정하는 수단과 상기 결정된 최적 주행 경로에 관한 정보를 상기 원격 제어 차량 및 상기 원격 제어 센터 중 적어도 하나에 전송하는 수단을 포함할 수 있다.
본 발명에서 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
본 개시에 따른 다양한 실시 예들은 원격 주행을 위한 네트워크 상태 모니터링 방법 및 그를 위한 장치 및 시스템을 제공하는 장점이 있다.
또한, 본 개시에 따른 다양한 실시 예들은 원격 제어 차량과 원격 제어 센터 사이에 위치한 네트워크 상태 모니터링 장치를 통해 원격 주행을 위한 네트워크 상태를 모니터링하여 원격 주행을 제어하는 것이 가능한 원격 주행을 위한 네트워크 상태 모니터링 방법 및 그를 위한 장치 및 시스템을 제공하는 장점이 있다.
또한, 본 개시에 따른 다양한 실시 예들은 원격 주행 중 실시간 측정된 네트워크 상태에 기반하여 목적지까지의 최적 경로를 산출하고, 산출된 최적 경로를 원격 제어 차량 및 원격 제어 센터에 제공함으로써, 원격 주행 중 보다 안정적인 네트워크 상태를 유지하는 것이 가능한 5G 백본에 연결되는 네트워크 상태 모니터링 장치를 제공하는 장점이 있다.
또한, 본 개시에 따른 다양한 실시 예들은 5G 백본에 연결되어 원격 주행 중 실시간 전송 지연 및 대역폭을 측정하고, 측정 결과에 기반하여 소정 경고 알람을 원격 제어 차량 및 원격 제어 센터에 제공함으로써 보다 안전한 원격 주행을 가능하게 하는 네트워크 상태 모니터링 장치를 제공하는 장점이 있다.
다양한 실시 예에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
본 명세서에 첨부되는 도면은 본 발명에 대한 이해를 제공하기 위한 것으로서 본 발명의 다양한 실시형태들을 나타내고 명세서의 기재와 함께 본 발명의 원리를 설명하기 위한 것이다.
도 1은 원격 주행 시 제어 신호 지연에 따른 문제점을 설명하기 위한 도면이다.
도 2는 본 개시의 일 실시 예의 원격 주행 시스템의 전체적인 구조를 설명하기 위한 도면이다.
도 3은 본 개시의 일 실시 예에 따른 원격 주행 시스템의 동작을 설명하기 위한 도면이다.
도 4는 본 개시의 일 실시 예에 따른 원격 제어 차량의 일반적인 동작을 설명하기 위한 도면이다.
도 5는 본 개시의 실시 예에 따른 원격 주행 시스템의 세부 구성을 설명하기 위한 도면이다.
도 6은 종래 5G 네트워크 기반의 원격 주행 시스템 구성을 설명하기 위한 도면이다.
도 7은 본 개시의 실시 예에 따른 5G 네트워크 기반의 원격 주행 시스템 구성을 설명하기 위한 도면이다.
도 8은 본 개시의 실시 예에 따른 원격 주행 모니터링 장치의 구조를 설명하기 위한 도면이다.
도 9 내지 12는 본 개시의 실시 예에 따른 원격 주행 모니터링 장치에서의 원격 주행 모니터링 방법을 설명하기 위한 순서도이다.
이하, 첨부된 도면을 참조하여 본 명세서에 개시된 실시 예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 "부" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다.
또한, 본 명세서에 개시된 실시 예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 명세서에 개시된 실시 예의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 명세서에 개시된 실시 예를 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 명세서에 개시된 기술적 사상이 제한되지 않으며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다.
반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.
본 출원에서, "포함한다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
이하, 도 1 내지 12를 참조하여 본 개시에 따른 원격 주행을 위한 네트워크 상태 모니터링 방법 및 그를 위한 장치 및 시스템에 대해 상세히 설명하기로 한다.
도 1은 원격 주행 시 제어 신호 지연에 따른 문제점을 설명하기 위한 도면이다.
도 1의 도면 부호 (a)는 원격 제어 센터가 전송한 스티어링 휠 제어 신호가 원격 주행 차량에 일정 주기-예를 들면, 10ms-로 지연 없이 수신되었을 때 차량의 정상적인 이동 궤적을 보여준다.
도 1의 도면 부호 (b)는 원격 제어 센터가 전송한 스티어링 휠 제어 신호가 원격 주행 차량에 지연되어 수신되었을 때 차량의 비정상적이 이동 궤적을 보여준다.
도면 번호 (b)에서 보여지는 바와 같이, 첫 번째 스티어링 휠 제어 신호가 정상적인 주기로 수신된 후 알 수 없는 이유로 두 번째 스티어링 휠 제어 신호가 지연되어 수신된 경우, 차량은 정상적인 주행 궤적을 이탈하기 시작하고, 세번째 스티어링 휠 제어 신호가 다시 지연되어 차량에 수신되는 경우 차량은 정해진 도로를 벗어날 수 있다. 이 경우, 원격지 운전자는 정상적인 주행 궤적을 유지하기 위해 스티어링 휠 각도를 매우 크게 또한 자주 변화시켜야 한다. 이에 따라, 차량은 지그재그 주행을 하게 되며, 이는 탑승자의 승차감을 저하시킬 뿐만 아니라 원격 운전자의 제어 피로도를 상승시킬 수 있다. 또한, 상기 불안정한 제어 신호 지연 현상은 차량의 사고 위험을 급격히 증가시킬 수 있다.
스티어링 휠 제어 신호의 지연 이유는 원격 제어 센터 내부의 프로세싱 지연 등에 의해 발생될 수 있으며, 이 경우, 원격 제어 센터의 내부의 지연 문제를 해결함으로써 해결될 수 있다.
하지만, 스티어링 휠 제어 신호의 지연 이유는 원격 제어 센터 내부의 문제뿐만 아니라 네트워크상의 문제로 발생될 수 있다. 네트워크 문제에 따른 제어 신호 지연은 원격 주행 차량 및/또는 원격 제어 센터 자체의 문제가 아니므로 원격 주행 차량 및/또는 원격 제어 센터는 제어 신호 지연 원인을 정확히 인식할 수 없으며, 이에 따라 사고 발생 위험이 증가될 수 있다.
네트워크의 채널 환경은 차량의 이동, 지역적 특성 및 현재 네트워크 운영 상태 등에 따라 급격히 변경될 수 있으며, 원격 주행을 안정적으로 제공하기 위해서는 원격 제어 차량 및/또는 원격 제어 센터가 해당 네트워크 지연 문제를 정확히 예상 및 인식하여 그에 따른 적절한 조치를 수행할 필요성이 있다.
도 2는 본 개시의 일 실시 예의 원격 주행 시스템을 설명하기 위한 도면이다.
원격 주행(Tele-operated driving, ToD) 시스템(100)은 자율 주행 기능이 탑재된 차량, 즉, 자율 주행 차량과 원격지 서버가 유/무선 네트워크를 통해 연동되어, 자율 주행 차량의 자율 주행 중 문제 발생 시, 원격지 센터(또는 서버)의 원격 제어(tele-operated)를 통해 해당 차량을 직-간접적으로 감시 및 제어하는 기술로서 최근 다방면으로 연구 개발되고 있다.
원격 주행 기술은 원격지 제어 센터(120)에 구비된 원격지 운전 장치를 원격지 운전자가 조작하여 자율 주행 차량(110)을 원격으로 조작하는 기술로서 원격 주행 시스템(100)은 크게 세가지 구성 요소로 이루어진다.
도 2를 참조하면, 원격 주행 시스템(100)은 원격 제어가 가능한 자율 주행 차량인 원격 제어 차량(Tele-operated vehicle, ToV, 110), 네트워크(network, 130) 및 원격지에서 원격 제어 차량(110)으로부터 수집된 정보에 기초하여 해당 차량을 원격으로 제어하는 원격 제어 센터(Tele-operated center, ToC, 120)로 구성될 수 있다. 이때, 원격 제어 차량(110)은 자율 주행 모드 및 원격 주행 모드가 지원되며, 환경모델(E/M) 부호화가 가능하다. 또한, 네트워크(130)는 단일 5G 통신망이 이용될 수 있으나 이에 한정되지는 않으며, 당업자의 설계에 따라 4G 통신망, 4G/5G 혼합 통신망, 단일 6G 통신망, 5G/6G 혼합 통신망 또는 다른 이동 통신망이 이용될 수 있다. 또한, 원격 제어 센터(120)는 환경모델(E/M) 복호화가 가능하며, 원격지 운전자는 디스플레이 화면을 통한 원격 차량 감시 및 차량의 원격 조작이 가능할 수 있다.
원격 제어 차량(110)은 원격 제어 대상 차량으로서, 자율 주행 기능을 반드시 탑재하고, 각종 자율 주행에 필요한 각종 안전 센서(Safety Sensor) 및 원격 주행 카메라를 구비할 수 있다. 여기서, 안전 센서는 첨단 운전자 보조 장치인 ADAS(Advanced Driver Assistance System)를 구현하기 위한 카메라, 레이다(Radar), 라이다(Lidar), 소나(Sound Navigation And Ranging, SONAR) 센서 등을 포함할 수 있으나, 이에 한정되지는 않는다.
카메라는 인간의 눈에 해당되는 차량 센서로서, 렌즈를 통해 시각적으로 주변 사물을 인식하고, 인식된 주변 사물을 통해 주행 상황을 인식하기 위한 용도로 사용될 수 있다.
카메라는 이미지 센서에 의해 얻어지는 정지영상 또는 동영상 등의 화상 프레임을 처리할 수 있다. 이때 처리된 화상 프레임은 디스플레이에 표시되거나 메모리에 저장될 수 있다. 또한, 자율주행 차량에 설치되는 복수의 카메라는 매트릭스 구조를 이루도록 배치될 수 있으며, 이와 같은 매트릭스 구조를 이루는 카메라를 통하여 다양한 각도 또는 초점을 갖는 복수의 영상 정보가 입력될 수 있다. 또한, 복수의 카메라는 입체영상을 구현하기 위한 좌 영상 및 우 영상을 획득하도록 스테레오 구조로 배치될 수 있다.
본 발명의 일 실시 예에서, 카메라는 자율 주행 차량의 운전자 시야 데이터를 센싱할 수 있다. 여기에서, 운전자 시야 데이터는 차량 외부 영상을 포함할 수 있다.
레이다는 전자기파를 발사하고 반사돼 돌아오는 신호를 기반으로 주변 사물과의 거리, 속도, 방향 등의 정보를 추출할 수 있다. 레이다는 사용 주파수에 따라 단거리부터 중거리, 장거리를 모두 감지할 수 있으며, 긴급자동제동장치, 스마트 크루즈 컨트롤 등에 활용될 수 있다. 자율주행차량에 3대의 레이다 센서를 나란히 설치하면, 전방 180도 시야를 확보할 수 있다. 레이다는 날씨 등에 영향을 받지 않고, 먼 거리에 있는 장애물의 존재를 확인할 수 있기 때문에 현재 운행 중인 차량에도 많이 적용되어 있는 센서이다.
라이다는 레이저(빛)를 물체와 주고받으며 3차원 지도를 형성하여 사물의 원근감, 형태, 거리, 속도를 인식할 수 있다. 라이다는 주로 905나노미터(nm)의 짧은 파장을 이용해 레이더보다 공간 분해능력이 훨씬 정밀할뿐만 아니라 자체 광원으로 빛이 부족환 환경에서도 성능에 영향을 덜 받는 장점이 있다. 따라서, 라이다는 자율 주행 시스템의 신뢰도를 높이는데 중요한 역할을 수행한다.
소나는 레이더와 용도가 유사하나, 전자파가 아닌 음파 전송 후 객체에 충돌한 후 다시 반사되어 수신되는 시간을 측정하여 전방 또는 후방 객체를 감지하고, 객체까지의 거리를 측정하는 센서이다. 소나는 주로 차량이 후진할 때 후방의 시야 사각지대의 객체를 감지하고, 이를 운전자에게 알리는 용도로 사용되고 있다. 음파는 전자파에 비해 훨씬 느린 속도로 전파되기 때문에 작은 물체도 높은 해상도로 확인할 수 있는 장점이 있다.
원격 제어 차량(110)은 각 센서로부터 수집된 센싱 데이터를 결합 및 융합하는 센서 퓨전 기술 및 AI 기술 등을 적용하여 자율 주행을 위한 최적의 주행 알고리즘을 제공할 수 있다.
원격 제어 차량(110)은 수집된 센싱 데이터를 네트워크(130)를 통해 원격 제어 센터(120)로 전송할 수 있다.
원격 제어 센터(120)는 수집된 센싱 데이터를 기초로 제어 데이터를 생성하고, 생성된 제어 데이터를 네트워크(130)를 통해 원격 제어 차량(110)에 전송할 수 있다.
여기에서, 환경모델은 차량의 속도/위치/방향/차량 상태 등을 식별하기 위한 센싱 정보를 제공하는 차량 센서(속도, 위치, 방향, 차량 상태) 및 주변 객체 인식 및 인식된 객체의 이동 궤적을 추정하여 차량의 주행을 제어하는 자율 주행 센서들-예를 들면, 라이다, 레이다, 소나, V2X 통신, 카메라 등-를 이용하여 주변 환경 데이터를 모델링한 것에 대응한다.
특히, 원격 주행 시스템(100)을 구현하기 위하여 통신환경 극복을 위한 네트워크 적응(network adaptation) 기술이 반드시 필요하며, 업링크(uplink) 및 다운링크(downlink) 기술, 자율 주행 기술을 포함하며, 이 중 업링크 기술은 영상 및 센서로부터 센싱 데이터 전송과 관련되고, 다운링크 기술은 원격 제어 센터(120)로부터 원격 제어 차량(110)를 제어하기 위한 제어 데이터 생성 및 전송과 관련될 수 있다.
이하, 업링크 전송에 대하여 설명한다.
원격 제어 차량(ToV, 110)은 적어도 두 가지 환경모델을 부호화하여 원격 제어 센터(ToC, 120)로 전송할 수 있다. 이때, 원격 제어 차량(110)은 센싱 데이터를 포함하는 환경모델을 인코더(encoder)를 통해 부호화하여 네트워크(130, 예를 들어, 5G)를 통해 원격 제어 센터(120)으로 전송할 수 있다. 한편, 원격 제어 센터(120)는 수신된 환경모델을 디코더(decoder)를 통해 복호화하여 구비된 디스플레이(display)을 통해 출력할 수 있다.
이때, 두가지 환경모델은 운전자 시야 데이터 및 차량 센싱 데이터를 포함할 수 있다. 이때, 운전자 시야 데이터는 차량 외부 영상(4채널 또는 2채널)을 압축하여 전송할 수 있고, 차량 센서 데이터는 차량 위치에 대한 센싱 정보 및 차량 운행 상태에 관한 센싱 정보를 포함할 수 있다. 차량 운행 상태에 대한 센싱 정보는 주행 속도에 관한 정보, 제동(브레이크) 제어 정보, 가속(악셀) 제어 정보, 조향 제어 정보, 충격 감지 정보 등을 포함할 수 있으나, 이에 한정되지는 않는다.
이를 위하여, 저지연 영상통신 기술, 빠르고 안정적인 네트워크 기술, 저지연 디스플레이 기술 등이 요구된다. 이를 통하여 영상 및 네트워크의 delay 및 latency를 최대한 줄여 데이터의 정확하고 빠른 통신 달성이 가능하다.
이하, 다운링크 전송에 대하여 설명한다.
원격 제어 센터(ToC, 120)는 원격 제어 차량(110)의 상태를 파악하여 직/간접적인 제어 신호(및/또는 제어 명령)을 생성하고, 생성된 제어 신호를 원격 제어 차량(110)으로 전송할 수 있다. 여기에서, 직접적인 제어 신호는 차량 구동 장치를 제어하기 위한 제어 데이터를 포함할 수 있다. 이에 따라, 원격 제어 센터(ToC, 120)는 차량 구동 장치를 위한 제어 데이터를 생성하여 전송할 수 있다. 또한, 간접적인 제어 신호는 운전자 가이드 데이터를 포함할 수 있다. 이에 따라, 원격 제어 센터(120)는 운전자 가이드 데이터를 생성하여 원격 제어 차량(110)에게 전송할 수 있다.
이를 위하여, 전송된 환경모델 이해를 통한 차량 상태 및 제어 형태 추론 기술 등이 요구되며, 환경모델 이해를 통한 정확한 차량 제어 형태 정의가 중요하게 된다.
실시 예에 따른 원격 제어 센터(120)는 원격 제어 차량(110)으로부터 수집된 환경 모델을 기초로 특정 도로 구간-예를 들면, 전방 자율 주행이 불가한 도로 구간-에 대한 원격 주행 궤적 경로(또는 웨이포인트(Way Point) 및/또는 루트(Route) 및/또는 트랙(Track))를 산출하고, 산출된 원격 주행 궤적 경로를 외부 클라우드 서버 또는 로컬 엣지(Local Edge) 서버 또는 프라이빗 서버에 등록 및 저장할 수 있다. 이때, 등록된 원격 주행 궤적 경로는 해당 도로 구간을 통과하는 다른 자율 주행 차량에 공유될 수 있으며, 다른 자율 주행 차량은 획득된 원격 주행 궤적 경로에 기반하여 해당 도로 구간에서의 차량 제어를 수행할 수 있다.
일 예로, 원격 주행 궤적 경로에 대한 정보(또는 간단히 원격 주행 정보)는 웨이포인트, 루트 및 트랙 중 적어도 하나로 구성될 수 있다. 여기서, 웨이포인트는 경유지 및 관심지점(Point of Interest) 또는 지도상에 명명된 특정 개체를 의미할 수 있다. 루트는 목적지로 이어지는 일련의 턴포인트(turn point)를 나타내는 웨이포인트들의 순차적 목록을 의미할 수 있다. 트랙은 경로(path)를 묘사하는 트랙포인트들의 순차적 목록을 의미할 수 있다.
도 3은 본 개시의 일 실시 예에 따른 원격 주행 시스템의 세부 구성을 설명하기 위한 도면이다. 이하, 도 2에서 상술한 설명과 중복되는 부분은 생략하도록 한다.
도 3을 참조하면, 원격 주행 시스템(200)은 원격 제어 차량(210), 데이터 부호화부(211), 제1 네트워크 적응부(212), 원격 제어 센터(220), 데이터 복호화부(221), 제2 네트워크 적응부(222) 및 네트워크(230)를 포함하여 구성될 수 있다. 다만, 여기에서, 원격 주행 시스템(200)이 상술한 구성을 모두 포함한다는 의미는 물리적으로 포함한다는 의미가 아닌 원격 주행 시스템(200) 내에서 서로 연결되어 동작 가능함을 의미할 수 있다.
원격 제어 차량(210)은 데이터 부호화부(211)를 통하여 센싱된 데이터를 압축 및/또는 부호화하고 원격 제어 센터(220)로 전송할 수 있다. 이때, 제1 네트워크 적응부(212)는 네트워크(230)의 상태를 모니터링하면서 원활한 통신을 위한 각종 시스템 파라미터를 조절할 수 있다.
또한, 원격 제어 센터(220)는 데이터 복호화부(221)를 통하여 원격 제어 차량(210)이 전송한 센싱 데이터를 수신하고 복호화 및/또는 압축 해제할 수 있다. 일 예로, 센싱 데이터는 차량 센서로부터 수집된 데이터, 카메라 촬영된 영상 데이터 등을 포함할 수 있다.
이때, 제1 네트워크 적응부(212)은 원격 제어 차량(210)의 로직을 수행할 수 있고, 제2 네트워크 적응부(222)는 원격 제어 센터(220)의 로직을 수행할 수 있다.
제1 네트워크 적응부(212) 및/또는 제2 네트워크 적응부(222)는 현재의 네트워크 상태-예를 들면, 할당된 대역폭(bandwidth) 상태, 가용한 전력 상태, 채널 점유 상태 및 전송 지연 상태 등-를 예측하여 영상압축시스템의 압축률을 적응적으로 조절할 수 있다. 이를 위해, 제1 네트워크 적응부(212) 및/또는 제2 네트워크 적응부(222)는 채널 본딩(Channel Bonding), 채널 호핑(Channel Hopping), 채널 추정(Channel Estimation), 채널 ㅊ최적화(Channel Optimization) 등을 수행하여 고용량의 압축된 영상정보를 무선네트워크를 통해 효율적으로 원격 제어 센터(220)로 전송하기 위해, 필요한 네트워크 대역폭을 할당하고, 모든 통신 가능한 네트워크들의 페이로드를 적응적으로 조절할 수 있다.
도 4는 본 개시의 일 실시 예에 따른 원격 제어 차량의 일반적인 동작을 설명하기 위한 도면이다.
도 4를 참조하면, 원격 제어 차량은 크게 정보 제공 주체(301), 처리 및 판단 주체(302), 동작 주체(303)를 포함하여 구성될 수 있다.
정보 제공 주체(301)는 처리 및 판단 주체(302)로 고정밀 지도 정보 및 각종 센싱 정보를 제공할 수 있다.
도 4에 도시된 바와 같이, 정보 제공 주체(301)는 고정밀 지도 저장소, 안전 센서(Safety Sensor) 및 차량 센서(Vehicle Sensor)를 포함할 수 있다.
고정밀 지도(또는 HD 지도)는 차선, 교차로, 공사 구간, 도로 표지판 등 도로나 교차로의 표면에 대한 세부적인 정보를 포함하고 있다. 고정밀 지도는 단순히 자율 주행 차량의 위치를 파악하기 위한 용도 이외에도 차량 운행에 필요한 경로를 결정하기 위한 다양한 정보를 제공할 수 있다.
일 예로, 안전 센서는 카메라, 소나 센서, 라이다, 레이다 등을 포함하고, 차량 센서는 휠 센서, 관성 센서(Inertial Measurement Unit, IMU),위성항법시스템(Global Navigation Satellite System, GNSS) 등을 포함할 수 있다.
GNSS와 IMU는 차량의 위치를 측정하고, 관성 정보 및 지리적 위치에 대한 측정 값을 200Hz 이상의 빠른 주기로 처리 및 판단 주체(302)에 제공할 수 있다. GPS의 느린 주기와 높은 정확도, IMU의 빠른 주기와 큰 누적 오차의 장/단점들을 잘 융합하도록 칼만 필터가 사용될 수 있다.
라이다는 지도 매핑, 로컬라이제이션, 장애물 회피 등에 사용될 수 있으며, 레이저 빛의 ToF(Time of Flight)를 측정해 거리를 측정하고 단색 3D 맵을 생성할 수 있다. 라이다는 정확도가 높기 때문에 HD맵을 생성하고 이동중인 차량 위치를 로컬라이제이션(추정)한 뒤, 전방의 장애물을 감지하는 작업에 주로 사용될 수 있다.
카메라는 차로, 신호등, 보행자 감지 등과 같이, 객체 인지 및 추적 작업에 활용될 수 있다. 일 예로, 안전성을 높이기 위해 1080p 카메라가 8개 이상 사용될 수 있다. 카메라 센싱 정보를 기초로 처리 및 판단 주체(302)는 전방, 후방, 좌/우 측장의 객체를 감지 및 인지하여 추적할 수 있다.
레이더와 소나는 장애물 회피를 위한 최후의 수단으로 사용될 수 있다. 레이더와 소나의 센싱 정보는 차량 이동 경로 선상에서 가장 가까이 있는 대상까지의 거리와 속도 정보를 제공할 수 있다.
처리 및 판단 주체(302)는 자율 주행 제어기에 해당될 수 있다.
자율 주행 제어기는 고정밀 측위부, 경로 생성부, V2X(Vehicle to Everything) 통신부, 자율 주행 판단부, 센서 퓨전부, 제어명령생성부 및 원격 주행 연결부를 포함하여 구성될 수 있다.
고정밀 측위부는 센싱 정보를 기초로 차량의 위치 및 자세를 측정 및/또는 추정할 수 있다.
경로 생성부는 센싱 정보를 기초로 차량의 주행 경로를 생성할 수 있다.
경로 생성부는 사용자 설정된 목적지까지의 다양한 경로를 생성할 수 있다.
V2X 통신부는 V2X 통신 기능을 제공할 수 있다. V2X 통신은 유/무선 통신을 통해 다른 차량, 보행자, 인프라가 구축된 사물 등과 정보를 교환하는 통신 기술을 의미한다. V2X는 V2V(vehicle-to-vehicle), V2I(vehicle-to-infrastructure), V2N(vehicle-to- network) 및 V2P(vehicle-to-pedestrian)와 같은 4 가지 유형으로 구분될 수 있다. V2X 통신은 PC5 인터페이스 및/또는 Uu 인터페이스를 통해 제공될 수 있다.
자율 주행 판단부는 운전자의 자율 주행 요청에 따라 자율 주행이 가능한 경우, 자율 주행 모드로 진입하도록 제어할 수 있다. 또한, 자율 주행 판단부는 자율 주행 중 더 이상 자율 주행 유지가 어려운 것으로 판단된 경우, 수동 제어 모드로 전환되도록 제어할 수 있다. 자율 주행 판단부는 수동 제어 모드로의 동작 중 다시 자율 주행이 가능한 것으로 판단된 경우, 자율 주행 모드로 전환되도록 제어할 수도 있다.
센서퓨전부는 각 센서로부터 수집된 센싱 정보가 가지는 장점 및 특성들을 융합하여 차량 근거리 주변의 정보들을 HD-MAP상에 표현할 수 있다.
센서 퓨전을 통해 고정밀 측위부는 차선 단위 고정밀 측위가 가능하고, 경로 생성부는 차량의 지근 거리 경로를 생성할 수 있다.
제어명령생성부는 V2X 통신을 통해 근거리 상황 정보를 획득할 수 있으며, 상술한 고정밀 측위 결과 및 경로 생성 결과, 그리고 V2X 통신을 통해 획득된 근거리 상황 정보를 종합적으로 고려하여 객체 인지 및 객체의 위치를 추적하고, 이를 기반으로 동작 주체(303)를 위한 제어 명령을 생성할 수 있다.
원격 주행 연결부(또는 ToD 연결부)는 자율 주행 중 최근 법제화되고 있는 원격 주행으로의 전환 기능을 수행할 수 있다.
원격 주행 연결부는 자율 주행 중 전방 도로 구간의 자율 주행이 불가하거나, 또는 원격 제어 센터의 제어권 전환 요청이 수신되거나, 또는 운전자로부터 원격 주행이 요청된 경우 자율 주행 모드를 원격 주행 모드로 전환시킬 수 있다.
동작 주체(303)는 엔진 ECU(Electronic Control Unit), 제동 ECU, 조향 ECU, 변속 ECU 등을 포함할 수 있다. 동작 주체(303)는 처리 및 판단 주체(302)로부터 수신되는 제어 명령에 따라 동작할 수 있다.
도 5는 본 개시의 실시 예에 따른 원격 주행 시스템의 상세 구조를 설명하기 위한 도면이다.
도 5를 참조하면, 원격 주행 시스템(400)은 크게 원격 제어 차량(ToV, 410), 원격 제어 센터(ToC, 420) 및 네트워크(430)을 포함하여 구성될 수 있다.
원격 제어 차량(410)은 차량 센서(411), 자율주행제어기(412), 차량 ECU(413), ToD 카메라(414), 영상압축기(415), 원격주행제어기(416), 네트워크상태예측기(417) 및 송수신기(418) 중 적어도 하나, 또는 그것들의 조합을 통해서 구성될 수 있다.
상기 도 5에 도시되어 있지는 않지만, 원격 제어 차량(410)은 지도저장소(미도시)를 더 포함하여 구성될 수 있다. 지도저장소는 자율 주행에 필요한 고정밀 지도를 유지하고, 해당 고정밀 지도에 대한 정보를 자율 주행 제어기(412)에 제공하기 위해 사용될 수 있다.
차량 센서(411)는 ADAS를 위한 안전 센서들로부터 수신되는 각종 센싱 정보 및 그 외의 다양한 차량 내 구비된 다른 센서 및/또는 차량 ECU(413)로부터의 각종 센싱 정보를 수집하여 자율 주행 제어기(412)에 제공할 수 있다.
일 예로, 차량 센서(411)에 의해 수집되는 정보는 네-바퀴 휠틱, 스티어링 조향각, 속도, 가속도, 차량 자세 제어, 타이어 압력 등 차량의 OBD(On-Board Diagnostic) 장치로부터 쉽게 취득할 수 있는 정보들을 포함할 수 있다.
차량 ECU(413)는 자율 주행 제어기(412)의 제어 명령에 따라 동작하는 다양한 ECU들을 포함할 수 있다.
차량 센서(411) 및 차량 ECU(413)에 대한 구체적인 설명은 상술한 도면들의 설명으로 대체한다.
실시 예에 따른 자율 주행 제어기(412)는 자율 주행 모드로 주행 중 더 이상 자율 주행 유지가 불가하거나, 운전자 또는 원격지의 요청에 따라 원격 주행 모드로의 전환이 요청된 경우, 자율 주행 모드로부터 원격 주행 모드로의 전환을 원격 주행 제어기(416)에 요청할 수 있다.
일 예로, 자율 주행 제어기(412)는 전방 도로 구간에 상응하는 고정밀 지도 정보가 내부 지도 저장소에 존재하지 않거나, 전방 장애물 식별이 불가한 상황이 감지되었거나, 기준치 이상의 외부 충격이 감지된 경우 등의 소정 조건이 만족되는 경우 자율 주행 유지가 더 이상 어려운 것으로 판단할 수 있다.
원격주행제어기(416)는 자율 주행 모드에서 원격 주행 모드로 전환된 경우, ToD 카메라(414)를 구동시킬 수 있다.
ToD 카메라(414)에 의해 촬영된 영상은 영상압축기(415)를 통해 압축된 후 송수신기(418)를 통해 원격 제어 센터(420)로 전송될 수 있다. 일 예로, ToD 카메라(414)는 원격 제어 차량(410)의 전/후/좌/우 4개의 영상을 촬영할 수 있으며, 원격 제어 센터(420)로 전송되는 차량 영상 정보는 촬영된 4개의 영상 중 적어도 하나를 포함할 수 있다.
네트워크 상태 예측기(417)는 현재 네트워크 상태를 모니터링하여 원격 제어 센터(420)와의 통신에 적합한 채널을 선택할 수 있다.
일 예로, 네트워크 상태 예측기(417)는 추정된 채널 상태에 따라 전송 속도를 높이기 위한 두 개 이상의 서로 다른 네트워크 인터페이스에 연결하는 채널 본딩(channel banding) 로직(또는 모듈), 추정된 채널 상태에서 따라 원격 주행을 위한 최적의 기지국(또는 셀)을 결정하고, 결정된 기지국(또는 셀) 로 전환시키는 호핑(Hopping) 로직(또는 모듈)이 탑재될 수 있다.
영상압축기(415)에 의해 압축된 영상 데이터 및/또는 차량 센서(411)로부터 수집된 차량 센싱 데이터는 송수신기(418)를 통해 인코딩 및 변조되어 네트워크 상태 예측기(417)에 의해 선택된 채널을 통해 전송될 수 있다.
실시 예에 따른 원격주행제어기(416)는 추정된 채널 상태에 기반으로 네트워크 상태 예측기(417)에 의해 선택된 채널 정보에 기반하여 영상압축기(415)의 압축률을 동적으로 결정할 수 있으며, 영상압축기(415)는 결정된 압축률에 따라 영상 압축을 수행할 수 있다. 일 예로, 채널 상태가 양호할수록, 영상 압축률은 높게 결정되고, 채널 상태가 열악할수록 영상 압축률은 낮게 결정될 수 있다.
원격주행제어기(416)는 송수신기(418)를 통해 원격 제어 센터(420)로부터 차량의 동작을 제어하기 위한 제어 신호를 수신할 수 있다.
원격주행제어기(416)는 수신된 차량 제어 신호를 자율주행제어기(412)로 전달할 수 있다. 자율주행제어기(412)는 수신된 차량 제어 신호에 따라 소정 제어 명령을 생성하여 차량 ECU(413)를 제어할 수 있다.
원격제어센터(420)는 원격제어센터제어기(ToC controller, 421), 송수신기(422), 영상복호기(423), 모니터링장치(424) 및 원격지운전장치(425) 중 적어도 하나 또는 그것들의 조합들로 포함하여 구성될 수 있다.
원격지 운전자는 모니터링장치(414)의 디스플레이 화면에 표시되는 영상을 모니터링하면서 원격지 운전 장치(425)를 조작하여 해당 차량에 대한 원격지 운전을 수행할 수 있다. 여기서, 원격지 운전 장치(425)는 조향 핸들, 악셀 패달, 브레이크 패달 및 변속기 등의 기본적인 주행 제어 수단뿐만 아니라 인포테인먼트 시스템, 램프 및 와이퍼 등의 동작을 제어하기 위한 수단을 구비할 수 있다..
송수신기(422)는 네트워크(430)를 통해 수신된 신호를 복조 및 디코딩하여 원격제어센터제어기(421)에 제공할 수 있다.
원격제어센터제어기(421)는 송수신기(422)를 통해 원격 제어 차량(410)으로부터 압축된 영상 정보 및 차량 센싱 정보를 수신할 수 있다.
원격제어센터제어기(421)는 압축된 영상 정보를 영상복호기(423)로 전달하여 압축 해제시킬 수 있다. 여기서, 압축 해제된 영상은 모니터링장치(424)로 전송되고, 모니터링장치(424)는 수신된 영상을 구비된 디스플레이 화면상에 표시할 수 있다.
원격지 운전자는 모니터링 화면을 보면서 원격지 운전 장치(425)를 조작하여 원격 제어 차량(410)의 동작을 제어할 수 있다.
원격지 운전 장치(425)의 조작에 따라 생성된 제어 신호는 원격제어센터제어기(421) 및/또는 송수신기(422)를 거쳐 네트워크(430)를 통해 원격 제어 차량(410)에 전송될 수 있다.
상기 도 5의 실시 예에 따른 원격 주행 시스템(400)은 원격 제어 차량(410)에 장착된 네트워크 상태 예측기(417)를 통해 채널 상태를 직접 측정하고, 측정 결과를 기초로 채널 본딩 및 호핑을 수행하고, 채널 상태에 따라 영상 압축률 제어를 수행한다. 이에 따라, 원격 제어 센터(420)가 연결되어 있는 네트워크(430)는 채널 선택에 대한 수동적인 역할을 수행하였다.
하지만, 상술한 도 5의 구조에서 원격 제어 차량(410)은 네트워크 내부의 전송 환경 변화를 실시간 모니터링할 수 없는 단점이 있다.
최근 5G 시스템이 도입됨에 따라, 기존 4G 기술인 채널 본딩에 대한 요구가 줄어들고 있으며, 비용 절감을 위해 5G 단일망에서의 효율적인 원격 주행 제어를 위한 방법이 요구되고 있다. 또한, 최근에는 원격 주행 중 보다 안정적인 네트워크 연결을 보장하기 위해서는 보다 정확한 네트워크 전송 환경을 모니터링할 필요성이 대두되고 있다.
도 6은 종래 5G 네트워크 기반의 원격 주행 시스템 구성을 설명하기 위한 도면이다.
도 6을 참조하면, 종래 ToD 시스템은 User Equipment(UE)가 장착되어 해당 지역의 gNodeB를 통해 5G망에 연결되는 ToV와 5G망의 백본(Backbone)router인 5G BB를 통해 인터넷망에 연결된 ToC를 포함하여 구성되었다.
종래 ToV는 대역폭 확보를 위해 다양한 통신 사업자망으로의 접속이 요구되었으며, 이를 위해 채널 본딩과 같은 채널 집적 기술이 사용되었다.
도 6의 도면 부호 A와 같이, ToV는 가장 가까이 위치한 gNodeB #1과 직접 연결될 수 있다. 하지만, 도 6의 도면 부호 B와 같이,상황에 따라 ToV는 gNodeB #2를 이용한 기지국 호핑을 통해 gNodeB #2에 간접적으로 연결될 수도 있다. 이처럼 종래에는 기지국 연결을 위한 다양한 알고리즘 및 기술들이 적용되었다. 하지만, ToV의 기지국 연결 상태에 따라 가용한 네트워크 대역폭 및 전송 지연은 상이한 문제점이 있다.
무선 통신(점선)을 통해 ToV에서 해당 기지국으로 전송된 데이터는 해당 기지국과 유선(실선)으로 연결된 억세스 라우터(Access Router, ACC)를 통해 상위 네트워크 계층으로 전송된다. 여기서, ACC들은 서로 링(Ring) 형태로 구성된다. 일 예로, ACC 링의 전송 대역폭은 100Gbps로 구성될 수 있다. ACC 링에 접속된 ToV의 개수가 증가할수록 각 ToV에 할당 가능한 대역폭은 감소하게 된다.ACC의 데이터는 메트로 엣지 게이트웨이(metro Edge Gateway, mEG)를 metro 단위로 변경된 후 메트로 집적 엣지 게이트웨이(metro Aggregation Edge Gateway, mAEG) 및 메트로 백본 라우터(metro BackBone router, mBB)를 통해 5G 백본 라우터(5G BackBone router, 5G BB)에 전송될 수 있다.
5G BB에는 적어도 하나의 네트워크 프로바이더 서버(Network Provider Server)가 연결될 수 있으며, 5G BB에 도달된 metro 단위의 데이터는 인터넷망을 통해 LTE 백본 라우터(LTE BackBone router, LTE BB)에 전달될 수 있다. 또한, 5G BB에 도달된 metro 단위의 데이터는 인터넷망을 통해 ToC에 전달될 수도 있다. 물론, 역으로 LTE BB의 데이터가 인터넷망을 통해 5G BB에 전달될 수도 있다.
5G BB에는 적어도 하나의 네트워크 프로바이더 서버(Network Provider Server)가 연결될 수 있으므로, 모든 네트워크상의 지연 및 대역폭 같은 네트워크 상태 정보를 실시간 측정할 수 있다.
종래의 ToD 시스템은 ToV 및/또는 ToC 내부에서 네트워크 상태를 직접 모니터링하였다. 따라서, ToV와 ToC 사이의 수많은 경로를 통과하여 약속된 로직에 따라 네트워크 대역폭을 확인하고, 네트워크 전송 지연을 측정해야 하는 문제점이 있었다. 이는, ToV 및/또는 ToC 의 프로세싱 부하를 증가시킬 뿐만 아니라 네트워크 상태 정보 취득을 위해 많은 네트워크 신호 송수신이 발생하여 네트워크 부하를 증가시키고 생성된 네트워크 상태 정보의 신뢰도가 떨어지는 문제점을 야기했다.
ToV는 이동하면서 계속적으로 다른 gNodeB에 연결되며, 이에 따라 ToV 입장에서 5G 네트워크 망 구성은 지속적으로 변경되게 된다. 이때, 변경된 5G 네트워크 망 구성에 대한 네트워크 상태는 다시 측정되어야 하나, ToV나 ToC 입장에서 실제 망 구성의 변화를 인지하기 어려운 문제점이 있었다.
도 7은 본 개시의 실시 예에 따른 5G 네트워크 기반의 원격 주행 시스템 구성을 설명하기 위한 도면이다.
상세하게 도 7에 따른 5G 네트워크 기반의 원격 주행 시스템은 상술한 도 6의 종래 ToD 시스템의 문제점을 개선하기 위한 목적으로 5G BB에 연결되어 원격 주행 중 실시간 네트워크 상태를 모니터링하는 원격 주행 모니터링 장치를 더 구비할 수 있다.
도 7에 도시된 바와 같이, 원격 주행 모니터링 장치는 ToV와 ToC 사이에 위치하며, ToV와 5G BB 사이의 실시간 대역폭 및 지연을 측정하고, ToC와 5G BB 사이의 실시간 대역폭 및 지연을 측정할 수 있다. 일 예로, 대역폭은 상향 링크 대역폭과 하향링크 대역폭을 포함할 수 있으며, 지연은 상향 링크 지연, 하향 링크 지연 및 왕복 지연을 포함할 수 있다.
실시 예에 따른 원격 주행 모니터링 장치는 일정 주기로 네트워크 상태를 측정하여 네트워크 상태를 실시간 갱신할 수 있다.
원격 주행 모니터링 장치는 측정된 대역폭이 소정 임계치 이하로 떨어진 경우, 소정 경고 알람 메시지를 생성하여 ToV 및/또는 ToC에 전송할 수 있다.
원격 주행 모니터링 장치는 측정된 지연이 소정 임계치를 초과하는 경우, 소정 경고 알람 메시지를 생성하여 ToV 및/또는 ToC에 전송할 수 있다.
ToV 및/또는 ToC는 원격 주행 모니터링 장치로부터 수신된 경고 알람 메시지에 기반하여 사전 정의된 안전 프로세스를 수행할 수 있다. 일 예로, 안전 프로세스는 안전하게 긴급 갓길 주/정차를 수행하는 긴급 주정차 프로세스, 원격 주행 모드에서 자율 주행 모드로의 전환을 수행하는 자율 주행 전환 프로세스, 운전자 탑승 시 원격 주행 모드에서 수동 운전 모드로의 전환을 수행하는 수동 주행 전환 프로세스 및 현재 차선을 유지하면서 감속 주행을 유도하는 차선 유지 감속 프로세스 중 적어도 하나를 포함할 수 있다.
실시 예에 따른 경고 알람 메시지는 안전 프로세스 타입에 관한 정보를 포함할 수 있다. 원격 주행 모니터링 장치는 ToV의 운전자 탑승 여부, 지원 가능한 자율 주행 레벨, 현재 주행 중인 도로의 상태 등에 기반하여 안전 프로세스 타입을 결정할 수 있다.
실시 예에 따른 원격 주행 모니터링 장치는 ToV로부터 설정된 목적지에 대한 정보를 획득할 수 있다. 이 경우, 원격 주행 모니터링 장치는 네트워크 경로 별 측정된 대역폭 및 지연에 기반하여 해당 목적지에 상응하는 최적 라우팅 경로를 결정할 수 있다. 또한, 원격 주행 모니터링 장치는 결정된 최적 라우팅 경로에 상응하는 ToV를 위한 최적 주행 경로를 산출하고, 산출된 최적 주행 경로에 대한 정보를 ToV 및/또는 ToC에 전송할 수 있다.
상술한 도 7의 실시 예에서는 ToC가 인터넷망에 연결되어 있는 것으로 설명하고 있으나, 이는 하나의 실시 예에 불과하며, 다른 실시 예에 따른 ToC는 5G BB에 직접 연결될 수도 있다.
실시 예로, ToC가 5G BB에 직접 연결되어 있는 경우, 원격 주행 모니터링 장치의 일부 기능 또는 전체 기능이 ToC에 탑재될 수도 있다.
도 8은 본 개시의 실시 예에 따른 원격 주행 모니터링 장치의 구조를 설명하기 위한 도면이다.
도 8을 참조하면, 원격 주행 모니터링 장치(800)는 제어부(810), 송수신부(820), 페어링 정보 데이터베이스(830), 측정부(880), 경로 산출부(860) 및 알람 생성부(870) 중 적어도 하나를 포함하여 구성될 수 있다.
측정부(880)는 원격 주행을 위해 페어링된 ToV/ToC에 대한 네트워크 상태를 측정하며, 지연 측정부(840) 및 대역폭 측정부(850) 중 적어도 하나를 포함하여 구성될 수 있다.
제어부(810)는 원격 주행 모니터링 장치(800)의 전체적인 동작 및 입출력을 제어할 수 있다. 제어부(810)의 상세 동작은 후술할 도면의 설명을 통해 보다 명확해질 것이다.
페어링 정보 데이터베이스(830)는 원격 주행 모드로 설정된 ToV/ToC 페어링 정보가 유지될 수 있다. ToV는 자율 주행 중 더 이상 자율 주행이 불가한 경우, 원격 주행을 위해 특정 ToC와 페어링될 수 있다. 제어부(810)는 ToV/ToC 페어링 정보 생성하여 페어링 정보 데이터베이스(830)에 등록할 수 있다. 만약, 원격 주행 모드가 해제된 경우, 제어부(810)는 해당 ToV/ToC 페어링 정보 페어링 정보 데이터베이스(830)로부터 삭제할 수 있다.
송수신부(820)는 5G 네트워크를 통해 ToV와 연결되어 신호를 송수신하거나 인터넷망을 통해 ToC와 연결되어 신호를 송수신할 수 있다.
실시 예에 따른 송수신부(820)는 지연 측정을 위한 소정 테스트 신호-예를 들면, 핑(Ping) 테스트 신호-를 지연 측정부(840)로부터 수신하여 ToV 및 ToC에 전송할 수 있다.
송수신부(820)는 ToV 및 ToC로부터 핑 테스트 신호에 대한 응답 신호를 수신하여 지연 측정부(840)에 전송할 수 있다.
지연 측정부(840)는 제어부(810)의 요청에 따라 지연 측정을 수행할 수 있다. 일 예로, 지연 측정부(840)는 제어부(810)의 지연 테스트 요청에 따라 해당 ToV/ToC 페어링에 대한 핑 테스트를 수행할 수 있다. 지연 측정부(840)는 해당 ToV/ToC 페어링에 대한 핑 테스트 결과를 제어부(810)에 전달할 수 있다.
실시 예에 따른 지연 측정부(840)는 제어부(810)의 소정 제어 신호에 따라 네트워크 경로 별 지연을 측정할 수도 있다.
대역폭 측정부(850)는 해당 ToV/ToC 페어링에 대한 대역폭-즉, 데이터 전송 속도-를 측정할 수 있다. 일 예로, 대역폭 측정부(850)는 제어부(810)의 대역폭 테스트 요청에 따라 해당 ToV/ToC 페어링에 대한 대역폭 테스트를 수행할 수 있다. 대역폭 측정부(850)는 해당 ToV/ToC 페어링에 대한 대역폭 테스트 결과를 제어부(810)에 전달할 수 있다.
제어부(810)는 핑 테스트 결과 및 대역폭 테스트 결과를 각각 소정 지연 임계치와 대역폭 임계치와 비교하여 경고 알람이 필요한지 여부를 판단할 수 있다.
판단 결과, 경고 알람이 필요한 경우, 제어부(810)는 알람 생성부(870)에 경고 알람 생성을 요청할 수 있다.
알람 생성부(870)는 해당 ToV/ToC 페어링을 위한 경고 알람을 생성할 수 있다. 생성된 경고 알람은 송수신기(820)를 통해 해당 ToV 및 ToC에 전송될 수 있다. 실시 예에 따른 경고 알람은 안전 프로세스 타입에 관한 정보를 포함할 수 있다.
제어부(810)는 ToV 또는 ToC로부터 목적지 설정 정보 및/또는 주행 경로 설정 정보를 수신할 수 있다.
경로 산출부(860)는 해당 ToV/ToC 페어링을 위해 가용한 복수의 네트워크 경로를 생성할 수 있다.
제어부(810)는 해당 ToV/ToC 페어링에 상응하여 가용한 네트워크 경로 별 핑 테스트 및 대역폭 테스트가 수행되도록 지연 측정부(840) 및 대역폭 측정부(850)를 제어할 수 있다.
제어부(810)는 네트워크 경로 별 핑 테스트 결과 및 대역폭 테스트 결과에 기반하여 해당 ToV/ToC 페어링을 위한 실시간 최적 네트워크 경로를 결정할 수 있다. 실시 예에 따른 제어부(810)는 목적지 설정 정보 및/또는 주행 경로 설정에 더 기반하여 해당 ToV/ToC 페어링을 위한 실시간 최적 네트워크 경로를 결정할 수도 있다.
제어부(810)는 결정된 최적 네트워크 경로를 통해 원격 주행을 위한 데이터가 송수신되도록 제어할 수 있다.
실시 예에 따른 제어부(810)는 결정된 최적 네트워크 경로에 기반하여 목적지까지의 최적 주행 경로를 결정할 수도 있다. 이 경우, 제어부(810)는 결정된 최적 주행 경로에 대한 정보를 ToV 및/또는 ToC에 전송할 수 있다.
상술한 도 8의 실시 예에 따른 원격 주행 모니터링 장치(800)는 실시간 최적 네트워크 경로를 결정함으로써, 원격 주행 중 최적의 네트워크 상태를 안전하게 유지 및 보장할 수 있는 장점이 있다.
또한, 상술한 도 8의 실시 예에 따른 원격 주행 모니터링 장치(800)는 네트워크 대역폭 및 지연을 실시간 측정하고, 측정 결과에 따라 경고 알람을 생성하여 ToV 및/또는 ToC에 전송함으로써, 해당 차량에 적절한 안전 조치가 수행될 수 있도록 제어할 수 있는 장점이 있다.
도 9 내지 12는 본 개시의 실시 예에 따른 원격 주행 모니터링 장치에서의 원격 주행 모니터링 방법을 설명하기 위한 순서도이다.
이하 설명의 편의를 위해, 상술한 원격 주행 모니터링 장치를 간단히 "장치"라 명하여 설명하기로 한다.
도 9를 참조하면, 장치는 페어링 정보 데이터베이스를 참조하여 원격 주행을 위해 페어링된 원격 제어 차량 및 원격 제어 센터를 식별할 수 있다(S910).
장치는 식별된 원격 제어 차량 및 원격 제어 센터에 상응하는 네트워크 상태를 측정할 수 있다(S920).
장치는 측정된 네트워크 상태에 기반하여 최적 네트워크 경로를 결정할 수 있다(S930). 이때, 장치는 결정된 최적 네트워크 경로를 통해 원격 주행을 위한 신호가 송수신되도록 제어할 수 있다.
실시 예로, 장치는 5G망의 백본 라우터에 연결될 수 있으나, 이는 하나의 실시 예에 불과하며, 원격 제어 센터의 일부로 구성될 수도 있다.
실시 예로, 네트워크 상태는 대역폭 상태 및 지연 상태 중 적어도 하나를 포함할 수 있다.
도 10을 참조하면, 네트워크 상태 측정의 일 예로, 장치는 자신과 원격 제어 차량 사이의 제1 지연을 측정할 수 있다(S1010).
또한, 장치는 자신과 원격 제어 센터 사이의 제2 지연을 측정할 수 있다(S1020).
장치는 제1 지연과 제2 지연의 합을 소정 지연 임계치와 비교하여 원격 제어 차량 및 원격 제어 센터 중 적어도 하나로의 경고 알람 전송 여부를 결정할 수 있다(S1030).
실시 예로, 상기 제1 지연 및 상기 제2 지연은 핑 테스트(Ping Test)를 통해 측정될 수 있다.
도 11을 참조하면, 네트워크 상태 측정의 다른 일 예로, 장치는 자신과 원격 제어 차량 사이의 제1 대역폭을 측정할 수 있다(S1110).
또한, 장치는 자신과 원격 제어 센터 사이의 제2 대역폭을 측정할 수 있다(S1120).
장치는 제1 대역폭과 제2 대역폭 각각을 해당 대역폭 임계치와 비교하여 원격 제어 차량 및 원격 제어 센터 중 적어도 하나로의 경고 알람 전송 여부를 결정할 수 있다(S1130).
실시 예에 따른 경고 알람은 안전 프로세스 타입에 관한 정보를 포함할 수 있다. 여기서, 상기 안전 프로세스 타입은 안전하게 긴급 갓길 주/정차를 수행하는 긴급 주정차 프로세스 타입, 원격 주행 모드에서 자율 주행 모드로의 전환을 수행하는 자율 주행 전환 프로세스 타입, 운전자 탑승 시 원격 주행 모드에서 수동 운전 모드로의 전환을 수행하는 수동 주행 전환 프로세스 타입 및 현재 차선을 유지하면서 감속 주행을 유도하는 차선 유지 감속 프로세스 타입 중 적어도 하나를 포함할 수 있다.
실시 예에 따른 장치는 해당 원격 제어 차량과 원격 제어 센터 사이에 가용한 적어도 하나의 네트워크 라우팅 경로를 식별하고, 상기 식별된 적어도 하나의 네트워크 라우팅 경로 별 측정된 네트워크 상태에 기반하여 상기 최적 네트워크 경로를 결정할 수 있다.
또한, 실시 예에 따른 장치는 원격 제어 차량 또는 원격 제어 센터로부터 사용자 설정된 목적지 정보 및/또는 주행 경로 정보를 수신할 수 있다. 이 경우, 장치는 원격 주행 중 목적지 정보 및/또는 주행 경로 정보에 더 기반하여 상기 최적 네트워크 경로를 실시간 갱신할 수 있다.
상세하게, 도 12를 참조하면, 장치는 원격 제어 차량 또는 원격 제어 센터로부터 사용자 설정된 목적지 정보를 수신할 수 있다(S1210).
장치는 기 결정된 최적 네트워크 경로에 기반하여 목적지까지의 최적 주행 경로를 결정할 수 있다(S1220).
장치는 결정된 최적 주행 경로에 관한 정보를 해당 원격 제어 장치 및 원격 제어 센터 중 적어도 하나에 전송할 수 있다(S1230).
상술한 도 9 내지 12의 실시 예에 따른 방법들은 원격 주행 중 실시간 최적 네트워크 경로를 결정함으로써, 원격 주행을 위한 최적의 네트워크 상태를 안전하게 유지 및 보장할 수 있는 장점이 있다.
또한, 상술한 도 9 내지 12의 실시 예에 따른 방법들는 네트워크단에서 원격 주행 중 네트워크 대역폭 및 지연을 실시간 측정하고, 측정 결과에 따라 차량 안전 프로세스를 수행하도록 제어하기 위한 경고 알람을 ToV 및/또는 ToC에 전송함으로써, 해당 차량에 적절한 안전 조치가 빠르게 수행될 수 있도록 제어할 수 있는 장점이 있다.
전술한 본 발명은, 프로그램이 기록된 매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 매체는, 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 매체의 예로는, HDD(Hard Disk Drive), SSD(Solid State Disk), SDD(Silicon Disk Drive), ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장 장치 등이 있으며, 또한 캐리어 웨이브(예를 들어, 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다.
이상 본 발명의 실시 예에 따른 자율 주행 차량, 자율 주행 제어기, ODD 서버, 원격 제어 차량, 원격 제어 센터, ODD 정보 전송기 등의 ODD 제공 방법을 구체적인 실시 형태로서 설명하였으나, 이는 예시에 불과한 것으로서 본 발명은 이에 한정되지 않는 것이며, 본 명세서에 개시된 기초 사상에 따르는 최광의 범위를 갖는 것으로 해석되어야 한다. 당업자는 개시된 실시 형태들을 조합, 치환하여 적시되지 않은 실시 형태를 실시할 수 있으나, 이 역시 본 발명의 권리범위를 벗어나지 않는 것이다. 이외에도 당업자는 본 명세서에 기초하여 개시된 실시형태를 용이하게 변경 또는 변형할 수 있으며, 이러한 변경 또는 변형도 본 발명의 권리범위에 속함은 명백하다.

Claims (21)

  1. 네트워크에 구비된 장치에서의 원격 주행 모니터링 방법에 있어서,
    원격 주행을 위해 페어링된 원격 제어 차량 및 원격 제어 센터를 식별하는 단계;
    상기 식별된 원격 제어 차량 및 원격 제어 센터에 상응하는 네트워크 상태를 측정하는 단계; 및
    상기 측정된 네트워크 상태에 기반하여 최적 네트워크 경로를 결정하는 단계
    를 포함하되, 상기 최적 네트워크 경로를 통해 상기 원격 주행을 위한 신호가 송수신되는 것을 특징으로 하는, 방법.
  2. 제1항에 있어서,
    상기 장치는 5G망의 백본 라우터에 연결되는, 방법.
  3. 제1항에 있어서,
    상기 네트워크 상태는 대역폭 상태 및 지연 상태 중 적어도 하나를 포함하는, 방법.
  4. 제1항에 있어서,
    상기 네트워크 상태를 측정하는 단계는,
    상기 장치와 상기 원격 제어 차량 사이의 제1 지연을 측정하는 단계; 및
    상기 장치와 상기 원격 제어 센터 사이의 제2 지연을 측정하는 단계
    를 포함하되, 상기 제1 지연과 상기 제2 지연의 합을 소정 지연 임계치와 비교하여 상기 원격 제어 차량 및 상기 원격 제어 센터 중 적어도 하나로의 경고 알람 전송 여부를 결정하는, 방법.
  5. 제4항에 있어서,
    상기 제1 지연 및 상기 제2 지연은 핑 테스트(Ping Test)를 통해 측정되는, 방법.
  6. 제1항에 있어서,
    상기 네트워크 상태를 측정하는 단계는,
    상기 장치와 상기 원격 제어 차량 사이의 제1 대역폭을 측정하는 단계; 및
    상기 장치와 상기 원격 제어 센터 사이의 제2 대역폭을 측정하는 단계
    를 포함하되, 상기 제1 대역폭과 상기 제2 대역폭 각각을 소정 대역폭 임계치와 비교하여 상기 원격 제어 차량 및 상기 원격 제어 센터 중 적어도 하나로의 경고 알람 전송 여부를 결정하는, 방법.
  7. 제4항 또는 제6항에 있어서,
    상기 경고 알람은 안전 프로세스 타입에 관한 정보를 포함하고,
    상기 안전 프로세스 타입은,
    안전하게 긴급 갓길 주/정차를 수행하는 긴급 주정차 프로세스 타입;
    원격 주행 모드에서 자율 주행 모드로의 전환을 수행하는 자율 주행 전환 프로세스 타입;
    운전자 탑승 시 원격 주행 모드에서 수동 운전 모드로의 전환을 수행하는 수동 주행 전환 프로세스 타입; 및
    현재 차선을 유지하면서 감속 주행을 유도하는 차선 유지 감속 프로세스 타입
    중 적어도 하나를 포함하는, 방법.
  8. 제1항에 있어서,
    상기 식별된 원격 제어 차량과 원격 제어 센터 사이에 가용한 적어도 하나의 네트워크 라우팅 경로를 식별하고, 상기 식별된 적어도 하나의 네트워크 라우팅 경로 별 측정된 네트워크 상태에 기반하여 상기 최적 네트워크 경로가 결정되는, 방법.
  9. 제1항에 있어서,
    상기 원격 제어 차량 또는 상기 원격 제어 센터로부터 사용자 설정된 목적지 정보 및 주행 경로 정보 중 적어도 하나를 수신하는 단계를 더 포함하되, 상기 원격 주행 중 상기 목적지 정보 및 주행 경로 정보 중 적어도 하나에 더 기반하여 상기 최적 네트워크 경로가 실시간 갱신되는 것을 특징으로 하는, 방법.
  10. 제1항에 있어서,
    상기 원격 제어 차량 또는 상기 원격 제어 센터로부터 사용자 설정된 목적지 정보를 수신하는 단계;
    상기 결정된 최적 네트워크 경로에 기반하여 상기 목적지까지의 최적 주행 경로를 결정하는 단계; 및
    상기 결정된 최적 주행 경로에 관한 정보를 상기 원격 제어 차량 및 상기 원격 제어 센터 중 적어도 하나에 전송하는 단계
    를 포함하는, 방법.
  11. 적어도 하나의 프로세서에 의해 실행될 때, 상기 적어도 하나의 프로세서가 네트워크를 통해 원격 제어 차량 및 원격 제어 센터와 연동되어 네트워크 상태를 모니터링하기 동작들을 수행하게 하는 명령을 포함하는 적어도 하나의 컴퓨터 프로그램을 저장하는 비휘발성 컴퓨터 판독 가능 저장 매체에 있어서,
    상기 동작들은,
    원격 주행을 위해 페어링된 원격 제어 차량 및 원격 제어 센터를 식별하는 단계;
    상기 식별된 원격 제어 차량 및 원격 제어 센터에 상응하는 네트워크 상태를 측정하는 단계; 및
    상기 측정된 네트워크 상태에 기반하여 최적 네트워크 경로를 결정하는 단계
    를 포함하되, 상기 최적 네트워크 경로를 통해 상기 원격 주행을 위한 신호가 송수신되는 것을 특징으로 하는, 저장 매체.
  12. 네트워크에 구비되는 원격 주행 모니터링 장치에 있어서,
    제어부;
    현재 원격 주행을 위해 페어링된 원격 제어 차량 및 원격 제어 센터에 대한 페어링 정보를 유지하는 페어링 정보 데이터베이스;
    상기 원격 제어 차량 및 상기 원격 제어 센터와 신호를 송수신하는 송수신부;
    상기 제어부의 제어에 따라 상기 식별된 원격 제어 차량 및 원격 제어 센터에 상응하는 네트워크 상태를 측정하는 측정부; 및
    상 제어부의 제어에 따라 상기 측정된 네트워크 상태에 기반하여 최적 네트워크 경로를 결정하는 경로 산출부
    를 포함하되, 상기 최적 네트워크 경로를 통해 상기 원격 주행을 위한 신호가 송수신되는 것을 특징으로 하는, 장치.
  13. 제12항에 있어서,
    상기 장치는 5G망의 백본 라우터에 연결되는, 장치.
  14. 제12항에 있어서,
    상기 네트워크 상태는 대역폭 상태 및 지연 상태 중 적어도 하나를 포함하는, 장치.
  15. 제12항에 있어서,
    상기 측정부는,
    상기 장치와 상기 원격 제어 차량 사이의 제1 지연을 측정하고, 상기 장치와 상기 원격 제어 센터 사이의 제2 지연을 측정하는 지연 측정부를 포함하되,
    상기 제어부가 상기 제1 지연과 상기 제2 지연의 합을 소정 지연 임계치와 비교하여 상기 원격 제어 차량 및 상기 원격 제어 센터 중 적어도 하나로의 경고 알람 전송 여부를 결정하는, 장치.
  16. 제15항에 있어서,
    상기 지연 측정부는 핑 테스트(Ping Test)를 통해 상기 제1 지연 및 상기 제2 지연을 측정하는, 장치.
  17. 제12항에 있어서,
    상기 측정부는,
    상기 장치와 상기 원격 제어 차량 사이의 제1 대역폭을 측정하고, 상기 장치와 상기 원격 제어 센터 사이의 제2 대역폭을 측정하는 대역폭 측정부를 포함하되,
    상기 제어부가 상기 제1 대역폭과 상기 제2 대역폭 각각을 소정 대역폭 임계치와 비교하여 상기 원격 제어 차량 및 상기 원격 제어 센터 중 적어도 하나로의 경고 알람 전송 여부를 결정하는, 장치.
  18. 제15항 또는 제17항에 있어서,
    상기 제어부의 제어에 따라 상기 경고 알람을 생성하는 알람 생성부를 더 포함하고,
    상기 경고 알람은 안전 프로세스 타입에 관한 정보를 포함하고,
    상기 안전 프로세스 타입은,
    안전하게 긴급 갓길 주/정차를 수행하는 긴급 주정차 프로세스 타입;
    원격 주행 모드에서 자율 주행 모드로의 전환을 수행하는 자율 주행 전환 프로세스 타입;
    운전자 탑승 시 원격 주행 모드에서 수동 운전 모드로의 전환을 수행하는 수동 주행 전환 프로세스 타입; 및
    현재 차선을 유지하면서 감속 주행을 유도하는 차선 유지 감속 프로세스 타입
    중 적어도 하나를 포함하는, 장치.
  19. 제12항에 있어서,
    상기 경로 산출부가 상기 식별된 원격 제어 차량과 원격 제어 센터 사이에 가용한 적어도 하나의 네트워크 라우팅 경로를 식별하고, 상기 식별된 적어도 하나의 네트워크 라우팅 경로 별 측정된 네트워크 상태에 기반하여 상기 최적 네트워크 경로가 결정하는, 장치.
  20. 제12항에 있어서,
    상기 원격 제어 차량 또는 상기 원격 제어 센터로부터 사용자 설정된 목적지 정보 및 주행 경로 정보 중 적어도 하나가 수신된 경우, 상기 경로 산출부가 상기 원격 주행 중 상기 목적지 정보 및 주행 경로 정보 중 적어도 하나에 더 기반하여 상기 최적 네트워크 경로를 실시간 갱신하는 것을 특징으로 하는, 장치.
  21. 제12항에 있어서,
    상기 원격 제어 차량 또는 상기 원격 제어 센터로부터 사용자 설정된 목적지 정보를 수신하는 수단;
    상기 결정된 최적 네트워크 경로에 기반하여 상기 목적지까지의 최적 주행 경로를 결정하는 수단; 및
    상기 결정된 최적 주행 경로에 관한 정보를 상기 원격 제어 차량 및 상기 원격 제어 센터 중 적어도 하나에 전송하는 수단
    을 포함하는, 장치.
KR1020220080275A 2022-06-30 2022-06-30 원격 주행을 위한 네트워크 상태 모니터링 방법 및 그를 위한 장치 및 시스템 KR20240003364A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020220080275A KR20240003364A (ko) 2022-06-30 2022-06-30 원격 주행을 위한 네트워크 상태 모니터링 방법 및 그를 위한 장치 및 시스템
PCT/KR2023/009146 WO2024005570A1 (ko) 2022-06-30 2023-06-29 원격 주행을 위한 네트워크 상태 모니터링 방법 및 그를 위한 장치 및 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020220080275A KR20240003364A (ko) 2022-06-30 2022-06-30 원격 주행을 위한 네트워크 상태 모니터링 방법 및 그를 위한 장치 및 시스템

Publications (1)

Publication Number Publication Date
KR20240003364A true KR20240003364A (ko) 2024-01-09

Family

ID=89538499

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220080275A KR20240003364A (ko) 2022-06-30 2022-06-30 원격 주행을 위한 네트워크 상태 모니터링 방법 및 그를 위한 장치 및 시스템

Country Status (1)

Country Link
KR (1) KR20240003364A (ko)

Similar Documents

Publication Publication Date Title
US11548526B2 (en) Systems and methods for implementing an autonomous vehicle response to sensor failure
US20200216064A1 (en) Classifying perceived objects based on activity
CN111915917B (zh) 计算机实现的方法、存储介质和运载工具
US11854212B2 (en) Traffic light detection system for vehicle
US11325592B2 (en) Operation of a vehicle using multiple motion constraints
US11529955B2 (en) Traffic light estimation
US11731653B2 (en) Conditional motion predictions
US20230134068A1 (en) Autonomous Vehicle Navigation in Response to a Stopped Vehicle at a Railroad Crossing
US20220289198A1 (en) Automated emergency braking system
CN114255260A (zh) 使用道路网络模型的轨迹生成方法和系统
CN117083575A (zh) 轨迹检查器
CN115079687A (zh) 用于自主运载工具的系统、方法和存储介质
CN113196356A (zh) 交通灯估计
US20220340139A1 (en) Vehicle Route Modification to Improve Vehicle Location Information
US20230030815A1 (en) Complementary control system for an autonomous vehicle
GB2605858A (en) Techniques for navigating an autonomous vehicle based on perceived risk
KR20240003364A (ko) 원격 주행을 위한 네트워크 상태 모니터링 방법 및 그를 위한 장치 및 시스템
CN114938674A (zh) 基于活动来对感知对象进行分类
KR20240003765A (ko) 원격 제어 주행 상태인 자율 주행 차량의 제어 신호 유효성 검증 방법 및 그를 위한 장치 및 시스템
KR20230173769A (ko) 원격 제어 중인 원격 제어 센터에서의 제어 신호 유효성 검증 방법 및 그를 위한 장치 및 시스템
US20220289199A1 (en) Brake arbitration
KR20230139950A (ko) 원격 주행 정보에 기반한 자율 주행 제어 방법 및 그를 위한 장치 및 시스템
KR20240019928A (ko) 자율 주행 차량 이상 상태 예측 및 판단 방법 및 그를 위한 장치 및 시스템
KR20230156190A (ko) 자율 주행 차량을 위한 작동 설계 영역 제공 방법 및 그를 위한 장치 및 시스템
KR20230152901A (ko) 원격 주행 시스템에서의 사고 인식 및 예방 방법 및 그를 위한 장치 및 시스템