WO2023158126A1 - 원격주행 지원 시스템 및 이를 활용한 방법 - Google Patents

원격주행 지원 시스템 및 이를 활용한 방법 Download PDF

Info

Publication number
WO2023158126A1
WO2023158126A1 PCT/KR2023/001156 KR2023001156W WO2023158126A1 WO 2023158126 A1 WO2023158126 A1 WO 2023158126A1 KR 2023001156 W KR2023001156 W KR 2023001156W WO 2023158126 A1 WO2023158126 A1 WO 2023158126A1
Authority
WO
WIPO (PCT)
Prior art keywords
vehicle
driving
remote
information
remote control
Prior art date
Application number
PCT/KR2023/001156
Other languages
English (en)
French (fr)
Inventor
김성민
Original Assignee
주식회사 엘지유플러스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020220019990A external-priority patent/KR20230123183A/ko
Priority claimed from KR1020220031523A external-priority patent/KR20230134331A/ko
Priority claimed from KR1020220038172A external-priority patent/KR20230139950A/ko
Priority claimed from KR1020220055185A external-priority patent/KR20230156190A/ko
Application filed by 주식회사 엘지유플러스 filed Critical 주식회사 엘지유플러스
Publication of WO2023158126A1 publication Critical patent/WO2023158126A1/ko

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/04Traffic conditions
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/10Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
    • B60W40/105Speed
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00Drive control systems specially adapted for autonomous road vehicles
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02Control of position or course in two dimensions

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Physics & Mathematics (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Mathematical Physics (AREA)
  • Human Computer Interaction (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • General Physics & Mathematics (AREA)
  • Traffic Control Systems (AREA)

Abstract

일 실시예는, 원격 주행 (ToD: Teleoperated Driving) 시스템에 있어서. 차량 I/F, ToV 제어기 및 제 1 통신 장치를 포함하는 ToV (Teleoperated Vehicle) 시스템 및 주행장치 I/F, 주행장치, ToC 제어기 및 제2 네트워크 장치를 포함하는 ToC (Toleoperated Centor) 시스템을 포함하며, 상기 제 1 통신 장치와 제 2 통신 장치는 상기 ToV 시스템과 상기 ToC 시스템 사이의 통신을 지원하며, 상기 차량 I/F는 복수의 차종에 장착된 ECU(Electronic Control Unit)와 상기 ToD 사이의 통신 규칙에 관련된 복수의 Description을 포함하는, ToD 시스템이다.

Description

원격주행 지원 시스템 및 이를 활용한 방법
이하의 설명은 원격주행과 관련하여, 원격주행 지원을 위한 시스템 및 이를 활용한 방법에 관한 것이다.
원격주행(Remote Driving)은 'ToD(Tele-operated Driving)' 또는 단순히 'RD (Remote Driving)' 의 용어로 지칭될 수 있으나, 이하 용어의 통일을 위해 ToD로 지칭하기로 한다.
현재의 자율주행 차량을 위한 원격주행기술은, 5G 통신기술이 필수로 인식되고 있는 등 시장 도입기로 보여지며, 각 표준단체, 논문, 통신사들의 행보, 업계동향을 볼 때 기술 구현을 위한 요구조건들에 대해서 인식을 하기 시작한 단계로써, 구체적인 시스템에 대한 필요한 핵심기술(예를 들어, 실시간 영상압축, 빠른 5G 네트워크) 확보에 주력하고 있는 상황이다.
또한, 일부 선진 10개국 (캐나다, 핀란드, 일본, 프랑스, 싱가폴, 스웨덴, 영국, 독일, 미국, 중국) 에서는 자율주행차량의 필수기술로 법률제정하고 있으나, 기술 세세한 방법에 대해서는 자유경쟁으로 여기고 있다.
한편, 미도로안정교통국(National Highway Traffic Safety Administration, NHTSA)에서 자율 주행 차량의 안전 운행을 위한 연방 가이드라인을 발표하면서 자율주행시스템(Autonomus Driving System, ADS)의 운행 가능 영역 식별과 객체 및 상황에 대한 대응 능력이 중요하게 인식되고 있다.
운행 설계 영역(Operational Design Domain, ODD)는 자율주행시스템의 특정 작동 조건을 정의하기 위한 운행 설계 범위로 자율 주행 차량의 안전성 확보에 필수적인 개념이다.
하지만, 도심 환경에서의 자율 주행은 많은 어려움이 있으며, 주변 환경 및 상황에 따라 자율 주행 모드에서 수행 주행 모드로의 원활한 전환이 요구된다.
객체 및 이벤트 감지 및 응답(Object and Event Detection and Response, OEDR)은 주행 중 객체가 감지된 특정 상황에서 ADS의 대응 능력을 의미한다. 차량(응급 차량 포함), 보행자, 자전거 및 모터사이클 운전자, 동물, 도로 설치물 등 ODD 범위 내의 동적 및 정적 객체를 정확하게 인지하고 이에 발생 가능한 상황에 대응할 수 있는 ADS의 기능을 의미한다.
SAE J3016에 따르면, Level 3 자율 주행 차량은 DDT(Dynamic Driving Task)를 수행하며 종방향 및 횡방향 제어와 함께 OEDR을 수행한다. Level 3 이상의 자율주행 차량은 ODD 내에서만 운행하도록 제어되며, ODD를 벗어난 경우나 차량 고장, ADS 이상, 운전자의 건강 문제 등이 발생하면 최소위험상태(Minimum Risk Condition, MRC)를 달성하기 위하여 ADS는 운전자에게 제어권 전환 요청(Take-Over Request)을 발생시켜 비상대처방안(DDT fallback)을 통해 차량을 안전한 장소로 이동시킨다. 비상대처방안과 관련하여, Level 3 자율 주행 차량의 경우 운전자가 직접 수동 운전으로 제어권 전환을 실시하여 상황에 대응하고, Level 4와 Level 5 자율 주행 차량의 경우 ADS가 자율 주행 모드를 유지하면서 감속, 긴급 조향 장치 제어 등을 통해 위험 상황에 대처한다.
종래의 ODD 제어 기술은 자율 주행 차량 내부에만 적용되며, 외부에서 만들어진 정보와 융합하여 각 차량의 자율 주행 가능 여부가 판단되었다. 따라서, 종래의 ODD 제어 기술은 자율 주행 차량마다 자신의 센서를 통해 획득 가능한 주변 정보를 기반으로 서로 상이한 ODD가 생성 및 설정되므로 전체적으로 자율 주행의 안정성과 효율성이 저하되는 문제점이 있었다. 특히, 자율 주행 차량과 일반 수동 제어 차량이 혼재되어 있는 도로 환경에서 안전 문제가 발생될 수 있다.
상술한 바와 같은 상황에서, 이하에서는 원격주행 지원을 위한 시스템 및 이를 활용한 방법을 제공하고자 한다.
일 측면에 따른 실시예(들)은 다수의 차량과 다수의 원격제어장치를 연결할 수 있는 차량 독립적인 ToD 솔루션을 제안한다.
다른 일 측면에서는, 차량의 원격주행 정보를 처리하는 장치 및 방법을 제공하고자 한다. 구체적으로, 차량의 원격주행 정보를 처리하는 장치를 포함하는 원격주행 차량을 제공하고자 한다. 또한, 차량의 원격주행 정보를 처리하는 장치를 포함하는 원격주행 센터장치를 제공하고자 한다. 또한, 차량의 원격주행 정보를 처리하는 기능을 포함하는 원격주행차량 제어기를 제공하고자 한다. 또한, 차량의 원격주행 정보를 처리하는 클라우드 시스템을 제공하고자 한다.
또 다른 일 측면에서는, 원격 주행 정보에 기반한 자율 주행 제어 방법 및 그를 위한 장치 및 시스템을 제공하는 것이다. 구체적으로, 본 실시예의 목적은 자율 주행 차량으로부터 수집된 센싱 데이터에 기반하여 원격지 센터가 자율 주행이 불가한 도로 구간에 대한 원격 주행 정보를 생성하고, 생성된 원격 주행 정보를 클라우드 또는 로컬 엣지(Local Edge)에 공유함으로써 해당 도로 구간을 통과하는 다른 자율 주행 차량이 공유된 원격 주행 정보를 참조하여 자차를 제어하는 것이 가능한 원격 주행 정보에 기반한 자율 주행 제어 방법 및 그를 위한 장치 및 시스템을 제공하는 것이다. 또한, 본 실시예의 또 다른 목적은 특정 도록 구간에 상응하여 생성된 원격 주행 정보를 클라우드 또는 로컬 엣지를 통해 해당 도로 구간을 통과하는 자율 주행 차량들에 공유함으로써, 자율 주행 차량의 원격 제어 시 원격지 센터의 부하를 최소화시키고 보다 안전하고 원활한 자율 주행을 가능하게 하는 원격 주행 정보에 기반한 자율 주행 제어 방법 및 그를 위한 장치 및 시스템을 제공하는 것이다. 또한, 사전 공유된 원격 주행 궤적 경로를 자차의 정밀 측위 정보 및 경로 생성 로직과 비교함으로써, 자율 주행 및 원격 주행 중 어느 하나를 적응적으로 결정함으로써, 보다 안전하게 차량을 제어하는 것이 가능한 자율 주행 차량을 제공하고자 한다.
또 다른 일 측면에서는, 자율 주행 차량을 위한 작동 설계 영역 제공 방법 및 그를 위한 장치 및 시스템을 제공하는 것이다. 구체적으로, 본 실시예의 다른 목적은 자율 주행 차량을 위한 운행 설계 영역(Operational Design Domain, ODD)를 원격 제어 센터와 연동되는 ODD 서버 시스템을 통해 해당 지역 내 모든 자율 주행 차량에 동일한 ODD 정보를 제공함으로써 자율 주행의 안전성과 효율성을 향상시키는 것이 가능한 자율 주행 차량을 위한 작동 설계 영역 제공 방법 및 그를 위한 장치 및 시스템을 제공하는 것이다.
상술한 바와 같은 과제를 해결하기 위한 일 실시예는, 원격 주행 (ToD: Teleoperated Driving) 시스템에 있어서. 차량 인터페이스(I/F), ToV (Teleoperated Vehicle) 제어기 및 제 1 통신 장치를 포함하는 ToV 시스템 및 주행장치 I/F, 주행장치, ToC (Toleoperated Centor) 제어기 및 제 2 통신 장치를 포함하는 ToC 시스템을 포함하며, 상기 제 1 통신 장치와 제 2 통신 장치는 상기 ToV 시스템과 상기 ToC 시스템 사이의 통신을 지원하며, 상기 차량 I/F는 복수의 차종에 장착된 ECU(Electronic Control Unit)와 상기 ToD 사이의 통신 규칙에 관련된 복수의 Description을 포함하는, ToD 시스템을 제안한다.
일 실시예는, 원격 주행(ToD: Teleoperated Driving)에 관련된 ToV(Teleoperated Vehicle) 시스템의 동작 방법에 있어서. 주행장치 I/F, 주행장치, ToV 제어기 및 제 2 통신 장치를 포함하는 ToC(Toleoperated Centor) 시스템으로부터 제 1 통신 장치를 통해 신호를 수신; 상기 ToC 시스템으로부터의 신호에 해당하는 명령을 차량 I/F를 통해 ECU(Electronic Control Unit)에 전달을 포함하며, 상기 차량 I/F는 복수의 차종에 장착된 ECU(Electronic Control Unit)와 상기 ToD 사이의 통신 규칙에 관련된 복수의 Description을 포함하는, 방법이다.
일 실시예는, 적어도 하나의 프로세서에 의해 실행될 때, 적어도 하나의 프로세서가 릴레이 UE를 위한 동작들을 수행하게 하는 명령을 포함하는 적어도 하나의 컴퓨터 프로그램을 저장하는 비휘발성 컴퓨터 판독 가능 저장 매체에 있어서, 상기 동작들은, ToC (Toleoperated Centor) 시스템으로부터 ToV (Teleoperated Vehicle) 시스템이 원격 주행 관련 신호를 수신; 상기 ToV 시스템의 차량 I/F가 ECU(Electronic Control Unit)로 상기 원격 주행 관련 신호를 전달을 포함하며, 상기 ToV 시스템은, 차량 I/F, ToV 제어기 및 제 1 통신 장치를 포함하고, 상기 ToC 시스템은 주행장치 I/F, 주행장치, ToC 제어기 및 제 2 통신 장치를 포함하며, 상기 제 1 통신 장치와 제 2 통신 장치는 상기 ToV 시스템과 상기 ToC 시스템 사이의 통신을 지원하며, 상기 차량 I/F는 복수의 차종에 장착된 ECU와 상기 ToD 사이의 통신 규칙에 관련된 복수의 Description을 포함하는, 저장 매체이다.
일 실시예는, 원격 주행 (ToD: Teleoperated Driving)에 관련된 ToV (Teleoperated Vehicle) 장치에 있어서. ToC (Toleoperated Centor) 시스템으로부터 원격 주행 관련 신호를 수신; 차량 I/F가 ECU(Electronic Control Unit)로 상기 원격 주행 관련 신호를 전달을 포함하며, 상기 ToV 장치는, 차량 I/F, ToV 제어기 및 제 1 통신 장치를 포함하고, 상기 ToC 장치는 주행장치 I/F, 주행장치, ToC 제어기 및 제 2 통신 장치를 포함하며, 상기 제 1 통신 장치와 제 2 통신 장치는 상기 ToV 시스템과 상기 ToC 시스템 사이의 통신을 지원하며, 상기 차량 I/F는 복수의 차종에 장착된 ECU와 상기 ToD 사이의 통신 규칙에 관련된 복수의 Description을 포함하는, 장치이다.
상기 복수의 Description은 제어 명령어 Description, 차량 제원 Description, 센서 데이터 Description, 차량 상태 Description을 포함할 수 있다.
상기 제어 명령어 Description는 상기 복수의 차종에 관련된 차량제어를 위한 명령어 Set를 포함할 수 있다.
상기 주행장치 I/F는 ToC 제어기와 여러 종류의 주행장치 사이의 통신 규칙에 관련된 복수의 Description을 포함할 수 있다.
상기 복수의 Description은 주행장치 제어 명령어 Description, 주행장치 제원 Description, 주행장치 데이터 Description, 주행장치 상태 Description을 포함할 수 있다.
상기 ToV 제어기는 차량으로부터 ToD On 요청을 처리할 수 있다.
상기 ToV 제어기는 상기 ToD On 요청을 상기 차량 I/F로부터 수신하면 상기 ToV 시스템의 모든 유닛 초기화, 상기 ToC 시스템이 원격주행 준비가 되었는지 확인 및 차량이 제어신호를 수신할 준비가 되었는지 확인을 수행할 수 있다.
상기 ToV 시스템은 자율 주행 차량에 장착될 수 있다.
상기 ToV 시스템은 외부 센서, 동영상 전송기, 음성통신장치를 더 포함할 수 있다.
상기 외부 센서는 운전자의 시선에 상응하여 차량 외부를 센싱하는 것일 수 있다.
상기 동영상 전송기는, 상기 외부 센서 정보를 압축할 수 있다.
상기 ToC 제어기는 상기 ToV 제어기로부터 상기 ToD On 요청을 수신하면 상기 ToC 시스템의 모든 유닛 초기화, 원격지 주행시스템을 운전할 Operator 가 준비되었는지 확인 및 상기 ToV 에게 원격 주행 신호 수신 준비 알림을 수행할 수 있다.
상기 ToC 시스템은, 동영상 수신기, 모니터 및 스피커 장치, 음성통신장치를 더 포함할 수 있다.
상기 음성통신 장치는, 차량 내부의 승객과 ToC의 Operator 사이의 음성통화에 관련된 것일 수 있다.
상기 제 2 통신 장치는 V2X 장비 또는 Telematics 장비 또는 QoS/위성통신 전용망으로 구성된 별도의 통신장치일 수 있다.
상기 여러 종류의 주행 장치는, 상기 헬기조정장치 형태, 차량 운전석 형태, 전투기 조정형태, 선박 조정형태를 포함할 수 있다.
상기 주행 장치는 기계장치와 콕핏을 포함하며, 상기 기계장치는 차량 운전석 관련 장치를 포함하며, 상기 차량 운전석 관련 장치는 스티어링 휠, 브레이크, 가속페달, 변속장치 및 와이퍼, 방향지시등 조작부를 포함할 수 있다.
본 발명의 일 양태에 따르면 차량의 원격주행(Tele-operated Driving: ToD) 정보를 처리하는 장치를 제공한다. 상기 장치는 지리적으로 원격주행의 지원이 가능한 지역 또는 불가능한 지역을 나타내는 ToD 맵을 생성하는 단계, 상기 ToD 맵과 상기 차량의 위치에 기반하여 상기 차량의 주행경로에 대해 상기 원격주행의 지원이 가능한지를 나타내는 ToD 지원정보를 생성하는 단계를 수행하도록 구성된 프로세서, 및 상기 ToD 맵을 저장하도록 구성된 메모리를 포함한다.
일 측면에서, 상기 프로세서는 제1 정보를 상기 원격주행의 지원이 가능한지 판단하는 척도로 환산한 제2 정보로 변환하는 단계, 상기 제2 정보를 위치기반으로 나타낸 위치기반 정보를 생성하는 단계를 더 수행하되, 상기 ToD 맵은 상기 위치기반 정보에 기반하여 생성될 수 있다.
다른 측면에서, 상기 프로세서는 환경 정보를 수집하는 단계, 상기 환경 정보를 필터링하여 정상 정보를 획득하는 단계, 상기 정상 정보를 정규화하여 상기 제1 정보를 생성하는 단계, 상기 제1 정보를 상기 측정부로 전달하는 단계를 더 수행하도록 구성될 수 있다.
또 다른 측면에서, 상기 환경 정보는 상기 차량이 전송할 영상의 압축도 및 화질, 교통량, 통신 네트워크의 상태, 상기 통신 네트워크의 대역폭 변화 중 적어도 하나를 포함할 수 있다.
또 다른 측면에서, 원격제어차량(Tele-operated Vehicle : ToV)의 제어기와 연결되고, 상기 ToD 지원 정보를 상기 ToV의 제어기로 전송하도록 구성된 네트워크 통신회로를 더 포함할 수 있다.
또 다른 측면에서, 원격제어센터(Tele-operated center: ToC)의 제어기와 연결되고, 상기 ToD 지원 정보를 상기 ToC의 제어기로 전송하도록 구성될 수 있다.
또 다른 측면에서, 상기 ToD 맵과 상기 ToD 지원 정보는 중 적어도 일부는 클라우드 환경에서 제공될 수 있다.
또 다른 측면에서, 상기 위치기반 정보는 GPS에 기반한 정보일 수 있다.
본 발명의 다른 양태에 따르면, 정보처리장치에 의한 차량의 원격주행(Tele-operated Driving: ToD) 정보의 처리 방법을 제공한다. 상기 방법은 지리적으로 원격주행의 지원이 가능한 지역 또는 불가능한 지역을 나타내는 ToD 맵을 생성하는 단계, 및 상기 ToD 맵과 상기 차량의 위치에 기반하여, 상기 차량의 주행 경로에 대해 상기 원격주행의 지원이 가능한지를 나타내는 ToD 지원 정보를 생성하는 단계를 포함한다.
일 측면에서, 상기 방법은 제1 정보를 상기 원격주행의 지원이 가능한지 판단하는 척도로 환산한 제2 정보로 변환하는 단계, 및 상기 제2 정보를 위치기반으로 나타낸 위치기반 정보를 생성하는 단계를 더 포함하되, 상기 ToD 맵은 상기 위치기반 정보에 기반하여 생성될 수 있다.
다른 측면에서, 상기 방법은 환경 정보를 수집하는 단계, 상기 환경 정보를 필터링하여 정상 정보를 획득하는 단계, 및 상기 정상 정보를 정규화하여 상기 제1 정보를 생성하는 단계를 포함할 수 있다.
또 다른 측면에서, 상기 환경 정보는 상기 차량이 전송할 영상의 압축도 및 화질, 교통량, 통신 네트워크의 상태, 상기 통신 네트워크의 대역폭 변화 중 적어도 하나를 포함할 수 있다.
또 다른 측면에서, 상기 방법은 상기 ToD 지원 정보를 원격제어차량 (Tele-operated Vehicle : ToV)의 제어기로 전송하는 단계를 더 포함할 수 있다.
또 다른 측면에서, 상기 ToD 지원 정보를 원격제어센터(Tele-operated center: ToC)의 제어기로 전송하는 단계를 더 포함할 수 있다.
또 다른 측면에서, 상기 ToD 맵 및 상기 ToD 지원 정보는 중 적어도 일부는 클라우드 환경에서 제공될 수 있다.
또 다른 측면에서, 상기 위치기반 정보는 GPS에 기반한 정보일 수 있다.
본 발명의 또 다른 양태에 따르면 정보처리장치의 동작을 제어할 수 있는 명령어를 갖는 컴퓨터 판독 가능한 기록 매체(a non-transitory computerreadable storage medium)를 제공한다. 상기 기록 매체의 상기 명령어는 상기 전자 장치로 하여금, 지리적으로 원격주행의 지원이 가능한 지역 또는 불가능한 지역을 나타내는 ToD 맵을 생성하는 단계, 및 상기 ToD 맵과 상기 차량의 위치에 기반하여, 상기 차량의 주행경로에 대해 상기 원격주행의 지원이 가능한지를 나타내는 ToD 지원 정보를 생성하는 단계를 수행하도록 한다.
또 일 측면에서, 상기 명령어는 상기 전자 장치로 하여금, 제1 정보를 상기 원격주행의 지원이 가능한지 판단하는 척도로 환산한 제2 정보로 변환하는 단계, 및 상기 제2 정보를 위치기반으로 나타낸 위치기반 정보를 생성하는 단계를 더 수행하도록 하되, 상기 ToD 맵은 상기 위치기반 정보에 기반하여 생성될 수 있다.
또 다른 측면에서, 상기 명령어는 상기 전자 장치로 하여금, 환경 정보를 수집하는 단계, 상기 환경 정보를 필터링하여 정상 정보를 획득하는 단계, 및 상기 정상 정보를 정규화하여 상기 제1 정보를 생성하는 단계를 더 수행하도록 할 수 있다.
또 다른 측면에서, 상기 환경 정보는 상기 차량이 전송할 영상의 압축도 및 화질, 교통량, 통신 네트워크의 상태, 상기 통신 네트워크의 대역폭 변화 중 적어도 하나를 포함할 수 있다.
상술한 바와 같은 과제를 해결하기 위한 본 발명의 다른 일 측면에 따른 네트워크를 통해 원격 제어 센터 및 공유 서버와 연동되는 차량에서의 원격 제어 정보 기반 자율 주행 제어 방법은 자율 주행 모드에서 전방 도로 구간에 대한 자율 주행이 가능한지 여부를 판단하는 단계와 상기 판단 결과, 상기 자율 주행이 가능하지 않은 것에 기반하여 원격 주행 모드로 전환하는 단계와 원격 주행 카메라에 의해 촬영된 영상을 상기 원격 제어 센터로 전송하는 단계와 상기 영상에 상응하는 원격 주행 제어 신호를 수신하는 단계와 상기 원격 주행 제어 신호에 기반하여 상기 차량의 동작을 제어하는 단계를 포함하되, 상기 영상 및 상기 원격 주행 제어 신호에 기반하여 생성된 원격 주행 정보가 타차량에 공유되는 것을 특징으로 한다.
실시 예로, 상기 방법은 상기 전방 도로 구간에 상응하여 기 저장된 원격 주행 정보가 내부 저장소에 존재하는지 여부를 판단하는 단계를 더 포함하되, 상기 전방 도로 구간에 상응하여 기 저장된 원격 주행 정보가 상기 내부 저장소에 존재하지 않는 것에 기반하여 상기 원격 주행 모드로 전환될 수 있다.
실시 예로, 상기 방법은 고정밀 지도 정보와 구비된 센서로부터 수집된 센싱 정보에 기반하여 상기 전방 도로 구간에 상응하는 정밀 측위 정보 및 경로 생성 정보를 생성하는 단계와 상기 전방 도로 구간에 상응하여 기 저장된 원격 주행 정보가 존재하는 것에 기반하여 상기 정밀 측위 정보와 상기 경로 생성 정보를 각각 상기 원격 주행 정보와 비교하는 단계와 상기 비교 결과에 따라 상기 원격 주행 정보를 이용하여 상기 자율 주행 모드 유지가 가능한지 여부를 판단하는 단계를 더 포함할 수 있다.
실시 예로, 상기 원격 주행 정보를 이용하여 상기 자율 주행 모드가 가능하지 않은 것에 기반하여 상기 원격 주행 모드로 전환될 수 있다.
실시 예로, 상기 방법은 상기 원격 주행 모드로 전환된 것에 기반하여 상기 전방 도로 구간에 대한 자율 주행이 불가함을 알리는 소정 경고 알람 메시지를 차량간 통신을 통해 후행 차량으로 전송하는 단계를 더 포함할 수 있다.
실시 예로, 상기 경고 알람 메시지의 전송에 따라, 상기 공유된 상기 원격 주행 정보가 상기 후행 차량에 의해 획득되되, 상기 획득된 원격 주행 정보를 이용하여 상기 후행 차량의 자율 주행 모드가 유지될 수 있다.
실시 예로, 상기 원격 주행 정보는 상기 전방 도로 구간에 상응하는 웨이포인트(Waypoint) 어레이(Array) 정보, 루트(route) 정보 및 트랙(track) 정보 중 적어도 하나를 포함할 수 있다.
실시 예로, 상기 원격 주행 정보는 상기 원격 제어 센터에 의해 생성된 후 상기 공유 서버에 등록되어 상기 타차량에 공유될 수 있다.
다른 측면에 따른 네트워크를 통해 차량 및 공유 서버와 연동되는 원격 제어 센터에서의 원격 제어 정보 기반 자율 주행 제어 방법은 상기 차량의 원격 주행 카메라에 의해 촬영된 전방 도로 구간에 대한 영상을 수신하는 단계와 상기 수신된 영상을 화면에 출력하는 단계와 상기 출력된 화면에 상응하여 생성된 원격 주행 제어 신호를 상기 차량으로 전송하는 단계와 상기 수신된 영상 및 상기 원격 주행 제어 신호에 기반하여 원격 주행 정보를 생성하는 단계와 상기 생성된 원격 주행 정보를 상기 공유 서버에 등록하는 단계를 포함할 수 있다.
실시 예로, 상기 공유 서버에 등록된 상기 원격 주행 정보는 타차량에 실시간 또는 주기적으로 공유될 수 있다.
실시 예로, 상기 타차량은 자율 주행 모드로 상기 전방 도로 구간을 따라 상기 차량에 후행하는 차량을 포함할 수 있다.
실시 예로, 상기 공유 서버는 클라우드 서버, 로컬 엣지(Local Edge) 서버 및 사설 서버 중 적어도 하나를 포함할 수 있다.
실시 예로, 상기 원격 주행 정보는 상기 전방 도로 구간에 상응하는 웨이포인트(Waypoint) 정보, 루트(route) 정보 및 트랙(track) 정보 중 적어도 하나를 포함할 수 있다.
실시 예로, 상기 차량은 자율 주행 모드로 주행 중 상기 전방 도로 구간에 대한 자율 주행이 불가한 것에 기반하여 상기 원격 주행 카메라에 의해 촬영된 압축 영상을 상기 원격 제어 센터로 전송하고, 상기 원격 제어 센터가 상기 압축 영상을 압축 해제 후 상기 화면에 출력할 수 있다.
또 다른 측면에 따른 네트워크를 통해 원격 제어 센터 및 공유 서버와 연동되는 차량은 자율 주행 모드로 주행 중 전방 도로 구간에 대한 자율 주행이 가능한지 여부를 판단하는 자율 주행 판단부와 상기 판단 결과, 상기 자율 주행이 가능하지 않은 것에 기반하여 원격 주행 모드로 전환하여 상기 원격 제어 센서와 통신을 연결하고 원격 주행 카메라에 의해 촬영된 영상을 상기 원격 제어 센터로 전송하는 원격 주행 연결부와 상기 영상에 상응하여 상기 원격 제어 센터로부터 수신된 원격 주행 제어 신호에 기반하여 상기 차량의 동작을 제어하기 위한 제어 명령을 생성하는 제어 명령 생성부와 상기 영상 및 상기 원격 주행 제어 신호에 기반하여 생성된 원격 주행 정보가 저장되는 원격 주행 정보 저장소를 포함하고, 상기 원격 제어 정보는 타차량에 공유될 수 있다.
실시 예로, 상기 자율 주행 판단부가 상기 전방 도로 구간에 상응하여 기 저장된 원격 주행 정보가 상기 원격 주행 정보 저장소에 존재하는지 여부를 판단하고, 상기 전방 도로 구간에 상응하여 기 저장된 원격 주행 정보가 상기 내부 저장소에 존재하지 않는 것에 기반하여 상기 원격 주행 모드로의 전환을 결정할 수 있다.
실시 예로, 상기 차량은 고정밀 지도 정보와 구비된 센서로부터 수집된 센싱 정보에 기반하여 상기 전방 도로 구간에 상응하는 정밀 측위 정보를 생성하는 고정밀 측위부와 상기 고정밀 지도 정보 및 상기 센싱 정보에 기반하여 상기 전방 도로 구간에 상응하는 경로를 생성하는 경로 생성부를 더 포함하되, 상기 자율 주행 판단부가 상기 전방 도로 구간에 상응하여 기 저장된 원격 주행 정보가 존재하는 것에 기반하여 상기 정밀 측위 정보와 상기 생성된 경로 정보를 각각 상기 원격 주행 정보와 비교하고, 상기 비교 결과에 따라 상기 원격 주행 정보를 이용하여 상기 자율 주행 모드를 유지하는 것이 가능한지 판단할 수 있다.
실시 예로, 상기 원격 주행 정보를 이용하여 상기 자율 주행 모드가 가능하지 않은 것에 기반하여 상기 원격 주행 모드로 전환될 수 있다.
실시 예로, 상기 차량은 상기 원격 주행 모드로 전환된 것에 기반하여 상기 전방 도로 구간에 대한 자율 주행이 불가함을 알리는 소정 경고 알람 메시지를 차량간 통신을 통해 후행 차량으로 전송하는 V2X(Vehicle to Everything) 통신부를 더 포함할 수 있다.
실시 예로, 상기 경고 알람 메시지의 전송에 따라, 상기 공유된 상기 원격 주행 정보가 상기 후행 차량에 의해 획득되고, 상기 획득된 원격 주행 정보를 이용하여 상기 후행 차량의 자율 주행 모드가 유지될 수 있다.
실시 예로, 상기 원격 주행 정보는 상기 전방 도로 구간에 상응하는 웨이포인트(Waypoint) 어레이(Array) 정보, 루트(route) 정보 및 트랙(track) 정보 중 적어도 하나를 포함할 수 있다.
실시 예로, 상기 원격 주행 정보는 상기 원격 주행 센터에 의해 생성된 후 상기 공유 서버에 등록되어 상기 타차량에 공유될 수 있다.
또 다른 측면에 따른 네트워크를 통해 차량 및 공유 서버와 연동되는 원격 제어 센터는 상기 차량의 원격 주행 카메라에 의해 촬영된 전방 도로 구간에 대한 압축된 영상을 수신하는 통신 장치와 상기 수신된 영상을 복호하여 모니터링 화면에 출력하는 복호기와 원격지 운전자의 조작에 따라 상기 화면에 출력된 영상에 상응하는 원격 주행 제어 신호를 생성하는 원격지 운전 장치와 상기 원격 주행 제어 신호를 상기 통신 장치를 통해 상기 차량으로 전송하는 주제어기를 포함하고, 상기 수신된 영상 및 상기 원격 주행 제어 신호를 기반으로 원격 주행 정보가 생성되어 상기 공유 서버에 등록될 수 있다.
실시 예로, 상기 공유 서버에 등록된 상기 원격 주행 정보가 자율 주행 모드로 상기 전방 도로 구간을 따라 상기 차량에 후행하는 타차량에 공유되어 상기 타차량의 자율 주행 모드가 유지될 수 있다.
또 다른 측면에 따른 원격 주행 시스템은 자율 주행 모드로 주행 중 전방 도로 구간에서 자율 주행이 불가한 것에 기반하여 원격 주행 모드로 전환하여 구비된 원격 주행 카메라를 통해 영상을 촬영하는 차량과 상기 촬영된 영상에 상응하는 원격 주행 제어 신호를 생성하여 상기 차량에 전송하고, 상기 영상 및 상기 원격 주행 제어 신호에 기반하여 상기 전방 도로 구간에 상응하는 원격 주행 정보를 생성하는 원격 제어 센터와 상기 원격 주행 정보가 상기 원격 제어 센터에 의해 등록되어 유지되는 공유 서버를 포함하고, 상기 원격 주행 정보가 자율 주행 모드로 상기 전방 도로 구간을 따라 상기 차량에 후행하는 타차량에 공유되어 상기 타차량의 자율 주행 모드가 유지될 수 있다.
일 측면에 따른 네트워크를 통해 자율 주행 차량과 연동되는 서버에서의 작동 설계 영역(Operational Design Domain, ODD) 제공 방법은 상기 자율 주행 차량으로부터 자율 주행 정보가 포함된 요청 메시지를 수신하는 단계와 상기 자율 주행 정보에 기반하여 ODD 저장소로부터 ODD 정보를 추출하는 단계와 상기 추출된 ODD 정보가 포함된 응답 메시지를 상기 자율 주행 차량으로 전송하는 단계를 포함할 수 있다.
실시 예로, 상기 자율 주행 정보에 상기 자율 주행 차량의 현재 위치에 관한 정보가 포함된 것에 기반하여 상기 현재 위치에 상응하는 일부 구간에 대한 상기 ODD 정보를 추출하여 상기 자율 주행 차량에 전송할 수 있다.
실시 예로, 상기 일부 구간의 개수는 전방에 발생된 이벤트 타입, 상기 자율 주행 차량의 현재 주행 속도, 상기 자율 주행 차량이 주행중인 도로의 교통 혼잡 상태 및 상기 자율 주행 차량의 일정 반경 이내에 위치한 자율 주행이 가능한 차량의 비율 중 적어도 하나 에 기반하여 동적으로 결정될 수 있다.
실시 예로, 상기 자율 주행 정보에 경로에 관한 정보가 포함된 것에 기반하여 상기 경로에 상응하는 전체 구간에 대한 상기 ODD 정보를 추출하여 상기 자율 주행 차량으로 전송하고, 이후, 상기 자율 주행 정보에 상기 자율 주행 차량의 현재 위치에 관한 정보가 포함된 것에 기반하여 상기 현재 위치에 상응하는 ODD 정보가 갱신된 경우에만, 상기 갱신된 ODD 정보가 상기 자율 주행 차량으로 전송될 수 있다.
실시 예로, 상기 ODD 정보는 구간 별 차선 및/또는 도로에 상응하는 자율 주행 가능 영역을 ON/OFF로 표시한 제1 정보와 상기 구간 별 차선 및/또는 도로에 상응하는 자율 주행 가능 레벨에 관한 정보 및 주행 가능 방향에 관한 정보 중 적어도 하나로 구성된 제2 정보 중 적어도 하나를 포함할 수 있다.
실시 예로, 상기 ODD 정보에 포함될 상기 제1 정보 및/또는 상기 제2 정보는 전방 발생된 이벤트 타입에 따라 동적으로 결정될 수 있다.
실시 예로, 상기 방법은 원격 제어 센터로부터 전방 도로 구간에 발생된 이벤트 타입에 관한 정보를 수신하는 단계와 상기 이벤트 타입에 기반하여 상기 ODD 정보를 생성 또는 갱신하는 단계와 상기 생성 또는 갱신된 ODD 정보를 상기 ODD 저장소에 저장하는 단계를 더 포함할 수 있다.
실시 예로, 상기 방법은 상기 원격 제어 센터의 원격지 운전자에 의해 입력된 상기 전방 도로 구간에 대한 판단 결과 및/또는 분석 결과에 대한 정보를 수신하는 단계를 더 포함하되, 상기 판단 결과 및/또는 분석 결과에 더 기반하여 상기 ODD 정보가 생성 및 갱신될 수 있다.
실시 예로, 상기 이벤트 타입은 사고 이벤트 타입, 공사 이벤트 타입, 교통 신호 이벤트 타입, 교통량 변화 이벤트 타입, 장애물 감지 이벤트 타입 및 보행자 감지 이벤트 타입 중 적어도 하나를 포함할 수 있다.
다른 측면에 따른 네트워크를 통해 서버와 연동되는 차량에서의 작동 설계 영역(Operational Design Domain, ODD) 정보 획득 방법은 자율 주행 정보가 포함된 요청 메시지를 상기 서버로 전송하는 단계와 상기 자율 주행 정보에 상응하는 ODD 정보가 포함된 응답 메시지를 상기 서버로부터 수신하는 단계와 상기 수신된 ODD 정보에 기반하여 자율 주행을 제어하는 단계를 포함할 수 있다.
실시 예로, 상기 자율 주행 정보에 상기 자율 주행 차량의 현재 위치에 관한 정보가 포함된 것에 기반하여 상기 현재 위치에 상응하는 일부 구간에 대한 상기 ODD 정보가 수신될 수 있다.
실시 예로, 상기 자율 주행 정보에 경로에 관한 정보가 포함된 것에 기반하여 상기 경로에 상응하는 전체 구간에 대한 상기 ODD 정보가 수신되고, 이후, 상기 자율 주행 정보에 상기 자율 주행 차량의 현재 위치에 관한 정보가 포함된 것에 기반하여 상기 현재 위치에 상응하는 ODD 정보가 상기 서버에 의해 갱신된 경우에만, 상기 갱신된 ODD 정보가 수신될 수 있다.
실시 예로, 상기 ODD 정보는 구간 별 차선 및/또는 도로에 상응하는 자율 주행 가능 영역을 ON/OFF로 표시한 제1 정보와 상기 구간 별 차선 및/또는 도로에 상응하는 자율 주행 가능 레벨에 관한 정보 및 변경 가능 차선 방향에 관한 정보 중 적어도 하나로 구성된 제2 정보 중 적어도 하나를 포함할 수 있다.
실시 예로, 상기 ODD 정보에 포함될 상기 제1 정보 및/또는 상기 제2 정보는 전방 발생된 이벤트 타입에 따라 상기 서버에 의해 동적으로 결정될 수 있다.
실시 예로, 상기 이벤트 타입은 사고 이벤트 타입, 공사 이벤트 타입, 교통 신호 이벤트 타입, 교통량 변화 이벤트 타입, 장애물 감지 이벤트 타입 및 보행자 감지 이벤트 타입 중 적어도 하나를 포함할 수 있다.
또 다른 실시 예에 따른 네트워크를 통해 자율 주행 차량과 연동되는 서버는 작동 설계 영역(Operational Design Domain, ODD) 정보가 기록된 ODD 저장소와 상기 ODD 저장소로부터 해당 ODD 정보를 추출하는 추출부와 상기 자율 주행 차량으로부터 자율 주행 정보가 포함된 요청 메시지를 수신하고, 상기 추출된 ODD 정보가 포함된 응답 메시지를 상기 자율 주행 차량으로 전송하는 제1 인터페이스부를 포함하고, 상기 추출부가 상기 자율 주행 정보를 기반으로 상기 ODD 정보를 추출할 수 있다.
실시 예로, 상기 추출부가 상기 자율 주행 정보에 상기 자율 주행 차량의 현재 위치에 관한 정보가 포함된 것에 기반하여 상기 현재 위치에 상응하는 일부 구간에 대한 상기 ODD 정보를 추출하고, 상기 자율 주행 정보에 경로에 관한 정보가 포함된 것에 기반하여 상기 경로에 상응하는 전체 구간에 대한 상기 ODD 정보를 추출하되, 상기 전체 구간에 대한 ODD 정보가 상기 자율 주행 차량으로 전송된 후 상기 현재 위치에 관한 정보가 포함된 상기 요청 메시지가 수신된 경우, 상기 추출부가 상기 현재 위치에 상응하는 ODD 정보가 갱신된 경우에만, 상기 갱신된 ODD 정보를 추출하여 상기 자율 주행 차량으로 전송할 수 있다.
실시 예로, 상기 일부 구간의 개수는 전방에 발생된 이벤트 타입, 상기 자율 주행 차량의 현재 주행 속도, 상기 자율 주행 차량이 주행중인 도로의 교통 혼잡 상태 및 상기 자율 주행 차량의 일정 반경 이내에 위치한 자율 주행이 가능한 차량의 비율 중 적어도 하나에 기반하여 동적으로 결정될 수 있다.
실시 예로, 상기 ODD 정보는 구간 별 차선 및/또는 도로에 상응하는 자율 주행 가능 영역을 ON/OFF로 표시한 제1 정보와 상기 구간 별 차선 및/또는 도로에 상응하는 자율 주행 가능 레벨에 관한 정보 및 주행 가능 방향에 관한 정보 중 적어도 하나로 구성된 제2 정보 중 적어도 하나를 포함하고, 상기 ODD 정보에 포함될 상기 제1 정보 및/또는 상기 제2 정보는 전방 발생된 이벤트 타입에 따라 동적으로 결정될 수 있다.
실시 예로, 상기 자율 주행 차량을 원격으로 제어하는 원격 제어 센터와 더 연동되고, 상기 서버는 상기 원격 제어 센터로부터 전방 도로 구간에 발생된 이벤트 타입에 관한 정보를 수신하는 제2 인터페이스부와 상기 이벤트 타입에 기반하여 ODD 맵을 생성하는 분석부와 상기 생성된 ODD 맵에 기반하여 구간 별 차선 및/또는 도로에 상응하는 ODD 데이터를 매핑하여 ODD 정보를 생성 또는 갱신하는 생성 및 갱신부를 더 포함하고, 상기 생성 또는 갱신된 ODD 정보는 상기 ODD 저장소에 저장될 수 있다.
실시 예로, 상기 원격 제어 센터의 원격지 운전자에 의해 입력된 상기 전방 도로 구간에 대한 판단 결과 및/또는 분석 결과에 대한 정보를 상기 제2 인터페이스를 통해 더 수신하고, 상기 분석부가 상기 판단 결과 및/또는 분석 결과에 더 기반하여 상기 ODD 맵을 생성할 수 있다.
실시 예로, 상기 이벤트 타입은 사고 이벤트 타입, 공사 이벤트 타입, 교통 신호 이벤트 타입, 교통량 변화 이벤트 타입, 장애물 감지 이벤트 타입 및 보행자 감지 이벤트 타입 중 적어도 하나를 포함할 수 있다.
실시 예로, 상기 원격 제어 센터는 내부 통신선을 통해 상기 서버와 하나의 시스템으로 구현되거나 상기 네트워크를 통해 상기 서버와 연동될 수 있다.
또 다른 측면에 따른 네트워크를 통해 서버와 연동되는 차량은 자율 주행 정보가 포함된 요청 메시지를 상기 서버로 전송하는 수단과 상기 자율 주행 정보에 상응하는 작동 설계 영역(Operational Design Domain, ODD) 정보가 포함된 응답 메시지를 상기 서버로부터 수신하는 수단과 상기 수신된 ODD 정보에 기반하여 자율 주행을 제어하는 수단을 포함할 수 있다.
일 실시예에 의하면, 차량 독립적인 ToD 시스템을 구현하기 위해, 차량과 ToV 제어기간 Description 기반 I/F 를 갖고, ToC제어기와 원격제어장치간 Description 기반 I/F 를 갖고, ToC 와 ToV 간 Sequence Control 을 하는 구성을 기본으로 하는 독립적 ToD 솔루션 구성을 통해 다수의 자율주행차량(ToV)과, 다수의 센터제어기(ToC)를 필요에 의하여 연결 또는 해지할 수 있는 기능을 부여함에 따라, 다수/다종의 자율주행차량기반, 자율주행서비스 업체에 공통적으로 적용될 수 있는 독립적인 ToD 기술제공이 가능하다.
원격주행 센터와 차량이 도로의 원격주행 가능 상태를 공유함으로써 네트워크 상황이 나빠지기 전에 선제적으로 원격주행 여부를 결정할 수 있고, 안전한 원격주행을 실현할 수 있다.
다양한 실시 예들은 원격 주행 정보에 기반한 자율 주행 제어 방법 및 그를 위한 장치 및 시스템을 제공할 수 있는 장점이 있다.
또한, 다양한 실시 예들은 자율 주행 차량으로부터 수집된 센싱 데이터에 기반하여 원격지 센터가 자율 주행이 불가한 도로 구간에 대한 원격 주행 정보를 생성하고, 생성된 원격 주행 정보를 클라우드 또는 로컬 엣지(Local Edge)에 공유함으로써 해당 도로 구간을 통과하는 다른 자율 주행 차량이 공유된 원격 주행 정보를 참조하여 자차를 제어하는 것이 가능한 원격 주행 정보에 기반한 자율 주행 제어 방법 및 그를 위한 장치 및 시스템을 제공하는 장점이 있다.
또한, 다양한 실시 예들은 특정 도로 구간에 상응하여 생성된 원격 주행 정보를 클라우드 또는 로컬 엣지를 통해 해당 도로 구간을 통과하는 자율 주행 차량들에 공유함으로써, 자율 주행 차량의 원격 제어 시 원격지 센터의 부하를 최소화시키고 보다 안전하고 원활한 자율 주행을 가능하게 하는 원격 주행 정보에 기반한 자율 주행 제어 방법 및 그를 위한 장치 및 시스템을 제공하는 장점이 있다.
또한, 다양한 실시 예들은 사전 공유된 원격 주행 궤적 경로를 자차의 정밀 측위 정보 및 경로 생성 로직과 비교함으로써, 자율 주행 및 원격 주행 중 어느 하나를 적응적으로 결정함으로써, 보다 안전하게 차량을 제어하는 것이 가능한 자율 주행 차량을 제공하는 장점이 있다.
또한, 다양한 실시 예들은 선행 차량의 원격 주행 정보를 공유 공간에 저장함으로써, 후행 차량이 원격 주행 모드로의 전환 없이 원격 주행 정보를 이용하여 자율 주행을 유지할 수 있는 장점이 있다.
또한, 다양한 실시 예들에 따른 자율 주행 제어 방법은 자율 주행이 불가한 전방 도로 구간을 통과하는 후행 차량은 자율 주행 능력에 구애 받지 않고, 원격 제어 센터에 의해 공유된 선행 차량의 원격 주행 정보를 이용하여 원활한 자율 주행을 유지할 수 있는 장점이 있다.
또한, 다양한 실시 예들은 자율 주행 차량을 위한 운행 설계 영역(Operational Design Domain, ODD)를 원격 제어 센터와 연동되는 ODD 서버 시스템을 통해 해당 지역 내 모든 자율 주행 차량에 동일한 ODD 정보를 제공함으로써 자율 주행의 안전성과 효율성을 향상시키는 것이 가능한 자율 주행 차량을 위한 작동 설계 영역 제공 방법 및 그를 위한 장치 및 시스템을 제공하는 장점이 있다.
또한, 다양한 실시 예들은 해당 도로 구간을 통과하는 모든 자율 주행 차량에 동일한 ODD 정보가 공유되므로 해당 도로 구간에서 원활한 교통 흐름을 유지시킬 수 있는 장점이 있다.
그 밖의 유리한 효과는 이하의 구체적 구성에 대한 설명과 함께 구체적으로 언급하기로 한다.
본 명세서에 첨부되는 도면은 실시예(들)에 대한 이해를 제공하기 위한 것으로서 다양한 실시형태들을 나타내고 명세서의 기재와 함께 원리를 설명하기 위한 것이다.
도 1, 도 2는 종래 기술을 설명하기 위한 도면이다.
도 3은 일 실시예에 의한 ToD 시스템의 개괄도가 도시되어 있다.
도 4 내지 도 5는 일 실시예에 의한 ToV, ToC 시스템의 예가 도시되어 있다.
도 6 내지 도 7은 각 Description이 도시되어 있다.
도 8 내지 도 9는 ToD 요청의 처리에 관한 순서도이다.
도 10은 주행장치의 예시이다.
도 11은 원격주행 시스템의 개념도이다.
도 12는 일 실시예에 따른 원격주행시 상향링크 전송과 하향링크 전송에 요구되는 기술을 설명하는 도면이다.
도 13은 일례에 따른 상향링크 전송에 문제가 발생하는 상황을 보여주는 예시도이다.
도 14는 일반적인 원격주행 시스템을 도시한 블록도이다.
도 15는 일 실시예에 따른 원격주행 정보처리장치를 도시한 블록도이다.
도 16은 일 실시예에 따른 원격주행 정보처리장치의 프로세서를 도시한 블록도이다.
도 17은 일 실시예에 따른 ToD 맵과 차량의 주행경로의 예시이다.
도 18은 일 실시예에 따른 ToD 맵과 원격주행 모드의 관계를 나타내는 도면이다.
도 19는 일 실시예에 따른 원격주행 시스템을 도시한 블록도이다.
도 20은 다른 실시예에 따른 원격주행 시스템을 도시한 블록도이다.
도 21은 또 다른 실시예에 따른 원격주행 시스템을 도시한 블록도이다.
도 22는 본 개시의 일 실시예의 원격 주행 시스템을 설명하는 도면이다.
도 23은 본 개시의 일 실시예에 따른 원격 주행 시스템의 세부 구성을 설명하기 위한 도면이다.
도 24는 본 개시의 일 실시 예에 따른 원격 제어 차량의 일반적인 동작을 설명하기 위한 도면이다.
도 25는 종래 자율 주행이 가지는 문제점을 설명하기 위한 도면이다.
도 26은 본 개시의 실시 예에 따른 원격 주행 정보 기반 자율 주행 제어가 가능한 원격 주행 시스템 구성도이다.
도 27은 본 개시의 실시 예에 따른 원격 제어 센터의 상세 동작을 설명하기 위한 도면이다.
도 28은 본 개시의 실시 예에 따른 자율 주행 제어기의 상세 동작을 설명하기 위한 도면이다.
도 29는 실시 예에 따른 원격 주행 시스템에서의 원격 주행 정보를 공유 서버에 등록하는 절차를 설명하기 위한 흐름도이다.
도 30은 본 개시의 실시 예에 따른 차량에서의 원격 주행 정보 기반의 자율 주행 제어 방법을 설명하기 위한 순서도이다.
도 31은 본 개시의 실시 예에 따른 차량에서의 원격 주행 정보를 갱신하는 방법을 설명하기 위한 순서도이다.
도 32는 본 개시의 실시 예에 따른 차량간 통신을 통해 원격 주행 정보 기반 자율 주행 제어를 수행하는 방법을 설명하기 위한 흐름도이다.
도 33는 본 개시의 실시 예에 따른 원격 주행 시스템의 상세 구조를 설명하기 위한 도면이다.
도 34는 본 개시의 실시 예에 따른 ODD 제공 시스템 구성도이다.
도 35은 자율 주행 차량의 자동화 레벨이 정의된 테이블이다.
도 36은 본 개시의 실시 예에 따른 자율 주행 제어기의 상세 동작을 설명하기 위한 도면이다.
도 37은 종래 기술에 따른 자율 주행 차량을 위한 ODD 시스템의 동작을 설명하기 위한 도면이다.
도 38는 종래 자율 주행 차량의 ODD 보정 절차를 설명하기 위한 흐름도이다.
도 39는 상기 도 37 내지 38에 따른 ODD 시스템의 문제점을 설명하기 위한 도면이다.
도 40은 본 개시에 따른 ODD 서버의 구성을 설명하기 위한 블록도이다.
도 41은 본 개시에 따른 ODD 정보 구성 예들을 보여준다.
도 42는 실시 예에 따른 ODD 정보 전송 기능이 구비된 원격 제어 센터의 구조를 설명하기 위한 블록도이다.
본 개시의 다양한 실시 예에서, "/" 및 "," 는 "및/또는" 을 나타내는 것으로 해석되어야 한다. 예를 들어, "A/B" 는 "A 및/또는 B" 를 의미할 수 있다. 나아가, "A, B" 는 "A 및/또는 B" 를 의미할 수 있다. 나아가, "A/B/C" 는 "A, B 및/또는 C 중 적어도 어느 하나" 를 의미할 수 있다. 나아가, "A, B, C" 는 "A, B 및/또는 C 중 적어도 어느 하나" 를 의미할 수 있다.
본 개시의 다양한 실시 예에서, "또는" 은 "및/또는" 을 나타내는 것으로 해석되어야 한다. 예를 들어, "A 또는 B" 는 "오직 A" , "오직 B" , 및/또는 "A 및 B 모두" 를 포함할 수 있다. 다시 말해, "또는" 은 "부가적으로 또는 대안적으로" 를 나타내는 것으로 해석되어야 한다.
이하, 본 발명에 따른 바람직한 실시 형태를 첨부된 도면을 참조하여 상세하게 설명한다. 첨부된 도면과 함께 이하에 개시될 상세한 설명은 본 발명의 예시적인 실시형태를 설명하고자 하는 것이며, 본 발명이 실시될 수 있는 유일한 실시형태를 나타내고자 하는 것이 아니다. 이하의 상세한 설명은 본 발명의 완전한 이해를 제공하기 위해서 구체적 세부사항을 포함한다. 그러나, 당업자는 본 발명이 이러한 구체적 세부사항 없이도 실시될 수 있음을 안다.
몇몇 경우, 본 발명의 개념이 모호해지는 것을 피하기 위하여 공지의 구조 및 장치는 생략되거나, 각 구조 및 장치의 핵심기능을 중심으로 한 블록도 형식으로 도시될 수 있다.
이하의 설명에서 사용되는 특정 용어들은 본 발명의 이해를 돕기 위해서 제공된 것이며, 이러한 특정 용어의 사용은 본 발명의 기술적 사상을 벗어나지 않는 범위에서 다른 형태로 변경될 수 있다.
한편, 이하의 설명은 설명의 편의상, (1) 원격 주행 지원 시스템 아키텍쳐, (2) 원격주행 정보(예: ToD 맵) 처리 시스템, (3) 원격주행정보 기반 자율 주행 제어, 및 (4) ODD 정보 제어로 구분하여 설명한다. 다만, 각각에 대한 설명은 본 발명의 실시 형태로서 기재된 것이 아니라, 전체 발명을 기능적으로 나누어 설명하기 위한 것으로서, 4가지 섹션에서 제안되는 구성들은 상호 결합하여 이용될 수 있다. 예를 들어, (2)의 원격주행 정보 처리는 (1)의 원격 주행 지원 시스템 아키텍쳐에 기반하여 운용될 수 있으며, (3)의 자율 주행 제어는 (2)의 ToD 맵에 기반하여 적용될 수 있다. 아울러, (4)의 ODD 정보 제어 역시 (2)/(3)의 ToD 맵을 기반으로 처리될 수 있으며, 모두 (1)의 아키텍쳐에서 설명되는 기본 구성들의 동작 관점으로 볼 수 있다.
원격 주행 지원 시스템 아키텍쳐
원격주행 시스템은 3가지 구성요소로 이루어져 있으며, 이는 각각 아래와 같다.
ToV (Teleoperated Vehicle) : 원격지의 주행제어를 받는 자율주행 차량
ToC (Toleoperated Centor) : 자율주행차량의 제어신호를 생성하는 원격지의 주행센터
Network : ToC와 ToV를 연결하는 이동통신망을 포함한 네트워크
도 1에는 이러한 원격주행 시스템의 구성 요소가 도시되어 있다. 도 1을 참조하면, ToV는 차량(Vehicle)으로부터 센싱 데이터 등의 정보를 인코딩하여 네트워크(도시된 바와 같이 5G, 또는 LTE 등 다른 네트워크도 가능)를 통해 ToC로 전송할 수 있다. ToC에서는 이러한 ToV로부터의 데이터를 디코딩하여 스크린에 재생하는 등, 정보를 원격 주행 오퍼레이터(operator)에게 제공한다. 오퍼레이터는 상기 정보에 기초하여 원격주행에 필요한 오퍼레이션(Operation, 예를 들어 운행을 위해 원격 운전 장치 또는 주행장치를 조작하는 것)을 수행하면 이와 관련된 정보가 네트워크를 통해 ToV로 전달된다. ToC는 수신된 정보를 차량(또는 차량의 ECU)에 전달하여 오퍼레이션에 상응하는 주행이 이루어지도록 할 수 있다.
도 2에는 상술한 예시와 같은 원격 주행에 관련된 ToD 요구조건을 설명한다. 도 2를 참조하면, ToD 요구 조건은 다음과 같이 업링크와 다운링크로 예시될 수 있다.
업링크 ToD 요구조건은 다음과 같다.
- ToV는 두 가지 E/M을 부호화하여 ToC로 전송
- 운전자 시야 데이터 : 차량외부 영상(4ch or 2ch) 전송
- 차량센서 데이터 : 차량위치/상태 전송
이를 위한 요소기술은 다음과 같다.
- 저지연 영상통신 기술
- 빠르고 안정적인 네트워크 기술
- 저지연 디스플레이 기술
- 영상압축은 H.264 / 265 기반의 실시간 스트리밍기술이 필요
다운링크 ToD 요구조건은 다음과 같다.
- ToC는 자율주행차량의 상태를 파악하여, 직-간접적 제어신호를 ToV로 전송
- 직접제어: 차량구동장치 제어정보를 생성 전송
- 간접제어: 운전자 가이드 정보를 생성 전송
이를 위한 요소기술은 다음과 같다.
- 전송된 E/M이해를 통한 차량상태 및 제어형태
- 추론기술
- 빠르고 안정적인 네트워크 기술
현재까지의 ToD 요구조건은, Network Latency 문제가 가장 크다고 볼 수 있다. ToD 는 원격 주행에 대한 요청이 있거나 또는 차량이 자율주행이 불가능한 상태에 이르게 되면, ToV 에 설치된 카메라영상을 ToC에서 수신하여, ToC 에 설치된 운전장치의 제어신호가 다시 차량으로 전달하여 차량을 원격지의 Operator 가 제어할 수도 있는데, 이를 위해서는 영상 및 제어신호의 Round Trip Time (RTT)로 대변되는 Network Latency 가 가장 중요한 요소기술에 해당할 수 있다. 미국 표준화 단체의 보고서에 따르면, RTT<170ms 이하여야 안전한 ToD 를 할 수 있다. 종래기술들은 이러한 170ms 이내의 RTT를 보장하는 ToD 를 구현하기 위해, 핵심기술인 실시간 동영상 압축기술의 확보를 위해 동영상 코덱의 구조를 바꾸어 실시간 전송하는 기술들과, Network Latency 를 줄이기 위해, channel bonding / jumping 과 같은 네트워크 대역폭 확보 및 패킷 전송 기술들이 연구 및 특허확보에 중점을 두고 있다.
그러나, ToD 시스템 자체는 매우 차량 종속적이다. 즉, 차량의 ECU 제어신호 (스티어링 제어 명령어, 브레이킹 제어 명령어, 변속기 제어명령어, 와이퍼 제어 명령어 등)가 OEM마다 다르기 때문에, 여러 ToD 솔루션을 구성하는 ToV는 차량제조사(OEM)에 종속적으로 개발되고, 이러한 문제는 다수/다종의 차량을 보유한 자율주행 서비스 업체 (Robotaxi 업체, 자율주행 버스업체) 또는 다양한 차종을 보유하고 있는 자율주행 렌터카 업체 등에 ToD 솔루션 도입을 어렵게 하거나 많은 비용을 초래할 수 있다. 만약, ToV를 Update 하기 위해서는 자율주행제어장치 (AD-ECU) 자체를 update 해야 하기 때문에 서비스 업체로써는 현실적으로 취급이 불가하다는 문제도 있다.
또한, 원격지 ToC의 운전제어시스템도 자율주행차량 제조사의 고유한 운전시스템이 장착되어 1:1로 Operator 가 대기하고 있어야 하기 때문에, 차량원격제어 요청이 오지 않을 때에도 Operator 는 항상 해당 차량의 요청에 대기하고 있어야 하며, 자율주행 차량과 다른 OEM의 차량제어는 불가능 하다는 문제가 있다.
이와 같은 이유로, 현재의 ToD Solution 제공 업체는 특정 브랜드의 자동차 회사와만 협력을 하는 등, OEM 종속적인 ToD 솔루션이 차량 종속적으로 개발 되고 있는 상황이다.
상술한 바와 같이, 종래의 원격 주행 시스템의 경우 차량과 원격지 ToC 운전 장치/시스템은 각각 특정 차량(또는 특정 브랜드의 차량) 및 특정 원격지 ToC 운전 장치/시스템에 종속적이며, 이로 인해 상술한 바와 같은 다양한 제약/문제점이 존재한다. 따라서, 이하에서는 특정 차종, 특정 브랜드 및/또는 주행 장치 (또는 특정 원격지 ToC 운전 장치)에 종속되지 않고, 다양한 차종, 주행 장치에 적용이 가능한 ToD 시스템, 장치 및 이에 관련된 방법에 대해 설명한다. 이하의 설명에서 차량이라 함은 자율주행 차량을 의미하지만, 자율 주행 기능이 없는 차량에도 적용 가능하다.
일 실시예에 의한 ToD 솔루션은, 도 3에 예시된 바와 같이 기존 자율주행차량과 독립적으로 구성된다. ToD (Tele-Operated Driving)솔루션(301)은 크게 ToV (Tele-Operated Vehicle) 시스템과 ToC (Tele-Operated Center) 시스템으로 구성되며, ToV 시스템은 기존 자율주행 차량에 장착되는 구조를 갖고, ToV 와 ToC 시스템은 5G 등의 Mobile 을 포함한 Network으로 연결된다.
구체적으로, 일 실시예에 의한 원격 주행 (ToD: Teleoperated Driving) 시스템은, 차량 인터페이스(I/F), ToV (Teleoperated Vehicle) 제어기 및 제 1 통신 장치를 포함하는 ToV 시스템 및 주행장치 I/F, 주행장치, ToC (Toleoperated Centor) 제어기 및 제 2 통신 장치를 포함하는 ToC 시스템을 포함하며, 상기 제 1 통신 장치와 제 2 통신 장치는 상기 ToV 시스템과 상기 ToC 시스템 사이의 통신을 지원하며, 상기 차량 I/F는 복수의 차종에 장착된 ECU(Electronic Control Unit)와 상기 ToD 사이의 통신 규칙에 관련된 복수의 Description을 포함할 수 있다. '제 1 통신 장치' 또는 '제 2 통신 장치' 의 용어는 통신의 기능적인 측면에서 '제 1 네트워크 장치' 또는 '제 2 네트워크 장치' 로 지칭될 수도 있다.
이와 관련하여 도 4 및 도 5에는 각각 ToV 시스템과 ToC 시스템이 도시되어 있으며 이에 대해서는 이하에서 순차적으로 설명한다.
상기 복수의 Description은 도 6에 예시된 바와 같이, 제어 명령어 Description, 차량 제원 Description, 센서 데이터 Description, 차량 상태 Description을 포함할 수 있다. 즉, 상기 차량 I/F는 상기 복수의 Description으로 이루어진 Description set를 포함할 수 있다. 또한, Description set에는 도 6의 예시된 Description 중 일부만 포함될 수도 있다.
상기 제어 명령어 Description는 상기 복수의 차종에 관련된 차량제어를 위한 명령어 Set를 포함할 수 있다. 보다 상세히, 차량 I/F는 차량과 ToV 시스템 사이의 데이터 통신을 담당하며, 도 6과 같이 각종 Description 형태의 데이터 구조를 참고한다. Description은 다종의 차량과 ToD 시스템의 통신규칙을 정의하는 모듈로, 차량제어를 위한 명령어 Set, 차량제원에 대한 정보, ToD에 사용될 차량센서데이터의 정보, 현재 차량상태에 대한 정보 등을 통신하기 위한 규칙을 도 6과 같이 정의할 수 있다.
이와 같이, 차량에 장착/부착되는 ToV 시스템에서, 차량(또는 차량의 ECU)과 ToV 사이의 통신을 담당하는 차량 I/F가 다양한 차종/브랜드와 ToD 시스템의 통신 규칙을 정의할 수 있으므로, 실시예에 의한 ToV 시스템은 특정 차종이나 차량 브랜드에 제약되지 않고 적용/채택이 가능하다는 장점이 있다. 또한, 다수의 자율주행차량(ToV)과, 다수의 센터제어기(ToC)를 필요에 의하여 연결 또는 해지할 수 있는 기능을 부여함에 따라, 다수/다종의 자율주행차량기반, 자율주행서비스 업체에 공통적으로 적용될 수 있는 독립적인 ToD 기술제공이 가능하다.
상기 ToV 시스템의 Description 뿐 아니라, ToC 시스템에서도 상기 주행장치 I/F는 ToC 제어기와 여러 종류의 주행장치 사이의 통신 규칙에 관련된 복수의 Description을 포함할 수 있다. 상기 복수의 Description은 도 7에 예시된 바와 같이 주행장치 제어 명령어 Description, 주행장치 제원 Description, 주행장치 데이터 Description, 주행장치 상태 Description을 포함할 수 있다. 즉, 상기 주행장치 I/F는 상기 복수의 Description으로 이루어진 Description set를 포함할 수 있다. 또한, Description set에는 도 6의 예시된 Description 중 일부만 포함될 수도 있다.
구체적으로, 주행장치 I/F는, ToC 제어기와 주행장치를 연결하며, 오른쪽 그림과 같이 각종 Description 형태의 데이터 구조를 참고한다. Description은 다양한 주행장치들과 (헬기조정장치 형태, 차량 운전석 형태, 전투기 조정형태, 선박 조정형태 등) ToC 시스템 사이의 통신규칙을 정의하는 Description 기반 모듈로, 주행장치 제어를 위한 명령어 Set, 주행장치 재원에 대한 정보, 주행장치로부터 Cockpit 으로 전달되는 데이터 정보, 현재 주행장치 상태에 대한 정보등을 통신하기 위한 규칙을 오른쪽 예와 같이 정의할 수 있다. 이러한 구조의 I/F 들 (ToC 주행장치 I/F, ToV 차량 I/F) 은 다양한 형태의 주행장치들과 실 차량들을 효율적으로 연결시킬 수 있어, 다양한 형태의 차량을 가지고 있는 자율주행 서비스 업체에 반드시 필요한 구조라고 볼 수 있다. 상기 ToV 시스템에서의 Description과 유사하게, 상기 ToC 시스템에서의 Description 도 다양한 주행장치들에 적용이 가능하여 효율적이다.
계속해서, 도 4를 참조하면, 상기 ToV 시스템은 차량 I/F, 외부센서, 동영상전송기, ToV 제어기, 음성통신장치, 네트워크 장치를 포함할 수 있다.
상기 외부 센서는 운전자의 시선에 상응하여 차량 외부를 센싱하는 것일 수 있다. 즉, 외부센서는 운전자의 시선으로 차량외부를 비추고 있는 센서들을 의미하며, (전후좌우 방향의) 카메라를 반드시 포함하고, 외부 주변 소음을 전달 할 수 있는 마이크등이 추가로 장착될 수 있다.
상기 동영상 전송기는, 상기 외부 센서 정보를 압축할 수 있다. 구체적으로, 동영상전송기는, 외부센서 정보를 압축하는 기능을 하며 동영상 압축을 위한 비디오 코덱과, 마이크 음성정보 부호화를 위한 오디도 코덱이 이용될 수 있다
상기 ToV 제어기는 차량으로부터 ToD On 요청을 처리한다. 즉, ToV 제어기는, ToC 시스템의 동작을 제어하고, 차량시스템과의 통신을 통해 ToD 의 On/OFF 시퀀스제어를 담당한다.
상기 ToV 제어기는 상기 ToD On 요청을 상기 차량 I/F로부터 수신하면 상기 ToV 시스템의 모든 유닛 초기화, 상기 ToC 시스템이 원격주행 준비가 되었는지 확인, 차량이 제어신호를 수신할 준비가 되었는지 확인을 수행할 수 있다. 도 8에는 이와 관련된 구체적인 순서도가 예시되어 있다. 도 8을 참조하면, 차량으로부터 ToD On 요청이 있는 경우 ToV 의 차량 I/F 는 이 요청을 받아 ToV 제어기에게 전달하며, ToV 는 ToV 내부의 모든 유닛을 초기화 시키고, ToC 가 원격주행 준비가 되었는지 확인(Operator 가 준비되었는지, Operator 로부터 응답이 없는 경우 등 초기화 등 필요)한다. 차량은 제어신호를 받을 준비가 되었는지 확인하고, 모든 준비가 완료 되었다면 원격주행 개시한다. 음성통신 장치는, 차량 내부의 승객과 ToC 의 Operator, 또는 차량 내부의 승객과 기타 제3자 (경찰서, 응급 센터등) 및 Operator 간의 음성통화를 가능하게 하는 통신장치로, ToD 시스템의 동작과는 별개로도 동작할 수 있을 필요가 있다. 네트워크 장치는 ToC 와 ToV 의 통신을 담당하고, 이는 차량의 기존의 V2X 장비일 수도 있고, Telematics 장비일 수도 있고, QoS, 위성 통신 등 전용망으로 구성된 별도의 통신장치 일 수 있다.
다시 도 5를 참조하면, ToC 시스템은 기존의 차량에 장착되는 구조로써 네트워크 장치, 동영상 수신기, 모니터 스피커 장치, ToC 제어기, 음성통신장치, 주행장치 I/F, 주행장치를 포함할 수 있다.
네트워크 장치는 ToV 와 통신을 담당하는 장치이고, 동영상 수신기는, ToV의 동영상 전송기가 전송하는 동영상 및 외부 오디오 신호를 수신하여 복호한다. 모니터 스피커 장치는 이를 출력한다.
상기 ToC 제어기는 상기 ToV 제어기로부터 상기 ToD On 요청을 수신하면 상기 ToC 시스템의 모든 유닛 초기화, 원격지 주행시스템을 운전할 Operator 가 준비되었는지 확인, 상기 ToV 에게 원격 주행 신호 수신 준비 알림을 수행할 수 있다. 이와 관련하여 구체적인 예가 도 9에 예시되어 있다.
도 9를 참조하면, ToC 제어기는, ToC 시스템의 동작을 제어하고, ToV로 각종 차량 제어신호를 생성하여 전달함으로써 (ToV는 이를 최종 차량으로 전달), ToD 를 수행하게 된다. 예를 들어, ToV 로부터 ToD On 요청이 있는 경우의 예를 들어보면, ToC는 ToC 내부의 모든 유닛을 초기화 시키고, 원격지 주행시스템을 운전할 Operator 가 준비되었는지 확인하고, ToC가 원격주행준비가 완료되었으므로, 차량도 제어신호를 받을 준비를 하라고 ToV 에게 Signaling 할 수 있다. 이후, 모든 준비가 완료 되었다면 원격주행 개시할 수 있다.
상기 음성통신 장치는, 차량 내부의 승객과 ToC의 Operator 사이의 음성통화에 관련된 것일 수 있다. 보다 상세히, 음성통신 장치는, 차량 내부의 승객과 ToC 의 Operator, 또는 차량 내부의 승객과 기타 제3자 (경찰서, 응급 센터 등) 및 Operator 간의 음성통화를 가능하게 하는 통신장치로, ToD 시스템의 동작과는 별개로도 동작할 수 있을 필요가 있다
상기 제 2 통신 장치는 V2X 장비 또는 Telematics 장비 또는 QoS/위성통신 전용망으로 구성된 별도의 통신장치일 수 있다.
상기 여러 종류의 주행 장치는, 상기 헬기조정장치 형태, 차량 운전석 형태, 전투기 조정형태, 선박 조정형태를 포함할 수 있다.
상기 주행 장치는 기계장치와 콕핏을 포함하며, 상기 기계장치는 차량 운전석 관련 장치를 포함하며, 상기 차량 운전석 관련 장치는 스티어링 휠, 브레이크, 가속페달, 변속장치 및 와이퍼, 방향지시등 조작부를 포함할 수 있다. 보다 상세히, 주행장치는, 오른쪽 그림과 같이 기계장치와 콕핏으로 이루어져 있으며, 기계장치는, 스티어링 휠, 브레이크, 가속페달, 변속장치 및 와이퍼, 방향지시등 조작 등, 자동차의 시스템의 경우 운전석의 장치들 일부로 구성되고, 콕핏은, 기계장치 조작을 Display 할 차량 콕핏 장치를 의미할 수 있다.
원격주행 정보(예: ToD 맵) 처리 시스템
도 11은 원격주행 시스템의 개념도이다.
도 11을 참조하면, 원격주행 시스템(100)은 원격제어 차량(Teleoperated Vehicle : ToV, 110), 통신 네트워크(120) 및 원격제어 센터(Teleoperated Center : ToC, 130)을 포함한다.
원격제어 차량(110)은 자율 주행 시스템을 지원하고, 원격제어 센터(130) 또는 원격지의 주행제어를 받는 자율 주행 차량을 의미할 수 있다.
원격제어 차량(110)은 일반주행 모드, 자율주행 모드, 원격주행 모드 중 어느 하나의 모드로 주행할 수 있다. 일반주행 모드는, 운전자가 주도하여 차량을 운전하는 모드로 정의될 수 있다. 첨단 운전자 지원 시스템(Advanced Driver Assistance System)이 일반운행 모드에 포함될 수 있다. 자율주행 모드는 사람의 개입 없이 차량이 자율적으로 주행하는 모드로 정의될 수 있다. 원격주행 모드는 원격으로 장치 또는 사람이 차량의 주행을 제어하는 모드로 정의될 수 있다.
통신 네트워크(120)는 원격제어 차량(110)과 원격제어 센터(130)를 연결하고, 원격제어 차량(110)과 원격제어 센터(130)간의 신호 또는 정보가 교환되는 통신 채널 및/또는 인터넷을 제공한다.
원격제어 센터(130)는 원격제어 차량(110)의 정보를 수집, 처리, 가공, 저장하고 원격제어 차량(110)의 주행을 제어하는 제어신호를 생성하여 통신 네트워크(120)를 통해 원격제어 차량(110)으로 전송할 수 있다.
통신 네트워크(120)는 원격제어 차량(110) 또는 원격제어 센터(130)와 무선 통신을 수행하는 이동통신 네트워크 또는 무선 네트워크를 포함할 수 있다. 이동통신 네트워크는 GSM(Global System for Mobile communication), WCDMA(Wideband Code Division Multiple Access), LTE(Long Term Evolution), LTEAdvanced, 5G NR(new radio), 5G-advanced로 구현된 이동통신 네트워크를 포함할 수 있다. 무선 네트워크는 Wibro(Wireless broadband), Wimax(World Interoperability for Microwave Access)로 구현된 무선 인터넷 네트워크를 포함할 수 있다. 또는 무선 네트워크는 WLAN(Wireless LAN)(WiFi), 블루투스(Bluetooth), NFC(Near Field Communication), RFID(Radio Frequency Identification), RF 통신 및/또는 LF(Low Frequency) 통신 등의 근거리 통신 네트워크를 포함할 수 있다.
예를 들어 원격주행 시스템(100)이 LTE 통신 방식을 사용할 때, 원격제어 차량(110) 및/또는 원격제어 센터(130)는 LTE 기지국(eNodeB)과 연결될 수 있고, LTE 기지국은 LTE 통신 시스템의 코어 네트워크인 EPC(Evolved Packet Core)와 연결될 수 있다. 또는, 원격주행 시스템(100)이 5G NR 통신 방식을 사용할 때, 원격제어 차량(110) 및/또는 원격제어 센터(130)는 5G 기지국(gNodeB)와 연결될 수 있고, 5G 기지국은 NR 통신 시스템의 코어 네트워크인 5G Core(5Generation Core)와 연결될 수 있다.
원격제어 차량(110)은 통신 네트워크(120)를 통해 차량 및 주행에 관련된 데이터(140)를 원격제어 센터(130)로 전송한다. 그리고 원격제어 센터(130)는 통신 네트워크(120)를 통해 원격제어 차량(110)을 제어하기 위한 제어 데이터(150)를 원격제어 차량(110)으로 전송한다. 원격제어 차량(110)에서 원격제어 센터(130)로 신호가 전송되는 경로를 상향링크(uplink) 또는 역방향 링크(reverse link)라 하고, 원격제어 센터(130)에서 원격제어 차량(110) 방향으로 신호가 전송되는 경로를 하향링크(downlink) 또는 순방향 링크(forward link)라 한다. 상향링크로 전송되는 데이터는 원격제어 차량(110)에서 촬영된 영상을 포함한다. 본 명세서에서 "영상"은 카메라 또는 센서에서 캡쳐되어 전송되는 정지 영상, 동영상, 비디오 프레임, 및/또는 비디오 스트림을 모두 포함할 수 있다. 상향링크 전송과 하향링크 전송에서 요구되는 기술을 정리하면 도 12와 같다.
도 12는 일 실시예에 따른 원격주행시 상향링크 전송과 하향링크 전송에 요구되는 기술을 설명하는 도면이다.
도 12를 참조하면, 원격제어 차량(110)이 원격으로 제어되기 위해서는, 원격제어 차량(110)의 주변 상황에 대한 영상들이 상향링크를 통해 원격제어 센터(130)로 전송되어야 한다. 즉, 상향링크 전송을 위해 저지연 영상통신 기술이 요구된다. 저지연 영상통신 기술은 영상압축으로 인한 "압축 지연 최소화 기술", 네트워크 대역폭 변화에 따른 "압축률 가변기술"을 포함한다.
또한, 상향링크 전송을 위해 빠르고 안정적인 네트워크 기술도 요구된다. 네트워크 기술은 이종 통신사망을 통해 영상을 전송하거나 또는 모든 통신사 대역폭을 한꺼번에 이용할 수 있게 하는 채널 결합(Channel Bonding) 기술을 포함한다. 채널 결합 기술은 특정 통신사의 대역폭이 낮아졌을 때 영상전송이 어려운 상황을 보완할 수 있다.
한편, 원격제어 차량(110)이 원격으로 제어되기 위해서는, 원격제어센터(130)의 제어신호가 지연없이 신속하게 하향링크를 통해 원격제어 차량(110)으로 전송되어야 한다. 즉, 하향링크 전송을 위해 저지연 신호 전송 기술이 요구된다.
도 13은 일례에 따른 상향링크 전송에 문제가 발생하는 상황을 보여주는 예시도이다.
도 13을 참조하면, Case A와 B는 원격제어 차량(110)이 원격제어 센터(130)로 제공하는 영상의 화질이 열화된 상황을 보여준다. Case A의 영상은 근거리에 있는 차량의 번호판이 보이지 않을 정도로 화질이 매우 나빠진 것이다. Case B의 영상은 횡단보도 부분에 에러가 심하게 발생하여 화면이 깨져버린 것이다.
Case A와 B와 같이 영상의 화질이 나빠진 원인은 네트워크 상태가 열화되거나 대역폭이 낮아지는 물리적 현상 때문이다. 그런데 도 14에 도시된 일반적인 원격주행 시스템은 도 13의 문제를 해결할 수 없다. 이는 앞서 언급된 영상처리 기술(압축 지연최소화 기술, 압축률 가변기술)과, 네트워크 기술(채널 결합 기술)이 모두 네트워크 상태가 열화된 이후에 적용되기 때문이다.
도 14는 일반적인 원격주행 시스템을 도시한 블록도이다.
도 14를 참조하면, 원격주행 시스템은 자율주행차량, ToV 단말 장치(400) 및 원격제어 센터(450)을 포함한다. 일례로서, ToV 단말 장치(400)는 자율주행 차량에 탑재됨으로써 해당 자율주행 차량에 원격주행 기능을 제공하는 것으로서, 원격제어 차량(110)과 통합되어 구현되거나 원격제어 차량(110)으로부터 분리 가능하도록 구현될 수도 있다. 다른 예로서, ToV 단말 장치(400)는 원격제어차량(110)의 외부에서 원격제어 차량(110)을 원격으로 제어하는 장치일 수도 있다.
이하에서 별도 언급이 없으면 원격제어 차량(110)은 ToV 단말 장치(400)와 자율주행 차량이 통합된 형태를 의미한다.
ToV 단말 장치(400)는 ToV 제어기(401), 네트워크 상태 예측기(402), 네트워크 장치(403), ToD 카메라(404) 및 영상압축 시스템(405)을 포함할 수 있다.
ToV 제어기(401)는 자율주행 차량과 ToD 솔루션을 연결하는 기능을 수행하며, 원격제어 센터(450)의 제어 신호에 따라 자율주행 차량을 제어한다. ToV 제어기(401)는 프로세서이며, ASIC(Application Specific Integrated Circuit), DSP(Digital Signal Processor), PLD(Programmable Logic Devices), FPGAs(Field Programmable Gate Arrays), CPU(Central Processing unit), 마이크로 컨트롤러(microcontrollers) 및 마이크로 프로세서(microprocessors) 중 어느 하나로서 구현될 수 있다.
네트워크 상태 예측기(402)는 현재의 네트워크 상태를 예측하여 영상 압축 시스템(405)의 압축률을 조정한다.
네트워크 장치(403)는 통신 네트워크(120)와 연결되고, 압축된 영상을 채널 결합된 대역폭에 기반하여 원격제어 센터(450)로 전송하거나, 원격제어 센터(450)로부터 원격주행에 관한 제어 데이터를 수신할 수 있다. 네트워크 장치(403)는 통신사의 USIM을 포함할 수 있다.
ToD 카메라(404)는 촬영한 영상을 영상 압축 시스템(405)으로 전달한다.
영상 압축 시스템(405)은 네트워크 상태 예측기(402)가 지시한 압축률에 기반하여 영상 신호를 압축하고, 압축된 영상을 네트워크 장치(403)로 전달한다. 영상 압축 시스템(405)에 의한 영상 신호의 압축은 실시간으로 수행될 수 있다.
도 14에 도시된 ToV 단말 장치(400)의 구성요소들 중 적어도 일부는 본래 자율주행 차량에 구비되어, 경우에 따라 ToV 단말 장치(400)에 의해 사용되는 것일 수 있다. 예를 들어, ToD 카메라(404)는 자율주행 차량에 구비된 것으로서, ToV 단말 장치(400)와 공유될 수 있다. 또한, ToV 제어기(401), 네트워크 상태 예측기(402), 영상압축 시스템(405)은 하나의 프로세서 내에 다수의 기능들 또는 모듈들로서 집적될 수 있다.
원격제어 센터(450)는 ToV 단말 장치(400)에 의해 수집된 영상를 이용하여 자율주행 차량의 주변 상황을 감지하고 자율주행 차량을 제어할 수 있다.
이를 위해, 원격제어 센터(450)는 네트워크 장치(451), ToC 제어기(452), 원격지 운전장치(453), 동영상 복호기(454) 및 모니터(455)를 포함할 수 있다.
네트워크 장치(451)는 통신 네트워크(120)와 연결되고, 압축된 영상을 채널 결합된 대역폭에 기반하여 ToV 단말 장치(400)로부터 수신하거나, 원격주행에 관한 제어 데이터를 ToV 단말 장치(400)로 전송할 수 있다.
자율주행 차량에 탑재된 카메라들에서 캡쳐된 영상들은 압축된 채로 통신 네트워크(120)를 통해 전송되고, 원격제어 센터(450)의 모니터(455)에 디스플레이 됨으로써, 자율주행 차량의 원격제어에 이용될 수 있다. 구체적으로, 동영상 복호기(454)는 압축 영상을 복호화하여 원본 영상을 모니터(455)로 출력한다. 모니터(455)는 영상을 재생하고, 원격지 운전자는 재생되는 영상을 보고 원격지 운전장치(453)를 조작하여 ToV 단말 장치(400)로 제어신호를 전달한다. ToC 제어기(452)는 원격지 운전장치(453)의 입력에 따라 ToV 단말 장치(400)에 전송할 제어 데이터를 생성하여 네트워크 장치(451)로 전달한다.
이러한 일반적인 원격주행 시스템을 이용하는 경우, 도 13의 상황은 다음과 같이 처리된다.
첫째, 네트워크 상태가 나빠지면 ToV 단말 장치(400)의 네트워크 상태 예측기(402)는 영상의 압축률을 높은 압축률로 조정하게 되고, 영상압축 시스템(405)은 영상을 심하게 압축하여 화질을 열화시켜간다. 결국 네트워크 장치(403)는 Case A와 B와 같은 영상을 원격제어 센터(450)로 전송한다. 이 경우 원격지 운전자는 해당 영상을 알아볼 수 없고, 이것은 원격지의 원격 운전자의 안전운전을 방해한다.
둘째, 네트워크 상태가 나빠지면 ToV 단말 장치(400)의 네트워크 장치(403)는 네트워크 상태가 좋은 통신사를 검색하여 재연결을 수행할 수 있다. 만약 모든 통신사의 네트워크 상태가 좋지 않으면 영상 전송이 아예 불가능해질 수도 있다. 이 경우, 원격제어 센터(450)는 순간적으로 영상이 끊기는 현상을 경험할 수 있으며, 이것은 원격지의 원격 운전자의 안전운전을 방해한다. 네트워크 상태의 열화로 인해 통신사가 채널 결합을 제공하면, 이는 전체 통신 비용을 높이는 단점으로 작용할 수도 있다.
이러한 도 14의 일반적인 원격주행 시스템은 네트워크 상태에 따라 적응적으로 영상 압축률을 조정하는 측면에서는 우수하지만, 네트워크 상황이 나빠지고 난 뒤에 영상 압축률을 높이거나, 다른 네트워크망을 찾아서 영상을 전송하는 방식을 사용한다. 이는 원격제어 센터(450)가 도 13처럼 심하게 압축된 상태의 영상 또는 패킷 에러가 많이 발생한 영상을 수신하는 결과를 야기한다. 원격제어 센터(450)는 이러한 영상을 수신함으로써 안전한 원격주행을 실현할 수 없거나, 심각한 사고로 이어질 수도 있다.
이러한 현상은 네트워크 대역폭이 매우 나쁜 도심지 지역이나, 네트워크 AP가 설치되지 않은 음영 지역에서 발생할 확률이 높다. 여러 연구결과에 따르면, 실제로 지하 주차장, 마을 지역 특정구역, 한강을 가로지르는 다리 정중앙 지역 등 우리 주변에는 많은 네트워크 음영 지역이 존재한다. 또한 도심지 한복판에서는 네트워크 대역폭이 매우 요동치고 있어, 영상압축률이 실시간으로 즉시 바뀔 수 없게 되면 영상이 끊기는 현상이 발생한다. 만약 이러한 지역에서 자율주행 차량이 원격주행 모드로 작동 중이면 주행안전에 심각한 악영향을 줄 수 있다.
따라서, 네트워크 음영 지역을 고려한 원격주행 제어 방법, 또는 원격주행 정보를 처리하는 방법이 요구된다.
제1 실시예에 따르면, 특정 지역(또는 구역, 도로)에서 원격주행의 지원이 가능한지(또는 원격주행이 가능한 상태인지)를 판단하는 원격주행(Tod) 정보처리장치가 제공된다. 본 실시예는 원격주행의 지원이 가능한 지역인지 여부를 다양한 기준으로 결정할 수 있다.
일례로서, 원격주행의 지원이 가능한 지역인지 여부는 그 지역의 네트워크 상태에 관한 정보를 기반으로 결정될 수 있다. 즉, 원격주행 정보처리장치는 네트워크 상태를 이용하여 원격주행의 지원 가능 여부를 판단한다. 일 측면에서, 원격주행 정보처리장치는 네트워크에 음영 지역이 있는지를 기반으로 원격주행의 지원이 가능한지를 판단할 수 있다. 예를 들어, 원격주행 정보처리장치는 네트워크에 음영 지역이 없는 도로 또는 지역을 원격주행의 지원이 가능한 것으로 판단할 수 있다. 반대로, 원격주행 정보처리장치는 네트워크에 음영 지역이 있는 도로 또는 지역을 원격주행의 지원이 불가능한 것으로 판단할 수 있다. 이하에서, 네트워크 음영 지역 또는 원격주행의 지원이 가능한 지역 또는 구역을 정의하는 지리적 단위는 도로 단위일 수도 있고, 원격주행에 적합하게 미리 정해진 지역 단위일 수도 있으며, 행정구역 단위일 수도 있다.
다른 예로서, 원격주행의 지원이 가능한 지역인지 여부는 그 지역의 교통량 정보를 기반으로 결정될 수 있다. 즉, 원격주행 정보처리장치는 교통량 정보를 이용하여 원격주행의 지원 가능 여부를 판단한다. 예를 들어, 원격주행 정보처리장치는 교통량이 임계치보다 크거나 같은 지역을 원격주행의 지원이 가능한 것으로 판단할 수 있다. 반대로, 원격주행 정보처리장치는 교통량이 임계치보다 큰 지역을 원격주행의 지원이 불가능한 것으로 판단할 수 있다.
또 다른 예로서, 원격주행의 지원이 가능한 지역인지 여부는 대역폭을 기반으로 결정될 수 있다. 즉, 원격주행 정보처리장치는 대역폭을 이용하여 원격주행의 지원 가능 여부를 판단한다. 예를 들어, 원격주행 정보처리장치는 대역폭이 임계치보다 크거나 같은 지역을 원격주행의 지원이 가능한 것으로 판단할 수 있다. 반대로, 원격주행 정보처리장치는 대역폭이 임계치보다 낮은 지역을 원격주행의 지원이 불가능한 것으로 판단할 수 있다.
또 다른 예로서, 원격주행의 지원이 가능한 지역인지 여부는 네트워크 상태, 교통량, 대역폭 중 적어도 일부의 조합을 기반으로 결정될 수 있다. 즉, 원격주행 정보처리장치는 네트워크 상태, 교통량, 대역폭 중 적어도 2 이상의 조합을 이용하여 원격주행의 지원 가능 여부를 판단한다.
이 밖에도, 원격주행의 지원이 가능한 지역인지 여부는 여러가지 기준에 의해 결정될 수 있다. 예를 들어, 상기 기준은 영상의 압축이 많이 되어 화질이 떨어질 수 있는 지역인지 여부, 대역폭이 매우 작아 영상이 끊길 위험이 있는 지역인지 여부, 네트워크 지연이 갑자기 증가하는 지역인지 여부, 교통이 매우 번잡하여 원격지 영상으로만 주행하기에 매우 위험한 지역인지 여부를 포함할 수 있다.
제2 실시예에 따르면, 원격주행의 지원이 가능한 지역(또는 구역, 도로) 및/또는 불가능한 지역(또는 구역, 도로)을 나타내는 원격주행(ToD) 맵을 생성하는 원격주행 정보처리장치가 제공된다. ToD 맵은 도 17과 같이 어떤 지역(또는 구역, 도로)이 ToD 지원이 가능한 지역인지 또는 불가능한 지역인지를 나타낸다.
즉, ToD 맵은 어떤 지역(또는 구역, 도로)이 ToD 가능상태인지 아닌지를 판단하는데 사용된다.
일례로서, 원격주행 정보처리장치는 ToD 맵 위에 원격주행의 지원이 가능한 지역을 표시할 수 있다.
다른 예로서, 원격주행 정보처리장치는 ToD 맵 위에 원격주행의 지원이 불가능한 지역을 표시할 수 있다.
또 다른 예로서, 원격주행 정보처리장치는 ToD 맵 위에 원격주행의 지원이 가능한 지역과 불가능한 지역을 모두 표시할 수 있다. 이 경우, 원격주행 정보처리장치는 원격주행의 지원이 가능한 지역과 불가능한 지역을 ToD 맵 위에 서로 다른 색 또는 형태로 구분되게 표시할 수 있다.
제3 실시예에 따르면, 원격주행의 지원이 가능한지에 관한 정보(이하 ToD 지원 정보)를 ToV 단말 장치(400) 또는 원격제어 센터(450)로 전송하는 원격주행 정보처리장치가 제공된다.
일례로서, 원격주행 정보처리장치는 원격제어 차량(110)의 위치 및/또는 주행경로(또는 예상경로)에 대해 ToD의 지원이 가능한지를 판단한다. 그리고 원격주행 정보처리장치는 ToD의 지원이 가능한지를 나타내는 ToD 지원 정보를 생성하여 ToV 단말 장치(400) 또는 원격제어 센터(450)로 전송할 수 있다. 즉, 원격주행 정보처리장치는 원격주행의 지원 가능/불가능을 사전에 ToV 단말 장치(400) 또는 원격제어 센터(450)로 알려줄 수 있다.
이러한 여러 실시예들에 따른 기능을 구현하기 위해, 원격주행 정보처리장치는 도 15와 같은 구성을 포함할 수 있다.
도 15는 일 실시예에 따른 원격주행 정보처리장치를 도시한 블록도이다. 원격주행(Tod) 정보처리장치는 ToD 네트워크 연결 제어장치라 불릴 수도 있다.
이하 본 실시예에 따른 원격주행 정보처리장치의 동작, 기능은 컴퓨터 명령어에 의해 제어될 수 있으며, 이러한 명령어는 컴퓨터 판독 가능한 기록 매체(a nontransitory computer-readable storage medium)에 저장되어 제공될 수 있다.
도 15를 참조하면, 원격주행 정보처리장치(500)는 프로세서(510), 메모리(520) 및 네트워크 통신 회로(530)를 포함한다.
프로세서(510)는 환경 정보(x)를 수집하고, 수집된 환경 정보(x)를 가공 및 처리하여 ToD 맵을 생성하여 메모리(520)에 저장하도록 구성된다. 예를 들어, 환경 정보(x)는 전술된 네트워크 상태, 교통량, 대역폭과 같이 원격주행에 영향을 미치는 파라미터 정보들의 적어도 일부 또는 전부를 포함할 수 있다. 또한, 프로세서(510)는 ToD 맵과 차량(110)의 위치에 기반하여 차량(110)의 주행경로에 대해 원격주행의 지원이 가능한지를 나타내는 ToD 지원정보를 생성하고, 네트워크 통신 회로(530)를 통해 ToD 지원정보를 전송하도록 구성된다.
이러한 프로세서(510)의 동작을 기능 단위 또는 모듈로 구분하여 나타내면 도 16과 같다.
도 16은 일 실시예에 따른 원격주행 정보처리장치의 프로세서를 도시한 블록도이다.
도 16을 참조하면, 프로세서(510)는 정보 수집 모듈(511), 정보 정규화 모듈(512), 측정모듈(513) 및 맵 생성 모듈(514)을 포함한다.
정보 수집 모듈(511)는 환경 정보(x)를 입력받는다. 환경 정보(x)는 다양한 소스로부터 수집될 수 있다. 일례로서, 환경 정보(x)는 ToV 단말 장치(400)로부터 제공될 수 있다. 환경 정보(x)의 개수를 i라 하면, 환경 정보(x)는 그 개수에 따라 xi로 표현될 수도 있다. 예를 들어, x1은 네트워크 상태 정보를 나타내고, x2는 교통량 정보를 나타내며, x3은 대역폭 정보를 나타낼 수 있다.
환경 정보(x)는 다양한 소스로부터 입력되기 때문에, 제각각 다른 형식과 포맷으로 수신될 수 있다. 예를 들어, 도로의 교통량에 대한 정보는 지도의 link ID 및 이에 대한 속성으로 표현된다. 따라서, 정보 수집 모듈(511)은 수집된 환경 정보(x)에 일차적인 필터링(filtering)을 가하고, 사용할 수 있는 정상 정보(X)만을 분류한다.
정보 정규화 모듈(512)은 측정을 위해 상기 정상 정보를 정규화(normalization)하여 정규화된 정보(
Figure PCTKR2023001156-appb-img-000001
)를 생성하도록 구성된다. 예를 들어, 정상 정보는 0~1 값으로 정규화될 수 있다.
측정모듈(513)은 정규화된 정보를 원격주행의 지원이 가능한지 판단하는 척도로 환산 또는 변환한다. 이러한 환산(또는 변환)에 사용되는 함수를 F라 하자. 입력 정보는 정규화된 정보(
Figure PCTKR2023001156-appb-img-000002
)이고, 출력 정보는 Y이므로 Y=F(
Figure PCTKR2023001156-appb-img-000003
)의 관계가 성립한다. 측정모듈(513)은 상기 환산된 정보를 위치기반으로 나타낸 위치기반 정보를 생성 및 저장한다.
맵 생성 모듈(514)은 측정모듈(513)에 의해 생성된 위치기반 정보(Y)를 메모리(520)에 저장하도로 구성된다. 또한, 맵 생성 모듈(514)은 원격주행차량(110)의 현재 위치(GPS 기반) 및 원격제어 차량(110)의 주행경로(또는 예상경로)를 기반으로 ToD 지원정보 (y)를 생성(또는 추출)하도록 구성된다. 맵 생성 모듈(514)는 네트워크 통신 회로(530)를 통해 ToD 지원정보(y)를 ToV 단말 장치(400)의 ToV 제어기 또는 원격제어 센터(450)으로 전송하도록 구성된다.
프로세서(510)는 ASIC(Application Specific Integrated Circuit), DSP(Digital Signal Processor), PLD(Programmable Logic Devices), FPGAs(Field Programmable Gate Arrays), CPU(Central Processing unit), 마이크로 컨트롤러(microcontrollers) 및 마이크로 프로세서(microprocessors) 중 어느 하나로서 구현될 수 있다. 메모리(520)는 ROM(read-only memory), RAM(random access memory), 플래시 메모리, 메모리 카드, USB 메모리, 저장 매체 및/또는 다른 저장 장치를 포함할 수 있다.
다시 도 15를 참조하면, 네트워크 통신 회로(530)는 프로세서(510)의 명령에 따라 ToD 지원 정보를 ToV 단말 장치(400) 또는 원격제어 센터(450)로 전송하도록 구성된다. 또한, 네트워크 통신 회로(530)는 원격제어 차량(110)의 위치정보(GPS) 및/또는 주행경로(Path)를 ToV 단말 장치(450)으로부터 수신하여 프로세서(510)로 전달하도록 구성된다.
도 17은 일 실시예에 따른 ToD 맵과 차량의 주행경로의 예시이다.
도 17을 참조하면, 왼쪽 그림은 ToD 맵으로서, 원격주행 지원 가능지역(또는 구역, 도로)과 원격주행 지원 불가능 지역(또는 구역, 도로)를 구분하여 표시한다. 오른쪽 그림은 원격제어 차량의 주행경로가 ①->②->③->④로 설정되어 있음을 보여준다.
현재 원격제어 차량이 위치한 구간 ①은 원격주행 지원이 불가능한 도로이므로, 원격주행 정보처리장치는 원격주행 지원 불가능을 지시하는 ToD 지원 정보를 생성하고, 상기 ToD 지원정보를 ToV 단말 장치(400) 또는 원격제어 센터(450)로 전송한다. 이 경우, ToV 단말 장치(400) 또는 원격제어 센터(450)는 원격제어 차량(110)을 일반주행 모드로 설정할 수 있다.
이후, 원격제어 차량이 구간 ②로 진입하면, 구간 ②는 원격주행 지원이 가능한 도로이므로 원격주행 정보처리장치는 원격주행 지원 가능을 지시하는 ToD 지원정보를 생성하고, 상기 ToD 지원정보를 ToV 단말 장치(400) 또는 원격제어센터(450)로 전송한다. 이 경우, ToV 단말 장치(400) 또는 원격제어 센터(450)는 원격제어 차량(110)을 원격주행 모드로 설정할 수 있다. 이후 구간 ③, ④도 모두 원격주행 지원이 가능한 도로이므로 원격주행 정보처리장치는 원격주행 지원 가능을 지시하는 ToD 지원정보를 생성하고, 상기 ToD 지원정보를 ToV 단말 장치(400) 또는 원격제어 센터(450)로 전송할 수 있다.
도 18은 일 실시예에 따른 ToD 맵과 원격주행 모드의 관계를 나타내는 도면이다.
도 18을 참조하면, ToD 맵은 원격주행 지원이 가능한 구간(810)과 원격주행 지원이 불가능한 구간(820)을 지리적으로 구분한다. 따라서, 원격제어 차량(800)이 원격주행 지원이 가능한 구간(810)으로 진입하면 원격주행 모드로 주행하고, 원격주행 지원이 불가능한 구간(820)으로 진입하면 일반주행 모드로 주행한다.
이와 같이 ToD 맵과 ToD 지원정보를 통해 원격제어 차량(110)이 주행할 도로의 원격주행 가능 상태를 ToD 시스템 내에 공유함으로써 안전한 원격주행이 가능해질 수 있다. 또한 네트워크 상황이 나빠지기 전에 선제적으로 원격주행 여부를 결정할 수 있으므로, 네트워크 상황이 나빠진 이후 원격주행 여부를 결정하는 종래 시스템으로 인한 안전사고 문제를 해결할 수 있다.
원격주행 정보처리장치(500)를 배치 및 구현하는 실시예는 다양할 수 있다.
일례로서, 원격주행 정보처리장치(500)는 교통 인프라에 구비될 수 있다.
다른 예로서, 원격주행 정보처리장치(500)는 도 19와 같이 ToV 단말 장치(400) 내부에 포함될 수 있다.
도 19는 일 실시예에 따른 원격주행 시스템을 도시한 블록도이다.
도 19를 참조하면, ToV 단말 장치(900)는 도 14에 도시된 ToV 단말 장치(400)와 비교하여 원격주행(ToD) 정보처리장치(500)를 포함한 것에 차이가 있고 나머지 구성요소는 동일하다. 원격주행 정보처리장치(500)는 ToV 제어기(401) 및 네트워크 장치(403)와 연결되어 상호간에 신호를 교환한다. 예를 들어, 원격주행 정보처리장치(500)는 ToD 지원정보를 ToV 제어기(401) 또는 네트워크 장치(403)에 제공한다. 원격제어 센터(950)는 도 14에 도시된 원격제어 센터(450)과 동일하다.
또 다른 예로서, 원격주행 정보처리장치(500)는 원격제어 차량(110) 내부에 포함될 수 있다.
또 다른 예로서, 원격주행 정보처리장치(500)는 도 20과 같이 원격제어 센터(450) 내부에 포함될 수 있다.
도 20은 다른 실시예에 따른 원격주행 시스템을 도시한 블록도이다.
도 20을 참조하면, 원격제어 센터(1050)는 도 14에 도시된 원격제어센터(950)과 비교하여 원격주행(ToD) 정보처리장치(500)를 포함한 것에 차이가 있고 나머지 구성요소는 동일하다. 원격주행 정보처리장치(500)는 ToC 제어기(452) 및 네트워크 장치(451)와 연결되어 상호간에 신호를 교환한다. 예를 들어, 원격주행 정보처리장치(500)는 ToD 지원정보를 ToC 제어기(452) 또는 네트워크 장치(451)에 제공한다. ToV 단말 장치(1000)는 도 14에 도시된 ToV 단말 장치(400)와 동일하다.
또 다른 예로서, 원격주행 정보처리장치(500)는 도 21과 같이 클라우드에 포함될 수 있다.
도 21은 또 다른 실시예에 따른 원격주행 시스템을 도시한 블록도이다.
도 21을 참조하면, 원격주행(Tod) 정보처리장치(500)는 클라우드(1120)에 구비되며, ToV 단말 장치(1100) 및 원격제어 센터(1150)는 도 14에 도시된 ToV 단말 장치(400) 및 원격제어 센터(450)와 동일하다. 이 경우, 클라우드는 ToD 맵을 저장하고 ToD 지원정보를 ToV 단말 장치(1100) 또는 원격제어 센터(1150)로 전송할 수 있다. 여기서, 클라우드(1120)는 MEC(mobile access edge control) 모듈을 포함할 수 있으며, 원격주행 정보처리장치(500)는 MEC 모듈에 통합하여 구비될 수 있다.
원격주행정보 기반 자율 주행 제어
도 22는 본 개시의 일 실시예의 원격 주행 시스템을 설명하는 도면이다.
원격 주행(Tele-operated driving, ToD) 시스템(100)은 자율 주행 기능이 탑재된 차량, 즉, 자율 주행 차량과 원격지 서버가 유/무선 네트워크를 통해 연동되어, 자율 주행 차량의 운행 중 문제 발생 시, 원격지 서버의 원격 제어(tele-operated)를 통해 자율 주행 차량을 직-간접적으로 감시 및 제어하는 기술로서 최근 다방면으로 연구 개발되고 있다.
원격 주행 기술은 원격지 센터(120)에서 자율 주행 차량(110)을 원격으로 조작하는 기술로서 원격 주행 시스템(100)은 크게 세가지 구성 요소로 이루어진다.
도 22를 참조하면, 원격 주행 시스템(100)은 원격 제어가 가능한 자율 주행 차량인 원격 제어 차량(Tele-operated vehicle, ToV, 110), 네트워크(network, 130) 및 원격으로 차량을 제어하는 원격 제어 센터(Tele-operated center, ToC, 120)로 구성될 수 있다. 이때, 원격 제어 차량(110)은 자율 주행이 가능하며, 환경모델(E/M) 부호화가 가능하다. 또한, 네트워크(130)는 5G 통신망이 이용될 수 있으나 이에 한정되지는 않으며, 당업자의 설계에 따라 4G 통신망 또는 6G 통신망 또는 다른 이동 통신망이 이용될 수 있다. 또한, 원격 제어 센터(120)는 환경모델(E/M) 복호화가 가능하며, 디스플레이를 통한 원격 감시 및 차량의 원격 조작이 가능할 수 있다.
원격 제어 차량(110)은 원격 제어 대상 차량으로서, 자율 주행 기능을 반드시 탑재하고, 각종 자율 주행에 필요한 각종 안전 센서(Safety Sensor)를 구비할 수 있다. 여기서, 안전 센서는 첨단 운전자 보조 장치인 ADAS(Adwnced Driver Assistance System)를 구현하기 위한 카메라, 레이다(Radar), 라이다(Lidar), 소나(Sound Navigation And Ranging, SONAR) 센서 등을 포함할 수 있으나, 이에 한정되지는 않는다.
카메라는 인간의 눈에 해당되는 차량 센서로서, 렌즈를 통해 시각적으로 주변 사물을 인식하고, 인식된 주변 사물을 통해 주행 상황을 인식하기 위한 용도로 사용될 수 있다.
카메라는 이미지 센서에 의해 얻어지는 정지영상 또는 동영상 등의 화상 프레임을 처리할 수 있다. 이때 처리된 화상 프레임은 디스플레이에 표시되거나 메모리에 저장될 수 있다. 또한, 자율주행 차량에 설치되는 복수의 카메라는 매트릭스 구조를 이루도록 배치될 수 있으며, 이와 같은 매트릭스 구조를 이루는 카메라를 통하여 다양한 각도 또는 초점을 갖는 복수의 영상 정보가 입력될 수 있다. 또한, 복수의 카메라는 입체영상을 구현하기 위한 좌 영상 및 우 영상을 획득하도록 스테레오 구조로 배치될 수 있다.
본 발명의 일 실시예에서, 카메라는 자율 주행 차량의 운전자 시야 데이터를 센싱할 수 있다. 여기에서, 운전자 시야 데이터는 차량 외부 영상을 포함할 수 있다.
레이다는 전자기파를 발사하고 반사돼 돌아오는 신호를 기반으로 주변 사물과의 거리, 속도, 방향 등의 정보를 추출할 수 있다. 레이다는 사용 주파수에 따라 단거리부터 중거리, 장거리를 모두 감지할 수 있으며, 긴급자동제동장치, 스마트 크루즈 컨트롤 등에 활용될 수 있다. 자율주행차량에 3대의 레이다 센서를 나란히 설치하면, 전방 180도 시야를 확보할 수 있다. 레이다는 날씨 등에 영향을 받지 않고, 먼 거리에 있는 장애물의 존재를 확인할 수 있기 때문에 현재 운행 중인 차량에도 많이 적용되어 있는 센서이다.
라이다는 레이저(빛)를 물체와 주고받으며 3차원 지도를 형성하여 사물의 원근감, 형태, 거리, 속도를 인식할 수 있다. 라이다는 주로 905나노미터(nm)의 짧은 파장을 이용해 레이더보다 공간 분해능력이 훨씬 정밀할뿐만 아니라 자체 광원으로 빛이 부족환 환경에서도 성능에 영향을 덜 받는 장점이 있다. 따라서, 라이다는 자율 주행 시스템의 신뢰도를 높이는데 중요한 역할을 수행한다.
소나는 레이더와 용도가 유사하나, 전자파가 아닌 음파 전송 후 객체에 충돌한 후 다시 반사되어 수신되는 시간을 측정하여 전방 또는 후방 객체를 감지하고, 객체까지의 거리를 측정하는 센서이다. 소나는 주로 차량이 후진할 때 후방의 시야 사각지대의 객체를 감지하고, 이를 운전자에게 알리는 용도로 사용되고 있다. 음파는 전자파에 비해 훨씬 느린 속도로 전파되기 때문에 작은 물체도 높은 해상도로 확인할 수 있는 장점이 있다.
원격 제어 차량(110)은 각 센서로부터 수집된 센싱 데이터를 결합 및 융합하는 센서 퓨전 기술 및 AI 기술 등을 적용하여 자율 주행을 위한 최적의 주행 알고리즘을 제공할 수 있다.
원격 제어 차량(110)은 수집된 센싱 데이터를 네트워크(130)를 통해 원격 제어 센터(120)로 전송할 수 있다.
원격 제어 센터(120)는 수집된 센싱 데이터를 기초로 제어 데이터를 생성하고, 생성된 제어 데이터를 네트워크(130)를 통해 원격 제어 차량(110)에 전송할 수 있다.
여기에서, 환경모델은 차량의 속도/위치/방향/차량 상태 등을 식별하기 위한 센싱 정보를 제공하는 차량 센서(속도, 위치, 방향, 차량 상태) 및 주변 객체 인식 및 인식된 객체의 이동 궤적을 추정하여 차량의 주행을 제어하는 자율 주행 센서들-예를 들면, 라이다, 레이다, 소나, V2X 통신, 카메라 등-를 이용하여 주변 환경 데이터를 모델링한 것에 대응한다.
특히, 원격 주행 시스템(100)을 구현하기 위하여 통신환경 극복을 위한 네트워크 적응(network adaptation) 기술이 반드시 필요하며, 업링크(uplink) 및 다운링크(downlink) 기술, 자율 주행 기술을 포함하며, 이 중 업링크 기술은 영상 및 센서로부터 센싱 데이터 전송과 관련되고, 다운링크 기술은 원격 제어 센터(120)로부터 원격 제어 차량(110)를 제어하기 위한 제어 데이터 생성 및 전송과 관련될 수 있다.
이하, 업링크 전송에 대하여 설명한다.
원격 제어 차량(ToV, 110)은 적어도 두 가지 환경모델을 부호화하여 원격 제어 센터(ToC, 120)로 전송할 수 있다. 이때, 원격 제어 차량(110)은 센싱 데이터를 포함하는 환경모델을 인코더(encoder)를 통해 부호화하여 네트워크(130, 예를 들어, 5G)를 통해 원격 제어 센터(120)으로 전송할 수 있다. 한편, 원격 제어 센터(120)는 수신된 환경모델을 디코더(decoder)를 통해 복호화하여 구비된 디스플레이(display)을 통해 출력할 수 있다.
이때, 두가지 환경모델은 운전자 시야 데이터 및 차량 센싱 데이터를 포함할 수 있다. 이때, 운전자 시야 데이터는 차량 외부 영상(4채널 또는 2채널)을 압축하여 전송할 수 있고, 차량 센서 데이터는 차량 위치에 대한 센싱 정보 및 차량 운행 상태에 관한 센싱 정보를 포함할 수 있다. 차량 운행 상태에 대한 센싱 정보는 주행 속도에 관한 정보, 제동(브레이크) 제어 정보, 가속(악셀) 제어 정보, 조향 제어 정보, 충격 감지 정보 등을 포함할 수 있으나, 이에 한정되지는 않는다.
이를 위하여, 저지연 영상통신 기술, 빠르고 안정적인 네트워크 기술, 저지연 디스플레이 기술 등이 요구된다. 이를 통하여 영상 및 네트워크의 delay 및 latency를 최대한 줄여 데이터의 정확하고 빠른 통신 달성이 가능하다.
이하, 다운링크 전송에 대하여 설명한다.
원격 제어 센터(ToC, 120)는 원격 제어 차량(110)의 상태를 파악하여 직/간접적인 제어 신호를 생성하고, 생성된 제어 신호를 원격 제어 차량(110)으로 전송할 수 있다. 여기에서, 직접적인 제어 신호는 차량 구동 장치를 제어하기 위한 제어 데이터를 포함할 수 있다. 이에 따라, 원격 제어 센터(ToC, 120)는 차량 구동 장치를 위한 제어 데이터를 생성하여 전송할 수 있다. 또한, 간접적인 제어 신호는 운전자 가이드 데이터를 포함할 수 있다. 이에 따라, 원격 제어 센터(120)는 운전자 가이드 데이터를 생성하여 원격 제어 차량(110)에게 전송할 수 있다.
이를 위하여, 전송된 환경모델 이해를 통한 차량 상태 및 제어 형태 추론 기술 등이 요구되며, 환경모델 이해를 통한 정확한 차량 제어 형태 정의가 중요하게 된다.
실시 예에 따른 원격 제어 센터(120)는 원격 제어 차량(110)으로부터 수집된 환경 모델을 기초로 특정 도로 구간-예를 들면, 전방 자율 주행이 불가한 도로 구간-에 대한 원격 주행 궤적 경로(또는 웨이포인트(Way Point) 및/또는 루트(Route) 및/또는 트랙(Track))를 산출하고, 산출된 원격 주행 궤적 경로를 외부 클라우드 서버 또는 로컬 엣지(Local Edge) 서버 또는 프라이빗 서버에 등록 및 저장할 수 있다. 이때, 등록된 원격 주행 궤적 경로는 해당 도로 구간을 통과하는 다른 자율 주행 차량에 공유될 수 있으며, 다른 자율 주행 차량은 획득된 원격 주행 궤적 경로에 기반하여 해당 도로 구간에서의 차량 제어를 수행할 수 있다.
일 예로, 원격 주행 궤적 경로에 대한 정보(또는 간단히 원격 주행 정보)는 웨이포인트, 루트 및 트랙 중 적어도 하나로 구성될 수 있다. 여기서, 웨이포인트는 경유지 및 관심지점(Point of Interest) 또는 지도상에 명명된 특정 개체를 의미할 수 있다. 루트는 목적지로 이어지는 일련의 턴포인트(turn point)를 나타내는 웨이포인트들의 순차적 목록을 의미할 수 있다. 트랙은 경로(path)를 묘사하는 트랙포인트들의 순차적 목록을 의미할 수 있다.
도 23은 본 개시의 일 실시예에 따른 원격 주행 시스템의 세부 구성을 설명하기 위한 도면이다. 이하, 도 22에서 상술한 설명과 중복되는 부분은 생략하도록 한다.
도 23을 참조하면, 원격 주행 시스템(200)은 원격 제어 차량(210), 데이터 부호화부(211), 제 1 네트워크 적응부(212), 원격 제어 센터(220), 데이터 복호화부(221), 제 2 네트워크 적응부(222) 및 네트워크(230)를 포함할 수 있다. 다만, 여기에서, 원격 주행 시스템(200)이 상술한 구성을 모두 포함한다는 의미는 물리적으로 포함한다는 의미가 아닌 원격 주행 시스템(200) 내에서 서로 연결되어 동작 가능함을 의미한다.
원격 제어 차량(210)은 데이터 부호화부(211)를 통하여 센싱된 데이터를 압축 및/또는 부호화하고 원격 제어 센터(220)로 전송할 수 있다. 이때, 제 1 네트워크 적응부는 네트워크(230)의 상태를 모니터링하면서 시스템 파라미터를 조절할 수 있다.
또한, 원격 제어 센터(220)는 데이터 복호화부(221)를 통하여 원격 제어 차량(210)이 전송한 센싱 데이터를 수신하고 복호화 및/또는 압축 해제할 수 있다.
이때, 제 1 네트워크 적응부(212)은 원격 제어 차량(210)의 로직을 수행할 수 있고, 제 2 네트워크 적응 부(222)는 원격 제어 센터(220)의 로직을 수행할 수 있다.
도 24는 본 개시의 일 실시 예에 따른 원격 제어 차량의 일반적인 동작을 설명하기 위한 도면이다.
도 24를 참조하면, 원격 제어 차량은 크게 정보 제공 주체(301), 처리 및 판단 주체(302), 동작 주체(303)를 포함하여 구성될 수 있다.
정보 제공 주체(301)는 처리 및 판단 주체(302)로 고정밀 지도 정보 및 각종 센싱 정보를 제공할 수 있다.
도 24에 도시된 바와 같이, 정보 제공 주체(301)는 고정밀 지도 저장소, 안전 센서(Safety Sensor) 및 차량 센서(Vehicle Sensor)를 포함할 수 있다.
고정밀 지도(또는 HD 지도)는 차선, 교차로, 공사 구간, 도로 표지판 등 도로나 교차로의 표면에 대한 세부적인 정보를 포함하고 있다. 고정밀 지도는 단순히 자율 주행 차량의 위치를 파악하기 위한 용도 이외에도 차량 운행에 필요한 경로를 결정하기 위한 다양한 정보를 제공할 수 있다.
일 예로, 안전 센서는 카메라, 소나 센서, 라이다, 레이다 등을 포함하고, 차량 센서는 휠 센서, 관성 센서(Inertial Measurement Unit, IMU),위성항법시스템(Global Navigation Satellite System, GNSS) 등을 포함할 수 있다.
GNSS와 IMU는 차량의 위치를 측정하고, 관성 정보 및 지리적 위치에 대한 측정 값을 200Hz 이상의 빠른 주기로 처리 및 판단 주체(302)에 제공할 수 있다. GPS의 느린 주기와 높은 정확도, IMU의 빠른 주기와 큰 누적 오차의 장/단점들을 잘 융합하도록 칼만 필터가 사용될 수 있다.
라이다는 지도 매핑, 로컬라이제이션, 장애물 회피 등에 사용될 수 있으며, 레이저 빛의 ToF(Time of Flight)를 측정해 거리를 측정하고 단색 3D 맵을 생성할 수 있다. 라이다는 정확도가 높기 때문에 HD맵을 생성하고 이동중인 차량 위치를 로컬라이제이션(추정)한 뒤, 전방의 장애물을 감지하는 작업에 주로 사용될 수 있다.
카메라는 차로, 신호등, 보행자 감지 등과 같이, 객체 인지 및 추적 작업에 활용될 수 있다. 일 예로, 안전성을 높이기 위해 1080p 카메라가 8개 이상 사용될 수 있다. 카메라 센싱 정보를 기초로 처리 및 판단 주체(302)는 전방, 후방, 좌/우 측장의 객체를 감지 및 인지하여 추적할 수 있다.
레이더와 소나는 장애물 회피를 위한 최후의 수단으로 사용될 수 있다. 레이더와 소나의 센싱 정보는 차량 이동 경로 선상에서 가장 가까이 있는 대상까지의 거리와 속도 정보를 제공할 수 있다.
처리 및 판단 주체(302)는 자율 주행 제어기에 해당될 수 있다.
자율 주행 제어기는 고정밀 측위부, 경로 생성부, V2X(Vehicle to Everything) 통신부, 자율 주행 판단부, 센서 퓨전부, 제어명령생성부 및 원격 주행 연결부를 포함하여 구성될 수 있다.
고정밀 측위부는 센싱 정보를 기초로 차량의 위치 및 자세를 측정 및/또는 추정할 수 있다.
경로 생성부는 센싱 정보를 기초로 차량의 주행 경로를 생성할 수 있다.
V2X 통신부는 V2X 통신 기능을 제공할 수 있다. V2X 통신은 유/무선 통신을 통해 다른 차량, 보행자, 인프라가 구축된 사물 등과 정보를 교환하는 통신 기술을 의미한다. V2X는 V2V(vehicle-to-vehicle), V2I(vehicle-to-infrastructure), V2N(vehicle-to- network) 및 V2P(vehicle-to-pedestrian)와 같은 4 가지 유형으로 구분될 수 있다. V2X 통신은 PC5 인터페이스 및/또는 Uu 인터페이스를 통해 제공될 수 있다.
자율 주행 판단부는 운전자의 자율 주행 요청에 따라 자율 주행이 가능한 경우, 자율 주행 모드로 진입하도록 제어할 수 있다.
센서퓨전부는 각 센서로부터 수집된 센싱 정보가 가지는 장점 및 특성들을 융합하여 차량 근거리 주변의 정보들을 HD-MAP상에 표현할 수 있다.
센서 퓨전을 통해 고정밀 측위부는 차선 단위 고정밀 측위가 가능하고, 경로 생성부는 차량의 지근 거리 경로를 생성할 수 있다.
제어명령생성부는 V2X 통신을 통해 근거리 상황 정보를 획득할 수 있으며, 상술한 고정밀 측위 결과 및 경로 생성 결과, 그리고 V2X 통신을 통해 획득된 근거리 상황 정보를 종합적으로 고려하여 객체 인지 및 객체의 위치를 추적하고, 이를 기반으로 동작 주체(303)를 위한 제어 명령을 생성할 수 있다.
원격 주행 연결부(또는 ToD 연결부)는 자율 주행 중 최근 법제화되고 있는 원격 주행으로의 전환 기능을 수행할 수 있다.
원격 주행 연결부는 자율 주행 중 전방 도로 구간의 자율 주행이 불가하거나, 또는 원격 제어 센터의 제어권 전환 요청이 수신되거나, 또는 운전자로부터 원격 주행이 요청된 경우 자율 주행 모드를 원격 주행 모드로 전환시킬 수 있다.
동작 주체(303)는 엔진 ECU(Electronic Control Unit), 제동 ECU, 조향 ECU, 변속 ECU 등을 포함할 수 있다. 동작 주체(303)는 처리 및 판단 주체(302)로부터 수신되는 제어 명령에 따라 동작할 수 있다.
도 25는 종래 자율 주행이 가지는 문제점을 설명하기 위한 도면이다.
모든 자율 주행 차량은 스스로의 정보를 이용하여, 자율 주행 가능성과 가능하지 않음을 판단하고 자율 주행이 가능할 때 자율 주행을 수행한다.
모든 자율 주행 기술들은 이러한 정보를 이용하여 주변 상황을 얼마나 정확하게 판단하느냐가 중요한 요소이며, 이를 위해 좀더 정확한 센서, 좀더 정확한 알고리즘, 좀더 정확한 제어 방법이 요구되고 있다.
하지만, 현재 자율 주행 기술은 아직 인식할 수 없는 객체가 존재하며, 이에 따라 인식하지 못한 객체로 인한 충돌 사고가 빈번히 발생되고 있다.
센서 정보를 기초로 감지 및 인식된 객체 정보와 지도상의 객체 정보가 상이한 복잡한 트래픽지역-예를 들면, 차선이 막힌 공사 구간-에서는 기존의 주행 규칙 -예를 들면, 실선을 넘어갈 수 없거나, 도로 밖으로는 차량이 진입할 수 없음-를 따를 경우, 더 이상 자율 주행이 불가할 수 있다.
이와 같은 자율 주행의 문제점을 극복하기 위해, 최근 원격 주행(Teleoperated Drivingm, ToD) 기술이 법제화되고 있으며, 이 기술은 자율 주행 차량이 자율 주행이 불가한 경우, 원격지에서 원격으로 차량을 제어하는 기술이다
즉, 현재 자율 주행 기술들은, "자율 주행 센서들이 검출한 정보를 기반으로 자율 주행을 하거나, 상술한 바와 같이, 특수한 경우 중앙선을 넘는 등의 법규 위반을 할 수 없다거나, 주변 정보가 갱신되기 전까지는 그 지역의 자율 주행이 불가능하다거나, 차량이 갖는 자율 주행 능력(level.1 ~ level.5)을 벗어나는 자율 주행을 수행할 수 없다-예를 들면, lv.2 자율 주행 차량은 상기와 같은 경우 차선을 바꾸어 가면서 자율 주행을 수행할 수 없음)"는 점이 단점으로 작용한다.
따라서 이러한 지역에서는 자율 주행 차량은 원격 제어 센터로 ToD 로의 전환을 요청하고, 원격지에서는 사람이 주행 상황을 모니터링하면서 차량을 원격으로 제어함으로써 자율 주행의 상술한 단점을 극복할 수 있다.
하지만, 상기와 같은 특정한 지역에서는 해당 지역을 통과하는 모든 차량이 ToD로의 전환을 요청하게 되고, 이에 따라 원격지에서는 순차적으로 해당 지역을 통과하는 모든 차량을 직접 제어해야 하므로, 원격 제어 센터의 부하가 증가할 뿐만 아니라, 현실적으로 이를 대응하기 위해서는 많은 인력이 소요되는 문제점이 있다.
본 발명은 이와 같은 자율 주행 차량의 능력과 ToD 시스템의 장점을 이용하여 원활한 자율 주행을 가능하게 하는 방법을 제안한다.
도 25를 참조하면, 우회전 후 공사장 콘(Cone) 존재하므로 해당 구간을 통과하는 자율 주행 차량들은 해당 도로 구간에서 자율 주행을 수행할 수 없다. 이 경우, 1번 차량은 원격 제어 센터로 ToD 를 요청하여 원격지에서 원격 제어를 통해 해당 도로 구간을 통과할 수 있다.
하지만, 1번 차량을 뒤따르는 2/3/4 번 차량 모두 ToD가 필요한 상황이며, 이와 같은 경우 ToD를 위한 원격지의 과부하로 심각한 교통 체증을 야기시킬 수 있다.
반대편 차선의 경우, 도로가 아닌 곳을 통과해야 하므로 차량들은 해당 구간을 자율 주행을 통해 스스로 통과할 수 없으며, ToD 요청 시 원격 제어 센터의 과부하로 인해 원활한 주행이 불가능할 수 있다.
도 26은 본 개시의 실시 예에 따른 원격 주행 정보 기반 자율 주행 제어가 가능한 원격 주행 시스템 구성도이다.
도 26을 참조하면, 원격 주행 시스템(500)은 크게 원격 제어 차량(ToV, 510), 원격 제어 센터(ToC, 520), 공유 서버(530) 및 네트워크(540)을 포함하여 구성될 수 있다.
원격 제어 차량(510)은 지도저장소(511), 센서(512), 차량 ECU(513), 자율 주행 제어기(514), ToD 정보 저장소(515), ToD 카메라(516) 및 ToD 연결 장치(517)을 포함하여 구성될 수 있다.
지도저장소(511)는 자율 주행에 필요한 고정밀 지도를 유지하고, 해당 고정밀 지도에 대한 정보를 자율 주행 제어기(514)에 제공하기 위해 사용될 수 있다.
센서(512)는 ADAS를 위한 안전 센서들로부터의 각종 센싱 정보 및 차량 센서들로부터의 각종 센싱 정보를 자율 주행 제어기(514)에 제공할 수 있다.
차량 ECU(513)는 자율 주행 제어기(514)의 제어 명령에 따라 해당 ECU를 제어할 수 있다.
센서(512) 및 차량 ECU(513)에 대한 구체적인 설명은 상술한 도면들의 설명으로 대체한다.
ToD 정보 저장소(515)는 공유 서버(530)로부터 획득한 원격 주행 정보가 유지될 수 있다. 일 예로, ToD 정보 저장소(515)에 유지되는 원격 주행 정보는 공유 서버(530)에 원격 주행 정보와 동기화되어 유지될 수 있다. 실시 예로, 공유 서버(530)는 원격 주행 정보의 버전이 변경된 경우, 변경된 버전 정보를 원격 제어 차량(510)에 제공할 수 있으며, 원격 제어 차량(510)은 ToD 정보 저장소(515)에 저장된 원격 주행 정보의 버전과 공유 서버(530)에 저장된 원격 주행 정보의 버전이 상이한 경우, 공유 서버(530)로부터 최신 원격 주행 정보를 네트워크(540)를 통해 다운로드하여 동기화시킬 수 있다. 일 예로, 원격 주행 정보는 해당 도로 구간에 상응하는 웨이포인트(Waypoint) 어레이(Array) 정보, 루트 정보 및 트랙 정보 중 적어도 하나를 포함할 수 있으나, 이에 한정되지는 않는다.
자율 주행 제어기(514)는 전방 도로 구간에 대한 자율 주행이 가능한지 여부를 판단할 수 있다. 만약, 전장 도로 구간에 대한 자율 주행이 불가한 경우, ToD 정보 저장소(515)에 저장된 원격 주행 정보를 이용하여 자율 주행을 유지할 수 있는지 여부를 판단할 수 있다. 원격 주행 정보를 통해 자율 주행 유지가 가능한 경우, 자율 주행 제어기(514)는 원격 주행 정보를 활용하여 자율 주행을 유지하고, 자율 주행 유지가 불가한 경우, ToD 연결 장치(517)로 원격 주행을 요청할 수 있다.
이상의 설명에서는 자율 주행 제어기(514)가 원격 주행 정보를 처리하는 것으로 설명되어 있으나, 이는 하나의 실시 예에 불과하며, 원격 주행 정보는 원격 제어 차량(510)에 구비된 다른 프로세서를 통해 처리된 후 자율 주행 제어기(514)에 제공될 수도 있다.
ToD 연결 장치(517)는 자율 주행 제어기(514)로부터 원격 주행이 요청된 경우, 네트워크(540)를 통해 원격 제어 센터(520)에 접속하여 원격 주행 제어를 요청할 수 있다. ToD 연결 장치(517)와 원격 제어 센터(520)는 원격 주행을 위해 네트워크(540)상의 통신 세션(또는 통신 채널)을 설정할 수 있다.
이 후, ToD 연결 장치(517)는 ToD 카메라(516)를 통해 촬영된 영상을 처리하여 설정된 통신 세션을 통해 원격 제어 센터(520)로 전송할 수 있다. 일 예로, ToD 카메라(516)를 통해 촬영된 영상-즉, 원격 주행 영상 또는 ToD 영상-은 소정 압축 알고리즘으로 압축된 후 부호화되어 전송될 수 있다.
ToD 연결 장치(517)는 설정된 통신 세션을 통해 수신된 원격 주행 제어 신호를 자율 주행 제어기(514)에 전달할 수 있다. 자율 주행 제어기(514)는 수신된 원격 주행 제어 신호에 상응하는 제어 명령을 생성하여 차량 ECU(513)의 동작을 제어할 수 있다.
원격 제어 센터(520)는 ToC 제어기(521), 디스플레이(522) 및 원격지 운전 장치(523)를 포함하여 구성될 수 있다.
ToC 제어기(521)는 통신 수단-예를 들면, 이더넷 통신 모듈, 광통신 모듈 등-이 구비되어 네트워크(540)를 통해 원격 제어 차량(510)과 통신 세션을 설정한 후 각종 정보를 교환할 수 있다. ToC 제어기(521)는 설정된 통신 세션을 통해 수신되는 ToD 영상을 복호 후 압축 해제하여 디스플레이(522)에 출력할 수 있다.
원격지 운전자는 디스플레이(522)상에 출력된 영상을 모니터링하면서 원격지 운전 장치(523)를 제어할 수 있다.
원격지 운전 장치(523)에 의해 발생된 제어 신호-즉, 원격 주행 제어 신호-는 ToC 제어기(521)를 통해 원격 제어 차량(510)으로 전송될 수 있다.
ToC 제어기(521)는 ToD 영상 및 해당 ToD 영상에 상응하는 원격 주행 제어 신호에 기반하여 원격 주행 정보를 생성하고, 생성된 원격 주행 정보를 공유 서버(530)에 등록할 수 있다. 여기서, 원격 주행 정보는 정보 생성 일시에 관한 정보, 해당 도로 구간의 위치 정보, 인식된 객체 정보, 맵 정보, 웨이포인트(Waypoint) 정보, 루트 정보 및 트랙 정보를 포함하여 구성될 수 있으나, 이에 한정되지는 않으며, 그보다 많거나 적은 정보로 구성될 수 있다.
도 27은 본 개시의 실시 예에 따른 원격 제어 센터의 상세 동작을 설명하기 위한 도면이다.
도 27을 참조하면, 원격 제어 센터(600)는 통신장치(610), 복호기(620), 객체검출기(630), 정밀 측위 예측기(640), 주제어기(650), 모니터링 장치(660) 및 원격지 운전 장치(670) 중 적어도 하나를 포함하여 구성될 수 있다.
복호기(620)는 통신장치(610)를 통해 수신된 ToD 영상 신호를 복호 후 압축해제한 후 ToD 영상 정보를 모니터링 장치(660) 및 객체 검출기(630)에 제공할 수 있다. 이때, ToD 영상은 모니터링 장치(660)의 디스플레이 화면에 출력될 수 있다.
원격지 운전자는 디스플레이 화면에 표시되는 영상을 모니터링하면서 원격지 운전 장치(670)를 이용하여 원격지 운전을 수행할 수 있다. 여기서, 원격지 운전 장치(670)는 조향 핸들, 악셀 패달, 브레이크 패달 등의 기본적인 주행 제어 수단뿐만 아니라 램프 및 와이퍼 등 각종 차량 기능을 제어할 수 있는 수단이 구비될 수 있다.
객체 검출기(630)는 ToD 영상 정보에 기반하여 객체를 검출 및 인식하고, 인식된 객체의 이동 궤적을 추적할 수 있다. 실시 예에 따른 객체 검출기(630)는 차량의 현재 위치에 상응하는 객체 인식 정보-예를 들면, 인식된 객체가 매핑된 맵정보- 및 인식된 객체의 이동 궤적에 관한 정보를 통신 장치(610) 및 네트워크(695)를 통해 공유 서버(690)에 등록할 수 있다.
정밀 측위 예측기(640)는 원격지 운전 장치(670)를 통해 발생된 제어 신호-예를 들면, 조향각, 브레이크 강도, 엑셀 강도, 속도 등-를 기반으로 해당 차량의 현재 위치-또는 전방 도로 구간-에 상응하는 원격 주행 궤적 경로에 관한 정보를 생성할 수 있다.
여기서, 원격 주행 궤적 경로에 관한 정보는 웨이포인트(Waypoint) 어레이(Array) 정보, 루트 정보 및 트랙 정보 중 적어도 하나를 포함할 수 있다.
실시 예로, 보다 정밀한 예측 경로를 생성하기 위해 정밀 측위 예측기(640)는 객체 검출기(630)에 인식된 객체 정보 및 해당 객체의 이동 궤적에 관한 정보를 수신하고, 객체 검출기(630)로부터 수신된 정보 및 원격지 운전 장치(670)로부터 수신된 원격 주행 제어 신호에 기반하여 차량의 현재 위치-또는 현재 차량이 주행 중인 도로 구간-에 상응하는 원격 주행 궤적 경로에 관한 정보를 생성할 수도 있다.
정밀 측위 예측기(640)는 차량의 현재 위치에 상응하여 생성된 원격 주행 궤적 경로에 관한 정보를 통신 장치(610) 및 네트워크(695)를 통해 공유 서버(690)에 등록할 수 있다.
주제어기(650)는 원격지 운전 장치(670)로부터 발생되는 원격 주행 제어 신호를 통신 장치(610) 및 네트워크(695)를 통해 원격 제어 차량(680)에 전송할 수 있다.
이상에서 설명한 바와 같이, 본 개시에 따른 원격 제어 센터(600)는 자율 주행 불가로 인해 생성된 원격 주행 정보를 공유 서버(690)에 실시간 공유함으로써, 해당 도로 구간을 뒤따르거나 주행하는 다른 자율 주행 차량들이 공유된 원격 주행 정보를 이용하여 자율 주행을 유지할 수 있는 장점이 있다.
즉, 본 개시에 따르면, 선행 차량의 원격 주행 정보를 클라우드 또는 Local Edge 등 공유 공간에 저장함으로써, 후행 차량이 원격 주행 모드로의 전환 없이 자율 주행을 유지할 수 있는 장점이 있다.
도 28은 본 개시의 실시 예에 따른 자율 주행 제어기의 상세 동작을 설명하기 위한 도면이다.
도 28을 참조하면, 자율 주행 제어기(700)는 원격 주행 정보 저장소(710), 고정밀 측위부(720), 경로 생성부(730), V2X 통신부(740), 자율 주행 판단부(750), 센서 퓨전부(760), 제어 명령 생성부(770) 및 원격 주행 연결부(780)를 포함하여 구성될 수 있다.
원격 주행 정보 저장소(710)에 저장된 원격 주행 정보는 고정밀 측위부(720), 경로 생성부(730) 및 자율 주행 판단부(740)에 의해 참조될 수 있다.
상술한 공유 서버(530, 690)에 저장된 원격 주행 정보는 자율 주행이 불가한 도로 구간 별로 관리될 수 있으며, 해당 도로 구간을 주행하는 모든 자율 주행 차량에 공유될 수 있다. 실시 예로, 자율 주행 차량은 자율 주행 시 자신의 현재 주행 경로에 상응하는 원격 주행 정보를 공유 서버(530, 690)와 동기화하여 유지할 수 있다.
고정밀 측위부(720)는 해당 도로 구간에 상응하는 원격 주행 정보와 차량 자체적으로 생성한 정밀 측위 정보를 비교하여 그 차이 값을 계산할 수 있다.
경로 생성부(730)는 해당 도로 구간에 상응하는 원격 주행 정보와 차량 자체적으로 생성한 경로 정보를 비교하여 그 차이 값을 계산할 수 있다.
일 예로, 자율 주행 판단부(750)는 고정밀 측위부(720)와 경로 생성부(730)에 의해 계산된 차이 값들에 기반하여 자율 주행 유지 여부를 결정할 수 있다.
다른 일 예로, 자율 주행 판단부(750)는 상기 계산된 차이 값들 및 V2X 통신부(740)를 통해 수집된 주변 차량/환경 정보에 기반하여 자율 주행 유지 여부를 결정할 수도 있다.
실시 예에 따른 자율 주행 판단부(750)는 상기 계산된 차이 값들이 각각의 소정 기준치를 초과하는 것에 기반하여 해당 도로 구간에서 자율 주행을 유지할 수 없는 것으로 판단할 수 있다.
이 경우, 자율 주행 판단부(750)는 해당 도로 구간에 상응하는 원격 주행 정보가 원격 주행 정보 저장소(710)에 존재하는지 여부를 판단할 수 있다. 판단 결과, 원격 주행 정보가 존재하는 경우, 경로 생성부(730)에 의해 생성된 경로가 아닌 원경 주행 정보에 따른 원격 주행 궤적 경로를 이용하여 자율 주행 수행함으로써, 자율 주행 모드를 유지할 수 있다.
만약, 해당 도로 구간에 상응하는 원격 주행 정보가 존재하지 않는 경우, 자율 주행 판단부(750)는 공유 서버(530, 690)에 접속하여 해당 도로 구간에 상응하는 원격 주행 정보를 획득할 수도 있다. 이후, 공유 서버(530, 690)으로부터 획득된 원격 주행 정보에 기반하여 다시 계산된 차이 값들과 비교하여 자율 주행 유지가 가능한지 여부를 결정할 수도 있다.
반면, 상술한 실시 예를 통해, 자율 주행 유지가 불가한 것으로 최종 판단된 경우, 자율 주행 판단부(750)는 원격 주행 모드로의 전환을 위해 원격 주행 연결부(780)에 원격 주행 연결을 요청할 수 있다. 원격 주행 연결부(780)는 자율 주행 판단부(750)의 요청에 따라 원격 주행 센터(520, 600)로 원격 주행을 요청하여 원격 주행 서비스를 제공받을 수 있다.
센서퓨전부(760)는 상술한 도면들의 설명으로 대체한다.
제어명령생성부(770)는 최종 결정된 경로에 따라 차량 ECU를 제어하기 위한 제어 명령을 생성할 수 있다.
도 29는 실시 예에 따른 원격 주행 시스템에서의 원격 주행 정보를 공유 서버에 등록하는 절차를 설명하기 위한 흐름도이다.
도 29를 참조하면, 원격 제어 차량(801)은 자율 주행 기능이 탑재되어 자율 주행 모드로 동작할 수 있다(S811).
원격 제어 차량(801)은 자율 주행 모드로 주행 중 전방 도로 구간의 자율 주행이 가능한지 여부를 판단할 수 있다(S813).
판단 결과, 자율 주행이 가능하면, 자율 주행 모드를 유지하고, 자율 주행이 불가한 경우, 원격 제어 차량(801)은 자율 주행 모드에서 원격 주행 모드로 전환할 수 있다(S815). 원격 주행 모드에 진입한 원격 제어 차량(801)은 네트워크를 통해 원격 제어 센터(802)와 통신이 연결될 수 있다.
원격 제어 차량(801)은 원격 주행 모드에서 원격 주행 카메라에 의해 촬영된 영상 정보를 원격 제어 센터(802)로 전송할 수 있다(S817).
원격 제어 센터(802)는 원격 제어 차량(801)으로부터 수신된 영상 정보와 원격지 운전 장치로부터의 제어 신호에 기반하여 현재 주행 중인 도로 구간(또는 현재 차량의 위치)에 상응하는 원격 주행 정보를 생성할 수 있다(S819).
원격 제어 센터(802)는 생성된 원격 주행 정보를 공유 서버(803)에 등록할 수 있다(S821). 여기서, 등록된 원격 주행 정보는 원격 제어 차량(801)을 뒤따르는 다른 자율 주행 차량에 공유되거나 해당 도로 구간을 경유하는 다른 자율 주행 차량에게 공유되어 활용될 수 있다.
원격 제어 센터(802)는 원격 주행 제어 신호를 원격 제어 차량(801)으로 전송할 수 있다(S823).
원격 제어 차량(801)은 원격 제어 센터(802)로부터 수신된 원격 주행 제어 신호에 따라 차량을 제어할 수 있다(S825).
도 30은 본 개시의 실시 예에 따른 차량에서의 원격 주행 정보 기반의 자율 주행 제어 방법을 설명하기 위한 순서도이다.
본 실시 예에 따른 차량은 자율 주행 모드 및 원격 주행 모드를 모두 지원하는 차량일 수 있다.
도 30을 참조하면, 차량은 자율 주행 모드로 주행할 수 있다(S910).
차량은 자율 주행 모드로 동작 중 전방 도로 구간에서 자율 주행이 가능한지 여부를 판단할 수 있다(S920).
판단 결과, 자율 주행이 가능한 경우, 차량은 자율 주행 모드를 유지하고, 만약, 판단 결과, 자율 주행이 불가한 경우, 차량은 전방 도로 구간에 상응하여 기 저장된 원격 주행 정보가 원격 주행 정보 저장소에 존재하는지 확인할 수 있다(S930).
확인 결과, 전방 도로 구간에 상응하는 원격 주행 정보가 존재하는 경우, 정밀 측위 정보와 경로 생성 정보를 해당 원격 주행 정보와 비교할 수 있다(S940). 일 예로, 상기 940 단계의 비교 단계에서, 차량은 원격 주행 정보와 경로 생성 정보의 경로 차이 값을 계산하고, 원격 주행 정보와 정밀 측위 정보와의 위치 차이 값을 계산할 수 있다.
차량은 상기 940 단계의 비교 결과에 기반하여 차량은 원격 주행 정보를 이용하여 주행이 가능한지 판단할 수 있다(S950).
판단 결과, 원격 주행 정보를 이용하여 주행이 가능한 경우, 차량은 원격 주행 정보에 기반하여 자율 주행을 수행함으로써 자율 주행 모드를 유지할 수 있다(S960). 일 예로, 차량은 상기 계산된 위치 차이 값 및 경로 차이 값이 각각 해당 기준치 이내인 경우, 원격 주행 정보가 자율 주행을 위해 사용 가능한 것으로 판단할 수 있다. 반면, 차량은 일 예로, 차량은 상기 계산된 위치 차이 값 및 경로 차이 값이 각각 해당 기준치를 초과하는 경우, 원격 주행 정보가 자율 주행을 위해 사용될 수 없는 것으로 판단할 수 있다.
상기 950 단계의 판단 결과, 원격 주행 정보를 이용하여 주행이 가능하지 않은 경우, 차량은 자율 주행 모드에서 원격 주행 모드로 전환할 수 있다(S970).
또한, 상기 930 단계에서 전방 도로 구간에 상응하여 저장된 원격 주행 정보가 존재하지 않는 경우, 차량은 자율 주행 모드에서 원격 주행 모드로 전환할 수도 있다.
도 31은 본 개시의 실시 예에 따른 차량에서의 원격 주행 정보를 갱신하는 방법을 설명하기 위한 순서도이다.
차량은 자율 주행 모드로 주행 중 원격 주행 정보의 갱신이 필요한지 여부를 판단할 수 있다(S1010 내지 S1020). 일 예로, 차량은 내부 원격 주행 정보 저장소에 유지된 원격 주행 정보의 버전과 공유 서버에 저장된 원격 주행 정보의 버전이 상이한 경우, 원격 주행 정보의 갱신이 필요한 것으로 판단할 수 있다. 일 예로, 공유 서버는 원격 주행 정보의 버전이 변경된 경우, 해당 차량에 새로운 원격 주행 정보 버전 정보가 포함된 원격 주행 정보 갱신 알림 메시지를 전송할 수 있으며, 차량은 알림 메시지에 포함된 버전과 자신이 가지고 있는 원격 주행 정보의 버전을 비교하여 원격 주행 정보의 갱신이 필요한지 판단할 수 있다.
판단 결과, 원격 주행 정보의 갱신이 필요한 경우, 차량은 공유 서버로부터 최신 버전의 원격 주행 정보를 획득하여 원격 주행 정보 저장소에 저장할 수 있다(S1030).
실시 예로, 차량은 설정된 주행 경로에 상응하는 원격 주행 정보가 원격 주행 정보 저장소에 존재하지 않는 경우, 공유 서버로 해당 주행 경로에 상응하는 원격 주행 정보를 요청하여 획득할 수도 있다.
실시 예로, 후행 차량은 선행 차량으로부터 전방 도로 구간이 자율 주행이 불가함을 알리는 소정 경고 알람 메시지를 수신할 수 있다. 이 경우, 차량은 공유 서버로 전방 도로 구간에 대한 원격 주행 정보를 요청하여 획득할 수 있으며, 획득된 원격 주행 정보에 기초하여 자율 주행이 가능한지 여부를 판단할 수 있다. 판단 결과, 자율 주행이 가능한 경우, 차량은 공유 서버로부터 획득된 원격 주행 정보를 이용하여 자율 주행을 유지할 수 있다.
다른 실시 예로, 선행 차량은 전방 도로 구간에 대한 원격 주행 정보를 원격 주행 센터로부터 획득할 수도 있다. 이 경우, 선행 차량은 경고 알람 메시지와 함께 전방 도로 구간에 대한 원격 주행 정보를 V2V 통신을 통해 후행 차량에게 전송할 수도 있다. 이 경우, 후행 차량은 별도의 공유 서버 접속 없이도 전방 자율 주행이 불가한 도로 구간에 대한 원격 주행 정보를 획득함으로써, 원격 주행 모드로의 전환 없이 자율 주행을 유지할 수 있다. 또한, 후행 차량은 해당 도로 구간을 주행하는 다른 후행 차량이 존재하는 경우, 원격 주행 정보가 포함된 경고 알람 메시지를 V2V 통신을 통해 다른 후행 차량에 릴레이하여 전달할 수도 있다.
도 32는 본 개시의 실시 예에 따른 차량간 통신을 통해 원격 주행 정보 기반 자율 주행 제어를 수행하는 방법을 설명하기 위한 흐름도이다.
본 실시 예에서, 제2 차량은 제1 차량의 후행 차량으로 제1 차량과 제2 차량은 각각 V2X 통신 수단이 구비되어 차량간 통신을 수행할 수 있다고 가정한다.
도 32를 참조하면, 해당 도로 구간상에서 선행 차량인 제1 차량은 자율 주행 모드로 주행 중 더 이상 전방 도로 구간에서 자율 주행이 불가한 경우, 자율 주행 모드에서 원격 주행 모드로 전환하여 구비된 ToD 카메라를 통해 촬영된 원격 주행 영상을 원격 제어 센터(1103)로 전송함으로써 원격 주행 제어를 수행할 수 있다(S1111 내지 S1113). 여기서, 원격 제어 센터(1103)는 제1 차량(1102)으로부터 수신된 원격 제어 영상을 기반으로 원격 주행 제어 신호를 생성하여 제1 차량(1102)을 원격 제어할 수 있다.
원격 제어 센터(1103)는 원격 주행 영상 및 원격 주행 제어 신호를 기반으로 생성된 원격 제어 정보를 공유 서버(1104)에 등록할 수 있다(S1115).
제1 차량(1102)은 자율 주행 모드에서 원격 제어 모드로 전환 후 전방 도로 구간에서 자율 주행이 불가함을 알리는 소정 경고 알람 메시지를 V2V 통신을 통해 자율 주행 모드로 동작 중인 후행 차량인 제2 차량(S1101)으로 전송할 수 있다(S1117).
제2 차량(1101)은 전방 도로 구간에서 자율 주행이 불가함을 알리는 경고 알람 메시지가 제1 차량(1102)으로부터 수신된 경우, 전방 도로 구간에 상응하는 원격 주행 정보가 자신의 원격 주행 정보 저장소에 존재하는지 여부를 확인할 수 있다(S1119).
확인 결과, 해당 원격 주행 정보가 존재하지 않는 경우, 제2 차량(1101)은 공유 서버(1104)에 접속하여 전방 도로 구간에 상응하는 원격 주행 정보를 다운로드하여 동기화시킬 수 있다(S1121).
상기한 1119 단계의 확인 결과, 해당 원격 주행 정보가 존재하거나 원격 주행 정보의 동기화에 성공한 경우, 제2 차량(1101)은 해당 원격 주행 정보를 이용하여 자율 주행 모드를 유지할 수 있다(S1123).
ODD 정보 제어
이하에서는 상술한 실시예들에 기반하여, 자율 주행 차량을 위한 운행 설계 영역(Operational Design Domain, ODD)를 원격 제어 센터와 연동되는 ODD 서버 시스템을 통해 해당 지역 내 모든 자율 주행 차량에 동일한 ODD 정보를 제공함으로써 자율 주행의 안전성과 효율성을 향상시키는 것이 가능한 자율 주행 차량을 위한 작동 설계 영역 제공 기술에 대해 설명한다.
도 33은 본 개시의 실시 예에 따른 원격 주행 시스템의 상세 구조를 설명하기 위한 도면이다.
도 33을 참조하면, 원격 주행 시스템(400)은 크게 원격 제어 차량(ToV, 410), 원격 제어 센터(ToC, 420) 및 네트워크(430)을 포함하여 구성될 수 있다.
원격 제어 차량(410)은 차량 센서(411), 자율주행제어기(412), 차량 ECU(413), ToD 카메라(414), 영상압축기(415), 원격주행제어기(416), 네트워크상태예측기(417) 및 송수신기(418) 중 적어도 하나, 또는 그것들의 조합을 통해서 구성될 수 있다.
상기 도 33에 도시되어 있지는 않지만, 원격 제어 차량(410)은 지도저장소(미도시)를 더 포함하여 구성될 수 있다. 지도저장소는 자율 주행에 필요한 고정밀 지도를 유지하고, 해당 고정밀 지도에 대한 정보를 자율 주행 제어기(412)에 제공하기 위해 사용될 수 있다.
차량 센서(411)는 ADAS를 위한 안전 센서들로부터 수신되는 각종 센싱 정보 및 그 외의 다양한 차량 내 구비된 다른 센서 및/또는 차량 ECU(413)로부터의 각종 센싱 정보를 수집하여 자율 주행 제어기(412)에 제공할 수 있다.
일 예로, 차량 센서(411)에 의해 수집되는 정보는 네-바퀴 휠틱, 스티어링 조향각, 속도, 가속도, 차량 자세 제어, 타이어 압력 등 차량의 OBD(On-Board Diagnostic) 장치로부터 쉽게 취득할 수 있는 정보들을 포함할 수 있다.
차량 ECU(413)는 자율 주행 제어기(412)의 제어 명령에 따라 동작하는 다양한 ECU들을 포함할 수 있다.
차량 센서(411) 및 차량 ECU(413)에 대한 구체적인 설명은 상술한 도면들의 설명으로 대체한다.
실시 예에 따른 자율 주행 제어기(412)는 자율 주행 모드로 주행 중 더 이상 자율 주행 유지가 불가하거나, 운전자 또는 원격지 요청에 따라 원격 주행 모드로의 전환이 요청된 경우, 원격 주행 모드로의 전환을 원격 주행 제어기9416)에 요청할 수 있다.
일 예로, 자율 주행 제어기(412)는 전방 도로 구간에 대한 고정밀 지도 정보가 존재하지 않거나, 전방 장애물 식별이 불가한 상황 등이 감지되었거나, 기준치 이상의 외부 충격이 감지된 경우 자율 주행 유지가 더 이상 어려운 것으로 판단할 수 있다.
원격주행제어기(416)는 자율 주행 모드에서 원격 주행 모드로 전환된 경우, ToD 카메라(414)를 구동시킬 수 있다.
ToD 카메라(414)에 의해 촬영된 영상은 영상압축기(415)를 통해 압축된 후 송수신기(418)를 통해 원격 제어 센터(420)로 전송될 수 있다. 일 예로, ToD 카메라(414)는 원격 제어 차량(410)의 전/후/좌/우 4개의 영상을 촬영할 수 있으며, 원격 제어 센터(420)로 전송되는 차량 영상 정보는 촬영된 4개의 영상 중 적어도 하나를 포함할 수 있다.
네트워크상태예측기(417)는 현재 네트워크 상태를 모니터링하여 원격 제어 센터(420)와의 통신에 적합한 채널을 선택할 수 있다.
영상압축기(415)에 의해 압축된 영상 데이터 및 차량 센서(411)로부터 수집된 차량 센싱 데이터는 송수신기(418)를 통해 인코딩 및 변조되어 네트워크상태예측기(417)에 의해 선택된 채널을 통해 전송될 수 있다.
실시 예에 따른 원격주행제어기(416)는 네트워크상태예측기(417)에 의해 선택된 채널 정보에 기반하여 영상압축기(415)의 압축률을 결정할 수 있으며, 영상압축기(415)는 결정된 압축률에 따라 영상 압축을 수행할 수 있다. 일 예로, 채널 상태가 양호할수록, 영상 압축률은 높게 결정되고, 채널 상태가 열악할수록 영상 압축률은 낮게 결정될 수 있다.
원격주행제어기(416)는 송수신기(418)를 통해 원격 제어 센터(420)로부터 차량 제어 명령을 수신할 수 있다.
원격주행제어기(416)는 수신된 차량 제어 명령을 자율주행제어기(412)로 전달할 수 있다. 자율주행제어기(412)는 수신된 차량 제어 명령에 따라 차량 ECU(413)를 제어할 수 있다.
원격제어센터(420)는 원격제어센터제어기(ToC controller, 421), 송수신기(422), 영상복호기(423), 모니터링장치(424), 원격지운전장치(425), 4D 엑추에이터(426), 스피커(428) 및 사고 인식 및 예방 장치(427) 중 적어도 하나 또는 그것들의 조합들로 포함하여 구성될 수 있다.
원격지 운전자는 디스플레이 화면에 표시되는 영상을 모니터링하면서 원격지 운전 장치(425)를 이용하여 원격지 운전을 수행할 수 있다. 여기서, 원격지 운전 장치(425)는 조향 핸들, 악셀 패달, 브레이크 패달, 기어 장치 등의 기본적인 주행 제어 수단뿐만 아니라 인포테인먼트 시스템, 램프 및 와이퍼 등 각종 차량 기능을 제어할 수 있는 수단을 구비할 수 있다.
실시 예에 따른 사고 인식 및 예방 장치(427)는 소프웨어적으로 로딩(Loading)/언로딩(Unloading) 및/또는 하드웨어적으로 장착/탈착이 가능한 구조로 구현될 수 있다. 따라서, 사고 인식 및 예방 장치(427)는 기존 원격 제어 센터(420)와 독립적으로 구현되어 적용될 수 있다. 즉, 사용자의 선택에 사고 인식 및 예방 장치(427)는 원격 제어 센터(420)에 포함되거나 포함되지 않을 수 있다.
송수신기(422)는 네트워크(430)를 통해 수신된 신호를 복조 및 디코딩하여 원격제어센터제어기(421)에 제공할 수 있다.
원격제어센터제어기(421)는 송수신기(422)를 통해 원격 제어 차량(410)으로부터의 영상 정보 및 차량 센서 정보를 수신할 수 있다. 여기서, 영상 정보는 압축된 영상 정보일 수 있다.
원격제어센터제어기(421)는 영상 정보를 영상복호기(423)로 전달하여 압축 해제하고, 압축 해제된 영상 정보를 모니터링장치(424)로 전송하고, 모니터링장치(424)는 영상 정보를 구비된 화면에 표시할 수 있다.
원격지 운전자는 모니터링 화면을 보면서 원격지 운전 장치(425)를 조작할 수 있다.
원격지 운전 장치(425)의 조작에 따라 생성된 차량 제어 명령은 원격제어센터제어기(421) 및/또는 송수신기(422)를 통해 원격 제어 차량(410)에 전송될 수 있다.
실시 예로, 차량 제어 명령은 사고 인식 및 예방 장치(427)에 제공될 수도 있다. 이때, 차량 제어 명령은 원격제어센터제어기(421)를 통해 제공될 수 있으나, 이는 하나의 실시 예에 불과하며, 원격지 운전 장치(425)와 사고 인식 및 예방 장치(427) 사이에 직접 연결 선로가 구성된 경우, 원격지 운전 장치(425)에 의해 생성된 차량 제어 명령이 직접 사고 인식 및 예방 장치(427)에 제공될 수도 있다.
실시 예로, 원격제어센터제어기(421)는 압축 해제된 영상 정보를 사고 인식 및 예방 장치(427)에 제공할 수 있으나, 이는 하나의 실시 예에 불과하며, 영상복호기(423)와 사고 인식 및 예방 장치(427) 사이에 직접 연결 선로가 구성된 경우, 원격제어센터제어기(421)를 경유하지 않고, 압축 해제된 영상 정보는 영상복호기(423)로부터 사고 인식 및 예방 장치(427)에 직접 전달될 수 있다.
사고 인식 및 예방 장치(427)는 차량 센서 정보를 원격제어센터제어기(421)로부터 수신할 수 있으나, 이는 하나의 실시 예에 불과하며, 송수신기(422)와 사고 인식 예방 장치(427) 사이에 직접 연결 선로가 구현된 경우, 차량 센서 정보는 송수신기(422)로부터 사고 인식 예방 장치(427)에 직접 제공될 수도 있다.
사고 인식 및 예방 장치(427)는 영상 정보, 차량 센서 정보 및 차량 제어 명령 중 적어도 하나, 또는 그것들의 조합에 기반하여 차량 상태 및 충격 상태를 결정하고, 결정된 차량 상태 및 충격 상태에 기반하여 인포테인먼트 장치 및/또는 4D 엑추에이터(426) 및/또는 스피커(428)의 출력을 제어하기 위한 제어 신호를 생성할 수 있다.
사고 인식 및 예방 장치(427)는 영상 정보, 차량 센서 정보 및 차량 제어 명령을 전처리 과정을 통해 시계열적으로 동기화한 후 각각에 대한 분석을 수행하여 특성 값들을 추출할 수 있다.
사고 인식 및 예방 장치(427)는 추출된 특성 값들에 대한 학습-예를 들면, 딥러닝 또는 머신 러닝- 또는 함수 연산을 통해 차량 상태 및 충격 상태를 추정할 수 있다.
사고 인식 및 예방 장치(427)는 추정된 차량 상태 및 충격 상태에 기반하여 인포테인먼트 제어 신호 및/또는 햅틱 제어 신호를 생성할 수 있다. 여기서, 인포테인먼트 제어 신호는 모니터링장치(424)의 화면 일측에 표시될 그래픽/문자 알람 메시지 및/또는 스피커(428)를 통해 출력될 음성 알람 메시지를 포함하고, 햅틱 제어 신호는 해당 4D 엑추에이터(426)의 동작을 제어하기 위한 엑추에이터 제어 신호를 포함할 수 있다.
상술한 바와 같이, 본 개시에 따른 원격지 제어 센터(420)는 사고 인식 및 예방 장치(427)를 구비함으로써, 각종 경고 알람 메시지 출력 및 엑추에이터 출력을 제어할 수 있으며, 이를 통해, 원격지 운전자가 보다 정확하고 빠르게 실제 사고 발생을 정확히 인지하고 추가 사고 발생 위험을 감지하여 피해를 경감시키거나 추가 사고 발생을 미연에 방지할 수 있는 장점이 있다.
특히, 원격지 운전자는 사고 인식 및 예방 장치(427)에 의해 제공되는 정보를 기반으로 분석 및 판단한 결과를 후술할 ODD 서버(또는 ODD 정보 전송기)에 제공할 수 있으며, ODD 서버(또는 ODD 정보 전송기)는 원격지 운전자의 분석 및 판단 결과를 고려하여 ODD 정보를 생성 및/또는 갱신할 수 있다.
도 34는 본 개시의 실시 예에 따른 ODD 제공 시스템 구성도이다.
도 34를 참조하면, ODD 제공 시스템(500)은 크게 원격 제어 차량(ToV, 510), 원격 제어 센터(ToC, 520), ODD 서버(530) 및 네트워크(540)을 포함하여 구성될 수 있다.
원격 제어 차량(510)은 지도저장소(511), 센서(512), 차량 ECU(513), 자율 주행 제어기(514), ODD 정보 저장소(515), ToD 카메라(516) 및 ToD 연결 장치(517)을 포함하여 구성될 수 있다.
지도저장소(511)는 자율 주행에 필요한 고정밀 지도를 유지하고, 해당 고정밀 지도에 대한 정보를 자율 주행 제어기(514)에 제공하기 위해 사용될 수 있다.
센서(512)는 ADAS를 위한 안전 센서들로부터의 각종 센싱 정보 및 차량 센서들로부터의 각종 센싱 정보를 자율 주행 제어기(514)에 제공할 수 있다.
차량 ECU(513)는 자율 주행 제어기(514)의 제어 명령에 따라 해당 ECU를 제어할 수 있다.
센서(512) 및 차량 ECU(513)에 대한 구체적인 설명은 상술한 도면들의 설명으로 대체한다.
ODD 정보 저장소(515)는 ODD 서버(530)로부터 획득한 ODD 정보가 유지될 수 있다.
일 예로, ODD 정보 저장소(515)에 유지되는 ODD 정보는 ODD 서버(530)에 저장된 ODD 정보와 동기화되어 유지될 수 있다. 실시 예로, ODD 서버(530)는 ODD 정보의 버전이 변경된 경우-즉, ODD 정보가 생성/추가/갱신된 경우-, 변경된 버전 정보를 원격 제어 차량(510)에 제공할 수 있으며, 원격 제어 차량(510)은 ODD 정보 저장소(515)에 저장된 ODD 정보의 버전과 ODD 서버(530)에 저장된 ODD 정보의 버전이 서로 상이한 경우, ODD 서버(530)로부터 최신 ODD 정보를 네트워크(540)를 통해 다운로드하여 동기화시킬 수 있다. 일 예로, ODD 정보는 구간 별 차선 및/또는 도로에 상응하는 자율 주행 가능 영역을 ON/OFF로 표시한 제1 정보 및 구간 별 차선 및/또는 도로에 상응하는 자율 주행 가능 레벨에 관한 정보 및 주행 가능 방향에 관한 정보 중 적어도 하나로 구성된 제2 정보 중 적어도 하나를 포함할 수 있으며, ODD 정보에 포함될 제1 정보 및/또는 제2 정보는 전방 발생된 이벤트 타입에 따라 동적으로 결정될 수 있다.
다른 일 예로, ODD 정보 저장소(515)에 유지되는 ODD 정보는 원격 제어 차량(510)의 주행 경로에 상응하는 전체 구간에 대한 ODD 정보가 유지될 수 있다. ODD 서버(530)는 원격 제어 차량(510)의 현재 위치에 상응하는 구간의 ODD 정보가 갱신된 경우, 해당 갱신된 구간의 ODD 정보를 원격 제어 차량(510)으로 전송할 수 있다. 원격 제어 차량(510)은 갱신된 구간의 ODD 정보를 ODD 정보 저장소(515)에 저장하여 ODD 서버(530)와 ODD 정보를 동기화시킬 수 있다.
자율 주행 제어기(514)는 ODD 정보 저장소(515)에 유지된 ODD 정보를 기반하으로 전방 도로 구간에 대한 자율 주행을 제어할 수 있다. 만약, 전방 도로 구간에 대한 자율 주행이 불가한 경우, 자율 주행 제어기(514)는 수동 제어 모드(또는 메뉴얼 모드)로 전환시키거나 원격 주행 모드로 전환시킬 수 있다.
자율 주행 제어기(514)는 원격 주행 모드로의 전환이 필요한 경우, ToD 연결 장치(517)로 원격 주행을 요청할 수 있다.
이상의 설명에서는 자율 주행 제어기(514)가 원격 주행 정보를 처리하는 것으로 설명되어 있으나, 이는 하나의 실시 예에 불과하며, 원격 주행 정보는 원격 제어 차량(510)에 구비된 다른 프로세서를 통해 처리된 후 자율 주행 제어기(514)에 제공될 수도 있다.
ToD 연결 장치(517)는 자율 주행 제어기(514)로부터 원격 주행이 요청된 경우, 네트워크(540)를 통해 원격 제어 센터(520)에 접속하여 원격 주행 제어를 요청할 수 있다. ToD 연결 장치(517)와 원격 제어 센터(520)는 원격 주행을 위해 네트워크(540)상의 통신 세션(또는 통신 채널)을 설정할 수 있다.
이 후, ToD 연결 장치(517)는 ToD 카메라(516)를 통해 촬영된 영상을 처리하여 설정된 통신 세션을 통해 원격 제어 센터(520)로 전송할 수 있다. 일 예로, ToD 카메라(516)를 통해 촬영된 영상-즉, 원격 주행 영상 또는 ToD 영상-은 소정 압축 알고리즘으로 압축된 후 부호화되어 전송될 수 있다.
ToD 연결 장치(517)는 설정된 통신 세션을 통해 수신된 원격 주행 제어 신호를 자율 주행 제어기(514)에 전달할 수 있다. 자율 주행 제어기(514)는 수신된 원격 주행 제어 신호에 상응하는 제어 명령을 생성하여 차량 ECU(513)의 동작을 제어할 수 있다.
원격 제어 센터(520)는 ToC 제어기(521), 디스플레이(522) 및 원격지 운전 장치(523)를 포함하여 구성될 수 있다.
ToC 제어기(521)는 네트워크(540)를 통해 원격 제어 차량(510) 및 ODD 서버(530)와 연동될 수 있다.
ToC 제어기(521)는 통신 수단-예를 들면, 이더넷 통신 모듈, 광통신 모듈, 근거리 무선 통신 모듈 등-이 구비되어 네트워크(540)를 통해 원격 제어 차량(510)과 통신 세션을 설정한 후 각종 정보를 교환할 수 있다. ToC 제어기(521)는 설정된 통신 세션을 통해 수신되는 ToD 영상을 복호 후 압축 해제하여 디스플레이(522)에 출력할 수 있다.
원격지 운전자는 디스플레이(522)상에 출력된 영상을 모니터링하면서 원격지 운전 장치(523)를 조작하여 원격 제어 차량(510)을 제어할 수 있다.
원격지 운전 장치(523)에 의해 발생된 제어 신호-즉, 원격 주행 제어 신호-는 ToC 제어기(521)를 통해 원격 제어 차량(510)으로 전송될 수 있다.
ToC 제어기(521)는 원격지 운전자에 의해 입력된 분석 및 판단 결과에 대한 정보를 ODD 서버(530)에 전송할 수 있다. 여기서, 분석 및 판단 결과는 전방 도로 구간에 발생된 이벤트의 타입에 관한 정보, 이벤트가 발생된 차선에 관한 정보, 추전 주행 경로에 관한 정보 및 추천 ODD 구간 개수에 대한 정보 중 적어도 하나를 포함하여 구성될 수 있으나, 이에 한정되지는 않으며, 당업자의 설계에 따라 그보다 많거나 적은 정보 또는 다른 정보가 추가로 구성될 수 있다.
ODD 서버(530)는 원격 제어 센터(520)로부터 수신된 원격지 운전자의 분석 및 판단 결과 및/또는 외부 장치로부터 수신된 다양한 이벤트 정보를 기초로 분석을 수행하여 ODD 맵을 작성하고, 작성된 ODD 맵에 구간 별 각 차선 및 도로에 상응하는 ODD 정보를 매핑하여 내부 저장소에 저장할 수 있다.
ODD 서버(530)는 원격 제어 차량(510)으로부터 수신된 자율 주행 정보에 기반하여 내부 저장소에 저장된 해당 ODD 정보를 추출하고, 추출된 ODD 정보를 네트워크(540)를 통해 원격 제어 차량(510)에 전송할 수 있다. 여기서, 자율 주행 정보는 ODD 요청 메시지에 포함되어 수신되고, 추출된 ODD 정보는 ODD 응답 메시지에 포함되어 전송될 수 있다.
일 예로, 자율 주행 정보는 원격 제어 차량(510)의 주행 경로에 관한 정보 및/또는 현재 위치에 관한 정보-예를 들면, 위/경도 정보-를 포함할 수 있으나, 이에 한정되지는 않으며, 차량 식별 정보, 현재 주행 속도에 관한 정보 및 현재 주행 차선에 관한 정보, 현재 주행 중인 도로의 제한 속도에 관한 정보 중 적어도 하나를 더 포함할 수 있다.
도 35는 자율 주행 차량의 자동화 레벨이 정의된 테이블이다.
자율 주행 차량은 자동차 스스로 주행 환경을 인지하여 위험을 판단하고 주행 경로를 제어하면서 운전자의 주행조작을 최소화하며 차량 스스로 운전하는 차량을 의미한다.
궁극적으로, 자율 주행 차량은 사람의 영향 없이 주행, 조종 및 주차가 가능한 차량을 의미하며, 자율 주행 자량의 핵심 토대인 자율 주행 기술-즉, 운전자의 능동적인 제어나 모니터링 없이도 차량을 운행할 수 있는 능력-이 최고도로 발전된 상태에 있는 차량에 초점을 맞춘 것이다.
도 35를 참조하면, 자동화 단계 LEVEL 0 내지 2는 운전자에 의해 주행 환경이 모니터링된다. 반면 자동화 단계 LEVEL 3 내지 5는 자동화된 주행 시스템에 의해 주행 환경이 모니터링된다.
하지만, 현재 출시되고 있는 자율 주행 차량의 개념은 완전한 의미의 자율 주행 차량으로 가는 중간 단계의 자동화 단계를 포함할 수 있으며, 완전 자율 주행 차량의 양산 및 상용화를 전제로 하는 목표지향적 개념에 해당한다.
본 발명에 따른 자율 주행 제어 방법은 상기 도 35에 도시된 자율 주행의 자동화 단계 중 LEVEL 2(부분 자율 주행) 및 LEVEL 3(조건부 자율 주행)에 해당되는 자율 주행 차량에 적용될 수 있으나, 반드시 이에 한정되지 않으며, 복수의 다양한 자동화 단계를 지원하는 자율 주행 차량에 적용될 수 있다.
미국 자동차 기술자 협회인 SAE(Society of Automotive Engineers) 기준 자율 주행 차량의 자동화 레벨은 상기 도 35의 표와 같이 분류될 수 있다.
도 36은 본 개시의 실시 예에 따른 자율 주행 제어기의 상세 동작을 설명하기 위한 도면이다.
도 36을 참조하면, 자율 주행 제어기(700)는 고정밀 측위부(720), 경로 생성부(730), V2X 통신부(740), 자율 주행 판단부(750), 센서 퓨전부(760), 제어 명령 생성부(770) 및 원격 주행 연결부(780) 중 적어도 하나를 포함하여 구성될 수 있다.
ODD 정보 저장소(710)에 저장된 ODD 정보는 경로 생성부(730) 및 자율 주행 판단부(740) 등에 의해 참조될 수 있다.
이를 위해, ODD 정보는 구간 별 각 차선 및/또는 도로상에의 자동화 단계-즉, 자율 주행 레벨-에 대한 정보, 차선 변경에 관한 정보 및 자율 주행 가능 여부에 관한 정보 중 적어도 하나를 포함할 수 있다.
상술한 ODD 서버(530)에 저장된 ODD 정보는 도로 구간 단위로 관리될 수 있으며, 해당 도로 구간을 주행하는 모든 자율 주행 차량에 공유될 수 있다. 실시 예로, 자율 주행 차량은 자율 주행 시 자신의 현재 주행 경로 및/또는 위치에 상응하는 자율 주행 정보를 ODD 서버(530)에 전송하여 주행에 필요한 ODD 정보를 획득하여 내부 ODD 정보 저장소(710)에 유지할 수 있다.
고정밀 측위부(720)는 차량에 장착된 측위 시스템-예를 들면, GPS 수신기-를 이용하여 자체적으로 정밀 측위를 수행하여 차량의 현재 위치를 계산할 수 있다.
경로 생성부(730)는 차량 운전자에 의해 설정된 목적지까지의 주행 경로를 산출하고, 산출된 주행 경로에 상응하는 ODD 정보를 ODD 정보 저장소(710)로부터 추출하여 차량의 최종 경로를 결정할 수 있다.
자율 주행 판단부(750)는 ODD 정보 저장소(710)에 저장된 ODD 정보를 참조하여 현재 주행 중인 도로 구간의 해당 차선에서 자율 주행이 가능한지 여부 및 자율 주행이 가능하다면 적용 가능한 자동화 단계를 결정할 수 있다.
센서퓨전부(760)는 상술한 도면들의 설명으로 대체한다.
제어명령생성부(770)는 최종 결정된 경로에 따라 차량 ECU를 제어하기 위한 제어 명령을 생성할 수 있다.
도 37은 종래 기술에 따른 자율 주행 차량을 위한 ODD 시스템의 동작을 설명하기 위한 도면이다.
도 37을 참조하면, 종래의 ODD 시스템(800)은 자율 주행 차량 내부에 구비되며, 통신장치(810), 측위시스템(820), ODD 생성기(830), 고정밀 지도 저장소(840), 차량 센서(850), 차량 ECU(860) 및 자율 주행 제어기(870)을 포함하여 구성될 수 있다.
통신장치(810)를 통해 수신되는 외부 정보들은 ODD 생성기(830)에 제공되며, ODD 생성기(830)는 외부 정보들 및 고정밀 지도 저장소(840)에 저장된 HD 맵에 기반하여 ODD 정보를 생성할 수 있다.
자율 주행 제어기(870)는 측위 시스템(820)으로부터 수신된 정밀 측위 정보, ODD 생성기(830)로부터 수신된 ODD 정보 및 차량 센서(850)로부터 수신된 센싱 정보에 기반하여 제어 명령을 생성하고, 생성된 제어 명령을 차량 ECU(860)에 전송할 수 있다.
상기 도 37에서 설명한 바와 같이, 종래 자율 주행 차량의 ODD 시스템은 차량 내에 존재하며, 차량 외부로부터 수집된 외부 정보 및 차량 내부에 저장된 HD 맵을 기반으로 ODD 정보를 생성하고, 생성된 ODD 정보를 자기 차량의 자율 주행 능력과 비교하여 자율 주행 기능의 ON/OFF를 제어한다. 따라서, 차량 별 탑재된 HD 맵의 종류 및 차량 별 탑재된 ODD 생성 알고리즘에 따라 동일 도로 구간에 대해 각각의 차량에서 생성되는 ODD 정보는 상이할 수 있다. 이는 자율 주행의 안정성과 효율성을 현저히 저하시키는 원인이 될 수 있다.
도 38은 종래 자율 주행 차량의 ODD 보정 절차를 설명하기 위한 흐름도이다.
도 38을 참조하면, 자율 주행 차량(910)은 차량 주행 정보를 도로 관제 시스템(920)에 전송할 수 있다(S901).
도로 관제 시스템(920)은 외부 정보 제공 시스템(930)으로부터 외부 제공 정보를 획득할 수 있다(S902).
도로 관제 시스템(920)은 차량 주행 정보 및 외부 제공 정보에 기반하여 운항 설계 영역 보정 정보 및 도로 상태 정보를 생성할 수 있다(S903).
도로 관제 시스템(920)은 운항 설계 영역 보정 정보를 자율 주행 차량(910)에 전송하고(S904), 도로 상태 정보를 도로 관리팀 서버(또는 작업자 단말)(940)에 전송할 수 있다(S905).
자율 주행 차량(910)은 운항 설계 영역 보정 정보에 기반하여 ODD 보정을 수행하고, 보정된 ODD에 기반하여 차량 제어를 수행할 수 있다(S906 내지 S907).
상기 도 38에서 설명한 바와 같이, 종래 자율 주행 차량은 내부 ODD 시스템이 구비되어 외부 장치로부터 수신된 운항 설계 영역 보정 정보를 기초로 내부 HD 맵 및 ODD 생성 알고리즘에 따라 ODD 정보를 보정하여 자율 주행을 제어한다. 따라서, 차량 별 탑재된 HD 맵의 종류 및 차량 별 탑재된 ODD 생성 알고리즘에 따라 동일 도로 구간에 대해 각각의 차량에서 보정되는 ODD 정보는 상이할 수 있다. 이는 자율 주행의 안정성과 효율성을 현저히 저하시키는 원인이 될 수 있다.
도 39는 상술한 도 37 내지 38에 따른 ODD 시스템의 문제점을 설명하기 위한 도면이다.
상기 도 37 내지 38에서 설명한 바와 같이, 종래의 ODD 시스템의 단점은 차량 별 전방 도로 구간의 상태를 분석하는 방법-즉, ODD 생성 알고리즘- 및 차량 별 탑재된 HD-MAP의 종료에 따라 차량마다 제 각각의 ODD가 설정된다는 것이다. 이와 같은 ODD 시스템은 상기 도 39에 보여지는 바와 같이, 전방 도로에 이벤트(Event) 발생 시 상당히 혼잡스러운 상황을 초래할 수 있다. 예를 들어, 상기 도 39의 상황에서 일부 차량은 이벤트 발생 지점까지 탑재된 자율 주행 알고리즘 및 자율 주행 능력에 따라 천천히 진행하면서 자율 주행이 가능할 수도 있지만, 일부 다른 차량은 차량 내 탑재된 자율 주행 알고리즘 및 자율 주행 능력에 따라 자율 주행이 불가할 수 있다.
일 예로, 상기 도 39의 상황에서 자동화 레벨이 3 이상이고, ODD on 인 차량들은 막히지 않는 차선으로 차량을 제어할 수 있고, 이벤트 발생 차선에 위치한 자동화 레벨 2인 차량은 현재 주행 중인 차선에서 다른 차선으로 이동할 수 없기 때문에 계속 직진만 수행할 수 있다. 이에 따라, 차량 정체 및 사고 위험은 현저히 증가될 수 있다.
이러한 상황들은 차량의 자율 주행 능력(lv.1~5)과 각 차량들의 ODD on/off 여부에 따라 매우 혼잡하고 복잡한 원리에 의해 움직이게 된다. 심지어 몇 번째 차선에서 이벤트 발생되었는지 차량이 인지할 수 없는 경우, 해당 차량은 이벤트 발생 차선으로 진입하여 교통 혼잡 및 추가 사고를 야기할 수 있다.
도 40은 본 개시에 따른 ODD 서버의 구성을 설명하기 위한 블록도이다.
도 40을 참조하면, ODD 서버(1100)는 제1 인터페이스부(1110), 추출부(1120), ODD 저장소(1130), 생성 및 갱신부(1140), 분석부(1150) 및 제2 인터페이스부(1160) 중 적어도 하나를 포함하여 구성될 수 있다.
제1 인터페이스부(1110)는 ODD 서버(1100)와 자율주행차량 사이의 신호 송수신을 위한 인터페이스를 제공할 수 있다.
일 예로, 제1 인터페이스(1110)는 자율 주행 정보가 포함된 ODD 요청 메시지를 자율주행차량(1170)으로부터 수신하고, ODD 정보가 포함된 ODD 응답 메시지를 자율주행차량(1170)으로 전송할 수 있다.
추출부(1120)는 자율 주행 정보에 상응하는 ODD 정보를 ODD 저장소(1130)로부터 추출할 수 있다. 일 예로, 자율 주행 정보에 자율주행차량(1170)의 현재 위치에 관한 정보가 포함된 경우, 추출부(1120)는 현재 위치에 상응하는 일부 구간에 대한 ODD 정보를 추출할 수 있다. 다른 일 예로, 자율 주행 정보에 자율주행차량(1170)의 경로에 관한 정보가 포함된 경우, 추출부(1120)는 경로에 상응하는 전체 구간에 대한 ODD 정보를 ODD 저장소(1130)로부터 추출할 수 있다.
제2 인터페이스부(1160)는 ODD 서버(1100)와 원격제어센터(1180) 사이의 신호 송수신을 위한 인터페이스를 제공할 수 있다.
일 예로, 제2 인터페이스부(1160)는 원격제어센터(1180)로부터 특정 도로 구간에 대한 이벤트 발생 정보 및 원격지 운전자에 의한 판단 및 분석 결과에 대한 정보를 수신할 수 있다.
분석부(1150)는 이벤트 발생 정보 및 판단 및 분석 결과에 대한 정보를 분석하여 해당 도로 구간에 대한 ODD 맵을 작성할 수 있다.
생성 및 갱신부(1140)는 ODD 맵의 구간 별 각 차선 및/또는 도로에 상응하는 다양한 ODD 데이터를 생성하고, 이를 ODD 맵에 매핑하여 ODD 정보를 생성 또는 갱신할 수 있다. 일 예로, ODD 정보는 상기 ODD 정보는 구간 별 차선 및/또는 도로에 상응하는 자율 주행 가능 영역을 ON/OFF로 표시한 제1 정보와 구간 별 차선 및/또는 도로에 상응하는 자율 주행 가능 레벨에 관한 정보 및 주행 가능 방향에 관한 정보 중 적어도 하나로 구성된 제2 정보 중 적어도 하나를 포함할 수 있다.
ODD 정보에 포함될 제1 정보 및/또는 제2 정보는 전방 발생된 이벤트 타입에 따라 ODD 서버(1100)의 분석부(1150)에 의해 동적으로 결정될 수 있다.
일 예로, 이벤트 타입은 사고 이벤트 타입, 공사 이벤트 타입, 교통 신호 이벤트 타입, 교통량 변화 이벤트 타입, 장애물 감지 이벤트 타입 및 보행자 감지 이벤트 타입 중 적어도 하나를 포함할 수 있다.
도 41은 본 개시에 따른 ODD 정보 구성 예들을 보여준다.
도면 번호 1210을 참조하면, ODD 서버(1100)는 자율 주행 차량의 현재 위치에 관한 정보가 포함된 ODD 요청 메시지가 수신되면, 해당 현재 위치에 상응하는 ODD 정보 추출 구간을 결정하고, 결정된 추출 구간에 상응하는 ODD 정보를 ODD 저장소(1130)로부터 추출하여 자율 주행 차량에 전송할 수 있다. 여기서, ODD 정보 추출 구간은 자율 주행 차량의 현재 위치에 상응하는 하나의 구간-예를 들면, 구간 A-으로 결정될 수 있으나, 이는 하나의 실시 예에 불과하며, 현재 위치에 상응하는 구간을 포함하여 몇 개 앞 구간-예를 들면, 구간 B/C/D-이 포함되도록 결정될 수 있다.
실시 예로, ODD 서버(1100)는 자율 주행 차량의 주행 경로에 관한 정보가 포함된 ODD 요청 메시지가 수신되면, 해당 전체 경로에 상응하는 ODD 정보를 ODD 저장소(1130)로부터 추출하여 자율 주행 차량에 전송할 수 있다. 일 예로, 자율 주행 차량이 특정 경로로 주행 중 해당 경로 내 특정 구간에 대한 ODD 정보가 갱신된 경우, ODD 서버(1100)는 갱신된 ODD 정보가 포함된 갱신 요청 메시지를 해당 자율 주행 차량에 전송할 수 있다. 다른 일 예로, ODD 서버(1100)는 전체 경로에 상응하는 ODD 정보를 자율 주행 차량으로 전송한 후, 해당 자율 주행 차량의 현재 위치에 상응하는 ODD 정보가 갱신된 경우, 갱신된 ODD 정보를 해당 자율 주행 차량으로 전송할 수도 있다.
도면 번호 1220에 도시된 바와 같이, ODD 서버(1100)는 주행 도로 전방에 발생된 이벤트 타입에 따라 구간 별 각 차선에 대한 자율 주행 레벨 및 변경 가능 차선 방향에 대한 정보가 매핑된 ODD 정보를 추출하여 자율 주행 차량에 제공할 수 있다.
도면 번호 1220을 참조하면, 1 차선을 주행 중인 차량은 우측 차선-즉, 2차선-으로 이동하면 사고 발생 차량들로 인해 교통 정체 또는 추가 사고가 발생될 수 있으므로, ODD 서버(1100)는 해당 구간의 1 차선을 자동화 레벨 2로 결정하여 1 차선을 주행 중인 차량이 계속 자기 차선을 유지하도록 ODD 정보를 생성할 수 있다. 반면, 2 차선을 주행 중인 차량은 계속 직진하면 사고 발생 차량들로 인해 교통 정체 또는 추가 사고가 발생될 수 있으므로, ODD 서버(1100)는 해당 구간의 2 차선을 자동화 레벨 3으로 결정하여, 2 차선을 주행 중인 차량이 차선을 자유롭게 변경하도록 ODD 정보를 생성할 수 있다. 또한, 3 차선을 주행 중인 차량은 좌측 차선-즉, 2차선-으로 이동하면 사고 발생 차량들로 인해 교통 정체 또는 추가 사고가 발생될 수 있으므로, ODD 서버(1100)는 해당 구간의 3 차선을 자동화 레벨 3으로 결정하고, 변경 가능 차선을 우측 차선-즉, 4 차선-으로 결정하여 3 차선을 주행 중인 차량이 우측 차선으로 차선을 변경하여 주행하도록 ODD 정보를 생성할 수 있다. 또한, 4 차선을 주행 중인 차량은 자동화 레벨 3 이상의 자율 주행이 가능하나, ODD 서버(1100)는 원활한 교통 흐름을 위해 직진만 가능하도록 자동화 레벨 2로 결정하여 ODD 정보를 생성할 수 있다.
도면 번호 1230에 도시된 바와 같이, ODD 서버(1100)는 주행 도로 전방에 발생된 이벤트 타입에 따라 구간 별 각 차선에 대한 자율 주행 가능 여부를 ON/OFF로 표시하여 ODD 정보를 생성할 수도 있다.
도면 번호 1230을 참조하면, 구간 별 자율 주행이 가능한 차선은 ON으로 표시되고, 구간 별 자율 주행이 불가한 차선-즉, 수행 제어 모드 차선-은 OFF로 표시될 수 있다.
도 42는 실시 예에 따른 ODD 정보 전송 기능이 구비된 원격 제어 센터의 구조를 설명하기 위한 블록도이다.
도 42를 참조하면, 원격 제어 센터(1300)는 통신장치(1310), 복호기(1320), ODD 정보 전송기(또는 ODD 서버 시스템, 1330), 주제어기(1340), 모니터링장치(1350) 및 원격지운전장치(1360)을 포함하여 구성될 수 있다.
통신장치(1310)를 통해 수신된 ToD 카메라 촬영 압축 영상은 복호기(1320)로 전달되어 압축해제 된 후 모니터링장치(1350)의 디스플레이 화면에 출력될 수 있다.
원격지 운전자는 모니터링장치(1350)의 디스플레이 화면에 출력된 영상을 확인하면서 원격지 운전 장치(1360)를 조정하여 원격 운전을 수행할 수 있다. 여기서, 원격지 운전 장치(670)는 조향 핸들, 악셀 패달, 브레이크 패달 등의 기본적인 주행 제어 수단뿐만 아니라 램프 및 와이퍼 등 각종 차량 기능을 제어할 수 있는 수단이 구비될 수 있다.
원격지 운전 장치(1360)의 조작에 따라 생성되는 제어 신호는 주제어기(1340)로 전달되며, 주제어기(1340)는 제어 신호에 상응하는 제어 명령을 생성하여 통신장치(1310)를 통해 원격지 차량으로 전송할 수 있다.
실시 예에 따른 원격지 운전자는 모니터링장치(1350)에 구비된 각종 입력 수단-예를 들면, 키보드, 터치 화면, 마우스 등-을 통해 영상을 통한 판단 결과 및 분석 결과를 입력할 수 있다. 여기서, 원격지 운전자에 의해 입력된 판단 결과 및 분석 결과는 ODD 정보 전송기(1330)에 전달되고, ODD 정보 전송기(1330)는 원격지 차량으로 수신된 자율 주행 정보 및 원격지 운전자에 의해 입력된 판단 결과 및 분석 결과에 기반으로 ODD 정보를 생성/갱신/추출할 수 있다.
ODD 정보 전송기(1330)는 원격지 차량로부터 수신된 요청 메시지에 따라 해당 ODD 정보를 추출하고, 추출된 ODD 정보가 포함된 응답 메시지를 통신 장치(1310)를 통해 원격지 차량에 전송할 수 있다.
실시 예에 따른 ODD 정보 전송기(1330)는 종래 원격 제어 센터(1300)에 소프트웨어 및/또는 하드웨어 옵션으로 추가 구성될 수 있다.
본 개시에 따른 ODD 정보 전송기(1330)는 원격지 차량으로부터 수신된 자율 주행 정보뿐만 아니라 원격지 운전자의 정확한 판단 및 분석 결과를 ODD 정보 생성/갱신/추출에 더 사용함으로써, 보다 안전하고 정확한 ODD 정보를 원격지 차량에 제공할 수 있는 장점이 있다.
ODD 정보 전송기(1330)는 원격지 차량 주변에 발생되는 다양한 이벤트를 분석하여 ODD 맵을 생성하고, 구간 별 각 차선 및/또는 도로에 상응하는 ODD 정보를 생성/갱신하고, 원격지 차량의 현재 위치 및/또는 경로에 상응하는 ODD 정보를 추출할 수 있다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다.
따라서, 본 발명에 개시된 실시 예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시 예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
상술한 바와 같은 실시형태들은 다양한 이동통신 시스템에 적용될 수 있다.

Claims (21)

  1. 원격 주행(ToD: Tele-operated Driving)을 지원하는 시스템에 있어서.
    차량 인터페이스(I/F), 원격제어차량 제어기 및 제 1 통신 장치를 포함하는 원격제어차량 시스템; 및
    주행장치 인터페이스, 주행장치, 원격제어센터 제어기 및 제 2 통신 장치를 포함하는 원격제어센터 시스템을 포함하며,
    상기 제 1 통신 장치와 제 2 통신 장치는 상기 원격제어차량 시스템과 상기 원격제어센터 시스템 사이의 통신을 지원하며,
    상기 차량 인터페이스 는 복수의 차종에 장착된 ECU(Electronic Control Unit)와 상기 ToD 사이의 통신 규칙에 관련된 복수의 제 1 Description을 포함하는, 원격 주행 지원 시스템.
  2. 제 1 항에 있어서,
    상기 복수의 제 1 Description은, 제어 명령어 Description, 차량 제원 Description, 센서 데이터 Description, 및 차량 상태 Description을 포함하는, 원격 주행 지원 시스템.
  3. 제 2 항에 있어서,
    상기 제어 명령어 Description는 상기 복수의 차종에 관련된 차량제어를 위한 명령어 Set를 포함하는, 원격 주행 지원 시스템.
  4. 제 1 항에 있어서,
    상기 주행장치 인터페이스 는 상기 원격제어센터 제어기와 복수개의 종류의 주행장치 사이의 통신 규칙에 관련된 복수의 제 2 Description을 포함하는, 원격 주행 지원 시스템.
  5. 제 4 항에 있어서,
    상기 복수의 제 2 Description은 주행장치 제어 명령어 Description, 주행장치 제원 Description, 주행장치 데이터 Description, 주행장치 상태 Description을 포함하는, 원격 주행 지원 시스템.
  6. 제 1 항에 있어서,
    상기 원격제어차량 제어기는 차량으로부터 ToD On 요청을 처리하는, 원격 주행 지원 시스템.
  7. 제 6 항에 있어서,
    상기 원격주행차량 제어기는 상기 ToD On 요청을 상기 차량 인터페이스로부터 수신하면, 상기 원격주행차량 시스템의 모든 유닛 초기화, 상기 원격제어센터 시스템이 원격주행 준비가 되었는지 확인 및 차량이 제어신호를 수신할 준비가 되었는지 확인을 수행하는, 원격 주행 지원 시스템.
  8. 제 1 항에 있어서,
    상기 원격주행차량 시스템은 자율 주행 차량에 장착되는, 원격 주행 지원 시스템.
  9. 제 1 항에 있어서,
    상기 원격주행차량 시스템은 외부 센서, 동영상 전송기, 음성통신장치를 더 포함하는, 원격 주행 지원 시스템.
  10. 제 9 항에 있어서,
    상기 외부 센서는 운전자의 시선에 상응하여 차량 외부를 센싱하는 것인, 원격 주행 지원 시스템.
  11. 제 9 항에 있어서,
    상기 동영상 전송기는, 상기 외부 센서 정보를 압축하는, 원격 주행 지원 시스템.
  12. 제 1 항에 있어서,
    상기 원격제어센터 제어기는 상기 원격주행차량 제어기로부터 상기 ToD On 요청을 수신하면, 상기 원격제어센터 시스템의 모든 유닛 초기화, 원격지 주행시스템을 운전할 Operator 가 준비되었는지 확인, 및 상기 원격주행차량 에게 원격 주행 신호 수신 준비 알림을 수행하는, 원격 주행 지원 시스템.
  13. 제 1 항에 있어서,
    상기 원격제어센터 시스템은, 동영상 수신기, 모니터 및 스피커 장치, 음성통신장치를 더 포함하는, 원격 주행 지원 시스템.
  14. 제 1 항에 있어서,
    상기 음성통신 장치는, 차량 내부의 승객과 원격제어센터 의 Operator 사이의 음성통화에 관련된 것인, 원격 주행 지원 시스템.
  15. 제 1 항에 있어서,
    상기 제 2 통신 장치는 V2X (Vehicle-to-Everything) 장비 또는 텔레매틱스(Telematics) 장비 또는 QoS/위성통신 전용망으로 구성된 별도의 통신 장치인, 원격 주행 지원 시스템.
  16. 제 1 항에 있어서,
    상기 원격제어차량 시스템 또는 상기 원격제어센터 시스템 중 하나 이상은,
    지리적으로 원격주행의 지원이 가능한 지역 또는 불가능한 지역을 나타내는 ToD 맵을 생성하는 단계;
    상기 ToD 맵과 차량의 위치에 기반하여 상기 차량의 주행경로에 대해 상기 원격주행의 지원이 가능한지를 나타내는 ToD 지원정보를 생성하는 단계를 수행하도록 구성되는, 원격 주행 지원 시스템.
  17. 제 1 항에 있어서,
    상기 원격제어차량 시스템은,
    자율 주행 모드에서 전방 도로 구간에 대한 자율 주행이 가능한지 여부를 판단하는 단계;
    상기 판단 결과, 상기 자율 주행이 가능하지 않은 것에 기반하여 원격 주행 모드로 전환하는 단계;
    원격 주행 카메라에 의해 촬영된 영상을 상기 원격제어센터로 전송하는 단계;
    상기 영상에 상응하는 원격 주행 제어 신호를 수신하는 단계; 및
    상기 원격 주행 제어 신호에 기반하여 상기 차량의 동작을 제어하는 단계를 포함하여 수행하도록 구성되며,
    상기 영상 및 상기 원격 주행 제어 신호에 기반하여 생성된 원격 주행 정보가 타 차량에 공유되는 것을 특징으로 하는, 원격 주행 지원 시스템.
  18. 제 1 항에 있어서,
    상기 원격제어센터 시스템은,
    상기 원격제어차량 시스템으로부터 자율 주행 정보가 포함된 요청 메시지를 수신하는 단계;
    상기 자율 주행 정보에 기반하여 ODD (Operational Design Domain) 저장소로부터 ODD 정보를 추출하는 단계; 및
    상기 추출된 ODD 정보가 포함된 응답 메시지를 상기 원격제어차량 시스템으로 전송하는 단계를 포함하여 수행하도록 구성되는, 원격 주행 지원 시스템.
  19. 원격 주행(ToD: Tele-operated Driving)에 관련된 원격제어차량 시스템의 동작 방법에 있어서.
    주행장치 인터페이스, 주행장치, 원격제어차량 제어기 및 제 2 통신 장치를 포함하는 원격제어센터 시스템으로부터 제 1 통신 장치를 통해 신호를 수신하고;
    상기 원격제어센터 시스템으로부터의 신호에 해당하는 명령을 차량 인터페이스를 통해 ECU(Electronic Control Unit)에 전달하는 것;
    을 포함하며,
    상기 차량 인터페이스 는 복수의 차종에 장착된 ECU와 상기 ToD 사이의 통신 규칙에 관련된 복수의 Description을 포함하는, 원격제어차량 시스템 동작방법.
  20. 적어도 하나의 프로세서에 의해 실행될 때, 상기 적어도 하나의 프로세서가 원격 주행(ToD: Tele-operated Driving)을 위한 동작들을 수행하게 하는 명령을 포함하는 적어도 하나의 컴퓨터 프로그램을 저장하는 비휘발성 컴퓨터 판독 가능 저장 매체에 있어서,
    상기 동작들은,
    원격제어센터 시스템으로부터 원격제어차량 시스템이 원격 주행 관련 신호를 수신하고;
    상기 원격제어차량 시스템의 차량 인터페이스 가 ECU(Electronic Control Unit)로 상기 원격 주행 관련 신호를 전달하는 것;
    을 포함하며,
    상기 차량 인터페이스 는 복수의 차종에 장착된 ECU와 상기 ToD 사이의 통신 규칙에 관련된 복수의 Description을 포함하는, 저장 매체.
  21. 원격 주행 (ToD: Teleoperated Driving)에 관련된 원격제어차량 장치에 있어서.
    하나 이상의 프로세서; 및
    상기 프로세서에 의해 실행 가능한 명령을 저장하는 저장 매체를 포함하며,
    상기 명령은,
    원격제어센터 시스템으로부터 원격 주행 관련 신호를 수신하고;
    차량 인터페이스 가 ECU(Electronic Control Unit)로 상기 원격 주행 관련 신호를 전달하도록 명령하는 것;
    을 포함하며,
    상기 원격제어차량 장치는, 상기 차량 인터페이스, 원격제어차량 제어기 및 통신 장치를 포함하고,
    상기 통신 장치는 상기 원격제어센터 시스템 사이의 통신을 지원하며,상기 차량 인터페이스 는 복수의 차종에 장착된 ECU와 상기 ToD 사이의 통신 규칙에 관련된 복수의 Description을 포함하는, 원격제어차량장치.
PCT/KR2023/001156 2022-02-16 2023-01-26 원격주행 지원 시스템 및 이를 활용한 방법 WO2023158126A1 (ko)

Applications Claiming Priority (8)

Application Number Priority Date Filing Date Title
KR1020220019990A KR20230123183A (ko) 2022-02-16 2022-02-16 다수의 차량과 다수의 원격제어 장치를 지원하는 원격 제어 방법, 장치 및 시스템
KR10-2022-0019990 2022-02-16
KR1020220031523A KR20230134331A (ko) 2022-03-14 2022-03-14 차량의 원격주행 정보를 처리하는 장치 및 방법
KR10-2022-0031523 2022-03-14
KR1020220038172A KR20230139950A (ko) 2022-03-28 2022-03-28 원격 주행 정보에 기반한 자율 주행 제어 방법 및 그를 위한 장치 및 시스템
KR10-2022-0038172 2022-03-28
KR1020220055185A KR20230156190A (ko) 2022-05-04 2022-05-04 자율 주행 차량을 위한 작동 설계 영역 제공 방법 및 그를 위한 장치 및 시스템
KR10-2022-0055185 2022-05-04

Publications (1)

Publication Number Publication Date
WO2023158126A1 true WO2023158126A1 (ko) 2023-08-24

Family

ID=87578835

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2023/001156 WO2023158126A1 (ko) 2022-02-16 2023-01-26 원격주행 지원 시스템 및 이를 활용한 방법

Country Status (1)

Country Link
WO (1) WO2023158126A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000266642A (ja) * 1999-03-19 2000-09-29 Suzuki Motor Corp 車両診断システムおよび方法、車両診断装置、車載電子制御装置、記録媒体
US20120089321A1 (en) * 2010-10-11 2012-04-12 Hyundai Motor Company System and method for alarming front impact danger coupled with driver viewing direction and vehicle using the same
JP2017078657A (ja) * 2015-10-21 2017-04-27 三菱電機株式会社 ナビゲーション支援装置、サーバ装置およびナビゲーション支援方法
KR101747375B1 (ko) * 2016-09-12 2017-06-15 아이피랩 주식회사 차량 원격제어 장치 및 방법, 원격 운전 시스템
JP2021056787A (ja) * 2019-09-30 2021-04-08 清水建設株式会社 領域内走行支援システム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000266642A (ja) * 1999-03-19 2000-09-29 Suzuki Motor Corp 車両診断システムおよび方法、車両診断装置、車載電子制御装置、記録媒体
US20120089321A1 (en) * 2010-10-11 2012-04-12 Hyundai Motor Company System and method for alarming front impact danger coupled with driver viewing direction and vehicle using the same
JP2017078657A (ja) * 2015-10-21 2017-04-27 三菱電機株式会社 ナビゲーション支援装置、サーバ装置およびナビゲーション支援方法
KR101747375B1 (ko) * 2016-09-12 2017-06-15 아이피랩 주식회사 차량 원격제어 장치 및 방법, 원격 운전 시스템
JP2021056787A (ja) * 2019-09-30 2021-04-08 清水建設株式会社 領域内走行支援システム

Similar Documents

Publication Publication Date Title
WO2020235765A1 (ko) 경로 제공 장치 및 그것의 경로 제공 방법
WO2019031851A1 (ko) 지도 제공 장치
WO2017222299A1 (en) Vehicle control device mounted on vehicle and method for controlling the vehicle
WO2021045257A1 (ko) 경로 제공 장치 및 그것의 경로 제공 방법
WO2018135869A1 (ko) 지능형 운전자 보조 시스템을 위한 카메라 시스템, 및 운전자 보조 시스템 및 방법
WO2019245333A1 (en) Network and control thereof
EP3475134A1 (en) Vehicle control device mounted on vehicle and method for controlling the vehicle
WO2019098434A1 (ko) 차량에 구비된 차량 제어 장치 및 차량의 제어방법
WO2021141142A1 (ko) 경로 제공 장치 및 그것의 경로 제공 방법
WO2021090971A1 (ko) 경로 제공 장치 및 그것의 경로 제공 방법
WO2021020623A1 (ko) 자율주행시스템에서 차량에 구비된 v2x 통신 장치의 bsm 메시지 전송 방법
WO2021045256A1 (ko) 경로 제공 장치 및 그것의 경로 제공 방법
WO2020251082A1 (ko) 자율 주행 차량 제어 방법
WO2021029444A1 (ko) 경로 제공 장치 및 그것의 경로 제공 방법
WO2021025212A1 (ko) 경로 제공 장치 및 그것의 경로 제공 방법
WO2021261680A1 (ko) 센서 데이터 공유 및 활용 방법
WO2021157760A1 (ko) 경로 제공 장치 및 그것의 경로 제공 방법
WO2021010530A1 (ko) 운전자 휴게 패턴에 따른 휴게 정보 제공 방법 및 이를 위한 장치
WO2021045255A1 (ko) 경로 제공 장치 및 그것의 경로 제공 방법
WO2021025216A1 (ko) 경로 제공 장치 및 그것의 경로 제공 방법
WO2021029445A1 (ko) 경로 제공 장치 및 그것의 경로 제공 방법
WO2021010494A1 (ko) 재난 상황에서의 차량 대피정보 제공 방법 및 이를 위한 장치
WO2020149427A1 (ko) 경로 제공 장치 및 그것의 경로 제공 방법
WO2019216741A1 (ko) V2x 통신 장치 및 그의 v2x 메시지의 송수신 방법
WO2021246534A1 (ko) 경로 제공 장치 및 그것의 경로 제공 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23756539

Country of ref document: EP

Kind code of ref document: A1