KR20210090314A - 시뮬레이터 출력 화면에 기반한 원격제어 방법 및 장치 - Google Patents

시뮬레이터 출력 화면에 기반한 원격제어 방법 및 장치 Download PDF

Info

Publication number
KR20210090314A
KR20210090314A KR1020200003002A KR20200003002A KR20210090314A KR 20210090314 A KR20210090314 A KR 20210090314A KR 1020200003002 A KR1020200003002 A KR 1020200003002A KR 20200003002 A KR20200003002 A KR 20200003002A KR 20210090314 A KR20210090314 A KR 20210090314A
Authority
KR
South Korea
Prior art keywords
vehicle
information
control
simulator
driving assistance
Prior art date
Application number
KR1020200003002A
Other languages
English (en)
Inventor
박현상
강태권
김선엽
신동헌
신경준
김현수
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to KR1020200003002A priority Critical patent/KR20210090314A/ko
Publication of KR20210090314A publication Critical patent/KR20210090314A/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Arrangement of adaptations of instruments
    • B60K35/22—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/10—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/007—Emergency override
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/0011—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot associated with a remote control arrangement
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/0088—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001—Details of the control system
    • B60W2050/0019—Control system elements or transfer functions
    • B60W2050/0026—Lookup tables or parameter maps
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001—Details of the control system
    • B60W2050/0019—Control system elements or transfer functions
    • B60W2050/0028—Mathematical models, e.g. for simulation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo or light sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B60W2420/408—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/54—Audio sensitive means, e.g. ultrasound
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00—Input parameters relating to overall vehicle dynamics
    • B60W2520/04—Vehicle stop
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00—Input parameters relating to overall vehicle dynamics
    • B60W2520/06—Direction of travel
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/402—Type
    • B60W2554/4029—Pedestrians
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00—Input parameters relating to data
    • B60W2556/45—External transmission of data to or from the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00—Input parameters relating to data
    • B60W2556/45—External transmission of data to or from the vehicle
    • B60W2556/50—External transmission of data to or from the vehicle for navigation systems

Abstract

본 발명은, 관제 대상 차량들의 차량 정보를 획득하여 서버로부터 시뮬레이터 기반의 가상 3D 맵 지도에 표시 및 제어하는 방법을 개시한다. 또한, 임계시간 동안 ICMP 패킷이 수신되지 않는 경우, 차량을 긴급정차 할 수 있다. 영상의 원근 거리 왜곡을 판단하는 AI 프로세싱에 이용될 수 있다.
본 명세서의 통신 상태에 따른 탑승자 서비스 제공 장치는 인공 지능(Artificial Intelligence) 모듈, 드론(Unmanned Aerial Vehicle, UAV), 로봇, 증강 현실(Augmented Reality, AR) 장치, 가상 현실(virtual reality, VR) 장치, 5G 서비스와 관련된 장치 등과 연계될 수 있다.

Description

시뮬레이터 출력 화면에 기반한 원격제어 방법 및 장치{REMOTE CONTROL METHODS AND DEVICES BASED ON THE SIMULATOR OUTPUT SCREEN}
본 명세서는 자율 주행 시스템과 그 제어 방법에 관한 것이다.
자동차는 사용되는 원동기의 종류에 따라, 내연기관(internal combustion engine) 자동차, 외연기관(external combustion engine) 자동차, 가스터빈(gas turbine) 자동차 또는 전기자동차(electric vehicle) 등으로 분류될 수 있다.
자율주행자동차(Autonomous Vehicle)란 운전자 또는 승객의 조작 없이 자동차 스스로 운행이 가능한 자동차를 말하며, 자율주행시스템(Automated Vehicle & Highway Systems)은 이러한 자율주행자동차가 스스로 운행될 수 있도록 모니터링하고 제어하는 시스템을 말한다.
한편, 자율주행 차량에서 긴급 상황이나 원격 대리운전 서비스 운영 시 원격운전이 필요하다. 이러한 원격운전 시스템을 효과적으로 구현하기 위해, 차량 정보 및 차량 주변 정보를 지연 없이 송수신할 수 있어야 하고, 원격운전 상황에서 정확한 판단을 위해 차량 정보 및 차량 주변 정보 수집 방식과 함께 이를 원격 제어자가 정확히 주행 상황을 인지할 필요성이 대두되고 있다.
하지만, 기존 원격운전 시스템은 차량 주변에 대한 정보를 차량을 통해 원격관제 장치에 전달하기 때문에 통신 지연이 크게 발생한다. 또한, 원격운전자는 카메라 영상 정보만으로 상황을 판단해야 하므로 상황 인지 및 상황 판단이 늦을 수 있다.
본 명세서는, 차량 정보 및 차량 주변 정보를 효과적으로 수집하는 것을 목적으로 한다.
또한, 본 명세서는, 차량 위치에 기반한 차량 주변 정보를 정보 수집 장치를 통해 직접 송수신할 수 있는 방법 및 이를 위한 장치를 제안한다.
또한, 본 명세서는, 원격운전 요청 및/또는 긴급 차량을 분류하여 상황에 맞는 필요 정보를 송수신하는 방법 및 이를 위한 장치를 제안한다.
또한, 본 명세서는, 차량의 위치 및/또는 긴급 차량의 주변 정보에 따라 원격운전을 위한 정보 요청 범위를 가변적으로 변경하는 방법 및 이를 위한 장치를 제안한다.
본 발명이 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 이하의 발명의 상세한 설명으로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
자율주행시스템에서 원격주행을 위한 시뮬레이터 기반의 원격주행 보조 방법은, 복수의 차량 중 제 1 차량에 기초하여 관제 대상 차량들의 차량 정보를 획득하는 단계; 서버로부터 시뮬레이터 기반의 가상 3D 맵 지도를 획득하는 단계; 상기 차량 정보를 시뮬레이터 출력화면 기반의 가상 3D 맵 지도에 구현하는 단계; 상기 시뮬레이터 출력화면 기반의 상기 관제 대상 차량 중 제어 차량을 선택하는 단계; 상기 차량 정보에 기초하여 차량으로 제어 명령을 전송하는 단계를; 포함한다.
또한, 상기 복수의 차량 중 제 1 차량은, 원격주행 보조 시스템에 미리 설정된 기준에 기초하여 선택된 차량인 것을 특징으로 할 수 있다.
또한, 상기 차량 정보는, 관제 대상 차량, 주행방향, 이동경로, 위치 정보, 목적지 정보, 차량 식별 정보, 카메라 정보, 레이더 정보, 라이다 정보, 초음파센서 정보, 차량 방향 정보 또는 음성 정보 중 적어도 하나를 포함하는 것을 특징으로 할 수 있다.
또한, 상기 가상 3D 맵 지도를 획득하는 단계는, 상기 관제 대상 차량들의 위치 정보에 기초하여 서버로 상기 가상 3D 맵 지도를 요청하는 단계; 하는 것을 특징으로 할 수 있다.
또한, 상기 관제 대상 차량 중 제어 차량을 선택하는 단계는, 원격 관제 시스템으로 관제 요청을 전송한 제 2 차량 또는 긴급 상황이 발생한 제 3 차량을 우선으로 제어하도록 설정하는 단계;를 포함할 수 있다.
또한, 상기 제 2 차량과 상기 제 3 차량이 모두 발생한 경우, 상기 제 2 차량 및 상기 제 3 차량의 주변 정보를 수신하는 단계; 상기 주변 정보에 기초하여 제어 차량을 선택하는 단계; 상기 제어 차량의 차량 정보에 기초하여 상기 제어 차량으로 명령을 전송하는 단계; 를 포함할 수 있다.
또한, 상기 주변 정보는, 네비게이션 정보, 상기 차량 주변의 RSU 정보, 보행자 정보, 긴급상황 차량 정보 또는 주변 차량 정보 중 적어도 어느 하나인 것을 특징으로 할 수 있다.
또한, 상기 관제 대상 차량 중 제어 차량을 선택하는 단계는, 상기 제 3 차량이 발생한 경우, 상기 제 3 차량 주변 정보 또는 주변 차량 정보 중 적어도 어느 하나를 원격관제 시스템의 출력부에 표시하는 단계; 를 포함하는 것을 특징으로 할 수 있다.
또한, 상기 관제 대상 차량 중 제어 차량을 선택하는 단계는, 상기 제어 차량을 선택하기 위하여 원격 관제 시스템의 제어부에 명령하는 단계; 상기 명령을 원격주행 보조 시스템의 출력부를 통해 표시하는 단계; 를 포함할 수 있다.
또한, 상기 긴급 정차하는 단계는, 상기 미리 정해진 임계시간 동안 상기 ICMP 패킷이 수신될 때까지 상기 차량을 긴급 정차하는 단계; 상기 미리 정해진 임계시간 동안 상기 ICMP 패킷을 수신한 경우, 상기 차량으로 원격주행 제어 명령 및 메시지를 전송하는 단계; 를 더 포함할 수 있다.
본 명세서의 다른 실시예에 따른 자율주행차량의 원격주행 보조 장치에 있어서, 통신부; 메모리; 출력부; 및 상기 통신부 및 메모리와 기능적으로 연결된 프로세서;를 포함하고, 상기 통신부를 통해 차량 정보를 수신하고, 상기 프로세서는, 복수의 차량 중 제 1 차량에 기초하여 관제 대상 차량들의 차량 정보를 획득하고, 서버로부터 시뮬레이터 기반의 가상 3D 맵 지도를 획득하고, 상기 차량 정보를 상기 시뮬레이터 기반의 가상 3D 맵 지도에 구현하고, 상기 관제 대상 차량 중 제어 차량을 선택하고, 상기 차량 정보에 기초하여 차량으로 제어 명령을 전송하는 것을 특징으로 한다.
본 발명의 실시예에 따르면 다음과 같은 효과가 하나 혹은 그 이상 있다.
본 명세서는, 차량 정보 및 차량 주변 정보를 효과적으로 수집할 수 있다.
또한, 본 명세서는, 차량 위치에 기반한 차량 주변 정보를 정보 수집 장치를 통해 직접 송수신함으로써 통신 지연을 줄일 수 있다.
또한, 본 명세서는, 원격운전 요청 및/또는 긴급 차량을 분류하여 상황에 맞는 필요 정보를 송수신함으로써 원격운전 상황에서 상황 인지 및 판단을 정확히 할 수 있다.
또한, 본 명세서는, 차량의 위치 및/또는 긴급 차량의 주변 정보에 따라 원격운전을 위한 정보 요청 범위를 가변적으로 변경함으로써 원격운전 상황 인지 및 판단을 정확히 할 수 있다.
본 발명의 효과들은 이상에서 언급한 효과들로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 청구범위의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
본 명세서에 관한 이해를 돕기 위해 상세한 설명의 일부로 포함되는, 첨부 도면은 본 명세서에 대한 실시예를 제공하고, 상세한 설명과 함께 본 명세서의 기술적 특징을 설명한다.
본 명세서에 관한 이해를 돕기 위해 상세한 설명의 일부로 포함되는, 첨부 도면은 본 명세서에 대한 실시예를 제공하고, 상세한 설명과 함께 본 명세서의 기술적 특징을 설명한다.
도 1는 본 명세서의 실시예에 따른 차량을 도시한 도면이다.
도 2는 본 발명의 일 실시예에 따른 원격운전 시스템을 설명하기 위한 도면이다.
도 3은 본 명세서의 일 실시예에 따른 원격관제 시스템의 일례를 도시한 도면이다.
도 4은 본 발명의 일실시 예에 따라 관제 대상 차량 중 제어 차량을 선택하는 방법의 흐름도이다.
도 5은 본 발명의 일 실시예에 따른 원격관제 시스템의 동작을 간략히 설명하기 위한 흐름도이다.
도 6은 본 명세서의 일 실시예에 따라 관제 대상 차량 각각의 차량 정보가 맵핑된, 가상 3D 맵을 나타낸다.
도 7은 본 명세서의 일 실시예에 따라 차량 주변 정보를 가상 3D 맵에 맵핑하고, 디스플레이 화면에 표시한 도면을 나타낸다.
도 8a 내지 도 8e는 본 명세서의 일 실시예에 따라 시뮬레이터 출력화면에 기반하여 상기 관제 대상 차량 중 제어 차량을 선택하는 것을 나타낸다.
도 9은 본 명세서의 일 실시예에 따라 제어 차량으로부터 차량 정보가 수신되지 않는 긴급 정차 과정의 흐름도를 나타낸다.
이하, 첨부된 도면을 참조하여 본 명세서에 개시된 실시예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다. 또한, 본 명세서에 개시된 실시예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 명세서에 개시된 실시예의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 명세서에 개시된 실시예를 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 명세서에 개시된 기술적 사상이 제한되지 않으며, 본 명세서의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.
본 출원에서, "포함한다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
도 1은 본 명세서의 실시예에 따른 차량을 도시한 도면이다.
도 1를 참조하면, 본 명세서의 실시예에 따른 차량(10)은, 도로나 선로 위를 주행하는 수송 수단으로 정의된다. 차량(10)은, 자동차, 기차, 오토바이를 포함하는 개념이다. 차량(10)은, 동력원으로서 엔진을 구비하는 내연기관 차량, 동력원으로서 엔진과 전기 모터를 구비하는 하이브리드 차량, 동력원으로서 전기 모터를 구비하는 전기 차량등을 모두 포함하는 개념일 수 있다. 차량(10)은 개인이 소유한 차량일 수 있다. 차량(10)은, 공유형 차량일 수 있다. 차량(10)은 자율 주행 차량일 수 있다.
도 2는 본 발명의 일 실시예에 따른 원격운전 시스템을 설명하기 위한 도면이다.
도 3은 본 명세서의 일 실시예에 따른 원격관제 시스템의 일례를 도시한 도면이다.
도 2 및 도 3을 참조하면, 원격관제 시스템의 구성요소를 설명하면 다음과 같다.
원격운전 시스템은 차량(610), 하나 이상의 관제 대상 차량(640)들들, 원격관제 센터(620), 하나 이상의 서버 장치(630)들 등을 포함할 수 있다. 이 장치들(610, 620, 630, 640)은 서로 무선통신(예: 5G 통신)을 통해 정보를 주고받을 수 있다. 이 장치들(610, 620, 630, 640)은 도 2를 참조하여 설명한 초기 접속 및/또는 임의 접속 절차를 거쳐 정보를 주고받을 수 있다.
차량(610)은 센서(Sensor) ECU(Electronic Control Unit), 각종 센서(Sensor)(예: 카메라, 자이로 센서 등), 구동 ECU(Control ECU), 스티어링 ECU(Steering ECU), 엑셀/브레이크 ECU(Acc/brake ECU) 및 통신 제어 장치(Telecommunication Control Unit, TCU) 등을 포함할 수 있다. 차량 내 ECU들은 차량의 현재 위치, 속도, 방향 등의 정보를 TCU를 통해 원격관제 센터에 전송할 수 있다. 또한, 이들 장치들은 차량 내에서 전기적 및/또는 기능적으로 연결될 수 있다. 센서 ECU는 차량 내부 카메라 등의 센서들을 제어하는 장치일 수 있다. 구동 ECU는 스티어링휠, 가속 및/또는 정지 등 차량 구동을 제어하는 장치일 수 있다. TCU는 원격관제 센터(620) 등과 정보를 송수신하도록 하는 장치일 수 있다. 예를 들면, 차량(610)은 통신 제어 장치를 통해 제어 정보를 수신할 수 있다. 차량(610) 내 센서 전자 제어 장치 및/또는 구동 전자 제어 장치는 수신한 제어 정보에 의해 제어되어 원격운전이 구현될 수 있다. 그리고/또는, 차량(610)은 원격관제 센터(620)의 요청에 의해 차량 내부 정보(예: 진단 정보) 등을 통신 제어 장치를 통해 원격관제 센터(620)의 제어부(625)로 전송할 수 있다. 또한, 차량은 앞서 도 1 내지 도 2을 참조하여 설명한 차량 내 장치들을 포함하여 동작할 수 있다.
원격관제 센터(620)의 제어부(625)는 차량, 하나 이상의 서버 장치(630)들, 하나 이상의 관제 대상 차량(640)들들 등으로부터 정보를 수신할 수 있다. 원격관제 센터(620)의 제어부(625)는 차량의 위치를 기반으로 차량 주변 RSU, 주변 차량 및/또는 ITS와 통신을 연결하여 정보를 수집할 수 있다. 원격관제 센터(620)의 제어부(625)는 수집된 정보를 기반으로 차량 주변 환경을 재구성(예: 네비게이션, 도로의 최고/최저 속도, 전방 신호등, 장애물, 교통정체, 긴급차량(구급차, 119, 경찰차) 등의 운행 여부)할 수 있다.
또한, 원격관제 센터(620)의 제어부(625)는 차량의 문제 상황 별로 원격운전 요청 원인을 분류하고, 이를 기반으로 필요한 정보들을 차별적으로 요청할 수 있고, 원격운전자를 사람과 머신으로 구분하여 필요 정보를 구분하여 요청할 수 있다. 또한, 원격관제 센터(620)의 제어부(625)는 원격운전 차량을 위한 차량 주변 정보를 요청 시 차량의 속도 및 도로 복잡도 상황(예: 교차로) 별로 정보 요청 범위를 가변적으로 적용할 수 있다.
원격관제 센터(620)의 제어부(625)는 해당 정보들을 통해 도 3에 도시된 바와 같이, 제어자(720) 또는 머신 운전자(730)에 의해 차량을 제어할 수 있다. 제어자(720)는 수신한 정보들을 통해 실제 운전하는 것과 같이 차량 주변 사운드 및 경고음을 들을 수 있고, 차량 상황에 따른 진동을 느낄 수 있으며, 카메라 등을 통해, 차량 주변 및 도로 정보 AR 렌더링을 영상으로 볼 수 있다. 이때, 머신 운전자(730)는 제어자(720)를 모니터링 하고 보조할 수 있다.
또는, 머신 운전자(730)는 사용자의 요청 또는 특정 상황의 경우에 원격운전을 제어할 수 있다. 머신 운전자(730)는 원격제어 장치(710)와 분리되어 위치할 수도 있다. 예를 들면 머신 운전자(730)는 하나 이상의 관제 대상 차량(640)들 또는 외부 서버 장치(630)일 수도 있으며, 원격제어 장치(710)로부터 정보를 수신하여 원격운전을 수행하거나, 제어자(720)을 보조 및/또는 모니터링할 수 있다. 긴급상황의 경우 원격관제 센터(620)의 제어부(625)는 머신 운전자(730)로 제어자(720)를 변경할 수 있다. 원격관제 센터(620)의 제어부(625)는 해당 정보에 기반하여 원격 제어하기 위한 제어 정보를 차량에 전송할 수 있다.
서버 장치(630)는 요청에 따라 차량(610)의 내비게이션 정보, 주변 사고 차량 정보 등을 원격관제 센터(620)의 제어부(625)에 전송할 수 있다.
하나 이상의 관제 대상 차량(640)들은 해당 차량(610)에 포함된 센서 등의 장치를 통해 수집한 정보를 원격관제 센터(620)의 제어부(625)에 전송할 수 있다.
본 명세서의 원격관제 시스템에서 사용되는 네트워크는 5G 네트워크를 포함하며, 이보다 발전된 형태의 통신방식을 같는 네트워크일 수 있다. 본 명세서가 적용되는 차량은 자율주행기술이 적용된 차량을 포함하며, 이보다 발전된 형태의 기술을 갖는 이동식 장치일 수 있다. 후술되는 실시예에 따른 하나 이상의 관제 대상 차량(640)들은 복수개일 수 있다.
도 4은 본 발명의 일실시 예에 따라 관제 대상 차량 중 제어 차량을 선택하는 방법의 흐름도이다.
도 4을 참조하면, 프로세서는 관제 대상 차량들로부터 각각의 차량정보를 획득할 수 있다(S800).
본 명세서의 일 실시예에 따라 원격관제 센터가 임의의 차량을 선택할 수 있다. 임의의 차량은 일정 거리마다 또는 일정 차량 수 중 적어도 어느 하나에 기초하여 구획된 일정 거리 내 차량중에서 선택될 수 있다. 원격관제 시스템은 미리 설정된 기준에 기초하여 상기 일정 거리 내 차량중에서 임의의 차량을 선택할 수 있다.
미리 설정된 기준은 원격 관제 센터로 관제 요청을 송신한 차량을 우선순위로 설정할 수 있다. 또한, 원격 관제 센터가 일정 시간 마다 도로 상황을 파악하고 발견한 긴급 상황 발생 차량을 우선순위를 할 수 있다.
원격 관제 센터는 서버를 통해 상기 제 1 차량으로 제어 차량을 선택하기 위한 관제대상 차량 정보를 요청할 수 있다.
관제 대상 차량은 상기 제 1 차량의 위치 정보에 기초하여 상기 제 1 차량 주변으로 일정 거리에 포함된 차량을 관제대상 차량으로 설정할 수 있다. 다시 말해, 상기 제 1 차량의 위치 정보에 기초하여 미리 정해진 임계 거리에 따라 거리를 구획하고, 구획 거리마다 원격 제어자가 미리 설정되어 있을 수 있다. 또한, 관제 대상 차량은 상기 구획 거리에 포함되지 않지만, 상기 구획 거리에 포함된 차량의 센싱 정보로 인식할 수 있는 차량을 더 포함할 수 있다.
상기 구획 거리의 차량 밀집도에 비례하여 원격 제어자가 하나 이상 배정될 수 있다. 즉, 상기 구획 거리 내에 원격 제어가 필요한 차량이 하나 이상일 경우에, 제어 차량의 수에 비례하여 원격 제어자가 배정될 수 있다.
상기 원격 제어자는 원격관제 센터의 제어자 및/또는 상기 관제대상 차량 주위의 원격운전이 가능한 운전자를 포함할 수 있다.
차량은 하나의 센서를 포함할 수 있다. 상기 센서는, 카메라, 레이다, 라이다, 초음파 센서 및 적외선 센서 중 적어도 하나를 포함할 수 있다. 센싱 정보는 상기 카메라, 레이다, 라이다, 초음파 센서 및 적외선 센서 중 적어도 하나를 통해 획득한 정보일 수 있다.
상기 센서 중 카메라는 영상을 이용하여 차량(10) 외부의 오브젝트에 대한 정보를 생성할 수 있다. 카메라는 적어도 하나의 렌즈, 적어도 하나의 이미지 센서 및 이미지 센서와 전기적으로 연결되어 수신되는 신호를 처리하고, 처리되는 신호에 기초하여 오브젝트에 대한 데이터를 생성하는 적어도 하나의 프로세서를 포함할 수 있다.
카메라는, 차량 외부를 촬영하기 위해 차량에서 FOV(field of view) 확보가 가능한 위치에 장착될 수 있다. 카메라는, 차량 전방의 영상을 획득하기 위해, 차량의 실내에서, 프런트 윈드 쉴드에 근접하게 배치될 수 있다. 카메라는, 프런트 범퍼 또는 라디에이터 그릴 주변에 배치될 수 있다. 카메라는, 차량 후방의 영상을 획득하기 위해, 차량의 실내에서, 리어 글라스에 근접하게 배치될 수 있다. 카메라는, 리어 범퍼, 트렁크 또는 테일 게이트 주변에 배치될 수 있다. 카메라는, 차량 측방의 영상을 획득하기 위해, 차량의 실내에서 사이드 중 적어도 어느 하나에 근접하게 배치될 수 있다. 또는, 카메라는, 사이드 미러, 휀더 또는 도어 주변에 배치될 수 있다.
다음, 프로세서는 시뮬레이터 출력 화면 기반의 가상 3D 맵 지도에 상기 관제 대상 차량들로부터 얻은 각각의 차량정보를 구현(mapping)할 수 있다(S810).
프로세서는, 3D 맵 정보를 획득할 수 있다. 프로세서는, 메모리에 저장된 맵 정보를 획득할 수 있다. 프로세서는, 통신부를 통해, 외부 서버, 이동 단말기 또는 타 차량으로부터 3D 맵 정보를 획득할 수 있다. 프로세서는, 인터페이스부를 통해, 차량 내 다른 디바이스(예를 들면, 내비게이션)들로부터 3D 맵 정보를 획득할 수 있다.
프로세서는, 획득된 3D 맵 정보를 기초로, 관제대상 차량 각각에 대한 차량 정보를 획득할 수 있다.
프로세서는, 인터페이스부를 통해 차량 주변 정보를 수신할 수 있다. 차량 외부 상황 정보를 포함할 수 있다.
프로세서는, 3D 맵 정보 및 차량 주변 정보를 기초로, 차량 주변의 3D 맵을 생성할 수 있다. 프로세서는, 맵 상의 오브젝트와, 외부 센싱부를 통해 획득한 오브젝트 정보를 매칭할 수 있다. 이 경우, 프로세서는, 외부 센싱부의 센싱 영역 내에서 3D 맵 정보를 생성할 수 있다. 프로세서는, 3D 맵 생성시, 차량의 위치 정보, 차량 자세 정보와 같은 내부 센싱부의 센싱 정보를 더 이용할 수 있다.
다음, 프로세서는 시뮬레이터 출력 화면에 기반하여 관제 대상 차량 중 제어 차량을 선택할 수 있다(S820).
관제 대상 차량의 차량 정보가 맵핑된 3D 맵의 평면(Top view) 방향에서 상기 임의의 차량을 방향 포인터가 가리키도록 활성화된 상태로 원격 관제 센터의 디스플레이 화면에 표시될 수 있다.
원격 관제 센터의 컨트롤러를 통해 상기 임의의 차량에 대한 다양한 각도, 방향, 방위에서 보여지는 이미지 정보, 상기 임의의 차량을 포함하여 관제 대상 차량을 포함한 3D 맵 중 어느 하나를 디스플레이에 표시하도록 제어할 수 있다.
원격 관제 센터의 제어자의 입력은, 디스플레이에 표시된 방향 포인터가 이동하도록 할 수 있다. 상기 제어자의 입력은, 터치 입력, 근접입력, 키 입력, 조그휠 입력, 트랙볼 입력, 조이스틱 입력 중 어느 하나 이상을 포함할 수 있다.
상기 컨트롤러를 통해 관제 대상 차량이 선택된 경우, 원격 제어자를 위하여관제 대상 차량의 주행방향에서 보여지는 시뮬레이터 기반의 이미지로 화면이 전환되어 디스플레이에 표시할 수 있다. 또한, 상기 화면 전환에 필요한 정보를 얻기 위하여 관제 대상 차량의 차량 정보 및 주변 차량 정보를 요청 및/또는 수신할 수 있다.
또한, 원격 관제 시스템을 관제 요청을 전송한 제 2 차량이 발생한 경우, 원격 제어자는 상기 제 2차량의 차량정보 요청 및/또는 수신할 수 있다. 제2 차량의 요청 메시지(예를 들어, 텍스트, 음성안내, 별도의 화면 등)을 관제 대상 차량의 차량 정보가 맵핑된 3D 맵의 평면 방향에서의 화면상에 표시할 수 있다. 원격 제어자는 상기 제 2차량의 요청 메시지를 수신하여 선택한 경우, 상기 수신한 제2 차량의 차량정보에 기초하여 형성된 제 2 차량의 주행방향에서 보여지는 시뮬레이터 기반의 이미지로 화면이 전환되어 디스플레이에 표시될 수 있다.
또한, 원격 관제 시스템이 긴급 상황이 발생한 차량을 발견한 경우, 긴급 상황 발생 차량으로 차량 정보를 요청 및/또는 수신할 수 있다. 원격 관제 시스템은 긴급 상황 발생 메시지(예를들어, 텍스트, 음성안내, 별도의 화면 등)를 안내할 수 있다. 원격 제어자가 상기 긴급 상황 발생한 차량의 요청 메시지를 수신하여 선택한 경우, 상기 수신한 차량 정보에 기초하여 긴급 상황 발생 차량의 주행 방향에서 보여지는 시뮬레이터 기반의 이미지로 화면이 전환되어 디스플레이에 표시할 수 있다.
다음, 프로세서는 관제 대상 차량에 제어 명령 및/또는 메시지를 전송할 수 있다(S830).
원격관제 센터의 원격관제 장치는 차량을 원격으로 제어할 수 있는 장치를 의미할 수 있다. 차량과 원격관제 장치는 유무선 통신으로 데이터를 주고 받을 수 있다.
우선순위 가이드는 관제 대상 차량 중 원격운전이 필요한 순서를 안내하는 정보를 포함할 수 있다. 우선순위 가이드는 장치들 각각의 고장 여부를 나타내는 정보에 기반하여 결정될 수 있다. 또는, 우선순위 가이드는 차량 내 장치들 각각의 상태를 나타내는 정보들에 기반하여 결정될 수 있다. 이 경우, 원격관제 장치는 우선순위 가이드에 기 설정된 정보와 비교하여 해당 관제 대상 차량 중 제어 차량 여부를 판단 및/또는 감지할 수 있다. 예를 들면, 관제 대상 차량 중에는 원격 관제 시스템으로 관제 요청을 전송한 차량, 긴급 상황이 발생하여 원격 운전이 필요한 차량 등에 대하여 우선하여 순위를 설정하는 것을 포함할 수 있다.
또한, 원격관제 센터는 우선순위 가이드에 기반하여 주변 차량 정보를 차량에 요청하고, 수신할 수 있다. 주변 차량 정보는 위치 정보, 목적지 정보, 경로 정보, 차량 일반 정보, 카메라 정보, 레이더 정보, 라이다 정보, 초음파센서 정보, 차량 방향 정보, 요금 정보, 및/또는 음성 정보 등 중 적어도 하나를 포함할 수 있다. 예를 들면, 원격관제 센터는 단순 원격운전의 경우 위치 정보, 목적지 정보, 경로 정보, 차량 일반 정보, 카메라 정보, 초음파센서 정보, 차량 방향 정보, 음성 정보, 및 요금 정보를 요청할 수 있다.
차량 일반 정보는 속도 정보, 연료 정보, 기어 정보 및/또는 계기판 정보 등 중 적어도 하나를 포함할 수 있다. 카메라 정보는 캐빈 또는 전후측방 카메라 정보 중 적어도 하나를 포함할 수 있다.
본 명세서의 실시예에 따라 원격관제 시스템에 있어서, 우선순위 가이드에 따라 제어차량을 선택하고 제어 메시지를 전송할 수 있다.
예를 들어, 긴급상황이 발생한 차량을 제 1 관제 대상 차량으로 안내한 우선순위 가이드에 따라 원격관제 센터의 제어자가 제 1 관제 대상 차량의 주변 정보를 얻은 결과, 주변에 제 1관제 대상 차량을 원격 운전할 제 3 차량의 사람 운전자가 있을 수 있다. 또한, 우선 순위 가이드의 안내에 따라 원격주행 요청을 한 제 2관제 대상 차량은 주변에 원격 운전할 사람 운전자가 없을 수 있다.
이 경우에, 우선순위 가이드의 제안과 달리, 제어자는 제 2관제 대상 차량에 제어 명령 및 원격제어 메시지를 전송할 수 있다. 또한, 제 1관제 대상 차량 주위의 제 3 차량으로 제어 요청 및 메시지를 전송할 수 있다.
또한, 원격 관제 시스템을 관제 요청을 전송한 제 2 차량이 발생한 경우, 제2 차량의 요청 메시지(예를 들어, 텍스트, 음성안내, 별도의 화면 등)를 원격관제 센터로 전송할 수 있다. 상기 원격관제 센터는 상기 요청 메시지를 수신하고, 상기 원격관제 센터에 요청 메시지를 출력(예를 들어, 텍스트, 음성안내, 화면 등) 할 수 있다. 원격 제어자는 상기 제 2차량의 요청을 확인하고, 상기 제 2 차량의 주변 정보를 제 2 차량으로 요청 및/또는 수신할 수 있다.
또한, 원격 관제 시스템이 긴급 상황이 발생한 차량을 발견한 경우, 원격 관제 시스템은 긴급 상황 발생 메시지(예를들어, 텍스트, 음성안내, 별도의 화면 등)를 안내 및 긴급 상황 발생한 차량의 주행 방향에서 보여지는 시뮬레이터 기반의 이미지로 화면이 전환되어 디스플레이에 표시할 수 있다.
도 5은 본 발명의 일 실시예에 따른 원격관제 시스템의 동작을 간략히 설명하기 위한 흐름도이다.
도 5을 참조하면, 원격관제 센터(또는 원격 cockpit)는 임의의 제 1차량을 선택할 수 있다(S910). 본 명세서의 일 실시예에 따라 원격관제 센터가 상기 제 1차량을 선택하는 방법은 일정 거리마다 또는 일정 차량 수 중 적어도 어느 하나에 기초하여 일정 거리를 구획하고, 구획된 상기 일정 거리에 속한 차량 중 하나의 차량을 선택하는 기준일 수 있다. 원격관제 시스템은 미리 설정된 기준에 기초하여 임의의 차량, 즉, 제1차량을 선택할 수 있다. 또한, 원격 관제 센터는 서버를 통해 상기 제 1 차량으로 제어 차량을 선택하기 위한 관제대상 차량 정보를 요청할 수 있다(S910).
상기 제 1 차량의 위치 정보에 기초하여 미리 정해진 임계 거리에 따라 구획하고, 구획 거리에 포함된 차량을 관제 대상 차량으로 할 수 있다.
관제 대상 차량들의 차량 정보에 기초하여 관제 대상 차량을 선택할 수 있다.관제 차량 마다 원격 제어자가 배정 될 수 있다. 따라서, 구획 거리에 포함된 관제 대상 차량들 중 관제 차량이 복수인 경우, 관제 차량수에 비례하여 원격 제어자를 배정할 수 있다.다음, 상기 제 1 차량의 위치 정보에 기초하여 상기 제 1 차량 주변으로 일정 거리에 포함된 차량을 관제대상 차량으로 설정할 수 있다(S911). 관제 대상 차량은 상기 원격관제 센터가 일정거리 또는 일정 차량 수에 따라 구획한 거리에 포함된 차량을 관제 대상 차량으로 설정할 수 있다. 또한, 상기 구획 거리에 포함되지 않지만, 상기 구획 거리에 포함된 차량의 센싱 정보로 인식할 수 있는 차량을 더 포함할 수 있다.
또한, 상기 제 1 차량은 관제 대상 차량들에 차량 정보를 요청할 수 있다(S911).
관제 대상 차량인 제 1 차량, 제 2 차량, 제 3 차량 각각은 차량 정보를 서버로 전송할 수 있다(S912, S913, S914).
서버는 획득한 관제 대상 차량의 차량 정보를 가상 3D 맵에 구현할 수 있다(S920).
본 명세서의 일 실시예에 따라 차량 정보를 가상 3D 맵에 구현하는 방법은,획득한 차량 정보에서 추출된 영상 정보를 시뮬레이터 기반의 가상 3D 맵핑 정보를 인식하여 좌표 변환기로부터 얻은 정보에 대응하도록 매칭시켜 차량 위치 및 좌표 정보의 패턴을 하나의 세트로 저장할 수 있다. 다시 말해, 상기 가상 3D 맵 정보와 영상정보의 맵핑소스 수정을 통해 촬영된 건물 위치 및 영상 정보를 증강시켜 매칭한다.
영상 인식을 이용한 증강현실 장치는 GPS센서를 포함해 현재 위치를 감지할 수 있다. 차량의 현재 위치와 방향은 네트워크로부터 전송된 정보를 이용해 파악할 수 있다.
다음, 서버는 원격관제 센터로 3D 가상맵을 원격관제 센터의 출력부를 통해 제공할 수 있다(S921).
다음, 관제 대상 차량 중 원격 주행 요청을 원격 관제 센터로 송신할 수 있다(S922).
다음, 관제 대상 차량들의 차량 정보에 기초하여 서버는 긴급상황이 발생한 차량을 확인할 수 있다(S923).
다음, 원격관제 센터는 차량으로부터 수신한 원격운전 요청 또는 긴급상황이 발생한 차량을 확인하여 원격주행 여부를 판단을 위한 추가적인 주변정보를 서버에 요청할 수 있다(S930).
다음, 서버는 원격관제 센터의 요청에 따라 차량으로부터 수신한 원격운전 요청 또는 긴급상황이 발생한 차량을 확인하여 원격주행 여부를 판단을 위한 추가적인 주변정보를 차량에 요청하고 수신할 수 있다(S931, S932, S933, S934). 다시 말해, 원격관제 센터는 원격운전 요청 또는 긴급상황이 발생한 차량에 기반하여 원격주행 여부를 판단하고 필요한 주변 정보를 요청할 수 있다. 본 발명은 원격주행 여부를 판단하기 위한 주변 정보를 차량 및/또는 정보 수집 장치에 요청 및/또는 수신할 수 있다.
다음, 원격관제 센터는 요청 정보, 긴급상황이 발생한 차량 확인 및/또는 차량 정보에 기반하여 제어 차량을 선택할 수 있다(S940).
다음, 원격관제 센터는 실시간으로 차량 정보 및/또는 주변 차량 정보를 수신하고 이에 기반하여 원격운전 수행 및/또는 제어메세지를 전송할 수 있다(S941, S942, S943, S944). 원격관제 센터는 차량 정보 및/또는 차량 주변 정보에 기반하여 사용자 인터페이스를 구성하고, 사람 운전자는 사용자 인터페이스를 통해 차량을 제어할 수 있다.
정보 수집 장치는 노변장치(RSU), 모바일 엣지 컴퓨팅(MEC) 서버 장치, 클라우드 서버 장치, 주변 차량 등 차량의 주변에 대한 정보를 수집할 수 있는 모든 장치를 의미할 수 있다. 정보 수집 장치는 해당 요청을 수신하고, 차량 주변 정보를 원격관제 센터에 전송할 수 있다. 여기서, 노변장치의 수집 정보들은 모바일 엣지 컴퓨팅 서버 장치를 통해 원격관제 센터로 전송될 수도 있고, 적접 노변장치로부터 원격관제 센터로 전송될 수도 있다.
차량 정보는 아래 표 1과 같을 수 있다. 여기서, 차량 정보는 원격운전 요청에 포함되어 원격관제 센터에 전송될 수도 있다. 그리고/또는, 원격관제 센터는 원격운전 유형과 원격운전자 유형를 결정하고, 이에 기반하여 추가적으로 차량 및/또는 정보 수집 장치에 요청하고, 수신할 수 있다.
Data Details
Id Target Car ID
Seq Packet Sequence Number
TimeStamp Packet TimeStamp
Wheel -450 ~ +450 degree (Steering Wheel angle)
Accel 0.0 ~ 1.0 (1.0 : Full Accel)
Brake 0.0 ~ 1.0 (1.0 : Full brake)
Gear D/N/R Key (Drive, Neutral, Reverse Gear)
Indicator 0~3 (Left/Right/Emergency Indicator)
Horn 0 or 1 (Horn on/off)
EmergencyStatus 0 or 1 Emergency Status
AC 0 or 1 (Air -Conditioner on/off)
Door 0 or 1 (Door on/off)
LowBeam 0 or 1 (Low beam on/off)
도 6은 본 명세서의 일 실시예에 따라 관제 대상 차량 각각의 차량 정보가 맵핑된, 가상 3D 맵을 나타낸다.
3D 개체 상세정보는 3D 맵 상에 기본적으로 보여지는 3D 개체 이미지만으로는 알 수 없는 3D 개체의 상세 정보를 포함한다. 3D 맵 상에서 선택된 특정 3D 개체의 상세 정보는 비선택된 주변의 다른 3D 개체 다른 각도, 방향, 방위에서 보여지는 이미지, 확대/축소(Zoom in/Zoom out)된 이미지, 시간대별로 달라지는 이미지를 보여주는 정지영상 또는 동영상 등의 그래픽 이미지 정보를 포함할 수 있다. 또한, 선택된 3D 개체의 상세 정보는 그 개체와 관련된 텍스트 정보, 그 개체와 관련된 교통 관련 정보, 그 개체와 관련된 차량 정보, 그 개체와 관련된 주변 정보를 포함할 수 있다. 3D 개체 상세정보는 네트워크를 통해 다른 차량 또는 다른 기기로부터 전송될 수 있다.
3D 개체 제어신호는 상기 3D 개체 각각의 움직임이나 상세 정보를 독립적으로 제어할 수 있는 제어신호로써 원격 관제 센터의 제어부에서 생성된다. 3D 개체 제어신호는 원격관제 센터에서 제공하는 모든 사용자 인터페이스 예를 들면, 원격관제 센터에 설치 가능한 각종 키, 휠, 볼, 스틱, 터치센서, 근접센서, 자이로 센서, 지가기 센서 드의 센서 수당 등을 통해 입력되는 터치 입력, 근접입력, 키 입력, 조그휠 입력, 트랙볼 입력, 조이스틱 입력 중 어느 하나를 통해 입력되는 사용자의 선테 명령에 따라 발생할 수 있다.
도 6을 참고하면, 관제 대상 차량이 3D 맵 상에 개체로서 텍스트 정보(예를 들어 ID:1, ID:2, ID:3, ID:4, ID:5, ID:6, ID:7)로 표현될 수 있다.
본 명세서의 일 실시예에 따라 원격관제 센터(또는 원격 cockpit)는 임의의 제 1차량을 선택할 수 있다. 원격관제 센터가 상기 제 1차량을 선택하기 위하여 일정 거리마다 또는 일정 차량 수 중 적어도 어느 하나에 기초하여 일정 거리를 구획할 수 있다. 미리 설정된 기준은 구획된 상기 일정 거리에 속한 차량 중 하나의 차량을 선택하는 기준일 수 있다. 원격관제 시스템은 미리 설정된 기준에 기초하여 임의의 차량, 즉, 제1차량을 선택할 수 있다.
도 6의 차량 ID:1은 상기 미리 설정된 기준에 기초하여 제 1 차량으로 선택되어 포이트 방향이 활성화된 상태로 디스플레이 화면에 표시될 수 있다.
상기 활성화된 상기 차량 ID:1을 선택하면, 상기 차량 ID:1의 주행방향에서 보여지는 시뮬레이터 기반의 이미지로 화면이 전환되어 디스플레이에 표시할 수 있다.
또한, 원격관제 센터의 원격 제어자의 입력 정보에 의해 활성화된 상기 차량 ID:1이 차량 ID:3으로 변경된 경우, 원격제어자의 입력 정보를 실시간으로 반영하여 차량 정보가 맵핑된 3D 맵의 평면(Top View)방향에서 상기 차량 ID:3이 선택되어 방향 포인터가 가리키도록 활성화될 수 있다.
상기 차량 ID:3이 선택되면, 원격관제 센터는 상기 차량 ID:3로 차량 정보 및 주변 정보를 요청 및/또는 수신할 수 있다.
도 7은 본 명세서의 일 실시예에 따라 차량 주변 정보를 가상 3D 맵에 맵핑하고, 디스플레이 화면에 표시한 도면을 나타낸다.
도 7을 참고하면, 차량 주변 정보는 원격관제 센터의 제어자 또는 주변 차량의 운전자가 원격운전을 수행하기 위하여 필수적으로 요청될 수 있다.
차량(1120) 주변 정보는 네비게이션 정보, 차량 주변의 RSU 정보, 보행자 정보, 긴급차량운행 정보, 및/또는 주변 차량 정보(1110) 중 적어도 하나를 포함할 수 있다.
예를 들면, 원격관제 센터의 제어자가 원격운전하는 경우, 네비게이션 정보, 차량 주변의 RSU 정보, 보행자 정보, 긴급차량운행 정보 및 주변 차량 정보를 요청하고, 주변 차량의 운전자로 결정된 경우 네비게이션 정보와 추가 요청할 정보를 요청할 수 있다.
또한, 차량 주변의 cctv 정보를 가상 3D 맵 위에 2D 이미지 형태로 표시할 수 있다(1230).
RSU 정보가 요청되는 하나 이상의 노변장치들의 범위 또는 주변 차량 정보가 요청되는 하나 이상의 주변 차량들의 범위는 위치 정보 및/또는 속도 정보에 기반하여 결정될 수 있다. 원격관제 센터는 차량이 교차로 진입부에 위치하는 경우 교차로 내 모든 RSU 들의 RSU 정보를, 주변 차량들의 주변 차량 정보를 요청할 수 있다. 그리고/또는, 원격관제 센터는 차량의 운행 속도에 비례하여 넓은 범위에 위치한 RSU들의 RSU 정보, 주변 차량들의 주변 차량 정보를 요청할 수 있다. 요청 범위는 차량의 운전 방향의 형태일 수 있다.
즉, 관제 대상 차량(1110)의 차량 정보가 맵핑된 3D 맵의 평면(Top View)방향에서 파악할 수 없는 위치 정보를 주변 차량(1120)의 센싱 정보, 교차로 내 모든 RSU 및 CCTV 정보(1230) 중 적어도 어느 하나를 원격 제어자에 의해 선택된 정보를 가상 3D 맵 위에 2D 이미지 형태로 표시할 수 있다.
도 8a 내지 도 8e는 출력화면에 기반하여 상기 관제 대상 차량 중 제어 차량을 시뮬레이터 선택하는 것을 나타낸다.
도 8a를 참고하면, 원격관제 센터의 디스플레이(1260)는 서버(1240)로부터 수신한 관제대상 차량들의 차량정보가 맵핑된 가상 3D 맵 정보를 표시할 수 있다.
상기 디스플레이(1260)에 표시된 가상 3D 맵에는 4대의 관제대상 차량(1210, 1220, 1230, 1231)을 포함할 수 있다.
본 명세서의 일 실시예에 따라 원격관제 센터가 상기 제 1차량을 선택하기 위하여 일정 거리마다 또는 일정 차량 수 중 적어도 어느 하나에 기초하여 일정 거리를 구획할 수 있다. 미리 설정된 기준은 구획된 상기 일정 거리에 속한 차량 중 하나의 차량을 선택하는 기준일 수 있다. 원격관제 시스템은 미리 설정된 기준에 기초하여 임의의 차량, 즉, 제1차량을 선택할 수 있다.
도 8a의 차량(1210)은 상기 미리 설정된 기준에 기초하여 제 1 차량으로 선택될 수 있다.
도 8b를 참고하면, 도 8b의 차량(1210)이 제 1 차량으로 선택되어 포이트 방향이 활성화된 상태로 디스플레이 화면에 표시된 것을 나타낼 수 있다.
도 8c를 참고하면, 제 1차량의 주행방향 각도로 전환된 화면이 디스플레이(1260)에 나타날 수 있다.
원격관제 센터에는 제어 명령을 생성하는 운전대(1290), 디스플레이(1260)의 포인트 방향을 조절하는 조그 컨트롤러(1291), 관제 대상 차량 중 우선하여 원격 주행이 필요한 차량에 대한 순위를 제공하는 우선 순위 가이드 확인용 버튼(1293)을 포함할 수 있다. 상기 조그 컨트롤러는 상하좌우의 방향(1292)으로 방향 컨트롤할 수 있다.
원격 관제 센터의 제어자는 상기 조그 컨트롤러(1291)를 조절하여 제 1차량의 주행방향 각도로 화면을 전환할 수 있다. 또한, 관제대상 차량을 볼 수 있는 평면도(top view)로 화면을 전환할 수 있다.
도 8d를 참조하면, 본 명세서의 일 실시예에 따라 관제 대상 차량 중에는 원격 관제 시스템으로 관제 요청을 전송한 제 2 차량(1220) 및 긴급 상황이 발생한 제 3차량(1230)이 모두 존재할 수 있다.
이 경우에, 원격 관제 센터는 관제 대상 차량 각각에 대하여 주변 차량 정보를 요청 및 수신할 수 있다.
우선순위 가이드는 관제 대상 차량 중 원격운전이 필요한 순서를 안내하는 정보를 포함할 수 있다.
우선순위 가이드는 긴급 상황이 발생한 제 3 차량(제1230)을 제 1 관제 대상 차량으로 안내할 수 있다. 그러나, 우선순위 가이드에 따라 원격관제 센터의 제어자가 제 3 차량(1230)의 주변 정보를 얻은 결과, 주변에 제 3 차량(1230)을 원격 운전할 제 4 차량(1231)의 사람 운전자가 있을 수 있다. 또한, 우선 순위 가이드의 안내에 따라 원격주행 요청을 한 제 2 차량(1220)은 주변에 원격 운전할 사람 운전자가 없을 수 있다.
이 경우에, 우선순위 가이드의 제안과 달리, 제어자는 제 2 차량(1220)에 제어 명령 및 원격제어 메시지를 전송할 수 있다. 또한, 제 3차량(1230) 주위의 제 4 차량(1231)으로 제어 요청 및 메시지를 전송할 수 있다.
도 8e를 참고하면, 도 8d의 제 4 차량(1231)으로 선택되어 포이트 방향이 활성화된 상태에서 제 4차량의 주행방향 각도로 전환된 화면이 디스플레이를 나타날 수 있다.
제 4차량(1231)의 주행 방향 각도로 화면이 전환되기 위하여 원격관제 센터는 제 4 차량으로 차량 정보 및 주변 정보를 요청 및/또는 수신할 수 있다.
제 4 차량(1231)의 사람 운전자가 제 4 차량(1231)의 운전대(1291)를 통해 제어 명령을 입력할 수 있다. 제어 명령은 서버(1240)를 통해 제 3차량(1230)을 제어 및 제어 명령 메시지를 송신할 수 있다.
도 9은 본 명세서의 일 실시예에 따라 제어 차량으로부터 차량 정보가 수신되지 않는 경우에 차량을 긴급 정차하는 과정의 흐름도를 나타낸다.
프로세서는 제어차량으로 ICMP 패킷을 전송하여 차량 정보를 요청할 수 있다.
ICMP는 Internet Control Message Protocol의 약자로 IP에 대해 오류 및 진단 데이터를 전송할 책임이 있는 프로토콜을 의미한다.
상기 제어 차량으로부터 미리 정해진 임계시간 동안 상기 차량 정보가 수신되지 않는 경우, 미리 정해진 임계시간 동안 ICMP 패킷이 수신될 때까지 상기 차량을 긴급 정차할 수 있다.
상기 차량을 긴급 정차하는 경우에는, 상기 긴급 정차하는 단계는, 상기 미리 정해진 임계시간 동안 상기 ICMP 패킷이 수신될 때까지 상기 차량을 긴급 정차하고, 상기 미리 정해진 임계시간 동안 상기 ICMP 패킷을 수신한 경우, 상기 차량으로 원격주행 제어 명령 및 메시지를 전송할 수 있다.
도 9을 참고하면, 프로세서는 임계시간마다 제어 차량으로 차량 정보를 요청할 수 있다(S1314).
다음, 프로세서는 상기 임계시간에 제어 차량으로 차량 정보를 수신한 경우, 서버는 시뮬레이터 기반의 출력화면에 기초하여 가상 3D 맵에 상기 차량 정보를 맵핑할 수 있다(S1310: YES, S1311).
다음, 프로세서는 상기 가상 3D맵에 맵핑된 관제 대상 차량들의 차량 정보에 기초하여 원격관제 센터의 제어자는 제어 차량을 선택하고, 제어 명령을 생성할 수 있다(S1312).
다음, 프로세서는 상기 제어 명령 및 제어 메시지를 제어 차량으로 전송할 수 있다(S1313).
그러나, 프로세서가 상기 임계시간마다 제어 차량으로 차량 정보를 수신하지 않은 경우, 서버는 제어 차량으로 긴급 정차 명령을 전송할 수 있다(S1310: NO, S1320).
다음, 프로세서는 상기 임계시간마다 제어 차량으로 ICMP 패킷을 전송할 수 있다(S1231).
다음, 프로세서는 상기 임계시간 동안 ICMP 패킷에 대한 응답이 있는 경우, 원격 제어를 재시작 할 것을 결정할 수 있다(S1323).
다음, 프로세서는 상기 원격 제어 재시작과 함께 제어 명령 및 메시지를 차량으로 전송할 수 있다(S1324).
이하, 본 명세서에서 적용되는 실시예들은 아래와 같다.
본 명세서의 제1 실시예에 따른 자율주행시스템에서 원격주행을 위한 시뮬레이터 기반의 원격주행 보조 방법은, 복수의 차량 중 제 1 차량에 기초하여 관제 대상 차량들의 차량 정보를 획득하고, 서버로부터 시뮬레이터 기반의 가상 3D 맵 지도를 획득하고, 상기 차량 정보를 상기 시뮬레이터 출력화면에 기반하여 가상 3D 맵 지도에 구현하고, 상기 시뮬레이터 출력화면에 기반하여 상기 관제 대상 차량 중 제어 차량을 선택하고, 상기 차량 정보에 기초하여 차량으로 제어 명령을 전송하는 것을 포함한다.
제2 실시예: 상기 실시예 1에 있어서, 상기 복수의 차량 중 제 1 차량은, 원격주행 보조 시스템에 미리 설정된 기준에 기초하여 선택된 차량인 것을 특징으로 할 수 있다.
제3 실시예: 실시예 1에 있어서, 상기 차량 정보는, 관제 대상 차량, 주행방향, 이동경로, 위치 정보, 목적지 정보, 차량 식별 정보, 카메라 정보, 레이더 정보, 라이다 정보, 초음파센서 정보, 차량 방향 정보 또는 음성 정보 중 적어도 하나를 포함할 수 있다.
제4 실시예: 제1 실시예에 있어서, 상기 가상 3D 맵 지도를 획득하는 단계는, 상기 관제 대상 차량들의 위치 정보에 기초하여 서버로 상기 가상 3D 맵 지도를 요청할 수 있다.
제5 실시예: 실시예 1에 있어서, 상기 관제 대상 차량 중 제어 차량을 시뮬레이터 출력화면에 기반하여 선택하고, 원격 관제 시스템으로 관제 요청을 전송한 제 2 차량 또는 긴급 상황이 발생한 제 3 차량을 우선으로 제어하도록 설정할 수 있다.
제6 실시예: 실시예 5에 있어서, 상기 제 2 차량과 상기 제 3 차량이 모두 발생한 경우, 상기 제 2 차량 및 상기 제 3 차량의 주변 정보를 수신하고, 상기 주변 정보에 기초하여 제어 차량을 선택하고, 상기 제어 차량의 차량 정보에 기초하여 상기 제어 차량으로 명령을 전송할 수 있다.
제7 실시예: 실시예 6에 있어서, 상기 주변 정보는, 네비게이션 정보, 상기 차량 주변의 RSU 정보, 보행자 정보, 긴급상황 차량 정보 또는 주변 차량 정보 중 적어도 어느 하나인 것을 특징으로 할 수 있다.
제8 실시예: 실시예 6에 있어서, 상기 관제 대상 차량 중 제어 차량을 시뮬레이터 출력화면에 기반하여 선택하고, 상기 제 3 차량이 발생한 경우, 상기 제 3 차량 주변 정보 또는 주변 차량 정보 중 적어도 어느 하나를 원격관제 시스템의 출력부에 표시할 수 있다.
제9 실시예: 실시예 1에 있어서, 상기 관제 대상 차량 중 제어 차량을 선택하는 단계는, 상기 제어 차량을 선택하기 위하여 원격 관제 시스템의 제어부에 명령하고, 상기 명령을 원격주행 보조 시스템의 출력부를 통해 표시할 수 있다.
제10 실시예: 실시예 1에 있어서, 상기 제어 차량으로부터 미리 정해진 임계시간 동안 상기 차량 정보가 수신되지 않는 경우, 미리 정해진 임계시간 동안 ICMP(Internet Control Message Protocol) 패킷이 수신될 때까지 상기 제어 차량으로 긴급 정차하도록 제어할 수 있다.
본 명세서의 제11 실시예에 따른 자율주행차량의 원격주행 보조 시스템에 있어서, 통신부, 메모리, 출력부 및 상기 통신부 및 메모리와 기능적으로 연결된 프로세서를 포함하고, 상기 통신부를 통해 차량 정보를 수신하고, 상기 프로세서는, 복수의 차량 중 제 1 차량에 기초하여 관제 대상 차량들의 차량 정보를 획득하고, 서버로부터 시뮬레이터 기반의 가상 3D 맵 지도를 획득하고, 상기 차량 정보를 상기 시뮬레이터 기반의 가상 3D 맵 지도에 구현하고, 상기 관제 대상 차량 중 제어 차량을 선택하고, 상기 차량 정보에 기초하여 차량으로 제어 명령을 전송한다..
제12 실시예: 실시예 11에 있어서, 상기 복수의 차량 중 제 1 차량은,
원격주행 보조 시스템에 미리 설정된 기준에 기초하여 선택된 차량일 수 있다.
제13 실시예: 실시예 11에 있어서, 상기 차량 정보는, 관제 대상 차량, 주행방향, 이동경로, 위치 정보, 목적지 정보, 차량 식별 정보, 카메라 정보, 레이더 정보, 라이다 정보, 초음파센서 정보, 차량 방향 정보 또는 음성 정보 중 적어도 하나를 포함할 수 있다.
제14 실시예: 실시예 11에 있어서, 상기 프로세서는, 상기 관제 대상 차량들의 위치 정보에 기초하여 서버로 상기 가상 3D 맵 지도를 요청할 수 있다.
제15 실시예: 실시예 14에 있어서, 상기 프로세서는, 원격 관제 시스템으로 관제 요청을 전송한 제 2 차량 또는 긴급 상황이 발생한 제 3 차량을 우선으로 제어하도록 설정할 수 있다.
제16 실시예: 실시예 15에 있어서, 상기 프로세서는, 상기 제 2 차량과 상기 제 3 차량이 모두 발생한 경우, 상기 제 2 차량 및 상기 제 3 차량의 주변 정보를 수신하고, 상기 주변 정보에 기초하여 제어 차량을 선택하고, 상기 제어 차량의 차량 정보에 기초하여 상기 제어 차량으로 명령을 전송할 수 있다.
제17 실시예: 실시예 16에 있어서, 상기 주변 정보는, 네비게이션 정보, 상기 차량 주변의 RSU 정보, 보행자 정보, 긴급상황 차량 정보 또는 주변 차량 정보 중 적어도 어느 하나 인 것을 할 수 있다.
제18 실시예: 실시예 16에 있어서, 상기 프로세서는, 상기 제 3 차량이 발생한 경우, 상기 제 3 차량 주변 정보 또는 주변 차량 정보 중 적어도 어느 하나를 원격관제 시스템의 출력부에 표시할 수 있다.
제19 실시예: 실시예 11에 있어서, 상기 프로세서는, 상기 제어 차량을 선택하기 위하여 원격 관제 시스템의 제어부에 명령하고, 상기 명령을 원격주행 보조 시스템의 출력부를 통해 표시할 수 있다.
제20 실시예: 실시예 11에 있어서, 상기 제어 차량으로부터 미리 정해진 임계시간 동안 상기 차량 정보가 수신되지 않는 경우, 미리 정해진 임계시간 동안 ICMP(Internet Control Message Protocol) 패킷이 수신될 때까지 상기 제어 차량으로 긴급 정차하도록 제어할 수 있다.
본 명세서의 제21 실시예에 따른 자율주행차량의 원격주행 보조 시스템을 위한 서버에 있어서, 통신부, 메모리, 출력부 및 상기 통신부 및 메모리와 기능적으로 연결된 프로세서를 포함하고, 상기 통신부를 통해 차량 정보를 수신하고, 상기 프로세서는, 복수의 차량 중 제 1 차량에 기초하여 관제 대상 차량들의 차량 정보를 획득하고, 서버로부터 시뮬레이터 기반의 가상 3D 맵 지도를 획득하고, 상기 차량 정보를 상기 시뮬레이터 기반의 가상 3D 맵 지도에 구현하고, 상기 관제 대상 차량 중 제어 차량을 선택하고, 상기 차량 정보에 기초하여 차량으로 제어 명령을 전송한다..
제22 실시예: 실시예 21에 있어서, 상기 복수의 차량 중 제 1 차량은,
원격주행 보조 시스템에 미리 설정된 기준에 기초하여 선택된 차량일 수 있다.
제23 실시예: 실시예 21에 있어서, 상기 차량 정보는, 관제 대상 차량, 주행방향, 이동경로, 위치 정보, 목적지 정보, 차량 식별 정보, 카메라 정보, 레이더 정보, 라이다 정보, 초음파센서 정보, 차량 방향 정보 또는 음성 정보 중 적어도 하나를 포함할 수 있다.
제24 실시예: 실시예 21에 있어서, 상기 프로세서는, 상기 관제 대상 차량들의 위치 정보에 기초하여 서버로 상기 가상 3D 맵 지도를 요청할 수 있다.
제25 실시예: 실시예 24에 있어서, 상기 프로세서는, 원격 관제 시스템으로 관제 요청을 전송한 제 2 차량 또는 긴급 상황이 발생한 제 3 차량을 우선으로 제어하도록 설정할 수 있다.
제26 실시예: 실시예 25에 있어서, 상기 프로세서는, 상기 제 2 차량과 상기 제 3 차량이 모두 발생한 경우, 상기 제 2 차량 및 상기 제 3 차량의 주변 정보를 수신하고, 상기 주변 정보에 기초하여 제어 차량을 선택하고, 상기 제어 차량의 차량 정보에 기초하여 상기 제어 차량으로 명령을 전송할 수 있다.
제27 실시예: 실시예 26에 있어서, 상기 주변 정보는, 네비게이션 정보, 상기 차량 주변의 RSU 정보, 보행자 정보, 긴급상황 차량 정보 또는 주변 차량 정보 중 적어도 어느 하나 인 것을 할 수 있다.
제28 실시예: 실시예 26에 있어서, 상기 프로세서는, 상기 제 3 차량이 발생한 경우, 상기 제 3 차량 주변 정보 또는 주변 차량 정보 중 적어도 어느 하나를 원격관제 시스템의 출력부에 표시할 수 있다.
제29 실시예: 실시예 21에 있어서, 상기 프로세서는, 상기 제어 차량을 선택하기 위하여 원격 관제 시스템의 제어부에 명령하고, 상기 명령을 원격주행 보조 시스템의 출력부를 통해 표시할 수 있다.
제30 실시예: 실시예 21에 있어서, 상기 제어 차량으로부터 미리 정해진 임계시간 동안 상기 차량 정보가 수신되지 않는 경우, 미리 정해진 임계시간 동안 ICMP(Internet Control Message Protocol) 패킷이 수신될 때까지 상기 제어 차량으로 긴급 정차하도록 제어할 수 있다.
전술한 본 발명은, 프로그램이 기록된 매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 매체는, 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 매체의 예로는, HDD(Hard Disk Drive), SSD(Solid State Disk), SDD(Silicon Disk Drive), ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장 장치 등이 있으며, 또한 캐리어 웨이브(예를 들어, 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한, 상기 컴퓨터는 프로세서 또는 제어부를 포함할 수도 있다. 따라서, 상기의 상세한 설명은 모든 면에서 제한적으로 해석되어서는 아니되고 예시적인 것으로 고려되어야 한다. 본 발명의 범위는 첨부된 청구항의 합리적 해석에 의해 결정되어야 하고, 본 발명의 등가적 범위 내에서의 모든 변경은 본 발명의 범위에 포함된다.
610: 차량 640: 주변 차량
620: 원격 관제 센터 630: 서버

Claims (20)

  1. 자율주행시스템에서 원격주행을 위한 시뮬레이터 기반의 원격주행 보조 방법에 있어서,
    복수의 차량 중 제 1 차량에 기초하여 관제 대상 차량들의 차량 정보를 획득하는 단계;
    서버로부터 시뮬레이터 기반의 가상 3D 맵 지도를 획득하는 단계;
    상기 차량 정보를 시뮬레이터 출력화면 기반의 가상 3D 맵 지도에 구현하는 단계;
    상기 시뮬레이터 출력화면 기반의 상기 관제 대상 차량 중 제어 차량을 선택하는 단계; 및
    상기 차량 정보에 기초하여 상기 선택된 제어 차량으로 제어 명령을 전송하는 것을 특징으로 하는 시뮬레이터 기반의 원격주행 보조 방법.
  2. 제 1항에 있어서,
    상기 복수의 차량 중 제 1 차량은,
    원격주행 보조 시스템에 미리 설정된 기준에 기초하여 선택된 차량인 것을 특징으로 하는 시뮬레이터 기반의 원격주행 보조 방법.
  3. 제 1항에 있어서,
    상기 차량 정보는,
    관제 대상 차량, 주행방향, 이동경로, 위치 정보, 목적지 정보, 차량 식별 정보, 카메라 정보, 레이더 정보, 라이다 정보, 초음파센서 정보, 차량 방향 정보 또는 음성 정보 중 적어도 하나를 포함하는 것을 특징으로 하는 시뮬레이터 기반의 원격주행 보조 방법.
  4. 제 1항에 있어서,
    상기 가상 3D 맵 지도를 획득하는 단계는,
    상기 관제 대상 차량들의 위치 정보에 기초하여 서버로 상기 가상 3D 맵 지도를 요청하는 단계;
    를 포함하는 것을 특징으로 하는 시뮬레이터 기반의 원격주행 보조 방법.
  5. 제 1항에 있어서,
    상기 관제 대상 차량 중 제어 차량을 선택하는 단계는,
    원격 관제 시스템으로 관제 요청을 전송한 제 2 차량 또는 긴급 상황이 발생한 제 3 차량을 우선으로 제어하도록 설정하는 단계;
    를 포함하는 것을 특징으로 하는 시뮬레이터 기반의 원격주행 보조 방법.
  6. 제 5항에 있어서,
    상기 제 2 차량과 상기 제 3 차량이 모두 발생한 경우, 상기 제 2 차량 및 상기 제 3 차량의 주변 정보를 수신하는 단계;
    상기 주변 정보에 기초하여 제어 차량을 선택하는 단계; 및
    상기 제어 차량의 차량 정보에 기초하여 상기 제어 차량으로 제어 명령을 전송하는 단계;
    를 포함하는 것을 특징으로 하는 시뮬레이터 기반의 원격주행 보조 방법.
  7. 제 6항에 있어서,
    상기 주변 정보는,
    네비게이션 정보, 상기 차량 주변의 RSU 정보, 보행자 정보, 긴급상황 차량 정보 또는 주변 차량 정보 중 적어도 어느 하나인 것을 특징으로 하는 시뮬레이터 기반의 원격주행 보조 방법.
  8. 제 6항에 있어서,
    상기 관제 대상 차량 중 제어 차량을 선택하는 단계는,
    상기 제 3 차량이 발생한 경우, 상기 제 3 차량 주변 정보 또는 주변 차량 정보 중 적어도 어느 하나를 원격관제 시스템의 출력부에 표시하는 단계;
    를 포함하는 것을 특징으로 하는 시뮬레이터 기반의 원격주행 보조 방법.
  9. 제 1항에 있어서,
    상기 관제 대상 차량 중 제어 차량을 선택하는 단계는,
    상기 제어 차량을 선택하기 위하여 원격 관제 시스템의 제어부에 명령하는 단계; 및
    상기 명령을 원격주행 보조 시스템의 출력부를 통해 표시하는 단계;
    를 포함하는 것을 특징으로 하는 시뮬레이터 기반의 원격주행 보조 방법.
  10. 제 1항에 있어서,
    상기 제어 차량으로부터 미리 정해진 임계시간 동안 상기 차량 정보가 수신되지 않는 경우, 미리 정해진 임계시간 동안 ICMP(Internet Control Message Protocol) 패킷이 수신될 때까지 상기 제어 차량으로 긴급 정차하도록 제어하는 단계를 더 포함하는 것을 특징으로 하는 시뮬레이터 기반의 원격주행 보조 방법.
  11. 자율주행차량의 원격 주행 보조 시스템에 있어서,
    통신부;
    메모리;
    출력부;및
    상기 통신부 및 메모리와 기능적으로 연결된 프로세서;를 포함하고,
    상기 통신부를 통해 차량 정보를 수신하고,
    상기 프로세서는,
    복수의 차량 중 제 1 차량에 기초하여 관제 대상 차량들의 차량 정보를 획득하고, 서버로부터 시뮬레이터 기반의 가상 3D 맵 지도를 획득하고, 상기 차량 정보를 상기 시뮬레이터 기반의 가상 3D 맵 지도에 구현하고, 상기 관제 대상 차량 중 제어 차량을 선택하고, 상기 차량 정보에 기초하여 차량으로 제어 명령을 전송하는 것을 특징으로 하는 시뮬레이터 기반의 원격주행 보조 시스템.
  12. 제 11항에 있어서,
    상기 복수의 차량 중 제 1 차량은,
    원격주행 보조 시스템에 미리 설정된 기준에 기초하여 선택된 차량인 것을 특징으로 하는 시뮬레이터 기반의 원격주행 보조 시스템.
  13. 제 11항에 있어서,
    상기 차량 정보는,
    관제 대상 차량, 주행방향, 이동경로, 위치 정보, 목적지 정보, 차량 식별 정보, 카메라 정보, 레이더 정보, 라이다 정보, 초음파센서 정보, 차량 방향 정보 또는 음성 정보 중 적어도 하나를 포함하는 것을 특징으로 하는 시뮬레이터 기반의 원격주행 보조 시스템.
  14. 제 11항에 있어서,
    상기 프로세서는,
    상기 관제 대상 차량들의 위치 정보에 기초하여 서버로 상기 가상 3D 맵 지도를 요청하는 것을 특징으로 하는 시뮬레이터 기반의 원격주행 보조 시스템.
  15. 제 14항에 있어서,
    상기 프로세서는,
    원격 관제 시스템으로 관제 요청을 전송한 제 2 차량 또는 긴급 상황이 발생한 제 3 차량을 우선으로 제어하도록 설정하는 것을 특징으로 하는 시뮬레이터 기반의 원격주행 보조 시스템.
  16. 제 15항에 있어서,
    상기 프로세서는,
    상기 제 2 차량과 상기 제 3 차량이 모두 발생한 경우, 상기 제 2 차량 및 상기 제 3 차량의 주변 정보를 수신하고, 상기 주변 정보에 기초하여 제어 차량을 선택하고, 상기 제어 차량의 차량 정보에 기초하여 상기 제어 차량으로 제어 명령을 전송하는 것을 특징으로 하는 시뮬레이터 기반의 원격주행 보조 시스템.
  17. 제 16항에 있어서,
    상기 주변 정보는,
    네비게이션 정보, 상기 차량 주변의 RSU 정보, 보행자 정보, 긴급상황 차량 정보 또는 주변 차량 정보 중 적어도 어느 하나 인 것을 특징으로 하는 시뮬레이터 기반의 원격주행 보조 시스템.
  18. 제 16항에 있어서,
    상기 프로세서는,
    상기 제 3 차량이 발생한 경우, 상기 제 3 차량 주변 정보 또는 주변 차량 정보 중 적어도 어느 하나를 원격관제 시스템의 출력부에 표시하는 것을 특징으로 하는 시뮬레이터 기반의 원격주행 보조 시스템.
  19. 제 11항에 있어서,
    상기 프로세서는,
    상기 제어 차량을 선택하기 위하여 원격 관제 시스템의 제어부에 명령하고, 상기 명령을 원격주행 보조 시스템의 출력부를 통해 표시하는 것을 특징으로 하는 시뮬레이터 기반의 원격주행 보조 시스템.
  20. 제 11항에 있어서,
    상기 프로세서는,
    상기 미리 정해진 임계시간 동안 상기 ICMP 패킷이 수신될 때까지 상기 차량을 긴급 정차하고, 상기 미리 정해진 임계시간 동안 상기 ICMP 패킷을 수신한 경우, 상기 차량으로 원격주행 제어 명령 및 메시지를 전송하는 것을 특징으로 하는 시뮬레이터 기반의 원격주행 보조 방법.
KR1020200003002A 2020-01-09 2020-01-09 시뮬레이터 출력 화면에 기반한 원격제어 방법 및 장치 KR20210090314A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200003002A KR20210090314A (ko) 2020-01-09 2020-01-09 시뮬레이터 출력 화면에 기반한 원격제어 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200003002A KR20210090314A (ko) 2020-01-09 2020-01-09 시뮬레이터 출력 화면에 기반한 원격제어 방법 및 장치

Publications (1)

Publication Number Publication Date
KR20210090314A true KR20210090314A (ko) 2021-07-20

Family

ID=77127227

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200003002A KR20210090314A (ko) 2020-01-09 2020-01-09 시뮬레이터 출력 화면에 기반한 원격제어 방법 및 장치

Country Status (1)

Country Link
KR (1) KR20210090314A (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230117019A1 (en) * 2021-10-19 2023-04-20 Cyngn, Inc. System and method of same-loop adaptive simulation for autonomous driving

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230117019A1 (en) * 2021-10-19 2023-04-20 Cyngn, Inc. System and method of same-loop adaptive simulation for autonomous driving
US11760368B2 (en) * 2021-10-19 2023-09-19 Cyngn, Inc. System and method of same-loop adaptive simulation for autonomous driving

Similar Documents

Publication Publication Date Title
US20200223444A1 (en) Utilizing passenger attention data captured in vehicles for localization and location-based services
US11716160B2 (en) Vehicle remote instruction system
US11460838B2 (en) Apparatus and method for virtual home service
JP7320001B2 (ja) 情報処理装置、情報処理方法、プログラム、移動体制御装置、及び、移動体
US11754413B2 (en) Path setting apparatus, path setting method, and storage medium
US11501461B2 (en) Controller, control method, and program
JP7205204B2 (ja) 車両の制御装置及び自動運転システム
WO2019181284A1 (ja) 情報処理装置、移動装置、および方法、並びにプログラム
US20200019158A1 (en) Apparatus and method for controlling multi-purpose autonomous vehicle
US11200795B2 (en) Information processing apparatus, information processing method, moving object, and vehicle
CN112534487B (zh) 信息处理设备、移动体、信息处理方法和程序
CN111830859A (zh) 车辆远程指示系统
CN111094097A (zh) 用于为车辆提供远程辅助的方法和系统
CN112534297A (zh) 信息处理设备和信息处理方法、计算机程序、信息处理系统以及移动设备
WO2019049828A1 (en) INFORMATION PROCESSING APPARATUS, CLEAN POSITION ESTIMATING METHOD, AND PROGRAM
JP2022063472A (ja) 車両遠隔支援システム、車両遠隔支援サーバ、及び車両遠隔支援方法
CN111201420A (zh) 信息处理装置、自身位置推定方法、程序和移动体
CN112230646A (zh) 设计用于单车运行的自动驾驶系统下的车辆队列实施
KR20210090314A (ko) 시뮬레이터 출력 화면에 기반한 원격제어 방법 및 장치
WO2022004423A1 (ja) 情報処理装置、情報処理方法、及び、プログラム
US20220364874A1 (en) Method of providing image by vehicle navigation device
CN113492848A (zh) 用于自主驾驶车辆安全操作员的前方碰撞告警警报系统
EP4102323B1 (en) Vehicle remote control device, vehicle remote control system, vehicle remote control method, and vehicle remote control program
WO2023007785A1 (ja) 情報処理装置、および情報処理方法、並びにプログラム
WO2022019117A1 (ja) 情報処理装置、情報処理方法、及び、プログラム