KR20220085077A - 자율주행차량의 직접 제어 방법 - Google Patents

자율주행차량의 직접 제어 방법 Download PDF

Info

Publication number
KR20220085077A
KR20220085077A KR1020200174253A KR20200174253A KR20220085077A KR 20220085077 A KR20220085077 A KR 20220085077A KR 1020200174253 A KR1020200174253 A KR 1020200174253A KR 20200174253 A KR20200174253 A KR 20200174253A KR 20220085077 A KR20220085077 A KR 20220085077A
Authority
KR
South Korea
Prior art keywords
occupant
vehicle
driving
control
driving control
Prior art date
Application number
KR1020200174253A
Other languages
English (en)
Inventor
염명기
김인수
Original Assignee
현대자동차주식회사
기아 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대자동차주식회사, 기아 주식회사 filed Critical 현대자동차주식회사
Priority to KR1020200174253A priority Critical patent/KR20220085077A/ko
Priority to US17/396,489 priority patent/US12005913B2/en
Publication of KR20220085077A publication Critical patent/KR20220085077A/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/10—Interpretation of driver requests or demands
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/005—Handover processes
    • B60W60/0053—Handover processes from vehicle to occupant
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/10—Input arrangements, i.e. from user to vehicle, associated with vehicle functions or specially adapted therefor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/22—Display screens
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/28—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R22/00—Safety belts or body harnesses in vehicles
    • B60R22/48—Control systems, alarms, or interlock systems, for the correct application of the belt or harness
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00—Conjoint control of vehicle sub-units of different type or different function
    • B60W10/18—Conjoint control of vehicle sub-units of different type or different function including control of braking systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/10—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
    • B60W40/105—Speed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/005—Handover processes
    • B60W60/0053—Handover processes from vehicle to occupant
    • B60W60/0054—Selection of occupant to assume driving tasks
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/0005—Adaptation of holography to specific applications
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/04—Processes or apparatus for producing holograms
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/22—Processes or apparatus for obtaining an optical image from holograms
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0055—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots with safety arrangements
    • G05D1/0061—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots with safety arrangements for transition from automatic pilot to manual pilot and vice versa
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/146—Instrument input by gesture
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/151—Instrument output devices for configurable output
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/175—Autonomous driving
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/178—Warnings
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/20—Optical features of instruments
    • B60K2360/29—Holographic features
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/143—Alarm means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/045—Occupant permissions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/12—Brake pedal position
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/215—Selection or confirmation of options
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/227—Position in the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2720/00—Output or target parameters relating to overall vehicle dynamics
    • B60W2720/10—Longitudinal speed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2720/00—Output or target parameters relating to overall vehicle dynamics
    • B60W2720/12—Lateral speed

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Traffic Control Systems (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)

Abstract

본 발명은 자율주행차량 내부 공간을 최대한 확보하기 위하여 차량 주행 제어에 필요한 구성을 홀로그램 영상으로 구현하고, 차량 내부에 복수의 탑승자가 있는 경우 차량 주행 제어 방법을 개시하는 것으로, 현재 주행 통제 권한이 없는 제1 탑승자가 홀로그램 영상을 이용하여 권한의 전환을 요구하는 단계; 현재 주행 통제 권한이 있는 제2 탑승자가 홀로그램 영상을 이용하여 권한의 전환을 동의하는 단계; 제2 탑승자의 동의에 따라 제1 탑승자가 홀로그램 영상을 이용하여 모드를 선택하는 단계; 및 제1 탑승자가 선택한 모드에 따라 차량 제어가 수행되는 단계;를 포함하고, 각 단계에서의 홀로그램 영상은 HMD장치를 착용한 탑승자에게 표시된다.

Description

자율주행차량의 직접 제어 방법{METHOD OF DIRECT CONTROL OF AUTONOMOUS VEHICLE}
본 발명은 자율주행차량의 직접 제어 방법에 관한 것으로, 더욱 자세하게는 차량 내 입체적으로 구현된 홀로그램을 이용하여 권한 있는 탑승자가 홀로그램을 조작하여 차량 제어를 수행할 수 있는 방법에 관한 것이다.
자율주행차량은 운전자가 직접 조작하지 않아도 주행환경을 인식해 위험을 판단하고 주행경로를 계획하여 운전자 주행조작을 최소화하며, 스스로 안전하게 운행하는 차량이다.
한편, 자율주행차량은 수동 주행 모드 또는 자율 주행 모드에서 조향, 가속 및 제동 등의 차량 주행 제어가 수행될 수 있다. 이때 자율 주행 모드에서 차량 내 탑승객이 개인적인 업무를 보거나 휴식 등을 취할 수 있도록 차량 내부 공간을 최대한 확보하기 위해 조향 핸들, 가속 및 제동 페달 등이 숨겨진 상태로 존재하다가 비상 사태 또는 수동 주행 모드에서 운전자 또는 탑승자에게 나타나도록 할 필요성이 있다. 이러한 기술을 구현하기 위해 상기 조향 핸들, 가속 및 제동 페달 등 차량 주행 제어에 필요한 구성을 홀로그램으로 구현하는 것이 가능하다.
구체적으로, 홀로렌즈(Hololens)를 착용한 탑승자는 차량 내부 공간에 입체적으로 투영된 홀로그램 영상을 볼 수 있는데, 상기 조향 핸들, 가속 및 제동 페달 등을 홀로그램 영상으로 제작하는 것이다. 홀로렌즈는 머리에 쓰는 디스플레이 장치(Head Mounted Display: HMD)로서 혼합현실 기반 웨어러블 기기이다. 오큘러스 리프트나 HTC 바이브와 같은 가상현실(VR) 기기가 시야를 완전히 차단하는 별도의 디스플레이를 통해 가상현실(VR)을 구현하는 방식이라면, 홀로렌즈는 반투명한 디스플레이를 통해 사용자의 주변 환경을 볼 수 있도록 했다는 점이 다르다. 즉, 윈도우 홀로그래피 기술을 이용한 홀로렌즈는 완전한 가상화면을 보여주는 가상현실(VR)이나 실제 화면에 덧씌우는 증강현실(AR)과 달리 현실 화면에 실제 개체의 스캔된 3D 이미지를 출력하고 이를 자유롭게 조작할 수 있는 혼합현실(Mixed Reality: MR)을 의미한다.
이러한 홀로렌즈는 MS의 "윈도 10" 전용이다. 윈도 10에 홀로렌즈용 응용프로그램(앱) 개발을 위한 API도 내장되어 있다. 즉, 홀로렌즈용으로 개발한 앱은 윈도 10으로 동작하는 다양한 기기에서 함께 시용할 수 있다. 손짓으로 AR 영상을 조작하는 제스처 조작 기술이 적용돼 있고, 사용자의 음성 명령을 인식할 수 있도록 음성인식 기능도 탑재되어 있다. 마이크로소프트사의 홀로렌즈에 관한 기술 내용 중 일부가 아래의 URL 주소를 통해 공개되어 있다.
https://www.youtube.com/watch?v=d3YT8j0yYl0
https://www.youtube.com/watch?v=uIHPPtPBgHk
한편, 차량에 홀로그램을 표시하여 차량 주행을 제어하는 종래 기술로 한국공개특허 제10-2018-0126707호(홀로그램 표시 제어 장치 및 방법, 그리고 차량 시스템)이 개시되어 있다. 한국공개특허 제10-2018-0126707호는 스티어링 휠의 홀로그램 영상을 조작하여 조향 제어를 수행하는 기술로서, 스티어링 휠의 조작부의 이미지에 대응하는 제1 홀로그램 영상을 미리 정의된 제1 영역에 투영하고, 제1 홀로그램 영상 내 버튼을 조작하는 동작 인식을 통해 차량의 구동 유닛으로 제어신호를 송신하는 기술이다.
그러나, 상기 한국공개특허 제10-2018-0126707호는 자율주행차량 중 차량 내 공간 확보를 위해 차량 주행 제어에 필요한 구성이 숨겨진 차량에는 적용될 수 없는 기술이고, 만일 이러한 차량에 복수의 탑승자 간 주행 통제 권한의 전환 문제가 발생하는 경우 이를 해결할 수 없는 문제도 있다.
한국공개특허 제10-2018-0126707호(홀로그램 표시 제어 장치 및 방법, 그리고 차량 시스템)
본 발명은 상술한 과제를 해결하기 위한 것으로, 자율주행차량 내 공간 확보를 위해 차량 주행 제어에 필요한 구성이 생략될 수 있고, 탑승자 중 HMD장치를 착용한 탑승자가 투영된 홀로그램 영상을 이용하여 차량 주행 제어를 수행할 수 있는 새로운 형태의 발명을 제시하고자 한다.
상술한 과제를 해결하기 위하여 본 발명은, 현재 자율주행차량의 주행 통제 권한이 없는 제1 탑승자가 차량 내 입체로 구현되어 표시된 홀로그램 영상 중 주행 통제 권한의 전환을 요구하는 영상(A)을 선택함으로써 주행 통제 권한의 전환이 요구되는 단계; 현재 주행 통제 권한이 있는 제2 탑승자가 제1 탑승자로부터 주행 통제 권한의 전환을 요구 받으면 상기 홀로그램 영상 중 주행 통제 권한의 전환을 동의하는 영상(B)을 선택함으로써 제1 탑승자의 요구에 대한 동의가 결정되는 단계;제2 탑승자의 동의에 따라 제1 탑승자가 상기 홀로그램 영상 중 수동 주행 모드 또는 자율 주행 모드를 나타내는 영상(C)을 선택함으로써 차량 제어 모드가 결정되는 단계; 및 제1 탑승자가 선택한 모드에 따라 상기 홀로그램 영상 중 차량 주행 제어에 필요한 영상(D)이 표시되고, 제1 탑승자의 제스처에 따라 영상(D)이 일정 패턴으로 변화되면서 차량 제어가 수행되는 단계;를 포함를 포함한다.
본 발명에 따르면 차량 주행 제어에 필요한 구성을 홀로그램 영상으로 구현함으로써 탑승자가 개인적인 업무를 수행하거나 휴식을 취하는 등 차량 내부 공간을 최대한 활용할 수 있다.
또한, 본 발명에 따르면 자율 주행 중에 긴급하게 차량의 주행 속도를 감속하고자 할 경우 즉각적으로 차량을 제동하거나 주행 속도를 조절할 수 있다.
도 1은 본 발명의 일 실시예에 따른 자율주행차량의 직접 제어 방법을 개략적으로 나타낸 순서도이다.
도 2a 내지 도 2d는 본 발명의 일 실시예에 따른 홀로그램 영상 중 주행 통제 권한의 전환을 요구하는 영상을 조작하는 과정을 나타낸 도면이다.
도 3a 내지 도 3d는 본 발명의 일 실시예에 따른 홀로그램 영상 중 주행 통제 권한의 전환을 동의하는 영상을 조작하는 과정을 나타낸 도면이다.
도 4는 본 발명의 일 실시예에 따른 수동 주행 모드에서 홀로그램 영상이 이용되어 차량 제어가 수행되는 과정을 나타낸 순서도이다.
도 5는 본 발명의 일 실시예에 따른 수동 주행 모드에서 탑승자의 제스처에 따라 변화되는 홀로그램 영상을 나타낸 도면이다.
도 6a 및 도 6b는 본 발명의 일 실시예에 따른 자율 주행 모드에서 홀로그램 영상이 이용되어 차량 제어가 수행되는 과정을 나타낸 순서도이다.
도 7a는 고정 모드에서 홀로그램 제동 영상을 나타낸 도면이고, 도 7b는 FOLLOW ME 모드에서 홀로그램 제동 영상을 나타낸 도면이다.
이하, 본 발명에 따른 자율주행차량의 직접 제어 방법의 바람직한 실시예들을 도면을 참조하여 상세하게 설명한다. 이하에서 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니되며, 발명자는 그 자신의 발명을 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야 할 것이다.
본 발명의 일 실시예에 따른 구성을 살펴보면, 차량 주행 제어에 필요한 시스템 및 홀로그램 장치를 포함한다. 차량 주행 제어 시스템은 자율 주행 제어부, 조향 시스템, 제동 시스템, 가속 시스템 등 차량 주행에 필요한 각종 부품 및 이를 제어할 수 있는 시스템을 의미한다.
자율주행제어부는 운전자가 브레이크, 핸들, 가속페달 등을 제어하지 않아도 주행 시 차량 내외부 정보 감지, 분석 및 처리 기능을 가지고 주변환경을 인식하여 목표 주행 경로를 자체적으로 결정하여 차량 주행 제어에 필요한 각 시스템을 제어한다. 자율주행제어부는 자율 주행 모드와 수동 주행 모드를 가질 수 있다.
본 발명의 일 실시예에 따르면, 조향 핸들, 가속 및 제동 페달 등 차량 주행 제어에 필요한 물리적 구성이 차량 내에 장착되지 않는다. 따라서 차량 내에서 탑승객이 개인적인 업무를 보거나 휴식을 취할 수 있는 충분한 공간이 확보된다. 차량 주행 제어에 필요한 구성은 홀로그램 영상으로 구현될 수 있는데, 탑승객은 차량 내 투영된 홀로그램 영상을 이용하여 차량 주행을 제어할 수 있다.
이러한 홀로그램 영상을 구현하기 위해 본 발명의 일 실시예에서는 홀로그램 장치가 사용된다. 홀로그램 장치는 차량 주행 제어에 필요한 구성을 가상 객체인 홀로그램 영상으로 구현하도록 제어한다. 홀로그램 장치는 자율주행제어부 또는 실 객체인 조향 시스템, 가속 시스템 및 제동 시스템 등 차량 주행 제어에 필요한 시스템과 연동되어 각 시스템을 제어할 수 있다.
본 발명의 일 실시예에 따른 홀로그램 장치는 HMD(Head Mounted Display)장치를 포함한다. HMD장치는 머리에 쓰는 형태의 디스플레이 기기이다. HMD장치에 부탁된 디스플레이는 투명 디스플레이로 구현될 수 있다. HMD장치의 일 예로 상술한 마이크로소프트사의 홀로렌즈가 있다. 다만, 홀로그램 장치는 HMD 장치에 한정되는 것은 아니나, 본 명세서에서는 탑승객의 머리에 장착될 수 있도록 HMD장치를 예로 들어 설명한다.
홀로그램 장치가 구동되면 디스플레이에 홀로그램 영상이 나타난다. 홀로그램 영상은 차량 주행 제어와 관련된 다양한 UI(User Interface) 화면으로 구성될 수 있다. 즉, 본 명세서에서 각각의 홀로그램 영상은 TEXT 또는 그래픽 이미지 등 다양한 형태로 구성될 수 있다. 홀로그램 영상은 홀로렌즈를 착용한 탑승자의 제스처 인식 영역을 포함하고, 상기 탑승객이 홀로그램 영상의 인식 영역에서 제스처를 취하면, 홀로그램 장치는 상기 탑승객의 제스처를 인식하여 그 위치의 변화에 따라 차량 주행 제어에 필요한 각 시스템에 제어 신호를 인가한다.
홀로그램을 통한 제스처 인식 또는 차량 주행 제어에 필요한 제어 장치의 구성은 본 출원일 이전에 공지된 기술에 의해 구현될 수 있다. 예를 들어 홀로그램을 통한 제스처 인식에 관한 기술 및 차량 주행 제어에 필요한 각 시스템에 제어 신호를 인가하는 기술은 상술한 마이크로소프트사에서 공개한 홀로렌즈에 관한 기술 내용 또는 한국등록특허 제10-1542986호(홀로그램을 이용한 제스처 인식 시스템 및 그 제어 방법)에 관한 기술 내용이 참조될 수 있다.
이하, 상술한 홀로그램을 이용한 제스처 기반 인식 기술을 자율주행차량에 적용하고, HMD장치를 착용한 탑승자가 홀로그램 영상을 이용하여 차량 주행 제어를 수행할 수 있는 것을 전제로 본 발명의 일 실시예에 따른 자율주행차량의 직접 제어 방법을 설명한다.
도 1은 본 발명의 일 실시예에 따른 자율주행차량의 직접 제어 방법을 개략적으로 나타낸 순서도이다.
자율주행차량은 자율 주행 모드 또는 수동 주행 모드로 주행할 수 있다. 본 명세서에서 주행은 가속, 감속, 제동, 조향 등을 포함한다. 자율 주행 모드인 경우 차량은 스스로 주행하는데, 만일 차량의 주행 중에 긴급 상황이 발생되면 탑승자가 신속히 조향을 하거나 제동을 할 필요가 있고, 이때 탑승객 중 현재 주행 통제 권한이 있는 탑승객이 이를 수행한다. 수동 주행 모드인 경우 현재 주행 통제 권한이 있는 탑승객이 차량 주행 제어에 필요한 홀로그램 영상을 조작하여 차량 주행 제어를 수행한다.
한편, 본 발명은, 자율주행차량에 복수의 탑승자가 탑승하고 있을 때 주행 통제 권한이 없는 자가 권한의 전환을 요구하는 경우 차량 주행 제어를 어떠한 방식으로 수행하는지 그 방법을 제시하고자 한다. 본 명세서에서는 HMD장치를 착용한 제1 탑승자 및 제2 탑승자가 차량 내에 탑승하고 있는 상황을 설명한다.
한편, 상술한 바와 같이, HMD장치를 착용한 탑승자에게는 차량 주행 제어 관련 홀로그램 영상이 나타난다. 상기 홀로그램 영상 중 초기 화면은 메인 메뉴를 나타내는 영상(M)(도 2a 참조)일 수 있다. 메인 메뉴 영상(M)은 주행 통제 권한, 조향, 제동, 차량 상태, 주행 모드, 주유 등의 관련 정보의 영상이 각각 선택 가능한 형태(예를 들어 버튼 형태)로 구성된다. 각각의 버튼이 선택(또는 터치)되면 관련된 인터페이스 화면으로 전환될 수 있다.
도 1을 참조하면, 현재 주행 통제 권한이 없는 제1 탑승자가 주행 통제 권한 전환의 요구가 있는지 판단한다(S10). 제1 탑승자가 메인 메뉴 영상(M) 중 주행 통제 권한 관련 버튼을 선택하면 주행 통제 권한 전환의 요구 여부를 선택할 수 있는 화면으로 전환되고, 제1 탑승자가 권한의 전환을 요구하는 버튼을 선택함으로써 주행 통제 권한의 전환을 요구할 수 있다.
도 2a 내지 도 2d는 본 발명의 일 실시예에 따른 홀로그램 영상 중 주행 통제 권한의 전환을 요구하는 영상을 조작하는 과정을 나타낸 도면이다.
도 2a 내지 도 2d를 참조하면, 제1 탑승자는 주행 통제 권한의 전환을 요구하기 위해 홀로그램 메뉴 영상(M)을 조작할 수 있으나, 상기 홀로그램 메뉴 영상(M)이 제1 탑승자에게 너무 가까이 있으면 제1 탑승자가 메뉴를 선택하는데 어려움을 겪거나 다른 메뉴 버튼을 잘못 선택할 가능성이 있다. 따라서, 도 2a에 도시된 바와 같이, 본 발명의 일 실시예에서 상기 홀로그램 메뉴 영상(M)은 제1 탑승자와 일정 거리 이격되어 위치한다. 이후, 도 2b에 도시된 바와 같이, 제1 탑승자는 특정 제스처를 취하여 상기 홀로그램 메뉴 영상(M)을 제1 탑승자가 선택할 수 있는 거리까지 이동시킨다. 도 2a에는 상기 홀로그램 메뉴 영상(M)의 이동 경로가 나타나도록 제1 탑승자의 손에서 홀로그램 광선이 나타난다. 이후, 도 2c에 도시된 바와 같이, 제1 탑승자는 주행 통제 권한과 관련한 버튼을 선택한다. 이후, 도 2d에 도시된 바와 같이, 주행 통제 권한의 전환을 요구하는 버튼(도 2d의 좌측 버튼)을 터치하면 제1 탑승자의 요구가 수행된다. 물론 제1 탑승자는 기존의 상태를 유지하도록 취소 버튼(도 2d의 우측 버튼)을 선택할 수도 있다.
다시 도 1을 참조하면, 제1 탑승자에게 차량 주행 통제 능력이 있는지 판단한다(S20). 여기서 차량 주행 통제 능력이란 제1 탑승자의 나이, 음주 여부, 운전 면허 소지 여부 등을 종합적으로 고려하여 제1 탑승자가 차량 주행을 통제할 수 없는 능력을 의미한다. 차량 주행 통제 능력이 있는지 여부는 차량 내부에 장착된 카메라, 탑승자 상태 정보를 감지하는 각종 센서 등을 이용하여 판단될 수 있다. 만일, 제1 탑승자에게 차량 주행 통제 능력이 없으면 비록 제1 탑승자의 주행 통제 권한의 전환 요구가 있더라도 차량 주행의 기존 모드(자율 주행 모드 또는 수동 주행 모드)가 유지된다.
다시 도 1을 참조하면, 현재 주행 통제 권한이 있는 제2 탑승자가 있는지 여부를 판단한다(S30). 현재 주행 통제 권한이 있는 제2 탑승자가 있다면, 제2 탑승자는 제1 탑승자의 주행 통제 권한 전환의 요구가 있다는 알림을 수신한다(S32). 제2 탑승자가 메인 메뉴 영상(M) 중 주행 통제 권한 관련 버튼을 선택하면 주행 통제 권한 요구에 대한 동의 여부를 선택할 수 있는 화면으로 전환되고, 제2 탑승자는 주행 통제 권한의 전환 요구에 대해 동의하는 버튼을 선택함으로써 제1 탑승자의 요구에 동의할 수 있다(S40). 한편, 여기서 알림은 소리 또는 그래픽 이미지 등 제2 탑승자에게 알릴 수 있는 다양한 형태로 구성될 수 있다.
도 3a 내지 도 3d는 본 발명의 일 실시예에 따른 홀로그램 영상 중 주행 통제 권한의 전환을 동의하는 영상을 조작하는 과정을 나타낸 도면이다.
도 3a 내지 도 3d를 참조하면, 제2 탑승자에게는 도 2a 내지 도 2d와 동일한 홀로그램 메뉴 영상이 나타난다. 이때, 홀로그램 메뉴 영상 및 버튼의 조작은 도 2a 내지 도 2d에서 설명한 바와 같다. 즉, 상기 홀로그램 메뉴 영상에 주행 통제 권한 전환의 요구 알림이 나타나면, 제2 탑승자는 상기 홀로그램 메뉴 영상을 가까이 이동시킨 후 주행 통제 권한과 관련한 버튼을 선택한 후, 주행 통제 권한의 전환을 동의하는 버튼(도 3d의 우측 버튼)을 선택하면 제2 탑승자의 동의가 결정된다. 물론, 제2 탑승자는 주행 통제 권한 전환의 동의를 거절하는 버튼(도 3d의 좌측 버튼)을 선택할 수도 있다.
다시 도 1을 참조하면, 제2 탑승자의 동의가 있으면 제1 탑승자는 제2 탑승자로부터 주행 통제 권한을 넘겨받는다. 이후, 제1 탑승자는 자율 주행 모드 및 수동 주행 모드 중 모드를 선택할지 결정한다(S50). 즉, 제1 탑승자가 메인 메뉴 영상(M) 중 주행 모드 관련 버튼을 선택하면 자율 주행 모드 또는 수동 주행 모드를 선택할 수 있는 화면으로 전환되고, 제1 탑승자는 각 모드 중 어느 하나를 선택할 수 있다. 만일, 제1 탑승자의 모드 선택이 없으면 기존 모드가 유지된다.
제1 탑승자가 수동 주행 모드를 선택하면(S60), 수동 운전이 가능한 상태인지 판단한다(S70). 이는 제1 탑승자가 일반적인 수동 운전에 필요한 자격을 가지고 있는지 여부를 판단하는 것이다. 상술한 주행 통제 능력과 같이 제1 탑승자의 나이, 음주 여부, 운전 면허 소지 여부 등을 종합적으로 고려하여 제1 탑승자가 수동 운전이 가능한지 판단한다. 이때, 차량 내부 센서에 의해 파악될 수 없는 정보는 외부 시스템과 연결되어 정보를 수신함으로써 판단될 수 있다. 한편, 제1 탑승자가 수동 운전이 가능하지 않은 상태라면 기존 모드가 유지된다.
제1 탑승자가 수동 운전 모드를 선택하면 수동 운전에 필요한 각종 구성이 홀로그램 영상으로 표시된다(S72).
도 4는 본 발명의 일 실시예에 따른 수동 주행 모드에서 홀로그램 영상이 이용되어 차량 제어가 수행되는 과정을 나타낸 순서도이고, 도 5는 본 발명의 일 실시예에 따른 수동 주행 모드에서 탑승자의 제스처에 따라 변화되는 홀로그램 영상을 나타낸 도면이다.
도 4를 참조하면, 제1 탑승자가 수동 주행 모드를 선택하면(S102), 우선 권한자(제1 탑승자)의 조작 내용이 파악된다(S104). 구체적으로, 홀로그램 장치는 제1 탑승자가 차량 주행 제어에 필요한 제스처를 파악하게 된다. 이후 제1 탑승자의 특정 제스처에 따라 그에 상응하는 차량 주행 제어의 홀로그램 영상이 표시되고(S106), 제1 탑승자의 제스처에 맞춰 차량 주행 제어가 수행된다(S108).
도 5에는 본 발명의 일 실시예에 따라 차량 주행 제어에 필요한 가속, 제동, 좌턴 및 우턴이 도시되어 있다. 제1 탑승자가 손을 이용하여 입력 신호인 특정 패턴의 제스처를 취하면 제스처의 위치가 인식됨으로써 홀로그램 영상이 변화된다. 예를 들어, 제1 탑승자가 가속 또는 제동 제스처를 취하면 특정 방향으로 색깔이 변화되는 홀로그램이 표시되거나, 좌턴 또는 우턴 제스처를 취하면 특정 방향으로 화살표가 변하는 홀로그램이 표시된다. 다만, 도 5에는 제스처의 일 태양만이 도시되어 있을 뿐 차량 주행 제어에 필요한 제스처나 홀로그램 표시는 다양하게 설정될 수 있다.
다시 도 1을 참조하면, 제1 탑승자가 자율 주행 모드를 선택하면 차량 주행 제어에 필요한 구성이 홀로그램 영상으로 표시된다(S74). 자율 주행 모드에서 차량 주행 제어에 필요한 구성은 긴급 상황에서 조향, 제동 등을 의미하는데, 본 명세서에서는 제동을 중심으로 설명한다.
도 6a 및 도 6b는 본 발명의 일 실시예에 따른 자율 주행 모드에서 홀로그램 영상이 이용되어 차량 제어가 수행되는 과정을 나타낸 순서도이고, 도 7a는 고정 모드에서 홀로그램 제동 영상을 나타낸 도면이며, 도 7b는 FOLLOW ME 모드에서 홀로그램 제동 영상을 나타낸 도면이다.
도 6a 및 도 6b를 참조하면, 자율 주행 모드에서 고정 모드와 FOLLOW ME 모드는 버튼 형태의 홀로그램으로 구현될 수 있다. 도 7a에 도시된 바와 같이 고정 모드는 제동 버튼이 특정 위치에 고정된 모드이고, 도 7b에 도시된 바와 같이 FOLLOW ME 모드는 제동 버튼이 제1 탑승자를 따라 다니는 모드이다.
제1 탑승자가 고정 모드 또는 FOLLOW ME 모드 중 어느 모드를 선택하는지 판단한다(S200). 제1 탑승자가 FOLLOW ME 모드를 선택하면 제1 탑승자의 위치가 파악되어(S202) 제동 버튼이 특정 위치에 표시되고, 제1 탑승자의 제스처에 따라 이동한다(S204). 반대로, 제1 탑승자가 고정 모드를 터치하면 제1 탑승자의 위치가 파악되어(S206) 제동 버튼이 특정 위치에 표시되어 고정된다(S208).
이후, 제1 탑승자가 제동 버튼을 선택하였는지 여부를 판단한다(S210). 제동 버튼의 선택이 있으면 눌림 정도가 파악되어(S212), 제동 버튼의 눌림 정도를 나타내는 홀로그램 영상이 표시된다(S214). 예를 들어, 제동 버튼의 눌림 정도에 따라 색깔이 변하는 홀로그램 영상이 표시될 수 있다.
이후, 카메라 등을 이용하여 차량 내 탑승자 전원의 탑승 위치 및 방향을 파악한 후(S216), 탑승자 전원이 착석 상태인지 판단한다(S220).
탑승자 전원이 착석 상태라면 제1 탑승자가 제동 버튼을 누른 정도(제동 요구)와 기 설정된 Threshold_1을 비교한다(S230). 제1 탑승자의 제동 요구가 Threshold_1 보다 크면 안전을 위해 자율주행제어부는 탑승자의 안전벨트가 조이도록 제어하고(S232), 제1 탑승자의 제동 요구가 Threshold_1 보다 작으면 자율주행제어부는 제동 요구에 따라 차량 속도를 조절한다(S234). 이때 차량 제동 제어는 연비 향상을 위해 회생 제동과 유압 제동을 동시에 수행한다(S236).
반대로, 탑승자 전원이 착석 상태가 아니라면 제1 탑승자가 제동 버튼을 누른 정도(제동 요구)와 기 설정된 Threshold_2를 비교한다(S240). 여기서 Threshole_2는 Threshold_1 보다 작은 값으로 설정될 수 있다. 제1 탑승자의 제동 요구가 Threshold_2 보다 크면 자율주행제어부는 착석하지 않은 탑승자에게 경고하도록 제어하고(S242), 제1 탑승자의 제동 요구가 Threshold_2 보다 작으면 자율주행제어부는 제동 요구에 따라 차량 속도를 조절한다(S244). 이때 차량 제동 제어는 연비 향상을 위해 회생 제동과 유압 제동을 동시에 수행한다(S246).
한편, 차량 주행 제어를 홀로그램 영상으로 제어하는 경우와 탑승객의 음성 인식으로 제어하는 경우를 비교해보면, 홀로그램 영상 제어가 음성 인식 제어 보다 차량 주행 제어의 반응 시간이 더 빠른 장점이 있다.
이상과 같이, 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 이에 한정되지 않으며 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 본 발명의 기술사상과 아래에 기재될 청구범위의 균등범위 내에서 다양하게 수정 및 변형될 수 있음은 물론이다.

Claims (10)

  1. 현재 자율주행차량의 주행 통제 권한이 없는 제1 탑승자가 주행 통제 권한의 전환을 요구하는 홀로그램 영상(A)을 선택함으로써 주행 통제 권한의 전환이 요구되는 단계;
    현재 주행 통제 권한이 있는 제2 탑승자가 제1 탑승자로부터 주행 통제 권한의 전환을 요구 받으면 제2 탑승자가 주행 통제 권한의 전환을 동의하는 홀로그램 영상(B)을 선택함으로써 제1 탑승자의 요구에 대한 동의가 결정되는 단계;
    제2 탑승자의 동의에 따라 제1 탑승자가 수동 주행 모드 또는 자율 주행 모드를 나타내는 홀로그램 영상(C)을 선택함으로써 차량 제어 모드가 결정되는 단계; 및
    제1 탑승자가 선택한 모드에 따라 차량 주행 제어에 필요한 홀로그램 영상(D)이 표시되고, 제1 탑승자의 제스처에 따라 상기 홀로그램 영상(D)이 일정 패턴으로 변화되면서 차량 제어가 수행되는 단계;를 포함하고,
    각 단계에서의 홀로그램 영상은 차량 주행 제어에 필요한 시스템과 연결된 홀로그램 장치에 의해 구현되어 제1 및 제2 탑승자에게 표시되는 것을 특징으로 하는 자율주행차량의 직접 제어 방법.
  2. 제 1 항에 있어서,
    상기 제1 탑승자로부터 주행 통제 권한의 전환이 요구되면 상기 제1 탑승자가 주행 통제 능력이 있는지 확인하는 단계가 더 포함되는 것을 특징으로 하는 자율주행차량의 직접 제어 방법.
  3. 제 1 항에 있어서,
    상기 주행 통제 권한의 전환을 요구하는 영상(A) 및 상기 주행 통제 권한의 전환을 동의하는 영상(B)은 각 영상에 대한 선택 권한 있는 탑승자와 일정 거리 이격된 초기 위치에서 선택 권한 있는 탑승자가 선택할 수 있는 위치인 최종 위치까지 이동될 수 있는 것을 특징으로 하는 자율주행차량의 직접 제어 방법.
  4. 제 1 항에 있어서,
    상기 제1 탑승자가 수동 주행 모드를 선택하면 제1 탑승자가 수동 운전이 가능한 상태인지 판단하는 단계가 더 포함되는 것을 특징으로 하는 자율주행차량의 직접 제어 방법.
  5. 제 1 항에 있어서,
    상기 제1 탑승자가 차량 제어 모드를 선택하지 않으면 기존 차량 제어 모드가 유지되는 것을 특징으로 하는 자율주행차량의 직접 제어 방법.
  6. 제 1 항에 있어서,
    상기 차량 주행 제어에 필요한 영상(D)은 조향, 가속 및 제동 홀로그램 영상 중 적어도 어느 하나를 포함하는 것을 특징으로 하는 자율주행차량의 직접 제어 방법.
  7. 제 1 항에 있어서,
    상기 자율 주행 모드인 경우, 상기 차량 주행 제어에 필요한 영상(D)이 제1 탑승자의 위치를 따라다니는 FOLLOW ME 모드 또는 상기 영상(D)이 차량 내 특정 위치에 고정되는 고정 모드 중 어느 하나가 선택되는 단계가 더 포함되는 것을 특징으로 하는 자율주행차량의 직접 제어 방법.
  8. 제 1 항에 있어서,
    상기 자율 주행 모드인 경우, 제동 요구의 크기에 따라 제동 제어가 수행되거나 차속 조절 제어가 수행되는 단계가 더 포함되는 것을 특징으로 하는 자율주행차량의 직접 제어 방법.
  9. 제 8 항에 있어서,
    상기 자율 주행 모드인 경우, 차량 내 탑승자 전원이 착석 상태이고 제동 요구가 제1 스레스홀드 보다 크면 탑승자의 안전벨트가 조여지도록 제어되는 것을 특징으로 하는 자율주행차량의 직접 제어 방법.
  10. 제 8 항에 있어서,
    상기 자율 주행 모드인 경우, 차량 내 탑승자 중 일부가 착석하지 않은 상태이고, 제동 요구가 제2 스레스홀드 보다 크면 경고 신호가 출력되도록 제어되는 것을 특징으로 하는 자율주행차량의 직접 제어 방법.
KR1020200174253A 2020-12-14 2020-12-14 자율주행차량의 직접 제어 방법 KR20220085077A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020200174253A KR20220085077A (ko) 2020-12-14 2020-12-14 자율주행차량의 직접 제어 방법
US17/396,489 US12005913B2 (en) 2020-12-14 2021-08-06 Method of directly controlling autonomous vehicle

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200174253A KR20220085077A (ko) 2020-12-14 2020-12-14 자율주행차량의 직접 제어 방법

Publications (1)

Publication Number Publication Date
KR20220085077A true KR20220085077A (ko) 2022-06-22

Family

ID=81943128

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200174253A KR20220085077A (ko) 2020-12-14 2020-12-14 자율주행차량의 직접 제어 방법

Country Status (2)

Country Link
US (1) US12005913B2 (ko)
KR (1) KR20220085077A (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220095812A (ko) * 2020-12-30 2022-07-07 현대자동차주식회사 차량의 긴급 제동 방법

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180126707A (ko) 2017-05-18 2018-11-28 현대자동차주식회사 홀로그램 표시 제어 장치 및 방법, 그리고 차량 시스템

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10562539B2 (en) * 2018-07-10 2020-02-18 Ford Global Technologies, Llc Systems and methods for control of vehicle functions via driver and passenger HUDs

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180126707A (ko) 2017-05-18 2018-11-28 현대자동차주식회사 홀로그램 표시 제어 장치 및 방법, 그리고 차량 시스템

Also Published As

Publication number Publication date
US12005913B2 (en) 2024-06-11
US20220185306A1 (en) 2022-06-16

Similar Documents

Publication Publication Date Title
US11749114B1 (en) Occupant facing vehicle display
US10507843B2 (en) Vehicle control system, vehicle control method, and vehicle control program
JP6342856B2 (ja) 車両制御装置
JP5397697B2 (ja) 画像制御装置
JP2017197053A (ja) 自動運転制御装置
WO2018230527A1 (ja) 運転支援方法、運転支援プログラム及び車両制御装置
Manawadu et al. A multimodal human-machine interface enabling situation-Adaptive control inputs for highly automated vehicles
CN110582439A (zh) 驾驶辅助方法以及利用了该驾驶辅助方法的驾驶辅助装置、驾驶辅助系统
JP2014019301A (ja) 緊急退避装置
JP7075189B2 (ja) 運転席と少なくとも一つの乗員席とを備える車両、及び、交代運転者及び又は少なくとも一人の同乗者に現在経験されている運転状況についての情報を提供する方法
KR20180091732A (ko) 사용자 인터페이스, 운송 수단 및 사용자 구별을 위한 방법
JP2019023062A (ja) システムの操縦または挙動を自動で実行するためのシステムおよび方法
JP2017214036A (ja) 車両制御システム、車両制御方法、および車両制御プログラム
JP7322971B2 (ja) 車両運転システム
WO2018186012A1 (ja) 車両制御装置
CN109484328B (zh) 车辆的用户接口装置
KR20220085077A (ko) 자율주행차량의 직접 제어 방법
JP6840998B2 (ja) 障害物検知装置
US11104380B2 (en) Display controller
KR20220095812A (ko) 차량의 긴급 제동 방법
JP6990221B2 (ja) 車両並びにその制御装置及び制御方法
JP2021014245A (ja) 車両周辺表示装置
US20240067166A1 (en) Control device, control method, and storage medium
CN112238811B (zh) 车辆周边显示装置
US20240109415A1 (en) Control device and moving body

Legal Events

Date Code Title Description
A201 Request for examination