KR20210059860A - 차량의 ux 제어 장치 및 방법 - Google Patents

차량의 ux 제어 장치 및 방법 Download PDF

Info

Publication number
KR20210059860A
KR20210059860A KR1020190146884A KR20190146884A KR20210059860A KR 20210059860 A KR20210059860 A KR 20210059860A KR 1020190146884 A KR1020190146884 A KR 1020190146884A KR 20190146884 A KR20190146884 A KR 20190146884A KR 20210059860 A KR20210059860 A KR 20210059860A
Authority
KR
South Korea
Prior art keywords
occupant
vehicle
user
user interface
type
Prior art date
Application number
KR1020190146884A
Other languages
English (en)
Inventor
신아영
이용환
이종엽
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to KR1020190146884A priority Critical patent/KR20210059860A/ko
Priority to US16/798,919 priority patent/US20210149397A1/en
Publication of KR20210059860A publication Critical patent/KR20210059860A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3626—Details of the output of route guidance instructions
    • G01C21/3641—Personalized guidance, e.g. limited guidance on previously travelled routes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/10—Input arrangements, i.e. from user to vehicle, associated with vehicle functions or specially adapted therefor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/22—Display screens
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/28—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/65—Instruments specially adapted for specific vehicle types or users, e.g. for left- or right-hand drive
    • B60K35/654—Instruments specially adapted for specific vehicle types or users, e.g. for left- or right-hand drive the user being the driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/14—Adaptive cruise control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B60W60/0013—Planning or execution of driving tasks specially adapted for occupant comfort
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0088—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/20—Optical features of instruments
    • B60K2360/21—Optical features of instruments using cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0809—Driver authorisation; Driver identity check
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0872—Driver physiology
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0881—Seat occupation; Driver or passenger presence
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/089—Driver voice
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B60W2420/42—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/043—Identity of occupants
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/21—Voice
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Combustion & Propulsion (AREA)
  • Chemical & Material Sciences (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Business, Economics & Management (AREA)
  • Game Theory and Decision Science (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Traffic Control Systems (AREA)

Abstract

사물 인터넷을 위해 연결된 5G 환경에서 인공지능(artificial intelligence, AI) 알고리즘 및/또는 기계학습(machine learning) 알고리즘을 실행하여 차량의 UX 제어 장치를 동작시키는 방법이 개시된다. 본 발명의 일 실시 예에 따른 차량의 UX 제어 방법은, 차량 내부를 모니터링 하여 탑승자를 인식하는 단계와, 탑승자의 유형을 판단하는 단계와, 탑승자의 유형에 기초하여 탑승자에 대응하는 사용자 인터페이스를 제공하는 단계와, 사용자 인터페이스를 통한 탑승자의 사용자 요청에 대응하는 프로세스를 수행하는 단계를 포함할 수 있다.

Description

차량의 UX 제어 장치 및 방법{APPARATUS AND METHOD FOR CONTROLLING THE USER EXPERIENCE OF A VEHICLE}
본 발명은 자율 주행 차량에서 탑승자로부터 요청을 수신함에 따라 탑승자의 유형에 기초하여 다르게 반응하는 UX를 제공할 수 있도록 하는 차량의 UX 제어 장치 및 방법에 관한 것이다.
근 미래 자율주행자동차는 사람들의 생활양식에 많은 변화를 가져다 줄 것이다. 현재 다수의 글로벌 자동차 제조업체와 IT 업체가 연구개발에 나서고 있다. 하지만 대부분의 연구개발이 주행의 관점에서 얼마만큼 안전한 자율주행이 가능한지에 관해 주로 초점이 맞춰져 있는 반면 디자인분야의 연구는 찾아보기가 쉽지 않다.
UX(User Experience)는 차량을 이용하면서 진행되는 사용자들의 다양한 경험들을 분석하여 더 편하고 효율적인 방향으로 프로세스가 진행될 수 있도록 하는 과정, 결과를 의미한다. 즉, 인터페이스의 디자인적인 부분뿐만 아니라, 사용자들의 특성을 면밀하게 분석하여 차량 이용을 보다 용이하게 할 수 있는 일련의 프로세스를 의미할 수 있다.
본 개시의 일 과제는, 자율 주행 차량에서 탑승자로부터 요청을 수신함에 따라 탑승자의 유형에 기초하여 다르게 반응하는 UX를 제공할 수 있도록 하는데 있다.
본 개시의 일 과제는, 탑승자의 동일한 입력에 대해 탑승자의 유형에 대응하여 서로 다른 프로세스를 수행할 수 있도록 하는데 있다.
본 개시의 일 과제는, 탑승자 인증 과정을 수행하여 인증된 탑승자에게만 차량 제어 권한을 부여할 수 있도록 하는데 있다.
본 개시의 일 과제는, 복수의 탑승자에게 각각의 유형에 기초하여, 각각의 탑승자의 접근 권한을 기반으로 하는 맞춤형 사용자 인터페이스를 제공할 수 있도록 하는데 있다.
본 개시의 일 과제는, 차량 실내에 구비된 카메라 및 센서모듈을 이용하여 탑승자의 유형을 판단하고, 탑승자 유형 판단 확률 값에 기초하여 추가적으로 탑승자 유형을 판단할 수 있도록 하는데 있다.
본 개시의 실시예의 목적은 이상에서 언급한 과제에 한정되지 않으며, 언급되지 않은 본 발명의 다른 목적 및 장점들은 하기의 설명에 의해서 이해될 수 있고, 본 발명의 실시 예에 의해 보다 분명하게 이해될 것이다. 또한, 본 발명의 목적 및 장점들은 특허 청구 범위에 나타낸 수단 및 그 조합에 의해 실현될 수 있음을 알 수 있을 것이다.
본 개시의 일 실시 예에 따른 차량의 UX 제어 방법은, 자율 주행 차량에서 탑승자로부터 요청을 수신함에 따라 탑승자의 유형에 기초하여 다르게 반응하는 UX를 제공할 수 있도록 하는 단계를 포함할 수 있다.
구체적으로 본 개시의 일 실시 예에 따른 차량의 UX 제어 방법은, 차량 내부를 모니터링 하여 탑승자를 인식하는 단계와, 탑승자의 유형을 판단하는 단계와, 탑승자의 유형에 기초하여 탑승자에 대응하는 사용자 인터페이스를 제공하는 단계를 포함할 수 있다.
또한, 차량의 UX 제어 방법은, 사용자 인터페이스를 통한 탑승자의 사용자 요청에 대응하는 프로세스를 수행하는 단계를 포함할 수 있다.
본 개시의 일 실시 예에 따른 차량의 UX 제어 방법을 통하여, 자율 주행 차량에서 탑승자로부터 요청이 수신되는 경우, 탑승자의 유형 및 인증 여부에 기초하여 서로 다른 프로세스를 수행할 수 있도록 함으로써, 탑승자의 접근 권한을 기반으로 하는 맞춤형 사용자 인터페이스를 제공하도록 할 수 있다.
이 외에도, 본 발명의 구현하기 위한 다른 방법, 다른 시스템 및 상기 방법을 실행하기 위한 컴퓨터 프로그램이 저장된 컴퓨터로 판독 가능한 기록매체가 더 제공될 수 있다.
전술한 것 외의 다른 측면, 특징, 이점이 이하의 도면, 특허청구범위 및 발명의 상세한 설명으로부터 명확해질 것이다.
본 개시의 실시 예에 의하면, 자율 주행 차량에서 탑승자로부터 요청이 수신되는 경우, 탑승자의 유형 및 인증 여부에 기초하여 서로 다른 프로세스를 수행하여, 탑승자의 접근 권한을 기반으로 하는 맞춤형 사용자 인터페이스를 제공함으로써, 사용자의 제품 만족도를 향상시킬 수 있다.
또한, 탑승자 인증 과정을 수행하여 인증된 탑승자에게만 차량 제어 권한을 부여함으로써, 제어에 대한 책임이 없는 탑승자에게 제어 권한이 넘어가는 것을 방지할 수 있다.
또한, 자율주행차량에 탑승한 다양한 탑승자의 유형에 기초하여 서로 다른 UX를 제공함으로써, 사용자의 제품 신뢰도를 향상시킬 수 있다.
또한, 어린이 및 동물에 대응하는 사용자 인터페이스를 통해 어린이 및 동물에게 맞춤형 프로세스 및 콘텐츠를 제공함으로써, 차량에서 어린이 및 동물이 콘텐츠에 집중할 수 있도록 하여, 주행중 어린이 및 동물에 의해 발생할 수 있는 돌발상황을 방지할 수 있다.
또한, 탑승자의 위치 변경 시, 위치 변경 이전 사용자 인터페이스를 동일하게 제공하고, 위치 변경 이전에 재생되던 콘텐츠를 이어서 재생함으로써, 편의성을 향상시킬 수 있다.
또한, 탑승자의 유형을 판별하도록 훈련된 머신 러닝 기반의 학습 모델에 기반하여 탑승자의 유형을 판단함으로써, 차량의 UX 제공 시스템의 성능을 향상시킬 수 있다.
또한, 5G 네트워크 기반 통신을 통해 최적의 UX 제공을 수행함으로써, 신속한 데이터 처리가 가능하므로 차량의 UX 제공 시스템의 성능을 보다 향상시킬 수 있다.
또한, 차량의 UX 제어 장치 자체는 대량 생산된 획일적인 제품이지만, 사용자는 차량의 UX 제어 장치를 개인화된 장치로 인식하므로 사용자 맞춤형 제품의 효과를 낼 수 있다.
본 발명의 효과는 이상에서 언급된 것들에 한정되지 않으며, 언급되지 아니한 다른 효과들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 발명의 일 실시 예에 따른 클라우드 네트워크를 포함하는 AI 시스템 기반 차량의 UX 제어 시스템 환경의 예시도이다.
도 2는 본 발명의 일 실시 예에 따른 차량의 UX 제어 시스템 통신 환경을 개략적으로 설명하기 위하여 도시한 도면이다.
도 3은 본 발명의 일 실시 예에 따른 차량의 UX 제어 시스템의 개략적인 블록도이다.
도 4는 5G 통신 시스템에서 자율 주행 차량과 5G 네트워크의 기본동작의 일 예를 나타낸다.
도 5는 5G 통신 시스템에서 자율 주행 차량과 5G 네트워크의 응용 동작의 일 예를 나타낸다.
도 6 내지 도 9는 5G 통신을 이용한 자율 주행 차량의 동작의 일 예를 나타낸다.
도 10은 본 발명의 일 실시 예에 따른 처리부를 나타낸 개략적인 블록도이다.
도 11은 본 발명의 일 실시 예에 따른 기능별 탑승자 유형에 따른 프로세스 테이블의 예시도이다.
도 12는 본 발명의 일 실시 예에 따른 차량의 UX 제어 방법을 설명하기 위한 흐름도이다.
도 13은 본 발명의 일 실시 예에 따른 접근 권한 기반 차량의 UX 제어 방법을 설명하기 위한 흐름도이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 설명되는 실시 예들을 참조하면 명확해질 것이다. 그러나 본 발명은 아래에서 제시되는 실시 예들로 한정되는 것이 아니라, 서로 다른 다양한 형태로 구현될 수 있고, 본 발명의 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 아래에 제시되는 실시 예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
본 출원에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, 포함하다 또는 가지다 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다. 제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
본 명세서에서 기술되는 차량은, 자동차, 오토바이를 포함하는 개념일 수 있다. 이하에서는, 차량에 대해 자동차를 위주로 기술한다.
본 명세서에서 기술되는 차량은, 동력원으로서 엔진을 구비하는 내연기관 차량, 동력원으로서 엔진과 전기 모터를 구비하는 하이브리드 차량, 동력원으로서 전기 모터를 구비하는 전기 차량 등을 모두 포함하는 개념일 수 있다.
이하, 본 발명에 따른 실시 예들을 첨부된 도면을 참조하여 상세히 설명하기로 하며, 첨부 도면을 참조하여 설명함에 있어, 동일하거나 대응하는 구성요소는 동일한 도면번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.
도 1은 본 발명의 일 실시 예에 따른 클라우드 네트워크를 포함하는 AI 시스템 기반 차량의 UX 제어 시스템 환경의 예시도이다.
도 1을 참조하면, 차량의 UX 제어 시스템 환경은 AI 서버(20), 로봇(30a), 자율 주행 차량(30b), XR 장치(30c), 사용자 단말기(30d) 또는 가전(30e) 및 클라우드 네트워크(10)를 포함할 수 있다. 이때, 차량의 UX 제어 시스템 환경에서는, AI 서버(20), 로봇(30a), 자율 주행 차량(30b), XR 장치(30c), 사용자 단말기(30d) 또는 가전(30e) 중에서 적어도 하나 이상이 클라우드 네트워크(10)와 연결될 수 있다. 여기서, AI 기술이 적용된 로봇(30a), 자율 주행 차량(30b), XR 장치(30c), 사용자 단말기(30d) 또는 가전(30e) 등을 AI 장치(30a 내지 30e)라 칭할 수 있다.
이때, 로봇(30a)은 스스로 보유한 능력에 의해 주어진 일을 자동으로 처리하거나 작동하는 기계를 의미할 수 있다. 특히, 환경을 인식하고 스스로 판단하여 동작을 수행하는 기능을 갖는 로봇을 지능형 로봇이라 칭할 수 있다. 로봇(30a)은 사용 목적이나 분야에 따라 산업용, 의료용, 가정용, 군사용 등으로 분류할 수 있다.
자율 주행 차량(30b)은 사용자의 조작 없이 또는 사용자의 최소한의 조작으로 주행하는 차량(Vehicle)을 의미하며, AutonomousDriving Vehicle이라고도 할 수 있다. 예컨대, 자율 주행에는 주행중인 차선을 유지하는 기술, 어댑티브 크루즈 컨트롤과 같이 속도를 자동으로 조절하는 기술, 정해진 경로를 따라 자동으로 주행하는 기술, 목적지가 설정되면 자동으로 경로를 설정하여 주행하는 기술 등이 모두 포함될 수 있다. 이때, 자율 주행 차량은 자율 주행 기능을 가진 로봇으로 볼 수 있다.
XR 장치(30c)는 확장 현실(XR: eXtended Reality)을 이용하는 장치로, 확장 현실은 가상 현실(VR: Virtual Reality), 증강 현실(AR: Augmented Reality), 혼합 현실(MR: Mixed Reality)을 총칭한다. VR 기술은 현실 세계의 객체나 배경 등을 CG 영상으로만 제공하고, AR 기술은 실제 사물 영상 위에 가상으로 만들어진 CG 영상을 함께 제공하며, MR 기술은 현실 세계에 가상 객체들을 섞고 결합시켜서 제공하는 컴퓨터 그래픽 기술이다. XR 기술은 HMD(Head-Mount Display), HUD(Head-Up Display), 휴대폰, 태블릿 PC, 랩탑, 데스크탑, TV, 디지털 사이니지 등에 적용될 수 있고, XR 기술이 적용된 장치를 XR 장치(XR Device)라 칭할 수 있다.
사용자 단말기(30d)는 차량의 UX 제어 시스템 애플리케이션 또는 차량의 UX 제어 시스템 사이트에 접속한 후 인증 과정을 통하여 차량의 UX 제어 시스템의 작동 또는 제어를 위한 서비스를 제공받을 수 있다. 본 실시 예에서 인증 과정을 마친 사용자 단말기(30d)는 차량의 UX 제어 시스템(1)을 작동시키고, 제어할 수 있다. 본 실시 예에서 사용자 단말기(30d)는 사용자가 조작하는 데스크 탑 컴퓨터, 스마트폰, 노트북, 태블릿 PC, 스마트 TV, 휴대폰, PDA(personal digital assistant), 랩톱, 미디어 플레이어, 마이크로 서버, GPS(global positioning system) 장치, 전자책 단말기, 디지털방송용 단말기, 네비게이션, 키오스크, MP3 플레이어, 디지털 카메라, 가전기기 및 기타 모바일 또는 비모바일 컴퓨팅 장치일 수 있으나, 이에 제한되지 않는다. 또한, 사용자 단말기(30d)는 통신 기능 및 데이터 프로세싱 기능을 구비한 시계, 안경, 헤어 밴드 및 반지 등의 웨어러블 단말기 일 수 있다. 사용자 단말기(30d)는 상술한 내용에 제한되지 아니하며, 웹 브라우징이 가능한 단말기는 제한 없이 차용될 수 있다.
가전(30e)은 가정 내 구비되는 모든 전자 디바이스 중 어느 하나를 포함할 수 있으며, 특히 음성인식, 인공지능 등이 구현 가능한 단말, 오디오 신호 및 비디오 신호 중 하나 이상을 출력하는 단말 등을 포함할 수 있다. 또한 가전(30e)은 특정 전자 디바이스에 국한되지 않고 다양한 홈 어플라이언스(예를 들어, 세탁기, 건조기, 의류 처리 장치, 에어컨, 김치 냉장고 등)를 포함할 수 있다.
클라우드 네트워크(10)는 클라우드 컴퓨팅 인프라의 일부를 구성하거나 클라우드 컴퓨팅 인프라 안에 존재하는 네트워크를 의미할 수 있다. 여기서, 클라우드 네트워크(10)는 3G 네트워크, 4G 또는 LTE(Long Term Evolution) 네트워크 또는 5G 네트워크 등을 이용하여 구성될 수 있다. 즉, 차량의 UX 제어 시스템 환경을 구성하는 각 장치들(30a 내지 30e, 20)은 클라우드 네트워크(10)를 통해 서로 연결될 수 있다. 특히, 각 장치들(30a 내지 30e, 20)은 기지국을 통해서 서로 통신할 수도 있지만, 기지국을 통하지 않고 직접 서로 통신할 수도 있다.
이러한 클라우드 네트워크(10)는 예컨대 LANs(local area networks), WANs(Wide area networks), MANs(metropolitan area networks), ISDNs(integrated service digital networks) 등의 유선 네트워크나, 무선 LANs, CDMA, 블루투스, 위성 통신 등의 무선 네트워크를 망라할 수 있으나, 본 발명의 범위가 이에 한정되는 것은 아니다. 또한 클라우드 네트워크(10)는 근거리 통신 및/또는 원거리 통신을 이용하여 정보를 송수신할 수 있다. 여기서 근거리 통신은 블루투스(bluetooth), RFID(radio frequency identification), 적외선 통신(IrDA, infrared data association), UWB(ultra-wideband), ZigBee, Wi-Fi(Wireless fidelity) 기술을 포함할 수 있고, 원거리 통신은 CDMA(code division multiple access), FDMA(frequency division multiple access), TDMA(time division multiple access), OFDMA(orthogonal frequency division multiple access), SC-FDMA(single carrier frequency division multiple access) 기술을 포함할 수 있다.
또한, 클라우드 네트워크(10)는 허브, 브리지, 라우터, 스위치 및 게이트웨이와 같은 네트워크 요소들의 연결을 포함할 수 있다. 클라우드 네트워크(10)는 인터넷과 같은 공용 네트워크 및 안전한 기업 사설 네트워크와 같은 사설 네트워크를 비롯한 하나 이상의 연결된 네트워크들, 예컨대 다중 네트워크 환경을 포함할 수 있다. 클라우드 네트워크(10)에의 액세스는 하나 이상의 유선 또는 무선 액세스 네트워크들을 통해 제공될 수 있다. 더 나아가 클라우드 네트워크(10)는 사물 등 분산된 구성 요소들 간에 정보를 주고받아 처리하는 IoT(Internet of Things, 사물인터넷) 망 및/또는 5G 통신을 지원할 수 있다.
AI 서버(20)는 AI 프로세싱을 수행하는 서버와 빅 데이터에 대한 연산을 수행하는 서버를 포함할 수 있다. 또한, AI 서버(20)는 각종 인공 지능 알고리즘을 적용하는데 필요한 빅데이터와, 차량의 UX 제어 시스템(1)을 동작시키는 데이터를 제공하는 데이터베이스 서버일 수 있다. 그 밖에 AI 서버(20)는 사용자 단말기(30d)에 설치된 차량의 UX 제어 시스템 애플리케이션 또는 차량의 UX 제어 시스템 웹 브라우저를 이용하여 차량의 UX 제어 시스템(1)의 동작을 원격에서 제어할 수 있도록 하는 웹 서버 또는 애플리케이션 서버를 포함할 수 있다.
또한, AI 서버(20)는 차량의 UX 제어 시스템 환경을 구성하는 AI 장치들인 로봇(30a), 자율 주행 차량(30b), XR 장치(30c), 사용자 단말기(30d) 또는 가전(30e) 중에서 적어도 하나 이상과 클라우드 네트워크(10)를 통하여 연결되고, 연결된 AI 장치들(30a 내지 30e)의 AI 프로세싱을 적어도 일부를 도울 수 있다. 이때, AI 서버(20)는 AI 장치(30a 내지 30e)를 대신하여 머신 러닝 알고리즘에 따라 인공 신경망을 학습시킬 수 있고, 학습 모델을 직접 저장하거나 AI 장치(30a 내지 30e)에 전송할 수 있다. 이때, AI 서버(20)는 AI 장치(30a 내지 30e)로부터 입력 데이터를 수신하고, 학습 모델을 이용하여 수신한 입력 데이터에 대하여 결과 값을 추론하고, 추론한 결과 값에 기초한 응답이나 제어 명령을 생성하여 AI 장치(30a 내지 30e)로 전송할 수 있다. 또는, AI 장치(30a 내지 30e)는 직접 학습 모델을 이용하여 입력 데이터에 대하여 결과 값을 추론하고, 추론한 결과 값에 기초한 응답이나 제어 명령을 생성할 수도 있다.
여기서 인공 지능(artificial intelligence, AI)은, 인간의 지능으로 할 수 있는 사고, 학습, 자기계발 등을 컴퓨터가 할 수 있도록 하는 방법을 연구하는 컴퓨터 공학 및 정보기술의 한 분야로, 컴퓨터가 인간의 지능적인 행동을 모방할 수 있도록 하는 것을 의미할 수 있다.
또한, 인공 지능은 그 자체로 존재하는 것이 아니라, 컴퓨터 과학의 다른 분야와 직간접적으로 많은 관련을 맺고 있다. 특히 현대에는 정보기술의 여러 분야에서 인공 지능적 요소를 도입하여, 그 분야의 문제 풀이에 활용하려는 시도가 매우 활발하게 이루어지고 있다.
머신 러닝(machine learning)은 인공 지능의 한 분야로, 컴퓨터에 명시적인 프로그램 없이 배울 수 있는 능력을 부여하는 연구 분야를 포함할 수 있다. 구체적으로 머신 러닝은, 경험적 데이터를 기반으로 학습을 하고 예측을 수행하고 스스로의 성능을 향상시키는 시스템과 이를 위한 알고리즘을 연구하고 구축하는 기술이라 할 수 있다. 머신 러닝의 알고리즘들은 엄격하게 정해진 정적인 프로그램 명령들을 수행하는 것이라기 보다, 입력 데이터를 기반으로 예측이나 결정을 이끌어내기 위해 특정한 모델을 구축하는 방식을 취할 수 있다.
도 2는 본 발명의 일 실시 예에 따른 차량의 UX 제어 시스템 통신 환경을 개략적으로 설명하기 위하여 도시한 도면이다. 도 1에 대한 설명과 중복되는 부분은 그 설명을 생략하기로 한다.
도 2를 참조하면, 차량의 UX 제어 시스템(1)은 차량의 UX 제어 장치(100), 차량(200) 및 서버(300)를 포함할 수 있다. 이때 차량의 UX 제어 장치(100)가 차량(200) 외부에 구비되는 것으로 도시하고 있으나, 차량의 UX 제어 장치(100)는 차량(200)에 배치될 수 있다.
또한, 차량의 UX 제어 시스템(1)은 그 외 사용자 단말기 및 네트워크 등의 구성요소를 더 포함할 수 있다.
본 실시 예에서 서버(300)는 MEC(Mobile Edge Computing) 서버, AI 서버(20), 차량의 UX 제어 시스템(1)의 프로세서를 위한 서버 등을 포함할 수 있으며, 이들을 통칭하는 의미일 수도 있다. 서버(300)가 본 실시 예에서 명시되지 않은 다른 서버인 경우 도 2에 도시된 연결관계 등은 달라질 수 있다.
AI 서버는 차량(200)으로부터 수집되는 데이터를 수신하여, 최적의 UX 제어가 가능하도록 학습을 수행할 수 있다.
MEC 서버는 일반적인 서버의 역할을 수행할 수 있음은 물론, 무선 액세스 네트워크(RAN: Radio Access Network)내에서 도로 옆에 있는 기지국(BS)과 연결되어, 유연한 차량 관련 서비스를 제공하고 네트워크를 효율적으로 운용할 수 있게 해준다. 특히 MEC 서버에서 지원되는 네트워크-슬라이싱(network-slicing)과 트래픽 스케줄링 정책은 네트워크의 최적화를 도와줄 수 있다. MEC 서버는 RAN내에 통합되고, 3GPP 시스템에서 S1-User plane interface(예를 들어, 코어 네트워크(Core network)와 기지국 사이)에 위치할 수 있다. 다만, 이에 한정되지 않으며 기지국에 위치할 수도 있다. MEC 서버는 각각 독립적인 네트워크 요소로 간주될 수 있으며, 기존에 존재하는 무선 네트워크의 연결에 영향을 미치지 않는다. 독립적인 MEC 서버는 전용 통신망을 통해 기지국에 연결되며, 당해 셀(cell)에 위치한, 여러 엔드-유저(end-user)들에게 특정 서비스들을 제공할 수 있다. 이러한 MEC 서버와 클라우드 서버는 인터넷-백본(internet-backbone)을 통해 서로 연결되고 정보를 공유할 수 있다. 또한, MEC 서버는 독립적으로 운용되고, 복수 개의 기지국을 제어할 수 있다. 특히 자율주행차량을 위한 서비스, 가상머신(VM: virtual machine)과 같은 애플리케이션 동작과 가상화 플랫폼을 기반으로 하는 모바일 네트워크 엣지(edge)단에서의 동작을 수행할 수 있다. 기지국(BS: Base Station)은 MEC 서버들과 코어 네트워크 모두에 연결되어, 제공되는 서비스 수행에서 요구되는 유연한 유저 트래픽 스케쥴링을 가능하게 할 수 있다. 특정 셀에서 대용량의 유저 트래픽이 발생하는 경우, MEC 서버는 인접한 기지국 사이의 인터페이스에 근거하여, 테스크 오프로딩(offloading) 및 협업 프로세싱을 수행 할 수 있다. 즉, MEC 서버는 소프트웨어를 기반으로 하는 개방형 동작환경을 갖으므로, 애플리케이션 제공 업체의 새로운 서비스들이 용이하게 제공될 수 있다. 또한, MEC 서버는 엔드-유저(end-user) 가까이에서 서비스가 수행되므로, 데이터 왕복시간이 단축되며 서비스 제공 속도가 빠르기 때문에 서비스 대기 시간을 감소시킬 수 있다. 또한 MEC 애플리케이션과 가상 네트워크 기능(VNF: Virtual Network Functions)은 서비스 환경에 있어서, 유연성 및 지리적 분포성을 제공할 수 있다. 이러한 가상화 기술을 사용하여 다양한 애플리케이션과 네트워크 기능이 프로그래밍 될 수 있을 뿐 아니라 특정 사용자 그룹만이 선택되거나 이들만을 위한 컴파일(compile)이 가능할 수 있다. 그러므로, 제공되는 서비스는 사용자 요구 사항에 보다 밀접하게 적용될 수 있다. 그리고 중앙 통제 능력과 더불어 MEC 서버는 기지국간의 상호작용을 최소화할 수 있다. 이는 셀 간의 핸드오버(handover)와 같은 네트워크의 기본 기능 수행을 위한 프로세스를 간략하게 할 수 있다. 이러한 기능은 특히 이용자가 많은 자율주행시스템에서 유용할 수 있다. 또한, 자율주행시스템에서 도로의 단말들은 다량의 작은 패킷을 주기적으로 생성할 수 있다. RAN에서 MEC 서버는 특정 서비스를 수행함으로써, 코어 네트워크로 전달되어야 하는 트래픽의 양을 감소시킬 수 있으며, 이를 통해 중앙 집중식 클라우드 시스템에서 클라우드의 프로세싱 부담을 줄일 수 있고, 네트워크의 혼잡을 최소화할 수 있다. 그리고 MEC 서버는 네트워크 제어 기능과 개별적인 서비스들을 통합하며, 이를 통해 모바일 네트워크 운영자(MNOs: Mobile Network Operators)의 수익성을 높일 수 있으며, 설치 밀도 조정을 통해 신속하고 효율적인 유지관리 및 업그레이드가 가능하도록 할 수 있다. 또한, 본 실시 예에서 서버(300)는 차량(200)에서 수행 가능한 서비스 애플리케이션들을 제공할 수 있도록 하는 서비스 애플리케이션 서버일 수 있다.
차량(200)은 차량 통신 모듈, 차량 제어 모듈, 차량 사용자 인터페이스 모듈, 운전 조작 모듈, 차량 구동 모듈, 운행 모듈, 내비게이션 모듈 및 센싱 모듈 등을 포함할 수 있다. 실시 예에 따라 차량(200)은 상기 구성요소 외에 다른 구성요소를 포함하거나, 이하 설명되는 구성요소 중 일부를 포함하지 않을 수 있다.
여기서, 차량(200)은 자율 주행 차량일 수 있으며, 차량 사용자 인터페이스 모듈을 통하여 수신되는 사용자 입력에 따라 자율 주행 모드에서 매뉴얼 모드로 전환되거나 매뉴얼 모드에서 자율 주행 모드로 전환될 수 있다. 아울러, 차량(200)은 주행 상황에 따라 자율 주행 모드에서 매뉴얼 모드로 전환되거나 매뉴얼 모드에서 자율 주행 모드로 전환될 수 있다. 여기서, 주행 상황은 차량 통신 모듈에 의해 수신된 정보, 센싱 모듈에 의해 검출된 외부 오브젝트 정보 및 내비게이션 모듈에 의해 획득된 내비게이션 정보 중 적어도 어느 하나에 의해 판단될 수 있다.
차량(200)이 자율 주행 모드로 운행되는 경우, 차량(200)은 주행, 출차, 주차 동작을 제어하는 운행 모듈의 제어에 따라 운행될 수 있다. 한편, 차량(200)이 매뉴얼 모드로 운행되는 경우, 차량(200)은 운전자의 운전 조작 모듈을 통한 입력에 의해 운행될 수 있다. 차량(200)은 통신망을 통해 외부 서버에 연결되고, 자율주행 기술을 이용하여 운전자 개입 없이 미리 설정된 경로를 따라 이동 가능할 수 있다.
차량 사용자 인터페이스 모듈은 차량(200)과 차량 사용자와의 소통을 위한 것으로, 사용자의 입력 신호를 수신하고, 수신된 입력 신호를 차량 제어 모듈로 전달하며, 차량 제어 모듈의 제어에 의해 사용자에게 차량(200)이 보유하는 정보를 제공할 수 있다.
운행 모듈은 차량(200)의 각종 운행을 제어할 수 있으며, 특히 자율 주행 모드에서 차량(200)의 각종 운행을 제어할 수 있다. 운행 모듈은 주행 모듈, 출차 모듈 및 주차 모듈을 포함할 수 있으나, 이에 한정되지 않는다. 또한, 운행 모듈은 차량 제어 모듈의 제어를 받는 프로세서를 포함할 수 있다. 운행 모듈의 각 모듈은, 각각 개별적으로 프로세서를 포함할 수 있다. 실시 예에 따라, 운행 모듈이 소프트웨어적으로 구현되는 경우, 차량 제어 모듈의 하위 개념일 수도 있다. 이때, 주행 모듈, 출차 모듈 및 주차 모듈은 각각 차량(200)의 주행, 출차 및 주차를 수행할 수 있다. 또한 주행 모듈, 출차 모듈 및 주차 모듈은 각각 센싱 모듈로부터 오브젝트 정보를 제공받아, 차량 구동 모듈에 제어 신호를 제공하여, 차량(200)의 주행, 출차 및 주차를 수행할 수 있다. 또한, 주행 모듈, 출차 모듈 및 주차 모듈은 각각 차량 통신 모듈을 통해, 외부 디바이스로부터 신호를 제공받아, 차량 구동 모듈에 제어 신호를 제공하여, 차량(200)의 주행, 출차 및 주차를 수행할 수 있다. 그리고 주행 모듈, 출차 모듈 및 주차 모듈은 각각 내비게이션 모듈로부터 내비게이션 정보를 제공받아, 차량 구동 모듈에 제어 신호를 제공하여, 차량(200)의 주행, 출차 및 주차를 수행할 수 있다. 내비게이션 모듈은 차량 제어 모듈에 내비게이션 정보를 제공할 수 있다. 내비게이션 정보는 맵(map) 정보, 설정된 목적지 정보, 목적지 설정 따른 경로 정보, 경로 상의 다양한 오브젝트에 대한 정보, 차선 정보 및 차량의 현재 위치 정보 중 적어도 어느 하나를 포함할 수 있다.
센싱 모듈은 차량(200)에 장착된 센서를 이용하여 차량(200)의 상태를 센싱, 즉, 차량(200)의 상태에 관한 신호를 감지하고, 감지된 신호에 따라 차량(200)의 이동 경로 정보를 획득할 수 있다. 또한 센싱 모듈은 획득된 이동 경로 정보를 차량 제어 모듈에 제공할 수 있다. 또한 센싱 모듈은 차량(200)에 장착된 센서를 이용하여 차량(200) 주변의 오브젝트 등을 센싱 할 수 있다.
도 3은 본 발명의 일 실시 예에 따른 차량의 UX 제어 시스템의 개략적인 블록도이다. 이하의 설명에서 도 1 및 도 2에 대한 설명과 중복되는 부분은 그 설명을 생략하기로 한다.
도 3을 참조하면, 차량의 UX 제어 시스템(1)은 차량 내 구비된 카메라(210)와 센서모듈(220), 그리고 차량의 UX 제어 장치(100)를 포함할 수 있다.
카메라(210)는 차량 내 구비되는 이미지 센서를 포함할 수 있다. 이때 카메라(210)의 위치는 한정되지 않으나 차량의 전면 측 또는 각 좌석 전면마다 구비될 수 있다. 또한 카메라(210)의 수는 한정되지 않는다. 본 실시 예에서는 카메라(210)를 통해 탑승자를 촬영하고 탑승자 영상에 기초하여 탑승자를 인식하도록 할 수 있다.
센서모듈(220)은 차량 내 구비되는 각종 센서들을 포함할 수 있다. 예를 들어, 본 실시 예에서는 탑승자의 체온을 감지하는 체온 센서, 탑승자의 음성을 감지하는 음성감지센서, 디스플레이에 대한 탑승자의 터치 범위 및 터치 강도를 감지할 수 있는 디스플레이 터치 센서 등을 포함할 수 있다. 다만 센서의 종류는 이에 한정되지 않으며, 단일 센서 및 복합 센서를 포함할 수 있다. 한편, 차량의 UX 제어 시스템(1)의 카메라(210)와 센서모듈(220)은 상술하는 차량(200)의 구성 요소인 센싱 모듈, 또는 후술하는 입력 인터페이스(120)에 포함될 수 있다.
차량의 UX 제어 장치(100)는 통신부(110), 입력 인터페이스(120), 출력 인터페이스(130), 탑승자 모니터링부(140), 제어부(150), 전장제어부(160), 주행제어부(170), 메모리(180) 및 처리부(190)를 포함할 수 있다.
통신부(110)는 서버(도 2의 300) 및 차량 간 통신이 가능하도록 하는 것으로, 그 외 외부 장치와의 통신을 수행하기 위한 통신 모듈일 수 있다. 즉 통신부(110)는 상술하는 차량(200)의 구성 요소인 차량 통신 모듈에 포함될 수 있다.
통신부(110)는 복수 개의 통신 모드에 의한 통신을 지원하고, 서버(300)로부터 서버 신호를 수신하며, 서버(300)로 신호를 송신할 수 있다. 또한 통신부(110)는 하나 이상의 타 차량으로부터 신호를 수신하고, 타 차량으로 신호를 송신할 수 있으며, 사용자 단말기로부터 신호를 수신하고, 사용자 단말기로 신호를 송신할 수 있다. 또한 통신부(110)는 차량 내에서의 통신을 위한 통신 모듈을 포함할 수 있다.
여기서, 복수 개의 통신 모드는 타 차량과의 통신을 수행하는 차량 간 통신 모드, 외부 서버와 통신을 수행하는 서버 통신 모드, 차량 내 사용자 단말기 등 사용자 단말과 통신을 수행하는 근거리 통신 모드, 차량 내 유닛들과 통신하기 위한 차량 내 통신 모드 등을 포함할 수 있다. 즉, 통신부(110)는 무선 통신 모듈, V2X 통신 모듈 및 근거리 통신 모듈 등을 포함할 수 있다.
무선 통신 모듈은 이동 통신망을 통하여 사용자 단말기 또는 서버와 상호 신호를 송수신할 수 있다. 여기서, 이동 통신망은 사용한 시스템 자원(대역폭, 전송 파워 등)을 공유하여 다중 사용자의 통신을 지원할 수 있는 다중 접속(Multiple access) 시스템이다. 다중 접속 시스템의 예로는, CDMA(Code Division Multiple Access) 시스템, FDMA(Frequency Division Multiple Access) 시스템, TDMA(Time Division Multiple Access) 시스템, OFDMA(Orthogonal Frequency Division Multiple Access) 시스템, SC-FDMA(Single Carrier Frequency Division Multiple Access) 시스템, MC-FDMA(Multi Carrier Frequency Division Multiple Access) 시스템 등이 있다.
V2X 통신 모듈은, 무선 방식으로 V2I 통신 프로토콜을 통해 RSU와 상호 신호를 송수신하고, V2V 통신 프로토콜을 통해 타 차량과 상호 신호를 송수신하며, V2P 통신 프로토콜을 통해 사용자 단말기, 즉 보행자 또는 사용자와 상호 신호를 송수신할 수 있다. 즉 V2X 통신 모듈은 인프라와의 통신(V2I), 차량간 통신(V2V), 사용자 단말기와의 통신(V2P) 프로토콜이 구현 가능한 RF 회로를 포함할 수 있다. 즉, 통신부(110)는 통신을 수행하기 위해 송신 안테나, 수신 안테나, 각종 통신 프로토콜이 구현 가능한 RF(Radio Frequency) 회로 및 RF 소자 중 적어도 어느 하나를 포함할 수 있다.
그리고 근거리 통신 모듈은, 예를 들어 운전자의 사용자 단말기와 근거리 무선 통신 모듈을 통해 연결되도록 할 수 있다. 이때 근거리 통신 모듈은 사용자 단말기와 무선 통신뿐만 아니라 유선 통신으로 연결되도록 할 수도 있다. 예를 들어 근거리 통신 모듈은 운전자의 사용자 단말기가 사전에 등록된 경우, 차량(200)으로부터 일정 거리 내(예를 들어, 차량 내)에서 등록된 사용자 단말기가 인식되면 자동으로 차량(200)과 연결되도록 할 수 있다. 즉, 통신부(110)는 근거리 통신(Short range communication), GPS 신호 수신, V2X 통신, 광통신, 방송 송수신 및 ITS(Intelligent Transport Systems) 통신 기능을 수행할 수 있다. 통신부(110)는 블루투스(Bluetooth), RFID(Radio Frequency Identification), 적외선 통신(Infrared Data Association; IrDA), UWB(Ultra-Wideband), ZigBee, NFC(Near Field Communication), Wi-Fi(Wireless-Fidelity), Wi-Fi Direct, Wireless USB(Wireless Universal Serial Bus) 기술 중 적어도 하나를 이용하여, 근거리 통신을 지원할 수 있다. 실시 예에 따라, 통신부(110)는 설명되는 기능 외에 다른 기능을 더 지원하거나, 설명되는 기능 중 일부를 지원하지 않을 수 있다.
또한, 실시 예에 따라, 통신부(110)의 각 모듈은 통신부(110) 내에 구비된 별도의 프로세서에 의해 전반적인 동작이 제어될 수 있다. 통신부(110)는 복수 개의 프로세서를 포함하거나, 프로세서를 포함하지 않을 수도 있다. 통신부(110)에 프로세서가 포함되지 않는 경우, 통신부(110)는 차량(200) 내 다른 장치의 프로세서 또는 차량(200)의 제어부(150)에 따라, 동작될 수 있다.
한편, 도 4는 5G 통신 시스템에서 자율주행 차량과 5G 네트워크의 기본동작의 일 예를 나타낸 도면이다.
통신부(110)는 차량(200)이 자율주행 모드로 운행되는 경우, 특정 정보를 5G 네트워크로 전송할 수 있다(S1).
이 때, 특정 정보는 자율주행 관련 정보를 포함할 수 있다.
자율주행 관련 정보는, 차량의 주행 제어와 직접적으로 관련된 정보일 수 있다. 예를 들어, 자율주행 관련 정보는 차량 주변의 오브젝트를 지시하는 오브젝트 데이터, 맵 데이터(map data), 차량 상태 데이터, 차량 위치 데이터 및 드라이빙 플랜 데이터(driving plan data) 중 하나 이상을 포함할 수 있다.
자율주행 관련 정보는 자율주행에 필요한 서비스 정보 등을 더 포함할 수 있다. 예를 들어, 특정 정보는, 차량 사용자 인터페이스 모듈을 통해 입력된 목적지와 차량의 안전 등급에 관한 정보를 포함할 수 있다.
또한, 5G 네트워크는 차량(200)의 원격 제어 여부를 결정할 수 있다(S2).
여기서, 5G 네트워크는 자율주행 관련 원격 제어를 수행하는 서버 또는 모듈을 포함할 수 있다.
또한, 5G 네트워크는 원격 제어와 관련된 정보(또는 신호)를 자율주행 차량으로 전송할 수 있다(S3).
전술한 바와 같이, 원격 제어와 관련된 정보는 자율주행 차량에 직접적으로 적용되는 신호일 수도 있고, 나아가 자율주행에 필요한 서비스 정보를 더 포함할 수 있다. 본 발명의 일 실시예에서 자율주행 차량은, 5G 네트워크에 연결된 서버를 통해 주행 경로 상에서 선택된 구간별 보험과 위험 구간 정보 등의 서비스 정보를 수신함으로써, 자율주행과 관련된 서비스를 제공할 수 있다.
이하, 도 5 내지 도 9를 참조하여 자율주행이 가능한 차량(200)과 5G 네트워크 간의 5G 통신을 위한 필수 과정(예를 들어, 차량과 5G 네트워크 간의 초기 접속 절차 등)을 개략적으로 설명하면 다음과 같다.
먼저, 5G 통신 시스템에서 수행되는 자율주행이 가능한 차량(200)과 5G 네트워크를 통한 응용 동작의 일 예는 다음과 같다.
차량(200)은 5G 네트워크와 초기 접속(Initial access) 절차를 수행한다(초기 접속 단계, S20). 이때, 초기 접속 절차는 하향 링크(Downlink, DL) 동기 획득을 위한 셀 서치(Cell search) 과정 및 시스템 정보(System information)를 획득하는 과정 등을 포함한다.
또한, 차량(200)은 5G 네트워크와 임의 접속(Random access) 절차를 수행한다(임의 접속 단계, S21). 이때, 임의 접속 절차는 상향 링크(Uplink, UL) 동기 획득 과정 또는 UL 데이터 전송을 위한 프리엠블 전송 과정, 임의 접속 응답 수신 과정 등을 포함한다.
한편, 5G 네트워크는 자율주행이 가능한 차량(200)으로 특정 정보의 전송을 스케쥴링 하기 위한 UL 그랜트(Uplink grant)를 전송한다(UL 그랜트 수신 단계, S22).
차량(200)이 UL 그랜트를 수신하는 절차는 5G 네트워크로 UL 데이터의 전송을 위해 시간/주파수 자원을 배정받는 스케줄링 과정을 포함한다.
또한, 자율주행이 가능한 차량(200)은 UL 그랜트에 기초하여 5G 네트워크로 특정 정보를 전송할 수 있다(특정 정보 전송 단계, S23).
한편, 5G 네트워크는 차량(200)으로부터 전송된 특정 정보에 기초하여 차량(200)의 원격 제어 여부를 결정할 수 있다(차량의 원격 제어 여부 결정 단계, S24).
또한, 자율주행이 가능한 차량(200)은 5G 네트워크로부터 기 전송된 특정 정보에 대한 응답을 수신하기 위해 물리 하향링크 제어 채널을 통해 DL 그랜트를 수신할 수 있다(DL 그랜트 수신 단계, S25).
이후에, 5G 네트워크는 DL 그랜트에 기초하여 자율주행이 가능한 차량(200)으로 원격 제어와 관련된 정보(또는 신호)를 전송할 수 있다(원격 제어와 관련된 정보 전송 단계, S26).
한편, 앞서 자율주행이 가능한 차량(200)과 5G 네트워크의 초기 접속 과정 및/또는 임의 접속 과정 및 하향링크 그랜트 수신 과정이 결합된 절차를 예시적으로 설명하였지만, 본 발명은 이에 한정되지 않는다.
예를 들어, 초기 접속 단계, UL 그랜트 수신 단계, 특정 정보 전송 단계, 차량의 원격 제어 여부 결정 단계 및 원격 제어와 관련된 정보 전송 단계를 통해 초기 접속 과정 및/또는 임의접속 과정을 수행할 수 있다. 또한, 예를 들어 임의 접속 단계, UL 그랜트 수신 단계, 특정 정보 전송 단계, 차량의 원격 제어 여부 결정 단계, 원격 제어와 관련된 정보 전송 단계를 통해 초기접속 과정 및/또는 임의 접속 과정을 수행할 수 있다. 또한, 특정 정보 전송 단계, 차량의 원격 제어 여부 결정 단계, DL 그랜트 수신 단계, 원격 제어와 관련된 정보 전송 단계를 통해, AI 동작과 DL 그랜트 수신 과정을 결합한 방식으로 자율주행이 가능한 차량(200)의 제어가 이루어질 수 있다.
또한, 앞서 기술한 자율주행이 가능한 차량(200)의 동작은 예시적인 것이 불과하므로, 본 발명은 이에 한정되지 않는다.
예를 들어, 자율주행이 가능한 차량(200)의 동작은, 초기 접속 단계, 임의 접속 단계, UL 그랜트 수신 단계 또는 DL 그랜트 수신 단계가, 특정 정보 전송 단계 또는 원격 제어와 관련된 정보 전송 단계와 선택적으로 결합되어 동작할 수 있다. 아울러, 자율주행이 가능한 차량(200)의 동작은, 임의 접속 단계, UL 그랜트 수신 단계, 특정 정보 전송 단계 및 원격 제어와 관련된 정보 전송 단계로 구성될 수도 있다. 한편, 자율주행이 가능한 차량(200)의 동작은, 초기 접속 단계, 임의 접속 단계, 특정 정보 전송 단계 및 원격 제어와 관련된 정보 전송 단계로 구성될 수 있다. 또한, 자율주행이 가능한 차량(200)의 동작은, UL 그랜트 수신 단계, 특정 정보 전송 단계, DL 그랜트 수신 단계 및 원격 제어와 관련된 정보 전송 단계로 구성될 수 있다.
도 6에 도시된 바와 같이, 자율주행 모듈을 포함하는 차량(200)은 DL 동기 및 시스템 정보를 획득하기 위해 SSB(Synchronization Signal Block)에 기초하여 5G 네트워크와 초기 접속 절차를 수행할 수 있다(초기 접속 단계, S30).
또한, 자율주행이 가능한 차량(200)은 UL 동기 획득 및/또는 UL 전송을 위해 5G 네트워크와 임의 접속 절차를 수행할 수 있다(임의 접속 단계, S31).
한편, 자율주행이 가능한 차량(200)은 특정 정보를 전송하기 위해 5G 네트워크로부터 UL 그랜트를 수신할 수 있다(UL 그랜트 수신 단계, S32).
또한, 자율주행이 가능한 차량(200)은 UL 그랜트에 기초하여 특정 정보를 5G 네트워크로 전송한다(특정 정보 전송 단계, S33).
또한, 자율주행이 가능한 차량(200)은 특정 정보에 대한 응답을 수신하기 위한 DL 그랜트를 5G 네트워크로부터 수신한다(DL 그랜트 수신 단계, S34).
또한, 자율주행이 가능한 차량(200)은 원격 제어와 관련된 정보(또는 신호)를 DL 그랜트에 기초하여 5G 네트워크로부터 수신한다(원격 제어 관련 정보 수신 단계, S35).
초기 접속 단계에 빔 관리(Beam Management, BM) 과정이 추가될 수 있으며, 임의 접속 단계에 PRACH(Physical Random Access CHannel) 전송과 관련된 빔 실패 복구(Beam failure recovery) 과정이 추가될 수 있으며, UL 그랜트 수신 단계에 UL 그랜트를 포함하는 PDCCH(Physical Downlink Control CHannel)의 빔 수신 방향과 관련하여 QCL(Quasi Co-Located) 관계가 추가될 수 있으며, 특정 정보 전송 단계에 특정 정보를 포함하는 PUCCH/PUSCH(Physical Uplink Shared CHannel)의 빔 전송 방향과 관련하여 QCL 관계가 추가될 수 있다. 또한, DL 그랜트 수신 단계에 DL 그랜트를 포함하는 PDCCH의 빔 수신 방향과 관련하여 QCL 관계가 추가될 수 있다.
도 7에 도시된 바와 같이, 자율주행이 가능한 차량(200)은 DL 동기 및 시스템 정보를 획득하기 위해 SSB에 기초하여 5G 네트워크와 초기 접속 절차를 수행한다(초기 접속 단계, S40).
또한, 자율주행이 가능한 차량(200)은 UL 동기 획득 및/또는 UL 전송을 위해 5G 네트워크와 임의 접속 절차를 수행한다(임의 접속 단계, S41).
또한, 자율주행이 가능한 차량(200)은 설정된 그랜트(Configured grant)에 기초하여 특정 정보를 5G 네트워크로 전송한다(UL 그랜트 수신 단계, S42). 즉, 상기 5G 네트워크로부터 UL 그랜트를 수신하는 과정 대신, 설정된 그랜트를 수신할 수 있다.
또한, 자율주행이 가능한 차량(200)은 원격 제어와 관련된 정보(또는 신호)를 설정 그랜트에 기초하여 5G 네트워크로부터 수신한다(원격 제어 관련 정보 수신 단계, S43).
도 8에 도시된 바와 같이, 자율주행이 가능한 차량(200)은 DL 동기 및 시스템 정보를 획득하기 위해 SSB에 기초하여 5G 네트워크와 초기 접속 절차를 수행할 수 있다(초기 접속 단계, S50).
또한, 자율주행이 가능한 차량(200)은 UL 동기 획득 및/또는 UL 전송을 위해 5G 네트워크와 임의 접속 절차를 수행한다(임의 접속 단계, S51).
또한, 자율주행이 가능한 차량(200)은 5G 네트워크로부터 DL 선점(Downlink Preemption) IE(Information Element)를 수신한다(DL 선점 IE 수신, S52).
또한, 자율주행이 가능한 차량(200)은 DL 선점 IE에 기초하여 선점 지시를 포함하는 DCI(Downlink Control Information) 포맷 2_1을 5G 네트워크로부터 수신한다(DCI 포맷 2_1 수신 단계, S53).
또한, 자율주행 가능한 차량(200)은 선점 지시(Pre-emption indication)에 의해 지시된 자원(PRB 및/또는 OFDM 심볼)에서 eMBB 데이터의 수신을 수행(또는 기대 또는 가정)하지 않는다(eMBB 데이터의 수신 미수행 단계, S54).
또한, 자율주행이 가능한 차량(200)은 특정 정보를 전송하기 위해 5G 네트워크로 UL 그랜트를 수신한다(UL 그랜트 수신 단계, S55).
또한, 자율주행이 가능한 차량(200)은 UL 그랜트에 기초하여 특정 정보를 5G 네트워크로 전송한다(특정 정보 전송 단계, S56).
또한, 자율주행이 가능한 차량(200)은 특정 정보에 대한 응답을 수신하기 위한 DL 그랜트를 5G 네트워크로부터 수신한다(DL 그랜트 수신 단계, S57).
또한, 자율주행이 가능한 차량(200)은 원격제어와 관련된 정보(또는 신호)를 DL 그랜트에 기초하여 5G 네트워크로부터 수신한다(원격 제어 관련 정보 수신 단계, S58).
도 9에 도시된 바에 의하면, 자율주행이 가능한 차량(200)은 DL 동기 및 시스템 정보를 획득하기 위해 SSB에 기초하여 5G 네트워크와 초기 접속 절차를 수행한다(초기 접속 단계, S60).
또한, 자율주행이 가능한 차량(200)은 UL 동기 획득 및/또는 UL 전송을 위해 5G 네트워크와 임의 접속 절차를 수행한다(임의 접속 단계, S61).
또한, 자율주행 가능한 차량(200)은 특정 정보를 전송하기 위해 5G 네트워크로 UL 그랜트를 수신한다(UL 그랜트 수신 단계, S62).
UL 그랜트는 특정 정보의 전송이 반복적으로 이루어지는 경우, 그 반복 횟수에 대한 정보를 포함하고, 특정 정보는 반복 횟수에 대한 정보에 기초하여 반복하여 전송된다(특정 정보 반복 전송 단계, S63).
또한, 자율주행이 가능한 차량(200)은 UL 그랜트에 기초하여 특정 정보를 5G 네트워크로 전송한다.
또한, 특정 정보의 반복 전송은 주파수 호핑을 통해 수행되고, 첫 번째 특정 정보의 전송은 제 1 주파수 자원에서, 두 번째 특정 정보의 전송은 제 2 주파수 자원에서 전송될 수 있다.
특정 정보는 6RB(Resource Block) 또는 1RB(Resource Block)의 협대역(Narrowband)을 통해 전송될 수 있다.
또한, 자율주행이 가능한 차량(200)은 특정 정보에 대한 응답을 수신하기 위한 DL 그랜트를 5G 네트워크로부터 수신한다(DL 그랜트 수신 단계, S64).
또한, 자율주행이 가능한 차량(200)은 원격제어와 관련된 정보(또는 신호)를 DL 그랜트에 기초하여 5G 네트워크로부터 수신한다(원격 제어 관련 정보 수신 단계, S65).
앞서 기술한 5G 통신 기술은 도 1 내지 도 13에서 후술할 본 명세서에서 제안하는 실시예와 결합되어 적용될 수 있으며, 또는 본 명세서에서 제안하는 실시예의 기술적 특징을 구체화하거나 명확하게 하는데 보충될 수 있다.
입력 인터페이스(120)와 출력 인터페이스(130)는 사용자 인터페이스 기능을 수행하는 것으로, 상술하는 차량(200)의 구성 요소인 차량 사용자 인터페이스 모듈에 포함될 수 있다.
입력 인터페이스(120)는 사용자로부터 정보를 입력 받기 위한 것으로, 차량(200)의 운전자뿐만 아니라 탑승자들로부터 정보를 입력 받을 수 있다. 즉, 입력 인터페이스(120)는 차량(200)과 차량 사용자와의 소통을 위한 것으로, 디스플레이 터치, 음성 등 다양한 방법으로 사용자의 입력 신호를 수신할 수 있다. 본 실시 예에서는, 입력 인터페이스(120)를 통해 사용자로부터 수집된 데이터는, 제어부(150)에 의해 분석되어, 사용자의 제어 명령을 처리될 수 있다. 예를 들어, 입력 인터페이스(120)는 사용자로부터 차량(200)의 목적지를 입력 받아 제어부(150)로 제공할 수 있다. 또한 입력 인터페이스(120)는 사용자로부터 차량(200)의 자율주행 수행 요청을 입력 받아 제어부(150)로 제공할 수 있다. 그리고 입력 인터페이스(120)는 사용자로부터 엔터테인먼트 기능에 대한 요청을 입력 받아 제어부(150)로 제공할 수 있다.
입력 인터페이스(120)는 차량 내부에 배치될 수 있다. 예를 들어, 입력 인터페이스(120)는 스티어링 휠(Steering wheel)의 일 영역, 인스투루먼트 패널(Instrument panel)의 일 영역, 시트(Seat)의 일 영역, 각 필러(Pillar)의 일 영역, 도어(Door)의 일 영역, 센타 콘솔(Center console)의 일 영역, 헤드 라이닝(Head lining)의 일 영역, 썬바이저(Sun visor)의 일 영역, 윈드 쉴드(Windshield)의 일 영역 또는 창문(Window)의 일 영역 등에 배치될 수 있다.
출력 인터페이스(130)는 시각, 청각 또는 촉각 등과 관련된 출력을 발생시키기 위한 것이다. 출력 인터페이스(130)는 음향 또는 이미지를 출력할 수 있다. 또한 출력 인터페이스(130)는 디스플레이 모듈, 음향 출력 모듈 및 햅틱 출력 모듈 중 적어도 어느 하나를 포함할 수 있다.
디스플레이 모듈은, 다양한 정보에 대응되는 그래픽 객체를 표시할 수 있다. 디스플레이 모듈은 액정 디스플레이(Liquid Crystal Display, LCD), 박막 트랜지스터 액정 디스플레이(Thin Film Transistor Liquid Crystal Display, TFT LCD), 유기 발광 다이오드(Organic Light-Emitting Diode, OLED), 플렉서블 디스플레이(Flexible display), 삼차원 디스플레이(3D display), 전자잉크 디스플레이(e-ink display) 중에서 적어도 하나를 포함할 수 있다. 디스플레이 모듈은 터치 입력 모듈과 상호 레이어 구조를 이루거나 일체형으로 형성됨으로써, 터치 스크린을 구현할 수 있다. 또한 디스플레이 모듈은 HUD(Head Up Display)로 구현될 수 있다. 디스플레이 모듈이 HUD로 구현되는 경우, 디스플레이 모듈은 투사 모듈을 구비하여 윈드 쉴드 또는 창문에 투사되는 이미지를 통해 정보를 출력할 수 있다. 디스플레이 모듈은, 투명 디스플레이를 포함할 수 있다. 투명 디스플레이는 윈드 쉴드 또는 창문에 부착될 수 있다. 투명 디스플레이는 소정의 투명도를 가지면서, 소정의 화면을 표시할 수 있다. 투명 디스플레이는, 투명도를 가지기 위해, 투명 디스플레이는 투명 TFEL(Thin Film Elecroluminescent), 투명 OLED(Organic Light-Emitting Diode), 투명 LCD(Liquid Crystal Display), 투과형 투명디스플레이, 투명 LED(Light Emitting Diode) 디스플레이 중 적어도 하나를 포함할 수 있다. 투명 디스플레이의 투명도는 조절될 수 있다. 출력 인터페이스(130)는 복수 개의 디스플레이 모듈을 포함할 수 있다. 디스플레이 모듈은, 스티어링 휠의 일 영역, 인스투루먼트 패널의 일 영역, 시트의 일 영역, 각 필러의 일 영역, 도어의 일 영역, 센타 콘솔의 일 영역, 헤드 라이닝의 일 영역, 썬 바이저의 일 영역에 배치되거나, 윈드 쉴드의 일영역, 창문의 일영역에 구현될 수 있다.
음향 출력 모듈은, 제어부(150)로부터 제공되는 전기 신호를 오디오 신호로 변환하여 출력할 수 있다. 이를 위해, 음향 출력 모듈은, 하나 이상의 스피커를 포함할 수 있다.
햅틱 출력 모듈은, 촉각적인 출력을 발생시킨다. 예를 들면, 햅틱 출력 모듈은, 스티어링 휠, 안전 벨트, 시트를 진동시켜, 사용자가 출력을 인지할 수 있게 동작할 수 있다.
탑승자 모니터링부(140)는 차량(200)에 탑승한 탑승자들을 모니터링 하는 것이다. 예를 들어 탑승자 모니터링부(140)는 이미지 센서, 음성 감지 센서, 신체 감지 센서 등을 포함하여 탑승자 각각을 인식하고 탑승자 각각의 정보를 모니터링 할 수 있다. 본 실시 예에서 탑승자 모니터링부(140)는 카메라(210) 및 센서모듈(220)을 통해 탑승자에 관한 데이터를 수신하여 탑승자 각각을 모니터링 할 수 있다. 이때 탑승자 모니터링부(140)는 별도의 프로세서가 구비될 수 있으나, 구비되지 않는 경우 제어부(150)에 의해 제어될 수 있다.
제어부(150)는 차량의 UX 제어 장치(100)를 전반적으로 제어할 수 있다. 제어부(150)는 통신부(110) 및/또는 탑승자 모니터링부(140)를 통해 탑승자를 인식하고, 인식한 탑승자의 유형을 판단하여 탑승자의 유형에 대응하는 사용자 인터페이스, 즉 입력 인터페이스(120) 및 출력 인터페이스(130)를 제공할 수 있다. 또한 제어부(150)는 입력 인터페이스(120)를 통한 탑승자의 사용자 요청에 대응하는 프로세스를 수행할 수 있다. 예를 들어 제어부(150)는 탑승자의 사용자 요청에 대응하는 출력 인터페이스(130)를 제공할 수 있다. 또한 제어부(150)는 탑승자의 유형에 기초해, 탑승자의 사용자 요청에 대응하여 전장제어부(160) 및 주행제어부(170)를 제어할 수 있다.
제어부(150)는 일종의 중앙처리장치로서 메모리(180)에 탑재된 제어 소프트웨어를 구동하여 차량(200) 전체의 동작을 제어할 수 있는 프로세서를 의미할 수 있다. 프로세서는 데이터를 처리할 수 있는 모든 종류의 장치를 포함할 수 있다. 여기서, '프로세서(processor)'는, 예를 들어 프로그램 내에 포함된 코드 또는 명령으로 표현된 기능을 수행하기 위해 물리적으로 구조화된 회로를 갖는, 하드웨어에 내장된 데이터 처리 장치를 의미할 수 있다. 이와 같이 하드웨어에 내장된 데이터 처리 장치의 일 예로써, 마이크로프로세서(microprocessor), 중앙처리장치(central processing unit: CPU), 프로세서 코어(processor core), 멀티프로세서(multiprocessor), ASIC(application-specific integrated circuit), DSPs(Digital Signal Processors), DSPDs(Digital Signal Processing Devices), PLDs(Programmable Logic Devices), 프로세서(Processors), 제어기(Controllers), 마이크로 컨트롤러(Micro-controllers), FPGA(field programmable gate array) 등의 처리 장치를 망라할 수 있으나, 본 발명의 범위가 이에 한정되는 것은 아니다.
본 실시 예에서 제어부(150)는 차량의 UX 제어 시스템(1)이 최적의 UX 제어를 수행하도록, 딥러닝(Deep Learning) 등 머신 러닝(machine learning)을 수행할 수 있고, 메모리(180)는 머신 러닝에 사용되는 데이터, 결과 데이터 등을 저장할 수 있다.
머신 러닝의 일종인 딥러닝(deep learning) 기술은 데이터를 기반으로 다단계로 깊은 수준까지 내려가 학습할 수 있다. 딥러닝은 단계를 높여갈수록 복수의 데이터들로부터 핵심적인 데이터를 추출하는 머신 러닝 알고리즘의 집합을 나타낼 수 있다.
딥러닝 구조는 인공신경망(ANN)을 포함할 수 있으며, 예를 들어 딥러닝 구조는 CNN(convolutional neural network), RNN(recurrent neural network), DBN(deep belief network) 등 심층신경망(DNN)으로 구성될 수 있다. 본 실시 예에 따른 딥러닝 구조는 공지된 다양한 구조를 이용할 수 있다. 예를 들어, 본 발명에 따른 딥러닝 구조는 CNN, RNN, DBN 등을 포함할 수 있다. RNN은, 자연어 처리 등에 많이 이용되고 있으며, 시간의 흐름에 따라 변하는 시계열 데이터(time-series data) 처리에 효과적인 구조로 매 순간마다 레이어를 쌓아올려 인공신경망 구조를 구성할 수 있다. DBN은 딥러닝 기법인 RBM(restricted boltzman machine)을 다층으로 쌓아 구성되는 딥러닝 구조를 포함할 수 있다. RBM 학습을 반복하여, 일정 수의 레이어가 되면 해당 개수의 레이어를 가지는 DBN을 구성할 수 있다. CNN은 사람이 물체를 인식할 때 물체의 기본적인 특징들을 추출한 다음 뇌 속에서 복잡한 계산을 거쳐 그 결과를 기반으로 물체를 인식한다는 가정을 기반으로 만들어진 사람의 뇌 기능을 모사한 모델을 포함할 수 있다.
한편, 인공신경망의 학습은 주어진 입력에 대하여 원하는 출력이 나오도록 노드간 연결선의 웨이트(weight)를 조정(필요한 경우 바이어스(bias) 값도 조정)함으로써 이루어질 수 있다. 또한, 인공신경망은 학습에 의해 웨이트(weight) 값을 지속적으로 업데이트시킬 수 있다. 또한, 인공신경망의 학습에는 역전파(back propagation) 등의 방법이 사용될 수 있다.
즉 차량의 UX 제어 시스템(1)에는 인공신경망(artificial neural network)이 탑재될 수 있으며, 즉 제어부(150)는 인공신경망, 예를 들어, CNN, RNN, DBN 등 심층신경망(deep neural network: DNN)을 포함할 수 있다. 따라서 제어부(150)는 차량의 UX 제어 시스템(1)의 최적의 UX 제어를 위한 심층신경망을 학습할 수 있다. 이러한 인공신경망의 머신 러닝 방법으로는 자율학습(unsupervised learning)과 지도학습(supervised learning)이 모두 사용될 수 있다. 제어부(150)는 설정에 따라 학습 후 인공신경망 구조를 업데이트시키도록 제어할 수 있다.
전장제어부(160)는 차량(200)의 전장품을 제어하는 것이다. 제어부(150)로부터의 제어 신호에 따라 차량 전장품을 제어할 수 있다. 예를 들어, 전장제어부(160)는 차량(200)의 도어, 창문 등을 구동시킬 수 있다.
주행제어부(170)는 차량(200)의 각종 운행을 제어할 수 있으며, 특히 자율 주행 모드에서 차량(200)의 각종 운행을 제어할 수 있다. 즉 제어부(150)로부터의 제어 신호에 따라 자율 주행 모드가 수행되는 경우, 주행제어부(170)에서 차량(200)의 주행을 제어할 수 있다.
이때, 주행제어부(170)는 주행 모듈, 출차 모듈 및 주차 모듈을 포함할 수 있으나, 이에 한정되지 않는다. 또한, 주행제어부(170)는 제어부(150)의 제어를 받는 프로세서를 포함할 수 있다. 주행제어부(170)의 각 모듈은, 각각 개별적으로 프로세서를 포함할 수 있다. 실시 예에 따라, 주행제어부(170)가 소프트웨어적으로 구현되는 경우, 제어부(150)의 하위 개념일 수도 있다. 이때, 주행 모듈, 출차 모듈 및 주차 모듈은 각각 차량(200)의 주행, 출차 및 주차를 수행할 수 있다. 또한 주행 모듈, 출차 모듈 및 주차 모듈은 각각 센싱 모듈로부터 오브젝트 정보를 제공받아, 차량 구동 모듈에 제어 신호를 제공하여, 차량(200)의 주행, 출차 및 주차를 수행할 수 있다. 또한, 주행 모듈, 출차 모듈 및 주차 모듈은 각각 통신부(110)를 통해, 외부 디바이스로부터 신호를 제공받아, 차량 구동 모듈에 제어 신호를 제공하여, 차량(200)의 주행, 출차 및 주차를 수행할 수 있다. 그리고 주행 모듈, 출차 모듈 및 주차 모듈은 각각 내비게이션 모듈로부터 내비게이션 정보를 제공받아, 차량 구동 모듈에 제어 신호를 제공하여, 차량(200)의 주행, 출차 및 주차를 수행할 수 있다. 내비게이션 모듈은 제어부(150)에 내비게이션 정보를 제공할 수 있다. 내비게이션 정보는 맵(map) 정보, 설정된 목적지 정보, 목적지 설정 따른 경로 정보, 경로 상의 다양한 오브젝트에 대한 정보, 차선 정보 및 차량의 현재 위치 정보 중 적어도 어느 하나를 포함할 수 있다.
메모리(180)는 하나 이상의 프로세서와 연결되는 것으로, 프로세서에 의해 실행될 때, 프로세서로 하여금 차량의 UX 제어 시스템(1)을 제어하도록 야기하는(cause) 코드들을 저장할 수 있다. 즉 본 실시 예에서, 메모리(180)는 제어부(150)에 의해 실행될 때, 제어부(150)로 하여금 차량의 UX 제어 시스템(1)을 제어하도록 야기하는 코드들을 저장할 수 있다. 이러한 메모리(180)는 차량의 UX 제어 시스템(1)에서 필요한 각종 코드들, 각종 정보들을 저장하는 것으로, 휘발성 또는 비휘발성 기록 매체를 포함할 수 있다.
여기서, 메모리(180)는 자기 저장 매체(magnetic storage media) 또는 플래시 저장 매체(flash storage media)를 포함할 수 있으나, 본 발명의 범위가 이에 한정되는 것은 아니다. 이러한 메모리(180)는 내장 메모리 및/또는 외장 메모리를 포함할 수 있으며, DRAM, SRAM, 또는 SDRAM 등과 같은 휘발성 메모리, OTPROM(one time programmable ROM), PROM, EPROM, EEPROM, mask ROM, flash ROM, NAND 플래시 메모리, 또는 NOR 플래시 메모리 등과 같은 비휘발성 메모리, SSD. CF(compact flash) 카드, SD 카드, Micro-SD 카드, Mini-SD 카드, Xd 카드, 또는 메모리 스틱(memory stick) 등과 같은 플래시 드라이브, 또는 HDD와 같은 저장 장치를 포함할 수 있다.
처리부(190)는 차량(200)의 내부를 모니터링 하여 탑승자를 인식하고, 탑승자의 유형을 판단하여 탑승자의 유형에 대응하는 사용자 인터페이스를 제공할 수 있다. 또한 처리부(190)는 사용자 인터페이스를 통한 탑승자의 사용자 요청에 대응하는 프로세스를 수행할 수 있다. 본 실시 예에서 처리부(190)는 도 3에 도시된 바와 같이 제어부(150)의 외부에 구비될 수도 있고, 제어부(150) 내부에 구비될 수도 있으며, 도 1의 AI 서버(20) 내부에 구비될 수도 있다. 이하 처리부(190)의 상세한 동작은 도 10을 참조하여 설명하기로 한다.
도 10은 본 발명의 일 실시 예에 따른 처리부를 나타낸 개략적인 블록도이다. 이하의 설명에서 도 1 내지 도 9에 대한 설명과 중복되는 부분은 그 설명을 생략하기로 한다.
도 10을 참조하면, 처리부(190)는 탑승자 인식부(191), 탑승자 판단부(192), 인증 관리부(193), 권한 관리부(194), 응답 설정부(195), 콘텐츠 설정부(196), 인터페이스 제공부(197), UX 제어부(198) 및 학습부(199)를 포함할 수 있다.
탑승자 인식부(191)는 차량 내부를 모니터링 하여 탑승자를 인식할 수 있다. 본 실시 예에서, 탑승자 인식부(191)는 차량(200)의 실내에 설치된 카메라(210)에 의해 촬영된 탑승자의 영상을 통해 탑승자를 인식할 수 있다. 예를 들어, 탑승자 인식부(191)는 얼굴 인식 알고리즘, 객체 판별 알고리즘 등을 이용하여 탑승자의 수, 사람인지 물체인지 여부, 나이, 성별 등을 인식할 수 있다. 이때 얼굴 인식 알고리즘 또는 객체 판별 알고리즘은 머신 러닝에 기반한 학습 모델일 수 있다. 또한 탑승자 인식부(191)는 탑승자가 위치를 변경한 경우, 탑승자의 위치 변경을 인식할 수 있으며, 변경한 위치를 인식할 수 있다. 예를 들어, 탑승자 인식부(191)는 탑승자의 탑승을 인식한 후 무게센서, 비젼센서 등으로 탑승자의 인식 정보를 탑승 위치에 맵핑시켜 기억하고, 주기적 또는 특정 이벤트(예를 들어, 주차 또는 정차 후 출발, 탑승자의 하차 인식 후 재 탑승 인식 등)가 발생하면 인식된 탑승자와 해당 위치에 기 맵핑된 탑승자를 비교할 수 있다. 그리고 탑승자 인식부(191)는 각 좌석마다 탑승자를 인식할 수 있는데, 이때 한 좌석에 복수의 탑승자를 인식할 수도 있다. 이는, 예를 들어, 성인이 아동 또는 동물을 동반한 경우를 의미할 수 있다.
탑승자 판단부(192)는 탑승자 인식부(191)에서 인식한 탑승자의 분류를 판단할 수 있다. 즉, 탑승자 판단부(192)는 미리 설정된 복수의 카테고리 중에서 인증되지 않은 미 인증 탑승자가 속하는 카테고리를 판단할 수 있다. 예를 들어, 탑승자 판단부(192)는 탑승자 인식부(191)에서 인식한 탑승자의 사람인지 물체인지 여부, 나이, 성별 등에 기초하여 탑승자의 분류를 판단할 수 있다. 탑승자 판단부(192)는 탑승자가 여러 명인 경우 각각의 탑승자에 대해 분류를 판단할 수 있다. 예를 들어, 본 실시 예에서, 탑승자는 성인, 어린이, 장애인, 동물 등으로 분류될 수 있다. 이러한 복수의 카테고리는 미리 설정될 수 있다.
본 실시 예에서, 탑승자 판단부(192)는 차량의 실내에 설치된 카메라(210)에 의해 촬영된 탑승자의 영상, 센서모듈(220)에 의해 감지된 탑승자의 체온, 탑승자의 음성, 디스플레이에 대한 탑승자의 터치 범위 및 터치 강도 중 적어도 하나에 기초하여 탑승자의 사람 여부, 성별, 나이 및 장애 여부 중 적어도 하나 이상을 판별할 수 있다.
다만, 탑승자 판단부(192)는 카메라(210)에 의해 촬영된 탑승자의 영상에 기초하여 탑승자의 사람 여부, 성별, 나이 및 장애 여부 중 적어도 하나 이상을 1차로 판별할 수 있다. 그리고 탑승자 판단부(192)는 탑승자가 판단된 유형을 확률 값으로 변환하고, 확률 값에 기초하여 추가적으로 탑승자 유형을 판단할 수 있다. 예를 들어, 탑승자 판단부(192)는 탑승자 유형 확률 값이 기준치 이하인 경우, 센서모듈(220)에 의해 감지된 탑승자의 체온, 탑승자의 음성, 디스플레이에 대한 탑승자의 터치 범위 및 터치 강도 중 적어도 하나에 더 기초하여 탑승자의 사람 여부, 성별, 나이 및 장애 여부를 판별할 수 있다. 여기서, 디스플레이는 사용자 인터페이스를 의미할 수 있다. 탑승자 판단부(192)는 추가적으로 카메라(210)로 인식한 탑승자의 팔의 방향에 기초하여 탑승자의 유형을 판단할 수도 있다. 예를 들어, 탑승자 판단부(192)는 터치 면적이 기준치 이상이고 터치 강도가 기준치 이상인 경우 성인으로 판단할 수 있으며, 사람과 동물의 온도 차이에 기초하여 사람과 동물을 분류할 수 있다.
또한, 탑승자 판단부(192)는 탑승자 유형 확률 값이 기준치 이하인 경우, 확률 값에 기초하여 제공된 콘텐츠에 대한 탑승자의 응답 또는 반응에 기초하여 탑승자의 유형을 판단할 수 있다. 예를 들어, 본 실시 예에서는, 탑승자에게 직접 문의하는 콘텐츠를 제공하여 사용자의 응답을 수신함으로써, 탑승자 판단부(192)에서 탑승자 유형 판단이 가능하도록 할 수 있다. 또한 본 실시 예에서는, 디스플레이에 애니메이션을 출력하거나 음성을 출력하여 사용자로부터의 반응 속도 등을 통해 시각 장애인 여부, 청각 장애인 여부 등을 추가적으로 판단할 수 있다.
그리고 탑승자 판단부(192)는 탑승자의 영상, 탑승자의 체온, 음성, 터치 범위, 터치 강도 및 미리 설정된 콘텐츠에 대한 사용자 반응 중 적어도 하나를 입력으로 하여 사람 여부, 성별, 나이 및 장애 여부 중 적어도 하나 이상을 판별하도록 훈련된 머신 러닝 기반의 학습 모델에 기반하여 탑승자의 유형을 판단할 수 있다.
다시 말해, 탑승자 판단부(192)는 탑승자 인식부(191)를 통해, 객체 판별 알고리즘을 이용하여 각 탑승자에 대해 사람인지 판별하고, 사람인 경우 얼굴 인식 알고리즘을 이용하여 성별과 나이를 예측할 수 있다. 그리고 탑승자 판단부(192)는 카메라(210) 등을 통해 보청기 및 맹인견 등을 인식하여 청각 장애인, 시각 장애인 등도 판별할 수 있다. 이때 맹인견은 목걸이형 태그(tag) 등 맹인견임이 인식될 수 있는 물건에 의해 인식될 수 있다.
한편, 본 실시 예에서는 탑승자 인식부(191) 및 탑승자 판단부(192)를 별도의 구성으로 기재하고 있으나, 통합된 구성으로 탑승자 인식 및 탑승자 유형 판단이 가능할 수 있다.
인증 관리부(193)는 탑승자가 기 등록된 사용자인지 인증(authentication)을 수행하여, UX 제어부(198)에 인증 정보를 제공할 수 있다. 즉 인증 관리부(193)는 탑승자가 차량(200) 또는 차량의 UX 제어 시스템(1)에 기 등록된 사용자인지 인증을 수행할 수 있다. 인증 관리부(193)는 탑승자의 지문 인식, 안면 인식 등을 통해 인증을 수행할 수 있다. 한편, 본 실시 예에서는 차량의 제어를 위한 인증 과정이므로, 성인으로 한정하여 인증을 수행하도록 할 수 있다. 또한 인증된 탑승자는 한 명 이상일 수 있다. 인증 관리부(193)는 미 인증 탑승자의 경우 인증 과정을 통해 추후 인증 탑승자로 등록할 수 있다.
한편, 본 실시 예에서는 탑승자의 유형을 판단하는 단계 이전에 탑승자의 인증을 수행하고, 미리 설정된 복수의 카테고리 중에서 인증되지 않은 미 인증 탑승자에 대해서 유형을 판단할 수 있으나, 이에 한정되지는 않는다.
권한 관리부(194)는 차량(200)의 사용자 요청 가능한 모든 기능에 대하여 사용자 접근 권한을 관리할 수 있다. 예를 들어, 각각의 기능은 탑승자의 인증 여부 또는 탑승자의 유형에 따라 접근 권한이 다를 수 있으며, 권한 관리부(194)는 각각의 기능마다 접근 권한을 설정할 수 있다. 예를 들어, 자율 주행 기능은 인증된 성인만 접근이 가능하도록 설정하고, 도어 오픈 기능은 유아(예를 들어, 설정 나이 이하의 어린이) 또는 동물의 접근이 불가능하도록 설정할 수 있다.
응답 설정부(195)는 사용자 인터페이스를 통한 탑승자 요청에 대응하는 응답을 설정할 수 있다. 즉 응답 설정부(195)는 탑승자의 유형에 따라 응답을 설정할 수 있다. 다시 말해, 응답 설정부(195)는 동일한 기능에 대해 탑승자가 사용자 요청한 경우, 탑승자 유형에 따라 응답을 다르게 하여 설정할 수 있다. 예를 들어, 응답 설정부(195)는 성인 탑승자가 도어 개방 기능을 요청하면 바로 요청 기능을 수행할 수 있으나, 동물이 도어 개방 기능을 요청하면(예를 들어, 동물이 디스플레이의 도어 개방 기능 버튼을 터치한 경우), 디스플레이의 터치 부위에 물방울 효과를 표시하고, 도어를 개방하지 않고 경고음을 출력할 수 있다.
콘텐츠 설정부(196)는 탑승자의 인증 여부 및 탑승자의 유형 별로 제공 가능한 콘텐츠를 설정할 수 있다. 또한 콘텐츠 설정부(196)는 콘텐츠 제공 시 콘텐츠의 디스플레이 출력 크기, 음향 출력 크기 등 세부 설정 사항도 설정할 수 있다.
인터페이스 제공부(197)는 탑승자 판단부(192)에서 탑승자의 유형을 판단한 결과에 기초하여 탑승자에 대응하는 사용자 인터페이스를 제공할 수 있다. 또한 인터페이스 제공부(197)는 탑승자 인증 수행 결과에 기초하여 사용자 인터페이스를 제공할 수 있다. 즉 인터페이스 제공부(197)는 탑승자 유형 및 인증 정보를 기반으로 탑승자에게 알맞은 사용자 인터페이스를 제공할 수 있다.
인터페이스 제공부(197)는 인증 관리부(193)의 탑승자 인증 수행 결과, 기 등록된 사용자로 인증된 탑승자에게 제 1 사용자 인터페이스를 제공할 수 있다. 이때 제 1 사용자 인터페이스는, 사용자 요청 가능한 모든 기능(function)에 접근 가능한 인터페이스일 수 있다.
그리고 인터페이스 제공부(197)는 미리 설정된 복수의 유형 중에서 인증되지 않은 미 인증 탑승자의 유형에 기초하여, 미 인증 탑승자에게 제 2 사용자 인터페이스를 제공할 수 있다. 이때 제 2 사용자 인터페이스는, 사용자 요청 가능한 모든 기능 중에서 탑승자가 접근 가능한 기능이 유형 별로 서로 다르게 설정된 인터페이스일 수 있다. 예를 들어, 제 2 사용자 인터페이스는 미 인증 탑승자는 접근 권한이 없는 기능을 제외한 제한된 인터페이스일 수 있으며, 탑승자가 성인, 어린이, 동물, 장애인 등인 경우에 대해서 각각 다르게 설정될 수 있다. 다만 제 2 사용자 인터페이스는 탑승자의 유형에 무관하게 동일한 화면 구성을 가질 수도 있고 다른 화면 구성을 가질 수도 있다.
또한 인터페이스 제공부(197)는 탑승자가 위치를 변경한 경우, 위치를 변경한 탑승자의 현재 위치에 기초하여, 탑승자의 위치 변경 이전의 사용자 인터페이스를 탑승자의 현재 위치에 대응하는 사용자 인터페이스에 동일하게 적용하여 제공할 수 있다. 한편, 본 실시 예에서는, 탑승자의 위치 변경을 인식한 경우, 인증된 탑승자는 인증을 다시 수행하지 않을 수 있다.
UX 제어부(198)는 사용자 인터페이스를 통한 탑승자의 사용자 요청에 대응하는 프로세스를 수행할 수 있다. 즉 UX 제어부(198)는 기 등록된 사용자로 인증된 탑승자에게 제공된 제 1 사용자 인터페이스를 통해 사용자 요청이 입력되면, 제 1 사용자 인터페이스를 통한 인증된 탑승자의 사용자 요청에 대응하는 프로세스를 수행할 수 있다.
반면, UX 제어부(198)는 미 인증 탑승자의 유형에 기초하여 미 인증 탑승자에게 제공한 제 2 사용자 인터페이스를 통해 사용자 요청이 입력되면, 제 2 사용자 인터페이스를 통해 수신된 사용자 요청에 대응하는 프로세스로서, 동일한 기능에 대해 탑승자의 유형 별로 다르게 설정된 프로세스를 수행할 수 있다. 예를 들어, UX 제어부(198)는 동일한 기능 중 창문을 여는 기능을 수행하되, 성인은 요청에 대응하여 창문 전체를 열 수 있으나, 어린이는 창문의 일부까지만 열 수 있도록 하는 제한된 프로세스를 수행할 수 있다. 또한, UX 제어부(198)는 히터 온도 조절 기능 수행 시, 성인이 요청하는 경우 요청에 대응하여 히터 온도를 조절할 수 있으나, 어린이의 경우 조절이 불가능하게 하거나 조절 범위를 미리 설정할 수 있고, 또한 성인의 승인 과정 후 조절 가능하도록 할 수 있다. 또한, UX 제어부(198)는 엔터테인먼트 채널 변경 기능 수행 시, 성인이 요청하는 경우 요청에 대응하여 채널 변경이 가능하도록 할 수 있으나, 어린이의 경우 시청 가능한 채널로만 변경 가능하도록 하거나, 채널 변경이 불가능하게 할 수 있으며, 또한 성인의 승인 과정 후 채널 변경이 가능하도록 할 수 있다.
이때, UX 제어부(198)는 사용자 요청이 미 인증 탑승자의 유형에서 접근 가능한 것으로 설정된 기능의 수행에 대한 사용자 요청인지 접근 권한을 판단하고, 접근 권한의 판단에 기초하여, 프로세스의 수행을 결정할 수 있다. 본 실시 예에서는, 각각의 기능에 대한 접근 권한과 각각의 기능의 세부 설정에 대한 접근 권한을 포함할 수 있다. 예를 들어, 자율주행 기능은 승인된 성인에게만 접근 권한이 설정될 수 있고, 창문 개폐와 같은 안전 기능은 성인은 세부 설정에 접근 권한의 제한이 없으나, 어린이의 경우 창문을 여는 것은 가능하나 설정 위치만 열 수 있도록 제한된 접근 권한이 설정될 수 있다.
도 11은 본 발명의 일 실시 예에 따른 기능별 탑승자 유형에 따른 프로세스 테이블의 예시도이다. 도 11을 참조하면, 동일한 기능에 대해 탑승자의 유형 별로 다르게 설정된 프로세스 수행의 실시 예에 대해 살펴볼 수 있다. 예를 들어, UX 제어부(198)는 탑승자를 성인, 장애인, 어린이, 동물로 분류할 수 있다. 그리고 UX 제어부(198)는 탑승자의 사용자 요청에 따라, 자율주행 시작 기능, 주행 중 모드 전환 기능, 창문 및 차문 개폐와 같은 안전 기능, 멀티미디어 재생 등의 엔터테인먼트 기능을 탑승자 분류에 대응하여 제공할 수 있다. 다만 본 실시 예에서는, 도 11의 성인 및 장애인의 경우 인증된 성인일 수 있으며, 본 실시 예에서의 인증은 차량의 소유주뿐만 아니라, 자율주행 수행 가능하도록 미리 등록된 성인을 포함할 수 있다. 즉 본 실시 예에서는, 인증된 성인과, 자율주행이 가능하다고 판단되어 인증된 장애인 성인만 자율주행이 가능하도록 설정할 수 있다.
한편, 본 실시 예에서, 학습부(199)는 미리 훈련된 심층 신경망 학습을 위한 파라미터를 수집할 수 있다. 이때 본 실시 예에서는, 학습 모델을 정교화하기 위해서 실제 사용자가 사용한 데이터를 수집할 수 있다. 사용자로부터 사용자 데이터를 입력 받는 경우, 본 실시 예에서는 학습 모델의 결과와 상관없이 입력 데이터를 서버 및/또는 메모리에 저장할 수 있다. 즉 본 실시 예에서, 차량의 UX 제어 시스템(1)은 최적의 UX 제어를 위한 데이터를 서버에 저장하여 빅데이터를 구성하고, 서버단에서 딥러닝을 실행하여 관련 파라미터를 차량의 UX 제어 시스템(1) 내부에 업데이트하여 점차 정교해지도록 할 수 있다. 다만 본 실시 예에서는 차량(200)의 엣지(edge) 단, 즉 서버(300)에서 자체적으로 딥러닝을 실행하여 업데이트를 수행할 수 있다. 즉 본 실시 예는, 차량의 UX 제어 시스템(1)의 초기 설정 시에는 실험실 조건의 딥러닝 파라미터를 내장하고, UX 제어를 위한 동작이 수행될수록 누적되는 데이터를 통해 업데이트를 수행할 수 있다. 따라서 본 실시 예에서는 수집한 데이터를 라벨링하여 지도학습을 통한 결과물을 얻을 수 있도록 하며, 이를 차량의 UX 제어 시스템 자체 메모리에 저장하여 진화하는 알고리즘이 완성되도록 할 수 있다. 즉, 차량의 UX 제어 시스템(1)은 최적의 UX 제어를 위한 데이터들을 수집하여 학습 데이터 세트를 생성하고, 학습 데이터 세트를 기계학습 알고리즘을 통해 학습시켜서 학습된 모델을 결정할 수 있다. 그리고 차량의 UX 제어 시스템(1)은 실제 사용자가 사용한 데이터를 수집하여 서버에서 재 학습시켜서 재 학습된 모델을 생성할 수 있다. 따라서 본 실시 예는, 학습된 모델로 판단한 후에도 계속 데이터를 수집하고, 기계학습모델을 적용하여 재 학습시켜서, 재 학습된 모델로 성능을 향상시킬 수 있다.
도 12는 본 발명의 일 실시 예에 따른 차량의 UX 제어 방법을 설명하기 위한 흐름도이다. 도 1 내지 도 11에 대한 설명과 중복되는 부분은 그 설명을 생략하기로 한다. 도 12를 참조하여, 본 실시 예에서, 탑승자 유형에 대응하여 서로 다른 사용자 인터페이스를 제공하는 것에 대해 설명하도록 한다.
S11단계에서, 제어부(150)는 탑승자를 인식한다. 예를 들어, 제어부(150)는 차량(200)의 실내에 설치된 카메라(210)에 의해 촬영된 탑승자의 영상을 통해 차량 내부를 모니터링 하여 탑승자를 인식할 수 있다. 이때, 제어부(150)는 탑승자의 수를 인식할 수 있고, 한 좌석에 복수의 탑승자가 탑승한 경우(예를 들어, 성인이 유아나 동물을 안고 탑승한 경우 등)를 인식할 수 있다.
S12단계에서, 제어부(150)는 탑승자가 기 등록된 사용자인지 인증을 수행한다. 예를 들어, 제어부(150)는 탑승자의 지문 인식, 안면 인식 등을 통해 인증을 수행할 수 있다. 한편, 본 실시 예에서는 차량의 제어를 위한 인증 과정이므로, 성인으로 한정하여 인증을 수행하도록 할 수 있다. 또한 인증된 탑승자는 한 명 이상일 수 있다. 또한 본 실시 예의 도면에는 도시하지 않았으나, 인증되지 않은 미 인증 탑승자 중 성인 또는 성인 장애인의 경우에는 추후 인증 과정을 통해 인증 탑승자로 등록될 수 있다.
S13단계에서, 제어부(150)는 기 등록된 사용자로 인증된 탑승자에게 제 1 사용자 인터페이스를 제공한다(S12단계의 예). 여기서, 제 1 사용자 인터페이스는, 사용자 요청 가능한 모든 기능에 접근 가능한 인터페이스일 수 있다. 예를 들어, 제 1 사용자 인터페이스는 제한된 기능이 없거나 화면이 제한되지 않은 메인 인터페이스를 의미할 수 있다. 또한 본 실시 예에서, 사용자 요청 가능한 모든 기능은 자율주행 시작 기능, 주행 중 모드 전환 기능, 창문 및 차문 개폐와 같은 안전 기능, 멀티미디어 재생 등의 엔터테인먼트 기능을 포함할 수 있으나, 이에 한정되지는 않는다. 한편, 본 실시 예에서, 운전석 사용자 인터페이스는 인증된 성인 탑승자 또는 성인이 탑승한 경우에만 활성화되도록 할 수 있다.
S14단계에서, 제어부(150)는 인증된 탑승자의 제 1 사용자 인터페이스를 통한 사용자 요청에 대응하는 프로세스를 수행한다. 예를 들어, 제어부(150)는 인증된 탑승자의 사용자 요청에 대해서는 별도 승인 과정 없이 사용자 요청에 대응하는 프로세스를 수행할 수 있다.
한편, S15단계에서, 제어부(150)는 미리 설정된 복수의 유형 중에서 인증되지 않은 미 인증 탑승자가 속하는 유형을 판단한다. 이때 유형은 성인, 어린이, 동물, 장애인 등으로 설정할 수 있으며, 어린이의 경우 나이별로 세부적으로 분류할 수 있고, 장애인의 경우 장애의 정도나 성인 여부 등으로 세부적으로 분류할 수 있다. 그리고 본 실시 예에서는, 미 인증 탑승자의 유형을 판단하기 전, 또는 미 인증 탑승자의 유형 판단이 완료되기 전에, 제 3 사용자 인터페이스를 제공할 수 있다. 제 3 사용자 인터페이스는 복수의 탑승자에게 동일하게 제공되는 인터페이스일 수 있으며, 탑승자의 유형 판단이 완료되기 전에 임시로 제공되는 인터페이스일 수 있다. 즉 제어부(150)는 인증 수행 후 인증되지 않은 미 인증 탑승자에게 제 3 사용자 인터페이스를 제공한 후, 탑승자 유형을 판단하여 탑승자 유형에 따라 다른 사용자 인터페이스가 제공되도록 할 수 있다.
S16-1단계에서, 미 인증 탑승자가 속하는 유형이 성인인 경우, S17-1단계에서, 제어부(150)는 미 인증 성인 탑승자에게 제 2-1 사용자 인터페이스를 제공한다. 여기서 제 2-1 사용자 인터페이스는 사용자 요청 가능한 모든 기능 중에서 미 인증 성인 탑승자가 접근 가능한 기능이 포함된 인터페이스를 의미할 수 있다. 그리고 제어부(150)는 미 인증 성인 탑승자에게는 다시 인증할 수 있는 인증 화면을 제공할 수 있다. 한편, 제어부(150)는 탑승자가 성인으로 분류된 경우, 예를 들어 고령자나 시각 장애인인 경우 제 2-1 사용자 인터페이스의 폰트 및 아이콘의 크기를 더욱 크게 표시하여 탑승자가 보다 쉽게 인지할 수 있도록 할 수 있다. 이는 인증 성인 탑승자의 경우에도 동일하게 적용될 수 있다.
S18-1단계에서, 제어부(150)는 미 인증 성인 탑승자의 제 2-1 사용자 인터페이스를 통한 사용자 요청에 대응하는 프로세스를 수행한다. 예를 들어, 제어부(150)는 미 인증 성인 탑승자의 사용자 요청에 있어, 인증된 성인에게만 제공 가능한 기능을 요청한 경우 접근 권한이 없음을 안내하는 화면을 제공하거나 경고를 출력할 수 있다. 본 실시 예에서는, 미 인증 성인 탑승자의 경우, 자율주행 기능에 대해서만 접근 권한이 없도록 설정하고, 나머지 기능에 대해서는 인증 성인 탑승자와 접근 권한이 동일하게 설정될 수 있다.
S16-2단계에서, 미 인증 탑승자가 속하는 유형이 어린이인 경우, S17-2단계에서, 제어부(150)는 어린이 탑승자에게 제 2-2 사용자 인터페이스를 제공한다. 여기서 제 2-2 사용자 인터페이스는 사용자 요청 가능한 모든 기능 중에서 어린이 탑승자가 접근 가능한 기능이 포함된 인터페이스를 의미할 수 있다. 또한 제어부(150)는 제 2-2 사용자 인터페이스의 아이콘의 위치를 어린이 탑승자의 키에 맞게 배치할 수 있다. 그리고 제어부(150)는 미 인증 탑승자가 어린이인 경우, 제 2-2 사용자 인터페이스를 통해 어린이용 콘텐츠로 미리 설정한 콘텐츠를 제공할 수 있다.
S18-2단계에서, 제어부(150)는 미 인증 어린이 탑승자의 제 2-2 사용자 인터페이스를 통한 사용자 요청에 대응하는 프로세스를 수행한다. 예를 들어, 제어부(150)는 어린이 탑승자의 사용자 요청에 있어, 어린이 탑승자가 접근 가능한 기능에 대해서만 프로세스를 수행할 수 있다. 또한 제어부(150)는 어린이 탑승자의 경우 승인 과정을 수행한 후 어린이 탑승자가 접근 가능한 기능에 대해서 프로세스가 수행되도록 할 수 있다. 이때 승인은 차량(200)에 함께 탑승한 인증된 성인, 미 인증된 성인 등에 의해 가능할 수 있으며, 설정에 따라서는 차량(200) 외부에 위치한 성인의 사용자 단말기 등을 통해서도 승인 가능하도록 할 수도 있다. 이때, 본 실시 예에서는, 차량(200)에 함께 탑승한 성인의 경우 승인 요청된 어린이의 사용자 인터페이스를 통해 직접 승인을 수행하거나 해당 성인의 사용자 인터페이스를 통해 승인 가능하도록 할 수 있다. 제어부(150)는 승인이 완료된 경우, 어린이 탑승자의 사용자 인터페이스에 사용자 요청에 대응하는 프로세스를 수행하고, 승인이 되지 않은 경우에는 경고를 출력할 수 있다.
S16-3단계에서, 미 인증 탑승자가 속하는 유형이 동물인 경우, S17-3단계에서, 제어부(150)는 동물에게 제 2-3 사용자 인터페이스를 제공한다. 여기서 제 2-3 사용자 인터페이스는 사용자 요청 가능한 모든 기능 중에서 동물이 접근 가능한 기능이 포함된 인터페이스를 의미할 수 있으나, 동물의 경우에는 모든 기능에 대해 접근 불가능하도록 할 수 있다. 또한, 제어부(150)는 동물이 탑승한 것으로 판단되는 경우, 동물의 제 2-3 사용자 인터페이스를 통해 미리 설정한 동물용 콘텐츠를 제공할 수 있다.
S18-3단계에서, 제어부(150)는 동물의 제 2-3 사용자 인터페이스를 통한 사용자 요청에 대응하는 프로세스를 수행한다. 예를 들어, 제어부(150)는 동물에 의해 제 2-3 사용자 인터페이스를 통해 입력 신호가 수신되면 터치 지점에 물방울 효과를 출력하거나 음향 효과 등을 제공할 수 있다. 그리고 제어부(150)는 동물에 의해 제 2-3 사용자 인터페이스를 통해 사용자 요청이 입력되는 경우에는 경고를 출력하여 다른 사용자에게 경고할 수 있다.
S16-4단계에서, 미 인증 탑승자가 속하는 유형이 장애인인 경우, S17-4단계에서, 제어부(150)는 미 인증 장애인 탑승자에게 제 2-4 사용자 인터페이스를 제공한다. 여기서 제 2-4 사용자 인터페이스는 사용자 요청 가능한 모든 기능 중에서 장애인 탑승자가 접근 가능한 기능이 포함된 인터페이스를 의미할 수 있다. 또한 제어부(150)는 탑승자가 시각 장애인인 경우 제 2-4 사용자 인터페이스의 폰트 및 아이콘의 크기를 보다 크게 하여 제공할 수 있으며, 점자 효과를 적용한 디스플레이에 사용자 인터페이스를 제공할 수 있다. 그리고 제어부(150)는 탑승자가 청각 장애인인 경우 제 2-4 사용자 인터페이스의 음성 효과를 적용하여 사용자 인터페이스를 제공할 수 있다. 한편, 본 실시 예에서는, 탑승자가 판단된 유형을 확률 값으로 변환하고, 확률 값에 기초하여 콘텐츠를 제공할 수 있다. 예를 들어, 제어부(150)는 확률 값이 100%에 가까울수록 시각 장애인 또는 청각 장애인일 가능성이 높다고 판단할 수 있다. 즉 제어부(150)는 확률 값이 100%에 가까울수록 제 2-4 사용자 인터페이스의 폰트 및 아이콘 크기나 음향 등이 커지도록 하여 인터페이스를 제공할 수 있다.
S18-4단계에서, 제어부(150)는 미 인증 장애인 탑승자의 제 2-4 사용자 인터페이스를 통한 사용자 요청에 대응하는 프로세스를 수행한다. 이때 제어부(150)는 미 인증 장애인 탑승자의 장애 정도에 기초하여 사용자 요청에 대응하는 프로세스를 다르게 수행할 수도 있다. 이때 미 인증 장애인 탑승자의 장애 정도는 차량 실내에 구비된 카메라(210) 및 센서모듈(220)을 통해 자동으로 인식되거나, 사용자 인터페이스를 통해 탑승자로부터 직접 입력될 수 있다.
한편, 탑승자 유형 판단 결과, 미리 설정된 복수의 유형 판단이 부정확한 경우, 제어부(150)는 S15단계로 회귀하여 탑승자 유형을 추가로 판단할 수 있다. 즉 제어부(150)는 탑승자가 판단된 유형을 확률 값으로 변환하고, 확률 값이 기준치 이하인 경우 추가적으로 탑승자 유형을 판단할 수 있다. 예를 들어, 제어부(150)는 탑승자 분류 확률 값이 기준치 이하인 경우, 탑승자를 촬영한 영상뿐만 아니라, 센서모듈(220)에 의해 감지된 탑승자의 체온, 탑승자의 음성, 디스플레이에 대한 탑승자의 터치 범위 및 터치 강도 중 적어도 하나에 기초하여 탑승자의 사람 여부, 성별, 나이 및 장애 여부를 판별할 수 있다. 또한, 제어부(150)는 탑승자 유형 확률 값이 기준치 이하인 경우, 확률 값에 기초하여 제공된 콘텐츠에 대한 탑승자의 응답 또는 반응에 기초하여 탑승자의 유형을 판단할 수 있다. 예를 들어, 본 실시 예에서는, 탑승자에게 직접 문의하는 콘텐츠를 제공하여 사용자의 응답을 수신함으로써, 탑승자 유형 판단이 가능하도록 할 수 있다. 또한 제어부(150)는 디스플레이에 애니메이션을 출력하거나 음성을 출력하여 사용자로부터의 반응 속도 등을 통해 시각 장애인 여부, 청각 장애인 여부 등을 추가적으로 판단할 수 있다.
한편, 본 실시 예에서, 제어부(150)는 복수의 탑승자를 인식할 수 있으며, 한 좌석의 둘 이상의 탑승자도 인식할 수 있다. 그리고 제어부(150)는 탑승자의 위치를 인식할 수 있다. 따라서 제어부(150)는 탑승자의 위치가 변경되는 경우, 위치를 변경한 탑승자의 현재 위치에 기초하여 탑승자의 위치 변경 이전의 사용자 인터페이스를 탑승자의 현재 위치에 대응하는 사용자 인터페이스에 동일하게 적용하여 제공할 수 있다. 또한 제어부(150)는 탑승자의 위치 변경을 인식하고, 위치를 변경한 탑승자의 현재 위치에 기초하여, 탑승자의 위치 변경 이전에 재생하던 콘텐츠를 이어서 재생할 수 있다. 예를 들어, 운전선 뒷자리에 있던 어린이가 보조석 뒤로 이동하는 경우, 제어부(150)는 운전석 뒷자리 디스플레이가 어린이 모드로 동작하다가, 보조석 뒷자리가 어린이 모드로 변경되도록 하고 이전 콘텐츠를 이어서 재생할 수 있다. 또한, 제어부(150)는 자율주행차량이 휴게소에 정차한 후 탑승자들이 재 탑승하여 자리가 변경되는 경우, 해당 탑승자의 이전 사용자 인터페이스를 동일하게 제공할 수 있고, 이전 콘텐츠를 이어서 재생할 수 있다. 이때, 제어부(150)는 인증된 성인이 이동하거나 재 탑승하는 경우 별도 인증 과정을 추가로 수행하지 않을 수 있다.
또한, 제어부(150)는 한 자리에 유형이 다른 둘 이상의 탑승자가 인식되는 경우, 탑승자가 일반 모드와 어린이 모드 중 선택 또는 변경 가능하도록 할 수 있다. 이때 제어부(150)는 사용자 인터페이스에 팝업창을 출력하여 모드의 선택 또는 변경이 가능하도록 할 수 있다. 여기서 일반 모드는 제 1 사용자 인터페이스 또는 제 2-1 사용자 인터페이스가 제공되는 모드일 수 있으며, 어린이 모드는 제 2-2 사용자 인터페이스가 제공되는 모드일 수 있다.
그리고 본 실시 예에서는, CID(Center Information Display)와 같은 운전자와 보조석 탑승자가 함께 조작 가능한 공유 화면에 있어, 제어부(150)는 제한된 임시 인터페이스를 제공할 수 있으며, 사용자 요청 시 마다 제한된 임시 인터페이스를 제공하고, 탑승자 분류를 판단한 후 탑승자 분류에 대응하여 사용자 인터페이스를 제공하고 프로세스를 수행할 수 있다.
또한, 제어부(150)는 둘 이상의 탑승자의 디스플레이 공유 여부에 기초하여 사용자 요청을 입력하는 탑승자에게 제 3 사용자 인터페이스를 제공할 수 있다. 이때, 제 3 사용자 인터페이스는 사용자의 인증 여부, 접근 권한, 유형에 상관없이 모든 탑승자에게 동일하게 제공되는 인터페이스일 수 있다. 그리고 제 3 사용자 인터페이스는 인증 수행 기능을 포함하는 인터페이스일 수 있다. 또한, 제어부(150)는 미 인증 탑승자의 인증 요청 여부 또는 탑승자 유형 판단 완료 여부에 기초하여 해당 탑승자에게 제 3 사용자 인터페이스를 제공할 수도 있다. 예를 들어, 제어부(150)는 운전석과 보조석 탑승자가 운전석 측 디스플레이를 공유하는 경우, 한 좌석에 둘 이상의 탑승자가 탑승하여 하나의 디스플레이를 공유하는 경우에는, 탑승자가 사용자 요청을 할 때마다 인증을 수행할 수 있는 사용자 인터페이스를 제공하여, 사용자 요청을 입력한 탑승자의 유형을 판단하고 유형에 대응되는 사용자 인터페이스 제공 및 프로세스 수행을 할 수 있다. 또한 제어부(150)는 미 인증 탑승자가 인증을 요청하거나, 성인 탑승자의 재 인증이 수행되어야 하는 경우 인증을 수행할 수 있는 사용자 인터페이스를 제공할 수 있다. 그리고 제어부(150)는 둘 이상의 탑승자가 디스플레이를 공유하거나 탑승자의 유형 판단이 완료되지 않은 경우(예를 들어, 유형 판단 확률 값이 기준치 이하일 경우를 의미할 수 있음), 임시로 제 3 사용자 인터페이스를 제공할 수 있다.
도 13은 본 발명의 일 실시 예에 따른 접근 권한 기반 차량의 UX 제어 방법을 설명하기 위한 흐름도이다. 도 1 내지 도 12에 대한 설명과 중복되는 부분은 그 설명을 생략하기로 한다. 도 13을 참조하여, 탑승자 중 특히 미 인증 탑승자의 동일한 기능 요청에 대응하여 다른 인터페이스 제공 및 프로세스를 수행하는 것에 대해 설명하도록 한다.
S21단계에서, 제어부(150)는 사용자 요청을 수신한다. 본 실시 예에서는, 탑승자가 차량에 탑승한 후 탑승자 인식 단계, 탑승자 인증 단계, 탑승자 유형 판단 단계를 거쳐서 탑승자 인증 여부 및 유형에 기초하여 서로 다른 사용자 인터페이스를 제공할 수 있다. 다만, 이러한 단계는 그 순서가 한정되는 것이 아니며, 탑승자가 차량에 탑승하면 먼저 모든 탑승자가 동일한 제 3 사용자 인터페이스가 제공된 후 탑승자 인증 및 유형 판단 결과에 기초하여 서로 다른 사용자 인터페이스를 제공할 수도 있다. 이때 제 3 사용자 인터페이스는 사용자 요청 가능한 모든 기능에 대해 사용자가 요청 가능한 입력 수단이 포함된 인터페이스일 수 있으며, 제 3 사용자 인터페이스를 통해 모든 사용자가 접근 권한에 상관 없이 모든 기능에 대해 사용자 요청이 가능할 수 있다. 그리고 제어부(150)가 탑승자의 접근 권한에 기초하여 수신된 사용자 요청에 대응하는 프로세스를 수행할 수 있는 것이다. 즉 S21단계에서 제 3 사용자 인터페이스가 탑승자들에게 제공될 수 있으며, 제어부(150)는 제 3 사용자 인터페이스를 통해 입력되는 사용자 요청을 수신할 수 있다.
S22단계에서, 제어부(150)는 인증된 사용자만 사용할 수 있는 기능에 대한 요청인지 확인한다. 예를 들어, 인증된 사용자만 사용할 수 있는 기능은 자율주행 기능, 주행중 자율주행 모드 전환 기능 등을 포함할 수 있다.
S23단계에서, 제어부(150)는 인증된 사용자만 사용할 수 있는 기능이 요청된 경우(S22단계의 예), 탑승자가 인증된 사용자인지 인증을 수행한다. 즉, 제어부(150)는 탑승자가 기 등록된 성인 탑승자인지 인증을 수행할 수 있다. 이때 기 등록된 성인 탑승자는 차량(200)의 주행 제어 권한을 부여할 수 있는 성인으로서, 미리 등록된 차량 소유주일 수 있고, 별도 주행 제어 권한 부여를 위한 인증 과정을 통해 인증된 성인일 수 있다.
S24단계에서, 제어부(150)는 인증된 사용자가 요청한 기능을 제공한다(S23단계의 예). 즉, 제어부(150)는 인증된 성인 탑승자가 자율주행 시작 또는 주행중 자율주행 모드 전환 기능을 요청한 경우, 별도 승인 과정 없이 요청한 기능을 수행할 수 있다. 예를 들어, 제어부(150)는 사용자 인터페이스를 통해 탑승자로부터 자율주행 시작 기능이 요청되면, 탑승자가 인증된 성인인 경우 자율주행을 수행할 수 있다. 즉 인증된 성인의 경우 자율주행 및 수동주행이 모두 가능할 수 있다. 그리고 탑승자가 인증된 성인 장애인의 경우, 제어부(150)는 자율주행이 가능하도록 하되, 장애인 탑승자로부터 입력된 출발지 및 목적지가 포함된 지역이 자율주행이 가능한 지역으로 미리 설정된 지역인 경우에만 자율주행이 수행되도록 할 수 있다. 이때, 제어부(150)는 자율주행 불가능한 지역에서는 장애인 탑승자에게 자율 주행 불가 지역이라는 안내를 제공할 수 있다. 또한, 제어부(150)는 사용자 인터페이스를 통해 탑승자로부터 주행중 자율주행 모드 전환 기능이 요청되면, 탑승자가 인증된 성인인 경우 자율주행 모드로 변경할 수 있다. 또한 주행중 수동주행 모드 전환 요청 시에도 수동주행 모드로 변경할 수 있다. 그러나 제어부(150)는 탑승자가 인증된 성인 장애인의 경우, 자율주행 중 수동주행 모드 전환 기능이 요청되면, 수동주행 모드로 전환하지 않는다. 그리고 장애인 탑승자에게 안전을 위해 수동 주행 불가라는 안내 또는 경고를 제공할 수 있다.
또한 제어부(150)는 사용자 인터페이스를 통해 탑승자로부터 창문 개폐, 도어 개폐 등의 안전 기능이 요청되면, 탑승자가 인증된 성인인 경우 탑승자가 요청한 기능을 수행할 수 있다. 다만 제어부(150)는 인증된 성인이 장애인인 경우, 장애 종류나 장애 정도에 대응하여 일부 기능만 제공할 수 있다.
반면, S25단계에서, 제어부(150)는 탑승자가 요청한 기능을 수행하지 않는다(S23단계의 아니오). 즉, 제어부(150)는 탑승자를 미 인증 탑승자로 확인하여, 미 인증 탑승자가 요청한 기능(인증 사용자만 접근 권한이 있는 기능)을 수행하지 않을 수 있다. 이때 제어부(150)는 요청한 기능이 제공 불가능함을 미 인증 탑승자에게 알리거나 경고할 수 있다.
한편, S26단계에서, 제어부(150)는 미 인증 탑승자의 유형을 분류하여 판단한다. 즉 제어부(150)는 미리 설정된 복수의 유형 중에서 인증되지 않은 미 인증 탑승자가 속하는 유형을 판단할 수 있다. 이때 유형은 성인, 어린이, 동물, 장애인 등으로 설정할 수 있으며, 어린이의 경우 나이별로 세부적으로 분류할 수 있고, 장애인의 경우 장애의 정도나 성인 여부 등으로 세부적으로 분류할 수 있다.
S27-1단계에서, 미 인증 탑승자가 속하는 유형이 성인인 경우, S28-1단계에서, 제어부(150)는 미 인증 성인 탑승자에게 제 2-1 사용자 인터페이스를 제공한다. 여기서 제 2-1 사용자 인터페이스는 사용자 요청 가능한 모든 기능 중에서 미 인증 성인 탑승자가 접근 가능한 기능이 포함된 인터페이스를 의미할 수 있다.
S29-1단계에서, 제어부(150)는 미 인증 성인 탑승자의 접근 권한을 기반으로 하여, 제 2-1 사용자 인터페이스를 통한 사용자 요청에 대응하는 프로세스를 수행한다. 예를 들어, 제어부(150)는 제 2-1 사용자 인터페이스를 통해 미 인증 성인 탑승자로부터 자율주행 시작 기능 또는 주행중 자율주행 모드 전환 기능이 요청되면 접근 권한이 없음을 안내하는 화면을 제공하거나 경고를 출력할 수 있다. 반면, 제어부(150)는 사용자 인터페이스를 통해 탑승자로부터 창문 개폐 및 도어 개폐 등의 안전 기능이 요청되면, 성인 탑승자의 접근 권한이 있는 기능의 요청이라고 판단하여 요청 기능을 수행할 수 있다.
S27-2단계에서, 미 인증 탑승자가 속하는 유형이 어린이인 경우, S28-2단계에서, 제어부(150)는 어린이 탑승자에게 제 2-2 사용자 인터페이스를 제공한다. 여기서 제 2-2 사용자 인터페이스는 사용자 요청 가능한 모든 기능 중에서 어린이 탑승자가 접근 가능한 기능이 포함된 인터페이스를 의미할 수 있다.
S29-2단계에서, 제어부(150)는 미 인증 어린이 탑승자의 접근 권한을 기반으로 하여, 제 2-2 사용자 인터페이스를 통한 사용자 요청에 대응하는 프로세스를 수행한다. 예를 들어, 제어부(150)는 어린이 탑승자의 사용자 요청에 있어, 어린이 탑승자가 접근 가능한 기능에 대해서만 프로세스를 수행할 수 있다. 또한 제어부(150)는 어린이 탑승자의 경우 승인 과정을 수행한 후 어린이 탑승자가 접근 가능한 기능에 대해서 프로세스가 수행되도록 할 수 있다. 제어부(150)는 승인이 완료된 경우, 어린이 탑승자의 사용자 인터페이스에 사용자 요청에 대응하는 프로세스를 수행하고, 승인이 되지 않은 경우에는 경고를 출력할 수 있다.
예를 들어, 제어부(150)는 제 2-2 사용자 인터페이스를 통해 어린이 탑승자로부터 자율주행 시작 기능이 요청되면, 안전을 위하여 성인 동반 없이 주행 불가능하다는 안내와 함께 경고음을 발생할 수 있다. 또한 제어부(150)는 제 2-2 사용자 인터페이스를 통해 어린이 탑승자로부터 주행중 자율주행 모드 전환 기능이나 주행중 수동주행 모드 전환 기능이 요청된 경우, 안전을 위하여 어린이의 주행 모드 변경은 불가능하다는 안내와 함께 경고음을 발생할 수 있다. 한편, 제어부(150)는 제 2-2 사용자 인터페이스를 통해 어린이 탑승자로부터 창문 개폐 기능이 요청되면, 어린이의 나이나 키에 기초하여 설정된 위치만큼만 창문이 내려가도록 제어할 수 있다. 이때, 설정된 위치 이상으로 창문을 내려야 할 경우, 제어부(150)는 성인 탑승자의 승인 과정을 수행한 후, 창문을 구동시킬 수 있다. 또한 제어부(150)는 제 2-2 사용자 인터페이스를 통해 어린이 탑승자로부터 도어 개방 기능이 요청되면, 설정 나이 이하의 어린이의 경우 성인의 승인 과정을 수행한 후, 도어가 개방되도록 할 수 있다.
또한, 예를 들어, 제어부(150)는 제 2-2 사용자 인터페이스를 통해 어린이 탑승자로부터 멀티미디어 재생이 요청된 경우, 콘텐츠의 나이 제한을 확인하여 시청 가능한 콘텐츠만 제공할 수 있다. 시청 불가능한 콘텐츠인 경우, 제어부(150)는 XX세 이하는 시청 불가능한 콘텐츠 입니다.라는 안내를 제공하고, 콘텐츠를 재생하지 않을 수 있다.
S27-3단계에서, 미 인증 탑승자가 속하는 유형이 동물인 경우, S28-3단계에서, 제어부(150)는 동물에게 제 2-3 사용자 인터페이스를 제공한다. 여기서 제 2-3 사용자 인터페이스는 사용자 요청 가능한 모든 기능 중에서 동물이 접근 가능한 기능이 포함된 인터페이스를 의미할 수 있으나, 동물의 경우에는 모든 기능에 대해 접근 불가능하도록 할 수 있다.
S29-3단계에서, 제어부(150)는 동물의 접근 권한을 기반으로 하여, 제 2-3 사용자 인터페이스를 통한 사용자 요청에 대응하는 프로세스를 수행한다. 제어부(150)는 동물에 의해 제 2-3 사용자 인터페이스를 통해 사용자 요청이 입력되는 경우에는 경고를 출력하여 다른 사용자에게 경고할 수 있다.
S27-4단계에서, 미 인증 탑승자가 속하는 유형이 장애인인 경우, S28-4단계에서, 제어부(150)는 미 인증 장애인 탑승자에게 제 2-4 사용자 인터페이스를 제공한다. 여기서 제 2-4 사용자 인터페이스는 사용자 요청 가능한 모든 기능 중에서 장애인 탑승자가 접근 가능한 기능이 포함된 인터페이스를 의미할 수 있다.
S29-4단계에서, 제어부(150)는 미 인증 장애인 탑승자의 접근 권한을 기반으로 하여, 제 2-4 사용자 인터페이스를 통한 사용자 요청에 대응하는 프로세스를 수행한다. 예를 들어, 제어부(150)는 제 2-4 사용자 인터페이스를 통해 청각 장애인 탑승자로부터 목적지 변경 등의 내비게이션 기능이 요청된 경우, 청각 장애인 탑승자의 접근 권한이 있는 기능 내에서 요청 기능을 수행할 수 있다. 반면, 제어부(150)는 제 2-4 사용자 인터페이스를 통해 시각 장애인 탑승자로부터 목적지 변경 등의 내비게이션 기능이 요청된 경우, 요청이 맞는지 확인할 수 있도록 승인 과정을 수행한 후, 시각 장애인 탑승자의 접근 권한이 있는 기능 내에서 요청 기능을 수행할 수 있다. 이때 시각 장애인의 승인은 다른 동반 성인의 경우 음성, 제스처, 터치 등으로 할 수 있고, 시각 장애인은 음성, 제스처 등으로 할 수 있다.
본 개시의 실시 예에 의하면, 자율 주행 차량에서 탑승자로부터 요청이 수신되는 경우, 탑승자의 유형 및 인증 여부에 기초하여 서로 다른 프로세스를 수행하여, 탑승자의 접근 권한을 기반으로 하는 맞춤형 사용자 인터페이스를 제공함으로써, 사용자의 제품 만족도를 향상시킬 수 있다.
또한, 탑승자 인증 과정을 수행하여 인증된 탑승자에게만 차량 제어 권한을 부여함으로써, 제어에 대한 책임이 없는 탑승자에게 제어 권한이 넘어가는 것을 방지할 수 있다.
또한, 자율주행차량에 탑승한 다양한 탑승자의 유형에 기초하여 서로 다른 UX를 제공함으로써, 사용자의 제품 신뢰도를 향상시킬 수 있다.
또한, 어린이 및 동물에 대응하는 사용자 인터페이스를 통해 어린이 및 동물에게 맞춤형 프로세스 및 콘텐츠를 제공함으로써, 차량에서 어린이 및 동물이 콘텐츠에 집중할 수 있도록 하여, 주행중 어린이 및 동물에 의해 발생할 수 있는 돌발상황을 방지할 수 있다.
또한, 탑승자의 위치 변경 시, 위치 변경 이전 사용자 인터페이스를 동일하게 제공하고, 위치 변경 이전에 재생되던 콘텐츠를 이어서 재생함으로써, 편의성을 향상시킬 수 있다.
또한, 탑승자의 유형을 판별하도록 훈련된 머신 러닝 기반의 학습 모델에 기반하여 탑승자의 유형을 판단함으로써, 차량의 UX 제공 시스템의 성능을 향상시킬 수 있다.
또한, 5G 네트워크 기반 통신을 통해 최적의 UX 제공을 수행함으로써, 신속한 데이터 처리가 가능하므로 차량의 UX 제공 시스템의 성능을 보다 향상시킬 수 있다.
또한, 차량의 UX 제어 장치 자체는 대량 생산된 획일적인 제품이지만, 사용자는 차량의 UX 제어 장치를 개인화된 장치로 인식하므로 사용자 맞춤형 제품의 효과를 낼 수 있다.
본 발명의 효과는 이상에서 언급된 것들에 한정되지 않으며, 언급되지 아니한 다른 효과들은 상술한 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
이상 설명된 본 발명에 따른 실시 예는 컴퓨터 상에서 다양한 구성요소를 통하여 실행될 수 있는 컴퓨터 프로그램의 형태로 구현될 수 있으며, 이와 같은 컴퓨터 프로그램은 컴퓨터로 판독 가능한 매체에 기록될 수 있다. 이때, 매체는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical medium), 및 ROM, RAM, 플래시 메모리 등과 같은, 프로그램 명령어를 저장하고 실행하도록 특별히 구성된 하드웨어 장치를 포함할 수 있다.
한편, 상기 컴퓨터 프로그램은 본 발명을 위하여 특별히 설계되고 구성된 것이거나 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수 있다. 컴퓨터 프로그램의 예에는, 컴파일러에 의하여 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용하여 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함될 수 있다.
본 발명의 명세서(특히 특허청구범위에서)에서 "상기"의 용어 및 이와 유사한 지시 용어의 사용은 단수 및 복수 모두에 해당하는 것일 수 있다. 또한, 본 발명에서 범위(range)를 기재한 경우 상기 범위에 속하는 개별적인 값을 적용한 발명을 포함하는 것으로서(이에 반하는 기재가 없다면), 발명의 상세한 설명에 상기 범위를 구성하는 각 개별적인 값을 기재한 것과 같다.
본 발명에 따른 방법을 구성하는 단계들에 대하여 명백하게 순서를 기재하거나 반하는 기재가 없다면, 상기 단계들은 적당한 순서로 행해질 수 있다. 반드시 상기 단계들의 기재 순서에 따라 본 발명이 한정되는 것은 아니다. 본 발명에서 모든 예들 또는 예시적인 용어(예들 들어, 등등)의 사용은 단순히 본 발명을 상세히 설명하기 위한 것으로서 특허청구범위에 의해 한정되지 않는 이상 상기 예들 또는 예시적인 용어로 인해 본 발명의 범위가 한정되는 것은 아니다. 또한, 당업자는 다양한 수정, 조합 및 변경이 부가된 특허청구범위 또는 그 균등물의 범주 내에서 설계 조건 및 팩터에 따라 구성될 수 있음을 알 수 있다.
따라서, 본 발명의 사상은 상기 설명된 실시 예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 또는 이로부터 등가적으로 변경된 모든 범위는 본 발명의 사상의 범주에 속한다고 할 것이다.
1 : 차량의 UX 제어 시스템
10 : 클라우드 네트워크(Cloud Network)
20 : AI 서버(AI Server)
30a : 로봇(Robot)
30b : 자율 주행 차량(Self-Driving Vehicle)
30c : XR 장치(XR Device)
30d : 스마트폰(Smartphone)
30e : 가전(Home Appliance )

Claims (20)

  1. 차량의 UX(user experience)를 제어하는 방법으로서,
    차량 내부를 모니터링 하여 탑승자를 인식하는 단계;
    상기 탑승자의 유형을 판단하는 단계;
    상기 탑승자의 유형에 기초하여 상기 탑승자에 대응하는 사용자 인터페이스를 제공하는 단계; 및
    상기 사용자 인터페이스를 통한 상기 탑승자의 사용자 요청에 대응하는 프로세스를 수행하는 단계를 포함하는,
    차량의 UX 제어 방법.
  2. 제 1 항에 있어서,
    상기 탑승자의 유형을 판단하는 단계 이전에, 상기 탑승자가 기 등록된 사용자인지 인증(authentication)을 수행하는 단계;
    상기 인증 수행 결과, 기 등록된 사용자로 인증된 탑승자에게 제 1 사용자 인터페이스를 제공하는 단계; 및
    상기 제 1 사용자 인터페이스를 통한 상기 인증된 탑승자의 사용자 요청에 대응하는 프로세스를 수행하는 단계를 더 포함하고,
    상기 제 1 사용자 인터페이스는, 사용자 요청 가능한 모든 기능(function)에 접근 가능한 인터페이스인,
    차량의 UX 제어 방법.
  3. 제 2 항에 있어서,
    상기 탑승자의 유형을 판단하는 단계는,
    미리 설정된 복수의 유형 중에서 인증되지 않은 미 인증 탑승자가 속하는 유형을 판단하는 단계를 포함하고,
    상기 사용자 인터페이스를 제공하는 단계는,
    상기 미 인증 탑승자의 유형에 기초하여 상기 미 인증 탑승자에게 제 2 사용자 인터페이스를 제공하는 단계를 포함하며,
    상기 제 2 사용자 인터페이스는, 사용자 요청 가능한 모든 기능 중에서 탑승자가 접근 가능한 기능이 유형 별로 서로 다르게 설정된 인터페이스인,
    차량의 UX 제어 방법.
  4. 제 3 항에 있어서,
    상기 사용자 요청에 대응하는 프로세스를 수행하는 단계는,
    상기 제 2 사용자 인터페이스를 통해 수신된 사용자 요청에 대응하는 프로세스로서, 동일한 기능에 대해 탑승자의 유형 별로 다르게 설정된 프로세스를 수행하는 단계를 포함하는,
    차량의 UX 제어 방법.
  5. 제 3 항에 있어서,
    상기 사용자 요청에 대응하는 프로세스를 수행하는 단계는,
    상기 사용자 요청이 상기 미 인증 탑승자의 유형에서 접근 가능한 것으로 설정된 기능의 수행에 대한 사용자 요청인지 접근 권한을 판단하는 단계; 및
    상기 접근 권한의 판단에 기초하여, 상기 프로세스의 수행을 결정하는 단계를 포함하는,
    차량의 UX 제어 방법.
  6. 제 1 항에 있어서,
    상기 탑승자의 유형을 판단하는 단계는,
    차량의 실내에 설치된 카메라에 의해 촬영된 상기 탑승자의 영상, 센서모듈에 의해 감지된 상기 탑승자의 체온, 상기 탑승자의 음성, 디스플레이에 대한 상기 탑승자의 터치 범위 및 터치 강도 중 적어도 하나에 기초하여 상기 탑승자의 사람 여부, 성별, 나이 및 장애 여부 중 적어도 하나 이상을 판별하는 단계를 포함하는,
    차량의 UX 제어 방법.
  7. 제 1 항에 있어서,
    상기 탑승자의 유형을 판단하는 단계는,
    판단된 상기 탑승자의 유형을 확률 값으로 변환하는 단계; 및
    상기 확률 값에 기초하여 제공된 콘텐츠에 대한 상기 탑승자의 응답 또는 반응에 기초하여 상기 탑승자의 유형을 판단하는 단계를 포함하는,
    차량의 UX 제어 방법.
  8. 제 1 항에 있어서,
    상기 탑승자의 위치 변경을 인식하는 단계; 및
    위치를 변경한 상기 탑승자의 현재 위치에 기초하여, 상기 탑승자의 위치 변경 이전의 사용자 인터페이스를 상기 탑승자의 현재 위치에 대응하는 사용자 인터페이스에 동일하게 적용하여 제공하는 단계를 더 포함하는,
    차량의 UX 제어 방법.
  9. 제 8 항에 있어서,
    위치를 변경한 상기 탑승자의 현재 위치에 기초하여, 상기 탑승자가 위치 변경 이전에 재생하던 콘텐츠를 이어서 재생하는 단계를 더 포함하는,
    차량의 UX 제어 방법.
  10. 제 1 항에 있어서,
    둘 이상의 탑승자의 디스플레이 공유 여부 또는 탑승자의 유형 판단 완료 여부에 기초하여, 상기 공유 디스플레이 또는 상기 탑승자에게 제 3 사용자 인터페이스를 제공하는 단계를 더 포함하고,
    상기 제 3 사용자 인터페이스는, 모든 탑승자에게 동일하게 제공되는 인터페이스인,
    차량의 UX 제어 방법.
  11. 차량의 UX(user experience)를 제어하는 장치로서,
    차량 내부를 모니터링 하여 탑승자를 인식하는 탑승자 인식부;
    상기 탑승자의 유형을 판단하는 탑승자 판단부;
    상기 탑승자의 유형에 기초하여 상기 탑승자에 대응하는 사용자 인터페이스를 제공하는 인터페이스 제공부; 및
    상기 사용자 인터페이스를 통한 상기 탑승자의 사용자 요청에 대응하는 프로세스를 수행하는 UX 제어부를 포함하는,
    차량의 UX 제어 장치.
  12. 제 11 항에 있어서,
    상기 탑승자가 기 등록된 사용자인지 인증(authentication)을 수행하는 인증관리부를 더 포함하고,
    상기 인터페이스 제공부는, 상기 인증 수행 결과, 기 등록된 사용자로 인증된 탑승자에게 제 1 사용자 인터페이스를 제공하고,
    상기 UX 제어부는, 상기 제 1 사용자 인터페이스를 통한 상기 인증된 탑승자의 사용자 요청에 대응하는 프로세스를 수행하며,
    상기 제 1 사용자 인터페이스는, 사용자 요청 가능한 모든 기능(function)에 접근 가능한 인터페이스인,
    차량의 UX 제어 장치.
  13. 제 12 항에 있어서,
    상기 탑승자 판단부는, 미리 설정된 복수의 유형 중에서 인증되지 않은 미 인증 탑승자가 속하는 유형을 판단하고,
    상기 인터페이스 제공부는, 상기 미 인증 탑승자의 유형에 기초하여 상기 미 인증 탑승자에게 제 2 사용자 인터페이스를 제공하며,
    상기 제 2 사용자 인터페이스는, 사용자 요청 가능한 모든 기능 중에서 탑승자가 접근 가능한 기능이 유형 별로 서로 다르게 설정된 인터페이스인,
    차량의 UX 제어 장치.
  14. 제 13 항에 있어서,
    상기 UX 제어부는,
    상기 제 2 사용자 인터페이스를 통해 수신된 사용자 요청에 대응하는 프로세스로서, 동일한 기능에 대해 탑승자의 유형 별로 다르게 설정된 프로세스를 수행하는,
    차량의 UX 제어 장치.
  15. 제 13 항에 있어서,
    상기 UX 제어부는,
    상기 사용자 요청이 상기 미 인증 탑승자의 유형에서 접근 가능한 것으로 설정된 기능의 수행에 대한 사용자 요청인지 접근 권한을 판단하고, 상기 접근 권한의 판단에 기초하여, 상기 프로세스의 수행을 결정하는,
    차량의 UX 제어 장치.
  16. 제 11 항에 있어서,
    상기 탑승자 판단부는,
    차량의 실내에 설치된 카메라에 의해 촬영된 상기 탑승자의 영상, 센서모듈에 의해 감지된 상기 탑승자의 체온, 상기 탑승자의 음성, 디스플레이에 대한 상기 탑승자의 터치 범위 및 터치 강도 중 적어도 하나에 기초하여 상기 탑승자의 사람 여부, 성별, 나이 및 장애 여부 중 적어도 하나 이상을 판별하는,
    차량의 UX 제어 장치.
  17. 제 11 항에 있어서,
    상기 탑승자 판단부는,
    판단된 상기 탑승자의 유형을 확률 값으로 변환하고, 상기 확률 값에 기초하여 제공된 콘텐츠에 대한 상기 탑승자의 응답 또는 반응에 기초하여 상기 탑승자의 유형을 판단하는,
    차량의 UX 제어 장치.
  18. 제 11 항에 있어서,
    상기 탑승자 인식부는,
    상기 탑승자의 위치 변경을 인식하고,
    상기 인터페이스 제공부는,
    위치를 변경한 상기 탑승자의 현재 위치에 기초하여, 상기 탑승자의 위치 변경 이전의 사용자 인터페이스를 상기 탑승자의 현재 위치에 대응하는 사용자 인터페이스에 동일하게 적용하여 제공하는,
    차량의 UX 제어 장치.
  19. 제 18 항에 있어서,
    상기 UX 제어부는,
    위치를 변경한 상기 탑승자의 현재 위치에 기초하여, 상기 탑승자가 위치 변경 이전에 재생하던 콘텐츠를 이어서 재생하는,
    차량의 UX 제어 장치.
  20. 제 12 항에 있어서,
    상기 UX 제어부는,
    둘 이상의 탑승자의 디스플레이 공유 여부 또는 탑승자의 유형 판단 완료 여부에 기초하여, 상기 공유 디스플레이 또는 상기 탑승자에게 제 3 사용자 인터페이스를 제공하고,
    상기 제 3 사용자 인터페이스는, 모든 탑승자에게 동일하게 제공되는 인터페이스인,
    차량의 UX 제어 장치.
KR1020190146884A 2019-11-15 2019-11-15 차량의 ux 제어 장치 및 방법 KR20210059860A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020190146884A KR20210059860A (ko) 2019-11-15 2019-11-15 차량의 ux 제어 장치 및 방법
US16/798,919 US20210149397A1 (en) 2019-11-15 2020-02-24 Apparatus and method for controlling the user experience of a vehicle

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190146884A KR20210059860A (ko) 2019-11-15 2019-11-15 차량의 ux 제어 장치 및 방법

Publications (1)

Publication Number Publication Date
KR20210059860A true KR20210059860A (ko) 2021-05-26

Family

ID=75908007

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190146884A KR20210059860A (ko) 2019-11-15 2019-11-15 차량의 ux 제어 장치 및 방법

Country Status (2)

Country Link
US (1) US20210149397A1 (ko)
KR (1) KR20210059860A (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022270731A1 (ko) * 2021-06-25 2022-12-29 삼성전자 주식회사 차량에 탑재된 전자 장치 및 그 동작 방법

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7196683B2 (ja) * 2019-02-25 2022-12-27 トヨタ自動車株式会社 情報処理システム、プログラム、及び制御方法
WO2020195577A1 (ja) * 2019-03-26 2020-10-01 株式会社東海理化電機製作所 制御装置、システム、及びプログラム
FR3114278B1 (fr) * 2020-09-22 2022-08-05 Psa Automobiles Sa Procédé et dispositif d’activation d’une fonction soumise à autorisation dans un véhicule comprenant un système de rétroviseurs numériques
US20220415321A1 (en) * 2021-06-25 2022-12-29 Samsung Electronics Co., Ltd. Electronic device mounted in vehicle, and method of operating the same
US20230202490A1 (en) * 2021-12-23 2023-06-29 Kyndryl, Inc. Controlling autonomous vehicle functions
DE102022204339A1 (de) 2022-05-03 2023-11-09 Volkswagen Aktiengesellschaft Fahrerassistenzsystem, Fortbewegungsmittel und Verfahren zum Betreiben eines Fahrerassistenzsystems eines Fortbewegungsmittels
DE102022001872A1 (de) * 2022-05-30 2023-11-30 Mercedes-Benz Group AG Verfahren zum Informationsaustausch zwischen einem Fahrzeug und einem Fahrzeuginsassen sowie Fahrzeug

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022270731A1 (ko) * 2021-06-25 2022-12-29 삼성전자 주식회사 차량에 탑재된 전자 장치 및 그 동작 방법

Also Published As

Publication number Publication date
US20210149397A1 (en) 2021-05-20

Similar Documents

Publication Publication Date Title
KR20210059860A (ko) 차량의 ux 제어 장치 및 방법
US11302031B2 (en) System, apparatus and method for indoor positioning
US11511598B2 (en) Apparatus and method for controlling air conditioning of vehicle
US11458972B2 (en) Vehicle control apparatus
US11400811B2 (en) Remotely controlling electronic functions of a vehicle without an integrated touchscreen
KR102645589B1 (ko) 음향 제어 시스템, 장치 및 방법
CN113811474A (zh) 自主交通工具系统
JP2018008688A (ja) 車両の制御システム及びそのための方法並びに第１車両
US11138844B2 (en) Artificial intelligence apparatus and method for detecting theft and tracing IoT device using same
KR20210052634A (ko) 운전자의 부주의를 판단하는 인공 지능 장치 및 그 방법
US11386678B2 (en) Driver authentication for vehicle-sharing fleet
US20200050894A1 (en) Artificial intelligence apparatus and method for providing location information of vehicle
KR20190109720A (ko) 차량의 주행 안내 방법 및 장치
KR20190104009A (ko) 차량 제어 방법 및 차량을 제어하는 지능형 컴퓨팅 디바이스
KR20190107626A (ko) 인공지능 서버
KR20190091230A (ko) 전자 장치 및 그의 구동 방법
US20190392810A1 (en) Engine sound cancellation device and engine sound cancellation method
KR20190117419A (ko) 자율주행 차량의 컨텐츠 제공 방법 및 이를 위한 장치
CN113272749B (zh) 自主车辆引导权限框架
US20200148166A1 (en) Driver Personalization For Vehicle-Sharing Fleet
US11531910B2 (en) Artificial intelligence server
US11604959B2 (en) Artificial intelligence-based apparatus and method for providing wake-up time and bed time information
KR20210056708A (ko) 서버의 워크로드 분산 방법, 차량의 서버 워크로드 지원 방법 및 서버 워크로드 지원 차량
KR20210078008A (ko) 알림 제공을 위한 이동 단말기
KR20210065612A (ko) 전자 장치 및 그의 동작 방법