KR102657537B1 - 자율주행차량과 메타버스 연동을 위한 확장현실 가상 콘텐츠 제공 시스템 - Google Patents

자율주행차량과 메타버스 연동을 위한 확장현실 가상 콘텐츠 제공 시스템 Download PDF

Info

Publication number
KR102657537B1
KR102657537B1 KR1020210162227A KR20210162227A KR102657537B1 KR 102657537 B1 KR102657537 B1 KR 102657537B1 KR 1020210162227 A KR1020210162227 A KR 1020210162227A KR 20210162227 A KR20210162227 A KR 20210162227A KR 102657537 B1 KR102657537 B1 KR 102657537B1
Authority
KR
South Korea
Prior art keywords
vehicle
driver
extended reality
metaverse
driving
Prior art date
Application number
KR1020210162227A
Other languages
English (en)
Other versions
KR20230076171A (ko
Inventor
김기성
이경재
신대용
김선아
김기선
Original Assignee
주식회사 바이오브레인
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 바이오브레인 filed Critical 주식회사 바이오브레인
Priority to KR1020210162227A priority Critical patent/KR102657537B1/ko
Publication of KR20230076171A publication Critical patent/KR20230076171A/ko
Application granted granted Critical
Publication of KR102657537B1 publication Critical patent/KR102657537B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/40—Business processes related to the transportation industry
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/01—Measuring temperature of body parts ; Diagnostic temperature sensing, e.g. for malignant or inflamed tissue
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/021—Measuring pressure in heart or blood vessels
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/18—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state for vehicle drivers or machine operators
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/25—Bioelectric electrodes therefor
    • A61B5/279—Bioelectric electrodes therefor specially adapted for particular uses
    • A61B5/28—Bioelectric electrodes therefor specially adapted for particular uses for electrocardiography [ECG]
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/01—Social networking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2503/00—Evaluating a particular growth phase or type of persons or animals
    • A61B2503/20—Workers
    • A61B2503/22—Motor vehicles operators, e.g. drivers, pilots, captains
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0872—Driver physiology
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/143—Alarm means

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Automation & Control Theory (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Biomedical Technology (AREA)
  • Pathology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • Tourism & Hospitality (AREA)
  • Mechanical Engineering (AREA)
  • Cardiology (AREA)
  • Transportation (AREA)
  • General Business, Economics & Management (AREA)
  • Strategic Management (AREA)
  • Economics (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Human Computer Interaction (AREA)
  • Psychiatry (AREA)
  • Computer Hardware Design (AREA)
  • Mathematical Physics (AREA)
  • Computer Graphics (AREA)
  • Physiology (AREA)
  • Child & Adolescent Psychology (AREA)
  • Software Systems (AREA)
  • Social Psychology (AREA)
  • Vascular Medicine (AREA)
  • General Engineering & Computer Science (AREA)

Abstract

본 발명은 자율주행시 확장현실 기술을 이용한 메타버스 공간 생성하여 운전자 및 탑승자에게 제공하고, 이를 통해 자율주행 동안 생체정보, 기상정보 및 주행정보 등의 다양한 정보를 시각적으로 쉽게 확인할 수 있도록 하며, 필요시 게임, SNS, 화상회의, 화상통화, 인터넷 검색 및 인터넷 쇼핑 등을 할 수 있도록 하여 자율주행을 통해 발생하는 여유시간을 다양하게 활용할 수 있도록 하는 자율주행차량과 메타버스 연동을 위한 확장현실 가상 콘텐츠 제공 시스템에 관한 것이다.
상기의 과제를 해결하기 위한 본 발명에 따른 자율주행차량과 메타버스 연동을 위한 확장현실 가상 콘텐츠 제공 시스템은, 차량에 탑재되어 운전자의 선택에 의해 차량의 주행을 자동으로 제어하는 자율주행부; 차량에 탑재되어 운전자의 혈압, 심전도 및 체온 중에서 선택된 1개 이상의 생체데이터를 수집하는 생체데이터 수집부; 상기 운전자가 착용한 글라스 장비 또는 상기 차량 내에 구비된 디스플레이 장치를 통해 확장현실 데이터가 출력되도록 하는 실감형 출력부; 무선 인터넷을 통해 상기 실감형 출력부와 연동되면서 상기 운전자의 아바타가 활동하는 소정 크기의 확장현실 데이터를 제공하는 메타버스 서버부; 운전자의 동작을 감지하여 상기 메타버스 서버부에서 제공되는 아바타와 동작을 매칭시키기 위한 동작 감지부를 포함하는 것을 특징으로 한다.

Description

자율주행차량과 메타버스 연동을 위한 확장현실 가상 콘텐츠 제공 시스템{Extended Reality Virtual Content Provision System for Interworking with Autonomous Vehicles and Metaverse}
본 발명은 자율주행차량과 메타버스 연동을 위한 확장현실 가상 콘텐츠 제공 시스템에 관한 것으로, 더욱 상세하게는 자율주행시 확장현실 기술을 이용한 메타버스 공간을 운전자 및 탑승자에게 제공하여 생체정보, 기상정보 및 주행정보 등의 다양한 정보를 시각적으로 제공하는 자율주행차량과 메타버스 연동을 위한 확장현실 가상 콘텐츠 제공 시스템에 관한 것이다.
확장현실 기술(extended reality, XR)이란, 가상현실 기술(VR)과 증강현실 기술(AR)을 아우르는 혼합현실(MR)을 총 망라하는 기술을 의미하는 것으로, 최근에는 확장현실 기술을 이용하여 현실세계와 같은 3차원 가상세계를 구축(metaverse, 메타버스)하고, 이를 다양한 분야에 서비스하는 기술에 대한 연구가 활발하게 진행되고 있다.
이러한 예로는 공개특허공보 제10-2019-0063601호의 실감형 HUD의 향상된 UI/UX 제공을 위한 증강정보 시뮬레이터(이하 '특허문헌'이라 한다)가 개시되어 있다.
상기 특허문헌에 개시된 증강정보 시뮬레이터는, 가시광 프로젝터; 스크린; 윈드실드; 상기 가시광 프로젝터가 상기 스크린에 가상의 주행 영상을 투영하기 위한 영상 콘텐츠를 상기 가시광 프로젝터로 제공하는 제1처리장치; 상기 가상의 주행 영상에 대하여 ADAS 정보를 생성하는 제2처리장치; 상기 ADAS 정보를 증강형으로 HUD를 표출하기 위해 상기 윈드실드에 해당 레이저를 투영하는 레이저 프로젝터; 및 카메라를 장착하고 있으며, 상기 카메라의 좌표를 운전자 시점의 좌표로 참조해, 상기 윈드실드에 표출되는 상기 ADAS 정보의 왜곡이 보정된 좌표계로 표시되게 하기 위한 정합 정보를 생성하는 제3처리장치를 포함하는 것으로 이루어진다.
그러나 상기 특허문헌에 개시된 증강정보 시뮬레이터는, 실제 차량에 적용될 실감형 HUD를 검증하고, 이를 통해 주행 중 발생할 수 있는 문제 등을 미리 점검하고자 하는 것으로, 이를 위해 가상의 주행 영상에 ADAS(Advanced Driver Assistance System)정보를 생성하여 HUD에 표출하도록 구성되는 것이나, 이 경우 차량의 주행 영상에 인접 차량의 정보, 현재 차량의 주행 정보 등만이 제공될 뿐, 운전자 및 탑승자가 차량의 자율 주행을 통해 발생하는 여유 시간을 충분히 활용하지 못하는 문제가 있다.
이 경우, 운전자 및 탑승자는 자율 주행시 발생하는 여유 시간으로 인해 쉽게 졸음운전을 하게 되고, 그 결과 돌발 상황에 대한 대응을 신속하게 할 수 없는 문제가 있다.
따라서 자율 주행시 발생하는 여유 시간을 활용하여 다양한 정보를 제공하고, 이를 통해 운전자 및 탑승자의 졸음을 줄일 수 있으며, 결과적으로 자율 주행에 따른 사고를 줄일 수 있는 자율주행차량 가상 콘텐츠 제공 시스템의 개발이 요구된다.
KR 10-2019-0063601 A (2019. 06. 10.) KR 10-2317223 B1 (2021. 10. 19.) KR 10-2020-0083310 A (2020. 07. 08.) KR 10-2021-0047084 A (2021. 04. 29.) KR 10-2019-0095183 A (2019. 08. 14.) KR 10-2179661 B1 (2020. 11. 11.)
본 발명은 상기와 같은 종래의 자율주행 시스템이 가지는 문제점을 해결하기 위해 안출된 것으로, 본 발명이 해결하고자 하는 과제는 자율주행시 확장현실 기술을 이용한 메타버스 공간을 생성하여 운전자 및 탑승자에게 제공하고, 이를 통해 자율주행 동안 생체정보, 기상정보 및 주행정보 등의 다양한 정보를 시각적으로 쉽게 확인할 수 있도록 하며, 필요시 게임, SNS, 화상회의, 화상통화, 인터넷 검색 및 인터넷 쇼핑 등을 할 수 있도록 하여, 자율주행을 통해 발생하는 여유시간을 다양하게 활용할 수 있도록 하는 자율주행차량과 메타버스 연동을 위한 확장현실 가상 콘텐츠 제공 시스템을 제공하는 것이다.
상기의 과제를 해결하기 위한 본 발명에 따른 자율주행차량과 메타버스 연동을 위한 확장현실 가상 콘텐츠 제공 시스템은, 차량에 탑재되어 운전자의 선택에 의해 차량의 주행을 자동으로 제어하는 자율주행부; 차량에 탑재되어 운전자의 혈압, 심전도 및 체온 중에서 선택된 1개 이상의 생체데이터를 수집하는 생체데이터 수집부; 상기 운전자가 착용한 글라스 장비 또는 상기 차량 내에 구비된 디스플레이 장치를 통해 확장현실 데이터가 출력되도록 하는 실감형 출력부; 무선 인터넷을 통해 상기 실감형 출력부와 연동되면서 상기 운전자의 아바타가 활동하는 소정 크기의 확장현실 데이터를 제공하는 메타버스 서버부; 운전자의 동작을 감지하여 상기 메타버스 서버부에서 제공되는 아바타와 동작을 매칭시키기 위한 동작 감지부를 포함하고, 상기 메타버스 서버부는, 상기 확장현실 데이터의 요청이 있을 때, 상기 자율주행부의 실행 여부를 판단하고, 상기 차량이 자율 주행 제어될 때에만 상기 확장현실 데이터를 상기 실감형 출력부 쪽으로 전송하도록 하는 것을 특징으로 한다.
그리고 본 발명의 상기 자율주행부는 상기 생체데이터 수집부에서 수집된 생체데이터가 설정된 기준값 이상 또는 이하가 되면, 경고를 발생하여 운전자에게 주의를 주고, 해당 이상 상태가 미리 설정된 시간 이상 지속되면, 상기 차량을 비상모드 제어하는 것을 또 다른 특징으로 한다.
또한, 본 발명은 상기 차량의 비상모드가 상기 차량과 인접한 병원을 검색한 다음 목적지 경로를 자동 변경하여 자율주행하거나, 또는 상기 차량을 갓길로 이동한 다음 상기 차량의 자율 주행을 종료하고, 이와 동시에 비상연락망에 설정된 연락처로 비상 문자를 자동 생성하여 전송하는 것을 또 다른 특징으로 한다.
이에 더해 본 발명은 상기 비상 문자를 자동 생성하여 전송할 때 상기 차량의 GPS 위치정보, 생체데이터의 이상 종류 및 비상발생시간 중에서 선택된 1개 이상의 정보가 함께 제공되는 것을 또 다른 특징으로 한다.
그리고 본 발명은 상기 메타버스 서버부가 게임, SNS, 화상회의, 화상통화, 인터넷 검색 및 인터넷 쇼핑 등을 할 수 있도록 하는 각각의 확장현실 데이터를 포함하고, 상기 게임, SNS, 화상회의, 화상통화, 인터넷 검색 및 인터넷 쇼핑은 상기 확장현실 데이터상의 가상현실 공간을 아바타가 이동하거나 또는 설정된 선택 동작을 통해 전환되도록 구성되며, 상기 게임은, 복수의 유저가 가상현실 공간을 공유하여 이용하도록 구성되는 것을 또 다른 특징으로 한다.
본 발명에 따르면, 운전자가 차량을 자율주행으로 제어할 때 발생하는 여유 시간 동안 메타버스 공간에서 다양한 활동을 할 수 있는 장점이 있다.
또한, 메타버스 공간에서의 활동으로 인해 장시간 자율주행시 운전자가 쉽게 잠드는 것을 방지할 수 있으며, 그 결과 자율주행 중 발생할 수 있는 돌발 상황 등을 인지하지 못하여 신속하게 대응하지 못하는 것을 방지할 수 있다.
이에 더해 차량의 주행시 운전자의 생체데이터가 실시간으로 수집되므로 운전자의 건강 이상 등을 빠르게 감지할 수 있고, 이에 의해 운전자의 건강 이상으로 인한 사고를 미연에 방지할 수 있는 장점이 있다.
도 1은 본 발명에 따른 자율주행차량과 메타버스 연동을 위한 확장현실 가상 콘텐츠 제공 시스템의 예를 보인 구성도.
이하에서는 본 발명의 바람직한 실시예를 도시한 첨부도면에 따라 상세하게 설명한다.
본 발명은 자율주행시 확장현실 기술을 이용한 메타버스 공간을 생성하여 운전자 및 탑승자에게 제공하고, 이를 통해 자율주행 동안 생체정보, 기상정보 및 주행정보 등의 다양한 정보를 시각적으로 쉽게 확인할 수 있도록 하며, 필요시 게임, SNS, 화상회의, 화상통화, 인터넷 검색 및 인터넷 쇼핑 등을 할 수 있도록 하여 자율주행을 통해 발생하는 여유시간을 다양하게 활용할 수 있도록 하는 자율주행차량과 메타버스 연동을 위한 확장현실 가상 콘텐츠 제공 시스템을 제공하고자 하는 것으로, 이러한 본 발명은 도 1에 도시된 바와 같이 자율주행부(10), 생체데이터 수집부(20), 실감형 출력부(30), 메타버스 서버부(40) 및 동작 감지부(50)를 포함한다.
자율주행부(10)는 운전자의 개입 없이 차량(1)을 목적지까지 완전 자동 제어하거나 또는 운전자의 최소 개입만으로 차량(1)을 목적지까지 자동 제어하는 구성이다.
이러한 자율주행부(10)는 속도유지 기능, 적응 속도유지 기능, 차로 유지 기능, 차선 변경 기능 등을 포함한다.
여기서 속도유지 기능은 운전자가 설정한 속도 또는 도로의 제한속도에 맞추어 차량(1)의 속도를 유지시키는 기능이고, 적응 속도유지 기능은 앞선 차량(선행 차량)의 속도에 따라 설정된 속도보다 감속하여 차간거리를 유지하는 기능이며, 차로 유지 기능은 주행 중인 차선을 그대로 유지한 채 목적지까지 주행하는 기능을 말한다.
또한, 차선 변경 기능은 목적지까지 차량(1)이 자율 주행하는 동안 필요시 주행 차로를 자동 변경하는 기능으로, 이러한 차선 변경 기능은 차선 변경시 사각지대의 차량 검출, 주변 차량의 속도 등을 많은 실시간 데이터를 바탕으로 종합적으로 판단해야 하고, 이 때문에 자율 주행시 발생하는 불규칙적인 다양한 상황에 따른 안전성에 대한 충분한 검토가 이루어져야 하며, 이 때문에 차선 변경 기능은 완성차 업체의 선택에 따라 그 기능이 제공되지 않거나 또는 설정 옵션을 통해 운전자가 차선 변경 기능을 따로 활성화 또는 비활성화시킬 수 있도록 구성되는 것이 바람직하다.
또한, 자율주행부(10)는 자동 주차 기능을 더 포함할 수 있고, 이러한 자동 주차 기능을 통해 운전자가 목적지에서 수동으로 주차하지 않고도 자동으로 차량(1)을 안전하게 주차할 수 있게 된다.
위와 같은 자율주행부(10)의 구성을 통해 운전자가 목적지를 설정하면, 속도유지 기능, 적응 속도유지 기능, 차로 유지 기능 및 차선 변경 기능 등을 이용하여 목적지까지 차량(1)을 자동으로 제어하게 되고, 이때 돌발 상황에 대한 운전자의 빠른 수동 조작을 위해 운전자의 손이 핸들 위에 놓여 있는 상태(이하 '핸즈온 상태'라 한다)를 지속적으로 감지하게 된다.
여기서 자율주행부(10)를 통해 차량(1)이 자율 주행될 때, 운전자가 확장현실 기술을 이용하고 있는 것으로 판단되는 경우에는 핸즈온 상태의 판단을 보류하게 된다.
이때 운전자의 핸즈온 상태 감지는, 차량(1)의 핸들(스티어링 핸들)을 따라 설치되는 인체감지센서, 압력센서 및 온도센서 등의 다양한 센서에 의해 핸들의 핸즈온 여부가 감지되도록 구성될 수 있다.
또 다르게는 핸들을 따라 양극선과 음극선이 폐루프(closed circuit)를 형성하지 않도록 일정 간격 이격된 상태로 설치된 다음, 운전자가 핸들을 파지하는 것에 의해 양극선과 음극선을 연결하는 폐루프가 형성됨에 따라 소정의 전류가 흐르게 되어 운전자의 핸즈온 여부가 판단되도록 구성될 수 있다.
생체데이터 수집부(20)는 차량(1)에 탑재되어 운전자의 혈압, 심전도 및 체온 등의 생체데이터를 실시간으로 수집하는 구성이다.
이러한 생체데이터 수집부(20)는 운전자의 손목 등에 착용하는 별도의 손목밴드로 구성될 수 있고, 수집되는 생체데이터를 통해 운전자의 건강 상태 및 스트레스 수치 등을 판단하게 되며, 이러한 생체데이터 수집부(20)는 블루투스 등을 통해 차량(1)과 무선 통신하도록 구성될 수 있다.
또한, 생체데이터 수집부(20)는 운전자의 머리 각도, 눈꺼풀 동작 및 속도 등을 감지하고, 이를 통해 운전자가 자율 주행 간에 잠드는 것을 감지 및 예측하며, 운전자가 잠들거나 졸고 있는 것으로 판단되는 경우에는 외기를 실내로 도입하여 환기를 시키거나 또는 경고음 등을 발생하여 운전자가 잠들거나 졸지 않도록 유도하게 된다.
위와 같이 운전자가 자율 주행 간에 잠들지 않도록 하는 데에는 자율 주행시 돌발 상황이나 운전자의 수동 입력이 요구되는 상황이 있을 수 있는데, 운전자가 잠든 경우 운전자의 수동 입력이나 대응이 적시에 이루어질 수 없기 때문에 사고가 발생하거나 경로 이탈 등의 문제가 발생할 수 있다는 점에서 기인된 것으로, 이 때문에 본 발명은 자율 주행 간에 발생할 수 있는 사고와 경로 이탈 등을 방지하기 위해 자율 주행 간에 운전자를 모니터링 하도록 구성된다.
실감형 출력부(30)는 운전자가 자율주행부(10)를 통해 차량(1)을 목적지까지 자율 주행하도록 선택한 경우, 후술되는 메타버스 서버부(40)에 접속하여 제공되는 확장현실 데이터를 통해 가상현실 공간에서 다양한 체험을 할 수 있도록 하는 장치이다.
이러한 실감형 출력부(30)는 운전자가 착용할 수 있도록 안경 형태로 제작되는 글라스 장비로 구성될 수 있고, 또 다르게는 차량(1)의 유리창이나 별도의 디스플레이 장치로 구성될 수 있다.
또한, 글라스 장비 또는 차량(1)의 유리창을 통해 AR 데이터가 출력되는 경우에는, 투명 글라스 및 유리창에 입체 데이터가 출력되고, VR 데이터가 출력되는 경우에는 글라스 및 유리창이 불투명하게 바뀐 다음 VR 데이터가 출력되게 된다.
이때 차량(1)의 유리창이 VR 데이터를 출력하기 위해 전체적으로 불투명하게 바뀌게 되면, 자율 주행 차량의 전방 시야확보가 불가능하기 때문에 돌발 상황을 대처할 수 없게 되고, 따라서 이 경우에는 VR 데이터가 출력되는 일정 부분이 전방카메라를 통해 실시간으로 촬영된 차량(1)의 전방 주행 영상이 동시에 출력되도록 구성될 수 있다.
메타버스 서버부(40)는 차량(1)에 구비되는 실감형 출력부(30)로 확장현실 데이터를 실시간으로 제공하는 구성이다.
이러한 메타버스 서버부(40)는 운전자의 선택에 의해 게임, SNS, 화상회의, 화상통화, 인터넷 검색 및 인터넷 쇼핑 등을 할 수 있도록 각각의 확장현실 데이터를 포함한다.
그리고 메타버스 서버부(40)에서 제공되는 가상현실 공간에서는 자율주행 중인 불특정 다수를 포함하여 다수의 사용자(유저)가 이용할 수 있는 오픈월드 형태로 구성되고, 이를 통해 운전자가 가상현실 공간에서 다양한 유저와 게임을 할 수 있게 된다.
이때 게임은 주행중인 차량 내부라는 공간적인 특성을 고려하여 주로 앉은 상태에서 게임이 진행되는 테이블 게임 위주로 구성되는 것이 바람직하나 이에 한정되는 것은 아니다.
또한, 운전자의 개인 계정에 접속하여 SNS, 화상회의 및 화상통화를 할 수 있고, 인터넷에 접속하여 인터넷 검색 및 인터넷 쇼핑이 가능하도록 구성될 수 있다.
이러한 게임, SNS, 화상회의, 화상통화, 인터넷 검색 및 인터넷 쇼핑 등의 활동은 확장현실 데이터로 구현되는 가상현실 공간을 운전자의 캐릭터(아바타)가 이동하거나 설정된 선택 동작을 수행하는 것으로 공간이 전환되도록 구성될 수 있다.
동작 감지부(50)는 자율 주행시 운전자의 동작을 감지하여 메타버스 서버부(40)에서 제공되는 캐릭터(아바타)의 동작과 매칭시키기 위한 구성이다.
이러한 동작 감지부(50)는 운전자의 모션을 감지하기 위한 센서가 설치되거나 또는 운전자의 양측 팔목에 착용되는 모션감지용 손목밴드, 글라스 장치 또는 헤어밴드 등을 통해 운전자의 손과 머리 동작 및 방향이 감지되도록 구성될 수 있다.
위와 같이 감지된 운전자의 동작은 메타버스 서버부(40)로 전달되고, 이를 통해 운전자의 동작에 따라 캐릭터(아바타)가 실시간으로 연동되어 움직이게 된다.
한편, 메타버스 서버부(40)는 확장현실 데이터의 요청이 발생하면, 자율주행부(10)를 통한 자율주행 여부를 판단하고, 차량(1)이 자율 주행 중인 경우에는 확장현실 데이터를 실감형 출력부(30) 쪽으로 제공하며, 차량(1)이 자율 주행 중이 아닌 경우에는 확장현실 데이터를 제공하지 않도록 구성된다.
또한, 자율주행부(10)는 생체데이터 수집부(20)에서 수집된 생체데이터가 설정된 기준값 이상 또는 이하가 되면, 경고를 발생하여 운전자에게 주의를 주고, 해당 이상 상태가 미리 설정된 시간 이상 지속되면, 차량(1)을 비상모드 제어하도록 구성될 수 있다.
이때 차량의 비상모드는 차량과 인접한 병원을 자동으로 검색한 다음, 차량(1)의 목적지 경로를 자동 변경하여 해당 병원으로 자율 주행하도록 구성될 수 있다.
또 다르게는 차량(1)을 갓길로 이동한 다음 자율 주행을 종료하고, 이와 동시에 119 등 비상연락망에 미리 설정된 연락처로 비상 문자를 자동 생성하여 비상 상황을 알리도록 구성될 수 있다.
이렇게 자율 주행을 종료하고 갓길로 이동하여 차량(1)이 정차된 경우에는 비상등을 켜고, 차량(1)의 도어 잠금을 자동으로 해제하여 구급요원 등에 의한 신속한 발견과 구조가 가능하도록 제어될 수 있다.
이에 더해 비상 문자를 자동 생성하여 전송할 때에는 차량(1)의 GPS 위치정보, 생체데이터의 이상 종류 및 비상발생시간 중에서 선택된 1개 이상의 정보가 함께 제공될 수 있다.
한편, 자율주행부(10)는 차량(1)의 주행 안전성의 변화에 따라 메타버스 서버부(40)의 접속을 자동으로 종료하고, 운전자가 주행 상황을 빠르게 인지할 수 있도록 제어될 수 있는데, 이러한 주행 안전성의 변화로는 갑작스런 차량의 정체(급감속), 차량(1)의 연료부족 등 각종 점검등의 점등, 타이어 펑크 및 경로 이탈 등이 될 수 있다.
이상 설명한 바와 같이 본 발명은 운전자가 차량을 자율주행으로 제어할 때 발생하는 여유 시간 동안 메타버스 공간에서 다양한 활동을 할 수 있고, 또한 메타버스 공간에서의 활동으로 인해 장시간 자율주행시 운전자가 쉽게 잠드는 것을 방지할 수 있으며, 그 결과 자율주행 중 발생할 수 있는 돌발 상황 등을 인지하지 못하여 신속하게 대응하지 못하는 것이 방지된다.
이에 더해 차량의 주행시 운전자의 생체데이터가 실시간으로 수집되므로 운전자의 건강 이상 등을 빠르게 감지할 수 있고, 이에 의해 운전자의 건강 이상으로 인한 사고가 방지된다.
위에서는 설명의 편의를 위해 바람직한 실시예를 도시한 도면과 도면에 나타난 구성에 도면부호와 명칭을 부여하여 설명하였으나, 이는 본 발명에 따른 하나의 실시예로서 도면상에 나타난 형상과 부여된 명칭에 국한되어 그 권리범위가 해석되어서는 안 될 것이며, 발명의 설명으로부터 예측 가능한 다양한 형상으로의 변경과 동일한 작용을 하는 구성으로의 단순 치환은 통상의 기술자가 용이하게 실시하기 위해 변경 가능한 범위 내에 있음은 지극히 자명하다고 볼 것이다.
1: 차량 10: 자율주행부
20: 생체데이터 수집부 30: 실감형 출력부
40: 메타버스 서버부 50: 동작 감지부

Claims (3)

  1. 차량에 탑재되어 운전자의 선택에 의해 차량의 주행을 자동으로 제어하는 자율주행부(10);
    차량에 탑재되어 운전자의 혈압, 심전도 및 체온 중에서 선택된 1개 이상의 생체데이터를 수집하는 생체데이터 수집부(20);
    상기 운전자가 착용한 글라스 장비 또는 상기 차량 내에 구비된 디스플레이 장치를 통해 확장현실 데이터가 출력되도록 하는 실감형 출력부(30);
    무선 인터넷을 통해 상기 실감형 출력부(30)와 연동되면서 상기 운전자의 아바타가 활동하는 소정 크기의 확장현실 데이터를 제공하는 메타버스 서버부(40);
    운전자의 동작을 감지하여 상기 메타버스 서버부(40)에서 제공되는 아바타와 동작을 매칭시키기 위한 동작 감지부(50);
    를 포함하고,
    상기 메타버스 서버부(40)는,
    상기 확장현실 데이터의 요청이 있을 때, 상기 자율주행부(10)의 실행 여부를 판단하고, 상기 차량이 자율 주행 제어될 때에만 상기 확장현실 데이터를 상기 실감형 출력부(30) 쪽으로 전송하며,
    상기 자율주행부(10)는,
    상기 생체데이터 수집부(20)에서 수집된 생체데이터가 설정된 기준값 이상 또는 이하가 되면, 경고를 발생하여 운전자에게 주의를 주고, 해당 이상 상태가 미리 설정된 시간 이상 지속되면, 상기 차량을 비상모드 제어하며,
    상기 비상모드는,
    차량과 인접한 병원을 자동으로 검색한 다음, 상기 차량의 목적지 경로를 자동 변경하여 해당 병원으로 자율 주행하도록 구성되거나 또는 차량을 갓길로 이동한 다음 자율 주행을 종료함과 동시에 119 및 비상연락망에 미리 설정된 연락처로 비상 문자를 자동 생성하여 비상 상황을 알리도록 구성되고,
    상기 비상모드를 통해 차량이 갓길로 이동되어 정차된 경우에는,
    비상등을 켠 다음 차량의 도어 잠금을 자동으로 해제하여 구급요원에 의한 신속한 발견과 구조가 가능하도록 제어되며,
    상기 비상 문자에는,
    차량의 GPS 위치정보, 생체데이터의 이상 종류 및 비상발생시간 중에서 선택된 1개 이상의 정보가 함께 제공되고,
    상기 메타버스 서버부(40)는,
    게임, SNS, 화상회의, 화상통화, 인터넷 검색 및 인터넷 쇼핑을 할 수 있도록 하는 각각의 확장현실 데이터를 포함하며,
    상기 게임, SNS, 화상회의, 화상통화, 인터넷 검색 및 인터넷 쇼핑은 상기 확장현실 데이터상의 가상현실 공간을 아바타가 이동하거나 또는 설정된 선택 동작을 통해 전환되도록 구성되고,
    상기 게임은,
    복수의 유저가 가상현실 공간을 공유하여 이용하도록 구성되며,
    상기 동작 감지부(50)는,
    운전자의 모션을 감지하기 위한 센서가 설치되거나 또는 운전자의 양측 팔목에 착용되는 모션감지용 손목밴드, 글라스 장치 또는 헤어밴드를 통해 운전자의 손과 머리 동작 및 방향이 감지되도록 구성되는 것을 특징으로 하는 자율주행차량과 메타버스 연동을 위한 확장현실 가상 콘텐츠 제공 시스템.
  2. 삭제
  3. 삭제
KR1020210162227A 2021-11-23 2021-11-23 자율주행차량과 메타버스 연동을 위한 확장현실 가상 콘텐츠 제공 시스템 KR102657537B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210162227A KR102657537B1 (ko) 2021-11-23 2021-11-23 자율주행차량과 메타버스 연동을 위한 확장현실 가상 콘텐츠 제공 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210162227A KR102657537B1 (ko) 2021-11-23 2021-11-23 자율주행차량과 메타버스 연동을 위한 확장현실 가상 콘텐츠 제공 시스템

Publications (2)

Publication Number Publication Date
KR20230076171A KR20230076171A (ko) 2023-05-31
KR102657537B1 true KR102657537B1 (ko) 2024-04-17

Family

ID=86543713

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210162227A KR102657537B1 (ko) 2021-11-23 2021-11-23 자율주행차량과 메타버스 연동을 위한 확장현실 가상 콘텐츠 제공 시스템

Country Status (1)

Country Link
KR (1) KR102657537B1 (ko)

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4206870A1 (en) * 2014-06-14 2023-07-05 Magic Leap, Inc. Method for updating a virtual world
CN115177208A (zh) * 2016-05-09 2022-10-14 奇跃公司 用于用户健康分析的增强现实系统和方法
KR102437606B1 (ko) 2017-11-30 2022-08-29 재단법인대구경북과학기술원 실감형 ｈｕｄ의 향상된 ｕｉ／ｕｘ 제공을 위한 증강정보 시뮬레이터
KR20200032547A (ko) * 2018-09-18 2020-03-26 주식회사 유비테크 자율주행차량용 ar게임 장치 및 그 방법
KR102179661B1 (ko) 2018-12-10 2020-11-17 주식회사 바이오브레인 핸즈온정보 및 생체정보 복합검출 기반의 안전운전 및 헬스케어 제공 시스템
US20200211553A1 (en) 2018-12-28 2020-07-02 Harman International Industries, Incorporated Two-way in-vehicle virtual personal assistant
KR20190095183A (ko) 2019-07-25 2019-08-14 엘지전자 주식회사 Xr 디바이스 및 그 제어 방법
KR102637415B1 (ko) 2019-10-21 2024-02-16 엘지전자 주식회사 Ar 모드 및 vr 모드를 제공하는 xr 디바이스 및 그 제어 방법
KR20210081484A (ko) * 2019-12-23 2021-07-02 엘지전자 주식회사 지능적 컨텐츠 제공 방법 및 자율 주행 시스템
KR102317223B1 (ko) 2021-08-31 2021-10-26 주식회사 에스에이엠지엔터테인먼트 생체 데이터를 이용한 메타버스 구현 시스템 및 방법

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
김국헌. [메타버스 현주소③자동차]현대차그룹의 암서가는 메타버스활용법...'르쌍쉐'는 구경만. 뉴스저널리즘 기사, 2021년 7월 21일.

Also Published As

Publication number Publication date
KR20230076171A (ko) 2023-05-31

Similar Documents

Publication Publication Date Title
JP7299840B2 (ja) 情報処理装置および情報処理方法
US11892851B2 (en) System and methods for tagging accessibility features with a motorized mobile system
JP7203035B2 (ja) 情報処理装置および情報処理方法
CN111989729B (zh) 信息处理装置、移动装置、信息处理系统、方法和程序
US20230339476A1 (en) Information processing device, moving apparatus, method, and program
US11075910B2 (en) Secure systems architecture for integrated motorized mobile systems
WO2020100539A1 (ja) 情報処理装置、移動装置、および方法、並びにプログラム
JP7324716B2 (ja) 情報処理装置、移動装置、および方法、並びにプログラム
US11866073B2 (en) Information processing device, information processing system, and information processing method for wearable information terminal for a driver of an automatic driving vehicle
US11960285B2 (en) Method for controlling robot, robot, and recording medium
JP2021043571A (ja) 情報処理装置、移動装置、情報処理システム、および方法、並びにプログラム
CN205722310U (zh) 一种基于视频序列的列车驾驶员行为识别系统
US20240142997A1 (en) Method for controlling robot, robot, and recording medium
KR102657537B1 (ko) 자율주행차량과 메타버스 연동을 위한 확장현실 가상 콘텐츠 제공 시스템
US20230017970A1 (en) Information processing device, mobile apparatus, information processing system, information processing method, and program
JP6822325B2 (ja) 操縦支援装置、操縦支援方法、プログラム
KR102512131B1 (ko) 가상 현실을 이용한 장애인/노인의 이동보조기기 시뮬레이터 시스템
WO2023277012A1 (ja) 情報処理システム及び情報処理装置
JP6913316B2 (ja) 情報提示システム
JP2022111156A (ja) 車両制御装置および車両制御方法
CN116685516A (zh) 信息处理装置、信息处理方法和信息处理程序

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant