KR20240067906A - 차량 탑승자 보조를 위한 차량 및 모바일 디바이스 인터페이스 - Google Patents
차량 탑승자 보조를 위한 차량 및 모바일 디바이스 인터페이스 Download PDFInfo
- Publication number
- KR20240067906A KR20240067906A KR1020247010996A KR20247010996A KR20240067906A KR 20240067906 A KR20240067906 A KR 20240067906A KR 1020247010996 A KR1020247010996 A KR 1020247010996A KR 20247010996 A KR20247010996 A KR 20247010996A KR 20240067906 A KR20240067906 A KR 20240067906A
- Authority
- KR
- South Korea
- Prior art keywords
- vehicle
- occupant
- virtual content
- event
- mobile device
- Prior art date
Links
- 238000000034 method Methods 0.000 claims abstract description 402
- 238000005259 measurement Methods 0.000 claims description 66
- 238000001914 filtration Methods 0.000 claims description 58
- 230000015654 memory Effects 0.000 claims description 52
- 238000009877 rendering Methods 0.000 claims description 43
- 230000000007 visual effect Effects 0.000 claims description 42
- 241001465754 Metazoa Species 0.000 claims description 22
- 238000012544 monitoring process Methods 0.000 description 172
- 230000006870 function Effects 0.000 description 111
- 230000008569 process Effects 0.000 description 97
- 238000004891 communication Methods 0.000 description 92
- 230000004807 localization Effects 0.000 description 85
- 230000006735 deficit Effects 0.000 description 64
- 230000000694 effects Effects 0.000 description 49
- 230000036541 health Effects 0.000 description 47
- 238000004422 calculation algorithm Methods 0.000 description 42
- 230000001276 controlling effect Effects 0.000 description 42
- 230000001771 impaired effect Effects 0.000 description 33
- 230000006378 damage Effects 0.000 description 32
- 230000033001 locomotion Effects 0.000 description 32
- 238000010586 diagram Methods 0.000 description 31
- 230000009471 action Effects 0.000 description 26
- 238000012545 processing Methods 0.000 description 26
- 230000000116 mitigating effect Effects 0.000 description 24
- 230000006399 behavior Effects 0.000 description 23
- 230000003190 augmentative effect Effects 0.000 description 21
- 230000008859 change Effects 0.000 description 15
- 230000002996 emotional effect Effects 0.000 description 15
- 238000010801 machine learning Methods 0.000 description 15
- 238000001514 detection method Methods 0.000 description 14
- 230000035987 intoxication Effects 0.000 description 14
- 231100000566 intoxication Toxicity 0.000 description 14
- 238000007726 management method Methods 0.000 description 14
- 230000004044 response Effects 0.000 description 13
- 210000003128 head Anatomy 0.000 description 12
- 230000004438 eyesight Effects 0.000 description 11
- 230000003287 optical effect Effects 0.000 description 11
- 230000003993 interaction Effects 0.000 description 9
- 239000004984 smart glass Substances 0.000 description 9
- 230000001133 acceleration Effects 0.000 description 8
- 230000011664 signaling Effects 0.000 description 8
- 230000037007 arousal Effects 0.000 description 7
- 231100000430 skin reaction Toxicity 0.000 description 7
- 241001282135 Poromitra oscitans Species 0.000 description 6
- 206010041349 Somnolence Diseases 0.000 description 6
- 206010048232 Yawning Diseases 0.000 description 6
- 230000036772 blood pressure Effects 0.000 description 6
- 238000006243 chemical reaction Methods 0.000 description 6
- 238000004590 computer program Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 6
- 239000011521 glass Substances 0.000 description 6
- 210000001747 pupil Anatomy 0.000 description 6
- 208000003443 Unconsciousness Diseases 0.000 description 5
- 238000003491 array Methods 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 5
- 230000036760 body temperature Effects 0.000 description 5
- 210000004556 brain Anatomy 0.000 description 5
- 238000013500 data storage Methods 0.000 description 5
- 239000000446 fuel Substances 0.000 description 5
- 238000013507 mapping Methods 0.000 description 5
- 201000005111 ocular hyperemia Diseases 0.000 description 5
- 230000035484 reaction time Effects 0.000 description 5
- 230000026676 system process Effects 0.000 description 5
- 230000001960 triggered effect Effects 0.000 description 5
- 230000006978 adaptation Effects 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 4
- 235000013361 beverage Nutrition 0.000 description 4
- 238000013478 data encryption standard Methods 0.000 description 4
- 230000035622 drinking Effects 0.000 description 4
- 230000009977 dual effect Effects 0.000 description 4
- 230000008921 facial expression Effects 0.000 description 4
- 238000003384 imaging method Methods 0.000 description 4
- 230000005291 magnetic effect Effects 0.000 description 4
- 230000002829 reductive effect Effects 0.000 description 4
- 238000013461 design Methods 0.000 description 3
- 238000007667 floating Methods 0.000 description 3
- 210000003127 knee Anatomy 0.000 description 3
- 230000008447 perception Effects 0.000 description 3
- 230000016776 visual perception Effects 0.000 description 3
- 206010010904 Convulsion Diseases 0.000 description 2
- 241000023320 Luma <angiosperm> Species 0.000 description 2
- 238000004873 anchoring Methods 0.000 description 2
- QVGXLLKOCUKJST-UHFFFAOYSA-N atomic oxygen Chemical compound [O] QVGXLLKOCUKJST-UHFFFAOYSA-N 0.000 description 2
- 230000000903 blocking effect Effects 0.000 description 2
- 238000009530 blood pressure measurement Methods 0.000 description 2
- 230000001413 cellular effect Effects 0.000 description 2
- 238000001816 cooling Methods 0.000 description 2
- 230000002596 correlated effect Effects 0.000 description 2
- 230000000875 corresponding effect Effects 0.000 description 2
- 230000001934 delay Effects 0.000 description 2
- 230000008451 emotion Effects 0.000 description 2
- 230000004424 eye movement Effects 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 238000009532 heart rate measurement Methods 0.000 description 2
- 230000001976 improved effect Effects 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 230000001788 irregular Effects 0.000 description 2
- 230000007257 malfunction Effects 0.000 description 2
- 239000003550 marker Substances 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- OSWPMRLSEDHDFF-UHFFFAOYSA-N methyl salicylate Chemical compound COC(=O)C1=CC=CC=C1O OSWPMRLSEDHDFF-UHFFFAOYSA-N 0.000 description 2
- 208000010125 myocardial infarction Diseases 0.000 description 2
- 229910052760 oxygen Inorganic materials 0.000 description 2
- 239000001301 oxygen Substances 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 2
- 206010057315 Daydreaming Diseases 0.000 description 1
- 206010013887 Dysarthria Diseases 0.000 description 1
- 238000003619 Marshal aromatic alkylation reaction Methods 0.000 description 1
- 208000008238 Muscle Spasticity Diseases 0.000 description 1
- 206010028347 Muscle twitching Diseases 0.000 description 1
- 208000010340 Sleep Deprivation Diseases 0.000 description 1
- 230000003213 activating effect Effects 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 238000004378 air conditioning Methods 0.000 description 1
- 230000036626 alertness Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000005452 bending Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 239000000872 buffer Substances 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 239000000969 carrier Substances 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 206010007776 catatonia Diseases 0.000 description 1
- 230000001149 cognitive effect Effects 0.000 description 1
- 230000006998 cognitive state Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 208000035475 disorder Diseases 0.000 description 1
- 230000004886 head movement Effects 0.000 description 1
- 230000003116 impacting effect Effects 0.000 description 1
- 238000002955 isolation Methods 0.000 description 1
- 208000013409 limited attention Diseases 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 239000005022 packaging material Substances 0.000 description 1
- 230000004962 physiological condition Effects 0.000 description 1
- 230000002035 prolonged effect Effects 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 230000035939 shock Effects 0.000 description 1
- 230000009131 signaling function Effects 0.000 description 1
- 208000026473 slurred speech Diseases 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 208000018198 spasticity Diseases 0.000 description 1
- 230000009295 sperm incapacitation Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000000638 stimulation Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
- 238000002604 ultrasonography Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/012—Head tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
- G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30268—Vehicle interior
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Computer Hardware Design (AREA)
- Software Systems (AREA)
- Computer Graphics (AREA)
- Human Computer Interaction (AREA)
- Architecture (AREA)
- Optics & Photonics (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Processing Or Creating Images (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
차량 탑승자 보조를 위해 차량 및 모바일 디바이스 인터페이스를 위한 시스템들, 방법들, 및 비일시적 매체들이 제공된다. 예시적인 방법은, 차량의 내부 부분의 하나 이상의 이미지들에 기초하여, 차량의 좌표계에 대한 모바일 디바이스의 포즈를 결정하는 단계; 차량으로부터, 차량의 하나 이상의 센서들과 연관된 데이터를 수신하는 단계; 및 모바일 디바이스의 디스플레이 디바이스를 사용하여, 하나 이상의 센서들과 연관된 데이터 및 차량의 좌표계에 대한 모바일 디바이스의 포지션에 기초하여 가상 콘텐츠를 디스플레이하는 단계를 포함할 수 있다.
Description
본 개시내용은 대체적으로 차량 탑승자 보조를 위한 확장 현실(extended reality, XR)에 관한 것이다. 예를 들어, 본 개시내용의 양태들은 차량들에서의 확장 현실을 위한 차량 대 디바이스 인터페이스들에 관한 것이다.
많은 디바이스들 및 시스템들은 장면의 이미지들(또는 프레임들) 및/또는 비디오 데이터(다수의 프레임들을 포함함)를 생성하는 것에 의해 장면이 캡처될 수 있게 한다. 예를 들어, 카메라가 있는 디바이스는 장면 프레임들의 시퀀스(예컨대, 장면의 비디오)를 캡처할 수 있다. 일부 경우들에서, 프레임들의 시퀀스는, 다른 사용들 중에서도, 하나 이상의 기능들, 디스플레이용 출력, 프로세싱용 출력 및/또는 다른 디바이스들에 의한 소비를 위해 프로세싱될 수 있다. 차량은 하나 이상의 카메라들을 포함할 수 있는 디바이스의 일례이다. 예를 들어, 차량은, 차량 내부의 프레임들 및/또는 차량 외부의 영역(들)을 캡처할 수 있는 카메라들을 포함할 수 있다. 프레임들은 다양한 목적들, 예컨대 다른 목적들 중에서도, 도로 조건들을 결정하거나 또는 인식하기 위해; 차량에 근접하는 다른 차량들, 객체들, 보행자들, 및/또는 장애물을 식별하기 위해 프로세싱될 수 있다.
확장 현실(XR) 디바이스들은 하나 이상의 카메라들을 포함할 수 있는 디바이스들의 다른 예이다. XR 디바이스들은 증강 현실(augmented reality, AR) 디바이스들, 가상 현실(virtual reality, VR) 디바이스들, 혼합 현실(mixed reality, MR) 디바이스들 등을 포함할 수 있다. 예를 들어, AR 디바이스들의 예들은 스마트 안경 및 헤드 마운트 디스플레이(head-mounted display, HMD)들을 포함한다. 대체적으로, AR 디바이스는 물리적 환경 내의 AR 디바이스 및 다른 객체들의 포지션을 추적하도록 카메라들 및 다양한 센서들을 구현할 수 있다. AR 디바이스는 추적 정보를 사용하여, AR 디바이스의 사용자에게 현실적인 AR 경험을 제공할 수 있다. 예를 들어, AR 디바이스는, 사용자가 몰입형 가상 환경들 또는 콘텐츠를 경험하거나 또는 그와 상호작용하게 할 수 있다. 현실적인 AR 경험들을 제공하기 위해, AR 기술들은 대체적으로 가상 콘텐츠를 물리적 세계와 통합하는 것을 목표로 한다. 일부 예들에서, AR 기술들은 객체들 및 디바이스들의 상대적 포즈 및 움직임을 매칭시킬 수 있다. 예를 들어, AR 디바이스는 추적 정보를 사용하여, 실세계 환경의 디바이스들, 객체들, 및/또는 맵들의 상대적 포즈를 계산하여 디바이스들, 객체들, 및/또는 실세계 환경의 상대적 포지션 및 움직임을 매칭시킬 수 있다. 하나 이상의 디바이스들, 객체들, 및/또는 실세계 환경의 포즈 및/또는 움직임을 사용하여, AR 디바이스는 설득력 있는 방식으로 실세계 환경에 콘텐츠를 앵커링할 수 있다. 상대적 포즈 정보는 가상 콘텐츠를 사용자의 인지된 모션 및 디바이스들, 객체들, 및 실세계 환경의 시공간 상태와 매칭시키는 데 사용될 수 있다.
증강 현실(AR) 디바이스와 같은 모바일 디바이스를 차량의 동작과 통합하기 위한 시스템들 및 기법들이 본 명세서에 설명된다. 적어도 하나의 예에 따르면, 차량 탑승자 보조를 위한 증강 현실을 위한 방법이 제공된다. 본 방법은, 차량의 내부 부분의 하나 이상의 이미지들에 기초하여, 차량의 좌표계에 대한 모바일 디바이스의 포즈를 결정하는 단계; 차량으로부터, 차량의 하나 이상의 센서들과 연관된 데이터를 수신하는 단계; 및 모바일 디바이스의 디스플레이 디바이스를 사용하여, 하나 이상의 센서들과 연관된 데이터 및 차량의 좌표계에 대한 모바일 디바이스의 포즈에 기초하여 가상 콘텐츠를 디스플레이하는 단계를 포함할 수 있다.
적어도 하나의 예에 따르면, 차량 탑승자 보조를 위한 증강 현실을 위한 비일시적 컴퓨터 판독가능 매체가 제공된다. 비일시적 컴퓨터 판독가능 매체는 저장된 명령들을 포함할 수 있고, 명령들은, 하나 이상의 프로세서들에 의해 실행될 때, 하나 이상의 프로세서들로 하여금, 차량의 내부 부분의 하나 이상의 이미지들에 기초하여, 차량의 좌표계에 대한 모바일 디바이스의 포즈를 결정하게 하고; 차량으로부터, 차량의 하나 이상의 센서들과 연관된 데이터를 수신하게 하고; 모바일 디바이스의 디스플레이 디바이스를 사용하여, 하나 이상의 센서들과 연관된 데이터 및 차량의 좌표계에 대한 모바일 디바이스의 포즈에 기초하여 가상 콘텐츠를 디스플레이하게 한다.
적어도 하나의 예에 따르면, 차량 탑승자 보조를 위한 증강 현실을 위한 장치가 제공된다. 본 장치는, 메모리 및 메모리에 커플링된 하나 이상의 프로세서들을 포함할 수 있고, 하나 이상의 프로세서들은, 차량의 내부 부분의 하나 이상의 이미지들에 기초하여, 차량의 좌표계에 대한 모바일 디바이스의 포즈를 결정하도록; 차량으로부터, 차량의 하나 이상의 센서들과 연관된 데이터를 수신하도록; 그리고 모바일 디바이스의 디스플레이 디바이스를 사용하여, 하나 이상의 센서들과 연관된 데이터 및 차량의 좌표계에 대한 모바일 디바이스의 포즈에 기초하여 가상 콘텐츠를 디스플레이하도록 구성된다.
적어도 하나의 예에 따르면, 차량 탑승자 보조를 위한 증강 현실을 위한 다른 장치가 제공된다. 본 장치는, 차량의 내부 부분의 하나 이상의 이미지들에 기초하여, 차량의 좌표계에 대한 모바일 디바이스(예컨대, 장치)의 포즈를 결정하기 위한 수단; 차량으로부터, 차량의 하나 이상의 센서들과 연관된 데이터를 수신하기 위한 수단; 및 모바일 디바이스의 디스플레이 디바이스를 사용하여, 하나 이상의 센서들과 연관된 데이터 및 차량의 좌표계에 대한 모바일 디바이스의 포즈에 기초하여 가상 콘텐츠를 디스플레이하기 위한 수단을 포함할 수 있다.
일부 양태들에서, 전술된 방법, 비일시적 컴퓨터 판독가능 매체, 및 장치들은 하나 이상의 센서들과 연관된 데이터에 기초하여 차량의 상황을 결정할 수 있다. 일부 예들에서, 상황은 차량에 관련된 이벤트를 포함할 수 있다.
일부 양태들에서, 전술된 방법, 비일시적 컴퓨터 판독가능 매체, 및 장치들은 모바일 디바이스의 좌표계에 대한 가상 콘텐츠의 위치를 차량의 좌표계에 대한 이벤트의 위치와 연관시키고; 차량의 좌표계에 대한 이벤트의 위치와 모바일 디바이스의 좌표계에 대한 가상 콘텐츠의 위치의 연관성에 기초하여, 모바일 디바이스의 하나 이상의 시각적 이미지 센서들로부터의 라이브 콘텐츠 피드를 디스플레이할 수 있다.
일부 예들에서, 라이브 콘텐츠 피드를 디스플레이하는 것은, 차량의 좌표계에 대한 모바일 디바이스의 포즈 및 이벤트에 대한 차량의 포즈에 기초하여, 이벤트에 대한 모바일 디바이스의 포즈를 결정하는 것; 및 이벤트에 대한 모바일 디바이스의 포즈, 및 차량의 좌표계에 대한 이벤트의 위치와 모바일 디바이스의 좌표계에 대한 가상 콘텐츠의 위치의 연관성에 기초하여, 가상 콘텐츠가 차량의 탑승자의 시야(field-of-view, FOV)에서 이벤트를 적어도 부분적으로 가린다고 결정하는 것을 포함할 수 있다.
일부 양태들에서, 전술된 방법, 비일시적 컴퓨터 판독가능 매체, 및 장치들은 모바일 디바이스의 좌표계에 대한 가상 콘텐츠 항목의 위치를 차량의 좌표계에 대한 이벤트의 위치와 연관시키고; 차량의 좌표계에 대한 이벤트의 위치와 모바일 디바이스의 좌표계에 대한 가상 콘텐츠의 위치의 연관성에 기초하여, 가상 콘텐츠 항목을 필터링하거나 또는 수정할 수 있다.
일부 예들에서, 가상 콘텐츠 항목을 필터링하거나 또는 수정하는 것은 가상 콘텐츠 항목의 하나 이상의 특성들을 수정하는 것을 포함할 수 있다. 일부 경우들에서, 하나 이상의 특성들은 가상 콘텐츠 항목의 투명도, 크기, 위치, 및 가상 콘텐츠 항목의 밝기 레벨 중 적어도 하나를 포함할 수 있다.
일부 예들에서, 가상 콘텐츠 항목을 필터링하거나 또는 수정하는 것은, 차량의 탑승자의 눈 시선을 결정하는 것 - 탑승자는 모바일 디바이스와 연관됨 -; 탑승자의 눈 시선 및 이벤트의 위치에 기초하여, 탑승자에 대한 이벤트의 가시성을 결정하는 것; 및 탑승자에 대한 이벤트의 가시성에 추가로 기초하여, 가상 콘텐츠 항목을 필터링하거나 또는 수정하는 것을 포함할 수 있다.
일부 예들에서, 이벤트는 차량의 경로 또는 차량의 경로에 대한 임계 근접도 내의 객체의 존재, 차량의 경로와 연관된 교통 통제, 및 차량이 속도 제한 및 차선 표시 중 적어도 하나 내에서 유지되지 못하는 것 중 적어도 하나를 포함할 수 있다. 일부 경우들에서, 차량의 경로 또는 차량의 경로에 대한 임계 근접도 내의 객체는 보행자, 동물, 및 다른 차량 중 적어도 하나를 포함한다.
일부 양태들에서, 전술된 방법, 비일시적 컴퓨터 판독가능 매체, 및 장치들은, 차량의 탑승자의 눈 시선을 결정하고 - 탑승자는 모바일 디바이스와 연관됨 -; 차량의 탑승자의 눈 시선의 방향 내에서 가상 콘텐츠를 렌더링할 수 있다.
일부 경우들에서, 탑승자의 눈 시선의 방향 내에서 가상 콘텐츠를 렌더링하는 것은, 이벤트, 이벤트의 위치, 및 이벤트의 방향 중 적어도 하나의 가상 표시자를 포함하는 가상 콘텐츠 오버레이를 렌더링하는 것을 포함할 수 있다.
일부 경우들에서, 탑승자의 눈 시선의 방향 내에서 가상 콘텐츠를 렌더링하는 것은, 가상 콘텐츠의 하나 이상의 특성들을 수정하는 것을 포함할 수 있다. 일부 경우들에서, 하나 이상의 특성들은 가상 콘텐츠의 투명도, 크기, 위치, 및 밝기 레벨 중 적어도 하나를 포함할 수 있다.
일부 양태들에서, 전술된 방법, 비일시적 컴퓨터 판독가능 매체, 및 장치들은, 차량의 상황 및 모바일 디바이스의 포즈에 기초하여, 가상 콘텐츠의 적어도 일부분을 필터링할 수 있다.
일부 경우들에서, 가상 콘텐츠의 적어도 일부분을 필터링하는 것은, 가상 콘텐츠의 서브세트의 제시를 가능하게 하는 것을 포함할 수 있다. 일부 예들에서, 가상 콘텐츠의 서브세트는 차량의 스테이터스의 표시 및 차량 계측 정보 중 적어도 하나를 포함할 수 있다.
일부 양태들에서, 가상 콘텐츠를 디스플레이하는 것은 차량과 연관된 가상 콘텐츠 항목을 렌더링하는 것을 포함할 수 있고, 가상 콘텐츠 항목은 차량의 표면에 대해 렌더링된다.
일부 경우들에서, 렌더링된 가상 콘텐츠 항목은 하나 이상의 센서들과 연관된 데이터에서 식별된 이벤트의 제1 표시, 차량의 상황의 제2 표시, 및 차량의 상황과 연관된 경보 중 적어도 하나를 포함할 수 있다.
일부 양태들에서, 가상 콘텐츠 항목을 렌더링하는 것은, 차량의 카메라 디바이스로부터 카메라 피드를 수신하는 것; 및 모바일 디바이스의 디스플레이 영역 내에 카메라 피드의 적어도 일부분을 디스플레이하는 것을 포함할 수 있다.
일부 경우들에서, 모바일 디바이스의 포즈를 결정하는 것은 하나 이상의 라디오 주파수(radio frequency, RF) 신호들을 획득하는 것; 및 하나 이상의 이미지들, 및 하나 이상의 RF 신호들과 연관된 왕복 시간, 하나 이상의 RF 신호들과 연관된 도착 시간, 및 하나 이상의 RF 신호들과 연관된 수신 신호 강도 표시자(received signal strength indicator, RSSI) 중 적어도 하나에 기초하여 모바일 디바이스의 포즈를 결정하는 것을 포함할 수 있다.
일부 경우들에서, 모바일 디바이스의 포즈를 결정하는 것은, 차량으로부터, 차량과 연관된 하나 이상의 마커들을 포함하는 차량 템플릿을 수신하는 것; 및 하나 이상의 이미지들 및 차량 템플릿에 기초하여 차량의 좌표계에 대한 모바일 디바이스의 포즈를 결정하는 것을 포함할 수 있다.
일부 예들에서, 하나 이상의 마커들은 차량의 내부 부분 내의 영역 및 차량의 내부 부분에 부착된 객체 중 적어도 하나에 대한 시각적 패턴, 차량의 내부 부분의 엘리먼트, 차량의 내부 부분 내의 표면, 및 차량 내부의 조명된 객체 중 적어도 하나를 포함할 수 있다.
일부 경우들에서, 모바일 디바이스의 포즈를 결정하는 것은, 하나 이상의 이미지들에서 하나 이상의 마커들을 검출하는 것; 및 검출된 하나 이상의 마커들 및 차량 템플릿에 기초하여 차량의 좌표계에 대한 모바일 디바이스의 포즈를 결정하는 것을 포함할 수 있다.
일부 양태들에서, 전술된 방법, 비일시적 컴퓨터 판독가능 매체, 및 장치들은, 모바일 디바이스의 하나 이상의 이미지 센서들을 사용하여, 차량의 내부 부분의 이미지들의 세트를 획득하고 - 이미지들의 세트는 차량과 연관된 하나 이상의 마커들을 묘사함 -; 이미지들의 세트에 기초하여, 하나 이상의 마커들을 포함하는 차량 템플릿을 생성할 수 있다.
일부 양태들에서, 전술된 장치들 각각은 모바일 디바이스, 웨어러블 디바이스, 카메라 시스템, 개인용 컴퓨팅 디바이스, 및/또는 확장 현실(XR) 디바이스(예컨대, 가상 현실(VR) 디바이스, 증강 현실(AR) 디바이스, 또는 혼합 현실(MR) 디바이스)이거나, 그들의 일부일 수 있거나, 또는 그들을 포함할 수 있다. 일부 예들에서, 장치들은, 차량, 모바일 디바이스(예컨대, 모바일 전화 또는 소위 "스마트폰" 또는 다른 모바일 디바이스), 웨어러블 디바이스, 개인용 컴퓨터, 랩톱 컴퓨터, 태블릿 컴퓨터, 서버 컴퓨터, 로봇 디바이스 또는 시스템, 항공 시스템, 또는 다른 디바이스를 포함할 수 있거나 또는 그들의 일부이고/이거나 그들과 인터페이싱될 수 있다. 일부 양태들에서, 장치는 하나 이상의 이미지들을 캡처하기 위한 이미지 센서(예컨대, 카메라) 또는 다수의 이미지 센서들(예컨대, 다수의 카메라들)을 포함한다. 일부 양태들에서, 장치는 하나 이상의 이미지들, 통지들, 및/또는 다른 디스플레이가능한 데이터를 디스플레이하기 위한 하나 이상의 디스플레이들을 포함한다. 일부 양태들에서, 장치는 하나 이상의 스피커들, 하나 이상의 발광 디바이스들, 및/또는 하나 이상의 마이크로폰들을 포함한다. 일부 양태들에서, 위에서 설명되는 장치들은 하나 이상의 센서들을 포함할 수 있다. 일부 경우들에서, 하나 이상의 센서들은 장치들의 포즈, 장치들의 상태(예컨대, 추적 상태, 동작 상태, 온도, 습도 레벨, 및/또는 다른 상태)를 결정하기 위해 그리고/또는 다른 목적들을 위해 사용될 수 있다. 본 명세서에 사용되는 바와 같이, 용어 포즈는 좌표계에 대한 장치, 센서, 또는 다른 실세계 디바이스 또는 구조물의 포지션 및 배향을 지칭한다.
본 발명의 내용은 청구 대상의 핵심적인 또는 본질적인 특징들을 식별하는 것으로 의도되는 것도, 청구 대상의 범주를 결정하기 위해 별개로 사용되는 것으로 의도되는 것도 아니다. 청구 대상은 본 특허의 전체 명세서의 적절한 부분들, 임의의 또는 모든 도면들, 및 각각의 청구항에 대한 참조에 의해 이해되어야 한다.
전술한 내용은 다른 특징들 및 실시 형태들과 함께, 다음의 명세서, 청구항들 및 첨부 도면들을 참조할 때 보다 명백해질 것이다.
본 출원의 예시적인 예들은 다음 도면들을 참조하여 이하에서 상세히 설명된다:
도 1은 본 개시내용의 일부 예들에 따른, 모바일 디바이스의 컴퓨팅 시스템의 일례를 예시하는 도면이다.
도 2는 본 개시내용의 일부 예들에 따른, 차량의 예시적인 컴퓨팅 시스템을 예시하는 블록도이다.
도 3은 본 개시내용의 일부 예들에 따른, 차량내 로컬화(in-vehicle localization)를 위한 예시적인 시스템 프로세스를 예시하는 도면이다.
도 4a 및 도 4b는 본 개시내용의 일부 예들에 따른, 차량 탑승자 보조를 위한 증강 현실을 위한 예시적인 시스템 프로세스들을 예시하는 도면들이다.
도 5는 본 개시내용의 일부 예들에 따른, 차량의 탑승자에 대해 렌더링된 가상 콘텐츠를 변조하기 위한 예시적인 사용 사례를 예시하는 도면이다.
도 6a 내지 도 6e는 본 개시내용의 일부 예들에 따른, 가상 콘텐츠를 변조하기 위한 예시적인 사용 사례들을 예시하는 도면들이다.
도 7a 내지 도 7i는 본 개시내용의 일부 예들에 따른, 차량을 운전하는 탑승자의 상이한 예시적인 상태들을 예시하는 도면들이다.
도 8은 본 개시내용의 일부 예들에 따른, 탑승자 모니터링 이벤트들을 포함하는 차량 대 사물 통신들의 예를 예시하는 도면이다.
도 9 및 도 10은 본 개시내용의 일부 예들에 따른, 차량을 운전하는 탑승자에 의해 착용된 모바일 디바이스에 의해 결정된 탑승자 상태에 기초한 예시적인 차량 완화 이벤트(vehicle mitigation event)들을 예시하는 도면들이다.
도 11은 본 개시내용의 일부 예들에 따른, 차량의 동작 동안 가상 콘텐츠의 제시를 제어하기 위한 예시적인 프로세스를 예시하는 흐름도이다.
도 12는 본 개시내용의 일부 예들에 따른, 차량의 탑승자를 모니터링하기 위한 예시적인 프로세스를 예시하는 흐름도이다.
도 13은 본 개시내용의 일부 예들에 따른, 차량의 동작을 제어하기 위한 예시적인 프로세스를 예시하는 흐름도이다.
도 14는 본 개시내용의 일부 예들에 따른, 차량의 탑승자와 연관된 모바일 디바이스와 차량을 인터페이싱하기 위한 예시적인 프로세스를 예시하는 흐름도이다.
도 15는 본 개시내용의 일부 예들에 따른, 예시적인 컴퓨팅 디바이스 아키텍처를 예시한다.
도 1은 본 개시내용의 일부 예들에 따른, 모바일 디바이스의 컴퓨팅 시스템의 일례를 예시하는 도면이다.
도 2는 본 개시내용의 일부 예들에 따른, 차량의 예시적인 컴퓨팅 시스템을 예시하는 블록도이다.
도 3은 본 개시내용의 일부 예들에 따른, 차량내 로컬화(in-vehicle localization)를 위한 예시적인 시스템 프로세스를 예시하는 도면이다.
도 4a 및 도 4b는 본 개시내용의 일부 예들에 따른, 차량 탑승자 보조를 위한 증강 현실을 위한 예시적인 시스템 프로세스들을 예시하는 도면들이다.
도 5는 본 개시내용의 일부 예들에 따른, 차량의 탑승자에 대해 렌더링된 가상 콘텐츠를 변조하기 위한 예시적인 사용 사례를 예시하는 도면이다.
도 6a 내지 도 6e는 본 개시내용의 일부 예들에 따른, 가상 콘텐츠를 변조하기 위한 예시적인 사용 사례들을 예시하는 도면들이다.
도 7a 내지 도 7i는 본 개시내용의 일부 예들에 따른, 차량을 운전하는 탑승자의 상이한 예시적인 상태들을 예시하는 도면들이다.
도 8은 본 개시내용의 일부 예들에 따른, 탑승자 모니터링 이벤트들을 포함하는 차량 대 사물 통신들의 예를 예시하는 도면이다.
도 9 및 도 10은 본 개시내용의 일부 예들에 따른, 차량을 운전하는 탑승자에 의해 착용된 모바일 디바이스에 의해 결정된 탑승자 상태에 기초한 예시적인 차량 완화 이벤트(vehicle mitigation event)들을 예시하는 도면들이다.
도 11은 본 개시내용의 일부 예들에 따른, 차량의 동작 동안 가상 콘텐츠의 제시를 제어하기 위한 예시적인 프로세스를 예시하는 흐름도이다.
도 12는 본 개시내용의 일부 예들에 따른, 차량의 탑승자를 모니터링하기 위한 예시적인 프로세스를 예시하는 흐름도이다.
도 13은 본 개시내용의 일부 예들에 따른, 차량의 동작을 제어하기 위한 예시적인 프로세스를 예시하는 흐름도이다.
도 14는 본 개시내용의 일부 예들에 따른, 차량의 탑승자와 연관된 모바일 디바이스와 차량을 인터페이싱하기 위한 예시적인 프로세스를 예시하는 흐름도이다.
도 15는 본 개시내용의 일부 예들에 따른, 예시적인 컴퓨팅 디바이스 아키텍처를 예시한다.
본 개시내용의 특정 양태들 및 실시 형태들이 아래에 제공된다. 이러한 양태들 및 실시 형태들 중 일부는 독립적으로 적용될 수 있고, 이들 중 일부는 당업자에게 명백할 바와 같이 조합하여 적용될 수 있다. 다음의 설명에서는, 설명의 목적으로, 본 출원의 실시 형태들의 철저한 이해를 제공하기 위해 특정 세부사항들이 제시된다. 그러나, 다양한 실시 형태들은 이러한 특정 세부사항들 없이 실시될 수 있음이 명백할 것이다. 도면들 및 설명은 제한적인 것으로 의도되지 않는다.
다음의 설명은 오직 예시적인 실시 형태들을 제공할 뿐이고, 본 개시내용의 범주, 적용가능성, 또는 구성을 제한하도록 의도되지 않는다. 오히려, 예시적인 실시 형태들의 다음의 설명은 예시적인 실시 형태를 구현하기 위한 가능한 설명을 당업자에게 제공할 것이다. 첨부된 청구항들에 기재된 출원의 범위를 벗어나지 않으면서 엘리먼트들의 기능 및 배열에서 다양한 변경들이 이루어질 수 있다는 것이 이해되어야 한다.
확장 현실(XR) 시스템 또는 디바이스는 사용자에게 가상 콘텐츠를 제공할 수 있고/있거나 실세계 또는 물리적 환경과 가상 환경(가상 콘텐츠로 구성됨)을 결합하여 사용자에게 XR 경험을 제공할 수 있다. 실세계 환경은 책, 사람, 차량, 건물, 테이블, 의자 및/또는 다른 실세계 또는 물리적 객체와 같은 실세계 객체들(물리적 객체라고도 함)을 포함할 수 있다. XR 시스템 또는 디바이스는 상이한 유형의 XR 환경과의 상호 작용을 용이하게 할 수 있다(예컨대, 사용자는 XR 시스템 또는 디바이스를 사용하여 XR 환경과 상호 작용할 수 있음). XR 시스템은 VR 환경과의 상호 작용을 용이하게 하는 가상 현실(VR) 시스템, AR 환경과의 상호 작용을 용이하게 하는 증강 현실(AR) 시스템, MR 환경과의 상호 작용을 용이하게 하는 혼합 현실(MR) 시스템, 및/또는 다른 XR 시스템을 포함할 수 있다. 본 명세서에서 사용되는 바와 같이, 용어들 XR 시스템 및 XR 디바이스는 상호교환적으로 사용된다. XR 시스템들 또는 디바이스들의 예들은, 다른 것들 중에서, 헤드 마운트 디스플레이(HMD)들, 스마트 안경을 포함한다. 일부 경우들에서, XR 시스템은 사용자의 부분들(예컨대, 사용자의 손 및/또는 손끝들)을 추적하여 사용자로 하여금 가상 콘텐츠의 항목들과 상호작용하게 할 수 있다.
AR은 물리적, 실세계 장면 또는 환경에 대한 사용자의 관점을 통해 가상 또는 컴퓨터 생성 콘텐츠(AR 콘텐츠라고 함)를 제공하는 기술이다. AR 콘텐츠는 비디오, 이미지, 그래픽 콘텐츠, 위치 데이터(예컨대, 글로벌 포지셔닝 시스템(global positioning system, GPS) 데이터 또는 다른 위치 데이터), 사운드, 이들의 임의의 조합, 및/또는 다른 증강 콘텐츠와 같은 가상 콘텐츠를 포함할 수 있다. AR 시스템 또는 디바이스는 현실에 대한 사람의 현재 인식을 대체하는 것이 아니라 향상(또는 증강)시키도록 설계된다. 예를 들어, 사용자는 AR 디바이스 디스플레이를 통해 정지해 있거나 움직이는 실제 물리적 객체를 볼 수 있지만 물리적 객체에 대한 사용자의 시각적 인식은 해당 객체의 가상 이미지(예컨대, DeLorean의 가상 이미지에 의해 대체된 실세계 자동차)에 의해, 물리적 객체에 추가된 AR 콘텐츠(예컨대, 살아있는 동물에 추가된 가상 날개), 물리적 객체에 대해 표시되는 AR 콘텐츠(예컨대, 건물의 간판 근처에 표시되는 정보 가상 콘텐츠, 하나 이상의 이미지 내의 실세계 테이블에 가상으로 고정된 (예컨대, 위에 배치된) 가상 커피 컵 등)에 의해, 및/또는 다른 유형의 AR 콘텐츠를 표시하는 것에 의해 증강되거나 향상될 수 있다. 다양한 유형의 AR 시스템을 게임, 엔터테인먼트 및/또는 기타 애플리케이션에 사용할 수 있다.
일부 경우들에서, AR 콘텐츠를 제공하는 데 사용될 수 있는 2개 유형들의 AR 시스템들은 비디오 시스루(video see-through)(비디오 패스 스루(video pass-through)로도 지칭됨) 디스플레이들 및 광학 시스루 디스플레이들을 포함한다. 비디오 시스루 및 광학 시스루 디스플레이들은 실세계 또는 물리적 객체들의 사용자의 시각적 인지를 향상시키는 데 사용될 수 있다. 비디오 시스루 시스템에서는, (예컨대, 라이브 비디오에서 증강된 또는 향상된 하나 이상의 객체들을 포함하여) 실세계 시나리오의 라이브 비디오가 디스플레이된다. 비디오 시스루 시스템은 모바일 디바이스(예컨대, 휴대폰 디스플레이 상의 비디오), HMD, 또는 비디오 및 컴퓨터 생성 객체들을 비디오 위에 디스플레이할 수 있는 다른 적절한 디바이스를 사용하여 구현될 수 있다.
AR 특징부들을 갖는 광학 시스루 시스템은 (예컨대, 실세계 장면의 비디오 콘텐츠를 디스플레이하지 않고서) AR 콘텐츠를 실세계 장면의 뷰 상에 직접 디스플레이할 수 있다. 예를 들어, 사용자는 디스플레이(예컨대, 안경 또는 렌즈)를 통해 실세계 장면 내의 물리적 객체들을 볼 수 있고, AR 시스템은 디스플레이에 (예컨대, 투사된 또는 달리 디스플레이된) AR 콘텐츠를 디스플레이하여, 하나 이상의 실세계 객체들의 향상된 시각적 인지를 사용자에게 제공할 수 있다. 광학 시스루 AR 시스템들 또는 디바이스들의 예들은, AR 안경, HMD, 다른 AR 헤드셋, 또는 각각의 눈 앞의 렌즈 또는 안경(또는 양쪽 눈 위의 단일 렌즈 또는 안경)을 포함하여 사용자가 물리적 객체들과 함께 실세계 장면을 직접 볼 수 있도록 허용하면서, 또한 그러한 객체의 향상된 이미지 또는 추가적인 AR 콘텐츠가 디스플레이 상에 투사되어 실세계 장면에 대한 사용자의 시각적 인지를 증강할 수 있도록 하는 다른 유사한 디바이스이다.
VR은 실세계 환경의 가상 버전을 묘사하는 3차원 컴퓨터 생성 VR 환경 또는 비디오에서 완전한 몰입형 경험을 제공한다. VR 환경은 실제처럼 보이거나 물리적인 방식으로 상호 작용될 수 있다. VR 환경을 경험하는 사용자가 실세계에서 움직임에 따라, 가상 환경에서 렌더링된 이미지도 또한 변경되어, 사용자가 VR 환경 내에서 움직이고 있다는 인식을 사용자에게 제공한다. 예를 들어, 사용자는 좌측 또는 우측으로 돌거나, 위 또는 아래를 보거나, 및/또는 앞으로 및 뒤로 움직여, VR 환경의 사용자의 관점을 변경할 수 있다. 사용자에게 제시되는 VR 콘텐츠가 그에 따라 변경될 수 있어, 사용자의 경험은 실세계에서만큼 끊김없게(seamless) 된다. VR 콘텐츠는 일부 경우들에 VR 비디오를 포함할 수 있으며, 이것은 매우 높은 품질로 캡처 및 렌더링되어, 잠재적으로, 진정한 몰입형 가상 현실 경험을 제공할 수 있다. 가상 현실 애플리케이션들은 특히 게이밍, 트레이닝, 교육, 스포츠 비디오, 온라인 쇼핑을 포함할 수 있다. VR 콘텐츠는 VR 경험 중에 사용자의 눈을 완전히 가리는 VR HMD 또는 기타 VR 헤드셋과 같은 VR 시스템 또는 디바이스를 사용하여 렌더링되고 표시될 수 있다.
MR 기술은 VR과 AR의 양태들을 결합하여 사용자에게 몰입형 경험을 제공할 수 있다. 예를 들어, MR 환경에서 실제 세계와 컴퓨터 생성 객체는 상호 작용할 수 있다(예컨대, 실제의 사람은 가상의 사람이 실제의 사람인 것처럼 가상의 사람과 상호 작용할 수 있음).
차량들 및 모바일(휴대용 및/또는 웨어러블) 디바이스들, 예컨대 XR 디바이스들(예컨대, 증강 현실(AR) 또는 혼합 현실(MR) 디바이스들, 가상 현실(VR) 디바이스들 등), 네트워킹/통신 능력들을 갖는 웨어러블 디바이스들, 스마트 폰들, 개인용 컴퓨팅 디바이스들, 등으로부터의 데이터, 기능들, 액션들, 및/또는 디바이스 능력들을 통합하기 위한 시스템들, 장치들, 방법들(프로세스들로도 지칭됨), 및 컴퓨터 판독가능 매체(총괄하여, 본 명세서에서 "시스템들 및 기법들"로 지칭됨)가 본 명세서에 설명된다. 일부 예들에서, 본 명세서에 설명된 시스템들 및 기법들은 XR 디바이스(예컨대, AR 디바이스, MR 디바이스 등) 및/또는 차량으로부터의 데이터 및/또는 기능들을 사용하여 차량의 탑승자에게 보조를 제공할 수 있다. 예를 들어, 일부 경우들에서, 본 명세서에 설명된 시스템들 및 기법들은 증강 현실 보조를 위한 차량 대 디바이스(예컨대, 차량 대 모바일 컴퓨팅 디바이스) 인터페이스를 차량의 탑승자에게 제공할 수 있다.
일부 예들에서, 차량은, 차량 내부의 프레임들 및/또는 차량 외부의 영역(들)(예컨대, 차량 주변환경들)을 캡처할 수 있는 카메라들을 포함할 수 있다. 프레임들은 다양한 목적들, 예컨대 다른 목적들 중에서도, 도로 조건들을 결정하거나 또는 인식하기 위해; 차량 내의 사람(들)의 아이덴티티를 인식하기 위해; 차량에 근접하는 다른 차량들, 객체들, 보행자들, 및/또는 장애물들을 식별하기 위해; 차량과 연관된 환경(예컨대, 차량의 외부 환경, 차량의 내부 환경 등)에서의 활동들 및/또는 이벤트들을 결정하고/하거나 인식하기 위해 프로세싱될 수 있다. 차량은 또한 다양한 조건들을 측정하고/하거나 결정하기 위해 다른 유형들의 센서 시스템들을 포함하고/하거나 구현할 수 있다. 예를 들어, 일부 경우들에서, 차량은 하나 이상의 RADAR(radio detection and raging) 시스템들, 관성 측정 유닛(inertial measurement unit, IMU)들, LIDAR(light detection and ranging) 시스템들, 초음파 센서들, 라디오 주파수(RF) 센서들, SONAR(sound navigation and ranging) 시스템들, EmDAR(electromagnetic detection and ranging) 시스템들, SODAR(sound detection and ranging) 시스템들, 글로벌 내비게이션 위성 시스템(global navigation satellite system, GNSS) 수신기 시스템들(예컨대, 하나 이상의 글로벌 포지셔닝 시스템(GPS) 수신기 시스템들), 가속도계들, 자이로스코프들, 속도 센서들, 적외선 센서 시스템들, 레이저 거리 측정기 시스템들, 초음파 센서 시스템들, 초저주파 센서 시스템들, 마이크로폰들, 이들의 임의의 조합, 및/또는 다른 센서 시스템들을 포함하고/하거나 구현할 수 있다.
XR 디바이스(예컨대, 헤드 마운트 디스플레이 AR 디바이스, AR 스마트 안경, 또는 다른 XR 디바이스)와 같은 모바일 디바이스는 또한, 이미지들 및/또는 비디오를 캡처할 수 있는 하나 이상의 카메라들을 포함할 수 있다. 예를 들어, AR 디바이스는 물리적 환경 내의 AR 디바이스 및 다른 객체들의 포지션을 결정하고/하거나 추적하기 위해 카메라들 및 다양한 센서들을 구현할 수 있다. AR 디바이스는 추적 정보를 사용하여, AR 디바이스의 사용자에게 현실적인 AR 경험을 제공할 수 있다. 예를 들어, AR 디바이스는, 사용자가 몰입형 가상 환경들 또는 콘텐츠를 경험하거나 또는 그와 상호작용하게 할 수 있다. 상기에 언급된 바와 같이, 현실적인 AR 경험들을 제공하기 위해, AR 기술들은 대체적으로 가상 콘텐츠를 물리적 세계와 통합하는 것을 목표로 한다. 일부 예들에서, AR 디바이스는 하나 이상의 센서들로부터의 추적 정보를 사용하여, 실세계 환경의 디바이스들, 객체들, 및/또는 맵들의 상대적 포즈를 계산하여 디바이스들, 객체들, 및/또는 실세계 환경의 상대적 포지션 및 움직임을 매칭시킬 수 있다. 하나 이상의 디바이스들, 객체들, 및/또는 실세계 환경의 포즈 및/또는 움직임을 사용하여, AR 디바이스는 설득력 있는 방식으로 실세계 환경에 콘텐츠를 앵커링할 수 있다. 상대적 포즈 정보는 가상 콘텐츠를 사용자의 인지된 모션 및 디바이스들, 객체들, 및 실세계 환경의 시공간 상태와 매칭시키는 데 사용될 수 있다.
XR 디바이스(예컨대, AR 디바이스)의 사용자는 때때로, 사용자가 차량 내에 있는 동안(예컨대, 사용자가 차량을 운전하고 있는 동안 또는 차량 내의 승객으로서) XR 디바이스를 착용할 수 있다. 예를 들어, 일부 경우들에서, 사용자는 차량을 동작시키는(예컨대, 운전하는) 동안 AR 디바이스를 착용할 수 있다. 일부 경우들에서, AR 디바이스를 착용하고 차량을 동작시키는 사용자(예컨대, 운전자)는, 예를 들어, 주의산만과 같은 하나 이상의 조건들에 의해 손상될 수 있다. 다시 말하면, 차량을 동작시키는 사용자의 능력은 그러한 조건들에 의해 손상될 수 있다. 주의산만은 사용자 외부의 원인과 같은 다양한 것들에 의해 야기될 수 있다. 예를 들어, 사용자는 AR 디바이스에 의해 렌더링된 가상 콘텐츠(예컨대, 이메일 통지들, 전세계적인(world-locked) 가상 광고판들 또는 표지판들, 애플리케이션 콘텐츠, 비디오 및/또는 이미지 콘텐츠, 인터페이스 콘텐츠 등), 차량의 외부 환경에서 발생하는 객체들 및/또는 활동, 차량 내부에서 발생하는 객체들 및/또는 이벤트들, 차량의 다른 탑승자들, 생각 및/또는 부주의(예컨대, 몽상 등), (예컨대, 차량 내부의 그리고/또는 그 외부의) 사운드 또는 소음, 사용자 디바이스들 등에 의해 산만해질 수 있다.
그러한 주의산만들 없이도, 차량의 탑승자(예컨대, 운전자)는 대체적으로 다른 손상들을 겪을 수 있다. 다른 손상들은 소정의 물리적 및/또는 개인적 제한들 및/또는 예를 들어, 제한된 지각, 제한된 주의, 실세계 이벤트들 및 조건들, 수면 부족, 중독, 건강 조건들 등과 같은 조건들을 포함할 수 있고/있거나 그들에 기인할 수 있다. 예를 들어, AR 디바이스를 착용한 차량의 탑승자(예컨대, 운전자)는 탑승자의 시점 또는 시야에서 차량의 주변의 소정 영역들/뷰들(예컨대, 차량 뒤 영역, 차량 아래 영역, 차량 외부에 가까운 영역, 하나 이상의 객체들 및/또는 조건들(예컨대, 불량한 조명 등)에 의해 가려지는/방해되는 영역, 차량 위 영역, 차량에서 소정 거리 떨어진 영역 등)을 보기가 어려울 수 있다. 더욱이, 정체된 물, 얼음, 하나 이상의 차량 조명들(예컨대, 헤드라이트, 안개등, 오프로드 조명, 비상등, 신호등, 주간 주행등, 후진등, 미등, 브레이크등 등)이 도달할 수 없는 방해물 등과 같은 소정의 도로 조건들은 차량의 탑승자가 볼 수 없을 수 있거나 또는 보기 어려울 수 있다. 차량의 탑승자는 또한 통과하는 차량, 보행자, 주변 활동/이벤트들, 내비게이션 경보 등과 같은 소정의 이벤트들 및 객체들에 의해 산만해질 수 있다. 일부 경우들에서, 그러한 손상들은, 차량을 안전하게 동작시키거나 또는 운전 조건들에 응답하는 운전자의 능력을 막거나 또는 방해할 수 있다.
일부 양태들에서, 본 명세서에 설명된 시스템들 및 기법들은, 차량 및 XR 디바이스(예컨대, AR 디바이스)가 서로 인터페이싱하게, 예컨대 차량 및 XR 디바이스로부터의 데이터, 기능들, 액션들, 및/또는 디바이스 능력들을 공유/통합하게 할 수 있다. 서로 인터페이싱하고 데이터를 공유/통합하는 것은, 차량 및 XR 디바이스(예컨대, AR 디바이스)가, 예를 들어, 차량의 운전자/운영자, 차량 승객 등과 같은 차량의 탑승자에 대한 보조를 제공하게 할 수 있다. 일부 예들에서, XR 디바이스(예컨대, AR 디바이스)는 차량 및/또는 XR 디바이스 상의 하나 이상의 센서들로부터의 데이터를 사용하여, 차량 내에서(예컨대, 차량 객실과 같은 차량의 내부 부분 내에서) 그 자신을 로컬화할 수 있다(예컨대, 그의 포지션 및/또는 배향, 대체적으로 그의 포즈를 결정함). 일부 경우들에서, XR 디바이스는, 차량내 랜드마크들/마커들(예컨대, 차량 내부의 빠른 응답(quick response, QR) 코드들, 차량 내부의 조명들, 차량 내부의 객체들(예컨대, 문, 창문, 좌석, 머리받침대, 대시보드 컴포넌트들), 차량 제어 시스템들(예컨대, 조향 휠, 혼(horn), 시그널링 시스템 등), 차량 내부의 패턴들, 차량 내부의 형상들, 등)의 이미징 기반(예컨대, 시각 기반(vision-based)) 및/또는 (예컨대, 오디오 빔포밍을 통한) 오디오 기반 로컬화를 수행할 수 있는 로컬화 프로세스를 구현할 수 있다. 로컬화 프로세스는 그러한 차량내 랜드마크들/마커들을 사용하여, 차량 내에서 XR 디바이스를 로컬화할 수 있다. 예를 들어, 로컬화 프로세스는 차량내 랜드마크들/마커들을 사용하여, XR 디바이스 및/또는 차량의 좌표계에 대한 XR 디바이스의 포즈를 결정할 수 있다.
일부 경우들에서, 로컬화 프로세스는 하나 이상의 카메라들, 라디오 인터페이스들, 초음파 센서들, 레이더들 등과 같은 XR 디바이스(예컨대, AR 디바이스) 상의 하나 이상의 디바이스들(예컨대, 센서들, 방출기들, 트랜시버들, 이미징 디바이스들 등)로부터의 데이터에 기초하여 차량내 랜드마크들을 검출할 수 있다. 예컨대, 하나 이상의 IMU들로부터의 보조 센서 데이터가 XR 디바이스의 포즈를 추적하는 데 사용될 수 있다. 일부 경우들에서, 로컬화 프로세스는 차량 템플릿을 사용하여, 차량 템플릿에 특정된 그리고 전술된 바와 같이 검출된 하나 이상의 차량내 랜드마크들에 대한 XR 디바이스의 포지션을 결정할 수 있다. 예를 들어, 로컬화 프로세스는 차량 템플릿을 사용하여, 그것이 로컬화를 위해 사용할 수 있는 하나 이상의 차량내 랜드마크들을 식별할 수 있다. 일부 경우들에서, 차량 템플릿은 하나 이상의 차량내 랜드마크들의 포지션 및/또는 배향 정보와 같은 좌표들을 특정할 수 있고, 이를 로컬화 프로세스가 사용하여 XR 디바이스(예컨대, AR 디바이스) 및/또는 차량의 좌표계에 대해 그 자신을 로컬화할 수 있다. 예를 들어, 로컬화 프로세스는 전술된 바와 같은 하나 이상의 디바이스들(예컨대, 센서들, 방출기들, 트랜시버들 등)로부터의 데이터를 사용하여, 차량 템플릿에서 식별된 하나 이상의 차량내 랜드마크들을 검출할 수 있다. 차량 템플릿은 하나 이상의 차량내 랜드마크들의 좌표를 특정할 수 있으며, 이는 차량의 좌표계에 대한 하나 이상의 차량내 랜드마크들의 포지션 및/또는 배향을 정의할 수 있다. 차량 템플릿은 차량 특정적이거나 또는 차량 모델, 제조사, 시리즈, 클래스, 또는 이들의 조합에 특정적일 수 있다. 로컬화 프로세스는 차량 템플릿에 특정된 좌표들을 사용하여, XR 디바이스(예컨대, AR 디바이스)에 의해 검출된 하나 이상의 차량내 랜드마크들의, 차량의 좌표계에 대한 포지션 및/또는 배향을 결정할 수 있다. 로컬화 프로세스는 차량의 좌표계에 대한 하나 이상의 차량내 랜드마크들의 위치 및/또는 배향을 XR 디바이스의 좌표계에 대한 위치 및/또는 배향으로 변환하고, 병진시키고, 그리고/또는 상관시킬 수 있다. XR 디바이스(예컨대, AR 디바이스)는 하나 이상의 차량내 랜드마크들과 연관된 위치 및/또는 배향 정보를 사용하여, 차량 내의 그리고 차량의 좌표계 및/또는 XR 디바이스의 좌표계에 대한 XR 디바이스의 포즈를 이해하고, 결정하고, 그리고/또는 추적할 수 있다.
일부 양태들에서, XR 디바이스는 차량의 스테이터스, 탑승자의 포지션/배향, XR 디바이스에 의해 렌더링된 가상 콘텐츠, XR 디바이스 상의 하나 이상의 카메라들을 사용한 눈 추적, 관성 센서 데이터, 오디오 센서 데이터, 레이더 데이터, 라디오 신호들 등에 기초하여, 손상에 대해 사용자를 모니터링할 수 있는 운전자 모니터링 프로세스와 같은 탑승자 모니터링 프로세스를 구현할 수 있다. 일부 예들에서, XR 디바이스는 차량 및 탑승자 모니터링 프로세스로부터의 스테이터스에 기초하여 가상 콘텐츠를 필터링하거나 또는 가상 콘텐츠가 탑승자(예컨대, 운전자 또는 승객)에게 제시되는 것을 차단할 수 있는 가상 콘텐츠 필터링 프로세스를 포함할 수 있다. 차량 사용자 인터페이스 프로세스는, 예를 들어, 차량 및 탑승자 모니터링 프로세스로부터의 스테이터스에 기초하여 사용자 인터페이스 엘리먼트들을 렌더링할 수 있다.
일부 경우들에서, 차량은 차량, 차량의 탑승자, 및/또는 차량의 주변환경들에 관련된 스테이터스 및/또는 이벤트들을 인식하고 모니터링할 수 있는 차량 모니터링 프로세스를 구현할 수 있다. 차량 모니터링 프로세스는 (예컨대, 무선 라디오 링크를 통해) 차량과 무선 통신하는, 예컨대 페어링되는 XR 디바이스(예컨대, AR 디바이스)로 그러한 조건들/이벤트들에 관한 데이터를 전송할 수 있다. XR 디바이스는 탑승자 모니터링 프로세스, 가상 콘텐츠 필터링 프로세스, 차량 사용자 인터페이스 프로세스 등에 대해 그러한 데이터를 사용할 수 있다. 일부 예들에서, 차량은 XR 디바이스에 의해 검출된 탑승자 조건들 및/또는 활동과 같은, XR 디바이스에 의해 생성된 탑승자(예컨대, 운전자) 모니터링 이벤트들에 기초하여 차량 동작 및/또는 자율 주행 정책을 변경할 수 있는 이벤트 완화 프로세스를 구현할 수 있다.
이전에 언급된 바와 같이, 일부 경우들에서, XR 디바이스(예컨대, AR 디바이스)의 차량내 로컬화 프로세스는 XR 디바이스가 차량 내의 XR 디바이스의 포즈를 이해하게 할 수 있다. XR 디바이스는 로컬화 프로세스를 사용하여, 차량의 좌표계에 대한 그리고/또는 그것 내에서 그의 포즈를 결정할 수 있다. 예를 들어, 차량 기반 센서들 및/또는 명령들로부터의 데이터 및/또는 이벤트들을 렌더링하기 위해, XR 디바이스는 로컬화 프로세스를 사용하여, 차량의 좌표계에 대한 XR 디바이스의 포즈의 일반적인 이해를 획득할 수 있다. 일부 경우들에서, 로컬화 프로세스는 차량의 좌표계로부터 XR의 좌표계로의 변환을 수행할 수 있다. 일부 경우들에서, XR 디바이스가 차량 내에서 그 자신을 로컬화하고/하거나 3차원(3D) 공간에서 차량의 내부를 맵핑하는 것을 돕기 위해, 차량은 차량 템플릿을 XR 디바이스에 제공할 수 있다. 차량 템플릿은, 예를 들어 그리고 제한 없이, 하나 이상의 차량내 랜드마크들의 시각적, IR, 및/또는 RF 디스크립터들을 포함할 수 있다. 차량내 랜드마크들의 비제한적 예들은, 다른 것들 중에서도, 차량의 내부 부분(예컨대, 객실) 내의 객체 또는 영역(예컨대, 객실 내의 객체/영역, 전면 유리 상의 영역, 대시보드 상의 객체/영역, 문 상의 객체/영역, 좌석 상의 객체/영역 등)에 부착된 시각적 패턴들(예컨대, QR 코드, 교정 패턴들, 예컨대 체커보드 패턴들, 탁본들/각인들, 패턴화된 재료들, 라벨들 등), 차량의 내부 부분 내의 객체 및/또는 영역에 부착된 활성 조명(예컨대, 발광 다이오드(LED)들, 등), 차량의 내부 부분의 부동 엘리먼트(예컨대, 계기판(instrument cluster), 대시보드의 모서리(들), 창문(들) 및/또는 전면 유리의 모서리(들), 차량의 지붕, 차량의 센터 콘솔, 등), 차량의 본체로부터의 알려져 있는 포지션/오프셋을 갖는 차량의 내부 부분의 이동가능 엘리먼트(예컨대, 승객 좌석(들), 조향 휠, 등)를 포함할 수 있다. 일부 예들에서, 차량 템플릿은 차량의 좌표계에 대한 차량내 랜드마크들의 위치 및/또는 배향을 포함/특정할 수 있다.
XR 디바이스(예컨대, AR 디바이스)의 로컬화 프로세스는 차량내 랜드마크들/마커들, 시각적, IR 및/또는 RF 디스크립터들, 및 위치 및/또는 배향 정보를 사용하여, 차량내 랜드마크들 및 차량의 좌표계에 대해 그 자신을 로컬화할 수 있다. 예를 들어, XR 디바이스의 하나 이상의 카메라들을 사용하여, XR 디바이스는 차량 템플릿에 특정된 차량내 랜드마크들에 대해 (연속적으로) 검색하고, 차량내 랜드마크들 및 (더 나아가) 차량에 대해 그 자신을 로컬화하기 위해 로컬화 프로세스를 구현할 수 있다. 일부 경우들에서, XR 디바이스는 또한, 예를 들어, WiFi 디바이스, 블루투스 디바이스, 초음파 디바이스, IMU 등과 같은 로컬화를 돕기 위한 다른 센서들/디바이스들을 사용할 수 있다.
차량 모니터링 프로세스는 XR 디바이스(예컨대, AR 디바이스), 차량, 및/또는 하나 이상의 주변환경들 등의 스테이터스를 모니터링할 수 있다. 차량 모니터링 프로세스는 차량 및 그의 주변환경들, 운전 조건들, 도로 조건들, 차량 조건들 등과 관련된 이벤트들을 인식할 수 있다. 차량 모니터링 프로세스는 이들 이벤트들에 관한 데이터를 XR 디바이스로 전송할 수 있고, XR 디바이스는 탑승자 모니터링 프로세스, 가상 콘텐츠 필터링 프로세스, 차량 사용자 인터페이스 프로세스 등을 위해 이를 사용할 수 있다. 차량 모니터링 프로세스에 의해 XR 디바이스에 제공된 데이터의 비제한적 예들은 계측 판독치들; 센서 데이터(예컨대, 카메라 데이터, RADAR 데이터, SONAR 데이터, SODAR 데이터, EmDAR 데이터, GNSS 데이터, LIDAR 데이터, IMU 데이터, GPS 데이터 등), 차량의 경로 내의 조건들을 나타내는 인터넷 데이터(예컨대, 날씨 조건들, 교통 조건들, 도로 조건들 등), 내비게이션 정보 등을 포함할 수 있다. 일부 예들에서, 센서 데이터는, XR 디바이스에 제공되기 전에, 예컨대 이미지 프로세싱, 센서 융합, 객체/대상 검출 등을 적용함으로써 차량에 의해 사전 프로세싱될 수 있다. 일부 예들에서, 적어도 일부 센서 데이터가 프로세싱되지 않은 상태로 XR 디바이스에 제공될 수 있다.
일부 예들에서, 센서 데이터는 차량의 상태 또는 스테이터스, 예컨대, 차량의 동작 상태, 차량의 모션 상태, 자율 주행 정책, 차량 관련 이벤트, 예컨대 차량 컴포넌트 또는 센서 트리거형 경보의 오작동, 및 이들의 조합, 차량의 경로 내의 또는 이에 접근하는 객체 또는 방해물의 존재(예컨대, 일부 경우들에서는, 긍정적 예 및 부정적 예에 대해 훈련된 머신 학습 분류기를 통해 결정됨), 차량의 경로 내의 또는 그에 접근하는 보행자의 존재(예컨대, 일부 경우들에서는, 긍정적 예 및 부정적 예에 대해 훈련된 머신 학습 분류기를 통해 결정됨), 차량의 경로 내의 무언가(예컨대, 포트홀, 사고, 동물, 고르지 않은 도로 부분들, 차선 표시들, 등)의 존재(예컨대, 일부 경우들에서는, 긍정적 예 및 부정적 예에 대해 훈련된 머신 학습 분류기를 통해 결정됨), 차량의 경로 뒤의 또는 그 근처의 객체(예컨대, 비상 차량 등)의 존재(예컨대, 일부 경우들에서는, 긍정적 예 및 부정적 예에 대해 훈련된 머신 학습 분류기를 통해 결정됨) 등을 나타낼 수 있다. 일부 경우들에서, 센서 데이터는 차량의 경로를 따른 교통 통제들(예컨대, 정지 신호, 정지등, 등)(예컨대, 일부 경우들에서, 긍정적 예 및 부정적 예에 대해 훈련된 머신 학습 분류기를 통해 결정됨), 차량이 차선 표시들을 위반하고 있다는 것(예컨대, 일부 경우들에서, 긍정적 예 및 부정적 예에 대해 훈련된 머신 학습 분류기를 통해 결정됨), 차량이 속도 제한을 초과하고 있다는 것(예컨대, 일부 경우들에서, 차량의 속도계 및 속도 제한 구역들의 데이터베이스에 기초하여 결정됨) 등을 나타낼 수 있다.
일부 경우들에서, 차량 모니터링 프로세스는 XR 디바이스(예컨대, AR 디바이스)에 차량 대 사물(V2X)(예컨대, 차량 대 차량(V2V), 차량 대 인프라구조(V2I) 등) 데이터 및/또는 이벤트들을 제공할 수 있다. 차량 모니터링 프로세스가 XR 디바이스에 제공할 수 있는 V2X 데이터의 비제한적인 예들은, 차량의 경로 내의 방해물의 존재를 나타내는 V2X 데이터, 차량의 경로 내의 또는 그에 접근하는 보행자의 존재를 나타내는 V2X 데이터, 차량의 경로 내의 무언가(예컨대, 포트홀, 동물, 객체 등)의 존재를 나타내는 V2X 데이터, 차량의 경로 뒤의 또는 그 근처의 비상 차량의 존재를 나타내는 V2X 데이터, 차량의 경로를 따른 교통 통제들(예컨대, 정지 신호, 정지등, 등)의 존재를 나타내는 V2X 데이터, 차량이 차선 표시들을 위반하고 있음을 나타내는 V2X 데이터, 차량이 속도 제한을 초과하고 있음을 나타내는 V2X 데이터, 차량의 경로 내의 소정 조건들(예컨대, 날씨 조건들, 도로 조건들, 교통 조건들, 사고 등)의 존재를 나타내는 V2X 데이터 등을 포함한다.
일부 예들에서, 탑승자 모니터링 프로세스는 차량으로부터의 이벤트 데이터 및/또는 스테이터스 정보, XR 디바이스(예컨대, AR 디바이스)에 의해 렌더링된 가상 콘텐츠, 탑승자의 포지션/배향, 사용자 활동(예컨대, 제스처들, 움직임 등), 눈 추적, 관성 센서 데이터, 오디오 데이터(예컨대, 스피치 데이터, 음향 데이터, 음파 등), 사용자 머리 포즈 등에 기초하여 손상에 대해 사용자/탑승자를 모니터링할 수 있다. 일부 경우들에서, 탑승자(예컨대, 운전자, 승객 등) 손상은 차량 스테이터스 및/또는 XR 디바이스에 의해 렌더링된 가상 콘텐츠와는 독립적으로 검출될 수 있다. 예를 들어, 일부 경우들에서, 탑승자 손상은, 예를 들어, 눈 추적, 관성 감지, 심박수 정보, 온도 데이터와 같은 센서 데이터 및/또는 센서 데이터 프로세싱을 사용하여 검출될 수 있다. 일부 경우들에서, 눈 추적, 관성 감지, 심박수 정보, 온도 데이터 등은 졸음, 중독, 건강 응급사태(예컨대, 발작, 심장 마비, 의식 상실 등), 스트레스 또는 고조된 감정 상태들, 일반적인 부주의/주의산만 등을 나타낼 수 있다(예컨대, 일부 경우들에서, 긍정적 예 및 부정적 예에 대해 훈련된 머신 학습 분류기를 통해 결정됨). 일부 경우들에서, 손상은 가상 콘텐츠, 차량 스테이터스 정보, 및/또는 센서 데이터의 조합을 사용하여 검출될 수 있다. 예를 들어, 일부 경우들에서, 탑승자 손상은, 탑승자의 눈 시선이 소정의(구성가능한) 기간 동안 가상 콘텐츠에 포커싱하고 있음을 나타내는 눈 추적 데이터, 차량 이벤트 모니터가 임박한 이벤트 또는 객체(예컨대, 방해물, 보행자, 포트홀, 동물 등)를 검출할 때 탑승자의 시선이 다른 곳에 포커싱하고 있음을 나타내는 눈 추적 데이터, 탑승자의 시선의 광선 추적, 차량 템플릿, 보고된 차량 이벤트에서의 위치 정보, 탑승자의 포지션 및/또는 움직임을 나타내는 센서 데이터 등에 기초하여 검출될 수 있다.
일부 경우들에서, XR 디바이스는 XR 디바이스에 의해 탑승자에게 제시된 가상 콘텐츠를 (예컨대, 가상 콘텐츠 필터링 프로세스 및/또는 사용자 인터페이스 프로세스를 통해) 변조/수정할 수 있다. 예를 들어, XR 디바이스는, 탑승자가 손상되었다는 탑승자 모니터링 프로세스에 의한 결정, 차량 이벤트가 임박하거나 또는 발생 중이라는 차량 모니터링 프로세스로부터의 보고, 탑승자에 의해 요청된 가상 콘텐츠가 소정의 운전 및/또는 관련 이벤트들로부터 멀리 탑승자를 산만하게 할 수 있다는 결정 등에 응답하여 가상 콘텐츠를 변조할 수 있다. 일부 예들에서, XR 디바이스는, 필요에 따라 마킹된 가상 콘텐츠의 서브세트(예컨대, 헤드업 디스플레이(HUD) 콘텐츠, 차량 계측 콘텐츠 등)를 제외한 모든 가상 콘텐츠, (예컨대, 일부 경우들에서는, 탑승자의 시선의 광선 추적 및/또는 탑승자의 시선을 캡처하는 이미지 데이터에 기초하여 결정된) 탑승자가 포커싱하고 있는 가상 콘텐츠의 임의의 부분, (예컨대, 일부 경우들에서는, XR 디바이스로부터 차량 이벤트의 위치로의 광선 추적, 차량 템플릿, 및/또는 보고된 차량 이벤트에서의 정보에 기초하여 결정된) 차량 이벤트를 모호하게 하고 있는 임의의 가상 콘텐츠, 등의 투명도를 디스에이블하거나, 디밍(dimming)하거나, 또는 증가시킴으로써 가상 콘텐츠를 변조할 수 있다.
일부 경우들에서, 산만한 가상 콘텐츠를 디스에이블하는 것에 더하여, AR 디바이스는 다른 가상 콘텐츠를 렌더링하여 손상된 탑승자를 고무시키고/시키거나 임박한 또는 발생 중인 차량 이벤트를 강조할 수 있다. 일부 예들에서, XR 디바이스는 탑승자의 시야(FOV)의 에지를 펄싱하고, 디스플레이된 이미지/비디오에서 차량 이벤트의 위치에 원을 그리거나 또는 이를 하이라이트하고, 헤드 고정 화살표들을 렌더링하고, 탑승자의 시각의 주변을 펄싱하고, 차량 이벤트의 방향으로 탑승자의 머리 및/또는 시선의 방향을 바꾸도록 다른 방향 표시자들을 사용하고, 차량 이벤트의 위치 근처의 차량 카메라 피드(예컨대, 백업 카메라, 사이드뷰 카메라 등)를 스트리밍하고, 차량 스테이터스(예컨대, 계측정보 등)를 헤드 고정 HUD 또는 전세계적인 사용자 인터페이스(UI) 엘리먼트로서 스트리밍하고, 차량의 영역(예컨대, 차량 벽 등)에 고정된 랩핑된 그리고/또는 원근 보정된 외부 뷰를 렌더링하여, 차량이 투명하거나 반투명하게 보이게 하고 차량 이벤트가 가시적이게 하고, 가상 콘텐츠를 렌더링하여 산만한 실세계 콘텐츠(예컨대, 광고판들, 사고들 등)를 대체할 수 있다. 일부 경우들에서, 그러한 가상 콘텐츠는 이미지들의 데이터베이스로부터 합성 또는 "딥페이크형(deepfaked)" 가상 콘텐츠를 생성하도록 훈련된 심층 뉴럴 네트워크를 사용하여 렌더링되고, AR 디바이스 및/또는 차량에 의해 관찰된 스타일로 렌더링될 수 있다.
차량 모니터링 프로세스는, 이전에 설명된 바와 같이, 차량 이벤트들을 XR 디바이스(예컨대, AR 디바이스)로 전송할 수 있다. 유사하게, XR 디바이스의 탑승자 모니터링 프로세스는 탑승자 모니터링 이벤트들(예컨대, 손상 등)을 차량으로 전송할 수 있다. 일부 예들에서, 차량은 일부 자율 또는 반자율 주행 능력을 가질 수 있으며, 이는 XR 디바이스에 의해 생성된 탑승자 모니터링 이벤트들의 지식으로부터 이익을 얻을 수 있다. 차량은 그러한 이벤트들을 자율 주행 정책 또는 능력의 일부로서 사용할 수 있다. 예를 들어, 탑승자(예컨대, 운전자)의 손상을 나타내는 탑승자 모니터링 이벤트를 수신할 시에, 차량은 탑승자에게 경보하고/하거나 음주 운전과 연관된 소정 이벤트들 또는 위험들을 방지하기 위한 자율 능력에 참여하고, 이미 참여된 자율 능력의 레벨 또는 신뢰도를 증가시키는 등을 할 수 있다. 일부 예들에서, 건강 응급사태를 나타내는 탑승자 모니터링 이벤트를 수신할 시에, 차량은 차량을 안전하게 정지시키거나 또는 보조를 위한 소정 위치(예컨대, 병원, 진료소 등)로 진행하는 자율 능력에 참여할 수 있다. 일부 경우들에서, 차량은, 시간이 경과함에 따라, 어느 차량 및/또는 세계 이벤트들이 특정 운전자 상태들(예컨대, 특정 손상들 등)과의 더 높은 상관관계를 갖는지를 학습하기 위해 온라인 또는 강화 학습 알고리즘을 사용하고, 그러한 정보를 사용하여 그러한 상황들을 처리하고/하거나 회피할 수 있다. 예를 들어, 탑승자가 종종 광고판들에 의해 산만해지는 경우, 차량은 속도를 감소시키거나 또는 광고판이 있는 환경들에서 더 강력하게 긴급 제동을 인에이블할 수 있다.
일부 경우들에서, XR 디바이스는 탑승자 모니터링 프로세스를 돕기 위해 탑승자의 하나 이상의 웨어러블 디바이스들로부터의 데이터를 사용할 수 있다. 웨어러블 디바이스는 탑승자 모니터링을 도울 수 있는 추가적인 그리고/또는 중복 센서 양식(modality)들을 가질 수 있다. 웨어러블 디바이스는 그러한 데이터(또는 관련 이벤트들의 요약문)를 XR 디바이스로 전송하여, 그의 탑승자 모니터링 프로세스를 도울 수 있다. 일부 예들에서, 웨어러블 디바이스는, 예를 들어, 관성 센서 데이터, 심박수 측정치들, 혈압 측정치들, 전기 피부 반응(galvanic skin response) 측정치들, ECG/EKG/EEG 데이터, 온도 데이터, 산소 레벨들, 모션 정보, 수면 추적 정보 등과 같은 XR 디바이스 센서 데이터를 전송할 수 있다. 일부 경우들에서, 웨어러블 디바이스로부터의 데이터는 졸음, 중독, 건강 응급사태, 스트레스, 고조된 감정 상태, 의식 상실 등과 같은 손상들을 나타낼 수 있고/있거나 (예컨대, 긍정적 예 및 부정적 예에 대해 훈련된 머신 학습 분류기를 통해) 이를 결정하는 데 사용될 수 있다.
일부 경우들에서, XR 디바이스는 차량으로부터의 탑승자 모니터링 정보를 획득할 수 있다. 예를 들어, 일부 경우들에서, 차량은 그 자신의 탑승자 모니터링 능력들/기능들을 포함할 수 있다. 일부 경우들에서, XR 디바이스는 (예컨대, 차량 프로세싱된 탑승자 모니터링 이벤트들을 전송하는 것에 더하여 또는 그 대신에) 차량의 탑승자 모니터링 시스템과의 융합된 프로세싱을 위해 XR 디바이스의 탑승자 모니터링 프로세스로부터의 원시(raw) 탑승자 모니터링 데이터를 차량으로 전송할 수 있다.
일부 경우들에서, 차량은 탑승자 모니터링 이벤트들을 인프라구조 및/또는 다른 차량들에게 전송하여, 운전자 이벤트들의 완화를 허용할 수 있다. 예를 들어, 차량은, 그의 운전자가 손상됨을 다른 차량들에게 보고하여 다른 차량들이 예방조치들을 취할 수 있게 하고, 그들의 자율 주행 정책을 변경하고(예컨대, 속도를 늦추고, 손상된 운전자에게 넓은 공간을 제공하는 등), 그들의 운전자들의 XR 디바이스에 알리는(예컨대, 이는, 일부 경우들에서는 이어서, 근처 차량에 손상된 운전자가 있음을 가상 콘텐츠로 하이라이트하거나 또는 달리 나타낼 수 있음) 등을 할 수 있다. 일부 경우들에서, 차량은, 그의 운전자가 손상됨을 보행자 횡단도로 인프라구조(예컨대, 그에 따라 교차 신호는, 보행자들이 손상된 운전자가 있는 차량 앞으로 횡단하는 것을 방지할 수 있는 등임)에, (예컨대, 보조 및/또는 보호를 위해) 법 집행기관에, 보행자의 XR 디바이스(예컨대, 그에 따라 보행자의 XR 디바이스는 손상된 운전자를 시그널링하는 가상 콘텐츠를 렌더링할 수 있는 등임)에 보고할 수 있다. 일부 경우들에서, 차량은 XR 디바이스와 관련하여 본 명세서에 설명된 가상 콘텐츠 중 임의의 것을 렌더링할 수 있다. 예를 들어, 차량은 XR 및/또는 모바일 디바이스와 관련하여 본 명세서에 설명된 바와 동일한 콘텐츠 및/또는 그와 같은 유형의 콘텐츠를 렌더링할 수 있다. 차량은 XR 디바이스에 의한 임의의 콘텐츠 렌더링에 더하여 또는 그 대신에 그러한 콘텐츠를 렌더링할 수 있다.
본 출원의 다양한 양태들이 도면들과 관련하여 설명될 것이다.
도 1은 모바일 디바이스(150)의 컴퓨팅 시스템(100)의 일례를 예시하는 도면이다. 모바일 디바이스(150)는 최종 사용자에 의해 사용될 수 있는 컴퓨팅 디바이스의 일례이다. 예를 들어, 모바일 디바이스(150)는 휴대용 디바이스, 모바일 폰, XR 디바이스(예컨대, HMD, 스마트 안경 등), 태블릿 컴퓨터, 랩톱 컴퓨터, 웨어러블 디바이스(예컨대, 스마트 워치 등), 연결형 또는 사물 인터넷(Internet-of-Things, IoT) 디바이스, 및/또는 무선 통신 네트워크를 통해 통신하기 위해 사용자에 의해 사용되는 임의의 다른 디바이스를 포함할 수 있다. 컴퓨팅 시스템(100)은 버스와 같은 통신 시스템(134)을 통해 전기적으로 또는 통신적으로 커플링될 수 있는(또는 그렇지 않으면, 적절하게 통신할 수 있는) 소프트웨어 및 하드웨어 컴포넌트들을 포함한다.
컴퓨팅 시스템(100)은 하나 이상의 센서 시스템들(102), 컴퓨트 컴포넌트들(110), 하나 이상의 입력 디바이스들(120)(예컨대, 마우스, 키보드, 터치 감응형 스크린, 터치 패드, 키패드, 마이크로폰, 제어기 등), 하나 이상의 출력 디바이스들(122)(예컨대, 하나 이상의 디스플레이들, 스피커, 발광 디바이스, 프린터, 프로젝터 등), 하나 이상의 모뎀들(126), 하나 이상의 무선 트랜시버들(128), 하나 이상의 안테나들(130), 및/또는 하나 이상의 메모리 디바이스들(132)을 포함할 수 있다. 일부 경우들에서, 컴퓨팅 시스템(100)은 선택적으로 하나 이상의 SIM들(124)을 포함할 수 있다. 컴퓨팅 시스템(100)은 컴퓨팅 시스템(100)의 컴포넌트들 사이에서 데이터를 전달할 수 있는 통신 시스템(134)(예컨대, 버스)을 포함할 수 있다. 일부 예들에서, 하나 이상의 출력 디바이스들(122)은 HMD, 스마트 안경 등과 같은 모바일 디바이스(150)의 좌측 및 우측 디스플레이를 포함할 수 있다. 일부 예들에서, 하나 이상의 출력 디바이스(122)는 스마트폰, 스마트 워치 등과 같은 모바일 디바이스(150)의 후방 디스플레이 및/또는 전방 디스플레이를 포함할 수 있다. 일부 경우들에서, 하나 이상의 출력 디바이스들(122)은 하나 이상의 프로젝터들과 같은 하나 이상의 광학 디바이스들을 포함할 수 있다.
일부 예들에서, 통신 시스템(134)은 하나 이상의 센서 시스템들(102), 컴퓨트 컴포넌트들(110), 하나 이상의 입력 디바이스들(120), 하나 이상의 출력 디바이스들(122), 하나 이상의 모뎀들(126), 하나 이상의 무선 트랜시버들(128), 하나 이상의 안테나들(130), 및/또는 하나 이상의 메모리 디바이스들(132)을 상호연결할 수 있다. 예를 들어, 일부 경우들에서, 컴퓨트 컴포넌트들(110)은 통신 시스템(134)을 사용하여, 예를 들어, 하나 이상의 센서 시스템들(102), 하나 이상의 입력 디바이스들(120), 하나 이상의 출력 디바이스들(122), 하나 이상의 SIM들(124), 하나 이상의 모뎀들(126), 하나 이상의 무선 트랜시버들(128), 하나 이상의 안테나들(130), 및/또는 하나 이상의 메모리 디바이스들(132)과 같은 컴퓨팅 시스템(100)의 임의의 디바이스들/컴포넌트들과 그리고/또는 프로세싱 프로세서들/코어들 사이에서 통신할 수 있다.
컴퓨트 컴포넌트들(110)은, 예를 들어, 하나 이상의 중앙 프로세싱 유닛(central processing unit, CPU)(112)들, 그래픽 프로세싱 유닛(graphics processing unit, GPU)(114)들, 디지털 신호 프로세서(digital signal processor, DSP)(116)들, 및/또는 이미지 신호 프로세서(image signal processor, ISP)(118)들을 포함할 수 있다. 일부 경우들에서, 컴퓨트 컴포넌트들(110)은 추가적으로 또는 대안적으로, 예를 들어 그리고 제한 없이, 하나 이상의 주문형 집적 회로(application-specific integrated circuit, ASIC)들, 필드 프로그래밍가능 게이트 어레이(field-programmable gate array, FPGA)들, 애플리케이션 프로세서(application processor, AP)들, VPU(vision processing unit)들, 뉴럴 네트워크 신호 프로세서(network signal processor, NSP)들, 마이크로제어기들, 컴퓨터 비전(computer vision, CV) 프로세서들, 전용 하드웨어, 이들의 임의의 조합, 및/또는 다른 프로세싱 디바이스들 또는 시스템들과 같은, 도 1에 도시되지 않은 하나 이상의 다른 프로세싱 컴포넌트들을 포함할 수 있다. 일부 경우들에서, 하나 이상의 컴퓨트 컴포넌트들(110)은 본 명세서에서 설명되는 다양한 동작들 중 임의의 것을 수행하기 위해 다른 전자 회로들 또는 하드웨어, 컴퓨터 소프트웨어, 펌웨어, 또는 이들의 임의의 조합을 포함할 수 있다. 일부 예들에서, 하나 이상의 컴퓨트 컴포넌트들(110)은 도 1에 도시된 것들보다 더 많거나 더 적은 컴퓨트 컴포넌트들을 포함할 수 있다. 또한, CPU(112), GPU(114), DSP(116), 및 ISP(118)는 단지 설명 목적들을 위해 제공된 컴퓨트 컴포넌트들의 예시적인 예들일 뿐이다.
컴퓨팅 시스템(100)은 하나 이상의 컴퓨트 컴포넌트들(110)을 사용하여, 예를 들어, 확장 현실 동작들(예컨대, 추적, 로컬화, 객체 검출, 분류, 포즈 추정, 맵핑, 콘텐츠 앵커링, 콘텐츠 렌더링 등), 디바이스 제어 동작들, 이미지/비디오 프로세싱, 그래픽 렌더링, 이벤트 맵핑, 머신 학습, 데이터 프로세싱, 모델링, 계산들, 컴퓨터 비전, 이벤트 모니터링, 본 명세서에 설명된 동작들 중 임의의 것, 및/또는 임의의 다른 동작들과 같은 다양한 컴퓨팅 동작들을 수행할 수 있다. 예를 들어, 일부 경우들에서, 하나 이상의 컴퓨트 컴포넌트들(110)은 센서 시스템들(102), 하나 이상의 입력 디바이스들(120), 하나 이상의 SIM들(124), 하나 이상의 모뎀들(126), 하나 이상의 무선 트랜시버들(128), 하나 이상의 안테나들(130), 하나 이상의 메모리 디바이스들(132), 도 2에 도시된 차량 컴퓨팅 시스템(210), 및/또는 임의의 다른 디바이스들로부터의 데이터를 사용하여 본 명세서에 설명된 바와 같은 이미지/비디오 프로세싱, 이벤트 맵핑, XR 프로세싱, 디바이스 관리/제어, 및/또는 다른 동작들을 수행할 수 있다.
예시하기 위해, 일부 예들에서, 하나 이상의 컴퓨트 컴포넌트들(110)은 모니터링(예컨대, 디바이스 모니터링, 사용자 모니터링, 차량 모니터링, 이벤트 모니터링, 활동 모니터링, 객체 모니터링 등), 디바이스 제어/관리, 추적(예컨대, 디바이스 추적, 객체 추적, 손 추적, 눈 시선 추적 등), 로컬화, 객체 검출 및/또는 인식, 객체 분류, 포즈 추정, 형상 추정, 장면 맵핑, 장면 검출 및/또는 장면 인식, 얼굴 검출 및/또는 인식, 감정 검출 및/또는 인식, 콘텐츠 앵커링, 콘텐츠 렌더링, 콘텐츠 필터링, 이미지 프로세싱, 모델링, 콘텐츠 생성, 제스처 검출 및/또는 인식, 사용자 인터페이스 생성, 전력 관리, 이벤트 검출 및/또는 인식, 및/또는 사용자 컴퓨팅 시스템(100), 차량 컴퓨팅 시스템(210), 및/또는 임의의 다른 시스템 또는 컴포넌트의 컴포넌트들 중 하나 이상의 컴포넌트로부터의 데이터에 기초한 다른 동작들을 수행할 수 있다.
일부 예들에서, 하나 이상의 컴퓨트 컴포넌트들(110)은, 예를 들어, 특징부 추출기(들)(예컨대, SIFT(scale-invariant feature transform), SURF(speeded up robust features), ORB(oriented FAST and rotated BRIEF) 등), 머신 학습 모델(들), 컴퓨터 비전 알고리즘(들), 뉴럴 네트워크(들), 추적 알고리즘(들), 로컬화 알고리즘(들), 객체 검출 알고리즘(들), 인식 알고리즘(들), 맵핑 알고리즘(들), 애플리케이션(들)(예컨대, XR 애플리케이션, 메시징 애플리케이션, 소셜 미디어 네트워크 애플리케이션, 웹 브라우저 애플리케이션, 생산성 애플리케이션, 게이밍 애플리케이션, 엔터테인먼트 애플리케이션, 멀티미디어 애플리케이션, 인증 애플리케이션, 사진촬영 애플리케이션, 스캐닝 애플리케이션, 미디어 재생 애플리케이션, 보안 애플리케이션, 전자 상거래 애플리케이션, 콘텐츠 관리 애플리케이션, 인터페이스 및/또는 윈도우잉 애플리케이션, 보조 애플리케이션, 자동화 애플리케이션, 전자 메일 애플리케이션, 음성 애플리케이션, 카메라 애플리케이션, 내비게이션 애플리케이션, 차량 애플리케이션, 등), 컴퓨터 비전 알고리즘, 이미지 프로세싱 알고리즘, 콘텐츠 필터링 알고리즘, 및/또는 임의의 다른 알고리즘 및/또는 컴포넌트와 같은 하나 이상의 소프트웨어 엔진들 및/또는 알고리즘들을 구현할 수 있다.
이미지 센서(104A) 및/또는 이미지 센서(104N)는 임의의 이미지 및/또는 비디오 센서 또는 캡처링 디바이스, 예컨대 디지털 카메라 센서, 비디오 카메라 센서, 스마트폰 카메라 센서, 텔레비전 또는 컴퓨터와 같은 전자 장치 상의 이미지/비디오 캡처 디바이스, 카메라 등을 포함할 수 있다. 일부 경우들에서, 이미지 센서(104A) 및/또는 이미지 센서(104N)는 카메라 또는 컴퓨팅 디바이스, 예컨대 디지털 카메라, 비디오 카메라, IP 카메라, 스마트폰, 스마트 텔레비전, 게임 시스템 등의 일부일 수 있다. 게다가, 일부 경우들에서, 이미지 센서(104A) 및 이미지 센서(104N)는 후방 및 전방 센서 디바이스들과 같은 듀얼(또는 다수의) 이미지 센서 시스템 또는 셋업을 포함하고/하거나 이를 구현할 수 있다. 일부 예들에서, 이미지 센서(104A) 및 이미지 센서(104N)는 듀얼 카메라 또는 다른 다중 카메라 어셈블리(예컨대, 2개의 카메라들, 3개의 카메라들, 4개의 카메라들, 또는 다른 수의 카메라들을 포함함)의 일부일 수 있다. 일부 경우들에서, 이미지 센서(104A) 및/또는 이미지 센서(104N)는 환경의 RF 및/또는 IR 이미징을 수행하도록 구성된, 레이더 센서, LIDAR 센서 및/또는 IR 센서와 같은 RF 센서를 포함할 수 있다.
일부 예들에서, 각각의 이미지 센서(104A, 104N)는 이미지 데이터를 캡처하고, 이미지 데이터에 기초하여 프레임들을 생성하고, 그리고/또는 프로세싱을 위해 이미지 데이터 또는 프레임들을 하나 이상의 컴퓨트 컴포넌트들(110)에 제공할 수 있다. 프레임은 비디오 시퀀스 또는 스틸 이미지의 비디오 프레임을 포함할 수 있다. 프레임은, 장면을 나타내는 픽셀 어레이를 포함할 수 있다. 예를 들어, 프레임은 픽셀당 적색, 녹색 및 청색 색상 컴포넌트들을 갖는 적색-녹색-청색(RGB) 프레임; 픽셀당 루마 컴포넌트 및 2개의 크로마(색상) 컴포넌트들(크로마-적색 및 크로마-청색)을 갖는 루마, 크로마-적색, 크로마-청색(YCbCr) 프레임; 또는 임의의 다른 적합한 타입의 색상 또는 단색 픽처일 수 있다.
하나 이상의 무선 트랜시버들(128)은 하나 이상의 안테나들(130)을 통해, 하나 이상의 다른 디바이스들 및/또는 네트워크들, 예컨대 다른 사용자 디바이스들, 차량들(예컨대, 도 2에 도시된 차량(202)), 네트워크 디바이스들(예컨대, eNB들 및/또는 gNB들과 같은 기지국들, WiFi 디바이스들(예컨대, 라우터들, 액세스 포인트들 등), 서버, 스위치들, 라우터들, 게이트웨이들, 방화벽들, 등), 클라우드 네트워크들, 사설 네트워크들, 공중 네트워크들, 데이터 센터들, 인터넷, 위성들, 연결형 또는 IoT 디바이스들, 인프라구조 디바이스들/컴포넌트들, 및/또는 유사한 것들으로부터 무선 신호들(예컨대, 신호(140))을 수신할 수 있다. 일부 예들에서, 컴퓨팅 시스템(100)은 다수의 안테나를 포함할 수 있다. 무선 신호(140)는 무선 네트워크를 통해 송신될 수 있다. 무선 네트워크는 셀룰러 또는 전기통신 네트워크(예컨대, 3G, 4G, 5G 등), 무선 근거리 네트워크(예컨대, WiFi 네트워크), 블루투스™ 네트워크, 및/또는 임의의 다른 무선 네트워크와 같은 임의의 무선 네트워크일 수 있다. 일부 예들에서, 하나 이상의 무선 트랜시버들(128)은 라디오 주파수(RF) 프론트엔드를 포함할 수 있다. RF 프론트엔드는 하나 이상의 컴포넌트들, 예컨대 다른 컴포넌트들 중에서도, 하나 이상의 증폭기들, 신호 다운 컨버전을 위한 믹서들(신호 멀티플라이어로도 지칭됨), 신호들을 하나 이상의 믹서들에 제공하는 주파수 합성기들(발진기로도 지칭됨), 기저대역 필터들, 아날로그 대 디지털 컨버터(analog-to-digital converter, ADC)들, 전력 증폭기들, RF 포트들(예컨대, 송신(Tx) 및/또는 수신(Rx) 포트들), 위상 시프터들, IQ 이득 및 위상 보상기들, 업 샘플러들, 이득 제어부들, 디지털 대 아날로그 컨버터(digital-to-analog converter, DAC)들, 빔형성기들, 저역 통과 필터들, 시간 지연 필터들을 포함할 수 있다. 일부 예들에서, RF 프론트엔드는 대체적으로 무선 신호들(140)의 기저대역 또는 중간 주파수로의 선택 및 컨버전을 처리할 수 있고, RF 신호들을 디지털 도메인으로 컨버팅할 수 있다.
일부 경우들에서, 컴퓨팅 시스템(100)은 하나 이상의 무선 트랜시버들(128)을 사용하여 송신된 그리고/또는 수신된 데이터를 인코딩 및/또는 디코딩하도록 구성된 코딩-디코딩 디바이스(또는 CODEC)를 포함할 수 있다. 일부 경우들에서, 컴퓨팅 시스템(100)은 하나 이상의 무선 트랜시버들(128)에 의해 송신 및/또는 수신되는 데이터를 (예컨대, AES(Advanced Encryption Standard), DES(Data Encryption Standard), 및/또는 임의의 다른 표준에 따라) 암호화 및/또는 복호화하도록 구성된 암호화-복호화 디바이스 또는 컴포넌트를 포함할 수 있다.
SIM은 특정 가입자 또는 사용자의 IMSI(International Mobile Subscriber Identity) 번호 및 관련 키(예컨대, 암호화-복호화 키)를 보안적으로 저장할 수 있는 디바이스(예컨대, 집적 회로)이다. IMSI 및 키는 특정 UE에서 가입자를 식별하고 인증하는 데 사용될 수 있다. 도 1에서, 하나 이상의 SIM(124)들 각각은 모바일 디바이스(150)의 사용자에게 할당된 IMSI 번호 및 관련 키를 보안적으로 저장할 수 있다. IMSI 및 키는 하나 이상의 SIM들(124)과 연관된 네트워크 서비스 제공자 또는 운영자에 의해 제공되는 네트워크에 액세스할 때 가입자를 식별 및 인증하는 데 사용될 수 있다.
모뎀은 송신을 위해 디지털 정보를 인코딩하기 위해 하나 이상의 캐리어파 신호를 변조하고 송신된 정보를 디코딩하기 위해 신호를 복조하는 디바이스이다. 하나 이상의 모뎀들(126)은 하나 이상의 무선 트랜시버들(128)을 사용하여 송신하기 위한 정보를 인코딩하기 위해 하나 이상의 신호들을 변조할 수 있다. 하나 이상의 모뎀들(126)은 또한, 송신된 정보를 디코딩하기 위해 하나 이상의 무선 트랜시버들(128)에 의해 수신된 신호들을 복조할 수 있다. 일부 예들에서, 하나 이상의 모뎀들(126)은 4G(또는 LTE) 모뎀, 5G(또는 뉴 라디오(new radio, NR)) 모뎀, 차량 대 사물(V2X) 통신을 위해 구성된 모뎀, 및/또는 다른 유형들의 모뎀들을 포함할 수 있다. 하나 이상의 모뎀들(126) 및 하나 이상의 무선 트랜시버들(128)은 하나 이상의 SIM들(124)을 위한 데이터를 통신하기 위해 사용될 수 있다.
상기에서 언급된 바와 같이, 컴퓨팅 시스템(100)은 하나 이상의 센서 시스템들(102)을 포함할 수 있다. 일부 예들에서, 하나 이상의 센서 시스템들(102)은 이미지 센서들(104A, 104N)(이하 총괄하여, "이미지 센서들(104)")과 같은 하나 이상의 이미지 센서들, 위치 센서(106)(예컨대, 초음파 센서, 초저주파 센서, SONAR 센서, RF 기반 센서 시스템(예컨대, WiFi, 블루투스 등), 마이크로폰 등), 관성 측정 유닛(IMU)(108), 및/또는 하나 이상의 다른 센서들을 포함할 수 있다. 일부 경우들에서, 컴퓨팅 시스템(100)은 선택적으로, 예를 들어 그리고 제한 없이, RADAR 센서 시스템, LIDAR 센서 시스템, EmDAR 센서 시스템, 적외선 센서 시스템, 레이저 거리 측정기 시스템, SODAR 시스템, 터치 센서, 압력 센서(예컨대, 기압 센서 및/또는 임의의 다른 압력 센서), 자이로스코프, 가속도계, 자력계, 및/또는 임의의 다른 센서와 같은 하나 이상의 다른/추가적인 센서들 또는 센서 시스템들을 포함할 수 있다. 일부 예들에서, 컴퓨팅 시스템(100)은, 예를 들어, 발광 다이오드(light-emitting diode, LED) 디바이스, 캐시, 무선 네트워크 인터페이스 등과 같은 추가적인 컴포넌트들을 포함할 수 있다. 컴퓨팅 시스템(100)에 의해 구현될 수 있는 예시적인 아키텍처 및 예시적인 하드웨어 컴포넌트들은 도 15와 관련하여 하기에 추가로 설명된다.
컴퓨팅 시스템(100)은 하나 이상의 비일시적 머신 판독가능 저장 매체 또는 저장 디바이스들(예컨대, 하나 이상의 메모리 디바이스(132))을 포함할 수 있으며(그리고/또는 이와 통신할 수 있음), 이는, 예를 들어 그리고 제한 없이, 로컬 및/또는 네트워크 액세스가능 저장소, 디스크 드라이브, 드라이브 어레이, 광학 저장 디바이스, (예컨대, 프로그래밍가능 그리고/또는 플래시 업데이트가능할 수 있는) RAM 및/또는 ROM과 같은 고체 상태 저장 디바이스 등을 포함할 수 있다. 이러한 저장 디바이스들은 다양한 파일 시스템들, 데이터베이스 구조들 등을 제한 없이 포함하는 임의의 적절한 데이터 저장소를 구현하도록 구성될 수 있다.
일부 예들에서, 기능들은 메모리 디바이스(들)(132)에 하나 이상의 컴퓨터 프로그램 제품들(예컨대, 명령들 또는 코드)로서 저장되고, 컴퓨트 컴포넌트들(110)에 의해 실행될 수 있다. 컴퓨팅 시스템(100)은 또한, 예를 들어, 운영 체제, 디바이스 드라이버들, 실행가능 라이브러리들, 및/또는 다른 코드, 예컨대 다양한 실시 형태들에 의해 제공되는 기능들을 구현하는 컴퓨터 프로그램들을 포함할 수 있는, 그리고/또는 본 명세서에 설명된 바와 같은 방법들을 구현하고/하거나 시스템들을 구성하도록 설계될 수 있는 하나 이상의 애플리케이션 프로그램들을 포함하는 (예컨대, 하나 이상의 메모리 디바이스들(132) 내에 위치된) 소프트웨어 엘리먼트들을 포함할 수 있다.
일부 구현들에서, 사용자 장비(UE)는 DSDA(Dual SIM Dual Active) 기능성을 위해 구성될 수 있다. 예를 들어, 모바일 디바이스(150), 도 2에 도시된 차량(202), 및/또는 다른 UE들에는 DSDA 기능성이 구비될 수 있다. DSDA 기능성이 있는 UE에는 적어도 2개의 SIM들이 구비될 수 있다. 하나의 예시적인 예에서, DSDA 기능성이 있는 차량(예컨대, 도 2에 도시된 차량(202)) 및 사용자 디바이스(예컨대, 모바일 디바이스(150))는 차량 및 차량의 탑승자(예컨대, 운전자, 승객 등) 및 사용자 디바이스가 독립적인 네트워크 운영자(또는 제공자) 가입들을 선택하는 것을 가능하게 할 수 있으며, 이때 각각의 운영자 가입은 특정 SIM과 연관된다. 예를 들어, 차량은 무선 통신 액세스를 위해 제1 운영자를 사용할 수 있고, 사용자 디바이스는 무선 통신 액세스를 위해 제2 운영자를 사용할 수 있다.
일부 경우들에서, DSDA 기능성은 도 2의 차량 컴퓨팅 시스템(210)과 관련하여 후술되는 것과 같은, OEM SIM 및 사용자 SIM을 포함하는 차량에 대한 적어도 2개의 활성 SIM들을 지원할 수 있다. 하기에 언급되는 바와 같이, OEM SIM 및/또는 사용자 SIM은 하나 이상의 모뎀들(예컨대, 도 2에 도시된 모뎀(228) 및/또는 도 2에 도시된 통신 시스템(222)의 다른 모뎀)과 함께 사용될 수 있다. 일부 구현들에서, OEM SIM, 사용자 SIM, 및 차량의 모뎀(들)은 차량의 텔레매틱 제어 유닛(telematic control unit, TCU)의 일부일 수 있거나, 또는 (예컨대, 도 2의 통신 시스템(222)의 일부로서) TCU의 네트워크 액세스 디바이스(network access device, NAD)(일부 경우들에서는 네트워크 제어 유닛 또는 NCU로도 지칭됨)의 일부일 수 있다. 하기에 설명되는 바와 같이, OEM SIM은 차량 기반 동작들을 위해(예컨대, 다른 동작 중에서도, eCall 기능들을 위해, 소프트웨어 업데이트에 대한 것과 같은 차량 제조자와의 통신을 위해 등) 무선 통신을 수행하기 위한 액세스를 제공하는 정보를 저장할 수 있다. OEM SIM은, 긴급 호출들을 하기 위한 eCall을 포함한, 차량을 위한 다양한 서비스들을 지원한다. 사용자 SIM은, 다른 것들 중에서도, 전화 호출, 메시징, 인포테인먼트 관련 서비스들을 용이하게 하는 것과 같은 사용자 데이터 연결을 지원하기 위해 사용자의 UE에 대한 무선 네트워크 액세스를 수행하기 위해 사용될 수 있다.
DSDA는 사용자 SIM 및 차량의 모뎀이 UE의 SIM 및/또는 모뎀 대신 무선 네트워크 액세스를 위해(예컨대, 셀룰러 연결을 위해) 사용되는 것을 허용할 수 있다. 예를 들어, 차량의 통신 범위에 들어오면, 사용자 디바이스(예컨대, 모바일 디바이스)는 인터페이스를 통해 (예컨대, BluetoothTM, WiFITM, USB 포트, lightning 포트, 및/또는 다른 무선 또는 유선 인터페이스를 통해) 차량과 연결할 수 있다. 일단 연결되면, 사용자 디바이스의 통신 유닛은 사용자 디바이스로부터 차량의 통신 유닛으로 무선 네트워크 액세스 기능성을 전송할 수 있다. 차량의 통신 유닛은, 다른 동작들 중에서도, 전화 호출을 용이하게 하거나, 데이터(예컨대, 메시징, 비디오, 오디오 등)를 송신 및/또는 수신하는 것과 같은 하나 이상의 무선 통신 동작들을 수행하기 위해 기지국과 상호작용하기 시작할 수 있다. 상기에서 언급된 바와 같이, 디바이스(예컨대, 차량, 사용자 디바이스, 다른 UE, 노변 유닛(roadside unit, RSU) 등)의 "통신 유닛"은 TCU, NAD, 모뎀, SIM, 트랜시버(또는 개개의 수신기 및/또는 송신기), 이들의 임의의 조합, 및/또는 무선 통신 동작들을 수행하도록 구성된 다른 시스템, 디바이스, 또는 컴포넌트일 수 있다. 하나의 예시적인 예에서, 사용자 디바이스(예를 들어, 모바일 디바이스)의 사용자 SIM(예를 들어, SIM 및/또는 실제 SIM 카드에 저장된 정보)는 차량의 TCU NAD로 전송될 수 있으며, 그 후에 차량의 모뎀은 사용자 SIM 정보를 사용하여 사용자를 위한 무선 네트워크 운영자와 통신할 수 있다.
도 2는 차량(202)의 차량 컴퓨팅 시스템(210)의 일례를 예시하는 블록도이다. 차량(202)은, 네트워크(예컨대, eNB, gNB, 포지셔닝 비콘, 위치 측정 유닛, 및/또는 다른 네트워크 엔티티)와 그리고/또는 (PC5 인터페이스 또는 다른 디바이스 대 디바이스 직접 인터페이스를 통해) V2X 통신을 사용하여 다른 UE들(예컨대, 모바일 디바이스(150))과 통신할 수 있는 UE의 일례이다. 도시된 바와 같이, 차량 컴퓨팅 시스템(210)은 적어도 전력 관리 시스템(212), 제어 시스템(214), 인포테인먼트 시스템(216), 지능형 수송 시스템(intelligent transport system, ITS)(218), 하나 이상의 센서 시스템들(220), 및 통신 시스템(222)을 포함할 수 있다. 일부 경우들에서, 차량 컴퓨팅 시스템(210)은 하나 이상의 CPU들, DSP들, ASIC들, FPGA들, 애플리케이션 프로세서(AP)들, VPU(vision processing unit)들, NPU(neural processing unit)들, CVP(control voltage processor)들, 마이크로제어기들, 전용 하드웨어, 이들의 임의의 조합, 및/또는 다른 프로세싱 디바이스 또는 시스템과 같은 임의의 유형의 프로세싱 디바이스 또는 시스템을 포함할 수 있거나 또는 이들을 사용하여 구현될 수 있다.
제어 시스템(214)은 차량(202), 전력 관리 시스템(212), 컴퓨팅 시스템(210), 인포테인먼트 시스템(216), ITS(218), 및/또는 차량(202)의 하나 이상의 다른 시스템들(예컨대, 제동 시스템, 조향 시스템, ITS(218) 이외의 안전 시스템, 객실 시스템 및/또는 다른 시스템)의 하나 이상의 동작들을 제어하도록 구성될 수 있다. 일부 예들에서, 제어 시스템(214)은 하나 이상의 전자 제어 유닛(electronic control unit, ECU)들을 포함할 수 있다. ECU는 차량에 있는 전기 시스템 또는 서브시스템 중 하나 이상을 제어할 수 있다. 제어 시스템(214)의 일부로 포함될 수 있는 특정 ECU들의 예들은, 다른 것들 중에서도, 엔진 제어 모듈(engine control module, ECM), 파워트레인 제어 모듈(powertrain control module, PCM), 송신 제어 모듈(transmission control module, TCM), 제동 제어 모듈(brake control module, BCM), 중앙 제어 모듈(central control module, CCM), 중앙 타이밍 모듈(central timing module, CTM)을 포함한다. 일부 경우들에서, 제어 시스템(214)은 하나 이상의 센서 시스템들(220)로부터 센서 신호들을 수신할 수 있고, 차량(202)을 동작시키기 위해 차량 컴퓨팅 시스템(210)의 다른 시스템들과 통신할 수 있다.
차량 컴퓨팅 시스템(210)은 또한 전력 관리 시스템(212)을 포함한다. 일부 구현들에서, 전력 관리 시스템(212)은 전력 관리 집적 회로(power management integrated circuit, PMIC), 대기 배터리, 및/또는 다른 컴포넌트들을 포함할 수 있다. 일부 경우들에서, 차량 컴퓨팅 시스템(210)의 다른 시스템들은 하나 이상의 PMIC들, 배터리들, 및/또는 다른 컴포넌트들을 포함할 수 있다. 전력 관리 시스템(212)은, 컴퓨팅 시스템(210) 및/또는 차량의 다른 부분들을 위한 전력 공급을 관리하는 것과 같은, 차량(202)에 대한 전력 관리 기능들을 수행할 수 있다. 예를 들어, 전력 관리 시스템(212)은, 차량의 엔진 시동을 거는 것에 기초한 것과 같은 전력 변동들을 고려하여 안정적인 전력 공급을 제공할 수 있다. 다른 예에서, 전력 관리 시스템(212)은 주위 및/또는 트랜지스터 접합 온도들을 체크하는 것에 의한 것과 같은 열적 모니터링 동작들을 수행할 수 있다. 다른 예에서, 전력 관리 시스템(212)은, 다른 기능들 중에서도, 냉각 시스템(예컨대, 하나 이상의 팬들, 공조 시스템 등)으로 하여금 차량 컴퓨팅 시스템(210)의 소정 컴포넌트(예컨대, 하나 이상의 ECU들과 같은 제어 시스템(214))를 냉각하게 하는 것, 차량 컴퓨팅 시스템(210)의 소정 기능성들을 셧다운하는 것(예컨대, 하나 이상의 디스플레이들을 셧 오프하는 것과 같이 인포테인먼트 시스템(216)을 제한하는 것, 무선 네트워크로부터 연결해제하는 것 등)과 같은, 소정 온도 레벨을 검출하는 것에 기초하여 소정 기능들을 수행할 수 있다.
차량 컴퓨팅 시스템(210)은 통신 시스템(222)을 포함할 수 있다. 통신 시스템(222)은, 네트워크(예컨대, gNB 또는 다른 네트워크 엔티티)로부터 및/또는 다른 UE들로부터 (예컨대, PC5 인터페이스, WiFi 인터페이스, 블루투스™ 인터페이스, 및/또는 다른 무선 및/또는 유선 인터페이스를 통해 다른 차량 또는 UE로) 신호들을 수신하고 이들로 신호들을 송신하기 위한 소프트웨어 및 하드웨어 컴포넌트들을 포함할 수 있다. 예를 들어, 통신 시스템(222)은 임의의 적합한 무선 네트워크(예컨대, 3G 네트워크, 4G 네트워크, 5G 네트워크, WiFi 네트워크, 블루투스™ 네트워크, 및/또는 다른 네트워크)를 통해 무선으로 정보를 송신 및 수신하도록 구성될 수 있다. 통신 시스템(222)은 OEM(Original Equipment Manufacturer) 가입자 식별 모듈(SIM 또는 SIM 카드로 지칭됨)(224), 사용자 SIM(226), 및 모뎀(228)을 포함하는, 무선 통신 기능성들을 수행하는 데 사용된 다양한 컴포넌트들 또는 디바이스들을 포함한다. 차량 컴퓨팅 시스템(210)이 2개의 SIM들 및 하나의 모뎀을 갖는 것으로 도시되어 있지만, 컴퓨팅 시스템(210)은 일부 구현들에서 임의의 수의 SIM들(예컨대, 하나의 SIM 또는 2개 초과의 SIM들) 및 임의의 수의 모뎀들(예컨대, 하나의 모뎀, 2개의 모뎀들, 또는 2개 초과의 모뎀들)을 가질 수 있다.
이전에 설명된 바와 같이, SIM은 특정 가입자 또는 사용자의 IMSI(International Mobile Subscriber Identity) 번호 및 관련 키(예컨대, 암호화-복호화 키)를 보안적으로 저장할 수 있는 디바이스(예컨대, 집적 회로)이다. IMSI 및 키는 특정 UE에서 가입자를 식별하고 인증하는 데 사용될 수 있다. OEM SIM(224)은 다른 동작들 중에서도, 긴급 호출(eCall) 기능들의 수행, 차량 제조자의 통신 시스템과의 통신(예컨대, 소프트웨어 업데이트용 등)과 같은 차량 기반 동작들을 위한 무선 연결을 확립하기 위해 통신 시스템(222)에 의해 사용될 수 있다. OEM SIM(224)은, 통신 시스템이 자동차 사고 또는 다른 긴급상황 발생 시에 긴급 호출을 하기 위한 eCall과 같은 중요한 서비스들을 지원하는 데 중요할 수 있다. 예를 들어, eCall은 차량 사고 발생 시에 자동으로 긴급 번호(예컨대, 미국에서는 "9-1-1", 유럽에서는 "1-1-2" 등)에 전화를 걸고 차량의 위치를 긴급 서비스, 예컨대 경찰서, 소방서 등에 통신하는 서비스를 포함할 수 있다.
사용자 SIM(226)은 사용자 데이터 연결을 지원하기 위해(예컨대, 다른 것들 중에서도, 전화 호출, 메시징, 인포테인먼트 관련 서비스를 수행하기 위해) 무선 네트워크 액세스 기능들을 수행하도록 통신 시스템(222)에 의해 사용될 수 있다. 일부 경우들에서, 사용자의 사용자 디바이스는 인터페이스를 통해(예컨대, PC5, BluetoothTM, WiFiTM, USB(universal serial bus) 포트, 및/또는 다른 무선 또는 유선 인터페이스를 통해) 차량 컴퓨팅 시스템(210)과 연결할 수 있다. 일단 연결되면, 사용자 디바이스는 사용자 디바이스로부터 차량의 통신 시스템(222)으로 무선 네트워크 액세스 기능성을 전송할 수 있으며, 이 경우 사용자 디바이스는 (예컨대, 통신 시스템(222)이 무선 액세스 기능성을 수행 중인 기간 동안) 무선 네트워크 액세스 기능성의 수행을 중단할 수 있다. 통신 시스템(222)은 다른 동작들 중에서도, 전화 호출을 용이하게 하거나, 데이터(예컨대, 메시징, 비디오, 오디오 등)를 송신하거나 및/또는 수신하는 것과 같은 하나 이상의 무선 통신 동작들을 수행하기 위해 기지국과 상호작용하기 시작할 수 있다. 그러한 경우들에서, 차량 컴퓨팅 시스템(210)의 다른 컴포넌트들은 통신 시스템(222)에 의해 수신된 데이터를 출력하는 데 사용될 수 있다. 예를 들어, 인포테인먼트 시스템(216)(후술됨)은 하나 이상의 디스플레이들 상에 통신 시스템(222)에 의해 수신된 비디오를 디스플레이할 수 있고/있거나 하나 이상의 스피커들을 사용하여 통신 시스템(222)에 의해 수신된 오디오를 출력할 수 있다.
모뎀(228)(및/또는 통신 시스템(222)의 하나 이상의 다른 모뎀들)은 OEM SIM(224) 및/또는 사용자 SIM(226)을 위한 데이터의 통신에 사용될 수 있다. 일부 예들에서, 모뎀(228)은 4G(또는 LTE) 모뎀을 포함할 수 있고, 통신 시스템(222)의 다른 모뎀(도시되지 않음)은 5G(또는 NR) 모뎀을 포함할 수 있다. 일부 예들에서, 통신 시스템(222)은 하나 이상의 블루투스™ 모뎀(예컨대, BLE(Bluetooth™ Low Energy) 또는 다른 유형의 블루투스 통신용), 하나 이상의 WiFi™ 모뎀들(예컨대, DSRC(dedicated short-range communication) 및/또는 다른 WiFi 통신용), 광대역 모뎀들(예컨대, UWB(ultra-wideband) 모뎀), 이들의 임의의 조합 및/또는 다른 유형들의 모뎀들을 포함할 수 있다.
일부 경우들에서, 모뎀(228)(및/또는 통신 시스템(222)의 하나 이상의 다른 모뎀들)은 (예컨대, 차량 대 차량(V2V) 통신들을 위해 다른 차량들과, 디바이스 대 디바이스(D2D) 통신들을 위해 다른 디바이스들과, 차량 대 인프라구조(V2I) 통신들을 위해 인프라구조 시스템들과, 차량 대 보행자(V2P) 통신들을 위해 보행자 UE들과, 등) V2X 통신들을 수행하기 위해 사용될 수 있다. 일부 예들에서, 통신 시스템(222)은 V2X 통신(예컨대, PC5 인터페이스를 통한 사이드링크 통신)을 수행하기 위해 사용되는 V2X 모뎀을 포함할 수 있으며, 이 경우 V2X 모뎀은 무선 네트워크 액세스 기능들(예컨대, 네트워크 또는 에어 인터페이스(예컨대, UMTS(universal mobile telecommunications system) 인터페이스 또는 "Uu 인터페이스" 등)를 통한 네트워크 통신 및/또는 V2X 통신 이외의 사이드링크 통신용)에 사용되는 하나 이상의 모뎀들과는 별개일 수 있다.
일부 예들에서, 통신 시스템(222)은 텔레매틱 제어 유닛(TCU)일 수 있거나 또는 이를 포함할 수 있다. 일부 구현에서, TCU는 네트워크 액세스 디바이스(NAD)(일부의 경우 네트워크 제어 유닛 또는 NCU라고도 함)를 포함할 수 있다. 일부 경우들에서, NAD는 모뎀(228), 도 2에 도시되지 않은 임의의 다른 모뎀, OEM SIM(224), 사용자 SIM(226), 및/또는 무선 통신에 사용되는 다른 컴포넌트들을 포함할 수 있다. 일부 예들에서, 통신 시스템(222)은 글로벌 내비게이션 위성 시스템(GNSS)을 포함할 수 있다. 일부 경우들에서, GNSS는 하기에 설명된 바와 같이 하나 이상의 센서 시스템들(220)의 일부일 수 있다. GNSS는, 차량 컴퓨팅 시스템(210)이 하나 이상의 위치 서비스들, 내비게이션 서비스들, 및/또는 GNSS 기능성을 활용할 수 있는 다른 서비스들을 수행할 수 있는 능력을 제공할 수 있다.
일부 경우들에서, 통신 시스템(222)은 무선 통신을 송신 및 수신하기 위한 하나 이상의 무선 인터페이스들(예컨대, 각각의 무선 인터페이스에 대해 하나 이상의 트랜시버 및 하나 이상의 기저대역 프로세서를 포함함), 하나 이상의 하드와이어드 연결을 통해 통신을 수행하기 위한 하나 이상의 유선 인터페이스들(예컨대, 범용 직렬 버스(USB) 입력과 같은 직렬 인터페이스, 라이트닝 커넥터 및/또는 다른 유선 인터페이스), 및/또는 차량(202)이 네트워크 및/또는 다른 UE들과 통신하는 것을 허용할 수 있는 다른 컴포넌트들을 포함할 수 있다.
차량 컴퓨팅 시스템(210)은 또한 콘텐츠를 제어할 수 있는 인포테인먼트 시스템(216) 및 콘텐츠를 출력하는 데 사용될 수 있는 차량(202)의 하나 이상의 출력 디바이스들을 포함할 수 있다. 인포테인먼트 시스템(216)은 또한 차량내 인포테인먼트(in-vehicle infotainment, IVI) 시스템 또는 자동차내 엔터테인먼트(in-car entertainment, ICE) 시스템으로 지칭될 수 있다. 콘텐츠는 다른 콘텐츠 중에서도, 내비게이션 콘텐츠, 미디어 콘텐츠(예를 들어, 비디오 콘텐츠, 음악 또는 다른 오디오 콘텐츠, 및/또는 다른 미디어 콘텐츠)를 포함할 수 있다. 하나 이상의 출력 디바이스들은 하나 이상의 그래픽 사용자 인터페이스들, 하나 이상의 디스플레이들, 하나 이상의 스피커들, 하나 이상의 확장 현실 디바이스들(예컨대, VR, AR 및/또는 MR 헤드셋), 하나 이상의 햅틱 피드백 디바이스들(예컨대, 좌석, 조향 휠, 및/또는 차량(202)의 다른 부분을 진동시키도록 구성된 하나 이상의 디바이스들), 및/또는 다른 출력 디바이스를 포함할 수 있다.
일부 예들에서, 컴퓨팅 시스템(210)은 지능형 수송 시스템(ITS)(218)을 포함할 수 있다. 일부 예들에서, ITS(218)는 V2X 통신을 구현하는 데 사용될 수 있다. 예를 들어, ITS(218)의 ITS 스택은 ITS의 애플리케이션 계층으로부터의 정보에 기초하여 V2X 메시지들을 생성할 수 있다. 일부 경우들에서, 애플리케이션 계층은, ITS(218)에 의해 사용하기 위한 메시지들을 생성하기 위해 그리고/또는 (예컨대, V2V 통신의 경우) 다른 차량들로, (예컨대, V2P 통신의 경우) 보행자 UE들로, 그리고/또는 (예컨대, V2I 통신의 경우) 인프라구조 시스템들로 전송될 메시지들을 생성하기 위해 소정 조건들이 충족되었는지 여부를 결정할 수 있다. 일부 경우들에서, 통신 시스템(222) 및/또는 ITS(218)는 (예컨대, CAN 버스를 통해 차량의 다른 컴포넌트들로부터) 자동차 액세스 네트워크(car access network, CAN) 정보를 획득할 수 있다. 일부 예들에서, 통신 시스템(222)(예컨대, TCU NAD)은 CAN 버스를 통해 CAN 정보를 획득할 수 있고, CAN 정보를 ITS 스택으로 전송할 수 있다. CAN 정보는 다른 정보 중에서도, 차량의 진행 방향(heading), 차량의 속도, 제동 정보(breaking information)와 같은 차량 관련 정보를 포함할 수 있다. CAN 정보는 지속적으로 또는 주기적으로(예컨대, 1ms마다, 10ms마다 등) ITS(218)에 제공될 수 있다.
메시지 생성 여부를 결정하는 데 사용되는 조건은 도로 안전, 교통 효율성, 인포테인먼트, 비즈니스 및/또는 다른 애플리케이션과 관련된 애플리케이션을 포함하는 안전 관련 애플리케이션 및/또는 다른 애플리케이션을 기반으로 하는 CAN 정보를 사용하여 결정될 수 있다. 하나의 예시적인 예에서, ITS(218)는 차선 변경 보조 또는 협상을 수행할 수 있다. 예를 들어, CAN 정보를 사용하여, ITS(218)는 (예컨대, 점멸등(blinker)이 활성화되는 것에 기초하여, 사용자가 인접 차선으로 방향을 바꾸거나 또는 조향하는 것에 기초하여, 등) 차량(202) 또는 차량(202)의 운전자가 현재 차선에서 인접 차선과 같은 다른 차선으로 차선들을 변경하려고 시도하고 있다고 결정할 수 있다. 차량(202)이 차선들을 변경하려고 시도하고 있다는 결정에 기초하여, ITS(218)는 인접 차선에서 차량 인근에 있는 다른 차량들로 전송될 메시지와 연관되는 차선 변경 조건이 충족되었음을 결정할 수 있다. ITS(218)는 ITS 스택을 트리거하여 다른 차량들로의 송신을 위한 하나 이상의 메시지들을 생성할 수 있고, 이는 다른 차량들과 차선 변경을 협상하는 데 사용될 수 있다. 애플리케이션들의 다른 예들은 다른 것들 중에서도, 전방 충돌 경고, 자동 긴급 제동, 차선 이탈 경고, 보행자 회피 또는 보호(예컨대, 사용자의 UE와의 V2P 통신들에 기반으로 하는 것과 같이, 보행자가 차량(202) 근처에서 검출될 때), 교통 표지 인식을 포함한다.
ITS(218)는 임의의 적합한 프로토콜을 사용하여 메시지들(예컨대, V2X 메시지들)을 생성할 수 있다. ITS(218)에 의해 사용될 수 있는 프로토콜의 예들은 하나 이상의 SAE(Society of Automotive Engineering) 표준들, 예컨대 SAE J2735, SAE J2945, SAE J3161, 및/또는 다른 표준들을 포함한다.
ITS(218)의 보안 계층은 다른 차량들, 보행자 UE들, 및/또는 인프라구조 시스템들과 같은, V2X 통신용으로 구성된 다른 UE들로 전송되고 그에 의해 검증되는 ITS 스택으로부터의 메시지들을 보안적으로 서명하는 데 사용될 수 있다. 보안 계층은 그러한 다른 UE들로부터 수신된 메시지들을 검증할 수 있다. 일부 구현들에서, 서명 및 검증 프로세스들은 차량(202)의 보안 상황에 기초할 수 있다. 일부 예에서, 보안 상황은 하나 이상의 암호화-복호화 알고리즘, 암호화-복호화 알고리즘을 사용하여 서명을 생성하는 데 사용되는 공개 및/또는 사설 키, 및/또는 다른 정보를 포함할 수 있다. 예를 들어, ITS 스택에 의해 생성된 각각의 ITS 메시지는 보안 계층에 의해 서명될 수 있다. 서명은 공개 키와 암호화-복호화 알고리즘을 사용하여 도출될 수 있다. 서명된 메시지를 수신하는 차량, 보행자 UE, 및/또는 인프라구조 시스템은, 메시지가 인증된 차량에서 온 것인지를 보장하기 위해 서명을 검증할 수 있다. 일부 예들에서, 하나 이상의 암호화-복호화 알고리즘들은 하나 이상의 대칭 암호화 알고리즘들(예컨대, AES(advanced encryption standard), DES(data encryption standard) 및/또는 다른 대칭 암호화 알고리즘), 공개 및 사설 키들을 사용하는 하나 이상의 비대칭 암호화 알고리즘들(예컨대, RSA(Rivest-Shamir-Adleman) 및/또는 다른 비대칭 암호화 알고리즘) 및/또는 다른 암호화-복호화 알고리즘을 포함할 수 있다.
일부 예들에서, ITS(218)는 모바일 디바이스(150)와 같은 다른 UE들로부터 수신된 메시지들에 기초하여 수행할 소정의 동작들(예컨대, V2X 기반 동작들)을 결정할 수 있다. 동작들은, 예를 들어 그리고 제한 없이, 안전 관련 동작들, 내비게이션 동작들, 운전 동작들, 및/또는 다른 동작들, 예컨대 도로 안전, 교통 효율, 내비게이션, 인포테인먼트, 비즈니스, 운전 동작들, 및/또는 다른 애플리케이션들을 위한 동작들을 포함할 수 있다. 일부 예들에서, 동작들은 차량(202)(예컨대, 제어 시스템(214))으로 하여금, 다른 자동 기능들 중에서도, 자동 제동, 자동 조향(예컨대, 특정 차선에서 진행 방향을 유지하기 위함), 다른 차량들과의 자동 차선 변경 협상, 자동 가속 및/또는 감속과 같은 자동 기능들을 수행하게 하는 것을 포함할 수 있다. 하나의 예시적인 예에서, 모바일 디바이스 또는 (예컨대, PC5 인터페이스를 통한) 다른 차량과 같은 다른 UE로부터 통신 시스템(222)에 의해 메시지가 수신될 수 있다. 메시지는, 다른 차량이 정지하고 있음을 나타낼 수 있다. 메시지를 수신하는 것에 응답하여, ITS(218)는 메시지 또는 명령을 생성하고, 메시지 또는 명령을 제어 시스템(214)으로 전송할 수 있다. 메시지 또는 명령은, 제어 시스템(214)으로 하여금 차량(202)을 자동으로 제동하게 하여, 다른 차량에 충격을 주기 전에(예컨대, 다른 차량으로/그와 충돌하기 전에) 차량(202)을 정지시킬 수 있다(또는 차량(202)의 속도를 감소시킴).
다른 예시적인 예들에서, 동작들은, 다른 것들 중에서도, 다른 차량이 차량(202)의 옆 차선에 있는 것과 같은 차량 관련 이벤트를 차량(202)의 탑승자(예컨대, 운전자)에게 경보하는 메시지, 차량(202)을 정지시킬 것을 탑승자(예컨대, 운전자)에게 경보하는 메시지, 보행자가 다가오는 횡단보도(예컨대, 차량(202)에 대한 임계 근접도 내의 그리고/또는 소정 기간 내에 차량(202)에 의해 가까워지고/지거나 접근하는 것으로 추정되는 횡단보도) 내에 있음을 탑승자(예컨대, 운전자)에게 경보하는 메시지, 요금소(toll booth)가 차량(202)의 소정 거리 내에(예컨대, 1마일 또는 임의의 측정 단위에 따른 임의의 다른 거리 내에) 있음을 탑승자(예컨대, 운전자)에게 경보하는 메시지의 제시/디스플레이를 트리거링하는 것을 포함할 수 있다.
컴퓨팅 시스템(210)은 하나 이상의 센서 시스템들(220)(예컨대, 제1 센서 시스템 내지 제N 센서 시스템, 여기서 N은 2 이상의 값임)을 포함할 수 있다. 일부 예들에서, 센서 시스템(들)(220)은 차량(202)의 상이한 부분들 상에 또는 그 안에 배열될 수 있는 상이한 유형들의 센서 시스템들을 포함할 수 있다. 일부 예들에서, 센서 시스템(들)(220)은 하나 이상의 카메라 센서 시스템들, LIDAR 센서 시스템들, RADAR 센서 시스템들, EmDAR 센서 시스템들, SONAR 센서 시스템들, SODAR 센서 시스템들, GNSS 수신기 시스템들(예컨대, 하나 이상의 GPS 수신기 시스템들), 가속도계들, 속도 센서들, 자이로스코프들, 자력계들, 압력 센서 시스템들, IMU들, 적외선 센서 시스템들, 라디오 주파수(RF) 센서 시스템들, 레이저 거리 측정기 시스템들, 초음파 센서 시스템들, 초저주파 센서 시스템들, 마이크로폰들, 중량 센서들, 이들의 임의의 조합, 및/또는 다른 센서 시스템들을 포함할 수 있다. 임의의 수의 센서들 또는 센서 시스템들이 차량(202)의 컴퓨팅 시스템(210)의 일부로서 포함될 수 있다는 것이 이해되어야 한다.
차량 컴퓨팅 시스템(210)이 소정 컴포넌트들 및/또는 시스템들을 포함하는 것으로 도시되지만, 당업자는 차량 컴퓨팅 시스템(210)이 도 2에 도시된 것들보다 더 많은 또는 더 적은 컴포넌트들을 포함할 수 있다는 것을 인식할 것이다. 예를 들어, 차량 컴퓨팅 시스템(210)은 또한 하나 이상의 입력 디바이스들 및 하나 이상의 출력 디바이스들(도시되지 않음)을 포함할 수 있다. 일부 구현들에서, 차량 컴퓨팅 시스템(210)은 또한 (예컨대, 제어 시스템(214), 인포테인먼트 시스템(216), 통신 시스템(222), 및/또는 센서 시스템(들)(220)의 일부로서 또는 그와는 별개의 것으로서) 적어도 하나의 프로세서 및 적어도 하나의 프로세서에 의해 실행되는 컴퓨터 실행가능 명령들을 갖는 적어도 하나의 메모리를 포함할 수 있다. 적어도 하나의 프로세서는 적어도 하나의 메모리와 통신하거나 및/또는 이에 전기적으로 연결된다("에 커플링된다" 또는 "통신적으로 커플링된다"라고 함). 적어도 하나의 프로세서는, 예를 들어, 하나 이상의 마이크로제어기들, 하나 이상의 CPU들, 하나 이상의 FPGA들, 하나 이상의 ASIC들, 하나 이상의 GPU들, 하나 이상의 NPU들, 하나 이상의 DSP들, 하나 이상의 ISP들, 하나 이상의 VPU들, (예컨대, 하나 이상의 소프트웨어 애플리케이션을 구동시키거나 또는 실행시키기 위한) 하나 이상의 애플리케이션 프로세서(Ap)들, 및/또는 다른 프로세서들을 포함할 수 있다. 적어도 하나의 메모리는, 예를 들어, ROM(read-only memory), RAM(random access memory)(예컨대, SRAM(static RAM)), EEPROM(electrically erasable programmable read-only memory), 플래시 메모리, 하나 이상의 버퍼들, 하나 이상의 데이터베이스들, 및/또는 다른 메모리를 포함할 수 있다. 적어도 메모리 내에 또는 상에 저장된 컴퓨터 실행가능 명령은 본 명세서에 설명된 기능 또는 동작 중 하나 이상을 수행하기 위해 실행될 수 있다.
도 3은 차량내 로컬화를 위한 예시적인 시스템 프로세스(300)를 예시하는 도면이다. 이러한 예에서, 모바일 디바이스(150)는 차량(202)의 내부에 위치된다. 모바일 디바이스(150)는 차량(202)의 운전자와 같은, 차량(202)의 탑승자에 의해 착용된 AR 디바이스를 포함할 수 있다. 모바일 디바이스(150)는 시스템 프로세스(300)를 사용하여, 차량(202) 내에서 그 자신을 로컬화할 수 있다.
모바일 디바이스(150)는 차량내 로컬화를 사용하여 차량(202)에 대한 그의 포즈를 이해하고, 차량(202)의 탑승자를 모니터링하여 임의의 탑승자 손상들(예컨대, 주의산만, 중독, 졸음, 건강 응급사태들/조건들, 스트레스 및/또는 고조된 감정 상태들, 부주의 등)을 검출하고, 탑승자 활동/이벤트들을 모니터링하고, 차량 이벤트들/활동들을 모니터링/검출하고, 차량 이벤트들을 완화시키고/시키거나 차량(202)의 동작을 제어하고, 탑승자를 위해 (존재하는 경우) 어떤 콘텐츠(예컨대, 가상 콘텐츠, 이벤트들, 데이터, 사용자 인터페이스 등)를 렌더링(그리고/또는 필터링)할지를 결정하는 등을 할 수 있다. 일부 경우들에서, 모바일 디바이스(150)에 의해 렌더링된/필터링된 콘텐츠는 차량(202) 및/또는 모바일 디바이스(150) 상의 센서 시스템(102)으로부터의 데이터, 예컨대 센서 측정치들, 검출된 이벤트들 등을 포함할 수 있다(또는 이들로부터의 데이터에 기초함).
일부 경우들에서, 차량(202)은 또한 탑승자를 위해 콘텐츠를 렌더링/필터링할 수 있다. 예를 들어, 차량(202)은 차량(202) 상의/에서의 스크린, 차량(202) 상의/에서의 헤드업 디스플레이, 차량(202)의 대시보드 상의 디스플레이, 차량(202) 상의/에서의 프로젝터 디바이스, 및/또는 임의의 다른 디스플레이 디바이스를 사용하여 콘텐츠를 렌더링할 수 있다. 일부 예들에서, 차량(202)에 의해 렌더링된 콘텐츠는 차량(202)으로부터의 데이터, 센서 시스템들(102)로부터의 데이터, 및/또는 웨이러블 디바이스, 다른 차량의 컴퓨팅 시스템 등과 같은 하나 이상의 다른 디바이스들로부터의 데이터를 포함할 수 있다. 일부 경우들에서, 차량(202)은 차량(202)의 좌표계에 대한 모바일 디바이스(150)의 포즈를 수신하고, 그 포즈 정보를 사용하여 어떤 콘텐츠를 렌더링하고/하거나 필터링할지를 결정하고 그리고/또는 그러한 콘텐츠를 어디서 그리고/또는 언제 렌더링/필터링할지를 결정할 수 있다.
도시된 바와 같이, 차량 컴퓨팅 시스템(210) 상의 차량 애플리케이션(302)은 차량 템플릿(304)을 모바일 디바이스(150)로 전송할 수 있다. 모바일 디바이스(150)는, 본 명세서에서 추가로 설명되는 바와 같이, 차량 템플릿(304)을 사용하여 차량(202) 내에서 그 자신을 로컬화할 수 있다. 차량 템플릿(304)은 차량(202)의 내부의 랜드마크들/마커들(306)을 특정하고/하거나 설명할 수 있다. 차량 템플릿(304)은 또한 차량(202)의 좌표계에 대한 랜드마크들/마커들(306)의 좌표들을 특정할 수 있다. 랜드마크들/마커들(306)의 좌표들은 차량(202)의 좌표계에 대한 랜드마크들/마커들(306)의 포지션 및/또는 배향을 포함할 수 있다. 랜드마크들/마커들(306)은 모바일 디바이스(150) 상의 하나 이상의 이미지 센서들(예컨대, 이미지 센서들(104))을 사용하여 이미징되고 검출될 수 있는 임의의 시각적 랜드마크들/마커들을 포함할 수 있다. 예를 들어, 랜드마크들/마커들(306)은 차량(202) 내부의 하나 이상의 시각적 패턴들, 차량(202) 내부의 활성 조명, 차량(202) 내부의 엘리먼트들 또는 객체들(이동가능 및/또는 부동 엘리먼트들), 디바이스들, 차량(202) 안의 부분들, 및/또는 임의의 다른 시각적 랜드마크들/마커들을 포함할 수 있다. 일부 예들에서, 이미지 센서들 중 하나 이상은 RF 및/또는 IR 이미징을 수행하도록 구성될 수 있다. 이들 예에서, 랜드마크들/마커들(306)은 RF 및/또는 IR에서 감지될 수 있는 차량(202) 내부의 객체들 및/또는 패턴들을 포함할 수 있다.
일부 예들에서, 랜드마크들/마커들은, 차량(202)의 내부 부분(및/또는 그 내부의 객체)에 위치되고/되거나 그에 부착된 하나 이상의 패턴들 또는 코드들(예컨대, 빠른 응답(QR) 코드들, 바코드들, 체커보드 패턴들과 같은 패턴화된 디자인들, 형상들, 심볼들 등), 차량(202)의 내부 부분(및/또는 그 내부의 객체)에 위치되고/되거나 그에 부착된 조명들(예컨대, 발광 다이오드(LED)들, 전구들 등), 차량(202) 내부의 객체들(예컨대, 문, 창문, 좌석, 머리받침대, 차량(202)의 대시보드/패널 및/또는 센터 콘솔 내의 컴포넌트(예컨대, 계측기, 라디오/미디어 시스템(및/또는 그의 컴포넌트)), 조향 휠, 혼, 시그널링 시스템, 기어 스틱, 컵홀더, 제어부들 등), 차량(202) 내부의 이동가능 및/또는 부동 엘리먼트들(예컨대, 차량(202)의 내부 부분의(예컨대, 전면 유리, 창문, 대시, 문, 사이드 패널, 후방 창문 등의) 모서리와 같은 일부분, 자동차 좌석, 조향 휠, 등)을 포함할 수 있다.
모바일 디바이스(150)는 하나 이상의 이미지 센서들(104)을 사용하여, 랜드마크들/마커들(306)을 이미징할 수 있다. 예를 들어, 모바일 디바이스(150)는 하나 이상의 이미지 센서들(104)을 사용하여, 차량(202) 내의 랜드마크들/마커들(306)을 묘사하는 하나 이상의 이미지들을 캡처할 수 있다. 모바일 디바이스(150)의 로컬화 엔진(312)은 하나 이상의 이미지 센서들(104)로부터의 하나 이상의 이미지들 및 차량 템플릿(304)을 사용하여, 차량(202) 내에서 그 자신을 로컬화할 수 있다. 예를 들어, 모바일 디바이스(150)는 하나 이상의 이미지 센서들(104)에 의해 캡처된 하나 이상의 이미지들에 묘사된 랜드마크들/마커들(306)을 검출할 수 있다. 로컬화 엔진(312)은 차량 템플릿(304)을 사용하여, 차량(202)의 좌표계에 대한 랜드마크들/마커들(306)의 좌표들(및 배향들)을 결정할 수 있다. 로컬화 엔진(312)은 차량(202)의 좌표계에 대한 랜드마크들(306)의 좌표들을 모바일 디바이스(150)의 좌표계에 대한 연관된 좌표들로 컨버팅하기 위해, 변환과 같은 알고리즘을 구현할 수 있다. 로컬화 엔진(312)은 차량(202)에 대한 랜드마크들/마커들(306)의 좌표들 및 모바일 디바이스(150)에 대한 랜드마크들/마커들(306)의 좌표들을 사용하여, (예컨대, 차량(202)의 좌표계에 대한) 차량(202) 내의 모바일 디바이스(150)의 포즈를 결정할 수 있다.
일부 예들에서, 로컬화 엔진(312)은 모바일 디바이스(150)의 좌표계에 대한 모바일 디바이스(150)의 (예컨대, 모바일 디바이스(150) 상의 하나 이상의 센서들로부터의 센서 데이터에 기초한) 추적된 위치를 사용하여, 랜드마크들/마커들(306)의 위치 및/또는 배향에 대한 모바일 디바이스(150)의 포즈를 결정할 수 있다. 로컬화 엔진(312)은 랜드마크들/마커들(306)의 위치 및/또는 배향에 대한 모바일 디바이스(150)의 포즈를 사용하여, 차량(202)의 좌표계에 대한 모바일 디바이스(150)의 포즈를 결정할 수 있다.
일부 경우들에서, 로컬화 엔진(312)은 다른 센서들(예컨대, 위치 센서(들)(106), IMU(108) 등)로부터의 데이터를 사용하여, 차량(202) 내에서 모바일 디바이스(150)의 포즈를 결정하는 것을 보조할 수 있다. 예를 들어, 위치 센서(들)(106)는 센서 데이터/신호들(예컨대, WiFi 또는 블루투스와 같은 RF 신호들, 초음파 신호들 등)을 사용하여, 차량(202) 내의 하나 이상의 객체들에 대한 모바일 디바이스(150)의 포즈를 결정할 수 있다. 위치 센서(들)(106)는 모바일 디바이스(150)의 결정된 포즈를 로컬화 엔진(312)에 제공할 수 있다. 로컬화 엔진(312)은 그러한 포즈 정보뿐만 아니라 이전에 설명된 바와 같은 랜드마크들/마커들(306)에 기초하여 결정된 위치 및/또는 배향 정보를 사용하여, 차량(202) 내에서 모바일 디바이스(150)를 로컬화할 수 있다.
차량내 로컬화에 기초하여, 로컬화 엔진(312)은 차량(202)의 좌표계에 대한 모바일 디바이스(150)의 포즈를 나타내는 로컬화 데이터(314)를 생성할 수 있다. 로컬화 엔진(312)은 로컬화 데이터(314)를 모바일 디바이스(150) 상의 AR 애플리케이션(310)에 제공할 수 있다. 일부 예들에서, AR 애플리케이션(310)은 로컬화 데이터(314)를 사용하여, (예컨대, 모바일 디바이스(150)의 사용자에 대해) 차량(202)의 탑승자에 대한 사용자 인터페이스를 렌더링하고, 탑승자를 위해 어떤 콘텐츠(존재하는 경우)를 렌더링할지를 결정하고, 어떤 콘텐츠(존재하는 경우)를 필터링할지를 결정하고, (예컨대, 손상들, 활동/이벤트들 등에 대해) 탑승자를 모니터링하고, 본 명세서에 설명된 바와 같은 이벤트들, 및/또는 임의의 다른 출력들 및/또는 결정들을 완화할 수 있다. 일부 경우들에서, 로컬화 엔진(312) 및/또는 모바일 디바이스(150)는 로컬화 데이터(314)를 차량 컴퓨팅 시스템(210)에 제공할 수 있고, 차량 컴퓨팅 시스템(210) 상의 차량 애플리케이션(302)은 로컬화 데이터(314)를 사용하여 사용자 인터페이스 및/또는 본 명세서에 설명된 임의의 다른 데이터를 렌더링할 수 있다. 일부 경우들에서, 차량 애플리케이션(302)은 추가적으로 또는 대안적으로, 이벤트 데이터, 탑승자의 상태에 관한 데이터(예컨대, 탑승자의 손상을 나타내는 데이터), 차량 계측 데이터, 및/또는 임의의 다른 데이터를 사용하여, 사용자 인터페이스 및/또는 탑승자를 위한 임의의 다른 가상 콘텐츠를 렌더링할 수 있다.
일부 경우들에서, 모바일 디바이스(150)는 하나 이상의 이미지들을 사용하여 그리고 임의의 다른 데이터 및/또는 양식들을 갖거나 또는 갖지 않고서 모바일 디바이스(150)의 포즈를 결정할 수 있다. 예를 들어, 모바일 디바이스(150)는 차량(202)의 내부 부분의 하나 이상의 이미지들을 사용하여, 차량(202)의 좌표계에 대한 모바일 디바이스(150)의 포즈를 결정할 수 있다. 하나 이상의 이미지들은 차량(202)의 내부 부분에 하나 이상의 랜드마크들/마커들을 묘사할 수 있다. 모바일 디바이스(150)는 하나 이상의 이미지들을 사용하여 그 자신에 대한 하나 이상의 랜드마크들/마커들의 포지션을 식별할 수 있는데, 이를 모바일 디바이스(150)가 사용하여 (예컨대, 하나 이상의 랜드마크들/마커들에 대해 그리고/또는 차량(202)의 좌표계에 대해) 차량(202) 내의 모바일 디바이스(150)의 포즈를 결정할 수 있다.
도 4a는 차량 탑승자 보조를 위한 증강 현실을 위한 예시적인 시스템 프로세스(400)를 예시하는 도면이다. 이러한 예에서, 차량(202)은 전술된 바와 같이 랜드마크들(306)을 포함할 수 있다. 차량 컴퓨팅 시스템(210)은 차량(202) 상의 센서 시스템들(220)로부터 센서 데이터(406)를 획득할 수 있다. 센서 데이터(406)는, 본 명세서에 추가로 설명되는 바와 같이, 모바일 디바이스(150)에 제공된 차량 데이터(408)의 적어도 일부분을 생성하는 데 사용될 수 있다. 일부 예들에서, 센서 데이터(406)는 또한, 차량(202) 및/또는 차량(202)의 동작을 모니터링하기 위해 차량 애플리케이션(302)의 차량 모니터링 엔진(402)에 의해, 그리고/또는 이벤트 완화를 수행하기 위해(예컨대, 운전자를 돕고, 운전자에 의해 개시된/트리거된 동작 및/또는 오류를 보정하는 등) 차량 애플리케이션(302)의 이벤트 완화 엔진(404)에 의해 사용될 수 있다. 예를 들어, 차량 모니터링 엔진(402)은 센서 데이터(406)를 사용하여, 차량(202) 및 그의 주변환경들과 관련된 스테이터스 이벤트들 및/또는 다른 이벤트들(예컨대, 임박한 및/또는 발생 중인 이벤트들)을 인식하고/하거나 모니터링할 수 있다. 다른 예로서, 이벤트 완화 엔진(404)은 센서 데이터(406)를 사용하여, 예를 들어 그리고 제한 없이, 하나 이상의 차량 기능들, 동작들, 및/또는 액션들을 방지 및/또는 구현하는 것; 운전자에 대한 경고들/경보들을 생성하는 것; 운전자에 의해 개시된/트리거된 오류 및/또는 동작을 보정하는 것; 보호장치(safeguard)들을 구현하는 것; 하나 이상의 자율 주행 능력들을 활성화하는 것; 등과 같은 운전자 이벤트 완화 액션들을 수행할 수 있다. 일부 예들에서, 이벤트 완화 엔진(404)은, 본 명세서에 설명된 바와 같이, 모바일 디바이스(150)로부터의 하나 이상의 운전자 모니터링 이벤트들의 수신에 응답하여 운전자 이벤트 완화 액션들을 수행할 수 있다.
센서 데이터(406)는 차량(202)의 스테이터스/상태, 차량 주변환경들의 스테이터스, 내비게이션 정보, 주행/동작 이벤트들, 안전 이벤트들 등에 관한 정보를 제공할 수 있다. 예를 들어, 센서 데이터(406)는, 차량(202)의 동작(예컨대, 속도, 진행 방향/방향, 가속/감속, 등), 차량(202)의 위치, 차량(202)과 연관된 주행/동작 통계치들, 차량(202)과 연관된 검출된 활동/이벤트들과 연관된 타임스탬프들, 임의의 조건(예컨대, 객체, 차선 표시, 교통 신호, 보행자, 다른 차량, 동물, 도로 조건, 교통, 날씨, 인프라구조 조건, 조명, 근처 방해물, 등) 및/또는 (예컨대, 차량(202)의 경로를 따른, 차량(202)의 외부에서 발생하는, 차량(202) 주변의, 차량(202)의 외부의 환경에서, 차량(202)에 근접한 곳 내에서, 등) 차량(202) 외부의 활동/이벤트, 내비게이션 정보 등을 나타내는 데이터를 포함할 수 있다.
다른 예로서, 센서 데이터(406)는 (추가적으로 또는 대안적으로) 차량(202)의 임의의 조건 및/또는 상태(예컨대, 배터리 충전 상태, 남아 있는 연료량, 경고 및/또는 오류, 고장 또는 오작동 등), 차량(202)의 하나 이상의 컴포넌트들(예컨대, 타이어, 브레이크, 차량 센서, 엔진, 도어 록(door lock), 라디오 및/또는 사운드 시스템, 제어 및/또는 시그널링 시스템, 차량 컴퓨팅 시스템(210), 사각지대 정보 시스템, 운전자 모니터링 시스템, 제동 시스템, 자율 주행 컴포넌트, 주차 센서, 운전자 보조 시스템, 내비게이션 시스템, 자동차 헤드업 디스플레이, 광 센서, 차량 조명, 차량 통신 시스템(예컨대, V2V, V2I, V2X) 등)의 임의의 조건 및/또는 상태, 차량(202)에 의해 구현된 또는 구현되고 있는 임의의 기능/액션(예컨대, 자동조종, 트랙션 제어, 크루즈 제어, 충돌 회피, 차선 이탈, 차선 센터링, 안정성 제어, 브레이크 보조, 교통 경보, 차선 유지, 고속도로 보조, 주차, 교통 표지판 인식, 사각지대 모니터링, 운전자 모니터링, 교차로 보조, 차선 변경 보조, 지능형 속도 적응, 타이어 압력 모니터링, 회전, 가속/감속, 시그널링 등), 임의의 차량 안전 관련 이벤트들(예컨대, 임박한 충돌, 동작 오류, 하나 이상의 규정들의 위반(예컨대, 속도 제한, 좌석 벨트 규정, 차선 횡단 규정, 도로 안전 규정들 등), 충격 및/또는 쇼크 이벤트 등을 포함할 수 있다.
일부 경우들에서, 센서 데이터(406)는 차량(202)의 탑승자와 연관된 측정치들을 포함할 수 있다. 예를 들어, 센서 데이터(406)는 차량(202)의 하나 이상의 좌석들 상의 하나 이상의 중량 센서들로부터의 측정치들을 포함할 수 있다. 하나 이상의 중량 센서들로부터의 측정치들은, 탑승자가 차량(202)의 특정 좌석에 있음을 나타낼 수 있다. 일부 예들에서, 하나 이상의 중량 센서들의 측정치들은, 본 명세서에서 추가로 설명되는 바와 같이, 탑승자 및/또는 모바일 디바이스(150)의 포지션을 결정하는 데 도움을 주기 위해 사용될 수 있다. 예를 들어, 측정치들은, 탑승자가 차량(202)의 특정 좌석에 있음을 나타낼 수 있다. 모바일 디바이스(150)는, 본 명세서에 추가로 설명되는 바와 같이, 하나 이상의 센서들을 사용하여 탑승자의 위치/포지션을 확인할 수 있다.
차량(202)은 전술된 바와 같이 랜드마크들(306)을 포함할 수 있다. 차량 컴퓨팅 시스템(210)은 차량 데이터(408)를 모바일 디바이스(150)에 제공할 수 있다. 차량 데이터(408)는 차량 템플릿(예컨대, 차량 템플릿(304))을 포함할 수 있다. 일부 예들에서, 차량 데이터(408)는 또한 센서 데이터(406) 및/또는 센서 데이터(406)에 기초하여 생성된 데이터 중 임의의 것을 포함할 수 있다. 일부 경우들에서, 센서 데이터(406)에 기초하여 생성된 데이터는, 예를 들어 그리고 제한 없이, 센서 데이터(406) 내의 정보의 설명(예컨대, 차량 계측정보로서 그리고/또는 센서 측정치들의 설명), 센서 데이터(406)로부터 생성된 하나 이상의 결정들 및/또는 예측들(예컨대, 차량(202)의 환경에서 발생하는 그리고/또는 차량(202)의 동작(및/또는 연관된 안전 위험)에 영향을 줄 것으로 추정되는 결정된 그리고/또는 예측된 이벤트 등), 센서 데이터(406)로부터 생성된 하나 이상의 출력들 및/또는 추론들, 센서 데이터(406)와 연관된 통계치들 및/또는 메트릭들, 센서 데이터(406)에 의해 식별되고/되거나 설명된 이벤트들, 차량(202)과 연관된 스테이터스 정보(예컨대, 차량(202)의 스테이터스/상태), 센서 데이터(406)의 하나 이상의 속성들 등을 포함할 수 있다.
예를 들어, 일부 경우들에서, 차량 데이터(408)는 차량 템플릿, 및 센서 데이터(406)에 포함된 그리고/또는 그로부터 생성된 이벤트 데이터 및/또는 센서 데이터(406)에 포함된 그리고/또는 그로부터 생성된 차량 스테이터스 정보 중 적어도 하나를 포함할 수 있다. 일부 경우들에서, 이벤트 데이터는, 차량(202)을 둘러싸고/싸거나 그와 연관된 환경에서의 이벤트(예컨대, 다가오는/가까운 이벤트, 나가는 이벤트, 정지 이벤트, 이동 이벤트, 예측된 이벤트 등)의 표시, 예컨대 하나 이상의 객체들 및/또는 대상들(예컨대, 보행자, 동물, 인프라구조 객체, 건물, 디바이스, 자전거, 오토바이, 교통, 게이트, 표지판 등), 장애물들(예컨대, 포트홀, 연석(curb), 원뿔형 표지(cone), 나무, 도로 작업, 사고, 도로 블록, 전기 케이블, 길가 쓰레기 또는 객체들, 잔해, 물, 얼음, 눈 등), 사고(예컨대, 충돌, 가까운 또는 임박한 만남, 다른 차량에 의한 기동(maneuver), 길가 활동, 긴급사태 또는 비상 차량 등), 다른 차량 등을 포함할 수 있다.
일부 경우들에서, 이벤트는 하나 이상의 이벤트들 및/또는 차량의 위치/궤적 및/또는 차량(202)의 동작/내비게이션에 대한 관련성에 기초하여 하나 이상의 이벤트들을 포함할 수 있다. 예를 들어, 이벤트는, 차량(202)의 경로에서/이를 따라 검출된 그리고/또는 차량(202)에 의한 임계 주행 거리 또는 임계 기간 내에 차량(202)의 경로에/이에 따라 있을 것으로 예측된 이벤트, 차량(202)에 대한 임계 근접도/거리 및/또는 차량(202)의 경로 내의 이벤트, 차량(202)에 의해 기동(예컨대, 가속, 감속, 회전, 제동, 차선 센터링, 충돌 회피, 정지, 시그널링 등)을 트리거/프롬프트할 것으로 추정된 이벤트, 및/또는 차량(202)의 동작(예컨대, 정책)에서의 변경(예컨대, 루트 변경, 자율 주행 기능에서의 변경 또는 그의 구현, 하나 이상의 운전 파라미터들 및/또는 임계에서의 변경, 등) 등을 포함할 수 있다.
차량 데이터(408)에서의 차량 템플릿은 차량(202) 내의 랜드마크들(306)의 표시, 및 차량(202)의 좌표계에 대한(예컨대, 차량(202) 상의 차량 컴퓨팅 시스템(210)의 좌표계에 대한) 랜드마크들/마커들(306)의 좌표들 및/또는 배향을 포함할 수 있다. 예를 들어, 차량 템플릿은 차량(202) 내의 랜드마크/마커의 설명, 및 차량(202)의 좌표계에 대한 랜드마크/마커의 좌표들 및/또는 배향을 포함할 수 있다. 모바일 디바이스(150)는, 전술된 바와 같이, 차량 데이터(408)(및 차량 데이터(408)의 임의의 다른 부분)에서의 차량 템플릿을 사용하여, 차량(202) 내에서 그 자신을 로컬화할 수 있다. 일부 예들에서, 모바일 디바이스(150)는 또한 차량 데이터(408)를 사용하여, 예를 들어, 본 명세서에 설명된 AR, 모니터링, 렌더링, 제어, 통신, 운전자 보조, 및/또는 완화 기능들 중 임의의 것과 같은 본 명세서에 설명된 기능들 중 임의의 것을 수행할 수 있다.
로컬화 엔진(312)은 차량(202) 내에서 모바일 디바이스(150)를 로컬화하는 로컬화 데이터(314)를 생성할 수 있다. 로컬화 엔진(312)은, 본 명세서에 추가로 설명되는 바와 같이, 모니터링 엔진(410), 콘텐츠 필터링 엔진(412), 및/또는 차량 사용자 인터페이스(414)에 의한 사용을 위해 로컬화 데이터(314)를 AR 애플리케이션(310)에 제공할 수 있다. 로컬화 데이터(314)는 차량(202)의 좌표계에 대한 모바일 디바이스(150)의 포즈를 포함할 수 있다. 일부 예들에서, 로컬화 엔진(312)은 모바일 디바이스(150)의 하나 이상의 이미지 센서들(104)로부터의 이미지 데이터 및 차량 데이터(408)에 기초하여(예컨대, 차량 데이터(408)에서의 차량 템플릿에 기초하여) 로컬화 데이터(314)를 생성할 수 있다.
예를 들어, 로컬화 엔진(312)은 하나 이상의 이미지 센서들(104)로부터 랜드마크들/마커들(306)의 하나 이상의 이미지들을 획득할 수 있다. 하나 이상의 이미지들은 랜드마크들/마커들(306) 중 하나 이상을 묘사할 수 있다. 로컬화 엔진(312)은 하나 이상의 이미지들에 묘사된 랜드마크들/마커들(306)을 검출할 수 있다. 로컬화 엔진(312)은 차량 템플릿을 사용하여, 차량 템플릿에서 참조/설명된 임의의 검출된 랜드마크들/마커들의 좌표들 및/또는 배향을 결정할 수 있다. 차량 템플릿에서의 좌표들 및/또는 배향에 기초하여, 로컬화 엔진(312)은 차량(202)의 좌표계에 대한 검출된 랜드마크들/마커들의 포지션 및/또는 배향을 결정할 수 있다.
일부 경우들에서, 로컬화 엔진(312)은 또한 추적 엔진(420)으로부터의 추적 데이터(422)를 사용하여, 모바일 디바이스(150)의 포즈를 결정할 수 있다. 일부 예들에서, 추적 데이터(422)는, 추가로 후술되는 바와 같이 물리적 공간에서의 모바일 디바이스(150)의 포즈를 포함할 수 있다. 일부 경우들에서, 로컬화 엔진(312)은 검출된 랜드마크들에 대한 모바일 디바이스(150)의 포즈를 결정하여, 차량(202)의 좌표계에 대한 모바일 디바이스(150)의 포즈를 결정할 수 있다. 예를 들어, 로컬화 엔진(312)은 랜드마크들/마커들(306)을 묘사하는 하나 이상의 이미지들을 사용하여, 모바일 디바이스(150)의 좌표계에 대한 랜드마크들/마커들(306)의 포지션 및/또는 배향을 결정할 수 있다. 로컬화 엔진(312)은 랜드마크들/마커들(306)의 포지션 및/또는 배향, 및 추적 엔진(420)으로부터의 추적 데이터(422)에 표시된 모바일 디바이스(150)의 포즈를 사용하여, 랜드마크들/마커들(306)에 대한 모바일 디바이스(150)의 포즈를 결정할 수 있다. 로컬화 엔진(312)은 모바일 디바이스(150) 및 랜드마크들/마커들(306)의 상대적 포즈를 사용하여, 차량(202)의 좌표계에 대한 모바일 디바이스(150)의 포즈를 결정할 수 있다.
일부 예들에서, 차량(202)의 좌표계에 대한 모바일 디바이스(150)의 포즈를 결정하기 위해, 로컬화 엔진(312)은 차량(202)의 좌표계에 대한 검출된 랜드마크들의 좌표들을 모바일 디바이스(150)의 좌표계에 대한 대응하는 좌표들로 변환(예컨대, 컨버팅, 병진 등)할 수 있다. 예를 들어, 일부 경우들에서, 로컬화 엔진(312)은 차량(202)의 좌표계에 대한 검출된 랜드마크들/마커들의 좌표들에 대응하는 모바일 디바이스(150)의 좌표계에 대한 좌표들을 결정할 수 있다. 로컬화 엔진(312)은 차량(202)의 좌표계에 대한 검출된 랜드마크/마커들의 위치(예컨대, 좌표들), 및 모바일 디바이스(150)의 좌표계에 대한 검출된 랜드마크들/마커들의 위치(예컨대, 좌표들)에 대한 모바일 디바이스(150)의 좌표계에 대한 모바일 디바이스(150)의 위치(예컨대, 좌표들)를 사용하여, 차량(202)의 좌표계에 대한 모바일 디바이스(150)의 포즈를 결정할 수 있다.
일부 경우들에서, 로컬화 엔진(312)은 또한, 이전에 설명된 바와 같이, 위치 센서(106)로부터의 데이터를 사용하여 로컬화 데이터(314)를 생성하는 것을 보조할 수 있다. 예를 들어, 일부 경우들에서, 위치 센서(106)는, 예를 들어, RF 기반 로컬화/포지셔닝, 초음파 기반 로컬화/포지셔닝 등과 같은 하나 이상의 로컬화 신호들/알고리즘들을 사용하여, 모바일 디바이스(150)의 포즈 및/또는 랜드마크들/마커들(306) 중 하나 이상을 결정할 수 있다.
일부 경우들에서, 센서 데이터(406)는 차량(202)의 하나 이상의 좌석들 상의 하나 이상의 중량 센서들로부터의 측정치들을 포함할 수 있다. 하나 이상의 중량 센서들로부터의 측정치들은, 모바일 디바이스(150)를 보유한 또는 이를 착용한 탑승자가 차량(202)의 특정 좌석에 있음을 나타낼 수 있다. 이러한 정보는, 이전에 설명된 바와 같이, 모바일 디바이스(150)에 의해 결정된 모바일 디바이스(150)의 위치/포지션을 확인하는 데 사용될 수 있다.
추적 엔진(420)은 센서 데이터를 획득하고, 센서 데이터를 사용하여 추적 동작들을 수행할 수 있다. 추적 동작들은 모바일 디바이스(150), 차량(202)의 탑승자(및/또는 손, 눈, 손가락들, 머리 포즈 등과 같은 탑승자의 하나 이상의 신체 부위들) 등의 포즈(예컨대, 위치, 배향 등)를 추적할 수 있다. 센서 데이터는 하나 이상의 이미지 센서들(104)로부터의 이미지 데이터, IMU(108)로부터의 포지션 정보(예컨대, 각속도, 선형 가속도, 배향; 및/또는 피치, 롤(roll), 및 요(yaw)에서의 변화들), 및/또는 모바일 디바이스(150) 및/또는 차량(202)의 위치 센서(106)와 같은 하나 이상의 다른 센서들로부터의 데이터를 포함할 수 있다. 일부 예들에서, 추적 엔진(420)은 모바일 디바이스(150)의 포즈를 결정하기 위해 모바일 디바이스(150)의 포지션 추적(예컨대, 6 자유도(6DOF) 포지션 추적 등)을 수행하도록 하나 이상의 이미지 센서들(104), IMU(108), 및/또는 위치 센서(106)로부터의 데이터를 사용할 수 있다. 추적 엔진(420)은 추적 데이터(422)를 생성하고, 모니터링 엔진(410), 콘텐츠 필터링 엔진(412), 및/또는 차량 사용자 인터페이스(414)에 의한 사용을 위해 추적 데이터(422)를 AR 애플리케이션(310)에 제공할 수 있다. 일부 예들에서, 추적 데이터(422)는 모바일 디바이스(150)의 좌표계에 대한 모바일 디바이스(150)의 포즈를 포함할 수 있다.
추적 엔진(420)은 칼만(Kalman) 필터, 손 추적 알고리즘, 머신 학습 알고리즘, 광선 추적 알고리즘(ray tracing algorithm), 시선 및/또는 눈 추적 알고리즘, 컴퓨터 비전 알고리즘, 포지션 추적 알고리즘 등과 같은 하나 이상의 추적 알고리즘들을 사용하여, 모바일 디바이스(150) 및/또는 차량(202)의 탑승자의 하나 이상의 신체 부위들(예컨대, 눈, 손, 손가락들, 머리 등)을 추적할 수 있다. 탑승자는 차량(202)의 운전자 또는 승객을 포함할 수 있다. 추적 엔진(420)은 추적 데이터(422)를 AR 애플리케이션(310)에 제공할 수 있다. 추적 데이터(422)는, 본 명세서에 추가로 설명되는 바와 같이 포지션 및/또는 배향 정보를 포함할 수 있다.
일부 경우들에서, 추적 엔진(420)은 다수의 추적 동작들을 수행할 수 있다. 예를 들어, 추적 엔진(420)은 차량(202)의 탑승자의 하나 이상의 신체 부위들(예컨대, 손, 눈, 머리, 손가락, 자세 등) 및 모바일 디바이스(150)를 추적할 수 있다. 일부 예들에서, 추적 엔진(420)은 차량(202)의 탑승자의 손(들)을 추적할 수 있다. 일부 예들에서, 추적 엔진(420)은 차량(202)의 탑승자의 눈 및/또는 눈 시선을 추적할 수 있다.
예시하기 위해, 도 4b를 참조하면, 추적 엔진(420)은 디바이스 추적 엔진(430), 손 추적 엔진(432), 및/또는 눈 추적 엔진(434)을 포함할 수 있다. 디바이스 추적 엔진(430)은, 이전에 설명된 바와 같이, 모바일 디바이스(150)의 포지션 및/또는 배향을 추적할 수 있다. 디바이스 추적 엔진(430)은 AR 애플리케이션(310)에 대한 디바이스 추적 데이터(440)를 생성할 수 있다. 일부 경우들에서, 디바이스 추적 데이터(440)는 도 4a에 도시된 추적 데이터(422)의 적어도 일부분을 포함하거나 또는 이를 나타낼 수 있다.
디바이스 추적 엔진(430)은 하나 이상의 이미지 센서들(104)로부터의 하나 이상의 이미지들 및/또는 IMU(108)로부터의 관성 센서 데이터를 사용하여 모바일 디바이스(150)의 포즈를 추적할 수 있다. 일부 경우들에서, 디바이스 추적 엔진(430)은 (추가적으로 또는 대안적으로) 위치 센서(106)와 같은 하나 이상의 추가적인 센서들로부터의 데이터를 사용하여, 모바일 디바이스(150)의 포즈를 추적할 수 있다. 예를 들어, 위치 센서(106)는 하나 이상의 RF 신호들을 획득하고, 하나 이상의 RF 신호들과 연관된 왕복 시간(RTT), 하나 이상의 RF 신호들과 연관된 도착 시간(TOA), 하나 이상의 RF 신호들과 연관된 수신 신호 강도 표시자(RSSI) 등에 기초하여 모바일 디바이스(150)와 연관된 포즈 정보를 생성할 수 있다. 디바이스 추적 엔진(430)은 위치 센서(106)로부터의 포즈 정보를 사용하여, 모바일 디바이스(150)의 포즈를 추적할 수 있다.
손 추적 엔진(432)은 모바일 디바이스(150)와 연관된 탑승자의 하나 이상의 손을 추적할 수 있다. 손 추적 엔진(432)은 AR 애플리케이션(310)에 대한 손 추적 데이터(442)를 생성할 수 있다. 일부 경우들에서, 손 추적 데이터(442)는 도 4a에 도시된 추적 데이터(422)의 적어도 일부분을 포함하거나 또는 이를 나타낼 수 있다. 손 추적 엔진(432)은 하나 이상의 이미지 센서들(104)로부터의 이미지 데이터를 사용하여, 탑승자의 하나 이상의 손을 추적할 수 있다. 이미지 데이터는 탑승자의 하나 이상의 손의 하나 이상의 이미지들을 포함할 수 있다. 손 추적 엔진(432)은 하나 이상의 이미지들에서 하나 이상의 손을 검출하고, 하나 이상의 손을 묘사하는 하나 이상의 이미지들에 기초하여 물리적 공간에서의 하나 이상의 손의 포즈를 결정할 수 있다. 일부 경우들에서, 손 추적 엔진(432)은 (추가적으로 또는 대안적으로) 위치 센서(106)와 같은 하나 이상의 추가적인 센서들로부터의 데이터를 사용하여, 하나 이상의 손의 포즈를 추적할 수 있다. 예를 들어, 위치 센서(106)는 하나 이상의 RF 신호들을 획득하고, 하나 이상의 RF 신호들과 연관된 RTT, 하나 이상의 RF 신호들과 연관된 TOA, 하나 이상의 RF 신호들과 연관된 RSSI 등에 기초하여 하나 이상의 손과 연관된 포즈 정보를 생성할 수 있다. 손 추적 엔진(432)은 위치 센서(106)로부터의 포즈 정보를 사용하여, 하나 이상의 손을 추적할 수 있다.
손 추적 엔진(432)은 손 추적 알고리즘, 머신 학습 알고리즘, 광선 추적 알고리즘, 컴퓨터 비전 알고리즘 등과 같은 하나 이상의 추적 알고리즘들을 사용하여, 하나 이상의 손을 추적할 수 있다. 손 추적 엔진(432)은 손 추적 데이터(442)를 AR 애플리케이션(310)에 제공할 수 있다. 손 추적 데이터(442)는 물리적 공간에서의 하나 이상의 손의 포즈를 포함할 수 있다.
눈 추적 엔진(434)은 하나 이상의 이미지 센서들(104)로부터의 이미지 데이터를 사용하여, 탑승자의 눈 및/또는 눈 시선을 추적할 수 있다. 눈 추적 엔진(434)은 AR 애플리케이션(310)에 대한 눈 추적 데이터(444)를 생성할 수 있다. 눈 추적 데이터(444)는 하나 이상의 시간들 또는 기간들에서 결정된 탑승자의 눈 시선을 포함할 수 있다. 일부 경우들에서, 눈 추적 데이터(444)는 도 4a에 도시된 추적 데이터(422)의 적어도 일부분을 포함하거나 또는 이를 나타낼 수 있다.
이미지 데이터는 탑승자의 눈을 묘사하는 하나 이상의 이미지들을 포함할 수 있다. 눈 추적 엔진(434)은 하나 이상의 이미지들에서의 눈을 검출하고, 하나 이상의 이미지들에서 검출된 눈들에 기초하여 탑승자의 눈 시선을 결정할 수 있다. 일부 예들에서, 눈 추적 엔진(434)은 하나 이상의 이미지들 및 하나 이상의 알고리즘들, 예컨대 광선 추적 알고리즘, 머신 학습 알고리즘, 컴퓨터 비전 알고리즘 등을 사용하여, 탑승자의 눈 시선을 검출할 수 있다. 눈 추적 엔진(434)은, 이전에 언급된 바와 같이, 눈 추적 데이터(444)를 AR 애플리케이션(310)에 제공할 수 있다.
AR 애플리케이션(310)은 로컬화 데이터(예컨대, 로컬화 데이터(314)) 및 추적 데이터(예컨대, 추적 데이터(422), 디바이스 추적 데이터(440), 손 추적 데이터(442), 및/또는 눈 추적 데이터(444))를 사용하여, 예를 들어, (예컨대, 모니터링 엔진(410)을 통한) 탑승자 모니터링, (예컨대, 콘텐츠 필터링 엔진(412)을 통한) 가상 콘텐츠 필터링, (예컨대, 차량 사용자 인터페이스(414)를 통한) 콘텐츠 렌더링, 이들의 조합, 및/또는 본 명세서에 설명된 바와 같은 다른 기능들과 같은 다양한 기능들을 수행할 수 있다. 예를 들어, 일부 경우들에서, AR 애플리케이션(310)은 차량(202)과 연관된 이벤트들 및/또는 모바일 디바이스(150)와 연관된 탑승자를 모니터링하도록 구성된 모니터링 엔진(410)을 구현할 수 있다.
AR 애플리케이션(310)은 추가적으로 또는 대안적으로, 로컬화 데이터(예컨대, 로컬화 데이터(314)), 추적 데이터(예컨대, 추적 데이터(422), 디바이스 추적 데이터(440), 손 추적 데이터(442), 및/또는 눈 추적 데이터(444)), 모니터링 엔진(410)으로부터의 탑승자 데이터, 차량 애플리케이션(302) 상의 모니터링 엔진(402) 및/또는 차량 데이터(408)로부터의 차량 상태 데이터 및/또는 이벤트 데이터, 센서 데이터, 및/또는 임의의 다른 데이터를 사용하여, 가상 콘텐츠가 탑승자에 대해 렌더링되는 것을 차단/필터링하도록 그리고/또는 가상 콘텐츠 렌더링으로부터 라이브 카메라 피드와 같은 라이브 콘텐츠로 스위칭하도록 구성된 콘텐츠 필터링 엔진(412)을 구현할 수 있다.
AR 애플리케이션(310)은 추가적으로 또는 대안적으로, 가상 콘텐츠, 라이브 콘텐츠(예컨대, 카메라 피드 등) 및/또는 사용자 인터페이스 엘리먼트들과 같은 데이터를 렌더링하도록 구성된 차량 사용자 인터페이스(414)를 구현할 수 있다. 차량 사용자 인터페이스(414)는 로컬화 데이터(예컨대, 로컬화 데이터(314)), 추적 데이터(예컨대, 추적 데이터(422), 디바이스 추적 데이터(440), 손 추적 데이터(442), 및/또는 눈 추적 데이터(444)), 모니터링 엔진(410)으로부터의 탑승자 데이터, 차량 애플리케이션(302) 상의 모니터링 엔진(402) 및/또는 차량 데이터(408)로부터의 차량 및/또는 이벤트 데이터, 센서 데이터, 및/또는 임의의 다른 데이터에 기초하여 데이터를 렌더링할 수 있다.
모니터링 엔진(410)은 모바일 디바이스(150)와 연관된 탑승자를 모니터링하고, 탑승자의 상태를 검출할 수 있다. 일부 예들에서, 탑승자의 상태는 탑승자의 눈 시선, 탑승자의 포즈, 탑승자의 활동, 탑승자의 임의의 손상들, 및/또는 탑승자에 관한 임의의 다른 정보를 포함할 수 있다. 탑승자의 손상은, 차량(202)을 안전하게 동작(예컨대, 운전, 제어, 관리 등)시키는 탑승자의 능력에 영향을 미칠 수 있는/영향을 줄 수 있는 임의의 이벤트, 활동, 주의산만, 상태, 속성, 거동, 및/또는 조건(예컨대, 인지적, 감정적 또는 심리적, 생리적, 시각적, 청각적, 및/또는 상황 이벤트들, 조건들, 속성들, 활동들, 거동들, 주의산만들, 및/또는 상태들)을 포함할 수 있다. 예를 들어, 손상은 차량(202)을 동작(예컨대, 운전, 제어, 관리, 등)시키는 탑승자의 능력에 부정적인 영향을 미치는/영향을 주는, 차량(202)의 동작 동안 차량(202)에 의해 직면하는 임의의 이벤트들/조건들을 검출/인식하는, 차량(202)의 동작 동안 차량(202)에 의해 직면하는 이벤트들/조건들을 회피하고/하거나 그에 반응하는, 차량(202)(및/또는 차량(202)과 연관된 임의의 이벤트들/조건들, 차량(202)의 동작, 차량(202)의 환경/주변환경들, 등)을 동작시키는 것에 대한 주의/포커싱의 임계량을 유지하는(그리고/또는 임계 지속기간 동안 주의/포커싱을 유지하는), 등을 할 수 있는 무언가를 포함할 수 있다.
일부 예들에서, 손상은 (예컨대, 차량(202)의 동작 및/또는 연관된 차량 및/또는 관련 이벤트들로부터의) 주의산만, 졸음의 상태, 중독의 상태, 건강 응급사태(예컨대, 뇌졸중, 심장 마비, 발작, 긴장 상태, 의식 상실 등), 감정적 또는 심리적 스트레스의 상태, 고조된 감정 상태, 의식 상실, 무력화, 생리적 상태, 안전상의 위험을 증가시킬 수 있고, 그리고/또는 차량(202)을 제어하고/하거나 운전 및/또는 차량 관련 이벤트들에 응답하는 탑승자의 능력을 감소시킬 수 있는 탑승자 상황(예컨대, 탑승자 포지션/자세, 탑승자 거동, 탑승자 움직임들, 탑승자 활동, 차량(202) 및/또는 탑승자의 환경에의 탑승자 참여, 탑승자의 움직임 또는 유연성의 자유를 제약/제한하고 그리고/또는 탑승자의 반응 시간을 감소시키는 의류과 같은 탑승자 의류, 처방 안경 또는 좌석 벨트와 같은 의료 또는 안전 디바이스를 착용하지 못하는 것, 열악한 가시성 조건들에서의 선글라스와 같은 탑승자의 가시성을 감소시키는 항목들 또는 탑승자의 가시성을 차단하거나 또는 부분적으로 차단할 수 있는 의류, 등), 탑승자의 인지 상태, 차량(202) 내의 높은 소음 레벨들(예컨대, 이는 관련 사운드들에 집중하고/하거나 이들을 듣는 탑승자의 능력을 제한할 수 있음) 등을 포함할 수 있다.
일부 경우들에서, 손상은 차량(202)의 동작 및/또는 차량(202)과 연관된 이벤트와 관련되는 탑승자의 주의산만 상태, 탑승자의 중독 상태, 탑승자의 건강 조건, 탑승자의 각성 상태, 탑승자의 검출된 감정 상태, 차량(202)을 제어하기 위한 (탑승자의) 손상된 포지션(예컨대, 운전하는 동안 구부리는 것, 차량(202)의 하나 이상의 제어부들로부터 멀리 몸을 기울이는 것, 차량(202)의 동작/거동을 제어하기 위해 운전 제어부들 이외의 하나 이상의 객체들을 하나 이상의 손에 쥐고 있는 것, 등), 손상된 뷰(예컨대, 도로 및/또는 환경의 뷰/가시성의 방해, 조명 및/또는 가시성 조건들의 방해 또는 감소 등), 및/또는 임의의 다른 손상들을 포함할 수 있다.
일부 예들에서, 모니터링 엔진(410)은 로컬화 데이터(예컨대, 로컬화 데이터(314)), 추적 데이터(예컨대, 추적 데이터(422), 디바이스 추적 데이터(440), 손 추적 데이터(442), 및/또는 눈 추적 데이터(444)), 및/또는 차량 데이터(408)(또는 그의 일부분)와 같은 임의의 다른 이벤트, 상태, 및/또는 센서 데이터를 사용하여, 탑승자(예컨대, 운전자, 승객 등)를 모니터링하고 탑승자의 임의의 손상(들)을 검출할 수 있다. 예를 들어, 모니터링 엔진(410)은, (예컨대, 차량 데이터(408) 및/또는 센서 데이터(406)로부터 결정된) 차량(202)의 상황(차량을 안전하게 동작시키기 위한 탑승자의 능력에 관련된, 이를 특징짓는, 그리고/또는 이에 영향을 미치는 상황, 예컨대, 상태/스테이터스, 동작, 차량 이벤트 등), 탑승자의 포즈(예컨대, 로컬화 데이터(예컨대, 로컬화 데이터(314)), 추적 데이터(예컨대, 추적 데이터(422), 디바이스 추적 데이터(440), 손 추적 데이터(442), 및/또는 눈 추적 데이터(444)), 및/또는 하나 이상의 이미지 센서들(104), IMU들(108), 위치 센서(106), 및/또는 임의의 다른 센서 및/또는 데이터로부터의 데이터로부터 결정됨), 탑승자에 대한 모바일 디바이스(150)에 의해 렌더링된 임의의 가상 콘텐츠 및/또는 렌더링된 가상 콘텐츠와의 임의의 검출된 사용자 상호작용들(예컨대, 탑승자 상호작용들)(예컨대, 입력들, 눈 시선 및/또는 포커싱, 제스처들, 등), 눈 추적 데이터, 관성 센서 데이터, 운전 통계치들, 다른 센서 데이터, 이들의 임의의 조합, 및/또는 임의의 다른 데이터에 기초하여 탑승자의 임의의 손상들을 결정할 수 있다.
예를 들어, 차량(202)의 상황은, 특정 이벤트(예컨대, 차량의 안전한 동작에 영향을 미침)가 발생했거나 또는 발생할 것으로 예상됨을 나타낼 수 있다. 모니터링 엔진(410)은, 특정 이벤트에 응답하여 차량(202)을 제어하고/하거나 특정 이벤트와 연관된 안전 문제들 및/또는 위험들을 회피하기 위해, 탑승자가 이벤트(및/또는 이벤트와 연관된 특정 영역/방향)에 포커싱하고/하거나 주의를 기울여야 하고, 가상 콘텐츠(또는 다른 콘텐츠)에 의해 산만해지지 않아야 하고, 소정 방식들로 이동하지 않아야 하고, 소정의 가상 콘텐츠에 참여하지 않아야 하고, 차량(202)의 동작에 주의하고 있어야 하고, 차량(202)의 소정 동작들에 관련되지 않는 소정 활동들에 참여하지 않아야 하고, 소정 방향을 향하고 있어야 하고, 탑승자가 특정 이벤트(및/또는 차량(202)의 동작)에 응답할 수 있게 하도록 소정 방식으로 포지셔닝되어야 하는 등을 해야 한다고 결정할 수 있다. 그렇지 않으면, 모니터링 엔진(410)은, 차량(202)의 상태/스테이터스 및/또는 탑승자의 포지션, 주의/포커스, 눈 시선, 배향, 모션, 콘텐츠 참여, 활동 등에 기초하여 탑승자가 손상된다고 결정할 수 있다.
일부 경우들에서, 차량(202)의 상황은 차량(202)의 상태/스테이터스, 차량 이벤트 등을 포함할 수 있다. 일부 예들에서, 차량(202)과 연관된 이벤트(예컨대, 차량 이벤트)는, 차량(202)의 경로 내의 방해물, 차량(202)의 경로에 대한 임계 근접도 내의 방해물, 차량(202)의 경로 내의 상이한 차량(예컨대, 자동차, 버스, 오토바이, 오프로드 차량, 자전거, 기차, 트럭 등), 차량(202)의 임계 근접도 내의 상이한 차량, 차량(202)의 경로와 연관된(예컨대, 차량(202)의 경로 내의/그에 따른, 차량(202)의 경로에 근접한 곳 내의, 등) 교통 통제(예컨대, 교통 표지판, 안내 표지판, 가변 메시지 표지판, 교통 원뿔형 표지, 화살표 판, 공사용 통, 바리케이드, 교통 표시기, 임시 융기된 섬, 신호등 등), 차량(202)이 속도 제한을 유지하지 못하는 것, 차량(202)이 차선 또는 차선 표시를 유지하지 못하는 것, 차량(202)이 도로 내에 유지되지 못하는 것, 교통 이벤트(예컨대, 사고, 교통 경로 변경, 정지, 교통량 증가, 도로 폐쇄 등) 등을 포함할 수 있다. 일부 예들에서, 방해물은 보행자, 동물, 객체, 다른 차량, 도로 조건, 나무, 장애물 등을 포함할 수 있다.
일부 경우들에서, 차량(202)의 상태는, 예를 들어 그리고 제한 없이, 가속, 감속, 시그널링(예컨대, 회전 신호 등), 선택된/활성 기어, 경고(예컨대, 엔진 경고, 배터리 경고, 연료 경고, 타이어 경고, 조명 경고 등), 기동(예컨대, 회전, 출구/진출, 입구/진입, 유턴, 정지/제동 등), 차량 및/또는 차량 컴포넌트 조건/스테이터스(예컨대, 엔진, 배터리, 하나 이상의 차량 조명들(예컨대, 헤드라이트, 미등, 주간 주행등, 후진등, 비상등, 안개등, 오프로드 조명, 신호등, 브레이크등, 등), 타이어(들)(예컨대, 타이어 압력, 타이어 경고, 타이어 펑크 조건 등)의 조건/스테이터스, 하나 이상의 브레이크들 또는 브레이크 시스템들의 조건/스테이터스, 연료 스테이터스 및/또는 연료 게이지 판독 등), 하나 이상의 차량 컴포넌트들/기능들의 고장 또는 특정 동작, 운전 상태, 자율 상태, 차량 기능 상태 등과 같은 차량(202)의 동작 및/또는 스테이터스를 포함할 수 있다.
일부 경우들에서, 모니터링 엔진(410)은 다양한 큐들(예컨대, 시각적 및/또는 오디오 큐들) 및/또는 탑승자의 상태, 특성, 및/또는 조건; 탑승자 임의의 활동/모션; 탑승자의 거동; 탑승자의 눈 시선 등과 같은 탑승자에 관한 정보에 기초하여 탑승자의 상태(예컨대, 탑승자의 손상)를 결정할 수 있다. 예를 들어, 모니터링 엔진(410)은, 탑승자의 눈 시선 또는 눈 움직임들의 패턴(예컨대, 불규칙한 눈 움직임들, 자극에 대한 감소된 응답, 장기적인 눈 시선들, 엉뚱한 시선들, 소정 위치들 또는 방향들에 대한 포커싱 등), 눈의 특성들(예컨대, 충혈, 동공 크기, 흐릿한 눈 등), 하나 이상의 이벤트들에 대한 탑승자에 의한 반응 시간(들) 및/또는 특성들(예컨대, 과장된 반응들, 감소된 반응 시간들 등), 탑승자의 얼굴 표정, 탑승자의 머리 포즈 및/또는 머리 움직임(예컨대, 수면 경련, 머리 굴림, 기울어진 또는 구부정한 머리 등), 탑승자의 포즈 또는 자세(예컨대, 구부정한, 웅크린, 몸이 야윈, 불규칙한 자세 등), 탑승자의 움직임(예컨대, 경련, 운동 기능, 과장된 움직임 등), 탑승자에 의한 손 제스처들, (예컨대, 차량(202)의 현재 상태/스테이터스/동작의 관점에서 그리고/또는 일반적으로) 탑승자의 운전 자세, 탑승자의 운전 패턴(예컨대, 가속/감속 패턴, 차선 변경 패턴, 제동 패턴, 시그널링 패턴(또는 그의 부족), 차량 기동 패턴, 회전 패턴 등)에 기초하여, 손상을 결정할 수 있다.
일부 경우들에서, 모니터링 엔진(410)은 (시각적 큐들에 더하여 또는 시각적 큐들 대신에) 오디오 큐들에 기초하여 탑승자의 손상을 결정할 수 있다. 예를 들어, 일부 경우들에서, 모니터링 엔진(410)은 모바일 디바이스(150) 및/또는 차량(202)의 마이크로폰들과 같은 하나 이상의 센서들로부터 오디오 데이터를 획득하고, 오디오 데이터에 기초하여 손상을 결정할 수 있다. 예시하기 위해, 모니터링 엔진(410)은 하나 이상의 스피치 특성들(예컨대, 불분명한 스피치, 빠른 스피치 등), 탑승자의 음성(예컨대, 음성의 음량 또는 부드러움 등), 탑승자의 인식된 스피치의 콘텐츠 등에 기초하여 손상을 결정할 수 있다.
일부 경우들에서, 모니터링 엔진(410)은 차량(202)의 상태/스테이터스 및/또는 모바일 디바이스(150)에 의해 렌더링된 콘텐츠에 기초하여 손상을 결정할 수 있다. 예를 들어, 차량(202)의 상태가, 차량이 고속으로 주행하고 있고, 가시성이 열악한 환경에서 주행하고 있고, 어려운 조건들(예컨대, 습한 또는 얼음이 있는 조건들, 악천후 조건들, 급회전, 교통량이 많은 영역들, 보행자 및/또는 다른 교통량이 많은 것 등)에서 주행하고 있고, 기동을 수행하고 있다는 것 등을 나타내면, 모니터링 엔진(410)은, 탑승자가 모바일 디바이스(150)에 의해 렌더링된 가상 콘텐츠에 임계 기간 동안 포커싱하고 있거나 또는 임계 기간 동안 소정 영역들/위치들(예컨대, 도로, 차량 이벤트의 위치 등)로부터 멀리 포커싱하고 있는 것으로 결정되는 경우, 탑승자가 다른 활동들(예컨대, 차량(202)의 동작 또는 안전한 동작(예컨대, 운전)에 관련되지 않음)에 참여하고 있는 것으로 결정되는 경우, 탑승자가 소정 차량 제어부들로부터의 거리보다 더 멀리 떨어져 포지셔닝된 것으로 결정되는 경우, 탑승자가 운전 위험을 감소시키거나 운전 위험을 증가시킬 것으로 결정된 소정 자세/포지션(예컨대, 구부정한 것, 구부리는 것, 회전하는 것 등)을 갖는 것으로 결정되는 경우, 탑승자가 좌석 벨트를 착용하고 있지 않는 경우, 탑승자가 열악한 가시성 조건들에서(예컨대, 밤에, 악천후 조건들 동안, 짙은 안개 동안 등) 차량 조명들(예컨대, 헤드라이트, 안개등, 미등, 브레이크등 등) 없이 차량(202)을 동작하고 있는 경우 등에 탑승자의 손상을 결정할 수 있다. 모니터링 엔진(410)은, 이전에 설명된 바와 같은 탑승자에 관한 임의의 큐들(시각적 및/또는 오디오)에 더하여 또는 이것들 없이 모바일 디바이스(150)에 의해 렌더링된 콘텐츠 및/또는 차량(202)의 상태/스테이터스에 기초하여 손상을 결정할 수 있다.
일부 경우들에서, 차량 애플리케이션(302)의 차량 모니터링 엔진(402)은 유사하게 탑승자의 임의의 손상을 결정할 수 있다. 차량 모니터링 엔진(402)은 AR 애플리케이션(310)의 모니터링 엔진(410)에 의해 결정된 임의의 손상 정보에 더하여 또는 그 대신에 임의의 손상들을 결정할 수 있다. 예를 들어, 일부 경우들에서, 차량 모니터링 엔진(402)은 AR 애플리케이션(310)의 모니터링 엔진(410)에 의해 결정된 손상 정보와 조합하여 손상 정보를 결정할 수 있다. 다른 예로서, 일부 경우들에서, 차량 모니터링 엔진(402)은 AR 애플리케이션(310)의 모니터링 엔진(410)에 의해 결정된 임의의 손상 정보와는 별개로 그리고/또는 그것 없이 손상 정보를 결정할 수 있다. 또한, 차량 모니터링 엔진(402)은, 이하에 추가로 설명되는 바와 같이, 차량(202)의 상황을 나타내는 데이터와 같은 임의의 차량 데이터에 더하여 임의의 손상들을 결정할 수 있다.
일부 예들에서, 콘텐츠 필터링 엔진(412)은 로컬화 데이터(예컨대, 로컬화 데이터(314)), 추적 데이터(예컨대, 추적 데이터(422), 디바이스 추적 데이터(440), 손 추적 데이터(442), 및/또는 눈 추적 데이터(444)), 모니터링 엔진(410)(및/또는 차량 모니터링 엔진(402))으로부터의 손상 정보 및/또는 임의의 다른 이벤트, 상태, 및/또는 차량 데이터(408)(또는 그의 일부분)와 같은 센서 데이터를 사용하여, 탑승자를 위해 필터링/차단할 그리고/또는 렌더링할 콘텐츠를 결정/선택할 수 있다. 예를 들어, 콘텐츠 필터링 엔진(412)은 차량(202)의(예컨대, 차량 컴퓨팅 시스템(210)의) 좌표계에 대한 모바일 디바이스(150)의 포즈 및 차량(202)의 상황(예컨대, 차량(202)의 상태/스테이터스, 차량 이벤트/동작 등)을 나타내는 차량 데이터를 사용하여, 차량(202)의 동작 및/또는 차량 이벤트로부터 탑승자를 산만하게 할 수 있는 그리고/또는 차량 이벤트에 대한 탑승자의 뷰를 방해할 수 있는 소정 콘텐츠를 필터링/차단할 수 있고/있거나, 콘텐츠 필터링 엔진(412)이 결정하는 차량(202) 밖의 소정 영역은 가시적인 상태를 유지해야 한다. 일부 경우들에서, 콘텐츠를 필터링/차단하는 대신에 또는 그에 더하여, 콘텐츠 필터링 엔진(412)은 모바일 디바이스(150)에 의해 렌더링된 가상 콘텐츠를, 차량(202) 외부의 환경 또는 차량 이벤트에 대한 탑승자의 뷰를 방해하지 않을 수 있는 라이브 콘텐츠(예컨대, 라이브 카메라 피드)로 대체할 수 있다. 다른 예로서, 콘텐츠 필터링 엔진(412)은 모바일 디바이스(150)의 포즈 및 차량(202)의 상태에 관한 정보를 사용하여, 특정 이벤트의 방향/위치와 같은, 소정 방향에서 그리고/또는 소정 위치로 탑승자의 주의를 끄는 가상 콘텐츠를 렌더링할 수 있다.
일부 경우들에서, 콘텐츠 필터링 엔진(412)은 차량(202)의 좌표계에 대한 모바일 디바이스(150)의 포즈를 사용하여, 차량(202)으로부터의 그리고/또는 그와 연관된 정보를 모바일 디바이스(150)의 포즈와 상관시킬 수 있다. 예를 들어, 차량(202)의 상태/스테이터스는 차량 컴퓨팅 시스템(210)에 의해 보고된 차량 이벤트의 위치를 나타낼 수 있다. 차량 이벤트의 위치는 차량의 좌표계에 대한 것일 수 있다. 따라서, 모바일 디바이스(150)의 포즈는 차량 이벤트의 위치와 상관될 수 있는데, 이들 둘 모두가 차량의 좌표계에 대해 알려져 있기 때문이다. 콘텐츠 필터링 엔진(412)은 차량(202)의 좌표계에 대한 모바일 디바이스(150)의 포즈를 사용하여, 탑승자에 대해 렌더링된 임의의 가상 콘텐츠가 차량(202)의 좌표계에 대해 차량(202)에 의해 보고된 이벤트에 대한 탑승자의 뷰를 방해할 것인지 여부를 결정할 수 있다. 콘텐츠 필터링 엔진(412)이 차량(202)의 좌표계에 대한 특정 위치에서 콘텐츠를 차단하도록 결정하는 경우, 콘텐츠 필터링 엔진(412)은 차량(202)의 좌표계에 대한 모바일 디바이스(150)의 포즈를 사용하여 임의의 콘텐츠가 특정 위치에서 렌더링되는 것을 필터링/차단할 수 있다.
일부 예들에서, 콘텐츠 필터링 엔진(412)은 탑승자를 산만하게 하거나 또는 탑승자를 산만하게 하는 것으로 결정되는 임의의 가상 콘텐츠를 필터링할 수 있다. 예를 들어, 콘텐츠 필터링 엔진(412)은, 비디오 게임 콘텐츠(또는 임의의 다른 콘텐츠)가 탑승자를 산만하게 할 수 있다고 결정하고, 임의의 비디오 게임 콘텐츠를 필터링하여 그러한 콘텐츠가 차량(202)을 동작시키는 동안 탑승자에 대해 렌더링되는 것을 방지할 수 있다. 다른 예들에서, 콘텐츠 필터링 엔진(412)은, 차량(202)의 경로를 따른(또는 경로에 근접한 곳 내의) 방해물, 교통 이벤트, 또는 본 명세서에 설명된 임의의 차량 이벤트와 같은 특정 이벤트에 대한 탑승자의 뷰/가시성을 차단/방해하는 것으로 결정된 임의의 가상 콘텐츠를 필터링할 수 있다. 예를 들어, 콘텐츠 필터링 엔진(412)은, 차량 데이터(408)에서 식별된 차량 이벤트에 대한 탑승자의 뷰가, 차량(202)의 좌표계에 대한 모바일 디바이스(150)의 포즈 및 차량(202)의 좌표계에 대한 차량 이벤트의 위치(예컨대, 이는 차량 데이터(408)에 표시될 수 있음)에 기초하여, 가상 콘텐츠에 의해 방해될 것임을 결정할 수 있다. 이어서, 콘텐츠 필터링 엔진(412)은 그러한 가상 콘텐츠를 필터링/차단하여 차량 이벤트에 대한 탑승자의 뷰가 방해되는 것을 방지할 수 있고, 그리고/또는 가상 콘텐츠를 렌더링하는 것으로부터 라이브 피드를 제공하는 것으로 스위칭할 수 있다. 일부 예들에서, 라이브 피드는 차량 이벤트를 묘사할 수 있거나 또는 차량 이벤트를 방해하지 않을 수 있다.
차량 사용자 인터페이스(414)는 탑승자에 대한 콘텐츠 및/또는 사용자 인터페이스 엘리먼트들을 렌더링할 수 있다. 일부 예들에서, 차량 사용자 인터페이스(414)는 차량(202)의 상태/스테이터스에 기초하여 콘텐츠 및/또는 사용자 인터페이스 엘리먼트들을 렌더링하거나 또는 생성할 수 있다. 일부 예들에서, 차량 사용자 인터페이스(414)는 손상 정보를 사용하여, 콘텐츠를 렌더링할지 여부 및/또는 탑승자를 위해 어떤 콘텐츠를 렌더링할지를 결정할 수 있다. 예를 들어, 모니터링 엔진(410)으로부터의 손상 정보가, 탑승자가 산만하다는 것을 나타내는 경우, 차량 사용자 인터페이스(414)는 그러한 정보를 사용하여, 탑승자를 산만하게 할 수 있는(또는 계속해서 산만하게 함) 콘텐츠를 렌더링하는 것을 중지하거나, 또는 특정 위치 및/또는 액션/동작으로(그리고, 탑승자의 주의산만을 야기하는 상이한 위치 및/또는 액션/동작으로부터 멀리 떨어져) 탑승자의 주의를 끌도록 구성된 콘텐츠를 렌더링할 수 있다.
차량 사용자 인터페이스(414)는 차량(202)의 좌표계에 대한 모바일 디바이스(150)의 포즈를 사용하여, 탑승자에 대한 콘텐츠를 렌더링할지 곳을(또는 렌더링할지를) 결정할 수 있다. 예를 들어, 차량(202)의 좌표계에 대한 무언가로 탑승자의 주의를 끌도록 특정 위치에 콘텐츠를 렌더링하기 위해, 차량 사용자 인터페이스(414)는 차량(202)의 좌표계에 대한 모바일 디바이스(150)의 포즈를 사용하여 그러한 특정 위치에 콘텐츠를 렌더링할 수 있다. 다른 예로서, 차량 컴퓨팅 시스템(210)이 차량(202)의 좌표계에 대한 특정 위치와 연관된 소정 데이터를 보고하는 경우, 차량 사용자 인터페이스(414)는 차량의 좌표계에 대한 모바일 디바이스(150)의 포즈를 사용하여, 차량(202)의 좌표계에 대한 그러한 특정 위치에 데이터를 렌더링하거나 또는 차량(202)의 좌표계에 대한 그러한 특정 위치에 대해 결정되는 상이한 위치에 데이터를 렌더링할 수 있다.
일부 예들에서, 차량 사용자 인터페이스(414)는 차량(202)의 좌표계에 대한 모바일 디바이스(150)의 포즈를 사용하여, 탑승자에 대한 콘텐츠를 어디에서 렌더링할지를 결정할 수 있다. 예를 들어, 차량 사용자 인터페이스(414)는 차량 이벤트와 연관된 특정 위치에서 가상 콘텐츠(예컨대, 화살표, 경계 박스, 이미지, 펄싱 광(pulsing light) 등)를 렌더링하여, 차량 이벤트로 탑승자의 주의를 끌 수 있다. 다른 예로서, 차량 사용자 인터페이스(414)는 차량 이벤트의 위치와는 상이한 위치에 가상 콘텐츠를 렌더링하여, 가상 콘텐츠가 차량 이벤트에 대한 탑승자의 뷰를 방해하는 것을 방지할 수 있다. 일부 예들에서, 차량 사용자 인터페이스(414)는 탑승자의 상태 및/또는 차량(202)의 상황에 기초하여 탑승자를 위해 렌더링할 특정 콘텐츠를 선택할 수 있다. 예를 들어, 특정 이벤트에 대한 탑승자의 뷰를 방해하는 것을 회피하기 위해, 차량 사용자 인터페이스(414)는 가상 콘텐츠보다는 라이브 콘텐츠(예컨대, 라이브 카메라 피드)를 렌더링할 수 있다. 다른 예로서, 탑승자를 산만하게 하는 것을 회피하기 위해, 차량 사용자 인터페이스(414)는 라이브 콘텐츠보다는 가상 콘텐츠를 렌더링할 수 있다. 예시하기 위해, 차량(202)의 상황이, 다른 차량이 도로의 옆에서 고장나 있거나 또는 경찰에 의해 한 쪽으로 빠져 있음을 나타내는 경우, 차량 사용자 인터페이스(414)는 라이브 콘텐츠보다는 가상 콘텐츠(또는 콘텐츠 없음)를 렌더링하여 탑승자에 의한 구경(rubbernecking)을 방지할 수 있다. 대안적으로, 콘텐츠 필터링 엔진(412)은 라이브 콘텐츠를 필터링하여 구경을 방지할 수 있고, 차량 사용자 인터페이스(414)는 대신에 가상 콘텐츠를 렌더링하거나 또는 콘텐츠를 전혀 렌더링하지 않을 수 있다. 일부 경우들에서, 라이브 콘텐츠는 모바일 디바이스(150) 상의 하나 이상의 이미지 센서들(104) 및/또는 차량(202)의 하나 이상의 이미지 센서들로부터의 라이브 피드를 포함할 수 있다.
일부 경우들에서, AR 애플리케이션(310)은 이벤트 데이터(424)를 생성할 수 있다. AR 애플리케이션(310)은 또한 이벤트 데이터(424)를 차량 컴퓨팅 시스템(210)으로 전송할 수 있다. 일부 경우들에서, AR 애플리케이션(310)은 이벤트 데이터(424)를, 로컬화 데이터(예컨대, 로컬화 데이터(314)); 추적 데이터(예컨대, 추적 데이터(422), 디바이스 추적 데이터(440), 손 추적 데이터(442), 및/또는 눈 추적 데이터(444)); 모니터링 엔진(410), 콘텐츠 필터링 엔진(412), 및/또는 차량 사용자 인터페이스(414)로부터의 임의의 출력들 및/또는 데이터; 모바일 디바이스(150)의 임의의 센서들(예컨대, 이미지 센서들(104), 위치 센서(106), IMU(108), 등)로부터의 데이터; 애플리케이션 데이터; 사용자 입력들; 및/또는 임의의 다른 데이터에 기초하여 생성할 수 있다. 일부 경우들에서, 이벤트 데이터(424)는 로컬화 데이터(예컨대, 로컬화 데이터(314)); 추적 데이터(예컨대, 추적 데이터(422), 디바이스 추적 데이터(440), 손 추적 데이터(442), 및/또는 눈 추적 데이터(444)); 모니터링 엔진(410), 콘텐츠 필터링 엔진(412), 및/또는 차량 사용자 인터페이스(414)로부터의 임의의 출력들 및/또는 데이터; 모바일 디바이스(150)의 임의의 센서들(예컨대, 이미지 센서들(104), 위치 센서(106), IMU(108), 등)로부터의 데이터; 애플리케이션 데이터; 사용자 입력들; 및/또는 임의의 다른 데이터를 포함할 수 있다. 일부 경우들에서, 이벤트 데이터(424)는 추가적으로 또는 대안적으로, 로컬화 데이터(예컨대, 로컬화 데이터(314)); 추적 데이터(예컨대, 추적 데이터(422), 디바이스 추적 데이터(440), 손 추적 데이터(442), 및/또는 눈 추적 데이터(444)); 모니터링 엔진(410), 콘텐츠 필터링 엔진(412), 및/또는 차량 사용자 인터페이스(414)로부터의 임의의 출력들 및/또는 데이터; 모바일 디바이스(150)의 임의의 센서들(예컨대, 이미지 센서들(104), 위치 센서(106), IMU(108), 등)로부터의 데이터; 애플리케이션 데이터; 사용자 입력들; 및/또는 임의의 다른 데이터로부터 생성된 이벤트들, 및/또는 그들의 설명들을 포함할 수 있다.
일부 예들에서, 이벤트 데이터(424)는, 전술된 바와 같이 모니터링 엔진(410)에 의해 결정된 탑승자의 상태, AR 애플리케이션(310)으로부터의 콘텐츠, 이들의 임의의 조합, 및/또는 임의의 다른 탑승자 및/또는 디바이스 정보를 포함하고, 나타내고, 그리고/또는 설명할 수 있다. 일부 예들에서, 탑승자의 상태는 모니터링 엔진(410)에 의해 결정된 탑승자의 손상(들)을 포함할 수 있다. 일부 경우들에서, 탑승자의 상태는 추가적으로 또는 대안적으로, 탑승자의 포즈(예컨대, 위치, 배향, 자세 등), 탑승자의 임의의 모션, 탑승자에 의한 임의의 활동, 탑승자의 눈 시선, 탑승자의 머리 포즈, 탑승자에 관한 임의의 정보, 및/또는 탑승자의 주의/포커싱, 탑승자의 활동, 탑승자의 움직임, 탑승자의 가시성 또는 시야(FOV), 탑승자의 거동, 탑승자의 포지션(예컨대, 위치, 배향, 자세 등), 탑승자의 도달(예컨대, 하나 이상의 차량 제어부들에 대한 도달), 탑승자의 참여, 및/또는 탑승자가 차량(202)의 동작(들)을 제어하고/하거나 차량(202)과 연관된 이벤트들에 반응하는 능력(및/또는 가능성)을 나타내는 임의의 다른 정보를 포함할 수 있다.
이전에 언급된 바와 같이, AR 애플리케이션(310)은 이벤트 데이터(424)를 차량(202)으로 전송할 수 있다. 예를 들어, AR 애플리케이션(310)은 이벤트 데이터(424)를 차량 컴퓨팅 시스템(210)으로 전송할 수 있다. 일부 경우들에서, 차량 컴퓨팅 시스템(210)은 이벤트 데이터(424)를 수신하고, 이벤트 데이터(424)를 프로세싱/분석을 위해 차량 애플리케이션(302)에 제공할 수 있다. 일부 경우들에서, 차량 애플리케이션(302)은 이벤트 데이터(424) 및/또는 센서 데이터(406)에 기초하여 차량(202)의 거동, 동작, 기능, 및/또는 상태를 제어할 수 있다.
예를 들어, 일부 경우들에서, 차량 애플리케이션(302)의 이벤트 완화 엔진(404)은 이벤트 데이터(424) 및/또는 센서 데이터(406)에 기초하여 차량(202)의 거동, 동작, 기능, 및/또는 상태를 제어(예컨대, 수정, 구현, 인에이블, 디스에이블, 관리, 등)할 수 있다. 일부 예들에서, 이벤트 완화 엔진(404)은 하나 이상의 차량 기능들, 차량 시스템들, 자율 능력들 등을 제어하고/하거나 그에 참여할 수 있다. 예를 들어, 이벤트 완화 엔진(404)은, 자동 조종 기능, 트랙션 제어 기능, 크루즈 제어 기능, 충돌 회피 기능, 차선 이탈 기능, 차선 센터링 기능, 브레이크 보조 기능, 차선 유지 기능, 고속도로 보조 기능, 차선 변경 보조 기능, 속도 적응 기능, 신호 기능, 교차로 보조 기능, 사각지대 모니터링 시스템, 운전자 모니터링 시스템(예컨대, 모니터링 엔진(402) 및/또는 임의의 운전자 모니터링 시스템), 제동 시스템, 자율 주행 제어 시스템, 운전자 보조 시스템, 내비게이션 시스템, 조향 제어 시스템, 차량 통신 시스템, 자동차 헤드업 디스플레이, 및/또는 임의의 다른 차량 시스템, 기능, 및/또는 능력을 제어하고/하거나 그에 참여할 수 있다.
일부 경우들에서, 이벤트 완화 엔진(404)은 이벤트 데이터(424)에 기초하여 차량(202)을 제어하여, 탑승자의 상태 및/또는 이벤트 데이터(424)에 포함된 탑승자에 관한 다른 정보에 기인한 임의의 이벤트들 및/또는 위험들을 완화시킬 수 있다. 일부 예들에서, 이벤트 완화 엔진(404)은 차량의 하나 이상의 운전자 보조 기능들, 예컨대 하나 이상의 첨단 운전자 보조 시스템(advance driver-assistance system, ADAS)들에 의해 수행되는 기능들을 활성화하고/하거나 이벤트 데이터(424)에 기초하여 차량의 자율 주행의 정책/레벨을 증가시킬 수 있다. 예시하기 위해, 이벤트 데이터(424)가, 차량(202)의 탑승자가 손상됨(예컨대, 산만함, 중독됨 등)을 나타내는 경우, 이벤트 완화 엔진(404)은 차량(202)의 자율 능력에 참여하고/하거나 차량(202)의 자율 주행 정책/레벨을 수정하여, 탑승자가 손상되는 동안 차량(202)의 동작을 적어도 부분적으로 제어할 수 있다. 다른 예로서, 이벤트 데이터(424)가, 차량(202)의 탑승자가 센서 데이터(406)에서 식별된 근처의 방해물에 주의하지 않고 있거나 (예컨대, 탑승자의 눈 시선이 상이한 방향에 있기 때문에, 탑승자의 뷰가 방해받기 때문에, 열악한 가시성 조건들 등 때문에) 근처의 방해물을 볼 수 없다는 것을 나타내는 경우, 이벤트 완화 엔진(404)은 차량(202)의 자율 능력에 참여하고/하거나 차량(202)의 자율 주행 정책/레벨을 수정하여, 적어도 방해물을 회피하거나 또는 더 이상 잠재적인 문제가 없을 때까지 차량(202)의 동작을 적어도 부분적으로 제어할 수 있다.
일부 예들에서, 이벤트 완화 엔진(404)은 탑승자의 임의의 검출된 손상들을 다른 외부 디바이스들에 통지/경고할 수 있다. 이벤트 완화 엔진(404)은 다른 차량들, 다른 사용자들(예컨대, 보행자, 다른 차량의 탑승자, 교통 정리원/통제원 등)과 연관된 하나 이상의 원격 컴퓨팅 디바이스들, 차량 인프라구조(예컨대, 신호등, 교통 카메라, 가로등, 표지판, 주차 미터기, 차선 표시기 등), 하나 이상의 비상 대응 시스템들 및/또는 인력 등에 통지할 수 있다.
차량 애플리케이션(302)의 모니터링 엔진(402)은 센서 데이터(406)를 사용하여, (차량을 (안전하게) 동작시키는 탑승자의 능력에 관련된, 이를 특징짓는, 그리고/또는 이에 영향을 미치는) 차량(202)의 상황을 모니터링하고/하거나 검출할 수 있다. 이전에 설명된 바와 같이, 일부 예들에서, 차량(202)의 상황은 차량(202)의 상태(예컨대, 스테이터스, 동작, 거동, 궤적, 조건, 구성, 동작 메트릭, 사정, 차량 파라미터, 기능 등), 차량 이벤트 등을 포함할 수 있다. 예를 들어, 차량(202)의 상황은, (차량의 안전한 동작, 예컨대 특정 활동, 조건, 사고, 사정, 동작 등에 영향을 미치는) 특정 차량 이벤트가 발생했거나 또는 발생할 것으로 예상됨을 나타낼 수 있다. 다른 예로서, 차량(202)의 상황은 차량(202)의 동작, 거동, 및/또는 스테이터스를 나타낼 수 있다. 일부 예들에서, 모니터링 엔진(402)은 센서 데이터(406)를 사용하여, 예를 들어, 차량(202)의 상태, 차량 이벤트 등과 같은 차량(202)의 상황의 임의의 양태들을 결정할 수 있다.
예를 들어, 모니터링 엔진(402)은, 센서 데이터(406) 내의 하나 이상의 이미지들(예컨대, 장면의 하나 이상의 이미지들 및/또는 센서 시스템(220)의 하나 이상의 이미지 센서들에 의해 캡처되는 차량(202) 밖의 환경의 일부분)에 묘사된 하나 이상의 항목들(예컨대, 객체, 이벤트, 사람, 동물, 도로, 차량, 장면, 활동, 교통 통제, 구조물, 장애물, 디바이스, 제스처 등)을 검출, 인식, 및/또는 로컬화함으로써, 하나 이상의 모션 측정치들(예컨대, 속도, 각속도, 배향, 진행 방향, 가속, 감속 등)을 포함하는 센서 데이터(406)로부터의 관성 센서 데이터를 결정함으로써, 센서 데이터(406) 내의 (예컨대, 글로벌 포지셔닝 시스템(GPS) 수신기 또는 글로벌 내비게이션 위성 시스템(GNSS) 수신기와 같은 하나 이상의 위치 디바이스들로부터의) 위치 정보를 결정함으로써, 그리고/또는 차량(202)에 대한 하나 이상의 항목들(예컨대, 객체, 이벤트, 사람, 동물, 도로, 나무, 차량, 장면, 교통 통제, 활동, 제스처, 디바이스, 구조물, 장애물 등)의 위치/포지션, 및/또는 차량(202)에 대한 하나 이상의 항목들의 근접도/거리 등을 나타내는/설명하는 센서 데이터(406) 내의 (예컨대, 예를 들어, RADAR, LIDAR, 이미지 센서, RF 기반 포지셔닝 시스템 등과 같은 하나 이상의 센서들로부터의) 추가적인 위치 정보를 결정함으로써 차량(202)의 상황을 결정할 수 있다.
일부 경우들에서, 모니터링 엔진(402)은 또한, 모바일 디바이스(150)의 AR 애플리케이션(310)으로부터의 이벤트 데이터(424)를 사용하여, 차량(202)의 상황을 모니터링하고/하거나 검출할 수 있다. 예를 들어, 모니터링 엔진(402)은 차량(202)의 상황을 결정할 때, 이벤트 데이터(424)에 표시된 탑승자의 상태(예컨대, 손상, 눈 시선, 포지션, 활동 등)를 고려할 수 있다.
도 5는 차량(예컨대, 차량(202))의 탑승자(502)에 대해 렌더링된 가상 콘텐츠를 변조하기 위한 예시적인 사용 사례(500)를 예시하는 도면이다. 이전에 설명된 바와 같이, AR 애플리케이션(310)은 모바일 디바이스(150)에 의해 렌더링된 가상 콘텐츠를 (예컨대, 콘텐츠 필터링 엔진(412) 및/또는 차량 사용자 인터페이스(414)를 통해) 변조/수정할 수 있다. AR 애플리케이션(310)은, AR 애플리케이션(310)의 모니터링 엔진(410)에 의해 결정된 탑승자의 상태 및/또는 차량 데이터(408)에서 식별되고/되거나 차량 애플리케이션(302)의 모니터링 엔진(402)에 의해 결정된 차량(202)의 상황에 기초하여 가상 콘텐츠를 (예컨대, 콘텐츠 필터링 엔진(412) 및/또는 차량 사용자 인터페이스(414)를 통해) 변조할 수 있다.
일부 예들에서, AR 애플리케이션(310)은 가상 콘텐츠의 특성(들)(예컨대, 크기, 밝기, 투명도, 위치, 배향 등)을 디스에이블링, 디밍, 또는 조정함으로써 가상 콘텐츠를 변조할 수 있다. 일부 경우들에서, AR 애플리케이션(310)은 일정 기간 동안 모든 가상 콘텐츠를, 차량(202)의 특정 상황 동안 모든 가상 콘텐츠를, 탑승자의 상태 동안 모든 가상 콘텐츠를, 예외적으로 또는 필요에 따라 마킹된 가상 콘텐츠의 서브세트(예컨대, HUD 콘텐츠, 차량 계측 콘텐츠, 내비게이션 콘텐츠, 긴급 경보들 등)를 제외한 모든 가상 콘텐츠를, 탑승자가 포커싱하는 가상 콘텐츠의 임의의 부분을, 차량 이벤트를 모호하게 하고 있는 임의의 가상 콘텐츠 등을 변조할 수 있다.
예를 들어, AR 애플리케이션(310)은 모바일 디바이스(150)에 의해 렌더링된 하나 이상의 가상 콘텐츠 항목들(또는 모든 가상 콘텐츠)을 (예컨대, 콘텐츠 필터링 엔진(412)을 통해) 필터링/차단함으로써 가상 콘텐츠를 변조할 수 있다. 다른 예로서, AR 애플리케이션(310)은 어떤 가상 콘텐츠가 제시되는지, 언제 가상 콘텐츠가 제시되는지, 어디에 가상 콘텐츠가 제시되는지, 제시된 가상 콘텐츠의 하나 이상의 특성들(예컨대, 투명도, 크기, 밝기, 위치, 배향 등) 등을 (예컨대, 차량 사용자 인터페이스(414)를 통해) 제어함으로써 가상 콘텐츠를 변조할 수 있다. 일부 예들에서, AR 애플리케이션(310)은 AR 애플리케이션(310)의 모니터링 엔진(410)에 의해 결정된 탑승자의 상태 및/또는 차량 데이터(408)에서 식별되고/되거나 차량 애플리케이션(302)의 모니터링 엔진(402)에 의해 결정된 차량(202)의 상황에 기초하여 가상 콘텐츠를 (예컨대, 콘텐츠 필터링 엔진(412)을 통해) 필터링/차단할 수 있다. 일부 예들에서, AR 애플리케이션(310)은 모니터링 엔진(410)에 의해 결정된 탑승자의 상태 및/또는 차량 데이터(408)에서 식별되고/되거나 모니터링 엔진(402)에 의해 결정된 차량(202)의 상황에 기초하여 모바일 디바이스(150)에 의해 제시된 가상 콘텐츠를 (예컨대, 차량 사용자 인터페이스(414)를 통해) 변조할 수 있다.
도 5에 도시된 예시적인 사용 사례(500)에서, 차량(202)의 탑승자(502)는, 차량(202)의 조향 휠(505)을 사용하여 차량(202)을 운전하는 동안 HMD 또는 스마트 안경과 같은 모바일 디바이스(150)를 착용하고 있다. 시간 T1에서, 탑승자(502)가 차량(202)을 운전하고 있는 동안 모바일 디바이스(150)는 가상 콘텐츠(510)를 렌더링하고 있다. 이어서, 모바일 디바이스(150)는, (예컨대, 차량 데이터(408) 또는 차량 애플리케이션(302)의 모니터링 엔진(402)으로부터의 통지에 기초하여) 탑승자(502)의 주의 및/또는 상호작용을 요구하는 이벤트(512)가 발생하고 있거나 또는 임박했다고(예컨대, 임계 기간 내에 그리고/또는 차량(202)에 의한 주행 거리의 임계량 내에 발생할 것임) 결정한다 일부 경우들에서, 모바일 디바이스(150)는 (예컨대, 차량 데이터(408) 또는 차량 애플리케이션(302)의 모니터링 엔진(402)으로부터의 통지에 기초하여) 이벤트(512)의 위치를 결정할 수 있다. 이러한 예에서, 이벤트(512)의 위치는 차량(202) 외부의 위치이고, 이벤트(512)는 차량(202)의 경로를 횡단하는 유모차이다. 여기서, 이벤트(512)는 설명 목적들을 위해 제공된 단지 하나의 예시적인 예이다. 따라서, 다른 예들은 다른 이벤트들 및/또는 이벤트들의 유형들을 포함할 수 있다. 일부 예들에서, 이벤트들은, 예컨대 긍정적 예 및 부정적 예에 대해 훈련된 머신 학습 분류기를 통해 차량 사용자 인터페이스(414) 및/또는 차량 애플리케이션(302)의 모니터링 엔진(402)에 의한 탑승자(502)의 주의 및/또는 상호작용을 요구하는 것으로 분류될 수 있다.
모바일 디바이스(150)의 좌표계에 대한 가상 콘텐츠(510)의 위치는 차량(202)의 좌표계에 대한 이벤트(512)의 위치와 연관된다. 본 예에서, 가상 콘텐츠(510)는 모바일 디바이스(150)의 위치에서부터 이벤트(512)의 위치까지의 시선(line-of-sight) 내에/이를 따라 위치된다. 따라서, 모바일 디바이스(150)로부터의 시선 및/또는 모바일 디바이스(150)로부터의 이벤트(512)의 뷰/가시성은 렌더링되고 있는 가상 콘텐츠(510)에 의해 차단/방해된다.
가상 콘텐츠(510)가, 탑승자(502)가 이벤트(512)를 보는 능력을 방해/차단하는 것을 방지하기 위해, 모바일 디바이스(150)는 가상 콘텐츠(510)의 하나 이상의 특성들을 조정할 수 있다. 이러한 예에서, 시간 T2에서, 모바일 디바이스(150)는 가상 콘텐츠(510)를 통한 이벤트(512)의 가시성을 가능하게 하기 위해 가상 콘텐츠(510)의 투명도를 증가시킨다. 도시된 바와 같이, 시간 T2에서, 이벤트(512)는, 가상 콘텐츠의 투명도가 증가된 후에 가상 콘텐츠(510)를 통해 가시적이다. 이것은, 탑승자(502)가 이벤트(512)를 볼 수 있게(그리고 모니터링/추적할 수 있게) 하고, 이벤트(512)에 기초하여 탑승자(502)가 필요하다고 여겨지는 차량(202)의 동작에 대한 임의의 조정들을 행할 수 있게 한다. 예를 들어, 탑승자(502)는 차량(202)을 정지시켜, 이벤트(512)와 연관된 유모차가 통과하게 할 수 있다. 탑승자(502)는, 일단 유모차가 통과했으면 운전해 갈 수 있다. 다른 예로서, 탑승자(502)는 차량(202)을 가속/감속시키고, 그리고/또는 차량(202)이 이벤트(512)와 연관된 유모차를 회피할 수 있게 할 수 있는 임의의 기동(들)을 구현할 수 있다.
반면에, 탑승자(502)가 이벤트(512)를 볼 수 있게 하기 위해, 전술된 바와 같이 가상 콘텐츠(510)가 조정되지 않았던 경우, 탑승자(502)는 이벤트(512)를 잠재적으로 누락/간과할 수 있다. 이벤트(512)를 보지 못하면(또는 반응할 시간에 이벤트(512)를 보지 못하면), 탑승자(502)는 달리 이벤트(512)와 연관된 유모차를 피하지 못했을 수 있거나, 또는 갑자기 그리고/또는 더 가까운 거리에서 반응했을 수 있는데, 이는 위험을 초래할 수 있거나 또는 유모차를 피하기에 충분히 시기적절하지 않았을 수 있다.
도 6a 내지 도 6e는 가상 콘텐츠를 변조하기 위한 예시적인 사용 사례들을 예시하는 도면들이다. 도 6a를 참조하면, 이러한 예에서, 모바일 디바이스(150)는, 차량(202)의 탑승자(602)가 산만하고 이벤트가 탑승자(602)의 시야(FOV)(610) 내에서 발생할 것임을 결정하였다. 본 개시내용에서, 탑승자(602)의 FOV(610)는 모바일 디바이스(150)에 의해 수정되거나 또는 한정될 수 있다. 더 구체적으로, FOV(610)는 모바일 디바이스(150)의 각자의 디스플레이 영역 상에서 또는 그를 통해 가시적인 시야에 의해 한정될 수 있다. 예로서, 스마트 안경을 착용한 탑승자(602)의 FOV(610)는, 탑승자의 육안의 FOV와 비교하여 대체적으로 감소되는 스마트 안경을 통한 FOV에 의해 한정될 수 있다. 다른 예에서, 탑승자의 생리학적/해부학적 FOV는 HMD의 디스플레이 상에 더 큰 FOV를 디스플레이함으로써 확대될 수 있다. 일부 예들에서, FOV(610)는, 모바일 디바이스(150)가 가상 콘텐츠를 렌더링할 수 있는 FOV일 수 있다. FOV(610) 내의 이벤트를 강조하고/하거나 FOV(610) 내의 이벤트로 탑승자(602)의 주의를 끌기 위해, 모바일 디바이스(150)는 FOV(610) 내에서 이벤트 관련 가상 콘텐츠(612)를 렌더링할 수 있다. 이러한 예에서, 가상 콘텐츠(612)는 FOV(610)의 에지들(또는 윤곽)의 펄싱을 포함한다. 에지들의 펄싱은 펄스형 에지들 내의 영역을 강조하고, 그러한 영역으로 탑승자(602)의 주의를 끌 수 있다.
도 6b에서, 모바일 디바이스(150)는, 예컨대 차량 데이터(408)에 기초하여, 보행자(620)가 나무(615) 뒤로부터 나타났고 차량(202)의 경로를 향해(또는 그 안으로) 이동하고 있는 차량 이벤트(625)를 검출하였다. 보행자(620)는 나무(615)에 의해 이전에 차단되었고, 보행자(620)가 나무(615)를 지나 차량(202)의 경로를 향해(또는 그 안으로) 이동했을 때까지, 탑승자(602) 또는 모바일 디바이스(150) 또는 차량(202)에게 보이지 않았다. 차량 이벤트(625)(보행자(620)를 포함함)로 탑승자(602)의 주의를 끌기 위해 그리고/또는 차량 이벤트(625)(보행자(620)를 포함함)의 위치를 강조하기 위해, 모바일 디바이스(150)는 차량 이벤트(625)의 위치 주위에 그리고 더 구체적으로는, 차량 이벤트(625)와 연관된 보행자(620)의 위치 주위에 하이라이트(622)를 렌더링하였다.
일부 예들에서, 모바일 디바이스(150)는 차량 이벤트(625) 및/또는 보행자(620)와 같은 그의 일부분 주위에 경계 박스(또는 임의의 다른 형상/기하구조)를 렌더링할 수 있다. 일부 경우들에서, 모바일 디바이스(150)는 탑승자(602)의 주의를 끌도록(또는 추가로 끌도록) 의도된 하나 이상의 특성들에 따라 하이라이트(622)를 렌더링할 수 있다. 예를 들어, 모바일 디바이스(150)는 탑승자(602)의 주의를 더 잘 끌기 위해, 하이라이트(622)를 렌더링하기 위한 소정 크기, 색상, 패턴, 형상, 투명도, 밝기, 두께, 애니메이션, 및/또는 임의의 다른 특성들에 따라 하이라이트(622)를 렌더링할 수 있다.
도 6c는 차량 이벤트(625)(보행자(620)를 포함함)로 탑승자(602)의 주의를 끌기 위해 콘텐츠를 렌더링하기 위한 그리고/또는 차량 이벤트(625)(보행자(620)를 포함함)를 강조하기 위한 다른 예를 예시한다. 이러한 예에서, 모바일 디바이스(150)는 탑승자(602)의 FOV(610) 내에 방향 표시자(630)를 렌더링하였다. 방향 표시자(630)는 탑승자(602)의 머리 및 시선을, 보행자(620)를 포함하는 차량 이벤트(625)의 방향으로 향하게 한다. 방향 표시자(630)는 이러한 예에서, 헤드 고정형 화살표(head-locked arrow)로서 도시된다. 그러나, 다른 예들은 방향 표시자들의 다른 유형들 및/또는 구성들을 포함할 수 있다.
일부 경우들에서, 모바일 디바이스(150)는 탑승자(602)의 주의를 끌도록/캡처하도록(또는 추가로 끌도록/캡처하도록) 의도된 하나 이상의 특성들에 따라 방향 표시자(630)를 렌더링할 수 있다. 예를 들어, 모바일 디바이스(150)는 소정 크기, 색상, 패턴, 형상, 투명도, 밝기, 두께, 애니메이션, 및/또는 임의의 다른 특성들에 따라 방향 표시자(630)를 렌더링할 수 있다. 일부 경우들에서, 모바일 디바이스(150)는 탑승자(602)의 시각/뷰의 주변부를 펄싱하여 탑승자(602)의 주의를 추가로 끌 수/캡처할 수 있다.
도 6d는 차량(202)의 탑승자(602)를 위해 모바일 디바이스(150)에 의해 제시되는 차량 이벤트에 대응하는 라이브 콘텐츠의 일례를 예시한다. 이러한 예에서, 차량 이벤트는, 전술된 바와 같이 보행자(620)가 나무(615) 뒤로부터 횡단/통과하는 것을 포함한다. 그러나, 이러한 경우에, 탑승자(602)를 위해 가상 콘텐츠를 렌더링하는 대신에, 모바일 디바이스(150)는 차량(202)의 차량 카메라(예컨대, 백업 카메라, 사이드 뷰 카메라, 전방 카메라 등)로부터 모바일 디바이스(150)에 의해 획득된 카메라 피드(640)를 제시하였다. 카메라 피드(640)는 보행자(620)를 포함하는 차량 이벤트를 묘사할 수 있고, 따라서 탑승자(602)가 차량 이벤트를 관찰할 수 있게 할 수 있다.
예를 들어, 차량 카메라는 그의 피드를 모바일 디바이스(150)로 스트리밍할 수 있다. 이어서, 모바일 디바이스(150)는 탑승자(602)에 의한 소비를 위해 차량 카메라로부터의 카메라 피드(640)를 제시할 수 있다. 카메라 피드(640)는 보행자(620)를 포함하는 차량 이벤트를 묘사할 수 있다. 따라서, 모바일 디바이스(150)에 의해 제시되는 카메라 피드(640)는, 탑승자(602)가 모바일 디바이스(150)에 의해 제시된 카메라 피드(640)로부터의 차량 이벤트(보행자(620)를 포함함)를 볼 수 있게 할 수 있다.
도 6e는 모바일 디바이스(150)에 의해 렌더링된 차량 이벤트(625)의 외부 뷰(650)를 예시한다. 이러한 예에서, 외부 뷰(650)는 차량 벽(641)에 고정된다(그리고/또는 그 상에 투영됨). 일부 예들에서, 차량 벽(641)은 본 명세서에서 이전에 설명된 차량 템플릿에 기초할 수 있다. 차량 벽(641)은 차량(202)의 승객측 상의 내부 벽으로서 도시된다. 그러나, 외부 뷰(650)는 차량 내부의 임의의 벽, 사이드, 또는 그의 일부분 상에 렌더링되고/되거나 그에 고정될 수 있다.
외부 뷰(650)는 보행자(620)를 포함하는 차량 이벤트(625)를 묘사할 수 있다. 일부 예들에서, 외부 뷰(650)는 차량 이벤트(625)의 가상 콘텐츠 렌더링을 포함할 수 있다. 다른 예들에서, 외부 뷰(650)는 차량 이벤트(625)의 라이브 콘텐츠 렌더링(예컨대, 카메라 피드)을 포함할 수 있다. 외부 뷰(650)는, 차량 벽(641)이 탑승자(602)에게 투명하거나 또는 반투명하게 보이도록 그리고 차량 이벤트(625)가 (예컨대, 외부 뷰(650)에 의해 렌더링된 바와 같이) 탑승자(602)에게 가시적이게 보이도록 렌더링될 수 있다. 일부 경우들에서, 외부 뷰(650)는 차량의 좌표계에 대한 모바일 디바이스(150)(및 그에 따른 모바일 디바이스(150)를 착용한 탑승자(602))의 포지션 및/또는 차량의 좌표계에 대한 차량 이벤트(625)의 포지션에 기초하여 랩핑 및/또는 원근 보정될 수 있다.
일부 경우들에서, 모바일 디바이스(150)에 의해 렌더링된 콘텐츠는 차량 데이터(예컨대, 차량 데이터(408)) 또는 차량 데이터의 일부분을 포함할 수 있다. 예를 들어, 도 6a 내지 도 6e에 도시된 예들 중 임의의 것에서 렌더링된 콘텐츠는 차량 데이터 또는, 예를 들어, 차량 스테이터스 정보, 차량 계측 데이터, 차량 정보, 차량(202)의 하나 이상의 센서들로부터의 데이터 등과 같은 차량 데이터의 일부분을 포함할 수 있다. 예시하기 위해, 모바일 디바이스(150)에 의해 렌더링된 콘텐츠는, 차량(202)의 속도, 차량(202)의 방향, 차량(202)의 루트, 차량(202)의 배터리 스테이터스, 차량(202)의 연료 상태, 차량(202)의 오일 상태, 차량(202)과 연관된 주행거리(mileage), 차량(202)과 연관된 내비게이션 데이터, 차량(202)의 하나 이상의 타이어들과 연관된 타이어 압력(및/또는 타이어 상태/스테이터스)의 표시, 차량(202)에서 활성화되는/온(on) 상태인/인에이블되는 제어 신호의 표시, 차량 브레이크들, 차량 경고들, 차량 오류들에 관한 정보, 하나 이상의 차량 조명들(예컨대, 헤드라이트, 미등, 후진등, 주간 주행등, 안개등, 오프로드 조명, 신호등, 브레이크등, 비상등, 등)에 관한 정보(예컨대, 상태/스테이터스, 경고 등), 조향 시스템에 관한 정보, 하나 이상의 차량 시스템들 및/또는 자율 기능들에 관한 정보, 크루즈 제어 스테이터스 정보, 좌석 벨트 정보, 및/또는 임의의 다른 차량 정보 및/또는 계측정보를 포함할 수 있다.
일부 경우들에서, 모바일 디바이스(150)는 차량(202)으로부터 스트리밍된 차량 정보(예컨대, 차량 스테이터스 정보, 계측정보, 내비게이션 정보 등)를 렌더링할 수 있다. 일부 예들에서, 모바일 디바이스(150)는 차량 정보를 헤드 고정형 HUD 또는 전세계적인 사용자 인터페이스(UI) 엘리먼트(들)로서 제시할 수 있다. 일부 경우들에서, 모바일 디바이스(150)는 광고판들, 사고들 등과 같은, 탑승자를 산만하게 할 수 있는 실세계 콘텐츠 및/또는 이벤트들을 대체하기 위해 가상 콘텐츠를 렌더링할 수 있다. 일부 양태들에서, 모바일 디바이스(150)는 이미지들의 데이터베이스로부터 "딥페이크형"(예컨대, 합성) 가상 콘텐츠를 생성하도록 훈련된 심층 뉴럴 네트워크를 사용하여 본 명세서에 설명된 가상 콘텐츠 중 임의의 것을 렌더링할 수 있다. 일부 경우들에서, "딥페이크형" 가상 콘텐츠는 모바일 디바이스(150) 및/또는 차량(202)에 의해 관찰된 스타일로 렌더링될 수 있다.
이전에 언급된 바와 같이, 모바일 디바이스(150)의 AR 애플리케이션(310)의 모니터링 엔진(410)은 차량(202)의 하나 이상의 탑승자들의 상태를 모니터링 및 이해할 수 있다. 일부 경우들에서, 차량 컴퓨팅 시스템(210)의 차량 애플리케이션(302)의 모니터링 엔진(402)은 대안적으로 또는 추가적으로, (예컨대, AR 애플리케이션(310)의 모니터링 엔진(410)과 조합하여 또는 별개로) 차량(202)의 하나 이상의 탑승자들의 상태를 모니터링 및 이해할 수 있다. 일부 예들에서, 탑승자의 상태는, 예를 들어, 검출된 장애, 눈 시선, 위치, 탑승자의 포즈(예컨대, 배향, 위치 등), 탑승자의 머리 포즈, 제스처, 얼굴 표정, 손 제스처, 활동, 감정, 모션, 액션을 수행하려는 의도, 및/또는 탑승자의 다른 특성들과 같은 탑승자의 하나 이상의 특성들을 포함할 수 있다.
예를 들어, 모니터링 엔진(410) 및/또는 모니터링 엔진(402)은 (단독으로 또는 모니터링 엔진(410)과 같은 모바일 디바이스(150)로부터의 데이터와 조합되어) 차량의 탑승자의 다양한 상태들을 검출 및/또는 인식할 수 있다. 도 7a 내지 도 7i는 모바일 디바이스(150)의 AR 애플리케이션(310)의 모니터링 엔진(410) 및/또는 차량(202)의 모니터링 엔진(402)에 의해 검출된 바와 같은, 차량(202)을 운전하는 탑승자(750)의 상이한 예시적인 상태들을 예시하는 도면들이다. 도 7a 내지 도 7i에 도시된 예들에서, 탑승자(750)는 모바일 디바이스(150)를 착용한 차량(202)의 운전자이다.
도 7a에 도시된 예에서, 탑승자(750)는 스마트 안경과 같은 모바일 디바이스(150)를 착용하고 있고, 정상적인 운전 활동(702)을 수행하고 있다. 모니터링 엔진(410)은, 탑승자(750)가 정상적인 운전 활동(702)을 수행하고 있다고 결정할 수 있다. 도시된 바와 같이, 이러한 예에서, 정상적인 운전 활동(702)은, 탑승자(750)가 조향 휠 상에 양손을 두고 차량(202)의 전면 유리 밖을 직접 바라보고 있는 것을 포함한다. 또한, 정상적인 운전 활동(702) 동안, 탑승자(750)는 손상되지(예컨대, 산만해지는 등) 않는다.
도 7b는 차량(202)을 운전하는 동안 탑승자(750)의 예시적인 상태(704)를 예시한다. 이러한 예에서, 상태(704)는, 탑승자(750)가 차량(202)을 운전하는 동안 모바일 폰(752)를 그녀의 귀에 대고 있음으로써 모바일 폰(752)을 사용하는 것을 포함한다. 일부 경우들에서, 모니터링 엔진(410)은, 탑승자(750)가 모바일 폰(752)을 사용하고 있다고 결정하고, 모바일 폰(752)의 사용이 탑승자(750)를 손상시킬 수 있다(예컨대, 산만하게 함)고 결정할 수 있다. 따라서, 일부 예들에서, 모니터링 엔진(410)은 모바일 폰(752)의 사용에 기초하여 탑승자(750)의 손상을 결정할 수 있다. 이러한 예에서의 손상은 주의산만을 포함한다. 모니터링 엔진(410)은 또한, 탑승자(750)가 조향 휠 및/또는 임의의 다른 차량 제어부들을 제어하기 위해 모바일 폰(752)을 잡고 있는 손을 사용할 필요가 있는 경우, 그러한 손을 점유하고 있는 것이 조향 휠 및/또는 임의의 다른 차량 제어부들을 제어할 탑승자의 능력을 지연시킬 수 있고(그리고 따라서 손상시킬 수 있고), 따라서 사고의 위험을 증가시킨다고 결정할 수 있다. 대체적으로, 모니터링 엔진(410)은 탑승자의 한 손 또는 양손의 위치 및/또는 활동에 기초하여, 예컨대 적어도 하나의 손이 조향 휠 상에 있지 않다고 결정하는 것에 기초하여 손상의 상태를 검출할 수 있다. 일부 예들에서, 모니터링 엔진(410)은, 탑승자가 모바일 폰을 동작시키는 것에 기초하여 손상의 상태를 검출할 수 있다.
도 7c는 차량(202)을 운전하는 탑승자(750)의 다른 예시적인 상태(706)를 예시한다. 이러한 예에서, 탑승자(750)의 상태(706)는, 탑승자(750)가 음료를 마시는 것을 포함한다. 모니터링 엔진(410)은, 도 7c에 도시된 바와 같이 탑승자(750)가 음료를 마시고 있다고 결정할 수 있다. 일부 경우들에서, 모니터링 엔진(410)은, 음료를 마시는 것이 탑승자(750)를 손상시킨다고(예컨대, 탑승자(750)가 차량(202)을 운전하는 능력을 손상시키고, 차량 이벤트들에 대한 탑승자(750)의 반응 및/또는 반응 시간을 손상시키고, 차량(202)을 운전하는 어려움을 증가시키고, 사고의 위험을 증가시키는 등) 결정할 수 있다. 예를 들어, 모니터링 엔진(410)은, 음료를 마시는 것이 탑승자(750)를 산만하게 하고/하거나 탑승자(750)의 손들 중 적어도 하나를 점유하고, 따라서 탑승자(750)가 차량(202)을 동작시키고/시키거나 차량 이벤트에 응답하기 위해 그러한 손을 사용하는 것을 막는다고 결정할 수 있다. 모니터링 엔진(410)은 또한, 탑승자(750)가 조향 휠 및/또는 임의의 다른 차량 제어부들을 제어하기 위해 그러한 손을 사용할 필요가 있는 경우, 그러한 손을 점유하고 있는 것이 조향 휠 및/또는 임의의 다른 차량 제어부들을 제어할 탑승자의 능력을 지연시킬 수 있고(그리고 따라서 손상시킬 수 있고), 따라서 사고의 위험을 증가시킨다고 결정할 수 있다. 대체적으로, 모니터링 엔진(410)은 탑승자의 한 손 또는 양손의 위치 및/또는 활동에 기초하여, 예컨대 적어도 하나의 손이 조향 휠 상에 있지 않다고 결정하는 것에 기초하여 손상의 상태를 검출할 수 있다.
도 7d는 차량(202)을 운전하는 탑승자(750)의 다른 예시적인 상태(708)를 예시한다. 이러한 예에서, 상태(708)는, 탑승자(750)가 그녀의 모발을 정돈하는 것을 포함한다. 도시된 바와 같이, 탑승자(750)는, 자신의 모발을 정돈하는 동안 차량(202)의 조향 휠에서 양손을 떼었다. 모니터링 엔진(410)은, 탑승자(750)가 그녀의 모발을 정돈하고 있고 양손을 조향 휠에서 떼었다고 결정할 수 있다. 일부 경우들에서, 모니터링 엔진(410)은, 조향 휠에서 양손을 떼는 것이 탑승자(750)를 손상시킨다고(예컨대, 탑승자(750)가 차량(202)을 운전하는 능력을 손상시키고, 차량 이벤트들에 대한 탑승자(750)의 반응 및/또는 반응 시간을 손상시키고, 차량(202)을 운전하는 어려움을 증가시키고, 사고의 위험을 증가시키는 등) 결정할 수 있다. 예를 들어, 모니터링 엔진(410)은, 모발을 정돈하는 것이 탑승자(750)를 산만하게 한다고 그리고/또는 조향 휠에서 양손을 떼는 것이 탑승자(750)가 차량(202)을 동작시키기 위해 그리고/또는 이벤트들에 응답하기 위해 손을 사용하는 것을 막는다고 결정할 수 있다. 모니터링 엔진(410)은 또한, 탑승자(750)가 조향 휠(및/또는 임의의 다른 차량 제어부들)을 제어할 필요가 있는 경우, 그녀의 손이 그녀의 모발을 정돈하기 위해 조향 휠을 벗어나는 것이 조향 휠(및/또는 임의의 다른 차량 제어부들)을 제어할 그녀의 능력을 지연시킬 수 있고(그리고 따라서 손상시킬 수 있고), 따라서 사고의 위험을 증가시킨다고 결정할 수 있다. 대체적으로, 모니터링 엔진(410)은 탑승자의 한 손 또는 양손의 위치 및/또는 활동에 기초하여, 예컨대 적어도 하나의 손이 조향 휠 상에 있지 않다고 결정하는 것에 기초하여 손상의 상태를 검출할 수 있다.
도 7e는 차량(202)을 운전하는 탑승자(750)의 다른 예시적인 상태(710)를 예시한다. 이러한 예에서, 상태(710)는, 차량(202)의 운전자 측 창문 밖으로 팔(756)을 연장하는 것을 포함한다. 도시된 바와 같이, 탑승자(750)는 팔(756)을 운전자 측 창문 밖으로 연장하여, 그러한 팔(756)의 손이 조향 휠 및 임의의 다른 차량 제어부들에서 벗어나게 하였다. 모니터링 엔진(410)은, 탑승자(750)가 팔(756)을 운전자 측 창문 밖으로 연장하였고 그러한 팔(756)의 손이 조향 휠 및 임의의 다른 차량 제어부들에서 벗어났다고 결정할 수 있다. 일부 경우들에서, 모니터링 엔진(410)은, 팔(756)이 운전자 측 창문 밖에 있고 그러한 팔(756)의 손이 조향 휠 및 임의의 다른 차량 제어부들에서 벗어나는 것이 탑승자(750)를 손상시킨다고(예컨대, 탑승자(750)가 차량(202)을 운전하는 능력을 손상시키고, 차량 이벤트들에 대한 탑승자(750)의 반응 및/또는 반응 시간을 손상시키고, 차량(202)을 운전하는 어려움을 증가시키고, 사고의 위험을 증가시키는 등) 결정할 수 있다. 예를 들어, 모니터링 엔진(410)은, 팔(756)이 운전자 측 창문 밖에 있고 그러한 팔(756)의 손이 조향 휠 및 임의의 다른 차량 제어부들을 벗어나는 것이 탑승자(750)가 차량(202)을 동작시키고/시키거나 이벤트들에 응답하기 위해 그러한 손을 빠르게 사용하는 것을 막는다고 결정할 수 있다. 일부 예들에서, 모니터링 엔진(410)은, 탑승자(750)가 조향 휠 및/또는 임의의 다른 차량 제어부들을 제어하기 위해 팔(756)의 손을 사용할 필요가 있는 경우, 팔(756) 및/또는 그러한 팔(756)의 손이 일시적으로 이용가능하지 않는 것(예컨대, 운전자 측 창문 밖으로 연장됨)이 조향 휠 및/또는 임의의 다른 차량 제어부들을 제어할 탑승자의 능력을 지연시키고(그리고 따라서 손상시키고), 따라서 사고의 위험을 증가시킨다고 결정할 수 있다. 대체적으로, 모니터링 엔진(410)은 탑승자의 한 손 또는 양손의 위치 및/또는 활동에 기초하여, 예컨대 적어도 하나의 손이 조향 휠 상에 있지 않다고 결정하는 것에 기초하여 손상의 상태를 검출할 수 있다.
도 7f는 차량(202)을 운전하는 탑승자(750)의 다른 예시적인 상태(712)를 예시한다. 이러한 예에서, 상태(712)는 차량(202)을 운전하면서 하품하는 것을 포함한다. 모니터링 엔진(410)은, 탑승자(750)가 차량(202)을 운전하면서 하품하고 있다고 결정할 수 있다. 일부 경우들에서, 모니터링 엔진(410)은, 하품하는 것이 탑승자(750)의 손상을 나타낸다고 결정할 수 있다. 예를 들어, 모니터링 엔진(410)은, 하품하는 것이, 탑승자(750)가 차량(202)을 운전하고/하거나 차량 이벤트들에 응답하는 능력에 부정적으로 영향을 미칠 수 있는 졸린/나른한 상태 및/또는 제한된 포커싱/주의를 나타낸다고 결정할 수 있다. 대체적으로, 모니터링 엔진(410)은 하품하는 것, 감긴/처진 눈/눈꺼풀 등과 같은 얼굴 표정, 및/또는 제한된/감소된 포커싱/주의를 갖는 탑승자의 상태를 나타내는 탑승자의 신체 자세에 기초하여 손상의 상태를 검출할 수 있다.
도 7g는 차량(202)을 운전하는 탑승자(750)의 다른 예시적인 상태(714)를 예시한다. 이러한 예에서, 상태(714)는, 탑승자(750)가 차량(202)을 운전하면서 탑승자(750)의 무릎을 향해 내려다보는 것을 포함한다. 모니터링 엔진(410)은, 탑승자(750)가 차량(202)을 운전하면서 탑승자(750)의 무릎을 향해 내려다보고 있다고 결정할 수 있다. 일부 경우들에서, 모니터링 엔진(410)은, 운전하면서 탑승자(750)의 무릎을 향해 내려다보는 것이, 탑승자(750)가 차량(202)을 동작시키고/시키거나 차량 이벤트들에 응답하는 능력을 손상시킨다고 결정할 수 있다. 예를 들어, 모니터링 엔진(410)은, 탑승자(750)의 무릎을 향해 내려다보는 것이 탑승자(750)를 산만하게 하고, 탑승자(750)가 도로 및 외부 환경을 보는 것 및 차량(202)의 운전과 연관된 차량 이벤트들을 신속하게 검출하고 그에 응답하는 것을 막는다고 결정할 수 있다. 대체적으로, 모니터링 엔진(410)은 하품하는 것, 감긴/처진 눈/눈꺼풀 등과 같은 얼굴 표정, 및/또는 제한된/감소된 포커싱/주의를 갖는 탑승자의 상태를 나타내는 탑승자의 신체 자세에 기초하여 손상의 상태를 검출할 수 있다.
도 7h는 차량(202)을 운전하는 탑승자(750)의 다른 예시적인 상태(716)를 예시한다. 이러한 예에서, 상태(716)는, 탑승자(750)가 차량(202)을 운전하면서 그녀의 좌측 및 차량(202)의 운전자 측 창문 밖을 바라보는 것을 포함한다. 모니터링 엔진(410)은, 탑승자(750)가 차량(202)을 운전하면서 그녀의 좌측 및 차량(202)의 운전자 측 창문 밖을 바라보고 있다고 결정할 수 있다. 일부 경우들에서, 차량(202)의 상황에 따라, 모니터링 엔진(410)은, 운전하면서 그녀의 좌측 및 차량(202)의 운전자 측 창문 밖을 바라보는 것이, 탑승자(750)가 차량(202)을 동작시키고/시키거나 차량 이벤트들에 응답하는 능력을 손상시킨다고 결정할 수 있다. 예를 들어, 차량(202)의 상황에 따라, 모니터링 엔진(410)은, 그녀의 좌측 및 차량(202)의 운전자 측 창문 밖을 바라보는 것이, 탑승자(750)를 산만하게 하고 탑승자(750)가 도로 전방 및/또는 차량(202)의 전방 경로를 따른 임의의 것을 보는 것을 막고, 탑승자(750)가 차량(202)의 전방 경로를 따른 차량 이벤트들을 검출하고 그에 응답하는 능력을 손상시킨다고 결정할 수 있다. 대체적으로, 모니터링 엔진(410)은 도로 전방으로부터 멀어지는 방향을 보고/그에 포커싱하는 것과 같은, 탑승자의 눈 시선에 기초하여 손상의 상태를 검출할 수 있다.
다른 경우들에서, 차량(202)의 상황에 따라, 모니터링 엔진(410)은, 운전하면서 그녀의 좌측 및 차량(202)의 운전자 측 창문 밖을 바라보는 것이, 탑승자(750)가 차량(202)을 동작시키고/시키거나 차량 이벤트들에 응답하는 능력을 손상시키지 않는다고 결정할 수 있다. 예를 들어, 차량(202)의 상황이, 운전자 측 창문 밖에서 차량 이벤트가 발생했다는 것을 나타내고 탑승자(750)가 차량 이벤트를 인식하고/하거나 그에 응답해야 하는 경우, 모니터링 엔진(410)은, 그녀의 좌측 및 차량(202)의 운전자 측 창문 밖을 바라보는 것이, 탑승자(750)가 차량 이벤트를 볼 수 있게 하고 차량 이벤트에 응답하는 방법(또는 응답해야 하는지)을 결정할 수 있게 한다고 결정할 수 있다. 따라서, 모니터링 엔진(410)은, 이러한 예시적인 상황에서, 탑승자(750)가 운전하면서 그녀의 좌측 및 차량(202)의 운전자 측 창문 밖을 바라보는 것이 적절하고, 손상으로서 분류되거나 또는 처리되지 않아야 한다고 결정할 수 있다.
도 7i는 차량(202)을 운전하는 탑승자(750)의 다른 예시적인 상태(718)를 예시한다. 이러한 예에서, 상태(718)는, 탑승자(750)가 차량(202)을 운전하면서 어떠한 좌석 벨트도 체결하지 않은 것을 포함한다. 모니터링 엔진(410)은, 탑승자(750)가 차량(202)을 운전하면서 좌석 벨트를 체결하지 않았다고 결정할 수 있다. 일부 경우들에서, 모니터링 엔진(410)은, 차량(202)을 운전하면서 좌석 벨트를 체결하지 않은 것이 탑승자(750) 또는 다른 사람들(예컨대, 차량(202)의 임의의 다른 승객들 및 다른 차량들의 탑승자들, 보행자들 등과 같은 차량(202)의 환경 내의 임의의 다른 사람들)의 안전에 대한 위험을 증가시키는 경우, 그것은 손상이라고 결정할 수 있다. 다른 경우들에서, 모니터링 엔진(410)은, 차량(202)을 운전하면서 좌석 벨트를 체결하지 않은 것이 탑승자(750)가 차량(202)을 운전하거나 또는 차량 이벤트들에 응답하는 능력을 손상시키지 않는 경우, 그것은 손상이 아니라고 결정할 수 있다.
도 8은 탑승자 모니터링 이벤트들을 포함하는 V2X 통신들(800)의 예를 예시하는 도면이다. 이러한 예에서, 모바일 디바이스(150)는, 차량(202)의 탑승자에 의해 착용된, HMD 또는 AR 안경과 같은 웨어러블 증강 현실(AR) 디바이스이다. 차량(202)의 탑승자는 또한, 스마트 또는 연결형 시계, 건강 추적기/모니터 디바이스, 스마트 또는 연결형 팔찌 디바이스, 웨어러블 의료 디바이스, 또는 임의의 다른 웨어러블 디바이스와 같은 웨어러블 디바이스(802)를 착용하고 있다.
모바일 디바이스(150) 및 차량 컴퓨팅 시스템(210)은 차량 데이터(예컨대, 차량 상황 정보, 차량 템플릿, 차량 센서 데이터 등), 이벤트 데이터, 및/또는 탑승자 데이터(예컨대, 탑승자 상태 정보, 탑승자 센서 측정치들, 탑승자 건강 측정치들 등)와 같은 전술한 바와 같은 데이터를 교환할 수 있다. 웨어러블 디바이스(802)는 건강 메트릭, 바이오메트릭 등과 같은 탑승자에 관한 정보를 추적/측정할 수 있는 웨어러블 애플리케이션(804)을 포함할 수 있다. 웨어러블 디바이스(802)는, 예를 들어 그리고 제한 없이, 산소농도계, 피부 센서, 광학 심장 센서, 광용적맥파 센서, 전기 심장 센서, 가속도계, 자이로스코프, 심전도 센서들, 온도 센서, 혈압 센서, 전기 피부 반응 센서, 뇌전도 센서, 및/또는 임의의 다른 센서들과 같은 건강 및 다른 센서들을 포함할 수 있다.
일부 예들에서, 웨어러블 디바이스(802)는 탑승자 모니터링을 도울 수 있는 (예컨대, 모바일 디바이스(150)의 센서 양식들에 비해) 추가적인 그리고/또는 중복적인 센서 양식들을 가질 수 있다. 웨어러블 디바이스(802)는 그러한 데이터(또는 관련 이벤트들의 요약문)를 모바일 디바이스(150)로 전송하여, 그의 탑승자 모니터링 프로세스를 도울 수 있다. 일부 예들에서, 웨어러블 디바이스(802)는, 예를 들어, 관성 센서 데이터, 심박수 측정치들, 혈압 측정치들, 전기 피부 반응 측정치들, ECG/EKG/EEG 데이터, 온도 데이터, 산소 레벨들, 모션 정보, 수면 추적 정보 등과 같은 센서 데이터를 모바일 디바이스(150)로 전송할 수 있다. 일부 경우들에서, 웨어러블 디바이스(802)로부터의 데이터는 졸음, 중독, 건강 응급사태, 스트레스, 고조된 감정 상태, 의식 상실 등과 같은 손상들을 (예컨대, 긍정적 예 및 부정적 예에 대해 훈련된 머신 학습 분류기를 통해) 나타낼 수 있고/있거나 이를 결정하는 데 사용될 수 있다.
웨어러블 디바이스(802)의 웨어러블 애플리케이션(804)은 웨어러블 디바이스(802) 상의 하나 이상의 센서들로부터 건강 측정치들 및 임의의 다른 측정치들을 획득할 수 있다. 웨어러블 디바이스(802)는 임의의 건강 측정치들을 모바일 디바이스(150)로 전송할 수 있다. 모바일 디바이스(150)는 건강 측정치들을 사용하여 탑승자의 상태를 모니터링할 수 있다. 모바일 디바이스(150)는 건강 측정치들을 단독으로 또는 모바일 디바이스(150)로부터의 다른 측정치들, 예컨대 모니터링 엔진(410)과 관련하여 이전에 설명된 임의의 측정치들과 조합하여 사용할 수 있다. 일부 예들에서, 모바일 디바이스(150)는 센서 데이터 융합을 수행하고, 웨어러블 디바이스(802)로부터의 건강 측정치들과 임의의 탑승자 모니터링 측정치들 및/또는 모바일 디바이스(150)로부터의 데이터의 조합을 사용하여 탑승자의 상태를 결정할 수 있다. 모바일 디바이스(150)는 이전에 설명된 바와 같이, 모니터링 엔진(410)을 사용하여 탑승자의 상태를 결정할 수 있다. 모니터링 엔진(410)은 모바일 디바이스(150) 및/또는 웨어러블 디바이스(802)로부터의 데이터 중 임의의 것을 사용하여 탑승자의 상태를 결정할 수 있다.
일부 경우들에서, 모바일 디바이스(150)는 탑승자의 결정된 상태를 차량 컴퓨팅 시스템(210)으로 전송할 수 있다. 모바일 디바이스(150)는 추가적으로 또는 대안적으로, 이전에 설명된 바와 같이, 임의의 이벤트 데이터를 차량 컴퓨팅 시스템(210)으로 전송할 수 있다. 일부 경우들에서, 모바일 디바이스(150)는 탑승자의 결정된 상태를, 예를 들어, 차량(810)(예컨대, 차량 컴퓨팅 시스템(812)), 인프라구조(820), 및/또는 임의의 다른 디바이스와 같은 다른 디바이스들로 전송할 수 있다. 인프라구조(820)는, 예를 들어 그리고 제한 없이, 신호등, 교통 카메라, 가로등, 간판, 주차 미터기, 차선 표시기, 하나 이상의 비상 대응 시스템들, 이들의 조합, 및/또는 임의의 다른 인프라구조 시스템, 디바이스, 및/또는 컴포넌트와 같은 임의의 인프라구조 시스템(들), 디바이스(들), 및/또는 컴포넌트(들)를 포함할 수 있다. 일부 경우들에서, 차량 컴퓨팅 시스템(210)은 탑승자의 결정된 상태를, 예를 들어, 차량(810)(예컨대, 차량 컴퓨팅 시스템(812)), 인프라구조(820), 및/또는 임의의 다른 디바이스와 같은 다른 디바이스로 전송/포워딩할 수 있다.
일부 경우들에서, 차량 컴퓨팅 시스템(210)은 또한, 하나 이상의 이미지 센서들, 관성 센서들, 중량 센서들, 압력 센서들, 오디오 센서들 등과 같은 차량(202)의 하나 이상의 센서들로부터의 데이터, 및/또는 모바일 디바이스(150)로부터의 이벤트 데이터(424)를 사용하여 탑승자의 상태를 (예컨대, 모니터링 엔진(402)을 통해) 결정할 수 있다. 예를 들어, 일부 경우들에서, 차량 컴퓨팅 시스템(210)은 모바일 디바이스(150)에 의해 이루어진 탑승자의 상태의 결정에 더하여 탑승자의 상태를 결정할 수 있다. 일부 예들에서, 차량 컴퓨팅 시스템(210)은 모바일 디바이스(150), 웨어러블 디바이스(802), 및/또는 차량(202)의 하나 이상의 센서들로부터의 센서 데이터를 사용하여 탑승자의 상태를 결정할 수 있다. 예를 들어, 차량 컴퓨팅 시스템(210)은 모바일 디바이스(150), 웨어러블 디바이스(802), 및/또는 차량(202)의 하나 이상의 센서들로부터의 센서 데이터를 융합하여 탑승자의 상태를 결정할 수 있다. 일부 경우들에서, 차량 컴퓨팅 시스템(210)은 모바일 디바이스(150)로부터 수신된 탑승자의 상태를 사용하여, 탑승자의 상태의 그 자신의 결정을 도울 수 있다. 다른 경우들에서, 차량 컴퓨팅 시스템(210)은 모바일 디바이스(150)로부터의 센서 데이터 및/또는 모바일 디바이스(150)에 의해 결정된 탑승자의 상태 없이 탑승자의 상태를 개별적으로 결정할 수 있다.
차량(202)의 차량 컴퓨팅 시스템(210)은 임의의 차량 및/또는 탑승자 데이터를, 예를 들어, 차량(810) 및/또는 인프라구조(820)와 같은 다른 디바이스들로 통신할 수 있다. 예를 들어, 차량 컴퓨팅 시스템(210)은 (예컨대, 모바일 디바이스(150)가 탑승자의 상태를 차량(810) 및/또는 인프라구조(820)로 전송하는 것에 더하여 또는 그 대신에) 탑승자의 결정된 상태를 차량(810) 및/또는 인프라구조(820)로 전송할 수 있다. 차량(810) 및/또는 인프라구조(820)는 모바일 디바이스(150) 및/또는 차량(202)으로부터 수신된 탑승자의 임의의 상태 정보를 사용하여, 상태 정보가 탑승자의 손상을 나타내는 경우 탑승자에 대한 보조를 추구하고/하거나, 손상된 동안 탑승자에 의해 동작되는 차량(202)과의 임의의 사고들 또는 충돌들을 방지하기 위한 임의의 액션들을 수행할 수 있다.
예를 들어, 차량(810)의 차량 컴퓨팅 시스템(812)의 차량 애플리케이션(814)은 차량(202) 및/또는 모바일 디바이스(150)로부터의 데이터를 사용하여, 차량(202)과의 임의의 사고들 또는 충돌들을 회피하기 위해 차량(810)의 동작/거동을 조정할 수 있다. 일부 경우들에서, 차량(810)의 차량 컴퓨팅 시스템(812)의 차량 애플리케이션(814)은 차량(202) 및/또는 모바일 디바이스(150)로부터의 데이터를 사용하여, 차량(202)을 피하고/하거나 차량(202)으로부터 적어도 소정 거리를 유지하도록 차량(810)을 경로 변경할 수 있다. 차량 컴퓨팅 시스템(812)은 도 2와 조합하여 이전에 설명된 차량 컴퓨팅 시스템(210)으로서 구성되고 이와 동일한 또는 유사한 컴포넌트들을 포함할 수 있다.
다른 예로서, 인프라구조(820)의 인프라구조 애플리케이션(822)은 차량(202) 및/또는 모바일 디바이스(150)로부터의 데이터를 사용하여, 인프라구조(820)의 동작/거동을 조정할 수 있다. 예시하기 위해, 인프라구조(820)의 인프라구조 애플리케이션(822)은 차량(202) 및/또는 모바일 디바이스(150)로부터의 데이터를 사용하여, 차량(202)의 탑승자의 손상에 기초하여 인프라구조(820)와 연관된 교통 통제들/신호들을 조정하고/하거나, 차량(202)의 탑승자의 손상을 법 집행기관 및/또는 다른 긴급 또는 보조 인력 및/또는 시스템들에 보고할 수 있다.
일부 예들에서, 차량 컴퓨팅 시스템(210)은 또한 다른 정보를 차량(810) 및/또는 인프라구조(820)로 전송할 수 있다. 예를 들어, 차량 컴퓨팅 시스템(210)은 차량(202)으로부터의 센서 데이터 및/또는 차량(202)의 결정된 상황을 차량(810) 및/또는 인프라구조(820)로 전송할 수 있다. 일부 경우들에서, 차량 컴퓨팅 시스템(210)은 차량(202)의 탑승자에 관한 임의의 상태 정보에 더하여 그러한 정보를 전송할 수 있다.
도 9는 차량(202)을 운전하는 탑승자에 의해 착용된 모바일 디바이스(150)에 의해 결정된 탑승자 상태에 기초한 예시적인 차량 완화 이벤트를 예시하는 도면이다. 이러한 예에서, 모바일 디바이스(150)는, 차량(202)을 운전하는 탑승자가 건강 응급사태에 의해 손상됨을 나타내는 탑승자 상태(910)를 (예컨대, 모니터링 엔진(410)을 통해, 그리고 가능하게는 웨어러블 디바이스(802)로부터의 데이터에 기초하여) 결정하였다. 모바일 디바이스(150)는 탑승자 상태(910)를 차량(202)의 차량 컴퓨터 시스템(예컨대, 차량 컴퓨팅 시스템(210))으로 전송하여, 탑승자가 건강 응급사태에 의해 손상됨을 차량(202)에 통지할 수 있다.
차량(202)의 차량 컴퓨터 시스템(예컨대, 차량 컴퓨팅 시스템(210))은 차량(202)의 움직임 상태와 같은 차량(202)의 상태를 설명하는 차량 상황(912)을 결정한다. 이러한 예에서, 차량 상황(912)은, 차량(202)이 시간당 10 마일(mph)로 서쪽으로 주행하고 있고 전방의 차량 이벤트에 직면하였음을 나타낸다. 이러한 예에서, 차량 이벤트는 차량(202)의 루트를 따른 방해물(902)이다.
모바일 디바이스(150)로부터 획득된 탑승자 상태(910) 및 차량 상황(912)에 기초하여, 차량(202)의 차량 컴퓨팅 시스템은 (예컨대, 이벤트 완화 엔진(404)과 같은 이벤트 완화 엔진을 통해) 액션(916)을 트리거할 수 있다. 이러한 예에서, 액션(916)은, 탑승자가 건강 응급사태에 의해 손상되는 동안 차량(202)을 제어하기 위해 차량(202)의 자율 능력에 참여하는 것을 포함한다. 일부 예들에서, 차량(202)은 자율 능력을 사용하여 탑승자를 목적지 루트로 운전할 수 있다. 다른 예들에서, 차량(202)은 자율 능력을 사용하여 차량(202)을 경로 변경하고, 탑승자를 병원/진료소 또는 탑승자가 건강 응급사태에 대한 치료를 획득할 수 있는 위치로 운전할 수 있다. 일부 경우들에서, 차량(202)은 또한, 탑승자가 건강 응급사태를 경험하고 있고/있거나 건강 응급사태에 대한 도움을 요청하고 있음을 나타내는 메시지/통지를 건강 응급사태 시스템과 같은 원격 시스템으로 전송할 수 있다.
액션(916)은 또한 방해물(902)을 회피하기 위해 기동(904)을 수행하는 것을 포함한다. 차량(202)은 자율 능력을 사용하여, 방해물(902)을 피하기 위한 기동(904)을 수행할 수 있다. 이러한 예에서, 기동(904)은 방해물(902) 이전에 도로 상에서 좌회전하는 것을 포함한다.
도 9에 도시된 방해물(902), 기동(904), 탑승자 상태(910), 차량 상황(912), 및 액션(916)은 설명 목적들을 위해 제공된 단지 예시적인 예들이다. 다른 예들은 동일하거나 상이한 그리고/또는 추가적인 방해물들, 기동들, 탑승자 상태들, 차량 상황들, 액션들 등을 포함할 수 있다.
일부 예들에서, 차량 상황은 차량의 동작/운전에 관련된 정보를 포함할 수 있고; 이벤트 또는 차량 이벤트는 차량 안전, 차량 안전 이벤트/조건 등에 관련된 정보를 포함할 수 있고; 탑승자의 상태는 탑승자의 일시적 주의산만 또는 건강 조건을 포함하고/하거나 그와 관련될 수 있다.
도 10은 차량(202)을 운전하는 탑승자에 의해 착용된 모바일 디바이스(150)에 의해 결정된 탑승자 상태에 기초한 다른 예시적인 차량 완화 이벤트를 예시하는 도면이다. 이러한 예에서, 모바일 디바이스(150)는, 차량(202)을 운전하는 탑승자가 주의산만함을 나타내는 탑승자 상태(1002)를 (예컨대, 모니터링 엔진(410)을 통해) 결정하였다. 모바일 디바이스(150)는 탑승자 상태(1002)를 차량(202)의 차량 컴퓨터 시스템(예컨대, 차량 컴퓨팅 시스템(210))으로 전송하여, 탑승자가 주의산만함을 차량(202)에 통지할 수 있다.
차량(202)은, 차량(202)이 주행 중인 도로(1010)의 중앙 차선(1012) 또는 차선 분리대를 차량(202)이 횡단하고 있음을 (예컨대, 모니터링 엔진(402)과 같은 모니터링 엔진을 통해) 검출할 수 있다. 시간 T1에서, 탑승자가 주의산만함을 나타내는 탑승자 상태(1002) 및 차량(202)이 도로(1010)의 중앙 차선(1012)을 횡단하고 있다는 결정에 기초하여, 차량(202)은 산만한 탑승자를 보조하기 위한 액션(1004)을 (예컨대, 이벤트 완화 엔진(404)과 같은 이벤트 완화 엔진을 통해) 트리거할 수 있다. 이러한 예에서, 액션(1004)은, 차량(202)을 그의 차선(1020)에 유지하고 차량(202)이 다른 차선(1022)으로 횡단하는 것을 회피하도록 보정 액션을 취하기 위해 차량(202)의 차선 유지 보조 기능에 참여하는 것을 포함한다.
시간 T2에서, 차량(202)이 차선 유지 보조 기능에 참여했고 보정 액션을 취한 후에, 차량(202)은 이제 그의 차선(1020) 내에서 주행하고 있다. 도 10에 도시된 바와 같이, 탑승자 상태(1006)는 또한, 시간 T2에서 차량의 탑승자가 정상적인 상태에 있음(예컨대, 손상되지 않음)을 나타낸다. 차량(202)은, 탑승자가 자율 보조로 또는 이것 없이 차량(202)을 운전할 수 있게 할 수 있거나, 하나 이상의 자율 주행 동작을 계속 구현할 수 있거나, 또는 차량(202)을 (완전히 또는 부분적으로) 수동으로 제어할지, 차량(202)이 자율적으로 동작할 수 있게 할지, 등의 여부를 선택하기 위한 옵션을 탑승자에게 제공할 수 있다.
도 11은 차량의 동작 동안 가상 콘텐츠의 제시를 제어하기 위한 예시적인 프로세스(1100)를 예시하는 흐름도이다. 블록(1102)에서, 프로세스(1100)는 차량(예컨대, 차량(202))의 내부 부분의 하나 이상의 이미지들에 기초하여, 차량의 좌표계에 대한 모바일 디바이스(예컨대, 모바일 디바이스(150))의 포즈를 결정하는 것을 포함할 수 있다.
블록(1104)에서, 프로세스(1100)는, 차량으로부터, 차량의 하나 이상의 센서들과 연관된 데이터를 수신하는 것을 포함할 수 있다.
블록(1106)에서, 프로세스(1100)는, 모바일 디바이스의 디스플레이 디바이스를 사용하여, 하나 이상의 센서들과 연관된 데이터 및 차량의 좌표계에 대한 모바일 디바이스의 포즈에 기초하여 가상 콘텐츠를 디스플레이하는 것을 포함할 수 있다.
일부 양태들에서, 프로세스(1100)는 하나 이상의 센서들과 연관된 데이터에 기초하여 차량의 상황을 결정하는 것을 포함할 수 있다. 일부 예들에서, 상황은 차량에 관련된 이벤트를 포함할 수 있다.
일부 양태들에서, 프로세스(1100)는, 모바일 디바이스의 좌표계에 대한 가상 콘텐츠의 위치를 차량의 좌표계에 대한 이벤트의 위치와 연관시키는 것; 및 차량의 좌표계에 대한 이벤트의 위치와 모바일 디바이스의 좌표계에 대한 가상 콘텐츠의 위치의 연관성에 기초하여, 모바일 디바이스의 하나 이상의 시각적 이미지 센서들로부터의 라이브 콘텐츠 피드를 디스플레이하는 것을 포함할 수 있다.
일부 예들에서, 라이브 콘텐츠 피드를 디스플레이하는 것은, 차량의 좌표계에 대한 모바일 디바이스의 포즈 및 이벤트에 대한 차량의 포즈에 기초하여, 이벤트에 대한 모바일 디바이스의 포즈를 결정하는 것; 및 이벤트에 대한 모바일 디바이스의 포즈, 및 차량의 좌표계에 대한 이벤트의 위치와 모바일 디바이스의 좌표계에 대한 가상 콘텐츠의 위치의 연관성에 기초하여, 가상 콘텐츠가 차량의 탑승자의 시야에서 이벤트를 적어도 부분적으로 가린다고 결정하는 것을 포함할 수 있다.
일부 양태들에서, 프로세스(1100)는, 모바일 디바이스의 좌표계에 대한 가상 콘텐츠의 위치를 차량의 좌표계에 대한 이벤트의 위치와 연관시키는 것; 및 차량의 좌표계에 대한 이벤트의 위치와 모바일 디바이스의 좌표계에 대한 가상 콘텐츠의 위치의 연관성에 기초하여, 가상 콘텐츠 항목을 필터링하거나 또는 수정하는 것을 포함할 수 있다.
일부 예들에서, 가상 콘텐츠 항목을 필터링하거나 또는 수정하는 것은 가상 콘텐츠 항목의 하나 이상의 특성들을 수정하는 것을 포함할 수 있다. 일부 경우들에서, 하나 이상의 특성들은 가상 콘텐츠 항목의 투명도, 크기, 위치, 및 가상 콘텐츠 항목의 밝기 레벨 중 적어도 하나를 포함할 수 있다.
일부 예들에서, 가상 콘텐츠 항목을 필터링하거나 또는 수정하는 것은, 차량의 탑승자의 눈 시선을 결정하는 것 - 탑승자는 모바일 디바이스와 연관됨 -; 탑승자의 눈 시선 및 이벤트의 위치에 기초하여, 탑승자에 대한 이벤트의 가시성을 결정하는 것; 및 탑승자에 대한 이벤트의 가시성에 추가로 기초하여, 가상 콘텐츠 항목을 필터링하거나 또는 수정하는 것을 포함할 수 있다.
일부 예들에서, 이벤트는 차량의 경로 또는 차량의 경로에 대한 임계 근접도 내의 객체의 존재, 차량의 경로와 연관된 교통 통제, 및 차량이 속도 제한 및 차선 표시 중 적어도 하나 내에서 유지되지 못하는 것 중 적어도 하나를 포함할 수 있다. 일부 경우들에서, 차량의 경로 또는 차량의 경로에 대한 임계 근접도 내의 객체는 보행자, 동물, 및 다른 차량 중 적어도 하나를 포함한다.
일부 양태들에서, 프로세스(1100)는, 차량의 탑승자의 눈 시선을 결정하는 것 - 탑승자는 모바일 디바이스와 연관됨 -; 및 차량의 탑승자의 눈 시선의 방향 내에서 가상 콘텐츠를 렌더링하는 것을 포함할 수 있다.
일부 경우들에서, 탑승자의 눈 시선의 방향 내에서 가상 콘텐츠를 렌더링하는 것은, 이벤트, 이벤트의 위치, 및 이벤트의 방향 중 적어도 하나의 가상 표시자를 포함하는 가상 콘텐츠 오버레이를 렌더링하는 것을 포함할 수 있다.
일부 경우들에서, 탑승자의 눈 시선의 방향 내에서 가상 콘텐츠를 렌더링하는 것은, 가상 콘텐츠의 하나 이상의 특성들을 수정하는 것을 포함할 수 있다. 일부 경우들에서, 하나 이상의 특성들은 가상 콘텐츠의 투명도, 크기, 위치, 및 밝기 레벨 중 적어도 하나를 포함할 수 있다.
일부 양태들에서, 프로세서(1100)는, 차량의 상황 및 모바일 디바이스의 포즈에 기초하여, 가상 콘텐츠의 적어도 일부분을 필터링하는 것을 포함할 수 있다.
일부 경우들에서, 가상 콘텐츠의 적어도 일부분을 필터링하는 것은, 가상 콘텐츠의 서브세트의 제시를 가능하게 하는 것을 포함할 수 있다. 일부 예들에서, 가상 콘텐츠의 서브세트는 차량의 스테이터스의 표시 및 차량 계측 정보 중 적어도 하나를 포함할 수 있다.
일부 양태들에서, 가상 콘텐츠를 디스플레이하는 것은 차량과 연관된 가상 콘텐츠 항목을 렌더링하는 것을 포함할 수 있고, 가상 콘텐츠 항목은 차량의 표면에 대해 렌더링된다.
일부 경우들에서, 렌더링된 가상 콘텐츠 항목은 하나 이상의 센서들과 연관된 데이터에서 식별된 이벤트의 제1 표시, 차량의 상황의 제2 표시, 및 차량의 상황과 연관된 경보 중 적어도 하나를 포함할 수 있다.
일부 양태들에서, 가상 콘텐츠 항목을 렌더링하는 것은, 차량의 카메라 디바이스로부터 카메라 피드를 수신하는 것; 및 모바일 디바이스의 디스플레이 영역 내에 카메라 피드의 적어도 일부분을 디스플레이하는 것을 포함할 수 있다.
일부 경우들에서, 모바일 디바이스의 포즈를 결정하는 것은 하나 이상의 라디오 주파수(RF) 신호들을 획득하는 것; 및 하나 이상의 이미지들, 및 하나 이상의 RF 신호들과 연관된 왕복 시간, 하나 이상의 RF 신호들과 연관된 도착 시간, 및 하나 이상의 RF 신호들과 연관된 수신 신호 강도 표시자(RSSI) 중 적어도 하나에 기초하여 모바일 디바이스의 포즈를 결정하는 것을 포함할 수 있다.
일부 경우들에서, 모바일 디바이스의 포즈를 결정하는 것은, 차량으로부터, 차량과 연관된 하나 이상의 마커들을 포함하는 차량 템플릿을 수신하는 것; 및 하나 이상의 이미지들 및 차량 템플릿에 기초하여 차량의 좌표계에 대한 모바일 디바이스의 포즈를 결정하는 것을 포함할 수 있다.
일부 예들에서, 하나 이상의 마커들은 차량의 내부 부분 내의 영역 및 차량의 내부 부분에 부착된 객체 중 적어도 하나에 대한 시각적 패턴, 차량의 내부 부분의 엘리먼트, 차량의 내부 부분 내의 표면, 및 차량 내부의 조명된 객체 중 적어도 하나를 포함할 수 있다.
일부 경우들에서, 모바일 디바이스의 포즈를 결정하는 것은, 하나 이상의 이미지들에서 하나 이상의 마커들을 검출하는 것; 및 검출된 하나 이상의 마커들 및 차량 템플릿에 기초하여 차량의 좌표계에 대한 모바일 디바이스의 포즈를 결정하는 것을 포함할 수 있다.
일부 양태들에서, 프로세스(1100)는, 모바일 디바이스의 하나 이상의 이미지 센서들을 사용하여, 차량의 내부 부분의 이미지들의 세트를 획득하는 것 - 이미지들의 세트는 차량과 연관된 하나 이상의 마커들을 묘사함 -; 이미지들의 세트에 기초하여, 하나 이상의 마커들을 포함하는 차량 템플릿을 생성하는 것을 포함할 수 있다.
도 12는 차량의 탑승자를 모니터링하기 위한 예시적인 프로세스(1200)를 예시하는 흐름도이다. 블록(1202)에서, 프로세스(1200)는, 차량의 내부 부분의 하나 이상의 이미지들에 기초하여, 차량의 좌표계에 대한 모바일 디바이스의 포즈를 결정하는 것을 포함할 수 있다. 일부 경우들에서, 손상은 차량의 동작 및 차량과 연관된 이벤트 중 적어도 하나와 관련되는 주의산만의 상태, 중독 상태, 건강 조건, 각성 상태, 검출된 감정 상태, 차량을 제어하기 위한 손상된 포지션, 및 손상된 뷰 중 적어도 하나를 포함할 수 있다.
블록(1204)에서, 프로세스(1200)는 차량의 탑승자의 상태를 결정하는 것을 포함할 수 있다. 일부 예들에서, 탑승자의 상태는 차량을 동작시키는 것에 관한 탑승자의 손상을 포함할 수 있다.
블록(1206)에서, 프로세스(1200)는 차량의 좌표계에 대한 모바일의 포즈 및 탑승자의 상태를 나타내는 데이터를 차량으로 전송하는 것을 포함할 수 있다.
일부 예들에서, 탑승자의 상태를 결정하는 것은, 차량으로부터, 차량의 하나 이상의 센서들과 연관된 데이터를 수신하는 것; 및 차량의 하나 이상의 센서들과 연관된 데이터 및 모바일 디바이스의 포즈에 기초하여 탑승자의 상태를 결정하는 것을 포함할 수 있다.
일부 경우들에서, 차량의 하나 이상의 센서들과 연관된 데이터는 차량의 상태 및 차량과 연관된 이벤트 중 적어도 하나를 나타낸다.
일부 경우들에서, 차량과 연관된 이벤트는 차량의 경로 또는 차량의 경로에 대한 임계 근접도 내의 객체의 존재, 차량의 경로와 연관된 교통 통제, 및 차량이 속도 제한 및 차선 표시 중 적어도 하나 내에서 유지되지 못하는 것 중 적어도 하나를 포함할 수 있다.
일부 예들에서, 차량의 경로 또는 차량의 경로에 대한 임계 근접도 내의 객체는 보행자, 동물, 및 다른 차량 중 적어도 하나를 포함할 수 있다.
일부 경우들에서, 탑승자의 손상은 차량을 안전하게 동작시키는 탑승자의 능력에 부정적으로 영향을 미칠 임의의 이벤트, 활동, 주의산만, 상태, 속성, 거동, 및/또는 조건을 포함한다.
일부 양태들에서, 프로세스(1200)는 차량의 탑승자의 눈 시선을 결정하는 것을 포함할 수 있다. 일부 경우들에서, 탑승자의 상태는 탑승자의 눈 시선을 포함할 수 있고, 탑승자는 모바일 디바이스와 연관될 수 있다. 예를 들어, 탑승자는 모바일 디바이스를 착용한 사용자일 수 있다.
일부 경우들에서, 탑승자의 상태를 결정하는 것은, 탑승자에 의해 착용된 웨어러블 디바이스 및 모바일 디바이스 중 적어도 하나와 연관된 하나 이상의 센서들로부터, 탑승자와 연관된 하나 이상의 건강 측정치들을 수신하는 것; 및 하나 이상의 건강 측정치들에 기초하여 탑승자의 상태를 결정하는 것을 포함할 수 있다.
일부 예들에서, 하나 이상의 건강 측정치들은 심박수, 혈압, 체온, 전기 피부 반응, 탑승자의 심장으로부터의 전기 신호의 측정치, 탑승자의 뇌의 전기 활동 측정치, 눈 충혈의 양, 및 동공 크기 중 적어도 하나를 포함할 수 있다.
일부 경우들에서, 탑승자의 상태를 결정하는 것은, 탑승자의 눈 시선이 일정 기간 동안 차량 앞의 도로로부터 멀리 포커싱된다고 결정하는 것; 및 탑승자의 눈 시선이 일정 기간 동안 차량 앞의 도로로부터 멀리 포커싱되는 것 및 그 기간이 임계 기간을 초과한다는 결정에 기초하여 탑승자의 손상된 상태를 결정하는 것을 포함할 수 있다.
일부 예들에서, 탑승자의 눈 시선이 그 기간 동안 차량 앞의 도로로부터 멀리 포커싱된다고 결정하는 것은, 탑승자의 눈 시선이 그 기간의 적어도 일부분 동안 모바일 디바이스에 의해 렌더링된 가상 콘텐츠에 포커싱된다고 결정하는 것을 포함할 수 있다.
일부 경우들에서, 탑승자의 눈 시선이 그 기간 동안 차량 앞의 도로로부터 멀리 포커싱된다고 결정하는 것은, 탑승자의 눈 시선이 차량의 경로 또는 차량의 경로에 대한 임계 근접도 내의 장애물의 방향과는 상이한 방향으로 포커싱된다고 결정하는 것을 포함할 수 있다.
일부 양태들에서, 프로세스(1200)는 탑승자의 상태의 표시를 제2 차량, 차량 인프라구조 시스템, 제2 차량의 제2 탑승자와 연관된 제1 원격 디바이스, 및 보행자와 연관된 제2 원격 디바이스 중 적어도 하나로 전송하는 것을 포함할 수 있다.
일부 경우들에서, 탑승자의 상태를 결정하는 것은, 모바일 디바이스를 착용한 탑승자의 눈 시선을 결정하는 것; 및 모바일 디바이스의 포즈 및 탑승자의 눈 시선에 기초하여 탑승자의 상태를 결정하는 것을 포함할 수 있다.
일부 경우들에서, 모바일 디바이스의 포즈를 결정하는 것은, 차량으로부터, 차량과 연관된 하나 이상의 마커들을 포함하는 차량 템플릿을 수신하는 것; 및 하나 이상의 이미지들 및 차량 템플릿에 기초하여 차량의 좌표계에 대한 모바일 디바이스의 포즈를 결정하는 것을 포함할 수 있다.
일부 경우들에서, 하나 이상의 마커들은 차량의 내부 부분 내의 영역 및 차량의 내부 부분에 부착된 객체 중 적어도 하나에 대한 시각적 패턴, 차량의 내부 부분의 엘리먼트, 차량의 내부 부분 내의 표면, 및 차량 내부의 조명된 객체 중 적어도 하나를 포함할 수 있다.
일부 경우들에서, 하나 이상의 이미지들은 하나 이상의 마커들을 묘사하고, 모바일 디바이스의 포즈를 결정하는 것은, 하나 이상의 이미지들에서 하나 이상의 마커들을 검출하는 것; 및 검출된 하나 이상의 마커들 및 차량 템플릿에 기초하여 차량의 좌표계에 대한 모바일 디바이스의 포즈를 결정하는 것을 포함할 수 있다.
일부 양태들에서, 프로세스(1200)는, 모바일 디바이스의 하나 이상의 이미지 센서들을 사용하여, 차량의 내부 부분의 이미지들의 세트를 획득하는 것 - 이미지들의 세트는 차량과 연관된 하나 이상의 시각적 랜드마크들을 묘사함 -; 및 이미지들의 세트에 기초하여, 하나 이상의 시각적 랜드마크들을 포함하는 차량 템플릿을 생성하는 것을 포함할 수 있다.
일부 경우들에서, 모바일 디바이스의 포즈를 결정하는 것은 모바일 디바이스와 연관된 관성 센서 데이터를 획득하는 것; 및 하나 이상의 이미지들 및 관성 센서 데이터에 기초하여 모바일 디바이스의 포즈를 결정하는 것을 포함할 수 있다.
도 13은 차량의 동작을 제어하기 위한 예시적인 프로세스(1300)를 예시하는 흐름도이다. 블록(1302)에서, 프로세스(1300)는, 차량의 탑승자와 연관된 모바일 디바이스로부터, 차량의 좌표계에 대한 탑승자의 포즈를 수신하는 것을 포함할 수 있다. 블록(1304)에서, 프로세스(1300)는, 차량의 좌표계에 대한 탑승자의 포즈에 기초하여, 차량의 하나 이상의 기능들을 제어하는 것을 포함할 수 있다.
일부 예들에서, 차량의 하나 이상의 기능들을 제어하는 것은 차량의 하나 이상의 차량 기능들에 참여하는 것을 포함할 수 있다. 일부 예들에서, 하나 이상의 차량 기능들은 자동조종 기능, 트랙션 제어 기능, 크루즈 제어 기능, 충돌 회피 기능, 차선 이탈 기능, 차선 센터링 기능, 브레이크 보조 기능, 차선 유지 기능, 고속도로 보조 기능, 차선 변경 보조 기능, 속도 적응 기능, 및 교차로 보조 기능 중 적어도 하나를 포함할 수 있다.
일부 예들에서, 차량의 하나 이상의 기능들을 제어하는 것은 차량의 하나 이상의 자율 차량 시스템들을 제어하거나 또는 그에 참여하는 것을 포함할 수 있다. 일부 예들에서, 하나 이상의 자율 차량 시스템들은 사각지대 모니터링 시스템, 운전자 모니터링 시스템, 제동 시스템, 자율 주행 제어 시스템, 운전자 보조 시스템, 내비게이션 시스템, 조향 제어 시스템, 차량 통신 시스템, 및 자동차 헤드업 디스플레이 중 적어도 하나를 포함할 수 있다.
일부 양태들에서, 프로세스(1300)는 차량의 하나 이상의 센서들과 연관된 데이터를 모바일 디바이스, 제2 차량, 차량 인프라구조 시스템, 제2 차량의 제2 탑승자와 연관된 제1 원격 디바이스, 및 보행자와 연관된 제2 원격 디바이스 중 적어도 하나로 전송하는 것을 포함할 수 있다.
일부 양태들에서, 프로세스(1300)는 탑승자의 상태를 나타내는 데이터를 제2 차량, 차량 인프라구조 시스템, 제2 차량의 제2 탑승자와 연관된 제1 원격 디바이스, 및 보행자와 연관된 제2 원격 디바이스 중 적어도 하나로 전송하는 것을 포함할 수 있다.
일부 양태들에서, 프로세스(1300)는 차량의 좌표계에 대한 탑승자의 포즈를 결정하기 위한 차량 템플릿을 모바일 디바이스로 전송하는 것을 포함할 수 있고, 차량 템플릿은 차량과 연관된 하나 이상의 마커들을 포함한다.
일부 예들에서, 하나 이상의 마커들은 차량의 내부 부분 내의 영역 및 차량의 내부 부분에 부착된 객체 중 적어도 하나에 대한 시각적 패턴, 차량의 내부 부분의 엘리먼트, 차량의 내부 부분 내의 표면, 및 차량 내부의 조명된 객체 중 적어도 하나를 포함할 수 있다.
일부 양태들에서, 프로세스(1300)는 차량의 좌표계에 대한 탑승자의 포즈에 적어도 부분적으로 기초하여 출력을 생성하는 것을 포함할 수 있다. 일부 예들에서, 출력은 모바일 디바이스에 대한 통신, 차량의 하나 이상의 기능들을 수정하기 위한 명령, 및 탑승자의 상태의 표시 중 적어도 하나를 포함할 수 있다.
일부 경우들에서, 모바일 디바이스에 대한 통신은 가상 콘텐츠 항목 및 가상 콘텐츠 항목을 디스플레이하라는 요청 중 적어도 하나를 포함할 수 있다.
일부 양태들에서, 프로세스(1300)는, 모바일 디바이스로부터, 차량의 탑승자의 상태를 나타내는 데이터를 수신하는 것을 포함할 수 있다. 일부 경우들에서, 데이터는 모바일 디바이스의 하나 이상의 센서들로부터의 센서 데이터, 및 모바일 디바이스의 하나 이상의 센서들로부터의 센서 데이터에 기초하여 생성된 프로세싱된 데이터 중 적어도 하나를 포함할 수 있다.
일부 경우들에서, 프로세싱된 데이터는 탑승자의 상태의 설명 및 탑승자의 상태를 식별하는 분류 출력 중 적어도 하나를 포함할 수 있다.
일부 양태들에서, 프로세스(1300)는, 모바일 디바이스로부터, 차량의 탑승자의 상태를 나타내는 데이터를 수신하는 것을 포함할 수 있다. 일부 경우들에서, 데이터는 탑승자의 눈 시선의 표시, 차량의 좌표계에 대한 방법의 포즈, 및 탑승자와 연관된 하나 이상의 건강 측정치들 중 적어도 하나를 포함할 수 있다.
일부 경우들에서, 하나 이상의 건강 측정치들은 심박수, 혈압, 체온, 전기 피부 반응, 탑승자의 심장으로부터의 전기 신호의 측정치, 탑승자의 뇌의 전기 활동 측정치, 눈 충혈의 양, 및 동공 크기 중 적어도 하나를 포함할 수 있다.
일부 양태들에서, 프로세스(1300)는, 차량의 하나 이상의 센서들로부터, 차량의 동작에 관련된 이벤트의 표시, 탑승자에 의해 적어도 부분적으로 제어되는 차량의 하나 이상의 동작들 동안의 하나 이상의 운전 패턴들의 표시, 및 차량 계측 데이터 중 적어도 하나를 포함하는 센서 데이터를 획득하는 것을 포함할 수 있다. 일부 경우들에서, 프로세스(1300)는 센서 데이터에 추가로 기초하여 차량의 하나 이상의 기능들을 제어하는 것을 포함할 수 있다.
일부 양태들에서, 프로세스(1300)는 탑승자의 상태를 결정하는 것을 포함할 수 있다. 일부 경우들에서, 탑승자의 상태를 결정하는 것은, 웨어러블 디바이스 및 모바일 디바이스 중 적어도 하나와 연관된 하나 이상의 건강 센서들로부터, 탑승자와 연관된 하나 이상의 건강 측정치들을 수신하는 것; 및 탑승자와 연관된 하나 이상의 건강 측정치들에 기초하여 탑승자의 상태를 결정하는 것을 포함할 수 있다.
일부 양태들에서, 프로세스(1300)는 탑승자의 상태를 획득하는 것을 포함할 수 있다. 일부 예들에서, 탑승자의 상태는 차량을 동작시키는 것에 관한 탑승자의 손상을 포함할 수 있다. 일부 예들에서, 탑승자의 손상은 탑승자의 일시적 손상을 포함할 수 있다. 일부 경우들에서, 손상은 차량의 동작 및 차량과 연관된 이벤트 중 적어도 하나와 관련되는 주의산만의 상태, 중독 상태, 건강 조건, 각성 상태, 검출된 감정 상태, 차량을 제어하기 위한 손상된 포지션, 및 손상된 뷰 중 적어도 하나를 포함할 수 있다. 일부 경우들에서, 탑승자의 손상은 차량을 안전하게 동작시키는 탑승자의 능력에 부정적으로 영향을 미칠 임의의 이벤트, 활동, 주의산만, 상태, 속성, 거동, 및/또는 조건을 포함한다.
일부 예들에서, 이벤트는 차량의 경로 또는 차량의 경로에 대한 임계 근접도 내의 객체의 존재, 차량의 경로와 연관된 교통 통제, 및 차량이 속도 제한 및 차선 표시 중 적어도 하나 내에서 유지되지 못하는 것 중 적어도 하나를 포함할 수 있다. 일부 예들에서, 객체는 보행자, 동물, 및 다른 차량 중 적어도 하나를 포함할 수 있다.
일부 양태들에서, 프로세스(1300)는, 차량의 내부 부분의 하나 이상의 이미지들을 획득하는 것 - 하나 이상의 이미지들은 차량과 연관된 하나 이상의 시각적 랜드마크들을 묘사함 -; 및 하나 이상의 이미지들에 기초하여, 하나 이상의 시각적 랜드마크들을 설명하는 차량 템플릿을 생성하는 것을 포함할 수 있다.
일부 양태들에서, 프로세스(1300)는 차량 템플릿을 모바일 디바이스로 전송하는 것; 및 모바일 디바이스로부터, 차량 템플릿에 정의된 하나 이상의 좌표들에 대한 탑승자의 포즈를 수신하는 것을 포함할 수 있다. 일부 예들에서, 하나 이상의 좌표들은 하나 이상의 시각적 랜드마크들에 대한 것이고 차량의 좌표계에 대응한다.
일부 양태들에서, 프로세스(1300)는, 모바일 디바이스로부터, 탑승자의 상태를 나타내는 데이터를 수신하는 것을 포함할 수 있다. 일부 경우들에서, 차량의 하나 이상의 기능들을 제어하는 것은 탑승자의 포즈 및 탑승자의 상태를 나타내는 데이터에 기초하여 차량의 하나 이상의 기능들을 제어하는 것을 포함할 수 있다.
일부 양태들에서, 프로세스(1300)는 차량의 좌표계에 대한 탑승자의 포즈에 적어도 부분적으로 기초하여 출력을 생성하는 것을 포함할 수 있다. 일부 예들에서, 출력은 차량의 하나 이상의 기능들을 수정하기 위한 명령, 및 탑승자의 업데이트된 상태 중 적어도 하나를 포함할 수 있다.
일부 예들에서, 차량의 하나 이상의 기능들은 차량의 하나 이상의 기능들 및 차량의 하나 이상의 자율 차량 시스템들 중 적어도 하나를 제어하도록 구성된 차량의 컴퓨터 시스템을 통해 제어될 수 있다.
도 14는 차량의 탑승자와 연관된 모바일 디바이스와 차량을 인터페이싱하기 위한 예시적인 프로세스(1300)를 예시하는 흐름도이다. 블록(1402)에서, 프로세스(1400)는 차량의 컴퓨터 시스템과 연결된 증강 현실(AR) 디바이스로부터 요청을 수신하는 것을 포함할 수 있다. 일부 예들에서, 요청은, 예를 들어, 차량의 하나 이상의 센서들로부터의 데이터와 같은 차량에 의해 생성 및/또는 획득된 데이터를 요청할 수 있다.
블록(1404)에서, 프로세스(1400)는, 요청에 응답하여, 차량의 하나 이상의 센서들과 연관된 데이터를 AR 디바이스로 전송하는 것을 포함할 수 있다. 일부 예들에서, 데이터는 차량의 상황을 나타내는 차량 데이터를 포함할 수 있다. 일부 예들에서, 차량의 상황은 차량의 상태 및 차량에 의해 직면하거나 또는 차량의 하나 이상의 동작들 동안 발생할 것으로 결정된 하나 이상의 이벤트들 중 적어도 하나를 포함할 수 있다.
일부 예들에서, 하나 이상의 이벤트들은 차량의 경로 또는 차량의 경로에 대한 임계 근접도 내의 객체의 존재, 차량의 경로와 연관된 교통 통제, 및 차량이 속도 제한 및 차선 표시 중 적어도 하나 내에서 유지되지 못하는 것 중 적어도 하나를 포함할 수 있다. 일부 경우들에서, 차량의 경로 또는 차량의 경로에 대한 임계 근접도 내의 객체는 보행자, 동물, 및 다른 차량 중 적어도 하나를 포함할 수 있다.
일부 양태들에서, 프로세스(1400)는, 하나 이상의 이벤트들의 각자의 위치 및 차량의 좌표계에 대한 AR 디바이스의 포즈 중 적어도 하나에 대한 위치에서 제시하기 위한 디스플레이 데이터를 AR 디바이스로 전송하는 것을 포함할 수 있다. 일부 예들에서, 디스플레이 데이터는 차량 데이터의 적어도 일부분을 포함할 수 있다.
일부 양태들에서, 프로세스(1400)는 하나 이상의 이벤트들의 각자의 위치의 표시를 AR 디바이스로 전송하는 것을 포함할 수 있다. 일부 양태들에서, 프로세스(1400)는, 차량의 좌표계에 대한 AR 디바이스의 포즈를 결정하기 위한 차량 템플릿을 AR 디바이스로 전송하는 것을 포함할 수 있다. 일부 예들에서, 차량 템플릿은 차량의 내부 부분에서의 하나 이상의 마커들을 설명할 수 있다.
일부 예들에서, 하나 이상의 마커들은 차량의 내부 부분 내의 영역 및 차량의 내부 부분에 부착된 객체 중 적어도 하나에 대한 시각적 패턴, 차량의 내부 부분의 엘리먼트, 차량의 내부 부분 내의 표면, 및 차량 내부의 조명된 객체 중 적어도 하나를 포함할 수 있다.
일부 양태들에서, 프로세스(1400)는, AR 디바이스로부터, 차량의 좌표계에 대한 AR 디바이스의 포즈를 수신하는 것을 포함할 수 있다.
일부 양태들에서, 프로세스(1400)는, 하나 이상의 센서들과 연관된 데이터 및 차량의 좌표계에 대한 AR 디바이스의 포즈 중 적어도 하나에 기초하여, 차량과 연관된 가상 콘텐츠의 컴퓨터 시스템에 의한 제시를 제어하는 것을 포함할 수 있다. 일부 경우들에서, 가상 콘텐츠의 제시를 제어하는 것은, 차량의 좌표계에 대한 AR 디바이스의 포즈에 기초하여, 차량의 하나 이상의 이미지 센서들로부터의 라이브 콘텐츠 피드를 AR 디바이스에 제공하는 것을 포함할 수 있다.
일부 경우들에서, 라이브 콘텐츠 피드를 제공하는 것은, 차량의 좌표계에 대한 AR 디바이스의 포즈 및 차량 이벤트에 대한 차량의 포지션에 기초하여, 차량 이벤트에 대한 AR 디바이스의 포즈를 결정하는 것; 및 차량 이벤트에 대한 AR 디바이스의 포즈에 기초하여, 컴퓨터 시스템 및 AR 디바이스 중 적어도 하나와 연관된 가상 콘텐츠가 AR 디바이스의 시야에서 차량 이벤트를 적어도 부분적으로 가린다고 결정하는 것을 포함할 수 있다.
일부 예들에서, 가상 콘텐츠의 제시를 제어하는 것은 컴퓨터 시스템에 의해 렌더링된 가상 콘텐츠 항목의 위치를 차량의 좌표계에 대한 차량 이벤트의 위치와 연관시키는 것; 및 차량의 좌표계에 대한 차량 이벤트의 위치와 가상 콘텐츠의 위치의 연관성에 기초하여 가상 콘텐츠 항목을 필터링하거나 또는 수정하는 것을 포함할 수 있다.
일부 경우들에서, 가상 콘텐츠 항목을 필터링하거나 또는 수정하는 것은 가상 콘텐츠 항목의 하나 이상의 특성들을 수정하는 것을 포함할 수 있다. 일부 예들에서, 하나 이상의 특성들은 가상 콘텐츠 항목의 투명도, 크기, 위치, 및 밝기 레벨 중 적어도 하나를 포함할 수 있다.
일부 예들에서, 가상 콘텐츠 항목을 필터링하거나 또는 수정하는 것은 차량의 탑승자의 눈 시선을 수신하는 것; 탑승자의 눈 시선 및 차량 이벤트의 위치에 기초하여, 탑승자에 대한 차량 이벤트의 가시성을 결정하는 것; 및 탑승자에 대한 차량 이벤트의 가시성에 추가로 기초하여, 가상 콘텐츠 항목을 필터링하거나 또는 수정하는 것을 포함할 수 있다.
일부 경우들에서, 가상 콘텐츠의 제시를 제어하는 것은, 차량의 탑승자의 눈 시선을 수신하는 것; 및 차량의 탑승자의 눈 시선의 방향 내에서 가상 콘텐츠를 렌더링하는 것을 포함할 수 있다.
일부 예들에서, 가상 콘텐츠를 렌더링하는 것은, 차량 이벤트, 차량 이벤트의 위치, 및 차량 이벤트의 방향 중 적어도 하나의 가상 표시자를 포함하는 가상 콘텐츠 오버레이를 렌더링하는 것을 포함할 수 있다.
일부 경우들에서, 가상 콘텐츠를 렌더링하는 것은 가상 콘텐츠의 하나 이상의 특성들을 수정하는 것을 포함할 수 있다. 일부 예들에서, 하나 이상의 특성들은 가상 콘텐츠의 투명도, 크기, 위치, 및 밝기 레벨 중 적어도 하나를 포함할 수 있다.
일부 양태들에서, 프로세스(1400)는, 하나 이상의 디스플레이 디바이스들로, 차량의 동작에 관한 정보를 제공하는 가상 콘텐츠 항목을 디스플레이하라는 명령을 전송하는 것을 포함할 수 있다. 일부 경우들에서, 명령은 탑승자의 시야 내에 있는 차량 내의 위치에 대한 가상 콘텐츠 항목의 배치를 나타낼 수 있다.
일부 예들에서, 가상 콘텐츠 항목은 컴퓨터 시스템에 의해 검출된 차량 이벤트의 제1 표시, 차량의 상황의 제2 표시, 및 차량의 상황과 연관된 경보 중 적어도 하나를 포함할 수 있다.
일부 양태들에서, 프로세스(1400)는 차량 상의 카메라 디바이스로부터 카메라 피드를 수신하는 것; 및 디스플레이를 위해 카메라 피드의 적어도 일부분을 AR 디바이스로 전송하는 것을 포함할 수 있다.
일부 양태들에서, 프로세스(1400)는 탑승자의 상태의 표시를 AR 디바이스로 전송하는 것을 포함할 수 있다. 일부 예들에서, 탑승자의 상태는 차량을 동작시키는 것에 관한 탑승자의 일시적 손상을 포함할 수 있다. 일부 경우들에서, 일시적 손상은 차량의 동작 및 차량과 연관된 이벤트 중 적어도 하나와 관련되는 주의산만의 상태, 중독 상태, 건강 조건, 각성 상태, 검출된 감정 상태, 차량을 제어하기 위한 손상된 포지션, 및 손상된 뷰 중 적어도 하나를 포함할 수 있다.
일부 양태들에서, 프로세스(1400)는 탑승자의 손상에 기초하여 차량의 동작을 제어하는 것을 포함할 수 있다. 일부 예들에서, 탑승자의 손상은 차량을 안전하게 동작시키는 탑승자의 능력에 부정적으로 영향을 미칠 임의의 이벤트, 활동, 주의산만, 상태, 속성, 거동, 및/또는 조건을 포함한다.
일부 양태들에서, 프로세스(1400)는 탑승자의 손상에 기초하여 디스플레이 데이터를 생성하는 것을 포함할 수 있다. 일부 예들에서, 디스플레이 데이터는 차량 이벤트 및 차량 계측 데이터 중 적어도 하나를 포함할 수 있다.
일부 양태들에서, 프로세스(1400)는 탑승자의 손상에 기초하여 디스플레이 데이터를 AR 디바이스로 전송하는 것을 포함할 수 있다. 일부 예들에서, 디스플레이 데이터는 차량 이벤트 및 차량 계측 데이터 중 적어도 하나를 포함할 수 있다.
일부 예들에서, 컴퓨터 시스템은 차량의 하나 이상의 자율 기능들 및 차량의 하나 이상의 자율 차량 시스템들 중 적어도 하나를 제어하도록 구성된다.
일부 예들에서, AR 디바이스는 헤드 마운트 디스플레이를 포함할 수 있다. 일부 예들에서, AR 디바이스는 웨어러블 AR 디바이스를 포함할 수 있다.
일부 예들에서, 프로세스들(1100, 1200, 1300, 및/또는 1400) 중 임의의 것은 하나 이상의 컴퓨팅 디바이스들 또는 장치들에 의해 수행될 수 있다. 하나의 예시적인 예에서, 프로세스들(1100, 1200, 1300, 및/또는 1400) 중 임의의 것은 도 1에 도시된 모바일 디바이스(150) 및/또는 도 2에 도시된 차량(202)(및/또는 차량 컴퓨팅 시스템(210))에 의해 수행될 수 있다. 일부 예들에서, 프로세스들(1100, 1200, 1300, 및/또는 1400) 중 임의의 것은 도 15에 도시된 컴퓨팅 디바이스 아키텍처(1500)를 갖는 하나 이상의 컴퓨팅 디바이스들에 의해 수행될 수 있다. 일부 경우들에서, 그러한 컴퓨팅 디바이스 또는 장치는 프로세스들(1100, 1200, 1300, 및/또는 1400) 중 임의의 것의 단계들을 수행하도록 구성되는 프로세서, 마이크로프로세서, 마이크로컴퓨터, 또는 디바이스의 다른 컴포넌트를 포함할 수 있다. 일부 예들에서, 그러한 컴퓨팅 디바이스 또는 장치는 이미지 데이터 및/또는 다른 센서 측정치들을 캡처하도록 구성된 하나 이상의 센서들을 포함할 수 있다. 예를 들어, 컴퓨팅 디바이스는 스마트폰, 헤드 마운트 디스플레이, 모바일 디바이스, 또는 다른 적합한 디바이스를 포함할 수 있다. 일부 예들에서, 그러한 컴퓨팅 디바이스 또는 장치는 하나 이상의 이미지들 또는 비디오들을 캡처하도록 구성된 카메라를 포함할 수 있다. 일부 경우들에, 그러한 컴퓨팅 디바이스는 이미지들을 디스플레이하기 위한 디스플레이를 포함할 수 있다. 일부 예들에서, 하나 이상의 센서들 및/또는 카메라는 컴퓨팅 디바이스와는 별개이고, 이 경우에, 컴퓨팅 디바이스는 감지된 데이터를 수신한다. 그러한 컴퓨팅 디바이스는 데이터를 통신하도록 구성된 네트워크 인터페이스를 추가로 포함할 수 있다.
컴퓨팅 디바이스의 컴포넌트들은 회로부에서 구현될 수 있다. 예를 들어, 컴포넌트들은 하나 이상의 프로그래밍가능 전자 회로들(예컨대, 마이크로프로세서들, 그래픽 프로세싱 유닛(GPU)들, 디지털 신호 프로세서(DSP)들, 중앙 프로세싱 유닛(CPU)들 및/또는 다른 적합한 전자 회로들)을 포함할 수 있는 전자 회로들 또는 다른 전자 하드웨어를 포함할 수 있고/있거나 이들을 사용하여 구현될 수 있고, 그리고/또는 본 명세서에서 설명되는 다양한 동작들을 수행하기 위해 컴퓨터 소프트웨어, 펌웨어, 또는 이들의 임의의 조합을 포함할 수 있고/있거나 이들을 사용하여 구현될 수 있다. 컴퓨팅 디바이스는 (출력 디바이스의 일례로서 또는 출력 디바이스에 추가하여) 디스플레이, 데이터를 통신 및/또는 수신하도록 구성된 네트워크 인터페이스, 이들의 임의의 조합, 및/또는 다른 컴포넌트(들)를 추가로 포함할 수 있다. 네트워크 인터페이스는 인터넷 프로토콜(IP) 기반 데이터 또는 다른 타입의 데이터를 통신 및/또는 수신하도록 구성될 수 있다.
프로세스들(1100, 1200, 1300, 1400)은 논리 흐름도들로서 예시되고, 그의 동작들은 하드웨어, 컴퓨터 명령들, 또는 이들의 조합으로 구현될 수 있는 동작들의 시퀀스들을 나타낸다. 컴퓨터 명령들의 맥락에서, 동작들은 하나 이상의 컴퓨터 판독가능 저장 매체들 상에 저장된 컴퓨터 실행가능 명령들을 표현하며, 이러한 명령들은 하나 이상의 프로세서들에 의해 실행될 때, 열거된 동작들을 수행한다. 일반적으로, 컴퓨터 실행가능 명령들은 특정 기능들을 수행하거나 특정 데이터 타입들을 구현하는 루틴들, 프로그램들, 객체들, 컴포넌트들, 데이터 구조들 등을 포함한다. 동작들이 설명되는 순서는 제한으로서 해석되는 것으로 의도되지 않으며, 임의의 수의 설명되는 동작들이 임의의 순서로 그리고/또는 병렬로 조합되어 프로세스들을 구현할 수 있다.
추가적으로, 프로세스들(1100, 1200, 1300, 및/또는 1400) 중 임의의 것은 실행가능 명령들로 구성된 하나 이상의 컴퓨터 시스템들의 제어 하에서 수행될 수 있고, 집합적으로 하나 이상의 프로세서들 상에서 실행되는 코드(예컨대, 실행가능 명령들, 하나 이상의 컴퓨터 프로그램들, 또는 하나 이상의 애플리케이션들)로서, 하드웨어에 의해, 또는 이들의 조합으로 구현될 수 있다. 위에서 언급된 바와 같이, 코드는 예를 들어, 하나 이상의 프로세서들에 의해 실행가능한 복수의 명령들을 포함하는 컴퓨터 프로그램의 형태로, 컴퓨터 판독가능 또는 머신 판독가능 저장 매체 상에 저장될 수 있다. 컴퓨터 판독가능 또는 머신 판독가능 저장 매체는 비일시적일 수 있다.
도 15는 본 명세서에서 설명된 다양한 기법들을 구현할 수 있는 예시적인 컴퓨팅 디바이스의 예시적인 컴퓨팅 디바이스 아키텍처(1500)를 예시한다. 예를 들어, 컴퓨팅 디바이스 아키텍처(1500)는 도 1에 도시된 컴퓨팅 시스템(100) 또는 도 2에 도시된 컴퓨팅 시스템(210)의 적어도 일부 부분들을 구현할 수 있다. 컴퓨팅 디바이스 아키텍처(1500)의 컴포넌트들은 버스와 같은 연결(1505)을 사용하여 서로 전기 통신하는 것으로 도시된다. 예시적인 컴퓨팅 디바이스 아키텍처(1500)는 프로세싱 유닛(CPU 또는 프로세서)(1510), 및 판독 전용 메모리(ROM)(1520) 및 랜덤 액세스 메모리(RAM)(1525)와 같은 컴퓨팅 디바이스 메모리(1515)를 포함하는 다양한 컴퓨팅 디바이스 컴포넌트들을 프로세서(1510)에 커플링하는 컴퓨팅 디바이스 연결(1505)을 포함한다.
컴퓨팅 디바이스 아키텍처(1500)는 프로세서(1510)와 직접 연결되거나, 그에 매우 근접하거나, 또는 그의 일부로서 통합되는 고속 메모리의 캐시를 포함할 수 있다. 컴퓨팅 디바이스 아키텍처(1500)는 프로세서(1510)에 의한 빠른 액세스를 위해 메모리(1515) 및/또는 저장 디바이스(1530)로부터 캐시(1512)로 데이터를 복사할 수 있다. 이러한 방식으로, 캐시는 데이터를 기다리는 동안 프로세서(1510) 지연들을 회피하는 성능 부스트를 제공할 수 있다. 이들 및 다른 모듈들은 다양한 액션들을 수행하도록 프로세서(1510)를 제어하거나 또는 이를 제어하도록 구성될 수 있다. 다른 컴퓨팅 디바이스 메모리(1515)가 또한 사용을 위해 이용가능할 수 있다. 메모리(1515)는 상이한 성능 특성들을 갖는 다수의 상이한 유형들의 메모리를 포함할 수 있다. 프로세서(1510)는, 프로세서(1510)를 제어하도록 구성되고 저장 디바이스(1530)에 저장된 임의의 범용 프로세서 및 하드웨어 또는 소프트웨어 서비스뿐만 아니라 소프트웨어 명령들이 프로세서 설계에 통합되는 특수 목적 프로세서를 포함할 수 있다. 프로세서(1510)는 다수의 코어들 또는 프로세서들, 버스, 메모리 제어기, 캐시 등을 포함하는 독립형 시스템일 수 있다. 다중 코어 프로세서는 대칭이거나 또는 비대칭일 수 있다.
컴퓨팅 디바이스 아키텍처(1500)와의 사용자 상호작용을 가능하게 하기 위해, 입력 디바이스(1545)는 스피치를 위한 마이크로폰, 제스처 또는 그래픽 입력을 위한 터치 감응형 스크린, 키보드, 마우스, 모션 입력, 스피치 등과 같은 임의의 수의 입력 메커니즘들을 나타낼 수 있다. 출력 디바이스(1535)는 또한, 디스플레이, 프로젝터, 텔레비전, 스피커 디바이스와 같은, 당업자에게 알려진 다수의 출력 메커니즘들 중 하나 이상일 수 있다. 일부 경우들에서, 멀티모달(multimodal) 컴퓨팅 디바이스들은, 사용자가 컴퓨팅 디바이스 아키텍처(1500)와 통신하기 위해 다수의 유형들의 입력을 제공하는 것을 가능하게 할 수 있다. 통신 인터페이스(1540)는 대체적으로 사용자 입력 및 컴퓨팅 디바이스 출력을 통제 및 관리할 수 있다. 임의의 특정 하드웨어 배열에 대해 동작하는 것에 대한 제한은 없으며, 따라서 여기서 기본 특징들은 이들이 개발됨에 따라 개선된 하드웨어 또는 펌웨어 배열들을 쉽게 대체할 수 있다.
저장 디바이스(1530)는 비휘발성 메모리이고, 하드 디스크 또는 컴퓨터에 의해 액세스가능한 데이터를 저장할 수 있는 다른 유형들의 컴퓨터 판독가능 매체들, 예컨대 자기 카세트들, 플래시 메모리 카드들, 고체 상태 메모리 디바이스들, 디지털 다기능 디스크들, 카트리지들, 랜덤 액세스 메모리(RAM)들(1525), 판독 전용 메모리(ROM)(1520) 및 이들의 하이브리드들일 수 있다. 저장 디바이스(1530)는 프로세서(1510)를 제어하기 위한 소프트웨어, 코드, 펌웨어 등을 포함할 수 있다. 다른 하드웨어 또는 소프트웨어 모듈들이 고려된다. 저장 디바이스(1530)는 컴퓨팅 디바이스 연결(1505)에 연결될 수 있다. 일 양태에서, 특정 기능을 수행하는 하드웨어 모듈은, 그 기능을 수행하기 위해, 프로세서(1510), 연결(1505), 출력 디바이스(1535) 등과 같은 필요한 하드웨어 컴포넌트들과 연관되어 컴퓨터 판독가능 매체에 저장된 소프트웨어 컴포넌트를 포함할 수 있다.
용어 "컴퓨터 판독가능 매체"는 휴대용 또는 고정식 저장 디바이스들, 광학 저장 디바이스들, 및 명령(들) 및/또는 데이터를 저장, 포함, 또는 반송할 수 있는 다양한 다른 매체들을 포함하지만 이것들로 제한되지는 않는다. 컴퓨터 판독가능 매체는 데이터가 저장될 수 있고 무선으로 또는 유선 연결들을 통해 전파되는 캐리어 파들 및/또는 일시적 전자 신호들을 포함하지 않는 비일시적 매체를 포함할 수 있다. 비일시적 매체의 예들은 자기 디스크 또는 테이프, CD(compact disk) 또는 DVD(digital versatile disk)와 같은 광학 저장 매체들, 플래시 메모리, 메모리 또는 메모리 디바이스들을 포함할 수 있지만, 이것들로 제한되지는 않는다. 컴퓨터 판독가능 매체 상에는 절차, 함수, 서브프로그램, 프로그램, 루틴, 서브루틴, 모듈, 소프트웨어 패키지, 클래스, 또는 명령들, 데이터 구조들 또는 프로그램 명령문들의 임의의 조합을 나타낼 수 있는 코드 및/또는 머신 실행가능 명령들이 저장될 수 있다. 코드 세그먼트는 정보, 데이터, 독립변수(argument)들, 파라미터들, 또는 메모리 콘텐츠들을 전달 및/또는 수신함으로써 다른 코드 세그먼트 또는 하드웨어 회로에 커플링될 수 있다. 정보, 독립변수들, 파라미터들, 데이터 등은 메모리 공유, 메시지 전달, 토큰 전달, 네트워크 송신 등을 포함하는 임의의 적합한 수단을 통해 전달, 포워딩 또는 송신될 수 있다.
일부 실시 형태들에서, 컴퓨터 판독가능 저장 디바이스들, 매체들 및 메모리들은 비트 스트림 등을 포함하는 케이블 또는 무선 신호를 포함할 수 있다 그러나, 언급될 때, 비일시적 컴퓨터 판독가능 저장 매체들은 에너지, 캐리어 신호들, 전자파들, 및 신호들 그 자체와 같은 매체들을 명시적으로 배제한다.
본 명세서에서 제공되는 실시 형태들 및 예들의 철저한 이해를 제공하기 위해, 특정 세부사항들이 위의 설명에서 제공된다. 그러나, 실시 형태들은 이러한 특정 세부사항들 없이 실시될 수 있다는 것이 당업자에 의해 이해될 것이다. 설명의 명료화를 위해, 일부 경우들에서, 본 기술은 디바이스들, 디바이스 컴포넌트들, 소프트웨어에서 구현된 방법에서의 단계들 또는 루틴들, 또는 하드웨어와 소프트웨어의 조합들을 포함하는 개별 기능 블록들을 포함하는 것으로서 제시될 수 있다. 도면들에 도시된 그리고/또는 본 명세서에서 설명되는 것들 이외의 추가 컴포넌트들이 사용될 수 있다. 예를 들어, 불필요한 세부사항으로 실시 형태들을 모호하게 하지 않도록 회로들, 시스템들, 네트워크들, 프로세스들 및 다른 컴포넌트들은 블록도 형태의 컴포넌트들로서 도시될 수 있다. 다른 경우들에는, 실시 형태들을 모호하게 하는 것을 회피하기 위해, 잘 알려진 회로들, 프로세스들, 알고리즘들, 구조들 및 기법들은 불필요한 세부사항 없이 도시될 수 있다.
개별 실시 형태들은 위에서 흐름도, 순서도, 데이터 순서도, 구조도, 또는 블록도로서 묘사되는 프로세스 또는 방법으로서 설명될 수 있다. 흐름도가 동작들을 순차적인 프로세스로서 설명할 수 있지만, 동작들의 대부분은 병렬로 또는 동시에 수행될 수 있다. 추가로, 동작들의 순서는 재-배열될 수 있다. 프로세스는 프로세서의 동작들이 완료될 때 종료되지만 도면에 포함되지 않은 추가 단계들을 가질 수 있다. 프로세스는 방법, 함수, 절차, 서브루틴, 서브프로그램 등에 대응할 수 있다. 프로세스가 함수에 대응할 때, 그 종료는 호출 함수 또는 메인 함수로의 함수의 복귀에 대응할 수 있다.
위에서 설명되는 예들에 따른 프로세스들 및 방법들은 컴퓨터 판독가능 매체들로부터 저장되거나 달리 이용가능한 컴퓨터 실행가능 명령들을 사용하여 구현될 수 있다. 그러한 명령들은 예를 들어, 범용 컴퓨터, 특수 목적 컴퓨터 또는 프로세싱 디바이스로 하여금 특정 기능 또는 기능들의 그룹을 수행하게 하거나 달리 이를 구성하는 명령들 및 데이터를 포함할 수 있다. 사용되는 컴퓨터 리소스들의 부분들은 네트워크를 통해 액세스가능할 수 있다. 컴퓨터 실행가능 명령들은, 예를 들어, 어셈블리 언어, 펌웨어, 소스 코드와 같은 바이너리들, 중간 포맷 명령들일 수 있다. 설명되는 예들에 따른 방법들 동안 생성된 정보, 명령들, 및/또는 사용되는 정보를 저장하는 데 사용될 수 있는 컴퓨터 판독가능 매체들의 예들은 자기 또는 광학 디스크들, 플래시 메모리, 비휘발성 메모리가 제공된 USB 디바이스들, 네트워크킹된 저장 디바이스들 등을 포함한다.
이러한 개시내용들에 따른 프로세스들 및 방법들을 구현하는 디바이스들은 하드웨어, 소프트웨어, 펌웨어, 미들웨어, 마이크로코드, 하드웨어 기술 언어들, 또는 이들의 임의의 조합을 포함할 수 있고, 다양한 폼 팩터들 중 임의의 폼 팩터를 취할 수 있다. 소프트웨어, 펌웨어, 미들웨어 또는 마이크로코드로 구현될 때, 필요한 태스크들을 수행하기 위한 프로그램 코드 또는 코드 세그먼트들(예컨대, 컴퓨터 프로그램 제품)은 컴퓨터 판독가능 또는 머신 판독가능 매체에 저장될 수 있다. 프로세서(들)는 필요한 태스크들을 수행할 수 있다. 폼 팩터들의 통상적인 예들은 랩톱들, 스마트 폰들, 모바일 폰들, 태블릿 디바이스들 또는 다른 소형 폼 팩터 개인용 컴퓨터들, 개인용 디지털 어시스턴트들, 랙마운트 디바이스들, 독립형 디바이스들 등을 포함한다. 본 명세서에서 설명되는 기능은 또한 주변기기들 또는 애드인(add-in) 카드들로 구현될 수 있다. 그러한 기능성은 또한 추가 예로서, 단일 디바이스에서 실행되는 상이한 프로세스들 또는 상이한 칩들 사이의 회로 기판 상에서 구현될 수 있다.
명령들, 그러한 명령들을 전달하기 위한 매체들, 명령들을 실행하기 위한 컴퓨팅 리소스들, 및 그러한 컴퓨팅 리소스들을 지원하기 위한 다른 구조들은 본 개시내용에서 설명되는 기능들을 제공하기 위한 예시적인 수단들이다.
위의 설명에서, 본 출원의 양태들은 본 출원의 특정 실시 형태들을 참조하여 설명되지만, 당업자는 본 출원이 이것으로 제한되지 않음을 인식할 것이다. 따라서, 본 출원의 예시적인 실시 형태들이 본 명세서에서 상세히 설명되었지만, 본 발명의 개념들은 달리 다양하게 구현 및 채용될 수 있고, 첨부된 청구항들은 종래 기술에 의해 제한된 것을 제외하고, 그러한 변형들을 포함하는 것으로 해석되어야 한다는 것이 이해되어야 한다. 위에서 설명되는 본 출원의 다양한 특징들 및 양태들은 개별적으로 또는 공동으로 사용될 수 있다. 또한, 실시 형태들은 본 명세서의 더 넓은 범위를 벗어나지 않고 본 명세서에 설명된 것들을 넘어서는 임의의 수의 환경들 및 애플리케이션들에서 이용될 수 있다. 이에 따라, 본 명세서 및 도면들은 제한적인 것이 아니라 예시적인 것으로 간주되어야 한다. 예시의 목적들로, 방법들은 특정 순서로 설명되었다. 대안적인 실시 형태들에서, 방법들은 설명된 것과 상이한 순서로 수행될 수 있음을 이해해야 한다.
당업자는 본 명세서에서 사용된 미만("<") 및 초과(">") 심볼들 또는 용어가 본 개시내용의 범주를 벗어나지 않고서 이하("≤") 및 이상("≥") 심볼들로 각각 대체될 수 있음을 이해할 것이다.
컴포넌트들이 특정 동작들을 수행"하도록 구성되는" 것으로 설명되는 경우, 그러한 구성은 예를 들어, 전자 회로들 또는 다른 하드웨어를 설계하여 동작을 수행하는 것에 의해, 프로그래밍가능 전자 회로들(예컨대, 마이크로프로세서들, 또는 다른 적합한 전자 회로들)을 프로그래밍하여 동작을 수행하는 것에 의해, 또는 이들의 임의의 조합에 의해, 달성될 수 있다.
문구 "~에 커플링된(coupled to)"은 직접 또는 간접적으로 다른 컴포넌트에 물리적으로 연결되는 임의의 컴포넌트, 및/또는, 직접 또는 간접적으로 다른 컴포넌트와 통신하는 (예컨대, 유선 또는 무선 연결, 및/또는 다른 적합한 통신 인터페이스를 통해 다른 컴포넌트에 연결됨) 임의의 컴포넌트를 지칭한다.
세트 중 "적어도 하나" 및/또는 세트 중 "하나 이상"을 인용하는 본 개시내용의 청구항 언어 또는 다른 언어는 세트 중 하나의 멤버 또는 세트 중 다중 멤버들(임의의 조합으로)이 청구항을 만족한다는 것을 나타낸다. 예를 들어, "A 및 B 중 적어도 하나" 또는 "A 또는 B 중 적어도 하나"를 언급하는 청구항 언어는 A, B, 또는 A와 B를 의미한다. 다른 예에서, "A, B 및 C 중 적어도 하나" 또는 "A, B 또는 C 중 적어도 하나"를 언급하는 청구항 언어는 A, B, C, 또는 A와 B, 또는 A와 C, 또는 B와 C, 또는 A와 B와 C를 의미한다. 그 언어, 세트 "중 적어도 하나" 및/또는 세트 중 "하나 이상"은 세트를 그 세트에 열거된 항목들로 제한하지 않는다. 예를 들어, "A 및 B 중 적어도 하나" 또는 "A 또는 B 중 적어도 하나"를 인용하는 청구항 언어는 A, B, 또는 A 및 B를 의미할 수 있으며, A 및 B의 세트에 열거되지 않은 항목들을 추가적으로 포함할 수 있다.
본 명세서에서 개시되는 예들과 관련하여 설명된 다양한 예시적인 논리 블록들, 모듈들, 회로들, 및 알고리즘 단계들은 전자 하드웨어, 컴퓨터 소프트웨어, 펌웨어, 또는 이들의 조합들로서 구현될 수 있다. 하드웨어와 소프트웨어의 이러한 상호교환가능성을 명확히 예시하기 위해, 다양한 예시적인 컴포넌트들, 블록들, 모듈들, 회로들, 및 단계들은 그것들의 기능성 관점들에서 일반적으로 위에서 설명되었다. 그러한 기능성이 하드웨어로 구현되는지 또는 소프트웨어로 구현되는지는 특정 애플리케이션 및 전체 시스템에 대해 부과된 설계 제약들에 의존한다. 당업자는 설명된 기능성을 각각의 특정 출원마다 다양한 방식들로 구현할 수 있지만, 그러한 구현 결정들이 본 출원의 범주를 벗어나게 하는 것으로 해석되지는 않아야 한다.
본 명세서에서 설명되는 기법들은 또한 전자 하드웨어, 컴퓨터 소프트웨어, 펌웨어, 또는 이들의 임의의 조합으로 구현될 수 있다. 그러한 기법들은 무선 통신 디바이스 핸드셋들 및 다른 디바이스들에서의 적용을 포함하여 다수의 용도들을 갖는 범용 컴퓨터들, 무선 통신 디바이스 핸드셋들 또는 집적 회로 디바이스들과 같은 다양한 디바이스들 중 임의의 디바이스에서 구현될 수 있다. 모듈들 또는 컴포넌트들로서 설명되는 임의의 특징들은 통합된 로직 디바이스로 함께 또는 개별적이지만 상호 운용가능한 로직 디바이스들로서 별개로 구현될 수 있다. 소프트웨어에서 구현되면, 그 기법들은, 실행될 경우 상기 설명된 방법들, 알고리즘들, 및/또는 동작들 중 하나 이상을 수행하는 명령들을 포함하는 프로그램 코드를 포함하는 컴퓨터 판독가능 데이터 저장 매체에 의해 적어도 부분적으로 실현될 수 있다. 컴퓨터 판독가능 데이터 저장 매체는 패키징 재료들을 포함할 수 있는 컴퓨터 프로그램 제품의 일부를 형성할 수 있다. 컴퓨터 판독가능 매체는 메모리 또는 데이터 저장 매체들, 이를테면 랜덤 액세스 메모리(RAM), 이를테면 동기식 동적 랜덤 액세스 메모리(SDRAM), 판독 전용 메모리(ROM), 비휘발성 랜덤 액세스 메모리(NVRAM), 전기적으로 소거가능한 프로그래밍가능 판독 전용 메모리(EEPROM), FLASH 메모리, 자기 또는 광학 데이터 저장 매체들 등을 포함할 수 있다. 기법들은 추가적으로 또는 대안적으로, 명령들 또는 데이터 구조들의 형태로 프로그램 코드를 반송 또는 통신하고 컴퓨터, 이를테면, 전파 신호들 또는 파들 의해 액세스, 판독 및/또는 실행될 수 있는 컴퓨터 판독가능 통신 매체에 의해 적어도 부분적으로 실현될 수 있다.
프로그램 코드는 하나 이상의 프로세서들, 이를테면, 하나 이상의 디지털 신호 프로세서(DSP)들, 범용 마이크로프로세서들, 주문형 집적 회로(ASIC)들, 필드 프로그래밍가능 로직 어레이(field programmable logic array, FPGA)들 또는 다른 동등한 집적 또는 이산 로직 회로부를 포함할 수 있는 프로세서에 의해 실행될 수 있다. 그러한 프로세서는 본 개시내용에서 설명되는 기법들 중 임의의 기법을 수행하도록 구성될 수 있다. 범용 프로세서는 마이크로프로세서일 수 있지만; 대안으로, 프로세서는 임의의 종래의 프로세서, 제어기, 마이크로제어기, 또는 상태 머신일 수 있다. 프로세서는 또한 컴퓨팅 디바이스들의 조합, 예컨대, DSP와 마이크로프로세서의 조합, 복수의 마이크로프로세서들, DSP 코어와 결합된 하나 이상의 마이크로프로세서들, 또는 임의의 다른 그러한 구성으로서 구현될 수 있다. 이에 따라, 본 명세서에서 사용된 바와 같은 용어 "프로세서"는 전술한 구조, 전술한 구조의 임의의 조합, 또는 본 명세서에서 설명되는 기법들의 구현에 적합한 임의의 다른 구조 또는 장치 중 임의의 것을 지칭할 수 있다.
본 개시내용의 예시적인 예들은 다음을 포함한다:
양태 1. 장치로서, 메모리; 및 메모리에 커플링된 하나 이상의 프로세서들을 포함하고, 하나 이상의 프로세서들은, 차량의 좌표계에 대한 장치의 포즈를 결정하도록; 차량으로부터, 차량의 하나 이상의 센서들과 연관된 데이터를 수신하도록; 그리고 장치의 디스플레이 디바이스를 사용하여, 하나 이상의 센서들과 연관된 데이터 및 차량의 좌표계에 대한 장치의 포즈에 기초하여 가상 콘텐츠를 디스플레이하도록 구성되는, 장치.
양태 2. 양태 1에 있어서, 장치의 포즈를 결정하기 위해, 하나 이상의 프로세서들은, 차량의 내부 부분의 하나 이상의 이미지들에 기초하여 장치의 포즈를 결정하도록 구성되는, 장치.
양태 3. 양태 1 또는 양태 2에 있어서, 하나 이상의 프로세서들은 하나 이상의 센서들과 연관된 데이터에 기초하여 차량의 상황을 결정하도록 구성되고, 상황은 차량에 관련된 이벤트를 포함하는, 장치.
양태 4. 양태 3에 있어서, 하나 이상의 프로세서들은, 차량의 동작 또는 차량 이벤트로부터 차량의 탑승자를 산만하게 할, 또는 커버가능하지 않은 것으로 결정되는 차량의 외부 영역 또는 차량 이벤트에 대한 탑승자의 뷰를 방해할 가상 콘텐츠 항목을 필터링하거나 또는 수정하도록 추가로 구성되는, 장치.
양태 5. 양태 3 또는 양태 4에 있어서, 하나 이상의 프로세서들은, 장치의 좌표계에 대한 가상 콘텐츠의 위치를 차량의 좌표계에 대한 이벤트의 위치와 연관시키도록; 그리고 차량의 좌표계에 대한 이벤트의 위치와 장치의 좌표계에 대한 가상 콘텐츠의 위치의 연관성에 기초하여, 장치의 하나 이상의 시각적 이미지 센서들로부터의 라이브 콘텐츠 피드를 디스플레이하도록 구성되는, 장치.
양태 6. 양태 5에 있어서, 라이브 콘텐츠 피드를 생성하기 위해, 하나 이상의 프로세서들은, 차량의 좌표계에 대한 장치의 포즈 및 이벤트에 대한 차량의 포즈에 기초하여, 이벤트에 대한 장치의 포즈를 결정하도록; 그리고 이벤트에 대한 장치의 포즈, 및 차량의 좌표계에 대한 이벤트의 위치와 장치의 좌표계에 대한 가상 콘텐츠의 위치의 연관성에 기초하여, 가상 콘텐츠가 차량의 탑승자의 시야에서 이벤트를 적어도 부분적으로 가린다고 결정하도록 구성되는, 장치.
양태 7. 양태 5에 있어서, 하나 이상의 프로세서들은, 가상 콘텐츠가 이벤트에 대한 장치의 하나 이상의 이미지 센서들의 뷰를 적어도 부분적으로 방해한다는 결정에 추가로 기초하여 라이브 콘텐츠를 디스플레이하도록 구성되는, 장치.
양태 8. 양태 3 내지 양태 7 중 어느 한 양태에 있어서, 하나 이상의 프로세서들은, 장치의 좌표계에 대한 가상 콘텐츠 항목의 위치를 차량의 좌표계에 대한 이벤트의 위치와 연관시키도록; 그리고 차량의 좌표계에 대한 이벤트의 위치와 장치의 좌표계에 대한 가상 콘텐츠의 위치의 연관성에 기초하여, 가상 콘텐츠 항목을 필터링하거나 또는 수정하도록 구성되는, 장치.
양태 9. 양태 8에 있어서, 가상 콘텐츠 항목을 필터링하거나 또는 수정하기 위해, 하나 이상의 프로세서들은, 가상 콘텐츠 항목의 하나 이상의 특성들을 수정하도록 구성되고, 하나 이상의 특성들은 가상 콘텐츠 항목의 투명도, 크기, 위치, 및 가상 콘텐츠 항목의 밝기 레벨 중 적어도 하나를 포함하는, 장치.
양태 10. 양태 8 또는 양태 9에 있어서, 가상 콘텐츠 항목을 필터링하거나 또는 수정하기 위해, 하나 이상의 프로세서들은, 차량의 탑승자의 눈 시선을 결정하도록 - 탑승자는 장치와 연관됨 -; 탑승자의 눈 시선 및 이벤트의 위치에 기초하여, 탑승자에 대한 이벤트의 가시성을 결정하도록; 그리고 탑승자에 대한 이벤트의 가시성에 추가로 기초하여, 가상 콘텐츠 항목을 필터링하거나 또는 수정하도록 구성되는, 장치.
양태 11. 양태 3에 있어서, 이벤트는 차량의 경로 또는 차량의 경로에 대한 임계 근접도 내의 객체의 존재, 차량의 경로와 연관된 교통 통제, 및 차량이 속도 제한 및 차선 표시 중 적어도 하나 내에서 유지되지 못하는 것 중 적어도 하나를 포함하는, 장치.
양태 12. 양태 11에 있어서, 차량의 경로 또는 차량의 경로에 대한 임계 근접도 내의 객체는 보행자, 동물, 및 다른 차량 중 적어도 하나를 포함하는, 장치.
양태 13. 양태 3에 있어서, 하나 이상의 프로세서들은, 차량의 탑승자의 눈 시선을 결정하도록 - 탑승자는 장치와 연관됨 -; 그리고 차량의 탑승자의 눈 시선의 방향 내에서 가상 콘텐츠를 렌더링하도록 구성되는, 장치.
양태 14. 양태 13에 있어서, 탑승자의 눈 시선의 방향 내에서 가상 콘텐츠를 렌더링하기 위해, 하나 이상의 프로세서들은, 이벤트, 이벤트의 위치, 및 이벤트의 방향 중 적어도 하나의 가상 표시자를 포함하는 가상 콘텐츠 오버레이를 렌더링하도록 구성되는, 장치.
양태 15. 양태 13 또는 양태 14에 있어서, 탑승자의 눈 시선의 방향 내에서 가상 콘텐츠를 렌더링하기 위해, 하나 이상의 프로세서들은, 가상 콘텐츠의 하나 이상의 특성들을 수정하도록 구성되고, 하나 이상의 특성들은 가상 콘텐츠의 투명도, 크기, 위치, 및 밝기 레벨 중 적어도 하나를 포함하는, 장치.
양태 16. 양태 1 내지 양태 15 중 어느 한 양태에 있어서, 하나 이상의 프로세서들은, 차량의 상황 및 장치의 포즈에 기초하여, 가상 콘텐츠의 적어도 일부분을 필터링하도록 구성되는, 장치.
양태 17. 양태 16에 있어서, 가상 콘텐츠의 적어도 일부분을 필터링하기 위해, 하나 이상의 프로세서들은 가상 콘텐츠의 서브세트의 제시를 가능하게 하도록 구성되고, 가상 콘텐츠의 서브세트는 차량의 스테이터스의 표시 및 차량 계측 정보 중 적어도 하나를 포함하는, 장치.
양태 18. 양태 1 내지 양태 17 중 어느 한 양태에 있어서, 가상 콘텐츠를 디스플레이하기 위해, 하나 이상의 프로세서들은 차량과 연관된 가상 콘텐츠 항목을 렌더링하도록 구성되고, 가상 콘텐츠 항목은 차량의 표면에 대해 렌더링되는, 장치.
양태 19. 양태 18에 있어서, 렌더링된 가상 콘텐츠 항목은 하나 이상의 센서들과 연관된 데이터에서 식별된 이벤트의 제1 표시, 차량의 상황의 제2 표시, 및 차량의 상황과 연관된 경보 중 적어도 하나를 포함하는, 장치.
양태 20. 양태 18 또는 양태 19에 있어서, 가상 콘텐츠 항목을 렌더링하기 위해, 하나 이상의 프로세서들은, 차량의 카메라 디바이스로부터 카메라 피드를 수신하도록; 그리고 장치의 디스플레이 영역 내에 카메라 피드의 적어도 일부분을 디스플레이하도록 구성되는, 장치.
양태 21. 양태 1 내지 양태 20 중 어느 한 양태에 있어서, 장치의 포즈를 결정하기 위해, 하나 이상의 프로세서들은, 하나 이상의 라디오 주파수(RF) 신호들을 획득하도록; 그리고 차량의 내부 부분의 하나 이상의 이미지들, 및 하나 이상의 RF 신호들과 연관된 왕복 시간, 하나 이상의 RF 신호들과 연관된 도착 시간, 및 하나 이상의 RF 신호들과 연관된 수신 신호 강도 표시자(RSSI) 중 적어도 하나에 기초하여 장치의 포즈를 결정하도록 구성되는, 장치.
양태 22. 양태 1 내지 양태 21 중 어느 한 양태에 있어서, 장치의 포즈를 결정하기 위해, 하나 이상의 프로세서들은, 차량으로부터, 차량과 연관된 하나 이상의 마커들을 포함하는 차량 템플릿을 수신하도록; 그리고 차량의 내부 부분의 하나 이상의 이미지들 및 차량 템플릿에 기초하여 차량의 좌표계에 대한 장치의 포즈를 결정하도록 구성되는, 장치.
양태 23. 양태 22에 있어서, 하나 이상의 마커들은 차량의 내부 부분 내의 영역 및 차량의 내부 부분에 부착된 객체 중 적어도 하나에 대한 시각적 패턴, 차량의 내부 부분의 엘리먼트, 차량의 내부 부분 내의 표면, 및 차량 내부의 조명된 객체 중 적어도 하나를 포함하는, 장치.
양태 24. 양태 22 또는 양태 23에 있어서, 장치의 포즈를 결정하기 위해, 하나 이상의 프로세서들은, 하나 이상의 이미지들에서 하나 이상의 마커들을 검출하도록; 그리고 검출된 하나 이상의 마커들 및 차량 템플릿에 기초하여 차량의 좌표계에 대한 장치의 포즈를 결정하도록 구성되는, 장치.
양태 25. 양태 1 내지 양태 24 중 어느 한 양태에 있어서, 하나 이상의 프로세서들은, 장치의 하나 이상의 이미지 센서들을 사용하여, 차량의 내부 부분의 이미지들의 세트를 획득하도록 - 이미지들의 세트는 차량과 연관된 하나 이상의 마커들을 묘사함 -; 그리고 이미지들의 세트에 기초하여, 하나 이상의 마커들을 포함하는 차량 템플릿을 생성하도록 구성되는, 장치.
양태 26. 양태 1 내지 양태 25 중 어느 한 양태에 있어서, 장치는 헤드 마운트 디스플레이를 포함하는, 장치.
양태 27. 양태 1 내지 양태 26 중 어느 한 양태에 있어서, 하나 이상의 이미지 센서들을 추가로 포함하는, 장치.
양태 28. 방법으로서, 차량의 좌표계에 대한 모바일 디바이스의 포즈를 결정하는 단계; 차량으로부터, 차량의 하나 이상의 센서들과 연관된 데이터를 수신하는 단계; 및 모바일 디바이스의 디스플레이 디바이스를 사용하여, 하나 이상의 센서들과 연관된 데이터 및 차량의 좌표계에 대한 모바일 디바이스의 포즈에 기초하여 가상 콘텐츠를 디스플레이하는 단계를 포함하는, 방법.
양태 29. 양태 28에 있어서, 모바일 디바이스의 포즈를 결정하는 단계는, 차량의 내부 부분의 하나 이상의 이미지들에 기초하여 모바일 디바이스의 포즈를 결정하는 단계를 포함하는, 방법.
양태 30. 양태 28 또는 양태 29에 있어서, 하나 이상의 센서들과 연관된 데이터에 기초하여 차량의 상황을 결정하는 단계를 추가로 포함하고, 상황은 차량에 관련된 이벤트를 포함하는, 방법.
양태 31. 양태 30에 있어서, 차량의 동작 또는 차량 이벤트로부터 차량의 탑승자를 산만하게 할, 또는 커버가능하지 않은 것으로 결정되는 차량의 외부 영역 또는 차량 이벤트에 대한 탑승자의 뷰를 방해할 가상 콘텐츠 항목을 필터링하거나 또는 수정하는 단계를 추가로 포함하는, 방법.
양태 32. 양태 30 또는 양태 31에 있어서, 모바일 디바이스의 좌표계에 대한 가상 콘텐츠의 위치를 차량의 좌표계에 대한 이벤트의 위치와 연관시키는 단계; 및 차량의 좌표계에 대한 이벤트의 위치와 모바일 디바이스의 좌표계에 대한 가상 콘텐츠의 위치의 연관성에 기초하여, 모바일 디바이스의 하나 이상의 시각적 이미지 센서들로부터의 라이브 콘텐츠 피드를 디스플레이하는 단계를 추가로 포함하는, 방법.
양태 33. 양태 32에 있어서, 라이브 콘텐츠 피드를 디스플레이하는 단계는, 차량의 좌표계에 대한 모바일 디바이스의 포즈 및 이벤트에 대한 차량의 포즈에 기초하여, 이벤트에 대한 모바일 디바이스의 포즈를 결정하는 단계; 및 이벤트에 대한 모바일 디바이스의 포즈, 및 차량의 좌표계에 대한 이벤트의 위치와 모바일 디바이스의 좌표계에 대한 가상 콘텐츠의 위치의 연관성에 기초하여, 가상 콘텐츠가 차량의 탑승자의 시야에서 이벤트를 적어도 부분적으로 가린다고 결정하는 단계를 포함하는, 방법.
양태 34. 양태 32 또는 양태 33에 있어서, 가상 콘텐츠가 이벤트에 대한 모바일 디바이스의 하나 이상의 이미지 센서들의 뷰를 적어도 부분적으로 방해한다는 결정에 추가로 기초하여, 라이브 콘텐츠를 디스플레이하는 단계를 추가로 포함하는, 방법.
양태 35. 양태 30에 있어서, 모바일 디바이스의 좌표계에 대한 가상 콘텐츠 항목의 위치를 차량의 좌표계에 대한 이벤트의 위치와 연관시키는 단계; 및 차량의 좌표계에 대한 이벤트의 위치와 모바일 디바이스의 좌표계에 대한 가상 콘텐츠의 위치의 연관성에 기초하여, 가상 콘텐츠 항목을 필터링하거나 또는 수정하는 단계를 추가로 포함하는, 방법.
양태 36. 양태 35에 있어서, 가상 콘텐츠 항목을 필터링하거나 또는 수정하기 위해, 하나 이상의 프로세서들은, 가상 콘텐츠 항목의 하나 이상의 특성들을 수정하도록 구성되고, 하나 이상의 특성들은 가상 콘텐츠 항목의 투명도, 크기, 위치, 및 가상 콘텐츠 항목의 밝기 레벨 중 적어도 하나를 포함하는, 방법.
양태 37. 양태 35 또는 양태 36에 있어서, 가상 콘텐츠 항목을 필터링하거나 또는 수정하기 위해, 하나 이상의 프로세서들은, 차량의 탑승자의 눈 시선을 결정하도록 - 탑승자는 모바일 디바이스와 연관됨 -; 탑승자의 눈 시선 및 이벤트의 위치에 기초하여, 탑승자에 대한 이벤트의 가시성을 결정하도록; 그리고 탑승자에 대한 이벤트의 가시성에 추가로 기초하여, 가상 콘텐츠 항목을 필터링하거나 또는 수정하도록 구성되는, 방법.
양태 38. 양태 30에 있어서, 이벤트는 차량의 경로 또는 차량의 경로에 대한 임계 근접도 내의 객체의 존재, 차량의 경로와 연관된 교통 통제, 및 차량이 속도 제한 및 차선 표시 중 적어도 하나 내에서 유지되지 못하는 것 중 적어도 하나를 포함하는, 방법.
양태 39. 양태 38에 있어서, 차량의 경로 또는 차량의 경로에 대한 임계 근접도 내의 객체는 보행자, 동물, 및 다른 차량 중 적어도 하나를 포함하는, 방법.
양태 40. 양태 30에 있어서, 차량의 탑승자의 눈 시선을 결정하는 단계 - 탑승자는 모바일 디바이스와 연관됨 -; 및 차량의 탑승자의 눈 시선의 방향 내에서 가상 콘텐츠를 렌더링하는 단계를 추가로 포함하는, 방법.
양태 41. 양태 40항에 있어서, 탑승자의 눈 시선의 방향 내에서 가상 콘텐츠를 렌더링하는 단계는, 이벤트, 이벤트의 위치, 및 이벤트의 방향 중 적어도 하나의 가상 표시자를 포함하는 가상 콘텐츠 오버레이를 렌더링하는 단계를 포함하는, 방법.
양태 42. 양태 40 또는 양태 41에 있어서, 탑승자의 눈 시선의 방향 내에서 가상 콘텐츠를 렌더링하기 위해, 하나 이상의 프로세서들은, 가상 콘텐츠의 하나 이상의 특성들을 수정하도록 구성되고, 하나 이상의 특성들은 가상 콘텐츠의 투명도, 크기, 위치, 및 밝기 레벨 중 적어도 하나를 포함하는, 방법.
양태 43. 양태 28 내지 양태 42 중 어느 한 양태에 있어서, 차량의 상황 및 모바일 디바이스의 포즈에 기초하여, 가상 콘텐츠의 적어도 일부분을 필터링하는 단계를 추가로 포함하는, 방법.
양태 44. 양태 43에 있어서, 가상 콘텐츠의 적어도 일부분을 필터링하는 단계는 가상 콘텐츠의 서브세트의 제시를 가능하게 하는 단계를 포함하고, 가상 콘텐츠의 서브세트는 차량의 스테이터스의 표시 및 차량 계측 정보 중 적어도 하나를 포함하는, 방법.
양태 45. 양태 28 내지 양태 44 중 어느 한 양태에 있어서, 가상 콘텐츠를 디스플레이하는 단계는 차량과 연관된 가상 콘텐츠 항목을 렌더링하는 단계를 포함하고, 가상 콘텐츠 항목은 차량의 표면에 대해 렌더링되는, 방법.
양태 46. 양태 45에 있어서, 렌더링된 가상 콘텐츠 항목은 하나 이상의 센서들과 연관된 데이터에서 식별된 이벤트의 제1 표시, 차량의 상황의 제2 표시, 및 차량의 상황과 연관된 경보 중 적어도 하나를 포함하는, 방법.
양태 47. 양태 45 또는 양태 46에 있어서, 가상 콘텐츠 항목을 렌더링하는 단계는, 차량의 카메라 디바이스로부터 카메라 피드를 수신하는 단계; 및 모바일 디바이스의 디스플레이 영역 내에 카메라 피드의 적어도 일부분을 디스플레이하는 단계를 포함하는, 방법.
양태 48. 양태 28 내지 양태 47 중 어느 한 양태에 있어서, 모바일 디바이스의 포즈를 결정하는 단계는, 하나 이상의 라디오 주파수(RF) 신호들을 획득하는 단계; 및 차량의 내부 부분의 하나 이상의 이미지들, 및 하나 이상의 RF 신호들과 연관된 왕복 시간, 하나 이상의 RF 신호들과 연관된 도착 시간, 및 하나 이상의 RF 신호들과 연관된 수신 신호 강도 표시자(RSSI) 중 적어도 하나에 기초하여 모바일 디바이스의 포즈를 결정하는 단계를 포함하는, 방법.
양태 49. 양태 28 내지 양태 48 중 어느 한 양태에 있어서, 모바일 디바이스의 포즈를 결정하는 단계는, 차량으로부터, 차량과 연관된 하나 이상의 마커들을 포함하는 차량 템플릿을 수신하는 단계; 및 차량의 내부 부분의 하나 이상의 이미지들 및 차량 템플릿에 기초하여 차량의 좌표계에 대한 모바일 디바이스의 포즈를 결정하는 단계를 포함하는, 방법.
양태 50. 양태 49에 있어서, 하나 이상의 마커들은 차량의 내부 부분 내의 영역 및 차량의 내부 부분에 부착된 객체 중 적어도 하나에 대한 시각적 패턴, 차량의 내부 부분의 엘리먼트, 차량의 내부 부분 내의 표면, 및 차량 내부의 조명된 객체 중 적어도 하나를 포함하는, 방법.
양태 51. 양태 49 또는 양태 50에 있어서, 모바일 디바이스의 포즈를 결정하는 단계는, 하나 이상의 이미지들에서 하나 이상의 마커들을 검출하는 단계; 및 검출된 하나 이상의 마커들 및 차량 템플릿에 기초하여 차량의 좌표계에 대한 모바일 디바이스의 포즈를 결정하는 단계를 포함하는, 방법.
양태 52. 양태 28 내지 양태 51 중 어느 한 양태에 있어서, 모바일 디바이스의 하나 이상의 이미지 센서들을 사용하여, 차량의 내부 부분의 이미지들의 세트를 획득하는 단계 - 이미지들의 세트는 차량과 연관된 하나 이상의 마커들을 묘사함 -; 및 이미지들의 세트에 기초하여, 하나 이상의 마커들을 포함하는 차량 템플릿을 생성하는 단계를 추가로 포함하는, 방법.
양태 53. 명령들이 저장된 비일시적 컴퓨터 판독가능 매체로서, 명령들은, 하나 이상의 프로세서들에 의해 실행될 때, 하나 이상의 프로세서들로 하여금, 양태 28 내지 양태 52 중 어느 한 양태에 따른 방법을 수행하게 하는, 비일시적 컴퓨터 판독가능 매체.
양태 54. 양태 28 내지 양태 52 중 어느 한 양태에 따른 방법을 수행하기 위한 수단을 포함하는 장치.
양태 55. 장치로서, 메모리; 및 메모리에 커플링된 하나 이상의 프로세서들을 포함하고, 하나 이상의 프로세서들은, 차량의 내부 부분의 하나 이상의 이미지들에 기초하여, 차량의 좌표계에 대한 장치의 포즈를 결정하도록; 차량의 탑승자의 상태를 결정하도록; 그리고 차량의 좌표계에 대한 장치의 포즈 및 탑승자의 상태를 나타내는 데이터를 차량으로 전송하도록 구성되는, 장치.
양태 56. 양태 55에 있어서, 탑승자의 상태는 차량을 동작시키는 것에 관한 탑승자의 손상을 포함하는, 장치.
양태 57. 양태 56에 있어서, 탑승자의 손상은 차량을 안전하게 동작시키는 탑승자의 능력에 부정적으로 영향을 미칠 임의의 이벤트, 활동, 주의산만, 상태, 속성, 거동, 및/또는 조건을 포함하는, 장치.
양태 58. 양태 56 또는 양태 57에 있어서, 손상은 차량의 동작 및 차량과 연관된 이벤트 중 적어도 하나와 관련되는 주의산만의 상태, 중독 상태, 건강 조건, 각성 상태, 검출된 감정 상태, 차량을 제어하기 위한 손상된 포지션, 및 손상된 뷰 중 적어도 하나를 포함하는, 장치.
양태 59. 양태 56 내지 양태 58 중 어느 한 양태에 있어서, 탑승자의 상태를 결정하기 위해, 하나 이상의 프로세서들은, 차량으로부터, 차량의 하나 이상의 센서들과 연관된 데이터를 수신하도록; 그리고 차량의 하나 이상의 센서들과 연관된 데이터 및 장치의 포즈에 기초하여 탑승자의 상태를 결정하도록 구성되는, 장치.
양태 60. 양태 59에 있어서, 차량의 하나 이상의 센서들과 연관된 데이터는 차량의 상태 및 차량과 연관된 이벤트 중 적어도 하나를 나타내는, 장치.
양태 61. 양태 60에 있어서, 차량과 연관된 이벤트는 차량의 경로 또는 차량의 경로에 대한 임계 근접도 내의 객체의 존재, 차량의 경로와 연관된 교통 통제, 및 차량이 속도 제한 및 차선 표시 중 적어도 하나 내에서 유지되지 못하는 것 중 적어도 하나를 포함하는, 장치.
양태 62. 양태 61에 있어서, 차량의 경로 또는 차량의 경로에 대한 임계 근접도 내의 객체는 보행자, 동물, 및 다른 차량 중 적어도 하나를 포함하는, 장치.
양태 63. 양태 56 내지 양태 62 중 어느 한 양태에 있어서, 탑승자의 손상은 차량을 안전하게 동작시키는 탑승자의 능력에 부정적으로 영향을 미칠 임의의 이벤트, 활동, 주의산만, 상태, 속성, 거동, 및/또는 조건을 포함하는, 장치.
양태 64. 양태 55 내지 양태 63 중 어느 한 양태에 있어서, 하나 이상의 프로세서들은, 차량의 탑승자의 눈 시선을 결정하도록 구성되고, 탑승자의 상태는 탑승자의 눈 시선을 포함하고, 탑승자는 장치와 연관되는, 장치.
양태 65. 양태 55 내지 양태 64 중 어느 한 양태에 있어서, 탑승자의 상태를 결정하기 위해, 하나 이상의 프로세서들은, 탑승자에 의해 착용된 웨어러블 디바이스 및 장치 중 적어도 하나와 연관된 하나 이상의 센서들로부터, 탑승자와 연관된 하나 이상의 건강 측정치들을 수신하도록; 그리고 하나 이상의 건강 측정치들에 기초하여 탑승자의 상태를 결정하도록 구성되는, 장치.
양태 66. 양태 65에 있어서, 하나 이상의 건강 측정치들은 심박수, 혈압, 체온, 전기 피부 반응, 탑승자의 심장으로부터의 전기 신호의 측정치, 탑승자의 뇌의 전기 활동의 측정치, 눈 충혈의 양, 및 동공 크기 중 적어도 하나를 포함하는, 장치.
양태 67. 양태 55 내지 양태 66 중 어느 한 양태에 있어서, 탑승자의 상태를 결정하기 위해, 하나 이상의 프로세서들은, 탑승자의 눈 시선이 일정 기간 동안 차량 앞의 도로로부터 멀리 포커싱된다고 결정하도록; 그리고 탑승자의 눈 시선이 일정 기간 동안 차량 앞의 도로로부터 멀리 포커싱되는 것 및 그 기간이 임계 기간을 초과한다는 결정에 기초하여 탑승자의 손상된 상태를 결정하도록 구성되는, 장치.
양태 68. 양태 67에 있어서, 탑승자의 눈 시선이 일정 기간 동안 차량 앞의 도로로부터 멀리 포커싱된다고 결정하기 위해, 하나 이상의 프로세서들은, 탑승자의 눈 시선이 그 기간의 적어도 일부분 동안 장치에 의해 렌더링된 가상 콘텐츠에 포커싱된다고 결정하도록 구성되는, 장치.
양태 69. 양태 67 또는 양태 68에 있어서, 탑승자의 눈 시선이 일정 기간 동안 차량 앞의 도로로부터 멀리 포커싱된다고 결정하기 위해, 하나 이상의 프로세서들은, 탑승자의 눈 시선이 차량의 경로 또는 차량의 경로에 대한 임계 근접도 내의 장애물의 방향과는 상이한 방향으로 포커싱된다고 결정하도록 구성되는, 장치.
양태 70. 양태 55 내지 양태 69 중 어느 한 양태에 있어서, 하나 이상의 프로세서들은, 탑승자의 상태의 표시를 제2 차량, 차량 인프라구조 시스템, 제2 차량의 제2 탑승자와 연관된 제1 원격 디바이스, 및 보행자와 연관된 제2 원격 디바이스 중 적어도 하나로 전송하도록 구성되는, 장치.
양태 71. 양태 55 내지 양태 70 중 어느 한 양태에 있어서, 탑승자의 상태를 결정하기 위해, 하나 이상의 프로세서들은, 장치를 착용한 탑승자의 눈 시선을 결정하도록; 그리고 장치의 포즈 및 탑승자의 눈 시선에 기초하여 탑승자의 상태를 결정하도록 구성되는, 장치.
양태 72. 양태 55 내지 양태 71 중 어느 한 양태에 있어서, 장치의 포즈를 결정하기 위해, 하나 이상의 프로세서들은, 차량으로부터, 차량과 연관된 하나 이상의 마커들을 포함하는 차량 템플릿을 수신하도록; 그리고 하나 이상의 이미지들 및 차량 템플릿에 기초하여 차량의 좌표계에 대한 장치의 포즈를 결정하도록 구성되는, 장치.
양태 73. 양태 72에 있어서, 하나 이상의 마커들은 차량의 내부 부분 내의 영역 및 차량의 내부 부분에 부착된 객체 중 적어도 하나에 대한 시각적 패턴, 차량의 내부 부분의 엘리먼트, 차량의 내부 부분 내의 표면, 및 차량 내부의 조명된 객체 중 적어도 하나를 포함하는, 장치.
양태 74. 양태 72에 있어서, 하나 이상의 이미지들은 하나 이상의 마커들을 묘사하고, 장치의 포즈를 결정하기 위해, 하나 이상의 프로세서들은, 하나 이상의 이미지들에서 하나 이상의 마커들을 검출하도록; 그리고 검출된 하나 이상의 마커들 및 차량 템플릿에 기초하여 차량의 좌표계에 대한 장치의 포즈를 결정하도록 구성되는, 장치.
양태 75. 양태 55 내지 양태 74 중 어느 한 양태에 있어서, 하나 이상의 프로세서들은, 장치의 하나 이상의 이미지 센서들을 사용하여, 차량의 내부 부분의 이미지들의 세트를 획득하도록 - 이미지들의 세트는 차량과 연관된 하나 이상의 시각적 랜드마크들을 묘사함 -; 그리고 이미지들의 세트에 기초하여, 하나 이상의 시각적 랜드마크들을 포함하는 차량 템플릿을 생성하도록 구성되는, 장치.
양태 76. 양태 55 내지 양태 75 중 어느 한 양태에 있어서, 장치의 포즈를 결정하기 위해, 하나 이상의 프로세서들은, 장치와 연관된 관성 센서 데이터를 획득하도록; 그리고 하나 이상의 이미지들 및 관성 센서 데이터에 기초하여 장치의 포즈를 결정하도록 구성되는, 장치.
양태 77. 양태 55 내지 양태 76 중 어느 한 양태에 있어서, 장치는 헤드 마운트 디스플레이를 포함하는, 장치.
양태 78. 방법으로서, 차량의 내부 부분의 하나 이상의 이미지들에 기초하여, 차량의 좌표계에 대한 모바일 디바이스의 포즈를 결정하는 단계; 차량의 탑승자의 상태를 결정하는 단계; 및 차량의 좌표계에 대한 모바일의 포즈 및 탑승자의 상태를 나타내는 데이터를 차량으로 전송하는 단계를 포함하는, 방법.
양태 79. 양태 78에 있어서, 탑승자의 상태는 차량을 동작시키는 것에 관한 탑승자의 손상을 포함하는, 방법.
양태 80. 양태 78 또는 양태 79에 있어서, 탑승자의 손상은 차량을 안전하게 동작시키는 탑승자의 능력에 부정적으로 영향을 미칠 임의의 이벤트, 활동, 주의산만, 상태, 속성, 거동, 및/또는 조건을 포함하는, 방법.
양태 81. 양태 78 내지 양태 80 중 어느 한 양태에 있어서, 손상은 차량의 동작 및 차량과 연관된 이벤트 중 적어도 하나와 관련되는 주의산만의 상태, 중독 상태, 건강 조건, 각성 상태, 검출된 감정 상태, 차량을 제어하기 위한 손상된 포지션, 및 손상된 뷰 중 적어도 하나를 포함하는, 방법.
양태 82. 양태 78 내지 양태 81 중 어느 한 양태에 있어서, 탑승자의 상태를 결정하는 단계는, 차량으로부터, 차량의 하나 이상의 센서들과 연관된 데이터를 수신하는 단계; 및 차량의 하나 이상의 센서들과 연관된 데이터 및 모바일 디바이스의 포즈에 기초하여 탑승자의 상태를 결정하는 단계를 포함하는, 방법.
양태 83. 양태 82에 있어서, 차량의 하나 이상의 센서들과 연관된 데이터는 차량의 상태 및 차량과 연관된 이벤트 중 적어도 하나를 나타내는, 방법.
양태 84. 양태 83에 있어서, 차량과 연관된 이벤트는 차량의 경로 또는 차량의 경로에 대한 임계 근접도 내의 객체의 존재, 차량의 경로와 연관된 교통 통제, 및 차량이 속도 제한 및 차선 표시 중 적어도 하나 내에서 유지되지 못하는 것 중 적어도 하나를 포함하는, 방법.
양태 85. 양태 84에 있어서, 차량의 경로 또는 차량의 경로에 대한 임계 근접도 내의 객체는 보행자, 동물, 및 다른 차량 중 적어도 하나를 포함하는, 방법.
양태 86. 양태 78 내지 양태 85 중 어느 한 양태에 있어서, 차량의 탑승자의 눈 시선을 결정하는 단계를 추가로 포함하고, 탑승자의 상태는 탑승자의 눈 시선을 포함하고, 탑승자는 모바일 디바이스와 연관되는, 방법.
양태 87. 양태 78 내지 양태 86 중 어느 한 양태에 있어서, 탑승자의 상태를 결정하는 단계는, 탑승자에 의해 착용된 웨어러블 디바이스 및 모바일 디바이스 중 적어도 하나와 연관된 하나 이상의 센서들로부터, 탑승자와 연관된 하나 이상의 건강 측정치들을 수신하는 단계; 및 하나 이상의 건강 측정치들에 기초하여 탑승자의 상태를 결정하는 단계를 포함하는, 방법.
양태 88. 양태 87에 있어서, 하나 이상의 건강 측정치들은 심박수, 혈압, 체온, 전기 피부 반응, 탑승자의 심장으로부터의 전기 신호의 측정치, 탑승자의 뇌의 전기 활동의 측정치, 눈 충혈의 양, 및 동공 크기 중 적어도 하나를 포함하는, 방법.
양태 89. 양태 78 내지 양태 87 중 어느 한 양태에 있어서, 탑승자의 상태를 결정하는 단계는, 탑승자의 눈 시선이 일정 기간 동안 차량 앞의 도로로부터 멀리 포커싱된다고 결정하는 단계; 및 탑승자의 눈 시선이 일정 기간 동안 차량 앞의 도로로부터 멀리 포커싱되는 것 및 그 기간이 임계 기간을 초과한다는 결정에 기초하여 탑승자의 손상된 상태를 결정하는 단계를 포함하는, 방법.
양태 90. 양태 89에 있어서, 탑승자의 눈 시선이 그 기간 동안 차량 앞의 도로로부터 멀리 포커싱된다고 결정하는 단계는, 탑승자의 눈 시선이 그 기간의 적어도 일부분 동안 모바일 디바이스에 의해 렌더링된 가상 콘텐츠에 포커싱된다고 결정하는 단계를 포함하는, 방법.
양태 91. 양태 89에 있어서, 탑승자의 눈 시선이 그 기간 동안 차량 앞의 도로로부터 멀리 포커싱된다고 결정하는 단계는, 탑승자의 눈 시선이 차량의 경로 또는 차량의 경로에 대한 임계 근접도 내의 장애물의 방향과는 상이한 방향으로 포커싱된다고 결정하는 단계를 포함하는, 방법.
양태 92. 양태 78 내지 양태 91 중 어느 한 양태에 있어서, 탑승자의 상태의 표시를 제2 차량, 차량 인프라구조 시스템, 제2 차량의 제2 탑승자와 연관된 제1 원격 디바이스, 및 보행자와 연관된 제2 원격 디바이스 중 적어도 하나로 전송하는 단계를 추가로 포함하는, 방법.
양태 93. 양태 78 내지 양태 92 중 어느 한 양태에 있어서, 탑승자의 상태를 결정하는 단계는, 모바일 디바이스를 착용한 탑승자의 눈 시선을 결정하는 단계; 및 모바일 디바이스의 포즈 및 탑승자의 눈 시선에 기초하여 탑승자의 상태를 결정하는 단계를 포함하는, 방법.
양태 94. 양태 78 내지 양태 93 중 어느 한 양태에 있어서, 모바일 디바이스의 포즈를 결정하는 단계는, 차량으로부터, 차량과 연관된 하나 이상의 마커들을 포함하는 차량 템플릿을 수신하는 단계; 및 하나 이상의 이미지들 및 차량 템플릿에 기초하여 차량의 좌표계에 대한 모바일 디바이스의 포즈를 결정하는 단계를 포함하는, 방법.
양태 95. 양태 94에 있어서, 하나 이상의 마커들은 차량의 내부 부분 내의 영역 및 차량의 내부 부분에 부착된 객체 중 적어도 하나에 대한 시각적 패턴, 차량의 내부 부분의 엘리먼트, 차량의 내부 부분 내의 표면, 및 차량 내부의 조명된 객체 중 적어도 하나를 포함하는, 방법.
양태 96. 양태 94에 있어서, 하나 이상의 이미지들은 하나 이상의 마커들을 묘사하고, 모바일 디바이스의 포즈를 결정하는 단계는, 하나 이상의 이미지들에서 하나 이상의 마커들을 검출하는 단계; 및 검출된 하나 이상의 마커들 및 차량 템플릿에 기초하여 차량의 좌표계에 대한 모바일 디바이스의 포즈를 결정하는 단계를 포함하는, 방법.
양태 97. 양태 78 내지 양태 96 중 어느 한 양태에 있어서, 모바일 디바이스의 하나 이상의 이미지 센서들을 사용하여, 차량의 내부 부분의 이미지들의 세트를 획득하는 단계 - 이미지들의 세트는 차량과 연관된 하나 이상의 시각적 랜드마크들을 묘사함 -; 및 이미지들의 세트에 기초하여, 하나 이상의 시각적 랜드마크들을 포함하는 차량 템플릿을 생성하는 단계를 추가로 포함하는, 방법.
양태 98. 양태 78 내지 양태 97 중 어느 한 양태에 있어서, 모바일 디바이스의 포즈를 결정하는 단계는, 모바일 디바이스와 연관된 관성 센서 데이터를 획득하는 단계; 및 하나 이상의 이미지들 및 관성 센서 데이터에 기초하여 모바일 디바이스의 포즈를 결정하는 단계를 포함하는, 방법.
양태 99. 양태 78 내지 양태 98 중 어느 한 양태에 있어서, 탑승자의 손상은 차량을 안전하게 동작시키는 탑승자의 능력에 부정적으로 영향을 미칠 임의의 이벤트, 활동, 주의산만, 상태, 속성, 거동, 및/또는 조건을 포함하는, 방법.
양태 100. 명령들이 저장된 비일시적 컴퓨터 판독가능 매체로서, 명령들은, 하나 이상의 프로세서들에 의해 실행될 때, 하나 이상의 프로세서들로 하여금, 양태 78 내지 양태 99 중 어느 한 양태에 따른 방법을 수행하게 하는, 비일시적 컴퓨터 판독가능 매체.
양태 101. 양태 78 내지 양태 99 중 어느 한 양태에 따른 방법을 수행하기 위한 수단을 포함하는 장치.
양태 102.
차량의 하나 이상의 동작들을 제어하기 위한 방법으로서, 차량의 탑승자와 연관된 모바일 디바이스로부터, 차량의 좌표계에 대한 탑승자의 포즈를 수신하는 단계; 및 차량의 좌표계에 대한 탑승자의 포즈에 기초하여, 차량의 하나 이상의 기능들을 제어하는 단계를 포함하는, 방법.
양태 103.
양태 102에 있어서, 차량의 하나 이상의 기능들을 제어하는 단계는 차량의 하나 이상의 차량 기능들에 참여하는 단계를 포함하는, 방법.
양태 104.
양태 103에 있어서, 하나 이상의 차량 기능들은 자동조종 기능, 트랙션 제어 기능, 크루즈 제어 기능, 충돌 회피 기능, 차선 이탈 기능, 차선 센터링 기능, 브레이크 보조 기능, 차선 유지 기능, 고속도로 보조 기능, 차선 변경 보조 기능, 속도 적응 기능, 및 교차로 보조 기능 중 적어도 하나를 포함하는, 방법.
양태 105.
양태 102 내지 양태 104 중 어느 한 양태에 있어서, 차량의 동작을 제어하는 단계는 차량의 하나 이상의 자율 차량 시스템들을 제어하거나 또는 그에 참여하는 단계를 포함하는, 방법.
양태 106.
양태 105에 있어서, 하나 이상의 자율 차량 시스템들은 사각지대 모니터링 시스템, 운전자 모니터링 시스템, 제동 시스템, 자율 주행 제어 시스템, 운전자 보조 시스템, 내비게이션 시스템, 조향 제어 시스템, 차량 통신 시스템, 및 자동차 헤드업 디스플레이 중 적어도 하나를 포함하는, 방법.
양태 107.
양태 102 내지 양태 106 중 어느 한 양태에 있어서, 차량의 하나 이상의 센서들과 연관된 데이터를 모바일 디바이스, 제2 차량, 차량 인프라구조 시스템, 제2 차량의 제2 탑승자와 연관된 제1 원격 디바이스, 및 보행자와 연관된 제2 원격 디바이스 중 적어도 하나로 전송하는 단계를 추가로 포함하는, 방법.
양태 108.
양태 102 내지 양태 107 중 어느 한 양태에 있어서, 탑승자의 상태를 나타내는 데이터를 제2 차량, 차량 인프라구조 시스템, 제2 차량의 제2 탑승자와 연관된 제1 원격 디바이스, 및 보행자와 연관된 제2 원격 디바이스 중 적어도 하나로 전송하는 단계를 추가로 포함하는, 방법.
양태 109.
양태 102 내지 양태 108 중 어느 한 양태에 있어서, 차량의 좌표계에 대한 탑승자의 포즈를 결정하기 위한 차량 템플릿을 모바일 디바이스로 전송하는 단계를 추가로 포함하고, 차량 템플릿은 차량과 연관된 하나 이상의 마커들을 포함하는, 방법.
양태 110.
양태 109에 있어서, 하나 이상의 마커들은 차량의 내부 부분 내의 영역 및 차량의 내부 부분에 부착된 객체 중 적어도 하나에 대한 시각적 패턴, 차량의 내부 부분의 엘리먼트, 차량의 내부 부분 내의 표면, 및 차량 내부의 조명된 객체 중 적어도 하나를 포함하는, 방법.
양태 111.
양태 109에 있어서, 차량의 좌표계에 대한 탑승자의 포즈에 적어도 부분적으로 기초하여 출력을 생성하는 단계를 추가로 포함하고, 출력은 모바일 디바이스에 대한 통신, 차량의 하나 이상의 기능들을 수정하기 위한 명령, 및 탑승자의 상태의 표시 중 적어도 하나를 포함하는, 방법.
양태 112.
양태 111에 있어서, 모바일 디바이스에 대한 통신은 가상 콘텐츠 항목 및 가상 콘텐츠 항목을 디스플레이하라는 요청 중 적어도 하나를 포함하는, 방법.
양태 113.
양태 102 내지 양태 112 중 어느 한 양태에 있어서, 모바일 디바이스로부터, 차량의 탑승자의 상태를 나타내는 데이터를 수신하는 단계를 추가로 포함하고, 데이터는 모바일 디바이스의 하나 이상의 센서들로부터의 센서 데이터 및 모바일 디바이스의 하나 이상의 센서들로부터의 센서 데이터에 기초하여 생성된 프로세싱된 데이터 중 적어도 하나를 포함하는, 방법.
양태 114.
양태 113에 있어서, 프로세싱된 데이터는 탑승자의 상태의 설명 및 탑승자의 상태를 식별하는 분류 출력 중 적어도 하나를 포함하는, 방법.
양태 115.
양태 102 내지 양태 114 중 어느 한 양태에 있어서, 모바일 디바이스로부터, 차량의 탑승자의 상태를 나타내는 데이터를 수신하는 단계를 추가로 포함하고, 데이터는 탑승자의 눈 시선의 표시, 차량의 좌표계에 대한 모바일 디바이스의 포즈, 및 탑승자와 연관된 하나 이상의 건강 측정치들 중 적어도 하나를 포함하는, 방법.
양태 116.
양태 115에 있어서, 하나 이상의 건강 측정치들은 심박수, 혈압, 체온, 전기 피부 반응, 탑승자의 심장으로부터의 전기 신호의 측정치, 탑승자의 뇌의 전기 활동의 측정치, 눈 충혈의 양, 및 동공 크기 중 적어도 하나를 포함하는, 방법.
양태 117.
양태 102 내지 양태 116 중 어느 한 양태에 있어서, 차량의 하나 이상의 센서들로부터, 차량의 동작에 관련된 이벤트의 표시, 탑승자에 의해 적어도 부분적으로 제어되는 차량의 하나 이상의 동작들 동안의 하나 이상의 운전 패턴들의 표시, 및 차량 계측 데이터 중 적어도 하나를 포함하는 센서 데이터를 획득하는 단계, 및 센서 데이터에 추가로 기초하여 차량의 하나 이상의 기능들을 제어하는 단계를 추가로 포함하는, 방법.
양태 118.
양태 117에 있어서, 탑승자의 상태를 결정하는 단계를 추가로 포함하고, 탑승자의 상태를 결정하는 단계는, 모바일 디바이스 및 웨어러블 디바이스 중 적어도 하나와 연관된 하나 이상의 건강 센서들로부터, 탑승자와 연관된 하나 이상의 건강 측정치들을 수신하는 단계; 및 탑승자와 연관된 하나 이상의 건강 측정치들에 기초하여 탑승자의 상태를 결정하는 단계를 포함하는, 방법.
양태 119.
양태 102 내지 양태 118 중 어느 한 양태에 있어서, 탑승자의 상태를 획득하는 단계를 추가로 포함하고, 탑승자의 상태는 차량을 동작시키는 것에 관한 탑승자의 손상을 포함하는, 방법.
양태 120.
양태 119에 있어서, 탑승자의 손상은 탑승자의 손상을 포함하는, 방법. 일부 예들에서, 탑승자의 손상은 일시적 손상을 포함할 수 있다.
양태 121.
양태 119에 있어서, 손상은 차량의 동작 및 차량과 연관된 이벤트 중 적어도 하나와 관련되는 주의산만의 상태, 중독 상태, 건강 조건, 각성 상태, 검출된 감정 상태, 차량을 제어하기 위한 손상된 포지션, 및 손상된 뷰 중 적어도 하나를 포함하는, 방법.
양태 122.
양태 121에 있어서, 이벤트는 차량의 경로 또는 차량의 경로에 대한 임계 근접도 내의 객체의 존재, 차량의 경로와 연관된 교통 통제, 및 차량이 속도 제한 및 차선 표시 중 적어도 하나 내에서 유지되지 못하는 것 중 적어도 하나를 포함하는, 방법.
양태 123.
양태 122에 있어서, 객체는 보행자, 동물, 및 다른 차량 중 적어도 하나를 포함하는, 방법.
양태 124.
양태 102 내지 양태 123 중 어느 한 양태에 있어서, 차량의 내부 부분의 하나 이상의 이미지들을 획득하는 단계 - 하나 이상의 이미지들은 차량과 연관된 하나 이상의 시각적 랜드마크들을 묘사함 -; 및 하나 이상의 이미지들에 기초하여 차량 템플릿을 생성하는 단계 - 차량 템플릿은 하나 이상의 시각적 랜드마크들을 설명함 - 를 추가로 포함하는, 방법.
양태 125.
양태 124에 있어서, 차량 템플릿을 모바일 디바이스로 전송하는 단계; 및 모바일 디바이스로부터, 차량 템플릿에 정의된 하나 이상의 좌표들에 대한 탑승자의 포즈를 수신하는 단계를 추가로 포함하고, 하나 이상의 좌표들은 하나 이상의 시각적 랜드마크들에 대한 것이고 차량의 좌표계에 대응하는, 방법.
양태 126.
양태 125에 있어서, 모바일 디바이스로부터, 탑승자의 상태를 나타내는 데이터를 수신하는 단계를 추가로 포함하고, 차량의 하나 이상의 기능들을 제어하는 단계는 탑승자의 포즈 및 탑승자의 상태를 나타내는 데이터에 기초하여 차량의 하나 이상의 기능들을 제어하는 단계를 포함하는, 방법.
양태 127.
양태 126에 있어서, 차량의 좌표계에 대한 탑승자의 포즈에 적어도 부분적으로 기초하여 출력을 생성하는 단계를 추가로 포함하고, 출력은 차량의 하나 이상의 기능들을 수정하기 위한 명령 및 탑승자의 업데이트된 상태 중 적어도 하나를 포함하는, 방법.
양태 128.
양태 102 내지 양태 128 중 어느 한 양태에 있어서, 차량의 하나 이상의 기능들은 차량의 하나 이상의 기능들 및 차량의 하나 이상의 자율 차량 시스템들 중 적어도 하나를 제어하도록 구성된 차량의 컴퓨터 시스템을 통해 제어되는, 방법.
양태 129.
양태 102 내지 양태 128 중 어느 한 양태에 있어서, 모바일 디바이스는 웨어러블 증강 현실 디바이스를 포함하는, 방법.
양태 130.
양태 102 내지 양태 129 중 어느 한 양태에 있어서, 모바일 디바이스는 헤드 마운트 디스플레이를 포함하는, 방법.
양태 131.
양태 119 내지 양태 121 중 어느 한 양태에 있어서, 탑승자의 손상은 차량을 안전하게 동작시키는 탑승자의 능력에 부정적으로 영향을 미칠 임의의 이벤트, 활동, 주의산만, 상태, 속성, 거동, 및/또는 조건을 포함하는, 방법.
양태 132.
메모리 및 메모리에 커플링된 하나 이상의 프로세서들을 포함하는 장치로서, 하나 이상의 프로세서들은 양태 102 내지 양태 131 중 어느 한 양태에 따른 방법을 수행하도록 구성되는, 장치.
양태 133.
양태 102 내지 양태 131 중 어느 한 양태에 따른 방법을 수행하기 위한 수단을 포함하는 장치.
양태 134.
명령들이 저장된 비일시적 컴퓨터 판독가능 매체로서, 명령들은, 하나 이상의 프로세서들에 의해 실행될 때, 하나 이상의 프로세서들로 하여금, 양태 102 내지 양태 131 중 어느 한 양태에 따른 방법을 수행하게 하는, 비일시적 컴퓨터 판독가능 매체.
양태 135.
차량의 탑승자와 연관된 디바이스에 차량 데이터를 제공하기 위한 방법으로서, 차량의 컴퓨터 시스템과 연결된 증강 현실(AR) 디바이스로부터 요청을 수신하는 단계; 및 요청에 응답하여, 차량의 하나 이상의 센서들과 연관된 데이터를 AR 디바이스로 전송하는 단계를 포함하는, 방법.
양태 136.
양태 135에 있어서, 데이터는 차량의 상황을 나타내는 차량 데이터를 포함하고, 차량의 상황은 차량의 상태 및 차량에 의해 직면하거나 또는 차량의 하나 이상의 동작들 동안 발생할 것으로 결정된 하나 이상의 이벤트들 중 적어도 하나를 포함하는, 방법.
양태 137.
양태 136에 있어서, 하나 이상의 이벤트들은 차량의 경로 또는 차량의 경로에 대한 임계 근접도 내의 객체의 존재, 차량의 경로와 연관된 교통 통제, 및 차량이 속도 제한 및 차선 표시 중 적어도 하나 내에서 유지되지 못하는 것 중 적어도 하나를 포함하는, 방법.
양태 138.
양태 137에 있어서, 차량의 경로 또는 차량의 경로에 대한 임계 근접도 내의 객체는 보행자, 동물, 및 다른 차량 중 적어도 하나를 포함하는, 방법.
양태 139.
양태 136에 있어서, 하나 이상의 이벤트들의 각자의 위치 및 차량의 좌표계에 대한 AR 디바이스의 포즈 중 적어도 하나에 대한 위치에서 제시하기 위한 디스플레이 데이터를 AR 디바이스로 전송하는 단계를 추가로 포함하고, 디스플레이 데이터는 차량 데이터의 적어도 일부분을 포함하는, 방법.
양태 140.
양태 139에 있어서, 하나 이상의 이벤트들의 각자의 위치의 표시를 AR 디바이스로 전송하는 단계를 추가로 포함하는, 방법.
양태 141.
양태 135 내지 양태 140 중 어느 한 양태에 있어서, 차량의 좌표계에 대한 AR 디바이스의 포즈를 결정하기 위한 차량 템플릿을 AR 디바이스로 전송하는 단계를 추가로 포함하고, 차량 템플릿은 차량의 내부 부분 내의 하나 이상의 마커들을 설명하는, 방법.
양태 142.
양태 141에 있어서, 하나 이상의 마커들은 차량의 내부 부분 내의 영역 및 차량의 내부 부분에 부착된 객체 중 적어도 하나에 대한 시각적 패턴, 차량의 내부 부분의 엘리먼트, 차량의 내부 부분 내의 표면, 및 차량 내부의 조명된 객체 중 적어도 하나를 포함하는, 방법.
양태 143.
양태 141에 있어서, AR 디바이스로부터, 차량의 좌표계에 대한 AR 디바이스의 포즈를 수신하는 단계를 추가로 포함하는, 방법.
양태 144.
양태 143에 있어서, 하나 이상의 센서들과 연관된 데이터 및 차량의 좌표계에 대한 AR 디바이스의 포즈 중 적어도 하나에 기초하여, 차량과 연관된 가상 콘텐츠의 컴퓨터 시스템에 의한 제시를 제어하는 단계를 추가로 포함하는, 방법.
양태 145.
양태 144에 있어서, 가상 콘텐츠의 제시를 제어하는 단계는, 차량의 좌표계에 대한 AR 디바이스의 포즈에 기초하여, 차량의 하나 이상의 이미지 센서들로부터의 라이브 콘텐츠 피드를 AR 디바이스에 제공하는 단계를 포함하는, 방법.
양태 146.
양태 145에 있어서, 라이브 콘텐츠 피드를 제공하는 단계는, 차량의 좌표계에 대한 AR 디바이스의 포즈 및 차량 이벤트에 대한 차량의 포지션에 기초하여 차량 이벤트에 대한 AR 디바이스의 포즈를 결정하는 단계; 및 차량 이벤트에 대한 AR 디바이스의 포즈에 기초하여, 컴퓨터 시스템 및 AR 디바이스 중 적어도 하나와 연관된 가상 콘텐츠가 AR 디바이스의 시야에서 차량 이벤트를 적어도 부분적으로 가린다고 결정하는 단계를 포함하는, 방법.
양태 147.
양태 144에 있어서, 가상 콘텐츠의 제시를 제어하는 단계는, 컴퓨터 시스템에 의해 렌더링된 가상 콘텐츠 항목의 위치를 차량의 좌표계에 대한 차량 이벤트의 위치와 연관시키는 단계; 및 차량의 좌표계에 대한 차량 이벤트의 위치와 가상 콘텐츠의 위치의 연관성에 기초하여 가상 콘텐츠 항목을 필터링하거나 또는 수정하는 단계를 포함하는, 방법.
양태 148.
양태 147에 있어서, 가상 콘텐츠 항목을 필터링하거나 또는 수정하는 단계는, 가상 콘텐츠 항목의 하나 이상의 특성들을 수정하는 단계를 포함하고, 하나 이상의 특성들은 가상 콘텐츠 항목의 투명도, 크기, 위치, 및 밝기 레벨 중 적어도 하나를 포함하는, 방법.
양태 149.
양태 147에 있어서, 가상 콘텐츠 항목을 필터링하거나 또는 수정하는 단계는, 차량의 탑승자의 눈 시선을 수신하는 단계; 탑승자의 눈 시선 및 차량 이벤트의 위치에 기초하여 탑승자에 대한 차량 이벤트의 가시성을 결정하는 단계; 및 탑승자에 대한 차량 이벤트의 가시성에 추가로 기초하여, 가상 콘텐츠 항목을 필터링하거나 또는 수정하는 단계를 포함하는, 방법.
양태 150.
양태 144에 있어서, 가상 콘텐츠의 제시를 제어하는 단계는, 차량의 탑승자의 눈 시선을 수신하는 단계; 및 차량의 탑승자의 눈 시선의 방향 내에서 가상 콘텐츠를 렌더링하는 단계를 포함하는, 방법.
양태 151.
양태 150에 있어서, 가상 콘텐츠를 렌더링하는 단계는, 차량 이벤트, 차량 이벤트의 위치, 및 차량 이벤트의 방향 중 적어도 하나의 가상 표시자를 포함하는 가상 콘텐츠 오버레이를 렌더링하는 단계를 포함하는, 방법.
양태 152.
양태 151에 있어서, 가상 콘텐츠를 렌더링하는 단계는, 가상 콘텐츠의 하나 이상의 특성들을 수정하는 단계를 포함하고, 하나 이상의 특성들은 가상 콘텐츠의 투명도, 크기, 위치, 및 밝기 레벨 중 적어도 하나를 포함하는, 방법.
양태 153.
양태 135 내지 양태 152 중 어느 한 양태에 있어서, 차량의 동작에 관한 정보를 제공하는 가상 콘텐츠 항목을 디스플레이하기 위한 명령을 하나 이상의 디스플레이 디바이스들로 전송하는 단계를 추가로 포함하고, 명령은 탑승자의 시야 내에 있는 차량 내의 위치에 대한 가상 콘텐츠 항목의 배치를 나타내는, 방법.
양태 154.
양태 153에 있어서, 가상 콘텐츠 항목은 컴퓨터 시스템에 의해 검출된 차량 이벤트의 제1 표시, 차량의 상황의 제2 표시, 및 차량의 상황과 연관된 경보 중 적어도 하나를 포함하는, 방법.
양태 155.
양태 135 내지 양태 154 중 어느 한 양태에 있어서, 차량 상의 카메라 디바이스로부터 카메라 피드를 수신하는 단계; 및 디스플레이를 위한 카메라 피드의 적어도 일부분을 AR 디바이스로 전송하는 단계를 추가로 포함하는, 방법.
양태 156.
양태 135 내지 양태 155 중 어느 한 양태에 있어서, 탑승자의 상태의 표시를 AR 디바이스로 전송하는 단계를 추가로 포함하는, 방법.
양태 157.
양태 156에 있어서, 탑승자의 상태는 차량을 동작시키는 것에 관한 탑승자의 손상을 포함하는, 방법.
양태 158.
양태 157에 있어서, 손상은 차량의 동작 및 차량과 연관된 이벤트 중 적어도 하나와 관련되는 주의산만의 상태, 중독 상태, 건강 조건, 각성 상태, 검출된 감정 상태, 차량을 제어하기 위한 손상된 포지션, 및 손상된 뷰 중 적어도 하나를 포함하는, 방법.
양태 159.
양태 157에 있어서, 탑승자의 손상에 기초하여 차량의 동작을 제어하는 단계를 추가로 포함하는, 방법.
양태 160.
양태 157에 있어서, 탑승자의 손상에 기초하여 디스플레이 데이터를 생성하는 단계를 추가로 포함하고, 디스플레이 데이터는 차량 이벤트 및 차량 계측 데이터 중 적어도 하나를 포함하는, 방법.
양태 161.
양태 157에 있어서, 탑승자의 손상에 기초하여 디스플레이 데이터를 AR 디바이스로 전송하는 단계를 추가로 포함하고, 디스플레이 데이터는 차량 이벤트 및 차량 계측 데이터 중 적어도 하나를 포함하는, 방법.
양태 162.
양태 135 내지 양태 161 중 어느 한 양태에 있어서, 컴퓨터 시스템은 차량의 하나 이상의 자율 기능들 및 차량의 하나 이상의 자율 차량 시스템들 중 적어도 하나를 제어하도록 구성되는, 방법.
양태 163.
양태 135 내지 양태 162 중 어느 한 양태에 있어서, AR 디바이스는 헤드 마운트 디스플레이를 포함하는, 방법.
양태 164.
양태 135 내지 양태 163 중 어느 한 양태에 있어서, AR 디바이스는 웨어러블 AR 디바이스를 포함하는, 방법.
양태 165.
양태 157 또는 양태 158에 있어서, 탑승자의 손상은 차량을 안전하게 동작시키는 탑승자의 능력에 부정적으로 영향을 미칠 임의의 이벤트, 활동, 주의산만, 상태, 속성, 거동, 및/또는 조건을 포함하는, 방법.
양태 166.
메모리 및 메모리에 커플링된 하나 이상의 프로세서들을 포함하는 장치로서, 하나 이상의 프로세서들은 양태 135 내지 양태 165 중 어느 한 양태에 따른 방법을 수행하도록 구성되는, 장치.
양태 167.
양태 135 내지 양태 165 중 어느 한 양태에 따른 방법을 수행하기 위한 수단을 포함하는 장치.
양태 168.
명령들이 저장된 비일시적 컴퓨터 판독가능 매체로서, 명령들은, 하나 이상의 프로세서들에 의해 실행될 때, 하나 이상의 프로세서들로 하여금, 양태 135 내지 양태 165 중 어느 한 양태에 따른 방법을 수행하게 하는, 비일시적 컴퓨터 판독가능 매체.
양태 169.
방법으로서, 차량의 내부 부분의 하나 이상의 이미지들에 기초하여, 차량의 좌표계에 대한 모바일 디바이스의 포즈를 결정하는 단계를 포함하는, 방법. 본 방법은, 차량으로부터, 차량의 하나 이상의 센서들과 연관된 데이터를 수신하는 단계; 및 장치의 디스플레이 디바이스를 사용하여, 하나 이상의 센서들과 연관된 데이터 및 차량의 좌표계에 대한 장치의 포지션에 기초하여 가상 콘텐츠를 디스플레이하는 단계를 추가로 포함할 수 있다. 추가적으로 또는 대안적으로, 본 방법은, 차량의 탑승자의 상태를 결정하는 단계; 및 차량의 좌표계에 대한 모바일 디바이스의 포지션 및 탑승자의 상태를 나타내는 데이터를 차량으로 전송하는 단계를 추가로 포함할 수 있다.
양태 170.
양태 169에 있어서, 양태 28 내지 양태 52 및/또는 양태 78 내지 양태 99 중 어느 한 양태에 따른 방법을 추가로 포함하는, 방법.
양태 171.
메모리 및 메모리에 커플링된 하나 이상의 프로세서들을 포함하는 장치로서, 하나 이상의 프로세서들은 양태 169 또는 양태 170에 따른 방법을 수행하도록 구성되는, 장치.
양태 172. 양태 169 또는 양태 170에 따른 방법을 수행하기 위한 수단을 포함하는 장치.
양태 173.
명령들이 저장된 비일시적 컴퓨터 판독가능 매체로서, 명령들은, 하나 이상의 프로세서들에 의해 실행될 때, 하나 이상의 프로세서들로 하여금, 양태 169 또는 양태 170에 따른 방법을 수행하게 하는, 비일시적 컴퓨터 판독가능 매체.
양태 174.
방법으로서, 차량의 내부 부분의 하나 이상의 이미지들에 기초하여, 차량의 좌표계에 대한 모바일 디바이스의 포즈를 결정하는 단계를 포함하는, 방법. 본 방법은, 차량의 탑승자의 상태를 결정하는 단계; 및 차량의 좌표계에 대한 모바일 디바이스의 포지션 및 탑승자의 상태를 나타내는 데이터를 차량으로 전송하는 단계를 추가로 포함할 수 있다. 추가적으로 또는 대안적으로, 본 방법은, 차량으로부터, 차량의 하나 이상의 센서들과 연관된 데이터를 수신하는 단계; 및 장치의 디스플레이 디바이스를 사용하여, 하나 이상의 센서들과 연관된 데이터 및 차량의 좌표계에 대한 장치의 포지션에 기초하여 가상 콘텐츠를 디스플레이하는 단계를 추가로 포함할 수 있다.
양태 175.
양태 174에 있어서, 양태 28 내지 양태 52 및/또는 양태 78 내지 양태 99 중 어느 한 양태에 따른 방법을 추가로 포함하는, 방법.
양태 176.
메모리 및 메모리에 커플링된 하나 이상의 프로세서들을 포함하는 장치로서, 하나 이상의 프로세서들은 양태 174 또는 양태 175에 따른 방법을 수행하도록 구성되는, 장치.
양태 177. 양태 174 또는 양태 175에 따른 방법을 수행하기 위한 수단을 포함하는 장치.
양태 180. 명령들이 저장된 비일시적 컴퓨터 판독가능 매체로서, 명령들은, 하나 이상의 프로세서들에 의해 실행될 때, 하나 이상의 프로세서들로 하여금, 양태 174 또는 양태 175에 따른 방법을 수행하게 하는, 비일시적 컴퓨터 판독가능 매체.
양태 181. 방법으로서, 차량의 탑승자와 연관된 모바일 디바이스로부터, 차량의 좌표계에 대한 탑승자의 포즈를 수신하는 단계; 및 차량의 좌표계에 대한 탑승자의 포즈에 기초하여, 차량의 하나 이상의 기능들을 제어하는 단계를 포함하는, 방법. 추가적으로 또는 대안적으로, 본 방법은, 차량의 컴퓨터 시스템과 연결된 증강 현실(AR) 디바이스로부터, 요청을 수신하는 단계; 및 요청에 응답하여, 차량의 하나 이상의 센서들과 연관된 데이터를 AR 디바이스로 전송하는 단계를 추가로 포함할 수 있다.
양태 182.
양태 181에 있어서, 양태 102 내지 양태 131 및/또는 양태 135 내지 양태 165 중 어느 한 양태에 따른 방법을 추가로 포함하는, 방법.
양태 183.
메모리 및 메모리에 커플링된 하나 이상의 프로세서들을 포함하는 장치로서, 하나 이상의 프로세서들은 양태 181 또는 양태 182에 따른 방법을 수행하도록 구성되는, 장치.
양태 184. 양태 181 또는 양태 182에 따른 방법을 수행하기 위한 수단을 포함하는 장치.
양태 185. 명령들이 저장된 비일시적 컴퓨터 판독가능 매체로서, 명령들은, 하나 이상의 프로세서들에 의해 실행될 때, 하나 이상의 프로세서들로 하여금, 양태 181 또는 양태 182에 따른 방법을 수행하게 하는, 비일시적 컴퓨터 판독가능 매체.
양태 186. 방법으로서, 차량의 컴퓨터 시스템과 연결된 증강 현실(AR) 디바이스로부터, 요청을 수신하는 단계; 및 요청에 응답하여, 차량의 하나 이상의 센서들과 연관된 데이터를 AR 디바이스로 전송하는 단계를 포함하는, 방법. 추가적으로 또는 대안적으로, 본 방법은, 차량의 탑승자와 연관된 모바일 디바이스로부터, 차량의 좌표계에 대한 탑승자의 포즈를 수신하는 단계; 및 차량의 좌표계에 대한 탑승자의 포즈에 기초하여, 차량의 하나 이상의 기능들을 제어하는 단계를 추가로 포함할 수 있다.
양태 187.
양태 186에 있어서, 양태 102 내지 양태 131 및/또는 양태 135 내지 양태 165 중 어느 한 양태에 따른 방법을 추가로 포함하는, 방법.
양태 183.
메모리 및 메모리에 커플링된 하나 이상의 프로세서들을 포함하는 장치로서, 하나 이상의 프로세서들은 양태 186 또는 양태 187에 따른 방법을 수행하도록 구성되는, 장치.
양태 184. 양태 186 또는 양태 187에 따른 방법을 수행하기 위한 수단을 포함하는 장치.
양태 185. 명령들이 저장된 비일시적 컴퓨터 판독가능 매체로서, 명령들은, 하나 이상의 프로세서들에 의해 실행될 때, 하나 이상의 프로세서들로 하여금, 양태 186 또는 양태 187에 따른 방법을 수행하게 하는, 비일시적 컴퓨터 판독가능 매체.
Claims (46)
- 장치로서,
메모리; 및
상기 메모리에 커플링된 하나 이상의 프로세서들을 포함하고, 상기 하나 이상의 프로세서들은,
차량의 내부 부분의 하나 이상의 이미지들에 기초하여, 상기 차량의 좌표계에 대한 상기 장치의 포즈를 결정하도록;
상기 차량으로부터, 상기 차량의 하나 이상의 센서들과 연관된 데이터를 수신하도록; 그리고
상기 장치의 디스플레이 디바이스를 사용하여, 상기 하나 이상의 센서들과 연관된 상기 데이터 및 상기 차량의 좌표계에 대한 상기 장치의 포즈에 기초하여 가상 콘텐츠를 디스플레이하도록 구성되는, 장치. - 제1항에 있어서, 상기 하나 이상의 프로세서들은 상기 하나 이상의 센서들과 연관된 상기 데이터에 기초하여 상기 차량의 상황을 결정하도록 구성되고, 상기 상황은 상기 차량에 관련된 이벤트를 포함하는, 장치.
- 제2항에 있어서, 상기 하나 이상의 프로세서들은,
상기 장치의 좌표계에 대한 상기 가상 콘텐츠의 위치를 상기 차량의 좌표계에 대한 상기 이벤트의 위치와 연관시키도록; 그리고
상기 차량의 좌표계에 대한 상기 이벤트의 위치와 상기 장치의 좌표계에 대한 상기 가상 콘텐츠의 위치의 연관성에 기초하여, 상기 장치의 하나 이상의 시각적 이미지 센서들로부터의 라이브 콘텐츠 피드를 디스플레이하도록 구성되는, 장치. - 제3항에 있어서, 상기 라이브 콘텐츠 피드를 디스플레이하기 위해, 상기 하나 이상의 프로세서들은,
상기 차량의 좌표계에 대한 상기 장치의 포즈 및 상기 이벤트에 대한 상기 차량의 포즈에 기초하여, 상기 이벤트에 대한 상기 장치의 포즈를 결정하도록; 그리고
상기 이벤트에 대한 상기 장치의 포즈, 및 상기 차량의 좌표계에 대한 상기 이벤트의 위치와 상기 장치의 좌표계에 대한 상기 가상 콘텐츠의 위치의 연관성에 기초하여, 상기 가상 콘텐츠가 상기 차량의 탑승자의 시야에서 상기 이벤트를 적어도 부분적으로 가린다고 결정하도록 구성되는, 장치. - 제2항에 있어서, 상기 하나 이상의 프로세서들은,
상기 장치의 좌표계에 대한 가상 콘텐츠 항목의 위치를 상기 차량의 좌표계에 대한 상기 이벤트의 위치와 연관시키도록; 그리고
상기 차량의 좌표계에 대한 상기 이벤트의 위치와 상기 장치의 좌표계에 대한 상기 가상 콘텐츠의 위치의 연관성에 기초하여, 상기 가상 콘텐츠 항목을 필터링하거나 또는 수정하도록 구성되는, 장치. - 제5항에 있어서, 상기 가상 콘텐츠 항목을 필터링하거나 또는 수정하기 위해, 상기 하나 이상의 프로세서들은,
상기 가상 콘텐츠 항목의 하나 이상의 특성들을 수정하도록 구성되고, 상기 하나 이상의 특성들은 상기 가상 콘텐츠 항목의 투명도, 크기, 위치, 및 상기 가상 콘텐츠 항목의 밝기 레벨 중 적어도 하나를 포함하는, 장치. - 제5항에 있어서, 상기 가상 콘텐츠 항목을 필터링하거나 또는 수정하기 위해, 상기 하나 이상의 프로세서들은,
상기 차량의 탑승자의 눈 시선(eye gaze)을 결정하도록 - 상기 탑승자는 상기 장치와 연관됨 -;
상기 탑승자의 눈 시선 및 상기 이벤트의 위치에 기초하여, 상기 탑승자에 대한 상기 이벤트의 가시성을 결정하도록; 그리고
상기 탑승자에 대한 상기 이벤트의 가시성에 추가로 기초하여, 상기 가상 콘텐츠 항목을 필터링하거나 또는 수정하도록 구성되는, 장치. - 제2항에 있어서, 상기 이벤트는 상기 차량의 경로 또는 상기 차량의 경로에 대한 임계 근접도 내의 객체의 존재, 상기 차량의 경로와 연관된 교통 통제, 및 상기 차량이 속도 제한 및 차선 표시(lane marking) 중 적어도 하나 내에서 유지되지 못하는 것 중 적어도 하나를 포함하는, 장치.
- 제8항에 있어서, 상기 차량의 경로 또는 상기 차량의 경로에 대한 상기 임계 근접도 내의 상기 객체는 보행자, 동물, 및 다른 차량 중 적어도 하나를 포함하는, 장치.
- 제2항에 있어서, 상기 하나 이상의 프로세서들은,
상기 차량의 탑승자의 눈 시선을 결정하도록 - 상기 탑승자는 상기 장치와 연관됨 -; 그리고
상기 차량의 상기 탑승자의 눈 시선의 방향 내에서 가상 콘텐츠를 렌더링하도록 구성되는, 장치. - 제10항에 있어서, 상기 탑승자의 눈 시선의 방향 내에 상기 가상 콘텐츠를 렌더링하기 위해, 상기 하나 이상의 프로세서들은,
상기 이벤트, 상기 이벤트의 위치, 및 상기 이벤트의 방향 중 적어도 하나의 가상 표시자를 포함하는 가상 콘텐츠 오버레이를 렌더링하도록 구성되는, 장치. - 제10항에 있어서, 상기 탑승자의 눈 시선의 방향 내에서 상기 가상 콘텐츠를 렌더링하기 위해, 상기 하나 이상의 프로세서들은,
상기 가상 콘텐츠의 하나 이상의 특성들을 수정하도록 구성되고, 상기 하나 이상의 특성들은 상기 가상 콘텐츠의 투명도, 크기, 위치, 및 밝기 레벨 중 적어도 하나를 포함하는, 장치. - 제1항에 있어서, 상기 하나 이상의 프로세서들은,
상기 차량의 상황 및 상기 장치의 포즈에 기초하여, 상기 가상 콘텐츠의 적어도 일부분을 필터링하도록 구성되는, 장치. - 제13항에 있어서, 상기 가상 콘텐츠의 적어도 일부분을 필터링하기 위해, 상기 하나 이상의 프로세서들은 상기 가상 콘텐츠의 서브세트의 제시를 가능하게 하도록 구성되고, 상기 가상 콘텐츠의 서브세트는 상기 차량의 스테이터스의 표시 및 차량 계측 정보 중 적어도 하나를 포함하는, 장치.
- 제1항에 있어서, 상기 가상 콘텐츠를 디스플레이하기 위해, 상기 하나 이상의 프로세서들은 상기 차량과 연관된 가상 콘텐츠 항목을 렌더링하도록 구성되고, 상기 가상 콘텐츠 항목은 상기 차량의 표면에 대해 렌더링되는, 장치.
- 제15항에 있어서, 상기 렌더링된 가상 콘텐츠 항목은 상기 하나 이상의 센서들과 연관된 상기 데이터에서 식별된 이벤트의 제1 표시, 상기 차량의 상황의 제2 표시, 및 상기 차량의 상황과 연관된 경보 중 적어도 하나를 포함하는, 장치.
- 제15항에 있어서, 가상 콘텐츠 항목을 렌더링하기 위해, 상기 하나 이상의 프로세서들은,
상기 차량의 카메라 디바이스로부터 카메라 피드를 수신하도록; 그리고
상기 장치의 디스플레이 영역 내에 상기 카메라 피드의 적어도 일부분을 디스플레이하도록 구성되는, 장치. - 제1항에 있어서, 상기 장치의 포즈를 결정하기 위해, 상기 하나 이상의 프로세서들은,
하나 이상의 라디오 주파수(radio frequency, RF) 신호들을 획득하도록; 그리고
상기 하나 이상의 이미지들, 및 상기 하나 이상의 RF 신호들과 연관된 왕복 시간, 상기 하나 이상의 RF 신호들과 연관된 도착 시간, 및 상기 하나 이상의 RF 신호들과 연관된 수신 신호 강도 표시자(received signal strength indicator, RSSI) 중 적어도 하나에 기초하여 상기 장치의 포즈를 결정하도록 구성되는, 장치. - 제1항에 있어서, 상기 장치의 포즈를 결정하기 위해, 상기 하나 이상의 프로세서들은,
상기 차량으로부터, 상기 차량과 연관된 하나 이상의 마커들을 포함하는 차량 템플릿을 수신하도록; 그리고
상기 하나 이상의 이미지들 및 상기 차량 템플릿에 기초하여 상기 차량의 좌표계에 대한 상기 장치의 포즈를 결정하도록 구성되는, 장치. - 제19항에 있어서, 상기 하나 이상의 마커들은 상기 차량의 내부 부분 내의 영역 및 상기 차량의 내부 부분에 부착된 객체 중 적어도 하나에 대한 시각적 패턴, 상기 차량의 내부 부분의 엘리먼트, 상기 차량의 내부 부분 내의 표면, 및 상기 차량 내부의 조명된 객체 중 적어도 하나를 포함하는, 장치.
- 제19항에 있어서, 상기 장치의 포즈를 결정하기 위해, 상기 하나 이상의 프로세서들은,
상기 하나 이상의 이미지들에서 상기 하나 이상의 마커들을 검출하도록; 그리고
상기 검출된 하나 이상의 마커들 및 상기 차량 템플릿에 기초하여 상기 차량의 좌표계에 대한 상기 장치의 포즈를 결정하도록 구성되는, 장치. - 제1항에 있어서, 상기 하나 이상의 프로세서들은,
상기 장치의 하나 이상의 이미지 센서들을 사용하여, 상기 차량의 내부 부분의 이미지들의 세트를 획득하도록 - 상기 이미지들의 세트는 상기 차량과 연관된 하나 이상의 마커들을 묘사함 -; 그리고
상기 이미지들의 세트에 기초하여, 상기 하나 이상의 마커들을 포함하는 차량 템플릿을 생성하도록 구성되는, 장치. - 제1항에 있어서, 상기 장치는 헤드 마운트 디스플레이(head-mounted display)를 포함하는, 장치.
- 제1항에 있어서, 하나 이상의 이미지 센서들을 추가로 포함하는, 장치.
- 방법으로서,
차량의 내부 부분의 하나 이상의 이미지들에 기초하여, 상기 차량의 좌표계에 대한 모바일 디바이스의 포즈를 결정하는 단계;
상기 차량으로부터, 상기 차량의 하나 이상의 센서들과 연관된 데이터를 수신하는 단계; 및
상기 모바일 디바이스의 디스플레이 디바이스를 사용하여, 상기 하나 이상의 센서들과 연관된 상기 데이터 및 상기 차량의 좌표계에 대한 상기 모바일 디바이스의 포즈에 기초하여 가상 콘텐츠를 디스플레이하는 단계를 포함하는, 방법. - 제25항에 있어서, 상기 하나 이상의 센서들과 연관된 상기 데이터에 기초하여 상기 차량의 상황을 결정하는 단계를 추가로 포함하고, 상기 상황은 상기 차량에 관련된 이벤트를 포함하는, 방법.
- 제26항에 있어서,
상기 모바일 디바이스의 좌표계에 대한 상기 가상 콘텐츠의 위치를 상기 차량의 좌표계에 대한 상기 이벤트의 위치와 연관시키는 단계; 및
상기 차량의 좌표계에 대한 상기 이벤트의 위치와 상기 모바일 디바이스의 좌표계에 대한 상기 가상 콘텐츠의 위치의 연관성에 기초하여, 상기 모바일 디바이스의 하나 이상의 시각적 이미지 센서들로부터의 라이브 콘텐츠 피드를 디스플레이하는 단계를 추가로 포함하는, 방법. - 제27항에 있어서, 상기 라이브 콘텐츠 피드를 디스플레이하는 단계는,
상기 차량의 좌표계에 대한 상기 모바일 디바이스의 포즈 및 상기 이벤트에 대한 상기 차량의 포즈에 기초하여, 상기 이벤트에 대한 상기 모바일 디바이스의 포즈를 결정하는 단계; 및
상기 이벤트에 대한 상기 모바일 디바이스의 포즈, 및 상기 차량의 좌표계에 대한 상기 이벤트의 위치와 상기 모바일 디바이스의 좌표계에 대한 상기 가상 콘텐츠의 위치의 연관성에 기초하여, 상기 가상 콘텐츠가 상기 차량의 탑승자의 시야에서 상기 이벤트를 적어도 부분적으로 가린다고 결정하는 단계를 포함하는, 방법. - 제26항에 있어서,
상기 모바일 디바이스의 좌표계에 대한 가상 콘텐츠 항목의 위치를 상기 차량의 좌표계에 대한 상기 이벤트의 위치와 연관시키는 단계; 및
상기 차량의 좌표계에 대한 상기 이벤트의 위치와 상기 모바일 디바이스의 좌표계에 대한 상기 가상 콘텐츠의 위치의 연관성에 기초하여, 상기 가상 콘텐츠 항목을 필터링하거나 또는 수정하는 단계를 추가로 포함하는, 방법. - 제29항에 있어서, 상기 가상 콘텐츠 항목을 필터링하거나 또는 수정하기 위해, 상기 하나 이상의 프로세서들은,
상기 가상 콘텐츠 항목의 하나 이상의 특성들을 수정하도록 구성되고, 상기 하나 이상의 특성들은 상기 가상 콘텐츠 항목의 투명도, 크기, 위치, 및 상기 가상 콘텐츠 항목의 밝기 레벨 중 적어도 하나를 포함하는, 방법. - 제29항에 있어서, 상기 가상 콘텐츠 항목을 필터링하거나 또는 수정하기 위해, 상기 하나 이상의 프로세서들은,
상기 차량의 탑승자의 눈 시선을 결정하도록 - 상기 탑승자는 상기 모바일 디바이스와 연관됨 -;
상기 탑승자의 눈 시선 및 상기 이벤트의 위치에 기초하여, 상기 탑승자에 대한 상기 이벤트의 가시성을 결정하도록; 그리고
상기 탑승자에 대한 상기 이벤트의 가시성에 추가로 기초하여, 상기 가상 콘텐츠 항목을 필터링하거나 또는 수정하도록 구성되는, 방법. - 제26항에 있어서, 상기 이벤트는 상기 차량의 경로 또는 상기 차량의 경로에 대한 임계 근접도 내의 객체의 존재, 상기 차량의 경로와 연관된 교통 통제, 및 상기 차량이 속도 제한 및 차선 표시 중 적어도 하나 내에서 유지되지 못하는 것 중 적어도 하나를 포함하는, 방법.
- 제32항에 있어서, 상기 차량의 경로 또는 상기 차량의 경로에 대한 상기 임계 근접도 내의 상기 객체는 보행자, 동물, 및 다른 차량 중 적어도 하나를 포함하는, 방법.
- 제26항에 있어서,
상기 차량의 탑승자의 눈 시선을 결정하는 단계 - 상기 탑승자는 상기 모바일 디바이스와 연관됨 -; 및
상기 차량의 상기 탑승자의 눈 시선의 방향 내에서 가상 콘텐츠를 렌더링하는 단계를 추가로 포함하는, 방법. - 제34항에 있어서, 상기 탑승자의 눈 시선의 방향 내에서 상기 가상 콘텐츠를 렌더링하는 단계는,
상기 이벤트, 상기 이벤트의 위치, 및 상기 이벤트의 방향 중 적어도 하나의 가상 표시자를 포함하는 가상 콘텐츠 오버레이를 렌더링하는 단계를 포함하는, 방법. - 제34항에 있어서, 상기 탑승자의 눈 시선의 방향 내에 상기 가상 콘텐츠를 렌더링하기 위해, 상기 하나 이상의 프로세서들은,
상기 가상 콘텐츠의 하나 이상의 특성들을 수정하도록 구성되고, 상기 하나 이상의 특성들은 상기 가상 콘텐츠의 투명도, 크기, 위치, 및 밝기 레벨 중 적어도 하나를 포함하는, 방법. - 제25항에 있어서,
상기 차량의 상황 및 상기 모바일 디바이스의 포즈에 기초하여, 상기 가상 콘텐츠의 적어도 일부분을 필터링하는 단계를 추가로 포함하는, 방법. - 제37항에 있어서, 상기 가상 콘텐츠의 적어도 일부분을 필터링하는 단계는 상기 가상 콘텐츠의 서브세트의 제시를 가능하게 하는 단계를 포함하고, 상기 가상 콘텐츠의 서브세트는 상기 차량의 스테이터스의 표시 및 차량 계측 정보 중 적어도 하나를 포함하는, 방법.
- 제25항에 있어서, 상기 가상 콘텐츠를 디스플레이하는 단계는 상기 차량과 연관된 가상 콘텐츠 항목을 렌더링하는 단계를 포함하고, 상기 가상 콘텐츠 항목은 상기 차량의 표면에 대해 렌더링되는, 방법.
- 제39항에 있어서, 상기 렌더링된 가상 콘텐츠 항목은 상기 하나 이상의 센서들과 연관된 상기 데이터에서 식별된 이벤트의 제1 표시, 상기 차량의 상황의 제2 표시, 및 상기 차량의 상황과 연관된 경보 중 적어도 하나를 포함하는, 방법.
- 제39항에 있어서, 가상 콘텐츠 항목을 렌더링하는 단계는,
상기 차량의 카메라 디바이스로부터 카메라 피드를 수신하는 단계; 및
상기 모바일 디바이스의 디스플레이 영역 내에 상기 카메라 피드의 적어도 일부분을 디스플레이하는 단계를 포함하는, 방법. - 제25항에 있어서, 상기 모바일 디바이스의 포즈를 결정하는 단계는,
하나 이상의 라디오 주파수(RF) 신호들을 획득하는 단계; 및
상기 하나 이상의 이미지들, 및 상기 하나 이상의 RF 신호들과 연관된 왕복 시간, 상기 하나 이상의 RF 신호들과 연관된 도착 시간, 및 상기 하나 이상의 RF 신호들과 연관된 수신 신호 강도 표시자(RSSI) 중 적어도 하나에 기초하여 상기 모바일 디바이스의 포즈를 결정하는 단계를 포함하는, 방법. - 제25항에 있어서, 상기 모바일 디바이스의 포즈를 결정하는 단계는,
상기 차량으로부터, 상기 차량과 연관된 하나 이상의 마커들을 포함하는 차량 템플릿을 수신하는 단계; 및
상기 하나 이상의 이미지들 및 상기 차량 템플릿에 기초하여 상기 차량의 좌표계에 대한 상기 모바일 디바이스의 포즈를 결정하는 단계를 포함하는, 방법. - 제43항에 있어서, 상기 하나 이상의 마커들은 상기 차량의 내부 부분 내의 영역 및 상기 차량의 내부 부분에 부착된 객체 중 적어도 하나에 대한 시각적 패턴, 상기 차량의 내부 부분의 엘리먼트, 상기 차량의 내부 부분 내의 표면, 및 상기 차량 내부의 조명된 객체 중 적어도 하나를 포함하는, 방법.
- 제43항에 있어서, 상기 모바일 디바이스의 포즈를 결정하는 단계는,
상기 하나 이상의 이미지들에서 상기 하나 이상의 마커들을 검출하는 단계; 및
상기 검출된 하나 이상의 마커들 및 상기 차량 템플릿에 기초하여 상기 차량의 좌표계에 대한 상기 모바일 디바이스의 포즈를 결정하는 단계를 포함하는, 방법. - 제25항에 있어서,
상기 모바일 디바이스의 하나 이상의 이미지 센서들을 사용하여, 상기 차량의 내부 부분의 이미지들의 세트를 획득하는 단계 - 상기 이미지들의 세트는 상기 차량과 연관된 하나 이상의 마커들을 묘사함 -; 및
상기 이미지들의 세트에 기초하여, 상기 하나 이상의 마커들을 포함하는 차량 템플릿을 생성하는 단계를 추가로 포함하는, 방법.
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US17/495,738 | 2021-10-06 | ||
| US17/495,738 US11562550B1 (en) | 2021-10-06 | 2021-10-06 | Vehicle and mobile device interface for vehicle occupant assistance |
| PCT/US2022/077485 WO2023060048A1 (en) | 2021-10-06 | 2022-10-03 | Vehicle and mobile device interface for vehicle occupant assistance |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20240067906A true KR20240067906A (ko) | 2024-05-17 |
Family
ID=83903120
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020247010996A KR20240067906A (ko) | 2021-10-06 | 2022-10-03 | 차량 탑승자 보조를 위한 차량 및 모바일 디바이스 인터페이스 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US11562550B1 (ko) |
| KR (1) | KR20240067906A (ko) |
| CN (1) | CN118103798A (ko) |
| TW (1) | TW202323931A (ko) |
| WO (1) | WO2023060048A1 (ko) |
Families Citing this family (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020138088A1 (ja) * | 2018-12-27 | 2020-07-02 | 日本電気株式会社 | 余所見判定装置、余所見判定システム、余所見判定方法、プログラムを記憶する記憶媒体 |
| US11950582B2 (en) | 2020-11-19 | 2024-04-09 | Ford Global Technologies, Llc | Pet bowl having integrated sensing |
| US11897334B2 (en) | 2020-11-19 | 2024-02-13 | Ford Global Technologies, Llc | Vehicle having pet bowl communication |
| US11999232B2 (en) * | 2020-12-17 | 2024-06-04 | Ford Global Technologies, Llc | Vehicle having pet monitoring and related controls |
| US11904794B2 (en) | 2021-01-28 | 2024-02-20 | Ford Global Technologies, Llc | Pet restraint system for a vehicle |
| US11951878B2 (en) | 2021-05-04 | 2024-04-09 | Ford Global Technologies, Llc | Vehicle having seat control based on monitored pet location |
| US11687155B2 (en) * | 2021-05-13 | 2023-06-27 | Toyota Research Institute, Inc. | Method for vehicle eye tracking system |
| US11932156B2 (en) | 2021-05-17 | 2024-03-19 | Ford Global Technologies, Llc | Vehicle having sliding console |
| US11950316B1 (en) * | 2021-11-12 | 2024-04-02 | Zoox, Inc. | Vehicle-passenger assistance facilitation |
| CN117193530B (zh) * | 2023-09-04 | 2024-06-11 | 深圳达普信科技有限公司 | 基于虚拟现实技术的智能座舱沉浸式用户体验方法及系统 |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| GB2251751A (en) * | 1990-10-09 | 1992-07-15 | Gaertner W W Res | Position and orientation measurement |
| DE102016120425A1 (de) * | 2015-10-26 | 2017-04-27 | Active Knowledge Ltd. | Zusammenfügen einer ein Fahrzeugfenster imitierenden Videodurchsicht mit einem anderen Video |
| US9786104B2 (en) * | 2016-01-25 | 2017-10-10 | Smartdrive Systems, Inc. | Systems and method to trigger vehicle events based on contextual information |
| US11074827B2 (en) * | 2017-08-25 | 2021-07-27 | Aurora Flight Sciences Corporation | Virtual reality system for aerial vehicle |
| EP3663941B1 (en) * | 2018-12-07 | 2022-07-13 | Volvo Car Corporation | Evaluation of a simulated vehicle-related feature |
| US10767997B1 (en) * | 2019-02-25 | 2020-09-08 | Qualcomm Incorporated | Systems and methods for providing immersive extended reality experiences on moving platforms |
| IT201900017429A1 (it) * | 2019-09-27 | 2021-03-27 | Milano Politecnico | Metodo e sistema per l'assistenza alla guida di un veicolo |
-
2021
- 2021-10-06 US US17/495,738 patent/US11562550B1/en active Active
-
2022
- 2022-10-03 WO PCT/US2022/077485 patent/WO2023060048A1/en active Application Filing
- 2022-10-03 CN CN202280066181.0A patent/CN118103798A/zh active Pending
- 2022-10-03 KR KR1020247010996A patent/KR20240067906A/ko unknown
- 2022-10-04 TW TW111137669A patent/TW202323931A/zh unknown
Also Published As
| Publication number | Publication date |
|---|---|
| CN118103798A (zh) | 2024-05-28 |
| TW202323931A (zh) | 2023-06-16 |
| US11562550B1 (en) | 2023-01-24 |
| WO2023060048A1 (en) | 2023-04-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20230106673A1 (en) | Vehicle and mobile device interface for vehicle occupant assistance | |
| US11562550B1 (en) | Vehicle and mobile device interface for vehicle occupant assistance | |
| US11295143B2 (en) | Information processing apparatus, information processing method, and program | |
| US11659038B2 (en) | Smart vehicle | |
| US10882398B2 (en) | System and method for correlating user attention direction and outside view | |
| US9881503B1 (en) | Vehicle-to-pedestrian-communication systems and methods for using the same | |
| US20170343375A1 (en) | Systems to dynamically guide a user to an autonomous-driving vehicle pick-up location by augmented-reality walking directions | |
| US11526166B2 (en) | Smart vehicle | |
| US20210089048A1 (en) | Smart vehicle | |
| EP2857886B1 (en) | Display control apparatus, computer-implemented method, storage medium, and projection apparatus | |
| Hasan et al. | Pedestrian safety using the Internet of things and sensors: Issues, challenges, and open problems | |
| KR20170024904A (ko) | 운전 보조 장치 및 그 제어 방법 | |
| Akhlaq et al. | Designing an integrated driver assistance system using image sensors | |
| US20210080966A1 (en) | Smart vehicle | |
| US10674003B1 (en) | Apparatus and system for identifying occupants in a vehicle | |
| WO2021049219A1 (ja) | 情報処理装置、移動装置、情報処理システム、および方法、並びにプログラム | |
| WO2022050108A1 (ja) | 情報処理装置、情報処理方法、プログラム及び情報処理端末 | |
| JPWO2020100585A1 (ja) | 情報処理装置、および情報処理方法、並びにプログラム | |
| JPWO2020031695A1 (ja) | 情報処理装置、移動体、情報処理方法及びプログラム | |
| JP2023160924A (ja) | 制御装置及び制御プログラム | |
| KR20180024327A (ko) | 이동단말기, 차량과 이동 단말기의 연동 시스템 | |
| US11926259B1 (en) | Alert modality selection for alerting a driver | |
| US20230415652A1 (en) | Camera module, information processing system, information processing method, and information processing apparatus | |
| KR20180041024A (ko) | 차량 운전 보조장치 및 이를 포함하는 차량 | |
| WO2022106531A1 (en) | Time-of-flight object detection circuitry and time-of-flight object detection method |