JP6959176B2 - ビークルにおいて拡張現実を使用して準備完了度を維持しつつ用心度の低下を軽減するためのシステム及び方法 - Google Patents
ビークルにおいて拡張現実を使用して準備完了度を維持しつつ用心度の低下を軽減するためのシステム及び方法 Download PDFInfo
- Publication number
- JP6959176B2 JP6959176B2 JP2018078945A JP2018078945A JP6959176B2 JP 6959176 B2 JP6959176 B2 JP 6959176B2 JP 2018078945 A JP2018078945 A JP 2018078945A JP 2018078945 A JP2018078945 A JP 2018078945A JP 6959176 B2 JP6959176 B2 JP 6959176B2
- Authority
- JP
- Japan
- Prior art keywords
- operator
- vehicle
- rendering
- module
- graphical element
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 60
- 230000003190 augmentative effect Effects 0.000 title claims description 24
- 238000009877 rendering Methods 0.000 claims description 171
- 230000036626 alertness Effects 0.000 claims description 112
- 238000012544 monitoring process Methods 0.000 claims description 46
- 230000006870 function Effects 0.000 claims description 45
- 230000015654 memory Effects 0.000 claims description 26
- 230000007423 decrease Effects 0.000 claims description 24
- 230000006399 behavior Effects 0.000 claims description 19
- 230000008859 change Effects 0.000 claims description 19
- 238000012800 visualization Methods 0.000 claims description 13
- 230000004044 response Effects 0.000 claims description 11
- 238000013179 statistical model Methods 0.000 claims description 10
- 230000037361 pathway Effects 0.000 claims description 2
- 238000012423 maintenance Methods 0.000 claims 1
- 230000033001 locomotion Effects 0.000 description 30
- 230000000007 visual effect Effects 0.000 description 23
- 230000002829 reductive effect Effects 0.000 description 13
- 230000003068 static effect Effects 0.000 description 13
- 238000013500 data storage Methods 0.000 description 12
- 238000012545 processing Methods 0.000 description 9
- 230000008447 perception Effects 0.000 description 7
- 230000019771 cognition Effects 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 238000005259 measurement Methods 0.000 description 5
- 230000000116 mitigating effect Effects 0.000 description 5
- 230000009467 reduction Effects 0.000 description 5
- 230000009471 action Effects 0.000 description 4
- 238000013459 approach Methods 0.000 description 4
- 230000003542 behavioural effect Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 4
- 238000004590 computer program Methods 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 230000001276 controlling effect Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 3
- 239000000446 fuel Substances 0.000 description 3
- 230000000670 limiting effect Effects 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 230000003247 decreasing effect Effects 0.000 description 2
- 230000003292 diminished effect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 238000003062 neural network model Methods 0.000 description 2
- 230000010344 pupil dilation Effects 0.000 description 2
- 230000004043 responsiveness Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 240000004050 Pentaglottis sempervirens Species 0.000 description 1
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 description 1
- 230000032683 aging Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- QVGXLLKOCUKJST-UHFFFAOYSA-N atomic oxygen Chemical compound [O] QVGXLLKOCUKJST-UHFFFAOYSA-N 0.000 description 1
- 230000008512 biological response Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000004397 blinking Effects 0.000 description 1
- 239000008280 blood Substances 0.000 description 1
- 210000004369 blood Anatomy 0.000 description 1
- 230000036772 blood pressure Effects 0.000 description 1
- 230000007177 brain activity Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 230000006998 cognitive state Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000000875 corresponding effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000004424 eye movement Effects 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 235000015243 ice cream Nutrition 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 229910052760 oxygen Inorganic materials 0.000 description 1
- 239000001301 oxygen Substances 0.000 description 1
- 230000036961 partial effect Effects 0.000 description 1
- 238000011002 quantification Methods 0.000 description 1
- 230000004202 respiratory function Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 238000012502 risk assessment Methods 0.000 description 1
- 239000011435 rock Substances 0.000 description 1
- 210000003296 saliva Anatomy 0.000 description 1
- 230000028327 secretion Effects 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 238000013403 standard screening design Methods 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 230000035900 sweating Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
- B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
- B60K35/21—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
- B60K35/22—Display screens
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
- B60K35/40—Instruments specially adapted for improving the visibility thereof to the user, e.g. fogging prevention or anti-reflection arrangements
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
- B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
- B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
- B60W40/09—Driving style or behaviour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/20—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
- B60R2300/205—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used using a head-up display
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
- B60R2300/8086—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for vehicle path indication
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
- B60W2050/146—Display means
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
- B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
- B60W2420/403—Image sensing, e.g. optical camera
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
- B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
- B60W2420/408—Radar; Laser, e.g. lidar
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
- B60W2420/54—Audio sensitive means, e.g. ultrasound
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2540/00—Input parameters relating to occupants
- B60W2540/22—Psychological state; Stress level or workload
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2540/00—Input parameters relating to occupants
- B60W2540/221—Physiology, e.g. weight, heartbeat, health or special needs
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2540/00—Input parameters relating to occupants
- B60W2540/223—Posture, e.g. hand, foot, or seat position, turned or inclined
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2540/00—Input parameters relating to occupants
- B60W2540/225—Direction of gaze
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2540/00—Input parameters relating to occupants
- B60W2540/229—Attention level, e.g. attentive to driving, reading or sleeping
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2540/00—Input parameters relating to occupants
- B60W2540/30—Driving style
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2900/00—Indexing codes relating to the purpose of, or problem solved of road vehicle drive control systems not otherwise provided for in groups B60W30/00
Landscapes
- Engineering & Computer Science (AREA)
- Mechanical Engineering (AREA)
- Multimedia (AREA)
- Automation & Control Theory (AREA)
- Transportation (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Chemical & Material Sciences (AREA)
- Combustion & Propulsion (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
- Mathematical Physics (AREA)
- Aviation & Aerospace Engineering (AREA)
- Traffic Control Systems (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Business, Economics & Management (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Game Theory and Decision Science (AREA)
- Medical Informatics (AREA)
- User Interface Of Digital Computer (AREA)
Description
本開示において記述される主題は、概して、用心度(用心状態)の低下を監視し防止/軽減するためのシステム及び方法に関し、更に詳しくは、ビークル(車両、乗り物、又は輸送機関)のオペレータの関与度を維持するためのビークルにおける拡張現実(AR)の使用に関する。
自律ビークルは、周囲環境(例えば、障害物、道路など)を検知することができ、且つ、人間からの入力を伴うことなく、又は、少なくとも部分的に人間からの入力を伴うことなく、周囲環境を通じて自律的にナビゲートすることができる。即ち、自律ビークルは、異なるレベルの自律性に従って動作することができる。例えば、自律ビークルは、自律運転のための米国自動車技術者協会(SAE)のレベル2分類に従って動作することができる。この自律動作モードにおいて、自律ビークルは、ビークルが様々な状況に起因して自律的に動作できない又は動作すべきでないときには、自律動作からビークルオペレータによる手動制御へのハンドオーバに少なくとも部分的に依存する。
本開示には、用心度の低下を軽減するための用心システムの一例が提示される。ビークルの操作の文脈における用心度の低下は、概して、物理的に関与していないときにビークルオペレータが時間の経過に伴って周囲環境に関与しない状態となり、従って、ビークルを取り囲む態様(ないし特徴、外観)及びビークルが自律的に動作しているときにビークルの動作に恐らくは影響を及ぼすであろう態様について相対的に乏しい認知状態となる傾向を意味する。従って、一実施形態においては、用心システムは、運転タスク及び周囲環境の態様と関与した状態にオペレータを維持することを促進するために、自律的に(例えば、SAEのレベル2)動作するビークル内に実装される。更には、用心システムは、例えば、オペレータ監視システム(例えば、眼の追跡用のカメラ)や拡張現実(AR)システムなどのような更なるシステムと共に、ビークル内に実装される。従って、一実施形態においては、用心システムは、自律システムから制御を引き取るための可能なニーズについて用心状態にあるのみならず、自律システムが手動制御へのハンドオーバを実行した場合にビークルを制御するのに準備完了状態であるように、オペレータを促す様々なビジュアルをレンダリングするために、同時に、ビークルのオペレータを監視し、拡張現実ディスプレイを制御する。
拡張現実(AR)ディスプレイを使用してビークルオペレータを関与させることによる用心度の低下の軽減及びビークルオペレータにおける準備完了度の保証と関連するシステム、方法、及び他の実施形態が開示される。上述のように、オペレータは、ビークルが自律的に動作しているときに、ビークルの周囲及びビークルの動作に関係する態様に対し無関与になるおそれがある。従って、オペレータは、ビークルが自律的な動作を継続するのに伴って、用心度低下を経験するおそれがある。ビークルが動作を継続するために、ビークルが実行している内容にオペレータが関与する必要がないからである。一般に、オペレータの用心度低下は、時間の経過に伴ってビークルの周囲で発生するイベントに対し用心状態(例えば、警戒状態、用心深い状態など)にあり続ける能力の低下である。従って、自律ビークルの文脈においては、用心度低下は、ビークルを能動的に制御/操作していないときに、ビークルオペレータが時間に伴ってビークルの操作に対し無関与となる傾向に関する。その結果、自律性がビークルを制御すべきではないときに、ビークルオペレータは、用心度低下を理由として、手動で介入しハンドオーバを開始するためにビークルの動作に十分に関与しないおそれがある。同様に、ビークルが、自律的に動作しており、且つ、手動制御へのハンドオーバを実行したときに、ビークルオペレータは、運転タスク及びビークルの現在の動作環境に対し無関与になるので、ビークルを制御するのに適切な準備完了度を欠いているおそれがある。
ビークル内のオペレータの用心度の低下を軽減するための用心システムであって、
1つ又は複数のプロセッサと、
前記1つ又は複数のプロセッサに通信自在に結合されたメモリであって、
前記1つ又は複数のプロセッサによって実行されたときに、前記1つ又は複数のプロセッサが、前記ビークルの少なくとも1つのセンサを使用してオペレータ状態情報を収集することにより、前記オペレータを監視するようにする命令を含む監視モジュールと、
前記1つ又は複数のプロセッサによって実行されたときに、前記1つ又は複数のプロセッサが、前記オペレータによって現在経験されている用心度の低下の程度を特徴付けるために、用心度モデル及び前記オペレータ状態情報に従って前記オペレータの関与レベルを演算するようにする命令を含む用心度モジュールと、
前記1つ又は複数のプロセッサによって実行されたときに、前記1つ又は複数のプロセッサが、前記ビークルの自律的動作及び前記ビークルの周りの現在の動作環境に関する前記オペレータの用心度を促すために、且つ、前記オペレータが前記自律的動作及び現在の動作環境に対し無関与となるのを妨げるのを容易にするために、少なくとも前記関与レベルの変化に従って、どのようにして前記少なくとも1つのグラフィカル要素がレンダリングされるかの特徴を動的に調節することにより、前記ビークル内の拡張現実(AR)ディスプレイ上に、少なくとも1つのグラフィカル要素を前記関与レベルの関数としてレンダリングするようにする命令を含むレンダリングモジュールと、
を記憶するメモリと、
を備え、
前記レンダリングモジュールは、前記ビークルの外部の前記現在の動作環境に関するセンサデータから前記少なくとも1つのグラフィカル要素を生成することにより、前記少なくとも1つのグラフィカル要素をレンダリングする命令を更に含み、
前記監視モジュール、前記用心度モジュール、及び前記レンダリングモジュールは、前記オペレータ状態情報を動的に更新するために、前記関与レベルを反復的に演算するために、且つ、前記関与レベルの観察された変化に従って前記少なくとも1つのグラフィカル要素の前記レンダリングを調節するために、フィードバックループを使用して、並列的に前記1つ又は複数のプロセッサ上で稼働し、
前記レンダリングモジュールは、前記関与レベルの経時変化に少なくとも部分的に基づいて変化される視覚的特徴を有する、前記少なくとも1つのグラフィカル要素をレンダリングすることにより、前記少なくとも1つのグラフィカル要素をレンダリングする命令をさらに含み、変化される前記視覚的特徴は、少なくとも前記現在の動作環境のグラフィカルオーバーレイの強度を含み、
前記監視モジュール、前記用心度モジュール、及び前記レンダリングモジュールが並列的に稼働しつつ、前記ビークルが、少なくとも監督された自律的標準に従って、運転され、前記レンダリングモジュールは、前記少なくとも1つのグラフィカル要素の変化を通じた視覚的キューを前記オペレータに提供することにより、前記ビークルが前記オペレータへの手動制御のハンドオーバを実行したときの前記オペレータの準備完了度を維持するために、前記少なくとも1つのグラフィカル要素をレンダリングする命令を更に含む、
用心システム。
[構成A2]
前記レンダリングモジュールは、前記ARディスプレイ上におけるグラフィカルオーバーレイとして、前記ビークルの1つ又は複数の環境センサからの前記現在の動作環境に関する前記センサデータを使用して前記ARディスプレイ内において視覚化をレンダリングすることにより、前記少なくとも1つのグラフィカル要素をレンダリングするための命令を更に含み、
前記レンダリングモジュールは、前記現在の動作環境に関する自律運転モジュールの現在の決定及び状況的認知を示す前記自律運転モジュールの内部状態情報をレンダリングすることにより、前記少なくとも1つのグラフィカル要素をレンダリングするための命令を更に含む、
構成A1に記載の用心システム。
[構成A3]
前記用心度の低下は、前記オペレータが、前記現在の動作環境を通じて、前記現在の動作環境及び前記ビークルの自律的動作について認知している程度を示しており、
前記用心度モジュールは、前記関与レベルにおいて前記ビークルの前記現在の動作環境を説明するために、前記オペレータ状態情報と共に動的なビークルデータを分析することにより、前記関与レベルを演算するための命令を更に含み、前記動的なビークルデータは、少なくとも、前記ビークルのテレマティクス、前記ビークルの現在の場所、及び天候情報を含み、前記関与レベルは、前記ビークルの前記自律的動作及び前記現在の動作環境との関係における前記オペレータの現在の心理的認知を示している、
構成A1に記載の用心システム。
[構成A4]
前記監視モジュールは、前記オペレータが現在注視している方向を識別する眼追跡カメラから少なくとも注視データを収集することにより、前記オペレータを監視するための命令を更に含み、前記注視データは、前記オペレータが所定の期間にわたって注視していた場所の経路を識別する眼の軌跡を更に含んでおり、
前記用心度モジュールは、前記オペレータが前記現在の動作環境に関与している統計的尤度として前記関与レベルを生成することにより、前記関与レベルを演算するための命令を更に含み、前記用心度モデルは、前記オペレータ状態情報及び前記現在の動作環境の関数として前記オペレータの可能性が高い用心度の低下を特徴付ける統計的モデルである、
構成A1に記載の用心システム。
[構成A5]
前記用心度モジュールは、前記オペレータに従って前記レンダリングをカスタマイズするために、前記オペレータ状態情報と、前記少なくとも1つのグラフィカル要素に応じた、観察された前記オペレータの促された応答と、に従って、前記用心度モデルを更新するための命令を更に含む、
構成A1に記載の用心システム。
[構成A6]
前記レンダリングモジュールは、
(i)前記関与レベルの変化に従って前記ARディスプレイ内の前記グラフィカルオーバーレイの不透明性を変化させることと、
(ii)前記関与レベルの変化に従って、前記ARディスプレイ内において表示されるグラフィカル要素の数を変化させることと、
(iii)前記関与レベルの変化に従って、前記ARディスプレイにおいて前記オペレータの目視線内に前記少なくとも1つのグラフィカル要素をレンダリングすることと、
(v)前記オペレータが用心度の低下を経験していることを前記関与レベルが示すときに、前記ビークルの前記少なくとも1つのセンサによって読み取られた前記現在の動作環境の態様に関する前記オペレータ用の質問を含むテキストを前記ARディスプレイ内においてレンダリングすることと、
のうちの1つ又は複数により、前記少なくとも1つのグラフィカル要素をレンダリングするための命令を更に含む、
構成A1に記載の用心システム。
[構成A7]
前記レンダリングモジュールは、前記ARディスプレイ内における前記グラフィックオーバーレイとして前記ビークルのLIDARセンサからの点群データをレンダリングすることにより、前記少なくとも1つのグラフィカル要素をレンダリングするための命令を更に含む、構成A1に記載の用心システム。
[構成A8]
ビークル内のオペレータの用心度の低下を軽減するための非一時的なコンピュータ可読媒体であって、1つ又は複数のプロセッサによって実行されたときに、前記1つ又は複数のプロセッサが、
前記ビークルの少なくとも1つのセンサを使用してオペレータ状態情報を収集することにより、前記オペレータを監視し、
前記オペレータによって現在経験されている用心度の低下の程度を特徴付けるために、用心度モデル及び前記オペレータ状態情報に従って前記オペレータの関与レベルを演算し、
前記ビークルの自律的動作及び前記ビークルの周りの現在の動作環境に関する前記オペレータの用心度を促すために、且つ、前記オペレータが前記自律的動作及び現在の動作環境に対し無関与となるのを妨げるのを容易にするために、少なくとも前記関与レベルの変化に従って、どのようにして少なくとも1つのグラフィカル要素がレンダリングされるかの特徴を動的に調節することにより、前記ビークル内の拡張現実(AR)ディスプレイ上に、前記少なくとも1つのグラフィカル要素を前記関与レベルの関数としてレンダリングする、
ようにする命令を記憶しており、
前記少なくとも1つのグラフィカル要素をレンダリングする命令は、前記ビークルの外部の前記現在の動作環境に関するセンサデータから前記少なくとも1つのグラフィカル要素を生成する命令を更に含み、
前記少なくとも1つのグラフィカル要素をレンダリングする命令は、前記関与レベルの経時変化に少なくとも部分的に基づいて変化される前記視覚的特徴を有する前記少なくとも1つのグラフィカル要素を、前記関与レベルの変化に従って強度が変化される前記現在の動作環境のグラフィカルオーバーレイとして、レンダリングする命令を更に含み、
監視し、演算し、及びレンダリングする前記命令は、前記オペレータ状態情報を動的に更新するために、前記関与レベルを反復的に演算するために、且つ、前記関与レベルの観察された変化に従って前記少なくとも1つのグラフィカル要素の前記レンダリングを調節するために、フィードバックループを使用して、並列的に前記1つ又は複数のプロセッサ上で稼働し、
監視し、演算し、及びレンダリングする前記命令が並列的に前記1つ又は複数のプロセッサ上で稼働しつつ、前記ビークルが、少なくとも監督された自律的標準に従って、運転され、前記少なくとも1つのグラフィカル要素をレンダリングする前記命令は、前記少なくとも1つのグラフィカル要素の変化を通じた視覚的キューを前記オペレータに提供することにより、前記ビークルが前記オペレータへの手動制御のハンドオーバを実行したときの前記オペレータの準備完了度を維持する、
非一時的なコンピュータ可読媒体。
[構成A9]
前記オペレータを監視するための前記命令は、前記オペレータが現在注視している方向を識別する眼追跡カメラから少なくとも注視データを収集するための命令を更に含み、前記注視データは、前記オペレータが所定の期間にわたって注視していた場所の経路を識別する眼の軌跡を更に含んでおり、
前記関与レベルを演算する前記命令は、前記オペレータが前記現在の動作環境に関与している統計的尤度として前記関与レベルを生成するための命令を更に含み、前記用心度モデルは、前記オペレータ状態情報及び前記現在の動作環境の関数として前記オペレータの可能性の高い用心度の低下を特徴付ける統計的モデルである、
構成A8に記載の非一時的なコンピュータ可読媒体。
[構成A10]
前記少なくとも1つのグラフィカル要素をレンダリングするための前記命令は、前記ARディスプレイ上におけるオーバーレイとして、前記ビークルの1つ又は複数の環境センサからの前記現在の動作環境に関するデータを使用して、前記関与レベルに従い、前記少なくとも1つのグラフィカル要素を調節することにより、前記ARディスプレイ内において視覚化をレンダリングするための命令を含み、
前記少なくとも1つのグラフィカル要素をレンダリングするための前記命令は、前記現在の動作環境に関する自律運転モジュールの現在の決定及び状況的認知を示す前記自律運転モジュールの内部状態情報をレンダリングするための命令を含み、
前記自律運転モジュールは、少なくとも監督された自律性を用いて前記ビークルの動作を定義する、監督された自律的標準に従って、前記ビークルを制御する、
構成A8に記載の非一時的なコンピュータ可読媒体。
[構成A11]
前記少なくとも1つのグラフィカル要素をレンダリングするための前記命令は、前記ARディスプレイ内における前記グラフィカルオーバーレイとして前記ビークルのLIDARセンサからの点群データをレンダリングするための命令を更に含む、構成A8に記載の非一時的なコンピュータ可読媒体。
[構成A12]
拡張現実(AR)ディスプレイを有するビークル内のオペレータの用心度の低下を軽減する方法であって、
前記ビークルの少なくとも1つのセンサを使用してオペレータ状態情報を収集することにより、前記オペレータを監視することと、
前記オペレータによって現在経験されている用心度の低下の程度を特徴付けるために、用心度モデル及び前記オペレータ状態情報に従って前記オペレータの関与レベルを演算することと、
前記ビークルの自律的動作及び前記ビークルの周りの現在の動作環境に関する前記オペレータの用心度を促すために、且つ、前記オペレータが前記自律的動作及び現在の動作環境に対し無関与となるのを妨げるのを容易にするために、少なくとも前記関与レベルの変化に従って、どのようにして少なくとも1つのグラフィカル要素がレンダリングされるかの特徴を動的に調節することにより、前記ビークル内の拡張現実(AR)ディスプレイ上に、前記少なくとも1つのグラフィカル要素を前記関与レベルの関数としてレンダリングすることと、
を含み、
前記少なくとも1つのグラフィカル要素をレンダリングすることは、前記ビークルの外部の前記現在の動作環境に関するセンサデータから前記少なくとも1つのグラフィカル要素を生成することを含み、
前記オペレータを監視すること、前記関与レベルを演算すること、及び前記少なくとも1つのグラフィカル要素をレンダリングすることは、前記オペレータに促された前記用心度に従い、前記関与レベルを反復的に演算するために、且つ、前記関与レベルの観察された変化に従って前記少なくとも1つのグラフィカル要素の前記レンダリングを調節するために、前記少なくとも1つのセンサからの、更新されたオペレータ状態情報のフィードバックループを使用して、並列的に前記1つ又は複数のプロセッサ上で稼働し、
前記少なくとも1つのグラフィカル要素をレンダリングすることは、前記関与レベルの経時変化に少なくとも部分的に基づいて変化される前記視覚的特徴を有する前記少なくとも1つのグラフィカル要素を、前記関与レベルの変化に従って強度が変化される前記現在の動作環境のグラフィカルオーバーレイとして、レンダリングする命令を更に含み、
前記監視すること、演算すること、及びレンダリングすることが並列的に前記1つ又は複数のプロセッサ上で稼働しつつ、前記ビークルが、少なくとも監督された自律的標準に従って、運転され、前記少なくとも1つのグラフィカル要素をレンダリングすることは、前記少なくとも1つのグラフィカル要素の変化を通じた視覚的キューを前記オペレータに提供することにより、前記ビークルが前記オペレータへの手動制御のハンドオーバを実行したときの前記オペレータの準備完了度を維持する、
方法。
[構成A13]
前記用心度の低下は、前記オペレータが、前記現在の動作環境を通じて、現在の動作環境及び前記ビークルの進捗について認知している程度を示しており、
前記関与レベルを演算することは、前記関与レベルを演算するときに、前記ビークルの前記現在の動作環境を説明するために、前記オペレータ状態情報と共に動的なビークルデータを分析することを更に含み、前記動的なビークルデータは、少なくとも、前記ビークルのテレマティクス、前記ビークルの現在の場所、及び天候情報を含み、前記関与レベルは、前記ビークルの前記自律的動作及び前記現在の動作環境との関係における前記オペレータの現在の心理的認知を示している、
構成A12に記載の方法。
[構成A14]
前記オペレータを監視することは、前記オペレータが現在注視している方向を識別する眼追跡カメラから少なくとも注視データを収集することを含み、前記注視データは、前記オペレータが所定の期間にわたって注視していた場所の経路を識別する眼の軌跡を更に含んでおり、
前記関与レベルを演算することは、前記オペレータが前記現在の動作環境に関与している統計的尤度として前記関与レベルを生成することを含み、前記用心度モデルは、前記現在の動作環境に従って前記オペレータ状態情報の関数として前記オペレータの可能性が高い用心度の低下を特徴付ける統計的モデルである、
構成A12に記載の方法。
[構成A15]
前記オペレータに従って前記レンダリングすることをカスタマイズするために、前記オペレータ状態情報と、前記少なくとも1つのグラフィカル要素の前記レンダリングに従う観察された前記オペレータの促された応答と、に従って、前記用心度モデルを更新することを更に有する、構成A12に記載の方法。
[構成A16]
前記少なくとも1つのグラフィカル要素をレンダリングすることは、前記ARディスプレイ上におけるオーバーレイとして、前記ビークルの前記1つ又は複数の環境センサからの前記現在の動作環境に関するデータを使用して、前記関与レベルに従い、前記少なくとも1つのグラフィカル要素を調節することにより、前記ARディスプレイ内において視覚化をレンダリングすることを更に含み、
前記少なくとも1つのグラフィカル要素をレンダリングすることは、前記現在の動作環境に関する自律モジュールの現在の決定及び状況的認知を示す前記自律モジュールの内部状態情報をレンダリングすることを更に含み、
前記自律モジュールは、少なくとも監督された自律性に従って動作するための、監督された自律運転標準に従って、前記ビークルを制御する、
構成A12に記載の方法。
[構成A17]
前記少なくとも1つのグラフィカル要素を前記関与レベルの関数としてレンダリングすることは、
(i)前記関与レベルの変化に従って前記ARディスプレイ内においてオーバーレイの不透明性を変更することと、
(ii)前記関与レベルの変化に従って前記ARディスプレイ内において表示されるグラフィック要素の数を変化させることと、
(iii)前記関与レベルの変化に従って前記ARディスプレイにおいて前記オペレータの目視線内に更なる要素を追加することと、
(iv)前記オペレータが用心度の低下を経験していることを前記関与レベルが示すときに、前記ARディスプレイ内における前記グラフィカルオーバーレイとして前記ビークルのLiDARセンサからの点群データをレンダリングすることと、
(v)前記オペレータが用心度の低下を経験していることを前記関与レベルが示すときに、前記ビークルの前記少なくとも1つのセンサによって読み取られた前記現在の動作環境の態様に関する前記オペレータ用の質問を含むテキストを前記ARディスプレイ内においてレンダリングすることと、
のうちの1つ又は複数を更に含む、構成A12に記載の方法。
拡張現実(AR)ディスプレイを含むビークル内のオペレータの用心度及び準備完了度を改善するための用心システムであって、
1つ又は複数のプロセッサと、
前記1つ又は複数のプロセッサに通信自在に結合されたメモリであって、
前記1つ又は複数のプロセッサによって実行されたときに、前記1つ又は複数のプロセッサが、前記ビークルの周りの外部環境及び前記ビークルの少なくとも半自律動作を含む、前記ビークルの動作特徴に関する、前記オペレータにより現在示される用心度の低下及び準備完了度の程度を特徴付けるために、前記オペレータの関与レベルを演算するようにする命令を含む用心度モジュールと、
前記1つ又は複数のプロセッサによって実行されたときに、前記1つ又は複数のプロセッサが、少なくとも1つのグラフィカル要素の視覚的特徴を、前記関与レベルの関数として、かつ、前記外部環境に関するセンサデータに少なくとも部分的に基づいて、変化させることにより、前記ARディスプレイ上に、前記少なくとも1つのグラフィカル要素を、動的にレンダリングするようにする命令を含むレンダリングモジュールと、
を記憶するメモリと、
を備え、
前記レンダリングモジュールは、前記動作特徴に関する前記オペレータの用心度及び準備完了度を促すことを通じて、前記ビークルの前記少なくとも半自律動作を改善するために、前記少なくとも1つのグラフィカル要素を動的にレンダリングするための命令を含む、
用心システム。
[構成B2]
前記レンダリングモジュールは、前記少なくとも1つのグラフィカル要素を動的にレンダリングするための命令を含み、当該命令は、前記関与レベルの経時変化に少なくとも部分的に基づいて、前記少なくとも1つのグラフィカル要素の視覚的特徴を変化させるための命令を含み、
前記レンダリングモジュールは、前記オペレータが前記ビークルの前記少なくとも半自律動作に独立して介入すべきときの、前記オペレータへの制御の手動ハンドオーバに関する認知、及び、オペレータの認知を改善することにより、少なくとも半自律で動作すべく前記ビークルの動作を改善するよう前記オペレータの用心度及び準備完了度を促すための命令を含む、
構成B1に記載の用心システム。
[構成B3]
前記1つ又は複数のプロセッサによって実行されたときに、前記1つ又は複数のプロセッサが、前記ビークルの少なくとも1つの内部センサを使用して、前記オペレータに関して読み取られたオペレータ状態情報を収集するようにする命令を含む監視モジュールを更に備え、前記用心度モジュールは、統計的尤度として前記動作特徴に関する前記オペレータの現在の心理的認知の計測を示すために、用心度モデルに従って前記オペレータ状態情報を特徴付けることにより、前記関与レベルを演算するための命令を含み、
前記用心度モデルは、前記外部環境に従って前記オペレータ状態情報の関数として、少なくとも前記オペレータの可能性の高い用心度の低下を特徴付ける統計モデルである、
構成B1に記載の用心システム。
[構成B4]
前記少なくとも1つのグラフィカル要素を動的にレンダリングするための命令が、前記ビークルがどのようにして前記少なくとも半自律動作を行うかについての現在の決定及び状況的認知を示す、内部状態情報の視覚化として、前記少なくとも1つのグラフィカル要素をレンダリングするための命令を含み、
前記動的にレンダリングするための命令が、前記少なくとも1つのグラフィカル要素の前記視覚的特徴を変化させることを含み、
前記視覚的特徴を変化させることが、どのグラフィカル要素が表示されるか、及び、前記グラフィカル要素の前記ARディスプレイ内における表示のされ方を変更することを含む、
構成B1に記載の用心システム。
[構成B5]
前記レンダリングモジュールは、前記グラフィカル要素が表示されるやり方を変更するための命令を含み、当該命令は、前記オペレータの前記用心度及び前記準備完了度が低下していることを前記関与レベルが示すときに、前記オペレータの目視線内に明確にあるように前記少なくとも1つのグラフィカル要素の強度、スタイル、前記ARディスプレイ内の位置を変更するための命令を含む、
構成B4に記載の用心システム。
[構成B6]
前記レンダリングモジュールは、前記少なくとも1つのグラフィカル要素を動的にレンダリングするための命令を含み、当該命令は、前記外部環境に関する前記センサデータを使用して、前記ARディスプレイのオーバーレイとして、前記少なくとも1つのグラフィカル要素を生成するための命令を含み、前記オーバーレイは、前記ビークルの少なくとも1つの外部センサにより読み取られた前記センサデータの視覚化であり、前記少なくとも1つの外部センサは、ライダー(LiDAR)センサを含む、構成B1に記載の用心システム。
[構成B7]
前記ビークルの前記少なくとも半自律動作は、前記ビークルの自律運転モジュールにより電子的に制御されるように、少なくとも監督された自律的標準に従っており、
前記用心度モジュールは、前記関与レベルを演算するための命令を含み、当該命令は、前記関与レベルを演算するときに前記ビークルの前記外部環境を説明するために、動的ビークルデータをオペレータ状態情報とともに分析するための命令を含み、前記動的ビークルデータは、少なくとも前記ビークルのテレマティクス、及び前記ビークルの現在の位置を含む、
構成B1に記載の用心システム。
[構成B8]
前記用心度モジュールは、前記関与レベルを演算するための命令を含み、当該命令は、前記関与レベルを演算するために、前記オペレータが現在注視している方向を識別する眼追跡カメラからの少なくとも注視データを使用するための命令を含む、構成B1に記載の用心システム。
[構成B9]
拡張現実(AR)ディスプレイを含むビークル内のオペレータの用心度及び準備完了度を改善するための非一時的なコンピュータ可読媒体であって、1つ又は複数のプロセッサによって実行されたときに、前記1つ又は複数のプロセッサが、
前記ビークルの周りの外部環境及び前記ビークルの少なくとも半自律動作を含む、前記ビークルの動作特徴に関する、前記オペレータにより現在示される用心度の低下及び準備完了度の程度を特徴付けるために、前記オペレータの関与レベルを演算し、
少なくとも1つのグラフィカル要素の視覚的特徴を、前記関与レベルの関数として、かつ、前記外部環境に関するセンサデータに少なくとも部分的に基づいて、変化させることにより、前記ARディスプレイ上に、前記少なくとも1つのグラフィカル要素を、動的にレンダリングする、
ようにする命令を記憶しており、
前記少なくとも1つのグラフィカル要素を動的にレンダリングするための命令は、前記動作特徴に関する前記オペレータの用心度及び準備完了度を促すことを通じて、前記ビークルの前記少なくとも半自律動作を改善する、
非一時的なコンピュータ可読媒体。
[構成B10]
前記少なくとも1つのグラフィカル要素を動的にレンダリングするための命令は、前記関与レベルの経時変化に少なくとも部分的に基づいて、前記少なくとも1つのグラフィカル要素の視覚的特徴を変化させるための命令を含み、
前記オペレータの用心度及び準備完了度を促すための命令は、前記オペレータが前記ビークルの前記少なくとも半自律動作に独立して介入すべきときの、前記オペレータへの制御の手動ハンドオーバに関する認知、及び、オペレータの認知を改善することにより、少なくとも半自律で動作すべく前記ビークルの動作を改善する、
構成B9に記載の非一時的なコンピュータ可読媒体。
[構成B11]
前記1つ又は複数のプロセッサによって実行されたときに、前記1つ又は複数のプロセッサが、前記ビークルの少なくとも1つの内部センサを使用して、前記オペレータに関して読み取られたオペレータ状態情報を収集するようにする命令を含む監視モジュールを更に備え、前記関与レベルを演算するための命令は、統計的尤度として前記動作特徴に関する前記オペレータの現在の心理的認知の計測を示すために、用心度モデルに従って前記オペレータ状態情報を特徴付けるための命令を含み、
前記用心度モデルは、前記外部環境に従って前記オペレータ状態情報の関数として、少なくとも前記オペレータの可能性の高い用心度の低下を特徴付ける統計モデルである、
構成B9に記載の非一時的なコンピュータ可読媒体。
[構成B12]
前記少なくとも1つのグラフィカル要素を動的にレンダリングするための命令が、前記ビークルがどのようにして前記少なくとも半自律動作を行うかについての現在の決定及び状況的認知を示す、内部状態情報の視覚化として、前記少なくとも1つのグラフィカル要素をレンダリングするための命令を含み、
前記動的にレンダリングするための命令が、前記少なくとも1つのグラフィカル要素の前記視覚的特徴を変化させることを含み、
前記視覚的特徴を変化させることが、どのグラフィカル要素が表示されるか、及び、前記グラフィカル要素の前記ARディスプレイ内における表示のされ方を変更することを含む、
構成B9に記載の非一時的なコンピュータ可読媒体。
[構成B13]
前記少なくとも1つのグラフィカル要素を動的にレンダリングするための命令は、前記外部環境に関する前記センサデータを使用して、前記ARディスプレイのオーバーレイとして、前記少なくとも1つのグラフィカル要素を生成するための命令を含み、前記オーバーレイは、前記ビークルの少なくとも1つの外部センサにより読み取られた前記センサデータの視覚化であり、前記少なくとも1つの外部センサは、ライダー(LiDAR)センサを含み、
前記ビークルの前記少なくとも半自律動作は、前記ビークルの自律運転モジュールにより電子的に制御されるように、少なくとも監督された自律的標準に従う、
構成B9に記載の非一時的なコンピュータ可読媒体。
[構成B14]
拡張現実(AR)ディスプレイを含むビークル内のオペレータの用心度及び準備完了度を改善する方法であって、
前記ビークルの周りの外部環境及び前記ビークルの少なくとも半自律動作を含む、前記ビークルの動作特徴に関する、前記オペレータにより現在示される用心度の低下及び準備完了度の程度を特徴付けるために、前記オペレータの関与レベルを演算することと、
少なくとも1つのグラフィカル要素の視覚的特徴を、前記関与レベルの関数として、かつ、前記外部環境に関するセンサデータに少なくとも部分的に基づいて、変化させることにより、前記ARディスプレイ上に、前記少なくとも1つのグラフィカル要素を、動的にレンダリングすることと、
を含み、
前記少なくとも1つのグラフィカル要素を動的にレンダリングすることは、前記動作特徴に関する前記オペレータの用心度及び準備完了度を促すことを通じて、前記ビークルの前記少なくとも半自律動作を改善する、
方法。
[構成B15]
前記少なくとも1つのグラフィカル要素を動的にレンダリングすることは、前記関与レベルの経時変化に少なくとも部分的に基づいて、前記少なくとも1つのグラフィカル要素の視覚的特徴を変化させることを含み、
前記オペレータの用心度及び準備完了度を促すことは、前記オペレータが前記ビークルの前記少なくとも半自律動作に独立して介入すべきときの、前記オペレータへの制御の手動ハンドオーバに関する認知、及び、オペレータの認知を改善することにより、少なくとも半自律で動作すべく前記ビークルの動作を改善する、
構成B14に記載の方法。
[構成B16]
前記ビークルの少なくとも1つの内部センサを使用して、前記オペレータに関して読み取られたオペレータ状態情報を収集することを更に含み、前記関与レベルを演算することは、統計的尤度として前記動作特徴に関する前記オペレータの現在の心理的認知の計測を示すために、用心度モデルに従って前記オペレータ状態情報を特徴付けることを含み、
前記用心度モデルは、前記外部環境に従って前記オペレータ状態情報の関数として、少なくとも前記オペレータの可能性の高い用心度の低下を特徴付ける統計モデルである、
構成B14に記載の方法。
[構成B17]
前記少なくとも1つのグラフィカル要素を動的にレンダリングすることが、前記ビークルがどのようにして前記少なくとも半自律動作を行うかについての現在の決定及び状況的認知を示す、内部状態情報の視覚化として、前記少なくとも1つのグラフィカル要素をレンダリングすることを含み、
前記少なくとも1つのグラフィカル要素の前記視覚的特徴を変化させることにより動的にレンダリングすることが、どのグラフィカル要素が表示されるか、及び、前記グラフィカル要素の前記ARディスプレイ内における表示のされ方を変更することを含む、
構成B14に記載の方法。
[構成B18]
前記グラフィカル要素が表示されるやり方を変更することが、前記オペレータの前記用心度及び前記準備完了度が低下していることを前記関与レベルが示すときに、前記オペレータの目視線内に明確にあるように前記少なくとも1つのグラフィカル要素の強度、スタイル、前記ARディスプレイ内の位置を変更することを含む、構成B17に記載の方法。
[構成B19]
前記少なくとも1つのグラフィカル要素を動的にレンダリングすることは、前記外部環境に関する前記センサデータを使用して、前記ARディスプレイのオーバーレイとして、前記少なくとも1つのグラフィカル要素を生成するための命令を含み、前記オーバーレイは、前記ビークルの少なくとも1つの外部センサにより読み取られた前記センサデータの視覚化であり、前記少なくとも1つの外部センサは、ライダー(LiDAR)センサを含む、構成B14に記載の方法。
[構成B20]
前記ビークルの前記少なくとも半自律動作は、少なくとも監督された自律的標準に従い、
前記関与レベルを演算することは、前記関与レベルを演算するときに、前記ビークルの前記現在の動作環境を説明するために、前記オペレータ状態情報と共に動的なビークルデータを分析することを更に含み、前記動的なビークルデータは、少なくとも、前記ビークルのテレマティクス及び前記ビークルの現在の場所を含み、
前記関与レベルを演算することは、前記オペレータが現在注視している方向を識別する眼追跡カメラから少なくとも注視データを収集することを含む、
構成B14に記載の方法。
Claims (16)
- ビークル内のオペレータの用心度の低下を軽減するための用心システムであって、
1つ又は複数のプロセッサと、
前記1つ又は複数のプロセッサに通信自在に結合されたメモリであって、
前記1つ又は複数のプロセッサによって実行されたときに、前記1つ又は複数のプロセッサが、前記ビークルの少なくとも1つのセンサを使用してオペレータ状態情報を収集することにより、前記オペレータを監視するようにする命令を含む監視モジュールと、
前記1つ又は複数のプロセッサによって実行されたときに、前記1つ又は複数のプロセッサが、前記オペレータによって現在経験されている用心度の低下の程度を特徴付けるために、用心度モデル及び前記オペレータ状態情報に従って前記オペレータの関与レベルを演算するようにする命令を含む用心度モジュールと、
前記1つ又は複数のプロセッサによって実行されたときに、前記1つ又は複数のプロセッサが、前記ビークルの自律的動作及び前記ビークルの周りの現在の動作環境に関する用心度を維持するように前記オペレータを促すために、前記ビークル内の拡張現実(AR)ディスプレイ上に、少なくとも1つのグラフィカル要素を前記関与レベルの関数としてレンダリングするようにする命令を含むレンダリングモジュールと、
を記憶するメモリと、
を備え、
前記レンダリングモジュールは、前記ARディスプレイ内におけるグラフィックオーバーレイとして前記ビークルのLIDARセンサからの点群データをレンダリングすることにより、前記少なくとも1つのグラフィカル要素をレンダリングするための命令を更に含む、
用心システム。 - 前記レンダリングモジュールは、前記ARディスプレイ上におけるオーバーレイとして、前記ビークルの1つ又は複数のセンサからのデータを使用して前記ARディスプレイ内において視覚化をレンダリングすることにより、前記少なくとも1つのグラフィカル要素をレンダリングするための命令を更に含み、
前記レンダリングモジュールは、前記現在の動作環境に関する自律運転モジュールの現在の決定及び状況的認知を示す前記自律運転モジュールの内部状態情報をレンダリングすることにより、前記少なくとも1つのグラフィカル要素をレンダリングするための命令を更に含み、前記自律運転モジュールは、SAEのレベル2分類に従って前記ビークルを制御する、
請求項1に記載の用心システム。 - 前記監視モジュールは、前記オペレータが現在注視している方向を識別する眼追跡カメラから少なくとも注視データを収集することにより、前記オペレータを監視するための命令を更に含み、前記注視データは、前記オペレータが所定の期間にわたって注視していた場所の経路を識別する眼の軌跡を更に含んでおり、
前記用心度モジュールは、前記オペレータが前記現在の動作環境に関与している統計的尤度として前記関与レベルを生成することにより、前記関与レベルを演算するための命令を更に含み、前記用心度モデルは、前記オペレータ状態情報及び前記現在の動作環境の関数として前記オペレータの可能性が高い用心度の低下を特徴付ける統計的モデルである、
請求項1に記載の用心システム。 - 前記用心度モジュールは、前記オペレータに従って前記レンダリングをカスタマイズするために、前記オペレータ状態情報と、前記少なくとも1つのグラフィカル要素に応じた、観察された前記オペレータの促された応答と、に従って、前記用心度モデルを更新するための命令を更に含む、
請求項1に記載の用心システム。 - 前記監視モジュール、前記用心度モジュール、及び前記レンダリングモジュールは、前記オペレータ状態情報を動的に更新するために、前記関与レベルを反復的に演算するために、且つ、前記関与レベルの観察された変化に従って前記少なくとも1つのグラフィカル要素の前記レンダリングを調節するために、フィードバックループを使用して、並列的に前記1つ又は複数のプロセッサ上で稼働し、
前記監視モジュール、前記用心度モジュール、及び前記レンダリングモジュールが並列的に稼働しつつ、前記ビークルがSAEのレベル2自律性に従って動作し、前記レンダリングモジュールは、前記ビークルが前記オペレータへの手動制御のハンドオーバを実行したときの前記オペレータの前記用心度を維持するために、前記少なくとも1つのグラフィカル要素をレンダリングするための命令を更に含む、
請求項1に記載の用心システム。 - 前記レンダリングモジュールは、前記関与レベルに従って前記少なくとも1つのグラフィカル要素の強調を調整するために前記少なくとも1つのグラフィカル要素の外観の特徴を変化させることにより、前記少なくとも1つのグラフィカル要素をレンダリングするための命令を更に含む、請求項1に記載の用心システム。
- ビークル内のオペレータの用心度の低下を軽減するための非一時的なコンピュータ可読媒体であって、1つ又は複数のプロセッサによって実行されたときに、前記1つ又は複数のプロセッサが、
前記ビークルの少なくとも1つのセンサを使用してオペレータ状態情報を収集することにより、前記オペレータを監視し、
前記オペレータによって現在経験されている用心度の低下の程度を特徴付けるために、用心度モデル及び前記オペレータ状態情報に従って前記オペレータの関与レベルを演算し、
前記ビークルの動作及び前記ビークルの周りの現在の動作環境に関する用心度を維持するように前記オペレータを促すために、前記ビークル内の拡張現実(AR)ディスプレイ上において、少なくとも1つのグラフィカル要素を前記関与レベルの関数としてレンダリングする、
ようにする命令を記憶しており、
前記少なくとも1つのグラフィカル要素をレンダリングするための前記命令は、前記ARディスプレイ内におけるグラフィックオーバーレイとして前記ビークルのLIDARセンサからの点群データをレンダリングするための命令を更に含む、
非一時的なコンピュータ可読媒体。 - 前記監視、演算、及びレンダリングするための命令は、前記オペレータ状態情報を動的に更新するために、前記関与レベルを反復的に演算するために、且つ、観察された前記関与レベルの変化に従って前記少なくとも1つのグラフィカル要素の前記レンダリングを調節するために、フィードバックループを使用することにより、並列的に前記1つ又は複数のプロセッサ上で稼働し、
前記監視、演算、及びレンダリングするための命令が並列的に前記1つ又は複数のプロセッサ上において稼働しつつ、前記ビークルがSAEのレベル2自律性に従って動作し、前記少なくとも1つのグラフィカル要素をレンダリングするための前記命令は、前記ビークルが前記オペレータへの手動制御のハンドオーバを実行したときの前記オペレータの前記用心度を維持する、
請求項7に記載の非一時的なコンピュータ可読媒体。 - 前記オペレータを監視するための前記命令は、前記オペレータが現在注視している方向を識別する眼追跡カメラから少なくとも注視データを収集するための命令を更に含み、前記注視データは、前記オペレータが所定の期間にわたって注視していた場所の経路を識別する眼の軌跡を更に含んでおり、
前記関与レベルを演算する前記命令は、前記オペレータが前記現在の動作環境に関与している統計的尤度として前記関与レベルを生成するための命令を更に含み、前記用心度モデルは、前記オペレータ状態情報及び前記現在の動作環境の関数として前記オペレータの可能性の高い用心度の低下を特徴付ける統計的モデルである、
請求項7に記載の非一時的なコンピュータ可読媒体。 - 前記少なくとも1つのグラフィカル要素をレンダリングするための前記命令は、前記ARディスプレイ上におけるオーバーレイとして、前記ビークルの1つ又は複数のセンサからのデータを使用して前記ARディスプレイ内において視覚化をレンダリングするための命令を含み、
前記少なくとも1つのグラフィカル要素をレンダリングするための前記命令は、前記現在の動作環境に関する自律運転モジュールの現在の決定及び状況的認知を示す前記自律運転モジュールの内部状態情報をレンダリングするための命令を含み、
前記自律運転モジュールは、SAEのレベル2分類に従って前記ビークルを制御する、
請求項7に記載の非一時的なコンピュータ可読媒体。 - 拡張現実(AR)ディスプレイを有するビークル内のオペレータの用心度の低下を軽減する方法であって、
前記ビークルの少なくとも1つのセンサを使用してオペレータ状態情報を収集することにより、前記オペレータを監視することと、
前記オペレータによって現在経験されている用心度の低下の程度を特徴付けるために、用心度モデル及び前記オペレータ状態情報に従って前記オペレータの関与レベルを演算することと、
前記ビークルの自律的動作及び前記ビークルの周りの現在の動作環境に関する用心度を維持するように前記オペレータを促すために、前記ARディスプレイ上に、少なくとも1つのグラフィカル要素を前記関与レベルの関数としてレンダリングすることと、
前記ARディスプレイ内におけるグラフィックオーバーレイとして前記ビークルのLIDARセンサからの点群データをレンダリングすることにより、前記少なくとも1つのグラフィカル要素をレンダリングすることと、
を含む方法。 - 前記オペレータを監視すること、前記関与レベルを演算すること、及び前記少なくとも1つのグラフィカル要素をレンダリングすることは、前記関与レベルを反復的に演算するために、且つ、促された前記オペレータの前記用心度に従って前記少なくとも1つのグラフィカル要素の前記レンダリングを調節するために、前記少なくとも1つのセンサからの更新済みのオペレータ状態情報のフィードバックループを使用して、並列的に稼働し、
前記監視すること、演算すること、及びレンダリングすることが並列的に稼働しつつ、前記ビークルがSAEのレベル2自律性に従って動作し、前記少なくとも1つのグラフィカル要素をレンダリングすることは、前記ビークルが前記オペレータへの手動制御のハンドオーバを実行したときの前記オペレータの前記用心度を維持する、
請求項11に記載の方法。
- 前記オペレータを監視することは、前記オペレータが現在注視している方向を識別する眼追跡カメラから少なくとも注視データを収集することを含み、前記注視データは、前記オペレータが所定の期間にわたって注視していた場所の経路を識別する眼の軌跡を更に含んでおり、
前記関与レベルを演算することは、前記オペレータが前記現在の動作環境に関与している統計的尤度として前記関与レベルを生成することを含み、前記用心度モデルは、前記現在の動作環境に従って前記オペレータ状態情報の関数として前記オペレータの可能性が高い用心度の低下を特徴付ける統計的モデルである、
請求項11に記載の方法。 - 前記オペレータに従って前記レンダリングすることをカスタマイズするために、前記オペレータ状態情報と、前記少なくとも1つのグラフィカル要素の前記レンダリングに従う観察された前記オペレータの促された応答と、に従って、前記用心度モデルを更新することを更に有する、請求項11に記載の方法。
- 前記少なくとも1つのグラフィカル要素をレンダリングすることは、前記ARディスプレイ上におけるオーバーレイとして、前記ビークルの前記1つ又は複数のセンサからのデータを使用して前記ARディスプレイ内において視覚化をレンダリングすることを更に含み、
前記少なくとも1つのグラフィカル要素をレンダリングすることは、前記現在の動作環境に関する自律モジュールの現在の決定及び状況的認知を示す前記自律モジュールの内部状態情報をレンダリングすることを更に含み、
前記自律モジュールは、SAEのレベル2分類に従って前記ビークルを制御する、
請求項11に記載の方法。 - 前記少なくとも1つのグラフィカル要素をレンダリングすることは、
前記関与レベルに従って前記少なくとも1つのグラフィカル要素の強調を調整するために前記少なくとも1つのグラフィカル要素の外観の特徴を変化させること、
を更に含む、請求項11に記載の方法。
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US15/586,347 | 2017-05-04 | ||
US15/586,347 US9904287B1 (en) | 2017-05-04 | 2017-05-04 | Systems and methods for mitigating vigilance decrement while maintaining readiness using augmented reality in a vehicle |
US15/867,321 | 2018-01-10 | ||
US15/867,321 US10095228B1 (en) | 2017-05-04 | 2018-01-10 | Systems and methods for mitigating vigilance decrement while maintaining readiness using augmented reality in a vehicle |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018206366A JP2018206366A (ja) | 2018-12-27 |
JP6959176B2 true JP6959176B2 (ja) | 2021-11-02 |
Family
ID=61225769
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018078945A Active JP6959176B2 (ja) | 2017-05-04 | 2018-04-17 | ビークルにおいて拡張現実を使用して準備完了度を維持しつつ用心度の低下を軽減するためのシステム及び方法 |
Country Status (3)
Country | Link |
---|---|
US (2) | US9904287B1 (ja) |
JP (1) | JP6959176B2 (ja) |
DE (1) | DE102018108200B4 (ja) |
Families Citing this family (23)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9846969B2 (en) * | 2014-12-01 | 2017-12-19 | Thinkware Corporation | Electronic apparatus, control method thereof, computer program, and computer-readable recording medium |
JP6683803B2 (ja) * | 2016-04-18 | 2020-04-22 | 本田技研工業株式会社 | 車両制御システム、車両制御方法、および車両制御プログラム |
US10332292B1 (en) * | 2017-01-17 | 2019-06-25 | Zoox, Inc. | Vision augmentation for supplementing a person's view |
CN107678162A (zh) * | 2017-10-25 | 2018-02-09 | 京东方科技集团股份有限公司 | 一种显示控制组件及其控制方法、平视显示系统、车辆 |
DE102017221488A1 (de) * | 2017-11-30 | 2019-06-06 | Volkswagen Aktiengesellschaft | Verfahren zur Anzeige des Verlaufs einer Trajektorie vor einem Fahrzeug oder einem Objekt mit einer Anzeigeeinheit, Vorrichtung zur Durchführung des Verfahrens sowie Kraftfahrzeug und Computerprogramm |
US10303045B1 (en) * | 2017-12-20 | 2019-05-28 | Micron Technology, Inc. | Control of display device for autonomous vehicle |
US10935974B1 (en) * | 2018-04-19 | 2021-03-02 | State Farm Mutual Automobile Insurance Company | Manual control re-engagement in an autonomous vehicle |
US11365975B2 (en) * | 2018-09-27 | 2022-06-21 | Honda Motor Co., Ltd. | Visual confirmation system for driver assist system |
US11150647B2 (en) * | 2019-03-27 | 2021-10-19 | Rapyuta Robotics Co., Ltd. | Congestion avoidance and common resource access management for multiple robots |
US11427216B2 (en) * | 2019-06-06 | 2022-08-30 | GM Global Technology Operations LLC | User activity-based customization of vehicle prompts |
EP3786919A1 (en) * | 2019-08-29 | 2021-03-03 | Aptiv Technologies Limited | Method and system for determining awareness data |
US11920326B2 (en) * | 2019-09-30 | 2024-03-05 | Husco International, Inc. | Systems and methods for determining control capabilities on an off-highway vehicle |
CN110920541B (zh) * | 2019-11-25 | 2023-09-22 | 的卢技术有限公司 | 一种基于视觉实现车辆自动控制的方法及系统 |
US11912307B2 (en) * | 2020-03-18 | 2024-02-27 | Waymo Llc | Monitoring head movements of drivers tasked with monitoring a vehicle operating in an autonomous driving mode |
US11513517B2 (en) * | 2020-03-30 | 2022-11-29 | Uatc, Llc | System and methods for controlling state transitions using a vehicle controller |
DE102020003018A1 (de) * | 2020-05-19 | 2021-11-25 | Daimler Ag | Verfahren zur Ermittlung einer Reaktionsfähigkeit |
KR20220037026A (ko) * | 2020-09-16 | 2022-03-24 | 현대자동차주식회사 | 증강 현실 기반의 정보 표시 장치 |
US11741836B2 (en) * | 2020-10-29 | 2023-08-29 | Toyota Motor Engineering & Manufacturing North America, Inc. | Methods and systems for performing correlation-based parking availability estimation |
DE102021101805A1 (de) | 2021-01-27 | 2022-07-28 | Bayerische Motoren Werke Aktiengesellschaft | Fahrerüberwachungssystem für kraftfahrzeug |
US11590845B2 (en) * | 2021-04-29 | 2023-02-28 | Toyota Research Institute, Inc. | Systems and methods for controlling a head-up display in a vehicle |
US11878707B2 (en) | 2022-03-11 | 2024-01-23 | International Business Machines Corporation | Augmented reality overlay based on self-driving mode |
US20230294514A1 (en) * | 2022-03-18 | 2023-09-21 | University Of North Texas | System and method for monitoring a state of a driver |
DE102022122781A1 (de) | 2022-09-08 | 2024-03-14 | Bayerische Motoren Werke Aktiengesellschaft | Verfahren zur automatisierten bereitstellung von medieninhalten |
Family Cites Families (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE19983911B4 (de) * | 1999-01-27 | 2018-09-06 | Compumedics Sleep Pty. Ltd. | Wachsamkeitsüberwachungssystem |
JP4735310B2 (ja) * | 2005-04-15 | 2011-07-27 | 株式会社デンソー | 走行支援装置 |
US7982620B2 (en) * | 2007-05-23 | 2011-07-19 | Toyota Motor Engineering & Manufacturing North America, Inc. | System and method for reducing boredom while driving |
JP2010149757A (ja) * | 2008-12-25 | 2010-07-08 | Toyota Motor Corp | 覚醒持続支援システム |
US20120224060A1 (en) * | 2011-02-10 | 2012-09-06 | Integrated Night Vision Systems Inc. | Reducing Driver Distraction Using a Heads-Up Display |
US9001153B2 (en) * | 2012-03-21 | 2015-04-07 | GM Global Technology Operations LLC | System and apparatus for augmented reality display and controls |
JP6345381B2 (ja) * | 2012-07-04 | 2018-06-20 | アルパイン株式会社 | 拡張現実システム |
JP5842857B2 (ja) * | 2013-04-08 | 2016-01-13 | 株式会社デンソー | 覚醒度改善装置 |
US9523984B1 (en) * | 2013-07-12 | 2016-12-20 | Google Inc. | Methods and systems for determining instructions for pulling over an autonomous vehicle |
DE102014219575A1 (de) * | 2013-09-30 | 2015-07-23 | Honda Motor Co., Ltd. | Verbesserte 3-Dimensionale (3-D) Navigation |
DE102014214516A1 (de) | 2014-07-24 | 2016-01-28 | Bayerische Motoren Werke Aktiengesellschaft | Vorrichtung und Verfahren zur Wiedergabe von Daten in einer erweiterten Realität für einen Insassen eines Fahrzeugs |
DE102014011264A1 (de) | 2014-07-28 | 2016-01-28 | GM Global Technology Operations LLC (n. d. Ges. d. Staates Delaware) | Verfahren zur Berechnung einer Rückholzeit |
GB201416311D0 (en) * | 2014-09-16 | 2014-10-29 | Univ Hull | Method and Apparatus for Producing Output Indicative of the Content of Speech or Mouthed Speech from Movement of Speech Articulators |
US20160109701A1 (en) | 2014-10-15 | 2016-04-21 | GM Global Technology Operations LLC | Systems and methods for adjusting features within a head-up display |
JP6565408B2 (ja) * | 2015-07-17 | 2019-08-28 | 日産自動車株式会社 | 車両制御装置及び車両制御方法 |
EP4246094A3 (en) | 2015-09-25 | 2023-12-27 | Apple Inc. | Augmented reality display system |
US20170161949A1 (en) * | 2015-12-08 | 2017-06-08 | GM Global Technology Operations LLC | Holographic waveguide hud side view display |
US9902311B2 (en) * | 2016-02-22 | 2018-02-27 | Uber Technologies, Inc. | Lighting device for a vehicle |
US9969326B2 (en) * | 2016-02-22 | 2018-05-15 | Uber Technologies, Inc. | Intention signaling for an autonomous vehicle |
KR101816415B1 (ko) | 2016-06-21 | 2018-02-21 | 현대자동차주식회사 | 시선 추적을 이용한 운전자 집중도 감시 장치 및 방법 |
-
2017
- 2017-05-04 US US15/586,347 patent/US9904287B1/en active Active
-
2018
- 2018-01-10 US US15/867,321 patent/US10095228B1/en active Active
- 2018-04-06 DE DE102018108200.2A patent/DE102018108200B4/de active Active
- 2018-04-17 JP JP2018078945A patent/JP6959176B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2018206366A (ja) | 2018-12-27 |
DE102018108200A1 (de) | 2018-11-08 |
DE102018108200B4 (de) | 2023-01-19 |
US10095228B1 (en) | 2018-10-09 |
US9904287B1 (en) | 2018-02-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6959176B2 (ja) | ビークルにおいて拡張現実を使用して準備完了度を維持しつつ用心度の低下を軽減するためのシステム及び方法 | |
US10037699B1 (en) | Systems and methods for motivating a driver according to behaviors of nearby vehicles | |
US11225266B2 (en) | Systems and methods for improving visual scanning behavior associated with controlling a vehicle | |
US10926773B2 (en) | Systems and methods for mitigating motion sickness in a vehicle | |
JP7087097B2 (ja) | オペレータのスキル軽減用のシステムおよび方法 | |
US20180229742A1 (en) | System and method for dynamic in-vehicle virtual reality | |
KR102471072B1 (ko) | 전자 장치 및 그 동작 방법 | |
CN108515973B (zh) | 向使用车辆座椅的乘员提供通知的系统和方法 | |
US11620419B2 (en) | Systems and methods for identifying human-based perception techniques | |
JP6555646B2 (ja) | 車両運転支援システム | |
US10720156B2 (en) | Co-pilot and conversational companion | |
US11292489B2 (en) | Systems and methods for information aggregation and event management in a vehicle | |
JP2018167773A (ja) | 車両運転支援システム | |
KR20190027657A (ko) | 차량의 주행을 보조하는 장치 및 방법 | |
CN113602282A (zh) | 车辆驾驶和监测系统及将情境意识维持在足够水平的方法 | |
US11151366B2 (en) | Systems and methods for occluding vehicle occupant communication | |
JP2020144417A (ja) | リスク取得システム、リスク表示システムおよびリスク取得プログラム | |
US12084080B2 (en) | Systems and methods for learning and managing robot user interfaces | |
US20230264697A1 (en) | Varying extended reality content based on driver attentiveness | |
US11787429B2 (en) | Vehicle sneeze control system and method | |
JP2023095744A (ja) | 情報表示方法及び情報表示装置 | |
JP2023122628A (ja) | 色を用いてヘッドライトを適応させるためのシステム及び方法 | |
JP2006267960A (ja) | 模擬運転装置における移動物体制御方法及び模擬運転装置における移動物体制御方式 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190226 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200526 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20200826 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20201119 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20210511 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210811 |
|
C60 | Trial request (containing other claim documents, opposition documents) |
Free format text: JAPANESE INTERMEDIATE CODE: C60 Effective date: 20210811 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20210819 |
|
C21 | Notice of transfer of a case for reconsideration by examiners before appeal proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C21 Effective date: 20210824 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210907 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20211007 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6959176 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |