TW201836888A - 確保運載工具中占有者意識 - Google Patents

確保運載工具中占有者意識 Download PDF

Info

Publication number
TW201836888A
TW201836888A TW107103652A TW107103652A TW201836888A TW 201836888 A TW201836888 A TW 201836888A TW 107103652 A TW107103652 A TW 107103652A TW 107103652 A TW107103652 A TW 107103652A TW 201836888 A TW201836888 A TW 201836888A
Authority
TW
Taiwan
Prior art keywords
program
occupant
vehicle
time range
programs
Prior art date
Application number
TW107103652A
Other languages
English (en)
Inventor
齊亞德 阿斯加爾
里根 布萊斯 塔沃爾
Original Assignee
美商高通公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 美商高通公司 filed Critical 美商高通公司
Publication of TW201836888A publication Critical patent/TW201836888A/zh

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/005—Handover processes
    • B60W60/0057—Estimation of the time available or required for the handover
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/0097—Predicting future conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/082—Selecting or switching between different modes of propelling
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W50/16—Tactile feedback to the driver, e.g. vibration or force feedback to the driver on the steering wheel or the accelerator pedal
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/005—Handover processes
    • B60W60/0053—Handover processes from vehicle to occupant
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/005—Handover processes
    • B60W60/0059—Estimation of the risk associated with autonomous or manual driving, e.g. situation too complex, sensor failure or driver incapacity
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3667—Display of a road map
    • G01C21/3676—Overview of the route on the road map
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/143—Alarm means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/221—Physiology, e.g. weight, heartbeat, health or special needs
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/225—Direction of gaze
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/229—Attention level, e.g. attentive to driving, reading or sleeping
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/24—Drug level, e.g. alcohol
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/26—Incapacity
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00—Input parameters relating to data
    • B60W2556/10—Historical data

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Traffic Control Systems (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Game Theory and Decision Science (AREA)
  • Medical Informatics (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)

Abstract

一般而言，本發明描述用於確保運載工具中占有者意識之技術。包含一處理器之一器件可經組態以執行該等技術。該處理器可經組態以判定將改變該運載工具之一操作特性的一事件，並判定在該預期事件之一估計發生之前剩餘的一時間範圍。該處理器亦可經組態以基於在該預期事件之該估計發生之前剩餘的經判定時間範圍而判定將該運載工具之一操作情形通知占有者所藉以的一程序，並執行將該運載工具之該操作情形通知該占有者所藉以的該程序。該器件亦可包括經組態以儲存該程序之一記憶體。

Description

確保運載工具中占有者意識
本發明係關於運載工具，且特定言之係關於恢復運載工具中之占有者意識。
運載工具日益變得自主程度更高。亦即，運載工具正開始執行在沒有任何占有者互動的情況下占有者通常將執行的任務。運載工具之自主層級已藉由通常指示未自動化之層級零直至層級四或五來界定，層級四或五可指個人僅需要指定完全自主運載工具將駛往之目的地的完全自主運載工具。 當前，大多數製造運載工具落在層級零與層級五之間。中間層級(例如，層級二至三)自主運載工具在使用自適應巡航控制、提供車道監視並執行自動化碰撞避免(通常藉由應用刹車)等操作運載工具時可執行通常由占有者執行的一些任務。 在中間層級自主運載工具中且甚至在完全自主(例如，層級四或五)運載工具中，當運載工具並未經裝備以處置之問題發生時，自主運載工具可將運載工具之控制轉變回至占有者。占有者可接著操作運載工具，直至問題已被克服。
一般而言，本發明描述用於進行以下操作之技術：恢復自主運載工具中之占有者意識，使得例如當運載工具未經裝備以處置之問題發生時，占有者可恢復執行運載工具之操作。 在一個實例中，本發明描述一種提供資訊以確保運載工具中之占有者意識的方法，該方法包含：藉由一或多個處理器判定將改變運載工具之操作特性的預期之事件，及藉由一或多個處理器判定在預期事件之估計發生之前剩餘的時間範圍。該方法亦包含藉由一或多個處理器基於在預期事件之估計發生之前剩餘的經判定時間範圍而選擇將運載工具之操作情形通知占有者所藉以的複數個程序中之一程序，及藉由一或多個處理器執行將運載工具之操作情形通知占有者所藉以的程序。 在一個實例中，本發明描述一種經組態以提供資訊以確保運載工具中之占有者意識的器件，該器件包含：一或多個處理器，其經組態以判定將改變運載工具之操作特性的預期之事件，及判定在預期事件之估計發生之前剩餘的時間範圍。該一或多個處理器經進一步組態以基於在預期事件之估計發生之前剩餘的經判定時間範圍而判定將運載工具之操作情形通知占有者所藉以的一程序，並執行將運載工具之操作情形通知占有者所藉以的該程序。該器件亦可包括經組態以儲存該程序之一記憶體。 在一個實例中，本發明描述一種經組態以提供資訊以確保運載工具中之占有者意識的器件，該器件包含：用於判定將改變運載工具之操作特性的預期之事件的構件，及用於判定在預期事件之估計發生之前剩餘的時間範圍的構件。該器件進一步包含用於基於在預期事件之估計發生之前剩餘的經判定時間範圍而判定將運載工具之操作情形通知占有者所藉以的一程序的構件，及用於執行將運載工具之操作情形通知占有者所藉以的該程序的構件。 在一個實例中，本發明描述一種其上儲存有指令之非暫時性電腦可讀儲存媒體，該等指令當經執行時使得一或多個處理器判定將改變運載工具之操作特性的預期之事件，判定在預期事件之估計發生之前剩餘的時間範圍，基於在預期事件之估計發生之前剩餘的經判定時間範圍而判定將運載工具之操作情形通知占有者所藉以的一程序，及執行將運載工具之操作情形通知占有者所藉以的該程序。 在以下隨附圖式及描述中闡述一或多個實例之細節。其他特徵、目標及優勢自描述、圖式及申請專利範圍將係顯而易見的。
由於自主運載工具之占有者變得更少地涉及於運載工具之操作中，因此占有者可變得分心及/或掉以輕心的，從而不花費比必要時間多的時間在駕駛任務上。然而，自主運載工具可將運載工具之控制轉移至占有者。舉例而言，當自主運載工具並未經裝備以處置之問題發生時，自主運載工具可將運載工具之控制轉移至占有者。取得控制權之占有者可被稱為「主占有者」，此係因為此占有者例如在自主運載工具可能不再安全地自主控制運載工具時主要負責取得控制權。 諸如當用以提供自動化之裝備歸因於天氣、故障及類似者失效時，將自主運載工具之控制轉變至主占有者可突然發生。控制至潛在地分心之主占有者的突然轉變可能並未向主占有者提供重新獲得安全地操作運載工具之足夠情形的時間。 當運載工具已使駕駛之某態樣自動化時，本發明中闡述之技術的各種態樣可促進恢復自主運載工具中之占有者意識。技術可藉由提供資訊至占有者確保(或在一些情況下，恢復)占有者意識，以使得主占有者及潛在地其他占有者可監視主占有者應突然(例如在幾分鐘或在一些情況下幾秒內)控制運載工具的當前駕駛情形。此駕駛情形可允許主占有者在接收到突然控制之後更安全地操作運載工具。 在一些實例中，技術之各種態樣可基於各種準則而適合占有者意識之恢復。舉例而言，技術可基於自主運載工具之控制的轉變(或換言之，交遞)的時間、占有者之當前狀態或觸發交遞事件之條件，或交遞之時間、占有者之狀態及觸發交遞事件之條件的類型的任何組合而恢復占有者意識。 圖1為說明經組態以執行本發明中所描述之占有者意識技術之各種態樣的實例自主運載工具10之組件的方塊圖。在圖1之實例中，自主運載工具10可表示經組態以使與運載工具10之操作相關聯之一或多個任務自動化的運載工具，包括使與運載工具10之操作相關聯之大部分任務(若非全部任務)自動化，使得占有者不必在大部分條件下保持運載工具10正在操作之情形的意識。 自主運載工具10在以下描述中假設為汽車。然而，描述於本發明中之技術可應用於能夠運送一或多個占有者並自主地操作的任何類型之運載工具，諸如機車、公共汽車、休旅車(RV)、半掛車卡車、牽引車或其他類型之農場裝備、火車、飛機、直升機、無人機、個人運輸運載工具及類似者。 在圖1之實例中，自主運載工具10包括處理器12、圖形處理單元(GPU) 14，及系統記憶體16。在一些實例中，處理器12及GPU 14可形成為積體電路(IC)。舉例而言，IC可被認為是晶片封裝內之處理晶片，且可為系統單晶片(SoC)。 處理器12及GPU 14之實例可包括固定功能處理電路及/或可程式化處理電路，且可包括(但不限於)一或多個數位信號處理器(DSP)、通用微處理器、特殊應用積體電路(ASIC)、場可程式化邏輯陣列(FPGA)，或其他等效整合式或離散邏輯電路。處理器12可為自主運載工具10之中央處理單元(CPU)。在一些實例中，GPU 14可為包括整合式及/或離散邏輯電路之專用硬體，該整合式及/或離散邏輯電路向GPU 14提供適合於圖形處理之大規模並行處理能力。在一些情況下，GPU 14亦可包括通用處理能力，且在實施通用處理任務(亦即，非圖形相關任務)時可被稱作通用GPU (GPGPU)。 處理器12可執行各種類型之應用程式。應用程式之實例包括導航應用程式、運載工具控制應用程式、排程應用程式、安全應用程式、網頁瀏覽器、電子郵件應用程式、電子試算表、視訊遊戲，或產生可檢視物件以供顯示的其他應用程式。系統記憶體16可儲存指令以供一或多個應用程式執行。應用程式於處理器12上之執行使得處理器12產生針對待顯示之影像內容之圖形資料。處理器12可將影像內容之圖形資料傳輸至GPU 14以基於處理器12傳輸至GPU 14之指令或命令而進一步處理。 處理器12可根據特定應用程式處理介面(API)與GPU 14通信。此類API之實例包括Microsoft® 之DirectX® ，Khronos集團之OpenGL® 或OpenGL ES® 以及OpenCLTM ；然而，本發明之態樣不限於DirectX、OpenGL或OpenCL API，且可擴展至其他類型之API。此外，本發明中描述之技術並不被要求以根據API起作用，且處理器12及GPU 14可利用用於通信之任何技術。 系統記憶體16可為運載工具10之記憶體。系統記憶體16可包含一或多個電腦可讀儲存媒體。系統記憶體16之實例包括(但不限於)隨機存取記憶體(RAM)、電可抹除可程式化唯讀記憶體(EEPROM)、快閃記憶體，或可用以攜載或儲存呈指令及/或資料結構之形式的所要程式碼並可由電腦或處理器存取的其他媒體。 在一些態樣中，系統記憶體16可包括使處理器12執行在本發明中歸於處理器12之功能之各種態樣的指令。因此，系統記憶體16可為其上儲存有指令之電腦可讀儲存媒體，該等指令當經執行時使得一或多個處理器(例如處理器12)執行各種功能。 系統記憶體16為非暫時性儲存媒體。術語「非暫時性」指示儲存媒體並不以載波或傳播信號體現。然而，術語「非暫時性」不應解釋成意謂系統記憶體16為非可移動或其內容為靜態。作為一個實例，可自自主運載工具10移除系統記憶體16，並將其移動至另一器件。作為另一實例，可將實質上類似於系統記憶體16之記憶體插入至自主運載工具10中。在某些實例中，非暫時性儲存媒體可儲存可隨著時間推移改變的資料(例如在RAM中)。 如圖1之實例中進一步展示，自主運載工具10可包括顯示器20及使用者介面22。顯示器20可表示影像可投影於上面之任何類型之被動反射螢幕，或能夠投影影像之主動反射、發射或透射式顯示器(諸如，發光二極體(LED)顯示器、有機LED (OLED)顯示器、液晶顯示器(LCD)或任何其他類型之主動顯示器)。儘管展示為包括單一顯示器20，但自主運載工具10可包括可遍及自主運載工具10之座艙定位之複數個顯示器。在一些實例中，被動型式之顯示器20或某些類型之主動型式顯示器20(例如，OLED顯示器)可整合於座椅、工作台、車頂襯裡、底板、窗戶中(或在無窗或具有很少窗戶、壁情況下整合於運載工具中)或自主運載工具之座艙的其他態樣中。當顯示器20表示被動顯示器時，顯示器20亦可包括投影儀或能夠將影像投影或以其他方式重新產生於被動顯示器20上的其他影像投影器件。 顯示器20亦可表示與自主運載工具10有線或無線通信之顯示器。顯示器20可例如表示計算器件，諸如膝上型電腦、抬頭顯示器、頭戴式顯示器、擴增實境計算器件或顯示器(諸如，「智慧型眼鏡」)、虛擬實境計算器件或顯示器、行動電話(包括所謂的「智慧型手機」)、平板電腦、遊戲系統，或能夠充當整合於自主運載工具10中之顯示器的擴展或替代整合於該自主運載工具中之顯示器的另一類型之計算器件。 使用者介面22可表示使用者可介接以控制自主運載工具10之各種功能性的任何類型之實體或虛擬介面。使用者介面22可包括實體按鈕、旋鈕、滑動塊或其他實體控制實施。使用者介面22亦可包括虛擬介面，藉此自主運載工具10之占有者作為一個實例經由觸敏式螢幕或經由無觸碰介面與虛擬按鈕、旋鈕、滑動塊或其他虛擬介面元件互動。占有者可與使用者介面22介接以控制以下各者中之一或多者：自主運載工具10內之氣溫、自主運載工具10之音樂播放、自主運載工具10之視訊播放、經由自主運載工具10之傳輸(諸如，蜂巢式電話呼叫、視訊會議呼叫及/或網頁會議呼叫)，或能夠由自主運載工具10執行之任何其他操作。 使用者介面22亦可表示在充當整合於自主運載工具10中之顯示器之擴展或替代該顯示器時擴展至顯示器20的介面。亦即，使用者介面22可包括經由以上提及之HUD、擴增實境計算器件、虛擬實境計算器件或顯示器、平板電腦或上文列出之不同類型之擴展顯示器中之任何其他者呈現的虛擬介面。 在自主運載工具10之情形下，使用者介面22可進一步表示用於手動或半手動地控制自主運載工具10之實體元件。舉例而言，使用者介面22可包括用於控制自主運載工具10之行進方向的一或多個方向盤、用於控制自主運載工具10之行進速率的一或多個踏板、一或多個手刹等。 自主運載工具10可進一步包括一自主控制系統24，其表示經組態以自主地操作運載工具10之一或多個態樣而不需要自主運載工具10之占有者干預的系統。自主控制系統24可包括各種感測器及單元，諸如全球定位系統(GPS)單元、一或多個加速度計單元、一或多個陀螺儀單元、一或多個羅盤單元、一或多個雷達單元、一或多個雷射雷達(其指光偵測及測距)單元、一或多個攝影機、用於量測運載工具10之各種態樣的一或多個感測器(諸如方向盤扭矩感測器、方向盤抓握感測器、一或多個踏板感測器、輪胎感測器、胎壓感測器)，及可輔助運載工具10之自主操作的任何其他類型之感測器或單元。 就此而言，自主控制系統24可控制運載工具10之操作，從而允許占有者參與不與運載工具10之操作相關之任務。隨著自主運載工具10之占有者變得較少地涉及於運載工具10之操作中，占有者可變得分心及/或掉以輕心，從而不再花費比必要時間多的時間在駕駛任務上。然而，當自主運載工具10並未經裝備以處置之問題發生時，自主運載工具10可將運載工具10之控制轉移至占有者。取得控制權之占有者可被稱為「主占有者」，此係因為此占有者在自主運載工具10可能不再安全地自主控制運載工具10時主要負責取得控制權。 諸如當由自主控制系統24使用之裝備歸因於天氣、故障及類似者失效時，將自主運載工具10之控制轉變至主占有者可突然發生。控制至潛在地分心之主占有者的突然轉變可能並未向主占有者提供重新獲得安全地操作運載工具10之足夠情形的時間。 轉移控制可指將控制之職責返回至占有者，使得占有者指導運載工具10之操作(例如，使用方向盤、踏板及傳統運載工具中之其他實施；或使用各種非傳統介面，諸如允許加速、制動及操縱的虛擬介面)。轉移控制取決於環境亦可為僅控制的部分轉移。舉例而言，允許判定行進速率的感測器可能失效，但用於操縱及導航的所有其他自主控制系統可係可操作的。在此實例中，運載工具10可轉移加速及制動之控制但保持操縱及導航的控制。因而，當一或多個自主執行之操作的職責被轉移至占有者時，運載工具10可轉移運載工具10之操作的控制。 根據在本發明中描述之技術的各種態樣，自主運載工具10可藉由(作為一個實例)提供資訊而確保占有者意識，以使得主占有者及潛在地其他占有者可監視主占有者應突然控制運載工具10的當前駕駛情形。此類駕駛情形可在將控制自自主控制系統24轉移至主占有者後允許主占有者更安全地操作運載工具。 在操作中，處理器12可判定運載工具之主占有者將被告知的事件。在自主運載工具10能夠控制運載工具10之操作的情形下，處理器12可在自主控制系統24當前自主地控制運載工具10之操作時判定自主控制系統24不能繼續自主地控制運載工具10之操作。當自主控制系統24判定運載工具10之自主控制不再可行時(例如，假定一或多個感測器失效、惡劣天氣發生，或可妨礙由自主控制系統24成功操作運載工具10之某其他因數)，自主控制系統24可向處理器12指示預期事件即將發生，其中此預期事件可包括將改變操作特性的某事件(諸如，是自主控制系統24抑或占有者負責控制運載工具10)。作為一個實例，預期事件可包括將運載工具10之操作的控制轉移至主占有者。控制事件之轉移亦可被稱作「交遞事件」，其中控制自自主控制系統24轉移至主占有者可被稱為「交遞」。 自主控制系統24可在發信交遞事件之前判定在預期交遞事件之前剩餘的時間範圍。自主控制系統24可基於任何數目個因數判定時間範圍，該等因數包括以下各者中之一或多者：在感測器失效影響運載工具10之自主控制之前的預測時間、在惡劣天氣被預測將開始可能影響操作特性(亦即，在此實例中運載工具10之自主控制)之前的時間，等。當發信交遞事件時，自主控制系統24亦可向處理器12指示在預期交遞事件之估計發生之前剩餘的時間範圍。以此方式，處理器12可判定在預期交遞事件之估計發生之前剩餘的時間範圍。 處理器12接下來可基於在直至交遞事件之前剩餘的經判定時間範圍判定恢復運載工具10之操作情形的意識所藉以的程序。換言之，處理器12可基於在預期交遞事件之估計發生之前剩餘的經判定時間範圍判定將運載工具10之操作情形通知占有者所藉以的程序。處理器12亦可基於額外因數判定恢復運載工具10之操作情形的意識所藉以的程序。舉例而言，處理器12亦可判定主占有者是否能夠當在預期交遞事件之前剩餘的時間範圍時控制運載工具10。作為另一實例，處理器12可判定占有者之機警性的層級，及/或觸發預期交遞事件之條件。因而，處理器12可基於以下各者中之一或多者判定將操作情形通知占有者的程序：在預期交遞事件之前剩餘的經判定時間範圍、主占有者是否將能夠在預期交遞事件之估計發生時控制運載工具10、占有者之機警性的層級及/或觸發預期交遞事件之條件。 為了促進基於額外因數(諸如，占有者是否將能夠控制運載工具10，及占有者之意識的層級)判定占有者，運載工具10可包括經組態以監視占有者之占有者追蹤單元26。占有者追蹤單元26可表示經組態以追蹤主占有者(及運載工具10之潛在地其他占有者)以判定主占有者是否將能夠控制運載工具10的單元。 在判定主占有者是否將能夠在預期交遞事件之估計發生時控制運載工具10時，占有者追蹤單元26可判定主占有者之意識的層級(或換言之意識層級)。意識層級可指示運載工具10之操作情形的主占有者之意識的層級。 意識層級亦可稱為或指示主占有者之狀態。因而，意識層級可表示在判定主占有者總體狀態中的一個因數。舉例而言，處理器12可基於意識層級判定主占有者接管運載工具之控制的能力。當主占有者歸因於如經由指示聚焦方位之反覆降低及頭部低垂的眼睛追蹤判定的睡眠剝奪(作為一個實例)而喪失能力時，機警性層級可為在判定在交遞事件經判定發生所在的時間主占有者不能接管運載工具10之控制中的控制因數。 換言之，處理器12可相對於臨限機警性層級判定主占有者之機警性層級。當機警性層級低於臨限機警性層級一經判定數量(例如低於臨限機警性層級20%或更大)時，處理器12可判定主占有者不能在預期交遞事件之前剩餘的經判定時間範圍內取得運載工具10之控制權。然而，當機警性層級在臨限機警性層級之某裕度內(例如在臨限機警性層級之20%內)時，處理器12可判定主占有者能夠在預期交遞事件之前恢復執行運載工具10之控制。 關於主占有者是否能夠在交遞事件之估計發生之前恢復執行運載工具10之控制的經判定裕度可基於在預期交遞事件之前剩餘的時間範圍而變化。亦即，處理器12可判定當在預期交遞事件之估計發生之前存在較少剩餘時間時減少裕度，且當預期交遞事件之估計發生之前存在較多剩餘時間時增加裕度。因而，處理器12可基於在預期交遞事件經判定發生之前剩餘的時間範圍、主占有者是否能夠在預期交遞事件之估計發生之前接管運載工具10之控制，及主占有者是否經判定為足夠機警(例如，經判定機警性層級係在低於機警性臨限層級之裕度內)之間的互相作用判定程序。 為判定意識層級，占有者追蹤單元26可包括攝影機或經組態以俘獲主占有者之一或多個影像的其他影像俘獲器件。占有者追蹤單元26可定位攝影機(例如，旋轉攝影機至特定方位角及高度)以允許隨著主占有者圍繞運載工具10之座艙移動而俘獲主占有者的影像。 使用攝影機，占有者追蹤單元26可執行關於描繪主占有者之影像的眼睛追蹤(其亦可被稱作「凝視追蹤」)中之一或多者。關於眼睛追蹤之更多資訊可在以下各者中找到：Krafka等人之註明日期為2016年5月5日之題為「Eye Tracking for Everyone」的論文，及Kim等人之註明日期為1999年10月12日至15日的題為「Vision-Based Eye-Gaze Tracking for Human Computer Interface」之論文。 大體而言，眼睛追蹤經由使用藉由紅外及/或近紅外非準直光之投影產生的角膜反射追蹤光瞳之移動。因而，占有者追蹤單元26可包括紅外及/或近紅外光源以產生類似於通常被稱為影像中之「紅眼」之效應的明亮光瞳效應。占有者追蹤單元26通常可追蹤主占有者且接著在主占有者之面部或眼睛上放大以俘獲占有者之至少一隻眼睛的影像，同時用紅外及/或近紅外光源照射眼睛。角膜反射之範圍依據亮度在占有者之眼睛的影像中表示出。光瞳的在眼睛之影像中之亮度指示光瞳如何直接地聚焦於紅外及/或近紅外光源上，其中較高亮度指示更直接聚焦。自光瞳之此亮度，占有者追蹤單元26可判定主占有者正凝視之方位。 儘管占有者追蹤單元26經描述為執行眼睛追蹤，但占有者追蹤單元26可僅僅執行上文所描述的眼睛追蹤之態樣。舉例而言，占有者追蹤單元26通常可追蹤主占有者，從而俘獲占有者之眼睛的影像，同時以便於產生角膜反射之方式導引紅外及/或近紅外光源。占有者追蹤單元26接下來可提供占有者之眼睛的影像至處理器12以用於判定意識層級。 假設占有者追蹤單元26判定機警性層級，占有者追蹤單元26可提供該經判定意識層級至處理器12。基於意識層級，處理器12可判定主占有者是否將能夠在交遞事件之估計發生時控制運載工具10。 儘管描述為基於對主占有者之眼睛及/或頭部之分析判定主占有者感知操作情形(在本發明中其亦可被稱作「駕駛情形」)所達到的範圍，但處理器12可使判定基於額外資訊，該額外資訊包括主要占有者偵測到之心跳速率、主要占有者之經判定之疲勞(經由偵測更頻繁眨眼或經判定之聚焦位置之恆定降低的眼睛追蹤、偵測呵欠之主要占有者影像等)或任何其他影像分析及/或感測器信號分析，包括評估主占有者之飲酒的分析等。 當指示在預期交遞事件之估計發生之前剩餘的時間範圍時，自主控制系統24亦可判定觸發預期交遞事件之條件。舉例而言，自主控制系統24可依據係使用攝影機在視覺上抑或經由非視覺感測器(諸如道路感測感測器、輪胎感測器、天氣感測器及類似者)偵測到此條件來判定來源或條件。自主控制系統24可在指定在預期交遞事件之前剩餘的時間範圍時、在提供在交遞事件之前剩餘的時間範圍之後及/或之前提供經判定條件。處理器12可接收交遞事件，且因而判定觸發交遞事件之條件。 處理器12可基於前述因數判定程序之任何組合，且執行經判定程序以將運載工具10之操作情形通知主占有者(且藉此潛在地增加主占有者之意識)。儘管關於圖2及圖3更詳細地描述，但作為一個實例，處理器12可判定其中當在預期交遞事件之發生之前的時間範圍在約數十秒之臨限值內，主占有者已經判定能夠控制運載工具10，意識層級低於臨限意識層級但在意識裕度內，且觸發事件之條件為來自感測過度粗糙道路條件之感測器之非視覺時運載工具10進入觸覺協作駕駛模式的程序。 處理器12可與自主控制系統24介接以進入觸覺協作駕駛模式，請求主占有者將他或她的手置放於方向盤上。在觸覺協作駕駛模式期間，自主控制系統24可經由方向盤中之觸覺反饋傳達道路之粗糙度，同時亦指示主占有者將操控方向盤至哪一側以繼續行進至指定目的地。 就此而言，當運載工具已使駕駛之某態樣自動化時，本發明中闡述之技術的各種態樣可促進自主運載工具中之占有者意識。技術可基於在預期事件之估計發生之前剩餘的時間範圍(及可能當預期交遞事件發生時主占有者是否能夠控制運載工具10之判定，及/或主占有者之經判定意識層級)自適應地選擇用以將操作情形通知占有者的程序。操作情形之恢復可允許主占有者在接收到控制之後更安全地操作運載工具。 儘管描述為由處理器12執行，但描述於本發明中之技術的各種態樣可由GPU 14或處理器12及GPU 14之組合來執行。因此，上文對處理器12之參考可理解為指一或多個處理器，其可包括處理器12、GPU 14、處理器12與GPU 14之組合或各種處理器的任何組合，其中一些可能未展示於圖1之實例中。 此外，儘管描述為在具有運載工具10之操作之自主控制能力的運載工具10之情形下執行，但本發明中描述之技術可應用於任何類型之運載工具而不管是否具有自主控制的能力。亦即，無法自主地駕駛運載工具之一級運載工具可執行在本發明中描述之技術。因而，技術不應限制於自主運載工具。 圖2為更詳細地說明圖1之運載工具10之各種態樣的方塊圖。在圖2之實例中，自主控制系統24包括操作情形單元30。操作情形單元30可表示經組態以基於來自機載感測器(包括攝影機、輪胎感測器、道路條件感測器、天氣感測器等)之輸入及其他資訊(諸如經由區域網路(LAN)(包括無線LAN、蜂巢式網路、運載工具間網路或通信及類似者)接收之資訊)評估操作情形的單元。 舉例而言，操作情形單元30可接受來自機載感測器之輸入及關於交通條件(例如識別不可預見地操作之運載工具)、道路條件(例如識別車道封閉、墜落碎片等)及天氣(例如識別或預測具有低可見度之惡劣天氣)之其他資訊。作為又其他實例，操作情形單元30可接受來自機載感測器之輸入及關於運載工具10(例如識別通信、系統及/或感測器失效)、占有者(例如識別關於主占有者之醫療緊急情況)及安全系統(例如識別可能撤離等)的其他資訊。 操作情形單元30可基於來自機載感測器之輸入及其他資訊判定在交遞事件之前剩餘的時間範圍(其中輸入通常可指來自機載感測器之任何輸入或來自其他源(諸如上文所列的各種網路或通信)之資訊)。操作情形單元30可將在預期交遞事件之估計發生之前的時間範圍作為剩餘時間資訊31提供至處理器12。操作情形單元30亦可將觸發交遞事件之條件以及預期交遞事件將發生之指示作為條件資訊33提供至處理器12。 如圖2之實例中進一步所展示，占有者追蹤單元26可包括表示經組態以判定主占有者之意識層級的單元之占有者意識單元34。占有者意識單元34可與追蹤或以其他方式監視主占有者之各種感測器(包括攝影機)介接。占有者意識單元34可接收來自眼睛及頭部追蹤單元之眼睛及頭部追蹤資訊、來自心跳速率監視感測器之心跳速率資訊、來自呼吸速率追蹤感測器之呼吸速率及類似者，且基於此資訊判定主占有者當前正睡眠。 占有者意識單元34亦可利用追蹤主占有者之歷史資料來判定(作為一些實例)主占有者已睡眠之持續期間、當前睡眠週期(例如深度快速眼睛移動(REM)睡眠、預REM淺睡眠等)及主占有者之狀態的其他態樣(包括酒精性飲料之食用)以判定意識層級。占有者意識單元34可將經判定意識層級作為意識層級資訊35提供至處理器12。 亦如圖2之實例中所展示，處理器12可包括表示經組態以基於資訊31、資訊33及資訊35選擇用以將運載工具10之當前操作情形通知主占有者之程序的單元之程序選擇單元36。程序選擇單元36可首先判定臨限機警性層級37(「TAL 37」)。在一些實例中，程序選擇單元36可組態有不適應當前操作情形之靜態TAL 37，且因此界定操作運載工具10所要求的主占有者之最小意識層級。 在其他實例中，程序選擇單元36可基於剩餘時間資訊31、條件資訊33及/或其他資訊(諸如當日時間、當前天氣條件、當前交通條件、運載工具10正在上面操作的道路之類型等)自適應地判定TAL 37。舉例而言，處理器12可判定在運載工具10正在幾乎沒有交通之相對偏遠道路上行進時之胎壓監視感測器失效可並不需要高達在具有中至高交通層級之州際道路上之GPS感測器失效所需要之TAL 37。 程序選擇單元36亦可判定意識裕度39(「AM 39」)。此外，在一些實例中，程序選擇單元36可預先組態有AM 39，其中此靜態AM 39可表示來自TAL 37之對於在交遞事件之估計發生之前剩餘的任何時間範圍可接受的最大裕度。對於較高靜態AM 39，程序選擇單元36可經組態以在比對於較低靜態AM 39而組態的剩餘時間範圍更長的在交遞事件之估計發生之前剩餘的時間範圍內執行預設程序(其可包括導航道路之側並停止或在不導航至道路之側的情況下停止)。 換言之，較高機警性裕度可需要更多時間來確保意識，此可導致程序選擇單元36判定預設程序將在預期交遞事件之時間在較高時間層級(例如，數十秒或分鐘)處時被執行。對比而言，較低機警性裕度可需要更少時間來確保意識，此可導致程序選擇單元36判定預設程序將在預期交遞事件之時間在較低時間層級(例如，數秒而非數十秒，或數十秒而非數分鐘)處時被執行。 在其他實例中，程序選擇單元36可基於剩餘時間資訊31自適應地判定AM 39，當剩餘時間資訊31指示在預期交遞事件之估計發生之前的更多時間時判定較高AM 39，及當剩餘時間資訊31指示在預期交遞事件之估計發生之前的較少時間時判定較低AM 39。就此而言，程序選擇單元36可判定AM 39。程序選擇單元36可在判定TAL 37及AM 39之後，執行用於如關於圖3之實例更詳細地概述的程序之選擇的演算法。 儘管圖2之實例中未展示，但自主控制系統24亦可包括表示經組態以向主占有者提示交遞之單元的駕駛準備單元。駕駛準備單元可在通知主占有者準備交遞時執行運載工具10之操作之一或多個態樣至主占有者的交遞。 圖3為說明根據本發明中描述之技術的各種態樣的藉由圖2之程序選擇單元36在選擇用以將運載工具10之操作情形通知占有者的程序時執行的實例操作之圖。程序選擇單元36可首先比較意識層級(「AL」，其可指由意識資訊35界定的意識層級之另一方式)與TAL 37。當AL大於(或在一些實例中，大於或等於)TAL 37時，程序選擇單元36可判定主占有者能夠在預期交遞事件發生之估計時間時控制運載工具10，並在操作情形恢復後對操作運載工具10充分機警，且繼續基於條件資訊33選擇程序。 然而，當AL不大於(或在一些實例中，不大於或等於)TAL 37時，程序選擇單元36可藉由(作為一個實例)比較AL與TAL 37減去AM 39判定當預期交遞事件發生時主占有者是否將能夠控制運載工具10。程序選擇單元36可在AL大於TAL 37減去AM 39但小於TAL 37時判定當預期交遞事件發生但對當前操作運載工具10尚不足夠機警時主占有者將能夠控制運載工具10。 當AL小於TAL 37但大於TAL 37減去AM 39時，程序選擇單元36可發出音訊警示、視訊警示及/或觸覺警示中之一或多者以試圖提高主占有者之AL使得AL大於TAL 37。當AL小於TAL 37-AM 39時，程序選擇單元36可判定主占有者不能夠在預期交遞事件發生所在之時間處控制運載工具10。回應於判定主占有者不能夠在預期交遞事件發生所在之時間處控制運載工具10，程序選擇單元36可選擇預設程序41A(「def proc 41A」)。 當AL小於TAL 37但大於TAL 37減去AM 39時且結合音訊、視覺、及/或觸覺警示或在發出音訊、視覺、及/或觸覺警示之後，程序選擇單元36可判定如由剩餘時間資訊31指示的在預期交遞事件之估計發生之前剩餘的時間範圍是否大於一秒數(如由臨限值所界定)。當剩餘時間範圍不大於以秒級界定之某一臨限值時，程序選擇單元36可判定不存在充足時間來提高主占有者之AL並判定預設程序41A將被執行。 當剩餘時間範圍大於以秒級界定之臨限值時，程序選擇單元36可基於條件資訊33選擇程序41之類別(其可指確保占有者意識所藉以之所有程序)。程序選擇單元36可如藉助於視訊、音訊及/或觸覺程序41所較好說明分類各種條件。 可較好適合於視訊程序41的觸發預期交遞事件之條件包括偵測到沿著與運載工具10相同之道路，但並不按描述或由自主控制系統24之轉譯系統所分析的方式行進之運載工具的不穩定操作。可較好適合於視訊程序41之另一實例條件可包括其中自主控制系統24不能識別障礙周圍之路線的情況，其中自主控制系統24可能夠產生用於顯示之突出顯示障礙及可能路徑的影像及/或視訊。換言之，自主控制系統24可識別其中觸發交遞事件之條件之視訊或影像係可用的條件，其中該條件無法有效地自感測器輸出轉譯成普通口頭語言。 作為一個實例，較好適合於音訊程序41之條件包括當高速公路之出口不久到達且自主控制系統24已判定預期交遞事件將在到達出口時發生時。適合於音訊程序41之條件的另一實例包括經由運載工具至運載工具鏈路經由通信傳達至自主控制系統24的交通，其中通信指示其中交通發生(例如，經由GPS座標或英里標記)但不包括交通之任何影像或視訊。換言之，自主控制系統24可識別可有效地自感測器輸出轉譯成普通口頭語言的條件及/或存在不充足視訊或影像所針對的條件。 作為一個實例，較好適合於觸覺程序41之條件包括關於可難以在視覺上或口頭上傳達之道路粗糙度的條件。較好適合於觸覺程序41之另一實例條件包括關於歸因於道路上之雪或冰之滑動量的條件，其可經由視訊或音訊程序41清楚地傳達。就此而言，自主控制系統24可將觸覺條件說明為不能經由視訊或音訊程序容易地表達，但可藉助於觸覺經由方向盤或主占有者坐在其中之座椅傳達的條件。 基於前述條件資訊33，程序選擇單元36可選擇程序41A至41N(「程序41」)中之一者。此外，程序選擇單元36可基於臨限值43A至43D分類程序41，臨限值將程序41有效地分類成適合於不同時間層級(例如，藉助於第一臨限值43A之數秒，藉助於第二臨限值43B之數十秒，藉助於第三臨限值43C之數分鐘，藉助於第四臨限值43D之數十分鐘)的程序。 在圖3中展示之實例分類中，程序選擇單元36可在交遞之前之時間為約數秒時將程序41A至41D分類為可適合於恢復主占有者意識(藉助於例如將操作情形通知主占有者)之秒級程序41。音訊、視訊及/或觸覺警示程序41B(「A/V/H警示41B」)可表示自主控制系統24發出音訊、視覺及/或觸覺警示至主占有者所藉以的程序。程序選擇單元36可基於條件資訊33選擇音訊、視訊及/或觸覺警示中之哪一者來發出。音訊查詢程序41C可表示處理器12與使用者介面22介接以發出音訊查詢從而提供資訊至主占有者所藉以的程序。觸覺協作駕駛模式程序41D表示自主控制系統24與使用者介面22介接以經由方向盤、座椅或主占有者可與其相互作用的其他表面(包括平板電腦、智慧型電話或能夠觸覺反饋之其他器件)發出觸覺反饋(其指導正在控制運載工具10之操作的主占有者)所藉以的程序。 程序選擇單元36可在剩餘時間資訊31指示在預期交遞事件之前剩餘的時間範圍低於(或在一些實例中低於或等於)第一臨限值43A時選擇數秒級程序41中之任一者。程序選擇單元36可基於條件資訊33選擇數秒級程序41中之一或多者，從而使數秒級程序41之選擇適合於觸發交遞事件之條件。在圖3之實例中，程序選擇單元36可將預設程序41A分類為獨立條件，將音訊、視訊及/或觸覺警示程序41B分類為所有音訊、視訊及觸覺程序，將音訊查詢程序41C分類為音訊程序，且將觸覺協作駕駛模式程序41D分類為觸覺程序。 程序選擇單元36可在交遞之前的時間為約數十秒時將程序41D至41G分類為可適合於恢復主占有者意識(藉助於例如將操作情形通知主占有者)的數十秒級程序41。受限制擴增實境程序41E(「LTD AR 41E」)可表示處理器12及/或自主控制系統24可與使用者介面22介接以呈現受限制數量擴增實境以經由藉由主占有者穿戴之抬頭顯示器或耳機呈現關於觸發預期交遞事件之條件的標記所藉以的程序。視訊概述程序41F(「VID SUM 41F」)可表示處理器12及/或自主控制系統24與使用者介面22介接以經由顯示器20呈現觸發交遞事件之條件及/或運載工具10之操作情形的視訊概述所藉以的程序。敍述概述程序41G(「NAR SUM 41G」)可表示處理器12及/或自主控制系統24與使用者介面22介接以呈現觸發預期交遞事件之條件及/或運載工具10之操作情形的音訊敍述所藉以的程序。 程序選擇單元36可在剩餘時間資訊31指示在交遞之前剩餘的時間範圍低於(或在一些實例中低於或等於)第二臨限值43B時選擇數十秒級程序41中之任一者。程序選擇單元36可基於條件資訊33選擇數十秒級程序41中之一或多者，從而使數秒級程序41之選擇適合於觸發交遞事件之條件。在圖3之實例中，程序選擇單元36可將觸覺協作駕駛模式程序41D分類為觸覺程序，將受限制AR程序41E及視訊概述程序41F分類為視訊程序，且將敍述概述程序41G分類為音訊程序。 程序選擇單元36可在交遞之前之時間為約數分鐘時將程序41G至41K分類為可適合於恢復主占有者意識(藉助於例如將操作情形通知主占有者)的數分鐘級程序41。360度快照程序41H(「360 SNAP 41G」)可表示處理器12及/或自主控制系統24可與使用者介面22介接以經由顯示器20呈現觸發交遞事件之條件及/或運載工具10之操作情形的360度視訊或影像(其亦可被稱作「快照」)所藉以的程序。具有音訊敍述之視訊程序41I(「VID W/ AUD SUM 41I」)可表示處理器12及/或自主控制系統24與使用者介面22介接以經由顯示器20呈現具有觸發交遞事件之條件及/或運載工具10之操作情形的即時或近即時音訊敍述的視訊所藉以的程序。沈浸式AR程序41J (「IMM AR 41G」)可表示處理器12及/或自主控制系統24與使用者介面22介接以經由顯示器20 (例如，抬頭顯示器或擴增實境耳機)呈現觸發交遞事件之條件及/或運載工具10之操作情形的沈浸式虛擬概述所藉以的程序。視訊地圖旅行概述程序41K(「MAP TRIP SUM 41K」)可表示處理器12及/或自主控制系統24與使用者介面22介接以經由顯示器20呈現運載工具10當前正行進的旅行之基於視訊地圖之概述所藉以的程序。 程序選擇單元36可在剩餘時間資訊31指示在交遞之前剩餘的時間範圍低於(或在一些實例中低於或等於)第三臨限值43C時選擇數分鐘級程序41中之任一者。程序選擇單元36可基於條件資訊33選擇數十秒級程序41中之一或多者，從而使數分鐘級程序41之選擇適合於觸發預期交遞事件之條件。在圖3之實例中，程序選擇單元36可將敍述概述程序41G及具有音訊敍述之視訊程序41I分類為音訊程序，且將360快照程序41H、具有音訊敍述之視訊程序41I、沈浸式AR 41J及基於地圖之旅行概述程序41K分類為視訊程序。 程序選擇單元36可在預期交遞事件之前的時間為約數十分鐘時將程序41K至41N分類為可適合於恢復主占有者意識(藉助於例如將操作情形通知主占有者)的數十分鐘級程序41。音訊敍述程序41L (「AUD NAR 41L」)可表示處理器12及/或自主控制系統24可與使用者介面22介接以提供觸發交遞事件之條件及/或運載工具10之操作情形的音訊敍述所藉以的程序。視訊敍述程序41M (「VID NAR 41M」)可表示處理器12及/或自主控制系統24與使用者介面22介接以經由顯示器20呈現觸發交遞事件之條件及/或運載工具10之操作情形的視訊敍述所藉以的程序。目的地概述程序41N(「DEST SUM 41N」)可表示處理器12及/或自主控制系統24與使用者介面22介接以呈現運載工具10當前經組態以執行的旅行之基於音訊目的地概述所藉以的程序。 程序選擇單元36可在剩餘時間資訊31指示在預期交遞事件之前剩餘的時間範圍低於(或在一些實例中低於或等於)第四臨限值43D時選擇數十分鐘級程序41中之任一者。程序選擇單元36可基於條件資訊33選擇數十秒級程序41中之一或多者，從而使數十分鐘級程序41之選擇適合於觸發預期交遞事件之條件。在圖3之實例中，程序選擇單元36可將基於地圖之旅行概述程序41K及視訊敍述程序41M分類為音訊程序，且將音訊敍述程序41L及基於目的地之音訊概述程序41N分類為音訊程序。 如上文所提及，程序選擇單元36可將各種程序41分類成兩個(或可能更多個)基於時間之類別。舉例而言，程序選擇單元36可將觸覺協作駕駛模式程序41D分類為屬於數秒級程序41及數十秒級程序41。此重疊分類表明臨限值43中之每一者可包括可重疊相鄰臨限值之上限及下限兩者(或依據一範圍而界定)。處理器選擇單元36可以此方式將臨限值43界定為其中可分類各種程序41的具有上限及下限之範圍。具有屬於臨限值43之範圍的重疊部分的預期持續期間之程序41的彼等可包括於兩個或可能更大類別中。因此，本發明之技術就此而言不應受限於其中程序41僅僅分類成一個及僅僅一個類別的二進位或單一分類系統。 此外，在基於時間之分類及基於條件之分類中之每一者內，程序選擇單元36可進一步基於占有者之狀態區分程序41之子類別。亦即，雖然展示為當AL小於TAL 37，但大於TAL 37減AM 39時僅僅發出音訊、視覺及/或觸覺警示，但程序選擇單元36可執行在處理器41之各種上述經識別類別中之各種程序41。 以下表1至表3說明程序選擇單元41可在AL大於TAL 37 (指明為「占有者機警且能夠取得控制」)時，在AL小於TAL 37但大於TAL 37減去AM 39 (指明為「占有者不警示但將能夠取得控制」)時，及在AL小於TAL 37減去AM 39 (指明為「占有者不能夠取得控制」)時如何選擇程序的實例。 表1：占有者機警並能夠取得控制 表2：占有者不機警但將能夠取得控制 表3：占有者不能夠取得控制 前述表1及表2展示程序選擇單元36可如何選擇各種不同秒級程序41，數十秒級程序41、數分鐘級程序41及數十分鐘級程序41可基於AL是否大於TAL 37、小於TAL 37但大於TAL 37減去AM 39，及小於TAL 37減去AM 39來分類。儘管在本發明中關於某些基於時間之分類來描述，但該等技術可關於隨數量級或其他持續時間變化的其他基於時間或持續期間之分類來執行。 圖4為說明經組態以執行本發明中所描述之技術之各種態樣的頭戴式顯示系統70之實例的圖。頭戴式顯示器(HMD)系統70包括可由占有者72穿戴之HMD 80，占有者72可表示主占有者61A或次占有者61B中之一或多者。HMD 80可經組態以由占有者72穿戴，例如，類似於一副眼鏡，其中框架84具有自鏡片夾持器88延伸之臂86。HMD 80經組態以與運載工具10無線地通信，且可充當使用者介面22之擴展件。 在一些實例中，HMD 80可包括區別於處理器12以及系統記憶體之處理器、GPU，及區別於上文關於圖1之實例所描述的運載工具10之計算組件的其他計算組件。在其他實例中，HMD 80可簡單地構成顯示器20之擴展件，其中處理器12及/或自主控制系統24可與HMD 80介接以執行上文提及之各種AR程序，諸如受限制AR程序41E及沈浸式AR程序41J。 圖5A及圖5B為展示根據本發明中所描述之技術之各種態樣應用的具有不同強調層級之實例前視野90A及90B之圖。前視野90A及90B可表示前視野之影像或經由HMD 80檢視之實際前視野。 在圖5A之實例中，前視野90A並不包括任何強調，且因此表示無藉助於虛擬物件之擴增的前視野。前視野90A展示在與運載工具10相同之車道中且運載工具10正跟隨之小型運載工具(例如，機車92，其中括號指明機車92並非顯示於螢幕上且僅用於讀者參考)。在圖5B之實例中，除前視野90B包括藉由HMD 80呈現之兩個較小虛擬物件94A及94B以強調觸發即將來臨交遞事件之條件(例如，正不穩定駕駛的運載工具92之存在)以外，前視野90B與前視野90A相同或實質上相同。 圖6為說明圖1之運載工具10在執行本發明中所描述之技術之各種態樣中的實例操作的流程圖。初始地，運載工具10之自主控制系統24可取得運載工具10之操作的自主控制權(120)。 在取得運載工具10之操作的自主控制權之後(或在一些情況下在取得運載工具10之操作的自主控制權之前)，處理器12可與自主控制系統24介接以判定觸發預期交遞事件(其又可指將運載工具10之操作之控制的一或多個態樣自自主控制系統24轉移至主占有者)的條件(122)。處理器12亦可與自主控制系統24介接以判定在預期交遞事件之前剩餘的時間範圍(124)。處理器12接下來可與占有者追蹤單元26介接以判定運載工具10之占有者的意識層級(126)。 處理器12接下來可基於該經判定意識層級及在預期交遞事件之前剩餘的該經判定時間來判定占有者是否機警且能夠控制運載工具10 (128)。當處理器12判定占有者機警且能夠控制運載工具10 (「是」130)時，處理器12可基於經判定條件及在預期交遞事件之前剩餘的時間選擇程序41中的一者(132)。處理器12可與使用者介面22介接以執行程序41中之選定者，且在執行程序41中之選定者之後將控制交遞至占有者(134、136)。 當處理器12判定占有者不機警，且因而並不準備取得運載工具10之控制權(「否」130)時，處理器12可判定占有者是否將能夠在預期交遞事件之前剩餘的時間內取得運載工具10之控制權(138)。當占有者將準備取得控制權(「是」138)時，處理器12可基於經判定條件及之預期交遞事件之前剩餘的時間而選擇程序41中之一者(132)。處理器12可與使用者介面22介接以執行程序41中之選定者，且在執行程序41中之選定者之後將控制交遞至占有者(134、136)。 當處理器12判定占有者將不準備在預期交遞事件之前剩餘的時間內取得運載工具10之控制權(「否」138)時，處理器12可選擇程序41之預設程序(140)。處理器12接下來可在不執行交遞的情況下執行預設程序(142)。 此外，執行交遞(或換言之，轉移控制)可指將控制之職責返回至占有者，使得占有者指導運載工具10之操作(例如使用傳統運載工具中之方向盤、踏板及其他器具，或使用各種非傳統介面，諸如允許加速、制動、及操縱之虛擬介面)。轉移控制取決於環境亦可為僅控制的部分轉移。舉例而言，允許判定行進速率的感測器可能失效，但用於操縱及導航的所有其他自主控制系統可係可操作的。在此實例中，運載工具10可轉移加速及制動之控制但保持操縱及導航的控制。因而，當一或多個自主執行之操作的職責被轉移至占有者時，運載工具10可轉移運載工具10之操作的控制。 儘管該等技術之各種態樣描述為由運載工具10執行，但技術之各種態樣可藉由具有經由通信協定提供至運載工具10之結果的其他器件執行。亦即，可藉由具有替代運載工具10之處理器及/或GPU或除了其之外的處理器及/或GPU之另一運載工具、網路伺服器或電腦伺服器群(亦即，藉由「雲」)執行對內容相關影像之影像或視訊分析、凝視或眼睛追蹤、占有者追蹤、任何影像或視訊混合(例如以形成合成影像)及針對內容相關影像之透明度判定(提供幾個實例)。因而，技術不應限制於直接由運載工具自身執行。 圖7為說明運載工具10在執行本發明中所描述之技術之各種態樣中的實例操作的流程圖。運載工具10之處理器12可首先判定將改變運載工具10之操作特性的預期事件(150)。將改變運載工具10之操作特性的預期事件之一個實例偵測到控制自自主控制系統24至主占有者之轉移將發生，此在本發明中稱為「預期交遞事件」。 處理器12接下來可判定在預期事件之估計發生之前剩餘的時間範圍，且基於在預期事件之估計發生之前剩餘的經判定時間範圍選擇將運載工具10之操作情形通知占有者所藉以的複數個程序中之程序(152、154)。處理器12接下來可與使用者介面22及/或自主控制系統24介接以執行將運載工具10之操作情形通知占有者所藉以之程序(156)。 在一或多個實例中，所描述功能可以硬體、軟體、韌體或其任何組合來實施。若以軟體實施，則該等功能可作為一或多個指令或程式碼而在電腦可讀媒體上儲存或傳輸，且由基於硬體之處理單元執行。電腦可讀媒體可包括電腦可讀儲存媒體，其對應於諸如資料儲存媒體之有形媒體。以此方式，電腦可讀媒體一般可對應於非暫時性的有形電腦可讀儲存媒體。資料儲存媒體可為可藉由一或多個電腦或一或多個處理器存取以擷取指令、程式碼及/或資料結構以用於實施本發明所描述之技術的任何可用媒體。電腦程式產品可包括電腦可讀媒體。 藉由實例而非限制，此等電腦可讀儲存媒體可包含RAM、ROM、EEPROM、CD-ROM或其他光碟儲存器、磁碟儲存器或其他磁性儲存器件、快閃記憶體或可用於儲存呈指令或資料結構形式之所要程式碼且可由電腦存取的任何其他媒體。應理解，電腦可讀儲存媒體及資料儲存媒體並不包括載波、信號或其他暫時性媒體，但取而代之涉及非暫時性、有形儲存媒體。如本文中所使用，磁碟及光碟包括緊密光碟(CD)、雷射光碟、光學光碟、數位影音光碟(DVD)、軟碟及藍光光碟，其中磁碟通常以磁性方式再生資料，而光碟藉由雷射以光學方式再生資料。以上各者的組合亦應包括於電腦可讀媒體之範疇內。 可由一或多個處理器執行指令，該一或多個處理器諸如一或多個數位信號處理器(DSP)、通用微處理器、特殊應用積體電路(ASIC)、場可程式化邏輯陣列(FPGA)或其他等效之整合或離散邏輯電路。因此，如本文中所使用之術語「處理器」可指上述結構或適合於實施本文中所描述之技術的任何其他結構中之任一者。此外，在一些態樣中，本文所描述之功能可經提供於經組態以供編碼及解碼或併入於經組合編解碼器中之專用硬體及/或軟體模組內。此外，該等技術可完全實施於一或多個電路或邏輯元件中。 本發明之技術可實施於多種器件或裝置中，包括無線手機、積體電路(IC)或IC集合(例如晶片組)。本揭露中描述各種組件、模組或單元以強調經組態以執行所揭示之技術之器件的功能態樣，但未必要求由不同硬體單元來實現。確切而言，如上文所描述，各種單元可與合適之軟體及/或韌體一起組合於編解碼器硬體單元中或由互操作性硬體單元之集合提供，硬件單元包括如上文所描述之一或多個處理器。 各種實例已予以描述。此等及其他實例在以下申請專利範圍之範疇內。
10‧‧‧自主運載工具
12‧‧‧處理器
14‧‧‧圖形處理單元(GPU)
16‧‧‧系統記憶體
20‧‧‧顯示器
22‧‧‧使用者介面
24‧‧‧自主控制系統
26‧‧‧占有者追蹤單元
30‧‧‧操作情形單元
31‧‧‧剩餘時間資訊
33‧‧‧條件資訊
34‧‧‧占有者意識單元
35‧‧‧意識層級資訊
36‧‧‧程序選擇單元
37‧‧‧臨限機警性層級(TAL)
39‧‧‧意識裕度(AM)
41‧‧‧視訊程序
41A‧‧‧預設程序
41B‧‧‧音訊、視訊及/或觸覺警示程序
41C‧‧‧音訊查詢程序
41D‧‧‧觸覺協作駕駛模式程序
41E‧‧‧受限制擴增實境程序
41F‧‧‧視訊概述程序
41G‧‧‧敍述概述程序
41H‧‧‧360度快照程序
41I‧‧‧具有音訊敍述之視訊程序
41J‧‧‧沈浸式AR程序
41K‧‧‧視訊地圖旅行概述程序/基於地圖之旅行概述程序
41L‧‧‧音訊敍述程序
41M‧‧‧視訊敍述程序
41N‧‧‧目的地概述程序
43‧‧‧臨限值
43A‧‧‧第一臨限值
43B‧‧‧第二臨限值
43C‧‧‧第三臨限值
43D‧‧‧第四臨限值
70‧‧‧頭戴式顯示器(HMD)系統
72‧‧‧占有者
80‧‧‧頭戴式顯示器(HMD)
84‧‧‧框架
86‧‧‧臂
88‧‧‧鏡片夾持器
90A‧‧‧前視野
90B‧‧‧前視野
92‧‧‧機車/運載工具
94A‧‧‧虛擬物件
94B‧‧‧虛擬物件
120‧‧‧步驟
122‧‧‧步驟
124‧‧‧步驟
126‧‧‧步驟
128‧‧‧步驟
130‧‧‧步驟
132‧‧‧步驟
134‧‧‧步驟
136‧‧‧步驟
138‧‧‧步驟
140‧‧‧步驟
142‧‧‧步驟
150‧‧‧步驟
152‧‧‧步驟
154‧‧‧步驟
156‧‧‧步驟
圖1為說明經組態以執行本發明中所描述之占有者意識技術之各種態樣的實例自主運載工具之方塊圖。 圖2為更詳細地說明圖1之運載工具之各種態樣的方塊圖。 圖3為說明根據本發明中描述之技術的各種態樣的藉由圖2中展示之程序選擇單元在選擇確保圖1之運載工具的操作情形之占有者意識所藉以的程序中之實例操作的圖。 圖4為說明經組態以執行本發明中所描述之技術之各種態樣的頭戴式顯示系統之實例的圖。 圖5A及圖5B為展示根據本發明中所描述之技術之各種態樣應用的具有不同強調層級之實例前視野之圖。 圖6為說明圖1之運載工具在執行本發明中所描述之技術之各種態樣中的實例操作的流程圖。 圖7為說明圖1之運載工具在執行本發明中所描述之技術之各種態樣中之實例操作的另一流程圖。

Claims (30)

  1. 一種提供資訊以確保一運載工具中之占有者意識的方法，該方法包含： 藉由一或多個處理器判定將改變該運載工具之一操作特性的一預期事件； 藉由一或多個處理器判定在該預期事件之一估計發生之前剩餘的一時間範圍； 藉由該一或多個處理器基於在該預期事件之該估計發生之前剩餘的經判定時間範圍選擇將該運載工具之一操作情形通知占有者所藉以的複數個程序中之一程序；及 藉由該一或多個處理器執行將該運載工具之該操作情形通知該占有者所藉以的該程序。
  2. 如請求項1之方法，其進一步包含判定該占有者之一狀態， 其中選擇該程序包含基於在該預期事件之該估計發生之前剩餘的該經判定時間範圍及該占有者之該狀態自該複數個程序中選擇該程序。
  3. 如請求項2之方法， 其中判定該占有者之該狀態包含判定該占有者之一意識層級，且 其中選擇該程序包含基於在該預期事件之該估計發生之前剩餘的該經判定時間範圍及該占有者之該意識層級自該複數個程序中選擇該程序。
  4. 如請求項1之方法，其進一步包含判定觸發將改變該運載工具之該操作特性的該預期事件之一條件， 其中選擇該程序包含基於在該預期事件之該估計發生之前剩餘的該經判定時間範圍及觸發該預期事件之該條件自該複數個程序中選擇該程序。
  5. 如請求項4之方法， 其中判定該條件包含經由該複數個程序中之一或多個音訊程序、該複數個程序中之視訊程序及該複數個程序中之觸覺程序將該條件分類為適合於通信，且 其中選擇該程序包含選擇適合於在該預期事件之該估計發生之前剩餘的該經判定時間範圍內將該操作情形告知該占有者的該音訊程序之一音訊程序、自該等視訊程序中選擇適合於在該預期事件之該估計發生之前剩餘的該經判定時間範圍內將該操作情形告知該占有者的一視訊程序，及選擇適合於在該預期事件之該估計發生之前剩餘的該經判定時間範圍內將該操作情形告知該占有者的該觸覺程序之一觸覺程序。
  6. 如請求項1之方法，其中選擇該程序包含： 基於在該預期事件之該估計發生之前剩餘的該時間範圍選擇適合於在數秒內將該操作情形通知該占有者的數秒級程序中之一者、適合於在數十秒內將該操作情形通知該占有者的數十秒級程序中之一者、適合於在數分鐘內將該操作情形通知該占有者的數分鐘級程序中之一者，或適合於在數十分鐘內將該操作情形通知該占有者的數十分鐘級程序中之一者；及 自該等秒級程序、該數十秒級程序、該等數分鐘級程序或該數十分鐘級程序中之選定者選擇該程序。
  7. 如請求項第6項之方法，其進一步包含判定觸發將改變該運載工具之該操作特性的該預期事件之一條件， 其中基於該條件選擇該程序包含自該等秒級程序、該等數十秒級程序、該等數分鐘級程序，或該等數十分鐘級程序中之該選定者選擇該程序。
  8. 如請求項1之方法， 其中該運載工具在該預期事件之判定、在該預期事件之該估計發生之前剩餘的該時間範圍之判定、該程序之判定及該程序之執行期間自主地控制該運載工具之操作，且 其中該預期事件包含該運載工具之該操作的控制至該占有者之轉移。
  9. 如請求項8之方法，其進一步包含： 判定當在該運載工具之該操作的該控制至該占有者之該轉移的估計發生之前剩餘的該時間範圍發生時，該占有者是否將能夠控制該運載工具；及 判定該占有者之一機警性層級，且 其中判定該程序包含基於在該運載工具之該操作的該控制至該占有者之該轉移的該估計發生之前剩餘的經判定時間範圍、該占有者是否將能夠控制該運載工具之判定及經判定機警性層級而判定該程序。
  10. 如請求項8之方法，其進一步包含判定當在該運載工具之該操作的該控制至該占有者之該轉移的估計發生之前剩餘的該時間範圍發生時，該占有者是否將能夠控制該運載工具， 其中判定該程序包含回應於判定該占有者將不能夠控制該運載工具而判定待藉由該運載工具自主地執行的一預設動作，且 其中執行該程序包含自主地執行該預設動作。
  11. 如請求項10之方法，其中該預設動作包含以下各者中之一者：導航至該運載工具正在上面行進的一道路之一側並停止該運載工具，或停止該運載工具。
  12. 如請求項8之方法，其中該程序包含顯示該運載工具當前自主地控制該運載工具之操作所針對的一旅行之一目的地概述。
  13. 如請求項1之方法，其中該程序包含發出一音訊警示、發出一觸覺警示、進入一觸覺協作駕駛模式，或提供擴增實境輔助。
  14. 如請求項1之方法，其中該程序包含顯示該操作情形之一短暫或加速視訊概述，提供該操作情形之一敍述概述，顯示該操作情形之一短暫或加速第一人稱視角視訊，利用一不透明顯示器突出顯示問題或展示該操作情形，或顯示該操作情形之一360度影像。
  15. 如請求項1之方法，其中該程序包含呈現該操作情形之即時或近即時視訊。
  16. 如請求項1之方法，其中該程序包含顯示該運載工具當前自主地控制該運載工具之操作所針對的一旅行之一基於地圖之概述，呈現該操作情形之一音訊敍述，或呈現待執行的該操作情形之一視訊敍述。
  17. 一種器件，其經組態以提供資訊以確保一運載工具中之占有者意識，該器件包含： 一或多個處理器，其經組態以： 判定將改變該運載工具之一操作特性的一事件； 判定在該預期事件之一估計發生之前剩餘的一時間範圍； 基於在該預期事件之該估計發生之前剩餘的經判定時間範圍判定將該運載工具之一操作情形通知占有者所藉以的一程序；且 執行將該運載工具之該操作情形通知該占有者所藉以的該程序；及 一記憶體，其經組態以儲存該程序。
  18. 如請求項17之器件， 其中該一或多個處理器經進一步組態以判定該占有者之一狀態，且 其中該一或多個處理器經組態以基於在該預期事件之該估計發生之前剩餘的該經判定時間範圍及該占有者之該狀態自該複數個程序選擇該程序。
  19. 如請求項17之器件，其中該一或多個處理器經組態以： 判定該占有者之一意識層級，且 基於在該預期事件之該估計發生之前剩餘的該經判定時間範圍及該占有者之該意識層級自該複數個程序選擇該程序。
  20. 如請求項17之器件， 其中該一或多個處理器經進一步組態以判定觸發將改變該運載工具之該操作特性之該預期事件的一條件，且 其中該一或多個處理器經組態以基於在該預期事件之該估計發生之前剩餘的該經判定時間範圍及觸發該預期事件的該條件自該複數個程序選擇該程序。
  21. 如請求項20之器件，其中該一或多個處理器經組態以： 經由該複數個程序中之一或多個經分類音訊程序、該複數個程序中之經分類視訊程序及該複數個程序中之經分類觸覺程序將該條件分類為適合於通信，且 選擇適合於在該預期事件之該估計發生之前剩餘的該經判定時間範圍內將該操作情形告知該占有者的該音訊程序之一音訊程序、自該等視訊程序中選擇適合於在該預期事件之該估計發生之前剩餘的該經判定時間範圍內將該操作情形告知該占有者的一視訊程序，及選擇適合於在該預期事件之該估計發生之前剩餘的該經判定時間範圍內將該操作情形告知該占有者的該觸覺程序之一觸覺程序。
  22. 如請求項17之器件，其中該一或多個處理器經組態以： 基於在該預期事件之該估計發生之前剩餘的該時間範圍選擇適合於在數秒內將該操作情形通知該占有者的數秒級程序中之一者、適合於在數十秒內將該操作情形通知該占有者的數十秒級程序中之一者、適合於在數分鐘內將該操作情形通知該占有者的數分鐘級程序中之一者，或適合於在數十分鐘內將該操作情形通知該占有者的數十分鐘級程序中之一者；且 自該等秒級程序、該數十秒級程序、該等數分鐘級程序或該數十分鐘級程序中之選定者選擇該程序。
  23. 如請求項22之器件， 其中該一或多個處理器經進一步組態以判定觸發將改變該運載工具之該操作特性之該預期事件的一條件，且 其中該一或多個處理器經組態以自該等秒級程序、該等數十秒級程序、該等數分鐘級程序或該等數十分鐘級程序中之該選定者選擇該程序。
  24. 如請求項17之器件， 其中該運載工具在該預期事件之判定、在該預期事件之該估計發生之前剩餘的該時間範圍之判定、該程序之判定及該程序之執行期間自主地控制該運載工具之操作， 其中該預期事件包含該運載工具之該操作的控制至該占有者之轉移。
  25. 如請求項24之器件， 其中該一或多個處理器經進一步組態以： 判定當在該運載工具之該操作的該控制至該占有者之該轉移的估計發生之前剩餘的該時間範圍發生時，該占有者是否將能夠控制該運載工具；且 判定該占有者之一機警性層級，且 其中該一或多個處理器經組態以基於在該運載工具之該操作的該控制至該占有者之該轉移的該估計發生之前剩餘的經判定時間範圍、該占有者是否將能夠控制該運載工具之判定及經判定機警性層級而判定該程序。
  26. 如請求項24之器件， 其中該一或多個處理器經進一步組態以判定當在該運載工具之該操作的該控制至該占有者之該轉移的估計發生之前剩餘的該時間範圍發生時，該占有者是否將能夠控制該運載工具， 其中該一或多個處理器經組態以： 回應於判定該占有者將不能夠控制該運載工具而判定待藉由該運載工具自主地執行的一預設動作，且 自主地執行該預設動作。
  27. 如請求項26之器件，其中該預設動作包含以下各者中之一者：導航至該運載工具正在上面行進的一道路之一側並停止該運載工具，或停止該運載工具。
  28. 如請求項24之器件，其中該程序包含以下各者中之一者：顯示該運載工具當前自主地控制該運載工具之操作所針對的一旅行之一目的地概述、發出一音訊警示、發出一觸覺警示、進入一觸覺協作駕駛模式、提供擴增實境輔助、顯示該操作情形之一短暫或加速視訊概述、提供該操作情形之一敍述概述、顯示該操作情形之一短暫或加速第一人稱視角視訊、利用一不透明顯示器突出顯示問題或展示該操作情形、顯示該操作情形之一360度影像、呈現該操作情形之即時或近即時視訊、顯示該運載工具當前自主地控制該運載工具之操作所針對的一旅行之一基於地圖之概述、呈現該操作情形之一音訊敍述，或呈現待執行的該操作情形之一視訊敍述。
  29. 一種器件，其經組態以提供資訊以確保一運載工具中之占有者意識，該器件包含： 用於判定將改變該運載工具之一操作特性的一事件的構件； 用於判定在該預期事件之一估計發生之前剩餘之一時間範圍的構件； 用於基於在該預期事件之該估計發生之前剩餘的經判定時間範圍判定將該運載工具之一操作情形通知占有者所藉以的一程序的構件；及 用於執行將該運載工具之該操作情形通知該占有者所藉以的該程序的構件。
  30. 一種其上儲存有指令之非暫時性電腦可讀儲存媒體，該等指令在經執行時使得一或多個處理器： 判定將改變該運載工具之一操作特性的一事件； 判定在該預期事件之一估計發生之前剩餘的一時間範圍； 基於在該預期事件之該估計發生之前剩餘的經判定時間範圍判定將該運載工具之一操作情形通知占有者所藉以的一程序；且 執行將該運載工具之該操作情形通知該占有者所藉以的該程序。
TW107103652A 2017-03-29 2018-02-01 確保運載工具中占有者意識 TW201836888A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/472,822 US10365647B2 (en) 2017-03-29 2017-03-29 Ensuring occupant awareness in vehicles
US15/472,822 2017-03-29

Publications (1)

Publication Number Publication Date
TW201836888A true TW201836888A (zh) 2018-10-16

Family

ID=61231317

Family Applications (1)

Application Number Title Priority Date Filing Date
TW107103652A TW201836888A (zh) 2017-03-29 2018-02-01 確保運載工具中占有者意識

Country Status (4)

Country Link
US (1) US10365647B2 (zh)
CN (1) CN110461679B (zh)
TW (1) TW201836888A (zh)
WO (1) WO2018182841A2 (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10618523B1 (en) * 2018-04-19 2020-04-14 State Farm Mutual Automobile Insurance Company Assessing driver ability to operate an autonomous vehicle
GB2577270B (en) 2018-09-19 2021-04-07 Jaguar Land Rover Ltd Apparatus and method for monitoring vehicle operation
JP7068988B2 (ja) * 2018-10-26 2022-05-17 本田技研工業株式会社 走行制御装置、走行制御方法およびプログラム
US11648951B2 (en) * 2018-10-29 2023-05-16 Motional Ad Llc Systems and methods for controlling actuators based on load characteristics and passenger comfort
US10807605B2 (en) * 2018-12-19 2020-10-20 Waymo Llc Systems and methods for detecting and dynamically mitigating driver fatigue
US10817063B2 (en) 2019-02-11 2020-10-27 Volvo Car Corporation Facilitating interaction with a vehicle touchscreen using haptic feedback
US11414093B2 (en) * 2019-08-30 2022-08-16 Toyota Research Institute, Inc. System and method for transitioning a vehicle from an autonomous mode in response to a handover event
US11148673B2 (en) * 2020-01-13 2021-10-19 Pony Ai Inc. Vehicle operator awareness detection

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8718861B1 (en) 2012-04-11 2014-05-06 Google Inc. Determining when to drive autonomously
US9342074B2 (en) 2013-04-05 2016-05-17 Google Inc. Systems and methods for transitioning control of an autonomous vehicle to a driver
US8874301B1 (en) 2013-07-09 2014-10-28 Ford Global Technologies, Llc Autonomous vehicle with driver presence and physiological monitoring
EP2848488B2 (en) 2013-09-12 2022-04-13 Volvo Car Corporation Method and arrangement for handover warning in a vehicle having autonomous driving capabilities
RU2667796C2 (ru) * 2014-03-26 2018-09-24 Ниссан Мотор Ко., Лтд. Устройство представления информации и способ представления информации
EP3128498B1 (en) * 2014-04-02 2018-10-31 Nissan Motor Co., Ltd Vehicular information presentation apparatus
DE102014009985A1 (de) * 2014-07-04 2016-01-07 Daimler Ag Verfahren zum Betreiben eines Kraftfahrzeugs in verschiedenen Fahrmodi sowie Kraftfahrzeug
DE102014213959A1 (de) 2014-07-17 2016-01-21 Continental Automotive Gmbh Verfahren zum Überwachen eines automatisierten Fahrens
DE102014214078A1 (de) 2014-07-18 2016-01-21 Continental Automotive Gmbh Verfahren zur Interaktion mit einem Fahrer eines Fahrzeugs beim automatisierten Fahren
DE102014214777A1 (de) 2014-07-28 2016-01-28 Continental Automotive Gmbh Verfahren zur Interaktion eines Fahrassistenzsystems mit einem Fahrer eines Fahrzeugs
JP6135618B2 (ja) * 2014-08-08 2017-05-31 トヨタ自動車株式会社 車両制御装置
DE102014225562A1 (de) 2014-12-11 2016-06-16 Robert Bosch Gmbh Verfahren zum automatischen Ausführen wenigstens einer Fahrfunktion eines Kraftfahrzeuges
DE102015205580A1 (de) 2015-03-27 2016-09-29 Robert Bosch Gmbh Verfahren zum mindestens teilautomatisierten Fahren in einem Fahrzeug
US9786192B2 (en) * 2015-10-14 2017-10-10 Toyota Motor Engineering & Manufacturing North America, Inc. Assessing driver readiness for transition between operational modes of an autonomous vehicle
US10082869B2 (en) * 2017-02-03 2018-09-25 Qualcomm Incorporated Maintaining occupant awareness in vehicles

Also Published As

Publication number Publication date
US10365647B2 (en) 2019-07-30
CN110461679A (zh) 2019-11-15
WO2018182841A3 (en) 2018-11-08
CN110461679B (zh) 2020-10-23
WO2018182841A2 (en) 2018-10-04
US20180284764A1 (en) 2018-10-04

Similar Documents

Publication Publication Date Title
TW201836888A (zh) 確保運載工具中占有者意識
KR102351592B1 (ko) 기본 미리 보기 영역 및 시선 기반 운전자 주의 산만 검출
US10082869B2 (en) Maintaining occupant awareness in vehicles
US10696308B2 (en) Road condition heads up display
EP3583478B1 (en) Performing fallback operation based on instantaneous autonomous operating context
EP2857886B1 (en) Display control apparatus, computer-implemented method, storage medium, and projection apparatus
JP2021095117A (ja) 顔のランドマーク及び関連する信頼値を使用したニューラルネットワークベースの顔分析
JP2022068087A (ja) 自律及び半自律運転アプリケーションのための乗員注意力及び認知負荷監視
JP6491601B2 (ja) 車両内移動デバイス管理
JP2021195124A (ja) 入力としてグレアを使用する注視判定
JP2022058135A (ja) ニューラル・ネットワークを使用するロバスト予測のための背景修正を含むデータ拡張
JP2022002947A (ja) 基準マーキングを使用するマシン学習ベースのシートベルト検出及び使用認識
US20230341235A1 (en) Automatic graphical content recognition for vehicle applications
US20230065399A1 (en) Context-based state estimation
US20220340149A1 (en) End-to-end evaluation of perception systems for autonomous systems and applications
US11830259B2 (en) Robust state estimation
JP2023165383A (ja) 機械学習モデルのためのデータ・セット生成及び拡張
JP2022176081A (ja) 適応視標追跡機械学習モデル・エンジン
JP2023051713A (ja) 自律マシン・アプリケーションにおける深層学習を使用する視認距離推定
WO2022226238A1 (en) End-to-end evaluation of perception systems for autonomous systems and applications
Alomari Human-centric detection and mitigation approach for various levels of cell phone-based driver distractions