TW202127384A - 售後市場車輛副駕駛設備 - Google Patents

售後市場車輛副駕駛設備 Download PDF

Info

Publication number
TW202127384A
TW202127384A TW109133300A TW109133300A TW202127384A TW 202127384 A TW202127384 A TW 202127384A TW 109133300 A TW109133300 A TW 109133300A TW 109133300 A TW109133300 A TW 109133300A TW 202127384 A TW202127384 A TW 202127384A
Authority
TW
Taiwan
Prior art keywords
data
pilot
vehicle
pilot device
video
Prior art date
Application number
TW109133300A
Other languages
English (en)
Inventor
珉洙 李
列維 比索恩
趙榮讚
Original Assignee
美商布魯巴克斯實驗室公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 美商布魯巴克斯實驗室公司 filed Critical 美商布魯巴克斯實驗室公司
Publication of TW202127384A publication Critical patent/TW202127384A/zh

Links

Images

Classifications

    • GPHYSICS
    • G07CHECKING-DEVICES
    • G07CTIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00Registering or indicating the working of vehicles
    • G07C5/08Registering or indicating performance data other than driving, working, idle, or waiting time, with or without registering driving, working, idle or waiting time
    • G07C5/0841Registering performance data
    • G07C5/085Registering performance data using electronic data carriers
    • G07C5/0866Registering performance data using electronic data carriers the electronic data carrier being a digital video recorder in combination with video camera
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/12Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to parameters of the vehicle itself, e.g. tyre models
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00Drive control systems specially adapted for autonomous road vehicles
    • B60W60/005Handover processes
    • B60W60/0051Handover processes from occupants to vehicle
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • G01C21/3697Output of additional, non-guidance related information, e.g. low fuel level
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C22/00Measuring distance traversed on the ground by vehicles, persons, animals or other moving solid bodies, e.g. using odometers, using pedometers
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • GPHYSICS
    • G07CHECKING-DEVICES
    • G07CTIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00Registering or indicating the working of vehicles
    • G07C5/008Registering or indicating the working of vehicles communicating information to a remotely located station
    • GPHYSICS
    • G07CHECKING-DEVICES
    • G07CTIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00Registering or indicating the working of vehicles
    • G07C5/08Registering or indicating performance data other than driving, working, idle, or waiting time, with or without registering driving, working, idle or waiting time
    • G07C5/0808Diagnosing performance data
    • GPHYSICS
    • G07CHECKING-DEVICES
    • G07CTIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00Registering or indicating the working of vehicles
    • G07C5/08Registering or indicating performance data other than driving, working, idle, or waiting time, with or without registering driving, working, idle or waiting time
    • G07C5/0816Indicating performance data, e.g. occurrence of a malfunction
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G11B27/036Insert-editing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/188Capturing isolated or intermittent images triggered by the occurrence of a predetermined event, e.g. an object reaching a predetermined position
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40Photo, light or radio wave sensitive means, e.g. infrared sensors
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403Image sensing, e.g. optical camera
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00Input parameters relating to overall vehicle dynamics
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2530/00Input parameters relating to vehicle conditions or values, not covered by groups B60W2510/00 or B60W2520/00
    • GPHYSICS
    • G07CHECKING-DEVICES
    • G07CTIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00Registering or indicating the working of vehicles
    • G07C5/006Indicating maintenance
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Multimedia (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Mathematical Physics (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Traffic Control Systems (AREA)
  • Time Recorders, Dirve Recorders, Access Control (AREA)

Abstract

本文中描述一種系統,該系統包括副駕駛設備,可以將該副駕駛設備安裝在車輛內作為「售後市場(aftermarket)」以實現一般不會可用於車輛的各種功能性。在一些實施例中,副駕駛設備包括多個攝影機及感測器,該等攝影機及感測器收集與內部安裝有該副駕駛設備的車輛相關的資訊。副駕駛設備也通訊耦接到車輛本身且直接從車輛接收資料。副駕駛設備能夠產生資料檔案,該資料檔案包括基於時間同步的多個資料類型。

Description

售後市場車輛副駕駛設備
行車記錄器系統一般記錄其他功能性很少或沒有其他功能性的視訊。行車記錄器系統一般很難安裝。一旦安裝,行車記錄器系統一般缺乏可攜性。由行車記錄器所收集的資訊一般限於可以用於娛樂用途或在民事或刑事調查中用作證據的視訊片段(有時候有聲音)。
用於自動車輛的攝影機系統一般不可用於既存車輛中的售後市場安裝。除了行車記錄器系統以外,自動車輛攝影機系統提供很少的或不提供對車輛的擁有者有用的資訊。
本文中提供了用於允許經由使用安裝在車輛內的副駕駛設備來自動化與該車輛相關聯的各種功能的技術。本文中描述了各種實施例,包括方法、系統、儲存由一或更多個處理器可執行的程式、代碼、或指令的非暫時性電腦可讀取儲存媒體等等。
在一個實施例中,將一種方法揭露為由副駕駛設備所執行,該方法包括以下步驟:接收由包括在該副駕駛設備中的攝影機所獲得的視訊資料;經由車輛與該副駕駛設備之間的連接接收車輛資料;從與該副駕駛設備通訊的一或更多個感測器接收感測器資料;產生修改的視訊檔案,該修改的視訊檔案包括該視訊資料、該車輛資料的至少一部分、及該感測器資料的至少一部分;及向相對於該副駕駛設備位於遠端的副駕駛儀管理電腦傳送該修改的視訊檔案。
一個實施例涉及一種副駕駛儀計算設備,該副駕駛儀計算設備包括:一或更多個攝影機;連接,介於車輛與該副駕駛儀計算設備之間;一或更多個感測器;處理器;及記憶體,包括指令,該等指令當用該處理器執行時使得該副駕駛儀計算設備至少進行以下步驟:接收由包括在該副駕駛設備中的該一或更多個攝影機所獲得的視訊資料;經由車輛與該副駕駛儀計算設備之間的該連接接收車輛資料;從與該副駕駛設備通訊的該一或更多個感測器接收感測器資料;產生修改的視訊檔案,該修改的視訊檔案包括該視訊資料、該車輛資料的至少一部分、及該感測器資料的至少一部分;及向相對於該副駕駛設備位於遠端的副駕駛儀管理電腦傳送該修改的視訊檔案。
本揭示內容的一個實施例涉及一種系統,該系統包括副駕駛設備及副駕駛儀管理電腦。該副駕駛設備具有記憶體,該記憶體包括指令,該等指令使得該副駕駛設備進行以下步驟:獲得不同的車輛相關的資料,該資料至少包括經由與車輛的連接接收的視訊資料、感測器資料、及車輛資料;將該等不同的車輛相關的資料組合成單個資料檔案;及向副駕駛儀管理電腦提供該單個資料檔案。該副駕駛儀管理電腦與該副駕駛設備通訊耦接且被配置為處理從該副駕駛設備所接收的該單個資料檔案。該系統可以更包括:客戶端設備,具有安裝在其上的行動應用,該行動應用實現該客戶端設備與該副駕駛設備之間的交互作用。
在參照以下說明書、請求項、及附圖之後,將更加理解前述內容以及其他的特徵及實施例。
在以下說明中,出於解釋的目的,闡述了具體的細節以提供對某些實施例的透徹瞭解。然而,將理解,可以在沒有這些具體細節的情況下實行各種實施例。圖式及說明書不旨在是限制性的。用詞「示例性」在本文中用來意指「用作示例、實例、或說明」。本文中被描述為是「示例性」的任何實施例或設計均不一定被解釋為比其他的實施例或設計優選或有利。
此揭示內容涉及一種系統,該系統包括副駕駛設備,可以將該副駕駛設備安裝在車輛內作為「售後市場(aftermarket)」以實現一般不會可用於車輛的各種功能性。更詳細而言,副駕駛設備包括多個攝影機及感測器,該等攝影機及感測器收集與內部安裝有該副駕駛設備的車輛相關的資訊。副駕駛設備經由機載診斷(onboard diagnostic, OBD)連接來與車輛的控制器區域網路(Controller Area Network, CAN)匯流排通訊耦接。
在一些實施例中,副駕駛設備接收各種不同的資料類型,包括由感測器所收集的不同的感測器資料、視訊資料(車輛內部及外部的視訊資料)、及經由OBD連接接收的車輛資料。副駕駛設備接著藉由將感測器資料及車輛資料附加到視訊資料,來將不同的資料類型的至少一部分組合到資料檔案中。在此資料檔案中,基於接收到相應資料中的每一者的時間來同步化不同的資料類型。接著將資料檔案提供到配置為處理該資料檔案的後端伺服器。
在一些實施例中,後端伺服器(例如副駕駛儀管理電腦)使用資料檔案(及從其他副駕駛設備所接收的其他資料檔案)來訓練機器學習模型。可以將用這種方式產生的訓練的模型提供回副駕駛設備。此類訓練的模型當實施在副駕駛設備上時可以用來決定當經由感測器及/或視訊資料偵測到某些條件時所要採取的適當動作。可以接著獨立於使用者的參與而採取這些動作,從而使某些車輛功能自動化。
在一些實施例中,系統代表使用者自動偵測商業事件的開始及結束。系統接著能夠用準確及高效的方式基於彼等商業事件來產生里程日誌。
圖1繪示依據至少一些實施例包括售後市場車輛副駕駛設備的示例架構。圖1的車輛副駕駛設備至少包括副駕駛設備106及機載診斷(OBD)連接107。副駕駛設備106促進藉由耦接(例如夾緊、黏著、吸引安裝、或其他手段)到車輛的表面或元件(例如擋風罩的內表面,或儀表板或機車油箱的頂面)來安裝在1995年之後製造的任何現有車輛中。例如,安裝殼體的頂面上的黏著帶可以促進將副駕駛設備106安裝到車輛的擋風罩。副駕駛設備106由包括記憶體的硬體組成,該記憶體具有促進協助或增強駕駛員的日常任務(例如追蹤商業相關的里程及/或啟動車輛功能)的一或更多個軟體模組。
副駕駛設備106與OBD連接107、一或更多個客戶端設備102-105、應用伺服器116、及/或副駕駛儀管理電腦118中的一或更多者通訊。在一些實施例中,副駕駛設備107經由短程無線網路108與客戶端設備102-105及/或OBD連接107中的一者通訊,該短程無線網路可以包括在諸如BLUETOOTH®或WI-FI®的標準下操作的通訊手段。在一些實施例中,副駕駛設備106經由電線與客戶端設備102-105及/或OBD連接107中的一者通訊耦接。在一些實施例中,副駕駛設備106經由廣域網路110與諸如應用伺服器116及/或副駕駛儀管理電腦118的實體通訊,該廣域網路包括長程無線通訊手段,例如在諸如LTE(4G行動通訊標準)的標準下操作的彼等長程無線通訊手段。
副駕駛設備106通訊耦接到OBD連接107。OBD連接107被配置為與機載診斷匯流排交接,該機載診斷匯流排符合OBD II標準,例如汽車工程師協會(SAE)J1962。例如,OBD連接107耦接到OBD-II連接器端口以供在車輛中進行車輛診斷。在一些實施例中,OBD連接107可以儲存與OBD或OBD-II連接器端口相關聯的各種可能的接腳佈局的表格,且最優選地迭代地試圖採用所儲存的接腳佈局,直到基於成功使用與所儲存的佈局相關聯的接腳中的大多數或全部而認為一個接腳佈置與車輛對應為止,此後儲存對與車輛相關聯的成功儲存的佈局的指示符。在一些版本中,使用者可以選定接腳佈局,或OBD連接107可以基於來自使用者的車輛年份、製造、或模型的輸入來選定接腳佈局(可以將使用者輸入提供到在客戶端設備102-105中通訊耦接到副駕駛設備106或直接耦接到OBD連接107的一個客戶端設備上執行的應用中)。OBD連接107經由OBD或OBD-II匯流排從安裝在車輛內的電腦獲得資料,且向副駕駛設備106傳送該資料(原始或修改的資料)。在一些實施例中,副駕駛設備106向OBD連接107提供指令以向車輛電腦傳送指令(原始或修改的指令)以重設或用其他方式修改與車輛相關聯的一或更多個旗標、代碼、或狀態或實施車輛的各種功能性。
副駕駛設備106包括由副駕駛設備106的硬體(例如處理器)可執行的電腦可執行指令(例如代碼)。只要供電,副駕駛設備106就會以循環方式記錄內部(面向後方)及外部(面向前方)的視訊。基於檔案數量限制及視訊持續時間設定(例如預設是300個檔案及3分鐘長的視訊),當滿足檔案數量限制時,在本端記憶體中用較新的視訊替換最舊的視訊。此外,當捕捉到視訊時,可以將視訊上傳到應用伺服器電腦116或副駕駛儀管理電腦118。當使用客戶端設備102-105中的一者經由副駕駛設備106的通訊介面(有線或無線通訊介面)與副駕駛設備106連接時,可以經由客戶端設備102-105中的一者的圖形使用者介面(GUI)實現各種功能性。例如,使用者可以瀏覽副駕駛設備106中可供下載的縮圖或記錄的片段。使用者可以捲動以瀏覽片段及選定片段以供下載到客戶端設備102-105中的一者的內部儲存器。一旦下載到客戶端設備102-105中的一者,使用者就可以選定不同的標籤來瀏覽或檢視下載的片段或將下載的片段上傳到與使用者、客戶端設備102-105中的一者、或副駕駛設備106相關聯的雲端帳戶。當上傳到雲端時,使用者可以經由電子郵件或社群網路共享片段。在另一個示例中,使用者可以經由執行在客戶端設備102-105中的一者上的軟體打開或關閉攝影機的夜視。
副駕駛儀管理電腦118為本文中所述的系統提供後端支援。例如,副駕駛儀管理電腦118可以提供完整的資料庫及使用者認證服務以支援客戶端設備102-105及副駕駛設備106的邏輯。副駕駛儀管理電腦118提供高度可擴縮及強健的無伺服器資料上傳系統,其與異步的處理佇列同時處理來自許多使用者的使用者視訊上傳。副駕駛儀管理電腦118可以向客戶端設備102-105中的一者提供推送由資料庫與使用者認證服務之間的同步所促進的通知。推送通知經由客戶端設備102-105中的一者通知使用者關於整體系統中異步的過程及狀態改變的開始及結束。
在一些實施例中,副駕駛儀管理電腦118是雲端虛擬機(例如執行Ubuntu伺服器的虛擬機)。副駕駛儀管理電腦118可以促進將對與副駕駛儀管理電腦118相關聯的域的請求路由到虛擬機的IP位址的域名系統(DNS)配置。在一些版本中,將後端邏輯部署到伺服器(例如人工地用git hook或ci/cd部署),且刷新服務。副駕駛儀管理電腦118可以維持對後備資料庫的資料庫連接。副駕駛儀管理電腦118讀取/寫入資料以服務應用編程介面(API)請求及回應。在一些實施例中,除了使用者視訊上傳以外,API呼叫是同步的。可以藉由在虛擬機上運行的異步工作程序佇列來處理視訊上傳。
在一些實施例中,應用伺服器電腦116是由副駕駛設備及/或副駕駛儀管理電腦118所產生的資料的消費者。應用伺服器電腦116可以消耗關於內部安裝有副駕駛設備106的車輛的資訊以向使用者提供功能性。例如,應用伺服器電腦118可以從副駕駛設備106獲得里程資訊,且可以使用該里程資訊來產生稅務文件。在一些實施例中,可以由不隸屬於副駕駛儀管理電腦118的第三方實體操作應用伺服器電腦116。
可能在系統100的所述元件之間發生各種交互作用。在系統100中,副駕駛設備106從OBD連接107獲得車輛資料。在一些實施例中,可以用預定的間隔(例如每兩秒)獲得車輛資料。副駕駛設備106將所獲得的資料儲存在本端記憶體中。副駕駛設備106也從面向前方(外部)的攝影機以及面向後方(內部)的攝影機獲得視訊資料。副駕駛設備106也從副駕駛設備的一或更多個感測器獲得資料。例如,副駕駛設備可以獲得車輛的內部或外部中的任一者的溫度、位置(例如經由全球定位系統(GPS)或全球導航衛星系統(GNSS))、加速度資料、實時資料、或任何其他合適的資訊。副駕駛設備106可以額外從客戶端設備102-105中的一者接收資訊。副駕駛設備可以接著將資料組合成單個資料串流。例如,副駕駛設備可以將從感測器及/或車輛所獲得的資訊附加到視訊作為元資料。這同步化了資訊以供更容易擷取及分析,因為在分析時不需要對準資訊。
副駕駛設備106接著將資料傳送到副駕駛儀管理電腦118及/或應用伺服器電腦116。各種應用可以接著消耗資料。藉由說明的方式,考慮車輛的駕駛員由乘車服務(例如Uber、Lyft等等)僱用的示例。在此說明中,駕駛員可以在一整天的各種時間將他或她的車輛用於工作及個人駕駛。使用者的客戶端設備103-105可以包括用來向使用者提供乘車服務資訊的行動應用。副駕駛設備106可以經由與行動應用交互作用來從客戶端設備103-105中的一者接收對乘車服務的指示。除了其他資料片段以外,這還可以與從車輛所獲得的里程表資料組合。當將組合的資訊提供到副駕駛儀管理電腦118時,副駕駛儀管理電腦118可以識別包括在整個視訊內的里程表資料以及對視訊的什麼部分與商業用途相關的指示(例如基於從客戶端設備103-105所接收的資料來識別)。用這種方式,副駕駛儀管理電腦118可以出於個人及商業的目的自動追蹤及描繪里程,且可以根據需要提供報表(例如出於稅務的目的)。應注意,雖然GPS位置資料也可以用來追蹤里程,但此類位置資料可能通常不準確。例如,因為GPS應用中的週期位置報告,一般將距離作為兩個偵測到的位置之間的直線來測量。這當車輛轉彎多次時可能通常導致不準確,因為GPS應用不會考慮轉角。結果是,當追蹤里程時用所述的方式使用里程表資料可以提供比使用GPS位置資料大的準確度。
在一些實施例中,所提供的資料可以用來訓練機器學習模型(例如使用深度學習/認知網絡的機器學習演算法)。例如,可以訓練機器學習模型以將使用者輸入從車輛資料(例如打開擋風罩雨刮器、打開燈等等)對應到一或更多個視訊條件。用這種方式,可以產生訓練的機器學習模型,其能夠複製適於各種條件的車輛資料。可以接著將此訓練的機器學習提供回副駕駛設備106。副駕駛設備106接著能夠在經由當前的視訊源偵測到各種條件之後就經由OBD連接107複製使用者輸入。這允許副駕駛設備106「學習」及自動化車輛的某些功能。藉由說明的方式,副駕駛設備106可以使用訓練的機器學習模型基於在從面向前方的攝影機捕捉的視訊中所偵測到的雨水來決定應該啟動什麼位凖的擋風罩雨刮器活動。在第二說明中,副駕駛設備106可以使用訓練的機器學習模型決定應該在什麼閾值光位凖下啟動車輛頭燈。
圖2描繪方塊圖,其示出依據本揭示內容的實施例可以實施為包括副駕駛設備的示例性系統架構的各種元件。系統架構200中包括副駕駛設備106、副駕駛儀管理電腦118、及客戶端設備202。副駕駛設備106及副駕駛儀管理電腦118可以是針對圖1所描述的相應的副駕駛設備106及副駕駛儀管理電腦118的示例。客戶端設備202可以是如針對圖1描述的客戶端設備102-105中的一者的示例。
副駕駛設備106可以包括處理器204及電腦可讀取記憶體206。處理器204可以是中央處理單元及/或專用控制器(例如微控制器)。副駕駛設備106可以更包括一或更多個攝影機208、一或更多個感測器210、OBD連接212、及通訊介面214。
該一或更多個攝影機208可以包括面向後方(內部)的攝影機以及面向前方(外部)的攝影機。面向後方的攝影機可以捕捉車輛內的駕駛員及乘客的視訊及/或影像以及車輛外部及後方的區域(例如藉由車輛的後窗來捕捉)。面向前方的攝影機可以捕捉車輛前方的區域的視訊及/或影像。在一些實施例中,可以經由神經網絡處理器來處理由攝影機中的一或更多者所獲得的視訊。
感測器210可以包括能夠獲得關於副駕駛設備106所在的環境的資訊的任何感測器。藉由非限制性示例的方式,感測器210可以包括指南針、加速度計、生物特徵量測感測器、實時時脈、溫度感測器、陀螺儀、磁力計、及/或全球定位系統(GPS)感測器。
OBD連接212包括與微控制器(例如模組上具有藍芽低能量系統的PIC18F2480微控制器)耦接的無線OBD或OBD-II或有線連接器。OBD連接212用包括CAN收發器(例如SN65HVD233-HT)的PCB促進標準OBD-II PID協定以及CAN信息的直接讀取/寫入。在一些版本中,微控制器管理資料串流及無線通訊。OBD連接212可以包括公連接器的相對端處的標準母OBD連接器,該標準母OBD連接器插入車輛以使得使用者可以同時使用多個OBD連接的模組。OBD連接可以與車輛的控制器區域網路(CAN)匯流排耦接。
通訊介面214可以包括無線及/或有線通訊收發器元件,其允許副駕駛設備106進行長程及短程通訊。因此,通訊介面212可以用來經由無線載波網路、區域網路、對等網路等等傳送或接收資料。在一些實施例中,通訊介面212可以包括胞式數據機及短程收發器,該胞式數據機允許副駕駛設備106與網路執行電信及資料通訊,該短程收發器允許設備經由短程無線通訊鏈路連接到其他設備。副駕駛設備106可以更包括訊號轉換器、天線、硬體解碼器和編碼器、圖形處理器、通用集成電路卡(UICC)、eUICC等等,其允許副駕駛設備106執行應用及提供電信及資料通訊功能。
記憶體206可以使用電腦可讀取媒體(例如電腦儲存媒體)來實施。電腦可讀取媒體至少包括兩種電腦可讀取媒體,即電腦儲存媒體及通訊媒體。電腦儲存媒體包括實施在任何方法或技術中以供儲存資訊(例如電腦可讀取指令、資料結構、程式模組、或其他資料)的依電性及非依電性、可移除及不可移除的媒體。電腦儲存媒體包括(但不限於)RAM、DRAM、ROM、EEPROM、快閃記憶體、或其他記憶體技術、CD-ROM、數位多用途光碟(DVD)、或其他光學儲存器、磁式卡匣、磁帶、磁碟儲存器、或其他磁式儲存設備、或可以用來儲存資訊以供由計算設備存取的任何其他非傳輸媒體。相比之下,通訊媒體可以包括調變的資料訊號(例如載波或其他傳輸機制)中的電腦可讀取指令、資料結構、程式模組、或其他資料。
副駕駛設備106的該一或更多個處理器204及記憶體206可以實施來自一或更多個軟體模組的功能性。此類軟體模組可以包括常式、程式指令、物件、及/或資料結構,其由處理器204所執行以執行特定的任務或實施特定的資料類型。該一或更多個軟體模組可以包括:里程保存器(milesaver)模型214,自動追蹤旅程及將旅程歸類為與個人或商業中的任一者相關;安全性模組216,捕捉及記錄涉及潛在安全性威脅的資訊;機械模組218,決定一或更多個潛在車輛問題;及副駕駛模組,自動化車輛功能的至少一部分。
可以將里程保存器模型214配置為追蹤旅程及將旅程歸類為與個人或商業中的任一者相關。在一些實施例中,里程保存器模型214接收對商業或個人追蹤事件的指示。例如,副駕駛設備106可以與客戶端設備202通訊。在此示例中,使用者可以為乘車服務(例如Uber、Lyft等等)工作,而客戶端設備202可以由使用者獨立使用以與用於該乘車服務的行動應用互動。在此示例中,在決定已經接受乘車請求之後,與乘車服務相關聯的行動應用(或介面工具集或擴充元件)就可以使客戶端設備202向副駕駛設備106指示商業事件已經開始。副駕駛設備106可以接著指示商業事件的開始(例如經由附加到資料檔案的時間戳或標記來指示)。類似地,副駕駛設備也可以接收對商業事件的結束的指示。此外,里程保存器模型214還經由OBD連接107以規則的間隔從車輛獲得里程表資料。可以在商業事件的開始及結束時決定里程表資訊。接著將商業事件的開始與結束時的里程表資訊之間的差異決定為與商業事件相關聯的里程數。接著將商業事件之間的里程表資訊之間的差異決定為與個人旅程相關聯的里程數。用這種方式,里程保存器模型214用準確的方式且在使用者不參與的情況下追蹤商業及個人里程。在一些實施例中,里程保存器模型214可以向客戶端設備202或另一個設備提供商業及/或個人旅程細節的日誌。
可以將安全性模組216配置為捕捉及記錄涉及潛在安全性威脅的資訊。在一些實施例中,安全性模組216可以在一或更多個事件之後從攝影機208捕捉視訊。此類事件可以包括與車輛的碰撞或衝擊、車門的開啟、運動偵測器的啟動、或任何其他合適的事件(例如經由OBD連接107)。在偵測到事件之後,安全性模組216就可以將視訊或影像從攝影機208捕捉及傳送到副駕駛儀管理電腦118。視訊或影像可以與時間戳相關聯。
可以將機械模組218配置為決定一或更多個潛在的車輛問題。在一些實施例中,機械模組218經由OBD連接107接收包括車輛的狀態資訊的車輛資訊。在一些實施例中,可以基於從以接收訊號的決定的車輛類型來解譯經由OBD連接107接收的訊號。例如,副駕駛設備可以儲存對內部安裝有副駕駛設備106的車輛的類型的指示。在從車輛接收到訊號之後,機械模組218就可以基於車輛類型來將接收到的訊號的一部分映射到狀態映射內的特定狀態。機械模組218可以向客戶端設備202傳送狀態資訊。
可以將副駕駛模組220配置為自動化車輛功能的至少一部分。在一些實施例中,副駕駛模組220可以獲得各種資料,其包括來自攝影機208的視訊及/或影像、從感測器210收集的資料、及從OBD連接107收集的車輛資料、或其他合適的資料。接著將收集的資料組合成單個資料檔案,在該資料檔案中,基於收集到資料的時間來對準資料。可以產生一系列的這些資料檔案。副駕駛模組220可以向副駕駛儀管理電腦118提供這些資料檔案以供進一步處理。在一些實施例中,副駕駛模組220可以接收已經在提供的資料上訓練的機器學習模型。在這些實施例中的至少一些,可以儲存及使用訓練的機器學習模型以自動化各種車輛功能。例如,可以在所採取的各種使用者動作(其經由在OBD連接107上收集的車輛資料來偵測)及對應的感測器資料上訓練機器學習模型。藉由說明的方式,系統可能偵測到,使用者用特定的光位凖閾值啟動車輛頭燈。在此示例中,在接收到對應的感測器資料之後,副駕駛設備就可以自動採取使用者在正常情況下會採取的行動。這可能涉及將訊號複製到一般由副駕駛設備106偵測的OBD連接。
客戶端設備202可以是能夠與如本文中所述的副駕駛設備106或副駕駛儀管理電腦118中的至少一者交互作用的任何個人設備。客戶端設備202可以包括處理器及電腦可讀取記憶體以及通訊介面216。客戶端設備202的電腦可讀取記憶體可以包括行動應用218,其實現客戶端設備202與副駕駛設備106及/或副駕駛儀管理電腦118之間的交互作用。在客戶端設備202上執行行動應用218可以使得客戶端設備202實例化與行動應用218相關聯的圖形使用者介面(GUI)。
行動應用224可以允許客戶端設備202的使用者與副駕駛設備106互動。例如,可以經由相應的通訊介面222及216來在副駕駛設備106與客戶端設備202之間建立通訊對話。在一些實施例中,行動應用224可以使使用者能夠存取經由實施在副駕駛儀管理電腦118上的一或更多個模組所提供的功能性。
副駕駛儀管理電腦118可以是電腦或電腦集合,其為副駕駛設備106及安裝在客戶端設備202上的行動應用224提供後端支援。副駕駛儀管理電腦118從副駕駛設備106接收資料,且將該資料的至少一部分儲存在後端資料儲存器226中。所接收的資料可以包括視訊資料、車輛資訊、及感測器資料。儲存在後端資料儲存器226中的資料可以由副駕駛儀管理電腦118或第三方實體消耗。在一些實施例中,將在副駕駛儀管理電腦118處從副駕駛設備106所接收的資料的至少一部分用來訓練機器學習模型,該機器學習模型可以接著實施在副駕駛設備106上以自動化至少一些功能性。
注意,雖然模組214-220中的每一者均被描繪為實施在副駕駛設備106上,但針對彼等模組所描述的功能性的至少一部分、或模組本身也可以替代地實施在副駕駛儀管理電腦118上。
圖3描繪依據至少一些實施例可以包括在副駕駛設備內的多個示例性硬體元件的方塊圖。如所描繪,硬體元件可以包括系統單晶片(system on chip, SOC)302。合適SOC 302的一些非限制性示例可以包括基於BCM2837B0系統單晶片的Raspberry Pi 3A+板。硬體元件可以包括通訊耦接到SOC 302的多個元件。
SOC 302與無線介面304通訊耦接以促進與客戶端設備或副駕駛儀管理電腦進行通訊。無線介面304可以包括用於實施短程通訊(例如符合標記為WI-FI®或BLUETOOTH®的無線標準的彼等短程通訊)的模組及用於實施長程通訊(例如符合4G無線標準的彼等長程通訊)的模組。
SOC 302與音訊介面306通訊耦接以向車輛駕駛員提供資訊以及接收駕駛員音訊輸入。音訊介面306可以包括音訊輸出元件(例如放大器(Amp)及揚聲器)以及音訊輸入元件(例如立體聲傳聲器)。
SOC 302與包括多個攝影機設備的攝影機介面308通訊耦接。詳細而言,攝影機介面308至少包括捕捉車輛的內部的視訊或影像的內部攝影機(圖3中的Int Cam)及捕捉車輛前部的外部的視訊及影像的外部攝影機(圖3中的Ext Cam)。在一些實施例中,攝影機介面可以包括多個外部攝影機。例如,攝影機介面308可以包括偏心立體攝影機。在此示例中,攝影機介面308可以包括能夠從與外部攝影機的角度不同的角度捕捉視訊影像的左側及右側立體攝影機。在一些實施例中,可以使用神經網絡處理器(例如Mydriad X)來處理經由立體攝影機捕捉的視訊或影像。神經網絡處理器是以人腦為模型的計算處理器單元(CPU)。此類實施例顯著減少對所處理的視訊及影像執行人工智慧功能(例如物體辨識)所需的資源。在一些實施例中,攝影機介面308的多個攝影機可以使用不同的手段來耦接到SOC 302。例如,該一或更多個內部攝影機可以經由USB耦接到SoC,該一或更多個外部攝影機可以經由MIIPI CSI耦接到SoC。
SOC 302與額外的記憶體310通訊耦接。記憶體310可以包括任何合適的電腦可讀取媒體,以包括依電性及非依電性記憶體。藉由非限制性示例的方式,額外的記憶體310可以包括快閃記憶體或動態隨機存取記憶體(DRAM)。在一些實施例中,額外的記憶體可以包括可移除的記憶體儲存器,例如安全數位(SD)卡。
SOC 302與多個感測器312通訊耦接。例如,該多個感測器312可以包括溫度感測器、實時時脈(RTC)、慣性測量單元(IMU)、或任何其他合適的感測器。IMU可以是使用加速度計、陀螺儀、及有時候是磁力計的組合來測量及報告主體的特定力、角速率、及有時候是主體的定向的任何電子設備。
SOC 302與向副駕駛設備106提供功率的功率模組314通訊耦接。功率模組314可以包括功率管理集成電路(PMIC),其管理提供到副駕駛設備106的功率。在一些實施例中,可以將功率從OBD連接(例如針對圖1所描述的OBD連接107)供應到副駕駛設備106。PMIC可以經由USB電源線連接到OBD連接。在一些實施例中,功率模組314可以包括電池或其他備用電源。在一些情況下,電池可以從OBD連接充電,且可以當副駕駛設備106從OBD連接斷開時向副駕駛設備106提供功率。
SOC 302與輸出狀態指示符的光輸出模組316通訊耦接。光輸出模組316可以包括發光二極體(LED)驅動器。在一些實施例中,光輸出模組316可以包括多個不同種類的LED。例如,光輸出模組316可以包括能夠用IR光照射乘客的紅外線(IR)LED。在另一個示例中,光輸出模組316可以包括向使用者提供狀態指示的紅綠藍(RGB)光LED。在一些實施例中,LED元件由SOC 302的接腳(例如GPIO接腳)所控制。
SOC 302與全球導航衛星系統(GNSS)模組318通訊耦接。GNSS模組向SOC 302提供位置資料。
在一個非限制性的示例中,副駕駛設備106的SOC 302執行稱為Raspbian的基於Debian的Linux發行版本,其是為Raspberry Pi建構的(例如嵌入式的Linux板)。在其他的版本中,可以使用Yocto項目來配置發行版本。在一些版本中,加載的腳本(例如python腳本)可以包括攝影機、縮圖、垃圾收集器、或伺服器憑證中的一或更多者。在一些版本中,將憑證作為促進各種服務的系統服務來執行或管理。除了這些腳本執行的各種APT及pip程式包以外,代碼部署過程還包括配置各種Linux守護軟體(daemon software)及工具。Hostapd配置促進副駕駛設備106廣播其自身的無線網路,客戶端設備可以與該無線網路連接。在一些版本中,設定bluez.service或rfcomm規則以配置OBD連接與副駕駛設備106之間的連接。
圖4描繪可以依據實施例來實施的示例性副駕駛設備的幾個不同視圖。更詳細而言,圖4A描繪示例性副駕駛設備的等軸俯視圖。圖4B描繪示例性副駕駛設備的等軸側視立面圖。圖4C描繪示例性副駕駛設備的等軸仰視圖。圖4D描繪示例性副駕駛設備的等軸透視圖。圖4中所描繪的示例性副駕駛設備106是針對圖1所描述的副駕駛設備106的示例。
示例性副駕駛設備106包括主殼體402。主殼體402耦接到既存車輛(例如二手車輛,或已經購買且從經銷商駛離的車輛)。主殼體402耦接到內部攝影機組件404及外部攝影機組件406。內部攝影機組件404包括至少一個攝影機。外部攝影機組件406包括一或更多個額外的攝影機(例如兩個、三個、或更多個攝影機)及促進夜視的一或更多個紅外線發光二極體(LED)。
圖5描繪示例性副駕駛設備的等軸透視分解圖。更詳細而言,圖5描繪主殼體402、內部攝影機組件404、及外部攝影機組件406中的每一者的分解圖。如圖5中所描繪,主殼體402、內部攝影機組件404、及外部攝影機組件406中的每一者均可以經由鉸合部502來連接。
主殼體402及攝影機組件404及406可鉸合地彼此耦接以在主殼體402已經耦接到車輛之後促進相對於主殼體調整攝影機組件404及406的角度。在一些版本中,攝影機組件404及406可分離地且可鉸合地耦接到主殼體402以促進將攝影機組件404及406安裝在多個不同的車輛中,該等車輛具有安裝在其中的相應主殼體402。例如,鉸合部502可以由主殼體402的第一元件及攝影機組件404或406的第二元件中的一或更多者所界定,其中第一元件及第二元件可分離地彼此耦接(例如卡扣、磁鐵、銷等等)。第一元件及第二元件具有對應的電接點,其促進在攝影機組件404或406與主殼體404及406之間傳輸資料及功率而無需使用者連接或斷開任何電線或電線端子。注意,在一些實施例中,副駕駛設備106可以不含外部電線。
在一些實施例中,主殼體402、內部攝影機組件404、及外部攝影機組件406中的每一者均可以用使得內部攝影機組件404可以獨立於外部攝影機組件406而旋轉或用其他方式調整的方式經由鉸合部502來連接。經由操縱鉸合部的增加或減少鉸合部中的摩擦力的元件(例如6-32內六角螺釘(SHCS)軸向穿過鉸合部的中心且用6-32 Nylock螺母固持在適當的位置)使得鉸合部502的旋轉摩擦可調整。在一些版本中,藉由配合鋼及矽膠墊圈作為支承表面來增加及調節與外部攝影機組件406內的一或更多個面向外部的攝影機的定向相關的旋轉摩擦。在一些實施例中,將鋼墊圈黏著到鉸合部的主殼體側,且將矽膠墊圈黏著到鉸合部的外部攝影機組件側。藉由將尼龍墊圈與配合的塑膠(例如使用MultiJet Fusion尼龍或聚對苯二甲酸乙二醇酯(Polyethylene Terephthalate Glycol, PETG)來3D印刷的塑膠)相配合來減少及調節與內部攝影機組件404內的一或更多個面向內部的攝影機的定向相關的旋轉摩擦。尼龍墊圈壓入配合到內部攝影機組件404包殼的外部中。在一些版本中,鉸合部502是銷鉸合部。
副駕駛設備106的主殼體402或攝影機組件404及406中的一或更多者包括邏輯執行電路系統(例如針對圖3所描述的硬體元件)。主殼體402或攝影機組件404及406中的一或更多者包括電源(例如用來從外部電源將電池充電的電池充電器,或耦接到車輛中的電源的功率轉換器)。在一些實施例中,OBD連接也可以充當電源,因為用於副駕駛設備的功率是藉由機載診斷匯流排從車輛汲取的。在一些實施例中,可以將RGB LED設置在主殼體內以促進向使用者傳遞設備狀態或其他資訊(例如基於視訊資料的估算的車道漂移通知、防盜、或盜竊通知)。在一些實施例中,副駕駛設備106不含任何顯示或使用者介面控制件(例如觸控按鈕或其他控制件)以促進減少駕駛員的分心。
主殼體蓋耦接到主殼體主體(例如使用2個M2.5 x 10mm SHCS及夾子來耦接)。主殼體的蓋體可以包括一或更多個支座,其促進將副駕駛設備106耦接到車輛(例如將副駕駛設備106安裝到車輛的擋風罩的一塊雷射切割的3M超高結合(VHB)黏著劑(例如泡沫膠帶))。將黏著劑的量最小化以使得安裝及從車輛移除更容易及當安裝到擋風罩時減少空氣氣泡且使標誌藉由擋風罩可見。
內部攝影機組件404收容一或更多個面向後方的內部攝影機,其促進記錄車輛的內部的活動的視訊且也記錄車輛的與車輛當向前移動時的行進方向相對的外部(例如車輛的後窗外)的活動的視訊。面向後方的攝影機可以是廣角攝影機。在一些版本中,將內部攝影機、導熱墊、及散熱器安裝在攝影機組件404的內部上且藉由鉸合部502的元件(例如軸向6-32 SHCS)來固定。將墊圈安裝在內部攝影機組件404的包殼的側面上。
外部攝影機組件406收容一或更多個面向前方的外部攝影機,其促進在車輛當向前移動時的行進方向上記錄車輛的外部的活動的視訊。在一些實施例中,外部攝影機組件406的外部攝影機殼體包括界定攝影機殼體的前表面的前壁(例如丙烯酸壁)。前壁對面向前方的外部攝影機是半透明或透明的。前壁可以具有其周邊周圍的機加工的唇部,其中唇部與攝影機殼體的主體交接以促進將前壁耦接到攝影機殼體的主體。可以用深色(例如黑色)將攝影機殼體的內部塗油漆或用其他方式著色以限制光干擾。用於每個攝影機的支座均耦接到(例如黏著)到攝影機殼體的內部(例如前壁的內表面)。在一些版本中,攝影機殼體的一或更多個後表面為每個紅外線LED界定一個孔洞(例如適用於850 nm紅外線LED的4個孔洞),該等孔洞用相應的角度定向以最大程度地將紅外光散佈在所有乘客的臉上。由攝影機殼體所界定的孔洞可以位在攝影機殼體附近的頂部上,以促進將電線從外部攝影機組件406傳遞到主殼體402。
在一些實施例中,攝影機殼體或主殼體中的一或更多者包括促進使該一或更多個殼體充當散熱器的材料。例如,該一或更多個殼體可以由陽極化的鋁所形成以促進該一或更多個殼體充當被動散熱器。
圖6描繪具有可以依據實施例來實施的可拆卸基部的示例性副駕駛設備的多個視圖。在一些實施例中,副駕駛設備可以由主殼體602組成,該主殼體包括硬體元件的至少一部分以及安裝到車輛的基部元件604。
在至少一些實施例中,主殼體602可以可移除地連接到基部元件604。例如,主殼體602及基部元件604可以經由公資料端口連接器606及固定閂鎖608可連接,該公資料端口連接器及該等固定閂鎖連接到對應的母資料端口連接器610及閂鎖壓痕612。這允許主殼體602可移除地連接到基部元件604,使得基部元件604可以半永久地安裝在車輛內,且可以隨意從車輛移除主殼體。這有利地允許副駕駛設備的使用者從車輛移除主殼體以防止其被盜,以及將單個主殼體602與各自包括安裝的基部元件604的多個車輛一起使用。
如圖6中所描繪,主殼體602可以包括針對上述圖3所描述的多個硬體元件。例如,主殼體602的面向前方的側面(例如面向車輛的前部的側面)可以包括配置為從車輛前部的外部捕捉視訊或影像的多個外部攝影機614(a-c)。外部攝影機614(a-c)可以與針對上述圖3所描述的外部攝影機及立體攝影機(L及R)對應。應注意,使用多個面向前方的攝影機614(a-c)允許副駕駛設備使用本來可能經由使用單個攝影機不可用的各種深度感測技術。
在另一個示例中,主殼體602的面向後方的側面(例如面向車輛的內部的側面)可以包括內部攝影機616,其被配置為捕捉車輛的內部的視訊或影像以包括車輛內的一或更多個人(例如駕駛員及/或乘客)。內部攝影機616可以與針對上述圖3所描述的內部攝影機對應。在一些實施例中,主殼體602的面向後方的側面也可以包括配置為將紅外光發射到車輛的內部中的IR LED發射器618(a-b)。在這些實施例中,內部攝影機616可以能夠使用此紅外光來捕捉視訊或影像,從而允許在存在很少自然光的情境中(例如在夜晚時)捕捉此類影像。
在一些實施例中,主殼體602可以包括端口620(a-b)或其他連接手段,其允許將額外的電子設備、模組、及/或感測器連接到副駕駛設備。可以用與從包括在副駕駛設備中的感測器所接收的資料類似的方式處理經由這些端口620(a-b)接收的資料。副駕駛設備也可以包括電源鈕622,其使得副駕駛設備導通及關斷。
圖7描繪流程圖,其繪示依據實施例用於經由示例性副駕駛設備來處理資料的示例過程。過程700被繪示為邏輯流程圖,其每個操作均表示可以用硬體、電腦指令、或上述項目的組合實施的操作序列。在電腦指令的背景脈絡下,操作表示儲存在一或更多個電腦可讀取儲存媒體上的電腦可執行指令,該等電腦可執行指令當由一或更多個處理器執行時執行所記載的操作。一般而言,電腦可執行指令包括執行特定的功能或實施特定的資料類型的常式、程序、物件、元件、資料結構等等。描述操作的順序不旨在被解釋為限制,且可以用任何順序及/或與實施此過程及本文中所述的任何其他過程並行地省略或組合任何數量的所述操作。
過程700中的一些或全部(或本文中所述的任何其他過程,或其變型及/或組合)可以在配置為具有可執行指令的一或更多個電腦系統的控制之下執行,且可以實施為代碼(例如可執行指令、一或更多個電腦程式、或一或更多個應用)。依據至少一個實施例,圖7的過程700可以藉由圖1中所示的副駕駛系統的一或更多個構件來執行。例如,過程700可以藉由如針對圖1所描述的副駕駛設備106來執行。可以將代碼例如用包括由一或更多個處理器可執行的複數個指令的電腦程式的形式儲存在電腦可讀取儲存媒體上。電腦可讀取儲存媒體可以是非暫時性的。
在方塊702處,過程700包括由副駕駛設備接收資料。在一些實施例中,資料可以包括從內部安裝有副駕駛設備的車輛所接收(例如經由OBD連接接收)、從包括在副駕駛設備內的感測器所接收、及從包括在副駕駛設備內的攝影機所接收的資訊。在一些實施例中,可以在不變的基礎上接收資料。例如,副駕駛設備可以繼續從其攝影機中的一或更多者接收視訊資料,只要該設備連接到電源(即使內部安裝有該設備的車輛被關斷)。可以在接收資料時處理資料以識別特定的事件。在一些實施例中,這涉及將從資料識別的一或更多個條件與指示特定類型的事件的條件進行比較以偵測該特定類型的事件。
在決策方塊704處,過程700包括以下步驟:藉由決定從接收到的資料識別的一或更多個條件是否匹配指示安全性事件的條件,來偵測此類安全性事件。例如,副駕駛設備可以儲存對一或更多個條件的指示,該一或更多個條件指示潛在的安全性事件。藉由非限制性示例的方式,此類事件可以包括車輛的一或更多個門當鑰匙不存在時開啟(透過經由OBD連接所接收的開門指示符訊號所偵測到)、當車輛未被供電時的車輛移動(其可以指示碰撞或衝擊)、接收到與玻璃破碎的聲音具有高度相似性的聲音訊號、啟動運動偵測器、或對車輛的潛在安全性漏洞的任何其他合適的指示。應注意,即使車輛當前處於關斷狀態,副駕駛設備也可以偵測安全性事件。
在方塊706處,在偵測到潛在的安全性事件之後(來自決策方塊704的「是」),過程700就包括以下步驟:記錄該潛在的安全性事件。這可以涉及從內部攝影機及/或外部攝影機捕捉視訊,及將視訊修改為包括當前的時間以及其他的資訊(例如安全性問題類型)。接著將安全性事件的記錄(例如修改的視訊)儲存在副駕駛設備中、傳送到客戶端設備、及/或傳送到副駕駛儀管理電腦。可以立刻或在之後的時間點將安全性事件的記錄傳送到另一個電子設備。例如,可以將安全性事件的記錄儲存在副駕駛設備上,直到其被下載為止,或可以將其實時地(例如當安全性事件正在發生時)傳送到另一個電子設備。若未偵測到潛在的安全性事件,則過程可以繼續到方法708而無需記錄安全性事件(來自決策方塊704的「否」)。
在決策方塊708處,過程700包括以下步驟:藉由決定從接收到的資料識別的一或更多個條件是否匹配指示商業事件的條件,來偵測此類商業事件。例如,副駕駛設備可以儲存對一或更多個條件的指示,該一或更多個條件指示商業事件。藉由非限制性示例的方式,此類事件可以包括從在客戶端設備上執行的行動應用接收到對商業事件的指示、由使用者向副駕駛設備輸入手動指示(按下副駕駛設備上的按鈕)、決定車輛當前採取通常連結到商業事件的路線(例如計程車駕駛員當前正在朝向機場行駛)、或駕駛員從事商業事件的任何其他合適的指示。在一些實施例中,商業事件可以包括商業事件開始及商業事件結束。偵測商業事件可以涉及偵測商業事件的開始及結束,其可以各自與不同的條件相關聯。
在方塊710處,在偵測到商業事件之後(來自決策方塊708的「是」),過程700就包括以下步驟:記錄該商業事件。這可以涉及在與商業事件開始相關聯的時間獲得及記錄當前的里程表讀數以及在與商業事件結束相關聯的時間記錄當前的里程表讀數。商業事件可以更包括對時間戳、位置(例如經由GPS)、視訊、或其他資料的指示。接著將記錄的商業事件儲存在副駕駛設備中、傳送到客戶端設備、及/或傳送到副駕駛儀管理電腦。在一些實施例中,當被請求時或實時地將商業事件的記錄傳送到另一個電子設備。若未偵測到商業事件,則過程可以繼續到方法712而無需記錄商業事件(來自決策方塊708的「否」)。
在決策方塊712處,過程700包括以下步驟:藉由決定從接收到的資料識別的一或更多個條件是否匹配指示狀態更新事件的條件,來偵測此類狀態更新事件。在此情境中,副駕駛設備可以基於接收的資料來決定駕駛員或車輛的狀態。每個狀態均可以與特定的條件相關聯。許多類型的狀態可以與車輛及/或使用者相關聯。
例如,副駕駛設備可以接收對與車輛所在的當前路段相關聯的速限的指示。在此示例中,副駕駛設備也可以接收對車輛行進的當前速度的指示(例如經由OBD連接接收)。基於此資訊,若副駕駛設備決定車輛的當前速度大於當前路段的速限,則副駕駛設備可以識別車輛的超速行駛狀態。或者,在決定車輛的當前速度足夠低於當前路段的速限之後,副駕駛設備就可以識別車輛的交通繁忙狀態。在一些情況下,交通繁忙狀態決定可能需要決定車輛的當前速度足夠低於速限以及在獲得的視訊資料中識別出一或更多個車輛。
在第二示例中,副駕駛設備可以接收對與車輛相關聯的一或更多個問題的指示。例如,副駕駛設備可以接收經由OBD連接傳送到副駕駛設備的錯誤碼。在此示例中,副駕駛設備可以基於關於內部安裝有副駕駛設備的特定類型或品牌的車輛而儲存的映射來將錯誤碼翻譯成問題狀態。
在方塊714處,在偵測到狀態更新之後(來自決策方塊712的「是」),過程700就包括以下步驟:向客戶端設備提供偵測到的狀態。例如,副駕駛設備可以向駕駛員的行動設備傳送狀態。可以接著經由執行在行動設備上的GUI向使用者呈現狀態。若未偵測到狀態更新事件,則過程可以繼續到方法716而無需記錄狀態更新事件(來自決策方塊712的「否」)。
在方塊716,過程700包括以下步驟:產生修改的視訊檔案。這可以涉及將接收到的資料附加到由包括在副駕駛設備中的一或更多個攝影機所捕捉的視訊檔案。在一些情況下,這包括將接收到的資料的至少一部分作為元資料附加到視訊的頁腳。接收到的資料可以與時間戳相關聯,該時間戳指示接收到資料的時間。用這種方式,可以經由時間戳對準各種類型的資料。
在方塊718處,過程700包括以下步驟:向伺服器傳達修改的視訊檔案。在一些實施例中,伺服器可以是如針對圖1所描述的副駕駛儀管理伺服器。修改的視訊檔案可以由各種不同的應用消耗。在一些實施例中,伺服器可以向機器學習模組提供修改的視訊檔案以用於訓練機器學習模型。
圖8描繪依據實施例用於產生及提供修改的視訊檔案的示例過程。在所繪示的過程800中,可以由副駕駛設備106從通訊耦接到副駕駛設備106的多個不同來源接收資訊802。資訊802可以包括各種資訊類型。
在一些實施例中,資訊802可以包括從一或更多個感測器804所接收的感測器資料。例如,資訊802可以包括從溫度感測器(例如溫度計)、實時時脈、加速度計、陀螺儀、磁力計、或任何其他合適類型的感測器所獲得的資料。資訊包括可以在OBD連接808上接收的車輛資料806。車輛資訊806可以包括里程表資訊、速度計資訊、錯誤碼資訊、或任何其他合適的車輛資料。
在一些實施例中,資訊802可以包括從GNSS或GPS設備812所獲得的位置資訊810。可以週期性地(例如每五分鐘)獲得位置資訊810。
在一些實施例中,資訊802可以包括視訊資料。視訊資料可以包括由外部攝影機816所捕捉的外部視訊814,該外部攝影機指向車輛前方。視訊資料也可以包括由內部攝影機820所捕捉的內部視訊818,該內部攝影機指向車輛的內部。
在從各種來源接收到資訊802之後,副駕駛設備106就可以將接收到的資訊802編譯成單個資料檔案,在該資料檔案中,資料中的每一者均基於所接收到的時間來對準。在一些實施例中,可以將一或更多個資料片段附加到視訊檔案。例如,可以將資料作為元資料添加到視訊的頁腳。每個資料片段均可以與視訊內的特定時間相關聯,使得使用視訊中的時間來將資料同步化。這允許用高效得多的方式處理資料,因為資料檔案的消費者不需要在其處理期間對準資料。
接著將產生的資料檔案傳達到副駕駛儀管理電腦118。在一些實施例中,直接經由包括在副駕駛設備106中的長程通訊手段在網路822上向副駕駛儀管理電腦118提供資料檔案。在一些實施例中,使用客戶端設備824作為代理伺服器經由包括在副駕駛設備106中的短程通訊手段向副駕駛儀管理電腦118提供資料檔案。在此實施例中,向客戶端設備824傳送資料檔案,該客戶端設備接著經由網路822將資料檔案轉發到副駕駛儀管理電腦118。
副駕駛儀管理電腦118接著能夠處理資料檔案以執行一或更多個功能。在一些實施例中,副駕駛儀管理電腦118使用資料檔案(以及由其他副駕駛設備所提供的資料檔案)來自動化某些車輛功能。此過程在下文針對圖9更詳細地描述。在一些實施例中,可以基於接收到的資料檔案來提供一或更多個服務。下文提供了可以基於資料檔案來提供的服務的一些非限制性示例。
在第一示例中,副駕駛儀管理電腦118可以根據從多個副駕駛設備所接收的資料檔案決定交通模式。在此示例中,副駕駛儀管理電腦可以從副駕駛設備接收最近的資料檔案,該資料檔案指示車輛的速度顯著低於副駕駛設備當前正在行進的道路的通報速限(例如基於副駕駛設備的位置及通報速限的映射來指示)。在此示例中,副駕駛儀管理電腦118可以在資料檔案中的視訊上執行物體辨識以決定在副駕駛設備周圍存在多個車輛。基於所決定的幾個車輛的存在,及副駕駛設備行進的速度,副駕駛儀管理電腦118可以將交通繁忙狀態與副駕駛設備的當前位置相關聯。副駕駛儀管理電腦118可以向多個副駕駛設備提供對交通繁忙位置的指示以允許與彼等副駕駛設備相關聯的駕駛員避免交通繁忙的位置。在一些實施例中,可以向被決定為朝向交通繁忙的位置行進的副駕駛設備提供對交通繁忙的位置的指示。
在另一個示例中,副駕駛儀管理電腦118可以識別適於各種車輛的多個停車空間位置。在此示例中,副駕駛儀管理電腦118可以處理資料檔案中所接收的視訊以識別可用的停車空間。可以使用物體辨識(其用來識別車輛)以及深度感測技術(其用來決定車輛之間的空間的尺寸)來識別此類停車空間。可以設想,深度感測技術可以使用從深度感測器所獲得的資料。然而,給定必須計算此類深度的距離,常規的結構光深度感測可能無效。相反地,副駕駛設備可以比較從不同角度捕捉的視訊(例如從圖6的立體攝影機614(a-c)捕捉的視訊)以決定各種已停車的車輛之間的深度(距離)。為此,副駕駛儀管理電腦118在視訊內的特定時間決定副駕駛設備與第一已停車的車輛的後部處的第一點之間的距離以及副駕駛設備與第二已停車車輛的前部處的第二點之間的距離。可以接著使用兩個計算出的距離及兩個點中的每一者與副駕駛設備相應的角度(其可以基於視訊影像內的兩個點的位置來決定)來決定兩個已停車的車輛之間的距離。如此,副駕駛儀管理電腦118可以當副駕駛設備沿著道路行進時基於已停車的車輛之間的空間的尺寸及位置來識別潛在的停車空間。副駕駛儀管理電腦118接著藉由基於儲存的障礙物位置映射以及小於閾值尺寸的潛在停車空間來消除與障礙物並列的任何潛在停車空間(例如車道、消防栓、禁止停車區等等),來識別有效的停車空間。一旦已經識別有效的停車空間,副駕駛儀管理電腦118就可以向至少一個副駕駛設備(其可以與從以接收資料檔案的副駕駛設備不同)傳送停車空間資料。在一些實施例中,副駕駛儀管理電腦118僅向安裝在可以容納在停車空間內的車輛中的副駕駛設備提供停車空間資料。例如,可以將比安裝在小型車輛內的副駕駛設備小的停車空間列表提供給安裝在大型車輛內的副駕駛設備。
圖9描繪依據實施例用於自動化車輛功能性的示例過程。過程900可以涉及副駕駛系統的多個元件之間的交互作用。例如,過程900可以涉及副駕駛設備106、副駕駛儀管理電腦118、與車輛902之間的交互作用。副駕駛電腦106與副駕駛儀管理電腦118之間的交互作用可以經由網路連接來促進,而副駕駛設備106與車輛之間的交互作用可以經由OBD連接904來促進。副駕駛設備106可以使用通訊耦接的感測器及攝影機906來收集關於車輛902的資訊。
在示例過程900中,在950處將資料從副駕駛設備106傳送到副駕駛儀管理電腦118。上文針對圖8提供了用於產生此類資料的示例過程。在一些實施例中,可以從與多個不同的使用者及/或車輛902相關聯的多個不同的副駕駛設備106接收資料。由副駕駛儀管理電腦118所接收的資料可以用來訓練機器學習演算法908。例如,可以向機器學習演算法提供資料的第一部分作為輸入,且可以向機器學習演算法提供資料的第二部分作為輸入。藉由說明的方式,若機器學習演算法是神經網絡,則可以向神經網絡提供來自資料的各種視訊特徵(例如識別的物體、光位凖等等)及感測器資料作為輸入層,而可以將指示使用者動作(例如開燈、設定擋風罩雨刮器的速度等等)的資料提供為輸出層。用這種方式,可以在952處在對各種輸入的適當使用者回應上訓練機器學習演算法908以產生訓練的模型910。一旦訓練的模型910已經由副駕駛儀管理電腦118所產生,副駕駛儀管理電腦118就可以在954處向副駕駛設備106提供該訓練的模型910,該副駕駛設備將訓練的模型910儲存在記憶體中。
一旦副駕駛設備106已經接收到訓練的模型910,副駕駛設備106就可以使用該訓練的模型910來自動化車輛902的功能性。例如,副駕駛設備可以在956處從一或更多個感測器及攝影機906接收涉及車輛902的操作的資料。在接收到此資料之後,就可以向訓練的模型910提供資料,該訓練的模型接著被配置為基於接收到的資料來產生要向車輛902提供的指令。在一些實施例中,產生的指令可以特定於內部被決定安裝有副駕駛設備106的特定類型的車輛902。
向車輛提供使用訓練的模型910來產生的指令以使其採取某種動作。更詳細而言,在958處向OBD連接904提供所產生的指令。OBD 904接著在960處將彼等指令翻譯成要向車輛傳送的訊號以使得車輛採取某些動作。例如,在958處提供的指令可以包括用來打開車輛頭燈的指令。在此示例中,OBD連接904可以決定連接匯流排上控制車燈的適當接腳,且可以在960處經由該接腳向車輛提供訊號。
使用上述技術,可以使得副駕駛設備106自動化某些車輛功能的啟動。如本領域中的技術人員基於上述圖8及圖9的說明會認識到的,副駕駛設備106收集關於車輛環境的資訊(例如經由感測器及攝影機906收集)以及關於使用者已經採取的行動的資訊(例如從OBD連接收集的車輛資訊)且產生單個資料檔案,在該資料檔案中,資料基於時間而同步。這允許機器學習模型使用機器學習演算法來識別由使用者所採取且與環境資料中所偵測到的各種條件對應的行動。可以使得在此類資料上訓練的模型910辨識當某些條件存在於環境中時是適當的使用者動作。當提供此訓練的模型910時,副駕駛設備106可以接著在偵測到彼等環境因素之後就自動地模擬在正常情況下會由使用者動作所產生的訊號。例如,若使用者一般當環境光位凖降低到小於某個光位凖閾值時打開頭燈,則訓練的模型可以識別該光位凖閾值及使用者在打開頭燈時的該動作。在此示例中,在偵測到當前的環境光位凖已經降低到小於光位凖閾值之後,已經提供該訓練的模型的副駕駛設備就可以向OBD連接提供指令,該指令接著產生當使用者啟動車輛頭燈時一般會產生的訊號,從而使得自動地(例如在沒有使用者互動的情況下)啟動車輛頭燈。
圖10描繪依據至少一些實施例的示例圖形使用者介面,該圖形使用者介面可以在客戶端設備上實體化以實現副駕駛設備與客戶端設備之間的交互作用。更詳細而言,圖10描繪客戶端設備1002,行動應用的使用者介面實體化在該客戶端設備上。
在一些實施例中,使用者可以存取與行動應用相關聯的帳戶(例如經由登入及密碼來存取)。帳戶對於使用者而言可以是獨一的,且可以與獨一識別碼1004相關聯。在一些實施例中,帳戶可以與一或更多個特定的副駕駛設備相關聯(例如配對)。可以將向行動應用提供的資料從相關聯的副駕駛設備直接提供到客戶端設備1002,或可以將該資料從副駕駛設備提供到後端伺服器(例如副駕駛儀管理電腦118)然後基於帳戶資訊由後端伺服器路由到客戶端設備1002。
在一些實施例中,行動應用可以使得客戶端設備1002經由短程無線連接從副駕駛設備接收資料。圖形使用者介面可以向客戶端設備1002的使用者呈現該接收到的資料1006的一部分。在一些實施例中,資料1006可以包括客戶端設備1002的使用者可用的功能性的選單。
圖11描繪依據至少一些實施例的示例圖形使用者介面,該圖形使用者介面可以在客戶端設備上實體化以將車輛狀態資訊從副駕駛設備向車輛的駕駛員傳達。在一些實施例中,安裝在客戶端設備上的行動應用可以包括呈現所接收的車輛狀態資訊的機械協助模組。當機械協助模組在客戶端設備上執行時,自動地或響應於使用者選定使得副駕駛設備獲得從OBD連接所獲得的資料的使用者介面控制件,將該資料從副駕駛設備106傳輸到客戶端設備。在一些版本中,可以向副駕駛設備106傳送HTTP請求以使得副駕駛設備106對OBD連接發起獲得資料的請求及向副駕駛設備106傳送獲得的資料,該副駕駛設備接著向客戶端設備提供資料。
在一些實施例中,機械協助模組基於獲得的資料來提供度量(例如指示車輛元件健康的度量(例如過期換油、油溫過高等等)),及提供基於該等度量來選定的指令、提示、或教程以促進協助使用者向車輛提供適當的維護或修理。例如,可以將一或更多個度量與一或更多個閾值進行比較,且若該一或更多個度量滿足、超過、或未能滿足或超過該一或更多個閾值,則可以決定車輛元件是在規格之內或超出規格。響應於決定車輛元件超出規格(或基於預定數量的最近度量,決定車輛元件趨向於超出規格),客戶端設備可以向使用者提供警報及提供關於如何解決問題的指令。例如,客戶端設備可以加載由後端伺服器所提供的視訊。
在一些實施例中,機械協助模組提供錯誤碼(例如故障診斷碼(DTC))及/或根據錯誤碼決定的車輛問題1106。例如,副駕駛設備可以經由OBD連接獲得一或更多個錯誤碼,且可以基於錯誤碼對一定車輛類型的各種問題的映射來將特定的問題與錯誤碼相關聯。
圖12描繪依據至少一些實施例的示例圖形使用者介面,該圖形使用者介面可以在客戶端設備上實體化以將里程資訊從副駕駛設備向車輛的駕駛員傳達。在一些實施例中,安裝在客戶端設備1202上的行動應用可以包括呈現所接收的里程資訊的里程保存器模組。
在一些實施例中,副駕駛設備用預定的間隔(例如每兩秒)從OBD連接獲得里程表資料,及將獲得的資料儲存在資料庫(例如SQLite資料庫)。響應於客戶端設備執行里程保存器模組及向副駕駛設備提供里程請求(例如HTTP請求),副駕駛設備將里程日誌(例如日期、時間、位置、開始/停止里程表讀數)解析成里程日誌資料物件(例如JSON檔案)及向客戶端設備提供該資料物件。每個請求均可以涉及指定的時間段1204。例如,使用者可以請求特定日期、月份、或年份的里程日誌。
響應於獲得里程日誌資料物件,客戶端設備產生及提供與里程日誌資料相關聯的度量。可以將里程日誌資料中的資料的至少一部分呈現為個別的里程日誌事件。在一些實施例中,客戶端設備促進使用者指示當前、過去、或未來的駕駛期是否與個人或商業使用相關,且基於該選定產生符合國稅局(IRS)要求的里程日誌,以促進使用者方便基於車輛使用情況(例如產生的包括日誌的PDF檔案)獲得報稅單或註銷。
客戶端設備1202可以進一步能夠向另一個電子設備提供里程日誌。例如,客戶端設備1202的使用者可以藉由選定的通訊手段(例如文字信息、電子郵件等等)轉發里程日誌。
圖13描繪依據至少一些實施例的示例圖形使用者介面,該圖形使用者介面可以在客戶端設備上實體化以將安全性事件資訊從副駕駛設備向車輛的駕駛員傳達。在一些實施例中,安裝在客戶端設備1302上的行動應用可以包括呈現所接收的安全性事件資訊的安全性模組。
如在別處提到的,副駕駛設備可以包括安全性模組,該安全性模組在偵測到安全性事件之後就產生某些資料。安全性事件事件可以包括車輛的一或更多個門當鑰匙不存在時開啟(透過經由OBD連接所接收的開門指示符訊號所偵測到)、當車輛未被供電時的車輛移動(其由加速度計或其他合適的感測器所偵測)(其可以指示碰撞或衝擊)、接收到與玻璃破碎的聲音具有高度相似性的聲音訊號、啟動運動偵測器、或對車輛的潛在安全性漏洞的任何其他合適的指示。在偵測到事件之後,安全性模組216就可以將視訊或影像從攝影機208捕捉到副駕駛儀管理電腦118。視訊或影像可以與時間戳相關聯,且可以被修改以包括與潛在安全性事件相關的其他合適的資料。例如,在鑰匙不存在的同時偵測到車門開啟之後,副駕駛設備就可以開始捕捉視訊且可以繼續捕捉視訊達某預定的時間段。在此示例中,可以將對安全性事件(例如「門開啟」)的類型的指示作為元資料附加到視訊以及將時間戳、位置、及/或任何其他合適的資料附加到視訊,以產生視訊檔案。可以向客戶端設備1302提供所產生的視訊檔案。在一些實施例中,直接經由無線通訊手段向客戶端設備1302提供產生的視訊檔案。在一些實施例中,向後端伺服器(例如副駕駛儀管理電腦118)提供產生的視訊檔案,然後經由網路連接將該產生的視訊檔案路由到客戶端設備。
客戶端設備130可以將與安全性事件相關的資訊(例如從視訊檔案產生的縮圖影像)附加到時間線1304。時間線1304可以促進關於日期/時間追蹤安全性事件1306。在一些實施例中,選定安全性事件1306中呈現在時間線1304上的特定安全性事件可以使得客戶端設備1302呈現與選定的安全性事件相關的額外細節。例如,可以使得使用者能夠檢視視訊、在地圖上檢視安全性事件的位置、或用其他方式與跟安全性事件相關的資訊互動。
圖14描繪流程圖,其描繪依據至少一些實施例用於產生修改的視訊檔案及將該修改的視訊檔案傳送到伺服器的示例過程。過程1400可以藉由副駕駛設備(例如如針對圖1所描述的副駕駛設備106)來執行。
在1402處,過程1400包括以下步驟:在副駕駛設備處接收視訊資料。視訊資料包括使用內部(例如面向後方)的攝影機來捕捉的車輛內部及一或更多個乘客的視訊。在一些情況下,可以用夜視模式(例如使用能夠捕捉紅外光的攝影機)捕捉車輛內部的視訊。視訊資料也包括車輛前方的車輛外部的視訊,其使用一或更多個外部(例如面向前方)的攝影機來捕捉。在一些實施例中,該一或更多個外部攝影機可以包括能夠從各種角度捕捉場景的多個立體攝影機。
在1404處,過程1400包括以下步驟:經由車輛與副駕駛設備之間的連接接收車輛資料。在一些情況下,車輛與副駕駛設備之間的連接是機載診斷(OBD)連接。如別處提及的,副駕駛設備可以經由OBD連接收集各種類型的車輛資料。例如,車輛資料可以包括里程表資訊、速度計資訊、燃油表資訊、或錯誤碼資訊。
在1406處,過程1400包括以下步驟:從與副駕駛設備通訊的一或更多個感測器接收感測器資料。如別處提及的,副駕駛設備可以包括收集各種類型的感測器資料的多個不同的感測器類型。例如,感測器資料可以包括溫度資料、加速度資料、時間資料、位置資料、光位凖資料、或濕度位凖資料。
在1408處,過程1400包括以下步驟:產生修改的視訊檔案,該修改的視訊檔案包括視訊資料、車輛資料的至少一部分、及感測器資料的至少一部分。這可以涉及將車輛資料的該部分及感測器資料的該部分附加到視訊資料。更詳細而言,可以將車輛資料的該部分及感測器資料的該部分作為元資料附加到視訊資料的頁腳。在修改的視訊檔案內,基於在修改的視訊檔案中接收到資料的時間來同步化車輛資料的該部分、感測器資料的該部分、及視訊資料。
在1410處,過程1400包括以下步驟:向伺服器傳送修改的視訊檔案。更詳細而言,向相對於副駕駛設備位於遠端的副駕駛儀管理電腦傳送修改的視訊檔案。
在一些實施例中,過程1400可以更包括以下步驟:接收對商業事件的開始及該商業事件的結束的指示,及決定與該商業事件相關聯的里程。在這些實施例中,決定與商業事件相關聯的里程可以涉及決定商業事件的開始時的第一里程,決定商業事件的結束時的第二里程,及從第二里程減去第一里程。第一里程及第二里程中的每一者均是根據在與商業事件的相應的開始及結束中的每一者對應的時間的車輛資料內的里程表資訊來決定的。
相對於常規的系統,本揭示內容的實施例提供了幾個優點。例如,所揭露的副駕駛設備產生單個資料檔案,在該資料檔案中,多個不同類型的資料用使得資料基於時間同步的方式組合。這允許下游系統(例如副駕駛儀管理電腦)推斷不同的資料之間的相關性而無需匹配或對準不同的資料,從而顯著增加處理效率。
此外,所揭露的系統的實施例還允許用一種方式自動化各種功能性,該方式原本經由售後市場解決方案不會是可自動化的。例如,該系統提供了用非常準確的方式出於稅務的目的自動偵測及記錄商業事件的手段。這允許使用者用最小的努力獲得極準確的里程記錄,同時消除或減少彼等里程記錄中的誤差。在一些實施例中,該系統允許自動化車輛中的各種車輛功能,彼等功能一般不會能夠自動化。例如,該系統允許基於由副駕駛設備所收集的視訊及/或感測器資料來自動啟動擋風罩雨刮器或頭燈。結論
如本文中所使用的,除非上下文另有清楚指出,否則以下用語具有本文中明確關聯的意義。用語「或」是一種包括性的文法連接詞,其用來指示可以採用連接的用語中的一或更多者。例如,語句「一或更多個A、B、或C」用來分離地揭露以下項目中的每一者:i)一或更多個A;ii)一或更多個B;iii)一或更多個C;iv)一或更多個A及一或更多個B;v)一或更多個A及一或更多個C;vi)一或更多個B及一或更多個C;及vii)一或更多個A、一或更多個B、及一或更多個C。如本文中所使用的用語「基於」不是排他的,且允許基於未描述的額外因素。冠詞「一」、「一個」、及「該」包括複數指稱。複數指稱旨在也揭露單數。
用語「前方」、「向前」、「後方」、及「向後」是相對於車輛的縱軸線或當被安裝在車輛中時的副駕駛設備106的縱軸線界定的。車輛的縱軸線沿著車輛的橫向中央從車輛的最後方的部分向車輛的最前端延伸。用語「前方」及「向前」指示較靠近車輛的頭燈的端部或當副駕駛設備106被安裝時在該等頭燈的方向上的端部(圖1中的右方)。用語「後方」及「向後」指示較靠近卡車的後擋板的端部或當儲存面板系統被安裝時在該後擋板的方向上的端部(圖6中的左方)。用語「高度」、「垂直」、「上部」、「下部」、「上方」、「下方」、「頂部」、「底部」、「最頂」、及「最底」是相對於車輛的垂直軸線或當被安裝在車輛中時的副駕駛設備106的垂直軸線界定的。垂直軸線橫切縱軸線,且被界定為當車輛位在水平地面上時與車輛或副駕駛設備106上的地球重力方向平行。用語「橫向」是相對於車輛的橫軸線或當被安裝在車輛中時的副駕駛設備106的橫軸線界定的。橫軸線橫切縱軸線及垂直軸線。
用語「售後市場」或「既存車輛」指的是車輛,該等車輛已經完全組裝且在通常業務過程中從經銷商出售,使得車輛的製造商及經銷商不再擁有對車輛的控制權。
值得注意的是,車輛具有各種形狀及尺寸。因此,當相對於與實施例相關但未包括在實施例中的一或更多個構件界定時,本領域中的通常技術人員會最佳地瞭解一些特徵或特性,例如車輛、儀表板、油箱、車把手、擋風罩、擋風玻璃等等的一或更多個特徵或特性。也因此,若在本文中相對於與實施例相關但未包括在實施例中的一或更多個構件界定實施例的特徵或特性,則此類定義在標的容許的範圍內是準確的。也應注意,本領域中的通常技術人員根據本揭示內容認識到,對於未包括在實施例中的給定車輛元件而言,可以依據實施例的原理容易獲得實施例的彼等特徵或特性。
雖然已經如上所述地繪示及描述了許多實施例,但在不脫離所述的特徵或特性的精神及範圍的情況下,也可以作出許多改變。例如,除非實施例的原理另有清楚指示,否則每次揭露一個元件具有一個特徵或特性均旨在也將該元件揭露為不含該特徵或特性。因此,實施例的範圍不受所述的具體特徵或特性的限制。
100:系統 102:客戶端設備 103:客戶端設備 104:客戶端設備 105:客戶端設備 106:副駕駛設備 107:OBD連接 108:短程無線網路 110:廣域網路 116:應用伺服器 118:副駕駛儀管理電腦 200:系統架構 202:客戶端設備 204:處理器 206:電腦可讀取記憶體 208:攝影機 210:感測器 212:OBD連接 214:通訊介面 216:安全性模組 218:機械模組 220:副駕駛模組 222:通訊介面 224:行動應用 226:後端資料儲存器 302:系統單晶片 304:無線介面 306:音訊介面 308:攝影機介面 310:記憶體 312:感測器 314:功率模組 316:光輸出模組 318:全球導航衛星系統(GNSS)模組 402:主殼體 404:內部攝影機組件 406:外部攝影機組件 502:鉸合部 602:主殼體 604:基部元件 606:公資料端口連接器 608:固定閂鎖 610:母資料端口連接器 612:閂鎖壓痕 616:內部攝影機 622:電源鈕 700:過程 702:方塊 704:方塊 706:方塊 708:方塊 710:方塊 712:方塊 714:方塊 716:方塊 718:方塊 800:過程 802:資訊 804:感測器 806:車輛資料 808:OBD連接 810:位置資訊 812:GNSS或GPS設備 814:外部視訊 816:外部攝影機 818:內部視訊 820:內部攝影機 822:網路 824:客戶端設備 900:過程 902:車輛 904:OBD連接 906:感測器及攝影機 908:機器學習演算法 910:訓練的模型 950:步驟 952:步驟 954:步驟 956:步驟 958:步驟 960:步驟 1002:客戶端設備 1004:識別碼 1006:資料 1106:車輛問題 1202:客戶端設備 1204:時間段 1302:客戶端設備 1304:時間線 1306:安全性事件 1400:過程 1402:步驟 1404:步驟 1406:步驟 1408:步驟 1410:步驟 614(a):外部攝影機 614(b):外部攝影機 614(c):外部攝影機 618(a):IR LED發射器 618(b):IR LED發射器 620(a):端口 620(b):端口
參照隨附的圖式來描述詳細說明,在該等圖式中,參考標號最左側的數字標識第一次出現該參考標號的圖式。不同圖式中相同參考標號的使用指示類似或相同的項目。
圖1繪示依據至少一些實施例包括售後市場車輛副駕駛設備(copilot device)的示例架構;
圖2描繪方塊圖,其示出依據各種實施例可以實施為包括副駕駛設備的示例性系統架構的各種元件;
圖3描繪依據至少一些實施例可以包括在副駕駛設備內的多個示例性硬體元件的方塊圖;
圖4A描繪示例性副駕駛設備的等軸俯視圖;
圖4B描繪示例性副駕駛設備的等軸側視立面圖;
圖4C描繪示例性副駕駛設備的等軸仰視圖;
圖4D描繪示例性副駕駛設備的等軸透視圖;
圖5描繪示例性副駕駛設備的等軸透視分解圖;
圖6描繪具有可以依據實施例來實施的可拆卸基部的示例性副駕駛設備的多個視圖;
圖7描繪流程圖,其繪示依據實施例用於經由示例性副駕駛設備來處理資料的示例過程;
圖8描繪依據實施例用於產生及提供修改的視訊檔案的示例過程;
圖9描繪依據實施例用於自動化車輛功能性的示例過程;
圖10描繪依據至少一些實施例的示例圖形使用者介面,該圖形使用者介面可以在客戶端設備上實體化以實現副駕駛設備與客戶端設備之間的交互作用;
圖11描繪依據至少一些實施例的示例圖形使用者介面,該圖形使用者介面可以在客戶端設備上實體化以將車輛狀態資訊從副駕駛設備向車輛的駕駛員傳達;
圖12描繪依據至少一些實施例的示例圖形使用者介面,該圖形使用者介面可以在客戶端設備上實體化以將里程資訊從副駕駛設備向車輛的駕駛員傳達;
圖13描繪依據至少一些實施例的示例圖形使用者介面,該圖形使用者介面可以在客戶端設備上實體化以將安全性事件資訊從副駕駛設備向車輛的駕駛員傳達;及
圖14描繪流程圖,其描繪依據至少一些實施例用於產生修改的視訊檔案及將該修改的視訊檔案傳送到伺服器的示例過程。
國內寄存資訊(請依寄存機構、日期、號碼順序註記) 無 國外寄存資訊(請依寄存國家、機構、日期、號碼順序註記) 無
100:系統
102:客戶端設備
103:客戶端設備
104:客戶端設備
105:客戶端設備
106:副駕駛設備
107:OBD連接
108:短程無線網路
110:廣域網路
116:應用伺服器
118:副駕駛儀管理電腦

Claims (20)

  1. 一種方法,包括以下步驟: 藉由一副駕駛設備,接收由包括在該副駕駛設備中的一攝影機所獲得的視訊資料; 藉由該副駕駛設備,經由一車輛與該副駕駛設備之間的一連接接收車輛資料; 藉由該副駕駛設備,從與該副駕駛設備通訊的一或更多個感測器接收感測器資料; 藉由該副駕駛設備,產生一修改的視訊檔案,該修改的視訊檔案包括該視訊資料、該車輛資料的至少一部分、及該感測器資料的至少一部分;及 藉由該副駕駛設備,向相對於該副駕駛設備位於遠端的一副駕駛儀管理電腦傳送該修改的視訊檔案。
  2. 如請求項1所述的方法,其中該車輛與該副駕駛設備之間的該連接包括一機載診斷(OBD)連接。
  3. 如請求項1所述的方法,更包括以下步驟: 藉由該副駕駛設備,接收對一商業事件的一開始及該商業事件的一結束的一指示;及 決定與該商業事件相關聯的一里程。
  4. 如請求項3所述的方法,其中決定與該商業事件相關聯的一里程的步驟包括以下步驟: 決定該商業事件的該開始時的一第一里程及該商業事件的該結束時的一第二里程;及 從該第二里程減去該第一里程。
  5. 如請求項4所述的方法,其中在該商業事件的該開始的一時間根據從該車輛與該副駕駛設備之間的該連接所接收的里程表資訊決定該第一里程。
  6. 如請求項1所述的方法,其中產生該修改的視訊檔案的步驟包括以下步驟:將該車輛資料的該部分及該感測器資料的該部分附加到該視訊資料。
  7. 如請求項6所述的方法,其中將該車輛資料的該部分及該感測器資料的該部分附加到該視訊資料的一頁腳。
  8. 如請求項6所述的方法,其中基於在該修改的視訊檔案中接收到該資料的一時間來同步化該車輛資料的該部分、該感測器資料的該部分、及該視訊資料。
  9. 一種副駕駛儀計算設備,包括: 一或更多個攝影機; 一連接,介於一車輛與該副駕駛儀計算設備之間; 一或更多個感測器; 一處理器;及 一記憶體,包括指令,該等指令當用該處理器執行時使得該副駕駛儀計算設備至少進行以下步驟: 接收由包括在該副駕駛設備中的該一或更多個攝影機所獲得的視訊資料; 經由一車輛與該副駕駛儀計算設備之間的該連接接收車輛資料; 從與該副駕駛設備通訊的該一或更多個感測器接收感測器資料; 產生一修改的視訊檔案,該修改的視訊檔案包括該視訊資料、該車輛資料的至少一部分、及該感測器資料的至少一部分;及 向相對於該副駕駛設備位於遠端的一副駕駛儀管理電腦傳送該修改的視訊檔案。
  10. 如請求項9所述的副駕駛儀計算設備,其中該感測器資料包括溫度資料、加速度資料、時間資料、位置資料、光位凖資料、或定向資料。
  11. 如請求項9所述的副駕駛儀計算設備,其中該視訊資料包括內部視訊資料及外部視訊資料。
  12. 如請求項11所述的副駕駛儀計算設備,其中該內部視訊資料包括捕捉該車輛的一內部內的一或更多個乘客的視訊。
  13. 如請求項12所述的副駕駛儀計算設備,其中捕捉該一或更多個乘客的該視訊包括使用紅外光來捕捉的視訊。
  14. 如請求項11所述的副駕駛儀計算設備,其中該外部視訊資料包括從複數個立體攝影機捕捉該車輛的一外部的多個視訊。
  15. 如請求項9所述的副駕駛儀計算設備,其中該車輛資料包括以下項目中的至少一者:里程表資訊、速度計資訊、燃油表資訊、錯誤碼資訊、或從該車輛的一控制器區域網路匯流排所接收的其他資訊。
  16. 一種系統,包括: 一副駕駛設備,包括一記憶體,該記憶體包括指令,該等指令使得該副駕駛設備進行以下步驟: 獲得不同的車輛相關的資料,該資料至少包括經由與一車輛的一連接接收的視訊資料、感測器資料、及車輛資料; 將該等不同的車輛相關的資料組合成一單個資料檔案;及 向一副駕駛儀管理電腦提供該單個資料檔案;及 一副駕駛儀管理電腦,與該副駕駛設備通訊耦接且被配置為處理從該副駕駛設備所接收的該單個資料檔案。
  17. 如請求項16所述的系統,更包括:一客戶端設備,具有安裝在其上的一行動應用,該行動應用實現該客戶端設備與該副駕駛設備之間的交互作用。
  18. 如請求項16所述的系統,其中該副駕駛儀管理電腦使用接收的該資料檔案來訓練一機器學習演算法以產生一訓練的模型,且該副駕駛儀管理電腦更被配置為向該副駕駛設備提供該訓練的模型。
  19. 如請求項18所述的系統,其中該訓練的模型使得該副駕駛設備在偵測到一組條件之後就自動化一或更多個車輛功能。
  20. 如請求項19所述的系統,其中該組條件是在由該副駕駛設備所收集的視訊資料或感測器資料內偵測到的。
TW109133300A 2019-09-27 2020-09-25 售後市場車輛副駕駛設備 TW202127384A (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201962907533P 2019-09-27 2019-09-27
US62/907,533 2019-09-27
US17/028,751 2020-09-22
US17/028,751 US20210094582A1 (en) 2019-09-27 2020-09-22 After-market vehicle copilot device

Publications (1)

Publication Number Publication Date
TW202127384A true TW202127384A (zh) 2021-07-16

Family

ID=75163577

Family Applications (1)

Application Number Title Priority Date Filing Date
TW109133300A TW202127384A (zh) 2019-09-27 2020-09-25 售後市場車輛副駕駛設備

Country Status (9)

Country Link
US (1) US20210094582A1 (zh)
EP (1) EP4042384A4 (zh)
JP (1) JP2022549507A (zh)
KR (1) KR20220072852A (zh)
AU (1) AU2020353153A1 (zh)
CA (1) CA3152568A1 (zh)
MX (1) MX2022003721A (zh)
TW (1) TW202127384A (zh)
WO (1) WO2021062216A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220269388A1 (en) * 2021-02-19 2022-08-25 Johnson Controls Tyco IP Holdings LLP Security / automation system control panel graphical user interface

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8868288B2 (en) * 2006-11-09 2014-10-21 Smartdrive Systems, Inc. Vehicle exception event management systems
KR100936014B1 (ko) * 2008-04-02 2010-01-11 (주)에이직뱅크 카메라 일체형 차량용 영상기록 장치
KR20130030583A (ko) * 2011-09-19 2013-03-27 주식회사 유비샘 차량용 운행정보 확인장치 및 영상 저장장치의 원격 감시제어 시스템
US9594725B1 (en) * 2013-08-28 2017-03-14 Lytx, Inc. Safety score using video data but without video
US9501878B2 (en) * 2013-10-16 2016-11-22 Smartdrive Systems, Inc. Vehicle event playback apparatus and methods
US10358142B2 (en) * 2017-03-16 2019-07-23 Qualcomm Incorporated Safe driving support via automotive hub
WO2018195671A1 (en) * 2017-04-28 2018-11-01 Klashwerks Inc. In-vehicle monitoring system and devices
US10922556B2 (en) * 2017-04-28 2021-02-16 Intel Corporation Storage system of DNN outputs for black box

Also Published As

Publication number Publication date
CA3152568A1 (en) 2021-04-01
MX2022003721A (es) 2022-05-10
AU2020353153A1 (en) 2022-05-12
JP2022549507A (ja) 2022-11-25
KR20220072852A (ko) 2022-06-02
EP4042384A1 (en) 2022-08-17
EP4042384A4 (en) 2023-10-11
WO2021062216A1 (en) 2021-04-01
US20210094582A1 (en) 2021-04-01

Similar Documents

Publication Publication Date Title
US20210327299A1 (en) System and method for detecting a vehicle event and generating review criteria
US20220114894A1 (en) Tracking and analysis of drivers within a fleet of vehicles
JP7125554B2 (ja) 分離型車両lidarデータ収集ポッド
US8421864B2 (en) Operation management device to be mounted to a moving object, portable information terminal, operation management server, and computer program
US11704947B2 (en) In-vehicle sensing module for monitoring a vehicle
US9586559B2 (en) Systems and methods for regulating vehicle access
JP6491601B2 (ja) 車両内移動デバイス管理
JP6603506B2 (ja) 駐車位置案内システム
US10598863B2 (en) Optical connector, optical cable, and electronic device
JPWO2020100922A1 (ja) データ配信システム、センサデバイス及びサーバ
US11405235B2 (en) Modular vehicle sensing, assisting connected system
TW202127384A (zh) 售後市場車輛副駕駛設備
US20190265420A1 (en) Optical connector, optical cable, and electronic device
CN105701880A (zh) 一种汽车行驶状态实时记录装置
CN203520470U (zh) 影像记录装置、挂载于交通工具的支撑装置及服务系统
ES2932502T3 (es) Método y sistema para validar una identidad de un dispositivo funcional designado
US20240038072A1 (en) Vehicle footprint based parking identification
CN208861335U (zh) 一种智能行车云记录仪
JP2021164043A (ja) 撮影装置、システム及びプログラム
Bogard et al. Connected commercial vehicles-integrated truck project: data acquisition system (DAS) documentation.
Welsh et al. Data collection, analysis methods and equipment for naturalistic studies and requirements for the different application areas. PROLOGUE Deliverable D2. 1