TW201440021A - 頭戴式顯示器及其控制方法 - Google Patents

Abstract

一種頭戴式顯示器及其控制方法。頭戴式顯示器包括影像獲取單元、儲存單元、投影顯示單元以及處理器。影像獲取單元用以拍攝使用者觀看的所視畫面。儲存單元用以儲存此些所視畫面。處理器根據所視畫面判斷使用者處於車內駕駛環境或停車環境。其中當處理器偵測使用者處於車內駕駛環境時，切換頭戴式顯示器為駕駛模式並判斷所視畫面中是否存在移動物體。若是，處理器控制投影顯示單元投影提醒訊號。其中當處理器偵測使用者處於停車環境時，切換頭戴式顯示器為停車模式並控制影像獲取單元記錄停車資訊。

Description

頭戴式顯示器及其控制方法

本發明是有關於一種頭戴式顯示器，且特別是有關於一種可應用於行車、停車環境的頭戴式顯示器。

隨著頭戴式顯示器(Head-Mounted Display，HMD)的體積愈來愈輕巧且顯示視角愈來愈大，頭戴式顯示器更增加了許多衍生性的應用功能。但現有頭戴式顯示器的應用僅提供使用者於靜止或行走時使用。舉例來說，現有Google公司所提出的頭戴式顯示器“Google glasses”將其產品導向預設為智慧型手機的取代，提供使用者於一般行走時顯示電子郵件、來電訊息或時間訊息等，但目前尚未有將頭戴式顯示器應用於行車駕駛環境的應用。

本發明提供一種頭戴式顯示器，將頭戴式顯示器應用於行車駕駛環境，可作為駕駛輔助裝置以及停車協尋工具。

本發明的頭戴式顯示器適於配戴在使用者的頭部，其包 括影像獲取單元、儲存單元、投影顯示單元以及處理器。其中，影像獲取單元用以拍攝使用者觀看的所視畫面。儲存單元用以儲存所視畫面。處理器耦接至影像獲取單元、儲存單元與投影顯示單元。處理器根據所視畫面判斷使用者處於車內駕駛環境或停車環境。其中當處理器偵測使用者處於車內駕駛環境時，切換頭戴式顯示器為駕駛模式。並且，處理器判斷所視畫面中是否存在移動物體，若是，處理器控制投影顯示單元投影提醒訊號。其中當處理器偵測使用者處於停車環境時，切換頭戴式顯示器為停車模式。並且。處理器控制影像獲取單元記錄至少一停車資訊。

在本發明的一實施例中，上述的處理器對所視畫面進行影像辨識處理，以判斷所視畫面中是否存在至少一預設物件，當所視畫面存在該至少一預設物件時，處理器判定使用者處於車內駕駛環境。

在本發明的一實施例中，上述的頭戴式顯示器更包括定位單元，其耦接至處理器。其中當頭戴式顯示器為駕駛模式時，處理器對所視畫面進行影像辨識處理以判斷目前路況，據以自動更新定位單元的一或多個導航參數。

在本發明的一實施例中，上述的頭戴式顯示器更包括觸控輸入單元，其耦接至處理器。其中當頭戴式顯示器為停車模式且觸控輸入單元接收到使用者的觸控訊號時，處理器啟動影像獲取單元與定位單元來記錄使用者的行走路線。

在本發明的一實施例中，上述的頭戴式顯示器更包括通 訊單元，其耦接至儲存單元與處理器。其中當頭戴式顯示器為駕駛模式時，通訊單元透過有線方式或無線方式連結至車用定位單元，以接收即時導航資訊。並且，處理器控制投影顯示單元投影顯示此即時導航資訊。

在本發明的一實施例中，上述的通訊單元透過有線方式或無線方式連結一或多個車用影像感測器，以接收車用影像感測器所拍攝的畫面並儲存於儲存單元。處理器控制投影顯示單元投影顯示車用影像感測器其中之一的畫面。

在本發明的一實施例中，上述的頭戴式顯示器更包括耦接至處理器的加速度感測器。加速度感測器用以偵測多數個加速度變化量以產生多數個加速度變化訊號，以使處理器根據此些加速度變化訊號判斷使用者是否進行停車動作、煞車動作或轉彎動作。

在本發明的一實施例中，上述的處理器判斷加速度變化訊號的至少其中之一大於速度變化臨界值時，處理器控制投影顯示單元降低投影提醒訊號的頻率。

在本發明的一實施例中，其中當頭戴式顯示器為停車模式時，處理器控制影像獲取單元進行水平全景拍攝以產生全景影像，處理器據以判斷使用者所處的停車環境為室內場景或室外場景，並記錄停車格編號、相鄰車牌資訊或標的物至少其中之一。

在本發明的一實施例中，上述的頭戴式顯示器更包括語音錄放器，其耦接至處理器與儲存單元，用以記錄或播放使用者 對於停車資訊的語音描述資料。

本發明的一種頭戴式顯示器的控制方法，適用於配戴在使用者頭部的頭戴式顯示器，包括下列步驟。藉由頭戴式顯示器拍攝使用者觀看的至少一所視畫面，以判斷使用者處於車內駕駛環境或停車環境。當使用者處於車內駕駛環境時，切換頭戴式顯示器為駕駛模式。並且，判斷所視畫面中是否存在移動物體，若是，則控制頭戴式顯示器投影提醒訊號。當使用者處於停車環境時，切換頭戴式顯示器為停車模式。並且，控制頭戴式顯示器記錄至少一停車資訊。

基於上述，本發明所提供的頭戴式顯示器及其控制方法，可作為使用者於行車期間的駕駛輔助裝置，以提高行車安全；並可協助使用者記錄各種停車資訊，以協助使用者快速尋找到汽車的停車位置。

為讓本發明的上述特徵和優點能更明顯易懂，下文特舉實施例，並配合所附圖式作詳細說明如下。

01~14‧‧‧停車格編號

100、500‧‧‧頭戴式顯示器

110‧‧‧影像獲取單元

120‧‧‧儲存單元

130‧‧‧投影顯示單元

140‧‧‧處理器

301‧‧‧方向盤

302‧‧‧儀表板

303‧‧‧車前擋風玻璃

304、401‧‧‧箭頭

550‧‧‧定位單元

560‧‧‧通訊單元

570‧‧‧加速度感測器

580‧‧‧語音錄放器

590‧‧‧觸控輸入單元

601‧‧‧路線

CP‧‧‧目前停車位置

U‧‧‧使用者

S201~S211‧‧‧頭戴式顯示器的控制方法的各步驟

圖1是依照本發明一實施例所繪示的一種頭戴式顯示器的方塊圖。

圖2是依照本發明一實施例所繪示的一種頭戴式顯示器的控制方法流程圖。

圖3是依照本發明一實施例所繪示的所視畫面的示意圖。

圖4是依照本發明一實施例所繪示的一種停車模式的應用情境示意圖。

圖5是依照本發明另一實施例所繪示的一種頭戴式顯示器的方塊圖。

圖6是依照本發明另一實施例所繪示的另一種停車模式的應用情境示意圖。

圖1是依照本發明一實施例所繪示的一種頭戴式顯示器的方塊圖。本實施例的頭戴式顯示器100適於配戴在使用者的頭部，而可讓使用者的眼睛接收頭戴式顯示器100所提供的影像資訊或透過頭戴式顯示器100將使用者所觀看到的影像拍攝記錄下來。請參照圖1，頭戴式顯示器100包括影像獲取單元110、儲存單元120、投影顯示單元130以及處理器140。其功能分述如下：影像獲取單元110包括鏡頭、CCD或CMOS感光元件等，而可用以拍攝使用者透過頭戴式顯示器100所觀看到的影像景物，以下簡稱為使用者的“所視畫面”。

儲存單元120例如是任意型式的固定式或可移動式隨機存取記憶體(Random Access Memory，RAM)、唯讀記憶體(Read-Only Memory，ROM)、快閃記憶體(Flash memory)、硬碟，或其他類似裝置或這些裝置的組合，而可用以儲存所視畫面 或其他資料。

投影顯示單元130可包括透鏡、反射元件、折射元件等，而可作為調整焦距之用。使用者藉由配戴頭戴式顯示器100而可同時地觀看周圍環境的實境影像以及投影顯示單元110所顯示的虛擬影像。

處理器140耦接影像獲取單元110、儲存單元120以及投影顯示單元130，其例如是中央處理單元(Central Processing Unit，CPU)，或是其他可程式化的一般用途或特殊用途的微處理器(Microprocessor)、特殊應用積體電路(Application Specific Integrated Circuit，ASIC)等具有運算功能的硬體設備或上述硬體設備的組合。

圖2是依照本發明一實施例所繪示的一種頭戴式顯示器的控制方法流程圖。本實施例的方法適用於圖1的頭戴式顯示器100，以下即搭配頭戴式顯示器100中的各構件說明本實施例方法的詳細步驟：首先，於步驟S201，頭戴式顯示器100的影像獲取單元110拍攝使用者觀看的一或多個所視畫面，並將所視畫面儲存於儲存單元120中。其中，影像獲取單元110可被設定為連續拍攝，或依據一預設頻率固定拍攝使用者的所視畫面，在此不做限制。

接下來，於步驟S203，處理器140根據上述所視畫面來判斷使用者處於車內駕駛環境或停車環境。詳細地說，處理器140會先對所視畫面進行影像辨識處理，以判斷所視畫面中是否存在 至少一預設物件。在一實施例中，預設物件例如是方向盤或儀表板等，預設物件可依據實際應用情況做設定，在此不加以限制。當所視畫面存在方向盤或儀表板等預設物件，處理器140就可判定使用者正處於車內駕駛環境。舉例來說，圖3是依照本發明一實施例所繪示的所視畫面的示意圖。請參照圖3，所視畫面300中包括方向盤301、儀表板302、車前擋風玻璃303等預設物件，因此可得知使用者正處於車內駕駛環境。

當處理器140根據所視畫面判定使用者處於車內駕駛環境時，則接續步驟S205，處理器140切換頭戴式顯示器100為駕駛模式。於步驟S207，在駕駛模式中，處理器140更進一步判斷所視畫面中是否存在移動物體。舉例來說，移動物體的行進方向例如是與汽車行進方向不同的移動物體或是水平移動物體(如圖3的箭頭304所示)。需說明的是，本發明並不限定移動物體的行進方向或者來源方向。並且，移動物體例如是車子、人或者其他物件等，不限於上述。廣義地說，凡是可以讓所視畫面產生變化的物件皆可視為本發明所述之移動物體。若步驟S207判斷為是，則處理器140控制投影顯示單元130投影顯示提醒訊號。如此一來，頭戴式顯示器100便可於駕駛模式中協助提醒使用者辨識前方車況或緊急事件等，而可提升行車安全。

回到圖2的步驟S203，若處理器140根據所視畫面進行影像辨識處理的結果並未出現預設物件，則可判定使用者處於停車環境。接續步驟S209，處理器140切換頭戴式顯示器100為停 車模式。於步驟S211，在停車模式中，處理器140控制影像獲取單元110記錄至少一停車資訊。詳細地說，處理器140控制影像獲取單元110進行水平全景拍攝以產生全景影像，處理器據以判斷使用者所處的停車環境為室內場景或室外場景，並記錄停車格編號、相鄰車牌資訊或標的物等至少其中之一，以作為停車資訊。舉例來說，圖4是依照本發明一實施例所繪示的一種停車模式的應用情境示意圖。舉例來說，當使用者面對目前停車位置CP時，處理器140可控制影像獲取單元110依據箭頭方向401由左至右進行水平全景拍攝，以產生全景影像。如此一來，處理器140對全景影像進行影像辨識後，便可取得目前停車位置CP的停車格編號(如圖4所示的編號“04”)及其他相鄰的停車格編號資訊、相鄰車牌資訊或標的物等等。標的物例如是停車場的柱子上的分區編號(未繪示於圖4)等。如此一來，當使用者再度回到停車場時，頭戴式顯示器100便可將先前記錄的停車資訊利用投影顯示單元130以投影顯示方式提供給使用者，方便使用者快速尋找到汽車的停車位置。

為了使本發明的內容更為明瞭，以下另據一實施例作為本發明確實能夠據以實施的範例。圖5是依照本發明另一實施例所繪示的一種頭戴式顯示器的方塊圖。請參照圖5，本實施例的頭戴式顯示器500除了包括影像獲取單元110、儲存單元120、投影顯示單元130以及處理器140以外，還可包括耦接至處理器140的定位單元550、通訊單元560、加速度感測器570、語音錄放器 580以及觸控輸入單元590。

定位單元550例如是全球衛星定位系統(Global Positioning System，GPS)或輔助全球衛星定位系統(Assisted Global Positioning System，AGPS)，而得以隨時接收衛星定位的信號以進行定位，再配合地理資訊資料庫(例如電子地圖)或是地理資訊系統(Geography Information System，GIS)，則可提供詳細的地理資訊給配戴頭戴式顯示器500的使用者。

通訊單元560可以經由有線方式及/或無線方式連結頭戴式顯示器500與汽車的車用定位單元或車用影像感測器，而可以進行雙向傳輸。其中有線方式例如是通用串列匯流排(Universal Serial Bus，USB)傳輸介面等；無線方式例如是無線相容認證(Wireless Fidelity，WiFi)、藍芽(bluetooth)傳輸介面等，不限於上述。

加速度感測器570例如是重力感測器(G-sensor)或角速度感測器等，而可用以偵測頭戴式顯示器500的加速度變化量以產生加速度變化訊號。語音錄放器580可用以記錄使用者對於停車資訊的語音描述資料，並可將語音描述資料寫入儲存單元120或者自儲存單元120讀取語音描述資料以進行播放。觸控輸入單元590接收使用者的觸控操作訊號，處理器140可依據觸控操作訊號來啟動或關閉影像獲取單元110、定位單元550或語音錄放器580等構件的運作。

以下則根據頭戴式顯示器500各構件列舉實施例詳細說 明頭戴式顯示器500於駕駛模式與停車模式的各種應用情形。

首先，當頭戴式顯示器500設定於駕駛模式時，處理器140除了可根據影像獲取單元110拍攝的所視畫面來判斷所視畫面中是否存在移動物體進而提醒使用者注意之外，還可根據GPS數據變化(由定位單元550計算所得)或加速度數據變化(由加速度感測器570計算所得)等來產生提醒訊號。在另一實施例中，處理器140還可利用行人偵測技術判斷行人與使用者(即，駕駛者)的相對距離是否足夠、偵測號誌燈、路牌等；或是藉由辨別道路路線來偵測計算是否有偏離車道的情況。處理器140可將上述各種行車安全的判斷結果一一透過投影顯示單元130來呈現。但需注意的是，處理器140判斷在駕駛者需專心駕駛期間(例如號誌燈為綠燈時)可省略非緊急的資訊內容(例如是時間提示訊息、郵件訊息等)。

在一實施例中，處理器140還可利用定位單元550取得目前行車時速加以計算，以判斷與前車間的安全距離是否足夠。處理器140更可輔以所視畫面的影像辨識結果來辨識當前路況，據以自動更新定位單元550的一或多個導航參數。舉例來說，影像獲取單元110拍攝的所視畫面可用以判斷出當前路況是否堵塞、道路是否維修、是否為單行道等條件，而可讓定位單元550更新其導航參數(避開堵塞或維修道路、單行道等設定)以即時規劃新路徑，並且透過投影顯示單元130做即時導航。

在另一實施例中，若頭戴式顯示器500本身並未內建定 位單元550，則亦可透過通訊單元560連結至車用定位單元(例如是車用導航系統)，以接收即時導航資訊。除此之外，頭戴式顯示器500更可利用通訊單元560透過有線或無線方式連結至一或多個車用影像感測器，以接收車用影像感測器所拍攝的畫面並儲存於儲存單元120。處理器140可控制投影顯示單元130投影車用影像感測器其中之一的畫面。舉例來說，當使用者需要進行倒車或確認車子後方視覺死角的情況時，處理器140便可直接控制投影顯示單元130切換至車子後方的影像感測器的拍攝畫面。如此一來，使用者將不需要再回頭用眼睛親自確認，而可提高行車安全。

另一方面，頭戴式顯示器500可利用加速度感測器570來偵測多數個加速度變化量以產生多數個加速度變化訊號。處理器140根據這些加速度變化訊號而可用來判斷使用者是否進行停車動作、煞車動作或轉彎動作等。當處理器140判斷加速度變化訊號大於速度變化臨界值時，處理器140可控制投影顯示單元130降低投影提醒訊號的頻率，以減少使用者的駕駛疲勞感。其中，速度變化臨界值可由本領域具通常知識者事先做設定，在此不做限制。

換句話說，本實施例的頭戴式顯示器500可利用加速度感測器570來蒐集使用者的開車駕駛習慣，例如是否常急停煞車、起步不穩或是轉彎過快等資訊，進而自動產生訊息調整機制(是否顯示提醒訊號、提醒訊號的顯示頻率等)，以吻合個別使用者的開車駕駛習慣。

當頭戴式顯示器500的處理器140透過影像獲取單元110、加速度感測器570而判定使用者進行停車、下車的動作時，則將頭戴式顯示器500設定於停車模式。

於停車模式時，處理器140控制影像獲取單元110進行水平全景拍攝以產生全景影像。處理器140藉由判斷全景影像的亮度或色溫等，來綜合判定目前停車環境為室外場景或室內場景。舉例來說，若全景影像的亮度較暗、色溫低，則為室內場景；反之則為室外場景。若為室外場景，則可利用定位單元550記錄經緯度資訊，或者利用影像獲取單元110拍攝路牌、路口位置或附近建築標的物。若為室內場景，則同樣可利用影像獲取單元110拍攝停車格編號、相鄰車牌資訊或標的物等至少其中之一。除此之外，使用者亦可透過觸控輸入單元590啟動影像獲取單元110與定位單元550來記錄使用者自停車地點行走至停車場出入口的行走路線。在另一實施例中，使用者還可利用語音錄放器580來記錄使用者對於停車資訊的語音描述資料。

如此一來，當使用者再度回到停車場時，即可透過頭戴式顯示器500顯示先前所記錄的各種停車資訊，或藉由語音錄放器580播放停車資訊的語音描述資料，以快速輔助使用者找到停車位置。圖6是依照本發明另一實施例所繪示的另一種停車模式的應用情境示意圖。請配合參照圖4與圖6，由於使用者U在先前停車時，已進行水平全景拍攝，而得到自己與其他相鄰的停車格編號資訊、相鄰車牌資訊等。因此，當使用者U利用頭戴式顯 示器500辨識出編號“07”時，頭戴式顯示器500就可產生提示訊號以告知使用者其車子是停在編號“07”的這一排，而非編號“14”的這一排。在另一實施例中，頭戴式顯示器500更可利用定位單元550先前所記錄的行走路線來投影顯示使用者找到停車位置的路線(如圖6的路線601)。最後需說明的是，本發明的實現方式不限於上述說明，可以對於實際的需求而酌予變更上述實施例的內容。

綜上所述，本發明所提供的頭戴式顯示器及其控制方法，可藉由對所視畫面進行影像辨識，而將頭戴式顯示器設定於駕駛模式或停車模式。於駕駛模式中，頭戴式顯示器可協助使用者辨識前方車況、緊急事件提醒或者進行即時導航等，而可提升行車安全。於停車模式中，頭戴式顯示器可利用影像、定位或語音等方式記錄各種停車資訊，藉以讓使用者再度回到停車場時，可方便且快速尋找到汽車的停車位置。再者，頭戴式顯示器可自動產生訊息調整機制，以吻合個別使用者的開車駕駛習慣。

雖然本發明已以實施例揭露如上，然其並非用以限定本發明，任何所屬技術領域中具有通常知識者，在不脫離本發明的精神和範圍內，當可作些許的更動與潤飾，故本發明的保護範圍當視後附的申請專利範圍所界定者為準。

100‧‧‧頭戴式顯示器

110‧‧‧影像獲取單元

120‧‧‧儲存單元

130‧‧‧投影顯示單元

140‧‧‧處理器

Claims (11)

1. 一種頭戴式顯示器，適於配戴在一使用者的頭部，包括：一影像獲取單元，用以拍攝該使用者觀看的至少一所視畫面；一儲存單元，儲存該些所視畫面；一投影顯示單元；以及一處理器，耦接該影像獲取單元、該儲存單元與該投影顯示單元，根據該些所視畫面判斷該使用者處於一車內駕駛環境或一停車環境，其中當該處理器偵測該使用者處於該車內駕駛環境時，切換該頭戴式顯示器為一駕駛模式，且該處理器判斷該些所視畫面中是否存在移動物體，若是，該處理器控制該投影顯示單元投影一提醒訊號，其中當該處理器偵測該使用者處於該停車環境時，切換該頭戴式顯示器為一停車模式，該處理器控制該影像獲取單元記錄至少一停車資訊。
2. 如申請專利範圍第1項所述的頭戴式顯示器，其中：該處理器對該些所視畫面進行一影像辨識處理，以判斷該些所視畫面中是否存在至少一預設物件，當該些所視畫面存在該至少一預設物件，該處理器判定該使用者處於該車內駕駛環境。
3. 如申請專利範圍第1項所述的頭戴式顯示器，其中該頭戴式顯示器更包括：一定位單元，耦接該處理器，當該頭戴式顯示器為該駕駛模 式時，該處理器對該些所視畫面進行一影像辨識處理以判斷一目前路況，據以自動更新該定位單元的至少一導航參數。
4. 如申請專利範圍第3項所述的頭戴式顯示器，其中該頭戴式顯示器更包括：一觸控輸入單元，耦接該處理器，當該頭戴式顯示器為該停車模式且該觸控輸入單元接收到該使用者的一觸控訊號時，該處理器啟動該影像獲取單元與該定位單元，以記錄該使用者的一行走路線。
5. 如申請專利範圍第1項所述的頭戴式顯示器，其中該頭戴式顯示器更包括：一通訊單元，耦接該儲存單元與該處理器，當該頭戴式顯示器為該駕駛模式時，該通訊單元透過一有線方式或一無線方式連結至一車用定位單元，以接收一即時導航資訊，且該處理器控制該投影顯示單元投影顯示該即時導航資訊。
6. 如申請專利範圍第5項所述的頭戴式顯示器，其中：該通訊單元透過該有線方式或該無線方式連結至少一車用影像感測器，以接收該些車用影像感測器所拍攝的畫面並儲存於該儲存單元，該處理器控制該投影顯示單元投影顯示該些車用影像感測器其中之一的畫面。
7. 如申請專利範圍第1項所述的頭戴式顯示器，其中該頭戴式顯示器更包括：一加速度感測器，耦接該處理器，用以偵測多數個加速度變 化量以產生多數個加速度變化訊號，以使該處理器根據該些加速度變化訊號判斷該使用者是否進行停車動作、煞車動作或轉彎動作。
8. 如申請專利範圍第7項所述的頭戴式顯示器，其中：該處理器判斷該些加速度變化訊號的至少其中之一大於一速度變化臨界值時，該處理器控制該投影顯示單元降低投影該提醒訊號的頻率。
9. 如申請專利範圍第1項所述的頭戴式顯示器，其中當該頭戴式顯示器為該停車模式時，該處理器控制該影像獲取單元進行水平全景拍攝以產生一全景影像，以判斷該使用者所處的停車環境為一室內場景或一室外場景，並記錄停車格編號、相鄰車牌資訊或標的物至少其中之一。
10. 如申請專利範圍第1項所述的頭戴式顯示器，其中該頭戴式顯示器更包括：一語音錄放器，耦接至該處理器與該儲存單元，用以記錄或播放該使用者對於該至少一停車資訊的語音描述資料。
11. 一種頭戴式顯示器的控制方法，適用於配戴在一使用者頭部的一頭戴式顯示器，包括：藉由該頭戴式顯示器拍攝該使用者觀看的至少一所視畫面，以判斷該使用者處於一車內駕駛環境或一停車環境；當該使用者處於該車內駕駛環境時，切換該頭戴式顯示器為一駕駛模式，並判斷該些所視畫面中是否存在移動物體，若是， 控制該頭戴式顯示器投影一提醒訊號；以及當該使用者處於該停車環境時，切換該頭戴式顯示器為一停車模式，並控制該頭戴式顯示器記錄至少一停車資訊。