TWI642972B - 抬頭顯示系統及其控制方法 - Google Patents

抬頭顯示系統及其控制方法 Download PDF

Info

Publication number
TWI642972B
TWI642972B TW107107758A TW107107758A TWI642972B TW I642972 B TWI642972 B TW I642972B TW 107107758 A TW107107758 A TW 107107758A TW 107107758 A TW107107758 A TW 107107758A TW I642972 B TWI642972 B TW I642972B
Authority
TW
Taiwan
Prior art keywords
projection
line
image
sight
head
Prior art date
Application number
TW107107758A
Other languages
English (en)
Other versions
TW201939102A (zh
Inventor
黃光平
王炳欽
呂志堅
李家銘
Original Assignee
和碩聯合科技股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 和碩聯合科技股份有限公司 filed Critical 和碩聯合科技股份有限公司
Priority to TW107107758A priority Critical patent/TWI642972B/zh
Application granted granted Critical
Publication of TWI642972B publication Critical patent/TWI642972B/zh
Priority to CN201910094946.1A priority patent/CN110244458B/zh
Priority to US16/292,044 priority patent/US10795166B2/en
Publication of TW201939102A publication Critical patent/TW201939102A/zh

Links

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0179Display position adjusting means not related to the information to be displayed
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0138Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/014Head-up displays characterised by optical features comprising information/image processing systems
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0179Display position adjusting means not related to the information to be displayed
    • G02B2027/0181Adaptation to the pilot/driver
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0179Display position adjusting means not related to the information to be displayed
    • G02B2027/0187Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Optics & Photonics (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Instrument Panels (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

一種抬頭顯示系統,應用於移動載具,包括眼球追蹤裝置與抬頭顯示裝置。眼球追蹤裝置用以在移動載具起步前預先定位移動載具的駕駛人的初始視線位置,以及即時偵測駕駛人的視線位置。抬頭顯示裝置,包括投影裝置與處理器。處理器耦接眼球追蹤裝置與投影裝置,處理器比對視線位置與初始視線位置,並根據比對結果控制投影裝置投影顯示畫面至第一投影位置或第二投影位置,第一投影位置對應於初始視線位置及第二投影位置對應於視線位置。一種抬頭顯示系統的控制方法也被提供。

Description

抬頭顯示系統及其控制方法
本發明是有關於一種抬頭顯示系統及其控制方法,且特別是有關於一種應用於移動載具的抬頭顯示系統及其控制方法。
近年來,各種用於交通工具上的顯示裝置已相繼地被研發。傳統的顯示裝置通常裝設於車輛的儀錶板上。然而,駕駛人低頭觀看裝設於儀錶板上的顯示裝置時容易造成行車安全的顧慮,因此,將影像投射於擋風玻璃上的抬頭顯示器(head up display,HUD)目前被廣泛地使用在汽車裝置中。抬頭的意思是指使用者不需要低頭就能夠看到他需要的重要資訊,因此抬頭顯示器可將駕駛人所需資訊,例如車速、轉速、車門是否關閉、行車里程或是油耗等資訊投射在擋風玻璃上供駕駛人觀看,使駕駛人不用分心低頭或轉頭,而可以有助行車安全。
然而,一般的抬頭顯示器都是投影在固定位置,因此當駕駛人視線移開時或是視線位置改變時,所投影的資訊不會隨之改變位置,因此駕駛人無法直接得知這些資訊,仍需低頭或轉頭來觀看投影畫面。除此之外,隨著交通工具行進所伴隨的震動,久而久之將會影響到抬頭顯示器的位置投影精確度,使得投影位置逐漸偏離原本預期的投影位置,影響觀看方便度與影像品質。上述這些問題會影響抬頭顯示器的使用品質。
本發明提供一種抬頭顯示系統及其控制方法,可以讓投影畫面隨著駕駛人視線的移動而改變顯示位置。
本發明的實施例的一種抬頭顯示系統,應用於移動載具,包括抬頭顯示裝置與眼球追蹤裝置。眼球追蹤裝置用以在移動載具起步前預先定位移動載具的駕駛人的初始視線位置,以及即時偵測駕駛人的視線位置。抬頭顯示裝置包括投影裝置與處理器。處理器耦接眼球追蹤裝置與投影裝置,處理器比對視線位置與初始視線位置,並根據比對結果控制投影裝置投影顯示畫面至第一投影位置或第二投影位置,第一投影位置對應於初始視線位置及第二投影位置對應於視線位置。
本發明的實施例的一種抬頭顯示系統的控制方法,包括以下步驟:當移動載具起步前,通過眼球追蹤裝置預先定位移動載具的駕駛人的初始視線位置,且根據初始視線位置產生第一投影位置;通過眼球追蹤裝置即時偵測駕駛人的視線位置,且根據視線位置即時產生第二投影位置;以及比對視線位置與初始視線位置,並根據比對結果控制投影裝置投影顯示畫面至第一投影位置或第二投影位置。
基於上述,本發明實施例的抬頭顯示系統及其控制方法,應用於移動載具上,藉由在移動載具起步前預先定位初始視線位置,以及即時追蹤駕駛人的視線位置,然後將駕駛人目前的視線位置與初始視線位置比對,以控制投影的顯示畫面的位置,如此一來本發明實施例的抬頭顯示系統及其控制方法可以讓投影畫面隨著駕駛人的視線移動而改變顯示位置,使得使用更加便利。
為讓本發明的上述特徵和優點能更明顯易懂,下文特舉實施例,並配合所附圖式作詳細說明如下。
圖1是依照本發明一實施例的抬頭顯示系統的方塊圖。圖2是依照本發明一實施例的抬頭顯示系統的控制方法的流程圖。請參照圖1與圖2,圖2的控制方法100適用於圖1的抬頭顯示系統10,以下即搭配抬頭顯示系統10中的各項元件說明本實施例的抬頭顯示系統10的及其控制方法100。抬頭顯示系統10包括眼球追蹤裝置110、抬頭顯示裝置120,抬頭顯示裝置120包括處理器130、記憶體140,以及投影裝置150。
抬頭顯示系統10適於設置於移動載具上,並於移動載具的駕駛人行駛或騎乘上述移動載具的過程中持續的投影顯示畫面以供駕駛人觀看。上述移動載具是一種經由人類操控而移動的交通工具,例如是各類汽車、公車、腳踏車、機車、船隻、飛機及機動機械等,本發明對此並不限制。此外,抬頭顯示系統10的眼球追蹤裝置110用以追蹤駕駛人的視線方向或視線位置。
首先,於步驟S101,在移動載具起步前,處理器130通過眼球追蹤裝置110預先定位駕駛人在靜止狀態的視線位置以作為初始視線位置,且根據初始視線位置產生第一投影位置。接著,進行步驟S102,處理器130通過眼球追蹤裝置110即時偵測駕駛人的視線位置(包括移動載具起步前或起步後),且根據視線位置即時產生第二投影位置。接著,於步驟S103中,處理器130在產生第二投影位置後,可以比對駕駛人此時的視線位置與初始視線位置,並根據比對結果來控制投影裝置150的投影方向以選擇將顯示畫面投影至第一投影位置或第二投影位置。第一投影位置與第二投影位置分別可以位於初始視線位置與視線位置的下方,在此,上下方向是相對於駕駛人而言,例如駕駛人的頭頂方向為上方,駕駛人的腳底方向為下方,或者是相對於駕駛人的眼睛,第一投影位置與初始視線位置形成一銳角,第二投影位置與視線位置也形成一銳角。
眼球追蹤裝置110是一種能夠跟蹤與測量眼球位置及眼球運動信息的一種設備,適於用以偵測駕駛人的眼球特徵,可朝駕駛人的眼球發射電磁波,並且拍攝眼部影像。在本實施例中,眼球追蹤裝置110包括電磁波發射裝置112與電磁波影像擷取裝置114。於一實施例中,電磁波發射裝置112可以發射電磁波照射駕駛人的眼睛區域,讓眼睛產生亮點。在此的電磁波發射裝置112可以是紅外線發射器或是發射其他波段電磁波的發射裝置,本發明對此不加以限制。電磁波影像擷取裝置114用以擷取駕駛人的臉部影像或電磁波照射在眼睛區域並被眼睛區域反射後的眼部影像,電磁波影像擷取裝置114為可對電磁波發射裝置112所發出的電磁波發生反應的影像擷取裝置,例如當電磁波發射裝置112是紅外線發射器時,選用紅外線攝像機作為電磁波影像擷取裝置114。電磁波發射裝置112與電磁波影像擷取裝置114都耦接至處理器130,因此處理器130可以控制電磁波發射裝置112以及接收眼部影像,處理器130可以偵測眼部影像中的駕駛人的瞳孔位置以及亮點位置,並且依據瞳孔位置與亮點位置兩者的位置對應關係,判斷目前眼球的視線注視位置。
處理器130耦接眼球追蹤裝置110、記憶體140與投影裝置150,以控制抬頭顯示系統10的整體運作。在本實施例中,處理器130例如是中央處理單元(Central Processing Unit,CPU),或是其他可程式化之微處理器(Microprocessor)、數位訊號處理器(Digital Signal Processor,DSP)、可程式化控制器、特殊應用積體電路(Application Specific Integrated Circuits,ASIC)、可程式化邏輯裝置(Programmable Logic Device,PLD)或其他具備運算能力的硬體裝置,但本發明並不以此為限。
記憶體140例如是任意型式的固定式或可移動式隨機存取記憶體(Random Access Memory,RAM)、唯讀記憶體(Read-Only Memory,ROM)、快閃記憶體(Flash memory)、硬碟或其他類似裝置或這些裝置的組合,其係用以儲存行抬頭顯示系統10運作中可能使用的資料、程式碼、影像等。亦即,處理器130經配置以執行記憶體140所儲存的多個指令來控制抬頭顯示系統10。
圖3是依照本發明一實施例的抬頭顯示系統與移動載具的示意圖。請參照圖3,在此實施例中,將抬頭顯示系統10應用至汽車駕駛環境中,當駕駛人210位於車輛220內(亦即移動載具)時,抬頭顯示裝置120會投影顯示畫面230至擋風玻璃222上以供駕駛人210觀看。顯示畫面230例如可以顯示車輛220的車速、方向、轉速、車門是否關閉、行車里程、油耗、導航資訊或是來電提示等資訊,本發明不限制顯示畫面230的顯示內容。
眼球追蹤裝置110可被配置在車輛220面對駕駛人210的一側,以方便讓電磁波發射裝置112對駕駛人眼睛發射電磁波,例如包含擋風玻璃222的那一側,電磁波影像擷取裝置114也可與電磁波發射裝置112配置在同一側,例如圖3所顯示一起配置在儀表板區域。此外,電磁波影像擷取裝置114與電磁波發射裝置112也可分開配置,例如電磁波影像擷取裝置114可設置於照後鏡M1的一側,或是車殼224上,以朝駕駛人210的方向擷取駕駛人210的眼部影像,從而偵測駕駛人210的視線位置,而電磁波發射裝置112則可配置在方向盤中間或是擋風玻璃222的上方。
然而,圖3僅為示範性說明,本發明對於眼球追蹤裝置110與抬頭顯示裝置120的實施方式、數量與實際位置並不限制,其可依據實際應用情況而設計之。
圖4是依照本發明另一實施例的抬頭顯示系統的控制方法的流程圖。請參照圖4,本實施例的控制方法300適用於上述實施例中的抬頭顯示系統10以及控制方法100,以下即搭配抬頭顯示系統10中的各項元件以及圖1至圖3的實施例來說明抬頭顯示系統10依據駕駛人210的視線位置改變投影位置的詳細步驟。
在車輛220開始起步前,先進行步驟S301,開始預先定位步驟。在步驟S310中,處理器130控制投影裝置150在擋風玻璃222的不同位置分別投影定位點。
圖5是依照本發明一實施例的擋風玻璃上的定位點與視線位置分佈的示意圖。請參考圖5,在擋風玻璃222的四個角落與中間5個位置分別投影5個定位點P1~P5。投影裝置150可以一次投影一個定位點或是一次投影多個定位點,本發明對此並不限制。
接著,進行駕駛人210的視線定位。處理器130先通過眼球追蹤裝置110獲得駕駛人210依序注視多個定位點P1~P5時的眼部影像,再根據這些眼部影像來決定初始視線位置IS。於步驟S312,電磁波發射裝置112發射電磁波照射駕駛人210的眼睛,於步驟S314,駕駛人210注視其中一個定位點,例如是左上角落的定位點P1,於步驟S316,電磁波影像擷取裝置114拍攝駕駛人210觀看定位點P1的眼部影像,並將眼部影像提供給處理器130。特別說明,步驟S310與步驟S312的順序並不固定,可以先對眼睛照射電磁波再投影定位點讓駕駛人210觀看,本發明對上述步驟順序並不限制。
接著,於步驟S318中,處理器130判斷是否已接收駕駛人210觀看所有定位點P1~P5的眼部影像,如果為否,則回到步驟S314(如果投影裝置150一次只投影一個定位點則回到步驟S310),駕駛人210注視下一個不重複的定位點,例如定位點P2~P5的其中之一。特別說明的是,本發明並不限制駕駛人210觀看定位點P1~P5的先後順序與次數。等到處理器130判斷已經接收駕駛人210觀看所有定位點P1~P5的眼部影像,則進入下一步驟S320。於步驟S320,處理器130根據對應多個定位點P1~P5的眼部影像來決定初始視線位置IS以及第一投影位置IP1。
初始視線位置IS例如可為駕駛人210正坐在駕駛座上注視前方的視線位置。第一投影位置IP1可由初始視線位置IS推算,例如以駕駛人210的眼睛為參考點,第一投影位置IP1位於初始視線位置IS下方15度的位置,這是讓駕駛人210易於觀看又不至於影響視線的位置。
接著,進行步驟S302,開始即時追蹤步驟。於步驟S322中,處理器130通過眼球追蹤裝置110即時取得駕駛人210的視線位置。如果眼球追蹤裝置110順利偵測到駕駛人210的眼球變化,使處理器130可取得此時的視線位置,則執行步驟S324,由處理器130比對視線位置與初始視線位置SI是否符合以產生比對結果。當比對結果為符合,即當視線位置符合初始視線位置SI,選擇執行步驟S326,顯示畫面230被投影至第一投影位置IP1;當比對結果為不符合,即當視線位置例如為視線位置S,不符合初始視線位置SI,選擇執行步驟S328,顯示畫面230被投影至第二投影位置IP2,之後再重複執行步驟S302。處理器130根據視線位置S推算第二投影位置IP2,第二投影位置IP2例如是位於視線位置S下方15度的位置。
當於步驟S322中,因為某些因素,例如劇烈震動、急煞等,使得眼球追蹤裝置110即時偵測視線位置失敗,則執行步驟S330,處理器130控制投影裝置150投影顯示畫面230至預設的第一投影位置IP1。接著,於步驟S332,投影顯示畫面230持續被投影至預設的第一投影位置IP1,且處理器130保持等待並暫時停止步驟S302的即時追蹤動作,直到步驟S334,處理器130判斷車輛220的車速為0(移動載具靜止不動),則重新執行步驟S302,以更新初始視線位置IS與第一投影位置IP1。
在一實施例中,在步驟S330後,除了執行步驟S332等待重新定位初始視線位置IS,也會同時執行步驟S302,以嘗試取得即時的視線位置,也就是說顯示畫面230被投影至第一投影位置IP1直到眼球追蹤裝置110重新偵測到視線位置,一但取得新的視線位置,處理器130重新比對視線位置與初始視線位置IS,以繼續提供隨駕駛人210視線方向變化而調整顯示位置的顯示畫面。
圖6是依照本發明另一實施例的抬頭顯示系統的方塊圖,圖7是依照本發明一實施例的抬頭顯示系統的投影校正方法的流程圖,圖8是依照本發明一實施例的擋風玻璃上的校正定位點的位置示意圖。請參照圖6與圖7,本實施例的抬頭顯示系統10’與投影校正方法400適用於上述實施例中的抬頭顯示系統10、控制方法100以及控制方法300,差異在於抬頭顯示系統10’相較於抬頭顯示系統10多了影像擷取裝置160與環境影像擷取裝置170。以下搭配抬頭顯示系統10’中的各項元件以及圖3的實施例先來說明抬頭顯示系統10’的影像校正的詳細步驟。
在本實施例中,抬頭顯示系統10’還包括配置在面向擋風玻璃222的位置的影像擷取裝置160,例如是彩色攝像機等,耦接處理器130,用以擷取擋風玻璃222的影像。由於移動載具行進所帶來的震動會影響抬頭顯示裝置120的投影精確度,因此可以在特定時間週期或是累積里程超過門檻值後,自動或手動進行投影校正操作。
於步驟S410,當車輛220(移動載具)靜止時,投影裝置150在擋風玻璃222的每一個角落分別投影校正定位點,例如圖8顯示的擋風玻璃222的左上角落投影校正定位點CP11。接著,於步驟S420,處理器130控制影像擷取裝置160擷取擋風玻璃222 上校正定位點的影像,例如擷取擋風玻璃222上被投影在左上角落的校正定位點CP11的影像。於步驟S430,處理器130更依據校正定位點的影像判斷此校正定位點是否位於對應的角落的邊緣臨界位置。例如,處理器130依據校正定位點CP11的影像判斷校正定位點CP11是否位於左上角落的邊緣臨界位置。在此的邊緣臨界位置是指擋風玻璃222的邊界極限點。舉例來說,處理器130可以判斷上述校正定位點CP11的影像是否為穿透擋風玻璃222的影像或是被不透明車殼224反射的影像,藉此判斷校正定位點CP11是否為擋風玻璃222的左上角的邊緣臨界位置。在此實施例中,校正定位點CP11的投影光線會穿透擋風玻璃222,表示位在擋風玻璃222的內部,因此被判斷不是擋風玻璃222的左上角的邊緣臨界位置,因此接著執行步驟S440。
於步驟S440與步驟S410,當處理器130判斷校正定位點不位於對應的角落的邊緣臨界位置時,處理器130調整校正定位點的投影位置並控制投影裝置150在左上角落的不同位置重新投影新的校正定位點CP12,並且重新執行步驟S420與步驟S430,處理器130判斷校正定位點CP12的影像是被不透明車殼224反射的影像,表示校正定位點CP12的投影位置超出擋風玻璃222的範圍,因此再回到步驟S440。如此重複數次,直到處理器130判斷校正定位點CP1是擋風玻璃222的左上角的邊緣臨界位置,才把校正定位點CP1的影像設定為左上角的校正定位影像,之後執行下一步驟S450。於步驟S450,處理器130判斷是否接收擋風玻璃222的所有角落的校正定位點影像,例如處理器130判斷只有接收擋風玻璃222左上角落的校正定位點影像,因此重新執行步驟S410,例如改對右上角落投影校正定位點CP31。重複執行步驟S410到步驟S450,直到處理器130找到擋風玻璃222所有的角落的邊緣臨界位置,例如校正定位點CP1、CP2、CP3與CP4。
於步驟S460,處理器依據這些校正定位影像判斷擋風玻璃222的邊界以校正投影座標。
因此,在本實施例中,抬頭顯示系統10’除了可以提供隨駕駛人視線改變而適應性改變顯示位置的功能外,還可以具有投影校正的技術功效。
在本實施例中,抬頭顯示系統10’還包括環境影像擷取裝置170,環境影像擷取裝置170例如是彩色攝像機等攝像裝置,耦接處理器130,可配置在後照鏡M1中或是車輛220的其他地方,用以擷取車輛220的周圍環境影像,特別是後方影像,包含正後方、左後方或右後方環境影像等等,本發明對於環境影像擷取裝置170的裝設位置與擷取的影像內容並不加以限制。
抬頭顯示系統10’所提供的顯示畫面230的內容還可對應於駕駛人210的視線動作。舉例來說,當車輛220的方向燈被開啟,且處理器130判斷視線位置相對於初始視線位置的偏移方向與被啟動的方向燈的指示方向相同時,處理器130可以控制顯示畫面230除了顯示原本的畫面外,還可以顯示從環境影像擷取裝置170接收的右後方環境影像或左後方環境影像,例如打右轉方向燈且駕駛人210視線偏向右方,顯示畫面230還會另外顯示右後方環境影像,同理,打左轉方向燈且駕駛人210視線偏向左方,顯示畫面230還顯示左後方環境影像,如此一來,駕駛人210就不需要大幅度擺動頭部來觀看後照鏡M1的影像。在一實施例中,當駕駛人210執行車輛220的倒車檔時,處理器控制顯示畫面顯示原本的駕駛資訊外,還顯示正後方環境影像、右後方環境影像與左後方環境影像。在一實施例中,駕駛人210也可以注視特定的定位點持續超過一預設時間來觸發其他功能,例如通過環境影像擷取裝置170提供倒車影像等等。本發明對於視線的觸發動作與觸發內容並不加以限制。因此,抬頭顯示系統10’還可以具有隨著駕駛人的視線方向來提供相應的顯示畫面的功能。
另外需要說明的是,於一實施例中,抬頭顯示系統10’可以不包括影像擷取裝置160或環境影像擷取裝置170,本發明並不限制影像擷取裝置160與環境影像擷取裝置170需同時存在。
綜上所述,本發明實施例的抬頭顯示系統及其控制方法,適於應用於移動載具上。藉由在移動載具起步前預先定位初始視線位置,以及即時追蹤駕駛人的視線位置,然後比對駕駛人目前的視線位置與初始視線位置,以控制投影裝置投影顯示畫面至原本預設的第一投影位置或對應於目前的視線位置的第二投影位置,如此一來本發明實施例的抬頭顯示系統及其控制方法可以讓顯示畫面隨著駕駛人的視線而移動,甚至能藉由駕駛人的視線移動來觸發顯示畫面的顯示內容。除此之外,本發明實施例的抬頭顯示系統及其控制方法還可以在移動載具的靜止移動狀態,藉由投影裝置投影定位點以重新定義擋風玻璃的範圍大小,達到校正投影座標的功能。
雖然本發明已以實施例揭露如上,然其並非用以限定本發明,任何所屬技術領域中具有通常知識者,在不脫離本發明的精神和範圍內,當可作些許的更動與潤飾,故本發明的保護範圍當視後附的申請專利範圍所界定者為準。
10、10’‧‧‧抬頭顯示系統
100、300‧‧‧控制方法
110‧‧‧眼球追蹤裝置
112‧‧‧電磁波發射裝置
114‧‧‧電磁波影像擷取裝置
120‧‧‧抬頭顯示裝置
130‧‧‧處理器
140‧‧‧記憶體
150‧‧‧投影裝置
160‧‧‧影像擷取裝置
170‧‧‧環境影像擷取裝置
210‧‧‧駕駛人
220‧‧‧車輛
222‧‧‧擋風玻璃
224‧‧‧車殼
230‧‧‧顯示畫面
400‧‧‧投影校正方法
CP11、CP12、CP1、CP2、CP3、CP31、CP4‧‧‧校正定位點
IP1‧‧‧第一投影位置
IP2‧‧‧第二投影位置
M1‧‧‧照後鏡
SI‧‧‧初始視線位置
S‧‧‧視線位置
P1~P5‧‧‧定位點
S101、S102、S103、S301、S302、S310~S334‧‧‧抬頭顯示系統的控制方法的步驟
S410~S460‧‧‧抬頭顯示系統的投影校正方法的步驟
圖1是依照本發明一實施例的抬頭顯示系統的方塊圖。 圖2是依照本發明一實施例的抬頭顯示系統的控制方法的流程圖。 圖3是依照本發明一實施例的抬頭顯示系統與移動載具的示意圖。 圖4是依照本發明另一實施例的抬頭顯示系統的控制方法的流程圖。 圖5是依照本發明一實施例的擋風玻璃上的定位點與視線位置分佈的示意圖。 圖6是依照本發明另一實施例的抬頭顯示系統的方塊圖。 圖7是依照本發明一實施例的抬頭顯示系統的投影校正方法的流程圖。 圖8是依照本發明一實施例的擋風玻璃上的校正定位點的位置示意圖。

Claims (19)

  1. 一種抬頭顯示系統,應用於移動載具,包括:眼球追蹤裝置,用以在所述移動載具起步前預先定位所述移動載具的駕駛人的初始視線位置,以及即時偵測所述駕駛人的視線位置;以及抬頭顯示裝置,包括:投影裝置,用以投影顯示畫面;以及處理器,耦接所述眼球追蹤裝置與所述投影裝置,所述處理器比對所述視線位置與所述初始視線位置,並根據比對結果控制所述投影裝置投影所述顯示畫面至第一投影位置或第二投影位置,所述第一投影位置對應於所述初始視線位置及所述第二投影位置對應於所述視線位置,其中,所述處理器控制所述投影裝置在擋風玻璃的不同位置分別投影定位點,且通過所述眼球追蹤裝置獲得所述駕駛人依序注視所述多個定位點時的眼部影像,所述處理器根據所述注視所述多個定位點的眼部影像來決定所述初始視線位置。
  2. 如申請專利範圍第1項所述的抬頭顯示系統,其中,當所述比對結果指示所述視線位置符合所述初始視線位置時,所述顯示畫面被投影至所述第一投影位置,且當所述比對結果指示所述視線位置不符合所述初始視線位置時,所述顯示畫面被投影至所述第二投影位置。
  3. 如申請專利範圍第1項所述的抬頭顯示系統,還包括:影像擷取裝置,配置在面向擋風玻璃的位置且耦接所述處理器,其中,當所述移動載具靜止時,所述投影裝置在所述擋風玻璃的每一個角落分別投影校正定位點,並由所述影像擷取裝置擷取所述校正定位點的影像。
  4. 如申請專利範圍第3項所述的抬頭顯示系統,其中所述處理器更依據所述校正定位點的影像判斷所述校正定位點是否位於每一個所述角落的邊緣臨界位置,當所述處理器判斷所述校正定位點位於每一個所述角落的邊緣臨界位置時,所述處理器將所述校正定位點的影像設定為每一個所述角落的校正定位影像。
  5. 如申請專利範圍第4項所述的抬頭顯示系統,其中所述處理器更依據每一個所述角落的所述校正定位影像判斷所述擋風玻璃的邊界以校正投影座標。
  6. 如申請專利範圍第4項所述的抬頭顯示系統,其中當所述處理器判斷所述校正定位點不位於每一個所述角落的邊緣臨界位置時,所述處理器重新投影所述校正定位點。
  7. 如申請專利範圍第1項所述的抬頭顯示系統,其中當所述眼球追蹤裝置即時偵測所述視線位置失敗時,所述處理器控制所述投影裝置投影所述顯示畫面至所述第一投影位置。
  8. 如申請專利範圍第5項所述的抬頭顯示系統,其中在所述移動載具停止移動後,當所述眼球追蹤裝置重新定位所述初始視線位置。
  9. 如申請專利範圍第5項所述的抬頭顯示系統,其中所述顯示畫面被投影至所述第一投影位置直到所述眼球追蹤裝置重新偵測到所述視線位置,且所述處理器重新比對所述視線位置與所述初始視線位置。
  10. 如申請專利範圍第1項所述的抬頭顯示系統,其中所述第一投影位置與所述第二投影位置分別是位於所述初始視線位置與所述視線位置的下方。
  11. 如申請專利範圍第1項所述的抬頭顯示系統,還包括:環境影像擷取裝置,耦接所述處理器,用以擷取所述移動載具的正後方環境影像、右後方環境影像或左後方環境影像;當所述移動載具的方向燈被開啟,且所述處理器判斷所述視線位置相對於所述初始視線位置的偏移方向與所述方向燈的指示方向相同時,所述處理器還控制所述顯示畫面顯示從所述環境影像擷取裝置接收的所述右後方環境影像或所述左後方環境影像;以及當所述駕駛人執行所述移動載具的倒車檔時,所述處理器還控制所述顯示畫面顯示所述正後方環境影像、所述右後方環境影像與所述左後方環境影像。
  12. 如申請專利範圍第1項所述的抬頭顯示系統,其中所述眼球追蹤裝置包括:電磁波發射裝置,耦接所述處理器,配置在所述移動載具面向所述駕駛人的一側,用以發射電磁波以照射所述駕駛人的眼睛區域;電磁波影像擷取裝置,耦接所述處理器,與所述電磁波發射裝置配置在同一側,用以擷取所述電磁波被所述眼睛區域反射後的眼部影像;以及其中,所述處理器控制所述電磁波發射裝置以及接收所述眼部影像,且依據所述眼部影像計算所述駕駛人的視線位置。
  13. 如申請專利範圍第12項所述的抬頭顯示系統,其中所述電磁波發射裝置為紅外線發射器,且所述電磁波影像擷取裝置為紅外線攝影機。
  14. 一種應用於移動載具的抬頭顯示系統的控制方法,包括:當所述移動載具起步前,通過眼球追蹤裝置預先定位駕駛人的初始視線位置,且根據所述初始視線位置產生第一投影位置,其中,通過投影裝置在擋風玻璃的不同位置分別投影定位點,且通過所述眼球追蹤裝置獲得所述駕駛人依序注視所述多個定位點時的眼部影像,以根據所述注視所述多個定位點的眼部影像來決定所述初始視線位置;通過所述眼球追蹤裝置即時偵測所述駕駛人的視線位置,且根據所述視線位置即時產生第二投影位置;以及比對所述視線位置與所述初始視線位置,並根據比對結果控制所述投影裝置投影顯示畫面至所述第一投影位置或所述第二投影位置。
  15. 如申請專利範圍第14項所述的控制方法,其中所述的根據所述比對結果控制所述投影裝置投影所述顯示畫面至所述第一投影位置或所述第二投影位置的步驟包括:當所述比對結果指示所述視線位置符合所述初始視線位置,所述顯示畫面被投影至所述第一投影位置,且當所述比對結果指示所述視線位置不符合所述初始視線位置,所述顯示畫面被投影至所述第二投影位置。
  16. 如申請專利範圍第14項所述的控制方法,還包括:當所述移動載具靜止時,通過所述投影裝置在所述擋風玻璃的每一個角落分別投影校正定位點,並通過影像擷取裝置擷取所述校正定位點的影像。
  17. 如申請專利範圍第16項所述的控制方法,其中所述的通過所述影像擷取裝置擷取所述校正定位點的影像的步驟還包括:依據所述校正定位點的影像判斷所述校正定位點是否位於每一個所述角落的邊緣臨界位置,當所述校正定位點被判斷位於每一個所述角落的邊緣臨界位置時,將所述校正定位點的影像設定為每一個所述角落的校正定位影像。
  18. 如申請專利範圍第17項所述的控制方法,其中,更依據每一個所述角落的所述校正定位影像來判斷所述擋風玻璃的邊界以校正投影座標。
  19. 如申請專利範圍第17項所述的控制方法,其中所述的依據所述校正定位點的影像判斷所述校正定位點是否位於每一個所述角落的邊緣臨界位置的步驟還包括:當所述校正定位點被判斷不位於每一個所述角落的邊緣臨界位置時,所述處理器重新投影所述校正定位點。
TW107107758A 2018-03-07 2018-03-07 抬頭顯示系統及其控制方法 TWI642972B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
TW107107758A TWI642972B (zh) 2018-03-07 2018-03-07 抬頭顯示系統及其控制方法
CN201910094946.1A CN110244458B (zh) 2018-03-07 2019-01-31 抬头显示系统及其控制方法
US16/292,044 US10795166B2 (en) 2018-03-07 2019-03-04 Head up display system and control method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW107107758A TWI642972B (zh) 2018-03-07 2018-03-07 抬頭顯示系統及其控制方法

Publications (2)

Publication Number Publication Date
TWI642972B true TWI642972B (zh) 2018-12-01
TW201939102A TW201939102A (zh) 2019-10-01

Family

ID=65431560

Family Applications (1)

Application Number Title Priority Date Filing Date
TW107107758A TWI642972B (zh) 2018-03-07 2018-03-07 抬頭顯示系統及其控制方法

Country Status (3)

Country Link
US (1) US10795166B2 (zh)
CN (1) CN110244458B (zh)
TW (1) TWI642972B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113170084A (zh) * 2018-12-11 2021-07-23 索尼集团公司 图像处理装置、图像处理方法和图像处理系统
CN113170082A (zh) * 2018-12-11 2021-07-23 索尼集团公司 图像处理装置、图像处理方法和图像处理系统
US11919395B1 (en) 2022-08-25 2024-03-05 Wistron Corporation Electronic device and method for configuring head-up display

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10864853B2 (en) * 2018-01-31 2020-12-15 Osram Opto Semiconductors Gmbh Apparatus, vehicle information system and method
CN108399903B (zh) * 2018-03-27 2020-11-27 京东方科技集团股份有限公司 一种成像位置的调节方法及装置、平视显示系统
TWI704501B (zh) * 2018-08-09 2020-09-11 宏碁股份有限公司 可由頭部操控的電子裝置與其操作方法
DE102018215185B3 (de) * 2018-09-06 2019-10-10 Volkswagen Aktiengesellschaft Verfahren, Vorrichtung und computerlesbares Speichermedium mit Instruktionen zum Einstellen eines Head-Up-Displays in einem Kraftfahrzeug, Einstellvorrichtung zur Verwendung in einem solchen Verfahren oder mit einer solchen Vorrichtung
CN110780445A (zh) * 2018-11-12 2020-02-11 芋头科技(杭州)有限公司 用于装配光学成像系统的主动校准的方法及系统
US11487132B2 (en) * 2018-11-12 2022-11-01 Yutou Technology (Hangzhou) Co., Ltd. Active alignment for assembling optical devices
CN109727317B (zh) * 2019-01-07 2021-02-09 京东方科技集团股份有限公司 增强现实系统及控制方法
US11861063B2 (en) * 2019-02-05 2024-01-02 Samsung Electronics Co., Ltd. Eye-tracking device and display apparatus including the same
CN110861580B (zh) * 2019-11-19 2022-07-22 博泰车联网科技(上海)股份有限公司 驾驶方法及相关产品
CN111123518B (zh) * 2019-12-05 2021-12-03 浙江合众新能源汽车有限公司 一种汽车的ar-hud显示的智能控制方法与系统
TWI767232B (zh) * 2020-05-20 2022-06-11 財團法人工業技術研究院 透明顯示系統、視差校正方法與圖像輸出方法
CN111923835A (zh) * 2020-08-13 2020-11-13 启明信息技术股份有限公司 一种基于车辆后视显示方法
US11391945B2 (en) * 2020-08-31 2022-07-19 Sony Interactive Entertainment LLC Automatic positioning of head-up display based on gaze tracking
CN112344963B (zh) * 2020-11-05 2021-09-10 的卢技术有限公司 一种基于增强现实抬头显示设备的测试方法及系统
CN112428936B (zh) * 2020-11-27 2022-04-29 奇瑞汽车股份有限公司 自动调节抬头显示器参数的方法和装置
CN115097929A (zh) * 2022-03-31 2022-09-23 Oppo广东移动通信有限公司 车载投屏方法、装置、电子设备、存储介质和程序产品
US11858349B1 (en) * 2022-07-25 2024-01-02 GM Global Technology Operations LLC Head-up display providing a gamified experience to a driver during calibration mode

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201631357A (zh) * 2014-09-19 2016-09-01 群邁通訊股份有限公司 抬頭顯示器
US20160327788A1 (en) * 2014-05-26 2016-11-10 Denso Corporation Head-up display device
CN106445104A (zh) * 2016-08-25 2017-02-22 蔚来汽车有限公司 车用hud显示系统及方法

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6580448B1 (en) * 1995-05-15 2003-06-17 Leica Microsystems Ag Process and device for the parallel capture of visual information
US20060262140A1 (en) * 2005-05-18 2006-11-23 Kujawa Gregory A Method and apparatus to facilitate visual augmentation of perceived reality
KR101544524B1 (ko) * 2010-12-16 2015-08-17 한국전자통신연구원 차량용 증강현실 디스플레이 시스템 및 차량용 증강현실 디스플레이 방법
CA2750287C (en) * 2011-08-29 2012-07-03 Microsoft Corporation Gaze detection in a see-through, near-eye, mixed reality display
US8692739B2 (en) * 2011-09-22 2014-04-08 GM Global Technology Operations LLC Dynamic information presentation on full windshield head-up display
GB201305726D0 (en) * 2013-03-28 2013-05-15 Eye Tracking Analysts Ltd A method for calibration free eye tracking
JP2015034919A (ja) * 2013-08-09 2015-02-19 株式会社デンソー 情報表示装置
CN103728727A (zh) * 2013-12-19 2014-04-16 财团法人车辆研究测试中心 自动调整可视范围的信息显示系统及其显示方法
GB2528446B (en) * 2014-07-21 2021-08-04 Tobii Tech Ab Method and apparatus for detecting and following an eye and/or the gaze direction thereof
US9690104B2 (en) 2014-12-08 2017-06-27 Hyundai Motor Company Augmented reality HUD display method and device for vehicle
WO2016115870A1 (zh) * 2015-01-21 2016-07-28 成都理想境界科技有限公司 双目ar头戴显示设备及其信息显示方法
CN106483659A (zh) * 2015-08-24 2017-03-08 福特全球技术公司 用于观察具有抬头显示器的车辆的驾驶员的眼睛的方法
DE102015216127A1 (de) * 2015-08-24 2017-03-02 Ford Global Technologies, Llc Verfahren zum Eye-Tracking in einem Fahrzeug mit Head-up-Display
JP6516642B2 (ja) * 2015-09-17 2019-05-22 アルパイン株式会社 電子装置、画像表示方法および画像表示プログラム
DE102015226428A1 (de) * 2015-12-22 2017-07-06 Robert Bosch Gmbh Verfahren und Steuergerät zum Betreiben einer Intensitätsregelung eines Sichtfeldanzeigegeräts
JP6409015B2 (ja) * 2016-03-29 2018-10-17 矢崎総業株式会社 車両用投影表示装置
DE102016214047A1 (de) * 2016-07-29 2018-02-01 Bayerische Motoren Werke Aktiengesellschaft Fahrzeug mit einstellbarem Head-up-Display
KR101737737B1 (ko) * 2016-09-06 2017-05-18 덴소코리아일렉트로닉스 주식회사 차량용 카메라 hud 통합 클러스터 시스템
CN106226910A (zh) * 2016-09-08 2016-12-14 邹文韬 Hud系统及其影像调整方法
CN106874895B (zh) * 2017-03-31 2019-02-05 北京七鑫易维信息技术有限公司 一种视线追踪装置及头戴式显示设备
KR102673292B1 (ko) * 2018-10-11 2024-06-10 현대자동차주식회사 차량의 표시 제어 장치 및 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160327788A1 (en) * 2014-05-26 2016-11-10 Denso Corporation Head-up display device
TW201631357A (zh) * 2014-09-19 2016-09-01 群邁通訊股份有限公司 抬頭顯示器
CN106445104A (zh) * 2016-08-25 2017-02-22 蔚来汽车有限公司 车用hud显示系统及方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113170084A (zh) * 2018-12-11 2021-07-23 索尼集团公司 图像处理装置、图像处理方法和图像处理系统
CN113170082A (zh) * 2018-12-11 2021-07-23 索尼集团公司 图像处理装置、图像处理方法和图像处理系统
US11987182B2 (en) 2018-12-11 2024-05-21 Sony Group Corporation Image processing apparatus, image processing method, and image processing system
US11919395B1 (en) 2022-08-25 2024-03-05 Wistron Corporation Electronic device and method for configuring head-up display

Also Published As

Publication number Publication date
TW201939102A (zh) 2019-10-01
CN110244458A (zh) 2019-09-17
CN110244458B (zh) 2021-12-14
US10795166B2 (en) 2020-10-06
US20190278094A1 (en) 2019-09-12

Similar Documents

Publication Publication Date Title
TWI642972B (zh) 抬頭顯示系統及其控制方法
JP6221942B2 (ja) ヘッドアップディスプレイ装置
JP7121583B2 (ja) 表示装置、表示制御方法、およびプログラム
US10706585B2 (en) Eyeball information estimation device, eyeball information estimation method, and eyeball information estimation program
JP2010018201A (ja) 運転者支援装置、運転者支援方法および運転者支援処理プログラム
WO2016136573A1 (ja) 車両用表示装置
JP2017215816A (ja) 情報表示装置、情報表示システム、情報表示方法及びプログラム
TWI522257B (zh) 車用安全系統及其運作方法
CN111556281B (zh) 车用安全系统及其操作方法
JP2009248812A (ja) 運転支援装置
JP6845988B2 (ja) ヘッドアップディスプレイ
CN110816407B (zh) 显示装置、显示控制方法及存储介质
JP2006142897A (ja) 車両用表示装置、および車両用表示装置の制御方法
WO2017090318A1 (ja) 表示補正装置
JP6874769B2 (ja) 車両用表示装置
US11009702B2 (en) Display device, display control method, storage medium
JP2016000560A (ja) 車両設定装置
US10703298B2 (en) Display device, display control method, and storage medium
JP6813437B2 (ja) 表示システム
GB2542408A (en) Rear view display system and method
US20240181880A1 (en) Information processing device, display system, movable apparatus, information processing method, and storage medium
WO2023243455A1 (ja) 虚像表示装置
JP2005324745A (ja) 車両用表示装置
JP2024030764A (ja) 車両用表示装置
JP2023096476A (ja) 表示制御装置及び表示システム