TW202004411A - 基於眼球追蹤的顯示控制系統 - Google Patents

基於眼球追蹤的顯示控制系統 Download PDF

Info

Publication number
TW202004411A
TW202004411A TW107117040A TW107117040A TW202004411A TW 202004411 A TW202004411 A TW 202004411A TW 107117040 A TW107117040 A TW 107117040A TW 107117040 A TW107117040 A TW 107117040A TW 202004411 A TW202004411 A TW 202004411A
Authority
TW
Taiwan
Prior art keywords
image
transparency
control system
display control
controller
Prior art date
Application number
TW107117040A
Other languages
English (en)
Other versions
TWI637289B (zh
Inventor
曾天仲
Original Assignee
緯創資通股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 緯創資通股份有限公司 filed Critical 緯創資通股份有限公司
Priority to TW107117040A priority Critical patent/TWI637289B/zh
Priority to CN201810685020.5A priority patent/CN110502096B/zh
Priority to US16/046,761 priority patent/US10755632B2/en
Application granted granted Critical
Publication of TWI637289B publication Critical patent/TWI637289B/zh
Publication of TW202004411A publication Critical patent/TW202004411A/zh

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/22—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources
    • G09G3/30—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources using electroluminescent panels
    • G09G3/32—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources using electroluminescent panels semiconductive, e.g. using light-emitting diodes [LED]
    • G09G3/3208—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources using electroluminescent panels semiconductive, e.g. using light-emitting diodes [LED] organic, e.g. using organic light-emitting diodes [OLED]
    • G09G3/3225—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources using electroluminescent panels semiconductive, e.g. using light-emitting diodes [LED] organic, e.g. using organic light-emitting diodes [OLED] using an active matrix
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/02—Rear-view mirror arrangements
    • B60R1/08—Rear-view mirror arrangements involving special optical features, e.g. avoiding blind spots, e.g. convex mirrors; Side-by-side associations of rear-view and other mirrors
    • B60R1/083—Anti-glare mirrors, e.g. "day-night" mirrors
    • B60R1/086—Anti-glare mirrors, e.g. "day-night" mirrors using a mirror angularly movable between a position of use and a non-glare position reflecting a dark field to the user, e.g. situated behind a transparent glass used as low-reflecting surface; Wedge-shaped mirrors
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/02—Rear-view mirror arrangements
    • B60R1/04—Rear-view mirror arrangements mounted inside vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/02—Rear-view mirror arrangements
    • B60R1/08—Rear-view mirror arrangements involving special optical features, e.g. avoiding blind spots, e.g. convex mirrors; Side-by-side associations of rear-view and other mirrors
    • B60R1/083—Anti-glare mirrors, e.g. "day-night" mirrors
    • B60R1/088—Anti-glare mirrors, e.g. "day-night" mirrors using a cell of electrically changeable optical characteristic, e.g. liquid-crystal or electrochromic mirrors
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/34—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source
    • G09G3/36—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source using liquid crystals
    • G09G3/3611—Control of matrices with row and column drivers
    • G09G3/3648—Control of matrices with row and column drivers using an active matrix
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R2011/0001—Arrangements for holding or mounting articles, not otherwise provided for characterised by position
    • B60R2011/0003—Arrangements for holding or mounting articles, not otherwise provided for characterised by position inside the vehicle
    • B60R2011/0033—Rear-view mirrors
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00—Aspects of the architecture of display systems
    • G09G2360/14—Detecting light within display terminals, e.g. using a single or a plurality of photosensors
    • G09G2360/144—Detecting light within display terminals, e.g. using a single or a plurality of photosensors the light being ambient light
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2380/00—Specific applications
    • G09G2380/10—Automotive applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Chemical & Material Sciences (AREA)
  • Crystallography & Structural Chemistry (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)
  • Instrument Panels (AREA)
  • Devices For Indicating Variable Information By Combining Individual Elements (AREA)

Abstract

一種基於眼球追蹤的顯示控制系統，包含本體，定義一空間以容置鏡子；第一影像擷取裝置，設於本體，面向第一方向用以擷取第一影像；控制器，電性連接第一影像擷取裝置，以接收並處理第一影像；及透明度可控膜，設於鏡子背離本體的一側。當控制器判斷第一影像當中的光源亮度超過預設第一臨界值，且控制器判斷第一影像當中駕駛人的眼球位置與初始位置之間的偏移距離非為零，則控制器根據眼球的偏移距離與初始座標，校正光源的原始位置以得到校正位置，據以改變透明度可控膜相應於光源的局部區域的透明度。

Description

基於眼球追蹤的顯示控制系統
本發明係有關一種顯示系統，特別是關於一種基於眼球追蹤(eye tracking-based)的顯示控制系統。
後照鏡(rearview mirror)是汽車的一項重要配備，通常設於前擋風玻璃(windshield)的上端，用以經由後擋風玻璃(或後車窗)查看車後方的狀況。
當太陽的角度較小(例如清晨或黃昏)或者夜晚後方同向車輛的大燈亮度太強，很容易於後照鏡間接造成眩光(glare)而影響駕駛人的視線與行車安全。類似的情形，當太陽的角度較小或者夜晚前方對向車輛的大燈亮度太強，也會經由前擋風玻璃而直接形成強光以影響駕駛人的視線與行車安全。
為了防眩光或抗強光，通常會於後照鏡或前擋風玻璃的表面整體塗佈一或多層特殊材質。然而，所塗佈的特殊材質層會因此影響後照鏡或前擋風玻璃的整體透明度(transparency)。
抬頭顯示器(head-up display, HUD)原本是軍用飛機的配備，目前也使用於汽車，配合全球定位系統(GPS)顯示導航影像於前擋風玻璃以指引駕駛人。然而，當遇到複雜的道路時，會因為駕駛人頭部的移動，使得眼睛視線看到的導航影像產生偏移而指引到錯誤的方向，甚至會造成行車的危險。
因此亟需提出一種新穎機制，適用於後照鏡、前擋風玻璃或抬頭顯示器，用以改善防眩光、抗強光或提供導航指引。
鑑於上述，本發明實施例的目的之一在於提出一種基於眼球追蹤的顯示控制系統，有效防眩光、抗強光或作為抬頭顯示器。
根據本發明實施例，基於眼球追蹤的顯示控制系統包含本體、第一影像擷取裝置、控制器及透明度可控膜。本體定義一空間以容置鏡子。第一影像擷取裝置設於本體上，面向第一方向用以擷取第一影像。控制器電性連接第一影像擷取裝置，以接收並處理第一影像。透明度可控膜設於鏡子背離本體的一側。當控制器判斷第一影像當中的光源亮度超過預設第一臨界值，且控制器判斷第一影像當中駕駛人的眼球位置與初始位置之間的偏移距離非為零，則控制器根據眼球的偏移距離與初始座標，校正光源的原始位置以得到校正位置，據以改變透明度可控膜相應於光源的局部區域的透明度。
根據本發明另一實施例，基於眼球追蹤的顯示控制系統包含本體、第一影像擷取裝置、第二影像擷取裝置、控制器及透明度可控膜。本體定義一空間以容置鏡子。第一影像擷取裝置設於本體上，面向第一方向用以擷取第一影像；第二影像擷取裝置設於本體上，面向第二方向用以擷取第二影像，該第二方向異於第一方向。控制器電性連接第一影像擷取裝置與第二影像擷取裝置，以分別接收並處理第一影像及第二影像。透明度可控膜貼附於前擋風玻璃的內側或設於前擋風玻璃與方向盤之間。當控制器判斷第二影像當中的光源亮度超過預設第二臨界值，且控制器判斷第一影像當中駕駛人的眼球位置與初始位置之間的偏移距離非為零，則控制器根據眼球的偏移距離與初始座標，校正光源的原始位置以得到校正位置，據以改變透明度可控膜相應於光源的局部區域的透明度。
根據本發明又一實施例，基於眼球追蹤的顯示控制系統包含本體、第一影像擷取裝置、控制器、透明度可控膜、電子地圖資料庫及導航單元。本體定義一空間以容置鏡子。第一影像擷取裝置設於本體上，用以擷取第一影像。控制器電性連接第一影像擷取裝置，以接收並處理第二影像。透明度可控膜貼附於前擋風玻璃的內側或設於前擋風玻璃與方向盤之間；電子地圖資料庫提供電子地圖；且導航單元提供位置資訊。控制器根據電子地圖及位置資訊，顯示相應導航影像於透明度可控膜。當控制器判斷第一影像當中駕駛人的眼球位置與初始位置之間的偏移距離非為零，則控制器根據眼球的偏移距離與初始座標，校正導航影像的原始位置以得到校正位置，據以顯示相應導航影像於透明度可控膜。
第一A圖顯示本發明第一實施例之基於眼球追蹤(eye tracking-based)的顯示控制系統100的系統方塊圖。本實施例之基於眼球追蹤的顯示控制系統100(以下簡稱顯示控制系統)可適用於交通工具(例如汽車)的後照鏡，用以防眩光。
在本實施例中，顯示控制系統100可包含第一影像擷取裝置11，例如相機鏡頭，其面向第一方向用以擷取第一影像。在本實施例中，第一影像擷取裝置11面向後方(例如面向後擋風玻璃)用以擷取後影像。第二A圖至第二E圖分別顯示後照鏡200的立體圖、側視圖、正視圖、後視圖及分解圖。後照鏡200主要包含本體21(例如外殼)及鏡子22，其中本體21定義一空間，用以容置鏡子22。如第二A圖或第二C圖所示，本實施例的第一影像擷取裝置11可設於本體21上，例如設於本體21的底端，但不限定於此。
本實施例之顯示控制系統100可包含控制器12，例如數位影像處理器，其電性連接第一影像擷取裝置11以接收並處理第一影像擷取裝置11所擷取的第一影像。在本說明書中，電性連接可指有線電性連接或無線電性連接。本實施例之控制器12可設於後照鏡200之本體21所定義的空間內，但不限定於此。
根據本實施例的特徵之一，顯示控制系統100可包含透明度可控膜(transparency controllable film)13，設於後照鏡200的鏡子22背離本體21的一側，如第二E圖所示。透明度可控膜13可固定於支架23，該支架23再耦接至本體21。透明度可控膜13的大小不須相同於鏡子22，兩者可形成部分重疊。在本實施例中，支架23可旋轉於本體21，使得透明度可控膜13與鏡子22(或本體21)之間具有一角度α，如第二B圖所例示，用以防止周圍光於透明度可控膜13表面所造成的反射光。本實施例之透明度可控膜13受控於控制器12，可改變透明度可控膜13的局部區域的透明度或者於局部區域顯示預設影像。在一例子中，透明度可控膜13可使用傳統的液晶顯示器(LCD)架構，例如薄膜電晶體(TFT)液晶顯示器或橫向電場效應(in-plane-switching, IPS) 液晶顯示器，其主要包含有液晶層與像素控制層(例如薄膜電晶體(TFT)控制層)，但不需背光層。於正常模式，光線可通過液晶層而未被液晶層的液晶分子極化(polarized)，因此透明度可控膜13呈現透明。然而於控制模式，光線被液晶層的液晶分子極化，因此於像素控制層所控制的局部區域，可降低透明度可控膜13的透明度。在另一例子中，透明度可控膜13可使用傳統的發光二極體顯示器(例如有機發光二極體(OLED)顯示器)架構，其主要包含有發光二極體層與像素控制層(例如薄膜電晶體(TFT)控制層)，但不需背蓋板。於正常模式，發光二極體層未作顯示，因此透明度可控膜13呈現透明。然而於控制模式，於像素控制層所控制的局部區域，發光二極體層可進行顯示，因而降低透明度可控膜13的透明度。
第一B圖顯示第一A圖之顯示控制系統100的相應流程圖。於步驟101，第一影像擷取裝置11擷取第一影像，其可涵蓋駕駛人眼部與後擋風玻璃至少一部份範圍內的影像。第一影像擷取裝置11可週期地進行影像擷取，也可依照天候、交通狀況或其他條件改變影像擷取的頻率。於步驟102，控制器12判斷所擷取的第一影像是否有出現強光，例如後方同向車輛的車燈所發出的一或多個強光或後方的陽光。如果經判斷出現有強光(例如光源亮度超過預設第一臨界值)，則接著於步驟103，控制器12判斷(或追蹤)所擷取的第一影像當中，駕駛人的眼球(或眼睛)位置是否偏移初始(基準)位置。如果經判斷駕駛人的眼球位置與初始位置之間的偏移距離非為零，則於步驟104，控制器12根據眼球的偏移距離與初始(基準)座標，校正所擷取第一影像的強光原始位置，以得到強光的校正位置。在本說明書中，偏移距離為零也可包含該偏移距離很小而為可忽略(negligible)的情形。最後，於步驟105，控制器12根據(步驟104)所得到強光之校正位置(如果眼球有偏移)或者校正前的強光原始位置(如果眼球沒有偏移)，改變透明度可控膜13相應於強光校正/原始位置的局部區域的透明度，例如降低相應位置的透明度。藉此，可防止後照鏡200因強光造成之眩光對駕駛人的影響。
第三A圖顯示第一實施例之鏡子22與透明度可控膜13的側面俯視圖，用以說明本實施例之顯示控制系統100的原理。位置A為(駕駛人)眼球於初始(基準)座標的初始位置。為了防止強光光源30經由鏡子22對眼睛的照射，因此降低透明度可控膜13於區域31的透明度。然而，由於駕駛人頭部的移動，眼球偏移至位置B(亦即眼球的偏移距離為a)，因此降低區域31的透明度並無法防止強光光源30對於駕駛人眼睛的影響。根據眼球的偏移距離a與初始(基準)座標，校正強光原始位置31，以得到強光的校正位置32，據此，改為降低透明度可控膜13於區域32的透明度，因而得以有效防止強光光源30造成之眩光對駕駛人的影響。在另一實施例中，顯示控制系統100使用二個第一影像擷取裝置11，用以擷取得到三維影像，因而可以得到眼球的深度資訊，據以更精確的得知眼球的位置。第三B圖至第三D圖顯示使用三維座標的例子。第三B圖顯示初始位置的左眼與右眼座標。第三C圖顯示頭部左移之後的左眼與右眼座標，其中Z軸座標沒有改變。第三D圖顯示頭部右移且前移之後的左眼與右眼座標，其中Z軸座標有改變，且頭部影像的大小也產生變化(例如變大)。
第四A圖顯示本發明第二實施例之基於眼球追蹤的顯示控制系統400的系統方塊圖。與第一實施例相同的組成要件，其細節省略不再贅述。本實施例之基於眼球追蹤的顯示控制系統400(以下簡稱顯示控制系統)可適用於交通工具(例如汽車)內的前方，用以抗強光。
在本實施例中，顯示控制系統400可包含第一影像擷取裝置11，用以擷取第一影像。顯示控制系統400還可包含第二影像擷取裝置14，例如相機鏡頭，其面向第二方向(其異於第一方向)用以擷取第二影像。在本實施例中，第二影像擷取裝置14面向前方(例如面向前擋風玻璃)，用以擷取第二影像。本實施例的第二影像擷取裝置14可設於本體21背離鏡子22的一側(第二D圖)，但不限定於此。
本實施例之顯示控制系統400可包含控制器12，其電性連接第一影像擷取裝置11與第二影像擷取裝置14，以分別接收並處理第一影像擷取裝置11所擷取的第一影像與第二影像擷取裝置14所擷取的第二影像。
根據本實施例的特徵之一，顯示控制系統400可包含透明度可控膜13，可貼附於前擋風玻璃的內側或者設於前擋風玻璃與方向盤之間。透明度可控膜13的大小不須相同於前擋風玻璃，兩者可形成部分重疊。本實施例之透明度可控膜13受控於控制器12，可改變透明度可控膜13的局部區域的透明度或者於局部區域顯示預設影像。在一例子中，透明度可控膜13可使用傳統的液晶顯示器(LCD)架構(例如薄膜電晶體(TFT)液晶顯示器或橫向電場效應(in-plane-switching, IPS) 液晶顯示器)；在另一例子中，透明度可控膜13可使用傳統的發光二極體顯示器(例如有機發光二極體(OLED)顯示器)架構。
第四B圖顯示第四A圖之顯示控制系統400的相應流程圖。於步驟101B，第一影像擷取裝置11擷取第一影像，其可涵蓋駕駛人眼部的影像，且第二影像擷取裝置14擷取第二影像，其可涵蓋前擋風玻璃至少一部分範圍內的影像。第一影像擷取裝置11及第二影像擷取裝置14可週期地進行影像擷取，也可依照天候、交通狀況或其他條件改變影像擷取的頻率。於步驟102，控制器12判斷所擷取的第二影像是否有出現強光，例如前方對向車輛的車燈所發出的一或多個強光或前方陽光。如果經判斷出現有強光(例如光源亮度超過預設第二臨界值)，則接著於步驟103，控制器12判斷(或追蹤)所擷取的第一影像當中，駕駛人的眼球(或眼睛)位置是否偏移初始(基準)位置。如果經判斷駕駛人的眼球位置與初始位置之間的偏移距離非為零，則於步驟104，控制器12根據眼球的偏移距離與初始(基準)座標，校正所擷取第一影像的強光原始位置，以得到強光的校正位置。最後，於步驟105，控制器12根據(步驟104)所得到強光之校正位置(如果眼球有偏移)或者校正前的強光原始位置(如果眼球沒有偏移)，改變透明度可控膜13相應於強光校正/原始位置的局部區域的透明度，例如降低相應位置的透明度。藉此，可抵抗因前方強光對駕駛人的影響。
第五A圖顯示本發明第三實施例之基於眼球追蹤的顯示控制系統500的系統方塊圖。與第一實施例或第二實施例相同的組成要件，其細節省略不再贅述。本實施例之基於眼球追蹤的顯示控制系統500(以下簡稱顯示控制系統)可適用於交通工具(例如汽車)內的前方，作為抬頭顯示器(HUD)。
在本實施例中，顯示控制系統500可包含第一影像擷取裝置11，用以擷取第一影像。本實施例之顯示控制系統500可包含控制器12，其電性連接第一影像擷取裝置11以接收並處理第一影像擷取裝置11所擷取的第一影像。
根據本實施例的特徵之一，顯示控制系統500可包含透明度可控膜13，可貼附於前擋風玻璃的內側或者設於前擋風玻璃與方向盤之間。透明度可控膜13的大小不須相同於前擋風玻璃，兩者可形成部分重疊。本實施例之透明度可控膜13受控於控制器12，控制器12根據電子地圖資料庫15所提供的電子地圖及導航(navigation)單元16(例如全球定位系統或GPS)所提供的位置資訊，顯示相應導航影像於透明度可控膜13。在一例子中，透明度可控膜13可使用傳統的液晶顯示器(LCD)架構(例如薄膜電晶體(TFT)液晶顯示器或橫向電場效應(in-plane-switching, IPS) 液晶顯示器)；在另一例子中，透明度可控膜13可使用傳統的發光二極體顯示器(例如有機發光二極體(OLED)顯示器)架構。
第五B圖顯示第五A圖之顯示控制系統500的相應流程圖。於步驟101，第一影像擷取裝置11擷取第一影像，其可涵蓋駕駛人眼部的影像。於步驟103，控制器12判斷(或追蹤)所擷取的第一影像當中，駕駛人的眼球(或眼睛)位置是否偏移初始(基準)位置。如果經判斷駕駛人的眼球位置與初始位置之間的偏移距離非為零，則於步驟104B，控制器12根據眼球的偏移距離與初始(基準)座標，校正導航影像的原始位置，以得到導航影像的校正位置。最後，於步驟105B，控制器12根據(步驟104B)所得到導航影像之校正位置(如果眼球有偏移)或者校正前的導航影像原始位置(如果眼球沒有偏移)，顯示相應導航影像於透明度可控膜13。藉此，可正確顯示導航影像，不受駕駛人因眼球偏移造成的導航誤差。第六A圖例示抬頭顯示器的簡化示意圖，其中導航影像區塊61指引駕駛人於(二虛線之間的)轉彎車道向右轉彎。然而，由於駕駛人頭部移動，使得眼睛視線看到的導航影像區塊61造成偏移或錯位(misalign)而指引到錯誤的方向，如第六B圖所示。藉由本實施例可校正導航影像區塊61的顯示位置使其對位(align)，以正確指引駕駛人。
以上所述僅為本發明之較佳實施例而已，並非用以限定本發明之申請專利範圍；凡其它未脫離發明所揭示之精神下所完成之等效改變或修飾，均應包含在下述之申請專利範圍內。
100‧‧‧基於眼球追蹤的顯示控制系統400‧‧‧基於眼球追蹤的顯示控制系統500‧‧‧基於眼球追蹤的顯示控制系統11‧‧‧第一影像擷取裝置12‧‧‧控制器13‧‧‧透明度可控膜14‧‧‧第二影像擷取裝置15‧‧‧電子地圖資料庫16‧‧‧導航單元101‧‧‧擷取第一影像101B‧‧‧擷取第一影像與第二影像102‧‧‧判斷是否出現強光103‧‧‧判斷眼球位置是否偏移104‧‧‧根據眼球偏移距離得到強光的校正位置104B‧‧‧根據眼球偏移距離得到導航影像的校正位置105‧‧‧改變透明度可控膜的局部透明度105B‧‧‧顯示導航影像200‧‧‧後照鏡21‧‧‧本體22‧‧‧鏡子23‧‧‧支架30‧‧‧強光光源31‧‧‧區域32‧‧‧區域61‧‧‧導航影像區塊a‧‧‧偏移距離A‧‧‧位置B‧‧‧位置
第一A圖顯示本發明第一實施例之基於眼球追蹤的顯示控制系統的系統方塊圖。 第一B圖顯示第一A圖之顯示控制系統的相應流程圖。 第二A圖至第二E圖分別顯示後照鏡的立體圖、側視圖、正視圖、後視圖及分解圖。 第三A圖顯示第一實施例之鏡子與透明度可控膜的側面俯視圖。 第三B圖至第三D圖顯示使用三維座標的例子。 第四A圖顯示本發明第二實施例之基於眼球追蹤的顯示控制系統的系統方塊圖。 第四B圖顯示第四A圖之顯示控制系統的相應流程圖。 第五A圖顯示本發明第三實施例之基於眼球追蹤的顯示控制系統的系統方塊圖。 第五B圖顯示第五A圖之顯示控制系統的相應流程圖。 第六A圖及第六B圖例示抬頭顯示器的簡化示意圖。
100‧‧‧基於眼球追蹤的顯示控制系統
11‧‧‧第一影像擷取裝置
12‧‧‧控制器
13‧‧‧透明度可控膜

Claims (15)

  1. 一種基於眼球追蹤的顯示控制系統，包含： 一本體，定義一空間以容置一鏡子； 一第一影像擷取裝置，其設於該本體上，面向第一方向用以擷取第一影像； 一控制器，其電性連接該第一影像擷取裝置，以接收並處理該第一影像；及 一透明度可控膜，設於該鏡子背離該本體的一側； 其中當該控制器判斷該第一影像當中的光源亮度超過預設第一臨界值，且該控制器判斷該第一影像當中駕駛人的眼球位置與初始位置之間的偏移距離非為零，則該控制器根據眼球的偏移距離與初始座標，校正該光源的原始位置以得到校正位置，據以改變該透明度可控膜相應於該光源的局部區域的透明度。
  2. 根據申請專利範圍第1項所述基於眼球追蹤的顯示控制系統，其中該第一影像涵蓋駕駛人眼部與後擋風玻璃至少一部份範圍內的影像。
  3. 根據申請專利範圍第1項所述基於眼球追蹤的顯示控制系統，其中該第一影像擷取裝置設於該本體的底端。
  4. 根據申請專利範圍第1項所述基於眼球追蹤的顯示控制系統，其中該透明度可控膜與該鏡子之間具有一角度。
  5. 根據申請專利範圍第1項所述基於眼球追蹤的顯示控制系統，其中該透明度可控膜包含薄膜電晶體液晶顯示器、橫向電場效應液晶顯示器或有機發光二極體顯示器。
  6. 根據申請專利範圍第1項所述基於眼球追蹤的顯示控制系統，其中當該控制器判斷該第一影像當中的光源亮度超過預設第一臨界值時，但駕駛人的偏移距離為零，則該控制器根據該光源的原始位置，據以改變該透明度可控膜相應於該光源的局部區域的透明度。
  7. 一種基於眼球追蹤的顯示控制系統，包含： 一本體，定義一空間以容置一鏡子； 一第一影像擷取裝置，設於該本體上，面向第一方向用以擷取第一影像； 一第二影像擷取裝置，設於該本體上，面向第二方向用以擷取第二影像，該第二方向異於該第一方向； 一控制器，其電性連接該第一影像擷取裝置與該第二影像擷取裝置，以分別接收並處理該第一影像及該第二影像；及 一透明度可控膜，貼附於前擋風玻璃的內側或設於前擋風玻璃與方向盤之間； 其中當該控制器判斷該第二影像當中的光源亮度超過預設第二臨界值，且判斷該第一影像當中駕駛人的眼球位置與初始位置之間的偏移距離非為零，則該控制器根據眼球的偏移距離與初始座標，校正該光源的原始位置以得到校正位置，據以改變該透明度可控膜相應於該光源的局部區域的透明度。
  8. 根據申請專利範圍第7項所述基於眼球追蹤的顯示控制系統，其中該第一影像涵蓋駕駛人眼部的影像，且該第二影像涵蓋前擋風玻璃至少一部分範圍內的影像。
  9. 根據申請專利範圍第7項所述基於眼球追蹤的顯示控制系統，其中該第一影像擷取裝置設於該本體的底端，且該第二影像擷取裝置設於該本體背離鏡子的一側。
  10. 根據申請專利範圍第7項所述基於眼球追蹤的顯示控制系統，其中該透明度可控膜包含薄膜電晶體液晶顯示器、橫向電場效應液晶顯示器或有機發光二極體顯示器。
  11. 根據申請專利範圍第7項所述基於眼球追蹤的顯示控制系統，其中當該控制器判斷該第二影像當中的光源亮度超過預設第二臨界值時，但駕駛人的偏移距離為零，則該控制器根據該光源的原始位置，據以改變該透明度可控膜相應於該光源的局部區域的透明度。
  12. 一種基於眼球追蹤的顯示控制系統，包含： 一本體，定義一空間以容置一鏡子； 一第一影像擷取裝置，設於該本體上，面向第一方向用以擷取第一影像； 一控制器，其電性連接該第一影像擷取裝置，以接收並處理該第一影像； 一透明度可控膜，貼附於前擋風玻璃的內側或設於前擋風玻璃與方向盤之間； 一電子地圖資料庫，提供電子地圖；及 一導航單元，提供位置資訊； 其中該控制器根據該電子地圖及該位置資訊，顯示相應導航影像於該透明度可控膜； 其中當該控制器判斷該第一影像當中駕駛人的眼球位置與初始位置之間的偏移距離非為零，則該控制器根據眼球的偏移距離與初始座標，校正該導航影像的原始位置以得到校正位置，據以顯示相應導航影像於該透明度可控膜。
  13. 根據申請專利範圍第12項所述基於眼球追蹤的顯示控制系統，其中該第一影像涵蓋駕駛人眼部的影像。
  14. 根據申請專利範圍第12項所述基於眼球追蹤的顯示控制系統，其中該第一影像擷取裝置設於該本體的底端。
  15. 根據申請專利範圍第12項所述基於眼球追蹤的顯示控制系統，其中該透明度可控膜包含薄膜電晶體液晶顯示器、橫向電場效應液晶顯示器或有機發光二極體顯示器。
TW107117040A 2018-05-18 2018-05-18 基於眼球追蹤的顯示控制系統 TWI637289B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
TW107117040A TWI637289B (zh) 2018-05-18 2018-05-18 基於眼球追蹤的顯示控制系統
CN201810685020.5A CN110502096B (zh) 2018-05-18 2018-06-28 基于眼球追踪的显示控制系统
US16/046,761 US10755632B2 (en) 2018-05-18 2018-07-26 Eye tracking-based display control system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW107117040A TWI637289B (zh) 2018-05-18 2018-05-18 基於眼球追蹤的顯示控制系統

Publications (2)

Publication Number Publication Date
TWI637289B TWI637289B (zh) 2018-10-01
TW202004411A true TW202004411A (zh) 2020-01-16

Family

ID=64797475

Family Applications (1)

Application Number Title Priority Date Filing Date
TW107117040A TWI637289B (zh) 2018-05-18 2018-05-18 基於眼球追蹤的顯示控制系統

Country Status (3)

Country Link
US (1) US10755632B2 (zh)
CN (1) CN110502096B (zh)
TW (1) TWI637289B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3445138A1 (en) * 2017-08-17 2019-02-20 Philips Lighting Holding B.V. Storing a preference for a light state of a light source in dependence on an attention shift
TWI674518B (zh) * 2018-11-28 2019-10-11 國立臺灣大學 眼球追蹤的校正方法和其裝置
DE102019132479B4 (de) 2019-11-29 2024-06-20 Bayerische Motoren Werke Aktiengesellschaft Innenrückspiegel für ein Kraftfahrzeug und Kraftfahrzeug
US11590845B2 (en) * 2021-04-29 2023-02-28 Toyota Research Institute, Inc. Systems and methods for controlling a head-up display in a vehicle
DE102022100954A1 (de) 2022-01-17 2023-07-20 Bayerische Motoren Werke Aktiengesellschaft Rückspiegel-Modul und Verfahren zum Abblenden eines Rückspiegels

Family Cites Families (65)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4874938A (en) * 1988-03-16 1989-10-17 Prospects Corp. Automatic motor vehicle visor system
US5305012A (en) * 1992-04-15 1994-04-19 Reveo, Inc. Intelligent electro-optical system and method for automatic glare reduction
US5298732A (en) * 1993-02-18 1994-03-29 Emee, Inc. Automatic visor for continuously repositioning a shading object to shade a designated location from a direct radiation source
US5322996A (en) * 1993-04-28 1994-06-21 Reliant Laser Corporation Mirror with dynamic dazzle light attenuation zone
KR100290543B1 (ko) * 1998-12-29 2001-05-15 허문영 온도 보상 눈부심 방지장치 및 그 방법
US6439638B1 (en) * 1999-08-20 2002-08-27 Kasai Kogyo Co., Ltd. Vehicle sun visor
US6196689B1 (en) * 2000-06-10 2001-03-06 Timothy Brown Mirror system for tractor trailers
WO2003074307A1 (en) * 2002-03-07 2003-09-12 Yechezkal Evan Spero Enhanced vision for driving
US6918674B2 (en) * 2002-05-03 2005-07-19 Donnelly Corporation Vehicle rearview mirror system
US6715894B1 (en) * 2003-02-19 2004-04-06 Henderson O. Taylor Forward-viewing mirror
JP4287189B2 (ja) * 2003-05-12 2009-07-01 カルソニックカンセイ株式会社 車両用表示器
US7432800B2 (en) * 2004-07-07 2008-10-07 Delphi Technologies, Inc. Adaptive lighting display for vehicle collision warning
US7134707B2 (en) * 2005-02-10 2006-11-14 Motorola, Inc. Selective light attenuation system
US7970172B1 (en) * 2006-01-24 2011-06-28 James Anthony Hendrickson Electrically controlled optical shield for eye protection against bright light
US7505136B2 (en) * 2006-05-16 2009-03-17 The Boeing Company Testing and tuning electrically dimmable windows
US7646422B2 (en) * 2006-10-04 2010-01-12 Branislav Kisacanin Illumination and imaging system with glare reduction and method therefor
US20090168185A1 (en) * 2007-12-27 2009-07-02 Motorola, Inc. Electrochromic Windshield with Computer Vision Control
JP5291831B2 (ja) * 2010-03-10 2013-09-18 本田技研工業株式会社 前方視認装置
US8228590B2 (en) * 2010-08-09 2012-07-24 Gentex Corporation Electro-optic system configured to reduce a perceived color change
JP2012086831A (ja) * 2010-09-22 2012-05-10 Toshiba Corp 車載表示装置
US8482834B2 (en) * 2010-12-07 2013-07-09 David A. Cordova Window tinting systems
US9264673B2 (en) * 2011-11-20 2016-02-16 Magna Electronics, Inc. Vehicle vision system with enhanced functionality
US9321329B2 (en) * 2012-05-10 2016-04-26 Chris Beckman Glare elimination and image enhancement system improving lenses, windows and displays
US8888304B2 (en) * 2012-05-10 2014-11-18 Christopher V. Beckman Optical control techniques
US10338385B2 (en) * 2011-12-14 2019-07-02 Christopher V. Beckman Shifted reality display device and environmental scanning system
US9759916B2 (en) * 2012-05-10 2017-09-12 Christopher V. Beckman Mediated reality display system improving lenses, windows and screens
WO2013110846A1 (en) * 2012-01-26 2013-08-01 Nokia Corporation Capacitive eye tracking sensor
TW201337847A (zh) * 2012-03-15 2013-09-16 Utechzone Co Ltd 具有照明光源之車用眼控裝置
US9409464B2 (en) * 2013-04-25 2016-08-09 Globalfoundries Inc. Dynamically managing vehicle glass dimming
FR3011090B1 (fr) * 2013-09-26 2016-12-23 Valeo Vision Lunettes a affichage de donnees munies d'un ecran anti-eblouissement
FR3010938B1 (fr) * 2013-09-26 2015-10-30 Valeo Vision Dispositif et procede d'aide a la conduite
FR3010940B1 (fr) * 2013-09-26 2017-01-13 Valeo Vision Dispositif et procede d'aide a la conduite
US9511650B2 (en) * 2014-03-30 2016-12-06 Bob Momot Adjustable opacity control based on operator and light source position
CN106458059B (zh) * 2014-04-25 2018-10-16 三菱电机株式会社 自动调整装置、自动调整系统以及自动调整方法
US20170072774A1 (en) * 2014-06-20 2017-03-16 Grey Matter Fusion, Inc. Sun tracking tint visor
CN105323539B (zh) * 2014-07-17 2020-03-31 原相科技股份有限公司 车用安全系统及其操作方法
GB2528446B (en) * 2014-07-21 2021-08-04 Tobii Tech Ab Method and apparatus for detecting and following an eye and/or the gaze direction thereof
WO2016064361A1 (en) * 2014-10-23 2016-04-28 Tofas Turk Otomobil Fabrikasi Anonim Sirketi A rear view system
US9939664B2 (en) * 2014-12-10 2018-04-10 The Boeing Company High temperature range and high strain range transparent composites based on matrices having optically tunable refractive indices
US9911395B1 (en) * 2014-12-23 2018-03-06 Amazon Technologies, Inc. Glare correction via pixel processing
US20160185191A1 (en) * 2014-12-31 2016-06-30 Zirve Universitesi Automatic vehicle sun shade
EP3259734B1 (en) * 2015-02-20 2024-07-24 Seeing Machines Limited Glare reduction
US20160253971A1 (en) * 2015-03-01 2016-09-01 Daniel Robert Shepard Dynamic visor
JP6175589B2 (ja) * 2015-03-19 2017-08-02 富士フイルム株式会社 投写型表示装置及び投写表示方法
JP6319349B2 (ja) * 2015-04-03 2018-05-09 株式会社デンソー 情報提示装置
CN204559791U (zh) * 2015-05-14 2015-08-12 大昱光电股份有限公司 裸眼3d影像处理装置
JP6537602B2 (ja) * 2015-05-19 2019-07-03 マクセル株式会社 ヘッドマウントディスプレイ及びヘッドアップディスプレイ
CN104977739B (zh) * 2015-07-17 2018-09-18 京东方科技集团股份有限公司 一种显示控制方法及显示控制装置、显示系统
JP6478224B2 (ja) * 2015-08-25 2019-03-06 本田技研工業株式会社 車両用自動防眩装置
JP2019506017A (ja) * 2015-11-06 2019-02-28 フェイスブック・テクノロジーズ・リミテッド・ライアビリティ・カンパニーＦａｃｅｂｏｏｋ Ｔｅｃｈｎｏｌｏｇｉｅｓ， Ｌｌｃ オプティカル・フローを用いる眼球追跡
US10401625B2 (en) * 2015-12-28 2019-09-03 Facebook Technologies, Llc Determining interpupillary distance and eye relief of a user wearing a head-mounted display
JP2017138350A (ja) * 2016-02-01 2017-08-10 アルプス電気株式会社 画像表示装置
US10319272B1 (en) * 2016-02-10 2019-06-11 Board Of Trustees Of The University Of Alabama, For And On Behalf Of The University Of Alabama In Huntsville Vehicular brightness limiting system
US9702183B1 (en) * 2016-02-26 2017-07-11 Toyota Motor Engineering & Manufacturing North America, Inc. Smart sunshade for a vehicle window
CN108698513B (zh) * 2016-03-02 2019-06-18 富士胶片株式会社 投影型显示装置、投影控制方法及记录介质
EP3442826A4 (en) * 2016-04-14 2019-02-20 Gentex Corporation VIEW CORRECTIVE VEHICLE INDICATOR
US9671626B2 (en) * 2016-05-19 2017-06-06 Maximilian Ralph Peter von und zu Liechtenstein Apparatus and method for augmenting human vision by means of adaptive polarization filter grids
US20180126907A1 (en) * 2016-06-24 2018-05-10 Faraday&Future Inc. Camera-based system for reducing reflectivity of a reflective surface
US10106018B2 (en) * 2016-10-26 2018-10-23 International Business Machines Corporation Automated windshield glare elimination assistant
KR20180060788A (ko) * 2016-11-29 2018-06-07 삼성전자주식회사 눈부심 방지 장치 및 방법
CN109937158B (zh) * 2016-12-27 2022-03-22 金泰克斯公司 具有眼睛跟踪的后视系统
CN207148136U (zh) * 2017-08-07 2018-03-27 长沙开元仪器股份有限公司 一种自动夹取及转移机构
TWI653170B (zh) * 2017-11-01 2019-03-11 宏碁股份有限公司 駕駛提示方法與系統
US10474916B2 (en) * 2017-11-20 2019-11-12 Ashok Krishnan Training of vehicles to improve autonomous capabilities
US20190168586A1 (en) * 2017-12-04 2019-06-06 Toyota Research Institute, Inc. Adaptive light passage region control

Also Published As

Publication number Publication date
US20190355298A1 (en) 2019-11-21
CN110502096B (zh) 2022-10-28
TWI637289B (zh) 2018-10-01
US10755632B2 (en) 2020-08-25
CN110502096A (zh) 2019-11-26

Similar Documents

Publication Publication Date Title
TWI637289B (zh) 基於眼球追蹤的顯示控制系統
US11181743B2 (en) Head up display apparatus and display control method thereof
CN108340836B (zh) 一种汽车a柱显示系统
US11126005B2 (en) Head up display system for expanding a display range of a virtual image
US8461970B2 (en) Motor vehicle having a display and a camera
US20100066925A1 (en) Head Up Display
US20160320624A1 (en) Head-up display device
US8716644B2 (en) Glare reduction apparatus
US8724225B2 (en) Optical system for use in a vehicle head-up display
US10445594B2 (en) Onboard display system
US20210271077A1 (en) Method for Operating a Visual Field Display Device for a Motor Vehicle
US10274726B2 (en) Dynamic eyebox correction for automotive head-up display
CN103640524B (zh) 一种汽车安全驾驶显示系统及显示方法
US11307047B2 (en) Head-up display device for a transportation vehicle, method, device and computer-readable recording medium with instructions for controlling a display of a head-up display device
CN110816408A (zh) 显示装置、显示控制方法及存储介质
WO2017028411A1 (zh) 平视显示器、平视显示方法以及车载显示装置
KR20170126149A (ko) 차량용 전방필러 영상 제공 시스템
US10703298B2 (en) Display device, display control method, and storage medium
US11009702B2 (en) Display device, display control method, storage medium
KR20170091259A (ko) 유사홀로그램 방식의 자동차 사이드 영상 조사장치.
JP2019015936A (ja) ヘッドアップディスプレイ装置
KR101655190B1 (ko) 차량에 부착된 표시 장치 및 이를 이용한 정보 표시 방법
WO2024105899A1 (ja) ヘッドアップディスプレイ装置および乗り物
JP3222451U (ja) 映像表示範囲を手動調整可能なバックミラー
US20240071269A1 (en) Display device for vehicle