TWI681339B - 一種眼球追蹤操作的方法和裝置 - Google Patents

一種眼球追蹤操作的方法和裝置 Download PDF

Info

Publication number
TWI681339B
TWI681339B TW107110821A TW107110821A TWI681339B TW I681339 B TWI681339 B TW I681339B TW 107110821 A TW107110821 A TW 107110821A TW 107110821 A TW107110821 A TW 107110821A TW I681339 B TWI681339 B TW I681339B
Authority
TW
Taiwan
Prior art keywords
eye movement
information
unit
user
eye
Prior art date
Application number
TW107110821A
Other languages
English (en)
Other versions
TW201839668A (zh
Inventor
黃建東
Original Assignee
大陸商上海耕岩智能科技有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 大陸商上海耕岩智能科技有限公司 filed Critical 大陸商上海耕岩智能科技有限公司
Publication of TW201839668A publication Critical patent/TW201839668A/zh
Application granted granted Critical
Publication of TWI681339B publication Critical patent/TWI681339B/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

本發明提供了一種眼球追蹤操作的方法和裝置，通過在顯示單元的眼球識別區下方設置傳感單元，相較于攝像頭獨立於顯示幕外設置在邊緣位置的結構，本發明的傳感單元既可以發出紅外光也可以偵測人眼反射回的紅外光信號，以便及時捕捉到使用者眼球活動資訊，進而與預設的眼球活動資訊進行比對，執行該眼球活動資訊對應的操作指令，使得使用者通過眼球活動就可快速對設備進行操控，有效提升用戶體驗。此外，將傳感單元設置於顯示單元的下方，相較於攝像頭獨立突出設置於顯示幕區域外的結構，可以有效縮小移動設備的整體厚度，使得穿戴式設備或是移動設備更加輕薄、更適用於柔性穿戴式設備或是移動設備、滿足市場的需求。

Description

一種眼球追蹤操作的方法和裝置
本發明涉及電子設備控制領域，特別涉及一種眼球追蹤操作的方法和裝置。
隨著科技的發展和技術的進步，觸控顯示面板已經廣泛應用在需要進行人機交互介面的裝置中，如工業電腦的操作螢幕、平板電腦、智慧手機的觸控螢幕等等。然而以穿戴式電子裝置而言，人機交互介面技術仍有眾多進步空間。以虛擬實境或增強現實(VR/AR)裝置為例，為了提高使用者使用這些裝置時的感官體驗，通常會將用戶的眼球活動與操作指令相結合，因此眼球追蹤就是其中一項重要的人機交互介面技術。
眼球追蹤是指對用戶眼球和眼球周邊的特徵變化進行追蹤，以預測使用者的狀態和需求，並進行回應，達到用戶以眼睛主動或被動控制設備的目的。目前，一般採用VR/AR裝置或是移動設備上顯示幕外的攝像頭來捕捉眼球特徵變化資訊，由於此類裝置設備的顯示幕外攝像頭往往獨立設置於設備的邊緣位置(如設置於手機的頂部)，偏離了眼球成像的光軸，而使用者眼球特徵變化又十分快速，採用現有的顯示幕外攝像頭無法精確且快速捕 捉到使用者的眼球特徵變化。
以畫面切換為例，目前乃是採用現有的顯示幕外攝像頭結構來進行眼球追蹤，然而用戶眼睛在使用裝備的過程當中是聚焦於螢幕畫面，若使用者眼球察覺畫面不同位置的細節而開始進行了活動，而由於偏離光軸的顯示幕外攝像頭採集的眼球特徵資訊精確度不夠高、或是回應時間不夠快，這段期間內畫面無法隨著使用者眼球聚焦之視角進行精準且即時地切換，巨大的畫面延遲給使用者帶來了不良的感官體驗，甚至引發頭暈、嘔吐等症狀。
本發明所要解決的技術問題是提供一種眼球追蹤操作的技術方案，用以解決由於顯示幕外攝像頭設置位置偏離光軸、無法精準且及時捕捉到使用者眼球的特徵資訊，導致眼球追蹤視角不夠精準、延遲時間久、操作指令無法快速得到回應、用戶感官體驗差等人因工程(Human Factor Engineering)的問題。
為解決上述技術問題，本發明採取的技術方案為：一種眼球追蹤操作的方法，所述方法應用於眼球追蹤操作的裝置，所述裝置包括顯示單元和傳感單元；所述顯示單元上設置有眼球活動識別區，所述傳感單元位於所述眼球活動識別區的下方；所述傳感單元包括紅外感應層，所述紅外感應層用於在接收到光源觸發信號時，發出紅外光，以及用於在接收到偵測觸發信號時，處於紅外信號偵測狀態，並接收使用者眼球反射的紅外光信號以捕 捉使用者的眼球活動資訊，所述方法包括以下步驟：預先設置操作配置資訊，所述操作配置資訊包括眼球活動資訊與操作指令的對應關係；捕捉用戶在眼球活動識別區上的眼球活動資訊，判斷操作配置資訊中是否存在與所捕捉的眼球活動資訊相匹配的眼球活動資訊，若是則執行操作配置資訊中該眼球活動資訊對應的操作指令，否則不執行所述操作指令。
進一步地，所述步驟“預先設置操作配置資訊”包括：接收使用者設置命令，顯示眼球活動識別區；接收用戶選擇的眼球操作項目，以及捕捉用戶在所述眼球識別區上的眼球活動資訊並保存；顯示一操作指令識別欄位表，所述操作指令識別欄位表中包含著一個或多個操作指令對應的標識，每一操作指令標識對應一操作指令；接收使用者對操作指令標識的選擇指令，建立所選中的操作指令標識對應的操作指令與所護球的使用者的眼球活動資訊的對應關係並保存。
進一步地，所述操作指令包括文字操作指令、圖像操作指令、視頻操作指令、應用操作指令中的一種或多種。
進一步地，光源觸發信號與偵測觸發信號交替切換，並符合一預設頻率。
進一步地，所述操作指令為畫面切換指令，則步驟“判 斷操作配置資訊中是否存在與所捕捉的眼球活動相匹配的眼球活動資訊，若是則執行操作配置資訊中該眼球活動資訊對應的操作指令，否則不執行所述操作指令”包括：判斷捕捉到的使用者的眼球活動資訊與畫面切換指令對應的眼球活動資訊是否匹配，若是則對畫面進行切換，否則不對畫面進行切換。
進一步地，所述傳感單元包括TFT影像感測陣列薄膜，所述紅外感應層為紅外光敏二極體所形成的陣列。
進一步地，步驟“判斷操作配置資訊中是否存在與所捕捉的眼球活動資訊相匹配的眼球活動資訊”具體包括：根據捕捉到的使用者的眼球活動資訊計算其特徵值，並與配置資訊中預設的眼球活動資訊的特徵值進行對比；當誤差小於預設值時，判定為相匹配，否則判定為不匹配。
進一步地，所述方法還包括步驟：
當判定操作配置資訊中不存在與所捕捉的眼球活動資訊相匹配的眼球活動資訊時，出提示資訊。
進一步地，所述提示資訊包括聲音提示資訊、圖像提示資訊、光線提示資訊、視頻提示資訊中的一種或多種。
進一步地，所述顯示單元包括AMOLED顯示幕或LCD液晶顯示幕。
進一步地，當所述顯示單元為LCD液晶顯示幕時，所述傳感單元的下方還設置有背光單元，所述傳感單元設置於背光單 元和LCD液晶顯示幕之間。
進一步地，所述眼球活動識別區包括多個眼球活動識別子區域，每一眼球活動識別子區域的下方對應設置一傳感單元。
進一步地，所述裝置還包括傳感單元控制電路，所述方法還包括：接收使用者對眼球活動識別子區域的啟動指令，傳感單元控制電路開啟所述眼球活動識別子區域的下方的傳感單元，以及接收使用者對眼球活動識別子區域的關閉指令，傳感單元控制電路關閉所述眼球活動識別子區域的下方的傳感單元。
發明人還提供了一種眼球追蹤操作的裝置，所述裝置包括顯示單元和傳感單元；所述顯示單元上設置有眼球活動識別區，所述傳感單元位於所述眼球活動識別區的下方；所述傳感單元包括紅外感應層，所述紅外感應層用於在接收到光源觸發信號時，發出紅外光，以及用於在接收到偵測觸發信號時，處於紅外信號偵測狀態，並接收使用者眼球反射的紅外光信號以捕捉使用者的眼球活動資訊；所述裝置還包括操作資訊設置單元、判斷單元和處理單元；所述操作資訊設置單元用於預先設置操作配置資訊，所述操作配置資訊包括眼球活動資訊與操作指令的對應關係；所述傳感單元用於捕捉使用者在眼球活動識別區上的眼球活動資訊，所述判斷單元用於判斷操作配置資訊中是否存在與所捕捉的眼球活動資訊相匹配的眼球活動資訊，若是則處理單元 用於執行操作配置資訊中該眼球活動資訊對應的操作指令，否則處理單元不執行所述操作指令。
進一步地，所述裝置包括操作指令接收單元，所述“操作資訊設置單元用於預先設置操作配置資訊”包括：所述操作資訊設置單元用於接收使用者設置命令，所述顯示單元用於顯示眼球活動識別區；所述操作指令接收單元用於接收使用者選擇的眼球操作專案，所述傳感單元用於捕捉使用者在所述眼球識別區上的眼球活動資訊並保存；所述顯示單元用於顯示一操作指令識別欄位表，所述操作指令識別欄位表中包含著一個或多個操作指令對應的標識，每一操作指令標識對應一操作指令；所述操作指令接收單元還用於接收使用者對操作指令標識的選擇指令，建立所選中的操作指令標識對應的操作指令與所捕捉的使用者的眼球活動資訊的對應關係並保存。
進一步地，所述操作指令包括文字操作指令、圖像操作指令、視頻操作指令、應用操作指令中的一種或多種。
進一步地，光源觸發信號與偵測觸發信號交替切換，切換的頻率符合一預設頻率。
進一步地，所述操作指令為畫面切換指令，所述“判斷單元用於判斷操作配置資訊中是否存在與所捕捉的眼球活動相匹配的眼球活動資訊，若是則處理單元用於執行操作配置資訊中該 眼球活動資訊對應的操作指令，否則處理單元不執行所述操作指令”包括： 判斷單元用於判斷捕捉到的使用者的眼球活動資訊與畫面切換指令對應的眼球活動資訊是否匹配，若是則處理單元用於對畫面進行切換，否則處理單元不對畫面進行切換。
進一步地，所述傳感單元包括TFT影像感測陣列薄膜，所述紅外感應層為紅外光敏二極體所形成的陣列。
進一步地，“判斷單元用於判斷操作配置資訊中是否存在與所捕捉的眼球活動資訊相匹配的眼球活動資訊”具體包括：判斷單元用於根據捕捉到的使用者的眼球活動資訊計算其特徵值，並與配置資訊中預設的眼球活動資訊的特徵值進行對比；當誤差小於預設值時，判定為相匹配，否則判定為不匹配。
進一步地，所述處理單元還用於在判斷單元判定操作配置資訊中不存在與所捕捉的眼球活動資訊相匹配的眼球活動資訊時，發出提示資訊。
進一步地，所述提示資訊包括聲音提示資訊、圖像提示資訊、光線提示資訊、視頻提示資訊中的一種或多種。
進一步地，所述顯示單元包括AMOLED顯示幕或LCD液晶顯示幕。
進一步地，當所述顯示單元為LCD液晶顯示幕時，所述傳感單元的下方還設置有背光單元，所述傳感單元設置於背光單元和LCD液晶顯示幕之間。
進一步地，所述眼球活動識別區包括多個眼球活動識別子區域，每一眼球活動識別子區域的下方對應設置一傳感單元。
進一步地，所述裝置還包括傳感單元控制電路和操作指令接收單元，所述操作指令接收單元用於接收使用者對眼球活動識別子區域的啟動指令，所述傳感單元控制電路用於開啟所述眼球活動識別子區域的下方的傳感單元，以及所述操作指令接收單元用於接收使用者對眼球活動識別子區域的關閉指令，所述傳感單元控制電路用於關閉所述眼球活動識別子區域的下方的傳感單元。
採用以上技術方案後的有益效果為：通過在顯示單元的眼球識別區下方設置傳感單元，使用者眼球活動通過光學器件成像的投影位於所述眼球識別區上，傳感單元設置于眼球成像光軸位置或是近軸位置，相較于攝像頭獨立於顯示幕外設置在邊緣位置的結構，本發明的傳感單元既可以發出紅外光也可以偵測人眼反射回的紅外光信號，以便及時捕捉到使用者眼球活動資訊，進而與預設的眼球活動資訊進行比對，執行該眼球活動資訊對應的操作指令，使得使用者通過眼球活動就可快速對設備進行操控，有效提升用戶體驗。此外，將傳感單元設置於顯示單元的下方，相較於攝像頭獨立突出設置於顯示幕區域外的結構，可以有效縮小移動設備的整體厚度，使得穿戴式設備或是移動設備更加輕薄、更適用於柔性穿戴式設備或是移動設備、滿足市場的需求。
為讓本發明的上述特徵和優點能更明顯易懂，下文特舉 實施例，並配合所附圖式作詳細說明如下。
S101、S102、S103、S104、S105、S201、S202、S203‧‧‧步驟
101‧‧‧顯示單元
102‧‧‧傳感單元
103‧‧‧背光單元
104‧‧‧操作資訊設置單元
105‧‧‧操作指令接收單元
106‧‧‧處理單元
107‧‧‧存儲單元
108‧‧‧判斷單元
圖1為本發明一實施方式涉及的眼球追蹤操作的方法的流程圖。
圖2為本發明另一實施方式涉及的眼球追蹤操作的方法的流程圖。
圖3為本發明一實施方式涉及的眼球追蹤操作的裝置的示意圖。
圖4為本發明另一實施方式涉及的眼球追蹤操作的裝置的示意圖。
圖5為本發明一實施方式涉及的眼球追蹤操作的裝置應用場景的示意圖。
圖6為現有的傳感單元的示意圖。
圖7為本發明一實施方式涉及的傳感單元的示意圖。
為詳細說明本發明的技術內容、構造特徵、所實現目的及效果，以下結合實施方式並配合附圖詳予說明。
請參閱圖1，為本發明一實施方式涉及的眼球追蹤操作的方法的流程圖。所述方法應用於眼球追蹤操作的裝置，所述裝置 為具有顯示幕或觸摸顯示幕的電子設備，如是手機、平板電腦、個人數位助理等智慧移動設備，還可以是個人電腦、工業裝備用電腦等電子設備。當然所述裝置還可以與光學成像器件相結合，光學成像器件設置於所述顯示單元與使用者眼睛之間，如圖5所示，使用者眼球投影先在光學成像器件中成像，成像的投影位於顯示單元上眼球活動識別區範圍內，進而被眼球活動識別下方的傳感單元捕捉，通過光學成像器件與顯示單元之間的配合，可以達到類比VR/AR設備的效果。
所述裝置包括顯示單元和傳感單元；所述顯示單元上設置有眼球活動識別區，所述傳感單元位於所述眼球活動識別區的下方；所述傳感單元包括紅外感應層，所述紅外感應層用於在接收到光源觸發信號時，發出紅外光，以及用於在接收到偵測觸發信號時，處於紅外信號偵測狀態，並接收使用者眼球反射的紅外光信號以捕捉使用者的眼球活動資訊。在本實施方式中，所述顯示單元包括AMOLED顯示幕或LCD液晶顯示幕。所述方法包括以下步驟：
首先進入步驟S101預先設置操作配置資訊，所述操作配置資訊包括眼球活動資訊與操作指令的對應關係。在本實施方式中，所述操作指令包括文字操作指令、圖像操作指令、視頻操作指令、應用操作指令中的一種或多種。所述文字操作指令包括選中文字指令、刪除文字指令、複製文字指令等；所述圖像操作指令包括選中圖像指令、複製圖像指令、截取圖像指令、刪除圖像 指令、切換圖像畫面等；所述視頻操作指令包括對視頻進行截取、暫停、保存、刪除、快進、快退、縮放畫面、音量調整等；所述應用操作指令包括對軟體應用程式(如手機APP)進行啟動、刪除、選中、移動等。所述眼球活動資訊可以是眼球任意方向上進行運動的資訊，包括使用者雙眼或單眼眼球從上向下或從下向上的直線運動、從左向右或從右向左的直線運動；眼球順時針或逆時針轉一圈或數圈的運動；上述眼球直線運動與直線運動的組合、轉圈運動的組合、直線運動與轉圈運動的組合，或者任何其他設備可以辨別的眼球運動。
操作配置資訊中的眼球活動資訊即為使用者事先錄入存儲的眼球活動資訊，每一眼球活動資訊對應一操作指令，每一個操作指令可以與多個眼球活動資訊相對應。操作配置資訊可以存儲於裝置的存儲單元，如手機的記憶體、電腦的硬碟中，也可以存儲於伺服器的存儲單元中，當需要獲取操作配置資訊時，只需讓裝置與伺服器建立通訊連接，而後再從伺服器獲取到事先存儲的操作配置資訊，所述通訊連接包括有線通訊連接或無線通訊連接。
而後進入步驟S102捕捉使用者在眼球活動識別區上的眼球活動資訊。在本實施方式中，傳感單元的覆蓋的範圍與顯示單元的大小相適配，優選的，傳感單元的形狀為矩形，矩形的大小位於顯示單元的中心，保證不偏移眼球活動成像的光軸。這樣可以保證只要使用者眼睛對準顯示單元，無論使用者眼球如何活 動，傳感單元都能及時採集到使用者的眼球活動資訊。
而後進入步驟S103判斷操作配置資訊中是否存在與所捕捉的眼球活動資訊相匹配的眼球活動資訊，若是則進入步驟S104執行操作配置資訊中該眼球活動資訊對應的操作指令，否則進入步驟S105不執行所述操作指令。眼球活動資訊的比對可以通過眼球特徵識別演算法來實現，眼球特徵識別演算法可以實現存儲於裝置的存儲單元中，當傳感單元獲取到眼球活動識別區上的眼球活動資訊後，裝置的處理器將調用存儲單元中的眼球特徵識別演算法，將所獲取的眼球活動資訊與預設的操作配置資訊中的眼球活動資訊進行比對，判斷兩者是否匹配。眼球特徵演算法包括對眼球特徵資訊進行預處理、資料特徵提取、特徵匹配、眼球運動軌跡識別等步驟，可以用多種演算法來實現，這些演算法都是成熟的現有技術，現已被應用於各個領域中，此處不再展開贅述。
請參閱圖2，為本發明另一實施方式涉及的眼球追蹤操作的方法的流程圖。
所述步驟“預先設置操作配置資訊”包括：首先進入步驟S201接收使用者設置命令，顯示眼球活動識別區。設置指令可以通過使用者點擊螢幕上設置欄中的某一按鈕觸發，裝置接收到設置指令後，將對眼球活動識別區進行顯示，便於使用者輸入眼球活動資訊。在本實施方式中，顯示眼球活動識別區可以包括：提高眼球活動識別區的亮度或在眼球活動識別區上顯示一提示輸入框。在某些實施例中，在接收使用者設置指 令之前，還包括接收使用者的帳號資訊，所述帳號資訊包括使用者ID及密碼。使用者需要以語音控制、眼球控制、或是按鍵密碼控制等方式輸入正確的使用者ID及密碼，登錄使用者帳號後，才可觸發所述設置指令，這樣一方面可以提高操作配置資訊設置的安全性，另一方面也可以達到在一個裝置上區分不同使用者、保存不同的眼球活動資訊以及與之相對應的操作指令的效果。
而後進入步驟S202接收使用者選擇的眼球操作項目，以及捕捉用戶在所述眼球識別區上的眼球活動資訊並保存。眼球操作專案可以是系統預設的眼球操作專案，也可以通過用戶自訂決定。眼球操作專案可以以文字、圖片或視頻的方式展現給使用者，讓用戶點擊選擇。例如可以顯示“兩個眼球同時向左運動”、“兩個眼球同時向右運動”、“兩個眼球同時向上運動”、“兩個眼球順時針轉動一圈”等等文字供使用者選擇，也可以將眼球操作專案繪製成圖片或製作成教程的視頻展現給使用者，以便用戶可以準確地選擇眼球操作項目。當眼球操作項目確認後，就可以對使用者當前的眼球活動資訊進行採集，所採集到的眼球活動資訊即為預設眼球活動資訊，可以將其存儲於存儲單元中。本實施方式中，所述步驟“捕捉使用者在所述眼球識別區上的眼球活動資訊並保存”包括：判斷使用者設置過程中的眼球活動資訊是否已存儲於存儲單元，當判定為是時提示使用者該眼球活動資訊已錄入；當判定為否時將該眼球活動資訊保存至存儲單元。這樣可以有效避免眼球活動資訊的重複錄入。
而後進入步驟S203顯示一操作指令識別欄位表，接收使用者對操作指令標識的選擇指令，建立所選中的操作指令標識對應的操作指令與所捕捉的使用者的眼球活動資訊的對應關係並保存。所述操作指令識別欄位表中包含著一個或多個操作指令對應的標識，每一操作指令標識對應一操作指令，操作指令標識可以以文字或圖片的形式予以顯示。選擇指令可以通過使用者點擊勾選、按兩下等方式觸發。
為了給使用者呈現更好的視頻畫面場景，所述裝置可以與VR頭盔相結合，提供相對封閉黑暗的操作空間，給用戶身臨其境之感，由於在黑暗條件下，可見光沒有進入人眼，也就無法捕捉到使用者反射回來的光信號。在這種情況下，本發明的傳感單元的紅外感應層在接收到光源觸發信號時，將發出紅外光，以便在相對封閉黑暗的條件下也可以偵測到用戶眼球活動。同時，紅外感應層還在接收到偵測觸發信號時，處於紅外信號偵測狀態，並接收使用者眼球反射的紅外光信號以捕捉使用者的眼球活動資訊。
如圖6所示，在本實施方式中，所述傳感單元包括TFT影像感測陣列薄膜。現有的液晶顯示(LCD)面板或有機發光二極體(OLED)顯示面板，皆是以TFT結構驅動掃描單一圖元，以實現面板上圖元陣列的顯示功能。形成TFT開關功能的主要結構為金屬氧化物半導體場效電晶體(MOSFET)，其中熟知的半導體層材料主要有非晶矽、多晶矽、氧化銦鎵鋅(IGZO)、或是混有碳納米材 料之有機化合物等等。由於光感測二極體的結構亦可採用此類半導體材料製備，且生產設備也相容於TFT陣列的生產設備，因此近年來TFT光偵測二極體開始以TFT陣列製備方式進行生產。本實施方式所述的TFT影像感測陣列薄膜即為上述提到的TFT光偵測二極體(如圖6中的光感測二極體區域部分)，具體結構可以參考美國專利US6943070B2、中華人民共和國專利CN204808361U中對傳感單元結構的描述。TFT影像感測陣列薄膜的生產工藝與顯示面板TFT結構不同的是：原本在顯示面板的圖元開口區域，在生產工藝上改為光感測區域。其TFT製備方式可以採用薄型玻璃為基材，亦可採用耐高溫塑性材料為基材，如美國專利US6943070B2所述。
圖6所示的傳感單元易受周圍環境光或者顯示幕圖元所發出的可見光的反射、折射等因素影響，造成光學干擾，嚴重影響內嵌於顯示面板下方的TFT影像感測陣列薄膜的信號雜訊比(SNR)，為了提高信號雜訊比，本發明的傳感單元在圖6所示的傳感單元的基礎上做了進一步改進，使得TFT影像感測陣列薄膜可以偵測識別用戶眼球反射回的紅外信號，所述傳感單元包括紅外感應層，所述紅外感應層用於接收用戶眼球反射的紅外光信號以捕捉使用者的眼球活動資訊。
如圖7所示，在某些實施例中，所述紅外感應層為紅外光敏二級管所形成的陣列。為了將TFT影像感測陣列薄膜能夠識別的光信號波長從可見光範圍擴展至紅外光範圍，對圖6的TFT 影像感測陣列薄膜進行改進，具體是採用紅外光敏二級管替換圖6中TFT影像感測陣列薄膜的光二極體層，紅外光敏二極體包括微晶矽光電二極體或非晶矽光電二極體。
實施例一：將非結晶矽p型/i型/n型光電二極體結構(圖6中的光二極體層)改由微晶矽p型/i型/n型光電二極體結構。在此實施例中，光電二極體的微結晶程度主要是在化學氣象沉積過程中，以適當氫氣濃度混入氣體矽烷(SiH4)去控制氫原子鍵結非晶矽之懸空鍵(dangling bond)，以實現微晶矽p型/i型/n型光電二極體結構之鍍膜。藉由調整化學氣象沉積的氫氣濃度，微晶光電二極體的操作波長範圍可以擴展到光波長600nm到1000nm的範圍。
在採用微晶光電二極體之實施例中，為了進一步地提高光電轉換之量子效率，微晶矽光電二極體也可採用雙結以上p型/i型/n型結構串接形成。該光電二極體第一結層p型/i型/n型材料仍然為非結晶結構，第二結層以上p型/i型/n型材料可以為微晶結構、多晶結構。
實施例二：將非結晶矽p型/i型/n型光電二極體結構(圖6中的光二極體層)改為摻有可擴展光敏波長範圍之非結晶矽化合物之p型/i型/n型光電二極體結構，優選之化合物實施例為非晶矽化鍺。在此實施例中，光電二極體的本質層(i型)在以化學氣象沉積鍍膜過程中，通以氣體鍺烷(GeH4)混入矽烷(SiH4)，以實現非結晶矽化鍺p型/i型/n型光電二極體之光敏範圍達到光波長 600nm到1000nm的範圍。
在採用非結晶矽化合物光電二極體之實施例中，為了提高光電轉換之量子效率，非晶矽光電二極體也可採用雙結以上p型/i型/n型結構串接形成。該光電二極體第一結層p型/i型/n型材料仍然為非晶矽結構，第二結層以上p型/i型/n型材料可以為微晶結構、多晶結構或是摻有可擴展光敏波長範圍之化合物材料。
當紅外感應層為紅外光敏二級管所形成的陣列時，在實際應用過程中，可藉由TFT作掃描驅動外加一偏壓(包括正向偏壓，或零偏壓或負偏壓)在p型/i型/n型光電二極體之間，實現TFT影像感測陣列薄膜發出紅外光功能。
在某些實施例中，第一觸發信號可以通過在p型/i型/n型紅外光敏二極體之間施加正向偏壓觸發，第二觸發信號可以通過在p型/i型/n型紅外光敏二極體之間施加零偏壓或負偏壓觸發。例如紅外光敏二極體所形成的陣列假設有10列(假設編號為1-10)，那麼可以對編號為奇數的圖元點陣列施加正向偏壓，以使得奇數列圖元點陣列可發出紅外光信號，並對編號為偶數的圖元點陣施加零偏壓或負偏壓，以使得偶數列圖元點陣列處於偵測紅外光狀態，以捕捉使用者眼球反射回的紅外光並轉換為紅外圖像加以輸出。當然，在另一些實施例中，第一觸發信號可以通過在p型/i型/n型紅外光敏二極體之間施加零偏壓或負偏壓觸發，第二觸發信號可以通過在p型/i型/n型紅外光敏二極體之間施加正向偏壓觸發。
在某些實施例中，還可以交替在p型/i型/n型紅外光敏二極體之間施加正向偏壓，或零偏壓或負偏壓，以觸發所述第一觸發信號或第二觸發信號。同樣以紅外光敏二極體所形成的陣列有10列圖元點陣為例，在第一週期內對p型/i型/n型紅外光敏二極體施加正向偏壓，使得10列圖元點陣均處於發出紅外光狀態；在第二週期內對p型/i型/n型紅外光敏二極體施加零偏壓或負偏壓，使得10列圖元點陣均處於紅外光偵測狀態，用於捕捉使用者眼球反射回的紅外光資訊，並生成相應的紅外圖像輸出；在第三週期內又對p型/i型/n型紅外光敏二極體施加正向偏壓，使得10列圖元點陣均處於發出紅外光狀態，反復交替，以此類推。進一步地，光源觸發信號(第一觸發信號)與偵測觸發信號(第二觸發信號)交替切換，切換的頻率符合一預設頻率。相鄰的週期之間的時間間隔可以根據實際需要而設置，優選時間間隔可以設置為TFT陣列驅動掃描每一幀(Frame)紅外光敏二極體陣列至少能接收到一幀完整的影像信號所需的時間，即預設頻率為每經過上述時間間隔進行一次切換。
在某些實施例中，所述操作指令為畫面切換指令，則步驟“判斷操作配置資訊中是否存在與所捕捉的眼球活動相匹配的眼球活動資訊，若是則執行操作配置資訊中該眼球活動資訊對應的操作指令，否則不執行所述操作指令”包括：判斷捕捉到的使用者的眼球活動資訊與畫面切換指令對應的眼球活動資訊是否匹配，若是則對畫面進行切換，否則不對 畫面進行切換。由於視頻流資料是有一幀幀圖像畫面構成的，因而本實施例的方法同樣也適用於對視頻流資料的判斷。
在某些實施例中，眼球追蹤操作的方法，其特徵在於，步驟“判斷操作配置資訊中是否存在與所捕捉的眼球活動資訊相匹配的眼球活動資訊”具體包括：根據捕捉到的使用者的眼球活動資訊計算其特徵值，並與配置資訊中預設的眼球活動資訊的特徵值進行對比；當誤差小於預設值時，判定為相匹配，否則判定為不匹配。
在某些實施例中，所述方法還包括步驟：當判定操作配置資訊中不存在與所捕捉的眼球活動資訊相匹配的眼球活動資訊時，發出提示資訊。所述提示資訊包括聲音提示資訊、圖像提示資訊、光線提示資訊、視頻提示資訊中的一種或多種。所述聲音提示資訊包括提示使用者再次操作眼球活動專案的語音提示資訊，所述圖像提示資訊包括提示使用者再次操作眼球活動專案的彈窗提示資訊，所述視頻提示資訊包括提示使用者再次操作眼球活動專案的動畫提示資訊，光線提示資訊包括改變螢幕亮度或者讓顯示幕發出不同顏色的光線等。
如圖4所示，在某些實施例中，當所述顯示單元為LCD液晶顯示幕時，所述傳感單元的下方還設置有背光單元，所述傳感單元設置於背光單元和LCD液晶顯示幕之間。由於LCD液晶顯示幕不屬於自發光元件，因而在安裝時需要在傳感單元的下方增加背光單元。背光單元可以為LCD背光模組，也可以為其他具 有自發光功能的電子元件。在另一些實施例中，當所述顯示單元為AMOLED顯示幕時，由於OLED顯示幕屬於自發光元件，因而無需設置背光單元。通過上述兩種方案的設置，可以有效滿足不同廠家的生產需求，提高裝置的適用範圍。
在本實施方式中，所述眼球活動識別區包括多個眼球活動識別子區域，每一眼球活動識別子區域的下方對應設置一傳感單元。所述裝置還包括傳感單元控制電路，所述方法還包括：接收使用者對眼球活動識別子區域的啟動指令，傳感單元控制電路開啟所述眼球活動識別子區域的下方的傳感單元，以及接收使用者對眼球活動識別子區域的關閉指令，傳感單元控制電路關閉所述眼球活動識別子區域的下方的傳感單元。
以眼球活動識別子區域的數量為兩個為例，兩個眼球活動識別子區域可以一上一下或一左一右均勻分佈於螢幕中，也可以以其他排列方式分佈於螢幕中。
下面對具有兩個眼球活動識別子區域的裝置的應用過程做具體說明：在使用過程中，使用者通過啟動指令，開啟將兩個眼球活動識別子區域都設置成開啟狀態，優選的實施例中，兩個眼球活動識別子區域構成的範圍覆蓋了整個顯示幕，這樣可以保證當兩個眼球活動識別子區域都設置成開啟狀態時，使用者眼球的成像投影始終位於傳感單元範圍內，有效提高對使用者眼球特徵的捕捉，提升使用者體驗。在其他實施例中，兩個眼球活動識別子區域構成的範圍也可以占整個顯示幕面積的2/3、3/4等，只 需滿足眼球活動識別子區域的中心不偏離眼球成像的光軸即可。當然，使用者也可以根據自身喜好，設置某一個眼球識別子區域開啟，另一個眼球識別子區域關閉。在不需要對裝置進行操作時，還可以將兩個識別子區域均設置為關閉狀態。
在其他實施例中，眼球活動識別子區域的數量還可以為其他數值，可以根據實際需要進行設置。各個眼球活動識別子區域下方的傳感單元處於開啟或關閉，可以根據使用者自身喜好進行設置。
請參閱圖3，為本發明一實施方式涉及的眼球追蹤操作的裝置的示意圖。所述裝置為具有觸摸顯示幕的電子設備，如是手機、平板電腦、個人數位助理等智慧移動設備，還可以是個人電腦、工業裝備用電腦等電子設備。當然所述裝置還可以與光學成像器件相結合，光學成像器件設置於所述顯示單元與使用者眼睛之間，如圖5所示，使用者眼球投影先在光學成像器件中成像，成像的投影位於顯示單元上眼球活動識別區範圍內，進而被眼球活動識別下方的傳感單元捕捉，通過光學成像器件與顯示單元之間的配合，可以達到類比VR設備的效果。
所述裝置包括顯示單元101和傳感單元102；所述顯示單元101上設置有眼球活動識別區，所述傳感單元102位於所述眼球活動識別區的下方；所述傳感單元102包括紅外感應層，所述紅外感應層用於在接收到光源觸發信號時，發出紅外光，以及用於在接收到偵測觸發信號時，處於紅外信號偵測狀態，並接收使 用者眼球反射的紅外光信號以捕捉使用者的眼球活動資訊。在本實施方式中，所述顯示單元包括AMOLED顯示幕或LCD液晶顯示幕。所述裝置還包括操作資訊設置單元104、判斷單元108和處理單元106；所述操作資訊設置單元104用於預先設置操作配置資訊，所述操作配置資訊包括眼球活動資訊與操作指令的對應關係。在本實施方式中，所述操作指令包括文字操作指令、圖像操作指令、視頻操作指令、應用操作指令中的一種或多種。所述文字操作指令包括選中文字指令、刪除文字指令、複製文字指令等；所述圖像操作指令包括選中圖像指令、複製圖像指令、截取圖像指令、刪除圖像指令、切換圖像畫面等；所述視頻操作指令包括對視頻進行截取、暫停、保存、刪除、快進、快退、縮放畫面、音量調整等；所述應用操作指令包括對軟體應用程式(如手機APP)進行啟動、刪除、選中、移動等。所述眼球活動資訊可以是眼球任意方向上進行運動的資訊，包括使用者雙眼或單眼眼球從上向下或從下向上的直線運動、從左向右或從右向左的直線運動；眼球順時針或逆時針轉一圈或數圈的運動；上述眼球直線運動與直線運動的組合、轉圈運動的組合、直線運動與轉圈運動的組合，或者任何其他設備可以辨別的眼球運動。
操作配置資訊中的眼球活動資訊即為使用者事先錄入存儲的眼球活動資訊，每一眼球活動資訊對應一操作指令，每一個操作指令可以與多個眼球活動資訊相對應。操作配置資訊可以存 儲於裝置的存儲單元，如手機的記憶體、電腦的硬碟中，也可以存儲於伺服器的存儲單元中，當需要獲取操作配置資訊時，只需讓裝置與伺服器建立通訊連接，而後再從伺服器獲取到事先存儲的操作配置資訊，所述通訊連接包括有線通訊連接或無線通訊連接。
所述傳感單元102用於捕捉使用者在眼球活動識別區上的眼球活動資訊。在本實施方式中，傳感單元的覆蓋的範圍與顯示單元的大小相適配，優選的，傳感單元的形狀為矩形，矩形的大小位於顯示單元的中心，保證不偏移眼球活動成像的光軸。這樣可以保證只要使用者眼睛對準顯示單元，無論使用者眼球如何活動，傳感單元都能及時採集到使用者的眼球活動資訊。
所述判斷單元108用於判斷操作配置資訊中是否存在與所捕捉的眼球活動資訊相匹配的眼球活動資訊，若是則處理單元106用於執行操作配置資訊中該眼球活動資訊對應的操作指令，否則處理單元106不執行所述操作指令。眼球活動資訊的比對可以通過眼球特徵識別演算法來實現，眼球特徵識別演算法可以實現存儲於裝置的存儲單元中，當傳感單元獲取到眼球活動識別區上的眼球活動資訊後，裝置的處理器將調用存儲單元中的眼球特徵識別演算法，將所獲取的眼球活動資訊與預設的操作配置資訊中的眼球活動資訊進行比對，判斷兩者是否匹配。眼球特徵演算法包括對眼球特徵資訊進行預處理、資料特徵提取、特徵匹配、眼球運動軌跡識別等步驟，可以用多種演算法來實現，這些演算法 都是成熟的現有技術，現已被應用於各個領域中，此處不再展開贅述。
在某些實施例中，所述裝置包括操作指令接收單元105，所述“操作資訊設置單元用於預先設置操作配置資訊”包括：所述操作資訊設置單元用於接收使用者設置命令，所述顯示單元用於顯示眼球活動識別區。設置指令可以通過使用者點擊螢幕上設置欄中的某一按鈕觸發，裝置接收到設置指令後，將對眼球活動識別區進行顯示，便於使用者輸入眼球活動資訊。在本實施方式中，顯示眼球活動識別區可以包括：提高眼球活動識別區的亮度或在眼球活動識別區上顯示一提示輸入框。在某些實施例中，在接收使用者設置指令之前，還包括接收使用者的帳號資訊，所述帳號資訊包括使用者ID及密碼。使用者需要以語音控制、眼球控制、或是按鍵密碼控制等方式輸入正確的使用者ID及密碼，登錄使用者帳號後，才可觸發所述設置指令，這樣一方面可以提高操作配置資訊設置的安全性，另一方面也可以達到在一個裝置上區分不同使用者、保存不同的眼球活動資訊以及與之相對應的操作指令的效果。
所述操作指令接收單元用於接收使用者選擇的眼球操作專案，所述傳感單元用於捕捉使用者在所述眼球識別區上的眼球活動資訊並保存。眼球操作專案可以是系統預設的眼球操作專案，也可以通過用戶自訂決定。眼球操作專案可以以文字、圖片或視頻的方式展現給使用者，讓用戶點擊選擇。例如可以顯示“兩 個眼球同時向左運動”、“兩個眼球同時向右運動”、“兩個眼球同時向上運動”、“兩個眼球順時針轉動一圈”等等文字供使用者選擇，也可以將眼球操作專案繪製成圖片或製作成教程的視頻展現給使用者，以便用戶可以準確地選擇眼球操作項目。當眼球操作項目確認後，就可以對使用者當前的眼球活動資訊進行採集，所採集到的眼球活動資訊即為預設眼球活動資訊，可以將其存儲於存儲單元中。本實施方式中，所述步驟“捕捉使用者在所述眼球識別區上的眼球活動資訊並保存”包括：判斷使用者設置過程中的眼球活動資訊是否已存儲於存儲單元，當判定為是時提示使用者該眼球活動資訊已錄入；當判定為否時將該眼球活動資訊保存至存儲單元。這樣可以有效避免眼球活動資訊的重複錄入。
所述顯示單元用於顯示一操作指令識別欄位表，所述操作指令接收單元還用於接收使用者對操作指令標識的選擇指令，建立所選中的操作指令標識對應的操作指令與所捕捉的使用者的眼球活動資訊的對應關係並保存。所述操作指令識別欄位表中包含著一個或多個操作指令對應的標識，每一操作指令標識對應一操作指令。操作指令標識可以以文字或圖片的形式予以顯示。選擇指令可以通過使用者點擊勾選、按兩下等方式觸發。
為了給使用者呈現更好的視頻畫面場景，所述裝置可以與VR頭盔相結合，提供相對封閉黑暗的操作空間，給用戶身臨其境之感，由於在黑暗條件下，可見光沒有進入人眼，也就無法捕捉到使用者反射回來的光信號。在這種情況下，本發明的傳感單 元的紅外感應層在接收到光源觸發信號時，將發出紅外光，以便在相對封閉黑暗的條件下也可以偵測到用戶眼球活動。同時，紅外感應層還在接收到偵測觸發信號時，處於紅外信號偵測狀態，並接收使用者眼球反射的紅外光信號以捕捉使用者的眼球活動資訊。
如圖6所示，在本實施方式中，所述傳感單元包括TFT影像感測陣列薄膜。現有的液晶顯示(LCD)面板或有機發光二極體(OLED)顯示面板，皆是以TFT結構驅動掃描單一圖元，以實現面板上圖元陣列的顯示功能。形成TFT開關功能的主要結構為金屬氧化物半導體場效電晶體(MOSFET)，其中熟知的半導體層材料主要有非晶矽、多晶矽、氧化銦鎵鋅(IGZO)、或是混有碳納米材料之有機化合物等等。由於光感測二極體的結構亦可採用此類半導體材料製備，且生產設備也相容於TFT陣列的生產設備，因此近年來TFT光偵測二極體開始以TFT陣列製備方式進行生產。本實施方式所述的TFT影像感測陣列薄膜即為上述提到的TFT光偵測二極體(如圖6中的光感測二極體區域部分)，具體結構可以參考美國專利US6943070B2、中華人民共和國專利CN204808361U中對傳感單元結構的描述。TFT影像感測陣列薄膜的生產工藝與顯示面板TFT結構不同的是：原本在顯示面板的圖元開口區域，在生產工藝上改為光感測區域。其TFT製備方式可以採用薄型玻璃為基材，亦可採用耐高溫塑性材料為基材，如美國專利US6943070B2所述。
圖6所示的傳感單元易受周圍環境光或者顯示幕圖元所發出的可見光的反射、折射等因素影響，造成光學干擾，嚴重影響內嵌於顯示面板下方的TFT影像感測陣列薄膜的信號雜訊比(SNR)，為了提高信號雜訊比，本發明的傳感單元在圖6所示的傳感單元的基礎上做了進一步改進，使得TFT影像感測陣列薄膜可以偵測識別用戶眼球反射回的紅外信號，所述傳感單元包括紅外感應層，所述紅外感應層用於接收用戶眼球反射的紅外光信號以捕捉使用者的眼球活動資訊。
如圖7所示，在某些實施例中，所述紅外感應層為紅外光敏二級管所形成的陣列。為了將TFT影像感測陣列薄膜能夠識別的光信號波長從可見光範圍擴展至紅外光範圍，對圖6的TFT影像感測陣列薄膜進行改進，具體是採用紅外光敏二級管替換圖6中TFT影像感測陣列薄膜的光二極體層，紅外光敏二極體包括微晶矽光電二極體或非晶矽光電二極體。
實施例一：將非結晶矽p型/i型/n型光電二極體結構(圖6中的光二極體層)改由微晶矽p型/i型/n型光電二極體結構。在此實施例中，光電二極體的微結晶程度主要是在化學氣象沉積過程中，以適當氫氣濃度混入氣體矽烷(SiH4)去控制氫原子鍵結非晶矽之懸空鍵(dangling bond)，以實現微晶矽p型/i型/n型光電二極體結構之鍍膜。藉由調整化學氣象沉積的氫氣濃度，微晶光電二極體的操作波長範圍可以擴展到光波長600nm到1000nm的範圍。
在採用微晶光電二極體之實施例中，為了進一步地提高光電轉換之量子效率，微晶矽光電二極體也可採用雙結以上p型/i型/n型結構串接形成。該光電二極體第一結層p型/i型/n型材料仍然為非結晶結構，第二結層以上p型/i型/n型材料可以為微晶結構、多晶結構。
實施例二：將非結晶矽p型/i型/n型光電二極體結構(圖6中的光二極體層)改為摻有可擴展光敏波長範圍之非結晶矽化合物之p型/i型/n型光電二極體結構，優選之化合物實施例為非晶矽化鍺。在此實施例中，光電二極體的本質層(i型)在以化學氣象沉積鍍膜過程中，通以氣體鍺烷(GeH4)混入矽烷(SiH4)，以實現非結晶矽化鍺p型/i型/n型光電二極體之光敏範圍達到光波長600nm到1000nm的範圍。
在採用非結晶矽化合物光電二極體之實施例中，為了提高光電轉換之量子效率，非晶矽光電二極體也可採用雙結以上p型/i型/n型結構串接形成。該光電二極體第一結層p型/i型/n型材料仍然為非晶矽結構，第二結層以上p型/i型/n型材料可以為微晶結構、多晶結構或是摻有可擴展光敏波長範圍之化合物材料。
當紅外感應層為紅外光敏二級管所形成的陣列時，在實際應用過程中，可藉由TFT作掃描驅動外加一偏壓(包括正向偏壓，或零偏壓或負偏壓)在p型/i型/n型光電二極體之間，實現TFT影像感測陣列薄膜發出紅外光功能。
在某些實施例中，第一觸發信號可以通過在p型/i型/n 型紅外光敏二極體之間施加正向偏壓觸發，第二觸發信號可以通過在p型/i型/n型紅外光敏二極體之間施加零偏壓或負偏壓觸發。例如紅外光敏二極體所形成的陣列假設有10列(假設編號為1-10)，那麼可以對編號為奇數的圖元點陣列施加正向偏壓，以使得奇數列圖元點陣列可發出紅外光信號，並對編號為偶數的圖元點陣施加零偏壓或負偏壓，以使得偶數列圖元點陣列處於偵測紅外光狀態，以捕捉使用者眼球反射回的紅外光並轉換為紅外圖像加以輸出。當然，在另一些實施例中，第一觸發信號可以通過在p型/i型/n型紅外光敏二極體之間施加零偏壓或負偏壓觸發，第二觸發信號可以通過在p型/i型/n型紅外光敏二極體之間施加正向偏壓觸發。
在某些實施例中，還可以交替在p型/i型/n型紅外光敏二極體之間施加正向偏壓，或零偏壓或負偏壓，以觸發所述第一觸發信號或第二觸發信號。同樣以紅外光敏二極體所形成的陣列有10列圖元點陣為例，在第一週期內對p型/i型/n型紅外光敏二極體施加正向偏壓，使得10列圖元點陣均處於發出紅外光狀態；在第二週期內對p型/i型/n型紅外光敏二極體施加零偏壓或負偏壓，使得10列圖元點陣均處於紅外光偵測狀態，用於捕捉使用者眼球反射回的紅外光資訊，並生成相應的紅外圖像輸出；在第三週期內又對p型/i型/n型紅外光敏二極體施加正向偏壓，使得10列圖元點陣均處於發出紅外光狀態，反復交替，以此類推。進一步地，光源觸發信號(第一觸發信號)與偵測觸發信號(第二觸 發信號)交替切換，切換的頻率符合一預設頻率。相鄰的週期之間的時間間隔可以根據實際需要而設置，優選時間間隔可以設置為TFT陣列驅動掃描每一幀(Frame)紅外光敏二極體陣列至少能接收到一幀完整的影像信號所需的時間，即預設頻率為每經過上述時間間隔進行一次切換。
在某些實施例中，所述操作指令為畫面切換指令，所述“判斷單元用於判斷操作配置資訊中是否存在與所捕捉的眼球活動相匹配的眼球活動資訊，若是則處理單元用於執行操作配置資訊中該眼球活動資訊對應的操作指令，否則處理單元不執行所述操作指令”包括：判斷單元用於判斷捕捉到的使用者的眼球活動資訊與畫面切換指令對應的眼球活動資訊是否匹配，若是則處理單元用於對畫面進行切換，否則處理單元不對畫面進行切換。
在某些實施例中，“判斷單元用於判斷操作配置資訊中是否存在與所捕捉的眼球活動資訊相匹配的眼球活動資訊”具體包括：判斷單元用於根據捕捉到的使用者的眼球活動資訊計算其特徵值，並與配置資訊中預設的眼球活動資訊的特徵值進行對比；當誤差小於預設值時，判定為相匹配，否則判定為不匹配。
在某些實施例中，所述方法還包括步驟：當判定操作配置資訊中不存在與所捕捉的眼球活動資訊相匹配的眼球活動資訊時，發出提示資訊。所述提示資訊包括聲音提示資訊、圖像提示資訊、光線提示資訊、視頻提示資訊中的一種或多種。所述聲音提示資訊包括提示使用者再次操作眼球活動專案的語音提示資 訊，所述圖像提示資訊包括提示使用者再次操作眼球活動專案的彈窗提示資訊，所述視頻提示資訊包括提示使用者再次操作眼球活動專案的動畫提示資訊，光線提示資訊包括改變螢幕亮度或者讓顯示幕發出不同顏色的光線等。
在某些實施例中，當所述顯示單元為LCD液晶顯示幕時，所述傳感單元的下方還設置有背光單元，所述傳感單元設置於背光單元和LCD液晶顯示幕之間。由於LCD液晶顯示幕不屬於自發光元件，因而在安裝時需要在傳感單元的下方增加背光單元。背光單元可以為LCD背光模組，也可以為其他具有自發光功能的電子元件。在另一些實施例中，當所述顯示單元為AMOLED顯示幕時，由於OLED顯示幕屬於自發光元件，因而無需設置背光單元。通過上述兩種方案的設置，可以有效滿足不同廠家的生產需求，提高裝置的適用範圍。
在某些實施例中，所述眼球活動識別區包括多個眼球活動識別子區域，每一眼球活動識別子區域的下方對應設置一傳感單元。所述裝置還包括傳感單元控制電路，所述方法還包括：接收使用者對眼球活動識別子區域的啟動指令，傳感單元控制電路開啟所述眼球活動識別子區域的下方的傳感單元，以及接收使用者對眼球活動識別子區域的關閉指令，傳感單元控制電路關閉所述眼球活動識別子區域的下方的傳感單元。
以眼球活動識別子區域的數量為兩個為例，兩個眼球活動識別子區域可以一上一下或一左一右均勻分佈於螢幕中，也可 以以其他排列方式分佈於螢幕中。
下面對具有兩個眼球活動識別子區域的裝置的應用過程做具體說明：在使用過程中，使用者通過啟動指令，開啟將兩個眼球活動識別子區域都設置成開啟狀態，優選的實施例中，兩個眼球活動識別子區域構成的範圍覆蓋了整個顯示幕，這樣可以保證當兩個眼球活動識別子區域都設置成開啟狀態時，使用者眼球的成像投影始終位於傳感單元範圍內，有效提高對使用者眼球特徵的捕捉，提升使用者體驗。在其他實施例中，兩個眼球活動識別子區域構成的範圍也可以占整個顯示幕面積的2/3、3/4等，只需滿足眼球活動識別子區域的中心不偏離眼球成像的光軸即可。當然，使用者也可以根據自身喜好，設置某一個眼球識別子區域開啟，另一個眼球識別子區域關閉。在不需要對裝置進行操作時，還可以將兩個識別子區域均設置為關閉狀態。
在其他實施例中，眼球活動識別子區域的數量還可以為其他數值，可以根據實際需要進行設置。各個眼球活動識別子區域下方的傳感單元處於開啟或關閉，可以根據使用者自身喜好進行設置。
本發明具有以下優點：通過在顯示單元的眼球識別區下方設置傳感單元，使用者眼球活動通過光學器件成像的投影位於所述眼球識別區上，傳感單元設置于眼球成像光軸位置或是近軸位置，相較于攝像頭獨立於顯示幕外設置在邊緣位置的結構，本發明的傳感單元既可以發出紅外光也可以偵測人眼反射回的紅外 光信號，以便及時捕捉到使用者眼球活動資訊，進而與預設的眼球活動資訊進行比對，執行該眼球活動資訊對應的操作指令，使得使用者通過眼球活動就可快速對設備進行操控，有效提升用戶體驗。此外，將傳感單元設置於顯示單元的下方，相較於攝像頭獨立突出設置於顯示幕區域外的結構，可以有效縮小移動設備的整體厚度，使得穿戴式設備或是移動設備更加輕薄、更適用於柔性穿戴式設備或是移動設備、滿足市場的需求。
需要說明的是，在本文中，諸如第一和第二等之類的關係術語僅僅用來將一個實體或者操作與另一個實體或操作區分開來，而不一定要求或者暗示這些實體或操作之間存在任何這種實際的關係或者順序。而且，術語“包括”、“包含”或者其任何其他變體意在涵蓋非排他性的包含，從而使得包括一系列要素的過程、方法、物品或者終端設備不僅包括那些要素，而且還包括沒有明確列出的其他要素，或者是還包括為這種過程、方法、物品或者終端設備所固有的要素。在沒有更多限制的情況下，由語句“包括……”或“包含……”限定的要素，並不排除在包括所述要素的過程、方法、物品或者終端設備中還存在另外的要素。此外，在本文中，“大於”、“小於”、“超過”等理解為不包括本數；“以上”、“以下”、“以內”等理解為包括本數。
本領域內的技術人員應明白，上述各實施例可提供為方法、裝置、或電腦程式產品。這些實施例可採用完全硬體實施例、完全軟體實施例、或結合軟體和硬體方面的實施例的形式。上述 各實施例涉及的方法中的全部或部分步驟可以通過程式來指令相關的硬體來完成，所述的程式可以存儲於電腦設備可讀取的存儲介質中，用於執行上述各實施例方法所述的全部或部分步驟。所述電腦設備，包括但不限於：個人電腦、伺服器、通用電腦、專用電腦、網路設備、嵌入式設備、可程式設計設備、智慧移動終端、智慧家居設備、穿戴式智慧設備、車載智慧設備等；所述的存儲介質，包括但不限於：RAM、ROM、磁碟、磁帶、光碟、快閃記憶體、U盤、移動硬碟、存儲卡、記憶棒、網路服務器存儲、網路雲存儲等。
上述各實施例是參照根據實施例所述的方法、設備(系統)、和電腦程式產品的流程圖和/或方框圖來描述的。應理解可由電腦程式指令實現流程圖和/或方框圖中的每一流程和/或方框、以及流程圖和/或方框圖中的流程和/或方框的結合。可提供這些電腦程式指令到電腦設備的處理器以產生一個機器，使得通過電腦設備的處理器執行的指令產生用於實現在流程圖一個流程或多個流程和/或方框圖一個方框或多個方框中指定的功能的裝置。
這些電腦程式指令也可存儲在能引導電腦設備以特定方式工作的電腦設備可讀記憶體中，使得存儲在該電腦設備可讀記憶體中的指令產生包括指令裝置的製造品，該指令裝置實現在流程圖一個流程或多個流程和/或方框圖一個方框或多個方框中指定的功能。
這些電腦程式指令也可裝載到電腦設備上，使得在電腦設備上執行一系列操作步驟以產生電腦實現的處理，從而在電腦設備上執行的指令提供用於實現在流程圖一個流程或多個流程和/或方框圖一個方框或多個方框中指定的功能的步驟。
儘管已經對上述各實施例進行了描述，但本領域內的技術人員一旦得知了基本創造性概念，則可對這些實施例做出另外的變更和修改，所以以上所述僅為本發明的實施例，並非因此限制本發明的專利保護範圍，凡是利用本發明說明書及附圖內容所作的等效結構或等效流程變換，或直接或間接運用在其他相關的技術領域，均同理包括在本發明的專利保護範圍之內。
雖然本發明已以實施例揭露如上，然其並非用以限定本發明，任何所屬技術領域中具有通常知識者，在不脫離本發明的精神和範圍內，當可作些許的更動與潤飾，故本發明的保護範圍當視後附的申請專利範圍所界定者為準。
S101、S102、S103、S104、S105‧‧‧步驟

Claims (26)

  1. 一種眼球追蹤操作的方法，所述方法應用於眼球追蹤操作的裝置，所述裝置包括顯示單元和傳感單元；所述顯示單元上設置有眼球活動識別區，所述傳感單元位於所述眼球活動識別區的下方；所述傳感單元包括紅外感應層，所述紅外感應層用於在接收到光源觸發信號時，發出紅外光，以及用於在接收到偵測觸發信號時，處於紅外信號偵測狀態，並接收使用者眼球反射的紅外光信號以捕捉使用者的眼球活動資訊，所述方法包括以下步驟： 預先設置操作配置資訊，所述操作配置資訊包括眼球活動資訊與操作指令的對應關係； 捕捉用戶在眼球活動識別區上的眼球活動資訊，判斷操作配置資訊中是否存在與所捕捉的眼球活動資訊相匹配的眼球活動資訊，若是則執行操作配置資訊中該眼球活動資訊對應的操作指令，否則不執行所述操作指令。
  2. 如申請專利範圍第1項所述的眼球追蹤操作的方法，其中預先設置操作配置資訊的步驟包括： 接收使用者設置命令，顯示眼球活動識別區； 接收用戶選擇的眼球操作項目，以及捕捉用戶在所述眼球識別區上的眼球活動資訊並保存； 顯示一操作指令識別欄位表，所述操作指令識別欄位表中包含著一個或多個操作指令對應的標識，每一操作指令標識對應一操作指令； 接收使用者對操作指令標識的選擇指令，建立所選中的操作指令標識對應的操作指令與所護球的使用者的眼球活動資訊的對應關係並保存。
  3. 如申請專利範圍第1或2項所述的眼球追蹤操作的方法，其中所述操作指令包括文字操作指令、圖像操作指令、視頻操作指令、應用操作指令中的一種或多種。
  4. 如申請專利範圍第1項所述的眼球追蹤操作的方法，其中光源觸發信號與偵測觸發信號交替切換，並符合一預設頻率。
  5. 如申請專利範圍第1項所述的眼球追蹤操作的方法，其中所述操作指令為畫面切換指令，其中判斷操作配置資訊中是否存在與所捕捉的眼球活動相匹配的眼球活動資訊，若是則執行操作配置資訊中該眼球活動資訊對應的操作指令，否則不執行所述操作指令的步驟包括： 判斷捕捉到的使用者的眼球活動資訊與畫面切換指令對應的眼球活動資訊是否匹配，若是則對畫面進行切換，否則不對畫面進行切換。
  6. 如申請專利範圍第1項所述的眼球追蹤操作的方法，其中所述傳感單元包括TFT影像感測陣列薄膜，所述紅外感應層為紅外光敏二極體所形成的陣列。
  7. 如申請專利範圍第1項所述的眼球追蹤操作的方法，其中判斷操作配置資訊中是否存在與所捕捉的眼球活動資訊相匹配的眼球活動資訊的步驟具體包括： 根據捕捉到的使用者的眼球活動資訊計算其特徵值，並與配置資訊中預設的眼球活動資訊的特徵值進行對比；當誤差小於預設值時，判定為相匹配，否則判定為不匹配。
  8. 如申請專利範圍第1或7項所述的眼球追蹤操作的方法，所述方法還包括： 當判定操作配置資訊中不存在與所捕捉的眼球活動資訊相匹配的眼球活動資訊時，出提示資訊。
  9. 如申請專利範圍第8項所述的眼球追蹤操作的方法，其中所述提示資訊包括聲音提示資訊、圖像提示資訊、光線提示資訊、視頻提示資訊中的一種或多種。
  10. 如申請專利範圍第1項所述的眼球追蹤操作的方法，其其中所述顯示單元包括AMOLED顯示幕或LCD液晶顯示幕。
  11. 如申請專利範圍第10項所述的眼球追蹤操作的方法，其中當所述顯示單元為LCD液晶顯示幕時，所述傳感單元的下方還設置有背光單元，所述傳感單元設置於背光單元和LCD液晶顯示幕之間。
  12. 如申請專利範圍第1項所述的眼球追蹤操作的方法，其中所述眼球活動識別區包括多個眼球活動識別子區域，每一眼球活動識別子區域的下方對應設置一傳感單元。
  13. 如申請專利範圍第12項所述的眼球追蹤操作的方法，其中所述裝置還包括傳感單元控制電路，所述方法還包括： 接收使用者對眼球活動識別子區域的啟動指令，傳感單元控制電路開啟所述眼球活動識別子區域的下方的傳感單元，以及接收使用者對眼球活動識別子區域的關閉指令，傳感單元控制電路關閉所述眼球活動識別子區域的下方的傳感單元。
  14. 一種眼球追蹤操作的裝置，所述裝置包括顯示單元和傳感單元；所述顯示單元上設置有眼球活動識別區，所述傳感單元位於所述眼球活動識別區的下方；所述傳感單元包括紅外感應層，所述紅外感應層用於在接收到光源觸發信號時，發出紅外光，以及用於在接收到偵測觸發信號時，處於紅外信號偵測狀態，並接收使用者眼球反射的紅外光信號以捕捉使用者的眼球活動資訊；所述裝置還包括操作資訊設置單元、判斷單元和處理單元； 所述操作資訊設置單元用於預先設置操作配置資訊，所述操作配置資訊包括眼球活動資訊與操作指令的對應關係； 所述傳感單元用於捕捉使用者在眼球活動識別區上的眼球活動資訊，所述判斷單元用於判斷操作配置資訊中是否存在與所捕捉的眼球活動資訊相匹配的眼球活動資訊，若是則處理單元用於執行操作配置資訊中該眼球活動資訊對應的操作指令，否則處理單元不執行所述操作指令。
  15. 如申請專利範圍第14項所述的眼球追蹤操作的裝置，其中所述裝置包括操作指令接收單元，其中在操作資訊設置單元用於預先設置操作配置資訊的運作中， 所述操作資訊設置單元用於接收使用者設置命令，所述顯示單元用於顯示眼球活動識別區； 所述操作指令接收單元用於接收使用者選擇的眼球操作專案，所述傳感單元用於捕捉使用者在所述眼球識別區上的眼球活動資訊並保存； 所述顯示單元用於顯示一操作指令識別欄位表，所述操作指令識別欄位表中包含著一個或多個操作指令對應的標識，每一操作指令標識對應一操作指令； 所述操作指令接收單元還用於接收使用者對操作指令標識的選擇指令，建立所選中的操作指令標識對應的操作指令與所捕捉的使用者的眼球活動資訊的對應關係並保存。
  16. 如申請專利範圍第14或15項所述的眼球追蹤操作的裝置，其中所述操作指令包括文字操作指令、圖像操作指令、視頻操作指令、應用操作指令中的一種或多種。
  17. 如申請專利範圍第14項所述的眼球追蹤操作的裝置，其中光源觸發信號與偵測觸發信號交替切換，切換的頻率符合一預設頻率。
  18. 如申請專利範圍第17項所述的眼球追蹤操作的裝置，其中所述操作指令為畫面切換指令，其中在判斷單元用於判斷操作配置資訊中是否存在與所捕捉的眼球活動相匹配的眼球活動資訊，若是則處理單元用於執行操作配置資訊中該眼球活動資訊對應的操作指令，否則處理單元不執行所述操作指令的運作中， 判斷單元用於判斷捕捉到的使用者的眼球活動資訊與畫面切換指令對應的眼球活動資訊是否匹配，若是則處理單元用於對畫面進行切換，否則處理單元不對畫面進行切換。
  19. 如申請專利範圍第17項所述的眼球追蹤操作的裝置，其中所述傳感單元包括TFT影像感測陣列薄膜，所述紅外感應層為紅外光敏二極體所形成的陣列。
  20. 如申請專利範圍第14項所述的眼球追蹤操作的裝置，其中在判斷單元用於判斷操作配置資訊中是否存在與所捕捉的眼球活動資訊相匹配的眼球活動資訊的運作中， 判斷單元用於根據捕捉到的使用者的眼球活動資訊計算其特徵值，並與配置資訊中預設的眼球活動資訊的特徵值進行對比；當誤差小於預設值時，判定為相匹配，否則判定為不匹配。
  21. 如申請專利範圍第14或20項所述的眼球追蹤操作的裝置，其中所述處理單元還用於在判斷單元判定操作配置資訊中不存在與所捕捉的眼球活動資訊相匹配的眼球活動資訊時，發出提示資訊。
  22. 如申請專利範圍第21項所述的眼球追蹤操作的裝置，其中所述提示資訊包括聲音提示資訊、圖像提示資訊、光線提示資訊、視頻提示資訊中的一種或多種。
  23. 如申請專利範圍第14項所述的眼球追蹤操作的裝置，其中所述顯示單元包括AMOLED顯示幕或LCD液晶顯示幕。
  24. 如申請專利範圍第23項所述的眼球追蹤操作的裝置，其中當所述顯示單元為LCD液晶顯示幕時，所述傳感單元的下方還設置有背光單元，所述傳感單元設置於背光單元和LCD液晶顯示幕之間。
  25. 如申請專利範圍第14項所述的眼球追蹤操作的裝置，其中所述眼球活動識別區包括多個眼球活動識別子區域，每一眼球活動識別子區域的下方對應設置一傳感單元。
  26. 如申請專利範圍第25項所述的眼球追蹤操作的裝置，其中所述裝置還包括傳感單元控制電路和操作指令接收單元，所述操作指令接收單元用於接收使用者對眼球活動識別子區域的啟動指令，所述傳感單元控制電路用於開啟所述眼球活動識別子區域的下方的傳感單元，以及所述操作指令接收單元用於接收使用者對眼球活動識別子區域的關閉指令，所述傳感單元控制電路用於關閉所述眼球活動識別子區域的下方的傳感單元。
TW107110821A 2017-04-20 2018-03-28 一種眼球追蹤操作的方法和裝置 TWI681339B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201710260321.9 2017-04-20
??201710260321.9 2017-04-20
CN201710260321.9A CN108733204A (zh) 2017-04-20 2017-04-20 一种眼球追踪操作的方法和装置

Publications (2)

Publication Number Publication Date
TW201839668A TW201839668A (zh) 2018-11-01
TWI681339B true TWI681339B (zh) 2020-01-01

Family

ID=63855568

Family Applications (1)

Application Number Title Priority Date Filing Date
TW107110821A TWI681339B (zh) 2017-04-20 2018-03-28 一種眼球追蹤操作的方法和裝置

Country Status (3)

Country Link
CN (1) CN108733204A (zh)
TW (1) TWI681339B (zh)
WO (1) WO2018192312A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111639017B (zh) * 2020-05-29 2024-05-07 京东方科技集团股份有限公司 测量眼球追踪设备延迟量的方法、设备、眼球追踪系统
CN113325585B (zh) * 2021-05-27 2023-03-28 京东方科技集团股份有限公司 显示装置、可穿戴显示设备及注视点的位置的确定方法
CN113504833B (zh) * 2021-09-10 2021-12-24 世纳微电子科技(成都)有限公司 数字光学色温传感器、眼球追踪装置及人机交互系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100092929A1 (en) * 2008-10-14 2010-04-15 Ohio University Cognitive and Linguistic Assessment Using Eye Tracking
TW201310294A (zh) * 2011-08-24 2013-03-01 Acer Inc 手持裝置和調整位置資訊方法
TW201344554A (zh) * 2012-04-16 2013-11-01 Skymedi Corp 切換顯示模式的系統及其方法
TW201616283A (zh) * 2014-10-31 2016-05-01 佳世達科技股份有限公司 具有眼球追蹤功能之電子裝置及其控制方法
CN105759945A (zh) * 2014-12-17 2016-07-13 富泰华工业（深圳）有限公司 穿戴设备控制系统及方法
CN105867605A (zh) * 2015-12-15 2016-08-17 乐视致新电子科技（天津）有限公司 虚拟现实头盔的功能菜单翻页方法、装置及头盔

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103593051B (zh) * 2013-11-11 2017-02-15 百度在线网络技术（北京）有限公司 头戴式显示设备
CN103616953A (zh) * 2013-11-27 2014-03-05 福州瑞芯微电子有限公司 一种屏幕解锁和应用启动的方法及装置
US9870049B2 (en) * 2015-07-31 2018-01-16 Google Llc Reflective lenses to auto-calibrate a wearable system
CN105975933A (zh) * 2016-05-05 2016-09-28 上海聚虹光电科技有限公司 基于透明屏幕的虹膜识别系统
CN106055102A (zh) * 2016-05-30 2016-10-26 北京奇艺世纪科技有限公司 一种虚拟现实设备控制方法及装置
CN105975136B (zh) * 2016-06-30 2019-03-26 京东方科技集团股份有限公司 显示基板及其制造方法和显示装置
CN106372587A (zh) * 2016-08-29 2017-02-01 乐视控股（北京）有限公司 一种指纹识别方法及装置
CN106557737A (zh) * 2016-09-27 2017-04-05 北京无线电计量测试研究所 一种便携式虹膜识别装置
CN106503514A (zh) * 2016-09-28 2017-03-15 北京用友政务软件有限公司 基于虹膜识别的电子终端设备的解锁方法及系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100092929A1 (en) * 2008-10-14 2010-04-15 Ohio University Cognitive and Linguistic Assessment Using Eye Tracking
TW201310294A (zh) * 2011-08-24 2013-03-01 Acer Inc 手持裝置和調整位置資訊方法
TW201344554A (zh) * 2012-04-16 2013-11-01 Skymedi Corp 切換顯示模式的系統及其方法
TW201616283A (zh) * 2014-10-31 2016-05-01 佳世達科技股份有限公司 具有眼球追蹤功能之電子裝置及其控制方法
CN105759945A (zh) * 2014-12-17 2016-07-13 富泰华工业（深圳）有限公司 穿戴设备控制系统及方法
CN105867605A (zh) * 2015-12-15 2016-08-17 乐视致新电子科技（天津）有限公司 虚拟现实头盔的功能菜单翻页方法、装置及头盔

Also Published As

Publication number Publication date
CN108733204A (zh) 2018-11-02
TW201839668A (zh) 2018-11-01
WO2018192312A1 (zh) 2018-10-25

Similar Documents

Publication Publication Date Title
JP6246292B2 (ja) 光検出機能を備えるｏｌｅｄディスプレイ装置
US9916635B2 (en) Transparent display device and control method thereof
TWI681339B (zh) 一種眼球追蹤操作的方法和裝置
TWI696957B (zh) 同步採集指紋信息的方法和裝置
TWI681382B (zh) 終端及終端顯示亮度調節的方法
US11137845B2 (en) Method and device for recognizing contact of foldable display screen
US20130100026A1 (en) Proximity Screen Display and User Interface
US11314962B2 (en) Electronic device and method for controlling fingerprint recognition-based electronic device
KR102046569B1 (ko) 촬상 장치 및 촬상 장치의 제어 방법
US10013114B2 (en) Light touch panel, light touch display screen and light touch display device
TWI730227B (zh) 一種眼球追蹤操作的方法和裝置
TWI715832B (zh) 一種虹膜識別的方法和裝置
TWI676114B (zh) 一種虹膜識別的方法和裝置
US11914807B2 (en) Method and device for biometric recognition
JP7474256B2 (ja) 発光デバイス、機能パネル、表示装置、入出力装置、情報処理装置