TWI512542B - 臉部追蹤電子讀取器 - Google Patents

Description

臉部追蹤電子讀取器

本發明一般有關於電子讀取器，其可包括顯示被使用者讀取的文字之任何電子顯示器。在一個實施例中，其可有關於所謂的電子書，其於電子顯示器上逐頁顯示書的文字。

電子書(electronic book或e-book)已變成愈來愈普遍。一般而言，其顯示文字的部分，然後使用者必須手動地操縱使用者控制，以產生其他頁面，或做其他的控制選擇。經常，使用者觸控顯示螢幕上的圖像，以便改變頁面，或啟動其他的控制選擇。因此，需要觸控螢幕，且迫使使用者與觸控螢幕互動，以便控制讀取所顯示的文字之程序。

【發明內容與實施方式】

參照圖1，電子顯示器10可顯示被使用者讀取的文字。在一個實施例中，顯示器10可為電子書讀取器(electronic book reader或e-book reader)。其也可為顯示被使用者讀取的文字之任何電腦顯示器。例如，其可為電腦顯示器、平板電腦顯示器、行動電話顯示器、行動網際網路裝置顯示器、或甚至電視顯示器。顯示螢幕14可被框架12包圍。在某些實施例中，此框架可支撐相機16及麥克風18。

相機16可對準使用者的臉部。相機16可與臉部追蹤軟體相關聯，此追蹤軟體回應偵測到的臉部致動(actu ation)，諸如眼睛或臉部表情，或頭部移動追蹤。那些致動可例如包括眼睛移動、注視目標偵測、眨眼、閉眼或開眼、嘴唇移動、頭部移動、臉部表情、及凝視的任一種。

在某些實施例中，麥克風18可自使用者接收可聽見的或語音輸入命令。例如，在一個實施例中，麥克風18可與語音偵測/辨識軟體模組相關聯。

參照圖2，依據一個實施例，控制器20可包括儲存器22，在一個實施例中，軟體26可被儲存於儲存器22上。資料庫24也可儲存檔案，其包括要被顯示於顯示器14上的文字資訊。麥克風18可被耦接至控制器20(如可為相機16)。控制器20可使用相機16來實施眼睛追蹤。其也可使用麥克風18來實施語音偵測及/或辨識。

參照圖3，在軟體實施例中，一串指令可被儲存於電腦可讀取媒體(諸如儲存器22)中。儲存器22典型上可例如為光學、磁性、或半導體記憶體。在某些實施例中，儲存器22可構成儲存要被處理器或控制器(在一個實施例中，其可為控制器20)實施的指令之電腦可讀取媒體。

開始時，如方塊28中所表示，臉部活動被辨識。此活動可自相機16供應至控制器20的視訊串流中被辨識出來。在某些實施例中，臉部追蹤軟體可偵測使用者的瞳孔之移動、使用者的眼皮之移動、臉部表情、或甚至頭部移動。影像辨識技術可被利用來辨識眼睛、瞳孔、眼皮、臉部、臉部表情、或頭致動，及將這些不同的致動區分為不同的使用者輸入。臉部追蹤軟體傳統上是可用的。

接著，如方塊30中所表示，此臉部活動係放置於其情境(context)中。例如，此情境可為使用者已注視一個目標一段給定數量的時間。另一個情境可為在提供另一個眼睛追蹤軟體辨識過的指示之後，使用者已眨眼。因此，此情境可被此系統使用，以藉由眼睛追蹤器偵測到的致動來解讀使用者意謂著什麼。然後，在方塊32中，此眼睛活動及其情境被分析，以使其與所想要的使用者輸入相關聯。換言之，此情境及此眼睛活動係與使用者大概要表達的意思之命令或控制相關聯。然後，在方塊34中，讀取器、控制、或服務可根據所偵測到的活動以及其相關聯的情境而被實施。

在某些實施例中，可提供兩種不同型式的臉部追蹤器偵測到的輸入。第一種輸入可為讀取控制輸入。讀取控制的範例可為用以翻頁、用以捲動頁面、用以顯示選單、或用以使語音輸入致能或去能。在這些情況的各個情況中，使用者提供相機偵測的命令或輸入，以控制讀取文字的程序。

在某些實施例中，第二種型式的使用者輸入可表示使用者服務的請求。例如，使用者服務可為用以請求已於文字內被識別之字詞的發音。另一種讀取器服務可為用以提供特定字詞的定義。又另一種讀取器服務可為用以表示或辨識使用者正有讀取特定段落、字詞、片語、或甚至書的困難。此資訊可被發出訊號至監視器，以表示使用者無法輕易地處理此文字。這可觸發例如較簡單的文字、較複雜的文字、較大的文字大小、發聲提示、或者是老師或監視器介入之提供。此外，發出讀取困難之此文字中的位置可被自動地記錄，以供其他人(諸如老師)的存取。

參照圖4，作為一個簡單的範例，如方塊40中所偵測到的，使用者可將他或她的目光注視於特定字詞上。這可藉由識別缺乏眼睛移動一段給定臨限週期的時間而自相機的視訊串流中被判定出。回應於此文字內的特定目標上之注視，可識別出目標的文字。這可藉由使眼睛注視的座標與所關聯的文字座標匹配來達成。因此，如方塊42及44中所表示的，可提供目標的字詞之字典定義。

之後，若在46，偵測出使用者眨眼，則如方塊48中所表示的，文字定義可自此顯示器中移除。在此情況中，情境分析判定在特定字詞上的注視之後的眨眼及其定義的顯示可被解讀為使用者輸入，以移除所顯示的文字。

然後，在方塊50中，正常的讀取模式於此例中被恢復。在此實施例中，如方塊52中所偵測到的，若使用者保持他或她的眼睛閉合一段給定週期的時間(諸如一秒)，則會翻動此頁面(方塊54)。翻頁命令的其他指示可為跨過此頁面的眼睛掃瞄，或甚至與此文字相關聯所顯示的翻頁圖像上之眼睛上的注視。

為了避免錯誤輸入，可提供回饋機制。例如，當使用者注視特定字詞時，可強調此字詞，以確定此系統已偵測到正確的字詞。此強調的顏色可表示此系統相信使用者什麼要輸入。例如，若使用者凝視字詞「海螺(conch)」一段延續的期間，則此字詞可以黃色強調，其表示此系統瞭解使用者想要此系統提供此字詞「海螺」的定義。然而，在另一個實施例中，根據此情境，當此系統相信使用者想要接收此字詞的發音指導時，此系統可以紅色強調此字詞。此發音指導可提供此字詞如何發音，或可甚至包括經由語音產生系統的音訊發音之文字中的指示。回應於此字詞的此強調或其它的回饋，使用者可經由另一種眼睛致動來表示此意欲的輸入之此系統的瞭解是否正確。使用者可打開他的嘴巴來表示類似發音的命令。

在又另一個實施例中，可將書籤加入頁面，以便讓使用者能後返回至使用者停止的相同位置。例如，回應於獨特的眼睛致動，可將標記放置於此文字頁面上，以提供使用者何處使用者停止之可見指示，以供讀取的後續恢復。這些書籤可被記錄及儲存，以供未來及/或遠端的存取，這些書籤與表示被標記的文字之檔案分離，或作為此檔案的部分。

遍及此說明書之參考「一個實施例」或「實施例」意謂結合此實施所述之特定的特性、結構、或特徵被包括於本發明內所包含的至少一個實施中。因此，詞句「一個實施例」或「在實施例中」的出現不必然參照相同的實施例。再者，特定的特性、結構、或特徵可以除了所例示的特定實施例之外的其他適當形式而被建構，且所有此類形式可被包含於本申請案的申請專利範圍內。

雖然本發明已就有限數量的實施例來予以說明，但是熟習此項技術者將瞭解實施例的許多修改及變化。其係意謂後附申請專利範圍涵蓋如落入本發明的真實精神及範圍內之所有此類修改及變化。

10．．．電子顯示器

12．．．框架

14．．．顯示螢幕

16．．．相機

18．．．麥克風

20．．．控制器

22．．．儲存器

24．．．資料庫

26．．．軟體

圖1係本發明的一個實施例之前視圖；

圖2係依據一個實施例之圖1中所顯示的實施例之概要描述；

圖3係本發明的一個實施例之流程圖；以及

圖4係本發明的一個實施例之更詳細的流程圖。

10．．．電子顯示器

14．．．顯示螢幕

16．．．相機

18．．．麥克風

20．．．控制器

22．．．儲存器

24．．．資料庫

26．．．軟體

Claims (17)

1. 一種設備，包含：顯示器，用以顯示文字，以被使用者讀取；相機，與該顯示器相關聯；以及控制器，用以偵測使用者臉部致動(actuation)，且用以解讀臉部致動，以控制該文字的顯示，其中，該控制器用以將臉部致動辨識為請求字詞發音的顯示之控制訊號。
2. 如申請專利範圍第1項之設備，其中，該控制器用以偵測眼睛活動，以控制文字顯示。
3. 如申請專利範圍第1項之設備，其中，該控制器用以使眼睛活動與情境(context)相關聯，以判定意欲的使用者命令。
4. 如申請專利範圍第1項之設備，該控制器用以將臉部致動辨識為提供該文字中之字詞的意義之請求。
5. 如申請專利範圍第1項之設備，該控制器用以辨識臉部致動，以表示讀取該文字的困難。
6. 如申請專利範圍第1項之設備，該控制器用以辨識臉部致動，以表示標記位置於文字的頁面上之請求。
7. 一種方法，包含：顯示文字，以被使用者讀取；當該使用者讀取該文字時，記錄該使用者的影像；偵測與該文字相關聯的使用者臉部致動；將臉部致動與使用者輸入鏈結；以及 將臉部致動辨識為請求字詞發音的顯示之控制訊號。
8. 如申請專利範圍第7項之方法，包括使眼睛活動與情境相關聯，以判定意欲的使用者命令。
9. 如申請專利範圍第7項之方法，包括將臉部致動辨識為提供該文字中之字詞的意義之請求。
10. 如申請專利範圍第7項之方法，包括將臉部致動辨識為表示讀取該文字的困難。
11. 如申請專利範圍第7項之方法，包括將臉部致動辨識為表示標記位置於文字的頁面上之請求。
12. 一種電腦可讀取媒體，儲存藉由電腦所執行的指令，用以：顯示文字，以被使用者讀取；當該使用者讀取該文字時，記錄該使用者的影像；當讀取該文字時，偵測使用者臉部致動；使臉部致動與該文字的特定部分相關聯；以及將臉部致動辨識為請求字詞發音的控制訊號。
13. 如申請專利範圍第12項之媒體，另儲存用以偵測眼睛活動及識別注視目標，以便使該臉部致動與文字相關聯之指令。
14. 如申請專利範圍第12項之媒體，另儲存用以使眼睛活動與情境相關聯，以判定意欲的使用者命令之指令。
15. 如申請專利範圍第12項之媒體，另儲存用以將臉部致動辨識為提供該文字中之字詞的意義之請求的指令。
16. 如申請專利範圍第12項之媒體，另儲存用以將臉 部致動辨識為表示讀取該文字的部分之困難、識別該文字部分、及記錄該文字部分的位置之指令。
17. 如申請專利範圍第15項之媒體，另儲存用以將臉部致動辨識為表示標記位置於文字的頁面上之請求、記錄該位置、及使該記錄的位置可用於後續的存取之指令。