TWI646466B

TWI646466B - 視覺範圍映射方法及相關眼球追蹤裝置與系統

Info

Publication number: TWI646466B
Application number: TW106126837A
Authority: TW
Inventors: 何亮融; 楊宗翰; 王思捷; 林建錡; 博格蕭
Original assignee: 宏碁股份有限公司
Priority date: 2017-08-09
Filing date: 2017-08-09
Publication date: 2019-01-01
Also published as: US10535284B2; TW201911132A; US20190051227A1; CN109389619A; CN109389619B

Abstract

一種視覺範圍映射方法，包含有從至少一眼球追蹤裝置接收複數個眼球偵測結果，以及從一顯示裝置接收一顯示範圍；根據該複數個眼球偵測結果，產生一視覺範圍；比較該視覺範圍及該顯示範圍，產生一校正量；以及根據該校正量，將該視覺範圍映射到該顯示範圍。

Description

視覺範圍映射方法及相關眼球追蹤裝置與系統

本發明是指一種視覺範圍映射方法及相關眼球追蹤系統，尤指一種可校正視覺範圍與螢幕範圍間的偏移的視覺範圍映射方法及相關眼球追蹤系統。

眼球追蹤（Eye tacking）技術可用來偵測觀影者眼球運動（例如，注視時間、注視點的順序、瞳孔大小等），以追蹤觀影者的注視目標。在實際應用中，眼球追蹤裝置可用於視覺效用的檢測，用來記錄觀影者觀看網頁、廣告或影片時的注視資料，再根據眼球的顯示目標來審查網頁、廣告或影片中最常被觀眾注視的目標，進而審查視覺效用以及評估注視目標的貢獻程度。

舉例來說，眼球追蹤裝置可應用在電影院及視聽室等場所，用來記錄觀影者在電影中各個片段的注視資料，進而評估演員在電影中的注視程度及貢獻程度。然而，由於每個觀影者的視覺範圍會受到其觀賞位置（例如，電影院的座位）及個人觀影習慣（例如，坐姿、身高、雙眼間距等）的不同而有所差異，導致眼球追蹤裝置偵測到的視覺範圍與實際螢幕範圍間有所偏移。換言之，眼球追蹤裝置偵測到的視覺範圍無法直接映射（Mapping）到實際螢幕範圍，故在使用眼球追蹤裝置產生的注視資料之前，需進行一校正程序，以確保後續分析注視程度的準確率。

因此，如何提供一種視覺範圍映射方法及相關眼球追蹤系統，用來校正眼球追蹤裝置偵測到的視覺範圍與實際螢幕範圍間的偏移，實乃本領域的新興課題。

因此，本發明的主要目的即在於提供一種視覺範圍映射方法及相關眼球追蹤系統，用來校正視覺範圍與螢幕範圍間的偏移。

本發明揭露一種視覺範圍映射方法，用於一眼球追蹤系統，包含有從該眼球追蹤系統的至少一眼球追蹤裝置接收複數個眼球偵測結果，以及從該眼球追蹤系統的一顯示裝置接收一顯示範圍；根據該複數個眼球偵測結果，產生一視覺範圍；比較該視覺範圍及該顯示範圍，產生一校正量；以及根據該校正量，將該視覺範圍映射到該顯示範圍。

本發明另揭露一種眼球追蹤系統，用來進行視覺範圍映射，包含有一螢幕、一眼球偵測裝置以及一處理裝置。該螢幕用來播放複數個片段。該眼球偵測裝置用來在該螢幕播放該複數個片段時，對應產生複數個眼球偵測結果。該處理裝置，耦接於該螢幕及該眼球偵測裝置，用來根據該複數個片段以及該複數個眼球偵測結果，進行一視覺範圍映射流程。該流程包含從該眼球追蹤系統的至少一眼球追蹤裝置接收複數個眼球偵測結果，以及從該眼球追蹤系統的一顯示裝置接收一顯示範圍；根據該複數個眼球偵測結果，產生一視覺範圍；比較該視覺範圍及該顯示範圍，產生一校正量；以及根據該校正量，將該視覺範圍映射到該顯示範圍。

本發明另揭露一種電子裝置，用於一眼球追蹤系統，用來進行視覺範圍映射，其中該眼球追蹤系統包含一螢幕以及一眼球追蹤裝置，該電子裝置包含有一處理器；以及一記憶體，耦接於該處理器，用來儲存一程式碼，其中該程式碼指示該處理器根據該螢幕播放的複數個片段以及該眼球追蹤裝置產生的複數個眼球偵測結果，進行一視覺範圍映射流程。該流程包含從該眼球追蹤系統的至少一眼球追蹤裝置接收複數個眼球偵測結果，以及從該眼球追蹤系統的一顯示裝置接收一顯示範圍；根據該複數個眼球偵測結果，產生一視覺範圍；比較該視覺範圍及該顯示範圍，產生一校正量；以及根據該校正量，將該視覺範圍映射到該顯示範圍。

本發明的眼球追蹤系統可在觀影後，統計全部眼球偵測結果對應的注視座標的分布區域，藉由比較該分布區域與已知的螢幕顯示區域來計算校正量，進而根據該校正量將視覺範圍映射到螢幕的顯示範圍，以確保後續分析注視程度的準確率。

第1圖為本發明實施例一眼球追蹤系統1進行一第一校正程序（觀影前）的情境圖。眼球追蹤系統1包含一螢幕10、至少一眼球偵測裝置12以及一處理裝置14。眼球追蹤系統1可用於電影院、視聽室等場所，用來蒐集觀影者在影片中各個片段的注視資料，並結合顯示目標（例如，演員、廣告產品等）在各個片段的位置，分析顯示目標在影片中的注視程度。

在實際應用中，眼球追蹤系統1可分析演員在影片中的注視程度，以作為片酬的衡量依據，例如當演員的注視程度越高，表示該演員受歡迎的程度越高。或者，眼球追蹤系統1可分析廣告產品在影片中的注視程度，以作為置入行銷收費的衡量依據，例如當廣告產品的注視程度越高，表示該廣告產品的置入行銷效果越好。或者，眼球追蹤系統1可分析影片中注視程度高的關鍵片段（或劇情橋段）以及注視程度低的非關鍵片段，以作為影片剪輯的衡量依據，例如剪輯者可保留電影毛片中的關鍵片段（或劇情橋段）並刪除非關鍵片段，以確保影片吸睛度。

此外，眼球追蹤系統1可在播放正式影片前，利用引導短片來進行視覺範圍與顯示範圍的校正程序，以確保後續分析注視程度的準確率。如第1圖所示，以電影院為例，眼球偵測裝置12可設置於觀影者的座位與螢幕10之間，用來追蹤該位觀影者的眼球運動。螢幕10可以是一顯示裝置（例如電視，投影機與投影屏幕等），用來播放一影片（例如，校正影片），影片包含複數個片段F1～FN，其中複數個片段F1～FN分別對應複數個顯示目標T1～TN，且複數個顯示目標T1～TN分別對應複數個顯示座標。

眼球偵測裝置12用來在螢幕10播放複數個片段F1～FN時，偵測觀影者的眼球運動（例如，眼球的注視時間、移動位置及瞳孔大小等），對應產生複數個眼球偵測結果E1～EN，其中複數個眼球偵測結果E1～EN分別對應複數個注視座標。

處理裝置14耦接於螢幕10及眼球偵測裝置12，用來根據複數個顯示目標T1～TN對應的顯示座標及複數個眼球偵測結果E1～EN對應的注視座標，計算複數個座標校正量C1～CN；接著，處理裝置14根據複數個座標校正量C1～CN，將偵測到的視覺範圍映射到螢幕10的顯示範圍。

具體而言，透過螢幕10顯示片段F1～FN的顯示目標T1～TN，可引導觀影者注視螢幕10的不同位置。例如，螢幕10可依序顯示顯示目標F1～FN，依序引導觀影者注視螢幕10的左上角、右上角、正中央、左下角以及右下角等位置。眼球偵測裝置12則同時偵測觀影者的眼球運動，以產生眼球偵測結果E1～EN。接著，由於顯示目標F1～FN的顯示座標及螢幕10的顯示範圍是已知的，藉由比較眼球偵測結果E1～EN對應的注視座標以及顯示目標T1～TN對應的顯示座標，可得知座標校正量以及視覺範圍與螢幕10的顯示範圍的範圍校正量（其可根據注視座標與顯示座標的分布範圍來計算）。最後，處理裝置14可根據校正量C1～CN，將視覺範圍映射到螢幕10的顯示範圍，以確保後續分析注視程度的準確率。

第2圖為本發明實施例眼球追蹤系統1進行一第二校正程序（觀影後）的情境圖。於本實施例中，眼球追蹤系統1可在觀影後，根據所有的眼球偵測結果E1～EN，計算所有注視座標的分布區域，藉由比較該分布區域與已知的顯示區域，計算區域校正量；最後，根據該校正量將視覺範圍映射到螢幕10的顯示範圍，以確保後續分析注視程度的準確率。

具體而言，當螢幕10播放片段F1～FN時，眼球偵測裝置12同時產生眼球偵測結果E1～EN至處理裝置14。處理裝置14可根據眼球偵測結果E1～EN對應的注視座標，計算一視覺範圍R_EYE；接著，處理裝置14比較視覺範圍R_EYE及螢幕10的一顯示範圍R_DIS，計算一校正量R_CAL；最後，處理裝置14根據校正量R_CAL，將視覺範圍R_EYE映射到顯示範圍R_DIS，以完成觀影後的校正程序。

如此一來，眼球追蹤系統1藉由進行觀影後的校正程序，可省去觀影前的校正程序，不需引導觀影者觀看顯示目標（避免打擾觀影者），也較節省時間。

於一實施例中，由於人類雙眼可注視一視覺範圍，因此複數個顯示目標T1～TN可分別對應複數個顯示座標範圍，且複數個眼球偵測結果E1～EN可分別對應複數個注視座標範圍。於一實施例中，處理裝置14可以是獨立的電子裝置，也可與螢幕10或眼球偵測裝置12整合為一電子裝置。

上述關於眼球追蹤系統1的操作方式可歸納為一流程30，如第3圖所示，流程30可儲存到一記憶裝置，用來指示處理裝置14執行觀影後的校正程序。流程30包含以下步驟。

步驟300：開始。

步驟301：從至少一眼球追蹤裝置接收複數個眼球偵測結果，以及從一顯示裝置接收一顯示範圍。

步驟302：根據該複數個眼球偵測結果，產生一視覺範圍。

步驟303：比較該視覺範圍及該顯示範圍，產生一校正量。

步驟304：根據該校正量，將該視覺範圍映射到該顯示範圍。

步驟305：結束。

關於流程30的詳細操作方式可參考第2圖的相關說明，於此不贅述。

請注意，上述關於觀影後的校正程序僅針對單一觀影者的眼球偵測結果來計算校正量，然而不限於此。於一實施例中，眼球追蹤系統1可同時參考其他觀影者的眼球偵測結果來判斷影片中的關鍵片段，再針對個別觀影者在關鍵片段對應的眼球偵測結果來計算校正量。

具體而言，第4圖為本發明實施例眼球追蹤系統1進行一第三校正程序的情境圖。於本實施例中，處理裝置14可根據所有觀影者在觀看片段F1的眼球偵測結果，經由統計得知所有觀影者的注視座標的分布狀態。於片段F1中，其含有兩個顯示目標，由於片段F1對應的所有注視座標分布不集中，故判斷片段F1不是關鍵片段。於片段F2中，其含有一個顯示目標，但片段F2對應的所有注視座標分布不集中，故判斷片段F2不是關鍵片段。於片段F3中，其含有一個顯示目標，由於片段F3對應的所有注視座標分布集中，故判斷片段F3是關鍵片段（由此可知片段F3的顯示目標的吸睛度較高）。

假設影片中含有J個關鍵片段K1～KJ，處理裝置14可針對個別觀影者在關鍵片段對應的眼球偵測結果來計算注視座標與顯示座標的座標偏移KCAL1～KCALJ，再將座標偏移KCAL1～KCALJ取平均值，以計算一平均座標校正量KCAL_AVG。最後，處理裝置14可根據平均座標校正量KCAL_AVG，將視覺範圍R_EYE映射到顯示範圍R_DIS，以完成觀影後的校正程序。

綜上所述，本發明的眼球追蹤系統可在觀影後，統計所有注視座標的分布區域，藉由比較該分布區域與已知的螢幕顯示區域來計算校正量，進而根據該校正量將視覺範圍映射到螢幕的顯示範圍，以確保後續分析注視程度的準確率。以上所述僅為本發明之較佳實施例，凡依本發明申請專利範圍所做之均等變化與修飾，皆應屬本發明之涵蓋範圍。

1‧‧‧眼球追蹤系統

10‧‧‧螢幕

12‧‧‧眼球偵測裝置

14‧‧‧處理裝置

T1～TN‧‧‧顯示目標

F1～FN‧‧‧片段

E1～EN‧‧‧眼球偵測結果

R_EYE‧‧‧視覺範圍

R_DIS‧‧‧顯示範圍

R_CAL‧‧‧校正量

30‧‧‧流程

300、301、302、303、304、305‧‧‧步驟

K1～KJ‧‧‧關鍵片段

KCAL1～KCALJ‧‧‧座標偏移

KCAL_AVG‧‧‧平均座標校正量

J‧‧‧數量

第1圖為本發明實施例一眼球追蹤系統進行一第一校正程序（觀影前）的情境圖。第2圖為本發明實施例第1圖的眼球追蹤系統進行一第二校正程序（觀影後）的情境圖。第3圖為本發明實施例一流程的流程圖。第4圖為本發明實施例第1圖的眼球追蹤系統進行一第三校正程序（觀影後）的情境圖。

Claims

一種視覺範圍映射方法，用於一眼球追蹤系統，包含有：從該眼球追蹤系統的一第一眼球追蹤裝置接收複數個第一眼球偵測結果，以及從該眼球追蹤系統的一顯示裝置接收複數個顯示座標；根據該複數個第一眼球偵測結果對應的複數個第一注視座標及該複數個顯示座標，計算複數個座標校正量；以及根據該複數個座標校正量，將該複數個第一注視座標對應的一視覺範圍映射到該顯示裝置對應的一顯示範圍。
如請求項1所述的方法，其中該複數個第一眼球偵測結果對應複數個第一注視座標範圍，該顯示裝置顯示的複數個顯示目標對應複數個顯示座標範圍，且該方法另包含：根據該複數個第一注視座標範圍及該顯示座標範圍，計算複數個座標校正範圍；以及根據該複數個座標校正範圍，將該複數個第一眼球偵測結果對應的該視覺範圍映射到該顯示裝置對應的該顯示範圍。
如請求項1所述的方法，其另包含：根據該複數個第一眼球偵測結果對應的該複數個第一注視座標，判斷一分布區域；以及根據該分布區域，產生該視覺範圍。
如請求項1所述的方法，其中該顯示裝置用來播放複數個片段，該複數個片段對應該複數個顯示座標，該方法另包含：從該眼球追蹤系統的一第二眼球追蹤裝置接收複數個第二眼球偵測結果，其中該複數個第二眼球偵測結果對應複數個第二注視座標；根據該複數個第一注視座標及該複數個第二注視座標，判斷該複數個片段中的至少一關鍵片段；比較該至少一關鍵片段對應的至少一顯示座標以及該至少一關鍵片段對應的至少一第一注視座標，產生至少一座標校正量；根據該至少一座標校正量，計算一平均座標校正量；以及根據該平均座標校正量，將該視覺範圍映射到該顯示範圍。
如請求項4所述的方法，其中根據該複數個第一注視座標及該複數個第二注視座標，判斷該複數個片段中的該至少一關鍵片段的步驟包含：當該複數個第一注視座標中的一者以及該複數個第二注視座標中的一者在該複數個片段中的一者是集中分布時，判斷該複數個片段中的一者是關鍵片段；以及當該複數個第一注視座標中的一者以及該複數個第二注視座標中的一者在該複數個片段中的一者不是集中分布時，判斷該複數個片段中的一者不是關鍵片段。
一種眼球追蹤系統，用來進行視覺範圍映射，包含有：一顯示裝置，用來播放複數個片段；一第一眼球偵測裝置，用來在該顯示裝置播放該複數個片段時，對應產生複數個第一眼球偵測結果；以及一處理裝置，耦接於該顯示裝置及該第一眼球偵測裝置，用來根據該複數個片段以及該複數個第一眼球偵測結果，進行一視覺範圍映射流程，其中該流程包含：從該第一眼球追蹤裝置接收該複數個第一眼球偵測結果，以及從該顯示裝置接收複數個顯示座標；根據該複數個第一眼球偵測結果對應的複數個第一注視座標及該複數個顯示座標，計算複數個座標校正量；以及根據該複數個座標校正量，將該複數個第一注視座標對應的一視覺範圍映射到該顯示裝置對應的一顯示範圍。
如請求項6所述的系統，其中該複數個第一眼球偵測結果對應複數個第一注視座標範圍，該顯示裝置顯示的複數個顯示目標對應該複數個顯示座標範圍，且該流程另包含：根據該複數個第一注視座標範圍及該顯示座標範圍，計算複數個座標校正範圍；以及根據該複數個座標校正範圍，將該複數個第一眼球偵測結果對應的該視覺範圍映射到該顯示裝置對應的該顯示範圍。
如請求項6所述的系統，其中該流程另包含：根據該複數個第一眼球偵測結果對應的該複數個第一注視座標，判斷一分布區域；以及根據該分布區域，產生該視覺範圍。
如請求項6所述的系統，其中該流程另包含：從該眼球追蹤系統的一第二眼球追蹤裝置接收複數個第二眼球偵測結果，其中該複數個第二眼球偵測結果對應複數個第二注視座標；根據該複數個第一注視座標及該複數個第二注視座標，判斷該複數個片段中的至少一關鍵片段；比較該至少一關鍵片段對應的至少一顯示座標以及該至少一關鍵片段對應的至少一第一注視座標，產生至少一座標校正量；根據該至少一座標校正量，計算一平均座標校正量；以及根據該平均座標校正量，將該視覺範圍映射到該顯示範圍。
如請求項9所述的系統，其中根據該複數個第一注視座標及該複數個第二注視座標，判斷該複數個片段中的該至少一關鍵片段的步驟另包含：當該複數個第一注視座標中的一者以及該複數個第二注視座標中的一者在該複數個片段中的一者是集中分布時，判斷該複數個片段中的一者是關鍵片段；以及當該複數個第一注視座標中的一者以及該複數個第二注視座標中的一者在該複數個片段中的一者不是集中分布時，判斷該複數個片段中的一者不是關鍵片段。
一種電子裝置，用於一眼球追蹤系統，用來進行視覺範圍映射，其中該眼球追蹤系統包含一顯示裝置以及一第一眼球追蹤裝置，該電子裝置包含有：一處理器；以及一記憶體，耦接於該處理器，用來儲存一程式碼，其中該程式碼指示該處理器根據該顯示裝置產生的複數個顯示座標以及該第一眼球追蹤裝置產生的複數個第一眼球偵測結果，進行一視覺範圍映射流程，其中該流程包含：從該第一眼球追蹤裝置接收該複數個第一眼球偵測結果，以及從該顯示裝置接收該複數個顯示座標；根據該複數個第一眼球偵測結果對應的複數個第一注視座標及該複數個顯示座標，計算複數個座標校正量；以及根據該複數個座標校正量，將該複數個第一注視座標對應的一視覺範圍映射到該顯示裝置對應的一顯示範圍。
如請求項11所述的電子裝置，其中該複數個第一眼球偵測結果對應複數個第一注視座標範圍，該顯示裝置顯示的複數個顯示目標對應複數個顯示座標範圍，且該流程另包含：根據該複數個第一注視座標範圍及該顯示座標範圍，計算複數個座標校正範圍；以及根據該複數個座標校正範圍，將該複數個第一眼球偵測結果對應的該視覺範圍映射到該顯示裝置對應的該顯示範圍。
如請求項11所述的電子裝置，其中該流程另包含：根據該複數個第一眼球偵測結果對應的該複數個第一注視座標，判斷一分布區域；以及根據該分布區域，產生該視覺範圍。
如請求項11所述的電子裝置，其中該流程另包含：從該眼球追蹤系統的一第二眼球追蹤裝置接收複數個第二眼球偵測結果，其中該複數個第二眼球偵測結果對應複數個第二注視座標；根據該複數個第一注視座標及該複數個第二注視座標，判斷該複數個片段中的至少一關鍵片段；比較該至少一關鍵片段對應的至少一顯示座標以及該至少一關鍵片段對應的至少一第一注視座標，產生至少一座標校正量；根據該至少一座標校正量，計算一平均座標校正量；以及根據該平均座標校正量，將該視覺範圍映射到該顯示範圍。
如請求項14所述的電子裝置，其中根據該複數個第一注視座標及該複數個第二注視座標，判斷該複數個片段中的該至少一關鍵片段的步驟另包含：當該複數個第一注視座標中的一者以及該複數個第二注視座標中的一者在該複數個片段中的一者是集中分布時，判斷該複數個片段中的一者是關鍵片段；以及當該複數個第一注視座標中的一者以及該複數個第二注視座標中的一者在該複數個片段中的一者不是集中分布時，判斷該複數個片段中的一者不是關鍵片段。