TWI642030B - 視覺效用分析方法及相關眼球追蹤裝置與系統 - Google Patents
視覺效用分析方法及相關眼球追蹤裝置與系統 Download PDFInfo
- Publication number
- TWI642030B TWI642030B TW106126864A TW106126864A TWI642030B TW I642030 B TWI642030 B TW I642030B TW 106126864 A TW106126864 A TW 106126864A TW 106126864 A TW106126864 A TW 106126864A TW I642030 B TWI642030 B TW I642030B
- Authority
- TW
- Taiwan
- Prior art keywords
- segments
- unicorn
- display
- display target
- time
- Prior art date
Links
- 230000000007 visual effect Effects 0.000 title claims abstract description 85
- 238000004458 analytical method Methods 0.000 title claims abstract description 22
- 210000005252 bulbus oculi Anatomy 0.000 claims abstract description 79
- 238000001514 detection method Methods 0.000 claims abstract description 68
- 210000001508 eye Anatomy 0.000 claims abstract description 24
- 238000000034 method Methods 0.000 claims description 30
- 238000012545 processing Methods 0.000 claims description 22
- 238000013135 deep learning Methods 0.000 claims description 5
- 239000012634 fragment Substances 0.000 description 7
- 238000010586 diagram Methods 0.000 description 5
- 230000004044 response Effects 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 210000001747 pupil Anatomy 0.000 description 2
- 238000012552 review Methods 0.000 description 2
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000004424 eye movement Effects 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
- H04N21/44213—Monitoring of end-user related data
- H04N21/44218—Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
- H04N21/466—Learning process for intelligent management, e.g. learning user preferences for recommending movies
- H04N21/4667—Processing of monitored end-user data, e.g. trend analysis based on the log file of viewer selections
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Social Psychology (AREA)
- Computer Networks & Wireless Communication (AREA)
- Eye Examination Apparatus (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
一種視覺效用分析方法，用於一眼球追蹤系統，包含有將複數個片段的每一者分割為至少一顯示區域，其中該複數個片段的每一者對應至少一顯示目標，且該至少一顯示目標分別對應該至少一顯示區域中的一者；判斷該眼球追蹤系統的一眼球偵測裝置產生的複數個眼球偵測結果分別對應的注視區域；以及比較該至少一顯示目標於該複數個片段中對應的該顯示區域與該複數個眼球偵測結果分別對應的該注視區域，以判斷該至少一顯示目標於該複數個片段的該複數個視覺效用。
Description
本發明是指一種視覺效用分析方法及相關眼球追蹤裝置與系統，尤指一種可直接由觀影者的反應來評價顯示目標的視覺效用分析方法及相關眼球追蹤裝置與系統。
眼球追蹤(Eye tracking)技術可用來偵測觀影者眼球運動(例如，注視時間、注視點的順序、瞳孔大小等)，以追蹤觀影者的注視目標。在實際應用中，眼球追蹤裝置可應用在視覺效用的檢測，用來記錄觀影者觀看網頁、廣告或影片時的注視資料，據以審查網頁、廣告或影片中最常被觀眾注視的顯示目標，進而審查視覺效用(例如，顯示目標的吸睛度、受歡迎程度)。
舉例來說，電影片商可根據演員在電影中的注視程度來判斷受歡迎程度，以決定演員片酬；或是根據觀影者的觀賞習慣來做攝影構圖分析。廣告贊助商可根據廣告產品在電影中的注視程度來判斷置入性行銷的效果，以決定贊助金額；或是根據觀影者的觀賞習慣來決定廣告產品在電影畫面中的位置。此外，視覺效用分析可用來篩選影片中的關鍵片段(或劇情橋段)，以作為影片剪輯的衡量依據，例如剪輯者可保留電影毛片中的關鍵片段(或劇情橋段)並
刪減非關鍵片段，以確保影片整體吸睛度。
因此，如何提供一種視覺效用分析方法及相關眼球追蹤系統，用來分析顯示目標(例如，演員、廣告產品)在影片中的視覺效用，實乃本領域的新興課題。
因此，本發明的主要目的即在於提供一種視覺效用分析方法及相關眼球追蹤裝置與系統，用來分析顯示目標在影片中的視覺效用。
本發明揭露一種視覺效用分析方法，用於一眼球追蹤系統，其中該系統包含一螢幕以及一眼球偵測裝置，該方法包含有將複數個片段的每一者分割為至少一顯示區域，其中該複數個片段的每一者對應至少一顯示目標，且該至少一顯示目標分別對應該至少一顯示區域中的一者；根據該眼球追蹤系統的一眼球偵測裝置產生的複數個眼球偵測結果，判斷該複數個眼球偵測結果分別對應的注視區域；以及比較該至少一顯示目標於該複數個片段中對應的該顯示區域與該複數個眼球偵測結果分別對應的該注視區域，以判斷該至少一顯示目標於該複數個片段的複數個視覺效用。
本發明另揭露一種眼球追蹤系統，用來進行視覺效用分析，包含有一螢幕、一眼球偵測裝置以及一處理裝置。該螢幕用來播放複數個片段，其中該複數個片段的每一者對應至少一顯示目標，且該至少一顯示目標分別對應該螢幕的至少一顯示區域中的一者。該眼球偵測裝置用來在該螢幕播放該複數個片段時，對應產生複數個眼球偵測結果。該處理裝置耦接於該螢幕及該眼球偵
測裝置，用來根據該複數個片段以及該複數個眼球偵測結果，進行一視覺效用分析流程，以判斷複數個視覺效用。該流程包含將複數個片段的每一者分割為至少一顯示區域，其中該複數個片段的每一者對應至少一顯示目標，且該至少一顯示目標分別對應該至少一顯示區域中的一者；根據該眼球追蹤系統的一眼球偵測裝置產生的複數個眼球偵測結果，判斷該複數個眼球偵測結果分別對應的注視區域；以及比較該至少一顯示目標於該複數個片段中對應的該顯示區域與該複數個眼球偵測結果分別對應的該注視區域，以判斷該至少一顯示目標於該複數個片段的複數個視覺效用。
本發明另揭露一種電子裝置，用於一眼球追蹤系統，用來進行視覺效用分析，其中該眼球追蹤系統包含一螢幕以及一眼球追蹤裝置，該電子裝置包含有一處理器；以及一記憶體，耦接於該處理器，用來儲存一程式碼，其中該程式碼指示該處理器根據該螢幕播放的複數個片段以及該眼球追蹤裝置產生的複數個眼球偵測結果，進行一視覺效用分析流程，以判斷複數個視覺效用。該流程包含將複數個片段的每一者分割為至少一顯示區域，其中該複數個片段的每一者對應至少一顯示目標，且該至少一顯示目標分別對應該至少一顯示區域中的一者；根據該眼球追蹤系統的一眼球偵測裝置產生的複數個眼球偵測結果，判斷該複數個眼球偵測結果分別對應的注視區域；以及比較該至少一顯示目標於該複數個片段中對應的該顯示區域與該複數個眼球偵測結果分別對應的該注視區域，以判斷該至少一顯示目標於該複數個片段的複數個視覺效用。
本發明的眼球追蹤系統可比較顯示目標的顯示區域與觀影者的注視區域是否相同，直接由觀影者的反應來評價顯示目標(演員、廣告產品、劇情橋段)在影片中的視覺效用，以作為片商及廣告商衡量顯示目標的受歡迎程度
及貢獻程度的參考依據。
1‧‧‧眼球追蹤系統
10‧‧‧螢幕
12‧‧‧眼球偵測裝置
14‧‧‧處理裝置
F1~FN‧‧‧片段
E1~EN‧‧‧眼球偵測結果
U1~UN‧‧‧視覺效用
TX‧‧‧顯示目標
WX‧‧‧注視座標
A1、A2、A3、A4‧‧‧顯示區域
40‧‧‧流程
400、401、402、403、404‧‧‧步驟
第1圖為本發明實施例一眼球追蹤系統的示意圖。
第2圖為本發明實施例第1圖的眼球追蹤系統的操作情境圖。
第3圖為本發明實施例第1圖的眼球追蹤系統的操作情境圖。
第4圖為本發明實施例一視覺效用分析流程的流程圖。
第1圖為本發明實施例一眼球追蹤系統1的示意圖。眼球追蹤系統1包含一螢幕10、一眼球偵測裝置12以及一處理裝置14。眼球追蹤系統1可用於電影院、視聽室等場所，用來蒐集觀影者在影片中各個片段的注視資料，並結合顯示目標(例如，演員、廣告產品等)在各個片段的位置，分析顯示目標在影片中的注視程度及視覺效用。
如第1圖所示，以電影院為例，眼球偵測裝置12可設置於觀影者的座位與螢幕10之間，用來追蹤該位觀影者的眼球運動(例如，眼球的注視時間、移動位置及瞳孔大小等)。螢幕10可以是一顯示裝置(例如電視，投影機與投影屏幕等)，用來顯示一影片，影片包含複數個片段F1~FN，其中複數個片段F1~FN的每一者含有至少一顯示目標TX。
眼球偵測裝置12用來在螢幕10播放複數個片段F1~FN時，分別產生複數個眼球偵測結果E1~EN，其中複數個眼球偵測結果E1~EN分別對應複數個
注視座標W1~WN。
處理裝置14耦接於螢幕10及眼球偵測裝置12，用來根據複數個片段F1~FN及複數個眼球偵測結果E1~EN，判斷至少一顯示目標TX在片段F1~FN中的複數個視覺效用U1~UN。詳細來說，以片段FX及其對應的眼球偵測結果EX為例，處理裝置14可根據片段FX的顯示目標TX在螢幕10的顯示座標，判斷顯示目標TX對應的顯示區域，並根據眼球偵測結果EX對應的注視座標WX，判斷注視座標WX對應的注視區域。處理裝置14可比較顯示目標TX對應的顯示區域與注視座標WX對應的注視區域，判斷顯示目標TX的視覺效用UX。例如，當顯示目標TX對應的顯示區域與注視座標WX對應的注視區域相同時，則顯示目標TX的視覺效用UX為有效；反之，當顯示目標TX對應的顯示區域與注視座標WX對應的注視區域不同時，則顯示目標TX的視覺效用UX為無效。藉由統計視覺效用U1~UN的有效率及無效率，可得知顯示目標TX在片段F1~FN中的總注視率。
因此，眼球追蹤系統1可根據觀影者的實際反應來分析顯示目標的視覺效用，以作為電影片商衡量演員的受歡迎程度及貢獻程度的參考依據。
於一實施例中，由於人類雙眼可注視一視覺範圍，因此複數個眼球偵測結果E1~EN可分別對應複數個注視座標範圍。於一實施例中，處理裝置14可以是獨立的電子裝置，也可與螢幕10或眼球偵測裝置12整合為一電子裝置。
第2圖及第3圖為本發明實施例眼球追蹤系統1進行視覺效用分析的情境圖。於本實施例中，在正式播放影片前，處理裝置14可透過執行深度學習演算法(例如，透過建立類神經網路模型，執行深度學習人臉辨識)，對影片進
行分析，例如判斷影片中含有顯示目標的片段F1~FN，並辨識顯示目標的相關資訊，例如辨識片段中分別有幾個演員、演員姓名以及演員出現在螢幕10的座標及區域等資訊。
於一實施例中，處理裝置14可將片段F1~FN的畫面(例如，螢幕10的顯示範圍)分別分割為至少一顯示區域，其中片段F1~FN的每一者分別對應至少一顯示目標，且至少一顯示目標分別對應至少一顯示區域中的一者。
一般而言，視覺構圖常將顯示目標安置於整個畫面的三分之一分割線附近(又稱，三分法或井字構圖法)，因此顯示目標常出現在三分之一割線的四個交點處。據此，於本實施例中，可將螢幕10的顯示範圍分割為四個顯示區域A1、A2、A3及A4。
如第2圖所示，在播放影片前，處理裝置14可判斷演員出現在螢幕10的左上角顯示區域A1。當螢幕10播放片段FX時，眼球偵測裝置12可即時產生眼球偵測結果EX至處理裝置14，讓處理裝置14據以判斷注視座標WX對應的注視區域為螢幕10的右上角顯示區域A2。於本實施例中，處理裝置14判斷顯示目標TX對應的顯示區域A1與判斷注視座標WX對應的注視區域A2不同，因此判斷顯示目標TX的視覺效用UX為無效(即，觀影者觀看片段FX時沒有注視該演員)。值得注意的是，將螢幕10的顯示範圍分割為至少一顯示區域的做法，可避免眼球偵測結果的注視座標與顯示目標的顯示座標間的映射(Mapping)誤差所導致的視覺效用誤判。
如第3圖所示，當影片播放完畢，處理裝置14可根據視覺效用U1~
UN，判斷顯示目標的總注視率及非獨角注視率(non-solo watched rate)中的至少一者。總注視率等於總注視時間與總出現時間的比值，而非獨角注視率等於非獨角注視時間與非獨角出現時間的比值，其中總出現時間包含獨角及非獨角出現時間。
詳細來說，處理裝置14可根據視覺效用U1~UN中的有效視覺效用，統計演員被注視的總注視時間(即，單人片段加上多人片段的總注視時間)，藉由計算總注視時間與總出現時間(即，所有片段F1~FN的總播放時間)的比值，可得知該演員的總注視率。詳細來說，當片段F1~FN的片段FX含有一顯示目標時，則片段FX為一獨角片段，獨角出現時間等於片段F1~FN中所有獨角片段FX的時間總和，且獨角注視時間等於片段F1~FN中所有對應有效視覺效用的獨角片段的時間總和。
此外，處理裝置14可根據視覺效用U1~UN中的有效注視結果，統計該演員與另一演員同時演出時，該演員被注視的所有片段的非獨角出現時間(即，多人片段的總播放時間)，藉由計算非獨角注視時間與非獨角出現時間的比值，可得知該演員的非獨角注視率。詳細來說，當片段F1~FN的一片段FX含有複數個顯示目標時，則片段FX為一非獨角片段，非獨角出現時間等於片段F1~FN中所有非獨角片段的時間總和，且非獨角注視時間等於片段F1~FN中所有對應有效視覺效用的非獨角片段的時間總和。
舉例來說，如下表格1為一視覺效用分析範例，比較演員A與B的視覺效用分析結果可知，演員A與演員B的總注視率相等，但演員A的非獨角注視率大於演員B的非獨角注視率，故當演員A與B同時出現在畫面中，較多觀影者會
注視演員A，因此演員A視覺效用(吸睛度)較高。此外，演員C的總注視率及非獨角注視率皆最低，因此演員C的視覺效用最低。
因此，眼球追蹤系統1可根據觀影者的實際反應來分析顯示目標的視覺效用，以作為電影片商衡量演員的受歡迎程度及貢獻程度的參考依據。
上述關於眼球追蹤系統1的操作方式可歸納為一流程40，如第4圖所示，流程40可儲存到一記憶裝置，用來指示處理裝置14執行視覺效用分析程序。流程40包含以下步驟。
步驟400：開始。
步驟401：將複數個片段的畫面分別分割為至少一顯示區域，其中該複數個片段的每一者對應至少一顯示目標，且該至少一顯示目標分別對應該至少一顯示區域中的一者。
步驟402：判斷該複數個眼球偵測結果分別對應的注視區域。
步驟403：比較該至少一顯示目標對應的該顯示區域與該複數個注視座標分別對應的注視區域，以判斷該至少一顯示目標於該複數個片段的視覺效用。
步驟404：結束。
關於流程40的詳細操作方式可參考第1~3圖的相關說明，於此不贅述。
綜上所述，本發明的眼球追蹤系統可比較顯示目標的顯示區域與觀影者的注視區域是否相同，直接由觀影者的反應來評價顯示目標(演員、廣告產品、劇情橋段)在影片中的視覺效用，以作為片商及廣告商衡量顯示目標的受歡迎程度及貢獻程度的參考依據。以上所述僅為本發明之較佳實施例，凡依本發明申請專利範圍所做之均等變化與修飾，皆應屬本發明之涵蓋範圍。
Claims (22)
- 一種視覺效用分析方法，用於一眼球追蹤系統，其中該系統包含一螢幕以及一眼球偵測裝置，該方法包含有：將複數個片段的每一者分割為至少一顯示區域，其中該複數個片段的每一者對應至少一顯示目標，且該至少一顯示目標分別對應該至少一顯示區域中的一者；根據該眼球追蹤系統的一眼球偵測裝置產生的複數個眼球偵測結果，判斷該複數個眼球偵測結果分別對應的注視區域；以及比較該至少一顯示目標於該複數個片段中對應的該顯示區域與該複數個眼球偵測結果分別對應的該注視區域，以判斷該至少一顯示目標於該複數個片段的複數個視覺效用。
- 如請求項1所述的方法，其另包含：根據該複數個片段的該至少一顯示目標對應該螢幕的複數個顯示座標，判斷該至少一顯示目標對應的該顯示區域。
- 如請求項1所述的方法，其中該複數個眼球偵測結果分別對應複數個注視座標，且比較該至少一顯示目標於該複數個片段中對應的該顯示區域與該複數個眼球偵測結果分別對應的該注視區域，以判斷該至少一顯示目標於該複數個片段的複數個視覺效用的步驟包含：根據該複數個眼球偵測結果分別對應的該複數個注視座標，判斷該複數個注視座標分別對應的複數個注視區域；當該至少一顯示目標於該複數個片段的一者對應的該顯示區域與該複數個注視座標的一者對應的該注視區域相同時，判斷該至少一顯示目標的該複數個視覺效用的一者為有效視覺效用；以及當該至少一顯示目標於該複數個片段的一者對應的該顯示區域與該複數個注視座標的一者對應的該注視區域不同時，判斷該至少一顯示目標的該複數個視覺效用的一者為無效視覺效用。
- 如請求項1所述的方法，其另包含：根據該複數個視覺效用，判斷該至少一顯示目標的一總注視率及一非獨角注視率中的至少一者，其中該總注視率等於一總注視時間與一總出現時間的比值，而該非獨角注視率等於一非獨角注視時間與一非獨角出現時間的比值，其中該總出現時間包含該至少一顯示目標的一獨角出現時間及一非獨角出現時間。
- 如請求項4所述的方法，其中當該複數個片段的一片段含有一顯示目標時，該片段為一獨角片段，該獨角出現時間等於該複數個片段中所有該獨角片段的時間總和，且該獨角注視時間等於該複數個片段中所有對應有效視覺效用的該獨角片段的時間總和。
- 如請求項4所述的方法，其中當該複數個片段的一片段含有複數個顯示目標時，該片段為一非獨角片段，該非獨角出現時間等於該複數個片段中所有該非獨角片段的時間總和，且該非獨角注視時間等於該複數個片段中所有對應有效視覺效用的該非獨角片段的時間總和。
- 如請求項1所述的方法，其另包含：對一影片進行深度學習演算法，以判斷該影片中含有該至少一顯示目標的該複數個片段。
- 一種眼球追蹤系統，用來進行視覺效用分析，包含有：一螢幕，用來播放複數個片段，其中該複數個片段的每一者對應至少一顯示目標，且該至少一顯示目標分別對應該螢幕的至少一顯示區域中的一者；一眼球偵測裝置，用來在該螢幕播放該複數個片段時，對應產生複數個眼球偵測結果；以及一處理裝置，耦接於該螢幕及該眼球偵測裝置，用來根據該複數個片段以及該複數個眼球偵測結果，進行一視覺效用分析流程，以判斷複數個視覺效用，其中該流程包含：將複數個片段的每一者分割為至少一顯示區域，其中該複數個片段的每一者對應至少一顯示目標，且該至少一顯示目標分別對應該至少一顯示區域中的一者；根據該眼球追蹤系統的一眼球偵測裝置產生的複數個眼球偵測結果，判斷該複數個眼球偵測結果分別對應的注視區域；以及比較該至少一顯示目標於該複數個片段中對應的該顯示區域與該複數個眼球偵測結果分別對應的該注視區域，以判斷該至少一顯示目標於該複數個片段的複數個視覺效用。
- 如請求項8所述的系統，其中該流程另包含：根據該複數個片段的該至少一顯示目標對應該螢幕的複數個顯示座標，判斷該至少一顯示目標對應的該顯示區域。
- 如請求項8所述的系統，其中該複數個眼球偵測結果分別對應複數個注視座標，且比較該至少一顯示目標於該複數個片段中對應的該顯示區域與該複數個眼球偵測結果分別對應的該注視區域，以判斷該至少一顯示目標於該複數個片段的複數個視覺效用的步驟包含：根據該複數個眼球偵測結果分別對應的該複數個注視座標，判斷該複數個注視座標分別對應的複數個注視區域；當該至少一顯示目標於該複數個片段的一者對應的該顯示區域與該複數個注視座標的一者對應的該注視區域相同時，判斷該至少一顯示目標的該複數個視覺效用的一者為有效視覺效用；以及當該至少一顯示目標於該複數個片段的一者對應的該顯示區域與該複數個注視座標的一者對應的該注視區域不同時，判斷該至少一顯示目標的該複數個視覺效用的一者為無效視覺效用。
- 如請求項8所述的系統，其中該流程另包含：根據該複數個視覺效用，判斷該至少一顯示目標的一總注視率及一非獨角注視率中的至少一者，其中該總注視率等於一總注視時間與一總出現時間的比值，而該非獨角注視率等於一非獨角注視時間與一非獨角出現時間的比值，其中該總出現時間包含該至少一顯示目標的一獨角出現時間及一非獨角出現時間。
- 如請求項11所述的系統，其中當該複數個片段的一片段含有一顯示目標時，該片段為一獨角片段，該獨角出現時間等於該複數個片段中所有該獨角片段的時間總和，且該獨角注視時間等於該複數個片段中所有對應有效視覺效用的該獨角片段的時間總和。
- 如請求項11所述的系統，其中當該複數個片段的一片段含有複數個顯示目標時，該片段為一非獨角片段，該非獨角出現時間等於該複數個片段中所有該非獨角片段的時間總和，且該非獨角注視時間等於該複數個片段中所有對應有效視覺效用的該非獨角片段的時間總和。
- 如請求項8所述的系統，其中該處理裝置另用來對一影片進行深度學習演算法，以判斷該影片中含有該至少一顯示目標的該複數個片段。
- 如請求項8所述的系統，其中該處理裝置整合於該螢幕或該眼球偵測裝置。
- 一種電子裝置，用於一眼球追蹤系統，用來進行視覺效用分析，其中該眼球追蹤系統包含一螢幕以及一眼球追蹤裝置，該電子裝置包含有：一處理器；以及一記憶體，耦接於該處理器，用來儲存一程式碼，其中該程式碼指示該處理器根據該螢幕播放的複數個片段以及該眼球追蹤裝置產生的複數個眼球偵測結果，進行一視覺效用分析流程，以判斷複數個視覺效用，其中該流程包含：將複數個片段的每一者分割為至少一顯示區域，其中該複數個片段的每一者對應至少一顯示目標，且該至少一顯示目標分別對應該至少一顯示區域中的一者；根據該眼球追蹤系統的一眼球偵測裝置產生的複數個眼球偵測結果，判斷該複數個眼球偵測結果分別對應的注視區域；以及比較該至少一顯示目標於該複數個片段中對應的該顯示區域與該複數個眼球偵測結果分別對應的該注視區域，以判斷該至少一顯示目標於該複數個片段的複數個視覺效用。
- 如請求項16所述的電子裝置，其中該流程另包含：根據該複數個片段的該至少一顯示目標對應該螢幕的複數個顯示座標，判斷該至少一顯示目標對應的該顯示區域。
- 如請求項16所述的電子裝置，其中該複數個眼球偵測結果分別對應複數個注視座標，且比較該至少一顯示目標於該複數個片段對應的該顯示區域與該複數個眼球偵測結果分別對應的該注視區域，以判斷該至少一顯示目標於該複數個片段的複數個視覺效用的步驟包含：根據該複數個眼球偵測結果分別對應的該複數個注視座標，判斷該複數個注視座標分別對應的複數個注視區域；當該至少一顯示目標於該複數個片段的一者對應的該顯示區域與該複數個注視座標的一者對應的該注視區域相同時，判斷該至少一顯示目標的該複數個視覺效用的一者為有效視覺效用；以及當該至少一顯示目標於該複數個片段的一者對應的該顯示區域與該複數個注視座標的一者對應的該注視區域不同時，判斷該至少一顯示目標的該複數個視覺效用的一者為無效視覺效用。
- 如請求項16所述的電子裝置，其中該流程另包含：根據該複數個視覺效用，判斷該至少一顯示目標的一總注視率及一非獨角注視率中的至少一者，其中該總注視率等於一總注視時間與一總出現時間的比值，而該非獨角注視率等於一非獨角注視時間與一非獨角出現時間的比值，其中該總出現時間包含該至少一顯示目標的一獨角出現時間及一非獨角出現時間。
- 如請求項19所述的電子裝置，其中當該複數個片段的一片段含有一顯示目標時，該片段為一獨角片段，該獨角出現時間等於該複數個片段中所有該獨角片段的時間總和，且該獨角注視時間等於該複數個片段中所有對應有效視覺效用的該獨角片段的時間總和。
- 如請求項19所述的電子裝置，其中當該複數個片段的一片段含有複數個顯示目標時，該片段為一非獨角片段，該非獨角出現時間等於該複數個片段中所有該非獨角片段的時間總和，且該非獨角注視時間等於該複數個片段中所有對應有效視覺效用的該非獨角片段的時間總和。
- 如請求項16所述的電子裝置，其中該處理裝置另用來對一影片進行深度學習演算法，以判斷該影片中含有該至少一顯示目標的該複數個片段。
Priority Applications (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| TW106126864A TWI642030B (zh) | 2017-08-09 | 2017-08-09 | 視覺效用分析方法及相關眼球追蹤裝置與系統 |
| CN201710944727.9A CN109388232B (zh) | 2017-08-09 | 2017-10-12 | 视觉效用分析方法及相关眼球追踪装置与系统 |
| US15/935,048 US10506284B2 (en) | 2017-08-09 | 2018-03-25 | Visual utility analytic method and related eye tracking device and system |
| EP18170492.5A EP3441850A1 (en) | 2017-08-09 | 2018-05-03 | Visual utility analytic method and related eye tracking device and system |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| TW106126864A TWI642030B (zh) | 2017-08-09 | 2017-08-09 | 視覺效用分析方法及相關眼球追蹤裝置與系統 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| TWI642030B true TWI642030B (zh) | 2018-11-21 |
| TW201911234A TW201911234A (zh) | 2019-03-16 |
Family
ID=62217723
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| TW106126864A TWI642030B (zh) | 2017-08-09 | 2017-08-09 | 視覺效用分析方法及相關眼球追蹤裝置與系統 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US10506284B2 (zh) |
| EP (1) | EP3441850A1 (zh) |
| CN (1) | CN109388232B (zh) |
| TW (1) | TWI642030B (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11076202B2 (en) * | 2018-04-05 | 2021-07-27 | International Business Machines Corporation | Customizing digital content based on consumer context data |
| CN110337032A (zh) * | 2019-06-11 | 2019-10-15 | 福建天泉教育科技有限公司 | 基于关注度的视频播放方法、存储介质 |
| CN110248241B (zh) * | 2019-06-11 | 2021-06-04 | Oppo广东移动通信有限公司 | 视频处理方法及相关装置 |
| CN112130320A (zh) * | 2019-06-24 | 2020-12-25 | 宏碁股份有限公司 | 头戴型显示装置及其调整方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103645806A (zh) * | 2013-12-24 | 2014-03-19 | 惠州Tcl移动通信有限公司 | 一种基于眼球追踪的商品浏览方法及系统 |
| TWM518370U (zh) * | 2015-09-09 | 2016-03-01 | Heran Co Ltd | 互動式行動裝置導購系統 |
| TW201636957A (zh) * | 2015-04-08 | 2016-10-16 | 神雲科技股份有限公司 | 自動販賣機 |
| CN106920129A (zh) * | 2017-03-09 | 2017-07-04 | 山东师范大学 | 一种基于眼动追踪的网络广告效果测评系统及其方法 |
Family Cites Families (24)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7577916B2 (en) * | 2001-02-21 | 2009-08-18 | Fuji Xerox Co., Ltd. | Method and apparatus for management and representation of dynamic context |
| US6712468B1 (en) * | 2001-12-12 | 2004-03-30 | Gregory T. Edwards | Techniques for facilitating use of eye tracking data |
| WO2010045356A1 (en) * | 2008-10-14 | 2010-04-22 | Ohio University | Cognitive and linguistic assessment using eye tracking |
| WO2011074198A1 (ja) * | 2009-12-14 | 2011-06-23 | パナソニック株式会社 | ユーザインタフェース装置および入力方法 |
| US8371693B2 (en) * | 2010-03-30 | 2013-02-12 | National University Corporation Shizuoka University | Autism diagnosis support apparatus |
| WO2011152149A1 (ja) | 2010-06-03 | 2011-12-08 | 日本電気株式会社 | 領域推薦装置、領域推薦方法、及び記録媒体 |
| US8493390B2 (en) * | 2010-12-08 | 2013-07-23 | Sony Computer Entertainment America, Inc. | Adaptive displays using gaze tracking |
| JP5841538B2 (ja) * | 2011-02-04 | 2016-01-13 | パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ | 関心度推定装置および関心度推定方法 |
| EP2751988A1 (en) * | 2011-04-21 | 2014-07-09 | Sony Mobile Communications AB | Method and system for providing an improved audio experience for viewers of video |
| USH2282H1 (en) * | 2011-11-23 | 2013-09-03 | The United States Of America, As Represented By The Secretary Of The Navy | Automatic eye tracking control |
| US20130205314A1 (en) * | 2012-02-07 | 2013-08-08 | Arun Ramaswamy | Methods and apparatus to select media based on engagement levels |
| US20140007148A1 (en) * | 2012-06-28 | 2014-01-02 | Joshua J. Ratliff | System and method for adaptive data processing |
| US9996150B2 (en) * | 2012-12-19 | 2018-06-12 | Qualcomm Incorporated | Enabling augmented reality using eye gaze tracking |
| KR101847756B1 (ko) * | 2013-11-09 | 2018-04-10 | 선전 구딕스 테크놀로지 컴퍼니, 리미티드 | 광학 눈 추적 |
| KR20150054413A (ko) * | 2013-11-12 | 2015-05-20 | 삼성전자주식회사 | 시선 데이터에 따라 컨텐츠의 위치를 결정하는 전자 장치 및 방법 |
| US20150227735A1 (en) * | 2014-02-13 | 2015-08-13 | Robert Chappell | System and method for eye tracking authentication |
| US20150245103A1 (en) * | 2014-02-24 | 2015-08-27 | HotdotTV, Inc. | Systems and methods for identifying, interacting with, and purchasing items of interest in a video |
| US9530450B2 (en) * | 2014-03-18 | 2016-12-27 | Vixs Systems, Inc. | Video system with fovea tracking and methods for use therewith |
| US10620700B2 (en) * | 2014-05-09 | 2020-04-14 | Google Llc | Systems and methods for biomechanically-based eye signals for interacting with real and virtual objects |
| US10380657B2 (en) * | 2015-03-04 | 2019-08-13 | International Business Machines Corporation | Rapid cognitive mobile application review |
| US9898665B2 (en) * | 2015-10-29 | 2018-02-20 | International Business Machines Corporation | Computerized video file analysis tool and method |
| CN105426399A (zh) * | 2015-10-29 | 2016-03-23 | 天津大学 | 一种基于眼动的提取图像兴趣区域的交互式图像检索方法 |
| US9774895B2 (en) * | 2016-01-26 | 2017-09-26 | Adobe Systems Incorporated | Determining textual content that is responsible for causing a viewing spike within a video in a digital medium environment |
| US10691392B2 (en) * | 2017-04-17 | 2020-06-23 | Intel Corporation | Regional adjustment of render rate |
-
2017
- 2017-08-09 TW TW106126864A patent/TWI642030B/zh active
- 2017-10-12 CN CN201710944727.9A patent/CN109388232B/zh active Active
-
2018
- 2018-03-25 US US15/935,048 patent/US10506284B2/en active Active
- 2018-05-03 EP EP18170492.5A patent/EP3441850A1/en not_active Ceased
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103645806A (zh) * | 2013-12-24 | 2014-03-19 | 惠州Tcl移动通信有限公司 | 一种基于眼球追踪的商品浏览方法及系统 |
| TW201636957A (zh) * | 2015-04-08 | 2016-10-16 | 神雲科技股份有限公司 | 自動販賣機 |
| TWM518370U (zh) * | 2015-09-09 | 2016-03-01 | Heran Co Ltd | 互動式行動裝置導購系統 |
| CN106920129A (zh) * | 2017-03-09 | 2017-07-04 | 山东师范大学 | 一种基于眼动追踪的网络广告效果测评系统及其方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109388232A (zh) | 2019-02-26 |
| TW201911234A (zh) | 2019-03-16 |
| US20190052933A1 (en) | 2019-02-14 |
| EP3441850A1 (en) | 2019-02-13 |
| CN109388232B (zh) | 2021-11-30 |
| US10506284B2 (en) | 2019-12-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| TWI642030B (zh) | 視覺效用分析方法及相關眼球追蹤裝置與系統 | |
| Nielsen et al. | Missing the point: an exploration of how to guide users' attention during cinematic virtual reality | |
| CN103765346B (zh) | 基于眼睛凝视的用于音频视觉回放的位置选择 | |
| US11830161B2 (en) | Dynamically cropping digital content for display in any aspect ratio | |
| US9778740B2 (en) | Method and system for tracking an interest of a user within a panoramic visual content | |
| Mantiuk et al. | Gaze-dependent depth-of-field effect rendering in virtual environments | |
| Neate et al. | Mediating attention for second screen companion content | |
| Marañes et al. | Exploring the impact of 360 movie cuts in users’ attention | |
| CN108090789A (zh) | 电梯内广告播放设备针对性播放广告的方法，系统及广告投放设备 | |
| CN109154862B (zh) | 用于处理虚拟现实内容的装置、方法和计算机可读介质 | |
| Chang et al. | Virtual spotlighted advertising for tennis videos | |
| JP2023534045A (ja) | フォロワ視聴者向けのインフルエンサストリームのカスタマイゼーション | |
| JP6583996B2 (ja) | 映像評価装置、及びプログラム | |
| Glasser et al. | Mixed reality speaker identification as an accessibility tool for deaf and hard of hearing users | |
| Akahori et al. | Region-of-interest-based subtitle placement using eye-tracking data of multiple viewers | |
| Katti et al. | Online estimation of evolving human visual interest | |
| Cho et al. | RealityReplay: Detecting and Replaying Temporal Changes In Situ Using Mixed Reality | |
| Chang et al. | ViSA: virtual spotlighted advertising | |
| US11778155B2 (en) | Image processing apparatus, image processing method, and storage medium | |
| Hough et al. | Measurements of live actor motion in mixed reality interaction | |
| O'Sullivan | Collisions and attention | |
| Apfelbaum et al. | Inattentional blindness and augmented‐vision displays: effects of cartoon‐like filtering and attended scene | |
| Kusumoto et al. | Media experience of complementary information and tweets on a second screen | |
| TWI646466B (zh) | 視覺範圍映射方法及相關眼球追蹤裝置與系統 | |
| Martín et al. | A study of material sonification in touchscreen devices |