TW201514759A - 記錄閱讀行爲的方法及裝置 - Google Patents

記錄閱讀行爲的方法及裝置 Download PDF

Info

Publication number
TW201514759A
TW201514759A TW102136043A TW102136043A TW201514759A TW 201514759 A TW201514759 A TW 201514759A TW 102136043 A TW102136043 A TW 102136043A TW 102136043 A TW102136043 A TW 102136043A TW 201514759 A TW201514759 A TW 201514759A
Authority
TW
Taiwan
Prior art keywords
gaze
segment
eyeball
sight
module
Prior art date
Application number
TW102136043A
Other languages
English (en)
Other versions
TWI550438B (zh
Inventor
Chia-Chun Tsou
Po-Tsung Lin
Chia-Wen Kao
Original Assignee
Utechzone Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Utechzone Co Ltd filed Critical Utechzone Co Ltd
Priority to TW102136043A priority Critical patent/TWI550438B/zh
Priority to CN201410016802.1A priority patent/CN104516498B/zh
Priority to US14/179,555 priority patent/US9672421B2/en
Priority to JP2014202988A priority patent/JP5898747B2/ja
Publication of TW201514759A publication Critical patent/TW201514759A/zh
Application granted granted Critical
Publication of TWI550438B publication Critical patent/TWI550438B/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30041—Eye; Retina; Ophthalmic
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Ophthalmology & Optometry (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Eye Examination Apparatus (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

一種記錄閱讀行為的方法及裝置。基於眼動追蹤程序來追蹤使用者的眼球的移動軌跡，以在偵測到眼球的視線離開電子文件的注視片段時，計算注視片段的閱讀時間，或者當偵測到眼球持續注視於電子文件，而注視片段已閱讀完畢時，計算注視片段的閱讀時間。並且，記錄閱讀時間至與注視片段相對應的儲存空間。

Description

記錄閱讀行為的方法及裝置
本發明是有關於一種瀏覽電子文件的方法及裝置，且特別是有關於一種基於眼動追蹤的記錄閱讀行為的方法及裝置。
隨著資訊的數位化，愈來愈多傳統資訊介面被電子產品所取代。例如，數位相框和數位相機取代了傳統的相片和底片，而例如個人數位助理(Personal Digital Assistant，PDA)、智慧型手機、閱讀器等的電子產品，則成為了新一代的文件閱讀平台。使用者可以藉由在同一台攜帶型電子產品中存放多個電子書等電子文件，改善了傳統攜帶紙本書擊的不便性。並且，透過攜帶型電子產品可隨時來觀看其中的電子書。
而目前亦對應發展出幾種針對電子書的控制方法。例如，美國專利號US 7429108(專利文獻1)提出一種閱讀位置標記的方法。專利文獻1是一種利用眼球追蹤技術(gaze-tracking applications)的電子閱讀記錄器，能幫助用戶尋找上次閱讀的段 落。另外，美國專利號US 2013/0054622(專利文獻2)提出一種分析眼球運動軌跡來對文件評分的方法。專利文獻2是依據使用者的眼球軌跡，來排序文件。當使用者進行檢索時，系統會依據使用者興趣特徵參數，對被檢索到的文件進行評分，然後依據分數高低，排序這些被檢索到的文件。
本發明提供一種記錄閱讀行為的方法及裝置，基於眼動追蹤分析來記錄閱讀時間。
本發明的記錄閱讀行為的方法，包括：於顯示單元顯示電子文件，其中電子文件包括多個片段；透過取像單元來擷取使用者的影像序列；對影像序列執行眼動追蹤程序，以追蹤使用者的眼球的移動軌跡；在偵測到眼球注視於上述片段中的其中一注視片段時，偵測眼球的視線是否離開注視片段；當偵測到眼球的視線離開注視片段時，計算注視片段的閱讀時間；當偵測到眼球持續注視於電子文件，而注視片段已閱讀完畢時，計算注視片段的閱讀時間；以及記錄閱讀時間至與注視片段相對應的儲存空間。
本發明的記錄閱讀行為的裝置，包括：顯示單元、取像單元、儲存單元及處理單元。顯示單元用以顯示電子文件，其中電子文件包括多個片段。取像單元用以擷取使用者的影像序列。儲存單元用以儲存電子文件與影像序列。處理單元耦接顯示單元、取像單元及儲存單元，並且藉由對影像序列執行眼動追蹤程 序，以追蹤使用者的眼球的移動軌跡。在偵測到眼球注視於上述片段中的其中一注視片段時，處理單元偵測眼球的視線是否離開注視片段；當偵測到眼球的視線離開注視片段時，處理單元計算注視片段的閱讀時間，並記錄閱讀時間至與注視片段相對應的儲存空間。當偵測到眼球持續注視於電子文件，而注視片段已閱讀完畢時，處理單元計算注視片段的閱讀時間，並記錄閱讀時間至與注視片段相對應的儲存空間。
在本發明的一實施例中，更包括一行為分析模組，其由處理單元來進行驅動。行為分析模組包括：眼動追蹤模組，對影像序列執行眼動追蹤程序，以追蹤使用者的眼球的移動軌跡；計時模組，計算閱讀時間；以及記錄模組，記錄閱讀時間。
在本發明的一實施例中，上述行為分析模組更包括校正模組。校正模組依序接收多個校正影像，其中上述校正影像分別為使用者觀看顯示單元的多個校正點所獲得；並依據每一校正影像中的眼部區域的兩個亮點位置，獲得基準校正參數，其中上述兩個亮點位置是在取像單元擷取每一校正影像時所形成，進而基於校正影像而藉由透視轉換(perspective transformation)法來產生座標轉換矩陣，其中座標轉換矩陣是用以將眼部區域的座標位置轉換為顯示單元的座標位置。
在本發明的一實施例中，上述眼動追蹤模組偵測影像序列中的目前影像的眼部區域，以獲得在目前影像中的瞳孔位置；依據目前影像的眼部區域的兩個亮點位置，獲得比對校正參數； 依據基準校正參數與比對校正參數，獲得動態補正參數；依據目前影像中的上述兩個亮點位置其中之一、該瞳孔位置以及該動態補正參數，計算眼球移動座標；利用座標轉換矩陣，轉換眼球移動座標為對應於顯示單元的視線落點座標；以及記錄視線落點座標。
在本發明的一實施例中，上述行為分析模組更包括文件整理模組。文件整理模組基於眼球的視線最後停留的視線落點座標，計算注視片段目前的已閱讀比例。而記錄模組還可在偵測到眼球的視線離開注視片段，且注視片段尚未閱讀完畢時，記錄注視片段目前的已閱讀比例與眼球的視線最後停留的視線落點座標至與注視片段相對應的儲存空間。另外，文件整理模組還可基於視線落點座標判斷注視片段是否已閱讀完畢。當偵測到眼球持續注視於電子文件，而注視片段已閱讀完畢時，計時模組基於已記錄的閱讀時間，合計注視片段全部的閱讀時間。
在本發明的一實施例中，上述記錄模組還可記錄閱讀每一片段的次數。
在本發明的一實施例中，上述行為分析模組更包括身分識別模組，用以識別使用者的身分，並且判斷使用者對應的識別資訊是否存在於資料庫。當使用者對應的識別資訊不存在資料庫時，身分識別模組記錄識別資訊並建立對應於識別資訊的儲存空間。
在本發明的一實施例中，上述行為分析模組更包括提示 模組。提示模組用以在顯示單元中顯示每一片段所對應的閱讀時間、已閱讀比例以及使用者的識別名稱。
在本發明的一實施例中，上述行為分析模組更包括標記模組。標記模組用以對每一片段進行標記動作，藉此將每一片段標記上一已閱讀完畢標誌或一未閱讀完畢標誌或一尚未閱讀標誌。
基於上述，可記錄下使用者觀看電子文件的各個片段所花費的閱讀時間，進而可提升閱讀的便利性。並且，利用眼動追蹤，使用者不需手動即可進行對應的操作，相當便利。
為讓本發明的上述特徵和優點能更明顯易懂，下文特舉實施例，並配合所附圖式作詳細說明如下。
100‧‧‧記錄閱讀行為的裝置
110‧‧‧取像單元
120‧‧‧顯示單元
130‧‧‧儲存單元
140‧‧‧處理單元
310‧‧‧分析模組
311‧‧‧眼動追蹤模組
312‧‧‧計時模組
313‧‧‧記錄模組
314‧‧‧校正模組
315‧‧‧文件整理模組
316‧‧‧身分識別模組
317‧‧‧提示模組
318‧‧‧標記模組
G1、G2‧‧‧亮點位置
610、620、630‧‧‧記錄表格
611~613、621‧‧‧欄位
631~634‧‧‧標籤頁
M1~M3‧‧‧標誌
S405~S435‧‧‧記錄閱讀行為的方法各步驟
圖1是依照本發明一實施例的記錄閱讀行為的裝置的方塊圖。
圖2是依照本發明一實施例的記錄閱讀行為的裝置的示意圖。
圖3是依照本發明一實施例的儲存單元的方塊圖。
圖4是依照本發明一實施例的記錄閱讀行為的方法流程圖。
圖5是依照本發明一實施例的眼部區域的示意圖。
圖6A~圖6C是依照本發明一實施例所列舉三種記錄表格的 示意圖。
圖1是依照本發明一實施例的記錄閱讀行為的裝置的方塊圖。請參照圖1，記錄閱讀行為的裝置100包括取像單元110、顯示單元120、儲存單元130以及處理單元140。其中，處理單元140耦接至取像單元110、顯示單元120及儲存單元130。
取像單元110例如為攝影機或照相機，其具有電荷耦合元件(Charge coupled device，CCD)鏡頭、互補式金氧半電晶體(Complementary metal oxide semiconductor transistors，CMOS)鏡頭、或紅外線鏡頭。取像單元110用以擷取使用者的影像序列。
顯示單元120例如為液晶顯示器(Liquid-Crystal Display，LCD)、電漿顯示器、真空螢光顯示器、發光二極體(Light-Emitting Diode，LED)顯示器、場發射顯示器(Field Emission Display，FED)及/或其他合適種類的顯示器，在此並不限制其種類。
儲存單元130例如是任意型式的固定式或可移動式隨機存取記憶體(Random Access Memory，RAM)、唯讀記憶體(Read-Only Memory，ROM)、快閃記憶體(Flash memory)、硬碟或其他類似裝置或這些裝置的組合。儲存單元130中包括了多份電子文件，並且暫存由取像單元110所擷取的影像序列。
處理單元140例如是中央處理單元(Central Processing Unit，CPU)，或是其他可程式化之一般用途或特殊用途的微處理器(Microprocessor)、數位訊號處理器(Digital Signal Processor，DSP)、可程式化控制器、特殊應用積體電路(Application Specific Integrated Circuits，ASIC)、可程式化邏輯裝置(Programmable Logic Device，PLD)或其他類似裝置或這些裝置的組合。
上述裝置100例如為智慧型手機、閱讀器、平板電腦、個人電腦等電子裝置。舉例來說，圖2是依照本發明一實施例的記錄閱讀行為的裝置的示意圖。在圖2中，記錄閱讀行為的裝置100為閱讀器，在顯示單元120(例如為觸控螢幕)側設置有取像單元110(例如，前置相機)。於顯示單元120顯示電子文件，並藉由取像單元110來擷取影像序列，之後，由處理單元140對所擷取的影像序列執行眼動追蹤程序，藉以偵測使用者眼球的移動軌跡，進而根據眼球的移動軌跡來判斷使用者目前是否注視於電子文件或注視於電子文件的哪個位置。
在實際應用上，儲存單元130包括有一用來記錄閱讀行為的電腦程式產品。此電腦程式產品基本上是由多數個程式碼片段所組成的(例如建立組織圖程式碼片段、簽核表單程式碼片段、設定程式碼片段、以及部署程式碼片段)，並且這些程式碼片段在載入電子裝置中並執行之後，即可完成記錄閱讀行為的方法步驟與上述裝置100的功能。
舉例來說，圖3是依照本發明一實施例的儲存單元的方塊圖。請參照圖3，儲存單元130包用以執行記錄閱讀行為方法的 行為分析模組310。行為分析模組310例如是由電腦程式語言所撰寫的程式碼片段，且上述程式碼片段包括多個指令。藉由處理單元140來執行上述程式碼片段，進而來實現基於眼動追蹤來記錄使用者閱讀電子文件的行為。
行為分析模組310包括：眼動追蹤模組311、計時模組312、記錄模組313、校正模組314、文件整理模組315、身分識別模組316、提示模組317以及標記模組318。可以知道的是，上述行為分析模組310所包括的各模組僅為其中一中實施方式，並不以此為限。
眼動追蹤模組311用以對影像序列執行眼動追蹤程序，以追蹤使用者的眼球的移動軌跡。計時模組312用以計算各片段的閱讀時間。記錄模組313用以將閱讀時間記錄至對應的儲存空間。校正模組314用以在進行眼動追蹤程序之前，進行一校正程序。文件整理模組315用以基於眼球的視線落點座標，判斷各片段是否已閱讀完畢以及計算已閱讀比例。身分識別模組316用以識別目前在使用裝置100的使用者的身分。提示模組317用以在顯示單元120中顯示各片段閱讀行為的相關資訊。標記模組318用以對每一片段進行標記動作，藉此將每一片段標記上已閱讀完畢標誌或未閱讀完畢標誌或尚未閱讀標誌。
底下即搭配上述圖1及圖3來詳細說明記錄閱讀行為方法的各步驟。圖4是依照本發明一實施例的記錄閱讀行為的方法流程圖。請同時參照圖1、圖3及圖4，在步驟S405中，於顯示 單元120顯示電子文件。在此，電子文件包括多個片段(part)，上述片段例如為章節(chapter)、段落(paragraph)、小節(section)等。藉此，使用者便可透過裝置100來閱讀電子文件。
接著，在步驟S410中，透過取像單元110來擷取使用者的影像序列。例如，取像單元110為前置相機，以拍攝使用者的臉部影像，或者取像單元110已經過調整而可直接拍攝使用者的眼部影像。
之後，在步驟S415中，處理單元140便可開始對影像序列執行眼動追蹤(eye tracking)程序，以追蹤使用者的眼球的移動軌跡。眼動追蹤程序是用以測量眼球位置與眼球移動資訊。目前眼動追蹤包括通過視頻拍攝設備來獲取眼睛的位置、使用探測線圈(Search coil)或者基於眼動電波圖(electrooculogram)等方法。
舉例來說，在進行眼球位置的偵測之前，藉由校正模組314來執行校正程序。校正模組314依序接收多個校正影像。在此，上述校正影像分別為使用者觀看顯示單元120的多個校正點所獲得。例如，以顯示單元120左上、右上、左下、右下4個點作為校正點。在進行校正程序時，在顯示單元120中提示使用者觀看上述4個校正點，藉此獲得4張校正影像。而校正模組314依據每一張校正影像中的眼部區域的兩個亮點位置，來獲得基準校正參數。
舉例來說，圖5是依照本發明一實施例的眼部區域的示 意圖。在圖5中包括兩個亮點位置G1、G2。上述兩個亮點位置G1、G2的形成是由於取像單元110中所設置的發光模組在眼球上所造成的反光。藉由每一張校正影像中的兩個亮點位置G1、G2，來獲得基準校正參數。校正參數例如為基於亮點位置G1、G2的一向量。之後，校正模組314基於校正影像而藉由透視轉換(perspective transformation)法來產生座標轉換矩陣，此座標轉換矩陣是用以將眼部區域的座標位置轉換為顯示單元120的座標位置。
眼動追蹤模組311偵測影像序列中的目前影像的眼部區域，以獲得在目前影像中的瞳孔位置及兩個亮點位置(底下稱為亮點位置G1'、G2')。並且，眼動追蹤模組311依據目前影像的亮點位置G1'、G2'，獲得比對校正參數，藉此進一步依據基準校正參數(C1)與比對校正參數(C2)，來獲得動態補正參數(C3)。例如，動態補正參數為基準校正參數與比對校正參數的比率，即，C3=C2/C1。之後，眼動追蹤模組311再依據目前影像中的亮點位置G1'(或亮點位置G2')、瞳孔位置(例如以瞳孔中心的座標來進行計算)以及動態補正參數，計算眼球移動座標。例如，眼球移動座標為(X',Y')。而眼動追蹤模組311利用座標轉換矩陣，轉換眼球移動座標(X',Y')為對應於該顯示單元的視線落點座標(例如，視線落點座標為(Xs,Ys))，之後，記錄視線落點座標(Xs,Ys)。據此，藉由所記錄的多個視線落點座標而可獲得眼球的移動軌跡。
然後，在步驟S420中，處理單元140偵測眼球的視線是 否離開當前正在注視的其中一片段。即，在透過眼動追蹤模組311偵測到眼球正注視於電子文件中的其中一片段(底下稱為注視片段)時，進一步偵測眼球的視線是否離開注視片段。例如，眼動追蹤模組311依據所獲得的視線落點座標來判斷眼球的視線是否已離開或仍位於注視片段。
當偵測到眼球的視線離開注視片段時，如步驟S425所示，由計時模組312來計算注視片段的閱讀時間。之後，在步驟S435中，透過記錄模組313來記錄閱讀時間至與注視片段相對應的儲存空間。舉例來說，在儲存單元130中，設置有一資料庫(或表格)，在資料庫中，對應於電子文件的各個片段而分別設置一儲存空間(或欄位)。
例如，倘若使用者從注視片段的初始位置開始閱讀，則所記錄的閱讀時間是從初始位置至視線最後停留的視線落點位置所經過的時間。又例如，倘若使用者並非由注視片段的初始位置開始閱讀，則計時模組312還可進一步去讀取先前所記錄的閱讀時間，並與本次所計算的閱讀時間進行加總來獲得注視片段的閱讀時間。
另外，在步驟S420之後，當偵測到眼球的視線離開注視片段，且注視片段尚未閱讀完畢時，還可透過文件整理模組315基於眼球的視線最後停留的視線落點座標，計算注視片段目前的已閱讀比例。並且，還可透過記錄模組313將注視片段目前的已閱讀比例與眼球的視線最後停留的視線落點座標記錄至與注視片 段相對應的儲存空間。
另一方面，當偵測到眼球的視線持續注視於注視片段時，如步驟S430所示，進一步判斷注視片段是否已閱讀完畢。例如，文件整理模組315基於視線落點座標來判斷注視片段是否已閱讀完畢。例如，在匯入電子文件至裝置100時，可透過文件整理模組315去分析電子文件中所包括的多個片段(例如以章節為例)，並將各章節的起始位置與結束位置記錄下來。據此，文件整理模組315在獲得視線落點座標之後，便可得知注視片段是否已閱讀完畢。
當偵測到眼球持續注視於電子文件，且注視片段已閱讀完畢時，執行步驟S420，透過計時模組312來計算注視片段的閱讀時間。此時，所計算的閱讀時間例如為合計注視片段全部的閱讀時間。例如，計時模組312會自與此注視片段相對應的儲存空間讀取已記錄的閱讀時間，並基於已記錄的閱讀時間來合計注視片段全部的閱讀時間(總閱讀時間)。
而在上述注視片段已閱讀完畢，並切換至另一片段時，藉由計時模組312來重新進行計。例如，直到偵測到眼球的視線離開另一片段或此另一片段已閱讀完畢為止，計算另一片段的閱讀時間。此外，記錄模組313還可進一步記錄閱讀每一片段的次數。或者，記錄模組313可記錄瀏覽此電子文件的次數。
值得一提的是，還可利用身分識別模組316來識別使用者的身分。例如，在儲存單元130中設置有一儲存使用者身分的 識別資訊的資料庫。而身分識別模組316利用瞳孔辨識技術來識別使用者的身分，並判斷此使用者對應的識別資訊是否存在於資料庫。當使用者對應的識別資訊不存在資料庫時，記錄識別資訊並建立對應於識別資訊的儲存空間。
後續還可利用提示模組317在顯示單元120中顯示每一片段所對應的閱讀時間、已閱讀比例以及使用者的識別名稱。例如，以表格方式來顯示上述各種資訊。底下舉三種呈現關於電子文件各片段的閱讀狀態來進行說明。圖6A~圖6C是依照本發明一實施例所列舉三種記錄表格的示意圖。
圖6A的記錄表格610是以單一使用者為例，並以圖形標誌來表示各片段為已閱讀完畢、未閱讀完畢、或尚未閱讀。記錄表格610包括三個欄位611、612、613，欄位611表示各個片段(在此以章節為例)。欄位612表示各章節的閱讀狀況。在本實施例中，以標誌M1、M2(以圓餅圖的方式來呈現已閱讀比例)、M3分別代表已閱讀完畢、未閱讀完畢及尚未閱讀。欄位613表示各章節的閱讀時間。其中，第四章為尚未閱讀。
圖6B的記錄表格620還進一步列出了觀看各章節的使用者的識別名稱，並且，將各片段的閱讀狀況以百分比來取代圖形標誌的使用。而記錄表格620除了包括欄位611、612、613，還包括了欄位621。欄位621是用來記錄觀看各章節的使用者。如圖6B所示，第一、第二、第三章是分別由使用者“A”、使用者“B”及使用者“C”來閱讀。例如，在身分識別模組316辨識出目前正在瀏 覽電子文件的使用者為首次識別出(資料庫中尚無對應的識別資訊)時，可進一步要求使用者輸入其對應的名字、代號或暱稱等識別名稱，並將識別名稱填入欄位621對應的章節中。
另外，圖6C的記錄表格630則針對不同的使用者而建立不同的標籤頁。在此以4個標籤頁631~634為例，標籤頁631對應至使用者“A”，標籤頁632對應至使用者“B”，標籤頁633對應至使用者“C”，標籤頁634對應至使用者“D”。每一個標籤頁皆包括有欄位611~613。
綜上所述，藉由上述實施例，利用取像單元來拍攝使用者的眼睛，利用眼動追蹤程序來追蹤眼球的視線落點座標，進而判斷目前注視的片段是否已閱讀完畢，並在視線離開電子文件時進一步記錄閱讀時間。並且，還可針對不同使用者觀看電子文件的各個片段各自所花費的閱讀時間。
雖然本發明已以實施例揭露如上，然其並非用以限定本發明，任何所屬技術領域中具有通常知識者，在不脫離本發明的精神和範圍內，當可作些許的更動與潤飾，故本發明的保護範圍當視後附的申請專利範圍所界定者為準。
S405~S435‧‧‧記錄閱讀行為的方法各步驟

Claims (19)

  1. 一種記錄閱讀行為的方法，包括：於一顯示單元顯示一電子文件，其中該電子文件包括多個片段；透過一取像單元來擷取一使用者的一影像序列；對該影像序列執行一眼動追蹤程序，以追蹤一使用者的一眼球的一移動軌跡；在偵測到該眼球注視於該些片段中的其中一注視片段時，偵測該眼球的視線是否離開該注視片段；當偵測到該眼球的視線離開該注視片段時，計算該注視片段的一閱讀時間；當偵測到該眼球持續注視於該電子文件，而該注視片段已閱讀完畢時，計算該注視片段的該閱讀時間；以及記錄該閱讀時間至與該注視片段相對應的一儲存空間。
  2. 如申請專利範圍第1項所述的方法，其中該眼動追蹤程序包括一校正程序，而該校正程序包括：依序接收多個校正影像，其中該些校正影像分別為該使用者觀看該顯示單元的多個校正點所獲得；依據每一該些校正影像中的一眼部區域的兩個亮點位置，獲得一基準校正參數，其中上述兩個亮點位置是在該取像單元擷取每一該些校正影像時所形成；以及基於該些校正影像而藉由一透視轉換法來產生一座標轉換矩 陣，其中該座標轉換矩陣是用以將該眼部區域的座標位置轉換為該顯示單元的座標位置。
  3. 如申請專利範圍第2項所述的方法，其中追蹤該使用者的該眼球的該移動軌跡的步驟包括：偵測該影像序列中的一目前影像的該眼部區域，以獲得在該目前影像中的一瞳孔位置；依據該目前影像的該眼部區域的兩個亮點位置，獲得一比對校正參數；依據該基準校正參數與該比對校正參數，獲得一動態補正參數；依據該目前影像中的上述兩個亮點位置其中之一、該瞳孔位置以及該動態補正參數，計算一眼球移動座標；利用該座標轉換矩陣，轉換該眼球移動座標為對應於該顯示單元的一視線落點座標；以及記錄該視線落點座標。
  4. 如申請專利範圍第1項所述的方法，更包括：當偵測到該眼球的視線離開該注視片段，且該注視片段尚未閱讀完畢時，記錄該注視片段目前的一已閱讀比例與該眼球的視線最後停留的一視線落點座標至與該注視片段相對應的該儲存空間。
  5. 如申請專利範圍第4項所述的方法，更包括：基於該閱讀比例對每一該些片段進行一標記動作，藉此將每 一該些片段標記上一已閱讀完畢標誌或一未閱讀完畢標誌或一尚未閱讀標誌。
  6. 如申請專利範圍第1項所述的方法，其中當偵測到該眼球持續注視於該電子文件，而該注視片段已閱讀完畢時，計算該注視片段的該閱讀時間包括：基於自與該注視片段相對應的該儲存空間讀取已記錄的該閱讀時間，合計該注視片段全部的該閱讀時間。
  7. 如申請專利範圍第1項所述的方法，更包括：記錄閱讀每一該些片段的一次數。
  8. 如申請專利範圍第1項所述的方法，其中於該顯示單元顯示該電子文件的步驟之後，更包括：識別該使用者的身分；判斷該使用者對應的一識別資訊是否存在於一資料庫；以及當該使用者對應的該識別資訊不存在該資料庫時，記錄該識別資訊並建立對應於該識別資訊的該儲存空間。
  9. 如申請專利範圍第8項所述的方法，更包括：在該顯示單元中顯示每一該些片段所對應的該閱讀時間、一已閱讀比例以及該使用者的識別名稱。
  10. 一種記錄閱讀行為的裝置，包括：一顯示單元，顯示一電子文件，其中該電子文件包括多個片段；一取像單元，擷取一使用者的一影像序列； 一儲存單元，儲存該電子文件與該影像序列；以及一處理單元，耦接該顯示單元、該取像單元及該儲存單元，並且藉由對該影像序列執行一眼動追蹤程序，以追蹤一使用者的一眼球的一移動軌跡；其中，在偵測到該眼球注視於該些片段中的其中一注視片段時，該處理單元偵測該眼球的視線是否離開該注視片段；當偵測到該眼球的視線離開該注視片段時，該處理單元計算該注視片段的一閱讀時間，並記錄該閱讀時間至與該注視片段相對應的一儲存空間；當偵測到該眼球持續注視於該電子文件，而該注視片段已閱讀完畢時，該處理單元計算該注視片段的該閱讀時間，並記錄該閱讀時間至與該注視片段相對應的該儲存空間。
  11. 如申請專利範圍第10項所述的裝置，更包括：一行為分析模組，由該處理單元來進行驅動，其中該行為分析模組包括：一眼動追蹤模組，對該影像序列執行該眼動追蹤程序，以追蹤該使用者的該眼球的該移動軌跡；一計時模組，計算該閱讀時間；以及一記錄模組，記錄該閱讀時間。
  12. 如申請專利範圍第11項所述的裝置，其中該行為分析模組更包括一校正模組，其中，該校正模組依序接收多個校正影像，其中該些校正影像分別為該使用者觀看該顯示單元的多個校正點所獲得，並依據每一該些校正影像中的一眼部區域的兩個亮點位置，獲得一基準 校正參數，其中上述兩個亮點位置是在該取像單元擷取每一該些校正影像時所形成，進而基於該些校正影像而藉由一透視轉換法來產生一座標轉換矩陣，其中該座標轉換矩陣是用以將該眼部區域的座標位置轉換為該顯示單元的座標位置。
  13. 如申請專利範圍第12項所述的裝置，其中該眼動追蹤模組偵測該影像序列中的一目前影像的該眼部區域，以獲得在該目前影像中的一瞳孔位置；依據該目前影像的該眼部區域的兩個亮點位置，獲得一比對校正參數；依據該基準校正參數與該比對校正參數，獲得一動態補正參數；依據該目前影像中的上述兩個亮點位置其中之一、該瞳孔位置以及該動態補正參數，計算一眼球移動座標；利用該座標轉換矩陣，轉換該眼球移動座標為對應於該顯示單元的一視線落點座標；以及記錄該視線落點座標。
  14. 如申請專利範圍第11項所述的裝置，其中該行為分析模組更包括：一文件整理模組，基於該眼球的視線最後停留的一視線落點座標，計算該注視片段目前的一已閱讀比例；其中，該記錄模組還包括當偵測到該眼球的視線離開該注視片段，且該注視片段尚未閱讀完畢時，記錄該注視片段目前的該已閱讀比例與該眼球的視線最後停留的該視線落點座標至與該注視片段相對應的該儲存空間。
  15. 如申請專利範圍第14項所述的裝置，其中該文件整理模組基於該視線落點座標判斷該注視片段是否已閱讀完畢， 其中，當偵測到該眼球持續注視於該電子文件，而該注視片段已閱讀完畢時，該計時模組基於已記錄的該閱讀時間，合計該注視片段全部的該閱讀時間。
  16. 如申請專利範圍第11項所述的裝置，其中該記錄模組還記錄閱讀每一該些片段的一次數。
  17. 如申請專利範圍第11項所述的裝置，其中該行為分析模組更包括：一身分識別模組，識別該使用者的身分，並且判斷該使用者對應的一識別資訊是否存在於一資料庫，其中，當該使用者對應的該識別資訊不存在該資料庫時，該身分識別模組記錄該識別資訊並建立對應於該識別資訊的該儲存空間。
  18. 如申請專利範圍第17項所述的裝置，其中該行為分析模組更包括：一提示模組，在該顯示單元中顯示每一該些片段所對應的該閱讀時間、一已閱讀比例以及該使用者的識別名稱。
  19. 如申請專利範圍第11項所述的裝置，其中該行為分析模組更包括：一標記模組，對每一該些片段進行一標記動作，藉此將每一該些片段標記上一已閱讀完畢標誌或一未閱讀完畢標誌或一尚未閱讀標誌。
TW102136043A 2013-10-04 2013-10-04 記錄閱讀行爲的方法及裝置 TWI550438B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
TW102136043A TWI550438B (zh) 2013-10-04 2013-10-04 記錄閱讀行爲的方法及裝置
CN201410016802.1A CN104516498B (zh) 2013-10-04 2014-01-14 记录阅读行为的方法及装置
US14/179,555 US9672421B2 (en) 2013-10-04 2014-02-13 Method and apparatus for recording reading behavior
JP2014202988A JP5898747B2 (ja) 2013-10-04 2014-10-01 閲覧行動の記録方法および装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW102136043A TWI550438B (zh) 2013-10-04 2013-10-04 記錄閱讀行爲的方法及裝置

Publications (2)

Publication Number Publication Date
TW201514759A true TW201514759A (zh) 2015-04-16
TWI550438B TWI550438B (zh) 2016-09-21

Family

ID=52776638

Family Applications (1)

Application Number Title Priority Date Filing Date
TW102136043A TWI550438B (zh) 2013-10-04 2013-10-04 記錄閱讀行爲的方法及裝置

Country Status (4)

Country Link
US (1) US9672421B2 (zh)
JP (1) JP5898747B2 (zh)
CN (1) CN104516498B (zh)
TW (1) TWI550438B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI691941B (zh) * 2018-02-13 2020-04-21 林俊毅 邏輯思考能力之檢測系統及其方法
TWI802216B (zh) * 2022-01-11 2023-05-11 崑山科技大學 以眼球追蹤凸顯授課重點的方法、電腦程式產品及電腦可讀取媒體

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9829972B2 (en) * 2014-03-12 2017-11-28 Lenovo (Singapore) Pte. Ltd. Eye tracking for automatically updating document status
CN104820559B (zh) * 2015-05-12 2018-03-13 亚太智媒（北京）科技有限公司 一种阅读进度定位方法及装置
US10629086B2 (en) * 2015-06-09 2020-04-21 International Business Machines Corporation Providing targeted, evidence-based recommendations to improve content by combining static analysis and usage analysis
CN104883622A (zh) * 2015-06-23 2015-09-02 联想(北京)有限公司 一种显示处理方法及电子设备
US10853823B1 (en) 2015-06-25 2020-12-01 Adobe Inc. Readership information of digital publications for publishers based on eye-tracking
CN105159465B (zh) * 2015-10-16 2019-08-30 北京京东尚科信息技术有限公司 用户阅读理解度监测方法及系统
CN105528577B (zh) * 2015-12-04 2019-02-12 深圳大学 基于智能眼镜的识别方法
CN106169063B (zh) * 2016-06-22 2019-11-26 江苏大学 一种自动识别用户阅读兴趣区的方法
JP6691847B2 (ja) * 2016-07-20 2020-05-13 シュナイダーエレクトリックホールディングス株式会社 表示制御方法
CN107291339B (zh) * 2017-05-27 2020-04-14 北京集创北方科技股份有限公司 一种显示控制方法、计算机可读介质和电子设备
US10078954B1 (en) 2018-03-14 2018-09-18 Culin Tate Reading tracking system
CN108498068A (zh) * 2018-04-18 2018-09-07 北京中启睿宝教育科技有限公司 一种基于眼动特征的儿童共同注意分析方法
CN108734611A (zh) * 2018-05-25 2018-11-02 武汉市华太培文教育科技有限公司 判断用户阅读熟悉度的系统及方法
CN108984489B (zh) * 2018-07-17 2023-02-28 北京七鑫易维信息技术有限公司 用于电子文档的阅读方法、装置、终端设备及存储介质
CN109118401A (zh) * 2018-08-31 2019-01-01 北京中启睿宝教育科技有限公司 一种基于眼动特征的儿童阅读分析系统及方法
CN110244848B (zh) * 2019-06-17 2021-10-19 Oppo广东移动通信有限公司 阅读控制方法及相关设备
CN110287925A (zh) * 2019-06-29 2019-09-27 Oppo广东移动通信有限公司 阅读翻页控制方法及相关产品
TWI737046B (zh) * 2019-11-25 2021-08-21 石廷宇 線上訓練閱讀能力之方法及其系統
JP6908297B2 (ja) * 2019-12-25 2021-07-21 Ｎｅｃプラットフォームズ株式会社 業務管理システム、業務管理方法、及び業務管理プログラム
CN111291972A (zh) * 2020-01-17 2020-06-16 深圳大圆影业有限公司 一种基于大数据的全产业链的电影评价方法及系统
CN112927784B (zh) * 2021-03-16 2022-08-12 麦克奥迪(厦门)医疗大数据有限公司 一种数字化病理系统中病理切片浏览路径记录方法
TWI779842B (zh) * 2021-09-22 2022-10-01 宏碁股份有限公司 立體顯示裝置及其顯示方法

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002132632A (ja) 2000-10-25 2002-05-10 Fuji Xerox Co Ltd 閲覧料金管理装置、閲覧料金管理システム、閲覧料金管理方法及びコンピュータ読み取り可能な記録媒体
AU2003228334A1 (en) * 2002-03-19 2003-10-08 E-Book Systems Pte Ltd Tracking electronic book reading pattern
US7306337B2 (en) * 2003-03-06 2007-12-11 Rensselaer Polytechnic Institute Calibration-free gaze tracking under natural head movement
US8271865B1 (en) 2005-09-19 2012-09-18 Google Inc. Detection and utilization of document reading speed
US7429108B2 (en) * 2005-11-05 2008-09-30 Outland Research, Llc Gaze-responsive interface to enhance on-screen user reading tasks
JP4399607B2 (ja) 2006-02-13 2010-01-20 国立大学法人埼玉大学 視線制御表示装置と表示方法
JP5089940B2 (ja) * 2006-08-29 2012-12-05 株式会社トプコン 眼球運動測定装置、眼球運動測定方法及び眼球運動測定プログラム
TWI398796B (zh) * 2009-03-27 2013-06-11 Utechzone Co Ltd Pupil tracking methods and systems, and correction methods and correction modules for pupil tracking
JP5558983B2 (ja) 2010-09-15 2014-07-23 Ｎｅｃカシオモバイルコミュニケーションズ株式会社 画面表示装置、画面表示制御方法及び画面表示制御プログラム並びに情報端末装置
JP5535038B2 (ja) 2010-11-02 2014-07-02 シャープ株式会社 電子書籍表示装置、書籍一覧プログラムおよびコンピュータ読み取り可能な記録媒体
CN102081503B (zh) * 2011-01-25 2013-06-26 汉王科技股份有限公司 基于视线追踪自动翻页的电子阅读器及其方法
CN102087582B (zh) * 2011-01-27 2012-08-29 广东威创视讯科技股份有限公司 一种自动滚屏的方法及装置
JP2013003740A (ja) 2011-06-14 2013-01-07 Sharp Corp コンテンツ再生装置、コンテンツ再生方法およびコンテンツ再生プログラム
CN103782251A (zh) * 2011-06-24 2014-05-07 汤姆逊许可公司 利用用户的眼球运动可操作的计算机设备和操作该计算机设备的方法
US8719278B2 (en) 2011-08-29 2014-05-06 Buckyball Mobile Inc. Method and system of scoring documents based on attributes obtained from a digital document by eye-tracking data analysis
US9026934B1 (en) * 2011-09-29 2015-05-05 Amazon Technologies, Inc. Dynamic character biographies
US20140325407A1 (en) * 2013-04-25 2014-10-30 Microsoft Corporation Collection, tracking and presentation of reading content
CN103268152A (zh) * 2013-05-30 2013-08-28 苏州福丰科技有限公司 一种阅读方法
US9697562B2 (en) * 2013-06-07 2017-07-04 International Business Machines Corporation Resource provisioning for electronic books
CN103336576B (zh) * 2013-06-28 2016-12-28 广州爱九游信息技术有限公司 一种基于眼动追踪进行浏览器操作的方法及装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI691941B (zh) * 2018-02-13 2020-04-21 林俊毅 邏輯思考能力之檢測系統及其方法
TWI802216B (zh) * 2022-01-11 2023-05-11 崑山科技大學 以眼球追蹤凸顯授課重點的方法、電腦程式產品及電腦可讀取媒體

Also Published As

Publication number Publication date
TWI550438B (zh) 2016-09-21
US9672421B2 (en) 2017-06-06
CN104516498A (zh) 2015-04-15
JP2015079498A (ja) 2015-04-23
US20150097938A1 (en) 2015-04-09
CN104516498B (zh) 2018-03-09
JP5898747B2 (ja) 2016-04-06

Similar Documents

Publication Publication Date Title
TWI550438B (zh) 記錄閱讀行爲的方法及裝置
TWI489320B (zh) 電子文件標記方法及裝置
JP6076168B2 (ja) 撮像装置、構図アシスト装置、構図アシスト方法、及び構図アシストプログラム
US9538116B2 (en) Relational display of images
US10169702B2 (en) Method for searching relevant images via active learning, electronic device using the same
US9672227B2 (en) Image processing apparatus, image display method, and image display program
US20090110245A1 (en) System and method for rendering and selecting a discrete portion of a digital image for manipulation
CN102906671A (zh) 手势输入装置及手势输入方法
EP3091355A1 (en) Method for controlling gas and electronic device thereof
JP2015522189A5 (zh)
WO2018045565A1 (zh) 用于柔性显示设备的控件显示方法及装置
JP2017054555A (ja) 画像処理装置、画像処理方法及びプログラム
JP2022106517A (ja) 情報処理方法、コンピュータプログラム及び情報処理装置
EP3244293B1 (en) Selection option information presentation system and method
WO2018035832A1 (zh) 一种视频广告播放装置
TWI595782B (zh) 顯示方法以及電子裝置
KR102516702B1 (ko) 인공지능을 이용한 실험 정보 제공 방법 및 이를 이용하는 장치
JP2016012174A (ja) 摂取量推定装置、摂取量推定方法およびプログラム
JP6094626B2 (ja) 表示制御装置及びプログラム
JP2015177432A (ja) キューポイント制御装置およびキューポイント制御プログラム
JP2010187119A (ja) 撮像装置および撮像装置用プログラム
JP2013196514A (ja) 画像処理装置、画像処理方法及びプログラム
WO2018035831A1 (zh) 一种视频广告播放系统
WO2018035828A1 (zh) 基于特征数据查找的广告播放系统
JP2012089983A (ja) 画像表示装置及びプログラム