TWI637288B

TWI637288B - 用於眼球視線校正的影像處理方法及其系統

Info

Publication number: TWI637288B
Application number: TW106134824A
Authority: TW
Inventors: 賴金輪; 陳俊宏; 楊傑棋; 高盟超
Original assignee: 緯創資通股份有限公司
Priority date: 2017-10-11
Filing date: 2017-10-11
Publication date: 2018-10-01
Also published as: US10602077B2; US20190110003A1; CN109660748B; TW201915663A; CN109660748A

Abstract

一種用於眼球視線校正的影像處理方法及其系統，此方法適用於具有螢幕以及影像擷取裝置的影像處理系統，並且包括下列步驟。首先，利用影像擷取裝置擷取螢幕前方的使用者臉部，以產生臉部影像。接著，自臉部影像取得使用者相對於螢幕的頭部偏移量以及眼球視線位置，並且根據頭部偏移量以及眼球視線位置，判斷是否校正臉部影像。若是，根據眼球視線位置以及預設碼書，校正臉部影像，以產生已校正臉部影像，其中預設碼書記錄多個預設眼球視線位置的校正資訊。

Description

用於眼球視線校正的影像處理方法及其系統

本發明是有關於一種影像處理方法及其系統，且特別是有關於一種用於眼球視線校正的影像處理方法及其系統。

隨著電子科技以及通訊網路的發展，視訊的硬體設備、軟體技術及操作功能已大幅提昇，使用者在進行語音通話時，更可以透過螢幕看到其它使用者的動態影像，從而提供交流的臨場感。然而，視訊通話與真實面對面會議之間仍存在些許落差，其主要原因在於視訊系統的顯示螢幕的中心（即，通常為對方使用者臉部的顯示區域）與視訊擷取裝置的設置位置不一致，因而造成與對方使用者的視線無法直接接觸或是面部偏斜的問題。如此一來，兩方使用者在進行視訊通話時容易造成分心而難以專注於談話本質。

本發明提供一種用於眼球視線校正的影像處理方法及其系統，其可以低成本的方式達到眼球視線校正。

在本發明的一實施例中，上述的方法適用於具有螢幕以及影像擷取裝置的影像處理系統，並且包括下列步驟。首先，利用影像擷取裝置擷取螢幕前方的使用者臉部，以產生臉部影像。接著，自臉部影像取得使用者相對於螢幕的頭部偏移量以及眼球視線位置，並且根據頭部偏移量以及眼球視線位置，判斷是否校正臉部影像。若是，根據眼球視線位置以及預設碼書，校正臉部影像，以產生已校正臉部影像，其中預設碼書記錄多個預設眼球視線位置的校正資訊。

在本發明的一實施例中，上述的系統包括螢幕、影像擷取裝置、記憶體以及處理器，其中處理器連接於螢幕、影像擷取裝置以及記憶體。影像擷取裝置用以擷取螢幕前方的使用者臉部，以產生臉部影像。記憶體用以儲存預設碼書，其中預設碼書記錄多個預設眼球視線位置的校正資訊。處理器用以自臉部影像取得使用者相對於螢幕的頭部偏移量以及眼球視線位置，並且根據頭部偏移量以及眼球視線位置，判斷是否校正臉部影像，而若是，則將根據眼球視線位置以及預設碼書，校正臉部影像，以產生已校正臉部影像。

為讓本發明的上述特徵和優點能更明顯易懂，下文特舉實施例，並配合所附圖式作詳細說明如下。

本發明的部份實施例接下來將會配合附圖來詳細描述，以下的描述所引用的元件符號，當不同附圖出現相同的元件符號將視為相同或相似的元件。這些實施例只是本發明的一部份，並未揭示所有本發明的可實施方式。更確切的說，這些實施例只是本發明的專利申請範圍中的方法以及系統的範例。

圖1是根據本發明一實施例所繪示的影像處理系統的方塊圖，但此僅是為了方便說明，並不用以限制本發明。首先圖1先介紹影像處理系統中的所有構件以及配置關係，詳細功能將配合圖2一併揭露。

請參照圖1，影像處理系統100包括影像擷取裝置110、螢幕120、記憶體130以及處理器140，其中處理器140連接至影像擷取裝置110、螢幕120以及記憶體130，而影像擷取裝置110設置於與螢幕120同一側。在本實施例中，影像處理系統100可以是將所有構件整合為單一電子裝置，例如智慧型手機、平板電腦等具有影像擷取功能以及顯示功能的電子裝置。在另一實施例中，影像處理系統100可以是具有螢幕120、記憶體130以及處理器140的電腦系統，而影像擷取裝置110則是外接於電腦系統，本發明不在此設限。

影像擷取裝置110用以擷取螢幕120前方的影像並且包括具有透鏡以及感光元件的攝像鏡頭。感光元件用以感測進入透鏡的光線強度，進而產生影像。感光元件可以例如是電荷耦合元件（charge coupled device，CCD）、互補性氧化金屬半導體（complementary metal-oxide semiconductor，CMOS）元件或其他元件。此外，影像擷取裝置110可以是2D或是3D的影像擷取裝置，本發明不在此設限。

螢幕120用以顯示畫面而提供給使用者觀看。在本實施例中，螢幕120例如是液晶顯示器（liquid crystal display，LCD）、發光二極體（light-emitting diode，LED）顯示器、有機發光二極體（organic light-emitting diode，OLED）顯示器、或其他種類的顯示器。

記憶體130用以儲存影像、程式碼等資料，其可以例如是任意型式的固定式或可移動式隨機存取記憶體（random access memory，RAM）、唯讀記憶體（read-only memory，ROM）、快閃記憶體（flash memory）、硬碟或其他類似裝置、積體電路及其組合。

處理器140用以控制影像處理系統100的構件之間的作動，其可以例如是中央處理單元（central processing unit，CPU），或是其他可程式化之一般用途或特殊用途的微處理器（microprocessor）、數位訊號處理器（digital signal processor，DSP）、可程式化控制器、特殊應用積體電路（application specific integrated circuits，ASIC）、可程式化邏輯裝置（programmable logic device，PLD）或其他類似裝置或這些裝置的組合。

以下即搭配圖1的影像處理系統100的各元件列舉實施例，以說明影像處理系統100執行其影像處理方法的詳細步驟。

圖2是根據本發明一實施例所繪示用於眼球視線校正的影像處理方法的流程圖。在此假設本實施例的使用情境為視訊通話，因此使用者已位於影像處理系統100的螢幕120前方與另一使用者進行視訊通話。

請同時參照圖1以及圖2，首先，影像處理系統100的處理器140將利用影像擷取裝置110擷取螢幕120前方的使用者臉部，以產生臉部影像（步驟S202），並且將自臉部影像取得使用者相對於螢幕120的頭部偏移量以及眼球視線位置（步驟S204）。詳細來說，處理器140可以是利用例如AdaBoost人臉偵測演算法自臉部影像中偵測出臉部區域，以計算出使用者相對於螢幕120的頭部偏移量，再利用人臉特徵點檢測（facial landmark detection）擷取出例如五官以及輪廓等臉部的特徵點，以計算出使用者相對於螢幕120的眼球視線位置。在本實施例中，頭部偏移量以及眼球視線位置是相對於螢幕120的中心點或者是所擷取到的臉部影像的中心點，即通常為對方使用者臉部的顯示區域，以模擬出真實面對面交談的情境。

以頭部偏移量來說，其是用於識別臉部的擺向，以做為判斷是否該進行後續眼球視線校正的其中一個依據。處理器140可將臉部影像中的臉部區域進行分析，並且參照影像處理系統100的擺放架設，以估測出使用者的頭部偏移量。以圖3根據本發明一實施例所繪示的影像處理系統100與使用者的相對位置關係的示意圖為例，假設記憶體130可以預先儲存使用者相對於螢幕120在不同距離下的臉部平均面積（以下稱為「第一對應關係」）、影像擷取裝置110的設置位置以及螢幕120的尺寸。在此的點A及點B代表螢幕120的兩側，其中影像擷取裝置110位於點A。假設使用者位於點C面對螢幕120，處理器140可以利用使用者的臉部區域的面積（點M與點R之間的臉部區域）於第一對應關係中所對應的距離以及臉部區域分別與螢幕120兩側的比例（點M與點A之間的距離相對於點R與點B之間的距離），從而分別計算出使用者距離螢幕110的垂直距離D以及方位，藉以估測出使用者相對於螢幕110的頭部偏移量。

以眼球視線位置來說，處理器140可以是利用習知的機器學習（machine learning）或其中的深度學習（deep learning）演算法來從臉部影像中判斷出眼球所注視的位置。在本實施例中，處理器140可以是預先在臉部影像中的固定位置標記出虛擬的多個視線標記點，以判定目前眼球所注視的位置對應的視線標記點（即，具有最近距離），以做為眼球視線位置來加速後續的運算。

接著，請回到圖2，處理器140將根據頭部偏移量以及眼球視線位置，判斷是否校正臉部影像（步驟S206）。舉例來說，當頭部偏移量過大或者是眼球視線位置不在預設區域時，即代表使用者並非是在注視螢幕與對方使用者通話，因此並無需校正臉部影像。接著，流程將回到步驟S202，處理器140將利用影像擷取裝置110擷取下一張臉部影像。

當處理器140判斷需要校正臉部影像時，將根據眼球視線位置以及預設碼書，校正臉部影像，以產生已校正臉部影像（步驟S208），其中預設碼書記錄多個預設眼球視線位置的校正資訊並且預先儲存於記憶體130中。以下將以圖4根據本發明一實施例所繪示的眼球視線位置的示意圖以及圖5根據本發明一實施例所繪示的影像校正前後的示意圖來說明眼球視線位置的校正程序。

請先參照圖4，假設處理器140已判定出眼球視線位置原本位於臉部影像中的視線標記點P1，處理器140即可估測其與影像中心點PC的角度θ，也就是影像擷取裝置110與使用者的眼球視線之間的角度，亦是眼球視線所需校正的角度。因此，處理器140將根據預設碼書將眼球視線校正回影像中心點PC。

為了達到自然效果的眼球視線校正，處理器140可以在訓練階段時，針對多張影像中每一個視線標記點與影像中心點的角度進行訓練，以找出臉部影像中各空間點所對應的校正向量，以建立前述的預設碼書。具體來說，請接續參照圖5，處理器140在針對眼球視線位置進行校正時，可將所欲校正的臉部影像中的眼部區域RB的每一像素點以查找表的方式找出對應像素點的校正向量，並且自原始的臉部影像中的眼部區域RA中來擷取，以點對點映射方式填入眼部區域RB，完成眼球視線的校正。舉例來說，眼部區域RB中的像素點B1、B2、B3是分別對應於眼部區域RA的像素點A1、A2、A3。

在本實施例中，影像處理系統100是做為視訊會議用途的視訊系統，因此更包括通訊介面（未繪示）。通訊介面可以是支援任何有線連接或是無線通訊標準以與其它裝置進行資料傳輸。處理器140在產生已校正臉部影像後，可經由通訊介面將已校正臉部影像傳輸至對方使用者的電子裝置，而對方使用者在觀看所揭收到的已校正臉部影像時，可得到具有臨場感的視訊效果。在另一實施例中，當影像處理系統100是做為自拍用途的自拍系統時，則會將已校正臉部影像顯示於螢幕120上供使用者觀看。

此外，在本實施例中，由於前述實施例事實上是針對臉部影像中的眼部區域進行校正，處理器140更可以在產生已校正臉部影像後，進一步地針對已校正臉部影像進行影像平滑處理，以降低色彩、紋理、邊緣線條等不連續之處，或者是前景與背景間產生的縫隙或干擾情況等等。如此一來，可減輕已校正臉部影像中的後製痕跡，達到更為自然的視覺效果。

圖6是根據本發明一實施例所繪示用於眼球視線校正的影像處理方法的流程圖。

請同時參照圖1以及圖6，首先影像處理系統100的處理器140將利用影像擷取裝置110擷取螢幕120前方的使用者臉部，以產生臉部影像（步驟S602），並且將自臉部影像取得使用者相對於螢幕120的頭部偏移量以及眼球視線位置（步驟S604）。

接著，處理器140將判斷頭部偏移量是否大於預設偏移量（步驟S606）。若頭部偏移量大於預設偏移量，即代表使用者並非注視於螢幕120，因此處理器140將不校正臉部影像（步驟S608），而流程將回到步驟S602，處理器140將利用影像擷取裝置110擷取下一張臉部影像。

另一方面，若頭部偏移量不大於預設偏移量，則處理器140將更進一步地判斷眼球視線位置是否位於預設區域（步驟S610）。若眼球視線位置不位於預設區域，即代表使用者並非注視於螢幕120（例如正向螢幕但眼球視線往遠處或上方），因此處理器140將不校正臉部影像（步驟S612），而流程將回到步驟S602，處理器140將利用影像擷取裝置110擷取下一張臉部影像。若眼球視線位置位於預設區域，則處理器140將根據眼球視線位置以及預設碼書，校正臉部影像（步驟S614），以產生並且輸出已校正臉部影像。

綜上所述，本發明所提出用於眼球視線校正的影像處理方法及其系統，其是利用影像擷取裝置來擷取使用者的臉部影像後，根據頭部偏移量以及眼球視線位置，判斷是否校正臉部影像以及根據眼球視線位置以及預設碼書來校正臉部影像。本發明的使用者無需預先註冊正確眼球視線的影像，即可將眼球視線校正回正確的位置。此外，本發明可於現行具有任何2D或3D的攝像鏡頭的消費性電子產品搭配所提出的影像處理方法來進行眼球視線校正，增強了本發明在實際應用中的適用性。

雖然本發明已以實施例揭露如上，然其並非用以限定本發明，任何所屬技術領域中具有通常知識者，在不脫離本發明的精神和範圍內，當可作些許的更動與潤飾，故本發明的保護範圍當視後附的申請專利範圍所界定者為準。

100‧‧‧影像處理系統
110‧‧‧影像擷取裝置
120‧‧‧螢幕
130‧‧‧記憶體
140‧‧‧處理器
S202～S208、S602～S614‧‧‧步驟
A、B、C、M、R‧‧‧點
D‧‧‧距離
P1‧‧‧視線標記點
PC‧‧‧影像中心點
θ‧‧‧角度
RA、RB‧‧‧眼部區域
A1、A2、A3、B1、B2、B3‧‧‧像素點

圖1是根據本發明一實施例所繪示的影像處理系統的方塊圖。圖2是根據本發明一實施例所繪示用於眼球視線校正的影像處理方法的流程圖。圖3是根據本發明一實施例所繪示的影像處理系統與使用者的相對位置關係的示意圖。圖4是根據本發明一實施例所繪示的眼球視線位置的示意圖。圖5是根據本發明一實施例所繪示的影像校正前後的示意圖。圖6是根據本發明另一實施例所繪示用於眼球視線校正的影像處理方法的流程圖。

Claims

一種用於眼球視線校正的影像處理方法，適用於具有螢幕以及影像擷取裝置的影像處理系統，該方法包括下列步驟：　　利用該影像擷取裝置擷取該螢幕前方的使用者臉部，以產生臉部影像；自該臉部影像取得該使用者相對於該螢幕的頭部偏移量以及眼球視線位置；根據該頭部偏移量以及該眼球視線位置，判斷是否校正該臉部影像；以及若是，根據該眼球視線位置以及預設碼書，校正該臉部影像，以產生已校正臉部影像，其中該預設碼書記錄多個預設眼球視線位置的校正資訊。
如申請專利範圍第1項所述的方法，其中自該臉部影像取得該使用者相對於該螢幕的該頭部偏移量的步驟包括：　　根據該臉部影像中的臉部區域的面積、該影像擷取裝置的設置位置以及該螢幕的尺寸，計算該使用者相對於該螢幕的垂直距離以及方位，以取得該頭部偏移量。
如申請專利範圍第2項所述的方法，其中該影像處理系統預先儲存垂直距離與臉部面積之間的第一對應關係，其中該第一對應關係記錄在不同距離下所分別對應的平均臉部面積，而根據該臉部影像中的該臉部區域的該面積、該影像擷取裝置的設置位置以及該螢幕的尺寸，計算出該使用者相對於該螢幕的垂直距離以及方位的步驟包括：　　取得該臉部影像中的該臉部區域的該面積，並且根據該第一對應關係，取得該臉部區域所對應的距離，以做為該使用者相對於該螢幕的該垂直距離；以及　　取得該臉部區域分別相對於該螢幕兩側的距離的比例，據以計算出該使用者相對於該螢幕的該方位。
如申請專利範圍第2項所述的方法，其中該使用者相對於該螢幕的該垂直距離以及該方位為相對於該螢幕的中心點的垂直距離以及方位。
如申請專利範圍第2項所述的方法，其中該使用者相對於該螢幕的該垂直距離以及該方位為該螢幕對應於該臉部影像的中心點的位置的垂直距離以及方位。
如申請專利範圍第1項所述的方法，其中自該臉部影像取得該使用者相對於該螢幕的該眼球視線位置的步驟包括：　　於該臉部影像的固定區域設定虛擬的多個視線標記點；以及　　利用機器學習演算法判定該使用者的眼球視線所對應的該視線標記點，以做為該眼球視線位置。
如申請專利範圍第1項所述的方法，其中根據該頭部偏移量以及該眼球視線位置，判斷是否校正該臉部影像的步驟包括：　　判斷該頭部偏移量是否大於預設偏移量；　　當該頭部偏移量大於該預設偏移量時，不校正該臉部影像；以及　　當該頭部偏移量不大於該預設偏移量時，判斷該眼球視線位置是否位於預設區域，據以判定是否校正該臉部影像。
如申請專利範圍第7項所述的方法，其中該預設區域位於該臉部影像中的眼部區域，其中判斷該眼球視線位置是否位於該預設區域，據以判定是否校正該臉部影像的步驟包括：　　判斷該眼球視線位置是否位於該臉部影像的該預設區域；　　當該眼球視線位置不位於該臉部影像的該預設區域時，不校正該臉部影像；以及　　當該眼球視線位置位於該臉部影像的該預設區域時，校正該臉部影像。
如申請專利範圍第6項所述的方法，其中該預設碼書記錄的該校正資訊為各所述預設眼球視線位置的校正向量，而根據該眼球視線位置以及該預設碼書，校正該臉部影像，以產生該已校正臉部影像的步驟包括：　　取得該眼球視線位置與該固定區域的中心點之間的角度，以做為視線校正角度；　　以該視線校正角度查詢該預設碼書，以取得該校正向量；以及根據該校正向量以及該臉部影像，產生該已校正臉部影像。
如申請專利範圍第1項所述的方法，其中在產生該已校正臉部影像的步驟之後，該方法更包括：　　針對該已校正臉部影像進行影像平滑處理。
如申請專利範圍第1項所述的方法，其中該影像處理系統為更包括通訊介面的視訊會議系統，而在產生該已校正臉部影像的步驟之後，該方法更包括：　　透過該通訊介面傳送該已校正臉部影像至另一電子裝置。
如申請專利範圍第1項所述的方法，其中該影像處理系統為自拍系統，而在產生該已校正臉部影像的步驟之後，該方法更包括：　　顯示該已校正臉部影像至該螢幕。
一種影像處理系統，包括：　　螢幕；　　影像擷取裝置，設置於該螢幕的同一側，並且用以擷取該螢幕前方的使用者臉部，以產生臉部影像；　　記憶體，用以儲存資料、影像以及預設碼書，其中該預設碼書記錄多個預設眼球視線位置的校正資訊；　　處理器，連接該螢幕、該影像擷取裝置以及該記憶體，用以自該臉部影像取得該使用者相對於該螢幕的頭部偏移量以及眼球視線位置，根據該頭部偏移量以及該眼球視線位置，判斷是否校正該臉部影像，若是，根據該眼球視線位置以及預設碼書，校正該臉部影像，以產生已校正臉部影像。
如申請專利範圍第13項所述的系統，其中該記憶體更儲存該影像擷取裝置的設置位置以及該螢幕的尺寸，而該處理器根據該臉部影像中的臉部區域的面積、該影像擷取裝置的該設置位置以及該螢幕的該尺寸，計算出該使用者相對於該螢幕的垂直距離以及方位，以取得該頭部偏移量。
如申請專利範圍第14項所述的系統，其中該記憶體儲存垂直距離與臉部面積之間的第一對應關係，其中該第一對應關係記錄在不同距離下所分別對應的平均臉部面積，而該處理器取得該臉部影像中的該臉部區域的該面積，並且根據該第一對應關係，取得該臉部區域所對應的距離，以做為該使用者相對於該螢幕的該垂直距離以及取得該臉部區域分別相對於該螢幕兩側的距離的比例，據以計算出該使用者相對於該螢幕的該方位。
如申請專利範圍第13項所述的系統，其中該處理器於該臉部影像的固定區域設定虛擬的多個視線標記點以及利用機器學習演算法判定該使用者的眼球視線所對應的該視線標記點，以做為該眼球視線位置。
如申請專利範圍第13項所述的系統，其中該處理器判斷該頭部偏移量是否大於預設偏移量，當該頭部偏移量大於該預設偏移量時，該處理器不校正該臉部影像，而當該頭部偏移量不大於該預設偏移量時，該處理器判斷該眼球視線位置是否位於預設區域，當該眼球視線位置不位於該臉部影像的該預設區域時，該處理器不校正該臉部影像，而當該眼球視線位置位於該臉部影像的該預設區域時，該處理器校正該臉部影像。
如申請專利範圍第16項所述的系統，其中該預設碼書記錄的該校正資訊為各所述預設眼球視線位置的校正向量，而該處理器取得該眼球視線位置與該固定區域的中心點之間的角度，以做為視線校正角度，以該視線校正角度查詢該預設碼書，以取得該校正向量，以及根據該校正向量以及該臉部影像，產生該已校正臉部影像。
如申請專利範圍第13項所述的系統，更包括：通訊介面，用以傳送該已校正臉部影像至另一電子裝置。
如申請專利範圍第13項所述的系統，其中該螢幕更用以顯示該已校正臉部影像。