TWI792137B - 視線方向校正方法 - Google Patents
視線方向校正方法 Download PDFInfo
- Publication number
- TWI792137B TWI792137B TW109147163A TW109147163A TWI792137B TW I792137 B TWI792137 B TW I792137B TW 109147163 A TW109147163 A TW 109147163A TW 109147163 A TW109147163 A TW 109147163A TW I792137 B TWI792137 B TW I792137B
- Authority
- TW
- Taiwan
- Prior art keywords
- image
- sight
- line
- pixel
- facial
- Prior art date
Links
- 238000012937 correction Methods 0.000 title claims abstract description 35
- 238000000034 method Methods 0.000 title claims abstract description 31
- 230000001815 facial effect Effects 0.000 claims abstract description 63
- 210000001508 eye Anatomy 0.000 claims description 61
- 238000013135 deep learning Methods 0.000 claims description 11
- 230000004397 blinking Effects 0.000 claims description 10
- 239000002131 composite material Substances 0.000 claims description 9
- 238000012545 processing Methods 0.000 description 77
- 238000010586 diagram Methods 0.000 description 10
- 210000003128 head Anatomy 0.000 description 9
- 238000003706 image smoothing Methods 0.000 description 6
- 230000002194 synthesizing effect Effects 0.000 description 5
- 210000005252 bulbus oculi Anatomy 0.000 description 4
- 238000004891 communication Methods 0.000 description 4
- 238000009499 grossing Methods 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 238000012549 training Methods 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 206010047571 Visual impairment Diseases 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 230000009191 jumping Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 210000001747 pupil Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/80—Geometric correction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/60—Editing figures and text; Combining figures or text
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
- G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- General Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Evolutionary Computation (AREA)
- Software Systems (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Ophthalmology & Optometry (AREA)
- Image Processing (AREA)
- Eye Examination Apparatus (AREA)
- Geometry (AREA)
- Image Analysis (AREA)
- Radar Systems Or Details Thereof (AREA)
Abstract
本案提出一種視線方向校正方法，包含獲得第一影像；根據第一影像獲得第一視線特徵；判斷第一視線特徵是否落於視線區域中；若第一視線特徵未落於視線區域中，依據第一影像獲得對應第一影像之第二影像及對應第二影像的眼部影像；依據第一影像及眼部影像，合成暫存影像；修正暫存影像以產生臉部輸出影像。
Description
本案是關於視覺的資料處理方法，特別是有關於一種視線方向校正方法。
現今藉由電子裝置視訊通話的使用者大幅增加，進行視訊通話時，可觀看得對方的動態影像，如此可產生如面對面交流般的臨場感，由對方的動態影像更可感受到語音通話所無法感受之親切感。然而，由於硬體限制，電子裝置上用以擷取視訊影像之鏡頭通常未設置在螢幕中央區域，若前述鏡頭擺放在螢幕周圍，用戶在使用視訊通話時通常是直視螢幕中所顯示之動態影像，當使用者未注視鏡頭時，對方反而不容易感受到前述之臨場感及親切感，也就是視訊通話之雙方均無法與對方產生視覺交流，反而降低視訊通話應有之良好體驗。
在一些實施例中，一種視線方向校正方法包含獲得第一影像；根據第一影像獲得第一視線特徵；判斷第一視線特徵是否落於視線區域中；若第一視線特徵未落於視線區域中，依據第一影像獲得對應第一影像之第二影像及對應第二影像的眼部影像；依據第一影像及眼部影像，合成暫存影像；修正暫存影像以產生臉部輸出影像。
在一些實施例中，修正臉部輸出影像之步驟包含：計算第一影像與第二影像之間對應於同一像素位置之像素差值以產生一差異影像；合成第二影像、差異影像、第一影像之眼部輪廓影像，以產生臉部輸出影像。
在一些實施例中，於獲得第一影像前獲取參考臉部影像；計算第一影像與第二影像之間對應於同一像素位置之像素差值以產生一差異影像；根據差異影像之各像素的像素資料計算像素總和；比較像素總和與像素閾值以產生比較結果；合成第二影像、差異影像、第一影像之眼部輪廓影像以產生一合成臉部影像；根據比較結果計算對應合成臉部影像之第一權重參數；根據第一權重參數、參考臉部影像及合成臉部影像產生臉部輸出影像。
在一些實施例中，第一權重參數與第二權重參數之總和為一，根據第一權重參數、參考臉部影像及合成臉部影像產生臉部輸出影像之步驟包含：將第一權重參數乘以合成臉部影像之像素資料以產生第一像素乘積；將第二權重參數乘以參考臉部影像之像素資料以產生第二像素乘積；加總第一像素乘積與第二像素乘積以產生臉部輸出影像之像素資料。
在一些實施例中，獲得第一影像之步驟後包含：根據第一影像獲得第一視線方向；於判斷第一視線方向之前，將第一影像之像素資料與一視線校正模型中包含之複數人臉影像的像素資料進行匹配，並根據匹配後之第一影像校正第一視線特徵；於校正第一視線特徵後將第二影像的像素資料匹配至第一影像之像素資料。
在一些實施例中，獲得第一影像之步驟後包含：根據第一影像獲得第一視線方向；於判斷第一視線方向之前，將第一視線特徵匹配於一視線校正模型包含之複數人眼影像的視線特徵，並根據匹配後之第一影像校正第一視線特徵；於校正第一視線特徵後將第二影像的人物特徵匹配至第一影像之人物特徵。
在一些實施例中，校正第一視線特徵之步驟包含：根據一深度學習結果校正第一視線特徵為第二視線特徵，深度學習結果對應於複數學習資料，學習資料包含複數人眼影像、各人眼影像之校正後之視線角度以及校正視線角度後之各人眼影像。
在一些實施例中，根據第一影像判斷複數臉部特徵；根據臉部特徵判斷一頭部朝向方向；當頭部朝向方向未朝向影像擷取裝置時，不執行第一視線方向是否朝向影像擷取裝置之位置的判斷。
在一些實施例中，根據第一視線特徵判斷是否處於眨眼狀態；當處於眨眼狀態時，不執行第一視線方向是否朝向影像擷取裝置之位置的判斷。
在一些實施例中，根據第一影像判斷複數臉部特徵；根據臉部特徵判斷與一影像擷取裝置之一距離是否小於一預設距離值；當距離小於預設距離值時，不執行第一視線方向是否朝向影像擷取裝置之位置的判斷。
圖1為應用本案之視線方向校正方法之一實施例之電子裝置之方塊示意圖，圖2A為根據本案之視線方向校正方法之一實施例之流程圖。請合併參照圖1及圖2A，電子裝置1包含影像擷取裝置11及處理電路12，影像擷取裝置11耦接處理電路12。當目標的臉部位於影像擷取裝置11之影像擷取範圍內時，由影像擷取裝置11拍攝目標的第一影像S1(步驟S01)，影像擷取裝置11發送第一影像S1至處理電路12。
請同時參考圖2B與2C所示，處理電路12根據第一影像S1的眼部影像R1計算第一視線特徵(步驟S02)。處理電路12可以對第一影像S1中的目標T進行臉部特徵的識別，並且由人臉中的特徵位置定義出眼部影像R(如圖2B所示)。處理電路12判斷第一視線特徵是否落於視線區域Z(如圖2C所示)中(步驟S03)。所述的視線區域Z可以是影像擷取裝置11的所在位置為中心，也可以是影像擷取裝置11的周圍空間。圖2B係為目標T的視線特徵落於視線區域Z中。圖2C係為目標T的視線特徵未落於視線區域Z中。處理電路12根據目標T的眼球(係為瞳孔與虹膜等非眼白的部分)與影像擷取裝置11計算視線的特徵向量，以下簡稱為視線特徵。
以視訊會議為例，大多會將影像擷取裝置11架設於螢幕上方、下方或其他地方。因此處理電路12可以將影像擷取裝置11本身與半徑r所形成的空間設定為視線區域Z，請參考圖2B中影像擷取裝置11處的虛線範圍。圖2B為本案之影像擷取裝置的視線區域Z與目標T的視線特徵之示意圖。圖2B中左側所繪示的為目標T與影像擷取裝置11在特定相對位置(但僅為示意，並非侷限於此位置)下的一情境。圖2B右側所繪示的為影像擷取裝置11在前述情境下所拍攝的目標T的數位影像，其中，數位影像中的灰色虛線框表示為眼部影像(可對應於視線特徵)。由於圖2B中目標T注視影像擷取裝置11，因此目標T的視線為落於視線區域Z之中。
當處理電路12判斷出視線方向未落於視線區域Z中(判斷結果為「未落入」)，請配合參考圖2C所示。圖2C所繪示的為本案之目標的視線未落於影像擷取裝置的視線區域Z中的一情境的示意圖。當然目標的視線也可以是水平方向且未落於視線區域Z中，對此也將視為「未落入」的判斷結果。處理電路12將第一影像S1輸入視線校正模型3(步驟S04)，得到目標T的第二視線特徵與第二影像S2。
處理電路12執行視線校正模型3。視線校正模型3是根據目標T的臉部影像所得到的機器學習與訓練的結果(過程將於後文詳述)。以下稱視線校正模型3時可包含用以訓練模型的資料及訓練結果。視線校正模型3除了具有識別目標T的臉部影像與視線特徵外，視線校正模型3也記錄目標T的視線特徵落於視線區域Z中且不同轉動角度的臉部影像。圖2D為一些實施例的視線校正模型根據第一影像S1所選取的第二影像S2。視線校正模型3可以選取至少一張的第二影像S2。第二影像S2包含目標T之眼部影像R2(例如，可選取正確注視影像擷取裝置11的最上方影像，其包含之眼部影像R2近似於圖2B所示的視線特徵)。處理電路12可以根據第二影像S2與眼部影像R2計算出第二視線特徵。
接著，處理電路12根據第二視線特徵將第二影像S2的眼部影像R2與第一影像S1合成，並產生暫存影像(步驟S05)。為避免暫存影像中的眼部影像的邊界處產生不自然或不連續之現象，或是在不需校正之眼部影像產生雜點，處理電路12可根據第一影像S1的眼部影像R1修正暫存影像的眼部影像(步驟S06)，以產生較為自然之臉部輸出影像S3。
在一些實施例中，當目標T以電子裝置1以有線網路或無線網路以視訊之方式通訊於另一電子裝置2時，電子裝置2可接收目標T的臉部影像(S1或S3)。如果目標T未注視著影像擷取裝置11，電子裝置2之使用者可看到經處理電路12合成的臉部輸出影像S3。臉部輸出影像S3中目標T的視線方向係為朝向影像擷取裝置11，此效果可提升電子裝置2之使用者與電子裝置1之使用者(即此實施例中的目標T)之間的視覺交流。
在一些實施例中，影像擷取裝置11可為RGB影像擷取裝置以產生為RGB影像之第一影像S1、第二影像S2及臉部輸出影像S3，電子裝置1可為筆記型電腦、平板電腦或手機，影像擷取裝置11可為筆記型電腦、平板電腦或手機之相機。處理電路12可判斷第一影像S1及前述包含第二視線特徵之第二影像S2之差異，以得到已校正之像素的像素位置。由於影像擷取裝置11是以串流(steam)方式拍攝目標T。特別是支持高幀率所拍攝的影像擷取裝置11，例如每秒30幀的攝影機。當目標T在視訊通話中，對於連續兩幀的數位影像，目標T的臉部影像可以被視為相似的(意即臉部位置相近)。因此，處理電路12可以根據多幀連續的影像判別人臉的位置變動與有無轉動。
在一些實施例中，處理電路12可以對步驟S05所產生的單一幀的暫存影像進行平滑化處理，請配合參考圖3。例如，處理電路12將第一影像S1與第二影像S2對應於相同像素位置之像素資料相減以計算具有差異的像素以及像素差值，以產生第一影像S1與第二影像S2之間的差異影像(步驟S051)。
處理電路12產生影像遮罩(mask)以表示眼部區域之眼部輪廓影像。影像遮罩410可以採用模糊濾波(blur filter)等方式，例如：低通濾波或中值數值濾波。處理電路12將眼部影像通過影像遮罩410後得到眼部的差異影像420。請參考圖4，其係為本案之第一眼部影像與第二眼部影像通過影像遮罩後差異影像的示意圖。在圖4的影像遮罩410是以白色表示眼部區域且以黑色表示非眼部區域之臉部肌膚。差異影像420在經過校正的像素點表示為白色，而未校正的像素點為黑色。灰階色彩表示校正幅度的大小，幅度越大則越白，反之則越黑。眼部影像R1與R2分別通過影像遮罩410，用以獲得差異影像420。
處理電路12進一步合成第二影像S2、差異影像420及眼部輪廓影像，以產生目標T之合成臉部影像(步驟S052)。在此一實施例中，合成臉部影像相較於第二影像S2，合成臉部影像可減少不自然、不連續或是不需校正之眼部區域產生雜點之問題。處理電路12可直接輸出合成臉部影像用以作為臉部輸出影像S3。
在一些實施例中，可以根據步驟S051與S052所得到的差異影像420與合成臉部影像進行相鄰兩幀影像間的平滑處理，用於產生臉部輸出影像S3，請參考圖5所示。因為相鄰兩幀的影像，若僅修正其中之一影像時，會使得連續的影像中會有眼球有跳動的問題。在步驟S061~S064中，在合成臉部輸出影像S3的過程中，處理電路12可以執行影像平滑處理程序，並輸出臉部輸出影像S3至電子裝置2。
在影像平滑處理程序中，處理電路12可加總差異影像420的各像素位置的像素值，以計算出像素總和Σdiff(步驟S061)，處理電路12接著比較像素總和Σdiff與像素閾值TH以產生比較結果(步驟S062)，處理電路12可將總和Σdiff與像素閾值TH相減以產生差值作為前述比較結果，處理電路12再(例如，根據公式1.1)以比較結果計算對應合成臉部影像之權重參數α
t(步驟S063)，且權重參數α
t係小於1。
影像擷取裝置11在擷取得第一影像S1之前，影像擷取裝置11可在其他時間點擷取目標T之其他臉部影像。例如影像擷取裝置11可在較早之第一時間點擷取得目標T之其他臉部影像且在較晚之第二時間點擷取得第一影像S1，對應第一時間點之其他臉部影像可作為處理電路12執行影像平滑處理程序之參考臉部影像，使處理電路12根據權重參數α
t、參考臉部影像及合成臉部影像(例如，根據公式1.2)產生臉部輸出影像S3(步驟S064)。以下將權重參數α
t為第一權重參數，(1-α
t) 第二權重參數。
在步驟S064中，處理電路12可將合成臉部影像之各像素位置之像素值乘以第一權重參數α
t以產生第一像素乘積。處理電路12將1減去第一權重參數α
t得到第二權重參數(1-α
t)乘以參考臉部影像之各像素位置之像素值以產生第二像素乘積，處理電路12再將對應各像素位置之第一像素乘積及第二像素乘積加總以產生平滑處理後之合成臉部影像之各像素位置之像素值，處理電路12再輸出平滑處理後之合成臉部影像作為臉部輸出影像S3，如圖6所示。圖6中係以灰色虛線包圍之區塊作為表示第二影像S2與其眼部影像的雜訊。
…公式1.1
…公式1.2
其中，
：當前幀的比例參數；
：上一幀的比例參數；TH：判斷差影像和之閾值；
：當前幀於x、y座標處之像素值，
：上一幀於x、y座標處之像素值。由公式1.1中可得知，若像素總和Σdiff愈大，則處理電路12計算出的第一權重參數α
t較大，也就是經平滑處理之臉部輸出影像S3包含較多的合成臉部影像之像素資料與較少的參考臉部影像之像素資料。反之，若像素總和Σdiff愈小，則處理電路12計算出的第一權重參數α
t較小，也就是經平滑處理之臉部輸出影像S3係包含較少的合成臉部影像之像素資料與較多的參考臉部影像之像素資料。基此，處理電路12參考合成臉部影像與參考臉部影像可避免臉部輸出影像S3上具有殘影。
在一些實施例中，在前述之影像平滑處理程序中，處理電路12亦可根據像素總和Σdiff判斷目標T之眼球是否處於轉動狀態，或臉部是否處於轉動狀態。處理電路12可判斷像素總和Σdiff是否大於可區別眼球是否處於轉動狀態及臉部是否處於轉動狀態之閾值。當像素總和Σdiff大於前述閾值時，處理電路12可決定不執行影像平滑處理程序，當像素總和Σdiff小於前述閾值時，處理電路12始決定執行影像平滑處理程序。
在一些實施例中，處理電路12可執行梯度分布直方圖(Histogram of Oriented Gradients，HOG)演算法定位出第一影像S1中的臉部及眼部，以在第一影像S1中定位出目標T的複數組視線特徵。再者，由於影像擷取裝置11在不同時間所擷取的目標T的複數第一影像S1之間可能具有不同色彩亮度及背景色彩。因此，處理電路12可根據影像擷取裝置11在不同時間所擷取的目標T的複數第一影像S1以光流法(Optical flow)對複數第一影像S1執行平滑處理，以定位出穩定之臉部位置及眼部位置。
在一些實施例中，視線校正模型3可藉由深度學習之學習結果校正目標T之視線方向。詳細而言，在學習階段中，視線校正模型3接收兩學習資料包含輸入學習資料及輸出學習資料，輸入學習資料包含人眼影像以及欲校正之視線角度。人眼影像可為人眼之合成影像或真實影像，視線角度可以二維向量表示，也就是視線角度可包含X方向角度及Y方向角度。輸出學習資料包含校正後之人眼影像，處理電路12基於前述之學習資料執行深度學習並產生學習結果。視線校正模型3在步驟S04中再根據學習結果產生第二影像S2，第二影像S2即包含校正後之視線方向。在一些實施例中，處理電路12在步驟S04中可以CNN模型的warping或是Encoder、Decoder架構或以GAN為基礎的模型架構執行深度學習訓練。
在一些實施例中，請參照圖2A，基於前述深度學習所使用之人眼影像，為使第一影像S1與執行深度學習所使用之人眼影像具有一致之影像域。例如使第一影像S1與執行深度學習所使用之人眼影像具有一致之像素資料(例如，對比度及色彩度)及人物特徵資訊(例如，膚色)。處理電路12可在步驟S02中判斷視線方向之前基於梯度分布直方圖演算法將第一影像S1的視線特徵匹配於學習資料及學習結果之人眼影像的視線特徵，使第一影像S1的對比度、色彩度以及前述之人物特徵資訊與視線校正模型3一致。處理電路12再根據匹配後之第一影像S1判斷目標T之視線方向(步驟S02)，處理電路12在步驟S02中可以前述之視線校正模型3以深度學習產生第二影像S2。接著，在校正第一影像S1之視線方向產生第二影像S2之後，處理電路12再將第二影像S2的對比度、色彩度以及人物特徵資訊匹配回與第一影像S1一致(步驟S04)，藉以降低視線校正模型3所造成的兩幀影像的顏色偏差。
在一些實施例中，若目標T之頭部未朝向影像擷取裝置11，處理電路12可根據第一影像S1之複數臉部特徵判斷目標T之頭部朝向角度，例如，以臉部的各項特徵值定義出的特定朝向，可以是五官的位置或相對距離變化等。處理電路12比較頭部朝向角度與朝向影像擷取裝置11之角度範圍，若處理電路12判斷出頭部朝向角度已超出朝向影像擷取裝置11之角度範圍，表示目標T之頭部朝向方向並未朝向影像擷取裝置11，則處理電路12不進行視線校正而輸出第一影像S1(步驟S07)。或者，處理電路12可根據第一影像S1之複數臉部特徵判斷第一影像S1是否包含目標T之側臉影像。若第一影像S1包含目標T之側臉影像，表示目標T之頭部朝向方向並未朝向影像擷取裝置11，即頭部朝向角度已超出朝向影像擷取裝置11之角度範圍，處理電路12不進行視線校正而輸出第一影像S1(步驟S07)。
在一些實施例中，若目標T處於眨眼狀態，影像擷取裝置11擷取所得之第一影像S1即未包含視線方向。處理電路12根據第一影像S1判斷目標T是否處於眨眼狀態，處理電路12可藉由眼部區域之特徵點判斷目標T是否處於眨眼狀態。處理電路12判斷眼部區域之最上方特徵點與最下方特徵點之間的距離(以下稱為第一距離)，且處理電路12判斷最左側特徵點與最右側特徵點之間的距離(以下稱為第二距離)，並計算第一距離與第二距離之間的比值。處理電路12比較前述比值與可區別眨眼狀態與未眨眼狀態之閾值，若比值小於閾值(判斷結果為「否」)，則表示目標T為眨眼狀態，處理電路12不進行視線校正而輸出第一影像S1(步驟S07)。
在一些實施例中，當目標T過於接近或過於遠離於影像擷取裝置11時，若處理電路12將目標T之視線方向校正為朝向影像擷取裝置11，將造成影像擷取裝置11輸出之臉部輸出影像S3之視線方向較不自然。因此，在步驟S04中，處理電路12可基於第一影像S1的臉部特徵點之位置判斷影像擷取裝置11與目標T之距離，處理電路12接著判斷目標T與影像擷取裝置11之距離是否小於一預設距離值，當前述距離小於預設距離值時，處理電路12判斷不需校正第一影像S1之第一視線方向，處理電路12不對第一影像S1執行校正而輸出第一影像S1(步驟S07)。
在一些實施例中，處理電路12可以中央處理器(Central Processing Unit，CPU)、微控制器(Microprogrammed Control Unit，MCU)或輔以圖形處理器(Graphics Processing Unit，GPU)來實現。
綜上所述，根據本案之視線方向校正方法之一實施例，當電子裝置之鏡頭設置在螢幕周圍而未設置在螢幕中央區域時，電子裝置可校正所擷取的使用者臉部(主要為眼部)影像，令使用者的視線方向看似朝向電子裝置之鏡頭，使不同電子裝置使用視訊通話之使用者之間能產生視覺交流之感受；並且，電子裝置可對視訊影像中之眼部影像執行額外之影像處理，電子裝置進行眼部影像之去噪，以及根據影像擷取裝置於不同時間點所擷取之眼部影像執行平滑化處理，且電子裝置可透過機器學習方法的模型訓練，將視線校正程序統一及最佳化，以輸出影像品質較佳之視訊臉部影像。
雖然本案已以實施例揭露如上然其並非用以限定本案，任何所屬技術領域中具有通常知識者，在不脫離本案之精神和範圍內，當可作些許之更動與潤飾，故本案之保護範圍當視後附之專利申請範圍所界定者為準。
1:電子裝置
11:影像擷取裝置
12:處理電路
2:電子裝置
3:視線校正模型
S1:第一影像
S2:第二影像
S3:臉部輸出影像
S01~S07:步驟流程
S051~S052:步驟流程
S061~S064:步驟流程
T:目標
R:眼部影像
Z:視線區域
r:半徑
R1:眼部影像
R2:眼部影像
410:影像遮罩
420:差異影像
[圖1] 為應用本案之視線方向校正方法之一實施例之電子裝置之方塊示意圖。
[圖2A] 為根據本案之視線方向校正方法之一實施例之流程圖。
[圖2B] 為本案之影像擷取裝置的視線區域與目標的視線之示意圖。
[圖2C] 為本案之目標的視線未落於影像擷取裝置的視線區域中的一情境的示意圖。
[圖2D] 為本案之視線校正模型選擇第二影像之示意圖。
[圖3] 為圖2A之流程圖之另一實施例之流程圖。
[圖4] 為本案之第一眼部影像與第二眼部影像通過影像遮罩後差異影像的示意圖。
[圖5] 為圖2A之流程圖之另一實施例之流程圖。
[圖6] 為第一影像與第二影像的合成示意圖。
1:電子裝置
11:影像擷取裝置
12:處理電路
2:電子裝置
3:視線校正模型
S1:第一影像
S3:臉部輸出影像
Claims (8)
- 一種視線方向校正方法，包含：獲取一參考臉部影像；獲得一第一影像；根據該第一影像獲得一第一視線特徵；判斷該第一視線特徵是否落於一視線區域中；若該第一視線特徵未落於該視線區域中，依據該第一影像獲得對應該第一影像之一第二影像及對應該第二影像的一眼部影像；計算該第一影像與該第二影像之間對應於同一像素位置之像素差值以產生一差異影像；根據該差異影像之各像素的像素資料計算一像素總和；比較該像素總和與一像素閾值以產生一比較結果；合成該第二影像、該差異影像、該第一影像之眼部輪廓影像以產生一合成臉部影像；根據該比較結果計算對應該合成臉部影像之一第一權重參數；及根據該第一權重參數、該參考臉部影像及該合成臉部影像產生該臉部輸出影像。
- 如請求項1所述之視線方向校正方法，其中該第一權重參數與一第二權重參數之總和為一，根據該第一權重參數、該參考臉部影像及該合成臉部影像產生該臉部輸出影像之步驟包含：將該第一權重參數乘以該合成臉部影像之像素資料以產生一第一像素乘積； 將該第二權重參數乘以該參考臉部影像之像素資料以產生一第二像素乘積；及加總該第一像素乘積與該第二像素乘積以產生該臉部輸出影像之像素資料。
- 如請求項1所述之視線方向校正方法，獲得該第一影像之步驟後包含：根據該第一影像獲得一第一視線方向；於判斷該第一視線方向之前，將該第一影像之像素資料與一視線校正模型中包含之複數人臉影像的像素資料進行匹配，並根據匹配後之該第一影像校正該第一視線特徵；及於校正該第一視線特徵後將該第二影像的像素資料匹配至該第一影像之像素資料。
- 如請求項1所述之視線方向校正方法，獲得該第一影像之步驟後包含：根據該第一影像獲得一第一視線方向；於判斷該第一視線方向之前，將該第一視線特徵匹配於一視線校正模型包含之複數人眼影像的視線特徵，並根據匹配後之該第一影像校正該第一視線特徵；及於校正該第一視線特徵後將該第二影像的人物特徵匹配至該第一影像之人物特徵。
- 如請求項3或4所述之視線方向校正方法，其中校正該第一視線特徵之步驟包含： 根據一深度學習結果校正該第一視線特徵為一第二視線特徵，該深度學習結果對應於複數學習資料，該些學習資料包含複數人眼影像、各該人眼影像之校正後之視線角度以及校正視線角度後之各該人眼影像。
- 如請求項3或4所述之視線方向校正方法，更包含：根據該第一影像判斷複數臉部特徵；根據該些臉部特徵判斷一頭部朝向方向；及當該頭部朝向方向未朝向一影像擷取裝置時，不執行該第一視線方向是否朝向該影像擷取裝置之位置的判斷。
- 如請求項3或4所述之視線方向校正方法，更包含：根據該第一視線特徵判斷是否處於眨眼狀態；及當處於眨眼狀態時，不執行該第一視線方向是否朝向一影像擷取裝置之位置的判斷。
- 如請求項3或4所述之視線方向校正方法，更包含：根據該第一影像判斷複數臉部特徵；根據該些臉部特徵判斷與一影像擷取裝置之一距離是否小於一預設距離值；及當該距離小於該預設距離值時，不執行該第一視線方向是否朝向該影像擷取裝置之位置的判斷。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| TW109147163A TWI792137B (zh) | 2020-12-31 | 2020-12-31 | 視線方向校正方法 |
| US17/210,149 US20220207667A1 (en) | 2020-12-31 | 2021-03-23 | Gaze direction correction method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| TW109147163A TWI792137B (zh) | 2020-12-31 | 2020-12-31 | 視線方向校正方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| TW202228074A TW202228074A (zh) | 2022-07-16 |
| TWI792137B true TWI792137B (zh) | 2023-02-11 |
Family
ID=82118845
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| TW109147163A TWI792137B (zh) | 2020-12-31 | 2020-12-31 | 視線方向校正方法 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US20220207667A1 (zh) |
| TW (1) | TWI792137B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023035007A1 (en) * | 2021-09-06 | 2023-03-09 | Kickback Space Inc. | Image analysis and gaze redirection using characteristics of the eye |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10423830B2 (en) * | 2016-04-22 | 2019-09-24 | Intel Corporation | Eye contact correction in real time using neural network based machine learning |
| CN111339928A (zh) * | 2020-02-25 | 2020-06-26 | 苏州科达科技股份有限公司 | 眼神调节方法、装置及存储介质 |
| TWI699731B (zh) * | 2018-09-11 | 2020-07-21 | 財團法人資訊工業策進會 | 影像處理方法與影像處理裝置 |
| TW202032400A (zh) * | 2019-02-26 | 2020-09-01 | 大陸商騰訊科技（深圳）有限公司 | 圖像融合的方法、模型訓練的方法以及相關裝置 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8520089B2 (en) * | 2008-07-30 | 2013-08-27 | DigitalOptics Corporation Europe Limited | Eye beautification |
| WO2011148366A1 (en) * | 2010-05-26 | 2011-12-01 | Ramot At Tel-Aviv University Ltd. | Method and system for correcting gaze offset |
| KR101979669B1 (ko) * | 2012-07-13 | 2019-05-17 | 삼성전자주식회사 | 이미지 내 사용자의 시선 보정 방법, 기계로 읽을 수 있는 저장 매체 및 통신 단말 |
| KR102317021B1 (ko) * | 2015-06-26 | 2021-10-25 | 삼성전자주식회사 | 디스플레이 장치 및 이의 영상 보정 방법 |
| WO2017149315A1 (en) * | 2016-03-02 | 2017-09-08 | Holition Limited | Locating and augmenting object features in images |
| US10388002B2 (en) * | 2017-12-27 | 2019-08-20 | Facebook, Inc. | Automatic image correction using machine learning |
-
2020
- 2020-12-31 TW TW109147163A patent/TWI792137B/zh active
-
2021
- 2021-03-23 US US17/210,149 patent/US20220207667A1/en active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10423830B2 (en) * | 2016-04-22 | 2019-09-24 | Intel Corporation | Eye contact correction in real time using neural network based machine learning |
| TWI699731B (zh) * | 2018-09-11 | 2020-07-21 | 財團法人資訊工業策進會 | 影像處理方法與影像處理裝置 |
| TW202032400A (zh) * | 2019-02-26 | 2020-09-01 | 大陸商騰訊科技（深圳）有限公司 | 圖像融合的方法、模型訓練的方法以及相關裝置 |
| CN111339928A (zh) * | 2020-02-25 | 2020-06-26 | 苏州科达科技股份有限公司 | 眼神调节方法、装置及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| TW202228074A (zh) | 2022-07-16 |
| US20220207667A1 (en) | 2022-06-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107818305B (zh) | 图像处理方法、装置、电子设备和计算机可读存储介质 | |
| US9749581B2 (en) | Eye gaze correction | |
| US9563975B2 (en) | Makeup support apparatus and method for supporting makeup | |
| US9635311B2 (en) | Image display apparatus and image processing device | |
| CN108846807B (zh) | 光效处理方法、装置、终端及计算机可读存储介质 | |
| WO2014103094A1 (ja) | 情報処理装置、情報処理システム、および情報処理方法 | |
| CN111339928B (zh) | 眼神调节方法、装置及存储介质 | |
| JP2006163871A (ja) | 画像処理装置、画像処理方法、およびプログラム | |
| US9740938B2 (en) | Eye gaze correction | |
| JP7039183B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
| JP6432399B2 (ja) | 画像処理装置および画像処理方法 | |
| TWI792137B (zh) | 視線方向校正方法 | |
| CN108513074B (zh) | 自拍控制方法及装置、电子设备 | |
| US9323981B2 (en) | Face component extraction apparatus, face component extraction method and recording medium in which program for face component extraction method is stored | |
| JP6967065B2 (ja) | 情報処理装置、プログラム、及び、情報処理方法 | |
| WO2023103813A1 (zh) | 图像处理方法、装置、设备、存储介质及程序产品 | |
| KR102171332B1 (ko) | 얼굴 영상 보정 장치, 방법 및 컴퓨터 프로그램이 기록된 기록매체 | |
| JP6740109B2 (ja) | 画像処理装置、画像処理方法、およびプログラム | |
| WO2016176226A1 (en) | Eye gaze correction | |
| CN114723932A (zh) | 视线方向校正方法 | |
| TW202016887A (zh) | 獨照生成裝置和方法及其非揮發性電腦可讀媒體 | |
| US8223220B2 (en) | Image processing device, image processing method, and information storage medium | |
| JP4984247B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
| KR102666908B1 (ko) | 프로와 사용자의 스윙을 겹쳐 분석 및 제공하는 골프 자세 교정 시스템 | |
| JP6260094B2 (ja) | 画像処理装置、画像処理方法及びプログラム |