TW202301165A

TW202301165A - 提示螢幕偷窺系統及提示螢幕偷窺方法

Info

Publication number: TW202301165A
Application number: TW110123533A
Authority: TW
Inventors: 阮鈺珊; 曹淩帆
Original assignee: 宏碁股份有限公司
Priority date: 2021-06-28
Filing date: 2021-06-28
Publication date: 2023-01-01

Abstract

一種螢幕偷窺方法包含以下步驟：藉由一攝像機拍攝一實景影像；藉由一處理器接收實景影像，並移除實景影像中的一背景影像，以取得一去背影像；藉由處理器將去背影像輸入一物件模型，物件模型用以分割出去背影像中的複數個物件影像；藉由處理器將此些物件影像輸入一使用者辨識模型，使用者辨識模型用以判斷每個物件影像是否為一新物件影像；當使用者辨識模型判斷此些物件包含一新物件影像時，處理器將新物件影像輸入一眼睛狀態偵測模型；當眼睛狀態偵測模型判斷新物件影像中包含張開眼睛影像，則處理器透過一顯示器顯示一偷窺提示介面。。

Description

提示螢幕偷窺系統及提示螢幕偷窺方法

本發明是關於一種避免螢幕被偷窺的應用，特別是關於一種提示螢幕偷窺系統及提示螢幕偷窺方法。

在移動辦公的時代，需多工作者常會在咖啡廳等公眾場合辦公，在公共的空間中，身旁的陌生人可能會因為好奇心偷窺電腦螢幕上的資訊，這樣的行為，除了侵犯到當事人的隱私，更可能造成當事人重要機密資料外洩。因此本專利提出一系統，讓使用者可以上述情況發生的當下，能夠利用本系統的人工智慧方法來自動偵測目前是否有人在偷窺，並做提示警告，達到保護使用者隱私的效果。

因此，如何讓使用者可以上述情況發生的當下，能夠自動偵測目前是否有人在偷窺，並做提示警告，達到保護使用者隱私的效果，已成為本領域需解決的問題之一。

為了解決上述的問題，本揭露內容之一態樣提供了一種螢幕偷窺系統。螢幕偷窺系統包含：一攝像機以及一處理器。攝像機用以拍攝一實景影像。處理器接收實景影像，並移除實景影像中的一背景影像，以取得一去背影像，將去背影像輸入一物件模型，物件模型用以分割出去背影像中的複數個物件影像，處理器將此些物件影像輸入一使用者辨識模型，使用者辨識模型用以判斷每個物件影像是否為一新物件影像；其中，當使用者辨識模型判斷此些物件影像包含一新物件影像時，處理器將新物件影像輸入一眼睛狀態偵測模型，眼睛狀態偵測模型用以判斷是否新物件影像中包含一張開眼睛影像，當眼睛狀態偵測模型判斷新物件影像中包含張開眼睛影像，則處理器透過一顯示器顯示一偷窺提示介面，偷窺提示介面包含一眼睛影像所在位置。

本揭露內容之另一態樣提供了一種螢幕偷窺方法。擴螢幕偷窺方法包含以下步驟：藉由一攝像機拍攝一實景影像；藉由一處理器接收實景影像，並移除實景影像中的一背景影像，以取得一去背影像；藉由處理器將去背影像輸入一物件模型，物件模型用以分割出去背影像中的複數個物件影像；藉由處理器將此些物件影像輸入一使用者辨識模型，使用者辨識模型用以判斷每個物件影像是否為一新物件影像；其中，當使用者辨識模型判斷此些物件包含一新物件影像時，處理器將新物件影像輸入一眼睛狀態偵測模型；以及藉由該眼睛狀態偵測模型判斷是否該新物件影像中包含一張開眼睛影像；當眼睛狀態偵測模型判斷新物件影像中包含張開眼睛影像，則處理器透過一顯示器顯示一偷窺提示介面，偷窺提示介面包含一眼睛影像所在位置。

本發明所示之提示螢幕偷窺系統及提示螢幕偷窺方法，當提示螢幕偷窺系統判斷出其他人的眼睛狀態為睜眼時，提示螢幕偷窺系統即當作此人可能正在進行偷窺，針對此偷窺眼睛所在目前的影像位置，跳出偷窺提示介面，提示使用者目前哪個方向有人正在進行偷窺，保護使用者的隱私。因此，本發明所示之提示螢幕偷窺系統及提示螢幕偷窺方法透過多個模型相互運作，以達到自動偵測螢幕偷窺者並提供偷窺者方位警示通知的效果，藉此可防範使用者螢幕被偷窺，確保使用者隱私安全。

以下說明係為完成發明的較佳實現方式，其目的在於描述本發明的基本精神，但並不用以限定本發明。實際的發明內容必須參考之後的權利要求範圍。

必須了解的是，使用於本說明書中的”包含”、”包括”等詞，係用以表示存在特定的技術特徵、數值、方法步驟、作業處理、元件以及/或組件，但並不排除可加上更多的技術特徵、數值、方法步驟、作業處理、元件、組件，或以上的任意組合。

於權利要求中使用如”第一”、"第二"、"第三"等詞係用來修飾權利要求中的元件，並非用來表示之間具有優先權順序，先行關係，或者是一個元件先於另一個元件，或者是執行方法步驟時的時間先後順序，僅用來區別具有相同名字的元件。

請參照第1~2圖，第1圖係依照本發明一實施例繪示的提示螢幕偷窺系統100之方塊圖。第2圖係依照本發明一實施例繪示的提示螢幕偷窺方法200之流程圖。

如第1圖所示，提示螢幕偷窺系統100包含一攝像機10、一處理器20及一顯示器30。於一實施例中，提示螢幕偷窺系統100可以是一筆電、一平板或一手機，只要是有攝像機10、一處理器20及一顯示器30的裝置都可以用以實施提示螢幕偷窺系統100。

於一實施例中，處理器20可由體積電路如微控制單元(micro controller)、微處理器(microprocessor)、數位訊號處理器(digital signal processor)、特殊應用積體電路(application specific integrated circuit，ASIC)或一邏輯電路來實施。

於步驟210中，一攝像機10拍攝一實景影像。

於一實施例中，提示螢幕偷窺系統100例如為一筆電(或搭載於一筆電上)，筆電上的攝像機20拍攝實景影像，實景影像是指當下的影像，例如辦公室中，筆電上的攝像機20可能拍到一使用者本人、其身後的同事及/或置物櫃。

請參閱第3~5圖，第3圖係依照本發明一實施例繪示的背景影像IMG1之示意圖。第4圖係依照本發明一實施例繪示的實景影像IMG2之示意圖。第5圖係依照本發明一實施例繪示的去背影像IMG3之示意圖。

於一實施例中，攝像機10在拍攝實景影像之前，事先拍攝一背景影像IMG1。

於步驟220中，一處理器20接收實景影像IMG2，並移除實景影像IMG2中的一背景影像IMG1，以取得一去背影像IMG3。

舉例而言，如第3圖所示，攝像機10事先拍攝背景影像IMG1，背景影像IMG1中包含一張圖畫BG。接著，如第4圖所示，攝像機20拍攝實景影像IMG2，實景影像IMG2中包含圖畫BG跟一個使用者USR。接著，如第5圖所示，處理器20將實景影像IMG2中的背景影像IMG1移除，在此例中，處理器20將圖畫BG移除，以得到去背影像IMG3，去背影像IMG3中包含使用者USR。於此例中，使用者USR是使用此提示螢幕偷窺系統100(例如為筆電)的唯一使用者(本人)。

於一實施例中，處理器20將去背影像IMG3輸入一使用者辨識模型。於一實施例中，使用者辨識模型可以藉由卷積神經網路（Convolutional Neural Networks，CNN）實作之。於一實施例中，使用者辨識模型藉由以下方式以事先訓練好。

請參閱第6圖係依照本發明一實施例繪示的訓練使用者辨識模型方法600之流程圖。

於步驟610中，攝像機10拍攝背景影像IMG1。於一實施例中，背景影像IMG1是指只有背景的畫面，例如空無一人的辦公室，牆上有一張圖畫BG。

於步驟620中，攝像機10拍攝有使用者USR人臉的實景影像IMG2。

於一實施例中，使用者是指使用者USR是使用此筆電(已裝設提示螢幕偷窺系統100)的唯一使用者(本人)。於一實施例中，使用者USR是指開啟或觸發提示螢幕偷窺系統100之軟體介面者，通常是此筆電的唯一使用者(本人)。

於步驟630中，處理器20將實景影像IMG2中的背景影像IMG1移除，以得到去背影像IMG3。

於一實施例中，處理器20將背景影像IMG1(包含圖畫BG)移除，以得到去背影像IMG3。去背影像IMG3中只剩下有使用者人臉的影像。

於步驟640中，處理器10應用去背影像IMG3訓練用以辨識使用者USR的卷積神經網路，以建立使用者辨識模型。

上述步驟620~640可以一值重覆，於步驟620中，攝像機10可以拍攝不同角度的使用者USR人臉，以在步驟630中得到多張不同的去背影像IMG3，例如第5圖所示，去背影像IMG3可以是人臉USR往上方方向U抬頭的影像、去背影像IMG3可以是人臉USR往下方方向D低頭的影像、去背影像IMG3可以是人臉USR往左方方向L轉頭的影像及、去背影像IMG3可以是人臉USR往右方方向R低頭的影像。透過多張不同的去背影像IMG3輸入到卷積神經網路中，以建立使用者辨識模型。

當完成建立使用者辨識模型後，若處理器10將實景影像IMG2輸入使用者辨識模型，使用者辨識模型可以辨識出使用者影像(本人影像)，並且辨識出新物件影像(例如將其他使用者視為新物件影像)。

於一實施例中，當使用者辨識模型辨識出新物件影像(例如將其他使用者視為新物件影像)時，處理器20需要判斷此新物件影像是否包含一張開眼睛影像FE(如第9圖所示)。舉例而言，若新物件影像是使用者USR的同事影像，處理器20透過眼睛狀態偵測模型以判斷此同事影像是否包含一張開眼睛影像FE，若是，則代表此同事可能正在偷窺(觀看)使用者USR的顯示器畫面。

請參閱第7圖係依照本發明一實施例繪示的訓練眼睛狀態偵測模型方法700之流程圖。

於步驟710中，處理器10取得新物件影像。

於一實施例中，此新物件影像可以是由使用者辨識模型所辨識而得。

於步驟720中，處理器10透過影像處理方法擷取新物件影像中的眼睛部位影像。

於一實施例中，處理器10透過已知的影像處理方法擷取眼睛部位影像。於一實施例中，已知的影像處理方法例如為物件偵測演算法。於一實施例中，處理器10可以透過用以偵測眼睛部位影像的卷積神經網路以擷取新物件影像中的眼睛部位影像。

於步驟730中，處理器10透過已知的影像特徵演算法以計算出眼睛部位影像的特徵矩陣。

於一實施例中，處理器10透過二维主成分分析(Two-dimensional Principal Component Analysis，2DPCA)演算法以計算出眼睛部位的特徵矩陣。

於步驟740中，處理器10將計算出的特徵矩陣儲存於一儲存裝置。

於一實施例中，儲存裝置可被實作為唯讀記憶體、快閃記憶體、軟碟、硬碟、光碟、隨身碟、磁帶、可由網路存取之資料庫或熟悉此技藝者可輕易思及具有相同功能之儲存媒體。

藉此，經由多次重覆執行步驟710~740，可建立出眼睛狀態偵測模型，此眼睛狀態偵測模型中包含各種眼睛的特徵矩陣及眼睛狀態(例如，開眼狀態或閉眼狀態)。

於步驟230中，處理器20將去背影像IMG3輸入一物件模型，物件模型用以分割出去背影像IMG3中的複數個物件影像。

請一併參照第8~10圖，如第8圖所示，第8圖係依照本發明一實施例繪示的去背影像IMG4之示意圖。於一實施例中，去背影像IMG4是由另一個實景影像經過前述步驟210~230後處理後所取得。第9圖係依照本發明一實施例繪示的張開眼睛影像FE之示意圖。第10圖係依照本發明一實施例繪示的偷窺提示介面EDW之示意圖。

於一實施例中，處理器20將去背影像IMG4輸入到已知訓練好的基於深度學習之物件模型(object detection)，此物件模型輸出兩個物件影像FU及FO。於一實施例中，物件影像FU例如是使用者USR本人的影像，物件影像FO例如是其他人的影像。

由於本領域具通常知識者可理解基於深度學習之物件模型，可以由已知的演算法實現，故此處不贅述之。

於步驟240中，處理器20將此些物件影像(例如物件影像FU及FO)輸入一使用者辨識模型，使用者辨識模型用以判斷每個物件影像是否為一新物件影像。其中，當使用者辨識模型判斷此些物件包含一新物件影像時，處理器20將新物件影像輸入一眼睛狀態偵測模型；當使用者辨識模型判斷此些物件不包含一新物件影像時，則處理器不促使顯示器顯示偷窺提示介面EDW。

於一實施例中，處理器20將此些物件影像FU及FO輸入一使用者辨識模型，使用者辨識模型用以判斷每個物件影像是否為一新物件影像，其中，新物件影像是指使用者USR本人以外的人類影像或物體影像都稱為新物件影像。

在第8圖的例子中，使用者辨識模型會分別判斷出物件影像FU及FO是否為一新物件影像。

於一實施例中，使用者辨識模型會判斷出物件影像FU是使用者USR本人，則處理器20不促使顯示器顯示物件影像FU的眼睛部位於偷窺提示介面EDW中。

於一實施例中，當物件影像只有一個且使用者辨識模型判斷出此物件影像FU是使用者USR本人，則不會開啟偷窺提示介面EDW。

於一實施例中，使用者辨識模型會判斷出物件影像FO是新物件影像，因此進入步驟260。

於步驟260中，眼睛狀態偵測模型判斷是否新物件影像FO中包含一張開眼睛影像FE。當眼睛狀態偵測模型判斷新物件影像中包含張開眼睛影像FE，則進入步驟270。

於一實施例中，當此些物件影像FU及FO中包含一使用者影像(如物件影像FU)及新物件影像(如物件影像FO)，且眼睛狀態偵測模型判斷新物件影像(如物件影像FO)中包含張開眼睛影像FE時，進入步驟270。

於一實施例中，當有新物件影像(如物件影像FO)進入到攝像機10擷取的當下的實景畫面時，處理器20將當下的實景畫面扣掉只有背景影像，如此可以得到去背影像(例如去背影像IMG4)，將去背影像IMG4輸入已知訓練好的基於深度學習的物件偵測模型，可以得到二物件影像，一為新物件影像(如物件影像FO)，另一為使用者影像(例如物件影像FU可以是使用者USR的人臉影像)，之後將此二物件影像FU及FO丟入預先訓練好的使用者辨識模型，使用者辨識模型會針對此二物件影像進行分類，分類的結果有二種(1和0)，1代表此物件影像為使用者影像，例如為觸發提示螢幕偷窺系統100後，攝像機10於前五秒鐘擷取到的影像畫面中的人臉，0則代表為新物件影像(非本人影像)。因此使用者影像被分類為1，新物件影像(例如其他人影像)被分類為0。

當進行至此階段，如使用者辨識模型輸出為0時(例如新物件影像(如物件影像FO)，處理器20會再利用膚色資訊對新物件影像(如物件影像FO)進行眼睛部位影像進行自動切割，並將切割所得的眼睛部位影像進行2DPCA演算法運算，以取得眼睛部位影像之特徵矩陣，再將眼睛部位影像的特徵矩陣與眼睛狀態偵測模型中訓練影像的特徵矩陣進行比對，以辨識所屬眼睛之狀態，若此眼睛狀態為睜眼(張開眼睛影像FE)而非閉眼時，提示螢幕偷窺系統100即當作此人可能正在進行偷窺，針對此偷窺眼睛所在目前的影像位置，跳出提示方位的偷窺提示介面EDW，提示使用者得知目前哪個方向有人正在進行偷窺。

於一實施例中，當眼睛狀態偵測模型判斷新物件影像中不包含張開眼睛影像FE時，則處理器不促使顯示器顯示偷窺提示介面EDW(步驟250)。

於步驟270中，處理器20透過一顯示器顯示一偷窺提示介面EDW，偷窺提示介面EDW包含一眼睛影像所在位置EF’。

於一實施例中，處理器20將使用者影像視為一中心位置O，促使顯示器顯示的偷窺提示介面EDW中，呈現眼睛影像對應中心位置O所在的一象限畫面F1。

於一實施例中，於第10圖的象限畫面F1中，眼睛所在位置EF’為物件影像FO的眼睛影像與中心位置O的相對位置，當物件影像FO移動時，象限畫面F1中的眼睛所在位置EF’也會隨之移動。

於一實施例中，顯示器顯示的偷窺提示介面EDW中更包含一當前實景影像F2。於一實施例中，當前實景影像F2是指攝像機10當前擷取到的實景影像，於當前實景影像F2中，處理器20將使用者USR的頭部影像框選出來，視為一中心位置USRH，依據此中心位置USRH分出四象限，並框選出物件影像FO的頭部影像OTH跟張開眼睛影像FE，使用者USR也可以透過當前實景影像F2清楚看到張開眼睛影像FE與自己(中心位置USRH)的相對位置。

藉此，使用者USR在專心使用電腦時，若後方有其他人在觀看使用者USR的螢幕，此偷窺提示介面EDW就會顯示在顯示器上，此時，使用者USR可以轉頭確認後，例如使用者USR確認為同事有事要討論，因此往使用者USR的方向走過來，則使用者USR可選擇性地關閉提示螢幕偷窺系統100以結束流程，或是關閉偷窺提示介面EDW(例如直到同事離開)，則提示螢幕偷窺系統100會回到執行步驟210。

於一實施例中，於步驟250執行後，使用者USR亦可以選擇是否關閉提示螢幕偷窺系統100，若處理器20接收到關閉提示螢幕偷窺系統100的訊號，則結束流程，若處理器20沒有接收到關閉提示螢幕偷窺系統100的訊號，則執行步驟210。

本發明之方法，或特定型態或其部份，可以以程式碼的型態存在。程式碼可以包含於實體媒體，如軟碟、光碟片、硬碟、或是任何其他機器可讀取(如電腦可讀取)儲存媒體，亦或不限於外在形式之電腦程式產品，其中，當程式碼被機器，如電腦載入且執行時，此機器變成用以參與本發明之裝置。程式碼也可以透過一些傳送媒體，如電線或電纜、光纖、或是任何傳輸型態進行傳送，其中，當程式碼被機器，如電腦接收、載入且執行時，此機器變成用以參與本發明之裝置。當在一般用途處理單元實作時，程式碼結合處理單元提供一操作類似於應用特定邏輯電路之獨特裝置。

雖然本發明已以實施方式揭露如上，然其並非用以限定本發明，任何熟習此技藝者，在不脫離本發明之精神和範圍內，當可作各種之更動與潤飾，因此本發明之保護範圍當視後附之申請專利範圍所界定者為準。

100:螢幕偷窺系統 10:攝像機 20:處理器 30:顯示器 200:提示螢幕偷窺方法 210~270,610~640, 710~740:步驟 BG:圖畫 IMG1:背景影像 USR:使用者 IMG2:實景影像 600:使用者辨識模型方法 IMG3:去背影像 U:上方方向 L:左方方向 R:右方方向 D:下方方向 700:眼睛狀態偵測模型方法 FU, FO:物件影像 IMG4:去背影像 FE:張開眼睛影像 EF’:眼睛所在位置 F2:當前實景影像 USRH, O:中心位置 OTH:頭部影像 EDW:偷窺提示介面

第1圖係依照本發明一實施例繪示的提示螢幕偷窺系統之方塊圖。第2圖係依照本發明一實施例繪示的提示螢幕偷窺方法之流程圖。第3圖係依照本發明一實施例繪示的背景影像之示意圖。第4圖係依照本發明一實施例繪示的實景影像IMG2之示意圖。第5圖係依照本發明一實施例繪示的去背影像IMG3之示意圖。第6圖係依照本發明一實施例繪示的訓練使用者辨識模型方法之流程圖。第7圖係依照本發明一實施例繪示的訓練眼睛狀態偵測模型方法之流程圖。第8圖係依照本發明一實施例繪示的去背影像之示意圖。第9圖係依照本發明一實施例繪示的張開眼睛影像之示意圖。第10圖係依照本發明一實施例繪示的偷窺提示介面EDW之示意圖。

200:螢幕偷窺方法

210~270:步驟

Claims

一種提示螢幕偷窺系統，包含：一攝像機，用以拍攝一實景影像；以及一處理器，用以接收該實景影像，並移除該實景影像中的一背景影像，以取得一去背影像，將該去背影像輸入一物件模型，該物件模型用以分割出該去背影像中的複數個物件影像，該處理器將該些物件影像輸入一使用者辨識模型，該使用者辨識模型用以判斷每個物件影像是否為一新物件影像；其中，當該使用者辨識模型判斷該些物件影像包含一新物件影像時，該處理器將該新物件影像輸入一眼睛狀態偵測模型，該眼睛狀態偵測模型用以判斷是否該新物件影像中包含一張開眼睛影像，當該眼睛狀態偵測模型判斷該新物件影像中包含該張開眼睛影像，則該處理器透過一顯示器顯示一偷窺提示介面，該偷窺提示介面包含一眼睛影像所在位置。
如請求項1所述之提示螢幕偷窺系統，其中，當該使用者辨識模型判斷該些物件不包含一新物件影像時，則該處理器不促使該顯示器顯示該偷窺提示介面影像影像。
如請求項1所述之提示螢幕偷窺系統，其中，當該些物件影像中包含一使用者影像及該新物件影像，且該眼睛狀態偵測模型判斷該新物件影像中包含該張開眼睛影像時，該處理器將該使用者影像視為一中心位置，促使該顯示器顯示的該偷窺提示介面中，呈現該眼睛影像對應該中心位置所在的一象限害面；其中，當該眼睛狀態偵測模型判斷該新物件影像中不包含該張開眼睛影像時，則該處理器不促使該顯示器顯示該偷窺提示介面。
如請求項1所述之提示螢幕偷窺系統，其中，該顯示器顯示的該偷窺提示介面中更包含一當前實景影像。
如請求項1所述之提示螢幕偷窺系統，其中，該攝像機在拍攝該實景影像之前，事先拍攝該背景影像。
一種提示螢幕偷窺方法，包含：藉由一攝像機拍攝一實景影像；藉由一處理器接收該實景影像，並移除該實景影像中的一背景影像，以取得一去背影像；藉由該處理器將該去背影像輸入一物件模型，該物件模型用以分割出該去背影像中的複數個物件影像；藉由該處理器將該些物件影像輸入一使用者辨識模型，該使用者辨識模型用以判斷每個物件影像是否為一新物件影像；其中，當該使用者辨識模型判斷該些物件包含一新物件影像時，該處理器將該新物件影像輸入一眼睛狀態偵測模型；以及藉由該眼睛狀態偵測模型判斷是否該新物件影像中包含一張開眼睛影像；當該眼睛狀態偵測模型判斷該新物件影像中包含該張開眼睛影像，則該處理器透過一顯示器顯示一偷窺提示介面，該偷窺提示介面包含一眼睛影像所在位置。
如請求項6所述之提示螢幕偷窺方法，更包含：當該使用者辨識模型判斷該些物件不包含一新物件影像時，則該處理器不促使該顯示器顯示該偷窺提示介面。
如請求項6所述之提示螢幕偷窺方法，更包含：當該些物件影像中包含一使用者影像及該新物件影像，且該眼睛狀態偵測模型判斷該新物件影像中包含該張開眼睛影像時，該處理器將該使用者影像視為一中心位置，促使該顯示器顯示的該偷窺提示介面中，呈現該眼睛影像對應該中心位置所在的一象限害面；其中，當該眼睛狀態偵測模型判斷該新物件影像中不包含該張開眼睛影像時，則該處理器不促使該顯示器顯示該偷窺提示介面。
如請求項6所述之提示螢幕偷窺方法，其中，該顯示器顯示的該偷窺提示介面中更包含一當前實景影像。
如請求項6所述之提示螢幕偷窺方法，其中，該攝像機在拍攝該實景影像之前，事先拍攝該背景影像。