TWI678660B

TWI678660B - 電子系統以及影像處理方法

Info

Publication number: TWI678660B
Application number: TW107136762A
Authority: TW
Inventors: 蔡宗軒; Chung-Hsuan Tsai
Original assignee: 宏碁股份有限公司; Acer Incorporated
Priority date: 2018-10-18
Filing date: 2018-10-18
Publication date: 2019-12-01
Also published as: TW202016794A

Abstract

本發明提供一種電子系統以及影像處理方法。電子系統包含有一360度全景相機、一指紋感測器、一處理電路以及一顯示裝置。360度全景相機用來擷取360度全景影像。指紋感測器用來感測使用者指紋以產生指紋資料。處理電路用來根據指紋資料取得一目標人臉影像樣本以及根據目標人臉影像樣本自360度全景影像中判斷出與目標人臉影像樣本相符合的一目標人臉影像並且判斷出目標人臉影像之一目標方位資訊。顯示裝置用來將目標人臉影像之目標方位資訊設定為360度全景影像的預設觀賞角度來顯示360度全景影像，以使目標人臉影像顯示於360度全景影像的畫面中心處。

Description

電子系統以及影像處理方法

本發明係指一種電子系統以及影像處理方法，尤指一種可提昇使用便利性的電子系統以及影像處理方法。

隨著科技的發展，數位相機的功能已經廣泛地應用於各種可攜式電子裝置上，例如智慧型手機、平板電腦、穿戴式裝置、筆記型電腦等等。因此，使用者可利用配置於可攜式電子裝置上之數位相機來拍攝照片。再者，隨著社交網站的盛行，自拍的風氣也越來越流行。舉例來說，以360度全景相機為例，由於是360度環景拍攝，通常是以影像的0度方位位置為初始拍攝角度來做拍攝，如此一來，使用者可能不在拍攝畫面的中間而是在角落位置，因此無法拍攝出使用者滿意的照片。另一方面，顯示裝置通常是以影像的0度方位位置為初始觀賞角度來做顯示。在此情況下，使用者在自拍時常會因為相機顯示螢幕上的預覽畫面沒有顯示出使用者而需要反覆地轉動相機鏡頭位置才能預覽畫面上看到使用者影像。因此，習知技術實有改進的必要。

因此，本發明主要在於提供一種可提昇使用便利性的電子系統及影像處理方法，以解決上述問題。

本發明提供一種電子系統，包含有：一360度全景相機，用來擷取一360度全景影像；一指紋感測器，用來感測使用者的指紋，以產生一指紋資料；一處理電路，用來接收該指紋資料並根據該指紋資料取得一目標人臉影像樣本，以及根據該目標人臉影像樣本自該360度全景影像中判斷出與該目標人臉影像樣本相符合的一目標人臉影像並且判斷出該目標人臉影像之一目標方位資訊；以及一顯示裝置，用來將該目標人臉影像之該目標方位資訊設定為該360度全景影像的預設觀賞角度來顯示該360度全景影像，以使該目標人臉影像顯示於該360度全景影像的畫面中心處。

本發明另提供一種影像處理方法，包含有：擷取一360度全景影像；感測使用者的指紋，以產生一指紋資料；根據該指紋資料取得一目標人臉影像樣本；根據該目標人臉影像樣本自該360度全景影像中判斷出與該目標人臉影像樣本相符合的一目標人臉影像並且判斷出該目標人臉影像之一目標方位資訊；以及將該目標人臉影像之該目標方位資訊設定為該360度全景影像的預設觀賞角度來顯示該360度全景影像，以使該目標人臉影像顯示於該360度全景影像的畫面中心處。

1‧‧‧電子系統

2‧‧‧流程

10‧‧‧360度全景相機

20‧‧‧指紋感測器

30‧‧‧處理電路

300‧‧‧遙控器

302‧‧‧拍攝鍵

40‧‧‧儲存裝置

400‧‧‧資料庫

50‧‧‧顯示裝置

LF‧‧‧前鏡頭

LB‧‧‧後鏡頭

P1、P2‧‧‧影像區域

S200、S202、S204、S206、S208、S210、S212‧‧‧步驟

UA、UB、UC、UD、UE‧‧‧使用者

第1圖為本發明實施例之一電子系統之示意圖。

第2圖為本發明實施例一流程之示意圖。

第3圖為本發明實施例之360度全景相機之運作示意圖。

第4A圖為傳統顯示影像之示意圖。

第4B圖為本發明實施例之電子系統顯示影像時之示意圖。

第5A圖為傳統拍攝相片之示意圖。

第5B圖為本發明實施例之電子系統拍攝相片時之示意圖。

在說明書及後續的申請專利範圍當中使用了某些詞彙來指稱特定的元件。所屬技術領域中具有通常知識者應可理解，製造商可能會用不同的名詞來稱呼同樣的元件。本說明書及後續的申請專利範圍並不以名稱的差異來做為區分元件的方式，而是以元件在功能上的差異來做為區分的基準。在通篇說明書及後續的申請專利範圍當中所提及的「包含」或「包括」係為一開放式的用語，故應解釋成「包括但不限定於」。另外，「耦接」一詞在此係包含任何直接及間接的電氣連接手段。因此，若文中描述一第一裝置耦接於一第二裝置，則代表該第一裝置可直接電氣連接於該第二裝置，或透過其他裝置或連接手段間接地電氣連接至該第二裝置。

請參考第1圖，第1圖為本發明實施例之一電子系統1之示意圖。電子系統1包含有一360度全景相機10、一指紋感測器20、一處理電路30、一儲存裝置40以及一顯示裝置50。360度全景相機10用來擷取一360度全景影像(360° panoramic image)。指紋感測器20用來感測一使用者的指紋，以產生一指紋資料。例如，於使用者將手指置於指紋感測器20上時，指紋感測器20偵測使用者之手指並產生基於紋線(ridge)及谷線(furrow)而具不同深淺指紋之指紋資料。指紋感測器20可為一電容式指紋感測器、一光學式指紋感測器或一超音波式指紋感測器，但本發明實施例並不以此為限。處理電路30耦接於360度全景相機10、指紋感測器20、儲存裝置40以及顯示裝置50。儲存裝置40包含有一資料庫 400。資料庫400包含有對應於複數個指紋影像之複數個人臉影像樣本。其中，每一指紋影像至少包含有一對應人臉影像樣本。

關於電子系統1的操作方式，請參考第2圖，第2圖為本發明實施例一流程2之示意圖。流程2包含下列步驟：

步驟S200：開始。

步驟S202：擷取360度全景影像。

步驟S204：感測使用者指紋以產生指紋資料。

步驟S206：根據指紋資料取得目標人臉影像樣本。

步驟S208：根據目標人臉影像樣本自360度全景影像中判斷出與目標人臉影像樣本相符合的目標人臉影像並且判斷出目標人臉影像之目標方位資訊。

步驟S210：將目標人臉影像之目標方位資訊設定為360度全景影像的預設觀賞角度來顯示360度全景影像，以使目標人臉影像顯示於該360度全景影像的畫面中心處。

步驟S212：結束。

根據流程2，於步驟S202中，360度全景相機10擷取360度全景影像。於步驟S204中，電子系統1提供使用者對指紋感測器20輸入指紋。此時，指紋感測器20感測使用者的指紋以產生一指紋資料。所產生之指紋資料可被提供至處理電路30。

於步驟S206中，處理電路30接收指紋感測器20所產生之指紋資料並且根據所接收到的指紋資料取得一目標人臉影像樣本。舉例來說，處理電路30 查詢儲存裝置40中之資料庫400以決定出目標人臉影像樣本。資料庫400包含有對應於複數個指紋影像之複數個人臉影像樣本。每一指紋影像至少包含有一對應人臉影像樣本。處理電路30將指紋感測器20所產生之指紋資料與資料庫400中之複數個指紋影像進行比對。於指紋感測器20所產生之指紋資料符合資料庫400之複數個指紋影像當中之一第一指紋影像時處理電路30將對應於第一指紋影像之一人臉影像樣本決定為目標人臉影像樣本。因此，當使用者對指紋感測器20輸入指紋後，處理電路30可取得與使用者之指紋有關的目標人臉影像樣本，以做為後續辨識用。

於步驟S208中，處理電路30根據目標人臉影像樣本自360度全景相機10所擷取的360度全景影像中判斷出與目標人臉影像樣本相符合的一目標人臉影像，並且判斷出目標人臉影像之目標方位資訊。舉例來說，處理電路30判斷360度全景相機10所擷取的360度全景影像中是否存在符合目標人臉影像樣本之人臉影像。若360度全景相機10所擷取的360度全景影像中存在符合目標人臉影像樣本之人臉影像，則將符合目標人臉影像樣本之人臉影像判斷為目標人臉影像。處理電路30可利用人臉辨識技術(facial recognition)自360度全景相機10所擷取的360度全景影像中辨識出符合目標人臉影像樣本之目標人臉影像。在一實施例中，處理電路30首先判斷出360度全景相機10所擷取的360度全景影像中的所有人臉影像並將步驟S206中所取得之目標人臉影像樣本與所有人臉影像進行比對，以找出與目標人臉影像樣本相符合之目標人臉影像。處理電路30可依據特徵點比對方式或是人工智慧比對方式來將目標人臉影像樣本與360度全景相機10所擷取360度全景影像中的所有人臉影像進行比對，以取得與目標人臉影像樣本相符合之目標人臉影像。接著，處理電路30根據目標人臉影像判斷出目標人臉影像之目標方位資訊。例如處理電路30偵測所辨識出的目標人臉影像在360 度全景影像中的方位，以做為目標人臉影像之目標方位資訊。例如處理電路30偵測用來拍攝目標人臉影像之360度全景相機10之一鏡頭拍攝角度以做為目標人臉影像之目標方位資訊。

此外，於步驟S208中，目標人臉影像之目標方位資訊可以儲存於有關於360度全景相機10所擷取的360度全景影像之一影像參數檔案中。目標人臉影像之目標方位資訊亦可與360度全景相機10所擷取的360度全景影像儲存在同一影像檔案中。

於步驟S210中，顯示裝置50將目標人臉影像之目標方位資訊設定為360度全景相機10所擷取的360度全景影像的一預設觀賞角度(predetermined view orientation)來顯示360度全景影像，以使目標人臉影像顯示於360度全景影像的畫面中心處。例如，當使用者想要利用顯示裝置50來顯示360度全景相機10所擷取的360度全景影像時，由於360度全景相機10所擷取的影像為全景影像而顯示裝置50的可顯示區域僅能顯示360度全景相機10所擷取的360度全景影像的其中一部分。顯示裝置50將目標人臉影像之目標方位資訊設定為360度全景相機10所擷取的360度全景影像之一預設觀賞角度，並且顯示裝置50依據預設觀賞角度來顯示360度全景相機10所擷取360度全景影像中之一部份影像。例如，顯示裝置50以360度全景影像中之預設觀賞角度為中心來顯示影像，如此一來，目標人臉影像會顯示於360度全景影像的畫面中心處。也就是說，目標人臉影像會顯示於顯示裝置50的螢幕中心處。此外，若目標人臉影像之目標方位資訊有更新時，電子系統1可即時更新360度全景影像的預設觀賞角度，以使目標人臉影像一直顯示於360度全景影像的畫面中心處。

舉例來說，請參考第3圖，第3圖為本發明實施例之360度全景相機10之運作示意圖。假設360度全景相機10包括一前鏡頭LF以及一前鏡頭LB。如第3圖所示，以前鏡頭LF之前方做為0度，360度全景相機10可擷取一360度全景影像。前鏡頭LF可擷取270度至0度以及0度至90度範圍的影像。前鏡頭BF可擷取90度至270度範圍的影像。如第3圖所示，使用者UA、UB、UC、UD及UE分別位於360度全景相機10的周圍環境。假設指紋感測器20設置於一遙控器300之拍攝鍵302上，處理電路30、儲存裝置40以及顯示裝置50設置於360度全景相機10之中。其中指紋感測器20可藉由有線或無線連結方式與處理電路30相互通訊以傳輸訊號。例如，指紋感測器20可利用藍芽(Bluetooth)、近場通訊(near field communication，NFC)、無線區域網路(Wi-Fi)或是其他任何無線通訊技術來與處理電路30相互通訊。當使用者UA的手指按壓拍攝鍵302而啟動拍照或錄影功能時，360度全景相機10會擷取360度全景影像。此時由於使用者UA的手指按壓拍攝鍵302時也會按壓在指紋感測器20上。指紋感測器20感測使用者UA的指紋資料並將之傳送至處理電路30。據此，處理電路30查詢資料庫400而取得使用者UA的人臉影像樣本。接著，處理電路30在360度全景相機10所擷取出的360度全景影像中找尋符合使用者UA的人臉影像樣本的人臉影像。於找到符合使用者UA的人臉影像樣本的人臉影像後，顯示裝置50將目標人臉影像之目標方位資訊設定為360度全景相機10所擷取的360度全景影像之一預設觀賞角度並依據預設觀賞角度來顯示360度全景影像，以使目標人臉影像顯示於顯示裝置50之螢幕畫面中心處。

舉例來說，請參考第3圖、第4A圖及第4B圖。第4A圖為傳統顯示影像之示意圖。第4B圖為本發明實施例之電子系統1顯示影像時之運作示意圖。如第3圖所示，使用者UA的手指按壓拍攝鍵302而啟動拍照預覽功能。如第4A圖所示，傳統顯示裝置在執行拍照預覽時通常是以0°為中心來顯示360度全景相機所擷取的全景影像。在此情況下，使用者UA係位於顯示裝置之螢幕的角落位置。相較之下，如第4B圖所示，當電子系統1之處理電路30找到符合使用者UA的人臉影像樣本的人臉影像並判斷出符合使用者UA的人臉影像樣本的人臉影像的目標方位資訊為45°時，顯示裝置50將360度全景相機10所擷取的360度全景影像之預設觀賞角度設定為45°。據此，顯示裝置50以45°為中心來顯示360度全景相機10所擷取的360度全景影像。如第4B圖所示，此時使用者UA的人臉影像係位於螢幕畫面的中心處。簡言之，當使用者使用預覽功能時，電子系統1可擷取使用者臉部所在位置的影像，讓顯示裝置50顯示出使用者的影像而能方便使用者瀏覽，以使使用者可快速地且直覺地完成拍攝，進而提昇拍攝時的便利性。

另一方面，若使用者想要利用電子系統1來拍攝照片時，電子系統1可根據目標人臉影像之目標方位資訊來拍攝照片。當360度全景相機10所擷取的影像為360度全景影像而使用者想要拍攝一般尺寸的照片影像時，透過電子系統1將可根據目標人臉影像之目標方位資訊來取得360度全景相機10所擷取360度全景影像的部分區域影像以做為符合使用者需求的照片影像。例如，處理電路30將目標人臉影像之目標方位資訊設定為360度全景相機10所擷取的360度全景影像之一預設拍攝角度，並且依據預設拍攝角度來擷取全景相機10所擷取之360度全景影像中之一目標區域之影像以產生一拍攝照片，以使目標人臉影像位於照片的中心處。

舉例來說，請參考第5A圖及第5B圖，第5A圖為傳統拍攝相片之示意圖。第5B圖為本發明實施例之電子系統1拍攝相片時之運作示意圖。如第5A圖所示，傳統拍攝相片的方式是以0°為中心在360度全景影像中進行擷取影像來做為一般尺寸之照片影像。如第5A圖所示，傳統方式會擷取影像區域P1的影像做為照片影像。相較之下，如第5B圖所示，當電子系統1之處理電路30找到符合使用者UA的人臉影像樣本的人臉影像並判斷出符合使用者UA的人臉影像樣本的人臉影像的目標方位資訊為45°時，處理電路30將360度全景相機10所擷取的360度全景影像之預設拍攝角度設定為45°。處理電路30會以360度全景影像之45°處為中心進行擷取影像做為一般尺寸之照片影像。如第5B圖所示，處理電路30擷取影像區域P2的影像做為照片影像。此時，使用者UA的人臉影像係位於照片的中間。簡言之，當使用者按下拍攝鍵時，電子系統1可於360度全景影像中擷取使用者臉部所在位置的影像做為拍攝照片。如此一來，使用者不需盲目地轉動360度全景相機10之角度即可拍攝出使用者所需的照片影像而完成自拍的目的。

此外，透過電子系統1，使用者可預先透過處理電路30設定不同的指紋影像及其對應的影像樣本，並將每一指紋影像及其對應的影像樣本儲存在儲存裝置40之資料庫400。例如，以人臉影像為例，請參考第3圖，可利用360度全景相機10擷取使用者UA之人臉影像，並利用指紋感測器20感測使用者UA的指紋，以產生一第一指紋影像。處理電路30將第一指紋影像以及其對應之使用者UA之人臉影像儲存至儲存裝置40之資料庫400。同樣地，利用360度全景相機10擷取使用者UB之人臉影像，並利用指紋感測器20感測使用者UB的指紋，以產生一第二指紋影像。處理電路30將第二指紋影像以及其對應之使用者UB之人臉影像儲存至儲存裝置40之資料庫400。利用360度全景相機10擷取使用者UC之人臉影像，並利用指紋感測器20感測使用者UC的指紋，以產生一第三指紋影像。處理電路30將第三指紋影像以及其對應之使用者UC之人臉影像儲存至儲存裝置 40之資料庫400，依此類推。使用者UD與使用者UE之指紋影像以及人臉影像儲存至資料庫400。如此一來，在正常運作時，當處理電路30比對出指紋感測器20所產生之指紋資料與資料庫400中之一指紋影像相符時，便讀取對應於該指紋影像之使用者的臉部影像做為目標人臉影像樣本。

值得注意的是，上述所有步驟，包括所建議的步驟，可由處理器10執行實現或是由其他處理裝置來執行實現。上述所有步驟，包括所建議的步驟，也可通過硬體、韌體(即硬體裝置與計算器指令的組合，硬體裝置中的資料為唯讀軟體資料)、電子系統、或上述裝置的組合等方式實現。硬體可包括類比、數位及混合電路(即微電路、微晶片或矽晶片)。電子系統可包括系統單晶片(system on chip，SOC)、系統封裝(system in package，Sip)、計算器模組(computer on module，COM)及影像處理器。軟體、硬體或韌體可實施所描述之實施例之各種態樣。上述流程及實施例可被編譯成程式代碼、指令或電腦程式產品並儲存於儲存裝置50或非暫時性電腦可讀取媒體中。處理電路30可由儲存裝置50或非暫時性電腦可讀取媒體讀取及執行程式代碼或指令來實現上述功能。非暫時性電腦可讀媒體係可儲存其後可由電腦系統讀取之資料的任何資料儲存器件。非暫時性電腦可讀媒體之實例包括唯讀記憶體、隨機存取記憶體、CD-ROM、DVD、磁帶及光學資料儲存器件。程式代碼、指令或電腦程式產品亦可被分佈遍及經網路耦接之電腦系統以使得以分佈之方式來儲存及執行程式代碼、指令或電腦程式產品。

綜上所述，本發明實施例之電子系統1可讓使用者被顯示在顯示裝置50的預覽螢幕畫面中心處，並且可於使用者進行拍攝時擷取使用者臉部所在位置的影像做為拍攝照片，因而能方便使用者瀏覽，讓使用者可快速地且直覺地完成拍攝，進而提昇拍攝時的便利性。

以上所述僅為本發明之較佳實施例，凡依本發明申請專利範圍所做之均等變化與修飾，皆應屬本發明之涵蓋範圍。

Claims

一種電子系統，包含有：一360度全景相機，用來擷取一360度全景影像；一指紋感測器，用來感測使用者的指紋，以產生一指紋資料；一處理電路，用來接收該指紋資料並根據該指紋資料取得一目標人臉影像樣本，判斷出該360度全景影像中的所有人臉影像並比對該360度全景影像中的所有人臉影像與該目標人臉影像樣本，自該360度全景影像的所有人臉影像中判斷出與該目標人臉影像樣本相符合的一目標人臉影像，並且將該目標人臉影像在該360度全景影像中的方位判斷做為該目標人臉影像之一目標方位資訊；以及一顯示裝置，用來將該目標人臉影像之該目標方位資訊設定為該360度全景影像的預設觀賞角度來顯示該360度全景影像，以使該目標人臉影像顯示於該360度全景影像的畫面中心處。
如申請專利範圍第1項所述之電子系統，其另包含：一資料庫，包含有對應於複數個指紋影像之複數個人臉影像樣本，其中該處理電路根據該指紋資料查詢該資料庫以決定出該目標人臉影像樣本。
如申請專利範圍第2項所述之電子系統，其中該處理電路比對該指紋資料與該資料庫中之複數個指紋影像，並且於該指紋資料符合該資料庫之複數個指紋影像當中之一第一指紋影像時該處理電路將對應於該第一指紋影像之人臉影像樣本判斷為該目標人臉影像樣本。
如申請專利範圍第1項所述之電子系統，其中該處理電路將該目標人臉影像之該目標方位資訊設定為該360度全景影像的預設拍攝角度，並根據該預設拍攝角度來擷取該360度全景影像中之一部份影像以產生一拍攝照片，其中該目標人臉影像位於該拍攝照片的中心處。
如申請專利範圍第1項所述之電子系統，其另包含：若該目標人臉影像之該目標方位資訊有更新，即時更新該360度全景影像的預設觀賞角度，以使該目標人臉影像一直顯示於該360度全景影像的畫面中心處。
一種影像處理方法，包含有：擷取一360度全景影像；感測使用者的指紋，以產生一指紋資料；根據該指紋資料取得一目標人臉影像樣本；判斷出該360度全景影像中的所有人臉影像並比對該360度全景影像中的所有人臉影像與該目標人臉影像樣本；自該360度全景影像的所有人臉影像中判斷出與該目標人臉影像樣本相符合的一目標人臉影像並且將該目標人臉影像在該360度全景影像中的方位判斷做為該目標人臉影像之一目標方位資訊；以及將該目標人臉影像之該目標方位資訊設定為該360度全景影像的預設觀賞角度來顯示該360度全景影像，以使該目標人臉影像顯示於該360度全景影像的畫面中心處。
如申請專利範圍第6項所述之影像處理方法，其中根據該指紋資料取得該目標人臉影像樣本之步驟包含有：根據該指紋資料查詢一資料庫以決定出該目標人臉影像樣本。
如申請專利範圍第7項所述之影像處理方法，其中該資料庫包含有對應於複數個指紋影像之複數個人臉影像樣本，其中根據該指紋資料查詢該資料庫取得該目標人臉影像樣本之步驟包含有：比對該指紋資料與該資料庫中之複數個指紋影像；以及於該指紋資料符合該資料庫之複數個指紋影像當中之一第一指紋影像時將對應於該第一指紋影像之人臉影像樣本判斷為該目標人臉影像樣本。
如申請專利範圍第6項所述之影像處理方法，其另包含：將該目標人臉影像之該目標方位資訊設定為該360度全景影像的預設拍攝角度；以及根據該預設拍攝角度來擷取該360度全景影像中之一部份影像以產生一拍攝照片，其中該目標人臉影像位於該拍攝照片的中心處。
如申請專利範圍第6項所述之影像處理方法，其另包含：若該目標人臉影像之該目標方位資訊有更新，即時更新該360度全景影像的預設觀賞角度，以使該目標人臉影像一直顯示於該360度全景影像的畫面中心處。