TWI683575B

TWI683575B - 一種注視識別及互動方法與裝置

Info

Publication number: TWI683575B
Application number: TW106138396A
Authority: TW
Inventors: 蔣靜
Original assignee: 威盛電子股份有限公司
Priority date: 2017-09-27
Filing date: 2017-11-07
Publication date: 2020-01-21
Also published as: CN107622248B; CN107622248A; TW201916669A

Abstract

一種注視識別及互動方法與裝置，此方法適用於具有攝像頭及舵機的電子裝置，其中舵機用以將攝像頭轉向。所述方法包括下列步驟：利用所述攝像頭擷取多個視訊框；檢測這些視訊框的當前視訊框與所述當前視訊框對一方向軸旋轉後所產生的旋轉視訊框中的至少一個人臉；利用預先訓練的分類器識別所檢測的各個人臉是否對視攝像頭；以及若識別結果確認有人臉對視，依據此人臉於當前視訊框中的位置或是由旋轉視訊框映射回當前視訊框的位置，控制舵機將攝像頭轉向被識別為對視的人臉。

Description

一種注視識別及互動方法與裝置

本發明是有關於一種互動方法與裝置，且特別是有關於一種注視識別及互動方法與裝置。

現行的互動裝置（例如電子公仔、電子寵物或智慧機器人）可藉由肢體移動或聲光效果與使用者互動，藉以達到娛樂效果。例如，電子寵物可偵測使用者的聲音，而對應地變換表情或做出回應動作。藉由即時回應的動作，可達到與使用者互動的效果。

然而，這些互動裝置的動作或回應都必須預先定義，且在與使用者互動的過程中，也只能針對特定的指示（例如按下按鍵或發出聲音）做出簡單的回應動作，並無法依據使用者的臉部表情或肢體語言作出適當的回應，未能體現出真實場景中人與人互動的效果。

有鑑於此，本發明提供一種注視識別及互動方法及裝置，可模擬真實場景中人與人對話時的對視交流效果。

本發明的注視識別及互動方法適用於具有攝像頭及舵機的電子裝置，其中舵機是用以將攝像頭轉向。所述方法包括下列步驟：利用攝像頭擷取多個視訊框（video frame）；檢測這些視訊框的當前視訊框與所述當前視訊框對一方向軸旋轉後所產生的旋轉視訊框中的至少一個人臉；利用預先訓練的分類器識別所檢測的各個人臉是否對視攝像頭；以及若識別結果確認有人臉對視，依據此人臉於當前視訊框中的位置或是由旋轉視訊框映射回當前視訊框的位置，控制舵機將攝像頭轉向被識別為對視的人臉。

本發明的注視識別及互動裝置包括攝像頭、舵機、儲存裝置及處理器。其中，攝像頭用以擷取多個視訊框。舵機用以將攝像頭轉向。儲存裝置用以儲存多個模組。處理器用以存取並執行儲存在儲存裝置的模組。這些模組包括視訊框旋轉模組、人臉檢測模組、對視識別模組及轉向模組。其中，視訊框旋轉模組將所述視訊框的當前視訊框對一方向軸旋轉為旋轉視訊框。人臉檢測模組檢測當前視訊框及旋轉視訊框中的至少一個人臉。對視識別模組利用預先訓練的分類器識別所檢測的各個人臉是否對視攝像頭。轉向模組在對視識別模組的識別結果確認有人臉對視時，依據此人臉於當前視訊框中的位置或是由旋轉視訊框映射回當前視訊框的位置，控制舵機將攝像頭轉向被識別為對視的人臉。

基於上述，本發明的注視識別及互動方法與裝置藉由對攝像頭擷取的視訊框進行人臉檢測，並將該視訊框依不同軸向旋轉後再進行人臉檢測，可檢測出各種姿態下的人臉。而藉由預先訓練的分類器對所檢測的人臉進行對視識別，可確認所檢測的人臉是否對視著攝像頭，進而控制攝像頭轉向該人臉。藉此，可模擬出真實情景中人與人對話時的對視交流效果。

為讓本發明的上述特徵和優點能更明顯易懂，下文特舉實施例，並配合所附圖式作詳細說明如下。

本發明將聲音辨識、人臉檢測及對視識別等技術整合至智慧機器人或其他可與人互動的智慧裝置。當接收到使用者的聲音時，機器人即會轉向發聲方向，使得配置在機器人身上的攝像頭可擷取到使用者的視訊框（video frame）。而當使用者注視機器人時，機器人可從視訊框中檢測出人臉，並利用預先訓練的分類器識別所檢測的人臉是否對視著機器人，進而將機器人的頭轉向人臉中心（代表使用者的眼睛），藉此可模擬出真實情景中人與人對話時的對視交流效果。

圖1是依據本發明一實施例所繪示的注視識別及互動裝置的方塊圖。請參考圖1，本實施例的注視識別及互動裝置10例如是智慧機器人或其他可與人互動的電子裝置，其中包括攝像頭12、舵機14、儲存裝置16及處理器18，其功能分述如下：

攝像頭12例如是由鏡頭、光圈、快門、影像感測器等元件組成。其中，鏡頭包括多個光學透鏡，其例如是藉由步進馬達或音圈馬達（Voice Coil Motor，VCM）等致動器驅動，以改變透鏡之間的相對位置，從而改變焦距。光圈是由許多金屬葉片構成的圈狀開孔，此開孔會隨著光圈值的大小而開大或縮小，進而控制鏡頭的進光量。快門則是用以控制光進入鏡頭的時間長短，其與光圈的組合會影響影像感測器所擷取影像的曝光量。影像感測器例如是由電荷耦合元件（Charge Coupled Device，CCD）、互補性氧化金屬半導體（Complementary Metal-Oxide Semiconductor，CMOS）元件或其他種類的感光元件組成，其可感測進入鏡頭的光線強度以產生被攝物的視訊框。

舵機14例如是伺服馬達，其可配置於攝像頭12下方或周圍，而可依據處理器18的控制訊號，推動攝像頭12以改變其位置及/或角度。

儲存裝置16可以是任何型態的固定式或可移動式隨機存取記憶體（random access memory，RAM）、唯讀記憶體（read-only memory，ROM）、快閃記憶體（flash memory）、硬碟（hard disk drive，HDD）、固態硬碟（solid state drive，SSD）或類似元件或上述元件的組合。在本實施例中，儲存裝置16用以儲存人臉檢測模組162、視訊框旋轉模組164、對視識別模組166及轉向模組168之軟體程式。

處理器18例如是中央處理單元（Central Processing Unit，CPU），或是其他可程式化之微處理器（Microprocessor）、數位訊號處理器（Digital Signal Processor，DSP）、可程式化控制器、特殊應用積體電路（Application Specific Integrated Circuit，ASIC）或其他類似元件或上述元件的組合。在本實施例中，處理器18用以存取並執行上述儲存裝置16中所儲存的模組，藉以實現本發明實施例的注視識別及互動方法。

圖2是依照本發明一實施例所繪示的注視識別及互動方法流程圖。請同時參照圖1與圖2，本實施例的方法適用於上述的注視識別及互動裝置10，以下即搭配圖1中注視識別及互動裝置10的各項元件，說明本實施例方法的詳細流程。

首先，由處理器18控制攝像頭12擷取多個視訊框（步驟S202）。接著，由處理器18執行視訊框旋轉模組164，以將當前視訊框對一方向軸旋轉為旋轉視訊框，並執行人臉檢測模組162，以檢測當前視訊框及旋轉視訊框中的至少一個人臉（步驟S204）。其中，人臉檢測模組162例如會執行維奧拉-瓊斯（Viola–Jones）檢測法或其他人臉檢測演算法，以即時處理攝像頭12所擷取的視訊框或旋轉後的視訊框，並檢測出現在這些視訊框中的人臉。

詳言之，在與人互動的初始場景中，人臉可能並未正對著注視識別及互動裝置10，這使得該人臉在攝像頭12所擷取的視訊框中有可能是側面對著或歪著對著注視識別及互動裝置10。對此，本實施例例如是藉由將當前視訊框對水平軸或垂直軸以順時針或逆時針的方向旋轉某個角度，以便於人臉檢測模組162進行人臉。而藉由重複上述旋轉視訊框及檢測人臉的步驟，有機會將視訊框中原本歪斜的人臉轉正，使得人臉檢測模組162能夠順利地檢測人臉。

舉例來說，圖3是依照本發明一實施例所繪示的旋轉視訊框的示意圖。請參照圖3，假設x軸、y軸、z軸為三維空間的3個方向軸，其中xz平面為水平面、xy平面為豎直面。圖3中所示的由z軸旋轉至x軸（對y軸順時針旋轉）代表水平方向上的旋轉，而圖3中由y軸旋轉至x軸（對z軸逆時針旋轉）代表垂直方向上的旋轉。而藉由將視訊框對不同方向軸進行順時針或逆時針旋轉，並在旋轉後執行人臉檢測，即可在各種人臉姿態下仍然能夠檢測到人臉。

需說明的是，由於同一張人臉可能同時會在原始視訊框及旋轉後的視訊框中被檢測到，但實際代表同一人。對此，本發明實施例提供一種利用面積比排除相同人臉的方式，若在其他方向（即旋轉後方向）上檢測到的人臉的有效面積比大於一定的門檻值，則將該人臉視為相同人臉，放棄保存該人臉的資訊，且不會對該人臉進行對視識別。上述的有效面積比可以理解為重複面積比，而上述在旋轉視訊框與原始視訊框中分別檢測到的人臉如果有重複，且重複率超過一定的閾值，則只對原始視訊框中檢測到的那個人臉進行後續的對視識別，而不對旋轉視訊框中檢測到的人臉進行對視識別。藉此，可保證對一幅視訊框中的人臉只進行一次對視識別驗證，避免重複。需注意的是，上述人臉檢測的目標是原始視訊框與旋轉視訊框中的所有人臉，而對所有人臉分別進行且只進行一次識別。

詳言之，人臉檢測模組162在檢測旋轉視訊框中的人臉後，會進一步將旋轉視訊框中的人臉映射回當前視訊框，並與當前視訊框中位置相應的人臉的進行比對，判斷映射回當前視訊框的人臉與原本在當前視訊框中的人臉的重疊面積與原本在當前視訊框中的人臉的原始面積的比值是否大於一個門檻值。若此比值大於門檻值，則代表在旋轉視訊框中檢測到的人臉與在當前視訊框中檢測到的人臉是屬於同一人，此時人臉檢測模組162將會放棄保存在旋轉視訊框中檢測到的人臉的資訊，且不會對該人臉進行對視識別，避免重複識別。

然後，由處理器18執行對視識別模組166，利用預先訓練的分類器識別由人臉檢測模組162所檢測到的各個人臉是否對視攝像頭12，以確認是否有人臉對視（步驟S206）。詳言之，對視識別模組166例如會預先採集大量的人臉影像，由使用者判斷各張人臉影像中的人臉是否對視著攝像頭，從而在各張人臉影像上標注對視標籤。藉此，對視識別模組166即可利用這些人臉影像及其對應的對視標籤訓練一個神經網路，以獲得用以識別人臉對視的分類器。上述的神經網路例如包括2層卷積層（convolutional layer）、2層全連接層（Fully connected layer）及1層使用softmax函式的輸出層，但不限於此。本領域技術人員可視實際需要，使用包括不同數目且不同組合的卷積層、池層（pooling）、全連接層、輸出層的卷積神經網路或其他種類的神經網路。

最後，在對視識別模組166的識別結果確認有人臉對視時，由處理器18執行轉向模組168，以依據此人臉於當前視訊框中的位置或是此人臉由旋轉視訊框映射回當前視訊框的位置，控制舵機14將攝像頭12轉向被識別為對視的人臉（步驟S208）。詳言之，針對在旋轉視訊框中的人臉被識別為對視的清況，對視識別模組166會先將該人臉的位置映射回當前視訊框，以作為控制攝像頭12轉向的依據。舉例來說，假設旋轉視訊框的旋轉角度為α，檢測到的人臉位置（x ₀ ,y ₀ ），原視訊框的寬度為w、高度為h，則映射回原視訊框的位置（x ,y ）為：

逆時針旋轉：

；

順時針旋轉：

。

需說明的是，在一實施例中，轉向模組168例如是將當前視訊框等分為多個區域，而依據人臉於當前視訊框中的位置或是由旋轉視訊框映射回當前視訊框的位置偏離這些區域的中心區域的距離及方向，控制舵機14將攝像頭12轉向人臉，使得人臉可位於轉向後攝像頭12所擷取的視訊框的中心區域。在另一實施例中，可藉由將攝像頭的轉向範圍與視訊框的寬度w對應，由人臉偏離中心區域的像素差，計算出攝像頭應該旋轉的方向及角度。在又一實施例中，可藉由平移攝像頭的位置，或是同時平移並旋轉攝像頭，以使人臉可位於平移及/或旋轉後攝像頭12所擷取的視訊框的中心區域，在此不設限。

舉例來說，圖4是依照本發明一實施例所繪示的控制攝像頭轉向的示意圖。請參照圖4，假設視訊框40是由攝像頭擷取的視訊框，其中的人臉42是被識別出有對視的人臉。如圖4所示，視訊框40被區分為9個區域，其中被識別出有對視的人臉42位於右下區域40b。而根據此人臉42所在位置（例如人臉42的中心點位置）偏離中心區域40a（中心點位置）的距離及方向，可控制攝像頭朝相反方向轉向（以本實施例為例，朝右下方向轉向），使得該人臉42在轉向後攝像頭所擷取的視訊框中是位於中心區域40a。藉由將人臉42保持在視訊框40的中心區域40a，即可實現攝像頭轉向對視的位置。

藉由上述的注視識別及互動方法，可識別出周圍是否有人注視本實施例的注視識別及互動裝置10，並將注視識別及互動裝置10轉向朝向注視的人臉，藉此可模擬真實場景中與人對話時的對視交流效果。

需說明的是，在與人互動的初始場景中，人臉可能並未出現裝置攝像頭的視野內，即便人臉有出現在攝像頭的視野內並且對視著攝像頭，這也可能是剛好目光掃過，並非特意注視。對此，本發明提供另一實施例，可解決上述問題，從而獲得更好的識別效果。

詳言之，圖5是依照本發明一實施例所繪示的注視識別及互動方法流程圖。請同時參照圖1與圖5，本實施例的方法適用於上述的注視識別及互動裝置10，以下即搭配圖1中注視識別及互動裝置10的各項元件，說明本實施例方法的詳細流程。

首先，由處理器18利用收音裝置接收音訊，並判定音訊的來源方向，以控制舵機14將攝像頭12轉向此來源方向（步驟S502）。所述的收音裝置例如為麥克風、指向性麥克風、麥克風陣列等可以辨識聲音來源方向的裝置，在此不設限。而藉由將攝像頭12轉向音訊的來源方向，可確保攝像頭12能夠擷取到包含發出音訊的人臉的視訊框，從而進行後續的對視識別。

接收，由處理器18控制攝像頭12擷取多個視訊框（步驟S504）。由處理器18執行視訊框旋轉模組164，以將當前視訊框對一方向軸旋轉為旋轉視訊框，並執行人臉檢測模組162，以檢測當前視訊框及旋轉視訊框中的至少一個人臉（步驟S506），以及執行對視識別模組166，利用預先訓練的分類器識別由人臉檢測模組162所檢測到的各個人臉是否對視攝像頭12，以確認是否有人臉對視（步驟S508）。上述步驟S504~S508與前述實施例的步驟S202~S206相同或相似，故其詳細內容在此不再贅述。

相對於在前述實施例中只要當前視訊框有識別出人臉對視即確認有人臉對視，本實施例則需要有連續多個視訊框都有識別出人臉對視才確認有人臉對視。據此，當對視識別模組166於步驟S510中識別出當前視訊框有人臉對視之後，會判斷連續判定有人臉對視的視訊框的數目是否大於預設數目（步驟S510）。

若判定有人臉對視的視訊框的數目未大於預設數目，則流程會回到步驟S504，由處理器18控制攝像頭12擷取下一視訊框，而由人臉檢測模組162繼續檢測下一視訊框及其旋轉後的旋轉視訊框中的人臉，並由對視識別模組166識別所檢測的各個人臉是否對視攝像頭12，以判定下一視訊框是否有人臉對視。若判定有人臉對視，則可累加連續判定有人臉對視的視訊框的數目，並進入步驟S510進行判斷。

若判定有人臉對視的視訊框的數目大於預設數目，即確認有人臉對視，此時處理器18即會執行轉向模組168，以依據人臉於當前視訊框中的位置或是人臉由旋轉視訊框映射回當前視訊框的位置，控制舵機14將攝像頭12轉向被識別為對視的人臉（步驟S512）。上述轉向方法已揭露於前述實施例，故其詳細內容在此不再贅述。

藉由將攝像頭12轉向音訊的來源方向，可確保攝像頭12能夠擷取到包含發出音訊的人臉的視訊框，而藉由連續檢測多個視訊框是否有人臉對視，則可確認使用者的意圖是否真為注視。藉此，可獲得更好的識別效果。

綜上所述，本發明的注視識別及互動方法及裝置可在攝像頭拍攝視訊框時，由後台系統進行即時的人臉檢測及對視識別，並自動控制調節攝像頭轉向。藉此，每當檢測到有目光注視時，攝像頭（或包含攝像頭的機器人的頭部）會立刻轉向與之對視，從而達到近似真實場景中人與人之間交流時目光對視的效果。

雖然本發明已以實施例揭露如上，然其並非用以限定本發明，任何所屬技術領域中具有通常知識者，在不脫離本發明的精神和範圍內，當可作些許的更動與潤飾，故本發明的保護範圍當視後附的申請專利範圍所界定者為準。

10‧‧‧注視識別及互動裝置12‧‧‧攝像頭14‧‧‧舵機16‧‧‧儲存裝置18‧‧‧處理器40‧‧‧視訊框40a‧‧‧中央區域40b‧‧‧右下區域42‧‧‧人臉S202~S208、S502~S512‧‧‧步驟

圖1是依據本發明一實施例所繪示的注視識別及互動裝置的方塊圖。圖2是依照本發明一實施例所繪示的注視識別及互動方法流程圖。圖3是依照本發明一實施例所繪示的旋轉視訊框的示意圖。圖4是依照本發明一實施例所繪示的控制攝像頭轉向的示意圖。圖5是依照本發明一實施例所繪示的注視識別及互動方法流程圖。

S202~S208‧‧‧步驟

Claims

一種注視識別及互動方法，適用於具有攝像頭及舵機的電子裝置，所述舵機用以將所述攝像頭轉向，所述方法包括下列步驟：利用所述攝像頭擷取多個視訊框（video frame）；檢測所述視訊框的當前視訊框與所述當前視訊框對一方向軸旋轉後所產生的旋轉視訊框中的至少一人臉；利用預先訓練的分類器識別所檢測的各所述人臉是否對視所述攝像頭；以及若識別結果確認有人臉對視，依據所述人臉於所述當前視訊框中的位置或是由所述旋轉視訊框映射回所述當前視訊框的位置，控制所述舵機將所述攝像頭轉向被識別為對視的所述人臉。
如申請專利範圍第1項所述的注視識別及互動方法，其中所述電子裝置更包括收音裝置，而在利用所述攝像頭擷取所述視訊框的步驟之前，更包括：利用所述收音裝置接收音訊，並判定所述音訊的來源方向，以控制所述舵機將所述攝像頭轉向所述來源方向。
如申請專利範圍第1項所述的注視識別及互動方法，在檢測所述視訊框的當前視訊框與所述當前視訊框對所述方向軸旋轉後所產生的所述旋轉視訊框中的所述人臉的步驟之後，更包括：判斷所述旋轉視訊框中的所述人臉映射回所述當前視訊框後與所述當前視訊框中位置相應的所述人臉的重疊面積與所述人臉於所述當前視訊框中的原始面積的比值是否大於一門檻值；以及若所述比值大於所述門檻值，放棄保存所述旋轉視訊框中的所述人臉的資訊。
如申請專利範圍第1項所述的注視識別及互動方法，其中在利用預先訓練的所述分類器識別所檢測的各所述人臉是否對視所述攝像頭的步驟之前，更包括：採集大量的人臉影像，並依據各所述人臉影像中的人臉是否對視標注對視標籤；以及利用所述人臉影像及其對應的所述對視標籤訓練神經網路，以獲得用以識別對視的所述分類器。
如申請專利範圍第1項所述的注視識別及互動方法，其中在利用預先訓練的所述分類器識別所檢測的各所述人臉是否對視所述攝像頭的步驟之後，更包括：檢測所述當前視訊框的下一視訊框及其旋轉後的旋轉視訊框中的所述人臉，並識別所檢測的各所述人臉是否對視所述攝像頭，以判定所述下一視訊框是否有人臉對視；以及重複上述步驟，並在連續判定有人臉對視的所述視訊框的數目大於預設數目時，確認有人臉對視。
如申請專利範圍第1項所述的注視識別及互動方法，其中控制所述舵機將所述攝像頭轉向被識別為對視的所述人臉的步驟包括：將所述當前視訊框等分為多個區域，而依據所述人臉於所述當前視訊框中的位置或是由所述旋轉視訊框映射回所述當前視訊框的位置偏離所述區域的中心區域的距離及方向，控制所述舵機將所述攝像頭轉向所述人臉，使得所述人臉位於轉向後所述攝像頭所擷取的所述視訊框的所述中心區域。
一種注視識別及互動裝置，包括：攝像頭，擷取多個視訊框；舵機，將所述攝像頭轉向；儲存裝置，儲存多個模組；以及處理器，存取並執行所述模組，所述模組包括：視訊框旋轉模組，將所述視訊框的當前視訊框對一方向軸旋轉為旋轉視訊框；人臉檢測模組，檢測所述當前視訊框與所述旋轉視訊框中的至少一人臉；對視識別模組，利用預先訓練的分類器識別所檢測的各所述人臉是否對視所述攝像頭；以及轉向模組，在所述對視識別模組的識別結果確認有人臉對視時，依據所述人臉於所述當前視訊框中的位置或是由所述旋轉視訊框映射回所述當前視訊框的位置，控制所述舵機將所述攝像頭轉向被識別為對視的所述人臉。
如申請專利範圍第7項所述的注視識別及互動裝置，更包括：收音裝置，接收音訊，其中所述轉向模組更判定所述音訊的來源方向，以控制所述舵機將所述攝像頭轉向所述來源方向。
如申請專利範圍第7項所述的注視識別及互動裝置，其中所述人臉檢測模組更判斷所述旋轉視訊框中的所述人臉映射回所述當前視訊框後與所述當前視訊框中位置相應的所述人臉的重疊面積與所述人臉於所述當前視訊框中的原始面積的比值是否大於一門檻值，而若所述比值大於所述門檻值，放棄保存所述旋轉視訊框中的所述人臉的資訊。
如申請專利範圍第7項所述的注視識別及互動裝置，其中對視識別模組更採集大量的人臉影像，並依據各所述人臉影像中的人臉是否對視標注對視標籤，以及利用所述人臉影像及其對應的所述對視標籤訓練神經網路，以獲得用以識別對視的所述分類器。
如申請專利範圍第7項所述的注視識別及互動裝置，其中：所述人臉檢測模組更檢測所述當前視訊框的下一視訊框及其旋轉後的旋轉視訊框中的所述人臉；以及所述對視識別模組更識別所檢測的各所述人臉是否對視所述攝像頭，以判定所述下一視訊框是否有人臉對視，並在連續判定有人臉對視的所述視訊框的數目大於預設數目時，確認有人臉對視。
如申請專利範圍第7項所述的注視識別及互動裝置，其中所述轉向模組包括將所述當前視訊框等分為多個區域，而依據所述人臉於所述當前視訊框中的位置或是由所述旋轉視訊框映射回所述當前視訊框的位置偏離所述區域的中心區域的距離及方向，控制所述舵機將所述攝像頭轉向所述人臉，使得所述人臉位於轉向後所述攝像頭所擷取的所述視訊框的所述中心區域。