TWI666933B

TWI666933B - 物件監控方法及其運算裝置

Info

Publication number: TWI666933B
Application number: TW107111603A
Authority: TW
Inventors: 劉政德; 卓卿安
Original assignee: 緯創資通股份有限公司
Priority date: 2018-04-02
Filing date: 2018-04-02
Publication date: 2019-07-21
Also published as: CN110338803B; TW201943260A; US20190304080A1; CN110338803A; US10755400B2

Abstract

一種物件監控方法及其運算裝置，此方法包括下列步驟。接收對於監控區域所拍攝到具有多個輸入畫面的影像序列。根據影像序列，判斷目標物件是否位於監控區域的感興趣區域。當目標物件不位於感興趣區域並且偵測到第一移動物件時，根據第一移動物件與偵測邊界的相對位置以及第一移動物件是否於感興趣區域具有連續動作，判斷第一移動物件是否進入感興趣區域。當目標物件位於感興趣區域時，根據關聯於目標物件的第二移動物件與偵測邊界的相對位置以及第二移動物件是否於非感興趣區域具有連續動作，判斷目標物件是否離開感興趣區域。

Description

物件監控方法及其運算裝置

本發明是有關於一種物件監控的技術，特別是有關於監控目標物件是否進入或離開特定感興趣區域的一種物件監控方法及其運算裝置。

隨著近年來雲端、物聯網以及大數據的結合發展，在醫療產業中不少廠商也致力於推廣各種感測裝置，以協助醫護人員能夠遠端掌握病患狀況，進而節省護理人力資源。

目前應用於居家照護的感測裝置中最常見的為手環，以藉由手環所偵測到的數據來判斷病患是否在床上。然而，若是應用在看護中心，病患掉落或是遺失手環，則將會造成判斷上的錯誤。另外，市面上亦有安裝壓力感測器的床墊，即可依據壓力變化來判斷使用者是否在床上，或者是否有下床的動作。然而，壓力為間接的資訊，並無法完整地表現使用者的動作，亦有可能造成判斷上的錯誤，而增加了護理人員的困擾。

有鑑於此，本發明提供一種物件監控方法及其運算裝置，其可以影像偵測的方式有效地監控目標物體（例如人）是否進入或是離開感興趣區域（例如床），從而減少人力監控的成本。

在本發明的一實施例中，上述的方法適用於運算裝置並且包括下列步驟。接收關於監控區域的影像序列，其中監控區域定義出包括感興趣區域以及非感興趣區域，感興趣區域與非感興趣區域之間具有偵測邊界。根據影像序列，判斷目標物件是否位於感興趣區域。當判定目標物件不位於感興趣區域並且偵測到至少一第一移動物件位於監控區域時，根據第一移動物件與偵測邊界的相對位置以及第一移動物件是否於感興趣區域具有連續動作，判斷第一移動物件是否進入感興趣區域而做為目標物件。當目標物件位於感興趣區域時，根據關聯於目標物件的至少一第二移動物件與偵測邊界的相對位置以及第二移動物件是否於非感興趣區域具有連續動作，判斷目標物件是否離開感興趣區域。

在本發明的一實施例中，上述的運算裝置包括記憶體以及處理器，其中處理器耦接於記憶體。記憶體用以儲存影像以及資料。處理器用以執行下列步驟：接收關於監控區域的影像序列，其中監控區域定義出包括感興趣區域以及非感興趣區域，感興趣區域與非感興趣區域之間具有偵測邊界；根據影像序列，判斷目標物件是否位於感興趣區域；當判定目標物件不位於感興趣區域並且偵測到至少一第一移動物件位於監控區域時，根據第一移動物件與偵測邊界的相對位置以及第一移動物件是否於感興趣區域具有連續動作，判斷第一移動物件是否進入感興趣區域而做為目標物件；以及當目標物件位於感興趣區域時，根據關聯於目標物件的至少一第二移動物件與偵測邊界的相對位置以及第二移動物件是否於非感興趣區域具有連續動作，判斷目標物件是否離開感興趣區域。

在本發明的一實施例中，上述的方法適用於運算裝置並且包括下列步驟。接收關於監控區域的影像序列，其中監控區域定義出包括感興趣區域以及非感興趣區域，感興趣區域與非感興趣區域之間具有偵測邊界。根據影像序列，判斷目標物件是否位於感興趣區域。當判定目標物件不位於感興趣區域並且偵測到至少一第一移動物件位於監控區域時，根據第一移動物件位於感興趣區域中的比例以及第一移動物件是否於感興趣區域具有連續動作，判斷第一移動物件是否進入感興趣區域而做為目標物件。當目標物件位於感興趣區域時，根據關聯於目標物件的至少一第二移動物件位於非感興趣區域中的比例以及第二移動物件是否於非感興趣區域具有連續動作，判斷目標物件是否離開感興趣區域。

在本發明的一實施例中，上述的運算裝置包括記憶體以及處理器，其中處理器耦接於記憶體。記憶體用以儲存影像以及資料。處理器用以執行下列步驟：接收關於監控區域的影像序列，其中監控區域定義出包括感興趣區域以及非感興趣區域，感興趣區域與非感興趣區域之間具有偵測邊界；根據影像序列，判斷目標物件是否位於感興趣區域；當判定目標物件不位於感興趣區域並且偵測到至少一第一移動物件位於監控區域時，根據第一移動物件位於感興趣區域中的比例以及第一移動物件是否於感興趣區域具有連續動作，判斷第一移動物件是否進入感興趣區域而做為目標物件；以及當目標物件位於感興趣區域時，根據關聯於目標物件的至少一第二移動物件位於非感興趣區域中的比例以及第二移動物件是否於非感興趣區域具有連續動作，判斷目標物件是否離開感興趣區域。

為讓本發明的上述特徵和優點能更明顯易懂，下文特舉實施例，並配合所附圖式作詳細說明如下。

本發明的部份實施例接下來將會配合附圖來詳細描述，以下的描述所引用的元件符號，當不同附圖出現相同的元件符號將視為相同或相似的元件。這些實施例只是本發明的一部份，並未揭示所有本發明的可實施方式。更確切的說，這些實施例只是本發明的專利申請範圍中的方法與運算裝置的範例。

圖1為根據本發明一實施例所繪示的運算裝置的方塊圖，但此僅是為了方便說明，並不用以限制本發明。首先圖1先介紹運算裝置中的所有構件以及配置關係，詳細功能將配合圖2一併揭露。

運算裝置100包括記憶體110以及處理器120，其中處理器120耦接於記憶體110。在一實施例中，運算裝置100可以是個人電腦、筆記型電腦、伺服器電腦、平板電腦、智慧型手機、工作站或其它可經由通訊介面無線地、有線地連接至影像擷取裝置150的電腦系統或是平台，其中影像擷取裝置可以例如是數位相機、數位攝影機、網路攝影機、監視攝影機，而通訊介面可以是支援任何有線連接或是無線通訊標準以與其它裝置進行資料傳輸的傳輸介面。在另一實施例中，運算裝置100可以是內建於或內建有影像擷取裝置的嵌入式系統（embedded system），本發明不在此設限。

記憶體110用以儲存影像、程式碼等資料，其可以例如是任意型式的固定式或可移動式隨機存取記憶體（random access memory，RAM）、唯讀記憶體（read-only memory，ROM）、快閃記憶體（flash memory）、硬碟或其他類似裝置、積體電路及其組合。

處理器120用以控制運算裝置100的構件之間的作動，其可以例如是中央處理單元（central processing unit，CPU）、圖形處理單元（graphic processing unit，GPU），或是其他可程式化之一般用途或特殊用途的微處理器（microprocessor）、數位訊號處理器（digital signal processor，DSP）、可程式化控制器、特殊應用積體電路（application specific integrated circuits，ASIC）、可程式化邏輯裝置（programmable logic device，PLD）或其他類似裝置、積體電路及其組合。

以下即搭配運算裝置100的各元件列舉實施例，以說明運算裝置100執行其物件監控方法的詳細步驟。

圖2為根據本發明之一實施例所繪示的物件監控方法的流程圖。

請同時參照圖1以及圖2，首先，運算裝置100的處理器120將接收關於監控區域的影像序列（步驟S202），其中監控區域包括感興趣區域以及非感興趣區域，並且感興趣區域與非感興趣區域之間具有偵測邊界。詳細來說，在此可於監控區域的上方裝設影像擷取裝置，以不斷地擷取監控區域的連續影像畫面，而所擷取到的連續影像畫面將構成前述的「影像序列」。在以下的說明當中，假設影像擷取裝置的拍攝視角為固定，也就是影像序列中的監控區域為固定。此外。在進行圖2的流程前，運算裝置100可提供使用者自監控區域中定義出感興趣區域。舉例來說，處理器120可以預先取得關於監控區域的單一影像（在此稱為「初始影像」）並且顯示於使用者介面來供使用者透過輸入裝置以框選、角落點選的方式來自初始影像中的監控區域中選取感興趣區域。處理器120在接收使用者的選取操作後，即可自監控區域定義出感興趣區域，並且將感興趣區域以外的區域定義為非感興趣區域。

接著，處理器120將根據影像序列，判斷目標物件是否位於感興趣區域（步驟S204）。在此，處理器120可以是根據影像序列來判斷感興趣區域中是否偵測到任何動作。若是，則將判定目標物件位於感興趣區域，而若否，則將判定目標物件並不位於感興趣區域。然而，在本發明其它實施例中，處理器120也可以根據影像序列進行影像辨識來判斷感興趣區域中是否存在人臉或人體特徵來判定目標物件是否位於感興趣區域。在本發明再其它實施例中，處理器120也可以根據利用雷達、紅外線等非接觸式電磁波偵測生命跡象特徵（例如呼吸）來判定目標物件是否位於感興趣區域。

當處理器120判定目標物件不位於感興趣區域並且偵測到至少一第一移動物件位於監控區域時，將根據第一移動物件與偵測邊界的相對位置以及第一移動物件是否於感興趣區域具有連續動作，判斷第一移動物件是否進入感興趣區域而做為目標物件（步驟S206）。詳細來說，當處理器120判定目標物件不位於感興趣區域時，將會偵測整個監控區域是否存在其它移動物件。若處理器120偵測到其它移動物件，會將此些移動物件定義為第一移動物件，並且根據第一移動物件與偵測邊界之間的位置關係以及第一移動物件是否於感興趣區域是否具有連續動作，來判斷第一移動物件是否進入感興趣區域。當判定第一移動物件確實進入感興趣區域時，則處理器120會將第一移動物件設定為目標物件。在另一實施例中，處理器120可以無須根據第一移動物件與偵測邊界的相對位置，而是根據第一移動物件於感興趣區域中所佔的比例以及第一移動物件是否於感興趣區域是否具有連續動作，來判斷第一移動物件是否進入感興趣區域。

另一方面，當處理器120判定目標物件位於感興趣區域時，將根據關聯於目標物件的至少一第二移動物件與偵測邊界的相對位置以及第二移動物件是否於非感興趣區域具有連續動作，判斷目標物件是否離開感興趣區域（步驟S208）。詳細來說，當處理器120判定目標物件位於感興趣區域時，將會偵測關聯於目標物件的移動物件設定為第二移動物件，並且根據第二移動物件與偵測邊界之間的位置關係以及第二移動物件是否於非感興趣區域是否具有連續動作，來判斷第二移動物件是否離開感興趣區域（即，進入非感興趣區域）。在另一實施例中，處理器120可以無須根據第一移動物件與偵測邊界的相對位置，而是根據第二移動物件於非感興趣區域中所佔的比例以及第二移動物件是否於非感興趣區域是否具有連續動作，來判斷目標物件是否離開感興趣區域。

為了更清楚明瞭上述流程，以下將以圖3根據本發明之一實施例所繪示的物件監控方法的應用情境流程圖來針對上述流程的細節加以說明。本實施例的應用情境為護理照護，其中影像擷取裝置可以是設置於居家環境、醫院、照護中心的床鋪上方，以達到對於使用者安全監控的目的。換句話說，在本實施例中，監控區域為床鋪及其四周等影像擷取裝置的視野範圍，目標物件為床鋪的使用者。

請同時參照圖1以及圖3，首先，運算裝置100的處理器120將進行初始設定（步驟S302），以預先自影像擷取裝置取得關於監控區域的初始影像並且顯示於使用者介面，來供使用者透過輸入裝置以框選、角落點選的方式來自初始影像中定義出床鋪的位置。接著，處理器120會將床鋪內設定為感興趣區域，而床鋪外設定為非感興趣區域，以在後續的步驟中偵測使用者上床與下床的動作。之後，處理器120將自影像擷取裝置接收關於監控區域的即時影像序列，以做為影像來源（步驟S304），並且會儲存影像序列於記憶體110中以供後續處理。

接著，處理器120將針對影像序列進行移動偵測（步驟S306），以從影像序列中擷取出移動物件的動作。在此，處理器120可以是於每隔一預定時間，分別計算影像序列中的當前輸入畫面與先前輸入畫面之間的影像差異，據以輸出動作影像，而此影像差異即對應於移動物件的動作。必須說明的是，本實施例中的當前輸入畫面與先前輸入畫面之間存在至少一其它輸入畫面，以節省運算量。

以圖4根據本發明之一實施例所繪示的影像序列S的示意圖為例，處理器120可以是取間隔8個輸入畫面來計算影像差異，而在此的8個輸入畫面為經驗數值（empirical value），主要是因為使用者上床與下床的動作並不會很大。若取得太過相鄰的兩張影像則會因兩者差異過小而不易偵測到任何動作。此外，處理器120將會每隔4個輸入畫面才會進行影像處理，而在此的4個輸入畫面亦為經驗數值，主要是因為計算使用上床與下床的動作並沒有急迫性，不需要相當密集的偵測與計算，以避免間隔太短造成運算量過大，亦可避免間隔太長而導致影像不連貫。惟本發明並不以上述實施例所揭露的畫面間隔數為限，端視實際運算需求與效率而可調整變化。

舉例來說，假設以目前的時間點而言，當前輸入畫面為F9，而處理器120將會根據當前輸入畫面為F9與先前輸入畫面F1來計算影像差異，並且根據影像差異來輸出一張動作影像。接著，在相隔4個輸入畫面後，以目前的時間點而言，當前輸入畫面為F13，而處理器120將會根據當前輸入畫面為F13與先前輸入畫面F5來計算影像差異，並且根據影像差異來輸出另一張動作影像。接著，在相隔4個輸入畫面後，以目前的時間點而言，當前輸入畫面為F17，而處理器120將會根據當前輸入畫面為F17與先前輸入畫面F9來計算影像差異，並且根據影像差異來輸出另一張動作影像，其餘則以此類推。

在本實施例中，處理器120計算影像差異而產生動作影像的方式可以是以圖5根據本發明之一實施例所繪示產生動作影像的功能流程示意圖來執行。圖5中係以使用者上床的動作為例作示範性說明。首先，處理器120可以先將當前輸入畫面Fx+8與先前輸入畫面Fx進行相減（image subtraction），以產生灰階影像ImgGS，其中影像差異越大的像素其數值越高（即，越接近白色）。接著，處理器120將針對灰階影像ImgGS進行二值化處理（binarization），藉以濾除影像差異太小的像素，從而產生二值化影像ImgB。之後，處理器120又將針對二值化影像ImgB進行侵蝕處理（erosion）以及膨脹處理（dilation），藉以刪除過於破碎的影像差異，從而產生動作影像ImgM。

請回到圖3，處理器120在取得動作影像後，會針對每個動作影像以連通元件標記法（connected component）進行處理（步驟S308），以自每個動作影像中定義出移動物件。以圖6根據本發明之一實施例所繪示的動作影像ImgC的示意圖為例，動作影像ImgC的動作相當破碎。處理器120在針對動作影像ImgC以連通元件標記法進行處理後，可以將動作影像ImgC的動作定義成三個物件A、B以及C，也就是說動作影像ImgC有三個移動物件。

請再回到圖3，處理器120在動作影像中偵測到移動物件的動作時，將會進行移動方向偵測（步驟S310），其是用以觸發是否要來執行上床或是下床判斷的依據。詳細來說，處理器120會先確認當前床鋪的狀態，並且根據床鋪上有使用者或是沒有使用者來執行兩種不同的流程。處理器120可以是判斷移動物件的動作是否位於床鋪來進行確認。當移動物件的動作不位於床鋪時，即代表狀態為床鋪上沒有使用者，因此處理器120將會進行上床的移動方向偵測。另一方面，當移動物件的動作位於床鋪時，即代表狀態為床鋪上有使用者，因此處理器120將會進行下床的移動方向偵測。

以上床的移動方向偵測來說，其代表使用者並不位於床鋪內，而處理器120所偵測到的所有移動物件仍未確定是否確實為使用者，因此在此定義為第一移動物件。接著，處理器120將會判斷第一移動物件與偵測邊界的相對位置是否符合第一觸發條件。在本實施例中，偵測邊界為固定的位置，而處理器120會將偵測邊界定義為上下床的位置，例如床鋪的下緣等床鋪內外之間的邊界。此外，處理器120會更進一步地定義關聯於第一移動物件的第一移動邊界，而第一移動邊界的初始位置位於床鋪外以及所偵測到的第一移動物件之間，其是為了模擬第一移動物件的動作而定。當存在多個移動物件時，則第一移動邊界可以是最接近偵測邊界的其一移動物件（稱為「第一基準移動物件」）的邊緣之中最遠離偵測邊界者。在第一移動物件移動的過程中，處理器120將會不斷地偵測第一移動邊界的位置，而當處理器120偵測到相鄰兩張的動作影像的第一移動邊界由床鋪外移動至床鋪內時，處理器120將會判斷使用者的動作為「準備上床」，也就符合第一觸發條件。

具體來說，以圖7A根據本發明之一實施例所繪示的動作影像的示意圖為例，假設偵測邊界L的上方為床鋪。處理器120在偵測使用者是否上床時，會先在動作影像Img71中取得移動物件A1、A2、A3的最上側移動物件A1（最接近偵測邊界L的移動物件），並且以移動物件A1的下緣的沿線做為移動邊界L’。假設處理器120在下一張動作影像Img72中偵測到移動邊界L’已移動至床鋪內（即，偵測邊界L的上方），則處理器120將會判定使用者的動作為「準備上床」。

如前述，移動邊界L的定義是模擬使用者的動作而定。當使用者要上床時，將會產生多個移動物件，而會有一部份先由床鋪外移動到床鋪內，例如圖7A的移動物件A1。選擇移動物件A1的下緣為移動邊界L’是為了確定移動物件A1確實進入了床鋪內，因此使用者只要是有一部份完全進入床鋪內，即判斷使用者的動作為「準備上床」。

另一方面，以下床的移動方向偵測來說，其代表使用者位於床鋪內，而處理器120會將床鋪內所偵測到的移動物件直接視為使用者，在此定義為第二移動物件。接著，處理器120將會判斷第二移動物件與偵測邊界的相對位置是否符合第二觸發條件。在本實施例中，處理器120同樣會將偵測邊界定義為上下床的位置，例如床鋪的下緣等床鋪內外之間的邊界。此外，處理器120會更進一步地定義關聯於第二移動物件的第二移動邊界，而第二移動邊界的初始位置位於床鋪內以及所偵測到的第二移動物件之間。當存在多個移動物件時，則第二移動邊界可以是最接近偵測邊界的其一移動物件（稱為「第二基準移動物件」）的邊緣之中最遠離偵測邊界者。處理器120將會偵測第二移動邊界的位置，而當處理器120偵測到相鄰兩張的動作影像的第二移動邊界由床鋪內移動至床鋪外時，處理器120將會判斷使用者的動作為「準備下床」，也就符合第二觸發條件。

具體來說，以圖7B根據本發明之一實施例所繪示的動作影像的示意圖為例，假設偵測邊界L的上方為床鋪。處理器120在偵測使用者是否下床時，會先在動作影像Img73中取得移動物件B1、B2、B3的最下側移動物件B3（最接近偵測邊界L的移動物件），並且以移動物件B3的上緣的沿線做為移動邊界L’。假設處理器120在下一張動作影像Img74中偵測到移動邊界L’已移動至床鋪外（即，偵測邊界L的下方），則處理器120將會判定使用者的動作為「準備下床」。在此選擇移動物件B3的上緣為移動邊界L’是為了確定移動物件B3確實離開了床鋪，因此使用者只要是有一部份完全離開床鋪，即判斷使用者的動作為「準備下床」。

必須說明的是，圖7B適用於一般情況的下床偵測。然而，若是使用者滾下床，由於其發生過於瞬間而使得所有的動作會定義成單一物件並且可能僅在滾下床的瞬間所對應的動作影像有移動物件，而下一張動作影像不一定有移動物件。因此，在此特例的情境中，只要處理器120判斷出動作影像中的第二移動物件的數量為1並且尺寸大於預定尺寸（例如第二移動物件的寬度大於床的寬度的一半），便會判斷使用者的動作是否為「滾下床」。

以圖7C根據本發明之一實施例所繪示的動作影像的示意圖為例，假設偵測邊界L的上方為床鋪。處理器120在偵測使用者是否滾下床時，會先在動作影像Img75中偵測到單一移動物件C1，並且以移動物件C1的中線的延線做為移動邊界L’。假設處理器120在下一張動作影像Img76中偵測到移動邊界L’已移動至床鋪外（即，偵測邊界L的下方），則處理器120將會判定使用者的動作為「滾下床」。

請回到圖3，當處理器120判定符合第一觸發條件時，將會開始執行進入床鋪偵測。處理器120將會進行動作比例（步驟S314A）以及連續動作（步驟S316A）的偵測，以判斷第一移動物件是否確實進入床鋪從而確認第一移動物件為使用者，以輸出結果（步驟S320）。詳細來說，處理器120可以是判斷第一移動物件位於床鋪內的比例是否大於其位於床鋪外的比例，並且判斷第一移動物件是否於床鋪內具有連續動作，而在兩者皆符合時即判定第一移動物件確實進入床鋪並且為使用者。

在本實施例中，為了加速運算，處理器120可以是先以偵測邊界定義一個區域（以下稱為「第一區域」），其中第一區域將橫跨床鋪內外兩個區域。以圖8根據本發明之一實施例所繪示的動作影像Img8的示意圖為例，假設區域ROI為床鋪。處理器120會在區域ROI的偵測邊界L定義包括區域RA以及區域RB的上床區間，其中區域RA為床鋪內，區域RB為床鋪外。在此，床鋪ROI的面積為w×h，而區域RA以及RB的面積關係可以如下：wA=wB=0.7w；hA=0.5h；hB=0.5h’，然而本發明不在此設限。在此定義區域RA以及區域RB的目的是合理地假設使用者是由床鋪的偵測邊界L上床並且上床的動作應該會集中在床鋪ROI的中間而設置。接著，處理器120將判斷第一移動物件落於區域RA中的一部分的面積是否大於第一移動物件落於區域RB的其它部分的面積。更為嚴謹地，處理器120可以是假設第一移動物件落於區域RA的一部分的面積必須為第一移動物件落於區域RB的其它部分的面積的2倍以上，也就是大部份的動作都在床鋪內，才會判定有可能是上床的動作。接著，處理器120將判斷是否有連續多個動作影像（例如連續3個動作影像）皆有第一移動物件存在於區域RA。因為上床的動作是持續的，若是連續預定數目個（例如3個）動作影像都有第一移動物件，即代表17個輸入畫面的時間在區域RA內皆有動作，因此處理器120將會輸出使用者為上床的結果。

以邏輯上來說，假設處理器120在上床的位置偵測到移動物件，接著在床鋪內開始出現較多的移動物件，最後在床鋪內的位置持續地有移動物件。上述偵測相當於使用者先在床邊有動作，接著在床鋪內有較多的動作，也就是使用者有部份位於床鋪內，之後使用者在床鋪內有連續動作，也就是使用者不是經過，而是在床邊有一段時間的停留。因此，在此情況下，處理器120將會判斷使用者的狀態為上床動作。

請回到圖3，當處理器120判定符合第二觸發條件時，將會開始執行離開床鋪偵測。與進入床鋪偵測不同之處在於，處理器120會在判定符合第二觸發條件時，另外自影像序列取得當前輸入畫面，以做為暫存影像。接著，處理器120將會進行動作比例（步驟S314B）以及連續動作（步驟S316B）的偵測，再以相似度檢測（步驟S318B）做為輔助，以判斷對應於第二移動物件的使用者是否確實離開床鋪以輸出結果（步驟S320）。

在此，步驟S314B以及步驟S316B分別類似於步驟S314A以及步驟S316A，而僅是偵測床鋪內與床鋪外的差異，在此處理器120可以是判斷第二移動物件位於床鋪外的比例是否大於其位於床鋪內的比例，並且判斷第二移動物件是否於床鋪內具有連續動作，而在兩者皆符合時即判定第一移動物件確實進入床鋪並且為使用者。本實施例中，為了加速運算，處理器120更可以採用相似於圖8的方式來定義下床區間，以提升步驟S314B以及步驟S316B的執行效率，而本領域具通常知識者應可藉由圖8的相關描述而推導出步驟S314B以及步驟S316B的執行細節，於此不再贅述。

當處理器120判斷動作比例以及連續動作皆符合下床動作的可能性時，會再自影像序列取得當前輸入畫面，以做為當前影像。接著，處理器120會將當前影像與在判定符合第二觸發條件時所取得的暫存影像進行相似度比較。當兩者相似度低時，處理器120將判定使用者有下床動作，反之當兩者相似度高時，處理器120將判定使用者沒有下床動作。原因在於，暫存影像所儲存的是使用者準備下床的影像，而當前影像則是使用者正在下床或是已下床的影像。若兩者的相似度低，即代表使用者確實有下床的動作。若相似度高，即代表使用者一直是躺在床上，而有可能是外人（例如看護、醫護人員或家人）誤入而導致處理器120依據第二觸發條件成功狀態誤判為準備下床。因此，若在此以相似度輔以判斷，則可解決此問題。

為了方便理解，離開床鋪偵測的方式可以圖9根據本發明之一實施例所繪示的時間軸的示意圖來進行說明。在本實施例中，假設fx為第一個輸入畫面，而間隔8個畫面的輸入畫面則為fx+8。輸入畫面fx與輸入畫面fx+8的計算將會產生第一張動作影像m1。其它四張動作影像m2～m5可以此類推。假設處理器120在動作影像m1中判定符合第二觸發條件（準備下床），並且將輸入畫面fx設定為暫存影像。處理器120可以是偵測動作影像m1中床邊的動作是否在床鋪外的區域以及床鋪外是否有較多的動作，若是，處理器120將進一步地判斷動作影像m2～m4中是否在床鋪外是否具有連續動作。若是，則處理器120將再進一步地取得對應於動作影像m4的當前影像fx+20與暫存影像fx進行相似度比較。若當前影像fx+20與暫存影像fx的相似度低，處理器120將輸出使用者為下床的結果。

在本實施例中，由於應用情境為護理照護，以達到對於使用者安全監控的目的，因此處理器120在確認使用者上床時，可以輸出第一提示訊號，而在確認使用者下床或是滾下床時，可以輸出第二提示訊號。第一提示訊號以及第二提示訊號的輸出方式可以是以透過輸出裝置而發出聲響、燈光、文字、震動等形式來提示護理人員或照顧者。此外，處理器120更可以是透過傳輸介面而將第一提示訊號以及第二提示訊號以訊息等方式傳輸至其它電子裝置（例如手機、智能手錶、智能手環等），以通知護理人員或照顧者。因此，可協助醫護人員或照顧者能夠遠端掌握病患狀況，進而節省護理或照顧人力資源。類似地，在其它應用情境中，當處理器120偵測到目標物件進入或是離開感興趣區域時，亦可輸出第一提示訊號或是第二提示訊號，以達到安全監控的目的。

綜上所述，本發明所提出的物件監控方法及其運算裝置，其可以影像偵測的方式有效地監控目標物體是否進入或是離開感興趣區域，從而減少人力監控的成本。本發明中所提及的目標物體不限於上述實施例中的人，亦可以是包含動物或任何移動物體；本發明中所提及之感興趣區域亦不限於上述實施例中的床鋪，亦可以是包含任何可以定義邊界的物體或區域。

雖然本發明已以實施例揭露如上，然其並非用以限定本發明，任何所屬技術領域中具有通常知識者，在不脫離本發明的精神和範圍內，當可作些許的更動與潤飾，故本發明的保護範圍當視後附的申請專利範圍所界定者為準。

100‧‧‧運算裝置

110‧‧‧記憶體

120‧‧‧處理器

S202～S208、S302～S320‧‧‧步驟

S‧‧‧影像序列

F1～F17、Fx、Fx+8、fx～fx+24、‧‧‧輸入畫面

ImgGS‧‧‧灰階影像

ImgB‧‧‧二值化影像

ImgM、ImgC、Img71～Img76、Img8、m1～m5‧‧‧動作影像

A、B、C、Á1～A3、B1~B3、C1‧‧‧移動物件

ROI、RA、RB‧‧‧區域

圖1為根據本發明一實施例所繪示的運算裝置的方塊圖。圖2為根據本發明之一實施例所繪示的物件監控方法的流程圖。圖3為根據本發明之一實施例所繪示的物件監控方法的應用情境流程圖。圖4為根據本發明之一實施例所繪示的影像序列的示意圖。圖5為根據本發明之一實施例所繪示產生動作影像的功能流程示意圖。圖6為根據本發明之一實施例所繪示的動作影像的示意圖。圖7A為根據本發明之一實施例所繪示的動作影像的示意圖。圖7B為根據本發明之一實施例所繪示的動作影像的示意圖。圖7C為根據本發明之一實施例所繪示的動作影像的示意圖。圖8為根據本發明之一實施例所繪示的動作影像的示意圖。圖9為根據本發明之一實施例所繪示的時間軸的示意圖。

Claims

一種物件監控方法，適用於包括處理器的運算裝置，該方法包括下列步驟：接收關於監控區域的影像序列，其中該監控區域定義出包括感興趣區域以及非感興趣區域，該感興趣區域與該非感興趣區域之間具有偵測邊界；根據該影像序列，由該處理器判斷目標物件是否位於該感興趣區域；當該處理器判定該目標物件不位於該感興趣區域並且偵測到至少一第一移動物件位於監控區域時，由該處理器根據所述第一移動物件與該偵測邊界的相對位置、以及所述第一移動物件是否於該感興趣區域具有連續動作，判斷所述第一移動物件是否進入該感興趣區域而做為該目標物件；以及當該處理器判定該目標物件位於該感興趣區域時，由該處理器根據關聯於該目標物件的至少一第二移動物件與該偵測邊界的相對位置、以及所述第二移動物件是否於該非感興趣區域具有連續動作，判斷該目標物件是否離開該感興趣區域。
如申請專利範圍第1項所述的方法，其中在接收關於該監控區域的該影像序列的步驟之前，該方法更包括：　　顯示關於該監控區域的初始影像於使用者介面；以及接收使用者透過該使用者介面對於該感興趣區域的選取操作，以自該監控區域定義出該感興趣區域。
如申請專利範圍第1項所述的方法，其中該影像序列是由多個輸入畫面所構成，而在接收關於該監控區域的該影像序列的步驟之後，該方法更包括：　　每隔一預定時間，計算該影像序列中的當前輸入畫面與先前輸入畫面之間的影像差異，以產生動作影像，其中該當前輸入畫面與該先前輸入畫面之間存在至少一其它輸入畫面，該動作影像對應於至少一移動物件的動作。
如申請專利範圍第3項所述的方法，其中每隔該預定時間，計算該影像序列中的該當前輸入畫面與該先前輸入畫面之間的該影像差異，以產生為該動作影像的步驟包括：　　將該當前輸入畫面與該先前輸入畫面相減，以產生灰階影像；針對該灰階影像進行二值化處理，以產生二值化影像；以及針對該二值化影像進行侵蝕處理以及膨脹處理，以產生該動作影像。
如申請專利範圍第3項所述的方法，其中在產生所述動作影像的步驟之後，該方法更包括：　　針對各所述動作影像以連通元件標記法進行處理，以自所述動作影像中定義出所述移動物件。
如申請專利範圍第3項所述的方法，其中根據該影像序列，判斷該目標物件是否位於該感興趣區域的步驟包括：　　當自所述動作影像中偵測到所述移動物件的所述動作時，判斷所述移動物件的所述動作是否位於該感興趣區域；若是，判定該目標物件位於該感興趣區域；以及若否，判定該目標物件不位於該感興趣區域。
如申請專利範圍第3項所述的方法，其中當判定該目標物件不位於該感興趣區域並且偵測到所述第一移動物件位於該監控區域時，根據所述第一移動物件與該偵測邊界的該相對位置以及所述第一移動物件是否於該感興趣區域具有連續動作，判斷所述第一移動物件是否進入該感興趣區域而做為該目標物件的步驟包括：　　判斷所述第一移動物件與該偵測邊界的該相對位置是否符合第一觸發條件；以及　　當符合該第一觸發條件時，根據所述第一移動物件是否於該感興趣區域具有連續動作，判斷所述第一移動物件是否進入該感興趣區域而做為該目標物件。
如申請專利範圍第7項所述的方法，其中判斷所述第一移動物件與該偵測邊界的該相對位置是否符合該第一觸發條件的步驟包括：　　定義關聯於所述第一移動物件的第一移動邊界，其中該第一移動邊界的初始位置位於該感興趣區域外以及所述第一移動物件之間；偵測該第一移動邊界的位置；以及　　當偵測到該第一移動邊界移動至該感興趣區域內時，判定符合該第一觸發條件。
如申請專利範圍第8項所述的方法，其中該第一移動邊界為所述第一移動物件之中最接近該偵測邊界的第一基準移動物件的第一邊緣，該第一邊緣為該第一基準移動物件的邊緣之中最遠離該偵測邊界者。
如申請專利範圍第7項所述的方法，其中根據所述第一移動物件是否於該感興趣區域具有連續動作，判斷所述第一移動物件是否進入該感興趣區域而做為該目標物件的步驟包括：　　判斷所述第一移動物件位於該感興趣區域中的比例是否大於所述第一移動物件位於該非感興趣區域中的比例並且判斷所述第一移動物件是否於該感興趣區域具有連續動作；以及　　當判定所述第一移動物件位於該感興趣區域中的該比例大於所述第一移動物件位於該非感興趣區域中的該比例並且判定所述第一移動物件於該感興趣區域具有連續動作時，判定所述第一移動物件進入該感興趣區域而做為該目標物件。
如申請專利範圍第10項所述的方法，其中所述第一移動物件位於該感興趣區域中的該比例以及所述第一移動物件位於該非感興趣區域中的該比例的計算方式包括：於該偵測邊界定義第一區域，其中該第一區域包括位於該感興趣區域的第一感興趣區域以及位於該非感興趣區域的第一非感興趣區域；以及計算所述第一移動物件位於該第一感興趣區域以及該第一非感興趣區域的比例，以分別做為所述第一移動物件位於該感興趣區域中的該比例以及所述第一移動物件位於該非感興趣區域中的該比例。
如申請專利範圍第3項所述的方法，其中當該目標物件位於該感興趣區域時，根據關聯於該目標物件的所述第二移動物件與該偵測邊界的該相對位置以及所述第二移動物件是否於該非感興趣區域具有連續動作，判斷該目標物件是否離開該感興趣區域的步驟包括：　　判斷所述第二移動物件與該偵測邊界的該相對位置是否符合第二觸發條件；以及　　當符合該第二觸發條件時，根據所述第二移動物件位於該非感興趣區域中的比例以及所述第二移動物件是否於該非感興趣區域具有連續動作，判斷該目標物件是否離開該感興趣區域。
如申請專利範圍第12項所述的方法，其中判斷所述第二移動物件與該偵測邊界的該相對位置是否符合該第二觸發條件的步驟包括：定義關聯於所述第二移動物件的第二移動邊界，其中該第二移動邊界的初始位置位於該感興趣區域外以及所述第二移動物件之間；偵測該第二移動邊界的位置；以及　　當偵測到該第二移動邊界離開該感興趣區域時，判定符合該第二觸發條件。
如申請專利範圍第13項所述的方法，其中該第二移動邊界為所述第二移動物件之中最接近該偵測邊界的第二基準移動物件的第二邊緣，該第二邊緣為該第二基準移動物件的邊緣之中最遠離該偵測邊界者。
如申請專利範圍第12項所述的方法，其中所述第二移動物件的數量為1並且尺寸大於預定尺寸，而判斷所述第二移動物件與該偵測邊界的該相對位置是否符合該第二觸發條件的步驟包括：定義關聯於所述第二移動物件的第二移動邊界，其中該第二移動邊界為所述移動物件的中線；偵測該第二移動邊界的位置；以及當偵測到該第二移動邊界離開該感興趣區域時，判定該目標物件離開該感興趣區域。
如申請專利範圍第12項所述的方法，其中當符合該第二觸發條件時，該方法更包括：　　自該影像序列取得當前輸入畫面，以做為暫存影像。
如申請專利範圍第16項所述的方法，其中根據所述第二移動物件位於該非感興趣區域中的該比例以及所述第二移動物件是否於該非感興趣區域具有連續動作，判斷該目標物件是否離開該感興趣區域的步驟包括：　　判斷所述第二移動物件位於該非感興趣區域中的該比例是否大於所述第二移動物件位於該感興趣區域中的比例並且判斷所述第二移動物件是否於該非感興趣區域具有連續動作；　　當判定所述第二移動物件位於該非感興趣區域中的該比例大於所述第二移動物件位於該感興趣區域中的該比例並且判定所述第二移動物件於該非感興趣區域具有連續動作時，自該影像序列中取得當前輸入畫面，以做為當前影像；判斷該當前影像與該暫存影像的相似度；以及當判定該當前影像與該暫存影像的該相似度為低時，判定該目標物件離開該感興趣區域。
如申請專利範圍第16項所述的方法，其中所述第二移動物件位於該感興趣區域中的該比例以及所述第二移動物件位於該非感興趣區域中的該比例的計算方式包括：於該偵測邊界定義第二區域，其中該第二區域包括位於該感興趣區域的第二感興趣區域以及位於該非感興趣區域的第二非感興趣區域；以及計算所述第二移動物件位於該第二感興趣區域以及該第二非感興趣區域的比例，以分別做為所述第二移動物件位於該感興趣區域中的該比例以及所述第二移動物件位於該非感興趣區域中的該比例。
如申請專利範圍第1項所述的方法，更包括：　　當判定所述第一移動物件進入該感興趣區域而做為該目標物件時，產生並且輸出第一提示訊號；以及當判定該目標物件離開該感興趣區域時，產生並且輸出第二提示訊號。
如申請專利範圍第1項所述的方法，其中該監控區域為床鋪及其四周，該感興趣區域為該床鋪內，該非感興趣區域為該床鋪外，而進入該感興趣區域為上床動作，離開該感興趣區域為下床動作。
一種運算裝置，包括：記憶體，用以儲存影像以及資料；處理器，耦接該記憶體並且用以：接收關於監控區域的影像序列，其中該監控區域定義出包括感興趣區域以及非感興趣區域，該感興趣區域與該非感興趣區域之間具有偵測邊界；根據該影像序列，判斷目標物件是否位於該感興趣區域；當判定該目標物件不位於該感興趣區域並且偵測到至少一第一移動物件位於監控區域時，根據所述第一移動物件與該偵測邊界的相對位置以及所述第一移動物件是否於該感興趣區域具有連續動作，判斷所述第一移動物件是否進入該感興趣區域而做為該目標物件；以及當該目標物件位於該感興趣區域時，根據關聯於該目標物件的至少一第二移動物件與該偵測邊界的相對位置以及所述第二移動物件是否於該非感興趣區域具有連續動作，判斷該目標物件是否離開該感興趣區域。
一種物件監控方法，適用於包括處理器的運算裝置，該方法包括下列步驟：接收關於監控區域的影像序列，其中該監控區域定義出包括感興趣區域以及非感興趣區域，該感興趣區域與該非感興趣區域之間具有偵測邊界；根據該影像序列，由該處理器判斷目標物件是否位於該感興趣區域；當該處理器判定該目標物件不位於該感興趣區域並且偵測到至少一第一移動物件位於監控區域時，由該處理器根據所述第一移動物件位於該感興趣區域中的比例以及所述第一移動物件是否於該感興趣區域具有連續動作，判斷所述第一移動物件是否進入該感興趣區域而做為該目標物件；以及當該處理器判定該目標物件位於該感興趣區域時，由該處理器根據關聯於該目標物件的至少一第二移動物件位於該非感興趣區域中的比例以及所述第二移動物件是否於該非感興趣區域具有連續動作，判斷該目標物件是否離開該感興趣區域。
如申請專利範圍第22項所述的方法，其中該影像序列是由多個輸入畫面所構成，而在接收關於該監控區域的該影像序列的步驟之後，該方法更包括：　　每隔一預定時間，計算該影像序列中的當前輸入畫面與先前輸入畫面之間的影像差異，以產生動作影像，其中該當前輸入畫面與該先前輸入畫面之間存在至少一其它輸入畫面，該動作影像對應於至少一移動物件的動作。
如申請專利範圍第23項所述的方法，其中該根據所述第一移動物件位於該感興趣區域中的該比例以及所述第一移動物件是否於該感興趣區域具有連續動作，判斷所述第一移動物件是否進入該感興趣區域而做為該目標物件的步驟包括：　　判斷所述第一移動物件位於該感興趣區域中的該比例是否大於所述第一移動物件位於該非感興趣區域中的比例並且判斷所述第一移動物件是否於該感興趣區域具有連續動作；以及　　當判定所述第一移動物件位於該感興趣區域中的該比例大於所述第一移動物件位於該非感興趣區域中的該比例並且判定所述第一移動物件於該感興趣區域具有連續動作時，判定所述第一移動物件進入該感興趣區域而做為該目標物件。
如申請專利範圍第24項所述的方法，其中所述第一移動物件位於該感興趣區域中的該比例以及所述第一移動物件位於該非感興趣區域中的該比例的計算方式包括：於該偵測邊界定義第一區域，其中該第一區域包括位於該感興趣區域的第一感興趣區域以及位於該非感興趣區域的第一非感興趣區域；以及計算所述第一移動物件位於該第一感興趣區域以及該第一非感興趣區域的比例，以分別做為所述第一移動物件位於該感興趣區域中的該比例以及所述第一移動物件位於該非感興趣區域中的該比例。
如申請專利範圍第23項所述的方法，其中根據關聯於該目標物件的所述第二移動物件位於該非感興趣區域中的該比例以及所述第二移動物件是否於該非感興趣區域具有連續動作，判斷該目標物件是否離開該感興趣區域的步驟包括：　　判斷所述第二移動物件位於該非感興趣區域中的該比例是否大於所述第二移動物件位於該感興趣區域中的比例並且判斷所述第二移動物件是否於該非感興趣區域具有連續動作；　　當判定所述第二移動物件位於該非感興趣區域中的該比例大於所述第二移動物件位於該感興趣區域中的該比例並且判定所述第二移動物件於該非感興趣區域具有連續動作時，判定該目標物件離開該感興趣區域。
如申請專利範圍第26項所述的方法，其中所述第二移動物件位於該感興趣區域中的該比例以及所述第二移動物件位於該非感興趣區域中的該比例的計算方式包括：於該偵測邊界定義第二區域，其中該第二區域包括位於該感興趣區域的第二感興趣區域以及位於該非感興趣區域的第二非感興趣區域；以及計算所述第二移動物件位於該第二感興趣區域以及該第二非感興趣區域的比例，以分別做為所述第二移動物件位於該感興趣區域中的該比例以及所述第二移動物件位於該非感興趣區域中的該比例。
如申請專利範圍第22項所述的方法，更包括：　　當判定所述第一移動物件進入該感興趣區域而做為該目標物件時，產生並且輸出第一提示訊號；以及當判定該目標物件離開該感興趣區域時，產生並且輸出第二提示訊號。
如申請專利範圍第22項所述的方法，其中該監控區域為床鋪及其四周，該感興趣區域為該床鋪內，該非感興趣區域為該床鋪外，而進入該感興趣區域為上床動作，離開該感興趣區域為下床動作。
一種運算裝置，包括：記憶體，用以儲存影像以及資料；處理器，耦接該記憶體，並且用以：接收關於監控區域的影像序列，其中該監控區域包括感興趣區域以及非感興趣區域，該感興趣區域與該非感興趣區域之間具有偵測邊界；根據該影像序列，判斷目標物件是否位於該感興趣區域；當判定該目標物件不位於該感興趣區域並且偵測到至少一第一移動物件位於監控區域時，根據所述第一移動物件位於該感興趣區域中的比例以及所述第一移動物件是否於該感興趣區域具有連續動作，判斷所述第一移動物件是否進入該感興趣區域而做為該目標物件；以及當該目標物件位於該感興趣區域時，根據關聯於該目標物件的至少一第二移動物件位於該非感興趣區域中的比例以及所述第二移動物件是否於該非感興趣區域具有連續動作，判斷該目標物件是否離開該感興趣區域。