TWI780378B - 偵測及分類測動物行為之系統及其方法 - Google Patents

偵測及分類測動物行為之系統及其方法 Download PDF

Info

Publication number
TWI780378B
TWI780378B TW108142972A TW108142972A TWI780378B TW I780378 B TWI780378 B TW I780378B TW 108142972 A TW108142972 A TW 108142972A TW 108142972 A TW108142972 A TW 108142972A TW I780378 B TWI780378 B TW I780378B
Authority
TW
Taiwan
Prior art keywords
animal
behavior
frame difference
optical flow
image data
Prior art date
Application number
TW108142972A
Other languages
English (en)
Other versions
TW202121199A (zh
Inventor
呂炳榮
李建誠
潘偉豐
Original Assignee
臺中榮民總醫院
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 臺中榮民總醫院 filed Critical 臺中榮民總醫院
Priority to TW108142972A priority Critical patent/TWI780378B/zh
Publication of TW202121199A publication Critical patent/TW202121199A/zh
Application granted granted Critical
Publication of TWI780378B publication Critical patent/TWI780378B/zh

Links

Images

Landscapes

  • Image Analysis (AREA)

Abstract

本發明係揭露一種偵測及分類測動物行為之系統及其方法，其係能夠透過偵測且解析觀察動物行為之動態影片，並將動態影片中之動物行為進行分類，以達到準確地判斷動物行為，並將動物行為進行分類或量化之功效，亦能夠有效地降低人力判斷之成本及人為判斷之誤差。

Description

偵測及分類測動物行為之系統及其方法
本發明係有關於一種偵測並判斷動物行為之方法，特別係指一種偵測及分類測動物行為之系統及其方法。
按，在生物醫學研究領域裡，由於大多數研究存在未知風險，因此進行人體臨床試驗前必須要先進行各種動物試驗，透過觀察動物之行為模式預測被檢測之藥物於人體上之反應或是效果，以降低直接進行人體試驗所造成安全性之疑慮，而目前廣泛地被使用之動物模型係為囓齒動物。
疼痛為目前各類疾病最重要之症狀之一，惟，目前研究對於疼痛之生理機制仍未完全瞭解，並且，動物對於疼痛之反應係與人類對於疼痛之反應完全不同，意即基於動物無法直接表達其對於疼痛之感覺，因此，目前係無法有任何客觀評估標準用於判斷實驗得到動物主觀認知之疼痛感，換言之，要透過動物模式來進行疼痛相關研究係有一定難度存在。
本發明之主要目的係在於提供一種偵測及分類測動物行為之系統及其方法，其係能夠透過偵測且解析觀察動物行為之動態影片，並將動態影片中之動物行為進行分類，以達到準確地判斷動物行為，並將動物行為進行分類或量化之功效，亦能夠有效地降低人力判斷之成本及人為判斷之誤差。
為能達成本發明之目的，本發明係揭露一種偵測及分類測動物行為之系統，其主要包含有一資料庫、一紀錄模組、一影格差值運算分析模組及一卷積神經網路運算分析模組。本發明所揭偵測及分類測動物行為之系統係藉由該影格差值運算分析模組及該卷積神經網路運算分析模組依序處理並分析一影片內之影像資料，以透過雙重識別程序達到準確判斷或預測該影片中是否具有一預定動物行為之功效。
於本發明之一實施例中，該資料庫係儲存複數筆動物動態影像及其行為資訊；該紀錄模組係具有一紀錄單元，收集或紀錄一動物之一動態影片資料，並且各該動態影像資料具有複數像素值；該影格差值運算分析模組係具有一解析單元，接收該動態影像資料，並將之解析成複數影格；一計算單元，計算複數影格中預定影格間之影格差值，得到複數影格差值，分別取其絕對值，進行平均而得到一像素差值絕對值之平均值，並產出一影格差值時間軸序列，一初選單元，自該些影格差值選出一最大影格差值及該最小影格差值，當一待測影像片段具有連續P個影格差值絕對值介於該最大影格差值及該最小影格差值間時，該待測影像片段被分類為可能具有一預定行為而成為一候選片段，當該待測影像片段不具有連續P個影格差值絕對值介於該最大影格差值及該最小影格差值間時，該待測影像片段則被分類為不具有該預定行為，其中，P為正整數且大於等於1；該卷積神經網路運算分析模組，具有一模型提供單元，接收該資料庫之該些動物行為動態影像及其行為資訊，並演算產出一分類模型，一分類判斷單元，接收該候選片段之影像資料，依據該分類模型進行運算，以判斷該候選片段是否具有該預定行為。
其中，該紀錄單元係為一具有錄製功能之裝置，如攝影機、具錄影功能之相機、具紀錄影像功能之裝置。
其中，該卷積神經網路運算分析模組係能接收該候選影片之RGB影像資料，亦可接收該候選影片之光流影像資料。
於本發明之另一實施例中，本發明所揭偵測及分類測動物行為之系統係更包含有一光流計算模組，介於該影格差值運算分析模組與該卷積神經網路運算分析模組之間，而得接收該候選片段，並針對相距J張之影格進行光流計算，產生該候選片段之至少一光流影像，用以提供予該分類判斷單元，其中，J為正整數且大於等於1。
為能夠提高本發明所揭偵測及分類測動物行為之系統之處理效率，係於該光流計算模組與該卷積神經網路運算分析模組之間設置一抽樣模組，其係用以於該光流影像中抽樣處理，得到一光流抽樣影像，並將該光流抽樣影像提供予該卷積神經網路運算分析模組進行分類判斷。
於本發明又一實施例中係揭露一種偵測及分類測動物行為之方法，其係透過兩次分類判斷步驟，達到準確地對一待分類影片進行一預定行為進行分類之功效，其中，第一次分類判斷步驟係先篩去絕對不具有該預定行為之影片片段，留下一可能具有該預定行為之影片片段，第二次分類判斷步驟再針對該可能具有該預定行為之影片片段進行判斷。
具體來說，於本發明之一實施例中，該偵測及分類測動物行為之方法包含下列步驟：先獲得至少一動態影像資料，而該動態影像資料具有複數像素及其分別對應之像素值；再將該動態影像資料解析為複數個影格，計算每相隔一預定張數張之兩影格的影格差值，並取其絕對值，並將所有影格差值絕對值予以平均，得到一影格差值平均值，且該影格差值係依據時間順序而排列成為一影格差值時間軸序列；計算該影格差值時間軸序列上之以每m個影格差值，當連續P個之該每m個影格差值平均值落於一區間內，則判斷相對應之一動態影像片段為一候選片段而可能具有一預定動物行為，而若未有連續P個之該每m個影格差值平均值落於一區間內，則判斷相對應之一動態影像片段不具有該預定動物行為，其中，m為正整數且大於等於1，P為正整數且大於等於1；接收該候選片段之影像資料，並根據一分類模型進行分類，判斷出該候選片段是否具有該預定動物行為，當該候選片段被判斷為為具有該預定動物行為時，該候選片段則被分類為具有一動物行為之段落影片。
其中，於該步驟c與步驟d之間更包含有一步驟c1，接收該候選片段，並進行光流計算，得到該候選片段之一光流影像資料。而該步驟c1係針對該候選片段中相距J張之影格進行光流計算，以得到光流影像資料，其中，J為正整數且大於等於1。
又，於該步驟c1與步驟d之間係更包含有一步驟c2，自該光流影像資料進行抽樣處理，擷取出一光流抽樣資料。
其中，於該步驟a之前係更包含有一步驟a1，收集複數筆複數筆動物行為動態影像及其資訊，用以提供做為建構該分類模型之資料來源。
其中，該區間係介於一最大影格差值及一最小影格差值之間。
本發明所提供一種偵測及分類測動物行為之系統及其方法係透過雙重解析法來分析視頻訊號，以準確判斷視頻訊號內是否具特定動物行為，以達到自動化長時間偵測動物行為之功效，意即本發明所揭偵測及分類測動物行為之系統及其方法係能夠省去人工的觀察，提供更快速更客觀之觀察結果，亦可整合偵測結果，提供定量評量之行為分析數據。
請參閱圖1，於本發明之第一實施例中所揭偵測及分類測動物行為之系統(10)係包含有一資料庫(20)、一紀錄模組(30)、一影格差值（frame difference）運算分析模組(40)及一卷積神經網路（Convolutional Neural Network，CNN）運算分析模組(50)，其中：
該資料庫(20)係儲存複數筆動物動態影像及其行為資訊。
該紀錄模組(30)係具有一紀錄單元(31)，收集一動物之至少一連續動態影像資料T1，並各該動態影像資料具有複數像素值。
舉例來說，該紀錄模組(30)係能透過機器或設備拍攝特定畫面或場景，以產出複數個動態影像資料T1。而該紀錄模組(30)係包含有一攝影機、一照相機、一包含電荷耦合元件（CCD）或互補式金氧半（CMOS）之設備；並每一動態影像資料T1係具有複數個像素值，每個像素具有相對應之像素值。
該影格差值運算分析模組(40)係具有一解析單元(41)，接收來自該紀錄模組(30)之該動態影像資料，並將單一動態影像資料解析成複數影格；一計算單元(42)，計算該複數影格中相距該K張之兩影格的影格差值後，分別取其絕對值，而能產出一影格差值時間軸序列，並計算出複數像素差值絕對值之平均值，其中，K為正整數且大於等於1，一初選單元(43)，自該些影格差值間選定一最大影格差值及一最小影格差值，當一待測影像片段具有連續P個影格差值絕對值介於該最大影格差值及該最小影格差值間時，該待測影像片段被分類為可能具有一預定行為而成為一候選片段T3，當該待測影像片段不具有連續P個影格差值絕對值介於該最大影格差值及該最小影格差值間時，該待測影像片段則被分類為不具有該預定行為之影像片段，其中，P為正整數且大於等於1。
該卷積神經網路運算分析模組(50)係具有一模型提供單元(51)，接收該資料庫(20)之該些動物行為動態影像及其行為資訊，並演算產出一分類模型，一分類判斷單元(52)，接收該候選片段T3之影像資料，依據該分類模型進行運算，以判斷該候選片段是否具有該預定行為，其中，該候選片段之影像資料係得為該候選片段之RGB影像、該候選片段之光流影像或其他經修飾或經處理之該候選片段。
而該分類模型係透過該卷積神經網路運算分析模組(50)進行訓練程序所得到者，意即於訓練程序時，該模型提供單元(51)會自該資料庫(20)取得動物之動態影像資料及內含之行為資訊，透過卷積神經網路，進行行為有無之分類或判斷的訓練，如梳理與非梳理行為的分類，以得到該分類模型。
藉由上述構件之組合，先由該紀錄模組(30)獲得一動物之動態影像資料後，而後依序經由該影格差值運算分析模組(40)及該卷積神經網路運算分析模組(50)進行該動物之動態影像資料之解析，判斷出該動物之動態影像中是否含有一預定行為。更進一步來說，本發明所揭偵測及分類測動物行為之系統(10)係先藉由該影格差值運算分析模組(40)解析該動物之動態影像資料，排除絕對不具有該預定行為之影像片段，並保留下可能含有該預定行為之影像片段（即為候選片段），再由該卷積神經網路運算分析模組(50)依據其分類模型判斷該候選片段中是否具有該預定行為。
如圖2所示，於本發明之第二實施例所揭偵測及分類測動物行為之系統(10’)，其大體上相同於第一實施例中，惟，不同者在於，更包含有一光流計算模組(60’)及一抽樣模組(70’)，其中：
該光流計算模組(60’)係位於該影格差值運算分析模組(40’)與該卷積神經網路運算分析模組(50’)之間，接收來自該影格差值運算分析模組(40’)之該候選片段T3，並針對相距J張之影格進行光流計算，產生至少一光流影像T4，其中，J為正整數且大於等於1。
該抽樣模組(70’)係介於該光流計算模組(60’)及該卷積神經網路運算分析模組(50’)之間，接收來自該光流計算模組之該光流影像T4，並自該些光流影像中進行抽樣而產出一光流抽樣影像T5。
藉由該光流計算模組(60’)係能將該候選片段T3由RGB影像處理為光流影像T4，而得獲知該候選片段中不同之影像資料或特徵，並且透過抽樣模組(70’)進行抽樣處理，能夠使該卷積神經網路運算分析模組(70’)處理之影像數量減少，達到增加判斷效率且又不會影響到判斷準確度之功效。
若以大鼠梳理行為之偵測為例，該影格差值運算分析模組係接收動態影像資料T1後，建立每相隔K張的影格差值，如圖2及3所示，計算方法係為對每相隔K張之所有影格（frame），計算所有畫素之差值的絕對值，之後再取平均：
di =1/n ∑ abs(Ii -Ii+k )
隨著影像的移動及時間的改變，畫素值也會同步變動，持續執行此計算程序，便可獲得時間軸序列上的每個影格差值di，之後再計算每m個影格差值的平均，若其值連續P個均落在某一區間內，則擷取範圍的影片為梳理行為候選段落影片T3，進行光流（optical flow）計算；反之，若落在此區間外，則此範圍的影片歸類為非梳理行為T2。
該光流計算模組係接收梳理行為候選段落影片T3，針對每相隔J張的影格進行光流計算，並產生光流影像T4。
該抽樣模組進行抽樣，擷取出光流抽樣影像T5。
該卷積神經網路運算分析模組接收光流抽樣影像T5，進行卷積神經網路分類，最後整合每次的光流影像分類結果，以產生最終分類結果T6。
於本發明之另一實施例中所揭偵測及分類測動物行為之方法，係能透過前述偵測及分類測動物行為之系統判斷、分析、定量動物之行為，具體來說，包含以下步驟：
獲得至少一動態影像資料，其具有複數像素及其分別對應之像素。
將該動態影像資料解析為複數個影格，計算每相隔K張之兩影格之影格差值，產出複數影格差值，並分別取其絕對值後予以平均，得到一影格差值平均值，且該影格差值係依據時間順序而排列成為一影格差值時間軸序列，其中，K為正整數且大於等於1。
於該影格差值時間軸序列上，以每m個影格差值為一單位，計算出一每單位影格差值平均值，若該每單位影格差值平均值連續P個落於一區間內，則判斷相對應之一動態影像片段為一候選片段而可能具有一預定動物行為，而若該每單位影格差值平均值未連續P個落於一區間內，則判斷相對應之一動態影像片段不具有該預定動物行為，其中，m為正整數且大於等於1，P為正整數且大於等於1，該區間係介於一最大影格差值及一最小影格差值之間。
接收該候選片段，並進行光流計算之處理，得到該候選片段之一光流影像資料，再將該光流影像資料進行抽樣處理，擷取出一光流抽樣資料。
接收該光流抽樣資料，並根據一分類模型進行分類，判斷出該候選片段是否具有該預定動物行為，當該候選片段被判斷為為具有該預定動物行為時，該候選片段則被分類為具有一動物行為之段落影片，其中，該分類模型係由一運算單元將複數筆動物行為動態影像及其資訊經演算後所得到者。
以下將以偵測及分類大鼠梳理行為為例，說明本發明所揭偵測及分類測動物行為之系統及其方法之詳細內容。
首先，取得一大鼠行為影片，其係得以由視訊攝影機所組成之該紀錄模組紀錄籠子內動物行為；分割並分析該影片之影格，意即透過該影格差值運算分析模組對每相隔K張的所有影格，計算所有畫素之差值的絕對值，之後再取平均，再針對影格時間軸序列，計算每m個影格差值的平均，而若其值連續P個均落在某一區間內，判斷該段影片係可能具有梳理行為，擷取此段落影片，進行光流計算，反之，若落在此區間外，則判斷該段影片不具有梳理行為，並將該段影片分類為非梳理行為而予以排除；最後，該卷積神經網路運算分析模組接收並分析該光流資料，透過預先收集的訓練資料集，進行梳理與非梳理行為之再次分類，以得到含有梳理行為之影像片段。
具體來說，於第一分類階段，先透過影格差值運算分析模組進行影像初始分析及判斷，意即針對每個像素，先計算連續兩影格間之距離，以反應影格間之作動，並產出影格差值之時間軸序列（time profile）；再濾除超出最大閥值與低於最小閥值之時間軸序列；藉此區分出絕對非梳理片段（absolute non-grooming clips）與梳理候選片段（grooming candidate clips），其中，絕對非梳理片段係包含有睡眠、運動-靜止（motion-stillness）、強烈動作等。
每個影格之尺寸係得被設定一預定尺寸：W X H，於兩個連續影格間之影格差值d(t)定義如下：
Figure 02_image001
其中，It (i,j)係指一像素位於第t-th個影格中位置(i,j)之像素值，並1≤ t ＜ T 涵蓋具有T影格之整個影片；
於此，時間軸序列集合係為d(t)之點集合（point-set）。
假設θmin及θmax分別為最小及最大影格差值，則可將梳理指標（grooming indicator）g(t)定義為如下所示者，而能過濾時間軸序列集合：
Figure 02_image003
因此，當d(t)滿足g(t)＝1時，d(t)被認為是梳理候選片段；否則，d(t)係被判斷為絕對非梳理片段。
而當滿足g(t)＝1時，一組梳理候選片段會以下列方式表現：
C={Cn|n=1,2,…,N}
其中，N係指候選影片片段之總數量。
藉由上述影格差值過濾方法，可將所收集到之影片區分為絕對非梳理片段或候選梳理片段 Cn，並過主觀驗證及手動標記為真實梳理行為或非真實梳理行為。實際操作上，可依據卷積神經網路運算分析模組之分類判斷需求而將該些候選梳理片段進行影像處理，若經光流影像處理則會產出光流影像（optical flow images）。
於第二分類階段中係透過卷積神經網路運算分析模組將該候選梳理片段Cn中之行為進行分類，以得到確實具有梳理行為之影像片段，其中，卷積神經網路運算分析模組係得選擇不同之運算框架，如two-stream框架，用以獲得影片中之特徵，如時間特徵、空間特徵等，再將之匯入LSTM中。
其中，two-stream框架係為深度學習中之一種框架，其係利用兩個深度神經網路，一個用於獲取影像中RGB之特徵，另一個用於獲取影像中之光流特徵，並將之融合後而得到最終之分類結果。
以下，為能更進一步說明本發明之技術特徵及功效，將茲舉若干實驗例並搭配圖式做詳細說明如後。
下列實例中所使用之「卡拉膠（Carrageenan）」，係為一種常用化學疼痛誘導劑，由海洋紅海藻中所萃取得到者，能夠用於誘導長期之中度慢性疼痛。
實例一：動物試驗
取4隻成年雄性SD大鼠，重量分別約為250～300公克，隨機分為2個試驗組別，於各試驗組別中，其中一隻大鼠為控制組，另一隻大鼠為實驗組，而該控制組之大鼠係被注射食鹽水，實驗組之大鼠則被注射卡拉膠。
於第一試驗組別中，試驗第1-2天係對於實驗組大鼠進行任何處理，以作為試驗之基準線；於試驗第3天，控制組大鼠於吸入異氟烷後，於右側後肢爪處被皮下注射0.02毫升之0.9％食鹽水，而實驗組大鼠則於相同條件下被注射0.02毫升之1％卡拉膠；於試驗第4-9天，持續疼痛相關研究。
於第二試驗組別中，實驗步驟及流程大致相同於第一試驗組別，唯一差別者在於，實驗組大鼠注射卡拉膠之濃度為3％。
各試驗組別之大鼠分別被放置於相鄰之獨立空間中，並將攝影設備架設於空間上方，持續紀錄（1 影格/秒、24小時、超過7天）大鼠之動作，如圖4所示。
實例二：建構資料庫
藉由本發明所揭該影格差值運算分析模組分析實例一中所得到之影片，判斷被選擇影片為絕對非梳理片段或梳理行為候選片段（如表1所示）。
表1：梳理行為候選片段資料庫
被收集影片之序列號
測試組(Test set) 921113 921114 921115 921116 921119 921120
訓練組(training set) 921121 930219 921122 930220 921123 930221 921128 930222 921129 930224 921130 930225
共有3974個梳理行為候選片段被手段標記為梳理行為或是非梳理行為。按照每個影片之獨立性，依據影片之序列號，將之以1：2之比例區分為2個部分，例如：(a) 訓練組（2/3）及測試組（1/3）；因此，共有1637個影片片段被用以測試，及2337個影片片段被用以訓練。
實例三：影像分析訓練
利用於OpenCV及CUDA之TVL1演算法得到光流影像x及光流影像y，其中：
光流影像之推疊數（stacked number）Q是被設置為5；
每個影片片段中至少有15個影格（frame）；且
各影片被切割成為片段之最佳數量被設置為10。
實例四：有效性評估模式
依據表2所示混合矩陣（confusion matrices）及有效性評估公式來進行後續本發明所揭偵測動物行為之方法的有效性評估。
表2：混合矩陣
  陰性預測（Predicted Negative） 陽性預測（Predicted Positive）
真實未梳理 TN FP
真實梳理 FN TP
有效性評估之公式如下：
敏感度＝TP/(TP+FN)
專一度＝TN/(TN+FP)
精確度＝TP/(TP+FP)
正確度＝(TP+TN)/(TP+TN+FP+FN)
實例五：初次結果之預測有效性
表3及表4係所收集之RGB訓練及測試組分別列成混合矩陣之結果；表5及表6係所收集之光流訓練及測試組分別列成混合矩陣之結果。
表3：RGB訓練組之混合矩陣
  陰性預測 陽性預測
真實未梳理 848 58
真實梳理 14 1417
表4：RGB訓練組之混合矩陣
  陰性預測 陽性預測
真實未梳理 605 186
真實梳理 74 772
表5：光流訓練組之混合矩陣
  陰性預測 陽性預測
真實未梳理 819 87
真實梳理 77 1354
表6：光流訓練組之混合矩陣
  陰性預測 陽性預測
真實未梳理 626 165
真實梳理 65 781
為能夠產生最終分類概率，更進一步納入決策模塊，以結合利用FC（fully-connected layer）而來自空間及時間流（spatial and temporal stream）之兩種softmax輸出。如表7至表8所示，其分別顯示two-stream框架結合FC決策方法之訓練組或測試組之結果。
表7：訓練組之混合矩陣（two-stream框架結合FC）
  陰性預測 陽性預測
真實未梳理 880 26
真實梳理 18 1413
表8：測試組之混合矩陣（two-stream框架結合FC）
  陰性預測 陽性預測
真實未梳理 681 110
真實梳理 55 791
由表9及表10可知，相較於single stream框架，以two-stream框架進行動物行為判斷及預測係可得到一較佳之預測結果。
表9：訓練組之初次結果（Preliminary results）
  RGB 光流 two-stream框架（FC）
敏感度 99.02 94.62 98.74
專一度 93.60 90.40 97.13
精確度 96.07 93.96 98.19
正確度 96.92 92.98 98.12
表10：測試組之初次結果
  RGB 光流 two-stream框架（FC）
敏感度 91.25 92.32 93.50
專一度 76.49 79.14 86.09
精確度 80.58 82.56 87.79
正確度 84.12 85.95 89.92
實例六：本發明所揭方法之有效性評估
透過影格差值運算分析模組將所收集之影片區分出絕對非梳理片段與梳理候選片段，而絕對非梳理片段中真實陰性影格（True negative frames）之數量為864416，於更新此數值前，先將所有數值轉換成影格單元中之數值。再者，以單一RGB影格做為空間流；時間流係為5次堆疊x及y光流影像。此外，分割片段之數量N為10。
表11及表12係為以本發明所揭方法藉由上述參數搭配two-stream框架之預測結果；表13及表14係為整段影片之最終預測結果。
表11：訓練組之更新混合矩陣（two-stream框架結合FC）
  陰性 陽性
真實未梳理 961216 2860
真實梳理 1980 155430
表12：測試組之更新混合矩陣（two-stream框架結合FC）
  陰性 陽性
真實未梳理 939326 12100
真實梳理 6050 87010
表13：訓練組之預測結果
  two-stream框架（FC）
敏感度 98.74
專一度 99.70
精確度 98.17
正確度 99.57
表14：測試組之預測結果
  two-stream框架（FC）
敏感度 93.50
專一度 98.73
精確度 87.79
正確度 98.26
實例七：比較結果
利用習知之TSN（Temporal Segment Networks）模型（L. Wang et al., "Temporal segment networks: Towards good practices for deep action recognition," in European conference on computer vision, 2016: Springer, pp. 20-36）並搭配實例三中所提供之參數進行大鼠行為之判斷，其結果如表15至表20所示。
而將TSN判斷影像之結果與實例六之結果相比，可知本發明所揭偵測動物行為之方法及系統係具有較佳預測及判斷效果，以訓練組來說，本發明所揭偵測及分類測動物行為之系統及其方法係提高2.25％之有效預測率；而以測試組來說，本發明所揭偵測及分類測動物行為之系統及其方法係提高1.62％之有效預測率。
換言之，就由本發明所揭偵測及分類測動物行為之系統及其方法係能夠使敏感度達到97％、專一度達到99％、精準度達到90％、準確度達到99％。
表15：TSN模型下之訓練組之混合矩陣
  陰性 陽性
真實未梳理 757 149
真實梳理 124 1307
表16：TSN模型下之測試組之混合矩陣
  陰性 陽性
真實未梳理 605 186
真實梳理 133 713
表17：TSN之初次結果
  訓練 測試
敏感度 91.33 84.28
專一度 83.55 76.49
精確度 89.77 79.31
正確度 88.32 80.51
表18：訓練組之更新混合矩陣（TSN）
  陰性 陽性
真實未梳理 947686 16390
真實梳理 13640 143770
表19：測試組之更新混合矩陣（TSN）
  陰性 陽性
真實未梳理 930966 20460
真實梳理 14630 78430
表20：TSN之預測結果
  訓練 測試
敏感度 91.33 84.28
專一度 98.30 97.85
精確度 89.77 79.31
正確度 97.32 96.64
無
圖1係為本發明之第一實施例所揭偵測及分類測動物行為之系統的示意圖。 圖2係為本發明之第二實施例所揭偵測及分類測動物行為之系統的示意圖。 圖3係為說明該影格差值運算分析模組建立影格差值之示意圖。 圖4係為不同試驗組別之大鼠以攝影設備紀錄之結果。
無

Claims (10)

  1. 一種偵測及分類動物行為與其對應感受之系統，其包含有：一資料庫，儲存複數筆同種動物之動態影像及其行為資訊，其中，該行為資訊至少包含有動物行為及其對應之主觀感受；一紀錄模組，具有一紀錄單元，收集一動物之至少一動態影像資料，並各該動態影像資料具有複數像素值；一影格差值運算分析模組，具有一解析單元，接收來自該紀錄模組之該動態影像資料，並將單一動態影像資料解析成複數影格；一計算單元，計算該複數影格中相距該K張之兩影格的影格差值後，分別取其絕對值，而能產出一影格差值時間軸序列，並計算出複數像素差值絕對值之平均值，其中，K為正整數且大於等於1，一初選單元，自該些影格差值間選定一最大影格差值及一最小影格差值，當一待測影像片段具有連續P個影格差值絕對值介於該最大影格差值及該最小影格差值間時，該待測影像片段被分類為可能具有一預定行為而成為一候選片段，當該待測影像片段不具有連續P個影格差值絕對值介於該最大影格差值及該最小影格差值間時，該待測影像片段則被分類為不具有該預定行為，其中，P為正整數且大於等於1；以及一卷積神經網路運算分析模組，具有一模型提供單元，接收該資料庫之該些動物行為動態影像及其行為資訊，並演算產出一分類模型，一分類判斷單元，接收該候選片段之影像資料，依據該分類模型進行運算，以判斷該候選片段是否具有該預定行為，倘若判斷為有該預定行為，則認為該動物具有該預定行為相對應之感受。
  2. 如請求項1所述偵測及分類動物行為與其對應感受之系統，其更包含一光流計算模組，介於該影格差值運算分析模組與該卷積神經網路運算分 析模組之間，而得接收該候選片段，並針對相距J張之影格進行光流計算，產生該候選片段之至少一光流影像，用以提供予該分類判斷單元，其中，J為正整數且大於等於1。
  3. 如請求項2所述偵測及分類動物行為與其對應感受之系統，其更包含一抽樣模組，介於該光流計算模組與該卷積神經網路運算分析模組之間，自該光流影像中抽樣，得到一光流抽樣影像，用以提供予該分類判斷單元。
  4. 如請求項1所述偵測及分類動物行為與其對應感受之系統，其中，該紀錄單元係為一具有錄製功能之裝置。
  5. 如請求項1所述偵測及分類動物行為與其對應感受之系統，其中，該候選片段之影像資料係為該候選片段之RGB影像或/及該候選片段之光流影像。
  6. 一種偵測及分類動物行為與其對應感受之方法，其係包含下列步驟：步驟a：獲得至少一動態影像資料，其具有複數像素及其分別對應之像素；步驟b：將該動態影像資料解析為複數個影格，計算每相隔K張之兩影格之影格差值，產出複數影格差值，並分別取其絕對值後予以平均，得到一影格差值平均值，且該影格差值係依據時間順序而排列成為一影格差值時間軸序列，其中，K為正整數且大於等於1；步驟c：於該影格差值時間軸序列上，以每m個影格差值為一單位，計算出一每單位影格差值平均值，若該每單位影格差值平均值連續P個落於一區間內，則判斷相對應之一動態影像片段為一候選片段而可能具有一預定動物行為，而若該每單位影格差值平均值未連續P個落於一區間內，則判斷相對應之一動態影像片段不具有該預定動物行為，其中，m為正整數且大於等於 1，P為正整數且大於等於1，其中，該區間係介於一最大影格差值及一最小影格差值之間；以及步驟d：接收該候選片段之影像資料，並根據一分類模型進行分類，判斷出該候選片段是否具有該預定動物行為，當該候選片段被判斷為為具有該預定動物行為時，該候選片段則被分類為具有一動物行為之段落影片，進而判斷該動物具有該動物行為相對應之感受。
  7. 如請求項6所述動物行為與其對應感受之方法，其更包含一步驟c1，介於該步驟c與步驟d之間，接收該候選片段，並進行光流計算，得到該候選片段之一光流影像資料。
  8. 如請求項7所述動物行為與其對應感受之方法，其中，該步驟c1係針對該候選片段中相距J張之影格進行光流計算，以得到光流影像資料，其中，J為正整數且大於等於1。
  9. 如請求項7所述動物行為與其對應感受之方法，其更包含有一步驟c2，介於該步驟c1與步驟d之間，將該光流影像資料進行抽樣處理，擷取出一光流抽樣資料。
  10. 如請求項6所述動物行為與其對應感受之方法，其更包含一步驟a1，位於該步驟a之前，收集複數筆動物行為動態影像及其資訊，用以提供做為建構該分類模型之資料來源。
TW108142972A 2019-11-26 2019-11-26 偵測及分類測動物行為之系統及其方法 TWI780378B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
TW108142972A TWI780378B (zh) 2019-11-26 2019-11-26 偵測及分類測動物行為之系統及其方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW108142972A TWI780378B (zh) 2019-11-26 2019-11-26 偵測及分類測動物行為之系統及其方法

Publications (2)

Publication Number Publication Date
TW202121199A TW202121199A (zh) 2021-06-01
TWI780378B true TWI780378B (zh) 2022-10-11

Family

ID=77516715

Family Applications (1)

Application Number Title Priority Date Filing Date
TW108142972A TWI780378B (zh) 2019-11-26 2019-11-26 偵測及分類測動物行為之系統及其方法

Country Status (1)

Country Link
TW (1) TWI780378B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI820870B (zh) * 2022-08-17 2023-11-01 探極生物科技有限公司 基於人工智慧之自動化系統監控生物的方法及其裝置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109102678A (zh) * 2018-08-30 2018-12-28 青岛联合创智科技有限公司 一种融合uwb室内定位与视频目标检测与跟踪技术的溺水行为检测方法
CN110139067A (zh) * 2019-03-28 2019-08-16 北京林业大学 一种野生动物监测数据管理信息系统
CN110188637A (zh) * 2019-05-17 2019-08-30 西安电子科技大学 一种基于深度学习的行为识别技术方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109102678A (zh) * 2018-08-30 2018-12-28 青岛联合创智科技有限公司 一种融合uwb室内定位与视频目标检测与跟踪技术的溺水行为检测方法
CN110139067A (zh) * 2019-03-28 2019-08-16 北京林业大学 一种野生动物监测数据管理信息系统
CN110188637A (zh) * 2019-05-17 2019-08-30 西安电子科技大学 一种基于深度学习的行为识别技术方法

Also Published As

Publication number Publication date
TW202121199A (zh) 2021-06-01

Similar Documents

Publication Publication Date Title
Luo et al. Computer vision-based descriptive analytics of seniors’ daily activities for long-term health monitoring
Bjerge et al. A computer vision system to monitor the infestation level of Varroa destructor in a honeybee colony
CN109431523B (zh) 基于非社会性声音刺激行为范式的孤独症初级筛查装置
CN110598608B (zh) 非接触式与接触式协同的心理生理状态智能监测系统
RU2007102021A (ru) Способ и система распознавания личности
Vyas et al. Recognition of atypical behavior in autism diagnosis from video using pose estimation over time
US11321618B2 (en) Learning device, image pickup apparatus, image processing device, learning method, non-transient computer-readable recording medium for recording learning program, display control method and inference model manufacturing method
CN112580525B (zh) 一种基于行人再识别的病例活动轨迹监测方法
CN111898581A (zh) 动物检测方法、装置、电子设备及可读存储介质
Luo et al. Integrating hypertension phenotype and genotype with hybrid non-negative matrix factorization
CN109381200B (zh) 基于分离重聚范式和计算机视觉的孤独症初级筛查装置
Ali et al. Video-based behavior understanding of children for objective diagnosis of autism
CN112580552A (zh) 一种鼠类行为分析方法及装置
CN112151167A (zh) 一种基于深度学习的儿童六龄牙龋齿智能筛查方法
KR102174345B1 (ko) 몰입도 측정장치 및 방법
Liu et al. Gaze-assisted multi-stream deep neural network for action recognition
TWI780378B (zh) 偵測及分類測動物行為之系統及其方法
CN117501310A (zh) 组织病理学图像中伪影的自动分割
Arazo et al. Segmentation enhanced lameness detection in dairy cows from RGB and depth video
CN111128368A (zh) 基于视频表情行为分析的孤独症谱系障碍自动检测方法及装置
CN110364260A (zh) 基于指示性语言范式的孤独症早期评估装置及系统
CN109711232A (zh) 基于多目标函数的深度学习行人重识别方法
Marks et al. SIPEC: the deep-learning Swiss knife for behavioral data analysis
CN116863388A (zh) 一种基于神经网络的精子活力确定方法及系统
CN112488165A (zh) 一种基于深度学习模型的红外行人识别方法及系统

Legal Events

Date Code Title Description
GD4A Issue of patent certificate for granted invention patent