TW201947533A - 利用影像偵測閱讀姿勢之方法及系統、電腦可讀取之記錄媒體及電腦程式產品 - Google Patents
利用影像偵測閱讀姿勢之方法及系統、電腦可讀取之記錄媒體及電腦程式產品 Download PDFInfo
- Publication number
- TW201947533A TW201947533A TW107116442A TW107116442A TW201947533A TW 201947533 A TW201947533 A TW 201947533A TW 107116442 A TW107116442 A TW 107116442A TW 107116442 A TW107116442 A TW 107116442A TW 201947533 A TW201947533 A TW 201947533A
- Authority
- TW
- Taiwan
- Prior art keywords
- image
- skeleton
- processor
- human body
- posture
- Prior art date
Links
Landscapes
- Image Analysis (AREA)
Abstract
一種利用影像偵測閱讀姿勢之方法，其包括下列步驟：由一網路攝影機攝取具有一人體姿態之一影像，並將該影像之一人體姿態影像資料傳送至一處理器；由該處理器接收該網路攝影機傳送之該人體姿態影像資料，並以一即時姿態估計演算法計算該人體姿態影像資料，以得到該人體姿態之各骨架點在該影像中之一座標位置及一可信度；由該處理器以各骨架點在該影像中之該座標位置進行計算，以得到複數個骨架特徵值；以及由該處理器以一多層感知機演算法對該等骨架特徵值進行分類，以輸出一人體姿態辨識結果。
Description
本發明有關於電腦之領域，特別有關於一種利用影像偵測閱讀姿勢之方法及系統、電腦可讀取之記錄媒體及電腦程式產品。
幾十年來兒童及青少年的視力問題一直是國人關注的焦點相關教育及眼科醫療單位更積極倡導護眼行動六項重點，即為眼睛休息不忘記、均衡飲食要做到、閱讀習慣要養成、讀書環境要注意、執筆、坐姿要正確，及定期檢查要知道。
由前述護眼行動要旨可知，閱讀習慣及讀書環境占了視力保健重要的角色，尤其學生的讀書時間更是占了其生活中極大部分。不足的環境燈光、不當的閱讀姿勢及距離、燈光照明位置及閱讀時間等是一般人於閱讀時常忽略，多需仰賴自我檢視或是身旁親友提醒才能警覺自己已於不當環境下閱讀了一段時間。
為了解決上述問題，用以監視及提醒不良閱讀姿勢之伴讀機器人孕育而生。伴讀機器人可採用之技術如中華民國專利公告第I469812號「視覺目標追蹤」所揭示之技術，該專利使用之設備為深度攝影機，其能直接取得影像深度值進而推算出身體支架索引，然而深度攝影機價格昂貴，增加伴讀機器人的成本，不易普及化在家庭中使用。
有鑑於上述問題，本發明之目的在於提供一種利用影像偵測閱讀姿勢之方法及系統、電腦可讀取之記錄媒體及電腦程式產品，使用一般攝影機來攝取影像，並對所攝取之影像進行分析及判斷閱讀者是否為不良閱讀姿勢而進行提醒，使用價格低廉的一般攝影機可降低伴讀機器人的成本，可使伴讀機器人普及化使用在家庭中。
本發明之第一態樣係提供一種利用影像偵測閱讀姿勢之方法，其包括下列步驟：由一網路攝影機攝取具有一人體姿態之一影像，並將該影像之一人體姿態影像資料傳送至一處理器；由該處理器接收該網路攝影機傳送之該人體姿態影像資料，並以一即時姿態估計演算法計算該人體姿態影像資料，以得到該人體姿態之各骨架點在該影像中之一座標位置及一可信度；由該處理器以各骨架點在該影像中之該座標位置進行計算，以得到複數個骨架特徵值；以及由該處理器以一多層感知機演算法對該等骨架特徵值進行分類，以輸出一人體姿態辨識結果。
本發明之第二態樣係提供一種利用影像偵測閱讀姿勢之方法，其包括下列步驟：由一網路攝影機攝取具有一人體姿態之一影像，並將該影像之一人體姿態影像資料傳送至一處理器；由該處理器接收該網路攝影機傳送之該人體姿態影像資料，並以一即時姿態估計演算法計算該人體姿態影像資料，以得到該人體姿態之各骨架點在該影像中之一座標位置及一可信度； 由該處理器將在各骨架點中之一個骨架點之該座標位置定義為一原點，而將其餘骨架點之該座標位置相對於該原點進行骨架平移，並將在各骨架點中之兩個骨架點的距離定義為一單位長度，而將其餘骨架點間的距離相對於該單位長度進行骨架縮放；以及由該處理器以一卷積神經網路模型對包括有經骨架平移及骨架縮放之該座標位置及該可信度之該影像中之進行分類，以輸出一人體姿態辨識結果。
本發明之第三態樣係提供一種利用影像偵測閱讀姿勢之系統，其包括：一網路攝影機，攝取具有一人體姿態之一影像，並傳送該影像之一人體姿態影像資料；以及一處理器，接收該網路攝影機傳送之該人體姿態影像資料，以一即時姿態估計演算法計算該人體姿態影像資料，以得到該人體姿態之各骨架點在該影像中之一座標位置及一可信度，以各骨架點在該影像中之該座標位置進行計算，以得到複數個骨架特徵值，以一多層感知機演算法對該等骨架特徵值進行分類，以輸出一人體姿態辨識結果。
本發明之第四態樣係提供一種利用影像偵測閱讀姿勢之系統，其包括：一網路攝影機，攝取具有一人體姿態之一影像，並傳送該影像之一人體姿態影像資料；以及一處理器，接收該網路攝影機傳送之該人體姿態影像資料，以一即時姿態估計演算法計算該人體姿態影像資料，以得到該人體姿態之各骨架點在該影像中之一座標位置及一可信度，將在各骨架點中之一個骨架點之該座標位置定義為一原點，而將其餘骨架點之該座標位置 相對於該原點進行骨架平移，並將在各骨架點中之兩個骨架點的距離定義為一單位長度，而將其餘骨架點間的距離相對於該單位長度進行骨架縮放，以一卷積神經網路模型對包括有經骨架平移及骨架縮放之該座標位置及該可信度之該影像中之進行分類，以輸出一人體姿態辨識結果。
本發明之第五態樣係提供一種內儲一程式之電腦可讀取之記錄媒體，當一利用影像偵測閱讀姿勢之系統於該電腦可讀取之記錄媒體載入該程式並執行後，可完成本發明之第一態樣或第二態樣之方法。
本發明之第六態樣係提供一種內儲一程式之電腦程式產品，當一利用影像偵測閱讀姿勢之系統於電腦程式產品載入該程式並執行後，可完成本發明之第一態樣或第二態樣之方法。
10‧‧‧處理器
12‧‧‧網路攝影機
14‧‧‧警示裝置
圖1為本發明之利用影像偵測閱讀姿勢之系統之方塊圖；圖2A為本發明第一實施例之骨架影像之示意圖；圖2B為本發明第一實施例之上臂與前臂夾角之示意圖；圖2C為本發明第一實施例之骨架影像之示意圖；圖3為本發明第一實施例之多層感知機之架構圖；圖4為本發明第一實施例之利用影像偵測閱讀姿勢之方法之流程圖；圖5A為本發明第二實施例之人體姿態的影像之圖片；圖5B為本發明第二實施例之人體姿態的關節點之圖片；圖5C為本發明第二實施例之人體姿態的肢體之圖片； 圖5D為本發明第二實施例之人體姿態的肢體連結之圖片；圖6為本發明第二實施例之人體骨架的示意圖；圖7為本發明第二實施例之卷積神經網路之示意圖；圖8為本發明第二實施例之卷積神經網路之卷積操作之示意圖；圖9為本發明第二實施例之卷積神經網路之池化操作之示意圖；以及圖10為本發明第二實施例之利用影像偵測閱讀姿勢之方法之流程圖。
為使熟習本發明所屬技術領域之一般技藝者能更進一步了解本發明，下文特列舉本發明之較佳實施例，並配合所附圖式，詳細說明本發明的構成內容及所欲達成之功效。
圖1為本發明之利用影像偵測閱讀姿勢之系統之方塊圖。在圖1中，該系統包括一處理器10、一網路攝影機12及一警示裝置14。該系統還包括用以連接處理器10、網路攝影機12及警示裝置14之間之連接介面、用以儲存資料之儲存裝置等硬體裝置，其為習知裝置及功能，在此省略說明。
為單一鏡頭之網路攝影機12將拍攝影像之影像資料傳送至處理器10，處理器10將所接收之影像資料進行處理及分類以判斷閱讀姿勢是否良好，當處理器10判斷為不良姿勢時處理器10傳送一警示訊息至警示裝置14，為喇叭或蜂鳴器之警示裝置14根據警示訊息播放語音或警示音以警示閱讀者。
網路攝影機12攝取具有一人體姿態之一影像，並傳送該影像之一人體姿態影像資料至處理器10。
處理器10接收網路攝影機12傳送之人體姿態影像資料，並以一即時姿態估計(real time pose estimation)演算法計算人體姿態影像資料，以得到人體姿態之各骨架點在影像中之一座標位置及一可信度。
處理器10以各骨架點在影像中之座標位置進行計算，以得到複數個骨架特徵值。其中，該等骨架特徵值係雙眼向量與水平夾角、耳朵與手腕之距離、雙眼距離與影像長度比例、及上臂(肘關節到肩關節)與前臂(腕關節到肘關節)夾角之數值。
雙眼向量與水平夾角之一夾角角度θ 1(如圖2A為本發明第一實施例之骨架影像之示意圖所示)可以利用雙眼之座標位置的水平和垂直距離，利用反三角函數的反正切計算出，其公式為：
上臂與前臂夾角之一夾角角度θ 2(如圖2B為本發明第一實施例之上臂與前臂夾角之示意圖所示)可以利用上臂與前臂之該座標位置的水平和垂直距離，利用反三角函數的餘弦定理和反餘弦函數計算出，其公式為：
耳朵與手腕的距離利用耳朵和手腕在影像中之座標位置計算得到一歐幾里得距離L(如圖2B為本發明第一實施例之骨架影像之示意圖所示)，其公式為：
其中耳朵之座標位置為(x1,y1)，手腕之座標位置為(x2,y2)。
圖3為本發明第一實施例之多層感知機之架構圖。在第一實施例中，多層感知機(multilayer perceptron，MLP)包含輸入層、隱藏層及輸出層，由輸入層輸入一組數值(在本實施中為骨架特徵值)，將其映射到一組隱藏層以輸出至輸出層，其中隱藏層包含多個節點層，將每個節點稱之為神經元，神經元相連的每條線都包含一個鍵結值，透過將資料庫資料訓練多層感知機之每個神經元連線上的鍵結值，而訓練完的結果即為本發明之多層感知機的架構(即多層感知機演算法)。
本發明採用倒傳遞演算法訓練多層感知機的架構，稱為倒傳遞類神經網路，其屬於監督式學習。所謂監督式學習，在訓練網路時需要「輸入向量」及其所對應的「期望輸出值」，讓網路學習兩者之間的關係。
本發明之多層感知機的資料庫包含輸入向量及其期望輸出值姿態，輸入向量即本實施例之骨架特徵值，如雙眼與水平夾角、雙眼距離與影像長度比例、手肘與手背夾角等數值，期望輸出值為輸入之每筆骨架特徵值的資料所對應到的辨識姿態，如正常、歪頭、手撐頭、趴下等人體姿態。
倒傳遞演算法的網路訓練方式包含兩個階段：前饋階段以及倒傳遞階段。前饋階段：輸入向量由輸入層引入，以前饋方式經由隱藏層傳導至輸出層，並計算出網路輸出值，此時，網路的鍵結值都是固定的；倒傳遞階段：網路的鍵結值則根據錯誤更正法則來進行修正，藉由鍵結值的修正，以使網路的輸出值趨向於期望輸出值。更 明確地說，我們以期望輸出值減去網路輸出值以得到誤差信號，然後將此誤差信號倒傳遞回網路中。
透過上述方法訓練完的鍵結值結果即為本發明之多層感知機的架構，在實際應用上，將處理器10計算出的骨架特徵值，如雙眼與水平夾角、雙眼距離與影像長度比例、手肘與手背夾角等數值輸入至多層感知機中進行分類，即可輸出一個人體姿態辨識結果，如正常、歪頭、手撐頭或趴下等人體姿態。
處理器10對人體姿態辨識結果進行判斷，當處理器10判斷人體姿態辨識結果為不良閱讀姿勢時，處理器10送出一警示訊息至警示裝置14，警示裝置14根據所接收之警示訊息發出語音或警示音以對閱讀者警示提醒。
圖4為本發明第一實施例之利用影像偵測閱讀姿勢之方法之流程圖。在說明圖4之流程步驟時參考圖1及圖3之系統架構。
在第一實施例中，由網路攝影機12攝取具有人體姿態之影像，並傳送該影像之一人體姿態影像資料至處理器10(步驟S20)。
由處理器10接收網路攝影機12傳送之人體姿態影像資料，以一即時姿態估計演算法計算人體姿態影像資料，以得到人體姿態之各骨架點在影像中之座標位置及可信度(步驟S22)。
由處理器10以各骨架點在影像中之座標位置進行計算，以得到複數個骨架特徵值(步驟S24)。其中，該等骨架特徵值係雙眼向量與水平夾角、耳朵與手腕之距離、雙眼距離與影像長度比例、及上臂與前臂夾角之數值。
將處理器10計算出的骨架特徵值，如雙眼與水平夾角、雙眼距離與影像長度比例、手肘與手背夾角等數值輸入至多層感知機 中進行分類，以輸出一個人體姿態辨識結果，如正常、歪頭、手撐頭或趴下等人體姿態(步驟S26)。
由處理器10對人體姿態辨識結果進行判斷，當處理器10判斷人體姿態辨識結果為不良閱讀姿勢時，處理器10送出一警示訊息至警示裝置14，警示裝置14根據所接收之警示訊息發出語音或警示音以對閱讀者警示提醒(步驟S28)。
網路攝影機12攝取具有一人體姿態之一影像，並傳送該影像之一人體姿態影像資料至處理器10。
處理器10接收網路攝影機12傳送之人體姿態影像資料，並以一即時姿態估計演算法計算人體姿態影像資料，以得到人體姿態之各骨架點在影像中之一座標位置及一可信度。
參考網路論文「RealTime Multi-Person 2D Pose Estimation using Part Affinity」(Fields© Marcovaldo.Powered by Hexo.Theme by Cho.)為範例，以及第二實施例之圖5A至圖5D之出處係參考論文Cao,T.Simon,S.E.Wei,and Y.Sheikh,「Realtime Multi-Person 2D Pose Estimation using Part Affinity Fields」,Conference on Computer Vision and Pattern Recognition,2017。
即時姿態估計演算法的輸入為包含人體姿態的影像(如圖5A為本發明第二實施例之人體姿態的影像之圖片所示)，然後模型同時得到人體部位位置(如圖5B為本發明第二實施例之人體姿態的關節點之圖片所示)的可信圖(confidence maps)集合和一個用來說明關節點連接關係(如圖5C為本發明第二實施例之人體姿態的肢體之圖片所 示)的部分仿射(part affinities)集合，以將影像中的每個關節點以及其相連的肢體連結標記出，再利用部分仿射場(Part Affinity Fields)演算法做相同於人的肢體連接(如圖5D為本發明第二實施例之人體姿態的肢體連結之圖片所示)，即可完成人體姿態的估測而得到各骨架點之座標位置及可信度。
由於閱讀人的閱讀姿態並非是固定的，所以在即時姿態估計演算法上取得的骨架大小是很不一致的，而且每一個人的骨架資訊(即座標位置及可信度)，都會因為個人的高矮胖瘦而不相同，相機擺放位置的遠近也會影響到骨架資訊，為了避免得到的骨架資訊差異太大，造成類神經網路辨識上的困難，必須要將骨架資訊做相對應的正規化，從而產生更好的特徵以供類神經網路辨識，而骨架平移和骨架縮放為正規化的方式。
即時姿態估計演算法的輸出為人體各骨架點在影像中的座標位置和可信度，依據這些骨架資訊再描繪出如圖6為本發明第二實施例之人體骨架的示意圖所示的骨架圖，而以圖6之骨架圖進行骨架平移及骨架縮放兩步驟的正規化：(1)骨架平移：在第二實施例中是以脖子做為新的原點做平移到影像的中心點，以對各骨架點的座標位置進行平移；(2)骨架縮放，在二維的影像上抓到的骨架無法還原出原始的長度，只能點出骨架在二維影像上的座標，無法得知實際肢體的長度，在第二實施例中以兩側肩關節的距離做為單位長度，以對各骨架點的距離進行縮放。經前述正規化之人體各骨架點資訊亦即為使用卷積神經網路的輸入。
圖7為本發明第二實施例之卷積神經網路之示意圖，圖7係引用https：//commons.wikimedia.org/wiki/File：Typical_cnn.png之圖 片，以作為第二實施例之範例。在圖7中，卷積神經網路主要分為兩個部分，第一部分用來做特徵萃取，由多個卷積層(convolutions)及池化層(subsampling)所組成，第二部分為監督式學習的分類，由全連結層(fully connected)所組成。
卷積神經網路輸入為一張影像(包括有正規化後之影像中的座標位置和可信度之人體各骨架點資訊)，該影像透過第一部分多層卷積層可提取出多個該影像的特徵圖，經過第一層卷積層能夠提取一些低級的特徵如邊緣、線條和角等特徵，經過越多層則能提取越複雜的特徵。
圖8為本發明第二實施例之卷積神經網路之卷積操作之示意圖。在第二實施例中，遮罩(Mask)會從左至右，由上而下的對影像(Image)做內積即為圖8中影像*遮罩(Image ＊ Mask)的結果，影像例如為一個7*7的圖片，遮罩的大小3*3遮罩，步距為1(即每次滑動一個像素)，運算完的輸出為一張5*5的影像，即為原圖影像透過遮罩做卷積運算的結果影像。同一張圖針對不同的遮罩做卷積運算會有不同的結果，因此可產生多張特徵圖。
圖9為本發明第二實施例之卷積神經網路之池化操作之示意圖，圖9係引用https：//commons.wikimedia.org/wiki/File：Max_pool-ing.png之圖片，以作為第二實施例之範例。在第二實施例中，最大池化(Max Pooling)是從遮罩中選出一個最大的值，而在步距上也較卷積層長，從而使結果影像的維度降低，以左上2*2遮罩為例，其輸出值為其最大值6，而在步距上一次走2個像素點得到的結果如右邊2*2的圖。
池化層在卷積類神經網路中也是非常重要的一個部 分，在影像的分析中資料量不小，藉由池化之後可以使影像的維度降低；另一方面在影像的維度變小的情況下可以有效的減少過度耦合(overfitting)的產生。
經過第一部分多層卷積層及池化層處理完的特徵資料再連接至全連接層的類神經網路進行分類，常用的類神經網路為倒傳遞類神經網路，透過監督式的方式來學習預期輸出。在透過資料庫的資料訓練卷積神經網路的鍵結值，而訓練完的結果即為本發明的卷積神經網路的架構。
卷積神經網路的資料庫包含輸入影像及其對應預期輸出，輸入影像為骨架影像，預期輸出為每張輸入影像所對應到的辨識姿態，如正常、歪頭、手撐頭、趴下等人體姿態，亦即，處理器10將即時姿態估計演算法輸出的骨架影像(經骨架平移及骨架縮放之骨架影像)輸入至卷積神經網路，即可由卷積神經網路進行分類以輸出一個辨識結果，如正常、歪頭、手撐頭或趴下等人體姿態。
處理器10對經由卷積神經網路輸出的人體姿態之辨識結果進行判斷，當處理器10判斷人體姿態之辨識結果為不良閱讀姿勢時，處理器10送出一警示訊息至警示裝置14，警示裝置14根據所接收之警示訊息發出語音或警示音以對閱讀者警示提醒。
圖10為本發明第二實施例之利用影像偵測閱讀姿勢之方法之流程圖。在說明圖10之流程步驟時參考圖1及圖5A至圖9之系統架構。
在第二實施例中，由網路攝影機12攝取具有人體姿態之影像，並傳送該影像之一人體姿態影像資料至處理器10(步驟S30)。
由處理器10接收網路攝影機12傳送之人體姿態影像資 料，以一即時姿態估計演算法計算人體姿態影像資料，以得到人體姿態之各骨架點在影像中之座標位置及可信度(步驟S32)。
處理器10以即時姿態估計演算法將輸入的人體姿態的影像(如圖5A所示)，然後模型同時得到人體部位位置(如圖5B所示)和一個用來說明關節點連接關係(如圖5C所示)，以將影像中的每個關節點以及其相連的肢體連結標記出，再利用部分仿射場演算法做相同於人的肢體連接(如圖5D所示)，以完成人體姿態的估測而得到各骨架點之座標位置及可信度。
即時姿態估計演算法的輸出為人體各骨架點在影像中的座標位置和可信度，由處理器10依據這些骨架資訊所描繪出如圖6所示之人體骨架進行骨架平移及骨架縮放兩步驟的正規化：(1)骨架平移：在第二實施例中是以脖子做為新的原點做平移到影像的中心點，以對各骨架點的座標位置進行平移；(2)骨架縮放，在第二實施例中以兩側肩關節的距離做為單位長度，以對各骨架點的距離進行縮放(步驟S34)。
如圖7至圖9所示，將包括有經正規化之座標位置及可信度之影像作為卷積神經網路的輸入，由處理器10以卷積神經網路模型對該影像進行分類，以輸出一人體姿態辨識結果(步驟S36)，如正常、歪頭、手撐頭或趴下等人體姿態之結果。
由處理器10對人體姿態辨識結果進行判斷，當處理器10判斷人體姿態辨識結果為不良閱讀姿勢時，處理器10送出一警示訊息至警示裝置14，警示裝置14根據所接收之警示訊息發出語音或警示音以對閱讀者警示提醒(步驟S38)。
本發明之上述利用影像偵測閱讀姿勢之方法可以一程 式型態來完成，並可將該程式儲存於一電腦可讀取之記錄媒體，當利用影像偵測閱讀姿勢之系統於該電腦可讀取之記錄媒體載入該程式並執行後，便可完成如上述說明及圖式中所示之方法步驟。
同樣地，本發明之利用影像偵測閱讀姿勢之方法可以一電腦程式產品來完成，當利用影像偵測閱讀姿勢之系統例如從網路下載該電腦程式產品並執行後，便可完成如上述說明及圖式中所示之方法步驟。
本發明提供一種利用影像偵測閱讀姿勢之方法及系統、電腦可讀取之記錄媒體及電腦程式產品，其特點在於使用一般攝影機來攝取影像，並對所攝取之影像進行分析及判斷閱讀者是否為不良閱讀姿勢而進行提醒，使用價格低廉的一般攝影機可降低伴讀機器人的成本，可使伴讀機器人普及化使用在家庭中。
雖然本發明已參照較佳具體例及舉例性附圖敘述如上，惟其應不被視為係限制性者。熟悉本技藝者對其形態及具體例之內容做各種修改、省略及變化，均不離開本發明之請求項之所主張範圍。
Claims (16)
- 一種利用影像偵測閱讀姿勢之方法，其包括下列步驟：由一網路攝影機攝取具有一人體姿態之一影像，並將該影像之一人體姿態影像資料傳送至一處理器；由該處理器接收該網路攝影機傳送之該人體姿態影像資料，並以一即時姿態估計演算法計算該人體姿態影像資料，以得到該人體姿態之各骨架點在該影像中之一座標位置及一可信度；由該處理器以各骨架點在該影像中之該座標位置進行計算，以得到複數個骨架特徵值；以及由該處理器以一多層感知機演算法對該等骨架特徵值進行分類，以輸出一人體姿態辨識結果。
- 如請求項1之方法，其中，該等骨架特徵值係雙眼向量與水平夾角、耳朵與手腕之距離、雙眼距離與影像長度比例、及夾角之數值。
- 如請求項2之方法，其中，雙眼向量與水平夾角之一夾角角度θ 1可以利用雙眼之該座標位置的水平和垂直距離，利用反三角函數的反正切計算出，其公式為：
- 如請求項1之方法，其中，在輸出該人體姿態辨識結果之步驟之後，包括下列步驟：當該處理器判斷該人體姿態辨識結果為不良閱讀姿勢時，由該處理器送出一警示訊息至一警示裝置；以及由該警示裝置根據所接收之該警示訊息進行警示提醒。
- 一種利用影像偵測閱讀姿勢之方法，其包括下列步驟：由一網路攝影機攝取具有一人體姿態之一影像，並將該影像之一人體姿態影像資料傳送至一處理器；由該處理器接收該網路攝影機傳送之該人體姿態影像資料，並以一即時姿態估計演算法計算該人體姿態影像資料，以得到該人體姿態之各骨架點在該影像中之一座標位置及一可信度；由該處理器將在各骨架點中之一個骨架點之該座標位置定義為一原點，而將其餘骨架點之該座標位置相對於該原點進行骨架平移，並將在各骨架點中之兩個骨架點的距離定義為一單位長度，而將其餘骨架點間的距離相對於該單位長度進行骨架縮放；以及由該處理器以一卷積神經網路模型對包括有經骨架平移及骨架縮放之該座標位置及該可信度之該影像中之進行分類，以輸出一人體姿態辨識結果。
- 如請求項5之方法，其中，在由該處理器以各骨架點在該影像中之該座標位置及該可信度進行骨架連結計算以得到該骨架連結影像資 料之步驟中，由該處理器將該影像標記出一人體部位位置和一關節點連接關係，並以一部分仿射場演算法根據該人體部位位置和該關節點連接關係進行骨架連結以得到各骨架點之該座標位置及該可信度。
- 如請求項5之方法，其中，在輸出該人體姿態辨識結果之步驟之後，包括下列步驟：當該處理器判斷該人體姿態辨識結果為不良閱讀姿勢時，由該處理器送出一警示訊息至一警示裝置；以及由該警示裝置根據所接收之該警示訊息進行警示提醒。
- 一種利用影像偵測閱讀姿勢之系統，其包括：一網路攝影機，攝取具有一人體姿態之一影像，並傳送該影像之一人體姿態影像資料；以及一處理器，接收該網路攝影機傳送之該人體姿態影像資料，以一即時姿態估計演算法計算該人體姿態影像資料，以得到該人體姿態之各骨架點在該影像中之一座標位置及一可信度，以各骨架點在該影像中之該座標位置進行計算，以得到複數個骨架特徵值，以一多層感知機演算法對該等骨架特徵值進行分類，以輸出一人體姿態辨識結果。
- 如請求項8之系統，其中，該等骨架特徵值係雙眼向量與水平夾角、耳朵與手腕之距離、雙眼距離與影像長度比例、及上臂與前臂夾角之數值。
- 如請求項9之系統，其中，雙眼向量與水平夾角之一夾角角度θ 1可以利用雙眼之該座標位置的水平和垂直距離，利用反三角函數的反正切計算出，其公式為：
- 如請求項8之系統，更包括一警示裝置，當該處理器判斷該人體姿態辨識結果為不良閱讀姿勢時，該處理器送出一警示訊息至該警示裝置，該警示裝置根據所接收之該警示訊息進行警示提醒。
- 一種利用影像偵測閱讀姿勢之系統，其包括：一網路攝影機，攝取具有一人體姿態之一影像，並傳送該影像之一人體姿態影像資料；以及一處理器，接收該網路攝影機傳送之該人體姿態影像資料，以一即時姿態估計演算法計算該人體姿態影像資料，以得到該人體姿態之各骨架點在該影像中之一座標位置及一可信度，將在各骨架點中之一個骨架點之該座標位置定義為一原點，而將其餘骨架點之該座標位置相對於該原點進行骨架平移，並將在各骨架點中之兩個骨架點的距離定義為一單位長度，而將其餘骨架點間的距離相對於該單位長度進行骨架縮放，以一卷積神經網路模型對包括有經骨架平移及骨架縮放之該座標位置及該可信度之該影像中之進行分類，以輸出一人體姿態辨識 結果。
- 如請求項12之系統，其中，該處理器將該影像標記出一人體部位位置和一關節點連接關係，並以一部分仿射場演算法根據該人體部位位置和該關節點連接關係進行骨架連結以得到各骨架點之該座標位置及該可信度，並將在各骨架點中之一個骨架點之該座標位置定義為一原點，而將其餘骨架點之該座標位置相對於該原點進行骨架平移，且將在各骨架點中之兩個骨架點的距離定義為一單位長度，而將其餘骨架點間的距離相對於該單位長度進行骨架縮放。
- 如請求項12之系統，更包括一警示裝置，當該處理器判斷該人體姿態辨識結果為不良閱讀姿勢時，該處理器送出一警示訊息至該警示裝置，該警示裝置根據所接收之該警示訊息進行警示提醒。
- 一種內儲一程式之電腦可讀取之記錄媒體，當利用影像偵測閱讀姿勢之系統於該電腦可讀取之記錄媒體載入該程式並執行後，可完成請求項1至7中任一項之方法。
- 一種內儲一程式之電腦程式產品，當利用影像偵測閱讀姿勢之系統於電腦程式產品載入該程式並執行後，可完成請求項1至7中任一項之方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| TW107116442A TWI686775B (zh) | 2018-05-15 | 2018-05-15 | 利用影像偵測閱讀姿勢之方法及系統、電腦可讀取之記錄媒體及電腦程式產品 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| TW107116442A TWI686775B (zh) | 2018-05-15 | 2018-05-15 | 利用影像偵測閱讀姿勢之方法及系統、電腦可讀取之記錄媒體及電腦程式產品 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| TW201947533A true TW201947533A (zh) | 2019-12-16 |
| TWI686775B TWI686775B (zh) | 2020-03-01 |
Family
ID=69582804
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| TW107116442A TWI686775B (zh) | 2018-05-15 | 2018-05-15 | 利用影像偵測閱讀姿勢之方法及系統、電腦可讀取之記錄媒體及電腦程式產品 |
Country Status (1)
| Country | Link |
|---|---|
| TW (1) | TWI686775B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115035548A (zh) * | 2022-05-31 | 2022-09-09 | 中国科学院半导体研究所 | 青少年儿童阅读姿态矫正方法、装置及电子设备 |
| TWI824650B (zh) * | 2022-08-05 | 2023-12-01 | 大可特股份有限公司 | 體態檢測系統及體態檢測方法 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CA2843343C (en) * | 2011-07-28 | 2018-02-20 | Arb Labs Inc. | Systems and methods of detecting body movements using globally generated multi-dimensional gesture data |
| CN105718845A (zh) * | 2014-12-03 | 2016-06-29 | 同济大学 | 一种室内场景中人体动作的实时侦测方法及装置 |
| CN107153829A (zh) * | 2017-06-09 | 2017-09-12 | 南昌大学 | 基于深度图像的不良坐姿提醒方法和装置 |
-
2018
- 2018-05-15 TW TW107116442A patent/TWI686775B/zh active
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115035548A (zh) * | 2022-05-31 | 2022-09-09 | 中国科学院半导体研究所 | 青少年儿童阅读姿态矫正方法、装置及电子设备 |
| TWI824650B (zh) * | 2022-08-05 | 2023-12-01 | 大可特股份有限公司 | 體態檢測系統及體態檢測方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| TWI686775B (zh) | 2020-03-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Cheng et al. | Appearance-based gaze estimation with deep learning: A review and benchmark | |
| US11298050B2 (en) | Posture estimation device, behavior estimation device, storage medium storing posture estimation program, and posture estimation method | |
| US9639770B2 (en) | System and method for improving communication productivity | |
| US20140145936A1 (en) | Method and system for 3d gesture behavior recognition | |
| JP2021064367A (ja) | 動作認識方法、動作認識装置及び電子機器 | |
| Xu et al. | Human posture recognition and fall detection using Kinect V2 camera | |
| Chiu et al. | Emotion recognition through gait on mobile devices | |
| Zaraki et al. | Design and evaluation of a unique social perception system for human–robot interaction | |
| Fieraru et al. | Learning complex 3D human self-contact | |
| Zavala-Mondragon et al. | CNN-SkelPose: a CNN-based skeleton estimation algorithm for clinical applications | |
| TWI686775B (zh) | 利用影像偵測閱讀姿勢之方法及系統、電腦可讀取之記錄媒體及電腦程式產品 | |
| WO2020188424A1 (en) | Method and system for symmetric recognition of handed activities | |
| Terreran et al. | A general skeleton-based action and gesture recognition framework for human–robot collaboration | |
| Davoodnia et al. | Estimating pose from pressure data for smart beds with deep image-based pose estimators | |
| Hata et al. | Detection of distant eye-contact using spatio-temporal pedestrian skeletons | |
| JP2022095332A (ja) | 学習モデル生成方法、コンピュータプログラム及び情報処理装置 | |
| CN117593792A (zh) | 一种基于视频帧的异常姿态检测方法和装置 | |
| Shilaskar et al. | Student eye gaze tracking and attention analysis system using computer vision | |
| JP7568913B2 (ja) | 画像処理装置、画像処理方法、及び画像処理プログラム | |
| JP7468684B2 (ja) | 姿勢検出装置、姿勢検出方法および寝相判定方法 | |
| CN114255507A (zh) | 一种基于计算机视觉的学生姿势识别分析方法 | |
| Jolly et al. | Posture Correction and Detection using 3-D Image Classification | |
| Madake et al. | Vision-based Monitoring of Student Attentiveness in an E-Learning Environment | |
| Ahmed et al. | STPT: Spatio-Temporal Polychromatic Trajectory Based Elderly Exercise Evaluation System | |
| EP4386619A1 (en) | Determining the body posture of a lying infant |