TW202125331A - 動作分析系統以及動作分析程式產品 - Google Patents

Abstract

動作分析裝置(200)，接受連續拍攝進行一連串動作的對象者(111)得到的複數對象影像資料。動作分析裝置，檢出各對象影像資料在對象影像中映出的對象者姿勢，產生表示檢出的姿勢的對象姿勢資料。動作分析裝置，從對應複數對象影像資料的複數對象姿勢資料，抽出2個以上的對象姿勢資料作為表示對象者姿勢推移的對象軌跡資料。動作分析裝置，根據對象軌跡資料得到辨別對象者動作的動作標記。

Description

動作分析系統以及動作分析程式產品

本發明，係有關於用於動作分析的技術。

產業領域中，以人工進行周期時間測量與作業內容分析等的處理為主流。 周期時間，是作業員組裝製品的時間。 作業內容分析，係為了檢測作業疏忽或非固定作業而進行。非固定作業不是固定實行的作業。 人工的處理，花費很多的人工成本。又，人工的處理，只能關於限定範圍作為處理對象。

考慮分析作業員動作變得容易的話，周期時間測量與作業內容分析等的處理變得容易。

專利文獻1中，記載自動進行的動作分析。為了動作分析，安裝攝影機及三次元感測器至人的頭部，使用其攝影機及三次元感測器，抽出人的動作特徵量。 [先行技術文獻] [專利文獻]

專利文獻1：日本專利公開第2016-099982號公報

[發明所欲解決的課題]

專利文獻1中，為了自動動作分析，安裝攝影機及三次元感測器至人的頭部。 為了分析作業員動作，應用專利文獻1的方法時，安裝作業不需要之物至作業員身上。於是，作業員的身上安裝之物有妨礙作業的可能性。

本發明，目的在於不妨礙作業而可以分析作業員動作。 [用以解決課題的手段]

本發明的動作分析系統，包括： 對象影像接受部，接受連續拍攝進行一連串動作的對象者得到的複數對象影像資料； 對象姿勢檢出部，檢出各對象影像資料在對象影像中映出的上述對象者姿勢，產生表示檢出的姿勢之對象姿勢資料； 對象軌跡抽出部，從對應上述複數對象影像資料的複數對象姿勢資料，抽出包含對象時刻的對象姿勢資料以及與上述對象時刻連續的前時刻及與上述對象時刻連續的後時刻中至少一方時刻的對象姿勢資料之2個以上的對象姿勢資料，作為表示上述對象者姿勢推移的對象軌跡資料；以及 動作特定部，根據上述對象軌跡資料，得到辨識上述對象者動作的動作標記。 [發明效果]

根據本發明，即使不安裝攝影機及三次元感測器等作業不需要之物至作業員(對象者的一例)身上，也可以明確指定作業員動作。即，不妨礙作業而可以分析作業員動作。

實施形態及圖面中，相同要素或對應的要素附上相同符號。附上與說明的要素相同符號的要素的說明，適當省略或簡化。圖中的箭頭主要表示資料的流動或處理的流程。

第1實施形態 關於用以分析自動分析人的動作之動作分析系統100，根據圖1到圖14說明。

構成的說明 根據圖1，說明動作分析系統100的構成。 動作分析系統100，包括攝影機101與動作分析裝置200。 攝影機101，拍攝對象者111。攝影機101，從正面拍攝對象者111也可以，從斜向拍攝對象者111也可以。又，攝影機101，拍攝對象者111的全身也可以，拍攝對象者111的一部分(例如上半身)也可以。 動作分析裝置200，分析對象者111的動作。 對象者111，係作為動作分析對象的人。對象者111的具體例，係進行作業的人(作業員)。

根據圖2，說明動作分析裝置200的構成。 動作分析裝置200，係包括處理器201、記憶體202、輔助記憶裝置203、通訊裝置204以及輸出入界面205等硬體的電腦。這些硬體，經由訊號線互相連接。

處理器201，係進行演算處理的IC，控制其它硬體。例如，處理器201，係CPU、DSP或GPU。 IC，係Integrated Circuit(積體電路)的簡稱。 CPU，係Central Processing Unit(中央處理單元)的簡稱。 DSP，係Digital Signal Processor(數位訊號處理器)的簡稱。 GPU，係Graphics Processing Unit(圖形處理單元)的簡稱。

記憶體202是揮發性或非揮發性的記憶裝置。記憶體202，也稱作主記憶裝置或主記憶體(main memory)。例如，記憶體202是RAM。記憶體202內記憶的資料根據需要保存在輔助記憶裝置203內。 RAM，係Random Access Memory(隨機存取記憶體)的簡稱。

輔助記憶裝置203是非揮發性的記憶裝置。例如，輔助記憶裝置203，係ROM、HDD或快閃記憶體。輔助記憶裝置203中記憶的資料根據需要下載至記憶體202。 ROM，係Read Only Memory(唯讀記憶體)的簡稱。 HDD，係Hard Disk Drive(硬碟)的簡稱。

通訊裝置204是接收器及傳送器。例如，通訊裝置204是通訊晶片或NIC。 NIC，係Network Interface Card(網路界面卡)的簡稱。

輸出入界面205，係連接輸入裝置及輸出裝置的埠。例如，輸出入界面205是USB端子，輸入裝置是鍵盤及滑鼠，輸出裝置是顯示器。 USB，係Universal Serial Bus(通用序列匯流排)的簡稱。

動作分析裝置200，包括特定部210以及登錄部220等要素。特定部210，包括對象影像接受部211、對象姿勢檢出部212、對象軌跡抽出部213、動作特定部214以及結果輸出部215等要素。這些要素以軟體實現。

輔助記憶裝置203中，記憶用以使電腦作用為特定部210以及登錄部220的動作分析程式。動作分析程式，下載至記憶體202，由處理器201實行。 輔助記憶裝置203中，更記憶OS。OS的至少一部分，下載至記憶體202，由處理器201實行。 處理器201，一邊實行OS，一邊實行動作分析程式。 OS，係Operating System(作業系統)的簡稱。

動作分析程式的輸出入資料記憶在記憶部290內。 記憶體202作用為記憶部290。但是，輔助記憶裝置203、處理器201內的暫存器以及處理器201內的快取記憶體等記憶裝置，代替記憶體202，或者，與記憶體202一起作用為記憶部290也可以。 記憶部290內，記憶動作資料庫291等。

動作分析裝置200，也可以包括代替處理器201的複數處理器。複數處理器，分擔處理器201的功能。

動作分析程式，可以在光碟或快閃記憶體等非揮發性的記錄媒體內可電腦讀取地記錄(收納)。 動作分析程式，也可以下載至電腦程式產品(也只稱作程式產品)。 電腦程式產品，不限於外觀形式的物體，也可以下載可電腦讀取的程式

動作的說明 動作分析系統100的動作程序相當於動作分析方法。又，動作分析裝置200的動作程序相當於動作分析程式的處理程序。

根據圖3，說明動作分析方法。 步驟S110中，對象影像接受部211，接受複數對象影像資料。 複數對象影像資料，經由連續拍攝進行一連串動作的對象者111而得到。 各對象影像資料表示對象影像。對象影像中，映出對象者111。

例如，複數對象影像資料，由使用者，輸入至動作分析裝置200。對象影像接受部211，接受輸入的複數對象影像資料。 例如，複數對象影像資料，從攝影機101傳送，由動作分析裝置200接收。對象影像接受部211，接受接收的複數對象影像資料。

步驟S120中，對象姿勢檢出部212，檢出各對象影像資料在對象影像中映出的對象者111的姿勢，產生表示檢出的姿勢的對象姿勢資料。 藉此，得到對應複數對象姿勢資料的複數對象姿勢資料。

根據第4圖，說明關於對象姿勢檢出處理(S120)。表示「m-1」、「m」及「m+1」是連續的3個攝影時刻。攝影時刻是進行攝影的時刻。 各攝影時刻的對象影像資料121表示各攝影時刻的對象影像。各攝影時刻的對象影像中映出各攝影時刻的對象者111。 對象姿勢檢出部212，藉由對各攝影時刻的對象影像進行影像處理，檢出各攝影時刻中對象者111的姿勢。 具體地，對象姿勢檢出部212檢出對象者111的骨骼。根據對象者111的骨骼，明確指定對象者111的姿勢。 更具體地，對象姿勢檢出部212判別對象者111的各關節位置。各關節的位置，是特定座標系中的絕對位置也可以，是對其它關節的相對位置也可以。各關節的位置以座標值辨識。根據脖子的關節以及肩膀的關節等複數關節，明確指定骨骼。

對象姿勢檢出部212，產生表示各攝影時刻中對象者111的姿勢之對象姿勢資料122。 各攝影時刻的對象姿勢檢出部212中，各黑色圓形表示對象者111的關節位置。

回到圖3，繼續步驟S130以後的說明。 步驟S130及步驟S140，係對攝影時間帶的各攝影時刻實行。攝影時間帶，係進行攝影的時間帶。

步驟S130中，對象軌跡抽出部213，從對應複數對象影像資料的複數對象姿勢資料，抽出對象軌跡資料。 對象軌跡資料，以2個以上的對象姿勢資料構成，表示對象者111的姿勢推移。對象軌跡資料中，時序排列2個以上的對象姿勢資料。但是，對象軌跡資料，也可以是近似2個以上的對象姿勢資料表示的多項式函數。 補足關於對象軌跡資料。軌跡資料是連續時刻的資料。對象軌跡資料是連續時刻的對象姿勢資料。連續時刻，係對象時刻以及與對象時刻連續的時刻。對象時刻是[t]時，連續時刻是[t-1]、[t]以及[t+1]。

根據圖5，說明關於對象軌跡抽出處理(S130)。 步驟S131中，對象軌跡抽出部213，從攝影時間帶，選擇1個未選擇的攝影時刻。 攝影時間帶，係進行攝影的時間帶。 選擇的攝影時刻稱作「對象時刻」。

步驟S132中，對象軌跡抽出部213，決定對於對象時刻的攝影時刻群。 攝影時刻群，以連續2個以上的攝影時刻構成，包含對象時刻。攝影時刻群內包含的攝影時刻數是預先決定。 對象時刻記為「m」。例如，對象軌跡抽出部213，決定由攝影時刻(m-1)、攝影時刻(m)以及攝影時刻(m+1)構成的攝影時刻群為對於對象時刻的攝影時刻群。 決定的攝影時刻群稱作「對象時刻群」。

步驟S133中，對象軌跡抽出部213，從複數對象姿勢資料，抽出對應對象時刻的對象軌跡資料。 例如，對象時刻群由時刻(m-1)、時刻(m)以及時刻(m+1)構成時，對象軌跡抽出部213，抽出時刻(m-1)的對象姿勢資料、時刻(m)的對象姿勢資料以及時刻(m+1)的對象姿勢資料。抽出的3個對象姿勢資料，構成對應對象時刻的對象軌跡資料。

根據圖6，說明關於對象軌跡抽出處理(S130)。[m-1]、[m]以及[m+1]表示連續的3個攝影時刻。 假設對象時刻群由[m-1]、[m]以及[m+1]構成。 對象軌跡抽出部213，抽出[m-1]的對象姿勢資料122、[m]的對象姿勢資料122以及[m+1]的對象姿勢資料122。 抽出的3個對象姿勢資料122，構成[m]的對象軌跡資料123。

回到圖3，從步驟S140繼續說明。 步驟S140中，動作特定部214，根據對象軌跡資料，得到辨識對象者111的動作之動作標記。 具體地，動作特定部214，從動作資料庫291，抽出與對象軌跡資料一致的動作軌跡資料之動作標記。 動作資料庫291，係登錄1組以上動作標記與動作軌跡資料之資料庫。 動作標記，辨識動作。 動作軌跡資料，表示進行以動作標記辨別的動作的人的姿勢推移。

根據圖7，說明動作資料庫291的構成。[t-1]、[t]以及[t+1]表示連續的3個攝影時刻。 動作資料庫291中，互相聯結複數時刻、複數動作姿勢資料以及複數動作標記。 動作軌跡資料133，以2個以上的動作姿勢資料132構成。具體地，動作軌跡資料133，以對應連續2個以上的時刻的2個以上的動作姿勢資料132構成。 動作姿勢資料132，表示進行動作的人的姿勢。

[t]的動作軌跡資料133，以[t-1]的動作姿勢資料132、[t]的動作姿勢資料132以及[t+1]的動作姿勢資料132構成。又，動作軌跡資料133包含以[t]為中心前後連續的時刻的資料。 [t]的動作軌跡資料133，表示進行以時刻t的動作標記「作業A」辨識的動作的人的姿勢推移。

根據圖8，說明動作特定處理(S140)。 步驟S141中，動作特定部214，從動作資料庫291的「時刻」，選擇1個未選擇的時刻。具體地，動作特定部214，升序選擇時刻。 選擇的時序稱作「比較時刻」。

步驟S142中，動作特定部214，決定對於比較時刻的比較時刻群。 比較時刻群，以連續的2個以上的時刻構成，包含比較時刻。比較時刻群內包含的時刻數是預先決定。 比較時刻記為[t]。例如，動作特定部214決定以時刻(t-1)、時刻(t)、時刻(t+1)構成的時刻群為對於比較時刻的比較時刻群。

步驟S143中，動作特定部214，從動作資料庫291，抽出對應比較時刻的動作軌跡資料。 例如，比較時刻群以時刻(t-1)、時刻(t)、時刻(t+1)構成時，動作特定部214抽出時刻(t-1)的動作姿勢資料、時刻(t)的動作姿勢資料、時刻(t+1)的動作姿勢資料。抽出的3個動作姿勢資料，構成對應比較時刻的動作軌跡資料。

步驟S144中，動作特定部214，將動作軌跡資料與對象軌跡資料做比較。動作軌跡資料在步驟S130(參照圖3)中抽出。

具體地，動作特定部214，算出對於對象軌跡資料的動作軌跡資料的距離。 對於對象軌跡資料的動作軌跡資料的距離，相當於以對象軌跡資料表示的姿勢推移以及以動作軌跡資料表示的姿勢推移之差的大小。

根據圖9，說明關於比較處理(S144)。 對象軌跡資料內包含的對象姿勢資料記為I(m)或I(m+k)。 動作軌跡資料內包含的動作姿勢資料記為R(t)或R(t+k)。 「K」是-i以上+i以下的整數。「i」是1以上的整數。對象軌跡資料內包含的對象姿勢資料數是「3」時，「i」是1。

步驟S1441中，動作特定部214，算出對於對象姿勢資料I(m)的對象姿勢資料I(m+k)的距離。算出的距離記為I’(m+k)。 距離I’(m+k)，相當於以對象姿勢資料I(m)表示的姿勢以及以對象姿勢資料I(m+k)表示的姿勢之差的大小。

距離I’(m+k)，可以以式(1)表示。

I’(m+k)=I(m+k)–I(m)　　(1)

具體地，動作特定部214，如下算出距離I’(m+k)。 對象姿勢資料，表示複數關節的各位置。 動作特定部214，每關節算出對象姿勢資料I(m)中的關節位置與對象姿勢資料I(m+k)中的關節位置之距離。動作特定部214，對各關節進行加權，根據各關節的權重算出各關節的距離也可以。此時，重要關節的距離成為大值。 又，動作特定部214，每關節組算出對象姿勢資料I(m)中的關節間距離與對象姿勢資料I(m+k)中的關節間距離之差，作為對於關節組的距離。動作特定部214，對各關節組進行加權，根據各關節組的權重，算出對各關節組的距離也可以。此時，對於重要關節組的距離成為大值。 動作特定部214，算出已算出的距離的合計。算出的合計為距離I’(m+k)。

步驟S1442中，動作特定部214，算出對於動作姿勢資料R(t)的動作姿勢資料R(t+k)的距離。算出的距離記為距離R’(t+k)。 距離R’(t+k)，相當於以動作姿勢資料R(t)表示的姿勢與以動作姿勢資料R(t+k)表示的姿勢之差的大小。

距離R’(t+k)，可以以式(2)表示。

R’(t+k)=R(t+k)–R(t)　　(2)

具體地，動作特定部214，如下算出距離R’(t+k)。 動作姿勢資料，表示複數關節的各位置。 動作特定部214，算出每關節動作姿勢資料R(t)中的關節位置與動作姿勢資料R(t+k)中的關節位置之距離。動作特定部214，對各關節進行加權，根據各關節的權重，算出各關節的距離也可以。此時，重要關節的距離成為大值。 又，動作特定部214，算出每關節組動作姿勢資料R(m)中關節間的距離與動作姿勢資料I(m+k)中關節間的距離之差，作為對於關節組的距離。動作特定部214，對各關節組進行加權，根據各關節組的權重，算出對於各關節組的距離也可以。此時，對於重要關節組的距離成為大值。 動作特定部214，算出已算出距離的合計。算出的合計為距離R’(t+k)。

步驟S1443中，動作特定部214算出距離I’(m+k)與距離R’(t+k)之差的合計。 算出的合計，成為動作軌跡資料對於對象軌跡資料的距離。

動作軌跡資料對於對象軌跡資料的距離，可以以式(3)表示。

[數1]

動作軌跡資料對於對象軌跡資料的距離，以動態計畫法或隱藏馬可夫模型(hidden Markov model)等手法算出也可以。這些手法，動態伸縮時序算出最小距離。 這些手法中，例如比起以I’(m+k)–R’(t+k)求出的距離，以I’(m+k)–R’(m+(k+a))求出的距離較小時，將「k」與「k+a」的距離相加。

根據圖10，說明關於動態計畫法的利用。 表中的數字，表示

的值。但是，-2≦a，b≦2。實線箭頭表示通道(pass)(I’與R’的對應)。 以動態計畫法改變「a」「b」算出各格的距離。於是，選擇距離總和變小的通道(參照實線箭頭)。

回到圖8，從步驟S145繼續說明。 步驟S145中，動作特定部214，判定是否有未選擇的比較時刻。 有未選擇的比較時刻時，處理前進至步驟S141。 無未選擇的比較時刻時，處理前進至步驟S146。

步驟S146中，動作特定部214，根據各動作軌跡資料與對象軌跡資料的比較結果，選擇與對象軌跡資料一致的動作軌跡資料。

具體地，動作特定部214，根據各動作軌跡資料對於對象軌跡資料的距離，選擇與對象軌跡資料一致的動作軌跡資料。

與對象軌跡資料一致的動作軌跡資料，如下決定。 動作特定部214，選擇步驟S144算出的距離中的最小距離。於是，動作特定部214，選擇對應選擇的距離的動作軌跡資料。選擇的動作軌跡資料，係與對象軌跡資料一致的動作軌跡資料。 但是，選擇的距離(最小距離)比臨界值大時，動作特定部214，也可以判斷沒有與對象軌跡資料一致的動作軌跡資料。

步驟S147中，動作特定部214，從動作資料庫291，抽出與對象軌跡資料一致的動作軌跡資料之動作標記。

具體地，動作特定部214，選擇對應步驟S146中選擇的動作軌跡資料的比較時刻，抽出對應選擇的比較時刻的動作標記。抽出的動作標記，係與對象軌跡資料一致的動作軌跡資料之動作標記。 例如，假設步驟S146中選擇[t]的動作軌跡資料133(參照圖7)。此時，動作特定部214，從動作資料庫291，抽出對應[t]的動作標記[作業A]。 但是，判斷沒有與對象軌跡資料一致的動作軌跡資料時(參照步驟S46)，不抽出動作標記。不抽出動作標記時，動作特定部214，給予表示通常不實行的作業(非固定作業)的標記。

回到圖3，說明關於步驟S130及步驟S140之後的處理。 藉由對攝影時間帶的各攝影時刻實行步驟S130及步驟S140，對各攝影時刻得到動作標記。 對攝影時間帶的各攝影時刻實行步驟S130及步驟S140後，處理前進至步驟S150。

步驟S150中，結果輸出部215輸出結果資料。 例如，結果輸出部215，在顯示器上顯示結果資料。 結果資料，包含各攝影時刻的動作標記。

前處理的補足 說明關於產生動作資料庫291的方法。 圖11中，顯示產生動作資料庫291之際的動作分析系統100的構成。 動作分析系統100，包括攝影機102以及動作分析裝置200。 攝影機102，拍攝動作者112。攝影機102，可以與攝影機101(參照圖1)相同，也可以是與攝影機101不同的攝影機。 動作者112，係進行成為登錄至動作資料庫291的對象之動作(對象動作)的人。動作者112，可以與對象者111(參照圖1)相同的人，也可以是與對象者111不同的人。 動作者112是作業員時，動作者112，進行通常實行的作業(固定作業)作為一連串動作。但是，動作者112，包含通常不實行的作業(非固定作業)進行一連串動作也可以。

圖12中，顯示動作分析裝置200內具備的登錄部220的構成。 登錄部220，包括動作標記接受部221、動作影像接受部222、動作姿勢檢出部223以及動作登錄部224等要素。

根據圖13，說明登錄部220的登錄處理。 根據登錄處理，產生動作資料庫291(參照圖7)。

步驟S101中，動作標記接受部221，接受附加複數時刻的複數動作標記。 例如，動作標記接受部221，接受動作標記列表。動作標記列表，顯示複數組時刻與動作標記。 例如，動作標記列表，由利用者，輸入至動作分析裝置200。動作標記接受部221，接受輸入的動作標記列表。 又，對於固定作業內不包含的動作，給予表示非固定的標記。

步驟S102中，動作影像接受部222，接受附加複數時刻的複數動作影像資料。附加至複數動作影像資料的複數時刻，與附加至複數動作標記的複數時刻一致。 複數動作影像資料，經由連續拍攝進行一連串動作的動作者112而得到。 各動作影像資料表示動作影像。動作影像中，映出動作者112。

例如，動作影像接受部222，接受動作影像檔。動作影像檔，包含複數組時刻與動作影像資料。 例如，動作影像檔，由使用者，輸入至動作分析裝置200。動作影像接受部222，接受輸入的動作影像檔。

步驟S103中，動作姿勢檢出部223，檢出各動作影像資料在動作影像中映出的動作者112的姿勢，產生表示檢出的姿勢之動作姿勢資料。 藉此，得到對應複數動作影像資料的複數動作姿勢資料。

根據圖14，說明關於動作姿勢檢出處理(S130)。[t-1]、[t]以及[t+1]表示連續的3個時刻。 各時刻的動作影像資料131表示各時刻的動作影像。各時刻的動作影像中映出各時刻的動作者112。 動作姿勢檢出部223，藉由對各時刻的動作影像進行影像處理，檢出各時刻的動作者112的姿勢。 具體地，動作姿勢檢出部223，檢出動作者112的骨骼。根據動作者112的骨骼，明確指定動作者112的姿勢。 更具體地，動作姿勢檢出部223，判定動作者112的各關節位置。各關節的位置，可以以座標值或對於其它關節的相對位置表示。根據脖子的關節以及肩膀的關節等複數關節，明確指定骨骼。

動作姿勢檢出部223，產生表示各時刻的動作者112姿勢之動作姿勢資料132。 各時刻的動作姿勢資料132中，各黑色圓形表示動作者112的關節位置。

回到圖13，說明步驟S104。 步驟S140中，動作登錄部224，互相聯結複數時刻、複數動作姿勢資料以及複數動作標記，登錄在動作資料庫291中。

實施例的說明 動作特定部214，明確指定實行固定作業的時間帶以及實行非固定作業也可以。 具體地，動作特定部214，測量給予表示非固定的標記之時刻期間的時間帶。測量的時間帶，係實行非固定作業的時間帶。之後，動作特定部214，辨別實行非固定作業的時間帶以外的時間帶。辨別的時間帶，係實行固定作業的時間帶。

第1實施形態的效果 根據第1實施形態，即使不安裝攝影機及三次元感測器等作業不需要之物至作業員(對象者的一例)身上，也可以明確指定作業員的動作。即，可以不妨礙作業而分析作業員的動作。 還有，可以明確指定對象者111進行各動作的時間帶。即，可以明確指定進行固定作業的時間帶及進行非固定作業的時間帶。 又，藉由比較所謂對象軌跡資料與動作軌跡資料的軌跡資料(連續時刻資料)之間，得到其次的效果。作業有時包含複數動作。因此，不是比較單一時刻的動作，而是藉由比較連續動作的軌跡資料之間，可以判定更適當的作業。

第2實施形態 關於用以提高動作分析精度的形態，主要與第1實施形態不同的點，根據圖15到圖18說明。

構成的說明 動作分析系統100的構成，與第1實施形態中的構成(參照圖1及圖11)相同。 但是，圖11中，動作者112複數次進行一連串的動作，攝影機102拍攝動作者112的複數次一連串動作。

動作分析裝置200的構成，與第1實施形態中的構成(參照圖2)相同。 但是，登錄部220的一部分構成，與第1實施形態中的構成(參照圖12)不同。

根據圖15，說明登錄部220的構成。 登錄部220，包括動作標記接受部221、動作影像接受部222、暫時姿勢檢出部225、暫時表產生部226、動作姿勢產生部227以及動作登錄部224等要素。

動作的說明 根據圖16，說明登錄部220的登錄處理。 根據登錄處理，產生動作資料庫291(參照圖7)。

步驟S210到步驟S240，係分別對複數次的一連串動作實行。即，實行3次一連串動作時，實行3次步驟S210到步驟S240。

步驟S210中，動作標記接受部221，接受動作標記群。 動作標記群，係附加複數時刻的複數動作標記。 步驟S210，相當於第1實施形態中的步驟S101(參照圖13)。

步驟S220中，動作影像接受部222接受動作影像資料群。 動作影像資料群，係經由拍攝進行一連串動作的動作者得到再附加複數時刻的複數動作影像資料。 步驟S220，相當於第1實施形態中的步驟S202(參照圖13)。

步驟S230中，暫時姿勢檢出部225，檢出動作影像資料群中的各動作影像資料在動作影像中映出的動作者112的姿勢，產生表示檢出的姿勢之暫時姿勢資料。 藉此，得到對應動作影像資料群的暫時姿勢資料群。暫時姿勢資料群，係對應複數動作影像資料的複數暫時姿勢資料。 產生暫時姿勢資料的方法，與第1實施形態中產生動作姿勢資料的方法相同(參照圖13的步驟S103)。

步驟S240，暫時表產生部226產生暫時表。 暫時表，係互相聯結時刻群、暫時姿勢資料群以及動作標記群的表。 時刻群，附加至複數動作標記以及複數動作影像的複數時刻。

藉由分別對複數次的一連串動作實行步驟S210到步驟S240，產生複數暫時表。 分別對複數次的一連串動作實行步驟S210到步驟S240後，處理前進至步驟S250。

步驟S250中，動作姿勢產生部227，對一連串動作內包含的每一動作，產生對應2個以上的時刻的2個以上的動作姿勢資料。

如下產生對應2個以上的時刻的2個以上的動作姿勢資料。 動作姿勢產生部227，分別從複數暫時表抽出對應辨識相同動作的2個以上的動作標記之2個以上的暫時姿勢資料的暫時軌跡資料。 動作姿勢產生部227，根據從複數暫時表抽出的複數暫時軌跡表，產生對應2個以上的時刻之2個以上的動作姿勢資料。

根據圖17，說明關於動作姿勢產生處理(S250)。 步驟S251到步驟S253，係對一連串動作內包含的各動作實行。

步驟S251中，動作姿勢產生部227，分別從複數暫時表抽出暫時軌跡資料。藉此，抽出複數暫時軌跡資料。

步驟S252中，動作姿勢產生部227，決定構成動作軌跡資料的動作姿勢表的數量。決定的數量稱作「構成資料數」。 例如，構成資料數，係複數暫時軌跡資料中暫時姿勢資料數的平均。假設構成第1次的暫時軌跡資料的暫時姿勢資料數是「3」，構成第2次的暫時軌跡資料的暫時姿勢資料數是「4」，構成第3次的暫時軌跡資料的暫時姿勢資料數是「5」。此時，構成資料數是「4」。

步驟S253中，動作姿勢產生部227，對各暫時軌跡資料進行取樣。 藉此，構成各暫時軌跡資料的暫時姿勢資料數，成為與構成資料數相同的數量。

圖18中，顯示取樣的具體例。 「A_n 」表示取樣前第n次的暫時軌跡資料內包含的暫時姿勢資料。 「A_n ’」表示取樣後第n次的暫時軌跡資料內包含的暫時姿勢資料。 [＊]意味乘法，「+」意味加法。 各暫時姿勢資料，表示複數關節的各個位置。每一關節對辨識關節位置的座標值進行乘法及加法。

假設構成資料數是「4」。 取樣前，第1次的暫時軌跡資料以3個暫時姿勢資料A₁ (1〜3)構成。又，第2次的暫時軌跡資料以4個暫時姿勢資料A₂ (1〜4)構成。又，第3次的暫時軌跡資料以5個暫時姿勢資料A₃ (1〜5)構成。 根據對第1次的暫時軌跡資料的取樣，產生以3個暫時姿勢資料A₁ (1〜3)為基礎的4個暫時姿勢資料A₁ ’(1〜4)。 根據對第2次的暫時軌跡資料的取樣，產生以4個暫時姿勢資料A₂ (1〜4)為基礎的4個暫時姿勢資料A₂ ’(1〜4)。 根據對第3次的暫時軌跡資料的取樣，產生以5個暫時姿勢資料A₃ (1〜5)為基礎的4個暫時姿勢資料A₃ ’(1〜4)。 取樣後，第1次的暫時軌跡資料以4個暫時姿勢資料A₁ ’(1〜4)構成。又，第2次的暫時軌跡資料以4個暫時姿勢資料A₂ ’(1〜4)構成。又，第3次的暫時軌跡資料以4個暫時姿勢資料A₃ ’(1〜4)構成。

回到圖17，說明步驟S254。 步驟S254中，動作姿勢產生部227產生與構成資料數相同數量的動作姿勢資料。

動作姿勢產生部227，如下產生各時刻的動作姿勢資料。 動作姿勢產生部227，算出對應相同時刻的複數暫時姿勢資料的和。每一關節對辨識關節位置的座標值進行複數暫時姿勢資料的和。 動作姿勢產生部227，以暫時姿勢資料數除複數暫時姿勢資料的和。藉此，算出對應相同時刻的複數暫時姿勢資料的平均。複數暫時姿勢資料的平均成為動作姿勢資料。 但是，動作姿勢產生部227，與複數暫時姿勢資料的平均一起，算出複數暫時姿勢資料的分散也可以。

回到圖16，說明步驟S260。 步驟S260中，動作登錄部224，一連串動作內包含的每一動作，互相聯結2個以上的時刻、2個以上的動作姿勢資料、辨識相同動作的2個以上的動作標記，登錄在動作資料庫291中。

第2實施形態的效果 根據第2實施形態，基於複數次進行的一連串動作，可以產生動作資料庫291。結果，可以提高動作分析的精度。

第3實施形態 關於利用學習模型進行動作分析的形態，根據圖19到圖22主要說明與第1實施形態及第2實施形態不同的點。

構成的說明 動作分析系統100的構成，與第1實施形態中的構成(參照圖1及圖11)相同。

根據圖19，說明動作分析裝置200的構成。 動作分析裝置200，包括特定部210以及學習部230等要素。這些要素以軟體實現。 動作分析程式，使電腦作用為特定部210以及學習部230。

學習部230，產生學習模型292。 記憶部290，記憶學習模型292。 學習模型292，對動作軌跡資料的輸入，輸出動作標記。

根據圖20，說明學習部230的構成。 學習部230，包括動作標記接受部231、動作影像接受部232、動作姿勢檢出部233以及動作學習部234等要素。

動作的說明 根據圖21，說明動作分析方法。 步驟S310中，對象影像接受部211，接受複數對象影像資料。 步驟S310，與第1實施形態中的步驟S110(參照圖3)相同。

步驟S320中，對象姿勢檢出部212，檢出各對象影像資料在對象影像中映出的對象者111的姿勢，產生表示檢出的姿勢的對象姿勢資料。 藉此，得到對應複數對象影像資料的複數對象姿勢資料。 步驟S320，與第1實施形態中的步驟S120(參照圖3)相同。

步驟S330中，對象軌跡抽出部213，從對應複數對象影像資料的複數對象姿勢資料，抽出對象軌跡資料。 步驟S330，與第1實施形態中的步驟S130(參照圖3)相同。

步驟S340中，動作特定部214，根據對象軌跡資料，得到辨識對象者111的動作之動作標記。

動作標記，如下得到。 動作特定部214，輸入對象軌跡資料至學習模型。 學習模型，輸出與輸入的對象軌跡資料一致的學習軌跡資料的動作標記。 動作特定部214，從學習模型得到動作標記。

步驟S330及步驟S340，對攝影時間帶的各攝影時刻實行。藉此，對各攝影時刻得到動作標記。 對攝影時間帶的各攝影時刻實行步驟S330及步驟S340後，處理前進至步驟S350。

步驟S350中，結果輸出部215輸出結果資料。 步驟S350，與第1實施形態中的步驟S150(參照圖3)相同。

前處理的說明 根據圖22，說明學習部230的學習處理。 根據學習處理，產生學習模型292。

步驟S301中，動作標記接受部231接受附加複數時刻的複數動作標記。 步驟S301，與第1實施形態中的步驟S101(參照圖13)相同。

步驟S302中，動作影像接受部232接受附加複數時刻的複數動作影像資料。 步驟S302，與第1實施形態中的步驟S102(參照圖13)相同。

步驟S303中，動作姿勢檢出部233檢出各動作影像資料在動作影像中映出的動作者112的姿勢，產生表示檢出的姿勢之動作姿勢資料。 藉此，得到對應複數動作影像資料的複數動作姿勢資料。 步驟S303，與第1實施形態中的步驟S103(參照圖13)相同。

步驟S304中，動作學習部234，對各時刻以動作姿勢資料與動作標記的組作為學習資料進行學習。 例如，動作學習部234，利用既存的機械學習模型進行機械學習。具體地，動作學習部234，輸入各時刻的學習資料至機械學習模型。於是，機械學習模型進行對各時刻的學習資料之機械學習。但是，動作學習部234進行其它方法的學習也可以。 藉此，產生學習模型292。又，學習模型292存在時，更新學習模型292。

第3實施形態的效果 根據第3實施形態，可以利用學習模型292進行動作分析。結果，可以提高動作分析的精度。

實施形態的補足 根據圖23，說明動作分析裝置200的硬體構成。 動作分析裝置200包括處理電路209。 處理電路209，係實現特定部210、登錄部220以及學習部230的硬體。 處理電路209，可以是專用硬體，也可以是實行記憶體202內收納的程式之處理器201。

處理電路209是專用硬體時，處理電路209，例如是單一電路、複合電路、程式化的處理器、並聯程式化處理器、ASIC、FPGA或這些的組合。 ASIC是Application Specific Integrated Circuit(特殊應用積體電路)的簡稱。 FPGA是Field Programmable Gate Array(現場可編程閘陣列)的簡稱。

動作分析裝置200，包括代替處理電路209的複數處理電路也可以。複數處理電路，分擔處理電路209的機能。

處理電路209中，一部分功能以專用硬體實現，剩下的功能以軟體或韌體實現也可以。

這樣，動作分析裝置200的各功能可以以硬體、軟體、韌體或這些的組合實現。

各實施形態，是理想形態的例示，不打算限制本發明的技術範圍。各實施形態，部分實施也可以，與其它實施形態組合實施也可以。使用流程圖等說明的程序，適當變更也可以。

動作分析裝置200的要素的「部」，改稱為「處理」或「步驟」也可以。

動作分析裝置200，以複數裝置實施也可以。 攝影機101及攝影機102，換成深度感測器或其它感測器也可以。根據這些感測器，得到3次影像資料。 學習模型292，以硬體實施也可以，以軟體與硬體的組合實現也可以。

100:動作分析系統 101:攝影機 102:攝影機 111:對象者 112:動作者 121:對象影像資料 122:對象姿勢資料 123:對象軌跡資料 131:動作影像資料 132:動作姿勢資料 133:動作軌跡資料 200:動作分析裝置 201:處理器 202:記憶體 203:輔助記憶裝置 204:通訊裝置 205:輸出入界面 209:處理電路 210:特定部 211:對象影像接受部 212:對象姿勢檢出部 213:對象軌跡抽出部 214:動作特定部 215:結果輸出部 220:登錄部 221:動作標記接受部 222:動作影像接受部 223:動作姿勢檢出部 224:動作登錄部 225:暫時姿勢檢出部 226:暫時表產生部 227:動作姿勢產生部 230:學習部 231:動作標記接受部 232:動作影像接受部 233:動作姿勢檢出部 234:動作學習部 290:記憶部 291:動作資料庫 292:學習模型

[圖1] 第1實施形態中動作分析系統100的構成圖。 [圖2] 第1實施形態中動作分析裝置200的構成圖。 [圖3] 第1實施形態中動作分析方法的流程圖。 [圖4] 第1實施形態中對象姿勢檢出處理(S120)的說明圖。 [圖5] 第1實施形態中對象軌跡抽出處理(S130)的流程圖。 [圖6] 第1實施形態中對象軌跡抽出處理(S130)的說明圖。 [圖7] 第1實施形態中動作資料庫291的構成圖。 [圖8] 第1實施形態中動作特定處理(S140)的流程圖。 [圖9] 第1實施形態中比較處理(S144)的流程圖。 [圖10] 關於第1實施形態中利用動態計畫法的說明圖。 [圖11] 第1實施形態中動作分析系統100的構成圖。 [圖12] 第1實施形態中登錄部220的構成圖。 [圖13] 第1實施形態中登錄處理的流程圖。 [圖14] 第1實施形態中動作姿勢檢出處理(S103)的說明圖。 [圖15] 第2實施形態中登錄部220的構成圖。 [圖16] 第2實施形態中登錄處理的流程圖。 [圖17] 第2實施形態中動作姿勢產生處理(S250)的流程圖。 [圖18] 顯示第2實施形態中取樣的具體例圖。 [圖19] 第3實施形態中動作分析裝置200的構成圖。 [圖20] 第3實施形態中學習部230的構成圖。 [圖21] 第3實施形態中動作分析方法的流程圖。 [圖22] 第3實施形態中學習處理的流程圖。 [圖23] 實施形態中動作分析裝置200的硬體構成圖。

100:動作分析系統

101:攝影機

111:對象者

200:動作分析裝置

Claims (9)

1. 一種動作分析系統，包括： 對象影像接受部，接受連續拍攝進行一連串動作的對象者得到的複數對象影像資料； 對象姿勢檢出部，檢出各對象影像資料在對象影像中映出的上述對象者姿勢，產生表示檢出的姿勢之對象姿勢資料； 對象軌跡抽出部，從對應上述複數對象影像資料的複數對象姿勢資料，抽出包含對象時刻的對象姿勢資料以及與上述對象時刻連續的前時刻及與上述對象時刻連續的後時刻中至少一方時刻的對象姿勢資料之2個以上的對象姿勢資料，作為表示上述對象者姿勢推移的對象軌跡資料；以及 動作特定部，根據上述對象軌跡資料，得到辨識上述對象者動作的動作標記。
2. 如請求項1之動作分析系統，其中， 上述動作特定部，從登錄複數組辨識動作的動作標記與表示進行以上述動作標記辨識的動作的人的姿勢推移的動作軌跡資料之動作資料庫，抽出與上述對象軌跡資料一致的動作軌跡資料之動作標記。
3. 如請求項2之動作分析系統，其中， 上述動作資料庫中，互相聯結複數時刻、複數動作姿勢資料以及複數動作標記； 各動作軌跡資料，以2個以上的動作姿勢資料構成； 上述對象軌跡抽出部，決定包含上述對象時刻的對象時刻群，抽出對應構成上述對象時刻群的2個以上的攝影時刻之2個以上的對象姿勢資料作為上述對象軌跡資料； 上述動作特定部，每比較時刻決定包含比較時刻的比較時刻群，從上述動作資料庫抽出對應構成決定的比較時刻群的2個以上的比較時刻之2個以上的動作姿勢資料，將以抽出的2個以上的動作姿勢資料構成的動作軌跡資料與上述對象軌跡資料做比較，根據各動作軌跡資料與上述對象軌跡資料的比較結果，選擇與上述對象軌跡資料一致的上述動作軌跡資料，抽出聯結對應選擇的動作軌跡資料的比較時刻之動作標記，作為與上述對象軌跡資料一致的動作標記。
4. 如請求項3之動作分析系統，包括： 動作標記接受部，接受附加上述複數時刻的上述複數動作標記； 動作影像接受部，經由連續拍攝進行一連串動作的動作者得到，接受附加上述複數時刻的複數動作影像資料； 動作姿勢檢出部，檢出各動作影像資料在動作影像中映出的上述動作者姿勢，產生表示檢出的姿勢之動作姿勢資料； 動作登錄部，互相聯結上述複數時刻、對應上述複數動作影像資料的上述複數動作姿勢資料以及上述複數動作標記，登錄在上述動作資料庫中。
5. 如請求項3之動作分析系統，包括： 動作標記接受部，接受附加複數時刻的複數動作標記之複數動作標記群； 動作影像接受部，經由拍攝進行一連串動作的動作者得到，接受附加複數時刻的複數動作影像資料之複數動作影像資料群； 暫時姿勢檢出部，在接收的每一動作影像資料群，檢出動作影像資料群中的各動作影像資料在動作影像中映出的上述動作者姿勢，產生表示檢出的姿勢之暫時姿勢資料； 暫時表產生部，產生複數暫時表，互相聯結時刻群、對應動作影像資料群的暫時姿勢資料群以及動作標記群； 動作姿勢產生部，上述一連串動作內包含的每一動作，分別從複數暫時表抽出對應辨識相同動作的2個以上的動作標記的2個以上的暫時姿勢資料的暫時軌跡資料，根據從上述複數暫時表抽出的複數暫時軌跡資料，產生對應2個以上的時刻的2個以上的動作姿勢資料；以及 動作登錄部，上述一連串動作內包含的每一動作，互相聯結2個以上的時刻、2個以上的動作姿勢資料以及辨識相同動作的2個以上的動作標記，登錄在動作資料庫。
6. 如請求項1之動作分析系統，其中， 上述動作特定部，對於表示人的姿勢推移的動作軌跡資料輸入，輸出辨識動作的動作標記的學習模型內，輸入上述對象軌跡資料，從上述學習模型得到動作標記。
7. 如請求項6之動作分析系統，包括： 動作標記接受部，接受附加複數時刻的複數動作標記； 動作影像接受部，經由連續拍攝進行一連串動作的動作者得到，接受附加上述複數時刻的複數動作影像資料； 動作姿勢檢出部，檢出各動作影像資料在動作影像中映出的上述動作者姿勢，產生表示檢出的姿勢之動作姿勢資料；以及 動作學習部，經由對各時刻以動作姿勢資料與動作標記的組作為學習資料進行學習，產生上述學習模型。
8. 如請求項1～7中任一項之動作分析系統，其中， 各對象姿勢資料，表示上述對象者的複數關節的各個位置。
9. 一種動作分析程式產品，用以使電腦實行： 對象影像接受處理，接受連續拍攝進行一連串動作的對象者得到的複數對象影像資料； 對象姿勢檢出處理，檢出各對象影像資料在對象影像中映出的上述對象者姿勢，產生表示檢出的姿勢之對象姿勢資料； 對象軌跡抽出處理，從對應上述複數對象影像資料的複數對象姿勢資料，抽出包含對象時刻的對象姿勢資料以及與上述對象時刻連續的前時刻及與上述對象時刻連續的後時刻中至少一方時刻的對象姿勢資料之2個以上的對象姿勢資料，作為表示上述對象者姿勢推移的對象軌跡資料； 動作特定處理，根據上述對象軌跡資料，得到辨識上述對象者動作的動作標記。

Images