TW202026951A - 動作特別指定裝置、動作特別指定方法及動作特別指定程式產品 - Google Patents

Abstract

在動作特別指定裝置（10）中，圖像取得部（21）係取得關於對象者的圖像資料。骨骼抽出部（22）係從經由圖像取得部（21）所取得的圖像資料抽出對象資訊，該對象資訊係為表現複數個關節之座標之類之對象者的姿勢而得者。動作資訊登錄部（23）係將屬於骨骼資訊之動作資訊所示的動作內容，予以特別指定作為對象者所進行的動作內容，該骨骼資訊係與經由骨骼抽出部（22）所抽出的對象資訊類似。

Description

動作特別指定裝置、動作特別指定方法及動作特別指定程式產品

本發明係關於一種從拍攝到對象者的圖像資料來特別指定對象者之動作內容的技術。

在產業領域中，有對於下列處理的需求：測量屬於作業者組裝製品之時間的週期時間（cycle time）、及分析用以偵測作業之遺漏或非為常態性之作業之非常態作業的作業內容。目前這些處理係以藉由手動方式來進行為主流。因此，會耗費許多的人力成本，並且只能就限定的範圍才能作為處理的對象。

在專利文獻1中，係揭示了使用安裝於人之頭部的攝像機（camera）及三維感測器（senser），而抽出人之動作的特徵量，且自動地進行動作分析。 [先前技術文獻] [專利文獻]

專利文獻1：日本特開2016-099982號公報

[發明所欲解決之課題]

在專利文獻1中，係於人的頭部安裝有攝像機。然而，在產業領域中，於作業中在作業者身體的一部分安裝作業所不需要的物品，被認為有可能會造成作業的妨礙，而避免使用。 本發明之目的為不需在作業者的身體安裝上作業所不需要的物品，即可進行週期時間（cycle time）的測量與作業內容之分析的處理。 [用以解決問題的手段]

本發明之動作特別指定裝置係包括： 圖像取得部，係取得關於對象者的圖像資料； 骨骼抽出部，係從經由前述圖像取得部所取得的前述圖像資料，抽出屬於表現前述對象者之姿勢而得之骨骼資訊的對象資訊；及 動作特別指定部，係將屬於前述骨骼資訊之動作資訊所示的動作內容，予以特別指定作為前述對象者所進行的動作內容，前述骨骼資訊係與經由前述骨骼抽出部所抽出的前述對象資訊類似。 [發明之功效]

在此發明中，係從圖像資料抽出屬於表現對象者之姿勢而得之骨骼資訊的對象資訊，且將屬於與對象資訊類似之骨骼資訊之動作資訊所示的動作內容，予以特別指定作為對象者所進行的動作內容。因此，不需要在作業者的身體安裝上不需要之物品，即可進行週期時間之測量與作業內容之分析的處理。

實施形態1 ＊＊＊構成的說明＊＊＊ 茲參照第1圖來說明實施形態1之動作特別指定裝置10的構成。 動作特別指定裝置10係為電腦（computer）。 動作特別指定裝置10係包括：處理器（processor）11、記憶體（memory）12、儲存器（storage）13、及通訊介面（interface）14的硬體（hardware）。處理器11係透過信號線而與其他硬體連接，用以控制此等其他硬體。

處理器11係為進行處理的IC（Intergrated Circuit，積體電路）。以具體例而言，處理器11係為CPU（Central Processing Unit，中央處理單元）、DSP（Digital Signal Processor，數位訊號處理器）、GPU（Graphics Processing Unit，圖形處理單元）。

記憶體12係為暫時記憶資料的記憶裝置。以具體例而言，記憶體12係為SRAM（Static Random Access Memory，靜態隨機存取記憶體）、DRAM（Dynamic Random Access Memory，動態隨機存取記憶體）。

儲存器13係為保管資料的記憶裝置。以具體例而言，儲存器13係為HDD（Hard Disk Drive，硬碟驅動器）。此外，儲存器13係可為SD（註冊商標，Secure Digital（安全數位））記憶卡（memory card）、CF（CompactFlash（緊密快閃），註冊商標）、NAND（反及）快閃、軟碟（flexible disk）、光磁碟、CD（compact disk，光碟）、藍光（blue-ray）（註冊商標）磁碟、DVD（Digital Versatile Disk，數位化多功能光碟）之類的可攜式記憶媒體。

通訊介面14係為用以與外部之裝置通訊的介面。以具體例而言，通訊介面14係為Ethernet（乙太網路）（註冊商標）、USB（Universal Serial Bus，通用序列匯流排）、HDMI（註冊商標，High Definition Multimedia Interface（高解析度多媒體介面））的端口（port）。另外，通訊介面14係可依所通訊的資料個別設置。例如，可設置HDMI（註冊商標）以進行後述之圖像資料的通訊，且設置USB以進行後述之標籤（label）資訊的通訊。

動作特別指定裝置10係包括圖像取得部21、骨骼抽出部22、動作資訊登錄部23、動作特別指定部24、及輸出部25以作為功能構成要素。動作特別指定裝置10之各功能構成要素的功能，係藉由軟體（software）來實現。 在儲存器13中，係儲存有實現動作特別指定裝置10之各功能構成要素之功能的程式。此程式係藉由處理器11而被讀入於記憶體12，且藉由處理器11來執行。藉此，實現動作特別指定裝置10之各功能構成要素的功能。

此外，儲存器13係記憶動作資訊表單31。

在第1圖中，處理器11係僅顯示了一個。然而，處理器11亦可為複數個，亦可由複數個處理器11，協同實現各功能的程式來執行。 以具體例而言，動作特別指定裝置10係可包括CPU、及GPU以作為處理器11。此時，關於如後所述進行圖像處理的骨骼抽出部22，係藉由GPU而實現，而關於其餘的圖像取得部21、動作資訊登錄部23、動作特別指定部24、及輸出部25，則可藉由CPU來實現。程式產品不限於外觀形式之物，亦可為載入有可由電腦讀取的程式者。

＊＊＊動作的說明＊＊＊ 茲參照第2圖至第8圖來說明實施形態1之動作特別指定裝置10的動作。 實施形態1之動作特別指定裝置10的動作，係相當於實施形態1之動作特別指定方法。此外，實施形態1之動作特別指定裝置10的動作，係相當於實施形態1之動作特別指定程式的處理。 實施形態1之動作特別指定裝置10的動作，係包含登錄處理、及特別指定處理。

茲參照第2圖來說明實施形態1的登錄處理。 （步驟S11：圖像取得處理） 圖像取得部21係透過通訊介面14而取得被攝像裝置41所拍攝到進行對象動作之人42的圖像資料、與表示對象動作之標籤資訊的一個以上的組別。如第3圖所示，在實施形態1中，圖像資料係藉由攝像裝置41從對象者的正面拍攝進行對象動作之人42之身體全身而取得。 圖像取得部21係將所取得之圖像資料與標籤資訊的組別寫入於記憶體12。

（步驟S12：骨骼抽出處理） 骨骼抽出部22係從記憶體12讀取在步驟S11中所取得的圖像資料。骨骼抽出部22係從圖像資料抽出表現人42之姿勢而得之骨骼資訊43作為動作資訊。如第4圖所示，在實施形態1中，骨骼資訊43係顯示人42的頭及肩的複數個關節的座標、或複數個關節之相對的位置關係。 骨骼抽出部22係將所抽出的動作資訊寫入於記憶體12。

（步驟S13：動作資訊登錄處理） 動作資訊登錄部23係從記憶體12讀取在步驟S12中所抽出的動作資訊、及與動作資訊之抽出來源的圖像資訊相同組別的標籤資訊。動作資訊登錄部23係將所讀取的動作資訊與標籤資訊建立對應關係，並寫入於動作資訊表單31。

（步驟S14：結束判定處理） 骨骼抽出部22係判定是否已對於步驟S11所取得的所有組別進行了處理。 當已對於所有組別進行了處理時，骨骼抽出部22係結束登錄處理。另一方面，當有未處理的組別時，骨骼抽出部22係將處理返回步驟S12，執行關於下一個組別的處理。

藉由執行登錄處理，將複數個動作資訊與標籤資訊的組別儲存於動作資訊表單31。 例如，如第5圖所示，在步驟S11中圖像取得部21係針對構成影像資料之各時刻的圖像資料，取得該時刻的圖像資料、及顯示該時刻之圖像資料所示之人之動作的標籤資訊的組別，其中該影像資料係拍攝到已進行一連串作業之人而得者。再者，在步驟S12中，骨骼抽出部22係從處理對象的圖像資料抽出動作資訊，在步驟S13中，動作資訊登錄部23係將與處理對象之圖像資料相同組別的標籤資訊與動作資訊建立對應關係並寫入於動作資訊表單31。藉此，如第6圖所示，針對一連串作業中之各時刻的動作，將已建立對應關係的動作資訊與標籤資訊儲存於動作資訊表單31。 另外，在步驟S11中，圖像取得部21係可針對構成影像資訊之各時刻的圖像資料，亦取得該時刻的圖像資料、與顯示該時刻之圖像資料所示之人之動作的標籤資訊的組別，其中該影像資訊係拍攝到在一連串作業中已進行了通常不會被進行之非常態作業的人而得者。藉此，關於非常態作業，亦針對各時刻的動作，將已建立對應關係的動作資訊與標籤資訊儲存於動作資訊表單31。

茲參照第7圖來說明實施形態1的特別指定處理。 （步驟S21：圖像取得處理） 圖像取得部21係透過通訊介面14而取得拍攝到對象者之一個以上的圖像資料。在實施形態1中，與在步驟S11中所取得的圖像資料同樣地，在步驟S21中所取得的圖像資料，係藉由攝像裝置41從對象者的正面拍攝對象者之身體全身而取得。 圖像取得部21係將所取得的圖像資料寫入於記憶體12。

（步驟S22：骨骼抽出處理） 骨骼抽出部22係從記憶體12讀取在步驟S21中所取得的圖像資料。骨骼抽出部22係從圖像資料抽出表現對象者之姿勢而得的骨骼資訊43作為對象資訊。 骨骼抽出部22係將所抽出的對象資訊寫入於記憶體12。

（步驟S23：動作特別指定處理） 動作特別指定部24係將屬於骨骼資訊的動作資訊所示的動作內容，予以特別指定作為對象者所進行的動作內容，其中該骨骼資訊係與在步驟S22中所抽出的對象資訊類似。 具體而言，動作特別指定部24係從動作資訊表單31檢索與對象資訊類似的動作資訊。所謂類似，係指當骨骼資訊43顯示複數個關節的座標時，在對象資訊與動作資訊中相同關節之座標間之歐幾里德（Euclidean）距離較短之意。此外，當骨骼資訊43顯示複數個關節之相對的位置關係時，則指對象資訊所示之各關節間之歐幾里德距離、與動作資訊所示之各關節間之歐幾里德距離較近之意。再者，動作特別指定部24係將已與符合檢索之動作資訊建立對應關係的標籤資訊所示的動作內容，予以特別指定作為對象者所進行的動作內容。

例如，動作特別指定部24係針對儲存於動作資訊表單31中的所有動作資訊，計算與對象資訊的類似度。再者，動作特別指定部24係將類似度最高的動作資訊，作為符合檢索的動作資訊來進行處理。另外，動作特別指定部24亦可當無類似度較臨限值更高的動作資訊時，則視為無符合檢索的動作資訊。 另外，亦可當特別指定之關節間之相對位置關係要對動作賦予特徵時，以關於特別指定之關節之歐幾里德距離的差對於類似度產生極大影響之方式進行加權。換言之，亦可當骨骼資訊43顯示複數個關節的座標時，以關於特別指定之關節之對象資訊中之座標與動作資訊中之座標之間的歐幾里德距離之差對於類似度產生極大影響之方式進行加權。此外，亦可當骨骼資訊43顯示複數個關節之相對的位置關係時，以特別指定之關節間之歐幾里德距離之差對於類似度產生極大影響之方式進行加權。

（步驟S24：輸出處理） 輸出部25係將在步驟S23中經特別指定後的動作內容，輸出至透過通訊介面14所連接的顯示裝置等。輸出部25亦可將顯示動作內容的標籤資訊予以輸出。 另外，當無符合檢索的動作資訊時，輸出部25係將顯示無法特別指定動作內容乙事的資訊予以輸出。

（步驟S25：結束判定處理） 骨骼抽出部22係判定是否已針對在步驟S21中所取得的所有圖像資料進行了處理。 當已針對所有圖像資料進行了處理時，骨骼抽出部22係結束登錄處理。另一方面，當有未處理的圖像資料時，骨骼抽出部22係將處理返回步驟S22，執行關於下一個圖像資料的處理。

例如，如第8圖所示，在步驟S21中，圖像取得部21係針對構成影像資料之各時刻的圖像資料，取得該時刻的圖像資料，其中該影像資料係拍攝已進行了一連串作業的人而得者。再者，在步驟S22中，骨骼抽出部22係從處理對象的圖像資料抽出對象資訊，在步驟S23中，動作資訊登錄部23係檢索與對象資訊類似的動作資訊，而特別指定動作內容。藉此，即可特別指定一連串作業中之各時刻的動作內容。 此時，亦可特別指定要作為對象的作業何時開始、何時結束。此外，當對象者於一連串作業中進行了非常態作業時，亦可特別指定已進行了非常態作業。

＊＊＊實施形態1的效果＊＊＊ 綜上所述，實施形態1的動作特別指定裝置10，係從由正面拍攝對象者而得之圖像資料，抽出屬於表現對象者之姿勢而得之骨骼資訊的對象資訊，且將屬於與對象資訊類似之骨骼資訊的動作資訊所示的動作內容，予以特別指定作為對象者所進行的動作內容。因此，實施形態1的動作特別指定裝置10，係將包含複數個圖像資料的影像資料作為輸入，而特別指定關於各圖像資料的動作內容，藉此可分析一連串的動作。結果，不需在作業者的身體安裝上不需要的物品，即可進行週期時間的測量與作業內容之分析的處理。

＊＊＊其他構成＊＊＊ ＜變形例1＞ 在實施形態1中，如第1圖所示，動作特別指定裝置10係一個裝置。然而，動作特別指定裝置10亦可為由複數個裝置所構成的系統。 以具體例而言，如第9圖所示，動作特別指定裝置10亦可為藉由具有關於登錄處理之功能的登錄裝置、及具有關於特別指定處理之功能的特別指定裝置所構成的系統。此時，動作資訊表單31係可記憶於設置在登錄裝置及特別指定裝置之外部的記憶裝置，亦可記憶於登錄裝置與特別指定裝置之任一者的儲存器。 另外，在第9圖中，係省略了登錄裝置及特別指定裝置中的硬體。登錄裝置及特別指定裝置係與動作特別指定裝置10同樣地包括處理器、記憶體、儲存器、及通訊介面以作為硬體。

＜變形例2＞ 在實施形態1中，係使用藉由攝像裝置41所拍攝到的資料以作為圖像資料。然而，亦可使用藉由深度感測器之類的感測器所獲得的3維持圖像資料以作為圖像資料。

＜變形例3＞ 在實施形態1中，係藉由軟體實現了各功能構成要素。然而，各功能構成要素亦可藉由硬體來實現以作為變形例3。關於此變形例3，茲說明與實施形態1不同之點。

茲參照第10圖來說明變形例3之動作特別指定裝置10的構成。 當各功能構成要素藉由硬體實現時，動作特別指定裝置10係包括電子電路15，以取代處理器11、記憶體12、及儲存器13。電子電路15係為實現各功能構成要素、記憶體12、與儲存器13之功能之專用的電路。

以電子電路15而言，係假設單一電路、複合電路、經程式化的處理器、經並聯程式化的處理器、邏輯（logic）IC、GA（Gate Array，閘陣列）、ASIC（Application Specific Integrated Circuits，特殊應用積體電路）、FPGA（Field-Programmable Gate Array，現場可程式閘陣列）。 各功能構成要素可藉由一個電子電路15來實現，亦可使各功能構成要素分散於複數個電子電路15來實現。

＜變形例4＞ 亦可藉由硬體來實現一部分的各功能構成要素，且藉由軟體來實現其他各功能構成要素，以作為變形例4。

茲將處理器11、記憶體12、儲存器13、電子電路15稱為處理電路。換言之，各功能構成要素的功能，係藉由處理電路來實現。

實施形態2 實施形態2係根據動作資訊與標籤資訊而產生學習模型（model）32，且藉由學習模型32而特別指定對象資訊所對應的標籤資訊，此點與實施形態不同。在實施形態2中，係說明此不同之點，關於相同之點則省略說明。

＊＊＊構成的說明＊＊＊ 茲參照第11圖來說明實施形態2之動作特別指定裝置10的構成。 動作特別指定裝置10係包括學習部26以取代動作資訊登錄部23，此點與第1圖所示的動作特別指定裝置10不同。此外，動作特別指定裝置10係由儲存器13取代動作資訊表單31記憶學習模型32，此點與第1圖所示的動作特別指定裝置10不同。

＊＊＊動作的說明＊＊＊ 茲參照第12圖至第13圖來說明實施形態2之動作特別指定裝置10的動作。 實施形態2之動作特別指定裝置10的動作，係相當於實施形態2的動作特別指定方法。此外，實施形態2之動作特別指定裝置10的動作，係相當於實施形態2之動作特別指定程式的處理。 實施形態2之動作特別指定裝置10的動作，係包含學習處理、及特別指定處理。

茲參照第12圖來說明實施形態2的學習處理。 從步驟S31至步驟S32的處理，係與第2圖的步驟S11至步驟S12的處理相同。此外，步驟S34的處理，係與第2圖之步驟S14的處理相同。

（步驟S33：學習模型產生處理） 學習部26係學習在步驟S32中所抽出的動作資訊、及與動作資訊之抽出來源之圖像資料相同組別之標籤資訊的複數個組別作為學習資料。藉此，當骨骼資訊43被輸入時，學習部26係特別指定類似於所輸入之骨骼資訊43的動作資訊，而產生輸出標籤資訊的學習模型32，該標籤資訊係對應經特別指定後的動作資訊。關於根據學習資料之學習的方法，係可使用既有的機械學習模型等。學習部26係將所產生的學習模型32寫入於儲存器13。 當已產生了學習模型32時，學習部26係對於已產生的學習模型32賦予學習資料，藉此更新學習模型32。

另外，在步驟S31中，不僅圖像資料與標籤資訊的配對（pair），而且可僅輸入圖像資料。此時，在步驟S32中，係從圖像資料抽出動作資訊，在步驟S33中，僅動作資訊作為學習資料被賦予至學習模型32。如此，即使不存在標籤資訊時，亦可獲得一定的學習效果。

茲參照第13圖來說明實施形態2的特別指定處理。 步驟S41至步驟S42的處理，係與第7圖之步驟S21至步驟S22的處理相同。此外，步驟S44至步驟S45的處理，係與第7圖之步驟S24至步驟S25的處理相同。

（步驟S43：動作特別指定處理） 動作特別指定部24係將在步驟S42中所抽出的對象資訊輸入至被記憶於儲存器13中的學習模型32，且取得從學習模型32所輸出的標籤資訊。再者，動作特別指定部24係將所取得之標籤資訊所示的動作內容，予以特別指定作為對象者所進行的動作內容。換言之，動作特別指定部24係將藉由學習模型32從對象資訊推論且輸出之標籤資訊所示的動作內容，予以特別指定作為對象者所進行的動作內容。

＊＊＊實施形態2的效果＊＊＊ 綜上所述，實施形態2的動作特別指定裝置10，係產生學習模型32，且藉由學習模型32來特別指定對應對象資訊的標籤資訊。因此，可有效率地執行對應對象資訊之標籤資訊的特別指定。

＊＊＊其他構成＊＊＊ ＜變形例5＞ 在實施形態2中，如第11圖所示，動作特別指定裝置10係一個裝置。然而，與變形例1同樣地，動作特別指定裝置10亦可為藉由複數個裝置所構成的系統。 以具體例而言，如第14圖所示，動作特別指定裝置10係可為藉由具有關於學習處理之功能的登錄裝置、與具有關於特別指定處理之功能的特別指定裝置所構成的系統。此時，學習模型32係可記憶於設置在學習裝置及特別指定裝置之外部的記憶裝置，亦可記憶於學習裝置與特別指定裝置之任一者的儲存器。 另外，在第14圖中，係省略了登錄裝置及特別指定裝置中的硬體。學習裝置及特別指定裝置係與動作特別指定裝置10同樣地包括處理器、記憶體、儲存器、及通訊介面，以作為硬體。

＜變形例6＞ 在實施形態2中，如第11圖所示，動作特別指定裝置10係包括了處理器11、記憶體12、儲存器13、及通訊介面14，以作為硬體。動作特別指定裝置10亦可包括CPU、GPU、學習處理用的處理器、及推論處理用的處理器，以作為處理器11。此時，關於進行圖像處理的骨骼抽出部22，係可藉由GPU而實現，關於學習模型32之學習相關的學習部26，係可藉由學習處理用的處理器而實現，關於藉由學習模型32進行推論的動作特別指定部24，係可藉由推論處理用的處理器而實現，關於其餘的圖像取得部21、及學習部26，係可藉由CPU而實現。

10:動作特別指定裝置 11:處理器 12:記憶體 13:儲存器 14:通訊介面 15:電子電路 21:圖像取得部 22:骨骼抽出部 23:動作資訊登錄部 24:動作特別指定部 25:輸出部 26:學習部 31:動作資訊表單 32:學習模型 41:攝像裝置 42:人 43:骨骼資訊

第1圖係為實施形態1之動作特別指定裝置10的構成圖。 第2圖係為實施形態1之登錄處理的流程圖。 第3圖係為實施形態1之圖像資料的說明圖。 第4圖係為實施形態1之骨骼資訊43的說明圖。 第5圖係為實施形態1之登錄處理的說明圖。 第6圖係為實施形態1之動作資訊表單（table）31的說明圖。 第7圖係為實施形態1之特別指定處理的流程圖。 第8圖係為實施形態1之特別指定處理的說明圖。 第9圖係為變形例1之動作特別指定裝置10的構成圖。 第10圖係為變形例3之動作特別指定裝置10的構成圖。 第11圖係為實施形態2之動作特別指定裝置10的構成圖。 第12圖係為實施形態2之學習處理的流程圖。 第13圖係為實施形態2之特別指定處理的流程圖。 第14圖係為變形例5之動作特別指定裝置10的構成圖。

10:動作特別指定裝置

11:處理器

12:記憶體

13:儲存器

14:通訊介面

21:圖像取得部

22:骨骼抽出部

23:動作資訊登錄部

24:動作特別指定部

25:輸出部

31:動作資訊表單

Claims (9)

1. 一種動作特別指定裝置，係包括：圖像取得部，係取得關於對象者的圖像資料；骨骼抽出部，係從經由前述圖像取得部所取得的前述圖像資料，抽出屬於表現前述對象者之姿勢而得之骨骼資訊的對象資訊；及動作特別指定部，係將屬於前述骨骼資訊之動作資訊所示的動作內容，予以特別指定作為前述對象者所進行的動作內容，前述骨骼資訊係與經由前述骨骼抽出部所抽出的前述對象資訊類似。
2. 如申請專利範圍第1項之動作特別指定裝置，其中前述骨骼資訊係顯示前述對象者之複數個關節的座標。
3. 如申請專利範圍第1項之動作特別指定裝置，其中前述骨骼資訊係顯示前述對象者之複數個關節之相對的位置關係。
4. 如申請專利範圍第1項至第3項中任一項之動作特別指定裝置，其中前述動作特別指定部係從將前述動作資訊與顯示作業內容之標籤資訊建立對應關係並予以記憶的記憶裝置，檢索與前述對象資訊類似的前述動作資訊，且將已與符合檢索之前述動作資訊建立對應關係之前述標籤資訊所示的動作內容，予以特別指定作為前述對象者所進行的動作內容。
5. 如申請專利範圍第4項之動作特別指定裝置，其中前述動作特別指定裝置係更包括動作資訊登錄部，該動作資訊登錄部係將屬於從關於進行了對象動作之人的圖像資料所抽出之前述骨骼資訊的前述動作資訊、與顯示前述對象動作的前述標籤資訊建立對應關係並予以登錄於前述記憶裝置。
6. 如申請專利範圍第1項至第3項中任一項之動作特別指定裝置，其中前述動作特別指定裝置係更包括學習部，該學習部係藉由學習屬於從關於進行了對象動作之人的圖像資料所抽出之前述骨骼資訊的前述動作資訊、與顯示前述對象動作之標籤資訊的複數個組別作為學習資料，當前述骨骼資訊被輸入時，特別指定類似於所輸入之前述骨骼資訊的前述動作資訊，而產生輸出前述標籤資訊的學習模型，前述標籤資訊係對應經特別指定後的前述動作資訊；前述動作特別指定部係將前述對象資訊輸入於藉由前述學習部所產生的前述學習模型，且取得從前述學習模型所輸出的前述標籤資訊，並將所取得之前述標籤資訊所示的動作內容，予以特別指定作為前述對象者所進行的動作內容。
7. 如申請專利範圍第1項之動作特別指定裝置，其中前述圖像取得部係取得包含關於對象者之複數個圖像資料的影像資料；前述骨骼抽出部係以前述影像資料中所含之前述複數個圖像資料各者為對象，從對象的圖像資料抽出前述對象資訊；前述動作特別指定部係以前述複數個圖像資料各者為對象，根據從對象的圖像資料所抽出的前述對象資訊，而特別指定前述對象之圖像資料所示之前述對象者所進行的動作內容。
8. 一種動作特別指定方法，係包括下列步驟：動作特別指定裝置的圖像取得部取得關於對象者的圖像資料；前述動作特別指定裝置的骨骼抽出部從前述圖像資料，抽出屬於表現前述對象者之姿勢而得之骨骼資訊的對象資訊；前述動作特別指定裝置的動作特別指定部，將屬於與前述對象資訊類似之前述骨骼資訊的動作資訊所示的動作內容，予以特別指定作為前述對象者所進行的動作內容。
9. 一種動作特別指定程式產品，係令電腦發揮作為動作特別指定裝置之功能，該動作特別指定程式產品係進行下列處理：圖像取得處理，係由圖像取得部取得關於對象者的圖像資料；骨骼抽出處理，係由骨骼抽出部從經由前述圖像取得處理所取得的前述圖像資料，抽出屬於表現前述對象者之姿勢而得之骨骼資訊的對象資訊；及動作特別指定處理，係由動作特別指定部將屬於前述骨骼資訊之動作資訊所示的動作內容，予以特別指定作為前述對象者所進行的動作內容，前述骨骼資訊係與經由前述骨骼抽出處理所抽出的前述對象資訊類似。

Images