TW201818297A - 作業辨識裝置以及作業辨識方法 - Google Patents

作業辨識裝置以及作業辨識方法 Download PDF

Info

Publication number
TW201818297A
TW201818297A TW106107761A TW106107761A TW201818297A TW 201818297 A TW201818297 A TW 201818297A TW 106107761 A TW106107761 A TW 106107761A TW 106107761 A TW106107761 A TW 106107761A TW 201818297 A TW201818297 A TW 201818297A
Authority
TW
Taiwan
Prior art keywords
body part
unit
operator
information
association
Prior art date
Application number
TW106107761A
Other languages
English (en)
Inventor
吉村玄太
Original Assignee
三菱電機股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 三菱電機股份有限公司 filed Critical 三菱電機股份有限公司
Publication of TW201818297A publication Critical patent/TW201818297A/zh

Links

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/418—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • Human Resources & Organizations (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Quality & Reliability (AREA)
  • Theoretical Computer Science (AREA)
  • Economics (AREA)
  • Strategic Management (AREA)
  • Operations Research (AREA)
  • Tourism & Hospitality (AREA)
  • Multimedia (AREA)
  • Educational Administration (AREA)
  • Marketing (AREA)
  • Development Economics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Game Theory and Decision Science (AREA)
  • General Business, Economics & Management (AREA)
  • General Engineering & Computer Science (AREA)
  • Manufacturing & Machinery (AREA)
  • Automation & Control Theory (AREA)
  • Image Analysis (AREA)
  • General Factory Administration (AREA)
  • User Interface Of Digital Computer (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本發明包括：感測器資料取得部(210)，取得感測器資料；身體部位資訊取得部(220)，依據感測器資料檢測出作業員(120)的身體部位(121)，取得有關該作業員(120)的身體部位(121)之身體部位資料；物體資訊取得部(230)，依據感測器資料檢測出物體(131)，取得有關該物體(131)之物體資訊；關聯設定部(240)，依據身體部位資訊與物體資訊，進行物體(131)與進行使用該物體(131)的作業之作業員(131)的身體部位(121)之關聯設定；及辨識結果分析部(250)，依據利用關聯設定部(240)關聯設定之有關關聯設定結果的關聯設定資訊，辨識根據作業員(120)所實施的作業。

Description

作業辨識裝置以及作業辨識方法
本發明為有關一種辨識根據作業員的作業內容之作業辨識裝置以及作業辨識方法。
習知以來，使用攝像機影像等取得有關人的身體部位或物體的位置之資訊，辨識、分析人的動作之技術為習知的。
例如，在專利文獻1中，揭露一種將利用兩手進行作業之作業員的動作作為被攝體予以拍攝，將其中尤其是作業員兩手的動作，依據基準被攝體也就是成為基準之作業員的動作進行分析之動作分析裝置。
在專利文獻1所揭露的動作分析裝置中，對每一影像訊框取得兩手的座標，藉由追跡座標，取得兩手的軌跡，在因為攝像機位置問題而無法得到左手、右手的座標之情況下，就從座標消失處的座標推測無法得到該座標之左手或右手的座標。
[先前技術文獻]
[專利文獻]
【專利文獻1】日本特開2011-34234號公報
在如專利文獻1所示之動作分析裝置中，例如在作業中包含物體的移動之情況，但無法取得手或物體的位置之座標的情況下，由於只是單純從座標消失處的座標推測手或物體的座標，有無法高精確度取得表現作業內容的軌跡之課題。
本發明為用以解決上述課題而開發出來者，以提供一種高精確度辨識根據作業員的作業內容之作業辨識裝置以及作業辨識方法為目的。
有關本發明之作業辨識裝置，包括：感測器資料取得部，取得感測器資料；身體部位資訊取得部，依據感測器資料取得部取得的感測器資料，檢測出作業員的身體部位，取得有關該作業員的身體部位之身體部位資訊；物體資訊取得部，依據感測器資料取得部取得的感測器資料，檢測出物體，取得有關該物體之物體資訊；關聯設定部，依據身體部位資訊取得部取得的身體部位資訊與物體資訊取得部取得的物體資訊，進行物體與進行使用該物體的作業之作業員的身體部位之關聯設定；及辨識結果分析部，依據利用關聯設定部關聯設定之有關關聯設定結果之關聯設定資訊，辨識根據作業員所實施之作業。
根據本發明，因為構成為進行物體與進行使用該物體的作業之作業員的身體部位之關聯設定，辨識根據作業員所實施的作業，可以高精確度辨識根據作業員的作業內容。
100‧‧‧作業辨識裝置
111‧‧‧可視光攝像機
112‧‧‧紅外線攝像機
113‧‧‧深度攝像機
114‧‧‧加速度感測器
115‧‧‧迴轉感測器
120‧‧‧作業員
121‧‧‧身體部位
131‧‧‧物體
151‧‧‧顯示器
152‧‧‧揚聲器
153‧‧‧記憶裝置
154‧‧‧控制裝置
210‧‧‧感測器資料取得部
220‧‧‧身體部位資訊取得部
221‧‧‧身體部位檢測部
222‧‧‧身體部位追跡部
223‧‧‧身體部位辨識部
230‧‧‧物體資訊取得部
231‧‧‧物體檢測部
232‧‧‧物體追跡部
233‧‧‧物體辨識部
240‧‧‧關聯設定部
241‧‧‧評分算出部
242‧‧‧整合部
243‧‧‧位置補正部
250‧‧‧辨識結果分析部
251‧‧‧成否判定部
252‧‧‧類別辨別部
253‧‧‧內容比較部
254‧‧‧條件判定部
260‧‧‧輸出控制部
270‧‧‧身體部位資訊記憶部
280‧‧‧物體資訊記憶部
601‧‧‧處理電路
602‧‧‧HDD
603‧‧‧輸入介面裝置
604‧‧‧輸出介面裝置
605、703‧‧‧通訊裝置
606、701‧‧‧CPU
607、702‧‧‧記憶體
圖1為說明有關本發明實施形態1之包括作業辨識裝置之作業辨識系統的整體構成之一例的圖面。
圖2為有關本發明實施形態1之作業辨識裝置的構成圖。
圖3為說明本實施形態1之根據評分算出部之關聯設定評分的算出方法之一例的圖面。
圖4為說明本實施形態1之根據評分算出部之位置座標的軌跡插補、及插補後的關聯設定評分之算出動作的一例之圖面。
圖5為說明本實施形態1之根據位置補正部之位置座標的補正動作之一例的圖面。
圖6A、圖6B為顯示有關本發明實施形態1之作業辨識裝置的硬體構成之一例的圖面。
圖7為顯示實施形態1之控制裝置的硬體構成之一例的圖面。
圖8為說明有關本發明實施形態1之作業辨識裝置的動作之流程圖。
圖9為說明圖8之步驟ST802中之身體部位資訊取得部的詳細動作之流程圖。
圖10為說明圖8之步驟ST803中之物體資訊取得部的詳細動作之流程圖。
圖11為說明圖8之步驟ST805之關聯設定部的詳細動作之流程圖。
圖12為說明在本實施形態1中，根據輸出控制部之作業整體的辨識結果或作業分析結果之輸出例的圖面。
圖13為說明在本實施形態1中，根據輸出控制部之作業整體的辨識結果或作業分析結果之輸出例的圖面。
圖14為說明在本實施形態1中，根據輸出控制部之作業整體的辨識結果或作業分析結果之輸出例的圖面。
以下，針對本發明之實施形態，一邊參照圖面一邊詳細說明。
實施形態1.
圖1為說明有關本發明實施形態1之包括作業辨識裝置100之作業辨識系統的整體構成之一例的圖面。
在該作業系統中，作業辨識裝置100例如依據從可視光攝像機111等接收到的影像資訊、或是從加速度感測器114等接收到的感測資訊，辨識由作業員120使用手等身體部位121及物體131進行的作業，將作業辨識結果、以及依據該作業辨識結果之作業分析結果輸出到外部的裝置等。
由作業員120進行作業時所使用的身體部位121不限於1個。作業員120例如像是右手與左手之使用多個身體部位121進行作業亦可。又，作業員120進行作業時所使用的物體131也不限於1個，作業員120使用多個物體131進行作業亦可。
即，在本實施形態1中，作業員120為使用1個以上的身體部位121、及1個以上的物體131進行作業者。
作業辨識系統如圖1所示，包括：作業辨識裝置100、可視光攝像機111、紅外線攝像機112、深度感測器113、加速度感測器114、迴轉感測器115、顯示器151、揚聲器152、 記憶裝置153、及控制裝置154。
可視光攝像機111、紅外線攝像機112、及深度感測器113為拍攝作業員120附近的拍攝裝置，分別將可視光影像、紅外線影像、及深度影像傳送到作業辨識裝置100。
在本實施形態1中，所謂作業員120的附近為預先設定的範圍，至少包含作業員120在作業時所使用的身體部位121及物體131於作業中所移動的主要範圍。
又，在本實施形態1中，如圖1所示，作業辨識系統雖然是包括可視光攝像機111、紅外線攝像機112、及深度感測器113作為拍攝裝置，但是不限於此，作業辨識系統只要是包括此等的至少1個者即可。
又，在本實施形態1之作業辨識系統中，使用將可視光攝像機111、紅外線攝像機112、及深度感測器113之中的2個以上成為一體之感測器亦可。
又，除了可視光攝像機111、紅外線攝像機112、及深度感測器113以外，包括可拍攝作業員120附近的影像之拍攝裝置亦可。
又，對於可視光攝像機111、紅外線攝像機112、及深度感測器113的各自設置個數並沒有限制，例如為了從不同的視點拍攝作業員120附近，分別設置多個可視光攝像機111、紅外線攝像機112、或深度感測器113亦可。
又，在該實施形態1之作業辨識系統中，對作業員120的身體部位121、或是物體131加註標記亦可。就標記而言，可以使用條碼、或是印刷有特徵性圖形之標記、或是被 可視光或紅外線反射而發光之反射標記、使用特徵性色彩之彩色標記、或是發出紅外線之紅外線標記等。作業辨識裝置100藉由檢測、追跡、或是辨識該標記，可以精確度佳檢測、追跡、或是辨識作業員120的身體部位121、或是物體131。針對作業辨識裝置100的詳細於之後敘述。
在利用標記時，將所有利用的標記為相同的標記亦可，對於每一作業員120的身體部位121、或是物體131為不同的標記亦可。
加速度感測器114安裝在作業員120的身體部位121或物體131的任一者或是兩者，將加速度的時間序列資訊傳送到作業辨識裝置100。
迴轉感測器115安裝在作業員120的身體部位121或物體131的任一者或是兩者，將角加速度的時間序列資訊傳送到作業辨識裝置100。
又，在本實施形態1之作業辨識系統中，如圖1所示，作為可感測到作業員120的身體部位121或物體131的移動之感測器，雖然是包括加速度感測器114及迴轉感測器115者，但不限於此，作業辨識系統只要是包括此等的至少1個即可。
又，作業辨識系統除了加速度感測器114及迴轉感測器115以外，包括可感測到作業員120的身體部位121及物體131的移動之感測器亦可。
以下，匯集可視光攝像機111、紅外線攝像機112、深度感測器113、加速度感測器114、迴轉感測器115稱為感測器，匯集從此等感測器所得到的資料稱為感測器資料。換言 之，利用可視光攝像機111得到的可視光影像、利用紅外線攝像機112得到的紅外線影像、以及利用深度感測器113得到的深度影像等之影像資料也包含在感測器資料。
作業辨識裝置100依據從感測器接收到的感測器資料之中的至少1個，捕捉作業員120的身體部位121及物體131的移動後辨識作業，將作業辨識結果、或是使用該作業辨識結果之作業分析結果，對於顯示器151、揚聲器152、記憶裝置153或控制裝置154的至少1個進行輸出。
顯示器151利用影像等輸出從作業辨識裝置100所輸出的作業辨識結果、或是使用該作業辨識結果之作業分析結果。
揚聲器152利用聲音等輸出從作業辨識裝置100所輸出的作業辨識結果、或是使用該作業辨識結果之作業分析結果。
又，記憶裝置153記憶從作業辨識裝置100所輸出的作業辨識結果、或是使用該作業辨識結果之作業分析結果。
例如，作業辨識裝置100將作業辨識結果長時間記憶在記憶裝置153。作業辨識裝置100將作業辨識結果以多人分記憶在記憶裝置153亦可。進行作業員120的作業管理之管理者等參照記憶在該記憶裝置153的作業辨識結果，進行作業分析、或是製作作業分析報告。如此一來，藉由預先將作業辨識結果等記憶在記憶裝置153，並不是即時的作業辨識，管理者等可以在之後進行作業分析。又，此不過是一例，記憶在記憶裝置153的作業辨識結果以其他方法加以利用亦可。
又，控制裝置154依據因應從作業辨識裝置100 輸出的作業辨識結果、或是使用該作業辨識結果的作業分析結果之控制訊號，進行各種控制。
具體而言，例如控制裝置154依據作業辨識結果等，對於機器人進行輔佐作業員120的作業之控制。藉此，可以配合作業狀況將必要的零件或工具等提供給作業員120、或是在作業員120的作業延遲之情況下挽回作業延遲的方式幫助作業。又，此不過是一例，控制裝置154進行其他的控制亦可。
以下，匯集顯示器151、揚聲器152、記憶裝置153、控制裝置154稱為輸出裝置。
又，本實施形態1之作業辨識系統如圖1所示，雖然是包括顯示器151、揚聲器152、記憶裝置153、控制裝置154，但是不限於此，作業辨識系統只要是包括此等的至少1個即可。
圖2為有關本發明之實施形態1之作業辨識裝置100的構成圖。
如圖2所示，作業辨識裝置100，包括：感測器資料取得部210、身體部位資訊取得部220、物體資訊取得部230、關聯設定部240、辨識結果分析部250、及輸出控制部260。
感測器資料取得部210從可視光攝像機111、紅外線攝像機112、深度感測器113、加速度感測器114、或迴轉感測器115之至少1個的感測器取得感測器資料。
感測器資料取得部210將已取得的感測器資料輸出至身體部位資訊取得部220及物體資訊取得部230。
身體部位資訊取得部220依據感測器資料取得部210輸出的感測器資料，檢測出作業員120的身體部位121， 取得有關作業員120的身體部位121之身體部位資訊。身體部位資訊取得部220將已取得之有關作業員120的身體部位121之身體部位資訊記憶在身體部位資訊記憶部270。
如圖2所示，身體部位資訊取得部220，包括：身體部位檢測部221、身體部位追跡部222、及身體部位辨識部223。
身體部位檢測部221依據感測器資料取得部210輸出的感測器資料，檢測出作業員120的身體部位121，取得該部位121的位置座標。所謂部位121的位置座標，例如是檢測到的身體部位121的任一點之座標亦可，以包含身體部位121的方式予以包圍之矩形的右上及左下之座標亦可，對於作業員120的身體部位121之位置座標為哪一點之座標可以適當設定。
又，身體部位檢測部221將作業員120的身體部位121之位置座標為已取得的影像上之2次元座標亦可，使用深度資訊進行推測之3次元座標亦可。
身體部位檢測部221檢測的部位121之位置座標的原點及座標系列為任意。例如身體部位檢測部221將已取得的影像之左上為原點、右方向為X軸、下方向為Y軸之2次元座標系列亦可，將作業區域的特定點為原點，垂直上方向為Z軸之3次元座標系列亦可。
又，身體部位檢測部221利用任意的方法取得作業員120的身體部位121之位置座標。身體部位檢測部221利用例如SURF(Speed Up Robust Features；加速強健特徵)、或HOG(Histgram of Oriented Gradients；方向梯度直方圖)等之既 有的特徵點基礎之檢測法取得作業員120的身體部位121之位置座標亦可，利用神經網路等模型基礎的檢測方法取得作業員120的身體部位121之位置座標亦可。又，身體部位檢測部221採取只使用從感測器資料部210取得的單一訊框的影像之檢測方法亦可，採取使用多個訊框的影像之檢測方法亦可。又，身體部位檢測部221藉由使用光學影像、紅外線影像或是深度影像等任一種之檢測方法取得作業員120的身體部位121之位置座標亦可，藉由複合使用光學影像、紅外線影像或是深度影像等之檢測方法取得作業員120的身體部位121之位置座標亦可。
身體部位檢測部221在檢測出多個作業員120的身體部位121之情況下，對於每一檢測到的部位121取得位置座標。
身體部位檢測部221將已取得的作業員120的身體部位121之位置座標對應註記取得日期時間之資訊，記憶在身體部位資訊記憶部270。取得日期時間的資訊只要是附隨在從感測器資料取得部210取得的影像訊框的取得日期時間即可。又，身體部位檢測部221在檢測出多個作業員120的身體部位121之情況下，對於每一部位121將位置座標及取得日期時間的資訊對應註記後，記憶在身體部位資訊記憶部270。
身體部位追跡部222取得身體部位檢測部221檢測到的作業員120身體部位121之軌跡。具體而言，身體部位追跡部222將身體部位檢測部221已取得位置座標之作業員120的身體部位121依據從感測器取得的感測器資料進行追跡，取得該部位121之移動後的位置座標。
身體部位追跡部222依據身體部位檢測部221記憶在身體部位資訊記憶部270之關於部位121的資訊，進行作業員120的身體部位121之位置座標的追跡。在身體部位檢測部221檢測到的部位121存在多個的情況下，身體部位追跡部222對該多個部位121的每一個取得移動後的位置座標。
身體部位追跡部222利用任意的追跡方法進行部位121的追跡即可。例如，身體部位追跡部222採取使用更新模版匹配、主動搜索、Mean-shift(平均位移)法、或粒子濾波器等之既有的區域基礎追跡方法進行部位121的追跡亦可，使用KLT法(Kanade-Lucas-Tomasi Feature Tracker特徵點跟蹤)、或SURF Tracking(SURF跟蹤)等之特徵點基礎的檢測方法進行部位121的追跡亦可。
又，身體部位追跡部222藉由使用光學影像、紅外線影像、或深度影像等的任一種的追跡方法進行部位121的追跡亦可，藉由複合使用光學影像、紅外線影像或是深度影像等之檢測方法進行部位121的追跡亦可。
身體部位追跡部222將已取得之作業員120的身體部位121之移動後的位置座標，也就是作業員120的身體部位121之軌跡資訊，連同位置座標的取得日期時間之資訊一起，與記憶在身體部位資訊記憶部270之部位121資訊相互對應後予以記憶。
身體部位辨識部223將由身體部位檢測部221取得位置座標，記憶在身體部位資訊記憶部270之作業員120的身體部位121之種類、形狀、或狀態進行辨識。在本實施形態 1中，所謂作業員120的身體部位121之種類，例如右手、左手、手肘、臉部等。又，此不過是一例，只要是特定作業員120的身體部位121者即可。又，所謂作業員120的身體部位121之形狀或狀態，例如是在作業員120用右手的手掌握住物體131的情況，握住該物體131之右手的形狀、或是作業員120握住該物體131的狀態等。又，此不過是一例，例如作業員120用指尖捏住物體131、作業員120握緊拳頭、作業員120攤開右手等情況也一樣。
身體部位辨識部223利用任意的辨識方法辨識部位121的種類、形狀、或狀態即可。例如利用SURF、或HOG等之既有的特徵點基礎之檢測法辨識部位121的種類、形狀、或狀態亦可，利用神經網路等模型基礎之檢測方法辨識部位121的種類、形狀、或狀態亦可。
又，身體部位辨識部223藉由使用光學影像、紅外線影像、或深度影像等任一種的辨識方法辨識部位121的種類、形狀、或狀態亦可，藉由複合使用光學影像、紅外線影像或是深度影像等之辨識方法辨識部位121的種類、形狀、或狀態亦可。
身體部位辨識部223將部位121的辨識結果之資訊與部位121的資訊相互對應後記憶在身體部位資訊記憶部270。
藉由身體部位檢測部221、身體部位追跡部222、及身體部位辨識部223，使記憶在身體部位資訊記憶部270之有關部位121的資訊成為身體部位資訊。
又，根據身體部位檢測部221、身體部位追跡部222、及身體部位辨識部223之身體部位資訊成為對每一連貫的作業予 以記憶。
物體資訊取得部230依據感測器資料取得部210輸出的感測器資料，檢測出物體131，取得有關物體131之物體資訊。物體資訊取得部230將已取得之有關物體131之物體資訊記憶在物體資訊記憶部280。
物體資訊取得部230如圖2所示，包括：物體檢測部231、物體追跡部232、及物體辨識部233。
物體檢測部231依據感測器資料取得部210輸出的感測器資料，檢測出物體131，取得該物體131的位置座標。所謂物體131的位置座標，例如是檢測到的物體131之任一點的座標亦可，以包含物體131之方式予以包圍之矩形的右上及左下的座標亦可，物體131的位置座標為哪一點的座標為可以適當設定。
物體檢測部231將物體131的位置座標為已取得的影像上之2次元座標亦可，使用深度資訊進行推測之3次元座標亦可。
物體檢測部231檢測的物體131之位置座標的原點及座標系列為任意的。例如，物體檢測部231將已取得的影像之左上為原點，右方向為X軸、下方向為Y軸之2次元座標系列亦可，將作業區域的特定點為原點，垂直上方向為Z軸之3次元座標系列亦可。
又，物體檢測部231為利用任意的方法取得物體131的位置座標者。物體檢測部231例如利用SURF(Speed Up Robust Features；加速強健特徵)、或是、HOG(Histgram of Oriented Gradients；方向梯度直方圖)等之既有的特徵點基礎 之檢測法取得物體131的位置座標亦可，利用神經網路等的模型基礎之檢測方法取得物體131的位置座標亦可。又，物體檢測部231採取只使用從感測器資料取得部210取得之單一訊框的影像之檢測方法亦可，使用多個訊框的影像之檢測方法亦可。又，物體檢測部231藉由使用光學影像、紅外線影像、或深度影像等的任一種的檢測方法取得物體131的位置座標亦可，藉由複合使用光學影像、紅外線影像或是深度影像等之檢測方法取得物體131的位置座標亦可。
物體檢測部231在檢測出多個物體131的情況下，對每一檢測到的物體131取得位置座標。
物體檢測部231將已取得的物體131的位置座標對應註記取得的日期時間之資訊，記憶在物體資訊記憶部280。取得的日期時間之資訊只要是附隨在從感測器資料取得部210取得的影像訊框之取得日期時間即可。又，物體檢測部231在檢測出多個物體131之情況下，對於每一物體131，將位置座標及取得的日期時間之資訊對應註記後記憶在物體資訊記憶部280。
物體追跡部232取得由物體檢測部231檢測到的物體131之軌跡。具體而言，物體追跡部232將物體檢測部231已取得位置座標的物體131依據從感測器取得的感測器資料進行追跡，取得該物體131之移動後的位置座標。
物體追跡部232依據物體檢測部231記憶在物體資訊記憶部280之有關物體131的資訊，進行物體131的位置座標之追跡。在物體檢測部231檢測到的物體131存在多個的情況下， 物體追跡部232對該多個物體131的每一個取得移動後的位置座標。
物體追跡部232利用任意的追跡方法進行物體131的追跡即可。例如，物體追跡部232採取使用更新模版匹配、主動搜索、Mean-shift(平均位移)法、或粒子濾波器等之既有的區域基礎的追跡方法進行物體131的追跡亦可，使用KLT法(Kanade-Lucas-Tomasi Feature Tracker特徵點跟蹤)、或、SURF Tracking(SURF跟蹤)等之特徵點基礎的檢測方法進行物體131的追跡亦可。
又，物體追跡部232藉由使用光學影像、紅外線影像、或深度影像等的任一種的追跡方法進行物體131的追跡亦可，藉由複合使用光學影像、紅外線影像或是深度影像等之檢測方法進行物體131的追跡亦可。
物體追跡部232將已取得的物體131之移動後的位置座標，也就是物體131的軌跡資訊，連同位置座標之取得的日期時間之資訊一起，與記憶在物體資訊記憶部280之物體131的資訊相互對應後予以記憶。
物體辨識部233將由物體檢測部231取得位置座標，記憶在物體資訊記憶部280之物體131之種類、形狀、或狀態進行辨識。在本實施形態1中，所謂物體131的種類，例如是作業員120在進行組裝作業情況所使用之特定物體131的資訊，組裝對象的各零件或組裝工具等。又，所謂物體131的形狀或狀態，例如是在作業員120在使用某零件進行組裝作業的情況下，該零件的方向、或將該零件組裝在基板之狀態等。 又，此不過是一例，例如作業員120使用工具進行作業的情況也一樣。
物體辨識部233利用任意的辨識方法辨識物體131的種類、形狀、或狀態即可。例如利用SURF、或HOG等之既有的特徵點基礎之檢測法辨識物體131的種類、形狀、或狀態亦可，利用神經網路等模型基礎之檢測方法辨識物體131的種類、形狀、或狀態亦可。
又，物體辨識部233藉由使用光學影像、紅外線影像、或深度影像等的任一種的辨識方法辨識物體131的種類、形狀、或狀態亦可，藉由複合使用光學影像、紅外線影像或是深度影像等之辨識方法辨識物體131的種類、形狀、或狀態亦可。
物體辨識部233將物體131的辨識結果之資訊與物體131的資訊相互對應後記憶在物體資訊記憶部280。
藉由物體檢測部132、物體追跡部232、及物體辨識部233，使記憶在物體資訊記憶部280之有關物體131的資訊成為物體資訊。
又，根據物體檢測部231、物體追跡部232、及物體辨識部233之物體資訊為對每一連貫的作業予以記憶。
關聯設定部240依據由身體部位資訊取得部220記憶在身體部位資訊記憶部270之關於作業員120的身體部位121之身體部位資訊與由物體資訊取得部230記憶在物體資訊記憶部280之有關物體131的物體資訊，進行物體131與進行使用該物體131的作業之作業員120的身體部位121之關聯設定。關聯設定部240將關聯設定結果輸出到辨識結果分析部 250。
關聯設定部240，包括：評分算出部241、整合部242、與位置補正部243。
評分算出部241使用由身體部位資訊取得部220記憶在身體部位資訊記憶部270之有關作業員120的身體部位121之身體部位資訊與由物體資訊取得部230記憶在物體資訊記憶部280之有關物體131的物體資訊，算出表示作業員120的體部部121與物體131的關聯度之關聯設定評分。作業員120的身體部位121與物體131之關聯度表示對於物體131的移動與哪個作業員120的身體部位121相關聯之可能性為高，關聯設定評分越高，判斷為作業員120的身體部位121與物體131相關聯的可能性越高。
評分算出部241利用任意的方法算出關聯設定評分即可。例如，評分算出部241以作業員120的身體部位121與物體131的位置座標越接近，關聯設定評分就越高亦可，作業員120的身體部位121之移動方向與物體131的移動方向越接近，關聯設定評分就越高亦可。又，例如，評分算出部241在作業員120的身體部位121握拿物體131的形狀時，關聯設定評分越高亦可。
其中，圖3為說明本實施形態1之根據評分算出部241之關聯設定評分的算出方法之一例的圖面。
在圖3中，藉由身體部位資訊取得部220，檢測到部位X與部位Y作為身體部位121並取得身體部位資訊，藉由物體資訊取得部230，檢測到物體A~D作為物體131並取得物體資 訊。又，在圖3中，其為得到部位X、Y與物體A~D之10秒間的位置座標之軌跡的資訊，在圖3上以0~10的數字表示該10秒間的位置。
例如，針對從0~2秒後之2秒間的物體A，在該物體A的周圍雖然存在有部位X與部位Y，但是物體A與部位X的位置座標比物體A與部位Y的位置座標更靠近。即，物體A與部位X的距離者比物體A與部位Y的距離更近。
因此，根據評分算出部241，物體A設定為與該物體A的距離更近之部位X的關聯設定評分比與部位Y的關聯設定評分更高。
同樣，針對從8~10秒後之2秒間亦同，根據評分算出部241，物體A與該物體A的距離更近之部位X的關聯設定評分設定為比與部位Y的關聯設定評分更高。
又，例如針對3秒後的部位Y，當成為握持物體B的形狀時，評分算出部241將物體B與部位Y的關聯設定評分設定為高。
如此一來，評分算出部241利用任意的方法，關於作業員120的身體部位121與物體131的組合，算出表示對於物體131的移動與哪個身體部位121相關聯之可能性為高的關聯設定評分。
又，如上述所示，使用圖3說明之根據評分算出部241之關聯設定評分的算出方法只不過是一例，評分算出部241利用其他方法算出關聯設定評分亦可，依據預先設定的基準，設定對於作業中的物體131與作業員120的身體部位121的組合之 關聯強度即可。
又，評分算出部241在物體資訊取得部230對於物體131的檢測、或追跡失敗，而判斷為中斷物體131的位置座標之軌跡的情況下，結合該物體131的位置座標之消失點與檢測點後，插補位置座標的軌跡，算出關聯設定評分亦可。
其中，圖4為說明本實施形態1之根據評分算出部241之位置座標的軌跡插補、及插補後的關聯設定評分之算出動作的一例之圖面。
在圖3中，針對物體A，在2秒後檢測出位置座標後，直到8秒後位置座標的軌跡被中斷。因此，使用圖4，說明針對圖3所示之軌跡中斷的物體A，評分算出部241插補位置座標的軌跡，並針對已插補該軌跡之物體A，算出與部位X、Y之關聯設定評分的動作之一例。
首先，評分算出部241如圖4的虛線所示，結合物體A的消失點與檢測點，插補物體A的位置座標之軌跡。
其次，評分算出部241在已插補的位置座標之軌跡中，算出物體A與部位X、Y的關聯設定評分。
例如，針對已插補之3秒後的物體A之位置座標，比起部位X，部位Y更靠近。然而，位置座標消失點與位置座標檢測點，即在2秒後及8秒後，與物體A算出更高關聯設定評分者為部位X。因此，例如，評分算出部241在位置座標的軌跡被中斷的期間亦同，在伴隨物體A的移動之作業中，判斷部位X被使用的可能性為高，因此針對物體A，與部位X的關聯設定評分設定為比部位Y的關聯設定評分更高。
評分算出部241並不是只考量在物體131的位置座標被中斷期間之插補的位置座標、及與存在於周圍之部位121的位置關係，可以在考量該物體131的消失點與檢測點，即位置座標中斷的前後之與作業員120的身體部位121之關聯設定後，進行關聯設定評分的算出。
又，如上述所示，使用圖4說明之根據評分算出部241之位置座標的軌跡插補、及插補後的關聯設定評分之算出方法不過是一例，評分算出部241利用其他方法進行位置座標的軌跡插補、及插補後的關聯設定評分之算出亦可。
例如，評分算出部241若作業員120的身體部位121朝同一方向移動時，將關聯設定評分設定為高亦可。
具體而言，例如作業員120利用右手將某零件V以地點a→地點b→地點c→地點d，從地點a移動到地點d。此時，由於在地點b中物體檢測部231無法檢測到零件V，因此物體追跡部232在中途無法進行該零件V的追跡，在地點c中物體檢測部231再次檢測到零件V，物體追跡部232再開始該零件V的追跡。又，在該情況下，地點b為消失點，地點c為檢測點。物體追跡部232雖然可以取得地點a→地點b之位置座標的軌跡、與地點c→地點d之位置座標的軌跡，但是無法取得地點b→地點c之位置座標的軌跡之狀態。又，物體辨識部233無法辨識地點a→地點b的物體131、與地點c→地點d的物體131是同一物體131或不同物體131。
在這樣的情況下，評分算出部241例如嘗試利用直線插補等，插補地點b→地點c之物體131的軌跡，若地點a→地點b→ 地點c→地點d之物體131的移動方向、與右手的移動方向一致的話，就判斷利用右手將零件V從地點a→地點b→地點c→地點d移動，零件V與右手的關聯設定評分為高。藉由關聯設定評分變高，之後，整合部242在決定作業員120的身體部位121與物體131的組合時，易於選擇該關聯設定，其結果為可以平順地插補地點b→地點c的軌跡中斷。針對整合部242於之後敘述。
又，評分算出部241在判斷消失點與檢測點的物體131為同一個時，在該消失點與檢測點中與物體131關聯設定之與部位121的關聯設定評分為高亦可。
例如，在上述的例示中，物體辨識部233辨識出地點a→地點b的物體131、與地點c→地點d的物體131兩者的任一個都是零件V。在該情況下，評分算出部241插補地點b→地點c之位置座標的軌跡，將零件V與右手的關聯設定評分為高。
又，評分算出部241在消失點與檢測點的位置座標之差為一定值以下時，在作業員120的身體部位121中，當該物體131沒有移動時關聯設定評分為高亦可。
例如，藉由將左手瞬間通過靜止的零件W之上，物體檢測部231無法瞬間檢測到零件W。評分算出部241在物體檢測部231無法檢測到零件W的前後，若該零件W的位置沒有變更，判斷該零件W並不是利用左手予以移動，當零件W不是利用左手移動時關聯設定評分為高。評分算出部241將零件W與左手的關聯設定評分設定為低亦可。
評分算出部241依據預先設定的基準，進行物體 131之位置座標的軌跡插補、及插補後之關連設定評分的設定即可。
評分算出部241將已算出的關聯設定評分之資訊輸出到整合部242。
整合部242使用藉由評分算出部241算出之關聯設定評分，在取得成為作業的整合之範圍內，決定關聯設定評分最大化之作業員120的身體部位121與物體131的組合。換言之，依據已關聯設定作業員120的身體部位121與物體131之關聯設定結果，物體131、與判斷為與該物體131有第1關聯性之作業員120的身體部位121成為組合。
用以取得到成為作業之整合的條件為任意的。例如，整合部242以相同身體部位121不會在同一時刻存在於分開一定值以上的位置座標、或是相同物體131不會在相同時刻與多個矛盾的動作相關聯等作為用以得到整合的條件。整合部242決定滿足該條件、而且將關聯設定評分的總和最大化之作業員120的身體部位121與物體131的組合。
其中，說明整合部242針對如圖3、圖4所示之在0~10秒後的10秒間檢測到的物體A~D，決定與部位X、Y的組合之動作的一例。
首先，針對物體A，使用圖3、4，如上述所示，在從0~10秒後之間，根據評分算出部241將與部位X的關聯設定評分設定為高。因此，整合部242判斷物體A為利用部位X進行伴隨移動的作業，組合物體A與部位X。
又，針對物體B，從0~3秒後的位置座標為不變，在從3 ~10秒後之間，根據評分算出部241將與部位Y的關聯設定評分設定為高。因此，整合部242判斷物體B為利用部位Y在3秒後開始移動，一直移動到10秒後檢測到的位置座標者，組合物體B與部位Y。
又，如果在使用圖4說明之根據評分算出部241之位置座標的軌跡插補、及關聯設定評分算出動作中，評分算出部241針對3秒後的物體A，以位置座標的遠近度為優先，算出與部位Y的關聯設定評分比與部位X的關聯設定評分更高。只依據物體A的資料，3秒後的物體A之插補位置則如圖4所示，由於比起部位X更靠近部位Y，若只是依據位置座標的遠近度，會發生這樣的關聯設定評分之計算。在該情況下，部位Y在3秒後之中，與物體A及物體B都是設定高關聯設定評分。
因此，整合部242在得到成為作業之整合之範圍內，決定部位Y應與物體A、B的哪一個組合。
具體而言，例如在3秒後之中，若部位Y為握持物體B的形狀時，因為物體B是使用部位Y進行作業的可能性為高，因此整合部242判斷部位Y與物體B進行組合可以得到成為作業的整合，組合物體B與部位Y。
或者，例如整合部242從前後之物體B與部位X、Y的組合，判斷物體B與部位X、Y的哪一個組合者可得到整合亦可。其中，在0~2秒、及8~10秒之間，部位X設定為與物體A的關聯設定評分為高。換言之，可以說是物體A為使用部位X進行作業來作為連貫的動作，得到成為作業之整合。因此，整 體部242在3秒後之中組合物體B與部位Y。
又，針對物體C、D，在10秒間位置座標沒有移動。又，在8~10秒後之間，雖然在周圍檢測到部位X、Y，但是部位X、Y各自存在有關聯設定評分設定為比物體C更高，可判斷為進行伴隨移動的作業之物體A、B。在8~10秒後之間，當將沒有移動之物體C、D與部位X、Y組合時，成為作業會產生矛盾。因此，整合部242針對物體C、D，判斷沒有進行使用部位X、Y的作業，因此不進行與部位X、Y的組合。
又，上述的方法不過是一例，整合部242利用預先設定的適當方法，判斷得到成為作業的整合之範圍，決定作業員120的身體部位121與物體131的組合即可。
整合部242將決定後之作業員120的身體部位121與物體131的組合輸出到位置補正部243。
位置補正部243使用藉由整合部242決定之作業員120的身體部位121與物體131的組合，補正作業員120的身體部位121或物體131、或兩者的位置座標。
位置補正部243使用任意的補正方法補正作業員120的身體部位121或物體131、或兩者的位置座標即可。例如位置補正部243在物體131的位置座標被中斷的情況下，配合與該物體131組合之部位121的軌跡，插補該物體131的位置座標亦可，反之，在部位121之位置座標的軌跡被中斷的情況下，配合與該部位121組合之物體131的軌跡，插補該部位121的位置座標亦可。
其中，圖5為說明本實施形態1之根據位置補正部243之位置座標的補正動作之一例的圖面。
在圖5中，作為一例，說明位置補正部243補正如圖4所示之根據評分算出部241插補位置座標、根據整合部242與部位X組合之物體A的從2~8秒後之間的位置座標之動作。
在圖4中，針對以虛線所示之插補位置座標後之物體A的軌跡，位置補正部243配合與該物體A組合之部位X的位置座標之軌跡，補正位置座標。
其結果為如圖5所示，在從2~8秒後之間，物體A的位置座標與部位X相同的軌跡。
又，如上述所示，使用圖5說明之位置補正部243的動作不過是一例，位置補正部243利用其他方法進行位置座標的補正亦可。
例如，位置補正部243在插補時，位置補正部243為直接複製軌跡，以軌跡的始點與終點不會不連續的方式對齊始點與終點的位置，補正關聯設定之部位121或物體131的位置座標亦可。
具體而言，例如，利用右手將零件Z從地點e→地點f→地點g→地點h移動，在地點f→地點g零件Z的軌跡被中斷，在插補該中斷期間的位置座標時，位置補正部243例如利用相同時刻之右手的位置座標軌跡，插補地點f→地點g之零件Z的位置座標軌跡。在該情況，因為零件Z的位置座標與右手的位置座標可能不一致，因此在地點f→地點g中，預測到零件Z的位置座標軌跡為不自然地不連續。因此，位置補正部243以 軌跡的始點與終點不會不連續的方式對齊始點與終點的位置，使零件Z可描繪出自然也就是連續的軌跡之方式，補正該零件Z的位置座標亦可。
如此一來，例如即使在物體131的位置座標軌跡被中斷的情況下，考量作業員120的身體部位121與物體131的關聯設定，可以進行作業員120的身體部位121、或物體131的軌跡之插補。藉此，例如從座標消失處的座標推測無法取得座標之左手、或右手的座標等，與不考量物體與作業員的身體部位之對應關係，單獨利用作業員的身體部位或物體進行軌跡的插補之習知技術相比，可以更高精確度進行軌跡的插補。
位置補正部243將補正後之作業員120的身體部位121及物體131的位置座標、與組合結果的資訊作為關聯設定資訊輸出到辨識結果分析部250。又，位置補正部243在不進行補正的情況下，將補正前的位置座標輸出到辨識結果分析部250。
辨識結果分析部250依據關聯設定部240輸出的關聯設定資訊，辨識經過連貫的作業之作業整體的辨識結果。又，辨識結果分析部250依據作業整體的辨識結果，分析作業。所謂作業整體的辨識結果，在此意指物體131與進行使用該物體131的作業的部位121相關關的關聯設定資訊，顯示作業的連貫流程之資訊。
接著，辨識結果分析部250將關於作業整體的辨識結果、或分析該辨識結果之分析結果的資訊輸出到輸出控制部260。
辨識結果分析部250，包括：成否判定部251、類 別辨別部252、內容比較部253、及條件判定部254。
成否判定部251使用關聯設定部240決定的作業員120的身體部位121與物體131之關聯設定資訊，判定是否達成規定的作業。具體而言，例如預先記憶對每一物體131登錄有使用該物體131作業員120應進行的作業之作業一覽表，依據該記憶的作業一覽表與關聯設定資訊，成否判定部251判定作業員120是否達成應進行的作業。又，此不過是一例，成否判定部251利用其他方法判定是否達成規定的作業亦可。
成否判定部251將是否達成規定的作業之判定結果輸出到輸出控制部260。
類別辨別部252使用關聯設定部240決定的作業員120的身體部位121與物體131之關聯設定資訊，辨別符合規定的作業類別的哪一個。具體而言，例如預先記憶對每一作業該使用哪個物體131進行怎樣的動作之順序予以標記、類別區分之作業類別資訊，依據該記憶的作業類別資訊與關聯設定資訊，類別辨別部252辨別作業員120所進行的作業是符合規定的作業類別的哪一個。又，此不過是一例，類別辨別部252利用其他方法，辨別符合規定的作業類別的哪一個亦可。
類別辨別部252將符合規定的作業類別的哪一個之辨別結果輸出到輸出控制部260。
內容比較部253使用關聯設定部240決定的作業員120的身體部位121與物體131之關聯設定資訊，藉由將作業員120所實施的作業與其他作業相比，分析作業員120所實施的作業內容。具體而言，例如預先將成為範本之根據其他作 業員的作業記憶為作業履歷，依據該記憶的作業履歷與關聯設定資訊，內容比較部253比較作業內容，與其他作業員的作業進行比較，判斷例如有不夠的作業、有多餘的作業、作業時間延遲、超速等。又，此不過是一例，內容比較部253利用其他的方法比較作業內容亦可。
內容比較部253將作業內容的比較結果輸出到輸出控制部260。
條件判定部254使用關聯設定部240決定的作業員120的身體部位121與物體131之關聯設定資訊，判定作業內容是否滿足規定的條件。具體而言，依據預先記憶之如上述的作業類別資訊、關聯設定資訊，條件判定部254判定作業員120作業所需時間是否過長等的條件。又，條件為可適當設定，條件判定部254為判定是否滿足其他條件亦可。
又，本實施形態1之辨識結果分析部250雖然如圖2所示，包括成否判定部251、類別辨別部252、內容比較部253、及條件判定部254，但是不限於此，辨識結果分析部250包括成否判定部251、類別辨別部252、內容比較部253、及條件判定部254之中的至少1個即可。
又，辨識結果分析部250連同使用根據成否判定部251、類別辨別部252、內容比較部253、或條件判定部254之作業整體的辨識結果之作業分析結果，將關聯設定部240輸出的關聯設定資訊，也就是作業整體的辨識結果也一併輸出到輸出控制部260。
輸出控制部260將辨識結果分析部250輸出的作 業整體的辨識結果輸出到輸出裝置的至少1個。
又，輸出控制部260在接收到分析結果輸出指示的情況下，將使用辨識結果分析部250輸出的作業整體的辨識結果之作業分析結果輸出到輸出裝置的至少1個。
使用者可以使用輸入裝置(省略圖示)，指定欲輸出的分析結果，指示接收部(省略圖示)接收來自該使用者的指定作為分析結果輸出指示，對辨識結果分析部250進行輸出指示。
接著，輸出控制部260將從辨識結果分析部250輸出的作業分析結果輸出到輸出裝置的至少1個。
具體而言，例如當從辨識結果分析部250的成否判定部251輸出是否達成規定的作業之判定結果的資訊時，輸出控制部260在顯示器151以○、×表示判定結果。或是輸出控制部260在揚聲器152輸出因應判定結果之聲音亦可，在記憶裝置153記憶判定結果亦可。輸出控制部260因應判定結果將不同的控制訊號傳送到控制裝置154亦可。
又，例如當從辨識結果分析部250的類別辨別部252輸出作業類別的資訊時，輸出控制部260在顯示器151顯示表示作業類別的影像。或是輸出控制部260以揚聲器152輸出因應作業類別的聲音亦可，在記憶裝置153記憶作業類別亦可。輸出控制部260因應作業類別將不同的控制訊號傳送到控制裝置154亦可。
又，例如當從辨識結果分析部250的內容比較部253輸出作業的比較結果之資訊時，輸出控制部260在顯示器151顯示表示作業的比較結果之資訊的影像。或是輸出控制部 260以揚聲器152輸出作業不足的聲音或聲響亦可，在記憶裝置153記憶比較結果亦可。輸出控制部260因應比較結果將不同的控制訊號傳送到控制裝置154亦可。
又，例如當從辨識結果分析部250的條件判定部254輸出作業內容是否滿足規定的條件之判定結果的資訊時，輸出控制部260在顯示器151顯示作業過於延遲的表示。或是輸出控制部260以揚聲器152輸出作業過於延遲的聲音或聲響亦可，在記憶裝置153記憶判定結果亦可。輸出控制部260因應比較結果將不同的控制訊號傳送到控制裝置154亦可。
身體部位資訊記憶部270記憶身體部位資訊取得部220取得之有關作業員120的身體部位121之身體部位資訊。
物體資訊記憶部280記憶物體資訊取得部230取得之有關物體131之物體資訊。
又，其中，雖然如圖2所示，作業辨識裝置100構成為包括身體部位資訊記憶部270、物體資訊記憶部280，但不限於此，身體部位資訊記憶部270及物體資訊記憶部280包括於作業辨識裝置100的外部之作業辨識裝置100可參照的場所亦可。
又，將身體部位資訊記憶部270及物體資訊記憶部280構成為1個記憶媒體亦可。
圖6A、圖6B為顯示有關本發明之實施形態1之作業辨識裝置100的硬體構成之一例的圖面。
在本發明之實施形態1中，身體部位資訊取得部220、物體資訊取得部230、關聯設定部240、辨識結果分析部250、輸 出控制部260的各機能可藉由處理電路601予以實現。換言之，作業辨識裝置100包括用以對已取得的感測器資料進行辨識根據作業員120的作業之處理，並且進行輸出辨識結果等的控制之處理電路601。
處理電路601如圖6A所示為專用的硬體亦可，如圖6B所示為執行儲存在記憶體607的程式之CPU(Central Processing Unit；中央處理單元)606亦可。
在處理電路601為專用的硬體之情況下，處理電路601例如相當於單一電路、複合電路、經程式化的處理器、並聯程式化處理器、ASIC(Application Specific Integrated Circuit；特殊應用積體電路)、FPGA(Field Programmable Gate Array；場效可程式邏輯閘陣列)、或是組合此等者。
在處理電路601為CPU606的情況，身體部位資訊取得部220、物體資訊取得部230、關聯設定部240、辨識結果分析部250、輸出控制部260的各機能可藉由軟體、韌體、或軟體與韌體的組合予以實現。換言之，身體部位資訊取得部220、物體資訊取得部230、關聯設定部240、辨識結果分析部250、輸出控制部260藉由執行記憶在HDD(Hard Disk Drive；硬碟裝置)602、記憶體607等的程式之CPU606、系統LSI(Large-Scale Integration；大型積體電路)等處理電路予以實現。又，記憶在HDD602、記憶體607等之程式可以說是在電腦執行身體部位資訊取得部220、物體資訊取得部230、關聯設定部240、辨識結果分析部250、輸出控制部260的順序或方法者。其中，所謂記憶體607，例如相當於RAM(Random Access Memory；隨機存取記憶體)、ROM(Read Only Memory；唯讀記憶體)、快閃記憶體、EPROM(Erasable Programmable ROM；可抹除程式化唯讀記憶體)、EEPROM(Electrically EPROM；電子式可抹除程式化唯讀記憶體)等非揮發性或揮發性的半導體記憶體、磁碟、軟碟、光碟、壓縮光碟、迷你光碟或DVD(Digital Versatile Disc；數位多功能影音光碟)等。
又，針對身體部位資訊取得部220、物體資訊取得部230、關聯設定部240、辨識結果分析部250、輸出控制部260的各機能，一部分利用專用的硬體予以實現，一部分利用軟體或韌體予以實現亦可。例如針對身體部位資訊取得部220為藉由作為專用硬體之處理電路601實現其機能，針對物體資訊取得部230、關聯設定部240、辨識結果分析部250、輸出控制部260可藉由處理電路讀出、執行儲存在記憶體607的程式實現其機能。
又，作業辨識裝置100具有與可視光攝像機111、紅外線攝像機112、深度感測器113、加速度感測器114、迴轉感測器115、顯示器151、揚聲器152等外部機器進行通訊之通訊裝置605。
感測器資料取得部210利用通訊裝置605，構成從可視光攝像機111、紅外線攝像機112、深度感測器113、加速度感測器114、迴轉感測器115等取得感測器資料之輸入介面裝置603。
又，作業辨識裝置100具有用以輸出作業辨識結果等之輸出介面裝置604。輸出控制部260利用通訊裝置605與顯示器 151、揚聲器152等進行通訊，利用輸出介面裝置604對於顯示器151、揚聲器152等輸出作業辨識結果等。
身體部位資訊記憶部270、物體資訊記憶部280例如使用HDD602。又，此不過是一例，身體部位資訊記憶部270、物體資訊記憶部280藉由DVD、記憶體607等予以構成亦可。
又，作業辨識裝置100構成為具有用以預先記憶作業辨識結果等之輔助記憶裝置(省略圖示)亦可。
圖7為顯示實施形態1之控制裝置154的硬體構成之一例的圖面。
控制裝置154具有與作業辨識裝置100進行通訊之通訊裝置703，利用該通訊裝置703，接收作業辨識裝置100經由通訊裝置605傳送的作業辨識結果等。
又，控制裝置154例如具有產生用以使伺服器等驅動裝置(省略圖示)動作之指令訊號的CPU701。
又，控制裝置154具有暫時儲存利用通訊裝置703接收到的作業辨識結果等、與例如用以使伺服器等驅動裝置動作的指令訊號之記憶體702。
通訊裝置703進行來自作業辨識裝置100之作業辨識結果的接收、以及用以使伺服器等驅動裝置動作之指令訊號的傳送。
針對有關本實施形態1之作業辨識裝置100的動作進行說明。
圖8為說明有關本發明實施形態1之作業辨識裝置100的動作之流程圖。
感測器資料取得部210從可視光攝像機111、紅外線攝像機112、深度感測器113、加速度感測器114、迴轉感測器115之至少1個感測器取得感測器資料(步驟ST801)。
感測器資料取得部210將已取得之感測器資料輸出到身體部位資訊取得部220及物體資訊取得部230。
身體部位資訊取得部220依據感測器資料取得部210輸出的感測器資料，取得有關作業員120的身體部位121之身體部位資訊(步驟ST802)。
圖9為說明圖8之步驟ST802之身體部位資訊取得部220的詳細動作之流程圖。
身體部位資訊取得部220的身體部位檢測部221從身體部位資訊記憶部270取得已取得之身體部位資訊(步驟ST901)。
身體部位檢測部221依據從身體部位資訊記憶部270取得的身體部位資訊，在包含於從感測器資料取得部210輸出的感測器資料之光學影像、紅外線影像、或深度影像之前訊框中，判定是否檢測到作業員120身體的各部位121(步驟ST902)。又，身體部位檢測部221從包含在身體部位資訊的位置資訊取得日期時間、與現在的日期時間判斷前訊框即可。
在步驟ST902中，在沒有利用前訊框檢測出部位121的情況(步驟ST902之”NO(否)”情況)，身體部位檢測部221從感測器資料取得部210輸出的感測器資料，檢測作業員120的身體部位121(步驟ST903)，在檢測出作業員120的身體部位121的情況(步驟ST904之”YES(是)”情況)，取得該部位121的位置座標(步驟ST907)。
接著，身體部位檢測部221將已取得之作業員120的身體部位121之位置座標資訊對應註記取得的日期時間，記憶在身體部位資訊記憶部270。
在沒有檢測出作業員120的身體部位121之情況(步驟ST904之”NO”情況)，朝圖8的步驟ST803前進。
在步驟ST902中，利用前訊框已檢測出部位121的情況(步驟ST902之”YES”情況)，身體部位資訊取得部220的身體部位追跡部222對於身體部位檢測部221在前訊框中已取得位置座標之作業員120的身體部位121進行追跡(步驟ST905)，在可追跡作業員120的身體部位121的情況(步驟ST906之”YES”情況)，取得該部位121之移動後的位置座標(步驟ST907)。
接著，身體部位追跡部222將已取得的位置座標資訊對應註記取得的日期時間，記憶在身體部位資訊記憶部270。
在無法追跡作業員120的身體部位121的情況(步驟ST906之”NO”情況)，朝圖8的步驟ST803前進。
身體部位辨識部223辨識由身體部位檢測部221取得位置座標、記憶在身體部位資訊記憶部270之作業員120的身體部位121之種類、形狀或狀態(步驟ST908)。
如此一來，圖9所示之從步驟ST901~步驟ST908之一連的處理為根據身體部位資訊取得部220之包含在感測器資料取得部210輸出之感測器資料的光學影像、紅外線影像、或深度影像的1訊框分之身體部位資訊取得處理。
回到圖8的流程圖。
物體資訊取得部230依據感測器資料取得部210輸出之感測器資料，取得有關作業員120作業時所用的物體131之物體資訊(步驟ST803)。
圖10為說明圖8之步驟ST803之物體資訊取得部230的詳細動作之流程圖。
物體資訊取得部230的物體檢測部231從物體資訊記憶部280取得已取得之物體資訊(步驟ST1001)。
物體檢測部231依據從物體資訊記憶部280取得的物體資訊，針對各物體131，在從感測器資料取得部210輸出之感測器資料之光學影像、紅外線影像、或深度影像之前訊框中，判定是否已檢測出(步驟ST1002)。又，物體檢測部231只要從包含在物體資訊之位置資訊取得日期時間的資訊、與現在的日期時間資訊判斷前訊框即可。
在步驟ST1002中，在沒有利用前訊框沒有檢測到物體131的情況(步驟ST1002之”NO”情況)，物體檢測部231依據從感測器資料取得部210輸出之感測器資料，檢測物體131(步驟ST1003)，在檢測出物體131的情況(步驟ST1004之”YES”情況)，取得該物體131的位置座標(步驟ST1007)。
接著，物體檢測部231將已取得之物體131的位置座標資訊對應註記取得的日期時間資訊，記憶在物體資訊記憶部280。
在沒有檢測出物體131的情況(步驟ST1004之”NO”情況)，朝圖8的步驟ST804前進。
在步驟ST1002中，利用前訊框檢測出物體131的情況(步驟ST1002之”YES”情況)，物體資訊取得部230的物體 追跡部232對於由物體檢測部231在前訊框中已取得位置座標之物體131進行追跡(步驟ST1005)，在可追跡物體131的情況(步驟ST1006之”YES”情況)，取得物體131之移動後的位置座標(步驟ST1007)。
接著，物體追跡部232將已取得的位置座標資訊對應註記取得的日期時間資訊，記憶在物體資訊記憶部280。
在無法追跡物體131的情況(步驟ST1006之”NO”情況)，朝圖8的步驟ST804前進。
物體辨識部233辨識由物體檢測部231取得位置座標、記憶在物體資訊記憶部280之物體131的種類、形狀或狀態(步驟ST1008)。
如此一來，圖10所示之從步驟ST1001~步驟ST1008之一連的處理為根據物體資訊取得部230之包含在感測器資料取得部210輸出之感測器資料的光學影像、紅外線影像、或深度影像的1訊框分之物體資訊取得處理。
回到圖8的流程圖。
作業辨識裝置100的控制部(省略圖示)判定根據作業員120之作業是否結束(步驟ST804)。作業是否結束例如可藉由控制部從感測器取得的影像無法檢測到作業員120予以判定，若無法檢測到作業員120就判斷為作業結束亦可。或是控制部藉由接收作業員120從輸入裝置(未圖示)輸入的作業結束通知，判斷為作業結束亦可。又，此不過是一例，只要控制部藉由任何的手段可以判定作業是否結束即可。
在步驟ST804中，判定為作業未結束的情況(步驟 ST804之”NO”情況)，回到步驟ST801，重複步驟ST801~步驟ST803的處理。
在步驟ST804中，判定為作業結束的情況(步驟ST804之”YES”情況)，關聯設定部240針對直到作業結束前在步驟ST801中取得的感測器資料之光學影像、紅外線影像、或深度影像的所有訊框，進行物體131與進行使用該物體131的作業之作業員120的身體部位121之關聯設定(步驟ST805)。具體而言，關聯設定部240依據在步驟ST802中由身體部位資訊取得部220記憶在身體部位資訊記憶部270之有關作業員120的身體部位121之身體部位資訊與在步驟ST803中由物體資訊取得部230記憶在物體資訊記憶部280之有關物體131之物體資訊，進行與作業員120的身體部位121的關聯設定。
關聯設定部240將物體131與進行使用該物體131的作業之作業員120的身體部位121之關聯設定結果輸出到辨識結果分析部250。
圖11為說明圖8之步驟ST805之關聯設定部240的詳細動作之流程圖。
關聯設定部240之評分算出部241，對於作業員120的身體部位121與物體131的組合，算出表示對物體131的移動與哪個身體部位121相關聯之可能性為高之關聯設定評分(步驟ST1101)。具體而言，評分算出部241使用由身體部位資訊取得部220記憶在身體部位資訊記憶部270之有關作業員120的身體部位121之身體部位資訊及由物體資訊取得部230記憶在物體資訊記憶部280之有關物體131之物體資訊，算出關聯設 定評分。換言之，評分算出部241對於作業員120的身體部位121與物體131的組合，算出表示作業員120的身體部位121與物體131的關聯度之關聯設定評分。
評分算出部241將已算出的關聯設定評分之資訊輸出到關聯設定部240的整合部242。
整合部242使用藉由評分算出部241算出的關聯設定評分，以得到成為作業之整合的範圍內，決定關聯設定評分最大化之作業員120的身體部位121與物體131的組合(步驟ST1102)。
整合部242將已決定之作業員120的身體部位121與物體的組合輸出到關聯設定部240的位置補正部243。
位置補正部243使用藉由整合部242決定之作業員120的身體部位121與物體131的組合，補正作業員120的身體部位121或物體131、或兩者的位置座標(步驟ST1103)。
回到圖8的流程圖。
辨識結果分析部250依據關聯設定部240輸出的關聯設定結果，分析作業整體的辨識結果(步驟ST806)。
辨識結果分析部250將有關關聯設定部240輸出的關聯設定資訊也，就是作業整體的辨識結果、或是分析該辨識結果的分析結果之資訊輸出到輸出控制部260。
輸出控制部260將辨識結果分析部250輸出之作業整體的辨識結果輸出到輸出裝置的至少1個。
又，輸出控制部260在接收到分析結果輸出指示的情況下，使用辨識結果分析部250輸出之作業整體的辨識結果，將 作業分析結果輸出到輸出裝置的至少1個(步驟ST807)。
圖12~14為說明在本實施形態1中，根據輸出控制部260之作業整體的辨識結果、或作業分析結果的輸出例之圖面。又，在圖12~14中，顯示由輸出控制部260對於顯示器151將作業整體的辨識結果、或作業分析結果作為影像予以輸出之例示。
圖12為在實施形態1中，依據辨識結果分析部250辨識出物體131利用左右手移動後再組裝之作業的結果，輸出控制部260將物體131與左右手的位置座標、及移動物體的時點顯示在顯示器151之輸出例。
在圖12的圖面上左側中，將某一訊框中的各物131之3次元位置座標轉換為從垂直上方向所視之2次元位置座作為作業辨識結果標，顯示各物體131的圖標。所謂某訊框為任意的訊框，在圖12中，以顯示利用左手移動物體131之作業結束時點的訊框作為一例。
在圖12的圖面上右側中，顯示對於左右手，在哪個時點與物體131相關聯，即在哪個時點使其移動。
又，在圖12中，以0為作業開始時點，圖面上下方向作為時間軸作為一例。如此一來，輸出控制部260例如關於作業員120所進行的作業，可以顯示某時點之辨識結果(參照圖12的圖面上左側)、及隨著時間經過之作業整體流程的辨識結果(參照圖12的圖面上右側)。輸出控制部260從辨識結果分析部250接收有關作業員120的作業之辨識結果的資訊，將移動物體131的時間區段連同顯示該物體131的色塊矩形予以顯示。 又，在圖12中，物體131並不是以顏色區分，而是以網點的深淺不同予以表現。
圖12的圖面上左側雖然是顯示某訊框中之作業辨識結果，但是輸出控制部260可以將該作業辨識結果的表示與圖12的圖面上右側所示之隨著時間經過之作業整體流程的表示同步顯示。
具體而言，例如當使用者指定圖12之圖面上右側所示之作業分析結果的時間軸之某個時間時，輸出控制部260能夠以顯示被指定的時間之訊框中的作業辨識結果之方式，更新圖12的圖面上左側的表示。藉此，可以更高精確度將作業內容可視化。又，在圖12中，以顯示從作業開始約12秒後之作業辨識結果加以指定。
又，此時，輸出控制部260將對應之圖12的圖面上左側所示之物體131的圖標、與圖12的圖面上右側所示之表示物體131的矩形，以線連結顯示關係性亦可。
針對圖12所示的作業辨識結果，詳細說明。
該圖12為顯示在機上有2個物體m(圖12的m1、m2)、2個物體n(圖12的n1、n2)、1個物體o、1個物體p，合計6個物體131之狀況。
軌跡x為顯示作業員120以左手(圖12的L)握住物體m1朝畫面右方向移動。在物體m1移動的途中之物體o與作業員120的作業沒有關係，只是偶然出現在物體m1的軌跡x上之狀況。圖面上右側所示的表示中沒有顯示該物體o，就是由於該物體o與作業員120的作業沒有關係，作業員120沒有用右手 (圖12的R)也沒有用左手移動該物體o。
在圖12上，軌跡y為圖面上左側所示的時間更稍早前，作業員120移動物體m2的軌跡。當觀看圖面上右側時，得知在作業開始後10秒，利用右手移動物體m2。
在圖12中，軌跡x、y在物體m的移動結束後也適用所謂幾秒顯示、幾秒消失的樣態。又，持續顯示軌跡x、y的時間可適當設定。
如此一來，根據辨識結果分析部250之作業辨識結果，就是在該訊框中將某物體131與左手相關聯的情況，即辨識出某物體131以左手移動的情況下，輸出控制部260接收該辨識結果，在該物體的圖標上重疊顯示左手的圖標。又，此為一例，某物體131與右手相關聯的情況亦同。又，使用左右手以外的身體部位之情況亦同。
又，在移動物體131的情況，輸出控制部260以線表示該物體131的位置座標之軌跡。輸出控制部260將表示軌跡的線為連續性顯示亦可，在經過一定時間後消失，即不顯示亦可。
又，輸出控制部260直接使用物體131或作業員120的身體部位121之3次元位置座標予以立體顯示亦可。
又，在圖12中，雖然顯示了將對於左右手在哪個時點與物體131關聯設定(圖12的圖面上左側)、及對於左右手在哪個時點與物體131關聯設定(圖12的圖面上右側)合併顯示的例示，但不限於此，只顯示對於左右手在哪個時點與物體131關聯設定(圖12的圖面上左側)、及對於左右手在哪個時點與物體131關聯設定(圖12的圖面上右側)的任一方亦可。
圖13為在本實施形態1中，依據辨識結果分析部250辨識出利用左右手移動物體131並組裝之作業的結果，分析作業內容，輸出控制部260將該分析結果顯示在顯示器151之輸出例。
在圖13中，如圖12的圖面上右側所示，除了物體移動時點的表示之外，輸出控制部260顯示由辨識結果分析部250使用作業的辨識結果之資訊所進行之有關分析結果的資訊。又，取代圖12之圖面上右側所示之物體移動時點的表示，如圖13所示，顯示有關分析結果的資訊亦可。
在圖13中，作業者120進行將2個物體n3、n4分別使用右手(圖13的R)或左手(圖13的L)載置於土台上，再者分別使用右手或左手將物體m3、m4載置在物體n3、n4上後，使用右手以跨越物體m3、m4的方式將物體q載置在物體m3、m4上的作業作為一例。
又，在圖13中，辨識結果分析部250在上述的作業中，計算利用左右手移動物體n3、n4、m3、m4、q的總時間，算出8.0秒，並且算出作業之從開始到結束的時間為17.3秒，輸出控制部260顯示該算出結果。
又，利用左右手移動物體131的總時間、及作業之從開始到結束的時間之算出由辨識結果分析部250之成否判定部251、類別辨別部252、內容比較部253、條件判定部254的任一個予以進行皆可，辨識結果分析部250從與影像訊框對應之時刻，算出總時間、利用左右手移動物體131的總時間、及作業之從開始到結束的時間即可。
又，在圖13中，辨識結果分析部250計算利用左右手移動物體n3、n4、m3、m4、q的距離總和，算出254公分(cm)，接收該算出結果，輸出控制部260顯示藉由該辨識結果分析部250算出之總距離作為一例。
針對該總距離亦同，由辨識結果分析部250之成否判定部251、類別辨別部252、內容比較部253、條件判定部254的任一個予以進行皆可，辨識結果分析部250從物體131的位置座標算出該總距離即可。
又，在圖13中，接收由成否判定部251依據規定的順序，判定達成規定的作業，由內容比較部253判定沒有使用錯誤的物體131，不含不要的作業，由條件判定部254判定作業沒有比規定的時間更延遲的結果，輸出控制部260顯示「◎太好了！」作為一例。
此不過是一例，因應辨識結果分析部250所包括之成否判定部251、類別辨別部252、內容比較部253、條件判定部254的各判定結果，預先適當設定出現怎樣的表示，輸出控制部260因應該適當設定的條件，顯示分析結果即可。
又，分別各自顯示成否判定部251、類別辨別部252、內容比較部253、條件判定部254的各判定結果亦可。
例如，類別辨別部252從作業辨識結果判定為符合規定的作業類別之中的「組裝作業W1」之作業的情況下，接收該分析結果，輸出控制部260顯示「組裝作業W1」的標題亦可。
又，例如，當成否判定部251判定為達成規定的作業時，接收該分析結果，輸出控制部260顯示「○(成功)」亦可。
又，例如，當內容比較部253與其他作業內容比較，判定為某零件的組裝未實施時，接收該分析結果，輸出控制部260顯示「零件Z組裝未實施」亦可。
如此一來，藉由顯示作業分析結果，作業員120等針對作業內容，在作為為正確進行、或作業沒有正確進行的情況下，藉由確認顯示，可以簡單掌握在哪個點沒有進行等。
圖14也與圖13相同，在實施形態1中，辨識結果分析部250依據辨識出利用左右手移動物體131並組裝的作業之結果，分析作業內容，輸出控制部260將該分析結果顯示在顯示器151的輸出例。
在圖13中，雖然是顯示辨識結果分析部250判斷依據規定進行作業的情況之一例，但是圖14為顯示由辨識結果分析部250分析作業內容的結果，判斷為作業未依照規定進行的情況之一例。具體而言，顯示辨識結果分析部250的內容比較部253與其他成為基準的作業比較，判定為使用錯誤、顏色不對的物體131進行作業的情況之一例。
又，顯示辨識結果分析部250的條件判定部254針對使用某物體131作業，判定為作業太慢的情況之一例。
具體而言，在圖14中，作業員120依照利用右手(圖14之R)移動物體n5→利用左手(圖14之L)移動物體r→利用右手移動物體m5→利用左手移動物體m6的順序，進行作業作為一例。在該作業中，利用左手移動物體r的作業若是原本的話，應該是利用左手移動物體n6，然而作業員120移動了錯誤、顏色不對的物體r。
接著，辨識結果分析部250的內容比較部253與其他成為基準的作業比較，判定為使用錯誤、顏色不對的物體r進行作業。
又，辨識結果分析部250的條件判定部254針對使用物體m5作業，判定為作業太慢。
輸出控制部260接收根據內容比較部253之使用顏色不對的物體r進行作業之分析結果，在顯示該作業之處，以清楚知道該錯誤的作業之方式，顯示「×顏色不對」。
又，輸出控制部260接收根據條件判定部254之使用物體m5的作業太慢之分析結果，在顯示該作業之處，以清楚知道該判定為太慢的作業之方式，顯示「△作業延遲」。
又，圖14所示之表示例不過是一例，輸出控制部260依據預先設定的方法，以清楚知道錯誤的作業及錯誤的內容、或是作業時間是否比基準時間耗費更多的方式，顯示在顯示器151即可。
如此一來，輸出控制部260依據從辨識結果分析部250輸出的作業辨識結果、或分析作業辨識結果之分析結果的資訊，將作業辨識結果、或分析結果適當顯示在顯示器151。
藉此，作業員120等藉由確認顯示器151的顯示內容，針對作業內容可以詳細掌握。
在上述中，雖然是舉出輸出控制部260將從辨識結果分析部250輸出的作業辨識結果、或分析結果的資訊顯示在顯示器151的例示進行說明，但是根據輸出控制部260之有關作業辨識結果、或分析結果的資訊之輸出不限於此。
例如，輸出控制部260在辨識結果分析部250的成否判定 部251判定為沒有達成規定的作業之情況下，將表示沒有達成規定的作業之預先設定的聲音從揚聲器152予以輸出等，可以將從辨識結果分析部250輸出的作業辨識結果、或分析結果的資訊從揚聲器152藉由聲音或聲響等予以輸出。
又，輸出控制部260可以將有關判斷為沒有達成規定的作業之資訊，連同判定結果一起記憶在記憶裝置153。
藉由在記憶裝置153記憶作業結果的資訊，作業員120等可以從記憶的資料，針對判斷為沒有達成規定的作業的原因進行分析。
又，輸出控制部260將判斷為沒有達成規定的作業之控制訊號傳送到控制裝置154亦可。
在控制裝置154中，接收到該控制訊號，例如裝載手冊提供給作業辨識裝置100等，進行幫助進行規定的作業之控制。
如此一來，輸出控制部260將因應辨識結果分析部250的分析結果之控制訊號傳送到控制裝置154，在控制裝置154中可以進行因應分析結果之控制。
如以上所示，根據本實施形態1，因為構成為包括：感測器資料取得部210，取得感測器資料之；身體部位資訊取得部220，依據感測器資料取得部210取得的感測器資料，檢測出作業員120的身體部位121，取得有關該作業員120的身體部位121之身體部位資訊；物體資訊取得部230，依據感測器資料取得部210取得的感測器資料，檢測出物體131，取得有關該物體131之物體資訊；關聯設定部240，依據身體部位資訊取得部220取得的身體部位資訊與物體資訊取得部 230取得的物體資訊，進行物體131與進行使用該物體131的作業之作業員120的身體部位121之關聯設定；及辨識結果分析部250，依據利用關聯設定部240關聯設定之有關關聯設定結果的關聯設定資訊，辨識根據作業員120所實施的作業，與不考量物體131與作業員120的身體部位121之對應關係，單獨求出作業員120的身體部位121或物體131的移動軌跡之習知技術相比，即使在無法推測作業員120的身體部位121或物體131的位置之一部分的情況、或推測的部位121或物體131之移動軌跡與實際的部位121或物體131之移動軌跡之推測誤差為大的情況，可以高精確度辨識作業員120的作業。
又，本案發明在其發明的範圍內，可以進行實施形態之任意構成要素的變形、或實施形態之任意構成要素的省略。
根據本發明之作業辨識裝置由於構成為可高精確度辨識在關於作業員的身體部位與物體的一連串流程中之根據作業員的作業內容，因此可適用於辨識根據作業員之作業內容的作業辨識裝置等。

Claims (17)

  1. 一種作業辨識裝置，包括：感測器資料取得部，取得感測器資料；身體部位資訊取得部，依據前述感測器資料取得部取得的感測器資料，檢測出作業員的身體部位，取得有關該作業員的身體部位之身體部位資訊；物體資訊取得部，依據前述感測器資料取得部取得的感測器資料，檢測出物體，取得有關該物體之物體資訊；關聯設定部，依據前述身體部位資訊取得部取得的身體部位資訊與前述物體資訊取得部取得的物體資訊，進行前述物體與進行使用該物體的作業之前述作業員的身體部位之關聯設定；及辨識結果分析部，依據利用前述關聯設定部關聯設定之有關關聯設定結果的關聯設定資訊，辨識根據前述作業員所實施的作業。
  2. 如申請專利範圍第1項之作業辨識裝置，其中，包括：輸出控制部，輸出前述辨識結果分析部辨識的依據前述關聯設定資訊之資訊。
  3. 如申請專利範圍第1項之作業辨識裝置，其中，前述身體部位資訊取得部包括：身體部位檢測部，檢測出前述作業員的身體部位，取得該作業員的身體部位之位置座標。
  4. 如申請專利範圍第3項之作業辨識裝置，其中，前述身體部位資訊取得部包括：身體部位追跡部，對前述身體部位檢測部檢測出的前述作業員的身體部位進行追跡，取得移 動後之該作業員的身體部位之位置座標。
  5. 如申請專利範圍第3項之作業辨識裝置，其中，前述身體部位資訊取得部包括：身體部位辨識部，辨識前述身體部位檢測部檢測出的前述作業員的身體部位之種類、形狀、或狀態。
  6. 如申請專利範圍第1項之作業辨識裝置，其中，前述物體資訊取得部包括：物體檢測部，檢測出前述物體，取得該物體之位置座標。
  7. 如申請專利範圍第6項之作業辨識裝置，其中，前述物體資訊取得部包括：物體追跡部，對前述物體檢測部檢測出的前述物體進行追跡，取得移動後之該物體之位置座標。
  8. 如申請專利範圍第6項之作業辨識裝置，其中，前述物體資訊取得部包括：物體辨識部，辨識前述物體檢測部檢測出的前述物體之種類、形狀、或狀態。
  9. 如申請專利範圍第1項之作業辨識裝置，其中，前述關聯設定部包括：評分算出部，使用前述身體部位資訊取得部取得的身體部位資訊與前述物體資訊取得部取得的物體資訊，算出表示前述作業員的身體部位與前述物體之關聯度的關聯設定評分。
  10. 如申請專利範圍第9項之作業辨識裝置，其中，前述關聯設定部包括：整合部，使用前述評分算出部算出的關聯設定評分，決定因應作業的整合之前述作業員的身體部位與前述物體的組合。
  11. 如申請專利範圍第10項之作業辨識裝置，其中，前述關聯 設定部包括：位置補正部，依據前述整合部決定之前述作業員的身體部位與前述物體的組合，補正前述作業員的身體部位、或前述物體之位置。
  12. 如申請專利範圍第1項之作業辨識裝置，其中，前述辨識結果分析部包括：成否判定部，依據前述關聯設定部關聯設定之前述作業員的身體部位與前述物體之關聯設定資訊，判定是否達成規定的作業。
  13. 如申請專利範圍第1項之作業辨識裝置，其中，前述辨識結果分析部包括：類別辨別部，依據前述關聯設定部關聯設定之前述作業員的身體部位與前述物體之關聯設定資訊，辨別符合規定的作業類別的哪一個。
  14. 如申請專利範圍第1項之作業辨識裝置，其中，前述辨識結果分析部包括：內容比較部，依據前述關聯設定部關聯設定之前述作業員的身體部位與前述物體之關聯設定資訊，藉由前述作業員所實施的作業與根據其他作業員的作業之比較，分析前述作業員所實施的作業內容。
  15. 如申請專利範圍第1項之作業辨識裝置，其中，前述辨識結果分析部包括：條件判定部，依據前述關聯設定部關聯設定之前述作業員的身體部位與前述物體之關聯設定資訊，判定前述作業員所實施的作業內容是否滿足規定的條件。
  16. 如申請專利範圍第2項之作業辨識裝置，其中，前述輸出控制部將依據前述辨識結果分析部辨識的辨識結果之資訊作為影像予以顯示。
  17. 一種作業辨識方法，包括以下步驟：感測器資料取得部取得感測器資料；身體部位資訊取得部依據前述感測器資料取得部取得的感測器資料，檢測出作業員的身體部位，取得有關該作業員的身體部位之身體部位資訊；物體資訊取得部依據前述感測器資料取得部取得的感測器資料，檢測出物體，取得有關該物體之物體資訊；關聯設定部依據前述身體部位資訊取得部取得的身體部位資訊與前述物體資訊取得部取得的物體資訊，進行前述物體與進行使用該物體的作業之前述作業員的身體部位之關聯設定；及辨識結果分析部依據利用前述關聯設定部關聯設定之有關關聯設定結果的關聯設定資訊，辨識根據前述作業員所實施的作業。
TW106107761A 2016-11-09 2017-03-09 作業辨識裝置以及作業辨識方法 TW201818297A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
PCT/JP2016/083243 WO2018087844A1 (ja) 2016-11-09 2016-11-09 作業認識装置および作業認識方法
??PCT/JP2016/083243 2016-11-09

Publications (1)

Publication Number Publication Date
TW201818297A true TW201818297A (zh) 2018-05-16

Family

ID=62110224

Family Applications (1)

Application Number Title Priority Date Filing Date
TW106107761A TW201818297A (zh) 2016-11-09 2017-03-09 作業辨識裝置以及作業辨識方法

Country Status (3)

Country Link
JP (1) JP6444573B2 (zh)
TW (1) TW201818297A (zh)
WO (1) WO2018087844A1 (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019200560A (ja) * 2018-05-16 2019-11-21 パナソニックＩｐマネジメント株式会社 作業分析装置および作業分析方法
JP7198661B2 (ja) * 2018-12-27 2023-01-04 日本放送協会 オブジェクト追跡装置及びそのプログラム
JP7139987B2 (ja) * 2019-02-08 2022-09-21 コニカミノルタ株式会社 工程情報取得システム、工程情報取得方法、および工程情報取得プログラム
JP7375351B2 (ja) * 2019-07-12 2023-11-08 マツダ株式会社 身体動作取得装置および該方法
WO2021053738A1 (ja) 2019-09-18 2021-03-25 三菱電機株式会社 作業要素分析装置及び作業要素分析方法
JP2021076888A (ja) * 2019-11-05 2021-05-20 株式会社日立製作所 作業認識装置
KR20210157874A (ko) * 2020-06-22 2021-12-29 도시바 데지타루 소류숀즈 가부시키가이샤 작업 내용 분석 장치, 작업 내용 분석 방법, 프로그램, 및 센서
JP7487057B2 (ja) * 2020-09-14 2024-05-20 株式会社東芝 作業推定装置、方法およびプログラム
JP7494130B2 (ja) 2021-01-19 2024-06-03 株式会社東芝 情報処理システム、情報処理方法およびプログラム
JP2023074948A (ja) 2021-11-18 2023-05-30 オムロン株式会社 作業認識装置、作業認識方法、及び作業認識プログラム

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005250990A (ja) * 2004-03-05 2005-09-15 Mitsubishi Electric Corp 作業支援装置
JP2006252036A (ja) * 2005-03-09 2006-09-21 Nippon Telegr & Teleph Corp <Ntt> 投影画像作成装置、プログラム、投影画像作成方法及び画像投影システム
JP2007034738A (ja) * 2005-07-27 2007-02-08 Advanced Telecommunication Research Institute International 警告システムおよび警告方法
JP2009123181A (ja) * 2007-10-26 2009-06-04 Advanced Telecommunication Research Institute International 情報提示システム
JP5887526B2 (ja) * 2011-07-19 2016-03-16 パナソニックＩｐマネジメント株式会社 作業検知システム
JP2013145419A (ja) * 2012-01-13 2013-07-25 Hitachi Ltd 保全作業ナビゲーションシステム

Also Published As

Publication number Publication date
JP6444573B2 (ja) 2018-12-26
WO2018087844A1 (ja) 2018-05-17
JPWO2018087844A1 (ja) 2018-12-27

Similar Documents

Publication Publication Date Title
TW201818297A (zh) 作業辨識裝置以及作業辨識方法
JP6038417B1 (ja) ロボット教示装置及びロボット制御プログラム作成方法
JP6823502B2 (ja) ロボット設定装置、ロボット設定方法、ロボット設定プログラム及びコンピュータで読み取り可能な記録媒体並びに記録した機器
JP4752721B2 (ja) 移動パターン特定装置、移動パターン特定方法、移動パターン特定プログラム、およびこれを記録した記録媒体
TW201324258A (zh) 輸入體之動作檢測方法及使用其之輸入裝置
JP7114885B2 (ja) 作業現場監視装置およびプログラム
US10860845B2 (en) Method and system for automatic repetitive step and cycle detection for manual assembly line operations
JP2005250990A (ja) 作業支援装置
JP2021121461A (ja) 画像処理装置
JPWO2018154709A1 (ja) 動作学習装置、技能判別装置および技能判別システム
KR101662022B1 (ko) 제스쳐를 이용한 디바이스 제어 장치 및 그 방법
US20210348927A1 (en) Information processing apparatus, information processing method, and recording medium
JP2018153874A (ja) 提示装置、提示方法およびプログラム、ならびに作業システム
JP5174492B2 (ja) 画像認識装置、画像認識方法、画像認識プログラム、ジェスチャ動作認識システム、ジェスチャ動作認識方法、及びジェスチャ動作認識プログラム
Shackleford et al. Performance evaluation of human detection systems for robot safety
US11199561B2 (en) System and method for standardized evaluation of activity sequences
KR101535801B1 (ko) 깊이맵 센서를 이용한 조립공정에서의 조립공정 검사장치, 방법 및 시스템
KR20140114594A (ko) 사람 객체 추적을 통한 자동 카메라 보정 방법
JP5083715B2 (ja) 三次元位置姿勢計測方法および装置
Birk et al. Autonomous rescue operations on the iub rugbot
JP6303918B2 (ja) ジェスチャ管理システム、ジェスチャ管理プログラム、ジェスチャ管理方法および指さし認識装置
WO2020175085A1 (ja) 画像処理装置、及び画像処理方法
JP6857052B2 (ja) ロボット設定装置、ロボット設定方法、ロボット設定プログラム及びコンピュータで読み取り可能な記録媒体並びに記録した機器
JP4812099B2 (ja) カメラ位置検出方法
WO2021245749A1 (ja) 追跡装置、追跡方法、および記録媒体