KR20190099537A - 동작 학습 장치, 기능 판별 장치 및 기능 판별 시스템 - Google Patents

동작 학습 장치, 기능 판별 장치 및 기능 판별 시스템 Download PDF

Info

Publication number
KR20190099537A
KR20190099537A KR1020197023884A KR20197023884A KR20190099537A KR 20190099537 A KR20190099537 A KR 20190099537A KR 1020197023884 A KR1020197023884 A KR 1020197023884A KR 20197023884 A KR20197023884 A KR 20197023884A KR 20190099537 A KR20190099537 A KR 20190099537A
Authority
KR
South Korea
Prior art keywords
feature
function
unit
worker
motion
Prior art date
Application number
KR1020197023884A
Other languages
English (en)
Inventor
료스케 사사키
Original Assignee
미쓰비시덴키 가부시키가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 미쓰비시덴키 가부시키가이샤 filed Critical 미쓰비시덴키 가부시키가이샤
Publication of KR20190099537A publication Critical patent/KR20190099537A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration using histogram techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/758—Involving statistics of pixels or of feature values, e.g. histogram matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G06V10/763—Non-hierarchical techniques, e.g. based on statistics of modelling distributions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/772—Determining representative reference patterns, e.g. averaging or distorting patterns; Generating dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20072—Graph-based image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Data Mining & Analysis (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Probability & Statistics with Applications (AREA)
  • Psychiatry (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Social Psychology (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Electrically Operated Instructional Devices (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

숙련 작업자와 일반 작업자의 각각을 촬상한 동화상 데이터에 근거하여, 숙련 작업자 및 일반 작업자의 동작의 궤적 특징을 추출하는 제 1 동작 특징 추출부(102)와, 추출된 궤적 특징 중에서 결정한 기준이 되는 궤적 특징에 유사한 궤적 특징을 클러스터링하고, 클러스터링한 궤적 특징의 출현 빈도에 따라 히스토그램을 생성하고, 생성한 히스토그램에 근거하여, 숙달된 동작의 궤적 특징을 특정하기 위한 판별 학습을 행하는 동작 특징 학습부(103)와, 판별 학습의 결과를 참조하여, 숙달된 동작인지 여부를 판별하기 위한 경계를 나타내는 판별 함수를 생성하는 판별 함수 생성부(104)를 구비한다.

Description

동작 학습 장치, 기능 판별 장치 및 기능 판별 시스템
본 발명은, 동화상 데이터에 근거하여, 평가 대상자의 동작을 평가하는 기술에 관한 것이다.
공장 등에서 작업하는 작업자의 작업 효율을 향상시키기 위해, 숙련된 작업자(이하, 숙련 작업자라고 기재한다)의 기능을 추출하여, 숙련된 작업자가 아닌 일반의 작업자(이하, 일반 작업자라고 기재한다)에게 전달하는 구조가 요구되고 있다. 구체적으로는, 숙련 작업자의 동작 중에서, 일반 작업자와는 상이한 움직임을 검출하고, 검출한 움직임을 일반 작업자에게 교시하는 것에 의해, 일반 작업자의 기능의 향상을 지원한다.
예컨대, 특허문헌 1에 개시된 동작 특징 추출 장치에서는, 어느 작업 공정에 종사하는 숙련 작업자의 모습을 촬영하고, 동일한 촬영 앵글에서 동일한 작업 공정에 종사할 때의 일반 작업자의 모습을 촬영하여, 일반 작업자에 의한 이상 동작을 추출하고 있다. 보다 상세하게는, 숙련 작업자의 동화상 데이터로부터 입체 고차 자기 상관(CHLAC) 특징을 추출하고, 일반 작업자의 평가 대상 화상으로부터 CHLAC 특징을 추출하고, 추출한 CHLAC 특징의 상관 관계에 근거하여, 일반 작업자의 이상 동작을 추출하고 있다.
특허문헌 1 : 일본 특허 공개 2011-133984호 공보
그러나, 상술한 특허문헌 1에 개시된 기술에서는, 동화상 데이터 중의 동작 특징에 관하여, CHLAC 특징이라고 하는 고정 마스크 패턴을 복수 준비할 필요가 있고, 숙련 작업자의 움직임에 대한 마스크 패턴을 유저가 설계할 필요가 있다고 하는 과제가 있었다.
본 발명은, 상기와 같은 과제를 해결하기 위해 이루어진 것이고, 숙련 작업자의 움직임에 대한 마스크 패턴을 설계하는 일 없이, 동화상 데이터로부터 추출된 숙련 작업자의 움직임에 근거하여 평가 대상인 작업자의 기능을 판별하기 위한 지표를 얻는 것을 목적으로 한다.
본 발명에 따른 발명의 동작 학습 장치는, 숙련 작업자와 일반 작업자의 각각을 촬상한 동화상 데이터에 근거하여, 숙련 작업자 및 일반 작업자의 동작의 궤적 특징을 추출하는 제 1 동작 특징 추출부와, 제 1 동작 특징 추출부가 추출한 궤적 특징 중에서 결정한 기준이 되는 궤적 특징과 유사한 궤적 특징을 클러스터링하고, 클러스터링한 궤적 특징의 출현 빈도에 따라 히스토그램을 생성하고, 생성한 히스토그램에 근거하여, 숙달된 동작의 궤적 특징을 특정하기 위한 판별 학습을 행하는 동작 특징 학습부와, 동작 특징 학습부의 판별 학습의 결과를 참조하여, 숙달된 동작인지 여부를 판별하기 위한 경계를 나타내는 판별 함수를 생성하는 판별 함수 생성부를 구비한다.
본 발명에 따르면, 동화상 데이터로부터 숙련 작업자의 숙달된 움직임을 추출할 수 있고, 추출된 움직임에 근거하여 평가 대상인 작업자의 기능을 판별하기 위한 지표를 얻을 수 있다.
도 1은 실시의 형태 1에 따른 기능 판별 시스템의 구성을 나타내는 블록도이다.
도 2(a), 도 2(b)는 실시의 형태 1에 따른 동작 학습 장치의 하드웨어 구성의 예를 나타내는 도면이다.
도 3(a), 도 3(b)는 실시의 형태 1에 따른 기능 판별 장치의 하드웨어 구성의 예를 나타내는 도면이다.
도 4는 실시의 형태 1에 따른 동작 학습 장치의 동작을 나타내는 플로차트이다.
도 5는 실시의 형태 1에 따른 기능 판별 장치의 동작을 나타내는 플로차트이다.
도 6(a), 도 6(b), 도 6(c), 도 6(d)는 실시의 형태 1에 따른 동작 학습 장치의 처리를 나타내는 설명도이다.
도 7은 실시의 형태 1에 따른 기능 판별 장치의 판별 결과의 표시의 예를 나타내는 도면이다.
도 8은 실시의 형태 2에 따른 기능 판별 시스템의 구성을 나타내는 블록도이다.
도 9는 실시의 형태 2에 따른 동작 학습 장치의 동작을 나타내는 플로차트이다.
도 10은 실시의 형태 2에 따른 기능 판별 장치의 동작을 나타내는 플로차트이다.
도 11은 실시의 형태 1에 따른 동작 학습 장치에 있어서 스파스 정규화 항(sparse regularization term)을 추가한 경우의 효과를 나타내는 도면이다.
이하, 본 발명을 보다 상세하게 설명하기 위해, 본 발명을 실시하기 위한 형태에 대하여, 첨부 도면에 따라 설명한다.
실시의 형태 1.
도 1은 본 발명의 실시의 형태 1에 따른 기능 판별 시스템의 구성을 나타내는 블록도이다.
기능 판별 시스템은, 동작 학습 장치(100) 및 기능 판별 장치(200)로 구성되어 있다. 동작 학습 장치(100)는, 숙련된 작업자(이하, 숙련 작업자라고 기재한다)와, 숙련된 작업자가 아닌 일반의 작업자(이하, 일반 작업자라고 기재한다)의 동작의 특징의 차이를 해석하고, 평가 대상인 작업자의 기능을 판별하기 위한 함수를 생성한다. 여기서, 평가 대상인 작업자에는, 숙련 작업자 및 일반 작업자가 포함되는 것으로 한다. 기능 판별 장치(200)는, 동작 학습 장치(100)에서 생성된 함수를 이용하여, 평가 대상인 작업자의 기능이 숙달되어 있는지 여부를 판별한다.
동작 학습 장치(100)는, 동화상 데이터베이스(101), 제 1 동작 특징 추출부(102), 동작 특징 학습부(103) 및 판별 함수 생성부(104)를 구비하여 구성된다.
동화상 데이터베이스(101)는, 복수의 숙련 작업자 및 복수의 일반 작업자의 작업의 모습을 촬영한 동화상 데이터를 저장한 데이터베이스이다. 제 1 동작 특징 추출부(102)는, 동화상 데이터베이스(101)에 저장된 동화상 데이터로부터 숙련 작업자 및 일반 작업자의 동작의 궤적 특징을 추출한다. 제 1 동작 특징 추출부(102)는, 추출한 동작의 궤적 특징을 동작 특징 학습부(103)에 출력한다.
동작 특징 학습부(103)는, 제 1 동작 특징 추출부(102)가 추출한 동작의 궤적 특징으로부터, 기준이 되는 동작의 궤적 특징을 결정한다. 동작 특징 학습부(103)는, 기준이 되는 동작의 궤적 특징에 근거하여, 숙달된 동작의 궤적 특징을 특정하기 위한 판별 학습을 행한다. 동작 특징 학습부(103)는, 결정한 기준이 되는 동작의 궤적 특징을 기술한 동작 특징 사전을 생성하고, 기능 판별 장치(200)의 동작 특징 사전 저장부(202)에 저장한다. 또한, 동작 특징 학습부(103)는, 판별 학습의 결과를 판별 함수 생성부(104)에 출력한다. 판별 함수 생성부(104)는, 동작 특징 학습부(103)의 학습 결과를 참조하여, 평가 대상인 작업자의 기능이 숙달되어 있는지 여부를 판별하기 위한 함수(이하, 판별 함수라고 기재한다)를 생성한다. 판별 함수 생성부(104)는, 생성한 판별 함수를 기능 판별 장치(200)의 판별 함수 축적부(204)에 축적한다.
기능 판별 장치(200)는, 화상 정보 취득부(201), 동작 특징 사전 저장부(202), 제 2 동작 특징 추출부(203), 판별 함수 축적부(204), 기능 판별부(205) 및 표시 제어부(206)로 구성되어 있다. 또한, 기능 판별 장치(200)에는, 평가 대상인 작업자의 작업을 촬상하는 카메라(300), 및 기능 판별 장치(200)의 표시 제어에 근거하여 정보를 표시하는 표시 장치(400)가 접속되어 있다.
화상 정보 취득부(201)는, 카메라(300)가 평가 대상인 작업자의 작업의 모습을 촬상한 동화상 데이터(이하, 평가 대상의 동화상 데이터라고 한다)를 취득한다. 화상 정보 취득부(201)는, 취득한 동화상 데이터를 제 2 동작 특징 추출부(203)에 출력한다. 동작 특징 사전 저장부(202)에는, 동작 학습 장치(100)로부터 입력된 기준이 되는 동작의 궤적 특징을 기술한 동작 특징 사전이 저장되어 있다.
제 2 동작 특징 추출부(203)는, 동작 특징 사전 저장부(202)에 저장된 동작 특징 사전을 참조하여, 화상 정보 취득부(201)가 취득한 평가 대상의 동화상 데이터로부터 동작의 궤적 특징을 추출한다. 제 2 동작 특징 추출부(203)는, 추출한 동작의 궤적 특징을 기능 판별부(205)에 출력한다. 판별 함수 축적부(204)는, 동작 학습 장치(100)의 판별 함수 생성부(104)가 생성한 판별 함수를 축적하는 영역이다. 기능 판별부(205)는, 판별 함수 축적부(204)에 축적된 판별 함수를 이용하여, 제 2 동작 특징 추출부(203)가 추출한 동작의 궤적 특징으로부터 평가 대상인 작업자의 기능이 숙달되어 있는지 여부의 판별을 행한다. 기능 판별부(205)는, 판별 결과를 표시 제어부(206)에 출력한다. 표시 제어부(206)는, 기능 판별부(205)의 판별 결과에 따라, 지원 정보로서 평가 대상인 작업자에게 표시해야 할 정보를 결정한다. 표시 제어부(206)는, 결정한 정보를 표시하기 위한 표시 제어를 표시 장치(400)에 대하여 행한다.
다음으로, 동작 학습 장치(100) 및 기능 판별 장치(200)의 하드웨어 구성의 예를 설명한다.
우선, 동작 학습 장치(100)의 하드웨어 구성의 예에 대하여 설명한다.
도 2(a) 및 도 2(b)는 실시의 형태 1에 따른 동작 학습 장치(100)의 하드웨어 구성의 예를 나타내는 도면이다.
동작 학습 장치(100)에 있어서의 제 1 동작 특징 추출부(102), 동작 특징 학습부(103) 및 판별 함수 생성부(104)의 각 기능은, 처리 회로에 의해 실현된다. 즉, 동작 학습 장치(100)는, 상기 각 기능을 실현하기 위한 처리 회로를 구비한다. 그 처리 회로는, 도 2(a)에 나타내는 바와 같이 전용 하드웨어인 처리 회로(100a)이더라도 좋고, 도 2(b)에 나타내는 바와 같이 메모리(100c)에 저장되어 있는 프로그램을 실행하는 프로세서(100b)이더라도 좋다.
도 2(a)에 나타내는 바와 같이 제 1 동작 특징 추출부(102), 동작 특징 학습부(103) 및 판별 함수 생성부(104)가 전용 하드웨어인 경우, 처리 회로(100a)는, 예컨대, 단일 회로, 복합 회로, 프로그램화한 프로세서, 병렬 프로그램화한 프로세서, ASIC(Application Specific Integrated Circuit), FPGA(Field-programmable Gate Array), 또는 이들을 조합한 것이 해당한다. 제 1 동작 특징 추출부(102), 동작 특징 학습부(103) 및 판별 함수 생성부(104)의 각 부의 기능 각각을 처리 회로로 실현하더라도 좋고, 각 부의 기능을 합쳐서 1개의 처리 회로로 실현하더라도 좋다.
도 2(b)에 나타내는 바와 같이, 제 1 동작 특징 추출부(102), 동작 특징 학습부(103) 및 판별 함수 생성부(104)가 프로세서(100b)인 경우, 각 부의 기능은, 소프트웨어, 펌웨어, 또는 소프트웨어와 펌웨어의 조합에 의해 실현된다. 소프트웨어 또는 펌웨어는 프로그램으로서 기술되고, 메모리(100c)에 저장된다. 프로세서(100b)는, 메모리(100c)에 기억된 프로그램을 읽어내어 실행하는 것에 의해, 제 1 동작 특징 추출부(102), 동작 특징 학습부(103) 및 판별 함수 생성부(104)의 각 기능을 실현한다. 즉, 동작 특징 추출부, 동작 특징 학습부(103) 및 판별 함수 생성부(104)는, 프로세서(100b)에 의해 실행될 때에, 후술하는 도 4에 나타내는 각 스텝이 결과적으로 실행되게 되는 프로그램을 저장하기 위한 메모리(100c)를 구비한다. 또한, 이들 프로그램은, 제 1 동작 특징 추출부(102), 동작 특징 학습부(103) 및 판별 함수 생성부(104)의 수순 또는 방법을 컴퓨터에 실행시키는 것이라고도 할 수 있다.
여기서, 프로세서(100b)란, 예컨대, CPU(Central Processing Unit), 처리 장치, 연산 장치, 프로세서, 마이크로프로세서, 마이크로컴퓨터, 또는 DSP(Digital Signal Processor) 등이다.
메모리(100c)는, 예컨대, RAM(Random Access Memory), ROM(Read Only Memory), 플래시 메모리, EPROM(Erasable Programmable ROM), EEPROM(Electrically EPROM) 등의 비휘발성 또는 휘발성의 반도체 메모리이더라도 좋고, 하드디스크, 플렉서블 디스크 등의 자기 디스크이더라도 좋고, 미니 디스크, CD(Compact Disc), DVD(Digital Versatile Disc) 등의 광 디스크이더라도 좋다.
또, 제 1 동작 특징 추출부(102), 동작 특징 학습부(103) 및 판별 함수 생성부(104)의 각 기능에 대하여, 일부를 전용 하드웨어로 실현하고, 일부를 소프트웨어 또는 펌웨어로 실현하도록 하더라도 좋다. 이와 같이, 동작 학습 장치(100)에 있어서의 처리 회로(100a)는, 하드웨어, 소프트웨어, 펌웨어, 또는 이들의 조합에 의해, 상술한 각 기능을 실현할 수 있다.
다음으로, 기능 판별 장치(200)의 하드웨어 구성의 예에 대하여 설명한다.
도 3(a) 및 도 3(b)는 실시의 형태 1에 따른 기능 판별 장치(200)의 하드웨어 구성의 예를 나타내는 도면이다.
기능 판별 장치(200)에 있어서의 화상 정보 취득부(201), 제 2 동작 특징 추출부(203), 기능 판별부(205) 및 표시 제어부(206)의 각 기능은, 처리 회로에 의해 실현된다. 즉, 기능 판별 장치(200)는, 상기 각 기능을 실현하기 위한 처리 회로를 구비한다. 그 처리 회로는, 도 3(a)에 나타내는 바와 같이 전용 하드웨어인 처리 회로(200a)이더라도 좋고, 도 3(b)에 나타내는 바와 같이 메모리(200c)에 저장되어 있는 프로그램을 실행하는 프로세서(200b)이더라도 좋다.
도 3(a)에 나타내는 바와 같이 화상 정보 취득부(201), 제 2 동작 특징 추출부(203), 기능 판별부(205) 및 표시 제어부(206)가 전용 하드웨어인 경우, 처리 회로(200a)는, 예컨대, 단일 회로, 복합 회로, 프로그램화한 프로세서, 병렬 프로그램화한 프로세서, ASIC, FPGA, 또는 이들을 조합한 것이 해당한다. 화상 정보 취득부(201), 제 2 동작 특징 추출부(203), 기능 판별부(205) 및 표시 제어부(206)의 각 부의 기능 각각을 처리 회로로 실현하더라도 좋고, 각 부의 기능을 합쳐서 1개의 처리 회로로 실현하더라도 좋다.
도 3(b)에 나타내는 바와 같이, 화상 정보 취득부(201), 제 2 동작 특징 추출부(203), 기능 판별부(205) 및 표시 제어부(206)가 프로세서(200b)인 경우, 각 부의 기능은, 소프트웨어, 펌웨어, 또는 소프트웨어와 펌웨어의 조합에 의해 실현된다. 소프트웨어 또는 펌웨어는 프로그램으로서 기술되고, 메모리(200c)에 저장된다. 프로세서(200b)는, 메모리(200c)에 기억된 프로그램을 읽어내어 실행하는 것에 의해, 화상 정보 취득부(201), 제 2 동작 특징 추출부(203), 기능 판별부(205) 및 표시 제어부(206)의 각 기능을 실현한다. 즉, 화상 정보 취득부(201), 제 2 동작 특징 추출부(203), 기능 판별부(205) 및 표시 제어부(206)는, 프로세서(200b)에 의해 실행될 때에, 후술하는 도 5에 나타내는 각 스텝이 결과적으로 실행되게 되는 프로그램을 저장하기 위한 메모리(200c)를 구비한다. 또한, 이들 프로그램은, 화상 정보 취득부(201), 제 2 동작 특징 추출부(203), 기능 판별부(205) 및 표시 제어부(206)의 수순 또는 방법을 컴퓨터에 실행시키는 것이라고도 할 수 있다.
또, 화상 정보 취득부(201), 제 2 동작 특징 추출부(203), 기능 판별부(205) 및 표시 제어부(206)의 각 기능에 대하여, 일부를 전용 하드웨어로 실현하고, 일부를 소프트웨어 또는 펌웨어로 실현하도록 하더라도 좋다. 이와 같이, 기능 판별 장치(200)에 있어서의 처리 회로(200a)는, 하드웨어, 소프트웨어, 펌웨어, 또는 이들의 조합에 의해, 상술한 각 기능을 실현할 수 있다.
다음으로, 동작 학습 장치(100)의 동작 및 기능 판별 장치(200)의 동작에 대하여 설명한다. 우선, 동작 학습 장치(100)의 동작에 대하여 설명한다.
도 4는 실시의 형태 1에 따른 동작 학습 장치(100)의 동작을 나타내는 플로차트이다.
제 1 동작 특징 추출부(102)는, 동화상 데이터베이스(101)로부터 숙련 작업자 및 일반 작업자의 동작을 촬영한 동화상 데이터를 읽어낸다(스텝 ST1). 제 1 동작 특징 추출부(102)는, 스텝 ST1에서 읽어낸 동화상 데이터로부터 동작의 궤적 특징을 추출한다(스텝 ST2). 제 1 동작 특징 추출부(102)는, 추출한 궤적 특징을 동작 특징 학습부(103)에 출력한다.
상술한 스텝 ST2의 처리의 상세에 대하여 설명한다.
제 1 동작 특징 추출부(102)는, 동화상 데이터의 특징점을 추적하고, 어느 일정 이상의 프레임 수의 특징점의 좌표의 변천을 궤적 특징으로서 추출한다. 또한, 제 1 동작 특징 추출부(102)는, 좌표의 변천에 더하여, 동화상 데이터의 특징점의 주변의 에지 정보, 옵티컬 플로의 히스토그램, 또는 옵티컬 플로의 일차 미분의 히스토그램 중 적어도 어느 1개를 추가하여 추출하더라도 좋다. 그 경우, 제 1 동작 특징 추출부(102)는, 좌표의 변천에 더하여 얻어진 정보를 통합한 수치 정보를 궤적 특징으로서 추출한다.
동작 특징 학습부(103)는, 스텝 ST2에서 추출된 궤적 특징 중에서 기준이 되는 복수의 궤적 특징을 결정한다(스텝 ST3). 동작 특징 학습부(103)는, 스텝 ST3에서 결정한 기준이 되는 복수의 궤적 특징을 이용하여 동작 특징 사전을 작성하고, 기능 판별 장치(200)의 동작 특징 사전 저장부(202)에 저장한다(스텝 ST4).
스텝 ST4의 동작 특징 사전의 작성에서는, k-means 알고리즘 등의 클러스터링 수법에 의해, 각 클러스터의 중앙치를 기준의 궤적 특징으로 하는 방법을 적용하는 것이 가능하다.
동작 특징 학습부(103)는, 스텝 ST3에서 결정한 기준이 되는 궤적 특징을 이용하여, 스텝 ST2에서 추출된 각 궤적 특징을 유사한 궤적 특징끼리 클러스터링한다(스텝 ST5).
스텝 ST5의 처리에서는, 동작 특징 학습부(103)는, 우선 스텝 ST2에서 추출된 각 궤적 특징을 벡터화한다. 다음으로, 동작 특징 학습부(103)는, 각 궤적 특징의 벡터와, 스텝 ST3에서 결정된 기준이 되는 궤적 특징의 벡터의 거리에 근거하여, 각 궤적 특징이 기준이 되는 궤적 특징에 유사한지 여부를 판정한다. 동작 특징 학습부(103)는, 유사한지 여부의 판정 결과에 근거하여, 각 궤적 특징의 클러스터링을 행한다.
동작 특징 학습부(103)는, 스텝 ST5의 클러스터링 결과에 근거하여, 유사한 궤적 특징의 출현 빈도에 따른 히스토그램을 생성한다(스텝 ST6). 스텝 ST6의 처리에서는, 숙련 작업자 군과, 일반 작업자 군에서, 각각 히스토그램을 생성한다. 동작 특징 학습부(103)는, 스텝 ST6에서 생성한 히스토그램에 근거하여, 숙달된 동작의 궤적 특징을 특정하기 위한 판별 학습을 행한다(스텝 ST7). 동작 특징 학습부(103)는, 스텝 ST7의 판별 학습의 학습 결과에 근거하여, 작업자의 숙련의 정도에 따른 축으로의 사영 변환 행렬을 생성한다(스텝 ST8). 동작 특징 학습부(103)는, 스텝 ST8에서 생성한 사영 변환 행렬을, 판별 함수 생성부(104)에 출력한다.
판별 함수 생성부(104)는, 스텝 ST8에서 생성된 사영 변환 행렬에 근거하여, 평가 대상인 작업자의 동작이 숙달된 동작인지 식별하기 위한 경계를 나타내는 판별 함수를 생성한다(스텝 ST9). 구체적으로, 스텝 ST9에 있어서, 판별 함수 생성부(104)는, 사영 변환 행렬에 의해 변환된 축에 있어서, 숙달된 동작과, 일반적인 동작을 식별하는 선형 식별 함수를 설계한다. 판별 함수 생성부(104)는, 스텝 ST9에서 생성한 판별 함수를, 기능 판별 장치(200)의 판별 함수 축적부(204)에 축적하고(스텝 ST10), 처리를 종료한다. 스텝 ST10에 있어서 축적된 선형 식별 함수인 판별 함수는, "0" 이상이면, 평가 대상인 작업자의 동작이 숙달된 동작인 것을 나타내고, "0" 미만이면, 평가 대상인 작업자의 동작이 숙달되어 있지 않은 일반적인 동작인 것을 나타낸다.
상술한 스텝 ST7 및 스텝 ST8의 처리의 상세에 대하여 설명한다.
동작 특징 학습부(103)는, 스텝 ST6에서 생성된 히스토그램을 이용하여 판별 분석을 행하고, 숙련 작업자 군과 일반작적 작업자 군의 클래스 간의 분산이 최대, 또한 각 클래스 내의 분산이 최소가 되는 사영축을 계산하고, 판별 경계를 결정한다. 동작 특징 학습부(103)에 의한 연산은, 이하의 식 (1)로 나타내는 피셔(Fischer)의 평가 기준을 최대화한다.
Figure pct00001
식 (1)에 있어서, SB는 클래스 간 분산, SW는 클래스 내 분산을 나타내고 있다. 또한, 식 (1)에 있어서, A는 히스토그램을 일차원의 수치로 변환하는 행렬이고, 상술한 사영 변환 행렬이다.
식 (1)의 JS(A)를 최대화시키는 A는, 라그랑주의 미정승수법(Lagrange undetermined multiplier method)에 의해, 이하의 식 (2)에 있어서의 극치를 구하는 문제로 변한다.
Figure pct00002
식 (2)에 있어서, I는 단위 행렬을 나타내고 있다. 식 (2)를 편미분하여 전개하면, 이 되고, A는 의 최대 고유치에 대응하는 고유 벡터로서 구할 수 있다. 구하여진 고유 벡터는, 사영 변환 행렬로서 다룰 수 있다.
또한, 이때 주성분 분석을 이용하여 데이터의 분산이 큰 축을 미리 계산하고, 차원 압축을 위해 주성분으로 변환하는 처리를 한 뒤에 판별 분석이나 SVM(Support Vector Machine) 등의 판별기를 이용하더라도 좋다. 이것에 의해, 동작 특징 학습부(103)는, 숙련 작업자 군과 일반 작업자 군의 분산이 최대가 되는 축을 검출하고, 숙달된 움직임인지, 또는 일반적인 움직임인지를 판별함에 유용한 궤적을 얻을 수 있다. 즉, 동작 특징 학습부(103)는, 숙달된 움직임을 나타내는 궤적을 특정할 수 있고, 그 궤적을 가시화할 수 있다.
이와 같이, 동작 특징 학습부(103)는, 히스토그램의 판별 분석의 결과, 숙련 작업자 군과 일반 작업자 군의 클래스 간의 분산이 최대가 되는 축을 고유 벡터로 하는 특이치 분해를 행하고, 고유 벡터에 대응한 사영 변환 행렬을 계산한다. 동작 특징 학습부(103)는, 계산한 사영 변환 행렬을, 숙련 성분 변환 행렬로서, 판별 함수 생성부(104)에 출력한다.
다음으로, 기능 판별 장치(200)의 동작에 대하여 설명한다.
도 5는 실시의 형태 1에 따른 기능 판별 장치(200)의 동작을 나타내는 플로차트이다.
화상 정보 취득부(201)가, 평가 대상인 작업자의 작업의 모습을 촬상한 동화상 데이터를 취득하면(스텝 ST21), 제 2 동작 특징 추출부(203)는, 스텝 ST21에서 취득된 동화상 데이터의 동작의 궤적 특징을 추출한다(스텝 ST22). 제 2 동작 특징 추출부(203)는, 동작 특징 사전 저장부(202)에 저장된 동작 특징 사전을 참조하여, 추출한 궤적 특징을 클러스터링하고, 출현 빈도에 따른 히스토그램을 생성한다(스텝 ST23). 제 2 동작 특징 추출부(203)는, 스텝 ST23에서 생성된 히스토그램을 기능 판별부(205)에 출력한다.
기능 판별부(205)는, 판별 함수 축적부(204)에 축적된 판별 함수에 의해, 스텝 ST23에서 생성된 히스토그램으로부터 평가 대상인 작업자의 기능이 숙달되어 있는지 여부를 판별한다(스텝 ST24). 기능 판별부(205)는, 판별 결과를 표시 제어부(206)에 출력한다. 표시 제어부(206)는, 평가 대상인 작업자의 기능이 숙달되어 있는 경우(스텝 ST24; 예), 표시 장치(400)에 대하여, 숙련된 작업자에 대한 정보를 표시하기 위한 표시 제어를 행한다(스텝 ST25). 한편, 표시 제어부(206)는, 평가 대상인 작업자의 기능이 숙달되어 있지 않은 경우(스텝 ST24; 아니오), 표시 장치(400)에 대하여, 일반의 작업자에 대한 정보를 표시하기 위한 표시 제어를 행한다(스텝 ST26). 이상으로 처리를 종료한다.
상술한 바와 같이, 판별 함수 축적부(204)에 축적된 판별 함수는, "0" 이상인지, "0" 미만인지에 따라, 작업자의 기능을 판별한다. 그래서, 스텝 ST24의 판별 처리에 있어서, 기능 판별부(205)는, 판별 함수가 "0" 이상이면 작업자의 기능이 숙달되어 있다고 판별하고, 판별 함수가 "0" 미만이면 작업자의 기능이 숙달되어 있지 않다고 판별한다.
다음으로, 동작 학습 장치(100)에 의한 학습의 효과에 대하여, 도 6 및 도 7을 참조하면서 설명한다.
도 6은 실시의 형태 1에 따른 동작 학습 장치(100)의 처리를 나타내는 설명도이다.
도 6(a)는 제 1 동작 특징 추출부(102)가 읽어낸 동화상 데이터를 나타내는 도면이고, 작업자 X의 동화상 데이터를 예로 나타내고 있다.
도 6(b)는 제 1 동작 특징 추출부(102)가, 도 6(a)의 동화상 데이터로부터 추출한 동작의 궤적 특징을 나타내는 도면이다. 도 6(b)의 예에서는, 작업자 X의 손 Xa의 동작의 궤적 특징 Y를 나타내고 있다.
도 6(c)는 동작 특징 학습부(103)가, 도 6(b)의 궤적 특징 Y를 학습한 결과를 나타내는 도면이다. 도 6(c)에 나타내는 바와 같이, 동작 특징 학습부(103)는, 궤적 특징 Y로부터, 기준이 되는 3개의 제 1 궤적 특징 A, 제 2 궤적 특징 B, 제 3 궤적 특징 C를 결정한 경우를 나타내고 있다. 또한, 도 6(b)에서 나타낸 궤적 특징 Y를, 제 1 궤적 특징 A, 제 2 궤적 특징 B 및 제 3 궤적 특징 C로 클러스터링하고, 히스토그램을 생성한 결과를 나타내고 있다. 동작 특징 학습부(103)는, 숙련 작업자 및 일반 작업자에 대하여 히스토그램을 생성하는 것으로부터, 도 6(c)에 나타내는 바와 같이, 숙련 작업자 군의 히스토그램과 일반 작업자 군의 히스토그램이 생성된다. 도 6(c)에서 나타낸 숙련 작업자 군의 히스토그램에서는 제 3 궤적 특징 C가 가장 높고, 한편, 일반 작업자 군의 히스토그램에서는 제 1 궤적 특징 A가 가장 높다.
도 6(d)는 동작 특징 학습부(103)가 특정한 숙달된 동작을 나타내는 궤적 D를, 작업의 기능을 나타내는 공간(이하, 작업 기능 공간)에 있어서 가시화하여 표시한 경우를 나타내고 있다. 도 6(d)에서 나타낸 가로축은 제 3 궤적 특징 C를 나타내고, 그 외의 각 축은 각 궤적 특징의 출현 빈도를 나타내고 있다. 도 6(d)의 예에서는, 궤적 D의 화살표 방향으로 나아감에 따라 숙련도가 높아지고, 궤적 D의 화살표 반대 방향으로 나아감에 따라 숙련도가 낮아지는 것을 나타내고 있다. 숙련 작업자 및 일반 작업자의 궤적 특징을 히스토그램화하는 것에 의해, 작업 기능 공간이 생성되고, 동작 특징 학습부(103)가 특정한 동작을 매핑할 수 있다. 이것에 의해, 숙련 작업자와 일반 작업자의 동작이, 작업 기능 공간 내에서 각각 상이한 영역에 분포된다고 가정할 수 있다. 동작 특징 학습부(103)는, 도 6(d)에서 나타낸 숙련도가 낮은 영역 P와, 숙련도가 높은 영역 Q의, 클래스 간의 분산에만 주목하여, 우선 경계를 학습한다. 동작 특징 학습부(103)는, 학습한 경계와 직교하는 직선을 숙련된 궤적의 축으로서 구한다.
기능 판별 장치(200)의 표시 제어부(206)는, 도 6(d)에서 나타낸 작업 기능 공간을 이용하여, 기능 판별부(205)의 판별 결과에 근거하여, 평가 대상인 작업자의 기능 레벨의 정도를 표시하는 제어를 행하더라도 좋다.
도 7은 실시의 형태 1에 따른 기능 판별 장치(200)의 판별 결과를 표시 장치(400)에 표시하는 경우의 일례를 나타내는 도면이다.
도 7의 예에서는, 작업자 X의 기능이 숙달되어 있지 않다고 판별되고, 그 작업자 X에 대하여, 표시 장치(400)를 통해서 숙달된 동작의 궤적 Da를 표시하고 있다. 작업자 X는 그 표시를 눈으로 확인하는 것에 의해, 자신이 개선해야 할 개소를 용이하게 인식 가능하다.
이상과 같이, 본 실시의 형태 1에 따르면, 숙련 작업자와 일반 작업자의 각각을 촬상한 동화상 데이터에 근거하여, 숙련 작업자 및 일반 작업자의 동작의 궤적 특징을 추출하는 제 1 동작 특징 추출부(102)와, 추출된 궤적 특징 중에서 결정한 기준이 되는 궤적 특징에 유사한 궤적 특징을 클러스터링하고, 클러스터링한 궤적 특징의 출현 빈도에 따라 히스토그램을 생성하고, 생성한 히스토그램에 근거하여, 숙달된 동작의 궤적 특징을 특정하기 위한 판별 학습을 행하는 동작 특징 학습부(103)와, 판별 학습의 결과를 참조하여, 숙달된 동작인지 여부를 판별하기 위한 경계를 나타내는 판별 함수를 생성하는 판별 함수 생성부(104)를 구비하도록 구성했으므로, 동화상 데이터로부터 숙련 작업자의 숙달된 움직임을 추출할 수 있고, 추출한 움직임으로부터 평가 대상인 작업자의 기능을 판별하기 위한 지표를 얻을 수 있다.
또한, 본 실시의 형태 1에 따르면, 평가 대상의 작업자의 작업을 촬상한 동화상 데이터로부터, 그 평가 대상의 작업자의 동작의 궤적 특징을 추출하고, 미리 결정된 기준이 되는 궤적 특징을 이용하여, 추출한 궤적 특징을 클러스터링하고, 클러스터링한 궤적 특징의 출현 빈도에 따라 히스토그램을 생성하는 제 2 동작 특징 추출부(203)와, 미리 구하여진, 숙달된 동작을 판별하는 판별 함수에 의해, 생성된 히스토그램으로부터, 평가 대상의 작업자의 동작이 숙달되어 있는지 여부를 판별하는 기능 판별부(205)와, 판별 결과에 근거하여, 평가 대상의 작업자의 동작이 숙달되어 있는 경우에는 숙련된 작업자에 대한 정보를 표시하는 제어를 행하고, 평가 대상의 작업자의 동작이 숙달되어 있지 않은 경우에는 숙련되어 있지 않은 작업자에 대한 정보를 표시하는 제어를 행하는 표시 제어부(206)를 구비하도록 구성했으므로, 평가 대상인 작업자의 작업을 촬상한 동화상 데이터로부터, 그 작업자의 기능을 판별할 수 있다. 판별 결과에 따라, 제시하는 정보를 전환할 수 있고, 숙련 작업자의 작업을 저해하는, 혹은 작업 효율을 저하시켜 버리는 것을 억제하면서, 일반 작업자에게 기능을 전달할 수 있다.
실시의 형태 2.
본 실시의 형태 2에서는, 평가 대상인 작업자의 몸의 부위마다, 기능을 평가하는 구성을 나타낸다.
도 8은 실시의 형태 2에 따른 기능 판별 시스템의 구성을 나타내는 블록도이다.
실시의 형태 2에 따른 기능 판별 시스템의 동작 학습 장치(100A)는, 도 1에 나타낸 실시의 형태 1의 동작 학습 장치(100)에 부위 검출부(105)를 추가하여 구성하고 있다. 또한, 제 1 동작 특징 추출부(102), 동작 특징 학습부(103) 및 판별 함수 생성부(104) 대신에, 제 1 동작 특징 추출부(102a), 동작 특징 학습부(103a) 및 판별 함수 생성부(104a)를 구비하여 구성하고 있다.
실시의 형태 2에 따른 기능 판별 시스템의 기능 판별 장치(200A)는, 도 1에 나타낸 실시의 형태 1의 제 2 동작 특징 추출부(203), 기능 판별부(205) 및 표시 제어부(206) 대신에, 제 2 동작 특징 추출부(203a), 기능 판별부(205a) 및 표시 제어부(206a)를 구비하여 구성하고 있다.
이하에서는, 실시의 형태 1에 따른 동작 학습 장치(100) 및 기능 판별 장치(200)의 구성 요소와 동일한 또는 상당하는 부분에는, 실시의 형태 1에서 사용한 부호와 동일한 부호를 부여하여 설명을 생략 또는 간략화한다.
부위 검출부(105)는, 동화상 데이터베이스(101)에 저장된 동화상 데이터를 해석하고, 동화상 데이터에 포함되어 있는 숙련 작업자 및 일반 작업자의 부위(이하, 작업자의 부위라고 기재한다)를 검출한다. 여기서, 작업자의 부위란, 작업자의 손가락, 손바닥 및 손목 등이다. 부위 검출부(105)는, 검출한 부위를 나타내는 정보와, 동화상 데이터를 제 1 동작 특징 추출부(102a)에 출력한다. 제 1 동작 특징 추출부(102a)는, 부위 검출부(105)에서 검출된 부위마다, 동화상 데이터로부터 숙련 작업자 및 일반 작업자의 동작의 궤적 특징을 추출한다. 제 1 동작 특징 추출부(102a)는, 추출한 동작의 궤적 특징을, 작업자의 부위를 나타내는 정보와 연결시켜 동작 특징 학습부(103a)에 출력한다.
동작 특징 학습부(103a)는, 제 1 동작 특징 추출부(102a)가 추출한 동작의 궤적 특징으로부터, 부위마다 기준이 되는 동작의 궤적 특징을 결정한다. 동작 특징 학습부(103a)는, 기준이 되는 동작의 궤적 특징에 근거하여, 부위마다 숙달된 동작의 궤적 특징을 특정하기 위한 판별 학습을 행한다. 동작 특징 학습부(103a)는, 결정한 기준이 되는 동작의 궤적 특징을 부위마다 저장한 동작 특징 사전을 생성하여 기능 판별 장치(200A)의 동작 특징 사전 저장부(202)에 저장한다. 또한, 동작 특징 학습부(103a)는, 부위마다의 판별 학습의 결과를 판별 함수 생성부(104a)에 출력한다. 판별 함수 생성부(104a)는, 동작 특징 학습부(103a)의 학습 결과를 참조하여, 부위마다 판별 함수를 생성한다. 판별 함수 생성부(104a)는, 생성한 판별 함수를 기능 판별 장치(200A)의 판별 함수 축적부(204)에 축적한다.
제 2 동작 특징 추출부(203a)는, 동작 특징 사전 저장부(202)에 저장된 동작 특징 사전을 참조하여, 화상 정보 취득부(201)가 취득한 평가 대상의 동화상 데이터로부터 동작의 궤적 특징을 추출한다. 제 2 동작 특징 추출부(203a)는, 추출한 동작의 궤적 특징을 작업자의 부위를 나타내는 정보와 연결시켜 기능 판별부(205a)에 출력한다. 기능 판별부(205a)는, 판별 함수 축적부(204)에 축적된 판별 함수를 이용하여, 제 2 동작 특징 추출부(203a)가 추출한 동작의 궤적 특징으로부터 평가 대상인 작업자의 기능이 숙달되어 있는지 여부의 판별을 행한다. 기능 판별부(205a)는, 동작의 궤적 특징에 연결된 부위마다 판별을 행한다. 기능 판별부(205a)는, 판별 결과를 작업자의 부위를 나타내는 정보에 연결시켜 표시 제어부(206a)에 출력한다. 표시 제어부(206a)는, 기능 판별부(205a)의 판별 결과에 따라, 작업자의 부위마다 지원 정보로서 평가 대상인 작업자에게 표시해야 할 정보를 결정한다.
다음으로, 동작 학습 장치(100A) 및 기능 판별 장치(200A)의 하드웨어 구성의 예를 설명한다. 또, 실시의 형태 1과 동일한 구성의 설명은 생략한다.
동작 학습 장치(100A)에 있어서의 부위 검출부(105), 제 1 동작 특징 추출부(102a), 동작 특징 학습부(103a) 및 판별 함수 생성부(104a)는, 도 2(a)에서 나타낸 처리 회로(100a), 또는 도 2(b)에서 나타낸 메모리(100c)에 저장되는 프로그램을 실행하는 프로세서(100b)이다.
기능 판별 장치(200A)에 있어서의 제 2 동작 특징 추출부(203a), 기능 판별부(205a) 및 표시 제어부(206a), 도 3(a)에서 나타낸 처리 회로(200a), 또는 도 3(b)에서 나타낸 메모리(200c)에 저장되는 프로그램을 실행하는 프로세서(200b)이다.
다음으로, 동작 학습 장치(100A)의 동작 및 기능 판별 장치(200A)의 동작에 대하여 설명한다. 우선, 동작 학습 장치(100A)의 동작에 대하여 설명한다.
도 9는 실시의 형태 2에 따른 동작 학습 장치(100A)의 동작을 나타내는 플로차트이다. 또, 도 9의 플로차트에 있어서, 도 4에서 나타낸 실시의 형태 1의 플로차트와 동일한 스텝에는 동일한 부호를 부여하고, 설명을 생략한다.
부위 검출부(105)는, 동화상 데이터베이스(101)로부터 숙련 작업자 및 일반 작업자의 동작을 촬영한 동화상 데이터를 읽어낸다(스텝 ST31). 부위 검출부(105)는, 스텝 ST31에서 읽어낸 동화상 데이터에 포함되는 작업자의 부위를 검출한다(스텝 ST32). 부위 검출부(105)는, 검출한 부위를 나타내는 정보와, 읽어낸 동화상 데이터를 제 1 동작 특징 추출부(102a)에 출력한다. 제 1 동작 특징 추출부(102a)는, 스텝 ST31에서 읽어내어진 동화상 데이터로부터, 스텝 ST32에서 검출된 작업자의 부위마다, 동작의 궤적 특징을 추출한다(스텝 ST2a). 제 1 동작 특징 추출부(102a)는, 작업자의 부위마다의 동작의 궤적 특징을 동작 특징 학습부(103a)에 출력한다.
동작 특징 학습부(103a)는, 작업자의 부위마다, 기준이 되는 복수의 궤적 특징을 결정한다(스텝 ST3a). 동작 특징 학습부(103a)는, 스텝 ST3a에서 결정한 기준이 되는 복수의 궤적 특징을 이용하여, 작업자의 부위마다 동작 특징 사전을 작성하고, 기능 판별 장치(200A)의 동작 특징 사전 저장부(202)에 저장한다(스텝 ST4a). 동작 특징 학습부(103a)는, 스텝 ST5로부터 스텝 ST7의 처리를 행하고, 작업자의 부위마다 사영 변환 행렬을 생성한다(스텝 ST8a). 판별 함수 생성부(104a)는, 작업자의 부위마다 판별 함수를 생성한다(스텝 ST9a). 판별 함수 생성부(104a)는, 생성한 판별 함수를 작업자의 부위와 연결시켜, 기능 판별 장치(200A)의 판별 함수 축적부(204)에 축적하고(스텝 ST10a), 처리를 종료한다.
다음으로, 기능 판별 장치(200A)의 동작에 대하여 설명한다.
도 10은 실시의 형태 2에 따른 기능 판별 장치(200A)의 동작을 나타내는 플로차트이다. 또, 도 10의 플로차트에 있어서, 도 5에서 나타낸 실시의 형태 1의 플로차트와 동일한 스텝에는 동일한 부호를 부여하고, 설명을 생략한다.
제 2 동작 특징 추출부(203a)는, 동작 특징 사전 저장부(202)에 저장된 동작 특징 사전을 참조하여, 추출한 궤적 특징을 클러스터링하고, 출현 빈도에 따른 히스토그램을 부위마다 생성한다(스텝 ST23a). 제 2 동작 특징 추출부(203a)는, 스텝 ST23a에서 생성한 히스토그램과 작업자의 부위를 연결시켜 기능 판별부(205a)에 출력한다. 기능 판별부(205a)는, 판별 함수 축적부(204)에 축적된 부위마다의 판별 함수에 의해, 스텝 ST23a에서 생성된 히스토그램으로부터, 작업자의 부위마다의 기능이 숙달되어 있는지 여부를 판별한다(스텝 ST24a). 기능 판별부(205a)는, 스텝 ST24a에 있어서, 모든 부위의 기능에 대하여 판별을 행하면, 판별 결과를 표시 제어부(206a)에 출력한다.
표시 제어부(206a)는, 어느 부위에 관하여 작업 중의 작업자의 기능이 숙달되어 있는 경우(스텝 ST24a; 예), 표시 장치(400)에 대하여, 그 부위에 관하여 숙련된 작업자에 대한 정보를 표시하기 위한 표시 제어를 행한다(스텝 ST25a). 한편, 표시 제어부(206a)는, 어느 부위에 관하여 작업 중의 작업자의 기능이 숙달되어 있지 않은 경우(스텝 ST24a; 아니오), 표시 장치(400)에 대하여, 일반의 작업자에 대한 정보를 표시하기 위한 표시 제어를 행한다(스텝 ST26a). 이상으로 처리를 종료한다. 또, 기능 판별부(205a)의 판별 결과가, 어느 부위에 관하여 기능이 숙달되어 있지만, 어느 부위에 관하여 기능이 숙달되어 있지 않은 것을 나타내고 있었던 경우, 표시 제어부(206a)는, 스텝 ST25a 및 스텝 ST26a의 양쪽의 처리를 행한다.
이상과 같이, 본 실시의 형태 2에 따르면, 동화상 데이터로부터, 숙련 작업자 및 일반 작업자의 촬상된 부위를 검출하는 부위 검출부(105)를 구비하고, 제 1 동작 특징 추출부(102a)가, 검출된 부위마다 궤적 특징을 추출하고, 동작 특징 학습부(103a)가, 검출된 부위마다 히스토그램을 부위마다 생성하여 판별 학습을 행하고, 판별 함수 생성부(104a)가, 검출된 부위마다 판별 함수를 생성하도록 구성했으므로, 작업자의 부위마다, 동작 특징을 학습할 수 있다.
또한, 기능 판별 장치(200A)에 있어서, 평가 대상의 작업자에 대하여 부위마다 정보를 제시할 수 있고, 상세한 정보의 제시가 가능하게 된다.
동작 특징 학습부(103, 103a)가, 판별 분석에 있어서, 숙련 작업자 군과 일반 작업자 군의 2클래스 분류를 행할 때에, 클래스 간의 분산이 최대, 또한 클래스 내의 분산이 최소가 되는 사영축을 계산하고, 판별 경계를 결정하는 구성을 나타냈다. 스파스 정규화 항을 추가하여 사영축을 계산하면, 영향도가 낮은 요소는 가중치 "0"으로서 학습된다. 이것에 의해, 동작 특징 학습부(103, 103a)가 사영축을 계산할 때에, 축의 성분이 "0"을 많이 포함하도록 스파스 정규화 항을 추가하여 사영축을 계산하는 구성으로 하는 것이 가능하다.
동작 특징 학습부(103, 103a)가, 스파스 정규화 항을 추가하여 사영축을 계산하는 것에 의해, 판별 경계를 결정하는 것에 필요한 특징 궤적이, 복수의 궤적의 조합이라고 하는 복잡한 특징 궤적의 추출이 되는 것을 억제할 수 있다. 그 때문에, 동작 특징 학습부(103)는, 복수의 특징 궤적 중에서 보다 적은 종류의 특징 궤적의 조합으로부터, 사영축을 계산하여 판별 경계를 결정할 수 있다. 이것에 의해, 기능 판별 장치(200, 200A)는, 작업자에 있어 알기 쉬운 기능 레벨의 제시를 실현할 수 있다.
도 11은 실시의 형태 1에 따른 동작 학습 장치(100)에 있어서 스파스 정규화 항을 추가한 경우의 효과를 나타내는 도면이다.
도 11에서는, 실시의 형태 1의 도 6(c)에서 나타낸 학습 결과에 대하여, 스파스 정규화 항을 추가하여 사영축을 계산하여 얻어졌을 때의, 작업 공간 및 궤적 E를 나타내고 있다. 도 11D에서 나타낸 가로축은 제 3 궤적 특징 C를 나타내고, 그 외의 각 축은 각 궤적 특징의 출현 빈도를 나타내고 있다. 궤적 E는, 제 3 궤적 특징 C에 대하여 평행이고, 작업자에게 숙달된 움직임을 나타내는 궤적을 보다 알기 쉽게 표시하고 있다.
상기 이외에도, 본 발명은 그 발명의 범위 내에 있어서, 각 실시의 형태의 자유로운 조합, 각 실시의 형태의 임의의 구성 요소의 변형, 또는 각 실시의 형태의 임의의 구성 요소의 생략이 가능하다.
(산업상 이용가능성)
본 발명에 따른 동작 학습 장치는, 작업자의 숙달된 움직임을 학습할 수 있기 때문에, 작업자를 지원하는 시스템 등에 적용하고, 작업자에게 숙련된 작업자의 움직임의 특징을 교시하고, 숙련된 작업자의 기능의 전달을 실현하는 것에 적합하다.
100, 100A : 동작 학습 장치
101 : 동화상 데이터베이스
102, 102a : 제 1 동작 특징 추출부
103, 103a : 동작 특징 학습부
104, 104a : 판별 함수 생성부
105 : 부위 검출부
200, 200A : 기능 판별 장치
201 : 화상 정보 취득부
202 : 동작 특징 사전 저장부
203, 203a : 제 2 동작 특징 추출부
204 : 판별 함수 축적부
205, 205a : 기능 판별부
206, 206a : 표시 제어부

Claims (7)

  1. 숙련 작업자와 일반 작업자의 각각을 촬상한 동화상 데이터에 근거하여, 상기 숙련 작업자 및 상기 일반 작업자의 동작의 궤적 특징을 추출하는 제 1 동작 특징 추출부와,
    상기 제 1 동작 특징 추출부가 추출한 상기 궤적 특징 중에서 결정한 기준이 되는 궤적 특징에 유사한 궤적 특징을 클러스터링하고, 클러스터링한 궤적 특징의 출현 빈도에 따라 히스토그램을 생성하고, 생성한 상기 히스토그램에 근거하여, 숙달된 동작의 궤적 특징을 특정하기 위한 판별 학습을 행하는 동작 특징 학습부와,
    상기 동작 특징 학습부의 판별 학습의 결과를 참조하여, 숙달된 동작인지 여부를 판별하기 위한 경계를 나타내는 판별 함수를 생성하는 판별 함수 생성부
    를 구비한 동작 학습 장치.
  2. 제 1 항에 있어서,
    상기 동작 특징 학습부는, 상기 숙련 작업자 군의 히스토그램과, 상기 일반 작업자 군의 히스토그램을 이용하여, 상기 숙련 작업자 군과 상기 일반 작업자 군의 사이의 분산이 최대, 또한 각 군 내의 분산이 최소가 되는 사영축을 계산하고, 상기 판별 함수를 생성하는 것을 특징으로 하는 동작 학습 장치.
  3. 제 1 항에 있어서,
    상기 동작 특징 학습부는, 기계 학습에 의한 판별기를 이용하여 상기 판별 학습을 행하는 것을 특징으로 하는 동작 학습 장치.
  4. 제 1 항에 있어서,
    상기 동화상 데이터로부터, 상기 숙련 작업자 및 상기 일반 작업자의 촬상된 부위를 검출하는 부위 검출부를 구비하고,
    상기 제 1 동작 특징 추출부는, 상기 검출된 부위마다 상기 궤적 특징을 추출하고,
    상기 동작 특징 학습부는, 상기 부위 검출부에서 검출된 부위마다 상기 히스토그램을 생성하여 상기 판별 학습을 행하고,
    상기 판별 함수 생성부는, 상기 검출된 부위마다 상기 판별 함수를 생성하는
    것을 특징으로 하는 동작 학습 장치.
  5. 제 3 항에 있어서,
    상기 동작 특징 학습부는, 스파스 정규화 항(sparse regularization term)을 추가하고, 상기 판별기를 이용한 상기 판별 학습을 행하는 것을 특징으로 하는 동작 학습 장치.
  6. 평가 대상의 작업자의 작업을 촬상한 동화상 데이터로부터, 그 평가 대상의 작업자의 동작의 궤적 특징을 추출하고, 미리 결정된 기준이 되는 궤적 특징을 이용하여, 상기 추출한 상기 평가 대상의 작업자의 궤적 특징을 클러스터링하고, 클러스터링한 궤적 특징의 출현 빈도에 따라 히스토그램을 생성하는 제 2 동작 특징 추출부와,
    미리 구하여진, 숙달된 동작을 판별하는 판별 함수에 의해, 상기 제 2 동작 특징 추출부가 생성한 히스토그램으로부터, 상기 평가 대상의 작업자의 동작이 숙달되어 있는지 여부를 판별하는 기능 판별부와,
    상기 기능 판별부의 판별 결과에 근거하여, 상기 평가 대상의 작업자의 동작이 숙달되어 있는 경우에는 숙련 작업자에 대한 정보를 표시하는 제어를 행하고, 상기 평가 대상의 작업자의 동작이 숙달되어 있지 않은 경우에는 일반 작업자에 대한 정보를 표시하는 제어를 행하는 표시 제어부
    를 구비한 기능 판별 장치.
  7. 숙련 작업자와 일반 작업자의 각각을 촬상한 동화상 데이터에 근거하여, 상기 숙련 작업자 및 상기 일반 작업자의 동작의 제 1 궤적 특징을 추출하는 제 1 동작 특징 추출부와,
    상기 제 1 동작 특징 추출부가 추출한 상기 제 1 궤적 특징 중에서 기준이 되는 궤적 특징을 결정하고, 결정한 기준이 되는 궤적 특징에 유사한 상기 제 1 궤적 특징을 클러스터링하고, 클러스터링한 상기 제 1 궤적 특징의 출현 빈도에 따라 히스토그램을 생성하고, 그 히스토그램에 근거하여, 숙달된 동작의 궤적 특징을 특정하기 위한 판별 학습을 행하는 동작 특징 학습부와,
    상기 동작 특징 학습부의 판별 학습의 결과를 참조하여, 숙달된 동작인지 여부를 판별하기 위한 경계를 나타내는 판별 함수를 생성하는 판별 함수 생성부와,
    평가 대상의 작업자의 작업을 촬상한 동화상 데이터로부터, 상기 평가 대상의 작업자의 동작의 제 2 궤적 특징을 추출하고, 상기 동작 특징 학습부가 결정한 상기 기준이 되는 궤적 특징을 이용하여, 상기 제 2 궤적 특징을 클러스터링하고, 클러스터링한 상기 제 2 궤적 특징의 출현 빈도에 따라 히스토그램을 생성하는 제 2 동작 특징 추출부와,
    상기 판별 함수 생성부가 생성한 상기 판별 함수에 의해, 상기 제 2 동작 특징 추출부가 생성한 히스토그램으로부터, 상기 작업 중의 작업자의 동작이 숙달되어 있는지 여부를 판별하는 기능 판별부와,
    상기 기능 판별부의 판별 결과에 근거하여, 상기 작업 중의 작업자의 동작이 숙달되어 있는 경우에는 상기 숙련 작업자에 대한 정보를 표시하는 제어를 행하고, 상기 작업 중의 작업자의 동작이 숙달되어 있지 않은 경우에는 상기 일반 작업자에 대한 정보를 표시하는 제어를 행하는 표시 제어부
    를 구비한 기능 판별 시스템.
KR1020197023884A 2017-02-24 2017-02-24 동작 학습 장치, 기능 판별 장치 및 기능 판별 시스템 KR20190099537A (ko)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2017/007104 WO2018154709A1 (ja) 2017-02-24 2017-02-24 動作学習装置、技能判別装置および技能判別システム

Publications (1)

Publication Number Publication Date
KR20190099537A true KR20190099537A (ko) 2019-08-27

Family

ID=63252523

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020197023884A KR20190099537A (ko) 2017-02-24 2017-02-24 동작 학습 장치, 기능 판별 장치 및 기능 판별 시스템

Country Status (7)

Country Link
US (1) US20190370982A1 (ko)
JP (1) JP6570786B2 (ko)
KR (1) KR20190099537A (ko)
CN (1) CN110291559A (ko)
DE (1) DE112017006891T5 (ko)
TW (1) TW201832182A (ko)
WO (1) WO2018154709A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220030548A (ko) * 2020-09-03 2022-03-11 (주) 넥스트랩 영상 분석 기반 작업 동작 인식 장치 및 방법

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7106851B2 (ja) * 2017-12-12 2022-07-27 富士フイルムビジネスイノベーション株式会社 情報処理装置及びプログラム
US11119716B2 (en) 2018-10-31 2021-09-14 Fanuc Corporation Display system, machine learning device, and display device
JP6912513B2 (ja) * 2018-10-31 2021-08-04 ファナック株式会社 表示システム、機械学習装置、及び表示装置
US11267065B2 (en) 2019-02-18 2022-03-08 Lincoln Global, Inc. Systems and methods providing pattern recognition and data analysis in welding and cutting
KR102618732B1 (ko) * 2019-08-27 2023-12-27 엘지전자 주식회사 얼굴 인식 활용 단말기 및 얼굴 인식 활용 방법
JP7393720B2 (ja) * 2019-10-29 2023-12-07 オムロン株式会社 技能評価装置、技能評価方法及び技能評価プログラム
CN111046739A (zh) * 2019-11-14 2020-04-21 京东数字科技控股有限公司 一种操作熟练度识别方法、装置及存储介质
JP7249444B1 (ja) * 2022-02-14 2023-03-30 日鉄ソリューションズ株式会社 情報処理装置、情報処理方法、プログラム、及び情報処理システム
CN114783611B (zh) * 2022-06-22 2022-08-23 新泰市中医医院 基于人工智能的神经康复动作检测系统

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011133984A (ja) 2009-12-22 2011-07-07 Panasonic Corp 動作特徴抽出装置および動作特徴抽出方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5604256B2 (ja) * 2010-10-19 2014-10-08 日本放送協会 人物動作検出装置およびそのプログラム

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011133984A (ja) 2009-12-22 2011-07-07 Panasonic Corp 動作特徴抽出装置および動作特徴抽出方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220030548A (ko) * 2020-09-03 2022-03-11 (주) 넥스트랩 영상 분석 기반 작업 동작 인식 장치 및 방법

Also Published As

Publication number Publication date
CN110291559A (zh) 2019-09-27
JPWO2018154709A1 (ja) 2019-06-27
WO2018154709A1 (ja) 2018-08-30
US20190370982A1 (en) 2019-12-05
JP6570786B2 (ja) 2019-09-04
TW201832182A (zh) 2018-09-01
DE112017006891T5 (de) 2019-10-10

Similar Documents

Publication Publication Date Title
KR20190099537A (ko) 동작 학습 장치, 기능 판별 장치 및 기능 판별 시스템
Vishnu et al. Human fall detection in surveillance videos using fall motion vector modeling
Ahmed et al. A robust features-based person tracker for overhead views in industrial environment
US9098740B2 (en) Apparatus, method, and medium detecting object pose
US9877012B2 (en) Image processing apparatus for estimating three-dimensional position of object and method therefor
Harville et al. Fast, integrated person tracking and activity recognition with plan-view templates from a single stereo camera
JP6007682B2 (ja) 画像処理装置、画像処理方法及びプログラム
KR101380628B1 (ko) 복수의 카메라를 사용한 객체 추적 방법 및 장치
EP2957206B1 (en) Robot cleaner and method for controlling the same
JP2016099982A (ja) 行動認識装置、行動学習装置、方法、及びプログラム
JP5598751B2 (ja) 動作認識装置
JP2013210968A (ja) 物体検出装置及びその方法、プログラム
JP2012238119A (ja) 物体認識装置、物体認識装置の制御方法、およびプログラム
JP2014093023A (ja) 物体検出装置、物体検出方法及びプログラム
JP6487642B2 (ja) 手指形状の検出方法、そのプログラム、そのプログラムの記憶媒体、及び、手指の形状を検出するシステム。
McIlwraith et al. Wearable and ambient sensor fusion for the characterisation of human motion
US11580784B2 (en) Model learning device, model learning method, and recording medium
JP2018120283A (ja) 情報処理装置、情報処理方法及びプログラム
Martin et al. Estimation of pointing poses for visually instructing mobile robots under real world conditions
JP2007280219A (ja) 動きパターン認識装置、動きパターン認識方法及び動きパターン認識プログラム
KR20120089948A (ko) Ｍｈｉ의 형태 정보를 이용한 실시간 동작 인식시스템 및 실시간 동작 인식 방법
CN110991292A (zh) 动作识别比对方法、系统、计算机存储介质和电子装置
CN115471863A (zh) 三维姿态的获取方法、模型训练方法和相关设备
CN110910426A (zh) 动作过程和动作趋势识别方法、存储介质和电子装置
JP6384167B2 (ja) 移動体追跡装置及び移動体追跡方法、並びにコンピュータ・プログラム

Legal Events

Date Code Title Description
A201 Request for examination
A302 Request for accelerated examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right