KR102441757B1 - 작업 동작 해석 시스템 및 작업 동작 해석 방법 - Google Patents

작업 동작 해석 시스템 및 작업 동작 해석 방법 Download PDF

Info

Publication number
KR102441757B1
KR102441757B1 KR1020207024001A KR20207024001A KR102441757B1 KR 102441757 B1 KR102441757 B1 KR 102441757B1 KR 1020207024001 A KR1020207024001 A KR 1020207024001A KR 20207024001 A KR20207024001 A KR 20207024001A KR 102441757 B1 KR102441757 B1 KR 102441757B1
Authority
KR
South Korea
Prior art keywords
deviation
work
analysis
image
unit
Prior art date
Application number
KR1020207024001A
Other languages
English (en)
Other versions
KR20200110404A (ko
Inventor
히로또 나가요시
다꾸마 데라다
노부히로 가께노
도시히로 야마다
Original Assignee
가부시키가이샤 히타치세이사쿠쇼
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 가부시키가이샤 히타치세이사쿠쇼 filed Critical 가부시키가이샤 히타치세이사쿠쇼
Publication of KR20200110404A publication Critical patent/KR20200110404A/ko
Application granted granted Critical
Publication of KR102441757B1 publication Critical patent/KR102441757B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00—Teaching not covered by other main groups of this subclass
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
    • G06Q10/06393—Score-carding, benchmarking or key performance indicator [KPI] analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0633—Workflow analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
    • G06Q10/06398—Performance of employee with respect to a job function
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B25/00—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/34—Smoothing or thinning of the pattern; Morphological operations; Skeletonisation

Landscapes

  • Business, Economics & Management (AREA)
  • Engineering & Computer Science (AREA)
  • Human Resources & Organizations (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Strategic Management (AREA)
  • Economics (AREA)
  • Educational Administration (AREA)
  • Theoretical Computer Science (AREA)
  • Development Economics (AREA)
  • Operations Research (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Quality & Reliability (AREA)
  • Marketing (AREA)
  • Game Theory and Decision Science (AREA)
  • Multimedia (AREA)
  • Emergency Management (AREA)
  • Signal Processing (AREA)
  • Educational Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Social Psychology (AREA)
  • Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • General Factory Administration (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Emergency Alarm Devices (AREA)
  • Alarm Systems (AREA)
  • Image Analysis (AREA)
  • Vehicle Body Suspensions (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

작업 동작 해석 시스템(11)은, 작업자의 작업을 촬영한 작업 영상을 작업 공정마다 해석하고, 정상 작업과 다른 일탈 동작을 검지한 경우에, 당해 일탈 동작의 발생 타이밍을 특정하는 일탈 동작 해석부(114)와, 미리 정상 작업을 촬영한 정상 작업 영상과 일탈 동작이 발생하였을 때의 일탈 작업 영상을 축적하는 작업 영상 축적부(정상 작업 영상 축적부(117), 일탈 작업 영상 축적부(118))와, 일탈 동작의 발생 타이밍을 포함하는 소정의 시간에 대한 정상 작업 영상 및 일탈 작업 영상을 표시하는 표시부(표시 입력 장치(111))를 구비한다.

Description

작업 동작 해석 시스템 및 작업 동작 해석 방법
본 발명은, 작업 동작 해석 시스템 및 작업 동작 해석 방법에 관한 것이며, 작업 공정을 구성하는 요소 작업마다 작업 수순이 규정된 작업에 있어서의 일탈 동작을 해석하는 작업 동작 해석 시스템 및 작업 동작 해석 방법에 적용하기에 적합한 것이다.
조립 가공의 분야에 있어서, 작업자에게는, 규정된 작업 수순에 따라서 제품의 조립 가공을 행할 것이 요구된다. 작업 수순은 제품의 품질을 유지하기 위해 정의되어 있고, 제품의 조립 가공의 작업에 있어서 정의로부터 벗어난 동작(일탈 동작)이 행해진 경우에는, 제품의 품질에 문제가 발생할 가능성이 높아진다. 이 때문에, 각종 센서를 이용하여 작업자의 동작에 관한 정보를 취득하고, 일탈 동작을 자동적으로 검지하는 시스템이 필요로 되고 있다. 이와 같은 시스템에 의해 일탈 동작이 검지된 경우에는, 예를 들어 작업 대상이 된 제품에 재검사를 실시하거나, 제품 자체를 폐기하거나 하는 대처를 실시함으로써, 제품의 품질이 담보된다.
예를 들어 특허문헌 1에는, 작업 상황을 촬영한 화상과, 정상 시의 작업을 촬영한 화상을 비교함으로써 일탈 동작을 검지하는 이상 작업 검출 방법이 개시되어 있다. 특허문헌 1에 개시된 이상 작업 검출 방법에서는, 상기 비교 시에, 유사도의 관점도 도입함으로써, 완전 일치뿐만 아니라 애매한 상태에 대해서도, 일탈 동작을 검지할 수 있도록 하고 있다.
또한, 예를 들어 특허문헌 2에는, 동일한 작업을 반복하여 행하는 작업 현장에 있어서, 작업 상황을 촬영한 화상으로부터 검지한 동선과, 정상 시의 동선을 비교함으로써 일탈 동작을 검지하는 작업자 품질 관리 방법이 개시되어 있다.
일본 특허 공개 제2017-091009호 공보 일본 특허 공개 제2016-157357호 공보
그러나, 특허문헌 1에 개시된 이상 작업 검출 방법은, 작업자의 신체 부위가 정상 작업에 있어서의 신체 부위와는 다른 위치인 것을 요인으로 하는 일탈 동작의 검지를 고정밀도로 실현하는 것을 주된 목적으로 하고 있어, 작업 시간이 정상 작업에서 상정된 작업 시간과는 다른 것을 요인으로 하는 일탈 동작을 검지할 수는 없다. 또한, 일련의 작업 공정을 구성하는 어느 요소 작업에 있어서 일탈 동작이 발생하였는지를 검지하는 관점도 개시되어 있지 않아, 이들의 점에서, 작업자나 감독자에 대한 개선 지원의 효과는 그다지 기대할 수 없다는 과제가 있었다.
또한, 특허문헌 2에 개시된 작업자 품질 관리 방법은, 작업자의 신체 부위의 위치를 고려하여 일탈 동작을 검지할 수 있지만, 일련의 작업 공정이 종료된 후에나 일탈 동작을 검지할 수 있어, 즉시성이 부족하다는 문제가 있었다. 일련의 작업 공정의 작업 도중에 일탈 동작의 검지를 할 수 없으면, 일탈 동작이 발생하였을 때의 대처(전술한 바와 같이, 작업 대상이 된 제품의 재검사나, 제품 자체의 폐기 등)의 대상 범위가 확대되어 버린다. 그 결과, 작업의 진척이 정체될 뿐만 아니라, 제조 비용에 대한 부하가 높아져 버리는 과제가 있었다.
본 발명은 이상의 점을 고려하여 이루어진 것이며, 작업에 있어서의 일탈 동작의 발생을 조기에 통지하고, 작업을 어떻게 수정해야 할지의 판단을 지원할 수 있는 작업 동작 해석 시스템 및 작업 동작 해석 방법을 제안하고자 하는 것이다.
이러한 과제를 해결하기 위해 본 발명에 있어서는, 작업자의 작업을 촬영한 작업 영상을 작업 공정마다 해석하고, 정상 작업과 다른 일탈 동작을 검지한 경우에, 당해 일탈 동작의 발생 타이밍을 특정하는 일탈 동작 해석부와, 미리 정상 작업을 촬영한 정상 작업 영상과 상기 일탈 동작이 발생하였을 때의 일탈 작업 영상을 축적하는 작업 영상 축적부와, 상기 일탈 동작의 발생 타이밍을 포함하는 소정의 시간에 대한 상기 정상 작업 영상 및 상기 일탈 작업 영상을 표시하는 표시부를 구비하는 것을 특징으로 하는 작업 동작 해석 시스템이 제공된다.
또한, 이러한 과제를 해결하기 위해 본 발명에 있어서는, 미리 정상 작업을 촬영한 정상 작업 영상을 축적하는 정상 작업 영상 축적 스텝과, 작업자의 작업을 촬영한 작업 영상을 작업 공정마다 해석하고, 정상 작업과 다른 일탈 동작을 검지한 경우에, 당해 일탈 동작의 발생 타이밍을 특정하는 일탈 동작 해석 스텝과, 상기 일탈 동작이 발생하였을 때의 일탈 작업 영상을 축적하는 일탈 작업 영상 축적 스텝과, 상기 일탈 동작 해석 스텝에서 특정된 상기 일탈 동작의 발생 타이밍을 포함하는 소정의 시간에 대한 상기 정상 작업 영상 및 상기 일탈 작업 영상을 표시 장치에 표시하는 표시 스텝을 구비하는 것을 특징으로 하는 작업 동작 해석 방법이 제공된다.
본 발명에 따르면, 작업에 있어서의 일탈 동작의 발생을 조기에 통지하여, 작업을 어떻게 수정해야 할지의 판단을 지원할 수 있다.
도 1은 본 발명의 제1 실시 형태에 관한 작업 동작 해석 시스템의 구성예를 도시하는 블록도이다.
도 2는 일탈 동작의 이력 정보를 설명하기 위한 도면이다.
도 3은 일탈 요인이 작업 위치 일탈인 경우의 작업 영상 화면의 일례를 도시하는 도면이다.
도 4는 일탈 요인이 작업 시간 일탈인 경우의 작업 영상 화면의 일례를 도시하는 도면이다.
도 5는 조작 대기 화면의 일례를 도시하는 도면이다.
도 6은 과거 일탈 동작 확인 화면의 일례를 도시하는 도면이다.
도 7은 대상 기간 결정 화면의 일례를 도시하는 도면이다.
도 8은 일탈 요인이 작업 위치 일탈인 경우의 해석 결과 표시 화면의 일례를 도시하는 도면이다.
도 9는 일탈 요인이 작업 시간 일탈인 경우의 해석 결과 표시 화면의 일례를 도시하는 도면이다.
도 10은 제1 실시 형태에 관한 작업 동작 해석 시스템에 의한 작업 동작 해석 처리의 처리 수순의 일례를 설명하는 흐름도이다.
도 11은 본 발명의 제2 실시 형태에 관한 작업 동작 해석 시스템의 구성예를 도시하는 블록도이다.
도 12는 제2 실시 형태에 관한 작업 동작 해석 시스템에 의한 작업 동작 해석 처리의 처리 수순의 일례를 설명하는 흐름도이다.
도 13은 일탈 동작 통지 화면의 일례를 도시하는 도면이다.
이하 도면에 대하여, 본 발명의 일 실시 형태를 상세하게 설명한다.
(1) 제1 실시 형태
도 1은 본 발명의 제1 실시 형태에 관한 작업 동작 해석 시스템의 구성예를 도시하는 블록도이다. 도 1을 참조하면서, 제1 실시 형태에 관한 작업 동작 해석 시스템(11)의 구성에 대하여 설명한다.
작업 동작 해석 시스템(11)은, 제품의 조립 가공을 행하는 작업자의 작업 동작을 해석하는 시스템이며, 예를 들어 퍼스널 컴퓨터 등의 계산기에 의해 실현된다. 작업 동작 해석 시스템(11)은, 제조 실행 시스템(12)에 접속되어 있다.
제조 실행 시스템(12)은, MES(Manufacturing Execution System)라고도 불리며, 제품의 조립 가공에 사용되는 생산 장치의 실행을 통괄하는 시스템이다. MES는 일반적으로 알려진 시스템이므로, 상세한 설명은 생략하지만, 예를 들어 공장 등의 기계나 작업자의 작업을 감시·관리하는 기능을 갖는다.
도 1에 도시한 바와 같이, 작업 동작 해석 시스템(11)은, 표시 입력 장치(111), 촬상 장치(112), 신체 부위 검출부(113), 일탈 동작 해석부(114), 작업 영상 재생부(115), 및 통계 정보 생성부(116), 정상 작업 영상 축적부(117), 일탈 작업 영상 축적부(118), 및 일탈 동작 해석 결과 축적부(119)를 구비한다.
이 중, 표시 입력 장치(111)는, 입출력 수단이며, 예를 들어 터치 패널이나 스마트 시계 등이다. 또한, 촬상 장치(112)는, 촬영 기능을 갖는 촬상 수단이며, 예를 들어 카메라나 심도 센서 등이다. 또한, 작업 동작 해석 시스템(11)이 예를 들어 퍼스널 컴퓨터와 같은 계산기인 것으로 하는 경우, 상기 표시 입력 장치(111)나 촬상 장치(112)는, 반드시 그 내부에 마련된 장치일 필요는 없고, 당해 계산기에 접속 가능한 외부의 입출력 수단이나 촬상 수단이어도 된다.
또한, 신체 부위 검출부(113), 일탈 동작 해석부(114), 작업 영상 재생부(115), 및 통계 정보 생성부(116)는, 각각이 후술하는 소정의 처리를 행하는 기능적 수단이며, 작업 동작 해석 시스템(11)의 CPU(Central Processing Unit) 등이 프로그램을 판독하여 실행함으로써 실현된다.
또한, 정상 작업 영상 축적부(117), 일탈 작업 영상 축적부(118), 및 일탈 동작 해석 결과 축적부(119)는, 각각이 후술하는 소정의 정보를 기억(축적)하는 기억 수단이며, 예를 들어 작업 동작 해석 시스템(11)의 기억 매체(예를 들어 HDD(Hard Disk Drive) 등)이다. 또한, 작업 동작 해석 시스템(11)이 예를 들어 퍼스널 컴퓨터와 같은 계산기인 것으로 하는 경우, 상기 각 축적부(117 내지 119)는, 반드시 그 내부에 마련된 기억 매체일 필요는 없고, 당해 계산기에 접속 가능한 외부의 기억 매체(예를 들어 USB 단자로 접속되는 HDD 등)여도 된다.
이하에, 상기 작업 동작 해석 시스템(11)의 각 구성에 의한 기능에 대하여 설명한다.
표시 입력 장치(111)는, 표시 화면 등에 있어서 작업자나 감독자에 대하여 정보를 표시하거나, 입력 키 등의 조작을 통해 작업자나 감독자로부터 입력을 접수하거나 한다.
촬상 장치(112)는, 작업자가 작업하고 있는 모습을 촬영한다. 또한, 이하의 설명에서는, 촬상 장치(112)는, 영상(동화상)을 촬영하는 것으로 하지만, 촬상 장치(112)는, 예를 들어 시계열에 따라서 복수의 정지 화상을 촬영하는 것이어도 된다.
신체 부위 검출부(113)는, 촬상 장치(112)에 의해 촬영된 영상을 해석하여, 「작업자의 신체 부위의 위치 정보」를 취득한다. 여기서, 「작업자의 신체 부위의 위치 정보」의 일례로서, 「작업자의 관절 위치를 나타내는 정보」를 생각할 수 있다. 즉, 신체 부위 검출부(113)는, 촬영된 영상으로부터 작업자의 복수의 관절의 위치를 취득함으로써, 작업자의 신체 부위의 위치 정보를 취득할 수 있다. 또한, 위치 정보를 취득하는 신체 부위는, 전신의 신체 부위에 한정되는 것은 아니고, 상반신만 등의 부분적인 신체 부위여도 된다.
또한, 본 실시 형태에 있어서, 신체 부위 검출부(113)가 영상을 해석하여 작업자의 신체 부위의 위치 정보를 취득하는 구체적인 방법은, 특별히 한정되는 것은 아니고, 종래 알려진 방법을 사용할 수 있다. 구체적으로는 예를 들어, 촬상 장치(112)가 통상의 컬러 카메라인 경우에는, 신체 부위 검출부(113)는, Toshev들의 방법(A. Toshev and C. Szegedy, "Deeppose: Human pose estimation via deep neural networks," in Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2014, pp.1653-1660.)을 사용하여 처리를 행함으로써, 작업자의 신체 부위의 위치 정보를 취득할 수 있다. 또한 예를 들어, 촬상 장치(112)가 심도 센서인 경우에는, 신체 부위 검출부(113)는, Shotton들의 방법(J. Shotton, T. Sharp, A. Kipman, A. Fitzgibbon, M. Finocchio, A. Blake, M. Cook, and R. Moore, "Real-time human pose recognition in parts from single depth images," Communications of the ACM, vol.56, no.1, pp.116-124, 2013.)을 사용하여 처리를 행함으로써, 작업자의 신체 부위의 위치 정보를 취득할 수 있다.
또한, 본 실시 형태에 관한 작업 동작 해석 시스템(11)에서는, 촬상 장치(112)가, 신체 부위 검출부(113)에 의한 기능을 겸비하는, 즉, 촬영한 영상으로부터 작업자의 신체 부위의 위치 정보를 추출할 수 있도록 구성해도 된다. 그와 같이 구성하는 경우에는, 신체 부위 검출부(113)는 불필요해진다.
일탈 동작 해석부(114)는, 정상 작업의 모습이 촬영된 영상(정상 작업 영상)을 비교의 기준으로 하여, 신체 부위 검출부(113)에 의해 취득된 「작업자의 신체 부위의 위치 정보」에 대한 시계열 정보를 해석함으로써, 일탈 동작의 유무를 판단하는 것(일탈 동작의 검지) 외에, 일탈 동작을 검지한 경우에는, 일탈 동작이 발생한 타이밍의 특정(일탈 타이밍의 특정), 그리고 일탈 동작의 요인의 특정(일탈 요인의 특정)을 행한다. 일탈 동작 해석부(114)에 의한 이들의 해석 처리는, 작업 공정마다 실시된다. 또한, 정상 작업 영상은, 미리 촬영되어 정상 작업 영상 축적부(117)에 기억(축적)된다.
여기서, 「작업 공정」은, 보다 입도가 작은 「요소 작업」의 조합에 의해 구성된다. 구체적으로는 예를 들어, 부품을 손에 들다, 부품의 오염을 닦아내다, 부품을 조립한다와 같은 각각이 요소 작업에 상당하고, 이들 요소 작업의 연속이 작업 공정에 상당한다. 규정된 정상 작업에 있어서는, 하나의 작업 공정을 구성하는 요소 작업은, 각각의 작업 타이밍이 미리 정해져 있다. 환언하면, 정상 작업에 있어서는, 작업 공정 개시로부터의 경과 시간에 따라, 어느 요소 작업이 행해져야 할지가 규정되어 있다.
또한, 「일탈 요인」은, 신체 부위의 위치가 정상 작업과는 다른 위치인 것에 의한 것과, 요소 작업의 소요 시간이 정상 작업에서 규정되는 소정의 시간과는 다른(길다/짧다) 것에 의한 것으로 분류할 수 있다. 이후에서는, 전자의 일탈 요인을 「작업 위치 일탈」이라 칭하고, 일탈이 검지된 신체 부위를 「일탈 부위」라 칭한다. 또한, 후자의 일탈 요인을 「작업 시간 일탈」이라 칭한다.
또한, 일탈 타이밍, 일탈 부위, 및 작업 시간 일탈을 특정하기 위해서는, 예를 들어 은닉 마르코프 모델을 이용할 수 있다. 은닉 마르코프 모델을 이용하면, 복수의 정상 작업에 있어서의 신체 부위의 위치 정보의 시계열 정보로부터, 위치 정보의 상태 천이를 모델화할 수 있다. 이후는, 이 모델을 「정상 작업의 상태 천이 모델」이라 칭한다.
일탈 동작 해석부(114)에 의한 구체적인 해석 처리를 상세하게 설명한다.
먼저, 일탈 동작 해석부(114)는, 작업 공정 개시의 타이밍을 취득한다. 그를 위해서는 예를 들어, 신체 부위 검출부(113)에 의한 검출 결과를 이용하여, 작업자가 소정의 위치, 혹은 소정의 자세를 취하였을 때, 작업 공정 개시로 판단한다. 또한, 작업 공정 개시의 타이밍이, 예를 들어 생산 장치로부터 부품을 취출한 타이밍 등과 같이, 생산 장치측으로부터 검지할 수 있는 타이밍이면, 생산 장치를 통괄하는 제조 실행 시스템(12)으로부터 작업 공정 개시의 타이밍을 취득하도록 해도 된다.
그리고, 일탈 동작 해석부(114)는, 작업 공정 개시의 타이밍을 취득한 후, 예를 들어 비터비 알고리즘을 사용함으로써, 작업 영상으로부터 취득한 신체 부위의 시계열 정보와, 정상 작업의 상태 천이 모델의 상태를 매칭하면서, 우도를 계산할 수 있어, 어느 타이밍에 일탈 동작이 발생하였는지를 특정할 수 있다(일탈 타이밍의 특정). 즉, 일탈 동작 해석부(114)는, 일탈 동작의 검지, 및 일탈 타이밍의 특정을 행할 수 있다.
여기서, 일탈 타이밍의 표현 방법으로서, 예를 들어 이하의 2가지가 생각된다. 제1 표현 방법은, 통상의 시각으로서의 표현 방법이다(통상 시각에서의 일탈 타이밍). 이 경우, 일탈 타이밍은, 그 발생 시각에 의해 표현할 수 있다. 제2 표현 방법은, 정상 작업에 있어서의 타이밍을 기준으로 한 시간축 상에서의 시각으로서의 표현 방법이다(정상 작업 시간축 상에서의 일탈 타이밍). 이것은, 작업 영상으로부터 취득한 신체 부위의 위치 정보의 시계열 정보를, 정상 작업의 상태 천이 모델의 상태에 각각 매칭시킴으로써 산출할 수 있다. 구체적으로는 예를 들어, 정상 작업에 있어서 작업 공정 개시로부터 5초 후에 발생하는 소정 상태가 있었던 것으로 하여, 작업 영상으로부터 취득한 신체 부위의 위치 정보의 시계열 정보에 있어서의 특정 부분이 상기 소정 상태에 매치되고, 또한, 그 타이밍에 일탈 동작이 발생한 경우에는, 일탈 타이밍을 「5초 후」로 표현할 수 있다.
또한, 정상 작업의 상태 천이 모델에 있어서의 해당 타이밍의 각 상태는, 사전에, 신체 부위의 위치 정보를 유지하고 있는 것으로 한다. 즉, 정상 작업 영상 축적부(117)에 축적된 정상 작업 영상에는, 해당 타이밍의 각 상태에 있어서의 신체 위치 정보가 결부지어져 있다. 이와 같은 경우에, 일탈 동작 해석부(114)는, 정상 작업의 상태 천이 모델에 있어서의 해당 타이밍의 각 상태를, 작업 영상으로부터 취득한 신체 부위의 위치 정보의 시계열 정보 중 해당 타이밍의 정보와 비교함으로써, 작업 위치 일탈의 유무 및 일탈 부위를 판단할 수 있다. 즉, 일탈 동작 해석부(114)는, 작업 위치 일탈에 관한 일탈 요인의 특정을 행할 수 있다.
또한, 일탈 동작 해석부(114)는, 정상 작업의 상태 천이 모델과, 작업 영상으로부터 취득한 신체 부위의 위치 정보의 시계열 정보를 비교함으로써, 작업 영상으로부터 취득한 신체 부위의 위치 정보의 시계열 정보에 있어서, 정상 작업의 상태 천이 모델에 있어서의 각 상태에 상당하는 상태가 어느 정도의 시간에 걸쳐 계속되었는지를 알 수도 있다. 보다 구체적으로는, 정상 작업의 상태 천이 모델에 있어서의 각 상태에 대하여, 당해 상태에서 실행되는 요소 작업을 결부시킴으로써, 일탈 동작 해석부(114)는, 각 요소 작업에 요한 시간이, 소정의 시간(정상 작업에 있어서의 작업 시간)과 비교하여, 정상인지(허용 시간 내인지), 긴지(정상 작업보다 너무 느린지), 짧은지(정상 작업보다 너무 빠른지)를 판정할 수 있다. 즉, 일탈 동작 해석부(114)는, 작업 시간 일탈에 관한 일탈 요인의 특정을 행할 수 있다.
이상과 같이, 일탈 동작 해석부(114)가 해석을 행함으로써, 일탈 동작의 검지가 가능해지고, 또한, 일탈 동작이 발생한 경우에는, 일탈 타이밍 및 일탈 요인의 특정이 가능해진다. 그리고, 일탈 동작 해석부(114)는, 해석에 의해 일탈 동작을 검지한 경우에, 그 일탈 동작에 대응한 작업 영상을, 일탈 작업 영상으로서 일탈 작업 영상 축적부(118)에 기억(축적)한다.
또한, 일탈 동작 해석부(114)는, 해석에 의해 일탈 동작을 검지한 경우에, 당해 일탈 동작에 대하여 특정한 일탈 타이밍 및 일탈 요인을, 일탈 동작의 이력(이력 정보(121))으로서 일탈 동작 해석 결과 축적부(119)에 기억(축적)한다.
도 2는 일탈 동작의 이력 정보를 설명하기 위한 도면이다. 도 2에 도시한 이력 정보(121)는, 일탈 동작 해석 결과 축적부(119)에 축적된 일탈 동작의 이력의 구체예이다.
이력 정보(121)의 구성은 임의의 항목을 마련할 수 있지만, 도 2에서는 예를 들어, 일련번호(SN)(1211)와, 발생 장소(1212)와, 작업 공정 개시의 타이밍(1213)과, 통상 시각의 일탈 타이밍(1214)과, 정상 동작 시간축의 일탈 타이밍(1215)과, 일탈 요인(1216)과, 일탈 요인 상세(1217)로 구성되어 있다.
이력 정보(121)에 있어서, 일련번호(SN)(1211)에는, 검지한 일탈 동작마다 유니크한 번호가 부여되도록 해도 되지만, 조립 가공하는 제품의 일련번호와 일치시키면, 제조 실행 시스템(12)과의 연계가 가능해진다. 또한, 발생 장소(1212)에는, 일탈 동작이 발생한 장소가 기록되고, 작업 공정 개시의 타이밍(1213)에는, 일탈 동작을 검지한 작업 공정이 개시된 타이밍이 기록된다.
또한, 통상 시각의 일탈 타이밍(1214) 및 정상 동작 시간축의 일탈 타이밍(1215)에는, 일탈 동작 해석부(114)에 의한 해석으로 특정된 일탈 타이밍이, 상술한 제1 표현 방법(통상 시각에서의 일탈 타이밍) 또는 제2 표현 방법(정상 작업 시간축 상에서의 일탈 타이밍)으로 기록된다. 또한, 일탈 요인(1216)에는, 일탈 동작 해석부(114)에 의한 해석으로 특정된 일탈 요인(예를 들어 「작업 위치 일탈」이나 「작업 시간 일탈」)이 기록되고, 일탈 요인 상세(1217)에는, 당해 일탈 요인에 관한 상세한 정보가 기록된다.
구체적으로는 예를 들어, 도 2의 데이터열의 1행째의 경우, 일련번호 「01001」에 관련되는 일탈 동작이 「A라인의 N공정」에서 발생하였음이 기록되어 있고, 이 작업 공정(N공정)의 개시 타이밍이나 일탈 타이밍도 아울러 기록되어 있다. 또한, 이 일탈 동작의 일탈 요인에 대해서는, 「오른손」에 의한 「작업 위치 일탈」인 것이 기록되어 있다.
다음에, 작업 영상 재생부(115)에 대하여 설명한다. 작업 영상 재생부(115)는, 일탈 동작이 검지된 경우에, 당해 일탈 동작이 행해진 전후의 소정 시간에 대응하는 정상 작업 영상과 일탈 작업 영상을, 표시 입력 장치(111)에 비교 표시한다(작업 영상 표시).
구체적으로는, 작업 영상 재생부(115)는, 일탈 동작 해석부(114)에 의한 해석으로 일탈 동작이 검지된 경우에, 정상 작업 영상 축적부(117)로부터 정상 작업 영상을 읽어들이고, 일탈 작업 영상 축적부(118)로부터 대응하는 일탈 작업 영상을 읽어들이고, 일탈 동작 해석 결과 축적부(119)로부터 당해 일탈 동작의 일탈 타이밍 및 일탈 요인을 읽어들인이다. 그리고, 작업 영상 재생부(115)는, 읽어들인 정상 작업 영상과 일탈 작업 영상의 각각으로부터, 읽어들인 일탈 타이밍의 전후의 소정 시간의 영상을 잘라내고, 잘라낸 각각의 작업 영상을 작업 영상 표시로서 표시 입력 장치(111)에 표시시킨다(도 3, 도 4의 작업 영상 화면(122)을 참조).
이때, 작업 영상 재생부(115)는, 읽어들인 일탈 요인의 종류에 따라서, 다른 표시 양태로 상기 작업 영상을 표시하는 것이 가능하다. 도 3은 일탈 요인이 작업 위치 일탈인 경우의 작업 영상 화면의 일례를 도시하는 도면이고, 도 4는 일탈 요인이 작업 시간 일탈인 경우의 작업 영상 화면의 일례를 도시하는 도면이다.
도 3의 경우, 표시 입력 장치(111)의 표시 화면에는, 작업 영상 화면(122a)이 표시되어 있다. 작업 영상 화면(122a)은, 정상 작업 영상의 재생 화면(1221)과 일탈 작업 영상의 재생 화면(1222)을 나란히 표시한 구성으로 되어 있다. 또한, 일탈 작업 영상의 재생 화면(1222)에는, 원으로 둘러싸인 왼손의 관절 2개소를 가리켜 「위치가 다릅니다」라고 표기되어 있다. 즉, 일탈 요인이 작업 위치 일탈인 경우에는, 검지된 일탈 동작의 일탈 요인(작업 위치 일탈) 및 일탈 부위를 교시하는 상세 정보가 표시된다.
한편, 도 4의 경우, 표시 입력 장치(111)의 표시 화면에는, 작업 영상 화면(122b)이 표시되어 있다. 작업 영상 화면(122b)은, 정상 작업 영상의 재생 화면(1221)과 일탈 작업 영상의 재생 화면(1223)을 나란히 표시한 구성으로 되어 있다. 또한, 일탈 작업 영상의 재생 화면(1223)에는, 「작업이 너무 빠릅니다」라고 표기되어 있다. 즉, 일탈 요인이 작업 시간 일탈인 경우에는, 검지된 일탈 동작의 일탈 요인(작업 시간 일탈)만을 교시하는 상세 정보가 표시된다.
그리고, 도 3이나 도 4에 예시된 바와 같은 작업 영상 화면(122)을 보여줌으로써, 작업자나 감독자는, 작업 공정의 어느 요소 작업에 있어서 일탈 작업이 발생하였는지라고 하는 상세한 일탈 타이밍을 파악할 수 있고, 또한, 그 일탈이 어떤 것이었는지를 시각적으로 용이하게 인식할 수 있음과 함께, 당해 부분의 정상 작업을 확인할 수 있다. 따라서, 작업자나 감독자는, 대상이 된 요소 작업을 어떻게 수정할 것인지를, 바로 이해, 판단, 결정할 수 있다. 환언하면, 작업 영상 화면(122)을 표시 출력함으로써, 작업자에 대해서는 작업 습숙의 지원 효과를 기대할 수 있고, 감독자에 대해서는, 작업자에 대한 지도의 지원 효과를 기대할 수 있다.
작업 동작 해석 시스템(11)에 있어서, 표시 입력 장치(111)는, 상술한 작업 영상 화면(122)의 표시뿐만 아니라, 상황이나 조작에 따라서, 다양한 표시 화면을 유저(작업자나 감독자 등)를 향하여 표시할 수 있다.
예를 들어, 달리 표시해야 할 화면이 없는 상황에 있어서, 표시 입력 장치(111)는, 유저로부터의 조작을 대기하는 조작 대기 화면을 표시할 수 있다. 도 5는 조작 대기 화면의 일례를 도시하는 도면이다.
도 5에 예시한 조작 대기 화면(123)에는, 과거의 일탈 동작을 표시하고 싶을 때 선택되는 버튼(1231)과, 일탈 동작에 관한 통계 정보를 해석하고 싶을 때 선택되는 버튼(1232)이 표시되어 있다. 또한, 조작 대기 화면(123)에 있어서 표시되는 각 버튼(1231, 1232)은 일례에 지나지 않고, 그 밖의 표시에 대응하는 버튼 등이 표시되도록 구성되어도 된다.
조작 대기 화면(123)이 표시되어 있을 때 버튼(1231)이 선택(예를 들어, 터치 패널에 있어서 압하)된 경우에는, 일탈 동작 해석 결과 축적부(119)에 축적된 일탈 동작의 이력(이력 정보(121))이 읽어들여져, 과거의 일탈 동작을 일람으로부터 확인 가능한 과거 일탈 동작 확인 화면이 표시된다.
도 6은 과거 일탈 동작 확인 화면의 일례를 도시하는 도면이다. 도 6에 예시한 과거 일탈 동작 확인 화면(124)에는, 일탈 동작의 이력을 일람 표시한 일람 화면(1241)과, 어느 일탈 동작의 상세를 표시하고 싶을 때 선택되는 버튼(1242)이 표시되어 있다. 일람 화면(1241)의 표시 내용은, 도 2에서 설명한 이력 정보(121)와 마찬가지여도 된다. 일람 화면(1241)에 표시된 과거의 일탈 동작 중 어느 것이 선택된 상태에서 버튼(1242)이 선택(예를 들어 압하)되면, 선택된 과거의 일탈 동작의 상세 정보(구체적으로는 예를 들어, 도 3이나 도 4에 도시한 작업 영상 화면(122))가 표시 입력 장치(111)에 표시된다.
이와 같이, 과거의 일탈 동작을 확인 가능한 표시가 행해짐으로써, 작업자나 감독자는, 과거에 발생한 일탈 동작의 정보를 거슬러 올라가 확인할 수 있다.
한편, 조작 대기 화면(123)이 표시되어 있을 때 버튼(1232)이 선택(예를 들어, 터치 패널에 있어서 압하)된 경우에는, 일탈 동작에 관한 통계 정보를 해석하는 준비 단계로서, 해석하는 통계 정보의 대상 기간을 결정하는 대상 기간 결정 화면이 표시된다.
도 7은 대상 기간 결정 화면의 일례를 도시하는 도면이다. 도 7에 예시한 대상 기간 결정 화면(125)에는, 해석하는 통계 정보의 대상 기간을 유저가 임의로 선택하는 대상 기간 선택란(1251)과, 대상 기간 선택란(1251)에서 선택한 대상 기간을 확정할 때 선택(실행)되는 버튼(1252)이 표시되어 있다. 대상 기간 결정 화면(125)이 표시되어 있을 때, 대상 기간 선택란(1251)에서 대상 기간이 선택되어 버튼(1242)이 선택(예를 들어 압하)되면, 당해 대상 기간에 있어서의 일탈 동작의 이력(이력 정보(121))을 참조하여, 통계 정보 생성부(116)에 의해 일탈 동작의 통계 정보의 해석이 행해져, 해석 결과가 표시된다(해석 결과 표시).
통계 정보 생성부(116)는, 일탈 동작 해석 결과 축적부(119)에 축적된 일탈 동작의 이력(이력 정보(121))으로부터, 대상 기간 선택란(1251)에 있어서 결정된 통계의 대상 기간에 작업 공정 개시의 타이밍이 포함되는 일탈 동작의 이력을 판독하여, 통계 정보를 생성하는 소정의 처리를 실행한다. 그리고 통계 정보 생성부(116)는, 상기와 같이 하여 생성한 통계 정보(예를 들어, 소정 형식에 의한 그래프)를, 해석 결과 표시로서 표시 입력 장치(111)의 표시 화면에 표시시킨다(도 8, 도 9의 해석 결과 표시 화면(126)을 참조).
이때, 통계 정보 생성부(116)는, 일탈 요인의 종류에 따라서, 다른 표시 양태로 상기 해석 결과 표시를 행하는 것이 가능하다. 도 8은 일탈 요인이 작업 위치 일탈인 경우의 해석 결과 표시 화면의 일례를 도시하는 도면이며, 도 9는 일탈 요인이 작업 시간 일탈인 경우의 해석 결과 표시 화면의 일례를 도시하는 도면이다. 도 8의 해석 결과 표시 화면(126a) 및 도 9의 해석 결과 표시 화면(126b)은, 모두 해석 결과 표시 화면(126)의 일례이며, 정상 작업에 있어서의 작업 공정 개시로부터 작업 공정 종료까지의 시간축을 횡축에 나타내고(작업 공정 개시의 타이밍이 「0」초), 정상 작업 시간축 상에서의 일탈 타이밍의 발생 빈도를 종축에 나타낸 그래프가 도시되어 있다. 또한, 종축에 나타내는 값은, 발생 빈도에 한정되는 것은 아니고, 예를 들어 평균 우도 등을 표시하도록 해도 된다.
구체적으로는, 도 8의 해석 결과 표시 화면(126a)은, 일탈 요인이 작업 위치 일탈인 경우의 표시 화면예이며, 작업 위치 일탈이 「오른손」, 「왼손」, 「헤드」인 경우의 각각에 대한, 정상 작업 시간축 상에서의 일탈 타이밍의 발생 빈도가 도시되어 있다. 도 8의 경우, 오른손의 작업 위치 일탈은, 작업 공정 개시로부터 4초 후에 많이 발생하고, 왼손의 작업 위치 일탈은 작업 공정 개시로부터 8초 후에 많이 발생한 것이 나타나 있다. 즉, 이들 타이밍에 있어서, 각각 오른손 또는 왼손의 요소 작업이 방해되었음을 의미하고, 개선의 필요가 있음이 시사된다.
또한, 도 9의 해석 결과 표시 화면(126b)은, 일탈 요인이 작업 시간 일탈인 경우의 표시 화면예이며, 작업 시간이 소정의 시간(정상 작업에 있어서의 작업 시간)과 비교하여 긴 경우를 「느린 작업」, 작업 시간이 소정의 시간(정상 작업에 있어서의 작업 시간)과 비교하여 짧은 경우를 「빠른 작업」으로 하여, 이들의 발생 빈도가 도시되어 있다. 도 9의 경우, 「느린 작업」은, 작업 공정 개시로부터 6초 후에 많이 발생한 점에서, 이 타이밍에 정상 작업을 방해하는 요인이 존재할 수 있음이 시사되고, 이 요인을 제거함으로써, 보다 원활한 작업을 기대할 수 있게 된다. 한편, 도 9의 경우, 「빠른 작업」은, 작업 공정 개시로부터 2초 후에 많이 발생한 점에서, 이 타이밍에 요소 작업의 실시가 불충분할 가능성이 있어, 개선의 여지가 있음이 시사된다.
이상과 같이, 유저가 선택한 대상 기간에 발생한 일탈 동작에 대하여, 통계 정보 생성부(116)는, 일탈 동작 해석부(114)가 해석한 일탈 동작의 해석 결과(이력 정보(121))에 기초하여 통계 정보를 생성하고, 표시 입력 장치(111)에 해석 결과(해석 결과 표시 화면(126))를 표시시킬 수 있다. 이와 같은 해석 결과 표시를 봄으로써, 유저(작업자나 감독자 등)는, 과거의 일탈 동작의 통계 정보로부터, 작업 공정의 어느 요소(작업 공정 개시로부터의 시간 경과에 대응)에 있어서 개선해야 할 여지가 있는지 인식할 수 있다.
도 10은 제1 실시 형태에 관한 작업 동작 해석 시스템에 의한 작업 동작 해석 처리의 처리 수순의 일례를 설명하는 흐름도이다.
도 10에 의하면 먼저, 촬상 장치(112)가 작업자의 모습을 촬영한다(스텝 S11). 다음에, 신체 부위 검출부(113)가, 스텝 S11에서 촬상된 영상을, 전술한 바와 같이 Toshev들의 방법이나 Shotton들의 방법을 사용하여 해석하여, 작업자의 신체 부위의 위치 정보를 취득한다(스텝 S12).
다음에, 일탈 동작 해석부(114)가, 스텝 S12에서 취득한 신체 부위의 위치 정보로부터, 신체 부위의 위치 정보의 시계열 정보를 해석하고, 일탈 동작의 유무의 판단(일탈 동작의 검지)을 행하여, 일탈 타이밍 및 일탈 요인을 특정한다(스텝 S13).
다음에, 일탈 동작 해석부(114)는, 일탈 동작을 검지하였는지 여부를 판정하고(스텝 S14), 일탈 동작을 검지하지 않은 경우에는(스텝 S14의 "아니오"), 스텝 S11로 되돌아간다. 스텝 S14에 있어서 일탈 동작을 검지한 경우에는(스텝 S14의 "예"), 당해 일탈 동작에 대응한 작업 영상을, 일탈 작업 영상으로서 일탈 작업 영상 축적부(118)에 축적하고(스텝 S15), 또한, 당해 일탈 동작에 대하여 특정한 일탈 타이밍 및 일탈 요인(이력 정보(121))을 일탈 동작 해석 결과 축적부(119)에 축적한다(스텝 S16).
스텝 S16 후에는, 작업 영상 재생부(115)가, 일탈 동작에 대응한 일탈 타이밍 및 일탈 요인을 일탈 동작 해석 결과 축적부(119)로부터 읽어들인다(스텝 S17). 또한, 작업 영상 재생부(115)는, 일탈 동작에 대응한 일탈 작업 영상을 일탈 작업 영상 축적부(118)로부터 읽어들이고, 정상 작업 영상을 정상 작업 영상 축적부(117)로부터 읽어들인다(스텝 S18).
그리고, 작업 영상 재생부(115)는, 스텝 S17 및 스텝 S18에서 읽어들인 정보를 사용하여, 전술한 방법에 기초하여 일탈 타이밍의 전후의 소정 시간의 영상을 잘라내고, 잘라낸 작업 영상이나 일탈 요인 등을 표시 입력 장치(111)에 표시시킨다(스텝 S19). 스텝 S19의 처리는, 전술한 작업 영상 표시의 처리에 상당하고, 구체적인 표시 화면(작업 영상 화면)은, 도 3이나 도 4에 예시한 바와 같다.
스텝 S19의 처리가 종료된 후에는, 스텝 S11로 되돌아가, 다음 작업 공정 또는 요소 작업에 대하여, 다시 촬상 장치(112)가 작업자의 모습을 촬영한다.
또한, 작업 동작 해석 시스템(11)에서는, 스텝 S17 내지 S19의 처리가 행해지는 동안도, 그 밖의 작업(예를 들어, 계속해서 행해지고 있는 그 후의 작업)에 대하여 일탈 동작 해석을 실행 가능한 것이 바람직하다. 이와 같은 일탈 동작 해석을 실현하기 위해, 예를 들어 스텝 S11 내지 S16의 처리를 제1 스레드에서 처리하고, 스텝 S17 내지 S19의 처리를 제2 스레드에서 처리하도록 해도 된다. 이와 같이 복수의 스레드에 의한 병행 처리를 행함으로써, 제2 스레드에서 스텝 S17 내지 S19의 처리를 실행하는 중이라도, 제1 스레드가 다음 스텝 S11로부터의 처리를 실행할 수 있다. 또한, 제2 스레드에서 행하는 처리는, 스텝 S17 내지 S19에 한정되지 않고, 예를 들어 스텝 S15 내지 S19의 처리를 제2 스레드에서 행하거나 해도 된다.
제1 실시 형태에 관한 작업 동작 해석 시스템(11)에 의하면, 상기와 같은 작업 동작 해석을 행함으로써, 작업자에 의한 작업의 모습을 촬영한 후에, 그대로 일탈 동작의 검지나 그 요인 등의 해석을 행하고, 일탈 동작을 검지한 경우에는 바로 해석 결과를 표시 입력 장치(111)에 표시할 수 있다(도 3이나 도 4의 작업 영상 화면(122)). 따라서, 작업자나 감독자는 작업 영상 화면(122)을 봄으로써, 작업을 어떻게 수정해야 할지를, 빠르게 파악할 수 있어, 작업자의 습숙 지원이나 감독자에 의한 작업자 지도에 대한 지원에 효과를 기대할 수 있다.
또한 이때, 일탈 동작의 상세한 정보를 표시할 수 있다. 구체적으로는, 작업 공정 단위보다도 세세한 요소 작업 단위로, 일탈 동작이 발생한 타이밍을 특정하여 표시할 수 있다. 또한, 일탈 동작의 원인이, 신체 부위의 위치가 정상 작업과는 다른 위치인 「작업 위치 일탈」에 의한 것인지, 요소 작업의 소요 시간이 정상 작업에서 규정되는 소정의 시간과는 다른 「작업 시간 일탈」에 의한 것인지라는 일탈 요인도 표시할 수도 있다.
또한, 작업 공정의 리얼타임의 진행과 병행하여 실행 가능한 상술한 작업 동작 해석과는 별도로, 과거의 일탈 동작의 이력에 기초하여, 원하는 기간에 발생한 일탈 동작에 관한 통계 정보를 해석하고, 해석 결과를 표시할 수 있기 때문에(도 8, 도 9의 해석 결과 표시 화면(126)), 감독자가 개선해야 할 요소 작업의 포인트를 파악하기 쉽게 지원할 수 있다.
(2) 제2 실시 형태
도 11은 본 발명의 제2 실시 형태에 관한 작업 동작 해석 시스템의 구성예를 도시하는 블록도이다. 도 11을 참조하면서, 제2 실시 형태에 관한 작업 동작 해석 시스템(21)의 구성에 대하여 설명한다.
도 11에 도시한 작업 동작 해석 시스템(21)은, 일탈 동작 검지부(211)가 추가된 것 이외는, 도 1에 도시한 작업 동작 해석 시스템(11)과 동일한 구성을 구비한다.
그리고, 작업 동작 해석 시스템(11)에서는, 일탈 동작 해석부(114)가, 일탈 동작의 유무의 판단(일탈 동작의 검지) 외에, 일탈 타이밍의 특정, 그리고 일탈 요인의 특정을 행한 것에 대하여, 작업 동작 해석 시스템(21)에서는, 일탈 동작 검지부(211)가, 일탈 동작의 유무의 판단(일탈 동작의 검지)을 행하고, 일탈 동작 해석부(114)가, 일탈 타이밍의 특정, 그리고 일탈 요인의 특정을 행하는 점에서 다르다.
작업 동작 해석 시스템(21)에서는, 제1 실시 형태에 있어서의 설명과 마찬가지로, 작업자가 작업하고 있는 모습을 촬상 장치(112)가 촬영하고, 촬영한 영상을 신체 부위 검출부(113)가 해석하여, 작업자의 신체 부위의 위치 정보를 취득한다. 그리고, 일탈 동작 검지부(211)는, 신체 부위 검출부(113)에 의해 취득된 「작업자의 신체 부위의 위치 정보」에 대한 시계열 정보를 해석함으로써, 일탈 동작의 유무의 판단(일탈 동작의 검지)만을 행하고, 그 검지 결과를 출력한다.
일탈 동작 검지부(211)가 「작업자의 신체 부위의 위치 정보」의 시계열 정보로부터 일탈 동작의 유무를 판단하는 방법은 특별히 한정되지 않지만, 이하에 일례를 든다.
예를 들어, 사전에, 복수의 정상 작업에 있어서의 신체 부위의 위치 정보의 시계열 정보의 각각으로부터 통계량을 산출하고, 또한, 해당 통계량의 확률 분포를 산출해 둔다. 이 통계량은, 평균값, 중앙값 또는 분산 등을 의미한다. 게다가, 일탈 동작 검지부(211)는, 작업 영상으로부터 취득한 「작업자의 신체 부위의 위치 정보」의 시계열 정보로부터 마찬가지의 통계량을 산출한다. 이와 같이 하여 산출한 통계량을, 사전에 산출한 정상 작업에 있어서의 통계량의 확률 분포로 비교하면, 정상 작업에 얼마나 가까운지를 산출할 수 있다. 따라서, 소정의 역치를 사용한 역치 처리를 행하는 것 등에 의해, 일탈 동작 검지부(211)는, 일탈 동작의 유무를 판단할 수 있다.
도 12는 제2 실시 형태에 관한 작업 동작 해석 시스템에 의한 작업 동작 해석 처리의 처리 수순의 일례를 설명하는 흐름도이다. 도 12에 도시한 처리 수순에 대하여, 제1 실시 형태에 대하여 도 10에 예시한 작업 동작 해석 처리의 처리 수순과 다른 처리를 중심으로 설명하고, 공통되는 처리의 설명은 생략한다.
도 12에 있어서, 촬상 장치(112)가 작업자의 모습을 촬영하고(스텝 S11), 신체 부위 검출부(113)가 작업자의 신체 부위의 위치 정보를 취득하기(스텝 S12)까지의 처리는, 도 10과 마찬가지이다.
다음에, 일탈 동작 검지부(211)가, 스텝 S12에서 취득한 신체 부위의 위치 정보로부터, 신체 부위의 위치 정보의 시계열 정보를 해석하여, 일탈 동작의 유무의 판단(일탈 동작의 검지)을 행한다(스텝 S21).
다음에, 일탈 동작 검지부(211)는, 일탈 동작을 검지하였는지 여부를 판정하고(스텝 S22), 일탈 동작을 검지하지 않은 경우에는(스텝 S22의 "아니오"), 스텝 S11로 되돌아간다. 스텝 S22에 있어서 일탈 동작을 검지한 경우에는(스텝 S22의 "예"), 표시 입력 장치(111)에, 일탈 동작이 검지된 것을 나타내는 화면(일탈 동작 통지 화면)을 표시시킨다(스텝 S23).
여기서, 도 13은 일탈 동작 통지 화면의 일례를 도시하는 도면이다. 도 13에 예시한 일탈 동작 통지 화면(221)에는, 예를 들어 일련번호(SN)와, 발생 장소와, 작업 공정 개시의 타이밍이 나타내어진다. 각각의 항목은, 예를 들어 도 2에서 설명한 이력 정보(121)의 동명의 항목과 대응하고 있다. 여기서, 일련번호에 대해서는, 조립 가공하는 제품의 일련번호와 일치시키면, 제조 실행 시스템(12)과의 연계가 가능해진다. 또한, 도 13의 일탈 동작 통지 화면(221)은 일례에 지나지 않고, 다른 항목이 표시되어도 되지만, 이 시점에서는 일탈 동작의 해석은 행해지고 있지 않기 때문에, 일탈 요인 등의 상세 정보는 표시되지 않는다.
즉, 제2 실시 형태에 관한 작업 동작 해석 시스템(21)에서는, 일탈 동작의 검지만이 행해진 단계에서 일탈 동작 통지 화면(221)을 표시함으로써, 일탈 동작이 발생한 후, 빠르게(제1 실시 형태에 있어서의 작업 영상 화면(122)보다도 조기에) 일탈 동작의 발생을 통지할 수 있다.
그 후, 일탈 동작 해석부(114)가, 스텝 S12에서 취득한 신체 부위의 위치 정보로부터, 신체 부위의 위치 정보의 시계열 정보를 해석하고, 스텝 S21에서 검지된 일탈 동작에 대하여, 일탈 타이밍 및 일탈 요인을 특정한다(스텝 S24).
그 후의 스텝 S15 내지 S19의 처리는, 도 10과 마찬가지이기 때문에, 설명을 생략한다. 또한, 도 10에서 설명한 것과 마찬가지로, 도 12의 작업 동작 해석 처리에 있어서도, 복수의 스레드에 의한 병행 처리를 행함으로써, 하나의 작업 동작에 대하여 해석이 행해지고 있는 동안에, 다른 작업 동작에 관한 해석도 실행 가능하게 할 수 있다. 구체적으로는, 스텝 S17 내지 S19(또는, 스텝 S24 및 스텝 S15 내지 S19)의 처리를 제2 스레드에서 실행하면서, 다음 스텝 S11 내지 S16(또는, 스텝 S11 내지 S23)의 처리를 제1 스레드에서 행하도록 해도 된다.
또한, 도 12의 처리 수순에서는, 일탈 동작 검지부(211)가 일탈 동작을 검지하지 않은 경우(스텝 S22의 "아니오")에, 스텝 S11로 되돌아가는 것으로 하였지만, 다른 처리 수순예로서, 스텝 S22에 있어서의 일탈 동작 검지의 판단 처리를, 스텝 S24에 있어서 일탈 동작 해석부(114)가 일탈 동작의 해석을 행한 후에 행하도록 해도 된다. 이와 같은 처리 수순으로 함으로써, 일탈 동작 검지부(211)에 의해 일탈 동작이 검지되지 않은 경우라도, 일탈 동작 해석부(114)에 의한 상세한 해석에 의해 일탈 동작의 발생이 다시 검지된 경우에, 스텝 S22에 있어서의 일탈 동작 검지의 판단 처리가 행해지기 때문에, 일탈 처리의 검지 시의 통지 및 정보 수집을 확실하게 행할 수 있다.
제2 실시 형태에 관한 작업 동작 해석 시스템(21)에 의하면, 상기와 같은 작업 동작 해석을 행함으로써, 작업자에 의한 작업의 모습을 촬영한 직후에, 그대로 일탈 동작의 검지를 행하고, 일탈 동작을 검지한 경우에는 바로, 일탈 동작 통지 화면(221)의 표시에 의해 일탈 동작의 발생을 작업자나 감독자 등에게 통지할 수 있다. 이 통지 타이밍은, 제1 실시 형태에 있어서의 작업 영상 화면(122)의 표시(도 10의 스텝 S19)보다도 조기에 실현할 수 있기 때문에, 작업의 실행 중에, 보다 높은 리얼타임성으로 일탈 동작의 검지를 실현할 수 있다.
또한, 제2 실시 형태에 관한 작업 동작 해석 시스템(21)에서는, 일탈 동작을 검지하여 일탈 동작 통지 화면(221)을 표시한 후에, 제1 실시 형태에 관한 작업 동작 해석 시스템(11)과 마찬가지로, 일탈 동작의 해석을 행하여 일탈 타이밍 및 일탈 요인을 특정하고, 그 해석 결과를 작업 영상 화면(122)에서 표시할 수 있다. 또한 이때, 요소 작업 단위로 일탈 동작의 발생 타이밍을 특정하여 표시하고, 일탈 동작의 원인이 「작업 위치 일탈」에 의한 것인지, 「작업 시간 일탈」에 의한 것인지도 특정하여 표시할 수 있다. 이들의 점에서, 제1 실시 형태와 마찬가지로, 작업을 어떻게 수정해야 할지를, 작업자나 감독자에게 빠르게 인식시킬 수 있어, 작업자의 습숙 지원이나 감독자에 의한 작업자 지도에 대한 지원에 효과를 기대할 수 있다.
특히, 제2 실시 형태에 관한 작업 동작 해석 시스템(21)에서는, 상기와 같이 일탈 동작의 발생에 대하여, 일탈 동작의 검지만을 해석하여 통지시키는 제1 해석 스텝과, 일탈 동작의 상세(일탈 타이밍이나 일탈 요인)를 해석하여 통지시키는 제2 해석 스텝이라는, 다단계의 해석 스텝을 구비한다. 이와 같은 구성으로 함으로써, 제1 해석 스텝에 대해서는, 처리 부하를 경감하여 조기의 통지를 가능하게 하고, 제2 해석 스텝에 대해서는, 제1 해석 스텝보다는 시간을 요하지만, 상세한 해석 결과의 통지를 가능하게 한다. 이 결과, 작업자나 감독자는, 용도에 따라서 이들 다단계에 의한 통지를 유연하게 이용할 수 있다. 예를 들어, 작업을 리얼타임으로 감독하는 감독자에게 있어서는, 세세한 작업을 항상 감시하는 것은 부담이 많아, 제1 해석 스텝에 의한 일탈 동작의 발생의 통지가 즉시성을 갖고 실행되는 것이 가장 중요해진다. 그리고, 제1 해석 스텝에 의한 통지가 행해진 경우에는, 그 후에 행해지는 제2 해석 스텝에 의한 통지를 확인하여 그 상세를 확인함으로써, 작업의 문제점이나 개선 포인트에 관한 지원 정보를 얻을 수 있다.
또한, 제1 실시 형태에 관한 작업 동작 해석 시스템(11)과 마찬가지로, 작업 공정의 리얼타임의 진행과 병행하여 실행 가능한 상술한 작업 동작 해석과는 별도로, 과거의 일탈 동작의 이력에 기초하여, 원하는 기간에 발생한 일탈 동작에 관한 통계 정보를 해석하고, 해석 결과를 표시할 수 있기 때문에(도 8, 도 9의 해석 결과 표시 화면(126)), 감독자가 개선해야 할 요소 작업의 포인트를 파악하기 쉽게 지원할 수 있다.
또한, 본 발명은 상기한 실시 형태에 한정되는 것은 아니고, 다양한 변형예가 포함된다. 예를 들어, 상기한 실시 형태는 본 발명을 알기 쉽게 설명하기 위해 상세하게 설명한 것이며, 반드시 설명한 모든 구성을 구비하는 것에 한정되는 것은 아니다. 또한, 어떤 실시 형태의 구성의 일부를 다른 실시 형태의 구성으로 치환하는 것이 가능하고, 또한, 어떤 실시 형태의 구성에 다른 실시 형태의 구성을 추가하는 것도 가능하다. 또한, 각 실시 형태의 구성의 일부에 대하여, 다른 구성의 추가·삭제·치환을 하는 것이 가능하다.
또한, 상기의 각 구성, 기능, 처리부, 처리 수단 등은, 그것들의 일부 또는 전부를, 예를 들어 집적 회로로 설계하는 것 등에 의해 하드웨어로 실현해도 된다. 또한, 상기 각 구성, 기능 등은, 프로세서가 각각의 기능을 실현하는 프로그램을 해석하고, 실행함으로써 소프트웨어로 실현해도 된다. 각 기능을 실현하는 프로그램, 테이블, 파일 등의 정보는, 메모리나, 하드 디스크, SSD(Solid State Drive) 등의 기록 장치, 또는, IC 카드, SD 카드, DVD 등의 기록 매체에 둘 수 있다. 또한, 제어선이나 정보선은 설명상 필요하다고 생각되는 것을 나타내고 있으며, 제품상 반드시 모든 제어선이나 정보선을 나타내고 있다고는 할 수 없다. 실시에는 거의 모든 구성이 서로 접속되어 있다고 생각해도 된다.
11, 21 : 작업 동작 해석 시스템
12 : 제조 실행 시스템
111 : 표시 입력 장치
112 : 촬상 장치
113 : 신체 부위 검출부
114 : 일탈 동작 해석부
115 : 작업 영상 재생부
116 : 통계 정보 생성부
117 : 정상 작업 영상 축적부
118 : 일탈 작업 영상 축적부
119 : 일탈 동작 해석 결과 축적부
121 : 이력 정보
122(122a, 122b) : 작업 영상 화면
123 : 조작 대기 화면
124 : 과거 일탈 동작 확인 화면
125 : 대상 기간 결정 화면
126(126a, 126b) : 해석 결과 표시 화면
211 : 일탈 동작 검지부
221 : 일탈 동작 통지 화면

Claims (14)

  1. 작업자의 작업을 촬영한 작업 영상을 복수의 요소 작업으로 구성되는 작업 공정마다 해석하고, 정상 작업과 다른 일탈 동작을 검지한 경우에, 당해 일탈 동작의 발생 타이밍 및 요인을 특정하는 일탈 동작 해석부와,
    미리 정상 작업을 촬영한 정상 작업 영상과 상기 일탈 동작이 발생하였을 때의 일탈 작업 영상을 축적하는 작업 영상 축적부와,
    상기 일탈 동작의 발생 타이밍을 포함하는 소정의 시간에 대한 상기 정상 작업 영상 및 상기 일탈 작업 영상을 표시하는 표시부
    를 구비하고,
    상기 일탈 동작 해석부는, 상기 일탈 동작을 검지한 상기 요소 작업의 해석에 있어서, 해당 요소 작업의 작업 시간이 상기 정상 작업의 작업 시간으로부터 일탈한 경우에, 해당 일탈 동작의 요인을 작업 시간 일탈이라고 특정하고, 해당 요소 작업에 있어서의 작업자의 신체 부위의 위치가 시계열에서 상기 정상 작업에 있어서의 작업자의 신체 부위의 위치로부터 일탈한 경우에, 해당 일탈 동작의 요인을 작업 위치 일탈이라고 특정하고,
    상기 표시부는, 상기 일탈 동작 해석부에 의해 특정된 상기 일탈 동작의 요인이 상기 작업 시간 일탈인 경우는, 해당 일탈 동작에 있어서 일탈한 작업 시간의 지속(遲速)을 명시하는 형태로 상기 일탈 작업 영상을 표시하고, 상기 일탈 동작의 요인이 상기 작업 위치 일탈인 경우는, 해당 일탈 동작에 있어서 위치가 일탈한 신체 부위를 명시하는 형태로 상기 일탈 작업 영상을 표시하는
    것을 특징으로 하는 작업 동작 해석 시스템.
  2. 제1항에 있어서,
    상기 일탈 동작 해석부에 의한 해석 결과를 축적하는 일탈 동작 해석 결과 축적부와,
    상기 일탈 동작 해석 결과 축적부에 축적된 정보를 사용하여 소정의 통계 정보를 생성하고, 해당 생성한 통계 정보를 상기 표시부에 표시시키는 통계 정보 생성부를 더 구비하는 것을 특징으로 하는 작업 동작 해석 시스템.
  3. 제2항에 있어서,
    상기 통계 정보 생성부가 생성하는 상기 통계 정보는, 상기 작업 공정의 시계열에 대한 상기 일탈 동작의 발생 빈도를 나타내는 정보인 것을 특징으로 하는 작업 동작 해석 시스템.
  4. 제2항 또는 제3항에 있어서,
    상기 통계 정보 생성부는, 상기 일탈 동작의 요인에 따라서 다른 표시 양태로 상기 통계 정보를 생성하고, 해당 생성한 통계 정보를 상기 표시부에 표시시키는 것을 특징으로 하는 작업 동작 해석 시스템.
  5. 제1항 내지 제3항 중 어느 한 항에 있어서,
    상기 일탈 동작 해석부는,
    상기 일탈 동작을 검지하는 제1 해석부와,
    상기 제1 해석부에 의한 상기 일탈 동작의 검지 후에, 당해 일탈 동작의 발생 타이밍을 특정하는 제2 해석부
    를 갖고,
    상기 제1 해석부는, 상기 작업자에 의한 상기 작업 공정의 작업 진행에 따라, 상기 작업 영상에 기초하여 순차 처리를 실행하고,
    상기 제1 해석부는, 상기 일탈 동작을 검지한 경우에, 상기 제2 해석부에 의한 처리를 기다리지 않고, 당해 일탈 동작의 발생을 통지한다는 취지의 표시 화면을 상기 표시부에 표시시키고,
    또한 상기 표시부는, 상기 제2 해석부에 의해 상기 일탈 동작의 발생 타이밍이 특정된 후에, 당해 일탈 동작의 발생 타이밍을 포함하는 소정의 시간에 대한 상기 정상 작업 영상 및 상기 일탈 작업 영상을 표시하는 것을 특징으로 하는 작업 동작 해석 시스템.
  6. 미리 정상 작업을 촬영한 정상 작업 영상을 축적하는 정상 작업 영상 축적 스텝과,
    작업자의 작업을 촬영한 작업 영상을 복수의 요소 작업으로 구성되는 작업 공정마다 해석하고, 정상 작업과 다른 일탈 동작을 검지한 경우에, 당해 일탈 동작의 발생 타이밍 및 요인을 특정하는 일탈 동작 해석 스텝과,
    상기 일탈 동작이 발생하였을 때의 일탈 작업 영상을 축적하는 일탈 작업 영상 축적 스텝과,
    상기 일탈 동작 해석 스텝에서 특정된 상기 일탈 동작의 발생 타이밍을 포함하는 소정의 시간에 대한 상기 정상 작업 영상 및 상기 일탈 작업 영상을 표시 장치에 표시하는 표시 스텝
    을 구비하고,
    상기 일탈 동작 해석 스텝에서는, 상기 일탈 동작을 검지한 상기 요소 작업의 해석에 있어서, 해당 요소 작업의 작업 시간이 상기 정상 작업의 작업 시간으로부터 일탈한 경우에, 해당 일탈 동작의 요인을 작업 시간 일탈이라고 특정하고, 해당 요소 작업에 있어서의 작업자의 신체 부위의 위치가 시계열에서 상기 정상 작업에 있어서의 작업자의 신체 부위의 위치로부터 일탈한 경우에, 해당 일탈 동작의 요인을 작업 위치 일탈이라고 특정하고,
    상기 표시 스텝에서는, 상기 일탈 동작 해석 스텝에서 특정된 상기 일탈 동작의 요인이 상기 작업 시간 일탈인 경우는, 해당 일탈 동작에 있어서 일탈한 작업 시간의 지속을 명시하는 형태로 상기 일탈 작업 영상을 표시하고, 상기 일탈 동작의 요인이 상기 작업 위치 일탈인 경우는, 해당 일탈 동작에 있어서 위치가 일탈한 신체 부위를 명시하는 형태로 상기 일탈 작업 영상을 표시하는
    것을 특징으로 하는 작업 동작 해석 방법.
  7. 제6항에 있어서,
    상기 일탈 동작 해석 스텝에 의한 해석 결과를 축적하는 일탈 동작 해석 결과 축적 스텝과,
    상기 일탈 동작 해석 결과 축적 스텝에서 축적된 정보를 사용하여 소정의 통계 정보를 생성하고, 해당 생성한 통계 정보를 상기 표시 장치에 표시시키는 통계 정보 생성 스텝을 더 구비하는 것을 특징으로 하는 작업 동작 해석 방법.
  8. 제7항에 있어서,
    상기 통계 정보 생성 스텝에 있어서 생성하는 상기 통계 정보는, 상기 작업 공정의 시계열에 대한 상기 일탈 동작의 발생 빈도를 나타내는 정보인 것을 특징으로 하는 작업 동작 해석 방법.
  9. 제7항 또는 제8항에 있어서,
    상기 통계 정보 생성 스텝에 있어서, 상기 일탈 동작의 요인에 따라서 다른 표시 양태로 상기 통계 정보를 생성하고, 해당 생성한 통계 정보를 상기 표시 장치에 표시시키는 것을 특징으로 하는 작업 동작 해석 방법.
  10. 제6항 내지 제8항 중 어느 한 항에 있어서,
    상기 일탈 동작 해석 스텝은,
    상기 일탈 동작을 검지하는 제1 해석 스텝과,
    상기 제1 해석 스텝 후에, 당해 일탈 동작의 발생 타이밍을 특정하는 제2 해석 스텝을 갖고,
    상기 제1 해석 스텝은, 상기 작업자에 의한 상기 작업 공정의 작업 진행에 따라, 상기 작업 영상에 기초하여 순차 처리가 실행되고,
    상기 제1 해석 스텝에서는, 상기 일탈 동작을 검지한 경우에, 상기 제2 해석 스텝의 실행을 기다리지 않고, 당해 일탈 동작의 발생을 통지한다는 취지의 표시 화면을 상기 표시 장치에 표시시키고,
    상기 표시 스텝에서는, 상기 제2 해석 스텝에 의해 상기 일탈 동작의 발생 타이밍이 특정된 후에, 당해 일탈 동작의 발생 타이밍을 포함하는 소정의 시간에 대한 상기 정상 작업 영상 및 상기 일탈 작업 영상을 상기 표시 장치에 표시하는
    것을 특징으로 하는 작업 동작 해석 방법.
  11. 삭제
  12. 삭제
  13. 삭제
  14. 삭제
KR1020207024001A 2018-03-05 2019-02-28 작업 동작 해석 시스템 및 작업 동작 해석 방법 KR102441757B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JPJP-P-2018-039060 2018-03-05
JP2018039060A JP6997013B2 (ja) 2018-03-05 2018-03-05 作業動作解析システム及び作業動作解析方法
PCT/JP2019/007962 WO2019172093A1 (ja) 2018-03-05 2019-02-28 作業動作解析システム及び作業動作解析方法

Publications (2)

Publication Number Publication Date
KR20200110404A KR20200110404A (ko) 2020-09-23
KR102441757B1 true KR102441757B1 (ko) 2022-09-08

Family

ID=67847395

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020207024001A KR102441757B1 (ko) 2018-03-05 2019-02-28 작업 동작 해석 시스템 및 작업 동작 해석 방법

Country Status (6)

Country Link
US (1) US11651317B2 (ko)
JP (1) JP6997013B2 (ko)
KR (1) KR102441757B1 (ko)
CN (1) CN111670469B (ko)
PL (1) PL435520A1 (ko)
WO (1) WO2019172093A1 (ko)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7136141B2 (ja) 2020-02-07 2022-09-13 カシオ計算機株式会社 情報管理装置、情報管理方法及びプログラム
CN111340774B (zh) * 2020-02-24 2023-03-21 腾讯科技（深圳）有限公司 图像检测方法、装置、计算机设备及存储介质
JP7464451B2 (ja) * 2020-06-12 2024-04-09 株式会社ダイセル 骨格検出システム及び作業管理装置
CN112363848A (zh) * 2020-10-23 2021-02-12 岭东核电有限公司 移动终端远程控制方法、装置、计算机设备和存储介质
KR102616328B1 (ko) 2021-12-27 2023-12-21 현대모비스 주식회사 안전벨트 착용 판단 장치 및 방법
JP2023132973A (ja) * 2022-03-11 2023-09-22 オムロン株式会社 動画像集約装置、動画像集約方法、及び動画像集約プログラム

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10768591B2 (en) 2015-09-03 2020-09-08 Mitsubishi Electric Corporation Behavior identification device, air conditioner, and robot control device

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09134214A (ja) * 1995-11-13 1997-05-20 Matsushita Electric Ind Co Ltd 記録再生装置
FR2902546B1 (fr) * 2006-06-16 2008-12-26 Olfeo Sarl Procede et systeme de traitement de donnees de securite d'un reseau informatique.
US9734464B2 (en) * 2007-09-11 2017-08-15 International Business Machines Corporation Automatically generating labor standards from video data
US20100144440A1 (en) * 2008-12-04 2010-06-10 Nokia Corporation Methods, apparatuses, and computer program products in social services
US8253564B2 (en) * 2009-02-19 2012-08-28 Panasonic Corporation Predicting a future location of a moving object observed by a surveillance device
CA2765782C (en) * 2009-06-24 2018-11-27 The Medical Research, Infrastructure, And Health Services Fund Of The Tel Aviv Medical Center Automated near-fall detector
JP5525202B2 (ja) * 2009-07-30 2014-06-18 株式会社構造計画研究所 動作分析装置、動作分析方法及び動作分析プログラム
JP2011133984A (ja) * 2009-12-22 2011-07-07 Panasonic Corp 動作特徴抽出装置および動作特徴抽出方法
JP5455787B2 (ja) * 2010-05-27 2014-03-26 パナソニック株式会社 動作解析装置および動作解析方法
US9241037B2 (en) * 2010-12-28 2016-01-19 Nec Corporation Server device, behavior promotion and suppression system, behavior promotion and suppression method, and recording medium
US9026476B2 (en) * 2011-05-09 2015-05-05 Anurag Bist System and method for personalized media rating and related emotional profile analytics
CN103733153B (zh) * 2011-09-05 2015-08-05 株式会社小林制作所 作业管理系统、作业管理终端以及作业管理方法
US9203862B1 (en) * 2012-07-03 2015-12-01 Bromium, Inc. Centralized storage and management of malware manifests
TWI463426B (zh) * 2012-09-25 2014-12-01 China Steel Corp Integrated Process Monitoring Method and Its System
JP2016157357A (ja) 2015-02-26 2016-09-01 株式会社日立製作所 作業者品質管理方法及び作業者品質管理装置
WO2017017739A1 (ja) * 2015-07-24 2017-02-02 富士通株式会社 作業管理システム、作業管理方法、情報処理装置および作業管理プログラム
JP6672712B2 (ja) 2015-11-04 2020-03-25 日本電気株式会社 異常作業検出システムおよび異常作業検出方法
JP2017122948A (ja) * 2016-01-04 2017-07-13 中国電力株式会社 充電部接近監視システム、及び充電部接近監視方法
WO2017180929A1 (en) * 2016-04-13 2017-10-19 Strong Arm Technologies, Inc. Systems and devices for motion tracking, assessment, and monitoring and methods of use thereof
JP6608778B2 (ja) 2016-08-01 2019-11-20 株式会社日立製作所 作業動作指示装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10768591B2 (en) 2015-09-03 2020-09-08 Mitsubishi Electric Corporation Behavior identification device, air conditioner, and robot control device

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
국제공개공보 WO2011/148439(2011.12.1. 공개) 1부.*

Also Published As

Publication number Publication date
CN111670469B (zh) 2023-01-17
US20200401981A1 (en) 2020-12-24
JP2019152802A (ja) 2019-09-12
JP6997013B2 (ja) 2022-01-17
PL435520A1 (pl) 2021-11-29
WO2019172093A1 (ja) 2019-09-12
US11651317B2 (en) 2023-05-16
CN111670469A (zh) 2020-09-15
KR20200110404A (ko) 2020-09-23

Similar Documents

Publication Publication Date Title
KR102441757B1 (ko) 작업 동작 해석 시스템 및 작업 동작 해석 방법
JP4847165B2 (ja) 映像記録再生方法及び映像記録再生装置
JP5319260B2 (ja) 作業モニタリング装置
US20070285578A1 (en) Method for motion detection and method and system for supporting analysis of software error for video systems
US20200404222A1 (en) Tracking assistance device, tracking assistance system and tracking assistance method
JP4736689B2 (ja) 生産管理装置、生産管理方法、生産管理プログラム、生産管理プログラムを記録した記録媒体、および生産システム
JP7254546B2 (ja) 情報処理装置、情報処理方法及びプログラム
JP6841608B2 (ja) 振る舞い検知システム
JP4453684B2 (ja) 監視システム、監視装置、検索方法及び検索プログラム
JP2008011056A (ja) 保存動画選択装置、そのプログラムおよび該プログラムを記録したコンピュータ読取り可能な記録媒体、保存動画選択システムならびに保存動画選択方法
JP6270488B2 (ja) オペレータ監視制御装置およびオペレータ監視制御方法
JPWO2020026643A1 (ja) 情報処理装置、情報処理方法及び情報処理プログラム
JP5195156B2 (ja) 監視装置、監視システム及びフィルタ設定方法
JP6928880B2 (ja) 動作分析装置、動作分析方法、動作分析プログラム及び動作分析システム
JP2017118319A (ja) 映像検索システム
US11363241B2 (en) Surveillance apparatus, surveillance method, and storage medium
JP7484569B2 (ja) 画像処理装置、画像処理方法およびプログラム
US11216667B2 (en) Information processing apparatus, method for information processing, and storage medium
JP2023107399A (ja) 内視鏡システム及びその作動方法
JP6948294B2 (ja) 作業異常検知支援装置、作業異常検知支援方法、および作業異常検知支援プログラム
JP2022043130A5 (ko)
JP2010087937A (ja) 映像検出装置、映像検出方法および映像検出プログラム
US11695880B2 (en) Information processing method and information processing apparatus to display an image that is a captured image on which electronic information is superimposed
JP2020113155A (ja) 画像処理装置、画像処理方法およびプログラム
JP7013110B1 (ja) モデル生成装置、異常判定装置、異常判定システム、モデル生成方法及びプログラム

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant