KR102466433B1 - Device and method for recognizing work motion based on image analysis - Google Patents

Device and method for recognizing work motion based on image analysis Download PDF

Info

Publication number
KR102466433B1
KR102466433B1 KR1020200112052A KR20200112052A KR102466433B1 KR 102466433 B1 KR102466433 B1 KR 102466433B1 KR 1020200112052 A KR1020200112052 A KR 1020200112052A KR 20200112052 A KR20200112052 A KR 20200112052A KR 102466433 B1 KR102466433 B1 KR 102466433B1
Authority
KR
South Korea
Prior art keywords
work
feature information
frame
subdivided
motion recognition
Prior art date
Application number
KR1020200112052A
Other languages
Korean (ko)
Other versions
KR20220030548A (en
Inventor
김성민
박영수
이세용
이지웅
손호준
Original Assignee
(주)넥스트랩
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)넥스트랩 filed Critical (주)넥스트랩
Priority to KR1020200112052A priority Critical patent/KR102466433B1/en
Priority to PCT/KR2021/007874 priority patent/WO2021261905A1/en
Publication of KR20220030548A publication Critical patent/KR20220030548A/en
Application granted granted Critical
Publication of KR102466433B1 publication Critical patent/KR102466433B1/en

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06K9/6267
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02PCLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30Computing systems specially adapted for manufacturing

Abstract

본 발명의 일 실시예에 따른 영상 분석 기반 작업 동작 인식 장치는 카메라를 통해 촬영된 작업 현장에 관한 영상 데이터를 획득하는 작업 영상 수집부; 및 상기 영상 데이터로부터 프레임별 특징 정보를 추출하고, 상기 추출된 프레임별 특징 정보를 분석하여 상기 작업 현장 내에 있는 작업자의 작업 동작을 인식하는 작업 동작 인식부를 포함한다.An apparatus for recognizing work motion based on image analysis according to an embodiment of the present invention includes a work image collection unit for obtaining image data about a work site captured through a camera; and a work motion recognition unit extracting feature information for each frame from the image data and recognizing a work motion of a worker in the work site by analyzing the extracted feature information for each frame.

Description

영상 분석 기반 작업 동작 인식 장치 및 방법{DEVICE AND METHOD FOR RECOGNIZING WORK MOTION BASED ON IMAGE ANALYSIS}Apparatus and method for recognizing work motion based on image analysis {DEVICE AND METHOD FOR RECOGNIZING WORK MOTION BASED ON IMAGE ANALYSIS}

본 발명의 실시예들은 작업 현장에서 작업자의 작업 동작을 모니터링할 수 있는 기술에 관한 것으로, 더욱 상세하게는 카메라로 촬영한 작업 현장에 관한 영상 데이터의 분석을 기반으로 하여 작업 현장 내에 있는 작업자의 작업 동작을 인식함으로써 불필요한 동작을 파악하는 등의 작업 모니터링을 통해 작업 동작 최적화를 실현할 수 있는 영상 분석 기반 작업 동작 인식 장치 및 방법에 관한 것이다.Embodiments of the present invention relate to a technology capable of monitoring the work operation of a worker at a work site, and more particularly, based on analysis of image data about the work site taken by a camera, the work of a worker in the work site An apparatus and method for recognizing work motions based on video analysis capable of realizing optimization of work motions through work monitoring, such as recognizing unnecessary motions by recognizing motions, and the like.

일반적인 생산 공정 관리의 경우 각 작업자별 시간당 또는 일일 생산량을 정한 후 일정 시간 후 생산된 생산량 수치를 데이터화하여 계산된 수치를 이용한 생산 공정 관리가 이루어지고 있다. 실제로 일반적인 제조 회사의 경우 작업자별 작업 효율 측정은 1명이 1시간에 생산해야 될 표준 생산량을 정하고 일정 시간이 지난 후의 실제 생산량의 수치를 비교하여 작업 효율을 측정하는 방식을 취하고 있다.In the case of general production process management, production process management is performed using calculated values by setting the amount of production per hour or per day for each worker and converting the amount produced after a certain period of time into data. In fact, in the case of a general manufacturing company, work efficiency measurement for each worker takes a method of measuring work efficiency by determining the standard production volume that one person should produce in one hour and comparing the actual production value after a certain period of time.

작업 효율을 측정 방식은 일반적으로 다음과 같이 '작업효율(%) = 실제 생산량 / 표준생산량 * 100' 형태로 계산되고 이때 발생한 데이터를 문서화 또는 데이터베이스화한 후 생산 분석된 데이터를 이용하여 생산 공정 관리에 적용하는 것이 일반적이다. 이 경우 생산 공정 분석의 자료가 일정 시간이 지난 후, 각 공정별 작업자의 시간당 제품 생산량에 대한 수치 자료에만 의존하게 되고 생산 공정의 분석 또한 관리 감독자 또는 생산 공정 분석의 업무 담당자에 의해 수치를 계산하여 생산 공정의 분석이 이루어지게 된다.The method of measuring work efficiency is generally calculated in the form of 'work efficiency (%) = actual production / standard production amount * 100' as follows, and the data generated at this time is documented or made into a database, and then the production process is managed using the data analyzed. It is common to apply to In this case, after a certain period of time, the production process analysis data depends only on the numerical data on the product output per hour of each worker for each process, and the production process analysis is also calculated by the supervisor or the person in charge An analysis of the production process is performed.

이때 문제가 발생되었다고 판단되는 생산 공정 분석에서 생산량 수치 이외에 어떤 문제가 발생하여 각 단계별 생산량이 차이가 나는지, 또한 각 작업자의 작업 공정에서 작업 효율이 동일 작업 공정에서 다른 작업자와 어떤 문제로 차이가 나는지 등에 대한 상세한 생산 공정 관리에 대한 자료가 부족하게 된다.At this time, in the analysis of the production process where the problem is judged to have occurred, what kind of problems have occurred other than the quantity of production that cause the difference in production at each stage, and what kind of problem causes the work efficiency of each worker to differ from that of other workers in the same work process. Data on detailed production process management for etc. are lacking.

이러한 문제를 해결하기 위해서 문제가 발생되었다고 판단되는 생산 공정의 상세한 분석을 위해 관리 감독자 또는 해당 생산 공정을 모니터하기 위한 인력 자원이 필요하게 되고 이는 불필요한 인력 자원의 낭비로 제품에 대한 제조 경비가 상승하게 되는 요인으로 작용하게 되므로 제품 원가 절감에 지장을 초래하게 된다.In order to solve this problem, a supervisor or human resource to monitor the production process is required for detailed analysis of the production process that is judged to have a problem, which causes unnecessary waste of human resources and increases the manufacturing cost of the product. As a factor, it causes a hindrance to product cost reduction.

관련 선행기술로는 대한민국 공개특허공보 제10-2009-0131610호(발명의 명칭: 생산공정관리 방법, 공개일자: 2009.12.29.)가 있다.As related prior art, there is Korean Patent Publication No. 10-2009-0131610 (Title of Invention: Production Process Management Method, Publication Date: 2009.12.29.).

본 발명의 일 실시예는 카메라로 촬영한 작업 현장에 관한 영상 데이터의 분석을 기반으로 하여 작업 현장 내에 있는 작업자의 작업 동작을 인식함으로써 불필요한 동작을 파악하는 등의 작업 모니터링을 통해 작업 동작 최적화를 실현할 수 있는 영상 분석 기반 작업 동작 인식 장치 및 방법을 제공한다.An embodiment of the present invention realizes optimization of work motion through work monitoring, such as recognizing unnecessary motions by recognizing the work motions of workers in the work site based on the analysis of video data related to the work site captured by the camera. An image analysis-based task motion recognition device and method are provided.

본 발명이 해결하고자 하는 과제는 이상에서 언급한 과제(들)로 제한되지 않으며, 언급되지 않은 또 다른 과제(들)은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.The problem to be solved by the present invention is not limited to the above-mentioned problem (s), and another problem (s) not mentioned will be clearly understood by those skilled in the art from the following description.

본 발명의 일 실시예에 따른 영상 분석 기반 작업 동작 인식 장치는 카메라를 통해 촬영된 작업 현장에 관한 영상 데이터를 획득하는 작업 영상 수집부; 및 상기 영상 데이터로부터 프레임별 특징 정보를 추출하고, 상기 추출된 프레임별 특징 정보를 분석하여 상기 작업 현장 내에 있는 작업자의 작업 동작을 인식하는 작업 동작 인식부를 포함한다.An apparatus for recognizing work motion based on image analysis according to an embodiment of the present invention includes a work image collection unit for obtaining image data about a work site captured through a camera; and a work motion recognition unit extracting feature information for each frame from the image data and recognizing a work motion of a worker in the work site by analyzing the extracted feature information for each frame.

상기 작업 동작 인식부는 관절 인식, 손 위치 인식, 시멘틱 세그멘테이션(semantic segmentation) 중 적어도 하나의 기법을 이용하여, 상기 영상 데이터로부터 관절 각도, 관절 위치, 몸통 위치, 손 위치, 시선 중 적어도 하나를 포함하는 특징 정보를 추출하는 특징 정보 추출 모듈을 포함할 수 있다.The work motion recognition unit includes at least one of a joint angle, a joint position, a torso position, a hand position, and a line of sight from the image data using at least one technique of joint recognition, hand position recognition, and semantic segmentation. It may include a feature information extraction module that extracts feature information.

상기 특징 정보 추출 모듈은 상기 작업자가 장비를 사용하여 작업을 할 경우, 상기 장비의 움직임 및 소리 중 적어도 하나를 인식하는 기법을 더 이용하여 상기 특징 정보를 추출할 수 있다.The feature information extraction module may extract the feature information by further using a technique for recognizing at least one of motion and sound of the device when the operator works using the device.

상기 작업 동작 인식부는 상기 프레임별 특징 정보를 분석하여 하나의 공정을 구성하는 작업 동작들을 의미 단위별로 구분하고, 상기 의미 단위별로 구분된 작업 동작들을 기반으로 상기 프레임별 특징 정보로부터 상기 작업 동작을 세분화하여 인식하며, 상기 세분화된 작업 동작의 순서를 도출하는 동작 순서 분석 모듈을 포함할 수 있다.The work action recognition unit analyzes the feature information for each frame to classify work actions constituting one process into semantic units, and subdivides the work actions from the feature information for each frame based on the work actions classified into each semantic unit. and recognizes it, and may include an action sequence analysis module for deriving the order of the subdivided work actions.

상기 동작 순서 분석 모듈은 상기 세분화된 작업 동작을 결정하고 각각의 세분화된 작업 동작을 순서대로 쌓아서 작업 동작 순서를 생성하는 분류기(classifier)를 구비할 수 있다.The operation sequence analysis module may include a classifier for determining the subdivided work motions and sequentially stacking each subdivided work motion to generate a work action sequence.

상기 분류기는 학습 데이터 라이브러리의 데이터를 통해 딥러닝 모델을 학습하여 도출되고, 상기 학습 데이터 라이브러리는 세부 동작 명칭, 세부 동작 작업 영상, 및 프레임별 특징 정보를 매칭하여 상기 세분화된 작업 동작에 관한 데이터로서 저장하는 라이브러리일 수 있다.The classifier is derived by learning a deep learning model through data of a learning data library, and the learning data library matches detailed motion names, detailed motion task images, and feature information for each frame as data related to the subdivided task motion. It can be a library to store.

상기 분류기는 입력된 프레임별 특징 정보를 처리하여 출력 세부 동작 명칭을 생성하고, 상기 학습 데이터 라이브러리로부터 상기 입력된 프레임별 특징 정보에 매칭되는 세부 동작 명칭을 추출하여 상기 출력 세부 동작 명칭과 비교하며, 상기 비교의 결과에 따라 손실(Loss)이 발생한 경우 가중치 업데이트(weight update)를 수행할 수 있다.The classifier processes the input feature information for each frame to generate an output detailed action name, extracts a detailed action name matching the input feature information for each frame from the learning data library, and compares it with the output detailed action name; If a loss occurs according to the result of the comparison, a weight update may be performed.

상기 분류기는 상기 프레임별 특징 정보와 상기 세분화된 작업 동작 사이의 관계를 룰 기반으로 규명하여 도출될 수 있다.The classifier may be derived by identifying a rule-based relationship between the feature information for each frame and the subdivided work motion.

본 발명의 일 실시예에 따른 영상 분석 기반 작업 동작 인식 장치는 상기 세분화된 작업 동작의 순서에 기초하여 영상 구간별로 라벨링을 수행하고, 상기 라벨링을 통해 상기 세분화된 작업 동작을 상기 영상 구간별로 구분하여 모니터링 단말기의 화면에 출력하는 작업 관리부를 더 포함할 수 있다.An apparatus for recognizing work motions based on image analysis according to an embodiment of the present invention performs labeling for each video section based on the sequence of the subdivided work motions, classifies the subdivided work motions for each video section through the labeling, and It may further include a task management unit that outputs output on the screen of the monitoring terminal.

본 발명의 일 실시예에 따른 영상 분석 기반 작업 동작 인식 방법은 상기 영상 분석 기반 작업 동작 인식 장치의 작업 영상 수집부가 카메라를 통해 촬영된 작업 현장에 관한 영상 데이터를 획득하는 단계; 상기 영상 분석 기반 작업 동작 인식 장치의 작업 동작 인식부가 상기 영상 데이터로부터 프레임별 특징 정보를 추출하는 단계; 및 상기 작업 동작 인식부가 상기 추출된 프레임별 특징 정보를 분석하여 상기 작업 현장 내에 있는 작업자의 작업 동작을 인식하는 단계를 포함한다.An image analysis-based work motion recognition method according to an embodiment of the present invention includes the steps of obtaining image data about a work site captured by a working image collection unit of the image analysis-based work motion recognition device through a camera; extracting feature information for each frame from the image data by a work motion recognition unit of the image analysis-based work motion recognition device; and recognizing, by the work motion recognition unit, a work motion of a worker in the work site by analyzing the extracted feature information for each frame.

상기 영상 데이터로부터 프레임별 특징 정보를 추출하는 단계는 관절 인식, 손 위치 인식, 시멘틱 세그멘테이션(semantic segmentation) 중 적어도 하나의 기법을 이용하여, 상기 영상 데이터로부터 관절 각도, 관절 위치, 몸통 위치, 손 위치, 시선 중 적어도 하나를 포함하는 특징 정보를 추출하는 단계를 포함할 수 있다.The step of extracting feature information for each frame from the image data may include joint angles, joint positions, body positions, and hand positions from the image data using at least one technique of joint recognition, hand position recognition, and semantic segmentation. , extracting feature information including at least one of the line of sight.

상기 작업 동작을 인식하는 단계는 상기 프레임별 특징 정보를 분석하여 하나의 공정을 구성하는 작업 동작들을 의미 단위별로 구분하는 단계; 상기 의미 단위별로 구분된 작업 동작들을 기반으로 상기 프레임별 특징 정보로부터 상기 작업 동작을 세분화하여 인식하는 단계; 및 상기 세분화된 작업 동작의 순서를 도출하는 단계를 포함할 수 있다.Recognizing the work motion may include analyzing the feature information for each frame and classifying the work motion constituting one process into semantic units; segmenting and recognizing the work motion from the feature information for each frame based on the work motions classified for each semantic unit; and deriving an order of the subdivided work operations.

기타 실시예들의 구체적인 사항들은 상세한 설명 및 첨부 도면들에 포함되어 있다.Details of other embodiments are included in the detailed description and accompanying drawings.

본 발명의 일 실시예에 따르면, 카메라로 촬영한 작업 현장에 관한 영상 데이터의 분석을 기반으로 하여 작업 현장 내에 있는 작업자의 작업 동작을 인식함으로써 불필요한 동작을 파악하는 등의 작업 모니터링을 통해 작업 동작 최적화를 실현할 수 있다.According to an embodiment of the present invention, based on the analysis of video data on the work site captured by a camera, work motion optimization through work monitoring such as recognizing unnecessary motions by recognizing the work motions of workers in the work site can be realized.

본 발명의 일 실시예에 따르면, 영상 구간별로 어떤 작업을 수행하는지 인식/표시할 수 있으므로 교육 훈련용 컨텐츠 제작에도 활용할 수 있다.According to an embodiment of the present invention, since it is possible to recognize/display which operation is performed for each video section, it can be used for content creation for education and training.

도 1은 본 발명의 일 실시예에 따른 영상 분석 기반 작업 동작 인식 장치를 설명하기 위해 도시한 블록도이다.
도 2는 도 1의 작업 동작 인식부의 상세 구성을 설명하기 위해 도시한 블록도이다.
도 3은 카메라의 설치 위치를 보여주기 위해 도시한 예시도이다.
도 4 및 도 5는 영상 프레임별 특징 정보를 추출하는 일례를 도시한 도면이다.
도 6 및 도 7은 분류기를 통해 작업 동작을 세분화하고 세분화된 작업 동작 순서를 생성하는 일례를 도시한 도면이다.
도 8은 단일 작업자를 분석한 결과의 출력 예시를 보여주기 위해 도시한 도면이다.
도 9는 여러 작업자를 개별 분석한 결과의 출력 예시를 보여주기 위해 도시한 도면이다.
도 10은 본 발명의 일 실시예에 따른 영상 분석 기반 작업 동작 인식 방법을 설명하기 위해 도시한 흐름도이다.
1 is a block diagram illustrating an apparatus for recognizing an image analysis-based work motion according to an embodiment of the present invention.
FIG. 2 is a block diagram illustrating a detailed configuration of a work motion recognition unit of FIG. 1 .
Figure 3 is an exemplary view shown to show the installation position of the camera.
4 and 5 are diagrams illustrating an example of extracting feature information for each image frame.
6 and 7 are diagrams illustrating an example of subdividing a work motion through a classifier and generating a subdivided work motion sequence.
8 is a diagram showing an example of an output of a result of analyzing a single operator.
9 is a diagram illustrating an example of an output of a result of individually analyzing several operators.
10 is a flowchart illustrating a method for recognizing a work motion based on image analysis according to an embodiment of the present invention.

본 발명의 이점 및/또는 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성요소를 지칭한다.Advantages and/or features of the present invention, and methods of achieving them, will become apparent with reference to the detailed description of the following embodiments taken in conjunction with the accompanying drawings. However, the present invention is not limited to the embodiments disclosed below and will be implemented in various forms different from each other, only these embodiments make the disclosure of the present invention complete, and common knowledge in the art to which the present invention pertains. It is provided to completely inform the person who has the scope of the invention, and the present invention is only defined by the scope of the claims. Like reference numbers designate like elements throughout the specification.

또한, 이하 실시되는 본 발명의 바람직한 실시예는 본 발명을 이루는 기술적 구성요소를 효율적으로 설명하기 위해 각각의 시스템 기능구성에 기 구비되어 있거나, 또는 본 발명이 속하는 기술분야에서 통상적으로 구비되는 시스템 기능 구성은 가능한 생략하고, 본 발명을 위해 추가적으로 구비되어야 하는 기능 구성을 위주로 설명한다. 만약 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자라면, 하기에 도시하지 않고 생략된 기능 구성 중에서 종래에 기 사용되고 있는 구성요소의 기능을 용이하게 이해할 수 있을 것이며, 또한 상기와 같이 생략된 구성 요소와 본 발명을 위해 추가된 구성 요소 사이의 관계도 명백하게 이해할 수 있을 것이다.In addition, preferred embodiments of the present invention to be carried out below are provided in each system functional configuration in order to efficiently explain the technical components constituting the present invention, or system functions commonly provided in the technical field to which the present invention belongs. The configuration is omitted as much as possible, and the functional configuration that should be additionally provided for the present invention will be mainly described. If one of ordinary skill in the art to which the present invention pertains, one will be able to easily understand the functions of conventionally used components among the omitted functional configurations not shown below, and also the omitted configurations as described above. The relationship between elements and components added for the present invention will also be clearly understood.

또한, 이하의 설명에 있어서, 신호 또는 정보의 "전송", "통신", "송신", "수신" 기타 이와 유사한 의미의 용어는 일 구성요소에서 다른 구성요소로 신호 또는 정보가 직접 전달되는 것뿐만이 아니라 다른 구성요소를 거쳐 전달되는 것도 포함한다. 특히 신호 또는 정보를 일 구성요소로 "전송" 또는 "송신"한다는 것은 그 신호 또는 정보의 최종 목적지를 지시하는 것이고 직접적인 목적지를 의미하는 것이 아니다. 이는 신호 또는 정보의 "수신"에 있어서도 동일하다.In addition, in the following description, "transmission", "communication", "transmission", "reception" and other similar terms of signals or information refer to direct transmission of signals or information from one component to another. as well as passing through other components. In particular, "transmitting" or "transmitting" a signal or information as a component indicates the final destination of the signal or information, and does not mean a direct destination. The same is true for "reception" of signals or information.

이하에서는 첨부된 도면을 참조하여 본 발명의 실시예들을 상세히 설명하기로 한다.Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings.

도 1은 본 발명의 일 실시예에 따른 영상 분석 기반 작업 동작 인식 장치를 설명하기 위해 도시한 블록도이다.1 is a block diagram illustrating an apparatus for recognizing an image analysis-based work motion according to an embodiment of the present invention.

도 1을 참조하면, 본 발명의 일 실시예에 따른 영상 분석 기반 작업 동작 인식 장치(100)는 작업 영상 수집부(110), 작업 동작 인식부(120), 작업 관리부(130), 및 제어부(140)를 포함할 수 있다.Referring to FIG. 1 , an image analysis-based work motion recognition apparatus 100 according to an embodiment of the present invention includes a work image collection unit 110, a work motion recognition unit 120, a job management unit 130, and a control unit ( 140) may be included.

상기 작업 영상 수집부(110)는 카메라를 통해 촬영된 작업 현장에 관한 영상 데이터를 획득할 수 있다. 여기서, 상기 카메라는 도 3의 (a)와 같이 작업자의 정면에 설치되어 작업 장면을 상시로 촬영할 수 있으며, 또 달리 도 3의 (b)와 같이 작업자들의 위에 설치되어 작업자들 전체의 작업 장면을 상시로 촬영할 수 있다.The work image collection unit 110 may obtain image data about a work site photographed through a camera. Here, the camera is installed in front of the worker as shown in (a) of FIG. 3 so as to capture the work scene at all times, and is installed on top of the workers as shown in (b) of FIG. 3 to capture the work scene of all workers. You can shoot at any time.

이와 같이 상기 카메라는 천장, 작업대 전면, 작업대 측면 등 다양한 위치에 설치되어 다양한 각도로 작업 영상을 촬영할 수 있다. 한편, 상기 카메라는 영상 분석의 정밀도를 향상시킬 수 있도록 심도 카메라(Depth Camera)를 포함하여 구성될 수 있다.In this way, the camera may be installed in various positions such as the ceiling, the front of the work table, and the side of the work table to take images of work at various angles. On the other hand, the camera may be configured to include a depth camera (Depth Camera) to improve the precision of image analysis.

상기 작업 동작 인식부(120)는 상기 영상 데이터를 분석하여 상기 작업 현장 내에 있는 작업자의 작업 동작을 인식할 수 있다. 즉, 상기 작업 동작 인식부(120)는 상기 영상 데이터로부터 프레임별 특징 정보를 추출하고, 상기 추출된 프레임별 특징 정보를 분석하여 상기 작업 현장 내에 있는 작업자의 작업 동작을 인식할 수 있다.The work motion recognition unit 120 may recognize the work motion of a worker in the work site by analyzing the image data. That is, the work motion recognition unit 120 may extract feature information for each frame from the image data and analyze the extracted feature information for each frame to recognize the work motion of a worker in the work site.

이를 위해, 상기 작업 동작 인식부(120)는 도 2에 도시된 바와 같이 특징 정보 추출 모듈(210) 및 동작 순서 분석 모듈(220)을 포함하여 구성될 수 있다. 참고로, 도 2는 도 1의 작업 동작 인식부(120)의 상세 구성을 설명하기 위해 도시한 블록도이다.To this end, the work action recognition unit 120 may include a feature information extraction module 210 and an action sequence analysis module 220 as shown in FIG. 2 . For reference, FIG. 2 is a block diagram illustrating a detailed configuration of the work motion recognition unit 120 of FIG. 1 .

상기 특징 정보 추출 모듈(210)은 관절 인식, 손 위치 인식, 시멘틱 세그멘테이션(semantic segmentation) 중 적어도 하나의 기법을 이용하여, 상기 영상 데이터로부터 관절 각도, 관절 위치, 몸통 위치, 손 위치, 시선 중 적어도 하나를 포함하는 특징 정보를 추출할 수 있다. 이때, 상기 특징 정보 추출 모듈(210)은 상기 작업자가 장비를 사용하여 작업을 할 경우, 상기 장비의 움직임 및 소리 중 적어도 하나를 인식하는 기법을 더 이용하여 상기 특징 정보를 추출할 수도 있다.The feature information extraction module 210 uses at least one of joint recognition, hand position recognition, and semantic segmentation, and at least one of joint angle, joint position, torso position, hand position, and line of sight from the image data. Feature information including one may be extracted. In this case, the feature information extraction module 210 may extract the feature information by further using a technique for recognizing at least one of motion and sound of the device when the operator works using the device.

즉, 상기 특징 정보 추출 모듈(210)은 한 개의 작업 영상 프레임으로부터 의미 있는 특징 정보를 추출하는 과정을 연속적으로 반복함으로써 각 영상 프레임별 의미 있는 특징 정보를 추출할 수 있다. 이는 고차원의 이미지 데이터를 의미가 있는 저차원의 데이터로 축소하는 과정이라 말할 수 있다.That is, the feature information extraction module 210 can extract meaningful feature information for each image frame by continuously repeating a process of extracting meaningful feature information from one working image frame. This can be said to be a process of reducing high-dimensional image data to meaningful low-dimensional data.

예를 들면, 도 4의 예시와 같은 작업 영상 프레임의 경우, 상기 특징 정보 추출 모듈(210)은 상기 작업 영상 프레임으로부터 관절 인식, 손 위치 인식 등을 통해 특징 정보를 추출할 수 있다.For example, in the case of a working image frame as in the example of FIG. 4 , the feature information extraction module 210 may extract feature information from the working image frame through joint recognition, hand position recognition, and the like.

이때, 도 5에 도시된 바와 같이 시간에 따른 작업 영상 프레임에 대하여 각각의 프레임마다 상기 특징 정보 추출 모듈(210)을 적용하여, 영상 프레임별로 관절 각도, 관절 위치, 몸통 위치, 손 위치, 시선 등의 특징 정보를 추출할 수 있다. 이에 따라 상기 특징 정보 추출 모듈(210)은 각 프레임마다 서로 다른 특징 정보를 추출하게 된다.At this time, as shown in FIG. 5, the feature information extraction module 210 is applied to each frame of the working video frame over time, such as joint angle, joint position, body position, hand position, line of sight, etc. for each video frame. The feature information of can be extracted. Accordingly, the feature information extraction module 210 extracts different feature information for each frame.

상기 동작 순서 분석 모듈(220)은 상기 특징 정보 추출 모듈(210)에 의해 추출된 프레임별 특징 정보를 분석하고 그 분석 결과를 토대로 하여 하나의 공정을 구성하는 작업 동작들을 의미 단위별로 구분할 수 있다.The operation sequence analysis module 220 may analyze the feature information for each frame extracted by the feature information extraction module 210 and classify work operations constituting one process by semantic unit based on the analysis result.

상기 동작 순서 분석 모듈(220)은 상기 의미 단위별로 구분된 작업 동작들을 기반으로 상기 프레임별 특징 정보로부터 상기 작업 동작을 세분화하여 인식할 수 있다. 그리고, 상기 동작 순서 분석 모듈(220)은 상기 세분화된 작업 동작의 순서를 도출할 수 있다.The operation sequence analysis module 220 may segment and recognize the work operation from the feature information for each frame based on the work operations classified according to the semantic unit. Also, the operation sequence analysis module 220 may derive the sequence of the subdivided work operations.

이를 위해, 상기 동작 순서 분석 모듈(220)은 상기 세분화된 작업 동작을 결정하고 각각의 세분화된 작업 동작을 순서대로 쌓아서 작업 동작 순서를 생성하는 분류기(classifier)를 구비할 수 있다.To this end, the action sequence analysis module 220 may include a classifier that determines the subdivided work motions and builds each subdivided work motion in order to generate a work motion sequence.

즉, 상기 동작 순서 분석 모듈(220)은 상기 분류기를 통해 상기 세분화된 작업 동작을 결정하고, 도출된 작업 동작을 순서대로 쌓아서 작업 동작 순서를 생성할 수 있다.That is, the action sequence analysis module 220 may determine the subdivided work actions through the classifier, and may generate a work action sequence by sequentially stacking the derived work actions.

예를 들어, 도 6에 도시된 바와 같이 상기 동작 순서 분석 모듈(220)은 영상 프레임별 특징 정보를 상기 특징 정보 추출 모듈(210)로부터 입력받아, 상기 분류기(Classifier)를 통해 작업 동작을 '가져오기 동작', '고리 조립 동작', '패턴 미싱 동작', '다음 전달 동작' 등으로 세분화하여 인식할 수 있다.For example, as shown in FIG. 6, the operation sequence analysis module 220 receives feature information for each image frame from the feature information extraction module 210 and 'gets' a work operation through the classifier. Recognition can be subdivided into 'transfer operation', 'loop assembly operation', 'pattern sewing operation', and 'next transfer operation'.

또한, 상기 동작 순서 분석 모듈(220)은 상기 세분화된 작업 동작을 촬영 시간 순서에 따라 순서대로 쌓아서 '가져오기', '고리 조립', '패턴 미싱', 다음 전달' 순으로 작업 동작 순서를 생성할 수 있다.In addition, the action sequence analysis module 220 stacks the subdivided work actions in order according to the order of shooting time, and generates a work action sequence in the order of 'import', 'hook assembly', 'pattern sewing', and next delivery'. can do.

여기서, 상기 분류기는 학습 기반 또는 룰 기반으로 구축될 수 있다. 상기 학습 기반으로 구축되는 경우, 도 7에 도시된 바와 같이 상기 분류기는 학습 데이터 라이브러리의 데이터를 통해 딥러닝 모델을 학습하여 도출될 수 있다. 이때, 상기 분류기는 CNN(Convolutional Neural Network), RNN(Recurrent Neural Network), LSTM(Long Short-Term Memory) 등의 모델 구조를 활용할 수 있다.Here, the classifier may be built based on learning or rules. When built based on the learning, as shown in FIG. 7 , the classifier may be derived by learning a deep learning model through data of a learning data library. In this case, the classifier may utilize a model structure such as a convolutional neural network (CNN), a recurrent neural network (RNN), or a long short-term memory (LSTM).

여기서, 상기 학습 데이터 라이브러리는 세부 동작 명칭, 세부 동작 작업 영상, 및 프레임별 특징 정보를 매칭하여 상기 세분화된 작업 동작에 관한 데이터로서 저장하는 라이브러리이다.Here, the learning data library is a library that matches detailed motion names, detailed motion work images, and feature information for each frame and stores them as data related to the subdivided work motions.

도 7을 계속 참조하여 설명하면, 상기 학습 기반으로 구축된 분류기의 경우, 입력된 프레임별 특징 정보를 처리하여 출력 세부 동작 명칭을 생성하고, 상기 학습 데이터 라이브러리로부터 상기 입력된 프레임별 특징 정보에 매칭되는 세부 동작 명칭을 추출하여 상기 출력 세부 동작 명칭과 비교하며, 상기 비교의 결과에 따라 손실(Loss)이 발생한 경우 가중치 업데이트(weight update)를 수행할 수 있다.Referring continuously to FIG. 7, in the case of the classifier built on the learning basis, the input feature information for each frame is processed to generate an output detailed operation name, and matching with the input feature information for each frame from the learning data library. A detailed operation name corresponding to the output is extracted and compared with the output detailed operation name, and if a loss occurs according to the result of the comparison, a weight update may be performed.

이로써, 본 발명의 일 실시예에 따르면 상기 학습 데이터 라이브러리의 데이터를 통해 딥러닝 모델을 지속적으로 학습하여 업데이트함으로써 상기 세분화된 작업 동작 및 그 순서를 더욱 정확하게 분류 및 인식할 수 있으며, 이를 통해 작업 공정 중 불필요한 동작을 파악하는 등의 작업 모니터링을 통해 작업 동작의 최적화를 실현할 수 있을 뿐만 아니라, 영상 구간별로 어떠한 작업을 수행하는지를 인식/표시할 수 있으므로 교육 훈련용 컨텐츠 제작에도 활용할 수 있다.Thus, according to an embodiment of the present invention, the subdivided work motions and their order can be more accurately classified and recognized by continuously learning and updating the deep learning model through the data of the learning data library, and through this, the work process Not only can optimization of work operations be realized through work monitoring, such as identifying unnecessary movements, but also it can be used for content production for education and training because it can recognize/display what work is being performed for each video section.

상기 룰 기반으로 구축되는 경우, 상기 분류기는 상기 프레임별 특징 정보와 상기 세분화된 작업 동작 사이의 관계를 룰 기반으로 규명하여 도출될 수 있다.When built based on the rule, the classifier may be derived by identifying the relationship between the feature information for each frame and the subdivided work action based on a rule.

한편, 상기 작업 동작 인식부(120)는 동작, 작업물, 영역 중 적어도 하나를 기반으로 하는 영상 처리 알고리즘을 개별적으로 적용하거나 2개 이상을 조합 적용하여 상기 영상 데이터를 분석할 수 있다.Meanwhile, the work motion recognition unit 120 may analyze the image data by individually applying an image processing algorithm based on at least one of a motion, a work object, and a region or applying two or more in combination.

여기서, 상기 동작을 기반으로 하는 영상 처리 알고리즘은 작업자 관절 또는 작업자 자체의 움직임을 인식 및 추적하거나, 작업자의 신체 특정 부위(머리, 손 등) 또는 작업자가 착용한 장식물(유니폼, 손목밴드 등)의 움직임을 인식 및 추적할 수 있다.Here, the image processing algorithm based on the motion recognizes and tracks the movement of the worker's joints or the worker itself, or the movement of a specific part of the worker's body (head, hand, etc.) or the decoration worn by the worker (uniform, wristband, etc.) Movement can be recognized and tracked.

일 실시예로서, 상기 동작 기반의 영상 처리 알고리즘을 적용하는 경우, 상기 작업 동작 인식부(120)는 상기 영상 데이터로부터 작업자의 관절 움직임이나 작업자 자체의 움직임을 인식하고 상기 인식된 움직임을 추적하여 해당 작업자의 작업 동작이 어떤 동작인지를 인식할 수 있다.As an embodiment, when the motion-based image processing algorithm is applied, the work motion recognition unit 120 recognizes the motion of the operator's joints or the motion of the operator itself from the image data, tracks the recognized motion, and It is possible to recognize the type of operation of the worker's work.

상기 작업물을 기반으로 하는 영상 처리 알고리즘은 작업자가 착용한 작업물을 인식 및 추적하고, 상기 작업물의 이동 흐름 특성을 파악할 수 있다.An image processing algorithm based on the workpiece may recognize and track the workpiece worn by the operator and determine the flow characteristics of the workpiece.

다른 실시예로서, 상기 작업물 기반의 영상 처리 알고리즘을 적용하는 경우, 상기 작업 동작 인식부(120)는 상기 영상 데이터로부터 작업자가 착용한 작업물이 어떤 작업물인지를 인식하고 상기 인식된 해당 작업물을 추적하여 그것의 이동 흐름 특성을 파악함으로써 해당 작업자의 작업 동작이 어떤 동작인지를 인식할 수 있다.As another embodiment, when the workpiece-based image processing algorithm is applied, the work action recognition unit 120 recognizes the workpiece worn by the worker from the image data and recognizes the recognized work. By tracking the water and grasping its movement flow characteristics, it is possible to recognize the type of work motion of the worker.

상기 영역을 기반으로 하는 영상 처리 알고리즘은 특정 영역에서 특정 객체의 변동을 감지하여 변동값을 출력할 수 있다.An image processing algorithm based on the region may detect a change of a specific object in a specific region and output a change value.

또 다른 실시예로서, 상기 영역 기반의 영상 처리 알고리즘을 적용하는 경우, 상기 작업 동작 인식부(120)는 상기 영상 데이터로부터 특정 영역을 추출하고, 상기 추출된 특정 영역에서 특정 객체, 예를 들면 작업자나 작업물 등을 인식 및 추적하여 그것의 변동을 감지함으로써 상기 특정 객체의 변동값을 출력할 수 있으며, 이를 통하여 해당 작업자의 작업 동작이 어떤 동작인지를 인식할 수 있다.As another embodiment, when the region-based image processing algorithm is applied, the work motion recognition unit 120 extracts a specific region from the image data, and in the extracted specific region, a specific object, for example, a job. It is possible to output the change value of the specific object by recognizing and tracking the ruler or the workpiece and detecting the change thereof, and through this, it is possible to recognize what kind of work action the corresponding operator is.

상기 작업 동작 인식부(120)는 상기 작업 동작의 결과(세분화/순서)를 후술하는 작업 관리부(130)를 통해 모니터링 단말기(미도시)에 전송할 수 있다.The work action recognition unit 120 may transmit the result (subdivision/sequence) of the work action to a monitoring terminal (not shown) through the work manager 130 described below.

상기 작업 관리부(130)는 상기 작업 동작의 결과를 포함한 작업 관리 데이터를 상기 모니터링 단말기의 화면에 출력할 수 있다. 이때, 상기 작업 관리부(130)는 상기 세분화된 작업 동작의 순서에 기초하여 영상 구간별로 라벨링을 수행하고, 상기 라벨링을 통해 상기 세분화된 작업 동작을 상기 영상 구간별로 구분하여 상기 모니터링 단말기의 화면에 출력할 수 있다.The task management unit 130 may output task management data including a result of the task operation to the screen of the monitoring terminal. At this time, the task management unit 130 performs labeling for each video section based on the sequence of the subdivided work operations, classifies the subdivided work operations for each video section through the labeling, and outputs the subdivided work operations to the screen of the monitoring terminal. can do.

예컨대, 상기 작업 관리부(130)는 도 8에 도시된 바와 같이 상기 영상 데이터의 분석 결과에 따라 단일 작업자의 작업 동작을 인식한 경우, 상기 단일 작업자의 세분화된 작업 동작을 작업 순서에 따라 배치하여 분석 결과로서 출력할 수 있다.For example, as shown in FIG. 8 , when the work management unit 130 recognizes a single worker's work motion according to the analysis result of the image data, the work manager 130 arranges and analyzes the single worker's subdivided work motion according to the work order. It can be output as a result.

이때, 상기 작업 관리부(130)는 작업 완료때마다 현재 시간, 계측기 고유 아이디(ID)값 및 작업 소요 시간을 상기 작업 관리 데이터에 포함시켜 상기 모니터링 단말기에 전송할 수 있다. 이에 따라, 상기 모니터링 단말기는 상기 작업 관리 데이터를 수신하여 화면에 출력할 수 있다.At this time, the task management unit 130 may include the current time, instrument unique ID value, and required task time in the task management data whenever a task is completed, and transmit the same to the monitoring terminal. Accordingly, the monitoring terminal may receive the task management data and display the received task management data on a screen.

반면, 도 9에 도시된 바와 같이, 상기 영상 데이터의 분석 결과에 따라 여러 작업자의 작업 동작을 인식한 경우, 상기 작업 관리부(130)는 각 작업자별로 세분화된 작업 동작을 작업 순서에 따라 배치하여 분석 결과로서 출력할 수 있다.On the other hand, as shown in FIG. 9 , when the work motions of several workers are recognized according to the analysis result of the image data, the work manager 130 arranges and analyzes the work motions subdivided for each worker according to the work order. It can be output as a result.

즉, 상기 작업 관리부(130)는 작업자 1의 경우 '가져오기', '고리 조립', '패턴 미싱', '다음 전달'의 순서로 이루어지는 작업 동작을 상기 작업자 1의 세분화된 작업 동작의 분석 결과로서 출력하고, 작업자 2의 경우 '가져오기', '고리 조립', '패턴 미싱', '다음 전달'의 순서로 이루어지는 작업 동작을 상기 작업자 2의 세분화된 작업 동작의 분석 결과로서 출력하며, 작업자 3의 경우 '가져오기', '풀칠', '고리 조립', '패턴 미싱', '다음 전달'의 순서로 이루어지는 작업 동작을 상기 작업자 3의 세분화된 작업 동작의 분석 결과로서 출력할 수 있다.That is, in the case of worker 1, the work management unit 130 converts work actions in the order of 'import', 'hook assembly', 'pattern sewing', and 'next delivery' as a result of analyzing the subdivided work motions of worker 1. In the case of worker 2, the work actions in the order of 'import', 'hook assembly', 'pattern sewing', and 'next delivery' are output as an analysis result of the subdivided work actions of worker 2, In the case of 3, work actions consisting of 'import', 'glue', 'hook assembly', 'pattern sewing', and 'next delivery' in the order can be output as the analysis result of the subdivided work motion of the worker 3.

이때, 상기 작업 관리부(140)는 작업자별로 작업 완료때마다 현재 시간, 계측기 고유 ID값, 작업자 고유 ID값 및 작업 소요 시간을 상기 작업 관리 데이터에 포함시켜 상기 모니터링 단말기에 전송할 수 있다. 이에 따라, 상기 모니터링 단말기는 상기 작업 관리 데이터를 수신하여 화면에 출력할 수 있다.At this time, the task management unit 140 may include the current time, instrument-specific ID value, operator-specific ID value, and required task time in the task management data whenever a task is completed for each worker, and transmit the data to the monitoring terminal. Accordingly, the monitoring terminal may receive the task management data and display the received task management data on a screen.

상기 제어부(150)는 본 발명의 일 실시예에 따른 영상 분석 기반 작업 동작 인식 장치(100), 즉 상기 작업 영상 수집부(110), 상기 작업 동작 인식부(120), 상기 작업 관리부(130) 등의 동작을 전반적으로 제어할 수 있다.The control unit 150 is an image analysis-based work motion recognition device 100 according to an embodiment of the present invention, that is, the work image collection unit 110, the work motion recognizer 120, and the work management unit 130 You can control the overall operation of the etc.

한편, 본 발명의 일 실시예에 따른 영상 분석 기반 작업 동작 인식 장치(100)는 작업 영상을 촬영 및 분석하고 그 분석 결과(세분화된 작업 동작 및 그 순서)를 전송하는 과정을 처리하게 되는데, 이를 위해 분산 처리 방식 또는 중앙 처리 방식을 이용할 수 있다.Meanwhile, the image analysis-based work motion recognition apparatus 100 according to an embodiment of the present invention processes a process of photographing and analyzing a work image and transmitting the analysis result (subdivided work motion and its sequence). A distributed processing method or a central processing method may be used for this purpose.

상기 분산 처리 방식을 이용하는 경우, 본 발명의 일 실시예에 따른 영상 분석 기반 작업 동작 인식 장치(100)는 계측기(미도시)에 포함되는 형태로 구현될 수 있으며, 영상 분석 결과를 게이트웨이(Gateway)를 통해 생산 관리 시스템(미도시)에 전송할 수 있다. 상기 생산 관리 시스템은 상술한 모니터링 단말기를 포함할 수 있다.In the case of using the distributed processing method, the image analysis-based task motion recognition device 100 according to an embodiment of the present invention may be implemented in a form included in a measuring instrument (not shown), and the image analysis result is transmitted to a gateway It can be transmitted to a production management system (not shown) through. The production management system may include the aforementioned monitoring terminal.

이와 달리 상기 중앙 처리 방식을 이용하는 경우, 본 발명의 일 실시예에 따른 영상 분석 기반 작업 동작 인식 장치(100)는 분석 서버(미도시)에 포함되는 형태로 구현될 수 있으며, 카메라를 통해 촬영된 영상을 게이트웨이를 통해 전달받아 분석하고 그 분석 결과를 상기 생산 관리 시스템에 전송할 수 있다.In contrast, in the case of using the central processing method, the image analysis-based task motion recognition device 100 according to an embodiment of the present invention may be implemented in a form included in an analysis server (not shown), An image may be received and analyzed through a gateway, and the analysis result may be transmitted to the production management system.

이상에서 설명된 장치는 하드웨어 구성 요소, 소프트웨어 구성 요소, 및/또는 하드웨어 구성 요소 및 소프트웨어 구성 요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성 요소는, 예를 들어, 프로세서, 컨트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPA(field programmable array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 컨트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.The devices described above may be implemented as hardware components, software components, and/or a combination of hardware components and software components. For example, devices and components described in the embodiments may include, for example, a processor, a controller, an arithmetic logic unit (ALU), a digital signal processor, a microcomputer, a field programmable array (FPA), It may be implemented using one or more general purpose or special purpose computers, such as a programmable logic unit (PLU), microprocessor, or any other device capable of executing and responding to instructions. A processing device may run an operating system (OS) and one or more software applications running on the operating system. A processing device may also access, store, manipulate, process, and generate data in response to execution of software. For convenience of understanding, there are cases in which one processing device is used, but those skilled in the art will understand that the processing device includes a plurality of processing elements and/or a plurality of types of processing elements. It can be seen that it can include. For example, a processing device may include a plurality of processors or a processor and a controller. Other processing configurations are also possible, such as parallel processors.

소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.Software may include a computer program, code, instructions, or a combination of one or more of the foregoing, which configures a processing device to operate as desired or processes independently or collectively. You can command the device. Software and/or data may be any tangible machine, component, physical device, virtual equipment, computer storage medium or device, intended to be interpreted by or provide instructions or data to a processing device. , or may be permanently or temporarily embodied in a transmitted signal wave. Software may be distributed on networked computer systems and stored or executed in a distributed manner. Software and data may be stored on one or more computer readable media.

도 10은 본 발명의 일 실시예에 따른 영상 분석 기반 작업 동작 인식 방법을 설명하기 위해 도시한 흐름도이다.10 is a flowchart illustrating a method for recognizing a work motion based on image analysis according to an embodiment of the present invention.

여기서 설명하는 영상 분석 기반 작업 동작 인식 방법은 본 발명의 하나의 실시예에 불과하며, 그 이외에 필요에 따라 다양한 단계들이 아래와 같이 부가될 수 있고, 하기의 단계들도 순서를 변경하여 실시될 수 있으므로, 본 발명이 하기에 설명하는 각 단계 및 그 순서에 한정되는 것은 아니다.The video analysis-based work motion recognition method described here is only one embodiment of the present invention, and other than that, various steps may be added as follows, and the following steps may be performed by changing the order. , The present invention is not limited to the steps and their order described below.

도 1 및 도 10을 참조하면, 단계(1010)에서 상기 영상 분석 기반 작업 동작 인식 장치(100)의 작업 영상 수집부(110)는 카메라를 통해 촬영된 작업 현장에 관한 영상 데이터를 획득할 수 있다.Referring to FIGS. 1 and 10 , in step 1010, the work image collection unit 110 of the image analysis-based work motion recognition device 100 may acquire image data about a work site captured through a camera. .

다음으로, 단계(1020)에서 상기 영상 분석 기반 작업 동작 인식 장치(100)의 작업 동작 인식부(120)는 상기 영상 데이터로부터 프레임별 특징 정보를 추출할 수 있다.Next, in step 1020, the work motion recognition unit 120 of the image analysis-based work motion recognition device 100 may extract feature information for each frame from the image data.

다음으로, 단계(1030)에서 상기 영상 분석 기반 작업 동작 인식 장치(100)의 작업 동작 인식부(120)는 상기 추출된 프레임별 특징 정보를 분석하여 하나의 공정을 구성하는 작업 동작들을 의미 단위별로 구분할 수 있다.Next, in step 1030, the work motion recognition unit 120 of the image analysis-based work motion recognition device 100 analyzes the extracted feature information for each frame to classify the work actions constituting one process into semantic units. can be distinguished.

다음으로, 단계(1040)에서 상기 영상 분석 기반 작업 동작 인식 장치(100)의 작업 동작 인식부(120)는 상기 의미 단위별로 구분된 작업 동작들을 기반으로 상기 작업 현장 내에 있는 작업자의 작업 동작을 세분화하여 인식할 수 있다.Next, in step 1040, the work motion recognition unit 120 of the video analysis-based work motion recognition device 100 subdivides the work motions of workers in the work site based on the work motions classified by the semantic units. can be recognized.

다음으로, 단계(1050)에서 상기 영상 분석 기반 작업 동작 인식 장치(100)의 작업 동작 인식부(120)는 상기 세분화된 작업 동작의 순서를 도출할 수 있다.Next, in step 1050, the work motion recognition unit 120 of the image analysis-based work motion recognition device 100 may derive a sequence of the subdivided work motions.

다음으로, 단계(1060)에서 상기 영상 분석 기반 작업 동작 인식 장치(100)의 작업 관리부(130)는 상기 세분화된 작업 동작의 순서에 기초하여 영상 구간별로 라벨링을 수행할 수 있다.Next, in step 1060, the task management unit 130 of the image analysis-based work motion recognition apparatus 100 may perform labeling for each video section based on the order of the subdivided work motions.

다음으로, 단계(1070)에서 상기 영상 분석 기반 작업 동작 인식 장치(100)의 작업 관리부(130)는 상기 라벨링을 통해 상기 세분화된 작업 동작을 상기 영상 구간별로 구분하여 모니터링 단말기의 화면에 출력할 수 있다.Next, in step 1070, the task management unit 130 of the video analysis-based task motion recognition device 100 classifies the subdivided task motions by the video section through the labeling and outputs them to the screen of the monitoring terminal. have.

실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CDROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.The method according to the embodiment may be implemented in the form of program instructions that can be executed through various computer means and recorded on a computer readable medium. The computer readable medium may include program instructions, data files, data structures, etc. alone or in combination. Program commands recorded on the medium may be specially designed and configured for the embodiment or may be known and usable to those skilled in computer software. Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks and magnetic tapes, optical media such as CDROMs and DVDs, and magnetic-optical media such as floptical disks. Included are hardware devices specially configured to store and execute program instructions, such as magneto-optical media and ROM, RAM, flash memory, and the like. Examples of program instructions include high-level language codes that can be executed by a computer using an interpreter, as well as machine language codes such as those produced by a compiler. The hardware devices described above may be configured to operate as one or more software modules to perform the operations of the embodiments, and vice versa.

이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.As described above, although the embodiments have been described with limited examples and drawings, those skilled in the art can make various modifications and variations from the above description. For example, the described techniques may be performed in an order different from the method described, and/or components of the described system, structure, device, circuit, etc. may be combined or combined in a different form than the method described, or other components may be used. Or even if it is replaced or substituted by equivalents, appropriate results can be achieved.

그러므로, 다른 구현들, 다른 실시예들 및 청구범위와 균등한 것들도 후술하는 청구범위의 범위에 속한다.Therefore, other implementations, other embodiments, and equivalents of the claims are within the scope of the following claims.

100: 영상 분석 기반 작업 동작 인식 장치
110: 작업 영상 수집부
120: 작업 동작 인식부
130: 작업 관리부
140: 제어부
210: 특징 정보 추출 모듈
220: 동작 순서 분석 모듈
100: image analysis-based work motion recognition device
110: work image collection unit
120: work motion recognition unit
130: work management unit
140: control unit
210: feature information extraction module
220: motion sequence analysis module

Claims (12)

카메라를 통해 촬영된 작업 현장에 관한 영상 데이터를 획득하는 작업 영상 수집부; 및
상기 영상 데이터로부터 프레임별 특징 정보를 추출하고, 상기 추출된 프레임별 특징 정보를 분석하여 상기 작업 현장 내에 있는 작업자의 작업 동작을 인식하는 작업 동작 인식부를 포함하고,
상기 작업 동작 인식부는 상기 프레임별 특징 정보를 분석하여 하나의 공정을 구성하는 작업 동작들을 의미 단위별로 구분하고, 상기 의미 단위별로 구분된 작업 동작들을 기반으로 상기 프레임별 특징 정보로부터 상기 작업 동작을 세분화하여 인식하며, 상기 세분화된 작업 동작의 순서를 도출하는 동작 순서 분석 모듈을 포함하며,
상기 세분화된 작업 동작의 순서에 기초하여 영상 구간별로 라벨링을 수행하고, 상기 라벨링을 통해 상기 세분화된 작업 동작을 상기 영상 구간별로 구분하여 모니터링 단말기의 화면에 출력하는 작업 관리부를 더 포함하고,
상기 작업 관리부는
상기 작업자의 불필요한 동작을 파악하는 작업 모니터링을 통해 작업 동작 최적화를 실현하거나, 상기 영상 구간별로 어떤 작업을 수행하는지 인식 및 표시하여 교육 훈련용 컨텐츠 제작에 활용하도록, 상기 작업자의 상기 세분화된 작업 동작을 작업 순서에 따라 배치하여 분석 결과로서 상기 모니터링 단말기의 화면에 출력하되, 작업 완료때마다 현재 시간, 계측기 고유 ID값, 작업자 고유 ID값 및 작업 소요 시간을 포함한 작업 관리 데이터를 상기 모니터링 단말기에 전송하는 것을 특징으로 하는 영상 분석 기반 작업 동작 인식 장치.
Work image collection unit for obtaining image data on the work site taken by the camera; and
A work motion recognition unit extracting feature information for each frame from the image data and analyzing the extracted feature information for each frame to recognize a work motion of a worker in the work site;
The work action recognition unit analyzes the feature information for each frame to classify work actions constituting one process into semantic units, and subdivides the work actions from the feature information for each frame based on the work actions classified into each semantic unit. and recognizes it, and includes an action sequence analysis module for deriving the order of the subdivided work actions,
Further comprising a task management unit that performs labeling for each video section based on the sequence of the subdivided work operations, classifies the subdivided work operations for each video section through the labeling, and outputs them to a screen of a monitoring terminal,
The work management department
The subdivided working motions of the workers can be realized through job monitoring to identify unnecessary motions of the workers, or to recognize and display which jobs are performed for each section of the video to be used in content production for education and training. It is arranged according to the work order and output on the screen of the monitoring terminal as an analysis result, but whenever work is completed, task management data including the current time, instrument-specific ID value, operator-specific ID value, and work required time are transmitted to the monitoring terminal Image analysis-based work motion recognition device, characterized in that.
제1항에 있어서,
상기 작업 동작 인식부는
관절 인식, 손 위치 인식, 시멘틱 세그멘테이션(semantic segmentation) 중 적어도 하나의 기법을 이용하여, 상기 영상 데이터로부터 관절 각도, 관절 위치, 몸통 위치, 손 위치, 시선 중 적어도 하나를 포함하는 특징 정보를 추출하는 특징 정보 추출 모듈
을 포함하는 것을 특징으로 하는 영상 분석 기반 작업 동작 인식 장치.
According to claim 1,
The work motion recognition unit
Extracting feature information including at least one of joint angle, joint position, torso position, hand position, and line of sight from the image data using at least one technique of joint recognition, hand position recognition, and semantic segmentation Feature Information Extraction Module
Image analysis-based work motion recognition device comprising a.
제2항에 있어서,
상기 특징 정보 추출 모듈은
상기 작업자가 장비를 사용하여 작업할 경우, 상기 장비의 움직임 및 소리 중 적어도 하나를 인식하는 기법을 더 이용하여 상기 특징 정보를 추출하는 것을 특징으로 하는 영상 분석 기반 작업 동작 인식 장치.
According to claim 2,
The feature information extraction module
When the worker works using the equipment, the video analysis-based work motion recognition device, characterized in that for extracting the feature information further using a technique for recognizing at least one of the movement and sound of the equipment.
삭제delete 제1항에 있어서,
상기 동작 순서 분석 모듈은
상기 세분화된 작업 동작을 결정하고 각각의 세분화된 작업 동작을 순서대로 쌓아서 작업 동작 순서를 생성하는 분류기(classifier)를 구비하는 것을 특징으로 하는 영상 분석 기반 작업 동작 인식 장치.
According to claim 1,
The operation sequence analysis module
An image analysis-based work motion recognition device comprising a classifier for determining the subdivided work motions and sequentially stacking each subdivided work motion to generate a work motion sequence.
제5항에 있어서,
상기 분류기는
학습 데이터 라이브러리의 데이터를 통해 딥러닝 모델을 학습하여 도출되고,
상기 학습 데이터 라이브러리는
세부 동작 명칭, 세부 동작 작업 영상, 및 프레임별 특징 정보를 매칭하여 상기 세분화된 작업 동작에 관한 데이터로서 저장하는 라이브러리인 것을 특징으로 하는 영상 분석 기반 작업 동작 인식 장치.
According to claim 5,
The classifier
It is derived by learning the deep learning model through the data of the learning data library,
The learning data library
An image analysis-based work motion recognition device, characterized in that a library that matches detailed motion names, detailed motion work images, and feature information for each frame and stores them as data related to the subdivided work motions.
제6항에 있어서,
상기 분류기는
입력된 프레임별 특징 정보를 처리하여 출력 세부 동작 명칭을 생성하고, 상기 학습 데이터 라이브러리로부터 상기 입력된 프레임별 특징 정보에 매칭되는 세부 동작 명칭을 추출하여 상기 출력 세부 동작 명칭과 비교하며, 상기 비교의 결과에 따라 손실(Loss)이 발생한 경우 가중치 업데이트(weight update)를 수행하는 것을 특징으로 하는 영상 분석 기반 작업 동작 인식 장치.
According to claim 6,
The classifier
The input feature information for each frame is processed to generate an output detailed action name, and a detailed action name matching the input feature information for each frame is extracted from the learning data library and compared with the output detailed action name. An image analysis-based task motion recognition device, characterized in that performing a weight update when a loss occurs according to the result.
제5항에 있어서,
상기 분류기는
상기 프레임별 특징 정보와 상기 세분화된 작업 동작 사이의 관계를 룰 기반으로 규명하여 도출되는 것을 특징으로 하는 영상 분석 기반 작업 동작 인식 장치.
According to claim 5,
The classifier
An image analysis-based work motion recognition device, characterized in that the relationship between the feature information for each frame and the subdivided work motion is derived by identifying the rule-based.
삭제delete 영상 분석 기반 작업 동작 인식 장치를 이용한 영상 분석 기반 작업 동작 인식 방법에 있어서,
상기 영상 분석 기반 작업 동작 인식 장치의 작업 영상 수집부가 카메라를 통해 촬영된 작업 현장에 관한 영상 데이터를 획득하는 단계;
상기 영상 분석 기반 작업 동작 인식 장치의 작업 동작 인식부가 상기 영상 데이터로부터 프레임별 특징 정보를 추출하는 단계; 및
상기 작업 동작 인식부가 상기 추출된 프레임별 특징 정보를 분석하여 상기 작업 현장 내에 있는 작업자의 작업 동작을 인식하는 단계를 포함하고,
상기 작업 동작을 인식하는 단계는 상기 프레임별 특징 정보를 분석하여 하나의 공정을 구성하는 작업 동작들을 의미 단위별로 구분하는 단계; 상기 의미 단위별로 구분된 작업 동작들을 기반으로 상기 프레임별 특징 정보로부터 상기 작업 동작을 세분화하여 인식하는 단계; 및 상기 세분화된 작업 동작의 순서를 도출하는 단계를 포함하며,
상기 영상 분석 기반 작업 동작 인식 장치의 작업 관리부가 상기 세분화된 작업 동작의 순서에 기초하여 영상 구간별로 라벨링을 수행하고, 상기 라벨링을 통해 상기 세분화된 작업 동작을 상기 영상 구간별로 구분하여 모니터링 단말기의 화면에 출력하는 단계를 더 포함하고,
상기 작업 관리부는
상기 작업자의 불필요한 동작을 파악하는 작업 모니터링을 통해 작업 동작 최적화를 실현하거나, 상기 영상 구간별로 어떤 작업을 수행하는지 인식 및 표시하여 교육 훈련용 컨텐츠 제작에 활용하도록, 상기 작업자의 상기 세분화된 작업 동작을 작업 순서에 따라 배치하여 분석 결과로서 상기 모니터링 단말기의 화면에 출력하되, 작업 완료때마다 현재 시간, 계측기 고유 ID값, 작업자 고유 ID값 및 작업 소요 시간을 포함한 작업 관리 데이터를 상기 모니터링 단말기에 전송하는 것을 특징으로 하는 영상 분석 기반 작업 동작 인식 방법.
In the image analysis-based work motion recognition method using an image analysis-based work motion recognition device,
Acquiring image data related to a work site captured by a working image collection unit of the image analysis-based work motion recognition device through a camera;
extracting feature information for each frame from the image data by a work motion recognition unit of the image analysis-based work motion recognition device; and
Recognizing the work motion of the operator in the work site by the work motion recognition unit analyzing the extracted feature information for each frame;
Recognizing the work motion may include analyzing the feature information for each frame and classifying the work motion constituting one process into semantic units; segmenting and recognizing the work motion from the feature information for each frame based on the work motions classified for each semantic unit; And deriving a sequence of the subdivided work operations,
The task management unit of the video analysis-based work motion recognition device performs labeling for each video section based on the sequence of the subdivided work motions, and classifies the subdivided work motions for each video section through the labeling to screen the monitoring terminal. Further comprising the step of outputting to
The work management department
The subdivided working motions of the workers can be realized through job monitoring to identify unnecessary motions of the workers, or to recognize and display which jobs are performed for each section of the video to be used in content production for education and training. It is arranged according to the work order and output on the screen of the monitoring terminal as an analysis result, but whenever work is completed, task management data including the current time, instrument-specific ID value, operator-specific ID value, and work required time are transmitted to the monitoring terminal Image analysis-based work motion recognition method, characterized in that.
제10항에 있어서,
상기 영상 데이터로부터 프레임별 특징 정보를 추출하는 단계는
관절 인식, 손 위치 인식, 시멘틱 세그멘테이션(semantic segmentation) 중 적어도 하나의 기법을 이용하여, 상기 영상 데이터로부터 관절 각도, 관절 위치, 몸통 위치, 손 위치, 시선 중 적어도 하나를 포함하는 특징 정보를 추출하는 단계
를 포함하는 것을 특징으로 하는 영상 분석 기반 작업 동작 인식 방법.
According to claim 10,
The step of extracting feature information for each frame from the image data
Extracting feature information including at least one of joint angle, joint position, torso position, hand position, and line of sight from the image data using at least one technique of joint recognition, hand position recognition, and semantic segmentation step
Image analysis-based work motion recognition method comprising a.
삭제delete
KR1020200112052A 2020-06-24 2020-09-03 Device and method for recognizing work motion based on image analysis KR102466433B1 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020200112052A KR102466433B1 (en) 2020-09-03 2020-09-03 Device and method for recognizing work motion based on image analysis
PCT/KR2021/007874 WO2021261905A1 (en) 2020-06-24 2021-06-23 Apparatus and method for image analysis-based work operation recognition and production measurement

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200112052A KR102466433B1 (en) 2020-09-03 2020-09-03 Device and method for recognizing work motion based on image analysis

Publications (2)

Publication Number Publication Date
KR20220030548A KR20220030548A (en) 2022-03-11
KR102466433B1 true KR102466433B1 (en) 2022-11-11

Family

ID=80814579

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200112052A KR102466433B1 (en) 2020-06-24 2020-09-03 Device and method for recognizing work motion based on image analysis

Country Status (1)

Country Link
KR (1) KR102466433B1 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024029880A1 (en) * 2022-08-03 2024-02-08 주식회사 딥핑소스 Learning method and learning apparatus for training deep learning-based gaze detection model for detecting gaze, and test method and test apparatus using same

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016066270A (en) * 2014-09-25 2016-04-28 Kddi株式会社 Work similarity calculation method, device and program
JP2018181273A (en) * 2017-04-21 2018-11-15 キヤノン株式会社 Image processing apparatus, method thereof, and program

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6570786B2 (en) * 2017-02-24 2019-09-04 三菱電機株式会社 Motion learning device, skill discrimination device, and skill discrimination system

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016066270A (en) * 2014-09-25 2016-04-28 Kddi株式会社 Work similarity calculation method, device and program
JP2018181273A (en) * 2017-04-21 2018-11-15 キヤノン株式会社 Image processing apparatus, method thereof, and program

Also Published As

Publication number Publication date
KR20220030548A (en) 2022-03-11

Similar Documents

Publication Publication Date Title
US20160259980A1 (en) Systems and methodologies for performing intelligent perception based real-time counting
TW201737134A (en) System and method for training object classifier by machine learning
US11900708B2 (en) Neural network-based recognition of trade workers present on industrial sites
Megahed et al. Real-time fault detection in manufacturing environments using face recognition techniques
EP4137901A1 (en) Deep-learning-based real-time process monitoring system, and method therefor
Veres et al. Automatic workflow monitoring in industrial environments
WO2022087506A1 (en) Rail feature identification system
KR102466433B1 (en) Device and method for recognizing work motion based on image analysis
CN111783639A (en) Image detection method and device, electronic equipment and readable storage medium
CN104219488A (en) Method and device of generating target image as well as video monitoring system
CN113935395A (en) Training of object recognition neural networks
JP6812076B2 (en) Gesture recognition device and gesture recognition program
Zhang et al. Robotic control of dynamic and static gesture recognition
Yang Enhancing action recognition of construction workers using data-driven scene parsing
US10929688B2 (en) System and method of video content filtering
Ngoc-Thoan et al. Improved detection network model based on YOLOv5 for warning safety in construction sites
WO2021261905A1 (en) Apparatus and method for image analysis-based work operation recognition and production measurement
US20230186634A1 (en) Vision-based monitoring of site safety compliance based on worker re-identification and personal protective equipment classification
KR102407361B1 (en) Process Recognition System Based on Artificial Intelligence
Pernando et al. Deep Learning for Faces on Orphanage Children Face Detection
CN114332675A (en) Part picking sensing method for augmented reality auxiliary assembly
KR20170082412A (en) Apparatus and method for generating customized object vision system
Fugini et al. Gesture recognition using dynamic time warping
Mukhametshin et al. Sensor tag detection, tracking and recognition for AR application
Panahi et al. Automated Progress Monitoring in Modular Construction Factories Using Computer Vision and Building Information Modeling

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant