WO2021261905A1 - 영상 분석 기반 작업 동작 인식 및 생산량 측정 장치와 그 방법 - Google Patents

영상 분석 기반 작업 동작 인식 및 생산량 측정 장치와 그 방법 Download PDF

Info

Publication number
WO2021261905A1
WO2021261905A1 PCT/KR2021/007874 KR2021007874W WO2021261905A1 WO 2021261905 A1 WO2021261905 A1 WO 2021261905A1 KR 2021007874 W KR2021007874 W KR 2021007874W WO 2021261905 A1 WO2021261905 A1 WO 2021261905A1
Authority
WO
WIPO (PCT)
Prior art keywords
work
production
image analysis
motion recognition
frame
Prior art date
Application number
PCT/KR2021/007874
Other languages
English (en)
French (fr)
Inventor
김성민
박영수
이세용
이지웅
손호준
양우석
Original Assignee
(주) 넥스트랩
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020200077149A external-priority patent/KR20210158610A/ko
Priority claimed from KR1020200112052A external-priority patent/KR102466433B1/ko
Application filed by (주) 넥스트랩 filed Critical (주) 넥스트랩
Publication of WO2021261905A1 publication Critical patent/WO2021261905A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling

Definitions

  • Embodiments of the present invention relate to a technology capable of monitoring the work operation of a worker at the work site, and more particularly, based on the analysis of image data about the work site captured by a camera, the work of the worker in the work site It relates to an image analysis-based work motion recognition and production production measuring apparatus and method capable of measuring the production volume of a job site by recognizing the motion.
  • the measurement of work efficiency for each worker is to measure the work efficiency by determining the standard amount of production to be produced per hour by one person and comparing the actual amount of production after a certain period of time has elapsed.
  • An embodiment of the present invention is an image analysis-based work motion recognition and A production measuring device and method are provided.
  • An image analysis-based work motion recognition and production production measurement apparatus includes: a work image collecting unit for obtaining image data about a work site photographed through a camera; and a work motion recognition unit for extracting frame-by-frame feature information from the image data and recognizing a work action of a worker in the work site by analyzing the extracted feature information for each frame.
  • the work motion recognition unit includes at least one of a joint angle, a joint position, a trunk position, a hand position, and a gaze from the image data using at least one technique of joint recognition, hand position recognition, and semantic segmentation. and a feature information extraction module for extracting feature information.
  • the feature information extraction module may extract the feature information by further using a technique for recognizing at least one of a motion and a sound of the equipment when the worker works using the equipment.
  • the work action recognition unit analyzes the feature information for each frame to classify work actions constituting one process by semantic unit, and subdivides the work action from the feature information for each frame based on the work actions classified for each semantic unit to recognize, and may include an operation sequence analysis module for deriving the sequence of the subdivided operation operation.
  • the operation sequence analysis module may include a classifier for determining the subdivided work action and piling up each subdivided work action in order to generate a work action sequence.
  • the classifier is derived by learning a deep learning model through the data of the learning data library, and the learning data library matches the detailed operation name, detailed operation operation image, and frame-by-frame feature information as data on the subdivided operation operation. It may be a library to store.
  • the classifier processes the inputted frame-by-frame feature information to generate an output detailed action name, extracts a detailed action name matching the inputted frame-by-frame feature information from the learning data library, and compares it with the output detailed action name, When a loss occurs according to the result of the comparison, a weight update may be performed.
  • the classifier may be derived by identifying the relationship between the feature information for each frame and the subdivided work operation based on a rule.
  • Image analysis-based work motion recognition and production amount measurement apparatus performs labeling for each image section based on the sequence of the subdivided work action, and performs the subdivided work action on the image section through the labeling It may further include a task management unit that divides by each and outputs to the screen of the monitoring terminal.
  • the image analysis-based work motion recognition and production amount measurement apparatus may further include a production volume measurement unit configured to measure the production amount of the work site based on the recognition result of the work action.
  • the image analysis-based work operation recognition and production volume measurement apparatus further comprises a work management unit for outputting work management data including the measurement result of the production amount on the screen of the monitoring terminal, wherein the work management unit is the image
  • the work management unit is the image
  • a signal related to the measurement result of the production is output every time the work is completed, but the current time, the instrument's unique ID (ID) value, and the work required time are managed as the work It can be included in the data and transmitted to the monitoring terminal.
  • ID instrument's unique ID
  • the work management unit When the work management unit recognizes individual work operations of several workers according to the analysis result of the image data, outputs a signal related to the measurement result of the production amount each time the work is completed for each worker, but the current time, the unique ID value of the instrument, the worker The unique ID value and the time required for the job may be included in the job management data and transmitted to the monitoring terminal.
  • the work management unit When the work management unit recognizes the integrated work operation of several workers according to the analysis result of the image data, it outputs a signal related to the measurement result of the production output every time the finished product is output, but the current time, the unique ID value of the instrument and the unique operator
  • the ID value may be included in the job management data and transmitted to the monitoring terminal.
  • Image analysis-based work motion recognition and production volume measurement method includes the steps of acquiring image data about a work site captured by a work image collecting unit of the image analysis-based work motion recognition and production production measuring device through a camera ; extracting frame-by-frame feature information from the image data by a work motion recognition unit of the image analysis-based work motion recognition and production measurement apparatus; and recognizing a work action of a worker in the work site by analyzing the extracted feature information for each frame by the work action recognition unit.
  • the production volume measurement unit of the image analysis-based work motion recognition and production volume measurement apparatus measures the production volume of the work site based on the recognition result of the work action to do; and outputting, by the operation management unit of the image analysis-based operation operation recognition and production amount measurement apparatus, operation management data including the measurement result of the production amount on the screen of the monitoring terminal.
  • the work operation is optimized through work monitoring, such as recognizing the work movement of the worker in the work site and identifying unnecessary movements.
  • the production of the work site can be measured by recognizing the work operation of the worker in the work site.
  • FIG. 1 is a block diagram illustrating an apparatus for measuring production based on image analysis according to an embodiment of the present invention.
  • FIG. 2 is a diagram illustrating a system configuration according to a distributed processing method.
  • FIG. 3 is a diagram illustrating a system configuration according to a central processing method.
  • FIG. 4 is an exemplary view showing the installation position of the camera.
  • FIG. 5 is a block diagram illustrating a detailed configuration of the work action recognition unit of FIG. 1 .
  • 6 and 7 are diagrams illustrating an example of extracting feature information for each image frame.
  • FIGS. 8 and 9 are diagrams illustrating an example of subdividing a work action through a classifier and generating a subdivided work action sequence.
  • FIG. 10 is a diagram illustrating an example of output of a result of analyzing a single operator.
  • 11 is a diagram illustrating an example of output of results of individual analysis of several workers.
  • FIG. 12 is a block diagram illustrating a method for recognizing a work motion and measuring a production amount based on image analysis according to an embodiment of the present invention.
  • FIG. 13 is a flowchart illustrating a method of recognizing a work operation of a worker in a work site by analyzing image data according to an embodiment of the present invention.
  • transmission means that signals or information are directly transmitted from one component to another. as well as passing through other components.
  • transmission means that signals or information are directly transmitted from one component to another. as well as passing through other components.
  • to “transmit” or “transmit” a signal or information to a component indicates the final destination of the signal or information and does not imply a direct destination. The same is true for “reception” of signals or information.
  • FIG. 1 is a block diagram illustrating an apparatus for measuring production based on image analysis according to an embodiment of the present invention.
  • the apparatus 100 for measuring production volume based on image analysis includes a work image collection unit 110 , a work action recognition unit 120 , a production volume measurement unit 130 , and a work management unit 140 . ), and a control unit 150 .
  • the image analysis-based work motion recognition and production volume measurement apparatus 100 processes a process of photographing and analyzing a work image and transmitting the analysis result (production amount), which
  • a distributed processing method may be used as shown in FIG. 2, and alternatively, a central processing method may be used as illustrated in FIG. 3 .
  • the image analysis-based production quantity measurement apparatus 100 may be implemented in a form included in the measuring instrument 220, and the image analysis result is transmitted through a gateway to the production management system ( 230) can be transmitted.
  • the production management system 230 may include a monitoring terminal to be described later.
  • the image analysis-based production amount measurement apparatus 100 may be implemented in a form included in the analysis server 240 , and the image captured through the camera ( 220 in FIG. 3 ) is displayed. It may be transmitted through the gateway and analyzed, and the analysis result may be transmitted to the production management system 230 .
  • the management server 210 may serve to set basic information to the measuring instrument ( 220 in FIG. 2 ) and the camera ( 220 in FIG. 3 ).
  • the management server 210 sets the basic information to each measuring instrument (220 in FIG. 2) and the camera (220 in FIG. 3) through a unique user interface, etc., and the necessary information is factory HRM, ERP, It may be provided in conjunction with MES and the like.
  • the basic information may include photographing target process/production information, photographing target worker information, installation location, and the like.
  • the work image collecting unit 110 may obtain image data about the work site photographed through the camera.
  • the camera is installed on the front of the operator as shown in (a) of FIG. 4 and can always photograph the work scene, and alternatively, is installed on the workers as shown in FIG. You can shoot at any time.
  • the camera may be installed at various locations, such as the ceiling, the front of the workbench, and the side of the workbench, to capture work images at various angles. Meanwhile, the camera may be configured to include a depth camera to improve the precision of image analysis.
  • the work action recognition unit 120 may analyze the image data to recognize the work action of the worker in the work site. That is, the work action recognition unit 120 may extract the feature information for each frame from the image data and analyze the extracted feature information for each frame to recognize the work action of the worker in the work site.
  • the work action recognition unit 120 may be configured to include a feature information extraction module 510 and an action sequence analysis module 520 as shown in FIG. 5 .
  • FIG. 5 is a block diagram illustrating a detailed configuration of the work action recognition unit 120 of FIG. 1 .
  • the feature information extraction module 510 uses at least one technique of joint recognition, hand position recognition, and semantic segmentation, and uses at least one of a joint angle, a joint position, a trunk position, a hand position, and a gaze from the image data. It is possible to extract feature information including one. In this case, the feature information extraction module 510 may extract the feature information by further using a technique for recognizing at least one of a motion and a sound of the equipment when the worker works using the equipment.
  • the feature information extraction module 510 may extract meaningful feature information for each image frame by continuously repeating the process of extracting meaningful feature information from one working image frame. This can be said to be a process of reducing high-dimensional image data to meaningful low-dimensional data.
  • the feature information extraction module 510 may extract feature information from the working image frame through joint recognition, hand position recognition, and the like.
  • the feature information extraction module 510 is applied to each frame of the working image frame according to time, and the joint angle, joint position, trunk position, hand position, gaze, etc. are applied to each image frame. feature information can be extracted. Accordingly, the feature information extraction module 510 extracts different feature information for each frame.
  • the operation sequence analysis module 520 may analyze the characteristic information for each frame extracted by the characteristic information extraction module 510 and classify the operation operations constituting one process for each semantic unit based on the analysis result.
  • the operation sequence analysis module 520 may subdivide and recognize the operation operation from the characteristic information for each frame based on the operation operations classified for each semantic unit. In addition, the operation sequence analysis module 520 may derive the order of the subdivided operation operations.
  • the operation sequence analysis module 520 may include a classifier that determines the subdivided task operation and generates a task operation sequence by sequentially stacking each subdivided task operation.
  • the operation sequence analysis module 520 may determine the subdivided operation operation through the classifier, and may generate the operation operation sequence by accumulating the derived operation operations in order.
  • the operation sequence analysis module 520 receives the characteristic information for each image frame from the characteristic information extraction module 510, and 'takes the operation operation through the classifier' It can be subdivided and recognized into 'mistake motion', 'loop assembly motion', 'pattern missing motion', 'next delivery motion', and the like.
  • the operation sequence analysis module 520 stacks the subdivided operation operations in sequence according to the shooting time sequence, and creates a sequence of operation operations in the order of 'import', 'hook assembly', 'pattern sewing machine', and 'next delivery'. can do.
  • the classifier may be built on a learning-based or rule-based basis.
  • the classifier may be derived by learning a deep learning model through data of a learning data library.
  • the classifier may utilize a model structure such as a Convolutional Neural Network (CNN), a Recurrent Neural Network (RNN), and a Long Short-Term Memory (LSTM).
  • CNN Convolutional Neural Network
  • RNN Recurrent Neural Network
  • LSTM Long Short-Term Memory
  • the learning data library is a library in which a detailed operation name, detailed operation work image, and frame-by-frame feature information are matched and stored as data regarding the subdivided operation operation.
  • the classifier built based on the learning processes the inputted frame-by-frame feature information to generate an output detailed operation name, and matches the inputted frame-by-frame feature information from the learning data library.
  • a detailed operation name to be obtained is extracted and compared with the output detailed operation name, and when a loss occurs according to the result of the comparison, a weight update may be performed.
  • the present invention by continuously learning and updating the deep learning model through the data of the learning data library, it is possible to more accurately classify and recognize the subdivided work operation and its sequence, and through this, the work process Through task monitoring, such as identifying unnecessary movements, it is possible to realize optimization of work actions, as well as to recognize/display what kind of work is being performed for each video section, so it can be used for content creation for education and training.
  • the classifier When constructed based on the rule, the classifier may be derived by identifying the relationship between the frame-by-frame feature information and the subdivided work operation based on the rule.
  • the work motion recognition unit 120 may analyze the image data by individually applying an image processing algorithm based on at least one of a motion, a work, and a region or by applying two or more in combination.
  • the image processing algorithm based on the operation recognizes and tracks the movement of the operator's joints or the operator itself, or of a specific part of the operator's body (head, hand, etc.) or decorations (uniform, wristband, etc.) worn by the operator. It can recognize and track movement.
  • the work motion recognition unit 120 recognizes the joint movement of the operator or the movement of the operator itself from the image data, tracks the recognized movement, It is possible to recognize what kind of operation the operator is doing.
  • An image processing algorithm based on the work may recognize and track the work worn by the worker, and determine the movement flow characteristics of the work.
  • the work motion recognition unit 120 recognizes the work worn by the worker from the image data, and recognizes the recognized work. By tracking the water and identifying its moving flow characteristics, it is possible to recognize what kind of operation the worker is working with.
  • An image processing algorithm based on the region may detect a change in a specific object in a specific region and output a change value.
  • the work action recognition unit 120 extracts a specific region from the image data, and a specific object, eg, a task, from the extracted specific region
  • a specific object eg, a task
  • the change value of the specific object can be output by recognizing and tracking a ruler or a work, and detecting its change, and through this, it is possible to recognize what kind of operation the corresponding worker is working.
  • the work action recognizing unit 120 may transmit the result (subdivision/sequence) of the work action to a monitoring terminal (not shown) through the work management unit 130 to be described later.
  • the production amount measurement unit 130 may use the recognition result of the work action to select the work required time for each work action of the excellent worker as a sample of the best practice, and compare the selected sample with other workers. That is, the production amount measurement unit 130 may compare the selected sample with the work motion recognition result of another worker.
  • the production amount measurement unit 130 may evaluate the work results of other workers through the comparison (excellent if above the standard, below average if below the standard).
  • the production amount measurement unit 130 may transmit the evaluation result to the monitoring terminal through the job management unit 140 to be described later.
  • the work management unit 140 may output the work management data including the measurement result of the production amount and the result of the work operation on a screen of a monitoring terminal (not shown).
  • the task management unit 140 performs labeling for each video section based on the sequence of the subdivided work operation, divides the subdivided work operation for each video section through the labeling, and outputs it to the screen of the monitoring terminal. can do.
  • the work management unit 140 when the work management unit 140 recognizes the work operation of a single operator according to the analysis result of the image data, the subdivided work operation of the single operator is arranged according to the work order and analyzed You can print it out as a result.
  • the work management unit 140 if the work management unit 140 recognizes the work operation of a single operator according to the analysis result of the image data, it can output a signal related to the measurement result of the production amount every time the work is completed. have.
  • the task management unit 140 may include the current time, the instrument unique ID (ID) value, and the required task time in the task management data every time a task is completed and transmit it to the monitoring terminal. Accordingly, the monitoring terminal may receive the job management data and output it on the screen.
  • ID instrument unique ID
  • the job management unit 140 arranges and analyzes the subdivided work motions for each worker according to the work order. You can print it out as a result.
  • the work management unit 140 sends a signal regarding the measurement result of the production amount each time the work is completed for each worker. can be printed out.
  • the job management unit 140 performs a work operation in the order of 'import', 'hook assembly', 'pattern missing', and 'next delivery'.
  • Analysis result of the subdivided work operation of worker 1 output as, and in the case of worker 2, the work operation made in the order of 'import', 'hook assembly', 'pattern sewing machine', and 'next delivery' is output as a result of analysis of the subdivided work action of worker 2, and the worker
  • a work operation made in the order of 'import', 'pasting', 'ring assembly', 'pattern sewing machine', and 'next delivery' may be output as an analysis result of the subdivided work operation of the worker 3 .
  • the work management unit 140 may include the current time, the instrument unique ID value, the worker unique ID value, and the required work time in the work management data every time a work is completed for each worker and transmit it to the monitoring terminal. Accordingly, the monitoring terminal may receive the job management data and output it on the screen.
  • the job management unit 140 may transmit the evaluation result of the production quantity measurement unit 130 to the monitoring terminal as described above.
  • the monitoring terminal can monitor the work management data, and through this, when there is a process in which an actual Cycle Time deviation from the target Cycle Time occurs, an alarm can be generated.
  • the monitoring terminal may generate an alarm when a bottleneck section is detected (if the operation rate is high in the front process and low in the rear process, it can be viewed as a bottleneck section).
  • the monitoring terminal can statistically analyze the work management data and the evaluation result of the production measurement unit 130, and through this, provide an opportunity for education and training to grow into an excellent worker or process based on actual Cycle Time for each process Line balancing is possible.
  • the monitoring terminal can analyze the productivity for each worker through statistical analysis, and further analyze the productivity for each period (how long did it take to stabilize the yield after starting production?).
  • the control unit 150 is an image analysis-based work motion recognition and production volume measurement apparatus 100 according to an embodiment of the present invention, that is, the work image collection unit 110 , the work motion recognition unit 120 , and the production amount measurement unit Operations of 130 and the task management unit 140 may be controlled in general.
  • the device described above may be implemented as a hardware component, a software component, and/or a combination of the hardware component and the software component.
  • devices and components described in the embodiments may include, for example, a processor, a controller, an arithmetic logic unit (ALU), a digital signal processor, a microcomputer, a field programmable array (FPA), It may be implemented using one or more general purpose or special purpose computers, such as a programmable logic unit (PLU), microprocessor, or any other device capable of executing and responding to instructions.
  • the processing device may execute an operating system (OS) and one or more software applications running on the operating system.
  • a processing device may also access, store, manipulate, process, and generate data in response to execution of the software.
  • the processing device includes a plurality of processing elements and/or a plurality of types of processing elements. It can be seen that can include For example, the processing device may include a plurality of processors or one processor and one controller. Other processing configurations are also possible, such as parallel processors.
  • Software may comprise a computer program, code, instructions, or a combination of one or more thereof, which configures a processing device to operate as desired or is independently or collectively processed You can command the device.
  • the software and/or data may be any kind of machine, component, physical device, virtual equipment, computer storage medium or apparatus, to be interpreted by or to provide instructions or data to the processing device. , or may be permanently or temporarily embody in a transmitted signal wave.
  • the software may be distributed over networked computer systems and stored or executed in a distributed manner. Software and data may be stored in one or more computer-readable recording media.
  • FIG. 12 is a flowchart illustrating an image analysis-based work motion recognition and production amount measurement method according to an embodiment of the present invention.
  • step 1210 the work image collecting unit 110 of the image analysis-based work motion recognition and production measurement apparatus 100 acquires image data about the work site captured through a camera. can do.
  • step 1220 the work motion recognition unit 120 of the image analysis-based work motion recognition and production measurement apparatus 100 analyzes the image data to recognize the work motion of the worker in the work site. have. This will be described in detail with reference to FIG. 13 .
  • the production amount measurement unit 130 of the image analysis-based work motion recognition and production amount measurement apparatus 100 may measure the production amount of the work site based on the recognition result of the work action.
  • the work management unit 140 of the image analysis-based work motion recognition and production amount measurement apparatus 100 may output work management data including the production amount measurement result on the screen of the monitoring terminal.
  • FIG. 13 is a flowchart illustrating a method of recognizing a work operation of a worker in a work site by analyzing image data according to an embodiment of the present invention.
  • the work motion recognition unit 120 of the image analysis-based work motion recognition and production amount measurement apparatus 100 may extract feature information for each frame from the image data. .
  • step 1320 the work motion recognition unit 120 of the image analysis-based work motion recognition and production volume measurement apparatus 100 analyzes the extracted feature information for each frame to perform work operations constituting one process. It can be divided into units of meaning.
  • step 1330 the work action recognition unit 120 of the image analysis-based work motion recognition and production amount measurement apparatus 100 performs the work of the worker in the work site based on the work actions classified for each semantic unit. Recognition can be subdivided into motions.
  • the work motion recognition unit 120 of the image analysis-based work motion recognition and yield measurement apparatus 100 may derive the sequence of the subdivided work motions.
  • the method according to the embodiment may be implemented in the form of program instructions that can be executed through various computer means and recorded in a computer-readable medium.
  • the computer-readable medium may include program instructions, data files, data structures, etc. alone or in combination.
  • the program instructions recorded on the medium may be specially designed and configured for the embodiment, or may be known and available to those skilled in the art of computer software.
  • Examples of the computer-readable recording medium include magnetic media such as hard disks, floppy disks and magnetic tapes, optical media such as CDROMs and DVDs, and magneto-optical disks such as floppy disks.
  • Examples of program instructions include not only machine language codes such as those generated by a compiler, but also high-level language codes that can be executed by a computer using an interpreter or the like.
  • the hardware devices described above may be configured to operate as one or more software modules to perform the operations of the embodiments, and vice versa.

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Strategic Management (AREA)
  • Human Resources & Organizations (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Economics (AREA)
  • Data Mining & Analysis (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Development Economics (AREA)
  • General Health & Medical Sciences (AREA)
  • Educational Administration (AREA)
  • Artificial Intelligence (AREA)
  • Game Theory and Decision Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Marketing (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • General Factory Administration (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

본 발명의 일 실시예에 따른 영상 분석 기반 작업 동작 인식 및 생산량 측정 장치는 카메라를 통해 촬영된 작업 현장에 관한 영상 데이터를 획득하는 작업 영상 수집부; 및 상기 영상 데이터로부터 프레임별 특징 정보를 추출하고, 상기 추출된 프레임별 특징 정보를 분석하여 상기 작업 현장 내에 있는 작업자의 작업 동작을 인식하는 작업 동작 인식부를 포함한다.

Description

영상 분석 기반 작업 동작 인식 및 생산량 측정 장치와 그 방법
본 발명의 실시예들은 작업 현장에서 작업자의 작업 동작을 모니터링할 수 있는 기술에 관한 것으로, 더욱 상세하게는 카메라로 촬영한 작업 현장에 관한 영상 데이터의 분석을 기반으로 하여 작업 현장 내에 있는 작업자의 작업 동작을 인식함으로써 작업 현장의 생산량을 측정할 수 있는 영상 분석 기반 작업 동작 인식 및 생산량 측정 장치와 그 방법에 관한 것이다.
일반적인 생산 공정 관리의 경우 각 작업자별 시간당 또는 일일 생산량을 정한 후 일정 시간 후 생산된 생산량 수치를 데이터화하여 계산된 수치를 이용한 생산 공정 관리가 이루어지고 있다. 실제로 일반적인 제조 회사의 경우 작업자별 작업 효율 측정은 1명이 1시간에 생산해야 될 표준 생산량을 정하고 일정 시간이 지난 후의 실제 생산량의 수치를 비교하여 작업 효율을 측정하는 방식을 취하고 있다.
작업 효율을 측정 방식은 일반적으로 다음과 같이 '작업효율(%) = 실제 생산량 / 표준생산량 * 100' 형태로 계산되고 이때 발생한 데이터를 문서화 또는 데이터베이스화한 후 생산 분석된 데이터를 이용하여 생산 공정 관리에 적용하는 것이 일반적이다. 이 경우 생산 공정 분석의 자료가 일정 시간이 지난 후, 각 공정별 작업자의 시간당 제품 생산량에 대한 수치 자료에만 의존하게 되고 생산 공정의 분석 또한 관리 감독자 또는 생산 공정 분석의 업무 담당자에 의해 수치를 계산하여 생산 공정의 분석이 이루어지게 된다.
이때 문제가 발생되었다고 판단되는 생산 공정 분석에서 생산량 수치 이외에 어떤 문제가 발생하여 각 단계별 생산량이 차이가 나는지, 또한 각 작업자의 작업 공정에서 작업 효율이 동일 작업 공정에서 다른 작업자와 어떤 문제로 차이가 나는지 등에 대한 상세한 생산 공정 관리에 대한 자료가 부족하게 된다.
이러한 문제를 해결하기 위해서 문제가 발생되었다고 판단되는 생산 공정의 상세한 분석을 위해 관리 감독자 또는 해당 생산 공정을 모니터하기 위한 인력 자원이 필요하게 되고 이는 불필요한 인력 자원의 낭비로 제품에 대한 제조 경비가 상승하게 되는 요인으로 작용하게 되므로 제품 원가 절감에 지장을 초래하게 된다.
본 발명의 일 실시예는 카메라로 촬영한 작업 현장에 관한 영상 데이터의 분석을 기반으로 하여 작업 현장 내에 있는 작업자의 작업 동작을 인식함으로써 작업 현장의 생산량을 측정할 수 있는 영상 분석 기반 작업 동작 인식 및 생산량 측정 장치와 그 방법을 제공한다.
본 발명이 해결하고자 하는 과제는 이상에서 언급한 과제(들)로 제한되지 않으며, 언급되지 않은 또 다른 과제(들)은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
본 발명의 일 실시예에 따른 영상 분석 기반 작업 동작 인식 및 생산량 측정 장치는 카메라를 통해 촬영된 작업 현장에 관한 영상 데이터를 획득하는 작업 영상 수집부; 및 상기 영상 데이터로부터 프레임별 특징 정보를 추출하고, 상기 추출된 프레임별 특징 정보를 분석하여 상기 작업 현장 내에 있는 작업자의 작업 동작을 인식하는 작업 동작 인식부를 포함한다.
상기 작업 동작 인식부는 관절 인식, 손 위치 인식, 시멘틱 세그멘테이션(semantic segmentation) 중 적어도 하나의 기법을 이용하여, 상기 영상 데이터로부터 관절 각도, 관절 위치, 몸통 위치, 손 위치, 시선 중 적어도 하나를 포함하는 특징 정보를 추출하는 특징 정보 추출 모듈을 포함할 수 있다.
상기 특징 정보 추출 모듈은 상기 작업자가 장비를 사용하여 작업할 경우, 상기 장비의 움직임 및 소리 중 적어도 하나를 인식하는 기법을 더 이용하여 상기 특징 정보를 추출할 수 있다.
상기 작업 동작 인식부는 상기 프레임별 특징 정보를 분석하여 하나의 공정을 구성하는 작업 동작들을 의미 단위별로 구분하고, 상기 의미 단위별로 구분된 작업 동작들을 기반으로 상기 프레임별 특징 정보로부터 상기 작업 동작을 세분화하여 인식하며, 상기 세분화된 작업 동작의 순서를 도출하는 동작 순서 분석 모듈을 포함할 수 있다.
상기 동작 순서 분석 모듈은 상기 세분화된 작업 동작을 결정하고 각각의 세분화된 작업 동작을 순서대로 쌓아서 작업 동작 순서를 생성하는 분류기(classifier)를 구비할 수 있다.
상기 분류기는 학습 데이터 라이브러리의 데이터를 통해 딥러닝 모델을 학습하여 도출되고, 상기 학습 데이터 라이브러리는 세부 동작 명칭, 세부 동작 작업 영상, 및 프레임별 특징 정보를 매칭하여 상기 세분화된 작업 동작에 관한 데이터로서 저장하는 라이브러리일 수 있다.
상기 분류기는 입력된 프레임별 특징 정보를 처리하여 출력 세부 동작 명칭을 생성하고, 상기 학습 데이터 라이브러리로부터 상기 입력된 프레임별 특징 정보에 매칭되는 세부 동작 명칭을 추출하여 상기 출력 세부 동작 명칭과 비교하며, 상기 비교의 결과에 따라 손실(Loss)이 발생한 경우 가중치 업데이트(weight update)를 수행할 수 있다.
상기 분류기는 상기 프레임별 특징 정보와 상기 세분화된 작업 동작 사이의 관계를 룰 기반으로 규명하여 도출될 수 있다.
본 발명의 일 실시예에 따른 영상 분석 기반 작업 동작 인식 및 생산량 측정 장치는 상기 세분화된 작업 동작의 순서에 기초하여 영상 구간별로 라벨링을 수행하고, 상기 라벨링을 통해 상기 세분화된 작업 동작을 상기 영상 구간별로 구분하여 모니터링 단말기의 화면에 출력하는 작업 관리부를 더 포함할 수 있다.
본 발명의 일 실시예에 따른 영상 분석 기반 작업 동작 인식 및 생산량 측정 장치는 상기 작업 동작의 인식 결과에 기초하여 상기 작업 현장의 생산량을 측정하는 생산량 계측부를 더 포함할 수 있다.
본 발명의 일 실시예에 따른 영상 분석 기반 작업 동작 인식 및 생산량 측정 장치는 상기 생산량의 측정 결과를 포함한 작업 관리 데이터를 모니터링 단말기의 화면에 출력하는 작업 관리부를 더 포함하고, 상기 작업 관리부는 상기 영상 데이터의 분석 결과에 따라 단일 작업자의 작업 동작을 인식한 경우, 작업 완료때마다 상기 생산량의 측정 결과에 관한 신호를 출력하되, 현재 시간, 계측기 고유 아이디(ID)값 및 작업 소요 시간을 상기 작업 관리 데이터에 포함시켜 상기 모니터링 단말기에 전송할 수 있다.
상기 작업 관리부는 상기 영상 데이터의 분석 결과에 따라 여러 작업자의 개별 작업 동작을 인식한 경우, 작업자별로 작업 완료때마다 상기 생산량의 측정 결과에 관한 신호를 출력하되, 현재 시간, 계측기 고유 ID값, 작업자 고유 ID값 및 작업 소요 시간을 상기 작업 관리 데이터에 포함시켜 상기 모니터링 단말기에 전송할 수 있다.
상기 작업 관리부는 상기 영상 데이터의 분석 결과에 따라 여러 작업자의 통합 작업 동작을 인식한 경우, 완성물 출력때마다 상기 생산량의 측정 결과에 관한 신호를 출력하되, 현재 시간, 계측기 고유 ID값 및 작업자 고유 ID값을 상기 작업 관리 데이터에 포함시켜 상기 모니터링 단말기에 전송할 수 있다.
본 발명의 일 실시예에 따른 영상 분석 기반 작업 동작 인식 및 생산량 측정 방법은 상기 영상 분석 기반 작업 동작 인식 및 생산량 측정 장치의 작업 영상 수집부가 카메라를 통해 촬영된 작업 현장에 관한 영상 데이터를 획득하는 단계; 상기 영상 분석 기반 작업 동작 인식 및 생산량 측정 장치의 작업 동작 인식부가 상기 영상 데이터로부터 프레임별 특징 정보를 추출하는 단계; 및 상기 작업 동작 인식부가 상기 추출된 프레임별 특징 정보를 분석하여 상기 작업 현장 내에 있는 작업자의 작업 동작을 인식하는 단계를 포함한다.
본 발명의 일 실시예에 따른 영상 분석 기반 작업 동작 인식 및 생산량 측정 방법은 상기 영상 분석 기반 작업 동작 인식 및 생산량 측정 장치의 생산량 계측부가 상기 작업 동작의 인식 결과에 기초하여 상기 작업 현장의 생산량을 측정하는 단계; 및 상기 영상 분석 기반 작업 동작 인식 및 생산량 측정 장치의 작업 관리부가 상기 생산량의 측정 결과를 포함한 작업 관리 데이터를 모니터링 단말기의 화면에 출력하는 단계를 더 포함할 수 있다.
본 발명의 일 실시예에 따르면, 카메라로 촬영한 작업 현장에 관한 영상 데이터의 분석을 기반으로 하여 작업 현장 내에 있는 작업자의 작업 동작을 인식함으로써 불필요한 동작을 파악하는 등의 작업 모니터링을 통해 작업 동작 최적화를 실현할 수 있다.
본 발명의 일 실시예에 따르면, 카메라로 촬영한 작업 현장에 관한 영상 데이터의 분석을 기반으로 하여 작업 현장 내에 있는 작업자의 작업 동작을 인식함으로써 작업 현장의 생산량을 측정할 수 있다.
본 발명의 일 실시예에 따르면, 영상 구간별로 어떤 작업을 수행하는지 인식/표시할 수 있으므로 교육 훈련용 컨텐츠 제작에도 활용할 수 있다.
도 1은 본 발명의 일 실시예에 따른 영상 분석 기반 생산량 측정 장치를 설명하기 위해 도시한 블록도이다.
도 2는 분산 처리 방식에 따른 시스템 구성을 설명하기 위해 도시한 도면이다.
도 3은 중앙 처리 방식에 따른 시스템 구성을 설명하기 위해 도시한 도면이다.
도 4는 카메라의 설치 위치를 보여주기 위해 도시한 예시도이다.
도 5는 도 1의 작업 동작 인식부의 상세 구성을 설명하기 위해 도시한 블록도이다.
도 6 및 도 7은 영상 프레임별 특징 정보를 추출하는 일례를 도시한 도면이다.
도 8 및 도 9는 분류기를 통해 작업 동작을 세분화하고 세분화된 작업 동작 순서를 생성하는 일례를 도시한 도면이다.
도 10은 단일 작업자를 분석한 결과의 출력 예시를 보여주기 위해 도시한 도면이다.
도 11은 여러 작업자를 개별 분석한 결과의 출력 예시를 보여주기 위해 도시한 도면이다.
도 12는 본 발명의 일 실시예에 따른 영상 분석 기반 작업 동작 인식 및 생산량 측정 방법을 설명하기 위해 도시한 블록도이다.
도 13은 본 발명의 일 실시예에 따라 영상 데이터를 분석하여 작업 현장 내에 있는 작업자의 작업 동작을 인식하는 방법을 설명하기 위해 도시한 흐름도이다.
본 발명의 이점 및/또는 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성요소를 지칭한다.
또한, 이하 실시되는 본 발명의 바람직한 실시예는 본 발명을 이루는 기술적 구성요소를 효율적으로 설명하기 위해 각각의 시스템 기능구성에 기 구비되어 있거나, 또는 본 발명이 속하는 기술분야에서 통상적으로 구비되는 시스템 기능 구성은 가능한 생략하고, 본 발명을 위해 추가적으로 구비되어야 하는 기능 구성을 위주로 설명한다. 만약 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자라면, 하기에 도시하지 않고 생략된 기능 구성 중에서 종래에 기 사용되고 있는 구성요소의 기능을 용이하게 이해할 수 있을 것이며, 또한 상기와 같이 생략된 구성 요소와 본 발명을 위해 추가된 구성 요소 사이의 관계도 명백하게 이해할 수 있을 것이다.
또한, 이하의 설명에 있어서, 신호 또는 정보의 "전송", "통신", "송신", "수신" 기타 이와 유사한 의미의 용어는 일 구성요소에서 다른 구성요소로 신호 또는 정보가 직접 전달되는 것뿐만이 아니라 다른 구성요소를 거쳐 전달되는 것도 포함한다. 특히 신호 또는 정보를 일 구성요소로 "전송" 또는 "송신"한다는 것은 그 신호 또는 정보의 최종 목적지를 지시하는 것이고 직접적인 목적지를 의미하는 것이 아니다. 이는 신호 또는 정보의 "수신"에 있어서도 동일하다.
이하에서는 첨부된 도면을 참조하여 본 발명의 실시예들을 상세히 설명하기로 한다.
도 1은 본 발명의 일 실시예에 따른 영상 분석 기반 생산량 측정 장치를 설명하기 위해 도시한 블록도이다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 영상 분석 기반 생산량 측정 장치(100)는 작업 영상 수집부(110), 작업 동작 인식부(120), 생산량 계측부(130), 작업 관리부(140), 및 제어부(150)를 포함할 수 있다.
본 발명의 일 실시예를 설명하기에 앞서, 상기 영상 분석 기반 작업 동작 인식 및 생산량 측정 장치(100)는 작업 영상을 촬영 및 분석하고 그 분석 결과(생산량)를 전송하는 과정을 처리하게 되는데, 이를 위해 도 2에 도시된 바와 같이 분산 처리 방식을 이용할 수 있으며, 또 달리 도 3에 도시된 바와 같이 중앙 처리 방식을 이용할 수 있다.
도 2와 같이 분산 처리 방식을 이용하는 경우, 상기 영상 분석 기반 생산량 측정 장치(100)는 계측기(220)에 포함되는 형태로 구현될 수 있으며, 영상 분석 결과를 게이트웨이(Gateway)를 통해 생산 관리 시스템(230)에 전송할 수 있다. 상기 생산 관리 시스템(230)은 후술하는 모니터링 단말기를 포함할 수 있다.
도 3과 같이 중앙 처리 방식을 이용하는 경우, 상기 영상 분석 기반 생산량 측정 장치(100)는 분석 서버(240)에 포함되는 형태로 구현될 수 있으며, 카메라(도 3의 220)를 통해 촬영된 영상을 게이트웨이를 통해 전달받아 분석하고 그 분석 결과를 상기 생산 관리 시스템(230)에 전송할 수 있다.
참고로, 관리 서버(210)는 상기 계측기(도 2의 220) 및 상기 카메라(도 3의 220)에 기본 정보를 설정해주는 역할을 수행할 수 있다. 상기 관리 서버(210)는 고유의 유저 인터페이스(User Interface) 등을 통해 각 계측기(도 2의 220) 및 카메라(도 3의 220)에 상기 기본 정보를 설정하며, 필요한 정보들은 공장 HRM, ERP, MES 등과 연동하여 제공받을 수도 있다. 상기 기본 정보는 촬영 대상 공정/생산 정보, 촬영 대상 작업자 정보, 설치 위치 등을 포함할 수 있다.
상기 작업 영상 수집부(110)는 카메라를 통해 촬영된 작업 현장에 관한 영상 데이터를 획득할 수 있다. 여기서, 상기 카메라는 도 4의 (a)와 같이 작업자의 정면에 설치되어 작업 장면을 상시로 촬영할 수 있으며, 또 달리 도 4의 (b)와 같이 작업자들의 위에 설치되어 작업자들 전체의 작업 장면을 상시로 촬영할 수 있다.
이와 같이 상기 카메라는 천장, 작업대 전면, 작업대 측면 등 다양한 위치에 설치되어 다양한 각도로 작업 영상을 촬영할 수 있다. 한편, 상기 카메라는 영상 분석의 정밀도를 향상시킬 수 있도록 심도 카메라(Depth Camera)를 포함하여 구성될 수 있다.
상기 작업 동작 인식부(120)는 상기 영상 데이터를 분석하여 상기 작업 현장 내에 있는 작업자의 작업 동작을 인식할 수 있다. 즉, 상기 작업 동작 인식부(120)는 상기 영상 데이터로부터 프레임별 특징 정보를 추출하고, 상기 추출된 프레임별 특징 정보를 분석하여 상기 작업 현장 내에 있는 작업자의 작업 동작을 인식할 수 있다.
이를 위해, 상기 작업 동작 인식부(120)는 도 5에 도시된 바와 같이 특징 정보 추출 모듈(510) 및 동작 순서 분석 모듈(520)을 포함하여 구성될 수 있다. 참고로, 도 5는 도 1의 작업 동작 인식부(120)의 상세 구성을 설명하기 위해 도시한 블록도이다.
상기 특징 정보 추출 모듈(510)은 관절 인식, 손 위치 인식, 시멘틱 세그멘테이션(semantic segmentation) 중 적어도 하나의 기법을 이용하여, 상기 영상 데이터로부터 관절 각도, 관절 위치, 몸통 위치, 손 위치, 시선 중 적어도 하나를 포함하는 특징 정보를 추출할 수 있다. 이때, 상기 특징 정보 추출 모듈(510)은 상기 작업자가 장비를 사용하여 작업을 할 경우, 상기 장비의 움직임 및 소리 중 적어도 하나를 인식하는 기법을 더 이용하여 상기 특징 정보를 추출할 수도 있다.
즉, 상기 특징 정보 추출 모듈(510)은 한 개의 작업 영상 프레임으로부터 의미 있는 특징 정보를 추출하는 과정을 연속적으로 반복함으로써 각 영상 프레임별 의미 있는 특징 정보를 추출할 수 있다. 이는 고차원의 이미지 데이터를 의미가 있는 저차원의 데이터로 축소하는 과정이라 말할 수 있다.
예를 들면, 도 6의 예시와 같은 작업 영상 프레임의 경우, 상기 특징 정보 추출 모듈(510)은 상기 작업 영상 프레임으로부터 관절 인식, 손 위치 인식 등을 통해 특징 정보를 추출할 수 있다.
이때, 도 7에 도시된 바와 같이 시간에 따른 작업 영상 프레임에 대하여 각각의 프레임마다 상기 특징 정보 추출 모듈(510)을 적용하여, 영상 프레임별로 관절 각도, 관절 위치, 몸통 위치, 손 위치, 시선 등의 특징 정보를 추출할 수 있다. 이에 따라 상기 특징 정보 추출 모듈(510)은 각 프레임마다 서로 다른 특징 정보를 추출하게 된다.
상기 동작 순서 분석 모듈(520)은 상기 특징 정보 추출 모듈(510)에 의해 추출된 프레임별 특징 정보를 분석하고 그 분석 결과를 토대로 하여 하나의 공정을 구성하는 작업 동작들을 의미 단위별로 구분할 수 있다.
상기 동작 순서 분석 모듈(520)은 상기 의미 단위별로 구분된 작업 동작들을 기반으로 상기 프레임별 특징 정보로부터 상기 작업 동작을 세분화하여 인식할 수 있다. 그리고, 상기 동작 순서 분석 모듈(520)은 상기 세분화된 작업 동작의 순서를 도출할 수 있다.
이를 위해, 상기 동작 순서 분석 모듈(520)은 상기 세분화된 작업 동작을 결정하고 각각의 세분화된 작업 동작을 순서대로 쌓아서 작업 동작 순서를 생성하는 분류기(classifier)를 구비할 수 있다.
즉, 상기 동작 순서 분석 모듈(520)은 상기 분류기를 통해 상기 세분화된 작업 동작을 결정하고, 도출된 작업 동작을 순서대로 쌓아서 작업 동작 순서를 생성할 수 있다.
예를 들어, 도 8에 도시된 바와 같이 상기 동작 순서 분석 모듈(520)은 영상 프레임별 특징 정보를 상기 특징 정보 추출 모듈(510)로부터 입력받아, 상기 분류기(Classifier)를 통해 작업 동작을 '가져오기 동작', '고리 조립 동작', '패턴 미싱 동작', '다음 전달 동작' 등으로 세분화하여 인식할 수 있다.
또한, 상기 동작 순서 분석 모듈(520)은 상기 세분화된 작업 동작을 촬영 시간 순서에 따라 순서대로 쌓아서 '가져오기', '고리 조립', '패턴 미싱', 다음 전달' 순으로 작업 동작 순서를 생성할 수 있다.
여기서, 상기 분류기는 학습 기반 또는 룰 기반으로 구축될 수 있다. 상기 학습 기반으로 구축되는 경우, 도 9에 도시된 바와 같이 상기 분류기는 학습 데이터 라이브러리의 데이터를 통해 딥러닝 모델을 학습하여 도출될 수 있다. 이때, 상기 분류기는 CNN(Convolutional Neural Network), RNN(Recurrent Neural Network), LSTM(Long Short-Term Memory) 등의 모델 구조를 활용할 수 있다.
여기서, 상기 학습 데이터 라이브러리는 세부 동작 명칭, 세부 동작 작업 영상, 및 프레임별 특징 정보를 매칭하여 상기 세분화된 작업 동작에 관한 데이터로서 저장하는 라이브러리이다.
도 9를 계속 참조하여 설명하면, 상기 학습 기반으로 구축된 분류기의 경우, 입력된 프레임별 특징 정보를 처리하여 출력 세부 동작 명칭을 생성하고, 상기 학습 데이터 라이브러리로부터 상기 입력된 프레임별 특징 정보에 매칭되는 세부 동작 명칭을 추출하여 상기 출력 세부 동작 명칭과 비교하며, 상기 비교의 결과에 따라 손실(Loss)이 발생한 경우 가중치 업데이트(weight update)를 수행할 수 있다.
이로써, 본 발명의 일 실시예에 따르면 상기 학습 데이터 라이브러리의 데이터를 통해 딥러닝 모델을 지속적으로 학습하여 업데이트함으로써 상기 세분화된 작업 동작 및 그 순서를 더욱 정확하게 분류 및 인식할 수 있으며, 이를 통해 작업 공정 중 불필요한 동작을 파악하는 등의 작업 모니터링을 통해 작업 동작의 최적화를 실현할 수 있을 뿐만 아니라, 영상 구간별로 어떠한 작업을 수행하는지를 인식/표시할 수 있으므로 교육 훈련용 컨텐츠 제작에도 활용할 수 있다.
상기 룰 기반으로 구축되는 경우, 상기 분류기는 상기 프레임별 특징 정보와 상기 세분화된 작업 동작 사이의 관계를 룰 기반으로 규명하여 도출될 수 있다.
한편, 상기 작업 동작 인식부(120)는 동작, 작업물, 영역 중 적어도 하나를 기반으로 하는 영상 처리 알고리즘을 개별적으로 적용하거나 2개 이상을 조합 적용하여 상기 영상 데이터를 분석할 수 있다.
여기서, 상기 동작을 기반으로 하는 영상 처리 알고리즘은 작업자 관절 또는 작업자 자체의 움직임을 인식 및 추적하거나, 작업자의 신체 특정 부위(머리, 손 등) 또는 작업자가 착용한 장식물(유니폼, 손목밴드 등)의 움직임을 인식 및 추적할 수 있다.
일 실시예로서, 상기 동작 기반의 영상 처리 알고리즘을 적용하는 경우, 상기 작업 동작 인식부(120)는 상기 영상 데이터로부터 작업자의 관절 움직임이나 작업자 자체의 움직임을 인식하고 상기 인식된 움직임을 추적하여 해당 작업자의 작업 동작이 어떤 동작인지를 인식할 수 있다.
상기 작업물을 기반으로 하는 영상 처리 알고리즘은 작업자가 착용한 작업물을 인식 및 추적하고, 상기 작업물의 이동 흐름 특성을 파악할 수 있다.
다른 실시예로서, 상기 작업물 기반의 영상 처리 알고리즘을 적용하는 경우, 상기 작업 동작 인식부(120)는 상기 영상 데이터로부터 작업자가 착용한 작업물이 어떤 작업물인지를 인식하고 상기 인식된 해당 작업물을 추적하여 그것의 이동 흐름 특성을 파악함으로써 해당 작업자의 작업 동작이 어떤 동작인지를 인식할 수 있다.
상기 영역을 기반으로 하는 영상 처리 알고리즘은 특정 영역에서 특정 객체의 변동을 감지하여 변동값을 출력할 수 있다.
또 다른 실시예로서, 상기 영역 기반의 영상 처리 알고리즘을 적용하는 경우, 상기 작업 동작 인식부(120)는 상기 영상 데이터로부터 특정 영역을 추출하고, 상기 추출된 특정 영역에서 특정 객체, 예를 들면 작업자나 작업물 등을 인식 및 추적하여 그것의 변동을 감지함으로써 상기 특정 객체의 변동값을 출력할 수 있으며, 이를 통하여 해당 작업자의 작업 동작이 어떤 동작인지를 인식할 수 있다.
상기 작업 동작 인식부(120)는 상기 작업 동작의 결과(세분화/순서)를 후술하는 작업 관리부(130)를 통해 모니터링 단말기(미도시)에 전송할 수 있다.
상기 생산량 계측부(130)는 상기 작업 동작의 인식 결과에 기초하여 상기 작업 현장의 생산량을 측정할 수 있다. 예컨대, 상기 영상 데이터의 분석 결과에 따라 작업자의 작업 동작이 A 동작 10초, B 동작 5초, C 동작 8초로 인식된 경우, 상기 생산량 계측부(130)는 작업물(부품)별 개별 공정의 작업 소요 시간(10초, 5초, 8초), 또는 완성물 전체 공정의 작업 소요 시간(10 + 5 + 8 = 23초) 등을 기초로 하여 상기 작업 현장의 생산량을 측정할 수 있다.
따라서 본 발명의 일 실시예에 의하면, 상기 생산량을 측정(카운팅)함으로써 공정별 생산량을 카운팅할 수 있을 뿐만 아니라 공정별 가동률을 집계할 수 있으며 아울러 공정별 평균 Cycle Time(1개 생산에 소요되는 시간)을 집계할 수 있다.
한편, 상기 생산량 계측부(130)는 상기 작업 동작의 인식 결과를 이용하여 우수한 작업자의 작업 동작별 작업 소요 시간을 모범 사례의 샘플로서 선정하고, 상기 선정된 샘플을 다른 작업자와 비교할 수 있다. 즉, 상기 생산량 계측부(130)는 상기 선정된 샘플을 기준으로 다른 작업자의 작업 동작 인식 결과와 비교를 할 수 있다.
상기 생산량 계측부(130)는 상기 비교를 통하여 다른 작업자의 작업 결과를 평가(기준 이상이면 우수, 기준 미만이면 보통 이하)할 수 있다. 상기 생산량 계측부(130)는 상기 평가의 결과를 후술하는 작업 관리부(140)를 통해 모니터링 단말기에 전송할 수 있다.
상기 작업 관리부(140)는 상기 생산량의 측정 결과 및 상기 작업 동작의 결과를 포함한 작업 관리 데이터를 모니터링 단말기(미도시)의 화면에 출력할 수 있다. 이때, 상기 작업 관리부(140)는 상기 세분화된 작업 동작의 순서에 기초하여 영상 구간별로 라벨링을 수행하고, 상기 라벨링을 통해 상기 세분화된 작업 동작을 상기 영상 구간별로 구분하여 상기 모니터링 단말기의 화면에 출력할 수 있다.
예컨대, 상기 작업 관리부(140)는 도 10에 도시된 바와 같이 상기 영상 데이터의 분석 결과에 따라 단일 작업자의 작업 동작을 인식한 경우, 상기 단일 작업자의 세분화된 작업 동작을 작업 순서에 따라 배치하여 분석 결과로서 출력할 수 있다. 또한, 상기 작업 관리부(140)는 도 10에 도시된 바와 같이 상기 영상 데이터의 분석 결과에 따라 단일 작업자의 작업 동작을 인식한 경우, 작업 완료때마다 상기 생산량의 측정 결과에 관한 신호를 출력할 수 있다.
이때, 상기 작업 관리부(140)는 작업 완료때마다 현재 시간, 계측기 고유 아이디(ID)값 및 작업 소요 시간을 상기 작업 관리 데이터에 포함시켜 상기 모니터링 단말기에 전송할 수 있다. 이에 따라, 상기 모니터링 단말기는 상기 작업 관리 데이터를 수신하여 화면에 출력할 수 있다.
반면, 도 11에 도시된 바와 같이, 상기 영상 데이터의 분석 결과에 따라 여러 작업자의 작업 동작을 인식한 경우, 상기 작업 관리부(140)는 각 작업자별로 세분화된 작업 동작을 작업 순서에 따라 배치하여 분석 결과로서 출력할 수 있다. 또한, 상기 작업 관리부(140)는 도 11에 도시된 바와 같이 상기 영상 데이터의 분석 결과에 따라 여러 작업자의 개별 작업 동작을 인식한 경우, 작업자별로 작업 완료때마다 상기 생산량의 측정 결과에 관한 신호를 출력할 수 있다.
즉, 상기 작업 관리부(140)는 작업자 1의 경우 '가져오기', '고리 조립', '패턴 미싱', '다음 전달'의 순서로 이루어지는 작업 동작을 상기 작업자 1의 세분화된 작업 동작의 분석 결과로서 출력하고, 작업자 2의 경우 '가져오기', '고리 조립', '패턴 미싱', '다음 전달'의 순서로 이루어지는 작업 동작을 상기 작업자 2의 세분화된 작업 동작의 분석 결과로서 출력하며, 작업자 3의 경우 '가져오기', '풀칠', '고리 조립', '패턴 미싱', '다음 전달'의 순서로 이루어지는 작업 동작을 상기 작업자 3의 세분화된 작업 동작의 분석 결과로서 출력할 수 있다.
이때, 상기 작업 관리부(140)는 작업자별로 작업 완료때마다 현재 시간, 계측기 고유 ID값, 작업자 고유 ID값 및 작업 소요 시간을 상기 작업 관리 데이터에 포함시켜 상기 모니터링 단말기에 전송할 수 있다. 이에 따라, 상기 모니터링 단말기는 상기 작업 관리 데이터를 수신하여 화면에 출력할 수 있다.
한편, 상기 작업 관리부(140)는 앞서 설명한 바와 같이 상기 생산량 계측부(130)의 평가 결과를 상기 모니터링 단말기에 전송할 수 있다.
이로써, 상기 모니터링 단말기는 상기 작업 관리 데이터를 모니터링할 수 있으며, 이를 통해 목표 Cycle Time 대비 실제 Cycle Time 편차가 발생하는 공정이 있을 경우 알람을 발생할 수 있다. 또한, 상기 모니터링 단말기는 병목 구간이 감지될 경우 알람을 발생할 수 있다(앞 공정에서는 가동률이 높고, 뒤 공정에서는 가동률이 낮을 경우 병목 구간으로 볼 수 있음).
더욱이, 상기 모니터링 단말기는 상기 작업 관리 데이터 및 상기 생산량 계측부(130)의 평가 결과를 통계 분석할 수 있으며, 이를 통해 우수한 작업자로 성장할 수 있도록 교육 훈련의 기회를 제공하거나 공정별 실제 Cycle Time 기반으로 공정 라인을 재배치(Line Balancing)할 수 있다. 또한, 상기 모니터링 단말기는 통계 분석을 통해 작업자별 생산성을 분석할 수 있으며, 나아가 기간별 생산성을 분석(생산 시작 후 수율 안정화까지 얼마나 걸렸는가?)할 수 있다.
상기 제어부(150)는 본 발명의 일 실시예에 따른 영상 분석 기반 작업 동작 인식 및 생산량 측정 장치(100), 즉 상기 작업 영상 수집부(110), 상기 작업 동작 인식부(120), 상기 생산량 계측부(130), 상기 작업 관리부(140) 등의 동작을 전반적으로 제어할 수 있다.
이상에서 설명된 장치는 하드웨어 구성 요소, 소프트웨어 구성 요소, 및/또는 하드웨어 구성 요소 및 소프트웨어 구성 요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성 요소는, 예를 들어, 프로세서, 컨트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPA(field programmable array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 컨트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
도 12는 본 발명의 일 실시예에 따른 영상 분석 기반 작업 동작 인식 및 생산량 측정 방법을 설명하기 위해 도시한 흐름도이다.
여기서 설명하는 영상 분석 기반 작업 동작 인식 및 생산량 측정 방법은 본 발명의 하나의 실시예에 불과하며, 그 이외에 필요에 따라 다양한 단계들이 아래와 같이 부가될 수 있고, 하기의 단계들도 순서를 변경하여 실시될 수 있으므로, 본 발명이 하기에 설명하는 각 단계 및 그 순서에 한정되는 것은 아니다.
도 1 및 도 12를 참조하면, 단계(1210)에서 상기 영상 분석 기반 작업 동작 인식 및 생산량 측정 장치(100)의 작업 영상 수집부(110)는 카메라를 통해 촬영된 작업 현장에 관한 영상 데이터를 획득할 수 있다.
다음으로, 단계(1220)에서 상기 영상 분석 기반 작업 동작 인식 및 생산량 측정 장치(100)의 작업 동작 인식부(120)는 상기 영상 데이터를 분석하여 상기 작업 현장 내에 있는 작업자의 작업 동작을 인식할 수 있다. 이에 대해서는 도 13을 참조하여 구체적으로 설명하기로 한다.
다음으로, 단계(1230)에서 상기 영상 분석 기반 작업 동작 인식 및 생산량 측정 장치(100)의 생산량 계측부(130)는 상기 작업 동작의 인식 결과에 기초하여 상기 작업 현장의 생산량을 측정할 수 있다.
다음으로, 단계(1240)에서 상기 영상 분석 기반 작업 동작 인식 및 생산량 측정 장치(100)의 작업 관리부(140)는 상기 생산량의 측정 결과를 포함한 작업 관리 데이터를 모니터링 단말기의 화면에 출력할 수 있다.
도 13은 본 발명의 일 실시예에 따라 영상 데이터를 분석하여 작업 현장 내에 있는 작업자의 작업 동작을 인식하는 방법을 설명하기 위해 도시한 흐름도이다.
도 1 및 도 13을 참조하면, 단계(1310)에서 상기 영상 분석 기반 작업 동작 인식 및 생산량 측정 장치(100)의 작업 동작 인식부(120)는 상기 영상 데이터로부터 프레임별 특징 정보를 추출할 수 있다.
다음으로, 단계(1320)에서 상기 영상 분석 기반 작업 동작 인식 및 생산량 측정 장치(100)의 작업 동작 인식부(120)는 상기 추출된 프레임별 특징 정보를 분석하여 하나의 공정을 구성하는 작업 동작들을 의미 단위별로 구분할 수 있다.
다음으로, 단계(1330)에서 상기 영상 분석 기반 작업 동작 인식 및 생산량 측정 장치(100)의 작업 동작 인식부(120)는 상기 의미 단위별로 구분된 작업 동작들을 기반으로 상기 작업 현장 내에 있는 작업자의 작업 동작을 세분화하여 인식할 수 있다.
다음으로, 단계(1340)에서 상기 영상 분석 기반 작업 동작 인식 및 생산량 측정 장치(100)의 작업 동작 인식부(120)는 상기 세분화된 작업 동작의 순서를 도출할 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CDROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 청구범위와 균등한 것들도 후술하는 청구범위의 범위에 속한다.

Claims (15)

  1. 카메라를 통해 촬영된 작업 현장에 관한 영상 데이터를 획득하는 작업 영상 수집부; 및
    상기 영상 데이터로부터 프레임별 특징 정보를 추출하고, 상기 추출된 프레임별 특징 정보를 분석하여 상기 작업 현장 내에 있는 작업자의 작업 동작을 인식하는 작업 동작 인식부
    를 포함하는 것을 특징으로 하는 영상 분석 기반 작업 동작 인식 및 생산량 측정 장치.
  2. 제1항에 있어서,
    상기 작업 동작 인식부는
    관절 인식, 손 위치 인식, 시멘틱 세그멘테이션(semantic segmentation) 중 적어도 하나의 기법을 이용하여, 상기 영상 데이터로부터 관절 각도, 관절 위치, 몸통 위치, 손 위치, 시선 중 적어도 하나를 포함하는 특징 정보를 추출하는 특징 정보 추출 모듈
    을 포함하는 것을 특징으로 하는 영상 분석 기반 작업 동작 인식 및 생산량 측정 장치.
  3. 제1항에 있어서,
    상기 특징 정보 추출 모듈은
    상기 작업자가 장비를 사용하여 작업할 경우, 상기 장비의 움직임 및 소리 중 적어도 하나를 인식하는 기법을 더 이용하여 상기 특징 정보를 추출하는 것을 특징으로 하는 영상 분석 기반 작업 동작 인식 및 생산량 측정 장치.
  4. 제1항에 있어서,
    상기 작업 동작 인식부는
    상기 프레임별 특징 정보를 분석하여 하나의 공정을 구성하는 작업 동작들을 의미 단위별로 구분하고, 상기 의미 단위별로 구분된 작업 동작들을 기반으로 상기 프레임별 특징 정보로부터 상기 작업 동작을 세분화하여 인식하며, 상기 세분화된 작업 동작의 순서를 도출하는 동작 순서 분석 모듈
    을 포함하는 것을 특징으로 하는 영상 분석 기반 작업 동작 인식 및 생산량 측정 장치.
  5. 제4항에 있어서,
    상기 동작 순서 분석 모듈은
    상기 세분화된 작업 동작을 결정하고 각각의 세분화된 작업 동작을 순서대로 쌓아서 작업 동작 순서를 생성하는 분류기(classifier)를 구비하는 것을 특징으로 하는 영상 분석 기반 작업 동작 인식 및 생산량 측정 장치.
  6. 제5항에 있어서,
    상기 분류기는
    학습 데이터 라이브러리의 데이터를 통해 딥러닝 모델을 학습하여 도출되고,
    상기 학습 데이터 라이브러리는
    세부 동작 명칭, 세부 동작 작업 영상, 및 프레임별 특징 정보를 매칭하여 상기 세분화된 작업 동작에 관한 데이터로서 저장하는 라이브러리인 것을 특징으로 하는 영상 분석 기반 작업 동작 인식 및 생산량 측정 장치.
  7. 제6항에 있어서,
    상기 분류기는
    입력된 프레임별 특징 정보를 처리하여 출력 세부 동작 명칭을 생성하고, 상기 학습 데이터 라이브러리로부터 상기 입력된 프레임별 특징 정보에 매칭되는 세부 동작 명칭을 추출하여 상기 출력 세부 동작 명칭과 비교하며, 상기 비교의 결과에 따라 손실(Loss)이 발생한 경우 가중치 업데이트(weight update)를 수행하는 것을 특징으로 하는 영상 분석 기반 작업 동작 인식 및 생산량 측정 장치.
  8. 제5항에 있어서,
    상기 분류기는
    상기 프레임별 특징 정보와 상기 세분화된 작업 동작 사이의 관계를 룰 기반으로 규명하여 도출되는 것을 특징으로 하는 영상 분석 기반 작업 동작 인식 및 생산량 측정 장치.
  9. 제4항에 있어서,
    상기 세분화된 작업 동작의 순서에 기초하여 영상 구간별로 라벨링을 수행하고, 상기 라벨링을 통해 상기 세분화된 작업 동작을 상기 영상 구간별로 구분하여 모니터링 단말기의 화면에 출력하는 작업 관리부
    를 더 포함하는 것을 특징으로 하는 영상 분석 기반 작업 동작 인식 및 생산량 측정 장치.
  10. 제1항에 있어서,
    상기 작업 동작의 인식 결과에 기초하여 상기 작업 현장의 생산량을 측정하는 생산량 계측부
    를 더 포함하는 것을 특징으로 하는 영상 분석 기반 작업 동작 인식 및 생산량 측정 장치.
  11. 제10항에 있어서,
    상기 생산량의 측정 결과를 포함한 작업 관리 데이터를 모니터링 단말기의 화면에 출력하는 작업 관리부
    를 더 포함하고,
    상기 작업 관리부는
    상기 영상 데이터의 분석 결과에 따라 단일 작업자의 작업 동작을 인식한 경우, 작업 완료때마다 상기 생산량의 측정 결과에 관한 신호를 출력하되, 현재 시간, 계측기 고유 아이디(ID)값 및 작업 소요 시간을 상기 작업 관리 데이터에 포함시켜 상기 모니터링 단말기에 전송하는 것을 특징으로 하는 영상 분석 기반 작업 동작 인식 및 생산량 측정 장치.
  12. 제11항에 있어서,
    상기 작업 관리부는
    상기 영상 데이터의 분석 결과에 따라 여러 작업자의 개별 작업 동작을 인식한 경우, 작업자별로 작업 완료때마다 상기 생산량의 측정 결과에 관한 신호를 출력하되, 현재 시간, 계측기 고유 ID값, 작업자 고유 ID값 및 작업 소요 시간을 상기 작업 관리 데이터에 포함시켜 상기 모니터링 단말기에 전송하는 것을 특징으로 하는 영상 분석 기반 작업 동작 인식 및 생산량 측정 장치.
  13. 제11항에 있어서,
    상기 작업 관리부는
    상기 영상 데이터의 분석 결과에 따라 여러 작업자의 통합 작업 동작을 인식한 경우, 완성물 출력때마다 상기 생산량의 측정 결과에 관한 신호를 출력하되, 현재 시간, 계측기 고유 ID값 및 작업자 고유 ID값을 상기 작업 관리 데이터에 포함시켜 상기 모니터링 단말기에 전송하는 것을 특징으로 하는 영상 분석 기반 작업 동작 인식 및 생산량 측정 장치.
  14. 영상 분석 기반 작업 동작 인식 및 생산량 측정 장치를 이용한 영상 분석 기반 작업 동작 인식 및 생산량 측정 방법에 있어서,
    상기 영상 분석 기반 작업 동작 인식 및 생산량 측정 장치의 작업 영상 수집부가 카메라를 통해 촬영된 작업 현장에 관한 영상 데이터를 획득하는 단계;
    상기 영상 분석 기반 작업 동작 인식 및 생산량 측정 장치의 작업 동작 인식부가 상기 영상 데이터로부터 프레임별 특징 정보를 추출하는 단계; 및
    상기 작업 동작 인식부가 상기 추출된 프레임별 특징 정보를 분석하여 상기 작업 현장 내에 있는 작업자의 작업 동작을 인식하는 단계
    를 포함하는 것을 특징으로 하는 영상 분석 기반 작업 동작 인식 및 생산량 측정 방법.
  15. 제14항에 있어서,
    상기 영상 분석 기반 작업 동작 인식 및 생산량 측정 장치의 생산량 계측부가 상기 작업 동작의 인식 결과에 기초하여 상기 작업 현장의 생산량을 측정하는 단계; 및
    상기 영상 분석 기반 작업 동작 인식 및 생산량 측정 장치의 작업 관리부가 상기 생산량의 측정 결과를 포함한 작업 관리 데이터를 모니터링 단말기의 화면에 출력하는 단계
    를 더 포함하는 것을 특징으로 하는 영상 분석 기반 작업 동작 인식 및 생산량 측정 방법.
PCT/KR2021/007874 2020-06-24 2021-06-23 영상 분석 기반 작업 동작 인식 및 생산량 측정 장치와 그 방법 WO2021261905A1 (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR10-2020-0077149 2020-06-24
KR1020200077149A KR20210158610A (ko) 2020-06-24 2020-06-24 영상 분석 기반 생산량 측정 장치 및 방법
KR10-2020-0112052 2020-09-03
KR1020200112052A KR102466433B1 (ko) 2020-09-03 2020-09-03 영상 분석 기반 작업 동작 인식 장치 및 방법

Publications (1)

Publication Number Publication Date
WO2021261905A1 true WO2021261905A1 (ko) 2021-12-30

Family

ID=79281475

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2021/007874 WO2021261905A1 (ko) 2020-06-24 2021-06-23 영상 분석 기반 작업 동작 인식 및 생산량 측정 장치와 그 방법

Country Status (1)

Country Link
WO (1) WO2021261905A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115620482A (zh) * 2022-12-20 2023-01-17 北京国电光宇机电设备有限公司 一种工业人机安全识别装置及方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140072683A (ko) * 2012-12-05 2014-06-13 한국기계연구원 표준 작업 관리 시스템 및 표준 작업 관리 방법
JP2015228123A (ja) * 2014-05-30 2015-12-17 富士電機株式会社 作業分析システム、作業分析方法、及び作業分析プログラム
JP2016157357A (ja) * 2015-02-26 2016-09-01 株式会社日立製作所 作業者品質管理方法及び作業者品質管理装置
KR20180064955A (ko) * 2016-12-06 2018-06-15 주식회사 에스.제이테크 제조공정 설계 및 검증 향상 시스템
KR20180119608A (ko) * 2016-02-22 2018-11-02 브로드리프 가부시키가이샤 작업 분석 지원 장치, 작업 분석 지원 방법, 컴퓨터 프로그램 및 정보 기억 매체

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140072683A (ko) * 2012-12-05 2014-06-13 한국기계연구원 표준 작업 관리 시스템 및 표준 작업 관리 방법
JP2015228123A (ja) * 2014-05-30 2015-12-17 富士電機株式会社 作業分析システム、作業分析方法、及び作業分析プログラム
JP2016157357A (ja) * 2015-02-26 2016-09-01 株式会社日立製作所 作業者品質管理方法及び作業者品質管理装置
KR20180119608A (ko) * 2016-02-22 2018-11-02 브로드리프 가부시키가이샤 작업 분석 지원 장치, 작업 분석 지원 방법, 컴퓨터 프로그램 및 정보 기억 매체
KR20180064955A (ko) * 2016-12-06 2018-06-15 주식회사 에스.제이테크 제조공정 설계 및 검증 향상 시스템

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115620482A (zh) * 2022-12-20 2023-01-17 北京国电光宇机电设备有限公司 一种工业人机安全识别装置及方法

Similar Documents

Publication Publication Date Title
WO2017164478A1 (ko) 미세 얼굴 다이나믹의 딥 러닝 분석을 통한 미세 표정 인식 방법 및 장치
CN108055501A (zh) 一种目标检测及跟踪的视频监控系统及方法
WO2016171341A1 (ko) 클라우드 기반 병리 분석 시스템 및 방법
WO2019054638A1 (ko) 영상 분석 방법, 장치 및 컴퓨터 프로그램
WO2012026147A1 (ja) 人物検知システム
CN108596148B (zh) 一种基于计算机视觉的建筑工人劳动状态分析系统及方法
WO2021020866A1 (ko) 원격 모니터링을 위한 영상 분석 시스템 및 방법
WO2021049868A1 (ko) 제품 품질 관리 시스템 및 방법
WO2021167374A1 (ko) 영상 검색 장치 및 이를 포함하는 네트워크 감시 카메라 시스템
WO2021261905A1 (ko) 영상 분석 기반 작업 동작 인식 및 생산량 측정 장치와 그 방법
US10037504B2 (en) Methods for determining manufacturing waste to optimize productivity and devices thereof
WO2021075772A1 (ko) 복수 영역 검출을 이용한 객체 탐지 방법 및 그 장치
WO2021100919A1 (ko) 행동 시퀀스 기반으로 이상행동 여부를 판단하는 방법, 프로그램 및 시스템
WO2022114653A1 (ko) 데이터 경계 도출 시스템 및 방법
US20210166180A1 (en) Information processing apparatus, information processing method, and work evaluation system
CN113807240A (zh) 基于非配合式人脸识别的变电站人员着装智能监控方法
US20180165622A1 (en) Action analysis device, acton analysis method, and analysis program
CN108921072A (zh) 一种基于视觉传感器的人流量统计方法、装置及系统
WO2019240330A1 (ko) 영상 기반 힘 예측 시스템 및 그 방법
WO2015056893A1 (en) Image processing apparatus and control method thereof
WO2021045481A1 (ko) 물체 인식 시스템 및 방법
WO2015108401A1 (ko) 복수개의 카메라를 이용한 휴대 장치 및 제어방법
KR102466433B1 (ko) 영상 분석 기반 작업 동작 인식 장치 및 방법
WO2023080667A1 (ko) Ai 기반 객체인식을 통한 감시카메라 wdr 영상 처리
KR20120116699A (ko) 클러스터링 기법을 이용한 이동물체 검출장치 및 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21828944

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21828944

Country of ref document: EP

Kind code of ref document: A1

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM1205A DATED 14/06/2023)

122 Ep: pct application non-entry in european phase

Ref document number: 21828944

Country of ref document: EP

Kind code of ref document: A1