WO2023008330A1 - 作業状況分析システム及び作業状況分析方法 - Google Patents

作業状況分析システム及び作業状況分析方法 Download PDF

Info

Publication number
WO2023008330A1
WO2023008330A1 PCT/JP2022/028481 JP2022028481W WO2023008330A1 WO 2023008330 A1 WO2023008330 A1 WO 2023008330A1 JP 2022028481 W JP2022028481 W JP 2022028481W WO 2023008330 A1 WO2023008330 A1 WO 2023008330A1
Authority
WO
WIPO (PCT)
Prior art keywords
work
estimation
data
processing device
worker
Prior art date
Application number
PCT/JP2022/028481
Other languages
English (en)
French (fr)
Inventor
修 谷
陽帆 石川
拳人 保川
文博 本多
Original Assignee
川崎重工業株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 川崎重工業株式会社 filed Critical 川崎重工業株式会社
Publication of WO2023008330A1 publication Critical patent/WO2023008330A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/04—Manufacturing
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Definitions

  • Patent Document 1 discloses an on-site work implementation status management device that creates accurate work record information for a workplace.
  • the on-site work implementation status management device includes a work data acquisition section, a work location information acquisition section, a work time information acquisition section, and an imaging section.
  • the work data acquisition unit is provided in a worker's wearing tool or the like, and acquires data related to work.
  • the work location information acquisition unit acquires the work location by communicating with an external server.
  • the work time acquisition unit acquires the work execution time by communicating with an external server.
  • the imaging unit acquires video information related to work. Based on the image information acquired by the imaging unit, the on-site work implementation status management device adds information acquired by the work data acquisition unit, the work location information acquisition unit, and the work time information acquisition unit to obtain a format.
  • Work record information is created by associating an aggregate of a plurality of different information with one work.
  • the device side cannot determine whether or not the worker's work is appropriate, so the administrator needs to make a determination based on the video or the like.
  • the amount of data of video information related to work is large, it tends to be difficult to handle.
  • the present application has been made in view of the above circumstances, and its main purpose is to provide a work situation analysis system that can automatically determine whether or not a worker's work is appropriate while suppressing the amount of data to be handled. to do.
  • the work situation analysis system includes a communication device and a processing device.
  • the communication device acquires photographed data of a worker's work situation.
  • the processing device analyzes the work situation based on the photographed data.
  • the processing device has a work estimation model constructed by inputting a still image of a worker's work and the work indicated by the still image as teacher data and performing machine learning.
  • the processing device inputs still images based on the photographed data acquired by the communication device to the work estimation model, estimates the work indicated by each still image, and arranges the estimation results of the work in chronological order.
  • a first work estimation process for creating first work estimation data is performed.
  • the processing device performs a second work estimation process for creating second work estimation data by correcting estimation results so that estimation results for the same work are continuous with respect to the first work estimation data.
  • the processing device performs a work order estimation process of estimating a work order based on the second work estimation data.
  • the processing device determines whether or not the order of the work performed by the worker is appropriate by comparing the work order estimated in the work order estimation process with a predetermined reference regarding the work order. Perform judgment processing.
  • the photographed data obtained by photographing the work situation of the worker is acquired.
  • a task estimation model constructed by performing machine learning by inputting a still image of a worker's work and the task indicated by the still image as teacher data. estimates the task represented by the still image.
  • First work estimation processing is performed to create first work estimation data in which work estimation results are arranged in chronological order.
  • a second work estimation process is performed on the first work estimation data to create second work estimation data by correcting the estimation results so that the estimation results of the same work are continuous.
  • a work order estimation process is performed for estimating the work order based on the second work estimation data. By comparing the work order estimated in the work order estimation process with a predetermined reference for the work order, a determination process is performed to determine whether or not the work order performed by the worker is appropriate.
  • the work performed by the worker is estimated using the work estimation model, so the work order of the worker can be determined with high accuracy.
  • the amount of data required for machine learning and the amount of data for the task estimation model can be reduced by using still images instead of moving images as input.
  • FIG. 1 is a block diagram showing the configuration of a work situation analysis system according to one embodiment of the present application;
  • FIG. 5 is a diagram conceptually showing a mapping result of classifying teacher data by distance learning and a mapping result of classifying actual work.
  • FIG. 5 is a diagram showing processing for determining a work situation based on a moving image acquired by an imaging device; The figure which shows the example which detects that the omission of work generate
  • FIG. 11 is a diagram showing an example of detecting that work hours have been exceeded;
  • FIG. 4 is a diagram showing an example of detecting that work is normal;
  • a work situation analysis system 1 shown in FIG. 1 is a system that automatically determines whether or not work performed by a worker is appropriate.
  • the work situation analysis system 1 can be applied to, for example, work for manufacturing or maintaining products in a factory, specifically, assembly, painting, cleaning, disassembly, application of lubricant, and the like.
  • the work situation analysis system 1 is applicable not only to work in a factory, but also to any work performed by humans, robots, machine tools, or the like.
  • the work of this embodiment is divided into three stages, Process A, Process B, and Process C, and each process includes one or more works.
  • Process A is to apply grease to the first part
  • applying grease to the first location of the first part is work A-1
  • applying grease to the second part of the first part is work A-2.
  • the work situation analysis system 1 includes a photographing device 11, a video management device 12, and a computer 13.
  • the imaging device 11 is a video camera.
  • the photographing device 11 is arranged so that the lens faces the workplace, and photographs the worker performing the work to generate a moving image.
  • the photographing device 11 transmits the generated moving image (photographed data) to the video management device 12 .
  • FIG. 1 one workplace and one photographing device 11 are displayed. Instead of this, the imaging device 11 may be arranged in each of a plurality of workplaces.
  • the imaging device 11 is not limited to a video camera, and may be a camera that captures still images (captured data).
  • the video management device 12 is an information processing device such as a PC.
  • the image management device 12 performs processing related to moving images received from the imaging device 11 .
  • the image management device 12 for example, stores the moving image received from the imaging device 11, and further performs a process of converting this moving image into a plurality of still images.
  • the video management device 12 transmits multiple still images to the computer 13 .
  • the computer 13 is an information processing device such as a PC, server, or workstation.
  • the computer 13 includes a communication device 21 , a processing device 22 and a display device 23 .
  • the communication device 21 is a communication module or the like that performs wired communication or wireless communication.
  • the communication device 21 can communicate with external devices.
  • the processing device 22 includes an arithmetic device such as a CPU and a storage device such as an HDD or SSD.
  • the arithmetic device executes a program stored in the storage device to determine whether or not the work performed by the worker is appropriate based on the still image received from the imaging device 11 or the video management device 12.
  • the display device 23 is a display such as liquid crystal or organic EL, and can display information about the analysis system 1 .
  • the information about the analysis system 1 is, for example, the current operational status of the analysis system 1, the status of anomalies, and the like.
  • the processing device 22 has a work estimation model.
  • a work estimation model is a model constructed by machine learning, and is a model that outputs the details of a worker's work based on input of a still image of the work situation.
  • a work estimation model is constructed for each process.
  • the worker who performs the process A and the workplace are photographed to generate a moving image. It is preferable to generate a plurality of animations in order to learn various actions of the worker.
  • a moving image may be generated using the imaging device 11, or may be performed using another imaging device.
  • the learning data is data composed of a plurality of still images, and is associated with work indicated by the still images. For example, by watching a moving image and specifying the time period during which work A-1 is being performed, the moving image of this time period is cut out as still images at predetermined time intervals to generate learning data related to work A-1. can. Similarly, by designating the time period during which work A-2 is being performed and the time period during which other work is being performed, learning data relating to process A can be generated. Other work is work other than work A-1 and work A-2, and work that can normally occur in the process A. For example, the worker prepares for work A-2 after finishing work A-1.
  • a task estimation model for process A is constructed.
  • the computer for machine learning may be the same as computer 13, or may be different.
  • Machine learning in this embodiment is supervised learning, and the learning data described above is teacher data.
  • the format of the machine learning model is not limited, for example, a model using a neural network with a general configuration can be used.
  • the work estimation model is based on the learning data and identifies the characteristics and tendencies of the situation when performing each work in process A, specifically the position and posture of the worker, the position and posture of the workpiece, the position and posture of the tool, etc. Analyzed and constructed.
  • the task estimation model is constructed by performing distance learning based on the characteristics of each task.
  • Distance learning is a method of plotting learning data on virtual coordinates according to the characteristics of each category (each process in this embodiment) to define the range for each category.
  • the position of the virtual coordinates is determined according to the features of the data, and data having similar features are plotted at close positions on the virtual coordinates. That is, as shown in FIG. 3, data representing the same work are plotted in a certain range on virtual coordinates.
  • a work estimation model for Process A can be constructed.
  • work estimation models for process B and process C can be constructed.
  • a work estimation model is created for each process, but a work estimation model that encompasses a plurality of processes may be constructed.
  • the work estimation model When estimating the work of unknown data (specifically, a still image with unknown work) using the work estimation model, first enter the relevant still image into the work estimation model.
  • the task estimation model analyzes the features of this still image and identifies the position of this still image on virtual coordinates. For example, when the still image is positioned at or near the center of the range of task A-1, the task estimation model outputs that the probability of task A-1 is very high as an estimation result. The closer the still image is to the center of the range of task A-1, the higher the probability of task A-1.
  • processing device 22 determines that the task indicated by the still image is different from other tasks. judge. Specifically, when the difference between the estimation result with the highest probability and the estimation result with the second highest probability is less than the threshold, the processing device 22 determines that the work is other work. This is because if the task is estimated to be the closest task (the task with the highest probability) on the virtual coordinates, there is a possibility that the task will be misestimated, and as a result, a task status determination error can occur.
  • Additional learning is a process of updating the work estimation model by performing additional machine learning using data that is not located within the scope of any work. By performing additional learning, the range indicated by each task is corrected, so the estimation accuracy of the task can be improved.
  • the photographing device 11 photographs the worker performing the work, generates a video, and transmits the video to the video management device 12 .
  • the orientation and imaging range of the imaging device 11 are preferably the same as when the learning data was generated.
  • the video management device 12 performs image extraction processing on the video received from the imaging device 11 to generate a plurality of still images.
  • the image extraction process is a process of extracting a moving image at predetermined time intervals to generate a still image.
  • the time interval for generating still images may be a constant value, or may be changed according to the situation. For example, if the change in the worker and surrounding conditions captured in the moving image is small, the time interval may be longer than in normal times.
  • the photographing device 11 may transmit still images to the computer 13 at the time intervals. That is, in this case, image extraction processing can be omitted.
  • the video management device 12 associates the still image with the shooting time and process, and transmits the still image to the computer 13 .
  • a still image based on a moving image taken while the worker is performing the process A is transmitted to the computer 13 in association with the shooting time and the process A.
  • the video management device 12 can identify the process, but for example, the process can be identified as follows. For example, when only the process A is performed in a certain workshop, the video management device 12 associates the still image based on the moving image of the imaging device 11 arranged in this workshop with the process A. Alternatively, when Process A and Process B are performed in a certain workplace, the video management device 12 can display Process A or Process B as a still image based on a moving image based on a predetermined schedule or the time stamp of the work instruction device. Associate. Note that when creating a work estimation model that includes all processes, it is not necessary to associate the processes.
  • the processing device 22 of the computer 13 performs a first estimation process based on the received multiple still images and the associated shooting times and processes.
  • the first estimation process is a process of inputting the received still image into the work estimation model and obtaining an estimation result of the work indicated by the still image.
  • the still image is associated with the shooting time and the process.
  • the processing device 22 inputs the still image into the task estimation model according to the process associated with the still image. Specifically, the processing device 22 inputs the still image to the work estimation model of the process A when the process A is associated with the still image.
  • the computer 13 estimates the work related to the still image based on the work estimation model, and applies it to the still image according to the work estimation result.
  • the work estimation model may be switched.
  • the processing device 22 creates the first work estimation data shown in FIG. 4 based on the estimation result of the work estimation model and the shooting time associated with the still image.
  • the first work estimation data is obtained by plotting the estimation result of the worker's work according to the photographing time.
  • the number of plots per task is shown to be around 5 in order to make the first task estimation data easier to understand, but in reality, there is a high possibility that a larger number of plots will be required. .
  • the processing device 22 performs a second estimation process.
  • the second estimation process is a process of correcting the first work estimation data.
  • An estimation result for each still image may contain an estimation error.
  • the portions enclosed by the dashed-line squares are estimation errors. In general, it cannot be assumed that during a time zone in which a worker is performing a certain task, he/she will be performing another task for a moment.
  • the processing device 22 selects an arbitrary work and identifies a time period in which the proportion of this work is equal to or greater than a threshold.
  • the processing device 22 selects work A-1 and specifies a time period in which the proportion of work A-1 is equal to or greater than a threshold.
  • the processing device 22 identifies an estimation result different from the first selected work in the identified time period, and corrects this estimation result to the first selected work.
  • the third plot is task A-2, it is corrected to task A-1.
  • the estimation results for the same work are continuous.
  • the processing device 22 performs work order estimation processing and work time estimation processing based on the second work estimation data.
  • the task order estimation process is a process of estimating the order of tasks performed by the worker.
  • the estimation results of the same work are continuous, so by arranging the work indicated by this series of estimation results, the order of the work performed by the worker can be estimated.
  • the work time estimation process is a process of estimating the work time for each task performed by the worker.
  • the estimation result of the same work is continuous, so the work time for each work can be estimated based on the number of continuous plots of this work and the interval between still image shooting times.
  • the processing device 22 performs work order estimation processing and work time estimation processing, and creates determination data shown in FIG.
  • the determination data is data that lists the work performed by the worker in order of work and describes the work time of each work.
  • the processing device 22 determines whether or not the work performed by the worker is appropriate based on the determination data.
  • the processing device 22 determines that the work performed by the worker is not appropriate, it notifies the higher-level control device or manager's terminal of that fact. Further, the processing device 22 enables the manager to check still images or moving images during the period when the work is determined to be inappropriate in order to allow the manager to check the details of the work specifically performed by the worker. Specifically, the processing device 22 may transmit to the terminal of the administrator a still image or moving image during the time period determined to be inappropriate for the work, or save the still image or moving image in the server. Link information for accessing the server may be sent to the administrator's terminal.
  • FIG. 5 a specific example of determining whether or not the work performed by the worker is appropriate will be described with reference to FIGS. 5 to 7.
  • FIG. 5 a specific example of determining whether or not the work performed by the worker is appropriate will be described with reference to FIGS. 5 to 7.
  • FIGS. 5 to 7 describe the second work estimation data, reference data, determination data, and determination results, respectively.
  • Reference data is data that indicates a reference for determining whether or not the work performed by the worker is appropriate.
  • the procedures and tasks in the normative data describe the proper sequence of tasks.
  • the minimum time is the minimum time set for each task.
  • the maximum time is the maximum time set for each task. In other words, when each work is less than the minimum time or exceeds the maximum time, it is determined that the work performed by the worker is inappropriate.
  • there is one piece of reference data but there may be a plurality of pieces of reference data if, for example, work order changes are permitted. Specifically, in the example shown in FIG.
  • the reference data for work A-1 first and the reference data for work A-2 first. and a reference data set to . Then, when the work performed by the worker satisfies at least one criterion data, the work is determined to be appropriate.
  • Figure 5 shows the data for each case of omission of work.
  • Work A-1, work A-2, and others are described in procedures 4, 5, and 6 of the reference data, respectively.
  • work A-1 is followed by others, and work A-2 of procedure 5 is omitted.
  • the processing device 22 determines that work omission has occurred.
  • the priority level is set to "high” because the omission of work affects the quality of the product.
  • notification is immediately made to the above-described upper control device or administrator's terminal or the like. This notification includes information to the effect that "work omission", which is the cause of determining that the worker's work is not appropriate, has occurred.
  • Fig. 6 shows the respective data when the time is exceeded.
  • Procedure 5 of the reference data describes that the maximum time for task A-2 is "5 seconds".
  • the judgment data describes that the work time of procedure 5 is "6 seconds".
  • the processing device 22 determines that the overtime has occurred.
  • the priority level of overtime is set to "medium”. . Therefore, the processing device 22 does not immediately notify the host control device or the terminal of the administrator, but collectively notifies at a predetermined notification timing.
  • the priority level of overtime is set to "high” for work that affects the quality of the product if overtime occurs.
  • the processing device 22 immediately notifies the upper control device or the administrator's terminal or the like. This notification includes the fact that "overtime” has occurred, which is the cause of determining that the worker's work is not appropriate.
  • Fig. 7 shows the respective data when the work performed by the worker is appropriate. Both the work order and the work time of the determination data in FIG. 7 satisfy the reference data. Therefore, the processing device 22 determines that the work performed by the worker is appropriate.
  • the reason for the determination that it is not appropriate can also be notified to the administrator.
  • the amount of data to be handled can be reduced compared to a system that learns moving images to create a model and makes decisions based on the moving images.
  • the processing device 22 stores the determination data in the processing device 22 or an external server regardless of whether the work performed by the worker is appropriate. Thereby, the work of the worker can be recorded.
  • a still image input to the work estimation model may be stored in addition to the determination data. Since still images have a smaller amount of data than moving images, the amount of data to be stored can be suppressed. Also, by storing determination data, moving images, or still images only when it is determined that the work is not appropriate, the amount of data to be stored can be suppressed.
  • the work situation analysis system 1 of this embodiment includes the communication device 21 and the processing device 22, and performs the following work situation analysis method.
  • the communication device 21 acquires photographed data of the worker's work situation.
  • the processing device 22 analyzes the work situation based on the photographed data.
  • the processing device 22 has a task estimation model constructed by inputting still images of the worker's tasks and tasks indicated by the still images as teacher data and performing machine learning.
  • the processing device 22 inputs the still images based on the photographed data acquired by the communication device 21 to the work estimation model, estimates the work indicated by each still image, and arranges the estimation results of the work in chronological order.
  • a first work estimation process for creating work estimation data is performed.
  • the processing device 22 performs a second work estimation process for creating second work estimation data by correcting the estimation results so that the estimation results of the same work are continuous with respect to the first work estimation data.
  • the processing device 22 performs work order estimation processing for estimating the work order based on the second work estimation data.
  • the processing device 22 determines whether or not the work order performed by the worker is appropriate by comparing the work order estimated in the work order estimation process with a predetermined reference regarding the work order. process.
  • the work performed by the worker is estimated using the work estimation model, so the work order of the worker can be determined with high accuracy.
  • the amount of data required for machine learning and the amount of data for the task estimation model can be reduced by using still images instead of moving images as input.
  • the estimation result for the same work is corrected by correcting the estimation result to another work. make it continuous.
  • the processing device 22 performs work time estimation processing for estimating the work time for each work based on the second work estimation data.
  • the processing device 22 compares the work time for each work estimated in the work time estimation process with a predetermined work time for each work, thereby judging whether or not the work time of the work performed by the worker is appropriate. judge.
  • the processing device 22 determines that the work time for each work estimated in the work time estimation process is equal to or more than a predetermined minimum work time for each work and less than or equal to the maximum work time. In some cases, it is determined that the working time for the work is appropriate.
  • the processing device 22 cannot classify the estimation result of the work estimation model, which inputs the still image based on the photographed data acquired by the communication device 21, into any work learned in advance. If so, it is determined that it corresponds to other work.
  • the processing device 22 determines whether or not the work performed by the worker is appropriate, and if it determines that it is not appropriate, it notifies the cause of the determination that it is not appropriate.
  • the processing performed by the video management device 12 may be performed by the imaging device 11 or the computer 13 instead, and the video management device 12 may be omitted.
  • the imaging device 11 and the computer 13 do not need to be installed in the same factory, and the computer 13 may be installed in a facility separate from the factory.
  • the processing device 22 performs both work order estimation processing and work time estimation processing, but the work time estimation processing may be omitted.
  • a processor is considered a processing circuit or circuit because it includes transistors and other circuits.
  • a circuit, unit, or means is hardware that performs or is programmed to perform the recited functions.
  • the hardware may be the hardware disclosed herein, or other known hardware programmed or configured to perform the recited functions.
  • a circuit, means or unit is a combination of hardware and software, where the hardware is a processor which is considered a type of circuit, the software being used to configure the hardware and/or the processor.

Abstract

作業状況分析システムは、通信装置と、処理装置と、を備える。通信装置は、作業者の作業状況を撮影した撮影データを取得する。処理装置は、作業者の作業を撮影した静止画と当該静止画が示す作業を教師データとして入力して機械学習を行って構築された作業推定モデルを有している。処理装置は、撮影データに基づく静止画を作業推定モデルに入力してそれぞれの静止画が示す作業を推定し、作業の推定結果を時系列で並べた第１作業推定データを作成する。処理装置は、第１作業推定データに対して、同じ作業の推定結果が連続するように推定結果を修正して第２作業推定データを作成する。処理装置は、第２作業推定データに基づいて作業の順序を推定する。処理装置は、作業者が行った作業の順序が適切か否かを判定する。

Description

作業状況分析システム及び作業状況分析方法
　本出願は、主として、作業者の作業状況を分析する作業状況分析システムに関する。
　特許文献１は、作業場の正確な作業記録情報を作成する現場作業実施状況管理装置を開示する。具体的には、現場作業実施状況管理装置は、作業データ取得部と、作業場所情報取得部と、作業時刻情報取得部と、撮像部と、を備える。作業データ取得部は、作業者の装着具等に設けられており、作業に関するデータを取得する。作業場所情報取得部は、外部のサーバと通信を行うことにより、作業の実施場所を取得する。作業時刻取得部は、外部のサーバと通信を行うことにより、作業の実施時刻を取得する。撮像部は、作業に関する映像情報を取得する。現場作業実施状況管理装置は、撮像部が取得した映像情報をベースとし、作業データ取得部、作業場所情報取得部、作業時刻情報取得部によって取得された情報を追加していくことにより、書式の異なる複数の情報の集合体を、１つの作業に対応させて作業記録情報を作成する。
特開２００８－８４０６８号公報
　特許文献１が開示する方法では、作業者による作業が適切か否かを装置側で判定できないため、管理者が映像等に基づいて判定する必要がある。また、作業に関する映像情報はデータ量が大きいため取扱いが困難となり易い。
　本出願は以上の事情に鑑みてされたものであり、その主要な目的は、取扱うデータ量を抑えつつ、作業者の作業が適切か否かを自動的に判定可能な作業状況分析システムを提供することにある。
　本出願の解決しようとする課題は以上の如くであり、次にこの課題を解決するための手段とその効果を説明する。
　本出願の第１の観点によれば、以下の構成の作業状況分析システムが提供される。即ち、作業状況分析システムは、通信装置と、処理装置と、を備える。前記通信装置は、作業者の作業状況を撮影した撮影データを取得する。前記処理装置は、前記撮影データに基づいて作業状況を分析する。前記処理装置は、作業者の作業を撮影した静止画と当該静止画が示す作業を教師データとして入力して機械学習を行うことで構築された作業推定モデルを有している。前記処理装置は、前記通信装置が取得した前記撮影データに基づく静止画を前記作業推定モデルに入力することにより、それぞれの静止画が示す作業を推定し、作業の推定結果を時系列で並べた第１作業推定データを作成する第１作業推定処理を行う。前記処理装置は、前記第１作業推定データに対して、同じ作業の推定結果が連続するように推定結果を修正して第２作業推定データを作成する第２作業推定処理を行う。前記処理装置は、前記第２作業推定データに基づいて作業の順序を推定する作業順推定処理を行う。前記処理装置は、前記作業順推定処理で推定した作業の順序と、予め定められた作業の順序に関する基準と、を比較することにより作業者が行った作業の順序が適切か否かを判定する判定処理を行う。
　本出願の第２の観点によれば、以下の作業状況分析方法が提供される。即ち、作業者の作業状況を撮影した撮影データを取得する。作業者の作業を撮影した静止画と当該静止画が示す作業を教師データとして入力して機械学習を行うことで構築された作業推定モデルに対して、前記撮影データに基づく静止画を入力することにより、静止画が示す作業を推定する。作業の推定結果を時系列で並べた第１作業推定データを作成する第１作業推定処理を行う。前記第１作業推定データに対して、同じ作業の推定結果が連続するように推定結果を修正して第２作業推定データを作成する第２作業推定処理を行う。前記第２作業推定データに基づいて作業の順序を推定する作業順推定処理を行う。前記作業順推定処理で推定した作業の順序と、予め定められた作業の順序に関する基準と、を比較することにより作業者が行った作業の順序が適切か否かを判定する判定処理を行う。
　これにより、作業者が行った作業を作業推定モデルを用いて推定するため、高い精度で作業者の作業の順序を判定できる。特に、動画ではなく静止画を入力とすることにより、機械学習に必要なデータ量及び作業推定モデルのデータ量を小さくすることができる。
　本出願によれば、取扱うデータ量を抑えつつ、作業者の作業が適切か否かを自動的に判定可能な作業状況分析システムを実現できる。
本出願の一実施形態に係る作業状況分析システムの構成を示すブロック図。 工程毎に作業推定モデルを構築する処理を示す図。 距離学習を行って教師データを分類したマッピング結果と、実際の作業を分類したマッピング結果とを概念的に示す図。 撮影装置が取得した動画に基づいて作業状況を判定する処理を示す図。 作業漏れが発生したことを検出する例を示す図。 作業時間の超過が発生したことを検出する例を示す図。 作業が正常であることを検出する例を示す図。
　次に、図面を参照して本出願の実施形態を説明する。図１に示す作業状況分析システム１は、作業者が行った作業が適切か否かを自動的に判定するシステムである。
　作業状況分析システム１は、例えば、工場内で製品を製造又はメンテナンスするための作業、具体的には、組立て、塗装、洗浄、分解、潤滑剤の塗布等に適用可能である。作業状況分析システム１は、工場内での作業に限られず、人、ロボット、又は工作機械等が行うあらゆる作業に適用可能である。
　本実施形態の作業は、図１に示すように、工程Ａ、工程Ｂ、工程Ｃの３段階に分かれており、各工程に１又は複数の作業が含まれる。例えば工程Ａが第１部品へのグリス塗布である場合、第１部品の第１箇所へのグリス塗布が作業Ａ－１であり、第１部品の第２箇所へのグリス塗布が作業Ａ－２である。
　作業状況分析システム１は、撮影装置１１と、映像管理装置１２と、コンピュータ１３と、を備える。
　撮影装置１１は、ビデオカメラである。撮影装置１１は、レンズが作業場を向くように配置されており、作業を行う作業者を撮影して動画を生成する。撮影装置１１は、生成した動画（撮影データ）を映像管理装置１２に送信する。図１には、作業場及び撮影装置１１が１つずつ表示されている。これに代えて、複数の作業場にそれぞれ撮影装置１１が配置されてもよい。撮影装置１１は、ビデオカメラに限られず、静止画（撮影データ）を撮影するカメラであってもよい。
　映像管理装置１２は、ＰＣ等の情報処理装置である。映像管理装置１２は、撮影装置１１から受信した動画に関する処理を行う。映像管理装置１２は、例えば、撮影装置１１から受信した動画を保存し、更に、この動画を複数枚の静止画に変換する処理を行う。映像管理装置１２は、複数枚の静止画をコンピュータ１３に送信する。
　コンピュータ１３は、ＰＣ、サーバ、又はワークステーション等の情報処理装置である。コンピュータ１３は、通信装置２１と、処理装置２２と、表示装置２３と、を備える。通信装置２１は、有線通信や無線通信を行う通信モジュール等である。通信装置２１は、外部機器と通信可能である。通信装置２１は、例えば、映像管理装置１２と通信してデータをやり取りしたり、外部のサーバと通信してデータをやり取りしたり、ネットワークを介してシステムの管理者の端末とデータをやり取りしたりすることができる。処理装置２２は、ＣＰＵ等の演算装置と、ＨＤＤ又はＳＳＤ等の記憶装置と、を備える。演算装置は、記憶装置に記憶されたプログラムを実行することにより、撮影装置１１または映像管理装置１２から受信した静止画に基づいて、作業者が行った作業が適切か否かを判定する処理を実行する。表示装置２３は、液晶又は有機ＥＬなどのディスプレイであり、分析システム１に関する情報を表示可能である。分析システム１に関する情報とは、例えば、現在の分析システム１の稼動状況及び異常発生状況等である。
　処理装置２２は、作業推定モデルを有している。作業推定モデルとは、機械学習により構築されたモデルであり、作業状況の静止画を入力として、作業者の作業内容を出力するモデルである。
　次に、図２及び図３を参照して、作業推定モデルを構築する処理を説明する。
　本実施形態では、工程毎に作業推定モデルを構築する。初めに、工程Ａを行う作業者及び作業場を撮影して動画を生成する。作業者の様々な動作を学習させるために、複数の動画を生成することが好ましい。動画の生成は撮影装置１１を用いて行ってもよいし、別の撮影装置を用いて行ってもよい。
　次に、動画に基づいて学習用データを生成する。図２に示すように、学習用データは、複数枚の静止画で構成されたデータであり、静止画が示す作業が関連付けられている。例えば動画を見て作業Ａ－１が行われている時間帯を指定することで、この時間帯の動画を所定の時間間隔で静止画として切り出すことにより、作業Ａ－１に関する学習用データを生成できる。同様に、作業Ａ－２が行われている時間帯、その他の作業が行われている時間帯について指定することで、工程Ａに関する学習用データを生成できる。その他の作業とは、作業Ａ－１及び作業Ａ－２以外の作業であり、工程Ａにおいて通常発生し得る作業である。例えば、作業Ａ－１が終わった後に作業者が作業Ａ－２の準備をする作業である。
　次に、生成した学習用データを機械学習用のコンピュータに入力して機械学習を行わせることにより、工程Ａの作業推定モデルが構築される。機械学習用のコンピュータはコンピュータ１３と同じであってもよいし、異なっていてもよい。本実施形態の機械学習は教師あり学習であり、上述した学習データが教師データである。機械学習モデルの形式は限定しないが、例えば、一般的な構成のニューラルネットワークを用いたモデルを用いることができる。
　作業推定モデルは、学習用データに基づいて工程Ａの各作業を行う際における状況、具体的には作業者の位置・姿勢、ワークの位置・姿勢、工具の位置・姿勢等に関する特徴及び傾向を分析して構築されている。
　より具体的には、作業推定モデルは、それぞれの作業の特徴に基づいて距離学習を行うことにより構築されている。距離学習とは、学習用データをカテゴリ毎の（本実施形態では工程毎の）特徴に応じて仮想座標上にプロットしてカテゴリ毎に範囲を定める手法である。仮想座標はデータの特徴に応じて位置が定まるものであり、特徴が互いに類似するデータは仮想座標上で近い位置にプロットされる。つまり、図３に示すように、同じ作業を示すデータは仮想座標上において一定の範囲にプロットされる。
　以上により工程Ａの作業推定モデルを構築できる。同様の方法により、工程Ｂ及び工程Ｃの作業推定モデルを構築できる。本実施形態では工程毎に作業推定モデルを作成するが、複数の工程を包括する作業推定モデルを構築してもよい。
　作業推定モデルを用いて未知のデータ（具体的には、作業が不明な静止画）の作業を推定する場合、初めに作業推定モデルに該当の静止画を入力する。作業推定モデルは、この静止画の特徴を分析し、この静止画の仮想座標上での位置を特定する。例えば、静止画が作業Ａ－１の範囲の中心又はその近傍に位置している場合、作業推定モデルは、推定結果として作業Ａ－１の確率が非常に高いことを出力する。静止画が作業Ａ－１の範囲の中心に近いほど、作業Ａ－１の確率が大きくなる。
　一方、静止画が作業Ａ－１の範囲と作業Ａ－２の範囲の間にあるような場合、作業Ａ－１の確率と作業Ａ－２の確率の差は小さくなる。このように、作業推定モデルが出力する推定結果が作業Ａ－１の可能性と作業Ａ－２の可能性の両方を示唆する場合、処理装置２２は、静止画が示す作業がその他の作業と判定する。具体的には、最も確率が高い推定結果と、２番目に確率が高い推定結果と、の差が閾値未満である場合、処理装置２２は、その他の作業と判定する。なぜなら、仮想座標上で最も近い作業（確率が最も高い作業）と推定した場合、作業の推定をミスする可能性があり、その結果、作業状況の判定ミスが生じ得るからである。さらに、このような場合は、必要に応じて追加学習を行うことが好ましい。追加学習とは、何れの作業の範囲内にも位置しないデータを用いて、追加の機械学習を行うことにより、作業推定モデルを更新する処理である。追加学習を行うことにより、各作業が示す範囲が修正されるので、作業の推定精度を向上させることができる。
　次に、図４を参照して、作業者が行った作業が適切か否かを作業推定モデルを用いて判定する方法について説明する。
　撮影装置１１は、作業を行う作業者を撮影して動画を生成して映像管理装置１２に送信する。撮影装置１１の向き及び撮影範囲は、学習用データの生成時と同じであることが好ましい。
　次に、映像管理装置１２は、撮影装置１１から受信した動画に画像抽出処理を行って複数の静止画を生成する。画像抽出処理は、動画を所定の時間間隔で切り出して静止画を生成する処理である。静止画を生成する時間間隔は一定値であってもよいし、状況に応じて時間間隔を変化させてもよい。例えば、動画に写る作業者及び周囲の状況の変化が小さい場合は、通常時と比較して時間間隔を長くしてもよい。また、撮影装置１１は、前記時間間隔でコンピュータ１３に静止画を送信してもよい。つまり、この場合は画像抽出処理を省略できる。
　また、映像管理装置１２は、静止画に撮影時刻及び工程を関連付けてコンピュータ１３に送信する。例えば、作業者が工程Ａを行っている間に撮影した動画に基づく静止画には、撮影時刻及び工程Ａを関連付けてコンピュータ１３に送信する。
　映像管理装置１２が工程を特定する方法は様々であるが、例えば以下のように工程を特定できる。例えば、ある作業場で工程Ａのみが行われる場合、映像管理装置１２は、この作業場に配置された撮影装置１１の動画に基づく静止画に工程Ａを関連付ける。あるいは、ある作業場で工程Ａと工程Ｂが行われる場合、映像管理装置１２は、予め定められたスケジュール又は作業指示装置のタイムスタンプ等に基づいて、動画に基づく静止画に工程Ａ又は工程Ｂを関連付ける。なお、全ての工程を包括する作業推定モデルを作成する場合は、工程の関連付けは不要となる。
　次に、コンピュータ１３の処理装置２２は、受信した複数の静止画及び関連する撮影時刻及び工程に基づいて、第１推定処理を行う。第１推定処理は、受信した静止画を作業推定モデルに入力して、静止画が示す作業の推定結果を得る処理である。また、静止画には撮影時刻及び工程が関連付けられている。処理装置２２は、静止画に関連付けられた工程に応じた作業推定モデルに静止画を入力する。具体的には、処理装置２２は、静止画に工程Ａが関連付けられている場合、工程Ａの作業推定モデルに静止画を入力する。なお、映像管理装置１２が静止画に工程を関連付ける処理に代えて、コンピュータ１３が作業推定モデルに基づいて静止画に関連する作業を推定し、この作業推定結果に応じて、静止画に適用する作業推定モデルを切り替えてもよい。
　処理装置２２は、作業推定モデルの推定結果と、静止画に関連付けられた撮影時刻と、に基づいて図４に示す第１作業推定データを作成する。第１作業推定データは、撮影時刻に応じて、作業者の作業の推定結果をプロットしたものである。図４に示す例では、第１作業推定データを分かり易くするために１作業あたりのプロット数を５個前後で示しているが、実際にはより多くのプロット数が必要となる可能性が高い。
　次に、処理装置２２は、第２推定処理を行う。第２推定処理は、第１作業推定データを修正する処理である。静止画毎の推定結果には推定ミスが含まれることがある。例えば、図４に示す第１作業推定データのうち、鎖線の四角で囲った箇所は、推定ミスである。一般的に、作業者がある作業を行っている時間帯において、一瞬だけ別の作業を行うということは想定できない。
　処理装置２２は、例えば以下の処理を行う。初めに、処理装置２２は、任意の作業を選択し、この作業の連続プロット数が閾値以下の箇所を特定する。例えば、処理装置２２は、作業Ａ－２を選択し、作業Ａ－２の連続プロット数が１の箇所（３プロット目）を特定する。次に、処理装置２２は、同じプロットの推定結果が連続するように、特定したプロットを別の作業に修正する。図４に示す例では、３プロット目の前後の推定結果が作業Ａ－１であるため、作業Ａ－２を作業Ａ－１に修正する。処理装置２２は、この処理を全ての作業に対して行う。これにより、同じ作業の推定結果が連続するようになる。なお、処理装置２２は、修正が必要か否かを検討した結果、修正が不要と判定した場合は修正を行わない。
　なお、上述した処理は一例であり、同じ作業の推定結果が連続するようになるのであれば、別の処理を行ってもよい。例えば、処理装置２２は、任意の作業を選択し、この作業の割合が閾値以上の時間帯を特定する。例えば、処理装置２２は、作業Ａ－１を選択し、作業Ａ－１の割合が閾値以上の時間帯を特定する。図４に示す例では、１つ目から５つ目のプロットのうち４つが作業Ａ－１であるため、１つ目から５つ目のプロットを特定する。次に、処理装置２２は、特定した時間帯において、最初に選択した作業とは異なる推定結果を特定し、この推定結果を最初に選択した作業に修正する。図４に示す例では、３つ目のプロットが作業Ａ－２であるため、これを作業Ａ－１に修正する。これにより、同じ作業の推定結果が連続するようになる。
　次に、処理装置２２は、第２作業推定データに基づいて作業順推定処理及び作業時間推定処理を行う。作業順推定処理は、作業者が行った作業の順序を推定する処理である。第２作業推定データでは、同じ作業の推定結果が連続しているため、この一連の推定結果が示す作業を並べることにより、作業者が行った作業の順序を推定できる。
　作業時間推定処理は、作業者が行った作業毎の作業時間を推定する処理である。第２作業推定データでは、同じ作業の推定結果が連続しているため、この作業の連続プロット数及び静止画の撮影時刻の間隔に基づいて、作業毎の作業時間を推定できる。
　処理装置２２は、作業順推定処理及び作業時間推定処理を行って、図４に示す判定用データを作成する。判定用データは、作業者が行った作業を作業順に並べるとともに、それぞれの作業の作業時間を記述したデータである。処理装置２２は、判定用データに基づいて、作業者が行った作業が適切か否かを判定する。
　処理装置２２は、作業者が行った作業が適切でないと判定した場合、その旨を上位の制御装置又は管理者の端末等に通知する。更に、処理装置２２は、作業者が具体的に行った作業内容を管理者に確認させるために、作業が適切でないと判定した時間帯の静止画又は動画を管理者が確認できるようにする。具体的には、処理装置２２は、作業が適切でないと判定した時間帯の静止画又は動画を管理者の端末に送信してもよいし、又は、この静止画又は動画をサーバに保存してサーバにアクセスするためのリンク情報を管理者の端末に送信してもよい。
　次に、図５から図７を参照して、作業者が行った作業が適切か否かを判定する具体例について説明する。
　図５から図７には、第２作業推定データ、基準データ、判定用データ、及び判定結果がそれぞれ記載されている。基準データとは、作業者が行った作業が適切か否かを判定するための基準を示すデータである。基準データの手順及び作業内容には、作業の適切な順序が記載されている。最小時間は、それぞれの作業に設定された最小時間である。最大時間は、それぞれの作業に設定された最大時間である。つまり、それぞれの作業が最小時間未満であるか、最大時間を超過する場合、作業者の行った作業が適切でないと判定される。図５から図７に示す例では、基準データがそれぞれ１つであるが、例えば作業順序の変更が許容される場合は、基準データが複数あってもよい。具体的には、図５に示す例において、作業Ａ－１と作業Ａ－２の作業順序の変更が許容される場合、作業Ａ－１を先にした基準データと、作業Ａ－２を先にした基準データと、を用いる。そして、作業者が行った作業が、少なくとも１つの基準データを満たす場合、その作業が適切であると判定される。
　図５には、作業漏れが発生したときのそれぞれのデータが記載されている。基準データの手順４，５，６には、それぞれ作業Ａ－１、作業Ａ－２、その他が記載されている。しかし、判定用データには、作業Ａ－１の次がその他になっており、手順５の作業Ａ－２が抜けている。この場合、処理装置２２は、作業漏れが発生したと判定する。なお、作業漏れが発生した場合、製品の品質に関係するため、優先レベルが「高」に設定されている。優先レベルが「高」である場合、上述した上位の制御装置又は管理者の端末等への通知が即座に行われる。この通知には、作業者の作業が適切でないと判定した原因である「作業漏れ」が発生している旨が含まれる。
　図６には、時間超過が発生したときのそれぞれのデータが記載されている。基準データの手順５には、作業Ａ－２の最大時間が「５秒」であることが記載されている。しかし、判定用データには、手順５の作業時間が「６秒」であることが記載されている。この場合、処理装置２２は、時間超過が発生していると判定する。なお、図６に示す作業Ａ－１及び作業Ａ－２は、時間超過が発生しても製品の品質に影響がない作業であるため、時間超過の優先レベルが「中」に設定されている。そのため、処理装置２２は、上位の制御装置又は管理者の端末等への通知を即座には実行せず、所定の通知タイミングでまとめて通知する。ただし、時間超過が発生した場合に製品の品質に影響がある作業については、時間超過の優先レベルが「高」に設定される。この場合、時間超過が発生すると、処理装置２２は、上位の制御装置又は管理者の端末等に即座に通知を行う。この通知には、作業者の作業が適切でないと判定した原因である「時間超過」が発生している旨が含まれる。
　図７には、作業者の行った作業が適切である場合のそれぞれのデータが記載されている。図７の判定用データの作業の順序、作業時間は何れも基準データを満たす。従って、処理装置２２は、作業者の行った作業が適切であると判定する。
　このように、上述した処理を行うことにより、作業者が行った作業が適切か否かを自動的に判定できる。更に、適切でないと判定した場合、適切でないと判定した原因（即ち、基準データを満たさない項目）も併せて管理者に通知することができる。また、動画を学習してモデルを作成して動画に基づいて判定を行うシステムと比較して、取り扱うデータ量を抑えることができる。
　処理装置２２は、作業者の行った作業が適切か否かに関係なく、判定用データを処理装置２２又は外部のサーバに記憶する。これにより、作業者の作業を記録することができる。なお、判定用データに加えて作業推定モデルに入力した静止画を記憶してもよい。静止画は動画と比較してデータ量が小さいため、記憶するデータ量を抑えることができる。また、作業が適切でないと判定した場合のみ、判定用データ、動画、又は静止画を記憶することで、記憶するデータ量を抑えることもできる。
　以上に説明したように、本実施形態の作業状況分析システム１は、通信装置２１と、処理装置２２と、を備え、以下の作業状況分析方法を行う。通信装置２１は、作業者の作業状況を撮影した撮影データを取得する。処理装置２２は、撮影データに基づいて作業状況を分析する。処理装置２２は、作業者の作業を撮影した静止画と静止画が示す作業を教師データとして入力して機械学習を行うことで構築された作業推定モデルを有している。処理装置２２は、通信装置２１が取得した撮影データに基づく静止画を作業推定モデルに入力することにより、それぞれの静止画が示す作業を推定し、作業の推定結果を時系列で並べた第１作業推定データを作成する第１作業推定処理を行う。処理装置２２は、第１作業推定データに対して、同じ作業の推定結果が連続するように推定結果を修正して第２作業推定データを作成する第２作業推定処理を行う。処理装置２２は、第２作業推定データに基づいて作業の順序を推定する作業順推定処理を行う。処理装置２２は、作業順推定処理で推定した作業の順序と、予め定められた作業の順序に関する基準と、を比較することにより作業者が行った作業の順序が適切か否かを判定する判定処理を行う。
　これにより、作業者が行った作業を作業推定モデルを用いて推定するため、高い精度で作業者の作業の順序を判定できる。特に、動画ではなく静止画を入力とすることにより、機械学習に必要なデータ量及び作業推定モデルのデータ量を小さくすることができる。
　本実施形態の作業状況分析システム１において、第１作業推定データにおいて同じ作業の推定結果の連続数が閾値以下である場合、推定結果を別の作業に修正することにより、同じ作業の推定結果を連続させる。
　作業者が行う作業が一瞬だけ変化することは通常はあり得ないため、作業の推定ミスを修正できる。
　本実施形態の作業状況分析システム１において、処理装置２２は、第２作業推定データに基づいて、作業毎の作業時間を推定する作業時間推定処理を行う。処理装置２２は、作業時間推定処理で推定した作業毎の作業時間と、予め定められた作業毎の作業時間と、を比較することにより作業者が行った作業の作業時間が適切か否かを判定する。
　これにより、作業の順序に加え作業時間が適切か否かを判定できる。従って、例えばある作業の作業時間が基準時間を大幅に超えている場合、その原因を特定して解消することにより、作業効率を向上できる。
　本実施形態の作業状況分析システム１において、処理装置２２は、作業時間推定処理で推定した作業毎の作業時間が、予め定められた作業毎の作業時間の最小時間以上であって最大時間以下である場合に、作業の作業時間が適切であると判定する。
　これにより、作業時間が適切か否かを柔軟に判定できる。
　本実施形態の作業状況分析システム１において、処理装置２２は、通信装置２１が取得した撮影データに基づく静止画を入力とする作業推定モデルの推定結果が事前に学習した何れの作業にも分類できない場合は、その他の作業に該当すると判定する。
　仮に、静止画を入力として作業推定モデルが出力した推定結果のうち確率が最も高い作業を推定結果として取り扱う場合、誤判定になる可能性がある。このような場合、必要に応じて追加学習することにより、作業の推定精度を更に高くすることができる。
　本実施形態の作業状況分析システム１において、処理装置２２は、作業者が行った作業が適切か否かを判定し、適切でないと判定した場合は、適切でないと判定した原因を通知する。
　これにより、管理者は、適切でないと判定した原因を考慮して、作業者の作業を確認できる。そのため、作業者の作業を確認する手間を軽減できる。
　以上に本出願の好適な実施の形態を説明したが、上記の構成は例えば以下のように変更することができる。
　映像管理装置１２が行う処理を撮影装置１１又はコンピュータ１３が代わりに行い、映像管理装置１２を省略してもよい。
　撮影装置１１とコンピュータ１３は同じ工場内に設けられる必要はなく、コンピュータ１３が工場から離れた施設に設けられてもよい。
　上記実施形態では、処理装置２２は、作業順推定処理と作業時間推定処理の両方を行うが、作業時間推定処理を省略してもよい。
　本明細書で開示する要素の機能は、開示された機能を実行するように構成又はプログラムされた汎用プロセッサ、専用プロセッサ、集積回路、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ　Ｓｐｅｃｉｆｉｃ　Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔｓ）、従来の回路、及び／又は、それらの組み合わせ、を含む回路又は処理回路を使用して実行できる。プロセッサは、トランジスタやその他の回路を含むため、処理回路又は回路と見なされる。本開示において、回路、ユニット、又は手段は、列挙された機能を実行するハードウェアであるか、又は、列挙された機能を実行するようにプログラムされたハードウェアである。ハードウェアは、本明細書に開示されているハードウェアであってもよいし、あるいは、列挙された機能を実行するようにプログラム又は構成されているその他の既知のハードウェアであってもよい。ハードウェアが回路の一種と考えられるプロセッサである場合、回路、手段、又はユニットはハードウェアとソフトウェアの組み合わせであり、ソフトウェアはハードウェア及び/又はプロセッサの構成に使用される。

Claims (7)

  1. 　作業者の作業状況を撮影した撮影データを取得する通信装置と、
    　前記撮影データに基づいて作業状況を分析する処理装置と、
    を備え、
    　前記処理装置は、作業者の作業を撮影した静止画と当該静止画が示す作業を教師データとして入力して機械学習を行うことで構築された作業推定モデルを有しており、
    　前記処理装置は、前記通信装置が取得した前記撮影データに基づく静止画を前記作業推定モデルに入力することにより、それぞれの静止画が示す作業を推定し、作業の推定結果を時系列で並べた第１作業推定データを作成する第１作業推定処理を行い、
    　前記処理装置は、前記第１作業推定データに対して、同じ作業の推定結果が連続するように推定結果を修正して第２作業推定データを作成する第２作業推定処理を行い、
    　前記処理装置は、前記第２作業推定データに基づいて作業の順序を推定する作業順推定処理を行い、
    　前記処理装置は、前記作業順推定処理で推定した作業の順序と、予め定められた作業の順序に関する基準と、を比較することにより作業者が行った作業の順序が適切か否かを判定する判定処理を行うことを特徴とする作業状況分析システム。
  2. 　請求項１に記載の作業状況分析システムであって、
    　第１作業推定データにおいて同じ作業の推定結果の連続数が閾値以下である場合、当該推定結果を別の作業に修正することにより、同じ作業の推定結果を連続させることを特徴とする作業状況分析システム。
  3. 　請求項１又は２に記載の作業状況分析システムであって、
    　前記処理装置は、前記第２作業推定データに基づいて、作業毎の作業時間を推定する作業時間推定処理を行い、
    　前記処理装置は、前記作業時間推定処理で推定した作業毎の作業時間と、予め定められた作業毎の作業時間と、を比較することにより作業者が行った作業の作業時間が適切か否かを判定することを特徴とする作業状況分析システム。
  4. 　請求項３に記載の作業状況分析システムであって、
    　前記処理装置は、前記作業時間推定処理で推定した作業毎の作業時間が、予め定められた作業毎の作業時間の最小時間以上であって最大時間以下である場合に、当該作業の作業時間が適切であると判定することを特徴とする作業状況分析システム。
  5. 　請求項１から４までの何れか一項に記載の作業状況分析システムであって、
    　前記処理装置は、前記通信装置が取得した前記撮影データに基づく静止画を入力とする前記作業推定モデルの推定結果が事前に学習した何れの作業にも分類できない場合は、その他の作業に該当すると判定することを特徴とする作業状況分析システム。
  6. 　請求項１から５までの何れか一項に記載の作業状況分析システムであって、
    　前記処理装置は、作業者が行った作業が適切か否かを判定し、適切でないと判定した場合は、適切でないと判定した原因を通知することを特徴とする作業状況分析システム。
  7. 　作業者の作業状況を撮影した撮影データを取得し、
    　作業者の作業を撮影した静止画と当該静止画が示す作業を教師データとして入力して機械学習を行うことで構築された作業推定モデルに対して、前記撮影データに基づく静止画を入力することにより、静止画が示す作業を推定し、
    　作業の推定結果を時系列で並べた第１作業推定データを作成する第１作業推定処理を行い、
    　前記第１作業推定データに対して、同じ作業の推定結果が連続するように推定結果を修正して第２作業推定データを作成する第２作業推定処理を行い、
    　前記第２作業推定データに基づいて作業の順序を推定する作業順推定処理を行い、
    　前記作業順推定処理で推定した作業の順序と、予め定められた作業の順序に関する基準と、を比較することにより作業者が行った作業の順序が適切か否かを判定する判定処理を行うことを特徴とする作業状況分析方法。
PCT/JP2022/028481 2021-07-28 2022-07-22 作業状況分析システム及び作業状況分析方法 WO2023008330A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021123446A JP2023019009A (ja) 2021-07-28 2021-07-28 作業状況分析システム及び作業状況分析方法
JP2021-123446 2021-07-28

Publications (1)

Publication Number Publication Date
WO2023008330A1 true WO2023008330A1 (ja) 2023-02-02

Family

ID=85086869

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/028481 WO2023008330A1 (ja) 2021-07-28 2022-07-22 作業状況分析システム及び作業状況分析方法

Country Status (2)

Country Link
JP (1) JP2023019009A (ja)
WO (1) WO2023008330A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011014074A (ja) * 2009-07-06 2011-01-20 Hitachi Engineering & Services Co Ltd 工程管理方法、プログラムおよび工程管理装置
WO2020235120A1 (ja) * 2019-05-20 2020-11-26 株式会社日立システムズ 作業支援システムおよび作業支援方法
JP2021067981A (ja) * 2019-10-17 2021-04-30 国立大学法人九州大学 作業分析装置及び作業分析方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011014074A (ja) * 2009-07-06 2011-01-20 Hitachi Engineering & Services Co Ltd 工程管理方法、プログラムおよび工程管理装置
WO2020235120A1 (ja) * 2019-05-20 2020-11-26 株式会社日立システムズ 作業支援システムおよび作業支援方法
JP2021067981A (ja) * 2019-10-17 2021-04-30 国立大学法人九州大学 作業分析装置及び作業分析方法

Also Published As

Publication number Publication date
JP2023019009A (ja) 2023-02-09

Similar Documents

Publication Publication Date Title
JP6945373B2 (ja) 作業改善支援システム
US10915419B2 (en) Industrial control system, and assistance apparatus, control assist method, and program thereof
CN112074850A (zh) 具有分布式数字区块链账本的个人防护设备管理系统
US20230350350A1 (en) Potential replacement algorithm selection based on algorithm execution context information
US11797890B2 (en) Performance manager to autonomously evaluate replacement algorithms
US11315064B2 (en) Information processing device and production instruction support method
JP7458623B2 (ja) 作業分析装置及び作業分析方法
WO2019138843A1 (ja) 計算機システム
JP2020024484A (ja) 制御システムおよび制御装置
CN113227922B (zh) 用于控制过程工厂中的过程的方法和系统
JP2002312017A (ja) 作業評価装置、作業評価方法および作業評価方法をコンピュータに実現させるプログラム
WO2023008330A1 (ja) 作業状況分析システム及び作業状況分析方法
US20210166180A1 (en) Information processing apparatus, information processing method, and work evaluation system
JP2019075078A (ja) 工事現場画像判定装置及び工事現場画像判定プログラム
JP6612825B2 (ja) プラント監視装置および分散制御システム
JP6341550B1 (ja) 工事現場画像判定装置及び工事現場画像判定プログラム
JP2022164831A (ja) 作業稼働率測定装置及び作業稼働率測定方法
JP2023018016A (ja) 管理システムおよび原因分析システム
WO2020044779A1 (ja) 設置環境推定装置及びプログラム
US11120383B2 (en) System and methods for operator profiling for improving operator proficiency and safety
WO2024070189A1 (ja) 要因分析装置及び要因分析方法
JP2009110239A (ja) 作業動作分析システム及び作業動作分析方法
US20240135525A1 (en) Method and system of providing assistance during an operation performed on an equipment
JP7026890B2 (ja) 動作分析装置、動作分析方法及び動作分析プログラム
WO2022091924A1 (ja) 支援システム、支援方法及び記憶媒体

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22849392

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE