WO2021166716A1 - 作業稼働率測定装置及び作業稼働率測定方法 - Google Patents

作業稼働率測定装置及び作業稼働率測定方法 Download PDF

Info

Publication number
WO2021166716A1
WO2021166716A1 PCT/JP2021/004573 JP2021004573W WO2021166716A1 WO 2021166716 A1 WO2021166716 A1 WO 2021166716A1 JP 2021004573 W JP2021004573 W JP 2021004573W WO 2021166716 A1 WO2021166716 A1 WO 2021166716A1
Authority
WO
WIPO (PCT)
Prior art keywords
work
data
operation rate
hand
work frame
Prior art date
Application number
PCT/JP2021/004573
Other languages
English (en)
French (fr)
Inventor
松林　豊
Original Assignee
Ｎｅｃプラットフォームズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ｎｅｃプラットフォームズ株式会社 filed Critical Ｎｅｃプラットフォームズ株式会社
Priority to CN202180014694.2A priority Critical patent/CN115104113A/zh
Priority to EP21757397.1A priority patent/EP4109362A4/en
Priority to US17/796,335 priority patent/US20230068757A1/en
Publication of WO2021166716A1 publication Critical patent/WO2021166716A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/04—Manufacturing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
    • G06Q10/06398—Performance of employee with respect to a job function
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Definitions

  • the present invention relates to a work operation rate measuring device for measuring an operation rate when performing manual work within a work frame of a production line such as a factory, and a work operation rate measurement method.
  • the line manager in the factory only conducts hearings for the workers to confirm the work. It is difficult to grasp the situation where the worker is not actually operating, for example, the situation where the hand is not moving just by standing at the work place. In the hearing for confirming the work at this time, it was necessary to visually confirm the actual work of the plurality of processes and to measure the time of the work with a stopwatch.
  • Patent Documents 1 to 3 have been proposed in order to alleviate such a problem.
  • the measured value from the start to the end of the operation is obtained, and the relationship between the content of the operation and the time is defined by using the obtained measured value and the specified operation content.
  • the motion identification part that builds the model is used.
  • This operation specifying unit acquires image data with depth from the depth sensor as the first position information, and acquires image data from the digital camera as the second position information. Based on the measured value of the position information acquisition unit, the operator Identify the position of the hand. Further, in this motion specifying unit, the motion content performed by the worker is specified based on the position of the identified worker's hand, and a model is constructed using the specified motion content and the acquired measured value. Or execute the update.
  • a distance sensor composed of a camera or the like capable of generating a color or monochrome image, and a plurality of time-series distance images taken while a worker performs a series of operations on a work table.
  • a processor that detects the operator's hand is used.
  • the hand region detector of the processor can detect the hand region using a classifier trained in advance to detect the hand on the image, and Histograms (Histograms) extracted from the region of interest of the image. By inputting of Oriented Gradients) into the classifier, it is possible to determine whether or not the region of interest includes the hand region.
  • the analysis unit in the control unit that controls the server includes a work time measurement unit and a residence time measurement unit.
  • the work time measurement unit measures the time when the worker is actually working in the place
  • the residence time measurement unit measures the time when the worker is in the place.
  • Patent Documents 1 to 3 include a technique for defining and modeling the relationship between the operation content and time, and a technique for measuring the amount of work performed by the worker and displaying the measured data. It is shown. However, these Patent Documents 1 to 3 only show each of these techniques individually, and do not show a concrete measure as to how to relate these techniques.
  • An example of the object of the present invention is a work operation rate measuring device and a work operation rate measurement capable of efficiently analyzing and quantifying the state of work performed on a work table by a new method that has never existed before. To provide a method.
  • the first aspect of the present invention is a work operation rate measuring device for measuring an operation rate when performing manual work within predetermined work frames provided in each of a plurality of processes, and is installed in a plurality of processes.
  • a model creation means that takes a picture of the inside of the work frame with a camera, machine-learns the position of the worker's hand held over the work frame based on the shooting data, and creates a machine learning model for each camera, and actual work.
  • the machine learning model created by the model creation means it is analyzed whether or not the position of the worker's hand is included in the work frame, and the analysis data is displayed in time series.
  • It has a data analysis storage means for storing and an operation rate calculation means for obtaining an operation rate in each work frame using the analysis data stored in the data analysis storage means.
  • the second aspect of the present invention is a work operation rate measuring method for measuring an operation rate when performing manual work within predetermined work frames provided in each of a plurality of steps, and is installed in the plurality of steps.
  • a model creation process that takes a picture of the inside of the work frame with a camera, machine-learns the position of the worker's hand held over the work frame based on the shooting data, and creates a machine learning model for each camera, and the actual work.
  • the configuration of the work operating rate measuring device 10 will be described with reference to FIG.
  • the work operation rate measuring device 10 includes a model creation means (model creation unit) 1, a data analysis storage unit (data analysis storage unit) 2, and an operation rate calculation means (operation rate calculation unit) 3.
  • model creation unit model creation unit
  • data analysis storage unit data analysis storage unit
  • operation rate calculation unit operation rate calculation unit
  • the model creation means 1 takes a picture of the inside of the work frame with cameras installed in a plurality of processes, and machine-learns the position of the worker's hand held over the work frame based on the shooting data, and machine learning for each camera. Create a model.
  • the data analysis storage means 2 uses the machine learning model created by the model creation means 1 for the image in which the actual work is being performed, and whether or not the position of the worker's hand is included in the work frame. And save the analysis data in chronological order.
  • the operating rate calculation means 3 obtains the operating rate in each work frame using the analysis data saved in the data analysis saving means 2.
  • the inside of the work frame is photographed by cameras installed in a plurality of processes, and the worker holding the work frame in the work frame based on the photographed data.
  • Machine learning the position of the hand and create a machine learning model for each camera.
  • whether or not the position of the worker's hand is included in the work frame is analyzed using the machine learning model created by the model creation means 1, and the analysis data is analyzed.
  • the operating rate in each work frame can be calculated using the saved analysis data.
  • the operation rate of a plurality of processes can be obtained by targeting only the hands of the operator, so that the overall control operation becomes lighter and the operation rate can be detected in real time. ..
  • the work operation rate measuring device 10 by setting a machine learning model for each camera of the work frame of a plurality of processes and including pre-learning, it is possible to accurately detect hands in various environments, and a plurality of them. It is possible to efficiently grasp the operating rate of the process.
  • FIG. 2 is an overall configuration diagram of the work operating rate measuring device 100 according to the embodiment.
  • the work operation rate measuring device 100 has an operation control unit 11, a data processing unit 12, and a photographing unit 13 directly connected to the network N.
  • the photographing area photographed by the photographing unit 13 is indicated by reference numeral EA.
  • the network N on the photographing unit 13 side is connected to the operation control unit 11 and the network N on the data processing unit 12 side via the hub 14.
  • these components are installed in the factory.
  • the operation control unit 11 is a client terminal (PC) that controls the operation of the entire network N in the work operation rate measuring device 100, and has a model creation means 11A, a data analysis storage means 11B, and an operation rate calculation means 11C.
  • a hardware processor such as a CPU (Central Processing Unit) of a client terminal (PC) executes a program (software). It may be realized by.
  • the program may be stored in a storage medium.
  • the model creating means 11A photographs the inside of the shooting area EA with cameras (indicated by reference numeral CA) (described later) installed in a plurality of steps, and based on the shooting data, a work frame (indicated by reference numeral FL) (described later). ) Is machine-learned about the position of the worker's hand held inside, and a machine learning model for each camera CA is created.
  • the data analysis storage means 11B uses the machine learning model created by the model creation means 11A for the image in which the actual work is being performed, and whether or not the position of the worker's hand is included in the work frame FL.
  • the analysis data is analyzed and the analysis data is saved in chronological order.
  • the operating rate calculation means 11C obtains the operating rate in each work frame FL using the analysis data saved in the data analysis saving means 11B. Specific processing performed by the model creating means 11A, the data analysis saving means 11B, and the operating rate calculation means 11C will be described later.
  • the client terminal (PC) constituting the motion control unit 11 has a screen that can be displayed by GUI (Graphical User Interface), and machine learns the movement of the worker's hand in the factory. It is connected to a server 22 (described later) to be operated and a camera CA that captures an image as an input for its machine learning via a network.
  • GUI Graphic User Interface
  • the data processing unit 12 designates a VMS (Video Management System) server 20 for factories, a recording storage 21 for storing the shooting data of the camera CA supplied through the VMS server 20, and a holder for the shooting data stored in the recording storage 21. It is composed of an image analysis / WEB (World Wide Web) server 22 or the like that is saved as a log (log data) at any time.
  • the camera shooting data and the occasional log (log data) stored in the data processing unit 12 are defined as analysis data.
  • the photographing unit 13 includes a plurality of cameras CA (cameras C1, C2, C3, C4 ...) That photograph the production line 30.
  • the photographing unit 13 photographs the work table of each worker by these cameras CA.
  • a plurality of work frame FLs are set in the shooting area EA on the work table, which is photographed by the cameras CA (cameras C1, C2, C3, C4), respectively, as shown in FIG.
  • FIG. 2 shows, as an example, an example (settings A to D) in which four work frames FL are set in the shooting area EA on each work table.
  • one production line 30 is shown in FIG. 2, a similar photographing area EA may be provided in a plurality of production lines 30.
  • the model creation means 11A of the work operation rate measuring device 100 as described above is used for each camera CA (cameras C1, C2, C3, C4 ...) In the factory before actually detecting the worker's hand. , The worker moves his / her hand in front of the camera CA according to the instruction from the client terminal (PC) to create an optimum machine learning model according to the environment (described later with reference to FIGS. 3 to 4).
  • the data analysis storage means 11B of the work operation rate measuring device 100 detects a hand using a machine learning model optimized for each camera CA, and the detected hand is included in the area of the camera CA set in advance.
  • the log and the moving image of the detected hand displayed in the frame are stored in the server 22 as data for each time (described later with reference to FIG.
  • the operating rate calculation means 11C of the work operating rate measuring device 100 allows the line administrator to confirm the daily operating rate status on the client terminal (PC) by utilizing the log data and the moving image. It can be done (described later with reference to FIG. 6).
  • Step S1 In step S1, in a state where the cameras CA are installed in a plurality of processes of the factory, an instruction is given to the operator to hold his / her hand in the shooting area EA in front of the camera CA (see the part (A) in FIG. 3). In step S1 and the following steps, processing is executed for each of the cameras C1, C2, C3, and C4 constituting the camera CA.
  • Step S2 a general-purpose hand machine learning model is used to recognize the hand photographed by the camera CA (cameras C1, C2, C3, C4), and a frame of the size of the hand (a frame of the size that the hand fits in). ) Is displayed on the client terminal (PC) as the work frame FL. At this time, in the client terminal (PC), the size of the work frame FL for learning the hand in the camera CA (cameras C1, C2, C3, C4) is determined (see the part (A) in FIG. 3).
  • Step S3 In step S3, based on the instruction from the client terminal (PC), the worker places his / her hand in the work frame FL and holds his / her hand over (see the part (A) in FIG. 3).
  • step S4 based on the instruction from the client terminal (PC), the operator is made to perform operations such as front / back / rotation of the hands in the work frame FL for a specified time (see part (A) in FIG. 3).
  • step S5 the image data for each work frame FL is automatically labeled for machine learning at the size of a hand, so that each camera CA (cameras C1, C2, C3, C4) is subjected to labeling processing.
  • Machine learning is performed on the hand according to the environment (brightness / angle of view / type of hand / reflected background, etc.) (see part (A) in FIG. 3).
  • Step S6 in the shooting area EA shot by each camera C1, C2, C3, C4, the area divided into equal parts, for example, nine locations shown in the part (B) of FIG. 3 (indicated by reference numerals M1 to M9).
  • the machine learning is carried out while the operator holds his / her hand in the same order as before and operates as instructed (see part (B) of FIG. 3).
  • step S7 the learning model is updated when the nine locations set in step S6 are executed.
  • the machine learning model for each camera CA stored in the recording storage 21 via the image analysis / WEB server 22 becomes the optimum one according to the camera environment (see part (C) in FIG. 3). ).
  • step S8 in each of the cameras C1, C2, C3, and C4, the part to be actually confirmed as a work process is set as a square work frame FL by the GUI on the client terminal (PC). At this time, the vertical and horizontal sizes of the work frame FL and their coordinate positions can be changed (see the part (A) in FIG. 4).
  • step S9 if there are four work frame FLs for each of the cameras C1, C2, C3, and C4, the size and coordinate position of each of the four work frame FLs are set in the same manner ( (See part (B) and part (C) of FIG. 4).
  • step S10 using the machine learning model for each camera CA (cameras C1, C2, C3, C4) learned earlier, the worker's hand is in the work frame for the image of the line process in which the actual work is being performed. It is determined whether or not it is in the FL, and it is saved as ON-OFF data (ON: 1 / OFF: 0) in chronological order on the image analysis / WEB server 22 (parts (A) and (B) of FIG. 5). reference).
  • the part (A) of FIG. 5 the state in which the worker's hand is in the work frame FL (ON) is shown by a solid line, and the state in which the worker's hand is not in the work frame FL (OFF) is shown by a broken line.
  • the part (B) of FIG. 5 shows an image of ON-OFF data stored in the recording storage 21 through the VMS server 20 and the image data thereof.
  • step S11 the image data to which the work frame FL of the hand when the hand is detected is added to the image data analyzed at the same time is also saved. This is later saved to confirm how the hand was detected (part (B) in FIG. 5).
  • step S12 the operation rates of the plurality of processes are displayed on the client terminal (PC) using the log data and the image data saved earlier (see part (A) of FIG. 6).
  • part (A) of FIG. 6 an example is shown in which the operating rates for each work frame FL of a plurality of processes are displayed using a bar graph.
  • step S13 when the bar graph displayed in the part (A) of FIG. 6 is selected (when an operation such as clicking is performed), the operation rate of a plurality of processes for each time is displayed in the part (B) of FIG. Display. In the part (B) of FIG. 6, the operating rate for each time is shown in the part (A) of FIG. 6 when "setting D in the shooting area EA of the camera C1" is selected as an example.
  • Step S14 when the arrows e1 to e3 of the event are selected (clicked), the moving image at that time is displayed so that the details of what happened at that time can be understood.
  • the work operating rate measuring device 100 according to the present embodiment can be expected to have the following effects. That is, in the work operation rate measuring device 100 of the present embodiment, the control becomes lighter by setting the detection target only by the operator's hand, and the detection can be performed in real time.
  • the work operation rate measuring device 100 of the present embodiment has a machine learning model for each camera CA (cameras C1, C2, C3, C4), and by including pre-learning, hands in various environments can be accurately performed. It can be detected, and the actual operating rates of a plurality of processes can be efficiently grasped. Further, in the work operation rate measuring device 100 of the present embodiment, when the detection portion of the hand is a different object (for example, a tire), if the hand is replaced with a different object from the pre-learning stage, the hand can be used. It also has expandability in that it is possible to grasp the time when a non-object is in the work frame FL and to confirm the stagnation status of the product on the line.
  • the image data obtained by the camera CA is input, the hands according to the worker's environment are pre-learned in an interactive manner, and the worker's hands are placed in the work frame FL set in advance with the fixed point image. It can be used outside the factory as it only determines if there is a hand.
  • it is possible to collect data such as whether the learning proficiency is proportional to the time taken for notes for classrooms and cram schools, and it can be used as a new learning scale. can do.
  • the embodiment of the present invention can be applied to the field of a craftsman who actually performs manual work in a place where a camera can be installed indoors such as a beautician or a cook.
  • FIG. 2 (Modification 2)
  • four work frame FLs as shown in FIG. 2 are set in the shooting area EA of the cameras CA (cameras C1, C2, C3, C4), and in nine areas as shown in FIG. I tried to do machine learning.
  • the number of these work frame FLs and machine learning areas may be the same, and the administrator can freely set them.
  • the worker's hand in the image data processed in the embodiment means the part beyond the worker's wrist.
  • the worker is wearing gloves, or when the worker is holding some tools, jigs, stationery, etc. in his / her hand in the shooting area, he / she is wearing gloves, or , Tools, jigs, stationery, etc. may be treated as a "hand" and the image data may be analyzed.
  • the present invention relates to a work operation rate measuring device for measuring an operation rate when performing manual work within a work frame of a production line such as a factory, and a work operation rate measurement method.
  • Model creation means 2 Data analysis storage means 3 Operation rate calculation means 10 Work operation rate measurement device 11 Operation control unit 11A Model creation means 11B Data analysis storage means 11C Operation rate calculation means 12 Data processing unit 13 Imaging unit 14 Hub 20 VMS server 21 Recording storage 22 Image analysis / WEB server 30 Production line 100 Work utilization rate measuring device CA camera C1 camera C2 camera C3 camera C4 camera EA Shooting area FL Work frame N network

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Theoretical Computer Science (AREA)
  • Economics (AREA)
  • Strategic Management (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Educational Administration (AREA)
  • Development Economics (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Marketing (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Game Theory and Decision Science (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Primary Health Care (AREA)
  • Manufacturing & Machinery (AREA)
  • General Factory Administration (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

作業稼働率測定装置は、複数の工程に設置されたカメラで作業枠内を撮影するとともに、その撮影データに基づき作業枠内にかざした作業者の手の位置を機械学習させ、該カメラ毎の機械学習モデルを作成するモデル作成手段と、実際の作業を行っている画像に対して、モデル作成手段で作成された機械学習モデルを使って作業者の手の位置が作業枠内に含まれるか否かを解析するとともに該解析データを時系列に保存するデータ解析保存手段と、該データ解析保存手段で保存された解析データを使って各作業枠内の稼働率を求める稼働率演算手段と、を有する。

Description

作業稼働率測定装置及び作業稼働率測定方法
　本発明は、工場等の生産ラインの作業枠内で手作業を実施する際の稼働率を測定する作業稼働率測定装置及び作業稼働率測定方法に関する。
　工場など製造業界では、ＩｏＴ（Internet of Things）の活用が進み始めており、カメラなどで動画を撮影し、それを分析することにより、物のトレーサビリティの管理などに活用している場面が増加してきている。
　そして、工場などでは、このような画像を利用した分析のために、工場向けにＶＭＳ（Video Management System）の活用が近年増えている。工場内にカメラが設置され、画像データを様々な形で人工知能（ＡＩ：Artificial Intelligence）や機械学習などを使って分析して、全体をスマートファクトリ化しようとする流れがある。
　しかしながら、現状における工場内のライン管理者は、作業者に対して作業確認のためのヒアリングを実施する程度である。実際に作業者が稼働していない状況、例えば、単に作業場所に立っているだけで手が動いていない等の状況を把握することが難しい。
　このときの作業確認のためのヒアリングでは、複数の工程の実際の作業を目視により確認しつつ、当該作業の時間をストップウォッチにより計測するという手間を必要としていた。
　そして、このような問題を軽減するために以下の特許文献１～３が提案されている。特許文献１に示される技術では、動作が開始されてから終了するまでの実測値を求め、求めた実測値と特定した動作の内容とを用いて、動作の内容と時間との関係を規定するモデルを構築する動作特定部が用いられている。
　この動作特定部は、第１の位置情報としてデプスセンサから深度付の画像データを取得し、第２の位置情報としてデジタルカメラから画像データを取得する位置情報取得部の実測値に基づき、作業者の手の位置を特定する。
　さらに、この動作特定部では、特定した作業者の手の位置に基づき、作業者が行なった動作内容を特定するとともに、特定された動作内容と、取得された実測値とを用いてモデルの構築又は更新を実行する。
　特許文献２に示される技術では、カラーまたはモノクロ画像を生成できるカメラ等からなる距離センサと、作業台上で一連の作業を作業者が実行する間に撮影された時系列の複数の距離画像のそれぞれから、作業者の手を検出するプロセッサとが用いられている。
　プロセッサの手領域検出部は、画像上の手を検出するように予め学習された識別器を用いて手領域を検出することができ、また、画像の着目領域から抽出されたＨＯＧ特徴量（Histograms of Oriented Gradients）を識別器に入力することで、その着目領域に手領域が含まれるか否かを判定できる。
　特許文献３に示される技術では、サーバを制御する制御部内の分析部に、作業時間計測部と滞留時間計測部とが備えられている。
　作業時間計測部は持ち場で作業者が実際に作業している時間を計測し、滞留時間計測部は持ち場に作業者がいる時間を計測する。その後、分析結果表示画面で、分析用の映像が表示され、この映像上に分析情報、すなわち、これら計測結果に基づく作業時間及び滞留時間が重畳表示される。
国際公開第２０１７／２２２０７０号公報 日本国特開２０１９－１２０５７７号公報 日本国特開２０１９－２００５６０号公報
　上述した特許文献１～３には、動作内容と時間との関係を規定してモデル化するための技術、作業者が実行した作業量を計測しかつ計測後のデータを表示するための技術が示されている。
　しかしながら、これら特許文献１～３には、これら各技術が個別に示されるだけであり、これら技術を如何にして関連付けるかについての具体策が示されていない。
　この発明は、上述した事情に鑑みてなされた。この発明の目的の一例は、これまでにない新たな手法により、作業台上で実施されている作業の状況を効率良く分析して数値化することができる作業稼働率測定装置及び作業稼働率測定方法を提供することである。
　本発明の第１態様は、複数の工程にそれぞれ設けられた所定の作業枠内で手作業を実施する際の稼働率を測定する作業稼働率測定装置であって、複数の工程に設置されたカメラで作業枠内を撮影するとともに、その撮影データに基づき作業枠内にかざした作業者の手の位置を機械学習させ、該カメラ毎の機械学習モデルを作成するモデル作成手段と、実際の作業を行っている画像に対して、前記モデル作成手段で作成された機械学習モデルを使って作業者の手の位置が作業枠内に含まれるか否かを解析するとともに該解析データを時系列に保存するデータ解析保存手段と、該データ解析保存手段で保存された解析データを使って各作業枠内の稼働率を求める稼働率演算手段と、を有する。
　本発明の第２態様は、複数の工程にそれぞれ設けられた所定の作業枠内で手作業を実施する際の稼働率を測定する作業稼働率測定方法であって、複数の工程に設置されたカメラで作業枠内を撮影するとともに、その撮影データに基づき作業枠内にかざした作業者の手の位置を機械学習させ、該カメラ毎の機械学習モデルを作成するモデル作成工程と、実際の作業を行っている画像に対して、前記モデル作成工程で作成された機械学習モデルを使って作業者の手の位置が作業枠内に含まれるか解析するとともに該解析データを時系列に保存するデータ解析保存工程と、該データ解析保存工程で保存された解析データを使って各作業枠内の稼働率を求める稼働率演算工程と、を有する。
　本発明の実施形態では、複数の工程の作業枠のカメラ毎に機械学習モデルを設定し、事前学習までを含めることで、様々な環境における手を精度良く検出でき、複数の工程の稼働率を効率良く把握することができる。
本発明の実施形態に係る作業稼働率測定装置の構成を示す図である。 本発明の実施形態に係る作業稼働率測定装置の概略構成図である。 画像エリア内にて機械学習を実施するための手順を示す説明図である。 画像エリア内の作業枠のサイズを確定させるための手順を示す説明図である。 作業工程内において実際の手を検出するためのイメージ図である。 クライアント端末（ＰＣ）での稼働率の表示例を示す図である。 作業稼働率測定装置の具体的動作を示すフローチャートである。
　本発明の実施形態に係る作業稼働率測定装置１０の構成について図１を参照して説明する。この作業稼働率測定装置１０は、モデル作成手段（モデル作成部）１、データ解析保存手段（データ解析保存部）２及び稼働率演算手段（稼働率演算部）３を有する。これら手段１～３により、生産ラインの工程にそれぞれ設けられた所定の作業枠内で手作業を実施する際の稼働率を測定する。
　作業稼働率測定装置１０を構成する各手段１～３について説明する。
　モデル作成手段１は、複数の工程に設置されたカメラで作業枠内を撮影するとともに、その撮影データに基づき作業枠内にかざした作業者の手の位置を機械学習させ、カメラ毎の機械学習モデルを作成する。
　データ解析保存手段２は、実際の作業を行っている画像に対して、モデル作成手段１で作成された機械学習モデルを使って、作業者の手の位置が作業枠内に含まれるか否かを解析するとともにその解析データを時系列に保存する。
　稼働率演算手段３は、データ解析保存手段２で保存された解析データを使って各作業枠内の稼働率を求める。
　そして、以上のように構成された作業稼働率測定装置１０によれば、複数の工程に設置されたカメラで作業枠内を撮影するとともに、その撮影データに基づき作業枠内にかざした作業者の手の位置を機械学習させ、カメラ毎の機械学習モデルを作成する。その後、実際の作業を行っている画像に対して、モデル作成手段１で作成された機械学習モデルを使って作業者の手の位置が作業枠内に含まれるか否かを解析するとともに解析データを時系列に保存した後、保存された解析データを使って各作業枠内の稼働率を求めることができる。
　これにより作業稼働率測定装置１０では、作業者の手のみを検出対象として複数の工程の稼働率を求めることができるので、全体の制御動作が軽くなり、リアルタイムでの稼働率検出が可能となる。
　また、作業稼働率測定装置１０では、複数の工程の作業枠のカメラ毎に機械学習モデルを設定し、事前学習までを含めることで、様々な環境における手を精度良く検出することができ、複数の工程の稼働率を効率良く把握することができる。
（実施形態）
　本発明の実施形態について図２～図７を参照して説明する。
　図２は実施形態に係る作業稼働率測定装置１００の全体構成図である。作業稼働率測定装置１００は、ネットワークＮに直接接続された動作制御部１１、データ処理部１２及び撮影部１３を有する。
　撮影部１３で撮影される撮影エリアは符号ＥＡで示されている。また、撮影部１３側のネットワークＮは、動作制御部１１及びデータ処理部１２側のネットワークＮに対してハブ１４を介して接続されている。
　また、これらの構成要素は工場内に設置されている。
　動作制御部１１は作業稼働率測定装置１００内のネットワークＮ全体の動作を制御するクライアント端末（ＰＣ）であって、モデル作成手段１１Ａと、データ解析保存手段１１Ｂ及び稼働率演算手段１１Ｃを有する。モデル作成手段１１Ａと、データ解析保存手段１１Ｂ及び稼働率演算手段１１Ｃの各構成要素は、例えば、クライアント端末（ＰＣ）のＣＰＵ（Central Processing Unit）などのハードウェアプロセッサがプログラム（ソフトウェア）を実行することにより実現されてもよい。プログラムは、記憶媒体に格納されていてもよい。
　モデル作成手段１１Ａは、複数の工程に設置されたカメラ（符号ＣＡで示す）（後述する）で撮影エリアＥＡ内を撮影するとともに、その撮影データに基づき作業枠（符号ＦＬで示す）（後述する）内にかざした作業者の手の位置を機械学習させ、カメラＣＡ毎の機械学習モデルを作成する。
　データ解析保存手段１１Ｂは、実際の作業を行っている画像に対して、モデル作成手段１１Ａで作成された機械学習モデルを使って、作業者の手の位置が作業枠ＦＬ内に含まれるか否かを解析するとともにその解析データを時系列に保存する。
　稼働率演算手段１１Ｃは、データ解析保存手段１１Ｂで保存された解析データを使って各作業枠ＦＬ内の稼働率を求める。
　これらモデル作成手段１１Ａ、データ解析保存手段１１Ｂ、稼働率演算手段１１Ｃで実施される具体的な処理については後述する。
　また、動作制御部１１を構成するクライアント端末（ＰＣ）は、図２に示されるように、ＧＵＩ（Graphical User Interface）で表示できる画面を有するとともに、工場内において作業者の手の動きを機械学習させるサーバ２２（後述する）及びその機械学習のインプットとなる画像を撮影するカメラＣＡにネットワークを介して接続されている。
　データ処理部１２は、工場向けのＶＭＳ（Video Management System）サーバ２０、ＶＭＳサーバ２０を通じて供給されるカメラＣＡの撮影データを記憶する録画ストレージ２１、及び録画ストレージ２１に記憶する撮影データのホルダーを指定し、随時ログ（ログデータ）として保存する画像解析／ＷＥＢ（World Wide Web）サーバ２２等からなる。データ処理部１２で保存されるカメラの撮影データ及び随時ログ（ログデータ）を解析データと定義する。
　撮影部１３は生産ライン３０を撮影する複数のカメラＣＡ（カメラＣ１，Ｃ２，Ｃ３，Ｃ４・・）からなる。撮影部１３は、これらカメラＣＡにより各作業者の作業台をそれぞれ撮影する。
　図２において、カメラＣＡ（カメラＣ１，Ｃ２，Ｃ３，Ｃ４）によりそれぞれ撮影される作業台上の撮影エリアＥＡには、図２に示されるように複数の作業枠ＦＬが設定される。
　また、図２では、一例として各作業台上の撮影エリアＥＡ内に作業枠ＦＬが４つ設定された場合の例（設定Ａ～設定Ｄ）が示されている。
　また、図２では、１つの生産ライン３０が示されているが、複数の生産ライン３０に同様の撮影エリアＥＡを設けて良い。
　そして、以上のような作業稼働率測定装置１００のモデル作成手段１１Ａは、実際に作業者の手を検出する前に、工場内のカメラＣＡ（カメラＣ１，Ｃ２，Ｃ３，Ｃ４・・）毎に、作業者がクライアント端末（ＰＣ）からの指示に従って、手をカメラＣＡの前で動かすことにより、その環境に応じた最適な機械学習モデルを作成する（図３～図４により後述する）。
　その後、作業稼働率測定装置１００のデータ解析保存手段１１Ｂは、カメラＣＡ毎で最適化された機械学習モデルを使って手を検出し、予め設定したカメラＣＡのエリア内に検出した手が含まれるかを解析し、ログと検出した手を枠で表示した動画とをサーバ２２に時刻毎のデータとして保存する（図５により後述する）。
　その後、作業稼働率測定装置１００の稼働率演算手段１１Ｃは、ログデータと動画を活用することで、ライン管理者がクライアント端末（ＰＣ）上にて１日の稼働率の状況を確認することができる（図６により後述する）。
　次に、図７のフローチャートを参照して、作業稼働率測定装置１００の動作制御部１１、データ処理部１２及び撮影部１３の具体的動作についてステップ（Ｓ）毎に順次説明する。
　以下の「事前学習フェーズ」は動作制御部１１のモデル作成手段１１Ａで実行される処理である。また、「事前学習後の作業範囲枠設定フェーズ」及び「手の検出フェーズ」は動作制御部１１のデータ解析保存手段１１Ｂで実行される処理である。また、「クライアント端末（ＰＣ）による稼働率確認」は動作制御部１１の稼働率演算手段１１Ｃで実行される処理である。
〔事前学習フェーズ〕 
　まず、動作制御部１１のモデル作成手段１１Ａで実行される「事前学習フェーズ」について、ステップＳ１～Ｓ７を参照して説明する。
〔ステップＳ１〕
　ステップＳ１では、工場の複数の工程にカメラＣＡが設置された状態において、カメラＣＡ前の撮影エリアＥＡにて作業者に手をかざすように指示を出す（図３の部分（Ａ）参照）。なお、ステップＳ１及び以下のステップでは、カメラＣＡを構成するカメラＣ１，Ｃ２，Ｃ３，Ｃ４のそれぞれについて処理を実行する。
〔ステップＳ２〕
　ステップＳ２では、汎用の手の機械学習モデルを使って、カメラＣＡ（カメラＣ１，Ｃ２，Ｃ３，Ｃ４）で撮影した手を認識し、その手の大きさの枠（手が収まる大きさの枠）を作業枠ＦＬとしてクライアント端末（ＰＣ）に表示させる。
　このとき、クライアント端末（ＰＣ）では、そのカメラＣＡ（カメラＣ１，Ｃ２，Ｃ３，Ｃ４）において手を学習するための作業枠ＦＬのサイズを確定させる（図３の部分（Ａ）参照）。
〔ステップＳ３〕
　ステップＳ３では、クライアント端末（ＰＣ）からの指示に基づき、作業者に作業枠ＦＬ内に手を置きかつその手をかざしてもらう（図３の部分（Ａ）参照）。
〔ステップＳ４〕
　ステップＳ４では、クライアント端末（ＰＣ）からの指示に基づき、作業者に作業枠ＦＬ内にて手を表／裏／回転などの動作を指定時間実施させる（図３の部分（Ａ）参照）。
〔ステップＳ５〕
　ステップＳ５では、作業枠ＦＬ毎の画像データに対して、手の大きさで機械学習のためのラベリング処理を自動で実施することで、そのカメラＣＡ（カメラＣ１，Ｃ２，Ｃ３，Ｃ４）毎の環境（明るさ／画角／手の種別／写りこむ背景など）に応じて、手について機械学習を行う（図３の部分（Ａ）参照）。
〔ステップＳ６〕
　ステップＳ６では、各カメラＣ１，Ｃ２，Ｃ３，Ｃ４で撮影される撮影エリアＥＡにて、等分に区分けしたエリア、例えば図３の部分（Ｂ）に示す９箇所（符号Ｍ１～Ｍ９で示す）に対して、順次先ほどの順序で作業者に手をかざさせて、指示通りに動作させながら機械学習を実施する（図３の部分（Ｂ）参照）。
〔ステップＳ７〕
　ステップＳ７では、ステップＳ６で設定した９箇所を実施した時点で、学習モデルの更新を行なう。これにより、画像解析／ＷＥＢサーバ２２を経由して録画ストレージ２１に保存しているカメラＣＡ毎の機械学習モデルが、そのカメラ環境に応じた最適なものとなる（図３の部分（Ｃ）参照）。
〔事前学習後の作業範囲枠設定フェーズ〕
　次に、動作制御部１１のデータ解析保存手段１１Ｂで実行される「事前学習後の作業範囲枠設定フェーズ」について、ステップＳ８及びＳ９を参照して説明する。
〔ステップＳ８〕
　ステップＳ８では、各カメラＣ１，Ｃ２，Ｃ３，Ｃ４において、実際に作業工程として確認したい部分を、四角の作業枠ＦＬとしてクライアント端末（ＰＣ）上のＧＵＩにて設定する。
　このとき、作業枠ＦＬは縦横の大きさとその座標位置を変更できるものとする（図４の部分（Ａ）参照）。
〔ステップＳ９〕
　ステップＳ９では、各カメラＣ１，Ｃ２，Ｃ３，Ｃ４に対して、それぞれ４箇所の作業枠ＦＬがあった場合には、これら各４箇所の作業枠ＦＬについて同様に大きさと座標位置を設定する（図４の部分（Ｂ）及び部分（Ｃ）参照）。
〔手の検出フェーズ〕
　次に、動作制御部１１のデータ解析保存手段１１Ｂで実行される「手の検出フェーズ」について、ステップＳ１０及びＳ１１を参照して説明する。
〔ステップＳ１０〕
　ステップＳ１０では、先ほど学習したカメラＣＡ（カメラＣ１，Ｃ２，Ｃ３，Ｃ４）毎の機械学習モデルを使って、実際の作業を行っているライン工程の画像に対して、作業者の手が作業枠ＦＬに入っているかどうかを判断し、画像解析／ＷＥＢサーバ２２上に時系列でＯＮ-ＯＦＦデータ（ＯＮ：１／ＯＦＦ：０）として保存する（図５の部分（Ａ）及び部分（Ｂ）参照）。　
　図５の部分（Ａ）では、作業者の手が作業枠ＦＬに入っている状態（ＯＮ）を実線で示し、作業者の手が作業枠ＦＬに入っていない状態（ＯＦＦ）を破線で示している。
　また、図５の部分（Ｂ）はＶＭＳサーバ２０を通じて録画ストレージ２１に記憶されるＯＮ-ＯＦＦデータと、その画像データをイメージ化した図を示している。
〔ステップＳ１１〕
　ステップＳ１１では、同時に分析した画像データに対して、手を検出した際の手の作業枠ＦＬを付加した画像データも保存しておく。これは、後ほど、手を検出した状態がどのようであったかを確認するために保存するものである（図５の部分（Ｂ））。
〔クライアント端末（ＰＣ）による稼働率確認〕
　次に、動作制御部１１の稼働率演算手段１１Ｃで実行される「クライアント端末（ＰＣ）による稼働率確認」について、ステップＳ１２～Ｓ１４を参照して説明する。
〔ステップＳ１２〕
　ステップＳ１２では、先ほど保存したログデータと画像データを使って、クライアント端末（ＰＣ）にて複数の工程の稼働率を表示させる（図６の部分（Ａ）参照）。
　図６の部分（Ａ）では、複数の工程の作業枠ＦＬ毎の稼働率が棒グラフを使って表示された例が示されている。
〔ステップＳ１３〕
　ステップＳ１３では、図６の部分（Ａ）で表示された棒グラフを選択した場合（クリック等の操作をした場合）に、図６の部分（Ｂ）にて複数の工程の時刻毎の稼働率を表示させる。
　図６の部分（Ｂ）では、図６の部分（Ａ）において、一例として「カメラＣ１の撮影エリアＥＡ内にある設定Ｄ」が選択された場合の時刻毎の稼働率が示されている。
　なお、このときの表示では、作業者が作業を全くしていない（手が作業枠ＦＬに入っていない、又はずっと手が検出され続けている）などの異常時に、例えば図６の部分（Ｂ）に矢印ｅ１～ｅ３で示すような、予めアラームが出るように設定したイベントも併せて列記させる（図６の部分（Ｂ）参照）。
〔ステップＳ１４〕
　ステップＳ１４では、イベントの矢印ｅ１～ｅ３を選択（クリック）した場合に、その際に何があったかの詳細がわかるようにその時刻の動画を表示させる。
　以上詳細に説明したように本実施形態に係る作業稼働率測定装置１００では、以下の効果が期待できる。
　すなわち、本実施形態の作業稼働率測定装置１００では、作業者の手のみの検出対象とすることで制御が軽くなり、リアルタイムでの検出ができる。
　また、本実施形態の作業稼働率測定装置１００では、カメラＣＡ（カメラＣ１，Ｃ２，Ｃ３，Ｃ４）毎に機械学習モデルを持ち、事前学習までを含めることで、様々な環境における手を精度良く検出することができ、実際の複数の工程の稼働率を効率良く把握することができる。
　また、本実施形態の作業稼働率測定装置１００では、手の検出部分を違う物体（例えば、タイヤなど）にした場合に、事前学習の段階から手を違う物体に置き換えて実施すれば、手ではない物体が作業枠ＦＬ内にあった時間を把握することができ、ラインにおける製造物の停滞状況も確認することができるという拡張性も有する。
（変形例１）
　上記実施形態では、カメラＣＡにより得られた画像データを入力として、作業者の環境に応じた手を対話的な形により事前学習を行い、予め定点画像で設定した作業枠ＦＬ内に作業者の手があるかどうかのみを判定するため、工場以外でも利用可能である。
　一例として、本発明の実施形態を用いれば、教室や学習塾向けに、ノートを取っている時間に対して学習の習熟度が比例するかといったデータも収集可能であり、新たな学習の尺度とすることができる。さらに、本発明の実施形態は、美容師や料理人といった屋内にてカメラ設置可能な場所で、実際に手作業を行う職人の分野にも適用可能である。
（変形例２）
　上記実施形態では、カメラＣＡ（カメラＣ１，Ｃ２，Ｃ３，Ｃ４）の撮影エリアＥＡにて、図２に示すような４つの作業枠ＦＬを設定し、図３に示すように９つのエリアにて機械学習を行うようにした。
　これら作業枠ＦＬ及び機械学習のエリアの数は同数であっても良く、管理者が自由に設定することができる。
　なお実施形態で処理される画像データにおける作業者の手とは、作業者の手首より先の部分を意味する。しかしながら、例えば、作業者が手袋を装着している場合、あるいは、撮影エリア内で作業者が何らかの工具、治具、文房具等を手に保持している場合には、手袋を装着した状態、あるいは、工具、治具、文房具等を保持した状態の画像を「手」として取り扱って、画像データを解析しても良い。
　以上、本発明の実施形態について図面を参照して詳述したが、具体的な構成はこの実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。
　この出願は、２０２０年２月１８日に出願された日本国特願２０２０－０２５４９７を基礎とする優先権を主張し、その開示の全てをここに取り込む。
　本発明は、工場等の生産ラインの作業枠内で手作業を実施する際の稼働率を測定する作業稼働率測定装置及び作業稼働率測定方法に関する。
　１　モデル作成手段
　２　データ解析保存手段
　３　稼働率演算手段
　１０　作業稼働率測定装置
　１１　動作制御部
　１１Ａ　モデル作成手段
　１１Ｂ　データ解析保存手段
　１１Ｃ　稼働率演算手段
　１２　データ処理部
　１３　撮影部
　１４　ハブ
　２０　ＶＭＳサーバ
　２１　録画ストレージ
　２２　画像解析／ＷＥＢサーバ
　３０　生産ライン
　１００　作業稼働率測定装置
　ＣＡ　カメラ
　Ｃ１　カメラ
　Ｃ２　カメラ
　Ｃ３　カメラ
　Ｃ４　カメラ
　ＥＡ　撮影エリア
　ＦＬ　作業枠
　Ｎ　ネットワーク

Claims (8)

  1. 　複数の工程にそれぞれ設けられた所定の作業枠内で手作業を実施する際の稼働率を測定する作業稼働率測定装置であって、
    　複数の前記工程に設置されたカメラで作業枠内を撮影するとともに、その撮影データに基づき作業枠内にかざした作業者の手の位置を機械学習させ、該カメラ毎の機械学習モデルを作成するモデル作成手段と、
    　実際の作業を行っている画像に対して、前記モデル作成手段で作成された機械学習モデルを使って作業者の手の位置が作業枠内に含まれるか否かを解析するとともに該解析により得た解析データを時系列に保存するデータ解析保存手段と、
    　該データ解析保存手段で保存された解析データを使って各作業枠内の稼働率を求める稼働率演算手段と、を有する作業稼働率測定装置。
  2. 　前記モデル作成手段では、前記作業枠内にて作業者が手を表向き、裏向き、回転、の少なくともいずれかをさせる状態変化、前記作業枠内における手の近傍における、明るさ、画角、種別、明るさ、映り込みの少なくともいずれかの背景作業環境を基にして前記機械学習を行わせる請求項１に記載の作業稼働率測定装置。
  3. 　前記モデル作成手段では、作業工程の作業エリアに設置された１つのカメラの撮影エリアに対して複数の作業枠を設定する請求項１又は２のいずれか１項に記載の作業稼働率測定装置。
  4. 　前記データ解析保存手段では、作業者の手と作業枠との位置関係を表す動画を、ログデータとともに時刻毎の解析データとしてサーバに保存する請求項１～３のいずれか１項に記載の作業稼働率測定装置。
  5. 　前記稼働率演算手段では、前記作業枠内に作業者の手が存在するか否かを示すＯＮおよびまたはＯＦＦデータに基づき当該作業枠内の稼働率を演算する請求項１～４のいずれか１項に記載の作業稼働率測定装置。
  6. 　前記稼働率演算手段では、演算した作業枠内の稼働率を時間毎にグラフ表示する請求項１～５のいずれか１項に記載の作業稼働率測定装置。
  7. 　前記データ解析保存手段では、前記作業者の手以外の物体画像の滞留時間を解析する請求項１～６のいずれか１項に記載の作業稼働率測定装置。
  8. 　複数の工程にそれぞれ設けられた所定の作業枠内で手作業を実施する際の稼働率を測定する作業稼働率測定方法であって、
    　複数の前記工程に設置されたカメラで作業枠内を撮影するとともに、その撮影データに基づき作業枠内にかざした作業者の手の位置を機械学習させ、該カメラ毎の機械学習モデルを作成するモデル作成工程と、
    　実際の作業を行っている画像に対して、前記モデル作成工程で作成された機械学習モデルを使って作業者の手の位置が作業枠内に含まれるか解析するとともに該解析により得た解析データを時系列に保存するデータ解析保存工程と、
    　該データ解析保存工程で保存された解析データを使って各作業枠内の稼働率を求める稼働率演算工程と、を有する作業稼働率測定方法。
PCT/JP2021/004573 2020-02-18 2021-02-08 作業稼働率測定装置及び作業稼働率測定方法 WO2021166716A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202180014694.2A CN115104113A (zh) 2020-02-18 2021-02-08 作业率测量设备和作业率测量方法
EP21757397.1A EP4109362A4 (en) 2020-02-18 2021-02-08 WORK RATE MEASUREMENT DEVICE AND WORK RATE MEASUREMENT METHOD
US17/796,335 US20230068757A1 (en) 2020-02-18 2021-02-08 Work rate measurement device and work rate measurement method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020025497A JP7180886B2 (ja) 2020-02-18 2020-02-18 作業稼働率測定装置及び作業稼働率測定方法
JP2020-025497 2020-02-18

Publications (1)

Publication Number Publication Date
WO2021166716A1 true WO2021166716A1 (ja) 2021-08-26

Family

ID=77391143

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/004573 WO2021166716A1 (ja) 2020-02-18 2021-02-08 作業稼働率測定装置及び作業稼働率測定方法

Country Status (5)

Country Link
US (1) US20230068757A1 (ja)
EP (1) EP4109362A4 (ja)
JP (2) JP7180886B2 (ja)
CN (1) CN115104113A (ja)
WO (1) WO2021166716A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116341281B (zh) * 2023-05-12 2023-08-15 中国恩菲工程技术有限公司 作业率的确定方法及系统、存储介质、终端

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000180162A (ja) * 1998-12-11 2000-06-30 Hitachi Plant Eng & Constr Co Ltd 作業分析装置
WO2017222070A1 (ja) 2016-06-23 2017-12-28 Ｎｅｃソリューションイノベータ株式会社 作業分析装置、作業分析方法、及びコンピュータ読み取り可能な記録媒体
JP2019086827A (ja) * 2017-11-01 2019-06-06 キヤノン株式会社 情報処理装置、情報処理方法
JP2019120577A (ja) 2018-01-04 2019-07-22 富士通株式会社 位置推定装置、位置推定方法及び位置推定用コンピュータプログラム
JP2019200560A (ja) 2018-05-16 2019-11-21 パナソニックＩｐマネジメント株式会社 作業分析装置および作業分析方法
JP2020025497A (ja) 2018-08-10 2020-02-20 国立大学法人東京工業大学 再構成膜、再構成膜の作成方法、光酸化反応駆動方法、および、メタノール製造方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150193424A1 (en) * 2014-01-07 2015-07-09 Samsung Electronics Co., Ltd. Method of changing dynamic screen layout and electronic device
US20160125348A1 (en) * 2014-11-03 2016-05-05 Motion Insight LLC Motion Tracking Wearable Element and System
JP7032308B2 (ja) * 2016-03-31 2022-03-08 住友重機械工業株式会社 建設機械用作業管理システム及び建設機械
US11619927B2 (en) * 2017-11-03 2023-04-04 Drishti Technologies, Inc. Automatic analysis of real time conditions in an activity space
CN108564279A (zh) 2018-04-12 2018-09-21 同济大学 一种考虑认知的生产线手工工位人因复杂性测度方法
EP3788542A1 (en) * 2018-05-03 2021-03-10 3M Innovative Properties Company Personal protective equipment system with augmented reality for safety event detection and visualization

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000180162A (ja) * 1998-12-11 2000-06-30 Hitachi Plant Eng & Constr Co Ltd 作業分析装置
WO2017222070A1 (ja) 2016-06-23 2017-12-28 Ｎｅｃソリューションイノベータ株式会社 作業分析装置、作業分析方法、及びコンピュータ読み取り可能な記録媒体
JP2019086827A (ja) * 2017-11-01 2019-06-06 キヤノン株式会社 情報処理装置、情報処理方法
JP2019120577A (ja) 2018-01-04 2019-07-22 富士通株式会社 位置推定装置、位置推定方法及び位置推定用コンピュータプログラム
JP2019200560A (ja) 2018-05-16 2019-11-21 パナソニックＩｐマネジメント株式会社 作業分析装置および作業分析方法
JP2020025497A (ja) 2018-08-10 2020-02-20 国立大学法人東京工業大学 再構成膜、再構成膜の作成方法、光酸化反応駆動方法、および、メタノール製造方法

Also Published As

Publication number Publication date
JP2022164831A (ja) 2022-10-27
CN115104113A (zh) 2022-09-23
EP4109362A1 (en) 2022-12-28
JP2021131626A (ja) 2021-09-09
JP7486751B2 (ja) 2024-05-20
JP7180886B2 (ja) 2022-11-30
EP4109362A4 (en) 2023-07-26
US20230068757A1 (en) 2023-03-02

Similar Documents

Publication Publication Date Title
US10657477B2 (en) Work data management system and work data management method
US11842511B2 (en) Work analyzing system and work analyzing method
JP6717572B2 (ja) 作業分析システム及び作業分析方法
JP2007133908A (ja) 建設工事の検査を支援する方法および装置
US20200193354A1 (en) Information processing device and production instruction support method
WO2021166716A1 (ja) 作業稼働率測定装置及び作業稼働率測定方法
CN115331002A (zh) 一种基于ar眼镜实现热力站故障远程处理方法
CN114846514A (zh) 作业分析装置和作业分析方法
DE102019219485A1 (de) System und verfahren für standardisierte evaluation einer aktivitätssequenz
CN112130572A (zh) 一种基于穿戴式设备的机电设备养护单兵辅助方法及系统
JP2023018016A (ja) 管理システムおよび原因分析システム
JP6897100B2 (ja) 判定装置、判定方法、および判定プログラム
US20230267767A1 (en) Image processing device, image processing method, and non-transitory computer readable medium
JP2021157550A (ja) 検出装置及びプログラム
KR20220030548A (ko) 영상 분석 기반 작업 동작 인식 장치 및 방법
KR20200002590A (ko) 검사 결과 제시 장치, 검사 결과 제시 방법 및 검사 결과 제시 프로그램
WO2023286393A1 (ja) 情報処理システム及び情報処理方法
WO2023008330A1 (ja) 作業状況分析システム及び作業状況分析方法
WO2023181804A1 (ja) 作業分析装置および作業分析方法
WO2023181805A1 (ja) 作業分析装置および作業分析方法
JP7376446B2 (ja) 作業分析プログラム、および、作業分析装置
US20240153069A1 (en) Method and arrangement for testing the quality of an object
JP2024007178A (ja) 画像処理装置、画像処理方法、およびプログラム
JP2024019350A5 (ja) 情報処理装置、サーバ装置、情報処理装置の制御方法、サーバ装置の制御方法、及びプログラム
Sakurai et al. Anomaly Detection System for Assembly Cells Using Skeletal Information

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21757397

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2021757397

Country of ref document: EP

Effective date: 20220919