WO2022209082A1 - 作業分析装置 - Google Patents

作業分析装置 Download PDF

Info

Publication number
WO2022209082A1
WO2022209082A1 PCT/JP2021/048251 JP2021048251W WO2022209082A1 WO 2022209082 A1 WO2022209082 A1 WO 2022209082A1 JP 2021048251 W JP2021048251 W JP 2021048251W WO 2022209082 A1 WO2022209082 A1 WO 2022209082A1
Authority
WO
WIPO (PCT)
Prior art keywords
work
information
worker
probability
control unit
Prior art date
Application number
PCT/JP2021/048251
Other languages
English (en)
French (fr)
Inventor
大治郎 市村
秀彦 秦
知一 一力
Original Assignee
パナソニックIpマネジメント株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニックIpマネジメント株式会社 filed Critical パナソニックIpマネジメント株式会社
Priority to CN202180096458.XA priority Critical patent/CN117121029A/zh
Priority to JP2023510264A priority patent/JPWO2022209082A1/ja
Publication of WO2022209082A1 publication Critical patent/WO2022209082A1/ja
Priority to US18/369,262 priority patent/US20240005256A1/en

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/06Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063Operations research, analysis or management
    • G06Q10/0639Performance analysis of employees; Performance analysis of enterprise or organisation operations
    • G06Q10/06398Performance of employee with respect to a job function
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/06Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/06Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063Operations research, analysis or management
    • G06Q10/0633Workflow analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/08Logistics, e.g. warehousing, loading or distribution; Inventory or stock management

Definitions

  • the present disclosure relates to a work analysis device and method.
  • Patent Document 1 discloses an analysis device that analyzes the work content during the preparatory work time before the start of operation of the paper converting machine.
  • the analysis device of Patent Document 1 detects the working position of the operator of the paper converting machine, and creates an operator's motion diagram based on the detection result.
  • the analysis device of Patent Document 1 separates the operation details of the paper converting machine and the operator's corresponding work details as a table that shows the work details in the preparation work time by item based on the work process data and the paper converting machine operation data. Create a graph showing the work time for each item. Based on these creation results, the analysis apparatus of Patent Document 1 selects an improvement item for improving production efficiency, such as longer work time than the standard time, for the work process in the preparation work time.
  • the present disclosure provides a work analysis device capable of estimating work performed by a worker when one or more workers perform a plurality of works.
  • a work analysis device generates information regarding multiple works performed by one or more workers in a workplace.
  • the work analysis device includes a storage unit, an acquisition unit, and a control unit.
  • the storage unit stores map information indicating an area associated with each work in the workplace.
  • the acquisition unit acquires position information including the position of the worker at each time in the workplace.
  • the control unit performs arithmetic processing for determining work performed by the worker at each time based on the position information and the map information. Based on the position information, the control unit generates probability information indicating the probability that the work associated with the area including the position of the worker at each time in the map information is performed by the worker in the workplace.
  • the probability information is corrected according to work tendency information indicating the tendency of work to be performed.
  • the work performed by the workers can be estimated.
  • FIG. 1 is a diagram showing an overview of a work analysis system according to the first embodiment
  • FIG. Block diagram illustrating the configuration of a work analysis device in the work analysis system A diagram for explaining map data in a work analysis device
  • a diagram for explaining work area information and person-in-charge information in a work analysis device Diagram for explaining issues related to work analysis equipment
  • Diagram for explaining issues related to work analysis equipment Flowchart for explaining the overall operation of the work analysis device
  • Flowchart illustrating work determination processing
  • Diagram for explaining work determination processing Flowchart exemplifying correction processing for each worker
  • FIG. 8 is a block diagram illustrating the configuration of an information presentation device in the work analysis system of Embodiment 2; Flowchart for explaining the overall operation of the work analysis device according to the second embodiment Flowchart illustrating the operation of the information presentation device
  • FIG. 1 is a diagram showing an overview of a work analysis system 1 according to this embodiment.
  • This system 1 includes a camera 2 and a work analysis device 5, as shown in FIG.
  • This system 1 is applied to analyze the efficiency of workers W1, W2, and W3 who perform a plurality of tasks in a workplace 6 such as a distribution warehouse.
  • the system 1 may comprise a monitor 4 for presenting an analysis chart 7 for a given analysis period to a user 3, for example a manager of a workshop 6 or an analyst.
  • the analysis period is a period to be analyzed by image recognition or the like using the camera 2 in the system 1, and is set in advance from one day to several months, for example.
  • a transport line 61 and a shelf 62 are installed in the workplace 6.
  • the plurality of tasks performed by each worker W1 to W3 while moving in the workplace 6 are "collection” of picking up products from the shelves 62, “boxing” of packing the products into boxes on the transport line 61, and “boxing”. Includes “box prep” to prepare the box.
  • the analysis chart 7 of the system classifies each work into "main work", "secondary work” and "non-work” according to the value added by the work, for each worker W1 to W3 Shows the ratio of each item during the analysis period.
  • boxing is the main work
  • the sub-work related to the main work is collection, box preparation, movement toward the transfer line 61 or shelf 62, and other auxiliary work. Waiting states that are not related to main work are classified as non-work.
  • the work to be analyzed by the work analysis device 5 is not limited to main work and sub-work, and includes non-work.
  • the user 3 can analyze the work contents of each of the workers W1 to W3 in order to consider improving the work efficiency of the workplace 6, for example. can do.
  • the camera 2 of this system 1 is arranged, for example, so that the entire range in which the workers W1 to W3 move in the workplace 6 is captured.
  • the camera 2 repeats the imaging operation at predetermined intervals, for example, in the workplace 6, and generates image data representing the captured image.
  • the camera 2 is connected to the work analysis device 5 such that image data is transmitted to the work analysis device 5, for example.
  • the camera 2 included in the system 1 is not limited to one camera, and may be two or more cameras.
  • the work analysis device 5 is composed of an information processing device such as a server device, for example.
  • the work analysis device 5 is communicably connected to an external information processing device such as a PC including the monitor 4 .
  • a configuration of the work analysis device 5 will be described with reference to FIG. 2 .
  • FIG. 2 is a block diagram illustrating the configuration of the work analysis device 5 .
  • the work analysis device 5 illustrated in FIG. 2 includes a control unit 50 , a storage unit 52 , an operation unit 53 , an equipment interface 54 and an output interface 55 .
  • the interface is abbreviated as "I/F".
  • the control unit 50 includes, for example, a CPU or MPU that cooperates with software to realize a predetermined function, and controls the overall operation of the work analysis device 5.
  • the control unit 50 reads the data and programs stored in the storage unit 52 and performs various arithmetic processing to realize various functions.
  • the control unit 50 includes an image recognition unit 51 as a functional configuration.
  • the image recognition unit 51 applies various image recognition techniques to the image data to recognize preset positions of the workers W1 to W3 to be processed in the image indicated by the image data, and outputs the recognition result. do.
  • the recognition result may include, for example, information indicating the time when the position to be processed was recognized.
  • the recognition result is an example of position information in this embodiment.
  • the image recognition unit 51 performs image recognition processing using a model trained by a neural network such as a convolutional neural network. Image recognition processing may be performed by various image recognition algorithms.
  • the control unit 50 executes a program containing a group of commands for realizing the functions of the work analysis device 5, for example.
  • the above program may be provided from a communication network such as the Internet, or may be stored in a portable recording medium.
  • the control unit 50 may include an internal memory as a temporary storage area for holding various data and programs.
  • control unit 50 may be a hardware circuit such as a dedicated electronic circuit or a reconfigurable electronic circuit designed to achieve a predetermined function.
  • the control unit 50 may be composed of various semiconductor integrated circuits such as a CPU, MPU, GPU, GPGPU, TPU, microcomputer, DSP, FPGA, and ASIC.
  • the storage unit 52 is a storage medium that stores programs and data necessary for realizing the functions of the work analysis device 5 .
  • the storage unit 52 is configured by, for example, a hard disk drive (HDD) or a semiconductor storage device (SSD).
  • HDD hard disk drive
  • SSD semiconductor storage device
  • the storage unit 52 stores the above programs and various information such as map data D1, work area information D2, and assignment information D3.
  • the map data D1 indicates the arrangement of various facilities such as the transfer line 61 and the shelf 62 in the workplace 6 in a predetermined coordinate system.
  • the work area information D2 is information that associates a position in the work place 6 with a work.
  • the responsible information D3 is information indicating the responsible range of each of the workers W1 to W3 in the workshop 6.
  • FIG. The map data D1 and the work area information D2 are examples of map information in the work analysis device 5 of this embodiment.
  • the responsible information D3 is an example of work tendency information in the work analysis device 5 of this embodiment. Details of each information will be described later.
  • the storage unit 52 may include a temporary storage element configured by, for example, a DRAM or SRAM, and may function as a work area for the control unit 50.
  • the storage unit 52 may temporarily store the image data received from the camera 2, the recognition result of the image recognition unit 51, and the like.
  • the operation unit 53 is a general term for operation members that accept user operations.
  • the operation unit 53 is composed of, for example, a keyboard, mouse, trackpad, touchpad, buttons, switches, or the like, or a combination thereof.
  • the operation unit 53 acquires various information input by a user's operation.
  • the device I/F 54 is a circuit for connecting an external device such as the camera 2 to the work analysis device 5.
  • the device I/F 54 communicates according to a predetermined communication standard. Predetermined standards include USB, HDMI (registered trademark), IEEE1395, IEEE802.11, Bluetooth (registered trademark), and the like.
  • the device I/F 54 is an example of an acquisition unit that receives various information from an external device in the work analysis device 5 . In the work analysis system 1, the work analysis device 5 acquires image data representing the moving image captured by the camera 2, for example, via the equipment I/F 54.
  • the output I/F 55 is a circuit for outputting information.
  • the output I/F 55 outputs video signals and the like to an external display device such as a monitor and a projector for displaying various information in compliance with, for example, the HDMI standard.
  • the configuration of the work analysis device 5 as described above is an example, and the configuration of the work analysis device 5 is not limited to this.
  • the work analysis device 5 may be composed of various computers including a PC (personal computer).
  • the work analysis device 5 may include a display section configured by a liquid crystal display or an organic EL display as a built-in display device, for example.
  • the work analysis method of the present embodiment may be executed in distributed computing.
  • the work analysis device 5 may have a configuration that communicates with an external information processing device via a communication network.
  • the operation unit 53 may be configured to receive an operation by an external information processing device connected via a communication network.
  • the output I/F 55 may transmit various types of information to an external information processing device via a communication network.
  • the acquisition unit in the work analysis device 5 may be implemented in cooperation with various software in the control unit 50 and the like.
  • the acquisition unit in the work analysis device 5 may acquire various information by reading various information stored in various storage media (for example, the storage unit 52 ) to the work area of the control unit 50 .
  • the work analysis device 5 of this embodiment stores the map data D1, the work area information D2, and the work area information D3 in the storage unit 52 as described above.
  • An example of the structure of various data D1, D2, D3 will be described with reference to FIGS. 3 and 4.
  • FIG. 1 An example of the structure of various data D1, D2, D3 will be described with reference to FIGS. 3 and 4.
  • FIG. 3 is a diagram for explaining the map data D1.
  • the map data D1 manages data indicating a coordinate system of a map, such as a layout of various facilities in which the workplace 6 is viewed from above, in association with the arrangement of sections and work areas, which will be described later.
  • the two directions perpendicular to each other on the horizontal plane in the workplace 6 are referred to as the X direction and the Y direction.
  • a position on the workplace 6 is defined, for example, by an X coordinate indicating a position in the X direction and a Y coordinate indicating a position in the Y direction.
  • a transport line 61 and a shelf 62 are shown that are spaced apart in the X direction corresponding to the workplace 6 shown in FIG.
  • the transport line 61 extends in the Y direction and transports boxes in the direction from positive to negative in the Y direction.
  • the map data D1 of this example divides the workplace 6 into a plurality of sections in the Y direction and manages them.
  • FIG. 3 shows an example in which the workshop 6 is divided into zones Z1 and Z2. Each zone Z1, Z2 is set in advance as a unit zone to which workers are assigned in the workshop 6, for example.
  • Each section Z1, Z2 includes a work area indicating the area where the workers W1 to W3, etc. work in the workshop 6.
  • a section Z1 shown in FIG. 3 includes a work area A1 near the transfer line 61 and a work area A2 near the shelf 62. As shown in FIG.
  • Each of the work areas A1 and A2 is set in advance as an area within a range in which work related to the transfer line 61 or the shelf 62 is considered to be performed in the work place 6, respectively.
  • FIG. 4 is a diagram for explaining the work area information D2 and the work area information D3 in the work analysis device 5 of this embodiment.
  • the work area information D2 manages the "work area” for each "section" in the workplace 6 in association with the "work” performed in each work area. For example, in the work area A1 near the transfer line 61 in the section Z1, the work of "boxing” and “box preparation” is performed, and in the work area A2 near the shelf 62 in the section Z1, the work of "collection” is performed.
  • the work analysis device 5 can manage the positions and the work in the work area 6 in association with each other based on the work area information D2.
  • the responsible information D3 is managed by associating "workers” with "department in charge", which is the section in which each worker mainly works.
  • the section in charge of worker W1 is section Z2
  • the section in charge of worker W2 is section Z1.
  • the responsible information D ⁇ b>3 may be sequentially updated according to information indicating the assignment of workers, such as a work plan for each day in the workplace 6 .
  • a section with a high stay frequency may be set as the responsible section for each worker.
  • the work analysis device 5 of the present embodiment stores, for example, the work trend information related to the work place 6 in the storage unit 52 in addition to the above-described responsible information D3.
  • Work trend information includes, for example, the standard work period set for each work of each worker, the maximum number of people for each work in each work area, and the work sequence indicating the temporal or positional order of execution in a combination of work. including.
  • the work tendency information may include information indicating various tendencies of various works performed by the workers to be analyzed in the workplace 6 .
  • the work trend information may also include information indicating the classification of main work and sub-work in the analysis chart 7 . The operation of the work analysis device 5 using these various types of information will be described later.
  • the work analysis system 1 illustrated in FIG. 1 recognizes the positions of the workers W1 to W3 at each time in the workplace 6 by image recognition processing, and performs the work performed by each of the workers W1 to W3 at each time. to estimate This system 1 accumulates information indicating estimation results, and based on the accumulated information, generates an analysis chart 7 that visualizes the work performed by each of the workers W1 to W3 during the analysis period.
  • the work analysis device 5 of the present embodiment uses, for example, the image recognition unit 51 to perform image recognition on the image of the workplace 6 captured by the camera 2, and recognizes the positions of the workers W1 to W3. For example, in the section Z1 shown in FIG. to determine the work performed by each worker.
  • each worker W1 to W3 is specified by image recognition processing based on the captured image from the camera 2. Even if it is possible, it may be difficult to distinguish between each performed task.
  • a work analysis device 5 in addition to image recognition processing, a work analysis device 5 is provided that can estimate the work performed by each worker W1 to W3 based on, for example, pre-stored work tendency information. do. According to the work analysis device 5 of the system 1, the analysis chart 7 is generated by determining the work to be performed based on the estimation result.
  • FIGS. 5 and 6 are diagrams for explaining the problem with the work analysis device 5, and are diagrams of the workers W1 and W2 in the workplace 6 viewed from above. 5 and 6 show workers W1 and W2 working in section Z1 of workshop 6. FIG.
  • FIG. 5(A) shows a scene where worker W1 is “moving” and worker W2 is “collecting".
  • FIG. 5(B) shows a scene where worker W1 arrives at work area A2 from FIG. 5(A) and workers W1 and W2 are “collecting”.
  • FIG. 5(C) shows a scene in which worker W1 moves from FIG. 5(B) to work area A1, worker W1 is “packing” and worker W2 is “collecting”.
  • FIG. 5(D) shows a scene after FIG. 5(C) in which the worker W1 is “preparing the box” and the worker W2 is “collecting”.
  • the worker W1 is located in the work area A1 near the transfer line 61 after the work area A2 (FIG. 5(B)) corresponding to cargo collection. can be determined.
  • the worker W2 since the worker W2 is located in the work area A2, it can be determined that the work to be performed is collection.
  • FIG. 6 shows a scene where worker W1 is "preparing a box” and worker W2 is "packing".
  • workers W1 and W2 are located in work area A1. In this way, even when the workers W1 and W2 are working side by side in the work area A1 where a plurality of works are assumed, it is difficult to determine whether each work is boxing or box preparation.
  • the work analysis device 5 of the present embodiment in addition to the positions of the workers W1 and W2, etc., based on the work tendency information such as the responsible information D3, a probabilistic calculation for estimating the work performed by each worker is performed. Execute the process. As a result, as shown in FIGS. 5(D) and 6, even in a situation where a plurality of tasks are performed in a specific area such as the work area A1, and it is difficult to determine the tasks based only on the positions of the workers W1 and W2, From the estimation result, the work performed by each worker W1, W2 can be determined.
  • each worker W1, W2 it is possible to infer that the work of worker W1 has shifted from box packing to box preparation by using the information on the elapsed time from FIG. 5(C).
  • each worker W1, W2 it is possible to presume that the operations performed are box preparation and box packing, respectively.
  • FIG. 7 is a flowchart for explaining the overall operation of the work analysis device 5.
  • FIG. The processing shown in this flowchart is executed by the control unit 50 of the work analysis device 5, for example.
  • control unit 50 acquires image data from the camera 2, for example, via the device I/F 54 (S1). For example, while the workers W1 to W3 are working in the workplace 6, the camera 2 shoots a moving image, generates image data showing the captured image at each time in a predetermined cycle such as the frame cycle of the moving image, and the work analysis device 5 Send to
  • control unit 50 refers to the map data D1 and selects one section in the workshop 6 (S2). For example, section Z1 is first selected from sections Z1 and Z2 shown in FIG.
  • the control unit 50 determines the work to be performed for each worker appearing in the area corresponding to the section selected in step S2 in the image indicated by the acquired image data (S3).
  • the control unit 50 performs arithmetic processing for probabilistically estimating work performed when a plurality of workers perform a plurality of tasks.
  • the control unit 50 performs the arithmetic processing of step S3 using work tendency information such as the above-described work assignment information D3 in addition to the position of the worker based on the image. Details of the work determination process (S3) will be described later.
  • the control unit 50 refers to the map data D1 to determine whether or not all the sections in the workshop 6 have been selected (S4). Steps S2 to S3 are repeated. For example, in the map data D1 of FIG. 3, the section Z2 is selected after the section Z1 is selected.
  • control unit 50 determines whether work for a predetermined number of frames has been determined (S5).
  • the predetermined number of frames is, for example, the number of frames captured by the camera 2 during the analysis period to be visualized in the analysis chart 7 .
  • the control unit 50 repeats steps S1 to S4 until work of a predetermined number of frames is determined (NO in S5).
  • the control unit 50 When the work for a predetermined number of frames is determined (YES in S5), the control unit 50 performs visualization processing (S6) to generate the analysis chart 7.
  • the control unit 50 counts the number of operations determined by the task determination process (S3) for each time interval such as a period of one frame, for example, for each worker in the workplace 6 .
  • the control unit 50 calculates the ratio of each work for each worker and generates the analysis chart 7 .
  • the ratio of each task in the analysis chart 7 is shown as, for example, the ratio of the time of each task to the analysis period.
  • control unit 50 stores the analysis chart 7 generated by the visualization processing (S6) in the storage unit 52, and ends the processing shown in this flowchart.
  • the work to be performed by each worker is estimated (S3) by the work determination processing (S3) for each section of the workplace 6, and the work to be performed is determined based on the estimation results in the analysis period of all sections.
  • an analysis chart 7 is generated (S6). According to the work determination process (S3) of the present embodiment, for example, even if it is difficult to determine the work to be performed at specific time intervals corresponding to the scenes shown in FIGS. An analysis chart 7 can be obtained that reflects the work performed at all time intervals during the analysis period.
  • step S1 video data recorded during the analysis period may be acquired from the camera 2 .
  • the control unit 50 may select image data of each frame, perform the processes after step S2, and repeat these processes until all frames are selected instead of step S5.
  • FIG. 8 is a flowchart illustrating the work determination process (S3 in FIG. 7) in the work analysis device 5 of this embodiment.
  • the process shown in the flowchart of FIG. 8 is started with one partition selected in step S2 of FIG. 7, for example.
  • S2 of FIG. 7 for example.
  • an example in which the section Z1 in the workplace 6 is selected as shown in the map data D1 in FIG. 3 will be used.
  • FIG. 9 is a diagram for explaining the work determination process (S3).
  • the work analysis device 5 of the present embodiment generates a work probability table T1 for storing the probability of each work for each worker.
  • FIG. 9A exemplifies a work probability table T1 in which items are set corresponding to the captured image of the scene shown in FIG.
  • FIGS. 9B and 9C exemplify the work probability table T1 whose values are changed by the processing shown in the flowchart of FIG. 8, respectively.
  • the work probability table T1 is an example of probability information in this embodiment.
  • the work analysis device 5 of the present embodiment uses the work probability table T1 to determine the work area of each worker that can be calculated based on the recognition result of the position of each worker and the work area information D2. hold probability.
  • the work analysis device 5 of the present embodiment realizes the estimation of the work to be performed by further performing arithmetic processing for correcting the probability of the work probability table T1 based on the work tendency information such as the assignment information D3.
  • the control unit 50 functions as the image recognition unit 51, recognizes the positions of the workers W1, W2, etc. in the image indicated by the image data acquired in step S1 of FIG. A recognition result is acquired (S11). At this time, the control unit 50 calculates a coordinate transformation for converting the position recognized in the image into a coordinate system indicating the position in the workplace 6 based on the map data D1.
  • control unit 50 creates a work probability table T1 according to the section selected in step S2 of FIG. 7 (S12).
  • the control unit 50 refers to the work probability table T1, for example, the map data D1 and the work area information D2 stored in the storage unit 52 and the acquired recognition result, and selects work and worker items in the selected section. set.
  • control unit 50 sets, for example, a value of the maximum number of persons for each task stored in advance in the storage unit 52 .
  • control unit 50 distributes the probabilities in the work probability table T1 based on the positions of the workers recognized in step S11 (S13). For example, the control unit 50 compares the coordinates indicating the positions of the workers and the coordinates of the work areas in the map data D1 to determine the work areas containing the positions of the respective workers. The control unit 50 distributes the probability to the work in the determined work area for each worker based on the work area information D2, for example.
  • FIG. 9(B) exemplifies the work probability table T1 in which probabilities are allocated in step S13 based on the recognition results in the image of the scene shown in FIG.
  • the positions of workers W1 and W2 are recognized in work area A1.
  • two works of boxing and box preparation correspond to the work area A1.
  • a probability of "50%" which is regarded as an equal probability, is distributed to worker W1's box packing and box preparation. Probability is distributed to worker W2 in the same way as to worker W1.
  • step S14 the control unit 50 performs correction for each worker in the work probability table T1 in which probabilities are allocated from the positions of workers (S14).
  • the process of step S14 is performed based on, for example, the determination result of the past work, the standard work period of each work for each worker, and information on the work order in terms of time.
  • the control unit 50 determines, for example, based on the past determination result that the standard work period for packing by worker W1 has passed, the time period for packing by worker W1 in the work probability table T1 is calculated.
  • a correction is made to reduce the probability by a predetermined value.
  • the predetermined value is set, for example, as a positive value in a range smaller than the probability obtained by dividing equally according to the number of workers. The details of the correction process (S14) for each worker will be described later.
  • step S15 the control unit 50 corrects the workers according to the relationship between the workers in the work probability table T1 (S15).
  • the process of step S15 is performed based on, for example, the work area information D2, the work area information D3, the positional work order, and the time at which each worker is recognized by the image recognition unit 51.
  • the predetermined value is the same as in step S14, for example.
  • FIG. 9C shows an example in which the work probability table T1 before correction shown in FIG. 9B is corrected between workers (S15).
  • the control unit 50 determines the work performed by each worker based on the corrected work probability table T1 (S16). In step S16, the control unit 50 determines that the work with the highest probability among the plurality of works in the work probability table T1 is the performed work for each worker. When the worker's maximum probability does not exceed a predetermined threshold value, the control unit 50 determines that the work performed by the worker is predetermined work (for example, waiting). The control unit 50 stores the determination result in the storage unit 52, for example.
  • the predetermined threshold value is set to a sufficiently large value, for example, from the viewpoint of excluding work that is unlikely to correspond to each worker.
  • step S16 in the work probability table T1 of FIG. 9(C), it is determined that the work performed by each worker W1 and W2 is box preparation and box packing, respectively.
  • control unit 50 After determining the work performed by each worker (S16), the control unit 50 stores, for example, the corrected work probability table T1 in the storage unit 52, and ends the processing shown in this flowchart. After that, the process proceeds to step S4 in FIG.
  • the work probability table T1 corrected based on the work tendency information is obtained (S14, S15).
  • the work to be performed is determined (S16), thereby ensuring that each worker can perform one work. assigned.
  • step S14 in the work determination process (FIG. 8) as described above will be described with reference to FIG.
  • FIG. 10 is a flowchart illustrating the correction process (S14 in FIG. 8) for each worker in the work analysis device 5 of this embodiment.
  • the processing shown in the flowchart of FIG. 10 is started with the probability distributed from the position of the worker in the work probability table T1, for example.
  • control unit 50 selects one worker in the work probability table T1 (S140). For example, in the work probability table T1 set corresponding to the scene of FIG. 5(D), the worker W1 is selected from among the workers W1 and W2.
  • the control unit 50 refers to the standard work period information stored in the storage unit 52 and the determination result of past work, for example, and performs correction based on the standard work period (S141).
  • the control unit 50 determines whether or not there is work that continues beyond the standard work period, and if there is such work, reduces the probability of that work in the work probability table T1.
  • the standard work period is set based on, for example, a pre-measured period required for each work for each worker.
  • control unit 50 normalizes the probabilities of a plurality of tasks for the selected worker W1, for example, in the task probability table T1.
  • the probability of worker W1's box preparation is increased by the reduction amount of the boxing probability.
  • normalization may be performed so as to increase the probability of work performed by workers other than the selected worker.
  • control unit 50 performs correction according to the time order, for example, by referring to information indicating the work order in time from the storage unit 52 (S142).
  • the control unit 50 reduces the probability that the worker selected in step S140 will perform work that does not follow the work determined in the previous work determination process (FIG. 8).
  • the probabilities of worker W1 packing and preparing boxes in the work probability table T1 are each allocated to "50%" (see FIG. 8). S13). For example, if the work immediately before the worker W1 selected in step S140 is collection, the worker carrying the cargo in the collection will pack the cargo. A correction is made to increase the probability of worker W1 boxing (S142). Thereafter, for example, similar to step S141, the probabilities of a plurality of tasks for the selected worker W1 are normalized.
  • the control unit 50 repeats the processing of steps S140 to S142 until all workers in the work probability table T1 are selected (NO in S143). When all workers are selected (YES in S143), the control unit 50 ends the correction process for each worker (S14 in FIG. 8).
  • the probability for each worker in the work probability table T1 is corrected based on the information on the standard work period and work order in terms of time for each worker (S141-S142). As a result, for example, even when the worker W1 stays in the work area A1 where a plurality of works are performed as shown in FIG. The work of W1 can be discriminated (S16 in FIG. 8).
  • the correction process (S142) based on the temporal order of work may be executed, for example, not only in step S14 of FIG. 8, but also when the probabilities are distributed in the work probability table T1 (S13 of FIG. 8).
  • the standard work period in step S141 is, for example, for each worker's work, after measuring the period from start to completion a plurality of times, in the frequency distribution of the measured period, a predetermined ratio (for example, the total number of measurements) 95%) may be calculated as a period including the number of times.
  • FIG. 11 is a flowchart illustrating the process of correction between workers (S15 in FIG. 8) in the work analysis device 5 of this embodiment.
  • the processing shown in the flowchart of FIG. 11 is started, for example, in a state in which the work probability table T1 has been corrected for each worker (S14 in FIG. 8).
  • control unit 50 selects one task from among the multiple tasks in the task probability table T1 (S150). For example, in the work probability table T1 in FIG. 9B, packing is selected first.
  • the control unit 50 determines whether the selected work satisfies predetermined correction conditions (S151).
  • a predetermined correction condition is set, for example, to correct the probability based on the relationship among a plurality of workers for a specific work.
  • the correction condition is that, when counting the number of workers whose work has the highest probability of being selected among all the work in the work probability table T1, the number of workers with the highest probability exceeds the maximum number of workers for the work. If the selected work does not meet the correction conditions (NO in S151), the control unit 50 proceeds to step S155.
  • the control unit 50 corrects the work based on the responsible information D3 (S152). For example, in the work probability table T1 in FIG. 9B, the number of workers with the highest probability of packing is two workers, W1 and W2, which exceeds the maximum number of "1". done.
  • step S152 the control unit 50 refers to the assigned information D3, and selects the section selected in step S2 of FIG. Increases the probability of working.
  • the main work is packing, corresponding to the work classification in the analysis chart 7 of FIG. 1, for example.
  • the section in charge of worker W2 is section Z1 in the information D3 in charge of FIG. Correction is made.
  • control unit 50 performs a process of normalizing the probability for each corrected worker and work, that is, for each row and column of the work probability table T1.
  • normalization is performed to reduce the box preparation probability of worker W2 and the probability of worker W1 packing.
  • control unit 50 increases the probability that the worker W1 prepares boxes by, for example, normalizing the worker W1.
  • the responsible work for each worker may be set in advance, and the probability of the responsible work may be increased instead of the main work in the above example.
  • the information indicating the assigned work may be included in the assigned information D3.
  • the main work may be set in advance for each section or work area, and information indicating the main work may be included in the work area information D2.
  • the work area information D2 is referred to in step S152.
  • control unit 50 performs correction according to the position order based on the work position relationship in the combination of multiple works including the selected work (S153).
  • the control unit 50 performs the process of step S153 by referring to, for example, the information indicating the positional work order stored in the storage unit 52 and the recognition result obtained in step S11 of FIG.
  • the control unit 50 determines that the work “packing” to be corrected corresponds to the work “packing” based on positional work order information such that, for example, box preparation corresponds to the upstream side of the transfer line 61 and boxing corresponds to the downstream side.
  • a correction is made to reduce the probability of the worker W1 who is considered not to do so (S153).
  • the probabilities are then normalized as in step S152, for example with respect to the corrected packaging and worker W1.
  • control unit 50 performs correction according to the order of arrival at the work area corresponding to the selected work (S154). Based on, for example, the work area information D2 and past recognition results by the image recognition unit 51, the control unit 50 calculates the time at which each worker was recognized for a plurality of workers in the work area corresponding to the selected work. compare. For example, the control unit 50 selects the worker recognized first in the work area, that is, the worker who arrived at the work area the earliest among the workers who did not exceed the standard work period of the selected work, and who performed the selected work. To increase the probability of a worker whose start time can be regarded as early to perform the work. Thereafter, normalization regarding the corrected work and worker is performed, for example, in the same manner as in step S152.
  • the control unit 50 repeats the processes after step S150 until all the tasks in the task probability table T1 are selected (NO in S155). When all the tasks have been selected (YES in S155), the control unit 50 terminates the inter-worker correction process (S15).
  • the probability for each task in the task probability table T1 is corrected based on the information D3 in charge, the positional task order information, and the order of arrival at the task area (S152-S154). For example, in the scene of FIG. 6 in which a plurality of workers W1 and W2 work in a work area A1 corresponding to a plurality of tasks, the probability before correction in FIG. 9B is corrected as shown in FIG. 9C. A work probability table T1 is obtained. As a result, even if it is difficult to discriminate the work depending on the probabilities distributed from the positions of the workers W1 and W2, the work performed by each worker is discriminated based on the corrected work probability table T1 ( S16) of FIG. 8 can be performed.
  • the corrections in steps S152 to S154 may be performed in a different order than the example described above, and only part of the corrections in steps S152 to S154 may be performed.
  • the predetermined value for increasing or decreasing the probability by correction in the work probability table T1 may be a random number generated as a positive number within a range smaller than the probability equally divided according to the number of workers, for example.
  • the work analysis device 5 generates information about a plurality of works performed by workers W1 to W3, which are examples of one or more workers, in the workplace 6, which is an example of a workplace.
  • the work analysis device 5 includes a storage unit 52 , a device I/F 54 that is an example of an acquisition unit, and a control unit 50 .
  • the storage unit 52 stores map data D1 and work area information D2 as an example of map information indicating work areas A1, A2, etc., which are examples of areas associated with each work in the work place 6.
  • the device I/F 54 acquires image data of a captured image from the camera 2 as an example of position information including the position of the worker at each time in the workplace 6, for example (S1).
  • the control unit 50 Based on the position information and the map information, the control unit 50 performs arithmetic processing to determine the work performed by the worker at each time (S3). Based on the position information, the control unit 50 controls the work probability table T1, which is an example of probability information indicating the probability that the worker will perform the work associated with the area including the position of the worker at each time in the map information. is generated (S12, S13). The control unit 50 corrects the work probability table T1 according to the assignment information D3, etc., which is an example of work tendency information indicating the tendency of workers to perform work in the workplace 6 (S14, S15).
  • the work probability table T1 generated based on the position information is corrected according to the work tendency information such as the work assignment information D3. Accordingly, when one or more workers perform a plurality of tasks, the tasks performed by the workers can be estimated.
  • the recognition result of the image recognition section 51 may be acquired as an example of position information by the control section 50 functioning as an acquisition section.
  • the control unit 50 controls the two or more works according to the work tendency information.
  • the work probability table T1 is corrected so that the probabilities relating to the work are different from each other (S14, S15). As a result, even if equal probabilities are allocated to two or more tasks based on position information in the work probability table T1, the work performed by the worker can be determined from the corrected work probability table T1 obtained as the estimation result. (See FIGS. 9B and 9C).
  • the control unit 50 controls the plurality of workers according to the work tendency information. among the workers, the probability of each worker's work is corrected (S15). As a result, even if the work performed by each worker cannot be determined from the work area including the positions of a plurality of workers, such as the scene in FIG. 6, it is possible to estimate the work performed by correcting between workers. be.
  • the work trend information includes information indicating the standard work period set for the first work among a plurality of works.
  • the control unit 50 reduces the probability of the first work (S141).
  • the position of the worker W1 continues in the work area A1, which is an example of the area associated with packing (an example of the first work). Even if it is included, the work performed by worker W1 can be estimated based on the standard work period for packing.
  • the work trend information includes information indicating the maximum number of workers who concurrently perform the second work among multiple works.
  • the control unit 50 changes the probability of each worker for the second work ( S152-S154).
  • the number of workers so as to satisfy the maximum number of workers for each work such as packing and preparation of boxes (an example of the second work) in the work probability table T1 in FIG. 9, for example.
  • the work tendency information includes work information D3 (an example of work information) that associates the section Z1, which is an example of the area related to the second work, with the worker.
  • work information D3 an example of work information
  • the control unit 50 corrects the probability of the work associated with the area (152).
  • the probability can be corrected by reflecting the tendency of the workplace 6 where each worker is highly likely to work in the work area included in the section in charge associated with the information in charge D3.
  • the responsible information D3 may be generated based on the frequency with which the worker stays in the section.
  • the recognition result (an example of position information) of the image recognition unit 51 includes information indicating the time when a plurality of workers arrived at the work area, which is an example of the area.
  • the control unit 50 determines that the plurality of workers arrived at the area earlier than the maximum number of workers.
  • the work trend information includes information indicating the order in a combination of two or more works in a plurality of works.
  • the control unit 50 corrects the probability of each task in the combination according to the order (S142, S153).
  • the information indicating the order includes, for example, temporal or positional work order information.
  • the work performed by worker W1 is estimated from the temporal work order
  • the work performed by workers W1 and W2 is estimated from the positional work order. .
  • control unit 50 indicates the ratio of a plurality of tasks over a predetermined period for each worker based on the work probability table T1 (an example of probability information) for the analysis period (an example of the predetermined period).
  • An analysis chart 7, which is an example of information, is generated (S6).
  • the work analysis method of the present embodiment is a method of generating information on multiple works performed by one or more workers in the workplace 6 .
  • This method includes steps (S1, S11) in which the control unit 50 of the computer acquires position information including the position of the worker at each time in the workplace 6; step (S12, S13) of generating a work probability table T1 (an example of probability information) indicating the probability that the work associated with the area containing the position of the worker will be performed (S12, S13); and steps (S14, S15) of correcting the probability information in accordance with the work tendency information such as the work tendency information D3 indicating the tendency of the work to be done.
  • a program for causing the control unit of the computer to execute the work analysis method as described above.
  • the work analysis method of this embodiment when one or more workers perform a plurality of works, the work performed by the workers can be estimated.
  • FIG. 2 the work analysis system 1 in which the work analysis device 5 generates the analysis chart 7 over the analysis period (S6 in FIG. 7) has been described.
  • a work analysis system 1A including an information presentation device capable of displaying work content analysis results in accordance with a user operation specifying a specific time and workers W1 to W3 will be described.
  • FIG. 12 shows a display example of the information presentation device of the work analysis system 1A of the present embodiment.
  • An information presentation device in the work analysis system 1A is configured by an information processing device such as a PC including the monitor 4, for example.
  • the monitor 4 displays an image 40 showing a moving image of the workplace 6 captured by the camera 2, a progress bar 41 showing the playback status during the recording period of the moving image, and an analysis result of the work content at a specific time.
  • Estimated work information 9 is displayed.
  • the estimated work information 9 can be displayed by a user operation specifying the workers W1 to W3 and the time in the moving image while the moving image of the workplace 6 is being played back on the monitor 4, for example.
  • the estimated work information 9 regarding the worker W1 at the designated time is displayed.
  • Estimated work information 9 in FIG. 12 indicates that the work performed by worker W1 at time “13:54” has a probability of “30%” for packing boxes, a probability of “70%” for preparing boxes, and a probability of “0%”. indicates that it was presumed to be other work in
  • the user of the system 1A can confirm the estimated results of the work performed by the desired workers W1 to W3 at a specific time. can analyze in detail the implementation work of
  • FIG. 13 is a block diagram illustrating the configuration of the information presentation device 8 in the work analysis system 1A of this embodiment.
  • the information presentation device 8 exemplified in FIG.
  • the control unit 80 includes, for example, a CPU or MPU that cooperates with software to realize a predetermined function, and controls the overall operation of the information presentation device 8 .
  • the control unit 80 reads the data and programs stored in the storage unit 82 and performs various arithmetic processing to realize various functions.
  • the above program may be provided from a communication network such as the Internet, or may be stored in a portable recording medium.
  • the control unit 80 may have an internal memory as a temporary storage area for holding various data and programs.
  • the control unit 80 may be realized by various circuits other than a CPU or the like, for example, like the control unit 50 of the work analysis device 5 .
  • the storage unit 82 is a storage medium that stores programs and data necessary for realizing the functions of the information presentation device 8 .
  • the storage unit 82 is composed of, for example, an HDD or an SSD.
  • the storage unit 82 stores the above program, image data of the camera 2 acquired from the work analysis device 5 as described later, and various information such as a work probability table T1.
  • the storage unit 82 may include a temporary storage element configured by DRAM or SRAM, for example, and may function as a work area for the control unit 80 .
  • the operation unit 83 is a general term for operation members that accept user operations.
  • the operation unit 83 is composed of, for example, a keyboard, mouse, trackpad, touchpad, buttons, switches, or the like, or a combination thereof.
  • the operation unit 83 acquires various information input by the user's operation.
  • the equipment I/F 84 is a circuit for connecting external equipment such as the work analysis device 5 to the information presentation device 8 .
  • the equipment I/F 84 communicates according to a predetermined communication standard, for example, like the equipment I/F 54 of the work analysis device 5 .
  • the device I/F 84 is an example of an acquisition unit that receives various information from an external device in the information presentation device 8 .
  • the information presentation device 8 acquires the image data of the camera 2 and the corrected work probability table T1 from the work analysis device 5 via the device I/F 84, for example.
  • the monitor 4 is an example of a display that displays various information.
  • the monitor 4 displays an image indicated by image data acquired from the work analysis device 5 .
  • the monitor 4 also displays menu screens and the like for the user of the work analysis system 1 to make various settings, for example.
  • the monitor 4 can be composed of, for example, a liquid crystal display device or an organic EL device.
  • the configuration of the information presentation device 8 as described above is an example, and the configuration of the information presentation device 8 is not limited to this.
  • the information presentation device 8, for example, the work analysis device 5 may have a configuration that communicates with an external information presentation device via a communication network in addition to or instead of the above configuration.
  • the acquisition unit in the information presentation device 8 may be realized by cooperation with various software in the control unit 80 or the like, and various information stored in various storage media (for example, the storage unit 82) may be acquired by the operation of the control unit 80. You may acquire various information by reading to an area.
  • the information presentation device 8 is not limited to a PC, and may be configured as a tablet terminal, a smart phone, or the like.
  • FIG. 14 is a flowchart for explaining the overall operation of the work analysis device 5 according to this embodiment.
  • the control unit 50 in the work analysis device 5 of the present embodiment for example, in addition to the processing of steps S1 to S6 similar to FIG. (See FIG. 9C) is stored in the storage unit 52 or the like (S20).
  • the work analysis device 5 of the present embodiment for example, by repeating the above process at a predetermined cycle and storing the work probability table T1 for each time, the work performed by each worker W1 to W3 at each time can be calculated. Estimation results are accumulated.
  • FIG. 15 is a flowchart illustrating the operation of the information presentation device 8.
  • FIG. This flowchart is started when a predetermined user operation for starting analysis is input in the information presentation device 8 after the process of FIG. 14 is executed in the work analysis device 5 over an analysis period, for example.
  • Each process shown in this flowchart is executed by the control unit 80 of the information presentation device 8, for example.
  • the control unit 80 acquires image data representing a moving image of the workplace 6 captured by the camera 2 from the work analysis device 5, for example, via the equipment I/F 84, and displays the moving image on the monitor 4 (S81).
  • the control unit 50 of the work analysis device 5 transmits image data to which the work determination process (S3 in FIG. 14) is applied via the device I/F 54, and the information presentation device 8 displays a moving image based on the received image data. is played.
  • the monitor 4 displays an image 40 showing the moving image being reproduced.
  • control unit 80 determines whether or not a user operation to specify the time and workers W1 to W3 for the moving image being displayed has been input, for example, in the operation unit 83 (S82).
  • the control unit 80 receives, for example, a user operation of specifying a time on the moving progress bar 41 illustrated in FIG. 12 and a user operation of selecting one of the workers W1 to W3 on the image 40. 83 and monitor 4.
  • control unit 80 repeats the determination in step S82, for example, at a predetermined cycle.
  • the control unit 80 acquires the corrected work probability table T1 at the designated time from, for example, the work analysis device 5, and performs the work probability table T1 for the designated workers W1 to W3. is displayed on the monitor 4 (S83). For example, the control unit 80 transmits information indicating the time specified by the user operation and the workers W1 to W3 to the work analysis device 5, and receives the work probability table T1 after correcting the time in the information. , controls the device I/F 54 . The control unit 80 extracts the probability of each execution work in the acquired work probability table T1 for a designated worker among the workers W1 to W3, for example, and generates the estimated work information 9.
  • a user operation specifying time “13:54” and worker W1 is input (YES in S82), and estimated work information 9 is calculated based on the probability of each work performed by worker W1 at that time. is displayed (S83).
  • control unit 80 After displaying the estimated work information 9 according to the designation by the user's operation (S83), the control unit 80 ends the processing of this flowchart.
  • the information presentation device 8 when the information presentation device 8 receives a user operation for designating the time and workers W1 to W3 while the moving image is being displayed (S81) (YES in S82), the information presentation device 8 performs the designation by the user operation can be displayed on the monitor 4 (S83).
  • step S82 an example of determining whether or not there is a user operation specifying both the time and workers W1 to W3 has been described.
  • step S82 it is not limited to the above example, and it may be determined whether or not there is a user operation specifying the time and one of the workers W1 to W3.
  • the information presentation device 8 may display the estimated work information 9 of each of the workers W1 to W3 at that time in step S83 when a user operation for designating a time is input, for example. Further, for example, when a user operation for designating workers W1 to W3 is input, the information presentation device 8, in step S83, displays the estimated work information 9 of the designated worker at the time of the moving image being displayed in step S81. may be displayed.
  • step S81 an example was explained in which the image data of the moving image over the analysis period is acquired from the work analysis device 5 and displayed.
  • the image data is not limited to the above example, and the image data may be sequentially acquired at the frame period of the moving image, and the image data of each frame may be displayed.
  • step S82 it may be determined whether or not a user operation specifying a time before the time corresponding to the frame being displayed has been input. If there is no user operation (NO in S82), step S81 Subsequent processes may be repeated. Further, in step S81, the information presentation device 8 may acquire image data from the camera 2 via the device I/F 84, for example.
  • step S83 an example in which the estimated work information 9 based on the work probability table T1 acquired from the work analysis device 5 is displayed on the monitor 4 has been explained.
  • the monitor 4 may display not only the estimated work information 9 illustrated in FIG. 12, but also the acquired work probability table T1, for example. Further, in step S83, for example, a heat map corresponding to the probability of each work performed in the work probability table T1 may be generated and displayed.
  • the work analysis system 1A in the present embodiment acquires the work analysis device 5 and the corrected work probability table T1 (an example of probability information) from the work analysis device 5, and obtains the acquired probability information. is provided (S83).
  • the information presentation device 8 can present the estimated results of the work performed by the workers W1 to W3 to the user based on the acquired work probability table T1.
  • the information presentation device 8 includes a device I/F 84 (an example of a communication section), an operation section 83, a control section 80, and a monitor 4 (an example of a display section).
  • the equipment I/F 84 performs data communication with the work analysis device 5 .
  • the operation unit 83 accepts a user's operation of inputting designation information indicating at least one of the time in the workplace 6 and the workers W1 to W3 (S82).
  • the control unit 80 transmits the specified information to the work analysis device 5 according to the user operation, and the time specified by the user operation and/or the worker
  • the device I/F 84 is controlled so as to receive the corrected work probability table T1 regarding W1 to W3 (S83).
  • the monitor 4 displays estimated work information 9 based on the corrected work probability table T1 as an example of probability information corresponding to the specified information (S83).
  • the information presentation device 8 acquires the corrected work probability table T1 (an example of probability information) from the work analysis device 5 and displays the acquired probability information (S83). According to the information presentation device 8, it is possible to display the probability information corresponding to the user's operation and facilitate the analysis of the execution work.
  • Embodiments 1 and 2 have been described as examples of the technology disclosed in the present application. However, the technology in the present disclosure is not limited to this, and can also be applied to embodiments in which modifications, substitutions, additions, omissions, etc. are made as appropriate. Moreover, it is also possible to combine the constituent elements described in the above embodiments to form a new embodiment. Therefore, other embodiments will be exemplified below.
  • the analysis chart 7 is generated based on the total number of times each work is determined to be the work of each worker at predetermined time intervals.
  • step S6 is not limited to this.
  • the control unit 50 calculates the total probability of each task for each time interval over the analysis period based on the accumulated corrected work probability table T1, and calculates the total probability of each task for each worker from the total probability.
  • the analysis chart 7 may be generated by calculating the ratio of .
  • step S1 is not limited to this.
  • the work analysis device 5 may read image data stored in advance in the storage unit 52 .
  • the image data may be acquired in units of multiple frames, or one frame may be acquired for every multiple frames.
  • the process of FIG. 15 may be executed each time the corrected work probability table T1 is stored (S20) while the process of FIG. 14 is being executed in the frame cycle of the moving image.
  • step S81 of FIG. 15 for example, image data of each frame may be acquired and displayed on the monitor 4.
  • FIG. 8 the estimated work information 9 can be displayed (S83) in real time according to the time and designation of the workers W1 to W3.
  • the image data is acquired in step S1 of FIG. 7, and the position of the worker is recognized by image recognition processing in step S11 of FIG. is not limited to
  • the work analysis device 5 may acquire the worker's position information by a beacon or GPS via the device I/F 54 .
  • the work analysis system 1 is applied to a workplace 6 such as a distribution warehouse.
  • the workplace that is, the site, to which the work analysis system 1 and the work analysis device 5 are applied is not limited to the above-described workplace 6, but may be various sites such as a factory or a sales floor of a store.
  • the work discriminated by the work analysis system 1 is not limited to the above-described example of boxing, and may be various works corresponding to various sites.
  • the workers to be analyzed by the work analysis system 1 are not limited to workers W1 to W3, and may be mobile bodies capable of executing various types of work.
  • the worker may be a robot or various manned or unmanned vehicles.
  • the present disclosure is applicable to data analysis that analyzes the work of each worker in various environments such as distribution sites and factories.

Landscapes

  • Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Engineering & Computer Science (AREA)
  • Economics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Strategic Management (AREA)
  • Development Economics (AREA)
  • Educational Administration (AREA)
  • Quality & Reliability (AREA)
  • Operations Research (AREA)
  • Tourism & Hospitality (AREA)
  • Physics & Mathematics (AREA)
  • General Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Marketing (AREA)
  • Game Theory and Decision Science (AREA)
  • General Factory Administration (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

作業分析装置は、作業場において一以上の作業者により行われる複数の作業に関する情報を生成する。作業分析装置は、作業場において各作業に対応付けられる領域を示す地図情報を格納する記憶部と、作業場における時刻毎の作業者の位置を含む位置情報を取得する取得部と、位置情報及び地図情報に基づいて、作業者の時刻毎の作業を判別する演算処理(S3)を行う制御部とを備える。制御部は、位置情報に基づいて、地図情報において時刻毎の作業者の位置を含む領域に対応付けられる作業が、当該作業者により行われる確率を示す確率情報を生成し(S12,S13)、作業場において作業者により作業が行われる傾向を示す作業傾向情報に応じて、確率情報を補正する(S14,S15)。

Description

作業分析装置
 本開示は、作業分析装置及び方法に関する。
 特許文献1は、紙工機械の稼働開始前の準備作業時間における作業内容を分析する分析装置を開示する。特許文献1の分析装置は、紙工機械のオペレータの作業位置を検出し、検出結果に基づいてオペレータの動作線図を作成する。また、特許文献1の分析装置は、作業工程データ及び紙工機械運転データに基づき、準備作業時間における作業内容を項目別に表す表として、紙工機械の作動内容とそれに対応するオペレータの作業内容とを分離した項目別に、作業時間を示すグラフを作成する。特許文献1の分析装置では、これらの作成結果に基づいて、準備作業時間における作業工程について、作業時間が標準的な時間よりも長いといった生産効率の向上を図るための改善項目が選定される。
国際公開第2019/064398号
 本開示は、一以上の作業者により複数の作業が行われる際に、作業者の実施作業を推定することができる作業分析装置を提供する。
 本開示の一態様の作業分析装置は、作業場において一以上の作業者により行われる複数の作業に関する情報を生成する。作業分析装置は、記憶部と、取得部と、制御部とを備える。記憶部は、作業場において各作業に対応付けられる領域を示す地図情報を格納する。取得部は、作業場における時刻毎の作業者の位置を含む位置情報を取得する。制御部は、位置情報及び地図情報に基づいて、作業者の時刻毎の作業を判別する演算処理を行う。制御部は、位置情報に基づいて、地図情報において時刻毎の作業者の位置を含む領域に対応付けられる作業が、当該作業者により行われる確率を示す確率情報を生成し、作業場において作業者により作業が行われる傾向を示す作業傾向情報に応じて、確率情報を補正する。
 これらの概括的かつ特定の態様は、システム、方法、及びコンピュータプログラム、並びに、それらの組み合わせにより、実現されてもよい。
 本開示における作業分析装置及び方法によると、一以上の作業者により複数の作業が行われる際に、作業者の実施作業を推定することができる。
実施形態1に係る作業分析システムの概要を示す図 作業分析システムにおける作業分析装置の構成を例示するブロック図 作業分析装置における地図データを説明するための図 作業分析装置における作業エリア情報及び担当情報を説明するための図 作業分析装置に関する課題を説明するための図 作業分析装置に関する課題を説明するための図 作業分析装置の全体動作を説明するためのフローチャート 作業判別処理を例示するフローチャート 作業判別処理を説明するための図 作業者毎の補正の処理を例示するフローチャート 作業者間の補正の処理を例示するフローチャート 実施形態2に係る作業分析システムの情報提示装置における表示例を示す図 実施形態2の作業分析システムにおける情報提示装置の構成を例示するブロック図 実施形態2に係る作業分析装置の全体動作を説明するためのフローチャート 情報提示装置の動作を例示するフローチャート
 以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。なお、発明者(ら)は、当業者が本開示を十分に理解するために添付図面および以下の説明を提供するのであって、これらによって特許請求の範囲に記載の主題を限定することを意図するものではない。
(実施形態1)
1-1.構成
 実施形態1に係る作業分析システムについて、図1を用いて説明する。図1は、本実施形態に係る作業分析システム1の概要を示す図である。
1-1-1.システムの概要
 本システム1は、図1に示すように、カメラ2と、作業分析装置5とを備える。本システム1は、物流倉庫などの作業場6において、複数の作業を行う作業者W1、W2及びW3の効率等を分析する用途に適用される。本システム1は、例えば作業場6の管理者または分析担当者といったユーザ3に、所定の分析期間に関する分析チャート7を提示するためのモニタ4を備えてもよい。分析期間は、本システム1においてカメラ2を用いた画像認識等による分析対象の期間であり、例えば1日から数か月などに予め設定される。
 図1の例では、作業場6において搬送ライン61と棚62とが設置されている。本例において、各作業者W1~W3が作業場6を移動しながら行う複数の作業は、棚62から商品を取り出す「集荷」、搬送ライン61において商品を箱に詰めて流す「箱詰め」、及びその箱を準備する「箱準備」を含む。
 本システム1の分析チャート7は、例えば各作業を当該作業による付加価値の大きさに応じて「主作業」、「副作業」及び「非作業」に分類した項目により、作業者W1~W3別に分析期間における各項目の比率を示す。図1の例では、箱詰めが主作業であり、主作業に関連する集荷、箱準備、搬送ライン61または棚62に向かう移動、及びその他の補助作業などが副作業である。主作業に関連しない待ち状態などは非作業に分類される。このように作業分析装置5における分析対象の作業には、主作業及び副作業に限らず、非作業が含まれる。
 こうした本実施形態に係る作業分析システム1によると、分析チャート7を提示することにより、ユーザ3は、例えば作業場6の業務効率化を検討するために、各作業者W1~W3の作業内容を分析することができる。
 本システム1のカメラ2は、例えば、作業場6において作業者W1~W3が移動する範囲全体が映るように配置される。カメラ2は、例えば作業場6において所定の周期で撮像動作を繰り返し、撮像画像を示す画像データを生成する。カメラ2は、例えば画像データが作業分析装置5に送信されるように、作業分析装置5に接続される。なお、図1では1つのカメラ2を例示しているが、本システム1に含まれるカメラ2は1つのカメラに限らず、2つ以上のカメラであってもよい。
 作業分析装置5は、例えばサーバ装置などの情報処理装置で構成される。作業分析装置5は、例えばモニタ4を含むPCなど外部の情報処理装置と通信可能に接続される。作業分析装置5の構成について、図2を用いて説明する。
1-1-2.作業分析装置の構成
 図2は、作業分析装置5の構成を例示するブロック図である。図2に例示する作業分析装置5は、制御部50と、記憶部52と、操作部53と、機器インタフェース54と、出力インタフェース55とを備える。以下、インタフェースを「I/F」と略記する。
 制御部50は、例えばソフトウェアと協働して所定の機能を実現するCPU又はMPUを含み、作業分析装置5の全体動作を制御する。制御部50は、記憶部52に格納されたデータ及びプログラムを読み出して種々の演算処理を行い、各種の機能を実現する。例えば、制御部50は、機能的構成として、画像認識部51を備える。
 画像認識部51は、画像データに各種の画像認識技術を適用することで、画像データが示す画像において、作業者W1~W3といった予め設定された処理対象の位置を認識して、認識結果を出力する。認識結果には、例えば処理対象の位置を認識した時刻を示す情報が含まれてもよい。認識結果は、本実施形態における位置情報の一例である。画像認識部51は、例えば畳み込みニューラルネットワーク等のニューラルネットワークによる学習済みモデルによる画像認識処理を行う。画像認識処理は、種々の画像認識アルゴリズムによって行われてもよい。
 制御部50は、例えば作業分析装置5の機能を実現するための命令群を含んだプログラムを実行する。上記のプログラムは、インターネット等の通信ネットワークから提供されてもよいし、可搬性を有する記録媒体に格納されていてもよい。また、制御部50は、各種のデータ及びプログラムを保持する一時的な記憶領域として内部メモリを備えてもよい。
 なお、制御部50は、所定の機能を実現するように設計された専用の電子回路又は再構成可能な電子回路などのハードウェア回路であってもよい。制御部50は、CPU、MPU、GPU、GPGPU、TPU、マイコン、DSP、FPGA及びASIC等の種々の半導体集積回路で構成されてもよい。
 記憶部52は、作業分析装置5の機能を実現するために必要なプログラム及びデータを記憶する記憶媒体である。記憶部52は、例えばハードディスクドライブ(HDD)または半導体記憶装置(SSD)により構成される。例えば、記憶部52は、上記のプログラム、並びに地図データD1、作業エリア情報D2及び担当情報D3などの各種情報を格納する。
 地図データD1は、所定の座標系において、作業場6における搬送ライン61及び棚62といった各種設備の配置を示す。作業エリア情報D2は、作業場6における位置と作業とを対応付ける情報である。担当情報D3は、作業場6における各作業者W1~W3の担当範囲を示す情報である。地図データD1及び作業エリア情報D2は、本実施形態の作業分析装置5における地図情報の一例である。担当情報D3は、本実施形態の作業分析装置5における作業傾向情報の一例である。各情報の詳細については後述する。
 記憶部52は、例えばDRAMまたはSRAMにより構成される一時的な記憶素子を備えてもよく、制御部50の作業領域として機能してもよい。例えば記憶部52は、カメラ2から受信した画像データ及び画像認識部51による認識結果などを一時的に記憶してもよい。
 操作部53は、ユーザの操作を受け付ける操作部材の総称である。操作部53は、例えばキーボード、マウス、トラックパッド、タッチパッド、ボタン及びスイッチ等のいずれか、またはそれらの組合せにより構成される。操作部53は、ユーザの操作によって入力される諸情報を取得する。
 機器I/F54は、作業分析装置5にカメラ2のような外部機器を接続するための回路である。機器I/F54は、所定の通信規格に従い通信を行う。所定の規格には、USB、HDMI(登録商標)、IEEE1395、IEEE802.11、Bluetooth(登録商標)等が含まれる。機器I/F54は、作業分析装置5において外部機器から諸情報を受信する取得部の一例である。作業分析システム1において、作業分析装置5は、例えば機器I/F54を介して、カメラ2が撮像した動画を示す画像データを取得する。
 出力I/F55は、情報を出力するための回路である。出力I/F55は、例えばHDMI規格などに準拠して、各種の情報を表示するためのモニタ及びプロジェクタなど外付けの表示デバイスに映像信号等を出力する。
 以上のような作業分析装置5の構成は一例であり、作業分析装置5の構成はこれに限らない。作業分析装置5は、PC(パーソナルコンピュータ)を含む各種のコンピュータで構成されてもよい。作業分析装置5は、出力I/F55に加えて、または代えて、例えば内蔵の表示デバイスとして液晶ディスプレイまたは有機ELディスプレイにより構成される表示部を備えてもよい。また、本実施形態の作業分析方法は、分散コンピューティングにおいて実行されてもよい。
 また、作業分析装置5は、上記の構成に加えて、または代えて、通信ネットワークを介して外部の情報処理装置と通信する構成を有してもよい。例えば、操作部53は、通信ネットワークを介して接続された外部の情報処理装置による操作を受け付ける構成であってもよい。また、出力I/F55は、通信ネットワークを介して外部の情報処理装置に各種の情報を送信してもよい。
 また、作業分析装置5における取得部は、制御部50等における各種ソフトウェアとの協働によって実現されてもよい。作業分析装置5における取得部は、各種記憶媒体(例えば記憶部52)に格納された諸情報を制御部50の作業エリアに読み出すことによって、諸情報の取得を行ってもよい。
1-1-3.各種データ構造について
 本実施形態の作業分析装置5は、以上のように地図データD1、作業エリア情報D2及び担当情報D3を記憶部52に格納する。各種データD1,D2,D3の構造の一例を、図3及び図4を用いて説明する。
 図3は、地図データD1を説明するための図である。地図データD1は、例えば作業場6を上方から俯瞰した各種設備のレイアウトといった地図の座標系を示すデータに、後述する区画及び作業エリアの配置を関連付けて管理する。以下、作業場6における水平面上で互いに直交する2方向をX方向及びY方向という。作業場6における位置は、例えばX方向における位置を示すX座標とY方向における位置を示すY座標により規定される。
 図3の地図データD1では、図1に示す作業場6に対応して、X方向に間隔を空けて配置された搬送ライン61及び棚62が示されている。図3の例では、搬送ライン61はY方向に延びており、Y方向の正から負に向かう方向に箱を搬送する。本例の地図データD1は、作業場6をY方向において複数の区画に区分して管理する。図3は、作業場6が区画Z1と区画Z2に区分された例を示す。各区画Z1、Z2は、例えば作業場6において作業者を割り当てる単位区画として予め設定される。
 各区画Z1、Z2は、作業場6において作業者W1~W3等が作業する領域を示す作業エリアを含む。図3に示す区画Z1には、搬送ライン61の近傍の作業エリアA1と、棚62の近傍の作業エリアA2とが含まれる。各作業エリアA1、A2は、作業場6において、それぞれ搬送ライン61または棚62と関連する作業が行われると考えられる範囲内の領域として予め設定される。
 図4は、本実施形態の作業分析装置5における作業エリア情報D2及び担当情報D3を説明するための図である。
 作業エリア情報D2は、例えば図4(A)に示すように、作業場6における「区画」毎に「作業エリア」と、各作業エリアにおいて行われる「作業」とを関連付けて管理する。例えば、区画Z1の搬送ライン61の近傍の作業エリアA1では「箱詰め」及び「箱準備」の作業が行われ、区画Z1の棚62の近傍の作業エリアA2では「集荷」の作業が行われる。作業分析装置5は、作業エリア情報D2により、作業場6における位置と作業とを対応付けて管理することができる。
 担当情報D3は、例えば図4(B)に示すように、「作業者」と、各作業者が主に作業する区画である「担当区画」とを関連付けて管理する。図4(B)の例では、作業者W1の担当区画は区画Z2であり、作業者W2の担当区画は区画Z1である。担当情報D3は、例えば作業場6における各日の作業計画表といった作業者の割り当てを示す情報に応じて、逐次更新されてもよい。また、担当情報D3において、例えば画像認識部51による過去の認識結果に基づいて、作業者毎に滞在頻度の高い区画が担当区画に設定されてもよい。
 なお、図示は省略するが、本実施形態の作業分析装置5は、例えば記憶部52に、上記の担当情報D3の他にも、作業場6に関する作業業傾向情報を格納する。作業傾向情報は、例えば各作業者の作業毎に設定される標準作業期間、各作業エリアにおける作業毎の最大人数、及び作業の組み合わせにおける時間的または位置的な実行順序を示す作業順序などの情報を含む。作業傾向情報は、作業場6において分析対象とする作業者により種々の作業が行われる各種の傾向を示す情報を含んでもよい。また、作業傾向情報は、分析チャート7における主作業及び副作業などの分類を示す情報を含んでもよい。これらの各種情報を用いた作業分析装置5の動作については後述する。
1-2.動作
 以上のように構成される作業分析システム1及び作業分析装置5の動作について、以下説明する。
 図1に例示する作業分析システム1は、作業場6における時刻毎の作業者W1~W3の位置を画像認識処理により認識して、時刻毎の各作業者W1~W3が実施する作業である実施作業を推定する。本システム1は、推定結果を示す情報を蓄積し、蓄積された情報に基づいて、分析期間における作業者W1~W3毎の実施作業を可視化した分析チャート7を生成する。
 本実施形態の作業分析装置5は、例えば画像認識部51により、カメラ2による作業場6の撮像画像に対して画像認識を行い、各作業者W1~W3の位置を認識する。例えば図3に示す区画Z1において、作業分析装置5は、まず、画像認識部51の認識結果に含まれる各作業者の位置がそれぞれ作業エリアA1、A2、またはそれ以外の領域にあることに応じて、各作業者の実施作業を判別する。
 ここで、例えば図4(A)の作業エリア情報D2に示すように複数の作業が想定される作業エリアA1では、カメラ2からの撮像画像に基づく画像認識処理により各作業者W1~W3を特定できても、各々の実施作業を判別することは困難な場合がある。
 本実施形態では、作業分析システム1において、画像認識処理に加え、例えば予め記憶された作業傾向情報に基づいて、各作業者W1~W3の実施作業を推定することができる作業分析装置5を提供する。本システム1の作業分析装置5によれば、推定結果に基づいて実施作業を判別することで、分析チャート7が生成される。
1-2-1.課題について
 本実施形態の作業分析システム1において、各作業者の実施作業を判別する上で課題となる場面について、図5及び図6を用いて説明する。
 図5及び図6は、作業分析装置5に関する課題を説明するための図で、作業場6における作業者W1、W2を上方から見た図である。図5及び図6は、作業場6の区画Z1において作業者W1及びW2が作業する様子を示す。
 図5(A)は、作業者W1が「移動」、作業者W2が「集荷」をしている場面を示す。図5(B)は、図5(A)から作業者W1が作業エリアA2に到着して、各作業者W1、W2がそれぞれ「集荷」をしている場面を示す。図5(C)は、図5(B)から作業者W1が作業エリアA1に移動して、作業者W1が「箱詰め」、作業者W2が「集荷」をしている場面を示す。図5(D)は、図5(C)の後、作業者W1が「箱準備」、作業者W2が「集荷」をしている場面を示す。
 図5(A)の例では、作業者W1は作業エリアA1と作業エリアA2との間の領域に位置することから、作業者W1の実施作業は移動と判別できる。一方、作業者W2は棚62の近傍の作業エリアA2に位置することから、その実施作業は集荷と判別できる。又、図5(B)の例では、作業者W1及びW2は作業エリアA2に位置することから、何れの実施作業も集荷と判別できる。
 図5(C)の例では、作業者W1は、集荷と対応する作業エリアA2(図5(B))の後に、搬送ライン61の近傍の作業エリアA1に位置することから、実施作業は箱詰めと判別できる。図5(D)の例において、作業者W2は、作業エリアA2に位置することから、実施作業は集荷と判別できる。
 しかしながら、図5(D)の場面において、作業者W1が、図5(C)の場面の実施作業「箱詰め」とは別の作業「箱準備」を実施していることは、作業者W1が図5(C)と同様に作業エリアA1に位置することが認識できても判別困難である。すなわち、複数の作業が想定される作業エリアA1では、図5(C)から時間が経過した図5(D)の状態において、作業者W1が箱詰めを継続しているか、或いは箱準備に移行しているかは、作業者W1の位置の画像認識からは判別が困難である。
 また、図6は、作業者W1が「箱準備」、作業者W2が「箱詰め」をしている場面を示す。図6の例では、作業者W1及びW2は作業エリアA1に位置する。このように、複数の作業が想定される作業エリアA1において作業者W1及びW2が並んで作業している場面においても、各々の実施作業が箱詰めか箱準備か、判別が困難である。
 以上のように、作業者W1,W2の画像認識のみからでは、作業場6において刻々と変化する各作業者W1,W2の実施作業を判別することが困難な場面が生じ得るという課題が考えられる。
 そこで、本実施形態の作業分析装置5では、作業者W1及びW2等の位置に加えて、担当情報D3といった作業傾向情報に基づいて、作業者毎の実施作業を推定するための確率的な演算処理を実行する。これにより、図5(D)及び図6のように、作業エリアA1といった特定の領域で複数の作業が行われ、各作業者W1、W2の位置のみによる作業の判別が困難な状況においても、推定結果から各作業者W1、W2の実施作業を判別することができる。
 例えば、図5(D)の状況では、図5(C)からの経過時間に関する情報を用いることで、作業者W1の作業が箱詰めから箱準備に移行しているという推定が可能である。また、図6の状況では、例えば各作業者W1,W2の担当区画に基づいて、或いは複数の作業の組み合わせにおける上流工程と下流工程といった作業位置の関係に基づいて、各作業者W1、W2の実施作業がそれぞれ箱準備、箱詰めであるという推定が可能である。
1-2-2.全体動作
 作業分析システム1における作業分析装置5の全体動作について、図7を用いて説明する。
 図7は、作業分析装置5の全体動作を説明するためのフローチャートである。本フローチャートに示す処理は、例えば作業分析装置5の制御部50により実行される。
 まず、制御部50は、例えば機器I/F54を介して、カメラ2から画像データを取得する(S1)。例えば、作業場6において作業者W1~W3の作業中に、カメラ2は動画を撮影して、動画のフレーム周期といった所定の周期で各時刻の撮像画像を示す画像データを生成して作業分析装置5に送信する。
 次に、制御部50は、地図データD1を参照して作業場6における区画を1つ選択する(S2)。例えば、図3に示す区画Z1,Z2から、まず区画Z1が選択される。
 制御部50は、取得した画像データが示す画像において、ステップS2で選択した区画に対応する領域に映った作業者毎に、実施作業を判別する(S3)。このような作業判別処理(S3)において、制御部50は、複数の作業が複数の作業者により行われる際の実施作業を確率的に推定するための演算処理を行う。本実施形態では、制御部50は、画像に基づく作業者の位置に加え、前述した担当情報D3等の作業傾向情報を用いてステップS3の演算処理を行う。作業判別処理(S3)の詳細については後述する。
 制御部50は、地図データD1を参照して作業場6における全ての区画が選択されたか否かを判断して(S4)、1フレームあたりに全ての区画が選択されるまで(S4でNO)、ステップS2~S3を繰り返す。例えば図3の地図データD1では、区画Z1が選択された後、区画Z2が選択される。
 全区画が選択された場合(S4でYES)、制御部50は、所定のフレーム数の作業が判別されたか否かを判断する(S5)。所定のフレーム数は、例えば分析チャート7において可視化の対象とする分析期間にカメラ2により撮像されるフレーム数である。制御部50は、所定のフレーム数の作業が判別されるまで(S5でNO)、ステップS1~S4を繰り返す。
 所定のフレーム数の作業が判別されると(S5でYES)、制御部50は、分析チャート7を生成する可視化処理(S6)を行う。制御部50は、例えば作業場6の各作業者について、1フレームの期間といった時間間隔毎に作業判別処理(S3)により判別された作業の回数をカウントする。このように作業者毎に分析期間における各作業の総回数が算出されると、制御部50は、作業者毎の各作業の比率を計算して、分析チャート7を生成する。分析チャート7において各作業の比率は、例えば分析期間に対する各作業の時間の割合として示される。
 制御部50は、例えば、可視化処理(S6)により生成された分析チャート7を記憶部52に格納して、本フローチャートに示す処理を終了する。
 以上の処理によると、作業場6の区画ごとに作業判別処理(S3)によって作業者別の実施作業が推定され(S3)、全区画の分析期間における推定結果に基づいて実施作業を判別することで、分析チャート7が生成される(S6)。本実施形態の作業判別処理(S3)によると、例えば分析期間のうち、図5(D)及び図6に示す場面等に対応する特定の時間間隔において実施作業の判別が困難であっても、分析期間における全時間間隔での実施作業を反映した分析チャート7を得ることができる。
 なお、上記のステップS1では、カメラ2から分析期間における録画された動画データが取得されてもよい。例えば制御部50は、ステップS1の後に各フレームの画像データを選択してステップS2以降の処理を行い、ステップS5に代えて全てのフレームが選択されるまで、これらの処理を繰り返してもよい。
1-2-3.作業判別処理(S3)について
 図7のステップS3における作業判別処理の詳細を、図8及び図9を用いて説明する。
 図8は、本実施形態の作業分析装置5における作業判別処理(図7のS3)を例示するフローチャートである。図8のフローチャートに示す処理は、例えば図7のステップS2において1つの区画が選択された状態で開始される。以下では、図3に地図データD1を示すような作業場6における区画Z1が選択された例を用いて説明する。
 図9は、作業判別処理(S3)を説明するための図である。本実施形態の作業分析装置5は、作業判別処理(S3)において、作業者毎に各作業に該当する確率を格納するための作業確率テーブルT1を生成する。図9(A)は、図6に示す場面の撮像画像に対応して項目が設定された作業確率テーブルT1を例示する。図9(B)、(C)は、それぞれ図8のフローチャートに示す処理により値が変化した作業確率テーブルT1を例示する。作業確率テーブルT1は、本実施形態における確率情報の一例である。
 本実施形態の作業分析装置5は、作業確率テーブルT1により、各作業者の位置の認識結果と、作業エリア情報D2とに基づいて、作業エリアの判定から算出可能な各作業者の作業毎の確率を保持する。本実施形態の作業分析装置5は、さらに担当情報D3等の作業傾向情報に基づいて、作業確率テーブルT1の確率を補正する演算処理を行うことで、実施作業の推定を実現する。
 図8のフローチャートにおいて、まず、制御部50は、画像認識部51として機能して、図7のステップS1で取得した画像データが示す画像において、作業者W1、W2等の位置を認識して、認識結果を取得する(S11)。この際、制御部50は、例えば画像中で認識された位置に関して、地図データD1に基づいて作業場6における位置を示す座標系に変換するための座標変換を演算する。
 次に、制御部50は、図7のステップS2で選択された区画に応じて作業確率テーブルT1を作成する(S12)。制御部50は、作業確率テーブルT1において、例えば記憶部52に格納された地図データD1及び作業エリア情報D2、並びに取得した認識結果を参照して、選択された区画における作業及び作業者の項目を設定する。また、制御部50は、例えば予め記憶部52に格納された作業毎の最大人数の値を設定する。
 図9(A)の作業確率テーブルT1では、図4(A)の作業エリア情報D2に基づいて、区画Z1における作業として「箱詰め」、「箱準備」及び「集荷」が設定され、例えば全ての区画に共通する作業として「移動」が設定される。また、例えば図6の場面では、区画Z1に対応する画像の領域における認識結果に基づいて「作業者W1」及び「作業者W2」が設定される。図9(A)の例では、箱詰め及び箱準備の最大人数が「1」に設定されている。作業毎の最大人数は、例えば各作業の作業エリアおける空間上の制約または作業の性質に応じて予め定められ、記憶部52に格納される。箱詰め及び箱準備は、本実施形態における第2の作業の一例である。
 次に、制御部50は、ステップS11で認識された作業者の位置に基づいて、作業確率テーブルT1における確率を配分する(S13)。制御部50は、例えば作業者の位置を示す座標と地図データD1における作業エリアの座標とを比較して、各作業者の位置が含まれる作業エリアを判定する。制御部50は、例えば作業エリア情報D2に基づき、各作業者について、判定した作業エリアの作業に確率を配分する。
 図9(B)は、図6に示す場面の画像における認識結果に基づいて、ステップS13で確率が配分された作業確率テーブルT1を例示する。図6の例では、作業エリアA1において、作業者W1及びW2の位置が認識される。また、図4(A)の作業エリア情報D2に示すように、作業エリアA1に箱詰め及び箱準備の2つの作業が対応する。このことから図9(B)の作業確率テーブルT1では、作業者W1の箱詰め及び箱準備に、それぞれ等確率とみなす「50%」の確率が配分される。作業者W2についても作業者W1と同様に確率が配分される。
 次に、制御部50は、作業者の位置から確率が配分された作業確率テーブルT1において、作業者毎の補正を行う(S14)。ステップS14の処理は、例えば過去の作業の判別結果、作業者毎の各作業の標準作業期間及び時間的な作業順序の情報に基づいて行われる。図5(D)の例では、制御部50は、例えば過去の判別結果から、作業者W1の箱詰めの標準作業期間が経過していると判断すると、作業確率テーブルT1において作業者W1の箱詰めの確率を所定の値だけ低減する補正を行う。所定の値は、例えば作業者の人数に応じて等分した確率よりも小さい範囲の正値として設定される。作業者毎の補正の処理(S14)の詳細は後述する。
 次に、制御部50は、作業確率テーブルT1において、複数の作業者間の関係に応じた作業者間の補正を行う(S15)。ステップS15の処理は、例えば作業エリア情報D2、担当情報D3、位置的な作業順序及び画像認識部51により各作業者が認識された時刻の情報に基づいて行われる。図6の例では、制御部50は、例えば図4(B)の担当情報D3により、作業者W2の担当区画が区画Z1であると判断して、作業確率テーブルT1において作業者W2の作業のうち主作業である箱詰めの確率を、所定の値だけ増加させる補正などを行う。所定の値は、例えばステップS14と同様である。図9(C)は、図9(B)に示す補正前の作業確率テーブルT1において、作業者間の補正を行った(S15)例を示す。
 次に、制御部50は、補正した作業確率テーブルT1に基づいて、各作業者の実施作業を判別する(S16)。ステップS16において、制御部50は、作業者毎に、作業確率テーブルT1における複数の作業のうちの最高確率の作業が実施作業であると判別する。制御部50は、作業者の最高確率が所定の閾値を超えない場合には、当該作業者の実施作業が所定の作業(例えば待機など)であると判別する。制御部50は、判別結果を例えば記憶部52に格納する。所定の閾値は、例えば各作業者に該当する可能性が低い作業を除外する観点から十分に大きな値が設定される。
 例えばステップS16において、図9(C)の作業確率テーブルT1では、各作業者W1、W2の実施作業がそれぞれ箱準備、箱詰めであると判別される。
 制御部50は、各作業者の実施作業を判別した(S16)後、例えば補正された作業確率テーブルT1を記憶部52に格納して、本フローチャートに示す処理を終了する。その後、図7のステップS4に進む。
 以上の作業判別処理(S3)によると、作業者の位置から配分された確率(S13)では作業者毎の実施作業を判別できないとしても、作業傾向情報に基づいて補正された作業確率テーブルT1が得られる(S14、S15)。このような作業者毎の実施作業を推定するための演算処理により補正された作業確率テーブルT1に基づいて、実施作業が判別されることで(S16)、確実に各作業者に1つの作業が割り当てられる。
1-2-4.作業者毎の補正の処理
 以上のような作業判別処理(図8)におけるステップS14の処理について、図10を用いて説明する。
 図10は、本実施形態の作業分析装置5における作業者毎の補正の処理(図8のS14)を例示するフローチャートである。図10のフローチャートに示す処理は、例えば作業確率テーブルT1において作業者の位置から確率を配分した状態で開始される。
 まず、制御部50は、作業確率テーブルT1における一作業者を選択する(S140)。例えば、図5(D)の場面に対応して設定された作業確率テーブルT1において、作業者W1及びW2のうち作業者W1が選択される。
 制御部50は、選択した作業者について、例えば記憶部52に格納された標準作業期間の情報及び過去の作業の判別結果を参照して、標準作業期間による補正を行う(S141)。制御部50は、標準作業期間を超えて継続する作業があるか否かを判断して、当該作業がある場合、作業確率テーブルT1における当該作業の確率を低減する。標準作業期間は、例えば予め計測された作業者毎の各作業に要する期間に基づいて設定される。
 図5(D)の例では、作業者W1が作業エリアA1に位置することから、図9(A)と同様に、作業確率テーブルT1における作業者W1の箱詰め及び箱準備には、それぞれ「50%」の確率が配分される(図8のS13)。例えば図5(C)の場面に関する作業判別処理で作業者W1の作業が箱詰めと判別されて、且つ図5(D)の時点で図5(C)から作業者W1の箱詰めの標準作業期間が経過しているとき、作業者W1の箱詰めの確率が低減される(S141)。箱詰めは、本実施形態における第1の作業の一例である。
 その後、制御部50は、作業確率テーブルT1において、例えば選択した作業者W1について複数の作業の確率を正規化する。上述した図5(D)の例では、箱詰め及び箱準備の2つの作業において、例えば作業者W1の箱準備の確率を、箱詰めの確率の低減量だけ増加させる。また、例えば最大人数が設定されている作業の確率を補正した場合、選択された作業者以外の当該作業の確率を増やすように正規化が行われてもよい。
 さらに、制御部50は、例えば記憶部52から時間的な作業順序を示す情報を参照して、時間順序による補正を行う(S142)。制御部50は、ステップS140で選択した作業者について、直前の作業判別処理(図8)で判別された作業に後続しない作業の確率を低減する。
 例えば図5(C)の場面に関して、図5(D)の例と同様に、作業確率テーブルT1における作業者W1の箱詰め及び箱準備の確率はそれぞれ「50%」に配分される(図8のS13)。例えばステップS140で選択された作業者W1の直前の作業が集荷である場合、集荷で荷物を持った作業者は箱詰めを行う、といった知見から設定された時間的な作業順序の情報に基づいて、作業者W1の箱詰めの確率を増やす補正が行われる(S142)。その後、例えばステップS141と同様に、選択した作業者W1において複数の作業の確率が正規化される。
 制御部50は、作業確率テーブルT1における全ての作業者が選択されるまで(S143でNO)、ステップS140~S142の処理を繰り返す。全ての作業者が選択されると(S143でYES)、制御部50は、作業者毎の補正の処理(図8のS14)を終了する。
 以上の処理によると、作業者毎の標準作業期間及び時間的な作業順序の情報に基づいて、作業確率テーブルT1における作業者毎の確率が補正される(S141~S142)。これにより、例えば図5(D)のように複数の作業が行われる作業エリアA1に作業者W1が滞在する場面においても、例えば標準作業期間の情報に基づく補正の処理(S141)により、作業者W1の作業を判別する(図8のS16)ことができる。
 なお、時間的な作業順序に基づく補正の処理(S142)は、例えば図8のステップS14に限らず、作業確率テーブルT1において確率を配分する(図8のS13)際に実行されてもよい。また、ステップS141における標準作業期間は、例えば各作業者の作業毎に、開始から完了までの期間を複数回にわたり計測後、計測された期間の頻度分布において、所定の割合(例えば全計測回数の95%)の回数が含まれる期間として算出されてもよい。
1-2-5.作業者間の補正の処理
 図8のステップS14の処理について、図11を用いて説明する。
 図11は、本実施形態の作業分析装置5における作業者間の補正の処理(図8のS15)を例示するフローチャートである。図11のフローチャートに示す処理は、例えば作業確率テーブルT1において作業者毎の補正が行われた(図8のS14)状態で開始される。
 まず、制御部50は、作業確率テーブルT1における複数の作業のうち一作業を選択する(S150)。例えば図9(B)の作業確率テーブルT1では、まず箱詰めが選択される。
 次に、制御部50は、選択した作業が所定の補正条件に該当するか否かを判断する(S151)。所定の補正条件は、例えば特定の作業について複数の作業者間の関係から確率を補正するために設定される。例えば、補正条件は、作業確率テーブルT1において全ての作業のうち選択した作業が最高確率である作業者の人数をカウントしたとき、その最高確率の人数が当該作業の最大人数を超えることである。選択した作業が補正条件に該当しない場合(S151でNO)、制御部50は、ステップS155へ進む。
 選択した作業が補正条件に該当する場合(S151でYES)、制御部50は、当該作業に関して担当情報D3に基づく補正を行う(S152)。例えば図9(B)の作業確率テーブルT1において、箱詰めが最高確率である作業者の人数は作業者W1及びW2の2人であり、最大人数の「1」を超えることから、箱詰めに関して補正が行われる。
 ステップS152において、制御部50は、担当情報D3を参照して、図7のステップS2で選択された区画、即ち作業判別処理(S3)の対象とする区画が担当区画である作業者について、主作業の確率を増加させる。本実施形態では、例えば図1の分析チャート7における作業の分類に対応して、主作業は箱詰めである。例えば図9(B)の作業確率テーブルT1では、図4(B)の担当情報D3において作業者W2の担当区画が区画Z1であることから、作業者W2の主作業である箱詰めの確率を増やす補正が行われる。
 その後、制御部50は、例えば補正を行った作業者及び作業の各々において、即ち作業確率テーブルT1の行と列の各々において、確率を正規化する処理を行う。図9(B)の例では、作業者W2の箱詰めの確率を補正により増加させた後、作業者W2の箱準備及び作業者W1の箱詰めの確率をそれぞれ低減する正規化が行われる。さらに、制御部50は、例えば作業者W1における正規化により作業者W1の箱準備の確率を増加させる。
 なお、ステップS152の担当情報D3に基づく補正では、例えば予め作業者毎の担当作業が設定され、上述した例の主作業に代えて担当作業の確率を増加させてもよい。この場合、担当情報D3に担当作業を示す情報が含まれてもよい。また、例えば主作業が区画または作業エリア毎に予め設定されて、作業エリア情報D2に主作業を示す情報が含まれてもよい。この場合、ステップS152において作業エリア情報D2が参照される。
 次に、制御部50は、選択した作業を含む複数の作業の組み合わせでの作業位置の関係に基づいて、位置順序による補正を行う(S153)。制御部50は、例えば記憶部52に格納された位置的な作業順序を示す情報と、図8のステップS11で取得した認識結果とを参照することで、ステップS153の処理を行う。
 例えば、図9の作業確率テーブルT1に対応する図6の場面では、箱詰め及び箱準備の2つの作業に対応する作業エリアA1において、作業者W1の位置が作業者W2よりも+Y方向、即ち搬送ライン61の上流側において認識される(図8のS11)。この場合、制御部50は、例えば搬送ライン61の上流側に箱準備、下流側に箱詰めが対応するといった位置的な作業順序の情報に基づき、補正対象の作業「箱詰め」について、当該作業に該当しないとみなす作業者W1の確率を低減する補正を行う(S153)。その後、例えば補正した箱詰め及び作業者W1に関して、ステップS152と同様に確率が正規化される。
 次に、制御部50は、選択した作業に対応する作業エリアへの到着順による補正を行う(S154)。制御部50は、例えば作業エリア情報D2と、過去の画像認識部51による認識結果とに基づいて、選択した作業に対応する作業エリアにおける複数の作業者について、各作業者が認識された時刻を比較する。制御部50は、例えば選択した作業の標準作業期間を超えない作業者のうち、当該作業エリアにおいて最も先に認識された作業者、即ち最も当該作業エリアへの到着時刻が早く、選択した作業の開始時刻が早いとみなせる作業者の当該作業の確率を増加させる。その後、例えばステップS152と同様に、補正した作業及び作業者に関する正規化が行われる。
 制御部50は、作業確率テーブルT1における全ての作業が選択されるまで(S155でNO)、ステップS150以降の処理を繰り返す。全ての作業が選択されると(S155でYES)、制御部50は、作業者間の補正の処理(S15)を終了する。
 以上の処理によると、担当情報D3、位置的な作業順序の情報及び作業エリアへの到着順に基づいて、作業確率テーブルT1における作業毎の確率が補正される(S152~S154)。例えば、複数の作業に対応する作業エリアA1において複数の作業者W1及びW2が作業する図6の場面では、図9(B)の補正前の確率から図9(C)のように補正された作業確率テーブルT1が得られる。これにより、各作業者W1、W2の位置から配分された確率によっては作業の判別が困難な場合であっても、補正後の作業確率テーブルT1に基づいて作業者別の実施作業を判別する(図8のS16)ことができる。
 なお、以上の処理において、ステップS152~S154の補正は上述した例と異なる順序で行われてもよく、ステップS152~S154のうち一部の補正のみが行われてもよい。また、作業確率テーブルT1において補正により確率を増減させる所定の値は、例えば作業者の人数に応じて等分した確率より小さい範囲の正数として生成した乱数が用いられてもよい。
1-3.効果等
 以上のように、本実施形態における作業分析装置5は、作業場の一例である作業場6において一以上の作業者の一例である作業者W1~W3により行われる複数の作業に関する情報を生成する。作業分析装置5は、記憶部52と、取得部の一例である機器I/F54と、制御部50とを備える。記憶部52は、作業場6において各作業に対応付けられる領域の一例である作業エリアA1、A2等を示す地図情報の一例として地図データD1及び作業エリア情報D2を格納する。機器I/F54は、例えば作業場6における時刻毎の作業者の位置を含む位置情報の一例として、カメラ2から撮像画像の画像データを取得する(S1)。制御部50は、位置情報及び地図情報に基づいて、作業者の時刻毎の作業を判別する演算処理を行う(S3)。制御部50は、位置情報に基づいて、地図情報において時刻毎の作業者の位置を含む領域に対応付けられる作業が、当該作業者により行われる確率を示す確率情報の一例である作業確率テーブルT1を生成する(S12,S13)。制御部50は、作業場6において作業者により作業が行われる傾向を示す作業傾向情報の一例である担当情報D3等に応じて、作業確率テーブルT1を補正する(S14,S15)。
 以上の作業分析装置5によると、担当情報D3等の作業傾向情報に応じて、位置情報に基づいて生成された作業確率テーブルT1が補正される。これにより、一以上の作業者により複数の作業が行われる際に、作業者の実施作業を推定することができる。作業分析装置5においては、制御部50が取得部として機能することで、位置情報の一例として、画像認識部51の認識結果を取得してもよい。
 本実施形態において、制御部50は、作業者の位置が、地図情報において二以上の作業が対応付けられる作業エリアA1等の特定の領域に含まれるとき、作業傾向情報に応じて、当該二以上の作業に関する確率を互いに異ならせるように作業確率テーブルT1を補正する(S14、S15)。これにより、作業確率テーブルT1において位置情報に基づき二以上の作業に等確率が配分されても、推定結果として得られる補正後の作業確率テーブルT1から、作業者の実施作業を判別することができる(図9(B)、(C)参照)。
 本実施形態において、制御部50は、複数の作業者の位置が地図情報において二以上の作業が対応付けられる作業エリアA1等の特定の領域に含まれるとき、作業傾向情報に応じて、前記複数の作業者間において各作業者の作業に関する確率を補正する(S15)。これにより、例えば図6の場面など、複数の作業者の位置が含まれる作業エリアから各作業者の実施作業が判別できない場合であっても、作業者間の補正による実施作業の推定が可能である。
 本実施形態において、作業傾向情報は、複数の作業における第1の作業に設定される標準作業期間を示す情報を含む。制御部50は、作業者の位置が第1の作業に対応づけられた領域に含まれる期間が、標準作業期間を超えたとき、第1の作業に関する確率を低減する(S141)。これにより、例えば図5(C)、(D)のように、箱詰め(第1の作業の一例)に対応付けられた領域の一例である作業エリアA1に、作業者W1の位置が継続して含まれる場合であっても、箱詰めの標準作業期間に基づいて作業者W1の実施作業を推定することができる。
 本実施形態において、作業傾向情報は、複数の作業における第2の作業を並行して行う作業者の最大人数を示す情報を含む。制御部50は、第2の作業に対応付けられた領域に含まれる位置の作業者の人数が最大人数を超えるとき(S151でYES)、各作業者の第2の作業に関する確率を変化させる(S152~S154)。これにより、例えば図9の作業確率テーブルT1における箱詰め及び箱準備(第2の作業の一例)のような各作業の最大人数を満たすように、作業者間の補正を行うことができる。
 本実施形態において、作業傾向情報は、第2の作業に関連する領域の一例である区画Z1等と作業者とを対応付けた担当情報D3(担当情報の一例)を含む。制御部50は、作業者の位置が担当情報D3において対応づけられた領域に含まれるときに、当該領域に対応付けられた作業に関する確率を補正する(152)。これにより、各作業者が、担当情報D3において対応付けられた担当区画に含まれる作業エリアで作業を行う可能性が高い作業場6の傾向を反映して、確率を補正することができる。なお、担当情報D3は、作業者が区画に滞在する頻度に基づいて生成されてもよい。
 本実施形態において、画像認識部51の認識結果(位置情報の一例)は、複数の作業者が領域の一例である作業エリアに到着した時刻を示す情報を含む。制御部50は、第2の作業に対応付けられた作業エリアに含まれる位置の作業者の人数が最大人数を超えるとき(S151でYES)、複数の作業者において当該領域に到着した時刻が早い作業者についての確率を増加させる(S154)。これにより、作業エリアに早く到着して当該作業エリアに対応する作業の開始時刻が早いとみなせる作業者の確率を増加させるように補正することができる。
 本実施形態において、作業傾向情報は、複数の作業における二以上の作業の組み合わせにおける順序を示す情報を含む。制御部50は、当該順序に応じて、組み合わせにおける各作業に関する確率を補正する(S142,S153)。これにより、例えば図5(D)及び図6のように、作業者の位置が、二以上の作業と対応する作業エリアA1に含まれる場合であっても、当該順序に基づいて、作業者の実施作業を推定することができる。本実施形態において、当該順序を示す情報は、例えば時間的または位置的な作業順序の情報を含む。図5(D)の例では、時間的な作業順序から作業者W1の実施作業が推定され、図6の例では、位置的な作業順序から各作業者W1、W2の実施作業が推定される。
 本実施形態において、制御部50は、分析期間(所定期間の一例)分の作業確率テーブルT1(確率情報の一例)に基づいて、作業者毎に、所定期間に亘る複数の作業の比率を示す情報の一例である分析チャート7を生成する(S6)。これにより、分析期間に亘る作業者毎の実施作業の推定結果を、例えば作業分析システム1のユーザ3に提示することができる。
 本実施形態の作業分析方法は、作業場6において一以上の作業者により行われる複数の作業に関する情報を生成する方法である。コンピュータの一例である作業分析装置5の記憶部52には、作業場6において各作業に対応付けられる領域を示す地図データD1及び作業エリア情報D2(地図情報の一例)が格納されている。本方法は、コンピュータの制御部50が、作業場6における時刻毎の作業者の位置を含む位置情報を取得するステップ(S1,S11)と、位置情報に基づいて、地図情報において時刻毎の作業者の位置を含む領域に対応付けられる作業が、作業者により行われる確率を示す作業確率テーブルT1(確率情報の一例)を生成するステップ(S12,S13)と、作業場6において作業者により作業が行われる傾向を示す担当情報D3等の作業傾向情報に応じて、確率情報を補正するステップ(S14,S15)とを含む。
 本実施形態において、以上のような作業分析方法をコンピュータの制御部に実行させるためのプログラムが提供される。本実施形態の作業分析方法によると、一以上の作業者により複数の作業が行われる際に、作業者の実施作業を推定することができる。
 (実施形態2)
 以下、図12~図15を用いて本開示の実施形態2を説明する。実施形態1では、作業分析装置5において、分析期間に亘る分析チャート7を生成する(図7のS6)作業分析システム1を説明した。本実施形態では、さらに特定の時刻及び作業者W1~W3を指定するユーザ操作に応じて、作業内容の分析結果を表示可能な情報提示装置を含む作業分析システム1Aを説明する。
 以下、実施形態1に係る作業分析システム1と同様の構成、動作の説明は適宜、省略して、本実施形態に係る作業分析システム1Aを説明する。
2-1.システムの概要
 図12は、本実施形態の作業分析システム1Aの情報提示装置における表示例を示す。作業分析システム1Aにおける情報提示装置は、例えばモニタ4を含むPC等の情報処理装置で構成される。
 図12の例では、モニタ4は、カメラ2が撮像した作業場6の動画を示す画像40と、動画の記録期間における再生状況を示す進捗バー41と、特定の時刻における作業内容の分析結果を示す推定作業情報9とを表示している。
 本システム1Aでは、例えばモニタ4において作業場6の動画を再生中に、作業者W1~W3及び動画における時刻を指定するユーザ操作により、推定作業情報9を表示させることができる。図12の例では、例えば進捗バー41において再生時刻を指定して、画像40上で作業者W1を選択するユーザ操作により、指定された時刻の作業者W1に関する推定作業情報9が表示される。図12の推定作業情報9は、時刻「13:54」における作業者W1の実施作業が、「30%」の確率で箱詰め、「70%」の確率で箱準備、及び「0%」の確率でその他の作業であると推定されたことを示す。
 このような推定作業情報9によれば、例えば本システム1Aのユーザは、特定の時刻における所望の作業者W1~W3について、実施作業の推定結果を確認することができ、各作業者W1~W3の実施作業を詳細に分析することができる。
2-2.情報提示装置の構成
 以上のような推定作業情報9を表示可能なモニタ4を含む情報提示装置の構成について、図13を用いて説明する。図13は、本実施形態の作業分析システム1Aにおける情報提示装置8の構成を例示するブロック図である。
 図13に例示する情報提示装置8は、制御部80と、記憶部82と、操作部83と、機器I/F84と、モニタ4とを備える。
 制御部80は、例えばソフトウェアと協働して所定の機能を実現するCPU又はMPUを含み、情報提示装置8の全体動作を制御する。制御部80は、記憶部82に格納されたデータ及びプログラムを読み出して種々の演算処理を行い、各種の機能を実現する。上記のプログラムは、インターネット等の通信ネットワークから提供されてもよいし、可搬性を有する記録媒体に格納されていてもよい。制御部80は、各種のデータ及びプログラムを保持する一時的な記憶領域として内部メモリを備えてもよい。制御部80は、例えば作業分析装置5の制御部50と同様に、CPU等に限らず各種回路で実現されてもよい。
 記憶部82は、情報提示装置8の機能を実現するために必要なプログラム及びデータを記憶する記憶媒体である。記憶部82は、例えばHDDまたはSSDにより構成される。例えば、記憶部82は、上記のプログラム、並びに後述のように作業分析装置5から取得されたカメラ2の画像データ及び作業確率テーブルT1などの各種情報を格納する。記憶部82は、例えばDRAMまたはSRAMにより構成される一時的な記憶素子を備えてもよく、制御部80の作業領域として機能してもよい。
 操作部83は、ユーザの操作を受け付ける操作部材の総称である。操作部83は、例えばキーボード、マウス、トラックパッド、タッチパッド、ボタン及びスイッチ等のいずれか、またはそれらの組合せにより構成される。操作部83は、ユーザの操作によって入力される諸情報を取得する。
 機器I/F84は、情報提示装置8に作業分析装置5のような外部機器を接続するための回路である。機器I/F84は、例えば作業分析装置5の機器I/F54と同様に所定の通信規格に従い通信を行う。機器I/F84は、情報提示装置8において外部機器から諸情報を受信する取得部の一例である。作業分析システム1において、情報提示装置8は、例えば機器I/F84を介して、作業分析装置5からカメラ2の画像データ及び補正後の作業確率テーブルT1を取得する。
 モニタ4は、種々の情報を表示する表示部の一例である。例えばモニタ4は、作業分析装置5から取得された画像データが示す画像を表示する。また、モニタ4は、例えば作業分析システム1のユーザが種々の設定を行うためのメニュー画面等を表示する。モニタ4は、例えば液晶ディスプレイデバイスまたは有機ELデバイスで構成できる。
 以上のような情報提示装置8の構成は一例であり、情報提示装置8の構成はこれに限らない。情報提示装置8は、例えば、作業分析装置5は、上記の構成に加えて、または代えて、通信ネットワークを介して外部の情報提示装置と通信する構成を有してもよい。また、情報提示装置8における取得部は、制御部80等における各種ソフトウェアとの協働によって実現されてもよく、各種記憶媒体(例えば記憶部82)に格納された諸情報を制御部80の作業エリアに読み出すことによって、諸情報の取得を行ってもよい。また、情報提示装置8は、PCに限らず、タブレット端末またはスマートフォン等として構成されてもよい。
2-3.作業分析装置の動作
 以上のような情報提示装置8を含む作業分析システム1Aにおける、作業分析装置5の全体動作について、図14を用いて説明する。
 図14は、本実施形態に係る作業分析装置5の全体動作を説明するためのフローチャートである。本実施形態の作業分析装置5における制御部50は、例えば実施形態1の図7と同様のステップS1~S6の処理に加えて、作業判別処理(S3)の後、補正後の作業確率テーブルT1(図9(C)参照)を記憶部52等に格納する(S20)。
 本実施形態の作業分析装置5によれば、例えば以上の処理を所定の周期で繰り返して、時刻毎の作業確率テーブルT1を格納することで、各時刻における作業者W1~W3毎の実施作業の推定結果が蓄積される。
2-4.情報提示装置の動作
 作業分析システム1Aにおいて、以上のような時刻毎の作業確率テーブルT1に基づき、ユーザによる指定に応じた推定作業情報9を表示する情報提示装置8の動作について、図15を用いて説明する。
 図15は、情報提示装置8の動作を例示するフローチャートである。本フローチャートは、例えば分析期間に亘り、作業分析装置5において図14の処理が実行された後、情報提示装置8において分析を開始する所定のユーザ操作が入力されたときに開始される。本フローチャートに示す各処理は、例えば情報提示装置8の制御部80により実行される。
 まず、制御部80は、例えば機器I/F84を介して、作業分析装置5からカメラ2による作業場6の動画を示す画像データを取得して、モニタ4に動画を表示させる(S81)。例えば、作業分析装置5の制御部50により、作業判別処理(図14のS3)を適用した画像データが機器I/F54を介して送信され、情報提示装置8では、受信した画像データに基づく動画が再生される。図12の例では、モニタ4は再生中の動画を示す画像40を表示している。
 次に、制御部80は、例えば操作部83において、表示中の動画に関して時刻と作業者W1~W3を指定するユーザ操作が入力されたか否かを判断する(S82)。制御部80は、例えば図12に例示する動画の進捗バー41において時刻を指定するユーザ操作と、画像40上で作業者W1~W3の1人を選択するユーザ操作とを受け付けるように、操作部83及びモニタ4を制御する。
 時刻と作業者を指定するユーザ操作が入力されていないとき(S82でNO)、制御部80は、例えば所定の周期でステップS82の判断を繰り返す。
 当該ユーザ操作が入力されたとき(S82でYES)、制御部80は、例えば作業分析装置5から、指定された時刻における補正後の作業確率テーブルT1を取得して、指定の作業者W1~W3に関する推定作業情報9をモニタ4に表示させる(S83)。例えば、制御部80は、ユーザ操作により指定された時刻と作業者W1~W3とを示す情報を作業分析装置5に送信し、当該情報における時刻の補正後の作業確率テーブルT1を受信するように、機器I/F54を制御する。制御部80は、例えば作業者W1~W3のうち指定された作業者について、取得した作業確率テーブルT1における各実施作業の確率を抽出し、推定作業情報9を生成する。
 図12の例では、時刻「13:54」及び作業者W1を指定するユーザ操作が入力され(S82でYES)、当該時刻における作業者W1の各実施作業の確率に基づいて、推定作業情報9が表示されている(S83)。
 ユーザ操作による指定に応じた推定作業情報9を表示後(S83)、制御部80は、本フローチャートの処理を終了する。
 以上の処理によれば、情報提示装置8は、動画を表示中に(S81)、時刻と作業者W1~W3を指定するユーザ操作が入力されたとき(S82でYES)、当該ユーザ操作による指定に応じた推定作業情報9をモニタ4に表示することができる(S83)。
 上記のステップS82では、時刻及び作業者W1~W3の両方を指定するユーザ操作の有無を判断する例を説明した。ステップS82では、上記の例に限らず、時刻及び作業者W1~W3の一方を指定するユーザ操作の有無が判断されてもよい。この場合、情報提示装置8は、例えば時刻を指定するユーザ操作が入力されたとき、ステップS83において当該時刻の各作業者W1~W3の推定作業情報9を表示してもよい。また、情報提示装置8は、例えば作業者W1~W3を指定するユーザ操作が入力されたとき、ステップS83では、ステップS81で表示中の動画の時刻における指定された作業者の推定作業情報9を表示してもよい。
 上記のステップS81では、作業分析装置5から、分析期間に亘る動画の画像データを取得して表示する例を説明した。ステップS81では、上記の例に限らず、例えば動画のフレーム周期で画像データを順次、取得して各フレームの画像データが表示されてもよい。この場合、ステップS82では、例えば表示中のフレームに対応する時刻以前の時刻を指定するユーザ操作が入力されたか否かが判断されてもよく、ユーザ操作がないとき(S82でNO)、ステップS81以降の処理が繰り返されてもよい。また、ステップS81において、情報提示装置8は、例えば機器I/F84を介してカメラ2から画像データを取得してもよい。
 上記のステップS83では、作業分析装置5から取得された作業確率テーブルT1に基づく推定作業情報9がモニタ4に表示される例を説明した。ステップS83では、モニタ4は、図12に例示する推定作業情報9に限らず、例えば取得された作業確率テーブルT1を表示してもよい。また、ステップS83では、例えば当該作業確率テーブルT1における各実施作業の確率に応じたヒートマップが生成されて、表示されてもよい。
2-5.効果等
 以上のように、本実施形態における作業分析システム1Aは、作業分析装置5と、作業分析装置5から補正後の作業確率テーブルT1(確率情報の一例)を取得して、取得した確率情報を表示する(S83)情報提示装置8とを備える。このような作業分析システム1Aによれば、情報提示装置8において、取得した作業確率テーブルT1に基づき、作業者W1~W3による実施作業の推定結果をユーザに提示することができる。
 本実施形態の作業分析システム1Aにおいて、情報提示装置8は、機器I/F84(通信部の一例)と、操作部83と、制御部80と、モニタ4(表示部の一例)とを備える。機器I/F84は、作業分析装置5とデータ通信を行う。操作部83は、作業場6における時刻と作業者W1~W3との少なくとも一方を示す指定情報を入力するユーザ操作を受け付ける(S82)。制御部80は、ユーザ操作に応じて指定情報を作業分析装置5に送信して、作業分析装置5から指定情報に応じた確率情報の一例として、ユーザ操作により指定された時刻及び/または作業者W1~W3に関する補正後の作業確率テーブルT1を受信するように機器I/F84を制御する(S83)。モニタ4は、指定情報に応じた確率情報の一例として、当該補正後の作業確率テーブルT1に基づく推定作業情報9を表示する(S83)。
 以上のように、本実施形態において、情報提示装置8は、作業分析装置5から補正後の作業確率テーブルT1(確率情報の一例)を取得して、取得した確率情報を表示する(S83)。こうした情報提示装置8によれば、ユーザ操作に応じた確率情報を表示して実施作業の分析をし易くすることができる。
(他の実施形態)
 以上のように、本出願において開示する技術の例示として、実施形態1~2を説明した。しかしながら、本開示における技術は、これに限定されず、適宜、変更、置換、付加、省略などを行った実施の形態にも適用可能である。また、上記各実施形態で説明した各構成要素を組み合わせて、新たな実施の形態とすることも可能である。そこで、以下、他の実施形態を例示する。
 上記の各実施形態では、可視化処理(図7のS6)において、各作業について、所定の時間間隔毎に各作業者の作業であると判別された総回数に基づいて分析チャート7が生成される例を説明したが、ステップS6はこれに限らない。例えば、制御部50は、蓄積された補正後の作業確率テーブルT1に基づいて、分析期間にわたる時間間隔毎の各作業の確率の合計値を算出し、確率の合計値から作業者毎の各作業の比率を計算することで、分析チャート7を生成してもよい。
 また、上記の各実施形態では、図7のステップS1において、カメラ2の撮像画像の画像データが機器I/F54を介して取得される例を説明したが、ステップS1はこれに限らない。例えば、作業分析装置5は、予め記憶部52に格納された画像データを読み出してもよい。また、ステップS1において、画像データは、複数フレーム単位で取得されてもよく、複数フレーム毎に1フレームが取得されてもよい。
 上記の実施形態2では、作業分析装置5における図14の処理を分析期間に亘り実行後、情報提示装置8において推定作業情報9を表示する図15の処理が実行される例を説明した。本実施形態では、例えば動画のフレーム周期で図14の処理を実行中に、補正後の作業確率テーブルT1を格納する度に(S20)図15の処理が実行されてもよい。この場合、図15のステップS81では、例えば各フレームの画像データが取得され、モニタ4に表示されてもよい。これにより時刻及び作業者W1~W3の指定に応じた推定作業情報9の表示(S83)をリアルタイムに行うことができる。
 また、上記の各実施形態では、図7のステップS1において画像データが取得され、図8のステップS11において画像認識処理により作業者の位置を認識する例を説明したが、ステップS1及びS11はこれに限らない。例えば作業分析装置5は、機器I/F54を介してビーコンまたはGPSによる作業者の位置情報を取得してもよい。
 また、上記の各実施形態では、作業分析システム1が物流倉庫のような作業場6に適用される例を説明した。本実施形態おいて、作業分析システム1及び作業分析装置5が適用される作業場すなわち現場は特に上述した作業場6に限らず、例えば工場または店舗の売り場など種々の現場であってもよい。また、作業分析システム1において判別される作業は、上述した箱詰め等の例に限らず、各種現場に応じた種々の作業であってもよい。また、作業分析システム1による分析対象の作業者は、作業者W1~W3等の人物に限らず、各種作業を実行可能な移動体であればよい。例えば作業者はロボットでもよく、有人または無人の各種車両であってもよい。
 以上のように、本開示における技術の例示として、実施の形態を説明した。そのために、添付図面および詳細な説明を提供した。
 したがって、添付図面および詳細な説明に記載された構成要素の中には、課題解決のために必須な構成要素だけでなく、上記技術を例示するために、課題解決のためには必須でない構成要素も含まれ得る。そのため、それらの必須ではない構成要素が添付図面や詳細な説明に記載されていることをもって、直ちに、それらの必須ではない構成要素が必須であるとの認定をするべきではない。
 本開示は、物流現場または工場など種々の環境において作業者毎の作業を分析するデータ分析の用途に適用可能である。

Claims (14)

  1.  作業場において一以上の作業者により行われる複数の作業に関する情報を生成する作業分析装置であって、
     前記作業場において各作業に対応付けられる領域を示す地図情報を格納する記憶部と、
     前記作業場における時刻毎の前記作業者の位置を含む位置情報を取得する取得部と、
     前記位置情報及び前記地図情報に基づいて、前記作業者の時刻毎の作業を判別する演算処理を行う制御部とを備え、
     前記制御部は、
     前記位置情報に基づいて、前記地図情報において前記時刻毎の作業者の位置を含む領域に対応付けられる作業が、当該作業者により行われる確率を示す確率情報を生成し、
     前記作業場において前記作業者により前記作業が行われる傾向を示す作業傾向情報に応じて、前記確率情報を補正する
    作業分析装置。
  2.  前記制御部は、前記作業者の位置が、前記地図情報において二以上の作業が対応付けられる特定の領域に含まれるとき、前記作業傾向情報に応じて、前記二以上の作業に関する確率を互いに異ならせるように前記確率情報を補正する
    請求項1に記載の作業分析装置。
  3.  前記制御部は、複数の作業者の位置が前記地図情報において前記特定の領域に含まれるとき、前記作業傾向情報に応じて、前記複数の作業者間において各作業者の作業に関する確率を補正する
    請求項2に記載の作業分析装置。
  4.  前記作業傾向情報は、前記複数の作業における第1の作業に設定される標準作業期間を示す情報を含み、
     前記制御部は、前記作業者の位置が前記第1の作業に対応づけられた領域に含まれる期間が、前記標準作業期間を超えたとき、前記第1の作業に関する確率を低減する
    請求項1から3のいずれか1項に記載の作業分析装置。
  5.  前記作業傾向情報は、前記複数の作業における第2の作業を並行して行う作業者の最大人数を示す情報を含み、
     前記制御部は、前記第2の作業に対応付けられた領域に含まれる位置の作業者の人数が前記最大人数を超えるとき、各作業者の前記第2の作業に関する確率を変化させる
    請求項1から4のいずれか1項に記載の作業分析装置。
  6.  前記作業傾向情報は、前記第2の作業に関連する領域と前記作業者とを対応付けた担当情報を含み、
     前記制御部は、前記作業者の位置が前記担当情報において対応づけられた領域に含まれるときに、当該領域に対応付けられた作業に関する確率を補正する
    請求項5に記載の作業分析装置。
  7.  前記位置情報は、複数の作業者が前記領域に到着した時刻を示す情報を含み、
     前記制御部は、前記第2の作業に対応付けられた領域に含まれる位置の作業者の人数が前記最大人数を超えるとき、前記複数の作業者において当該領域に到着した時刻が早い作業者についての確率を増加させる
    請求項5又は6に記載の作業分析装置。
  8.  前記作業傾向情報は、前記複数の作業における二以上の作業の組み合わせにおける順序を示す情報を含み、
     前記制御部は、前記順序に応じて、前記組み合わせにおける各作業に関する確率を補正する
    請求項1から7のいずれか1項に記載の作業分析装置。
  9.  前記制御部は、所定期間分の前記確率情報に基づいて、前記作業者毎に、前記所定期間に亘る前記複数の作業の比率を示す情報を生成する
    請求項1から8のいずれか1項に記載の作業分析装置。
  10.  作業場において一以上の作業者により行われる複数の作業に関する情報を生成する作業分析方法であって、
     コンピュータの記憶部には、前記作業場において各作業に対応付けられる領域を示す地図情報が格納されており、
     前記コンピュータの制御部が、
     前記作業場における時刻毎の作業者の位置を含む位置情報を取得するステップと、
     前記位置情報に基づいて、前記地図情報において前記時刻毎の作業者の位置を含む領域に対応付けられる作業が、当該作業者により行われる確率を示す確率情報を生成するステップと、
     前記作業場において前記作業者により前記作業が行われる傾向を示す作業傾向情報に応じて、前記確率情報を補正するステップと
    を含む作業分析方法。
  11.  請求項10に記載の作業分析方法をコンピュータの制御部に実行させるためのプログラム。
  12.  請求項1から9のいずれか1項に記載の作業分析装置と、
     前記作業分析装置から前記確率情報を取得して、取得した確率情報を表示する情報提示装置とを備える
    作業分析システム。
  13.  前記情報提示装置は、
     前記作業分析装置とデータ通信を行う通信部と、
     前記作業場における時刻と前記作業者との少なくとも一方を示す指定情報を入力するユーザ操作を受け付ける操作部と、
     前記ユーザ操作に応じて前記指定情報を前記作業分析装置に送信して、前記作業分析装置から前記指定情報に応じた確率情報を受信するように前記通信部を制御する制御部と、
     前記指定情報に応じた確率情報を表示する表示部とを備える
    請求項12に記載の作業分析システム。
  14.  請求項1から9のいずれか1項に記載の作業分析装置から前記確率情報を取得して、取得した確率情報を表示する情報提示装置において、
     前記作業分析装置とデータ通信を行う通信部と、
     前記作業場における時刻と前記作業者との少なくとも一方を示す指定情報を入力するユーザ操作を受け付ける操作部と、
     前記ユーザ操作に応じて前記指定情報を前記作業分析装置に送信して、前記作業分析装置から前記指定情報に応じた確率情報を受信するように前記通信部を制御する制御部と、
     前記指定情報に応じた確率情報を表示する表示部とを備える
    情報提示装置。
PCT/JP2021/048251 2021-04-02 2021-12-24 作業分析装置 WO2022209082A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202180096458.XA CN117121029A (zh) 2021-04-02 2021-12-24 作业分析装置
JP2023510264A JPWO2022209082A1 (ja) 2021-04-02 2021-12-24
US18/369,262 US20240005256A1 (en) 2021-04-02 2023-09-18 Work analysis device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021063604 2021-04-02
JP2021-063604 2021-04-02

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US18/369,262 Continuation US20240005256A1 (en) 2021-04-02 2023-09-18 Work analysis device

Publications (1)

Publication Number Publication Date
WO2022209082A1 true WO2022209082A1 (ja) 2022-10-06

Family

ID=83455766

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/048251 WO2022209082A1 (ja) 2021-04-02 2021-12-24 作業分析装置

Country Status (4)

Country Link
US (1) US20240005256A1 (ja)
JP (1) JPWO2022209082A1 (ja)
CN (1) CN117121029A (ja)
WO (1) WO2022209082A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013117832A (ja) * 2011-12-02 2013-06-13 Hitachi Ltd 業務分析装置、業務分析システム及び業務分析方法
WO2018042646A1 (ja) * 2016-09-05 2018-03-08 株式会社日立物流 分析システム及び分析方法
JP2020052465A (ja) * 2018-09-21 2020-04-02 キヤノン株式会社 工程推定装置および工程推定方法
JP2020091801A (ja) * 2018-12-07 2020-06-11 コニカミノルタ株式会社 作業分析システムおよび作業分析方法
JP6777266B1 (ja) * 2019-09-18 2020-10-28 三菱電機株式会社 作業要素分析装置及び作業要素分析方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013117832A (ja) * 2011-12-02 2013-06-13 Hitachi Ltd 業務分析装置、業務分析システム及び業務分析方法
WO2018042646A1 (ja) * 2016-09-05 2018-03-08 株式会社日立物流 分析システム及び分析方法
JP2020052465A (ja) * 2018-09-21 2020-04-02 キヤノン株式会社 工程推定装置および工程推定方法
JP2020091801A (ja) * 2018-12-07 2020-06-11 コニカミノルタ株式会社 作業分析システムおよび作業分析方法
JP6777266B1 (ja) * 2019-09-18 2020-10-28 三菱電機株式会社 作業要素分析装置及び作業要素分析方法

Also Published As

Publication number Publication date
CN117121029A (zh) 2023-11-24
US20240005256A1 (en) 2024-01-04
JPWO2022209082A1 (ja) 2022-10-06

Similar Documents

Publication Publication Date Title
US11175650B2 (en) Product knitting systems and methods
US10445694B2 (en) Realtime inventory tracking using deep learning
US11823126B2 (en) Shelf label detection device, shelf label detection method, and shelf label detection program
US20190156273A1 (en) Deep learning-based store realograms
US10334965B2 (en) Monitoring device, monitoring system, and monitoring method
US20180260654A1 (en) Image processing method and image processing apparatus
US20180276590A1 (en) Non-transitory computer-readable storage medium, process planning method, and process planning device
US20210192771A1 (en) Calculation system, calculation method, and storage medium
JPWO2018189845A1 (ja) 作業管理システム及び作業管理方法
WO2022209082A1 (ja) 作業分析装置
JP6864756B2 (ja) 作業分析装置、及び作業分析方法
US20220319021A1 (en) Trajectory analysis device and trajectory analysis method
WO2022259690A1 (ja) 作業分析装置及び方法
JP7491731B2 (ja) 棚上下移動システム及びピッキング支援システム
WO2023276332A1 (ja) 作業分析装置及び方法
WO2020044779A1 (ja) 設置環境推定装置及びプログラム
EP4383157A1 (en) Layout analysis device and layout analysis method
Francis et al. MetaBot: Automated and dynamically schedulable robotic behaviors in retail environments
US10712725B2 (en) Non-transitory computer-readable storage medium, robot transfer time estimation method, and robot transfer time estimation device
US20240046285A1 (en) Information analysis device and information analysis method
US20240184274A1 (en) Tool anomaly identification device and method for identifying tool anomalies
US20240070894A1 (en) Object detection device and method
WO2021131108A1 (ja) 品質推定装置および方法
US20230267727A1 (en) Image analysis apparatus, image analysis method, and storage medium
JP2023153477A (ja) 製造ライン作業改善支援装置、製造ライン作業改善支援方法及びプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21935229

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2023510264

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21935229

Country of ref document: EP

Kind code of ref document: A1