WO2022259690A1 - 作業分析装置及び方法 - Google Patents

作業分析装置及び方法 Download PDF

Info

Publication number
WO2022259690A1
WO2022259690A1 PCT/JP2022/012833 JP2022012833W WO2022259690A1 WO 2022259690 A1 WO2022259690 A1 WO 2022259690A1 JP 2022012833 W JP2022012833 W JP 2022012833W WO 2022259690 A1 WO2022259690 A1 WO 2022259690A1
Authority
WO
WIPO (PCT)
Prior art keywords
work
worker
workers
control unit
recognized
Prior art date
Application number
PCT/JP2022/012833
Other languages
English (en)
French (fr)
Inventor
淳司 宮田
秀彦 秦
知一 一力
大治郎 市村
Original Assignee
パナソニックＩｐマネジメント株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニックＩｐマネジメント株式会社 filed Critical パナソニックＩｐマネジメント株式会社
Priority to JP2023527523A priority Critical patent/JPWO2022259690A1/ja
Priority to EP22819880.0A priority patent/EP4354388A1/en
Priority to CN202280040369.8A priority patent/CN117441189A/zh
Publication of WO2022259690A1 publication Critical patent/WO2022259690A1/ja
Priority to US18/530,573 priority patent/US20240112498A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification

Definitions

  • the present disclosure relates to a work analysis device and method.
  • Patent Document 1 discloses a video surveillance system that identifies a person and tracks the movement of that person.
  • a video monitoring system detects a person and an abandoned object appearing in an image captured by any one of a plurality of imaging devices, and identifies a target person who has left the abandoned object.
  • the video monitoring system searches for an image of a target person from among the images captured by each imaging device, based on the target person's face feature amount and clothing feature amounts such as the color and shape of clothing.
  • the video monitoring system outputs a display indicating the movement of the target person on the screen based on the imaging device that captured the image of the target person and the imaging time.
  • the present disclosure provides a work analysis device capable of estimating the worker of each work when a plurality of work is performed by a plurality of workers.
  • a work analysis device generates information about multiple workers who perform multiple tasks in a workplace.
  • the work analysis device includes an acquisition unit, a control unit, and a storage unit.
  • the acquisition unit acquires image data representing a captured image of the workplace.
  • the control unit Based on the image data, the control unit generates work history information indicating work performed in the workplace by individual workers among the plurality of workers.
  • the storage unit stores work history information.
  • the control unit sequentially recognizes the positions and operations of the plurality of workers based on the image data for each time in the workplace.
  • the control unit detects crosstalk between a plurality of flow lines including positions of a plurality of workers at each time.
  • the control unit generates work history information by associating the work recognized at each time with the individual worker based on the plurality of flow lines when no crossed lines are detected. When crossed lines are detected, the control unit associates the recognized work with individual workers based on the recognized work and past work history information.
  • FIG. 1 is a diagram showing an overview of a work analysis system according to the first embodiment
  • FIG. Block diagram illustrating the configuration of a work analysis device in the work analysis system A diagram for explaining map data in a work analysis device
  • a diagram for explaining work order information in the work analysis device The figure which shows the 1st example for demonstrating the subject regarding a work-analysis apparatus.
  • Flowchart for explaining the overall operation of the work analysis device 3 is a flowchart illustrating worker discrimination processing in the work analysis device of the first embodiment; Diagram for explaining work combination in worker determination processing
  • FIG. 5 is a diagram for explaining work plan information in the work analysis device of the second embodiment; Flowchart illustrating worker determination processing according to the second embodiment A diagram for explaining the worker determination process of the second embodiment.
  • FIG. 1 is a diagram showing an overview of a work analysis system 1 according to this embodiment.
  • This system 1 includes a camera 2 and a work analysis device 5, as shown in FIG. This system 1 is applied to analyze the efficiency of workers W1, W2, and W3 who perform a plurality of tasks in a workplace 6 such as a distribution warehouse. Workers W1 to W3 will also be referred to as worker W hereinafter.
  • the system 1 may comprise a monitor 4 for presenting an analysis chart 7 for a given analysis period to a user 3, for example a manager of a workshop 6 or an analyst.
  • the analysis period is a period to be analyzed by image recognition or the like using the camera 2 in the system 1, and is set in advance from one day to several months, for example.
  • a transport line 61 and a shelf 62 are installed in the workplace 6.
  • the plurality of tasks performed by each worker W1 to W3 while moving in the workplace 6 are "collection” of picking up products from the shelves 62, “boxing” of packing the products into boxes on the transport line 61, and “boxing”. Includes “box prep” to prepare the box.
  • the analysis chart 7 of the system classifies each work into "main work", "secondary work” and "non-work” according to the value added by the work, for each worker W1 to W3 Shows the ratio of each item during the analysis period.
  • packing is the main work
  • auxiliary work related to the main work such as collection and box preparation, and movement toward the transport line 61 or the shelf 62, are sub-work. Waiting states that are not related to main work are classified as non-work.
  • the work to be analyzed by the work analysis device 5 is not limited to main work and sub-work, and includes non-work.
  • the user 3 can analyze the work contents of each of the workers W1 to W3 in order to consider improving the work efficiency of the workplace 6, for example. can do.
  • the camera 2 of this system 1 is arranged, for example, so that the entire range in which the workers W1 to W3 move in the workplace 6 is captured.
  • the camera 2 repeats the imaging operation at predetermined intervals, for example, in the workplace 6, and generates image data representing the captured image.
  • the camera 2 is connected to the work analysis device 5 such that image data is transmitted to the work analysis device 5, for example.
  • the camera 2 included in the system 1 is not limited to one camera, and may be two or more cameras.
  • the work analysis device 5 is composed of an information processing device such as a server device, for example.
  • the work analysis device 5 is communicably connected to an external information processing device such as a PC including the monitor 4 .
  • a configuration of the work analysis device 5 will be described with reference to FIG. 2 .
  • FIG. 2 is a block diagram illustrating the configuration of the work analysis device 5 .
  • the work analysis device 5 illustrated in FIG. 2 includes a control unit 50 , a storage unit 52 , an operation unit 53 , an equipment interface 54 and an output interface 55 .
  • the interface is abbreviated as "I/F".
  • the control unit 50 includes, for example, a CPU or MPU that cooperates with software to realize a predetermined function, and controls the overall operation of the work analysis device 5.
  • the control unit 50 reads the data and programs stored in the storage unit 52 and performs various arithmetic processing to realize various functions.
  • the control unit 50 includes an image recognition unit 51 as a functional configuration.
  • the image recognition unit 51 recognizes a preset position to be processed in the image indicated by the image data, and outputs the recognition result.
  • a person such as the worker W is set as a processing target.
  • the recognition result may include, for example, information indicating the time when the position to be processed was recognized.
  • the image recognition unit 51 performs image recognition processing using a model trained by a neural network such as a convolutional neural network. Image recognition processing may be performed by various image recognition algorithms.
  • the control unit 50 executes a program containing a group of commands for realizing the functions of the work analysis device 5, for example.
  • the above program may be provided from a communication network such as the Internet, or may be stored in a portable recording medium.
  • the control unit 50 may include an internal memory as a temporary storage area for holding various data and programs.
  • control unit 50 may be a hardware circuit such as a dedicated electronic circuit or a reconfigurable electronic circuit designed to achieve a predetermined function.
  • the control unit 50 may be composed of various semiconductor integrated circuits such as a CPU, MPU, GPU, GPGPU, TPU, microcomputer, DSP, FPGA, and ASIC.
  • the storage unit 52 is a storage medium that stores programs and data necessary for realizing the functions of the work analysis device 5 .
  • the storage unit 52 is configured by, for example, a hard disk drive (HDD) or a semiconductor storage device (SSD).
  • HDD hard disk drive
  • SSD semiconductor storage device
  • the storage unit 52 stores the above programs, and various information such as flow line data D0, map data D1, work sequence information D2, and authentication information D3.
  • the flow line data D0 indicates the flow line of the worker W moving in the workplace 6.
  • the flow line data D ⁇ b>0 is generated based on the recognition result obtained by inputting the image data acquired from the camera 2 to the image recognition unit 51 , for example.
  • the map data D1 indicates the arrangement of various facilities such as the transfer line 61 and the shelf 62 in the workplace 6 in a predetermined coordinate system.
  • the work order information D2 is information indicating the temporal execution order of a combination of works.
  • the authentication information D3 is information for identifying individuals such as the workers W1 to W3. Details of each information will be described later.
  • the storage unit 52 may include a temporary storage element configured by, for example, a DRAM or SRAM, and may function as a work area for the control unit 50.
  • the storage unit 52 may temporarily store the image data received from the camera 2, the recognition result of the image recognition unit 51, and the like.
  • the operation unit 53 is a general term for operation members that accept user operations.
  • the operation unit 53 is composed of, for example, a keyboard, mouse, trackpad, touchpad, buttons, switches, or the like, or a combination thereof.
  • the operation unit 53 acquires various information input by a user's operation.
  • the device I/F 54 is a circuit for connecting an external device such as the camera 2 to the work analysis device 5.
  • the device I/F 54 communicates according to a predetermined communication standard. Predetermined standards include USB, HDMI (registered trademark), IEEE1395, IEEE802.11, Bluetooth (registered trademark), and the like.
  • the device I/F 54 is an example of an acquisition unit that receives various information from an external device in the work analysis device 5 . In the work analysis system 1, the work analysis device 5 acquires image data representing the moving image captured by the camera 2, for example, via the equipment I/F 54.
  • the output I/F 55 is a circuit for outputting information.
  • the output I/F 55 outputs video signals and the like to an external display device such as a monitor and a projector for displaying various information in compliance with, for example, the HDMI standard.
  • the configuration of the work analysis device 5 as described above is an example, and the configuration of the work analysis device 5 is not limited to this.
  • the work analysis device 5 may be composed of various computers including a PC (personal computer).
  • the work analysis device 5 may include a display section configured by a liquid crystal display or an organic EL display as a built-in display device, for example.
  • the work analysis method of the present embodiment may be executed in distributed computing.
  • the work analysis device 5 may have a configuration that communicates with an external information processing device via a communication network.
  • the operation unit 53 may be configured to receive an operation by an external information processing device connected via a communication network.
  • the output I/F 55 may transmit various types of information to an external information processing device via a communication network.
  • the acquisition unit in the work analysis device 5 may be implemented in cooperation with various software in the control unit 50 and the like.
  • the acquisition unit in the work analysis device 5 may acquire various information by reading various information stored in various storage media (for example, the storage unit 52 ) to the work area of the control unit 50 .
  • the work analysis device 5 of this embodiment stores the flow line data D0, the map data D1, the work sequence information D2, and the authentication information D3 in the storage unit 52 as described above.
  • An example of the structure of various data D0 to D3 will be described below.
  • the flow line data D0 manages, for example, a time, a flow line ID that identifies the flow line of the worker W, and the position of the worker W in the workplace 6 recognized at that time by the image recognition unit 51 in association with each other. .
  • the flow line data D0 associates, for example, the map data D1 with a flow line based on the position of the worker W at each time.
  • FIG. 3 is a diagram for explaining the map data D1.
  • the map data D1 manages data indicating a coordinate system of a map, such as a layout of various facilities in which the workplace 6 is viewed from above, in association with the arrangement of sections and work areas, which will be described later.
  • the two directions perpendicular to each other on the horizontal plane in the workplace 6 are referred to as the X direction and the Y direction.
  • a position on the workplace 6 is defined, for example, by an X coordinate indicating a position in the X direction and a Y coordinate indicating a position in the Y direction.
  • a transport line 61 and a shelf 62 are shown that are spaced apart in the X direction corresponding to the workplace 6 shown in FIG.
  • the transport line 61 extends in the Y direction and transports boxes in the direction from positive to negative in the Y direction.
  • the map data D1 of this example divides the workplace 6 into a plurality of sections in the Y direction and manages them.
  • FIG. 3 shows an example in which the workshop 6 is divided into zones Z1 and Z2. Each of the zones Z1 and Z2 is set in advance as a unit zone where the worker W performs the main work in the workshop 6, for example.
  • Each section Z1, Z2 includes a work area indicating the area where the worker W works in the workshop 6.
  • a section Z1 shown in FIG. 3 includes a work area A1 near the transfer line 61 and a work area A2 near the shelf 62.
  • Each work area A1, A2 is set in advance as a region indicating a range of positions in the work place 6 where work related to the transfer line 61 or the shelf 62, respectively, is considered to be performed.
  • the storage unit 52 stores work area information that associates positions in the work area 6 with work.
  • the work area information is managed by associating the work area for each section in the work place 6 with the work performed in each work area.
  • boxing and box preparation work is performed in the work area A1 near the transfer line 61 in the section Z1
  • collection work is performed in the work area A2 near the shelf 62 in the section Z1.
  • the work area information may include, for example, information indicating the correspondence between the positional relationship in the Y direction and each work with respect to the work area A1 associated with a plurality of works.
  • FIG. 4 is a diagram for explaining the work order information D2 in the work analysis device 5 of this embodiment.
  • the work order information D2 is managed by associating "sections" in the workplace 6 with "abnormal order” indicating the order assumed to be abnormal as the work execution order by one worker W. .
  • the zone Z1 is associated with an abnormal order of "packing, moving, packing” in chronological order.
  • Such an abnormal order is set in advance on the assumption that, for example, in the section Z1, after the worker W who has packed the boxes moves, the order of packing again in a state in which he does not have any baggage is abnormal.
  • the abnormal order is an example of the predetermined order in this embodiment.
  • the work analysis device 5 of the present embodiment stores, for example, the work order information D2 as well as work tendency information related to the workplace 6 in the storage unit 52 .
  • the work trend information includes, for example, information such as a standard work period set for each work of each worker W1 to W3.
  • the work tendency information may include information indicating various tendencies of various work performed by the worker W to be analyzed in the workplace 6 .
  • the work trend information may also include information indicating the classification of main work and sub-work in the analysis chart 7 .
  • the work analysis device 5 of the present embodiment stores authentication information D3 for identifying individuals such as each of the workers W1 to W3 in the storage unit 52.
  • the authentication information D3 is, for example, acquired in advance by a card reader or the like installed in the workplace 6 through an authentication operation performed by each worker W1 to W3 when entering the workplace 6, and is sent to the work analysis device 5.
  • the authentication information D3 includes, for example, information indicating the time when the authentication operation by each of the workers W1 to W3 was accepted. The operation of the work analysis device 5 using these various types of information will be described later.
  • the work analysis system 1 illustrated in FIG. 1 recognizes the position (that is, flow line) of the worker W at each time in the workplace 6 by image recognition processing, and performs work that is work to be performed at each position at each time. to recognize The system 1 accumulates information indicating recognition results of the work performed, and based on the accumulated information, generates an analysis chart 7 that visualizes the work performed by each of the workers W1 to W3 during the analysis period.
  • the work analysis device 5 of the present embodiment provides authentication information including, for example, the time when the position of each flow line ID in the workplace 6 was first recognized in the flow line data D0, and the time when each of the workers W1 to W3 entered the workplace 6. Based on D3, the flow line ID is associated with each worker W1 to W3.
  • the image recognition unit 51 of the work analysis device 5 performs image recognition on the image of the workplace 6 captured by the camera 2 to recognize the position of the worker W and the work to be performed.
  • the work analysis device 5 updates the flow line data D0 so as to associate the recognized positions with the past positions of the workers W1 to W3, thereby identifying the workers who performed the work at the recognized positions. W1 to W3 are discriminated.
  • FIG. 5 is a diagram showing a first example for explaining a problem with the work analysis device 5.
  • FIG. 6 is a diagram showing a second example for explaining the problem regarding the work analysis device 5.
  • FIG. 5 and 6 are top views of the workers W in the workshop 6, and show workers W1 and W2 working in the section Z1.
  • FIG. 5(A) shows a scene where worker W1 is “collecting” and worker W2 is “packing”.
  • FIG. 5B shows a scene in which the workers W1 and W2 are "moving" from the scene in FIG. 5A.
  • FIG. 5(C) shows a scene where the worker W1 who has moved from the scene of FIG. 5(B) is "packing” and the worker W2 is "collecting”.
  • the position of the worker W is recognized by image recognition from the image captured by the camera 2, and the work to be performed at each position is performed according to the work areas A1, A2, etc. in FIG. is recognized.
  • an occlusion occurs in which the worker W2 is shielded by the worker W1 in the line-of-sight direction of the camera 2 and is not reflected in the captured image.
  • the flow lines of the workers W1 and W2 become congested, even if the execution work at two positions is recognized in the example of FIG. It is difficult to determine from image recognition or the like of each position whether or not the worker has moved to a position and performed the corresponding work.
  • FIG. 6(A) shows a scene where worker W1 is “moving” and worker W2 is “packing".
  • FIG. 6(B) shows a scene in which worker W1 "moves” from the scene in FIG. 6(A) and worker W2 continues “packing”.
  • FIG. 6C shows a scene in which worker W1, who has moved from the scene in FIG.
  • processing for estimating the worker of each work is executed based on the work tendency information such as the work sequence information D2. .
  • the lines of flow of a plurality of workers become congested, and even in a situation where it is difficult to distinguish the worker W from the image recognition of each position. , the worker W of each execution work can be discriminated.
  • FIG. 7 is a flowchart for explaining the overall operation of the work analysis device 5.
  • FIG. The processing shown in this flowchart is executed by the control unit 50 of the work analysis device 5, for example.
  • the control unit 50 acquires image data during the analysis period from the camera 2, for example, via the device I/F 54 (S1). For example, while the workers W1 to W3 are working in the workplace 6, the camera 2 shoots a moving image, generates image data showing the captured image at each time in a predetermined cycle such as the frame cycle of the moving image, and records it in the internal memory. .
  • the camera 2 transmits image data recorded during the analysis period to the work analysis device 5 .
  • the control unit 50 stores the acquired image data in the storage unit 52, for example.
  • control unit 50 selects one frame of image data representing captured images at each time, for example, in time order from the acquired image data in the analysis period (S2).
  • the control unit 50 records the time when the selected one frame was captured as the time in the flow line data D0, for example.
  • the control unit 50 functions as an image recognition unit 51 and recognizes the position and work of the worker W in the image indicated by the selected one frame of image data (S3).
  • the control unit 50 converts, for example, the position recognized in the image into a coordinate system indicating the position in the workplace 6 based on the map data D1. For example, based on the work area information, the control unit 50 recognizes the work to be performed at each recognized position depending on whether it is in the work area A1, A2, or other area.
  • the positions of two workers W are recognized in the work area A1 corresponding to the two works of boxing and box preparation.
  • the control unit 50 recognizes the work performed at the position of each worker W based on the relationship that box preparation is performed on the upstream side (+Y direction in FIG. 3) of the transport line 61, for example.
  • the control unit 50 detects the state of traffic line congestion based on the recognition result of step S3, for example (S4). For example, the control unit 50 detects whether or not occlusion has occurred due to overlapping of the positions of a plurality of workers W in the captured image of the frame being selected. For example, when the control unit 50 determines that occlusion has occurred and the recognized position in the work place 6 is within a predetermined range from the positions of the plurality of flow lines at the latest time in the flow line data D0, the movement is stopped. It is determined that the line is in a crossed state.
  • the predetermined range is set in advance as a small range that can be regarded as a range in which the worker W moves in the workplace 6 at time intervals of, for example, a frame cycle.
  • the control unit 50 updates the flow line data D0 so as to add the position recognized in step S3 this time as the position of the corresponding flow line ID (S6 ). At this time, the control unit 50 associates the work to be performed for each position recognized in step S3 with each position and the corresponding flow line ID in the flow line data D0, thereby determining the workers W1 to W3 associated with each work to be performed. is determined (S6).
  • Information that associates each position of the flow line data D0 with the work performed and the worker W is an example of the work history information in this embodiment.
  • the control unit 50 of the present embodiment compares the work recognized in the state of mixed lines and the past performed work for each worker associated with the flow line data D0. , the worker W associated with each recognized work is determined (S5). With such worker discrimination processing (S5) for a crowded line state, even in a crowded state where the worker W for each work cannot be determined by associating the position recognized in step S3 with the past flow line, the work can be performed. Estimation of person W can be realized.
  • the control unit 50 of the present embodiment refers to the work tendency information such as the work order information D2, and performs the worker discrimination process (S5) for the mixed line state. The details of the worker discrimination processing (S5) for the mixed line state will be described later.
  • the worker discrimination processing for the mixed line state is also simply referred to as the worker discrimination processing.
  • step S7 After determining the worker W for each work to be performed (S5, S6), the control unit 50 proceeds to step S7.
  • the control unit 50 repeats the processes of steps S2 to S6 for the image data at the next time.
  • the flow line data D0 based on the image data at each time during the analysis period is obtained. Note that the processing of steps S3 to S6 may be performed for each section of the workplace 6 as illustrated in FIG. You may proceed.
  • the control unit 50 When all the frames in the analysis period have been selected (YES in S7), the control unit 50 performs visualization processing (S8) to generate an analysis chart 7.
  • the control unit 50 counts, for example, the number of operations determined for each worker W1 to W3 in the workplace 6 for each time interval such as a period of one frame.
  • the control unit 50 calculates the ratio of each work for each worker and generates the analysis chart 7 .
  • the ratio of each task in the analysis chart 7 is shown as, for example, the ratio of the time of each task to the analysis period.
  • control unit 50 stores the analysis chart 7 generated by the visualization process (S8) in the storage unit 52, and ends the process shown in this flowchart.
  • each A worker W who works at a position is determined (S6).
  • the worker is discriminated by the worker discriminating process (S5).
  • an analysis chart 7 is generated based on the work performed by each worker at all time intervals during the analysis period (S8). .
  • step S1 the image data generated from the camera 2 may be acquired sequentially.
  • the control unit 50 may repeat the processes after step S1 until the flow line data D0 based on the image data of the number of frames in the analysis period is obtained.
  • step S4 the control unit 50 detects the crossed state of flow lines according to, for example, either occlusion in the captured image or the position of the worker W in the workplace 6. You may
  • FIG. 8 is a flowchart illustrating the worker determination process (S5 in FIG. 7) in the work analysis device 5 of this embodiment.
  • FIG. 9 is a diagram for explaining work combinations in the worker identification process.
  • FIGS. 9A and 9B illustrate work combination tables T1 and T2 corresponding to the scenes shown in FIGS. 5A to 5C and FIGS. 6A to 6C, respectively.
  • the work combination tables T1 and T2 store a plurality of work combination candidates representing combinations of a plurality of workers W and a plurality of works. Each candidate indicates a task combination associated with a task sequence including two or more tasks for each worker.
  • the work column indicates a set of works in which the past work performed by each worker and the work performed for which the worker is to be determined are arranged in order of recognized time.
  • the control unit 50 refers to the work tendency information such as the work order information D2, and selects one candidate from the plurality of candidates in the work combination tables T1 and T2 as a determination result. Perform processing to determine the work combination of The control unit 50 determines the worker W for each work according to the determined work combination.
  • the control unit 50 calculates the work combination of the work recognized after the time when the mixed line state was detected and the worker W associated with the past work, and calculates the work combination table. T1 and T2 are generated (S11). The control unit 50 generates a work combination including at least two types of work by referring to the past work and the worker W associated with the flow line data D0, for example.
  • the flow lines of workers W1 and W2 are in a crossed state in the scene of FIG. 5(B).
  • the work performed by the two workers W are both recognized as "moving" (S3 in FIG. 7), and the workers W1 and W2 can be associated with the same type of work without any particular determination.
  • the control unit 50 selects, for example, the frame of the next time, and recognizes the position and work of the worker W based on the image data of the frame in the same manner as in step S3 of FIG. .
  • the frame corresponding to the scene of FIG. 5(C) is selected, and the position of the worker W and the work "packing" and "collection" at each position are recognized.
  • the control unit 50 based on the workers W1 and W2 related to the mixed line state and the work recognized from the frames corresponding to the scenes of FIGS.
  • a work combination table T1 illustrated in (A) is generated. For example, when detecting a state of congestion (S4 in FIG. 7), the control unit 50 detects the state of congestion based on the position recognized in step S3 and the past position of the worker W in the flow line data D0. In other words, workers W1 and W2 corresponding to a plurality of flow lines in which crossing has occurred are determined. For the two workers W1 and W2, the control unit 50 replaces each work that cannot be associated with the worker W based on the flow line recognized at the time of FIG. are generated as candidates (S11).
  • control unit 50 excludes candidates from the work combination tables T1 and T2 based on the work order information D2 (S12). For example, the control unit 50 determines whether or not each candidate corresponds to the abnormal order of the work order information D2, and excludes the corresponding candidate from the work combination tables T1 and T2.
  • the work combination of worker W2 included in candidate C11 corresponds to the abnormal order of work order information D2 illustrated in FIG. Therefore, the candidate C11 is excluded from the work combination table T1 (S12).
  • the control unit 50 excludes from the work combination tables T1 and T2 candidates whose work period of the work to be performed exceeds the standard work period ( S13). For example, the control unit 50 calculates the work period of the latest performed work in each candidate work queue, and if the work period exceeds a predetermined period that significantly exceeds the standard work period, the work queue is Exclude candidates that contain.
  • the standard work period is calculated by averaging the periods measured a plurality of times in advance as the period required for each work for each worker.
  • the predetermined period increment is set, for example, to three times the standard deviation of the measured period.
  • the control unit 50 determines whether or not there are a plurality of candidates not excluded in the work combination tables T1 and T2, that is, whether or not a plurality of candidates remain. (S14).
  • the control unit 50 relaxes the conditions for exclusion based on the work tendency information, for example, in order to leave at least one candidate until step S14. may be executed again.
  • the predetermined period in exclusion by work period (S13) may be set longer than the above example.
  • the control unit 50 determines the remaining one candidate as the work combination of the determination result (S16).
  • the remaining candidates C12 and C22 are determined as the work combination of the discrimination result.
  • the control unit 50 determines, among the plurality of candidates, the difference between the duration of the latest performed work in each work queue and the standard work period is the smallest. A candidate is selected (S15). The control unit 50 determines the selected candidate as the work combination of the determination result (S16).
  • the control unit 50 determines the workers W of each task recognized at the latest time, which cannot be associated with the workers W based on the flow line, from the determined work combination of the determination result (S17).
  • the control unit 50 updates the flow line data D0 so as to add the determined position of each worker W at the latest time as the position of the corresponding flow line ID (S17).
  • the workers W who perform the collection and packing work are determined to be the workers W2 and W1, respectively, from the candidate C12 determined as the work combination of the determination result in the work combination table T1. be done. Then, the flow line data D0 is updated with the positions corresponding to the collection and packing respectively as the positions of the workers W2 and W1.
  • the worker W who performs each task of boxing and box preparation is determined to be workers W1 and W2, respectively, from the candidate C22 determined as the task combination of the discrimination result in the task combination table T2. be discriminated. Then, the flow line data D0 is updated with positions corresponding to packing and preparation of boxes as the positions of the workers W1 and W2.
  • control unit 50 After identifying the worker W and updating the flow line data D0 (S17), the control unit 50 terminates the processing shown in this flowchart. After that, the process proceeds to step S7 in FIG.
  • step S11 an example was explained in which the work sequence of the work combination tables T1 and T2 includes work for three frames.
  • the task sequence is not limited to tasks for each time such as three frames, and may include, for example, three tasks of different types.
  • the control unit 50 generates work combination tables T1 and T2 by referring to past work associated with the flow line data D0 until, for example, three types of work are obtained.
  • the work sequence is not limited to three types, and may be generated by arranging three types of work for each predetermined period.
  • the number of tasks is not limited to three, and a task queue may be generated in which two tasks are arranged.
  • narrowing down of the candidates for the worker W may be performed using the coordinate information in the flow line data D0 and the movement distance per time.
  • the control unit 50 determines the worker W related to the mixed line state in the work combination based on the moving speed of the worker W based on the past position in addition to the past position of the worker W in the flow line data D0, for example. may be determined by
  • the work analysis device 5 generates information regarding a plurality of workers W who perform a plurality of tasks in the workplace 6 .
  • the work analysis device 5 includes a device I/F 54, a control unit 50, and a storage unit 52 as an example of an acquisition unit.
  • the device I/F 54 acquires image data representing an image of the workplace 6 (S1).
  • the control unit 50 assigns work to each position of the flow line data D0 as an example of work history information indicating work performed in the workplace 6 by individual workers W1 to W3 among the plurality of workers W.
  • Information associated with the worker W is generated (S5, S6).
  • the storage unit 52 stores work history information.
  • the control unit 50 sequentially recognizes the positions and operations of the plurality of workers W based on the image data for each time in the workplace 6 (S2, S3, S7).
  • the control unit 50 detects a crossed line state as an example of crossed lines between a plurality of flow lines including positions of a plurality of workers W at each time (S4).
  • the control unit 50 associates the work recognized at each time with the individual workers W1 to W3 based on a plurality of flow lines, and generates work history information.
  • S6 When a mixed line state is detected (YES in S4), the control unit 50 associates the recognized work with the individual workers W1 to W3 based on the recognized work and past work history information.
  • S5 When a mixed line state is detected (YES in S4), the control unit 50 associates the recognized work with the individual workers W1 to W3 based on the recognized work and past work history information.
  • the storage unit 52 stores work tendency information that indicates the tendency of work to be performed in the workplace 6 .
  • the control unit 50 refers to the work tendency information and associates the recognized work with the individual workers W1 to W3 (S5).
  • W can be estimated.
  • the control unit 50 detects a plurality of workers W corresponding to a plurality of flow lines in which crossed lines occur and a plurality of recognized works. As an example of calculating a combination of , a plurality of work combinations are generated (S11). Based on the work tendency information, the control unit 50 determines one work combination from among the plurality of work combinations (S16). are associated with each other (S17). In this way, work combination tables T1 and T2 containing a plurality of work combinations as candidates C11 to C22 are generated (S11), and by narrowing down the candidates C11 to C22 based on the work tendency information, the work combination of the determination result is determined. (S16). Thereby, the worker W for each work can be determined from the determined work combination.
  • the work trend information includes work order information D2 as an example of information indicating the order in a combination of two or more works out of a plurality of works.
  • the control unit 50 excludes a work combination corresponding to an abnormal order as an example of a predetermined order from a plurality of work combinations (S12), and determines one work combination (S16). As a result, a work combination that does not correspond to the abnormal order in the work order information D2 can be determined as the determination result.
  • the work trend information includes information indicating the standard work period set for the first work among a plurality of works.
  • the control unit 50 excludes, from a plurality of work combinations, a work combination whose period exceeds the standard work period according to the period during which the work of the worker W is recognized as the first work (S13). (S16).
  • the work combination of the candidate C22 is excluded.
  • a work combination in which the work period of a specific work matches the standard work period can be determined as a determination result.
  • control unit 50 controls the position of workers W1 and W2 (an example of two or more workers) among a plurality of workers W to be superimposed on the image indicated by the acquired image data. (S4). As a result, it is possible to detect a crossed line state based on the position of the worker W on the image.
  • the storage unit 52 further stores authentication information D3 that identifies individual workers W1 to W3.
  • control unit 50 associates the recognized position with individual workers W1 to W3.
  • the control unit 50 associates and manages the flow line ID of each position in the flow line data D0 with each of the workers W1 to W3.
  • the flow line data D0 is updated so as to associate the position of the worker W sequentially recognized (S3) with the past positions of the workers W1 to W3, and the work at each recognized position is performed. Workers W1 to W3 can be discriminated (S6).
  • the control unit 50 Based on the work history information for the analysis period (an example of a predetermined period), the control unit 50 generates an analysis chart as an example of information indicating the ratio of a plurality of tasks over the analysis period for each individual worker W1 to W3. produces 7. As a result, the analysis chart 7 relating to a plurality of workers W performing a plurality of tasks in the workshop 6 can be presented to the user 3 of the work analysis system 1, for example.
  • the work analysis device 5 may further include an output I/F 55 and/or a monitor 4 as an example of a display section that displays generated information such as the analysis chart 7 .
  • the work analysis method in this embodiment is a method of generating information about a plurality of workers W who perform a plurality of tasks in the workplace 6 .
  • This method comprises a step (S1) in which the control unit 50 of the computer acquires image data showing an image of the workplace 6; (S2 to S7) for generating work history information indicating the work performed in the workshop 6 by the.
  • the control unit 50 of the computer sequentially recognizes the positions and work of a plurality of workers W based on the image data for each time in the workplace 6 (S2, S3, S7), cross-talk between a plurality of flow lines including positions of a plurality of workers W at each time is detected (S4).
  • control unit 50 associates the work recognized at each time with the individual workers W1 to W3 based on a plurality of flow lines, and generates work history information. (S6), and when crossed lines are detected (YES in S4), the recognized work and individual workers W1 to W3 are associated with each other based on the recognized work and past work history information. (S5).
  • a program for causing the control unit of the computer to execute the work analysis method as described above.
  • the work analysis method of this embodiment when a plurality of workers W perform a plurality of tasks, the worker W for each task can be estimated.
  • FIG. 10 is a diagram for explaining the work plan information D4 in the work analysis device 5 of this embodiment.
  • the work plan information D4 is an example of work plan information in the present embodiment, and indicates quotas in the workplace 6, allocation of workers W, and the like.
  • the work plan information D4 exemplified in FIG. 10 includes “workers” in the workplace 6, “shipping number” indicating the quota of packing which is the main work, and “section in charge” which is the section where each worker W mainly works. ” is associated with and managed.
  • the section in charge indicates a range of positions in the workshop 6 where the worker W does not perform auxiliary work such as box preparation.
  • the auxiliary work is an example of the second work in this embodiment.
  • the number of items to be carried out and the section in charge are set in advance by the user 3 or the like, for example.
  • the section in charge of workers W1 and W2 is set to section Z1
  • the section in charge of worker W3 is set to section Z2.
  • FIG. 11 The operation of the work analysis device 5 of this embodiment using the work plan information D4 as described above will be described with reference to FIGS. 11 to 13.
  • FIG. 11 The operation of the work analysis device 5 of this embodiment using the work plan information D4 as described above will be described with reference to FIGS. 11 to 13.
  • FIG. 11 is a flowchart illustrating the worker determination process of this embodiment.
  • the control unit 50 in addition to the processes of steps S11 to S17 in the worker determination process (S5) of the first embodiment, performs candidate work based on the work plan information D4 from the work combination table. is excluded (S21).
  • FIG. 12 is a diagram for explaining the worker determination processing of this embodiment.
  • FIG. 13 is a diagram for explaining work combinations in the worker identification process of this embodiment.
  • FIG. 12 is a view of the workplace 6 viewed from above, similar to FIGS.
  • FIG. 12 shows how workers W1 and W2 and worker W3, who is in charge of a different section, work in section Z1 of the workshop 6. As shown in FIG.
  • FIG. 12(A) shows a scene in which worker W1 is “collecting”, worker W2 is “packing”, and worker W3 who has entered section Z1 from section Z2 is “moving”.
  • FIG. 12(B) shows a scene in which each of the workers W1 to W3 is “moving" from the scene of FIG. 12(A).
  • FIG. 12(C) shows a scene in which workers W1 and W3 who have moved from the scene of FIG. 12(B) perform "boxing” and “box preparation”, respectively, and worker W2 performs "collection”. .
  • An example in which the flow lines of workers W1 to W3 are mixed due to occlusion in the scene of FIG. 12B will be described below.
  • the flowchart shown in FIG. 11 is started by detecting a state of crossed lines (YES in S4 of FIG. 7), for example, based on the image data of the frame corresponding to the scene of FIG. 12(B).
  • the control unit 50 determines the position and work of the worker W from the next time frame corresponding to the scene of FIG. Recognize and generate a work combination table (S11).
  • FIG. 13 illustrates the work combination table T3 generated in step S11 according to the example of FIGS. 12(A) to (C).
  • the control unit 50 excludes candidates from the work combination table T3 based on the work plan information D4 (S21).
  • the control unit 50 refers to, for example, the section in charge of the work plan information D4, and excludes from the work combination table T3 candidates whose latest work performed by each worker in the section in charge is the box preparation of the auxiliary work.
  • exclusion rules based on work plan information D4 are set in advance. be.
  • the work plan information D4 of FIG. 10 since the division Z1 is in charge of worker W1, the candidates C35 and C36 whose latest execution work for worker W1 is box preparation are excluded from the work combination table T3. Similarly, regarding worker W2, candidates C32 and C34 are excluded from work combination table T3.
  • the control unit 50 excludes candidates from the work combination table T3 based on the work order information D2 and the work period (S12-S13).
  • candidate C33 is excluded from work combination table T3 because the work combination of candidate C33 for worker W2 corresponds to the abnormal order in work sequence information D2 (S12).
  • the control unit 50 determines the candidate C31 remaining without being excluded from the work combination table T3 as the work combination of the determination result (S16).
  • the work tendency information is defined as a division in charge ( An example of work plan information D4 is included as an example of information associating individual workers W1 to W3 with the scope of responsibility).
  • the control unit 50 excludes, from a plurality of work combinations, the work combination in which the work of the worker W is an auxiliary work (S21). (S16). As a result, a work combination in which the worker W performs the main work in each assigned section can be determined as the determination result.
  • the exclusion (S21) based on the work plan information D4 may be performed using information related to various work plans, not limited to the section in charge. For example, a worker W who has packed boxes a number of times corresponding to a predetermined number of deliveries may be excluded from the candidates including box packing at subsequent times.
  • Embodiments 1 and 2 have been described as examples of the technology disclosed in the present application. However, the technology in the present disclosure is not limited to this, and can also be applied to embodiments in which modifications, substitutions, additions, omissions, etc. are made as appropriate. Moreover, it is also possible to combine the constituent elements described in the above embodiments to form a new embodiment. Therefore, other embodiments will be exemplified below.
  • the work order information D2 that associates abnormal orders with the sections in the workshop 6 has been described.
  • the work order information D2 may include a standard order indicating the execution order of work by one worker W for each section of the workshop 6, for example.
  • the exclusion process (S12) based on the work order information in the worker identification process (FIGS. 8 and 11), for example, candidates that do not correspond to the standard order may be excluded from the work combination tables T1 to T3.
  • the image recognition unit 51 outputs recognition results of the positions of the workers W1 to W3 as persons who do not particularly distinguish between them.
  • the image recognition unit 51 of the present embodiment may distinguish between the workers W1 to W3 and recognize the positions of the workers W1 to W3 by, for example, face recognition technology.
  • the operation of the work analysis device 5 of the present embodiment can be applied, for example, when the work performed by each worker W whose face is not shown in the captured image of the camera 2 can be recognized.
  • the work analysis device 5 of the present embodiment may exclude the position of the worker not to be analyzed from the processing targets in the work-related processing (S4 to S5, S8).
  • the work area 6 workers in positions different from the work areas A1, A2 and the area therebetween, such as areas for replenishment work, are excluded.
  • a worker who performs process control or monitoring in the work area 6 is excluded from the analysis target based on the tendency that the flow line of the worker passes through the area between the work areas A1 and A2 for a long time. good.
  • the work analysis device 5 has been described that excludes work periods based on preset work period information (S13).
  • the collection work period may be set for each worker based on the past stay period in the work area A2 on the shelf 62 side.
  • the work analysis device 5 of the present embodiment can determine not only the work period of each work, but also the period during which the work is estimated to be performed outside the angle of view of the camera 2, or the worker's rest period.
  • the information may be used to perform worker determination processing.
  • the work analysis system 1 is applied to a workplace 6 such as a distribution warehouse.
  • the workplace that is, the site, to which the work analysis system 1 and the work analysis device 5 are applied is not limited to the above-described workplace 6, but may be various sites such as a factory or a sales floor of a store.
  • the work determined by the work analysis system 1 is not limited to the above-described example of packing boxes, and may be various works according to various sites.
  • the worker to be analyzed by the work analysis system 1 is not limited to a person such as the worker W, and may be any moving body capable of executing various types of work.
  • the mobile object may be a robot or various manned or unmanned vehicles.
  • the present disclosure is applicable to data analysis applications for analyzing workers' work in various environments such as logistics sites or factories.

Abstract

作業場において複数の作業を行う複数の作業者に関する情報を生成する作業分析装置は、作業場が撮像された画像を示す画像データを取得する取得部と、画像データに基づいて、複数の作業者における個別の作業者が作業場において行った作業を示す作業履歴情報を生成する制御部と、作業履歴情報を格納する記憶部とを備える。制御部は、作業場における時刻毎の画像データに基づいて、複数の作業者の位置及び作業を順次、認識し、複数の作業者の時刻毎の位置を含む複数の動線の間の混線を検知し、混線が検知されていないとき、複数の動線に基づいて、各時刻に認識された作業と個別の作業者とを対応付けて作業履歴情報を生成し、混線が検知されたとき、認識された作業と、過去の作業履歴情報とに基づいて、当該認識された作業と個別の作業者とを対応付ける。

Description

作業分析装置及び方法
　本開示は、作業分析装置及び方法に関する。
　特許文献１は、人物を特定してその人物の移動を追跡する映像監視システムを開示する。映像監視システムは、複数の撮像装置の何れかで撮影された画像に映った人物及び放置物を検出し、放置物を放置した対象人物を特定する。映像監視システムは、各撮像装置による画像の中から、対象人物の顔特徴量、並びに着衣の色及び形状等の着衣特徴量に基づいて、対象人物が映った画像を検索する。映像監視システムは、対象人物が映った画像を撮影した撮像装置及び撮像時刻に基づいて、対象人物の移動を示す表示を画面出力させる。
国際公開第２０１８／１９８３７３号
　本開示は、複数の作業者により複数の作業が行われる際に、各作業の作業者を推定することができる作業分析装置を提供する。
　本開示の一態様に係る作業分析装置は、作業場において複数の作業を行う複数の作業者に関する情報を生成する。作業分析装置は、取得部と、制御部と、記憶部とを備える。取得部は、作業場が撮像された画像を示す画像データを取得する。制御部は、画像データに基づいて、複数の作業者における個別の作業者が作業場において行った作業を示す作業履歴情報を生成する。記憶部は、作業履歴情報を格納する。制御部は、作業場における時刻毎の画像データに基づいて、複数の作業者の位置及び作業を順次、認識する。制御部は、複数の作業者の時刻毎の位置を含む複数の動線の間の混線を検知する。制御部は、混線が検知されていないとき、複数の動線に基づいて、各時刻に認識された作業と個別の作業者とを対応付けて作業履歴情報を生成する。制御部は、混線が検知されたとき、認識された作業と、過去の作業履歴情報とに基づいて、当該認識された作業と個別の作業者とを対応付ける。
　これらの概括的かつ特定の態様は、システム、方法、及びコンピュータプログラム、並びに、それらの組み合わせにより、実現されてもよい。
　本開示における作業分析装置及び方法によると、複数の作業者により複数の作業が行われる際に、各作業の作業者を推定することができる。
実施形態１に係る作業分析システムの概要を示す図 作業分析システムにおける作業分析装置の構成を例示するブロック図 作業分析装置における地図データを説明するための図 作業分析装置における作業順序情報を説明するための図 作業分析装置に関する課題を説明するための第１の事例を示す図 作業分析装置に関する課題を説明するための第２の事例を示す図 作業分析装置の全体動作を説明するためのフローチャート 実施形態１の作業分析装置における作業者判別処理を例示するフローチャート 作業者判別処理における作業組合せを説明するための図 実施形態２の作業分析装置における作業計画情報を説明するための図 実施形態２の作業者判別処理を例示するフローチャート 実施形態２の作業者判別処理を説明するための図 実施形態２の作業者判別処理における作業組合せを説明するための図
　以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。なお、発明者（ら）は、当業者が本開示を十分に理解するために添付図面および以下の説明を提供するのであって、これらによって特許請求の範囲に記載の主題を限定することを意図するものではない。
（実施形態１）
１．構成
　実施形態１に係る作業分析システムについて、図１を用いて説明する。図１は、本実施形態に係る作業分析システム１の概要を示す図である。
１－１．システムの概要
　本システム１は、図１に示すように、カメラ２と、作業分析装置５とを備える。本システム１は、物流倉庫などの作業場６において、複数の作業を行う作業者Ｗ１、Ｗ２及びＷ３の効率等を分析する用途に適用される。以降、作業者Ｗ１～Ｗ３を作業者Ｗともいう。本システム１は、例えば作業場６の管理者または分析担当者といったユーザ３に、所定の分析期間に関する分析チャート７を提示するためのモニタ４を備えてもよい。分析期間は、本システム１においてカメラ２を用いた画像認識等による分析対象の期間であり、例えば１日から数か月などに予め設定される。
　図１の例では、作業場６において搬送ライン６１と棚６２とが設置されている。本例において、各作業者Ｗ１～Ｗ３が作業場６を移動しながら行う複数の作業は、棚６２から商品を取り出す「集荷」、搬送ライン６１において商品を箱に詰めて流す「箱詰め」、及びその箱を準備する「箱準備」を含む。
　本システム１の分析チャート７は、例えば各作業を当該作業による付加価値の大きさに応じて「主作業」、「副作業」及び「非作業」に分類した項目により、作業者Ｗ１～Ｗ３別に分析期間における各項目の比率を示す。図１の例では、箱詰めが主作業であり、主作業に関連する集荷、箱準備といった補助作業、及び搬送ライン６１または棚６２に向かう移動などが副作業である。主作業に関連しない待ち状態などは非作業に分類される。このように作業分析装置５における分析対象の作業には、主作業及び副作業に限らず、非作業が含まれる。
　こうした本実施形態に係る作業分析システム１によると、分析チャート７を提示することにより、ユーザ３は、例えば作業場６の業務効率化を検討するために、各作業者Ｗ１～Ｗ３の作業内容を分析することができる。
　本システム１のカメラ２は、例えば、作業場６において作業者Ｗ１～Ｗ３が移動する範囲全体が映るように配置される。カメラ２は、例えば作業場６において所定の周期で撮像動作を繰り返し、撮像画像を示す画像データを生成する。カメラ２は、例えば画像データが作業分析装置５に送信されるように、作業分析装置５に接続される。なお、図１では１つのカメラ２を例示しているが、本システム１に含まれるカメラ２は１つのカメラに限らず、２つ以上のカメラであってもよい。
　作業分析装置５は、例えばサーバ装置などの情報処理装置で構成される。作業分析装置５は、例えばモニタ４を含むＰＣなど外部の情報処理装置と通信可能に接続される。作業分析装置５の構成について、図２を用いて説明する。
１－２．作業分析装置の構成
　図２は、作業分析装置５の構成を例示するブロック図である。図２に例示する作業分析装置５は、制御部５０と、記憶部５２と、操作部５３と、機器インタフェース５４と、出力インタフェース５５とを備える。以下、インタフェースを「Ｉ／Ｆ」と略記する。
　制御部５０は、例えばソフトウェアと協働して所定の機能を実現するＣＰＵ又はＭＰＵを含み、作業分析装置５の全体動作を制御する。制御部５０は、記憶部５２に格納されたデータ及びプログラムを読み出して種々の演算処理を行い、各種の機能を実現する。例えば、制御部５０は、機能的構成として、画像認識部５１を備える。
　画像認識部５１は、画像データに各種の画像認識技術を適用することで、画像データが示す画像において、予め設定された処理対象の位置を認識して、認識結果を出力する。本実施形態の画像認識部５１では、例えば作業者Ｗといった人物が処理対象に設定される。認識結果には、例えば処理対象の位置を認識した時刻を示す情報が含まれてもよい。画像認識部５１は、例えば畳み込みニューラルネットワーク等のニューラルネットワークによる学習済みモデルによる画像認識処理を行う。画像認識処理は、種々の画像認識アルゴリズムによって行われてもよい。
　制御部５０は、例えば作業分析装置５の機能を実現するための命令群を含んだプログラムを実行する。上記のプログラムは、インターネット等の通信ネットワークから提供されてもよいし、可搬性を有する記録媒体に格納されていてもよい。また、制御部５０は、各種のデータ及びプログラムを保持する一時的な記憶領域として内部メモリを備えてもよい。
　なお、制御部５０は、所定の機能を実現するように設計された専用の電子回路又は再構成可能な電子回路などのハードウェア回路であってもよい。制御部５０は、ＣＰＵ、ＭＰＵ、ＧＰＵ、ＧＰＧＰＵ、ＴＰＵ、マイコン、ＤＳＰ、ＦＰＧＡ及びＡＳＩＣ等の種々の半導体集積回路で構成されてもよい。
　記憶部５２は、作業分析装置５の機能を実現するために必要なプログラム及びデータを記憶する記憶媒体である。記憶部５２は、例えばハードディスクドライブ（ＨＤＤ）または半導体記憶装置（ＳＳＤ）により構成される。例えば記憶部５２は、上記のプログラム、並びに動線データＤ０、地図データＤ１、作業順序情報Ｄ２、及び認証情報Ｄ３などの各種情報を格納する。
　動線データＤ０は、作業場６において移動する作業者Ｗの動線を示す。動線データＤ０は、例えばカメラ２から取得された画像データを、画像認識部５１に入力して得られる認識結果に基づいて生成される。地図データＤ１は、所定の座標系において、作業場６における搬送ライン６１及び棚６２といった各種設備の配置を示す。作業順序情報Ｄ２は、作業の組み合わせにおける時間的な実行順序を示す情報である。認証情報Ｄ３は、各作業者Ｗ１～Ｗ３といった個人を識別する情報である。各情報の詳細については後述する。
　記憶部５２は、例えばＤＲＡＭまたはＳＲＡＭにより構成される一時的な記憶素子を備えてもよく、制御部５０の作業領域として機能してもよい。例えば記憶部５２は、カメラ２から受信した画像データ及び画像認識部５１による認識結果などを一時的に記憶してもよい。
　操作部５３は、ユーザの操作を受け付ける操作部材の総称である。操作部５３は、例えばキーボード、マウス、トラックパッド、タッチパッド、ボタン及びスイッチ等のいずれか、またはそれらの組合せにより構成される。操作部５３は、ユーザの操作によって入力される諸情報を取得する。
　機器Ｉ／Ｆ５４は、作業分析装置５にカメラ２のような外部機器を接続するための回路である。機器Ｉ／Ｆ５４は、所定の通信規格に従い通信を行う。所定の規格には、ＵＳＢ、ＨＤＭＩ（登録商標）、ＩＥＥＥ１３９５、ＩＥＥＥ８０２．１１、Ｂｌｕｅｔｏｏｔｈ（登録商標）等が含まれる。機器Ｉ／Ｆ５４は、作業分析装置５において外部機器から諸情報を受信する取得部の一例である。作業分析システム１において、作業分析装置５は、例えば機器Ｉ／Ｆ５４を介して、カメラ２が撮像した動画を示す画像データを取得する。
　出力Ｉ／Ｆ５５は、情報を出力するための回路である。出力Ｉ／Ｆ５５は、例えばＨＤＭＩ規格などに準拠して、各種の情報を表示するためのモニタ及びプロジェクタなど外付けの表示デバイスに映像信号等を出力する。
　以上のような作業分析装置５の構成は一例であり、作業分析装置５の構成はこれに限らない。作業分析装置５は、ＰＣ（パーソナルコンピュータ）を含む各種のコンピュータで構成されてもよい。作業分析装置５は、出力Ｉ／Ｆ５５に加えて、または代えて、例えば内蔵の表示デバイスとして液晶ディスプレイまたは有機ＥＬディスプレイにより構成される表示部を備えてもよい。また、本実施形態の作業分析方法は、分散コンピューティングにおいて実行されてもよい。
　また、作業分析装置５は、上記の構成に加えて、または代えて、通信ネットワークを介して外部の情報処理装置と通信する構成を有してもよい。例えば、操作部５３は、通信ネットワークを介して接続された外部の情報処理装置による操作を受け付ける構成であってもよい。また、出力Ｉ／Ｆ５５は、通信ネットワークを介して外部の情報処理装置に各種の情報を送信してもよい。
　また、作業分析装置５における取得部は、制御部５０等における各種ソフトウェアとの協働によって実現されてもよい。作業分析装置５における取得部は、各種記憶媒体（例えば記憶部５２）に格納された諸情報を制御部５０の作業エリアに読み出すことによって、諸情報の取得を行ってもよい。
１－３．各種データ構造について
　本実施形態の作業分析装置５は、以上のように動線データＤ０、地図データＤ１、作業順序情報Ｄ２及び認証情報Ｄ３を記憶部５２に格納する。以下、各種データＤ０～Ｄ３等の構造の一例を説明する。
　動線データＤ０は、例えば時刻と、作業者Ｗの動線を識別する動線ＩＤと、画像認識部５１により当該時刻に認識された、作業場６における作業者Ｗの位置とを関連付けて管理する。動線データＤ０は、例えば地図データＤ１に、作業者Ｗの時刻毎の位置に基づく動線を対応付ける。
　図３は、地図データＤ１を説明するための図である。地図データＤ１は、例えば作業場６を上方から俯瞰した各種設備のレイアウトといった地図の座標系を示すデータに、後述する区画及び作業エリアの配置を関連付けて管理する。以下、作業場６における水平面上で互いに直交する２方向をＸ方向及びＹ方向という。作業場６における位置は、例えばＸ方向における位置を示すＸ座標とＹ方向における位置を示すＹ座標により規定される。
　図３の地図データＤ１では、図１に示す作業場６に対応して、Ｘ方向に間隔を空けて配置された搬送ライン６１及び棚６２が示されている。図３の例では、搬送ライン６１はＹ方向に延びており、Ｙ方向の正から負に向かう方向に箱を搬送する。本例の地図データＤ１は、作業場６をＹ方向において複数の区画に区分して管理する。図３は、作業場６が区画Ｚ１と区画Ｚ２に区分された例を示す。各区画Ｚ１、Ｚ２は、例えば作業場６において作業者Ｗが主作業を行う単位区画として予め設定される。
　各区画Ｚ１、Ｚ２は、作業場６において作業者Ｗが作業する領域を示す作業エリアを含む。図３に示す区画Ｚ１には、搬送ライン６１の近傍の作業エリアＡ１と、棚６２の近傍の作業エリアＡ２とが含まれる。各作業エリアＡ１、Ａ２は、作業場６において、それぞれ搬送ライン６１または棚６２と関連する作業が行われると考えられる位置の範囲を示す領域として予め設定される。
　また、本実施形態の作業分析装置５では、記憶部５２に、作業場６における位置と作業とを対応付ける作業エリア情報が格納される。作業エリア情報は、例えば、作業場６における区画毎に作業エリアと、各作業エリアにおいて行われる作業とを関連付けて管理する。例えば、区画Ｚ１の搬送ライン６１の近傍の作業エリアＡ１では箱詰め及び箱準備の作業が行われ、区画Ｚ１の棚６２の近傍の作業エリアＡ２では集荷の作業が行われる。作業エリア情報は、複数の作業が関連付けられた作業エリアＡ１に関して、例えばＹ方向の位置関係と各作業との対応を示す情報が含まれてもよい。
　図４は、本実施形態の作業分析装置５における作業順序情報Ｄ２を説明するための図である。
　作業順序情報Ｄ２は、例えば図４に示すように、作業場６における「区画」と、一作業者Ｗによる作業の実行順序として異常と想定される順序を示す「異常順序」とを関連付けて管理する。図４の例では、区画Ｚ１に、時間順に「箱詰め、移動、箱詰め」の異常順序が関連付けられる。このような異常順序は、例えば区画Ｚ１において、箱詰めを行った作業者Ｗが移動した後に、荷物を持ってない状態で再び箱詰めを行う順序が異常であるとの想定から、予め設定される。異常順序は、本実施形態における所定の順序の一例である。
　なお、図示は省略するが、本実施形態の作業分析装置５は、例えば記憶部５２に、上記の作業順序情報Ｄ２の他にも、作業場６に関する作業傾向情報を格納する。作業傾向情報は、例えば各作業者Ｗ１～Ｗ３の作業毎に設定される標準作業期間などの情報を含む。作業傾向情報は、作業場６において分析対象とする作業者Ｗにより種々の作業が行われる各種の傾向を示す情報を含んでもよい。また、作業傾向情報は、分析チャート７における主作業及び副作業などの分類を示す情報を含んでもよい。
　また、本実施形態の作業分析装置５は記憶部５２に、各作業者Ｗ１～Ｗ３といった個人を識別する認証情報Ｄ３を格納する。認証情報Ｄ３は、例えば、作業場６に設置されたカードリーダ等により、各作業者Ｗ１～Ｗ３が作業場６への入場時などに行う認証操作を通して予め取得され、作業分析装置５に送信される。認証情報Ｄ３は、例えば各作業者Ｗ１～Ｗ３による認証操作を受け付けた時刻を示す情報を含む。これらの各種情報を用いた作業分析装置５の動作については後述する。
２．動作
　以上のように構成される作業分析システム１及び作業分析装置５の動作について、以下説明する。
　図１に例示する作業分析システム１は、作業場６における作業者Ｗの時刻毎の位置（即ち動線）を画像認識処理により認識して、時刻毎の各位置において実施される作業である実施作業を認識する。本システム１は、実施作業の認識結果を示す情報を蓄積し、蓄積された情報に基づいて、分析期間における作業者Ｗ１～Ｗ３毎の実施作業を可視化した分析チャート７を生成する。
　本実施形態の作業分析装置５は、例えば動線データＤ０において各動線ＩＤの作業場６における位置が初めて認識された時刻と、各作業者Ｗ１～Ｗ３が作業場６に入場した時刻を含む認証情報Ｄ３とに基づいて、動線ＩＤと各作業者Ｗ１～Ｗ３とを対応付ける。作業分析装置５は、例えば画像認識部５１により、カメラ２による作業場６の撮像画像に画像認識を行い、作業者Ｗの位置及び実施作業を認識する。作業分析装置５は、認識された位置と、各作業者Ｗ１～Ｗ３の過去の位置とを対応付けるように動線データＤ０を更新することで、認識された各位置の実施作業を行った作業者Ｗ１～Ｗ３を判別する。
　ここで、カメラ２からの撮像画像に基づく画像認識処理により、各時刻での実施作業は認識できても、複数の動線が交錯する等の混線が生じると、各実施作業に対応する動線或いは作業者Ｗを特定することが困難になる事態が想定される。これに対して、本実施形態では、作業分析システム１において、上記のような混線状態が生じた場合であっても、認識された各実施作業を行った作業者Ｗを推定することができる作業分析装置５を提供する。
２－１．課題について
　本実施形態の作業分析システム１において、各実施作業の作業者Ｗを特定する上で課題となる場面について、図５及び図６を用いて説明する。
　図５は、作業分析装置５に関する課題を説明するための第１の事例を示す図である。図６は、作業分析装置５に関する課題を説明するための第２の事例を示す図である。図５及び図６は、作業場６における作業者Ｗを上方から見た図であり、区画Ｚ１において作業者Ｗ１及びＷ２が作業する様子を示す。
　図５（Ａ）は、作業者Ｗ１が「集荷」、作業者Ｗ２が「箱詰め」をしている場面を示す。図５（Ｂ）は、図５（Ａ）の場面から各作業者Ｗ１、Ｗ２がそれぞれ「移動」をしている場面を示す。図５（Ｃ）は、図５（Ｂ）の場面から移動した作業者Ｗ１が「箱詰め」を行い、作業者Ｗ２が「集荷」をしている場面を示す。
　図５（Ａ）～（Ｃ）の例では、カメラ２の撮像画像から画像認識により作業者Ｗの位置が認識され、図３の作業エリアＡ１，Ａ２等に応じて、各位置での実施作業が認識される。ここで、図５（Ｂ）の場面では、カメラ２の視線方向において作業者Ｗ２が作業者Ｗ１により遮蔽されて撮像画像に映らないオクルージョンが発生している。この場合に、作業者Ｗ１，Ｗ２の動線が混線状態になると、その後に図５（Ｃ）の例で２箇所の位置における実施作業が認識されても、各作業者Ｗ１，Ｗ２が何れの位置に移動して対応する実施作業を行ったかは、各位置の画像認識等からでは判別が困難である。
　図６（Ａ）は、作業者Ｗ１が「移動」、作業者Ｗ２が「箱詰め」をしている場面を示す。図６（Ｂ）は、図６（Ａ）の場面から作業者Ｗ１が「移動」を行い、作業者Ｗ２が「箱詰め」を継続している場面を示す。図６（Ｃ）は、図６（Ｂ）の場面から移動した作業者Ｗ１が「箱詰め」を行い、作業者Ｗ２が「箱準備」に移行している場面を示す。
　図６（Ａ）～（Ｃ）の例では、図６（Ｂ）の場面において、作業者Ｗ１の移動により図５（Ｂ）と同様にオクルージョンが発生する。この場合も、作業者Ｗ１，Ｗ２の動線が混線状態になると、図６（Ｃ）の例で２箇所の位置における実施作業が認識されても、作業者Ｗ１が何れの位置に移動して対応する実施作業を行ったかは、各位置の画像認識等からでは判別が困難である。
　以上のように、作業場６において、時刻毎に作業者Ｗの位置及び実施作業が認識されても、各作業者Ｗの動線が混線状態になると、各実施作業を行う作業者Ｗを判別することが困難な場面が生じ得るという課題が考えられる。特に、作業場６において、例えば作業者Ｗ１～Ｗ３が同様の色及び形状の制服を着用しているような状況では、混線状態になると、画像認識等によっては各実施作業の作業者Ｗ１～Ｗ３を判別することが困難である。
　そこで、本実施形態の作業分析装置５では、撮像画像に基づく実施作業の位置に加えて、作業順序情報Ｄ２といった作業傾向情報に基づいて、各作業の作業者を推定するための処理を実行する。これにより、図５（Ｃ）及び図６（Ｃ）のように、複数の作業者による動線が混線状態になり、各位置の画像認識等からでは作業者Ｗの判別が困難な状況においても、各実施作業の作業者Ｗを判別することができる。
　例えば、図５（Ｃ）の状況では、作業順序情報Ｄ２における「箱詰め、移動、箱詰め」の異常順序に基づいて、箱詰めをしていた作業者Ｗ２が移動後に箱詰めの作業にならないので、作業者Ｗ２は集荷と推定できる。つまり、集荷及び箱詰めの作業者Ｗがそれぞれ作業者Ｗ２，Ｗ１であるという推定が可能である。また、図６（Ｃ）の状況では、作業者Ｗ２について箱詰めの開始時刻からの経過期間に関する情報を用いることで、箱詰め及び箱準備の作業者Ｗがそれぞれ作業者Ｗ１，Ｗ２であるという推定が可能である。
２－２．全体動作
　作業分析システム１における作業分析装置５の全体動作について、図７を用いて説明する。
　図７は、作業分析装置５の全体動作を説明するためのフローチャートである。本フローチャートに示す処理は、例えば作業分析装置５の制御部５０により実行される。
　まず、制御部５０は、例えば機器Ｉ／Ｆ５４を介して、カメラ２から分析期間の画像データを取得する（Ｓ１）。例えば作業場６において作業者Ｗ１～Ｗ３の作業中に、カメラ２は動画を撮影して、動画のフレーム周期といった所定の周期で各時刻の撮像画像を示す画像データを生成して内部メモリに記録する。カメラ２は、分析期間において記録した画像データを作業分析装置５に送信する。制御部５０は、取得した画像データを、例えば記憶部５２に格納する。
　次に、制御部５０は、取得した分析期間における画像データから、例えば時刻順に、各時刻の撮像画像を示す１フレームの画像データを選択する（Ｓ２）。制御部５０は、選択した１フレームが撮像された時刻を、例えば動線データＤ０における時刻として記録する。
　制御部５０は、選択した１フレームの画像データが示す画像において、画像認識部５１として機能して作業者Ｗの位置及び作業を認識する（Ｓ３）。ステップＳ３において、制御部５０は、例えば画像中で認識された位置に関して、地図データＤ１に基づいて作業場６における位置を示す座標系に変換する。制御部５０は、例えば作業エリア情報に基づき、認識された各位置が作業エリアＡ１、Ａ２、またはそれ以外の領域にあることに応じて、当該位置での実施作業を認識する。
　なお、図６（Ｃ）の例では、箱詰め及び箱準備の２つの作業に対応する作業エリアＡ１において、２人の作業者Ｗの位置が認識される。このような場合、制御部５０は、例えば搬送ライン６１の上流（図３の＋Ｙ方向）側で箱準備が実施されるという関係から各作業者Ｗの位置における実施作業を認識する。
　制御部５０は、例えばステップＳ３の認識結果に基づいて、動線の混線状態を検知する（Ｓ４）。例えば、制御部５０は、選択中のフレームの撮像画像において、複数の作業者Ｗの位置の重畳によるオクルージョンが発生したか否かを検知する。制御部５０は、例えばオクルージョンが発生したと判断して、かつ作業場６において認識された位置が、動線データＤ０における最新の時刻での複数の動線の位置から所定範囲内にあるとき、動線が混線状態になったと判断する。所定範囲は、例えばフレーム周期の時間間隔で作業場６において作業者Ｗが移動する範囲とみなせる程度に小さい範囲として、予め設定される。
　混線状態が検知されていないとき（Ｓ４でＮＯ）、制御部５０は、今回ステップＳ３で認識された位置を、対応する動線ＩＤの位置として追加するように動線データＤ０を更新する（Ｓ６）。この際、制御部５０は、ステップＳ３で認識した位置毎の実施作業を、動線データＤ０における各位置及び対応する動線ＩＤと関連付けることにより、各実施作業に対応付けられる作業者Ｗ１～Ｗ３を判別する（Ｓ６）。動線データＤ０の各位置に実施作業と作業者Ｗとを関連付けた情報は、本実施形態における作業履歴情報の一例である。
　一方、混線状態が検知されたとき（Ｓ４でＹＥＳ）、本実施形態の制御部５０は、混線状態において認識された作業と、動線データＤ０に関連付けられた作業者毎の過去の実施作業とに基づいて、当該認識された各作業に対応付けられる作業者Ｗを判別する（Ｓ５）。このような混線状態用の作業者判別処理（Ｓ５）により、ステップＳ３で認識された位置と過去の動線とを関連付けて各作業の作業者Ｗを判別することができない混線状態においても、作業者Ｗの推定を実現することができる。本実施形態の制御部５０は、作業順序情報Ｄ２等の作業傾向情報を参照して、混線状態用の作業者判別処理（Ｓ５）を行う。混線状態用の作業者判別処理（Ｓ５）の詳細については後述する。以下、混線状態用の作業者判別処理を単に作業者判別処理ともいう。
　実施作業毎の作業者Ｗを判別した（Ｓ５，Ｓ６）後、制御部５０は、ステップＳ７に進む。制御部５０は、分析期間の画像データにおける全てのフレームが未だ選択されていないとき（Ｓ７でＮＯ）、次の時刻の画像データに関して、ステップＳ２～Ｓ６の処理を再び行う。これにより、分析期間の各時刻の画像データに基づく動線データＤ０が得られる。なお、ステップＳ３～Ｓ６の処理は、図２に例示するような作業場６の区画毎に実行されてもよく、１フレームあたりの全ての区画についてステップＳ３～Ｓ６が実行された後、ステップＳ７に進んでもよい。
　分析期間における全てのフレームが選択された場合（Ｓ７でＹＥＳ）、制御部５０は、分析チャート７を生成する可視化処理（Ｓ８）を行う。制御部５０は、例えば作業場６の各作業者Ｗ１～Ｗ３について、１フレームの期間等の時間間隔毎に判定された作業の回数をカウントする。このように作業者毎に分析期間における各作業の総回数が算出されると、制御部５０は、作業者毎の各作業の比率を計算して、分析チャート７を生成する。分析チャート７において各作業の比率は、例えば分析期間に対する各作業の時間の割合として示される。
　制御部５０は、例えば、可視化処理（Ｓ８）により生成された分析チャート７を記憶部５２に格納して、本フローチャートに示す処理を終了する。
　以上の処理によると、画像データに基づいて作業場６における作業者Ｗの位置及び作業を認識して（Ｓ３）、認識された位置と動線データＤ０における過去の動線とを関連付けることで、各位置で作業を行う作業者Ｗを判別する（Ｓ６）。動線の混線状態（Ｓ４でＹＥＳ）では、作業者判別処理（Ｓ５）により作業者が判別される。これにより、動線データＤ０の各作業者に実施作業を関連付けた情報が得られ、分析期間の全ての時間間隔における作業者毎の実施作業に基づいて、分析チャート７が生成される（Ｓ８）。
　なお、上記のステップＳ１では、カメラ２から生成された画像データが逐次、取得されてもよい。例えば制御部５０は、ステップＳ７に代えて、分析期間におけるフレーム数の画像データに基づく動線データＤ０が得られるまで、ステップＳ１以降の処理を繰り返してもよい。また、動線の混線状態を検知する（Ｓ４）際、制御部５０は、例えば撮像画像におけるオクルージョン、及び作業場６における作業者Ｗの位置の何れか一方に応じて、動線の混線状態を検知してもよい。
２－３．作業者判別処理について
　図７のステップＳ５における作業者判別処理の詳細を、図８及び図９を用いて説明する。
　図８は、本実施形態の作業分析装置５における作業者判別処理（図７のＳ５）を例示するフローチャートである。図９は、作業者判別処理における作業組合せを説明するための図である。図９（Ａ），（Ｂ）は、それぞれ図５（Ａ）～（Ｃ）、図６（Ａ）～（Ｃ）に示す場面に対応する作業組合せテーブルＴ１，Ｔ２を例示する。作業組合せテーブルＴ１，Ｔ２は、複数の作業者Ｗと複数の作業との組合せを示す作業組合せの複数の候補を格納する。各候補は、作業者毎に、２以上の作業を含む作業列を関連付けた作業組合せを示す。作業列は、各作業者の過去の実施作業と、作業者を判別する対象の実施作業とを、認識された時刻順に並べた作業のセットを示す。
　本実施形態の作業者判別処理（Ｓ５）において、制御部５０は、作業順序情報Ｄ２等の作業傾向情報を参照して、作業組合せテーブルＴ１，Ｔ２の複数の候補から、１つの候補を判別結果の作業組合せに決定する処理を行う。制御部５０は、決定した作業組合せに応じて作業毎の作業者Ｗを判別する。
　図８のフローチャートにおいて、まず、制御部５０は、混線状態が検知された時刻以後に認識された作業と、過去の作業に対応付けられた作業者Ｗとの作業組合せを算出し、作業組合せテーブルＴ１，Ｔ２を生成する（Ｓ１１）。制御部５０は、例えば動線データＤ０に関連付けられた過去の作業及び作業者Ｗを参照して、少なくとも２種類以上の作業を含む作業組合せを生成する。
　ここで、図５の例では、図５（Ｂ）の場面で作業者Ｗ１，Ｗ２の動線が混線状態になる。このとき、２人の作業者Ｗの実施作業は共に「移動」と認識され（図７のＳ３）、特に判別しなくても各作業者Ｗ１，Ｗ２が同種の作業に対応付けできる。このような場合、ステップＳ１１において、制御部５０は、例えば次の時刻のフレームを選択して、図７のステップＳ３と同様に当該フレームの画像データに基づき作業者Ｗの位置及び作業を認識する。これにより、図５（Ｃ）の場面に対応するフレームが選択され、作業者Ｗの位置及び各位置での作業「箱詰め」と「集荷」が認識される。
　さらに図５の例において、制御部５０は、混線状態に関連する作業者Ｗ１，Ｗ２と、図５（Ａ）～（Ｃ）場面に応じたフレームから認識された作業とに基づいて、図９（Ａ）に例示する作業組合せテーブルＴ１を生成する。制御部５０は、例えば混線状態を検知する（図７のＳ４）際に、ステップＳ３で認識された位置及び動線データＤ０における過去の作業者Ｗの位置に基づいて、混線状態に関連する、すなわち混線が生じた複数の動線に対応する作業者Ｗ１，Ｗ２を決定する。制御部５０は、２人の作業者Ｗ１，Ｗ２に関して、図５（Ｃ）の時刻に認識された、動線に基づく作業者Ｗとの対応付けができない各作業を入れ替えることで取り得るパターン分の作業組合せを候補として生成する（Ｓ１１）。
　図９（Ａ）の作業組合せテーブルＴ１では、作業者Ｗ１，Ｗ２に関して、対応する過去の実施作業「集荷，移動」、「箱詰め，移動」を含み、且つ作業者Ｗとの動線に基づく対応付けができない「集荷」と「箱詰め」を入れ替えた候補Ｃ１１，Ｃ１２が格納される。
　また、図６の例では、図６（Ｃ）の場面のフレームにおいて混線状態が検知される（図７のＳ４でＹＥＳ）ことを想定している。この際、ステップＳ３で認識された作業は、ステップＳ６のように動線に基づいて、作業者Ｗ１，Ｗ２と対応付けることが困難である。そこで、この場合に制御部５０は、混線状態の検知時に認識された作業、及び図６（Ａ），（Ｂ）の場面に応じた過去の作業から、図９（Ｂ）に例示する作業組合せテーブルＴ２を生成する（Ｓ１１）。
　図９（Ｂ）の作業組合せテーブルＴ２では、作業者Ｗ１，Ｗ２に関して、過去の実施作業「移動，移動」、「箱詰め，箱詰め」を含み、且つ作業者Ｗとの動線に基づく対応付けができない「箱準備」と「箱詰め」を入れ替えた候補Ｃ２１，Ｃ２２が格納される。
　次に、制御部５０は、作業順序情報Ｄ２に基づき、作業組合せテーブルＴ１，Ｔ２から候補を除外する（Ｓ１２）。制御部５０は、例えば各候補が作業順序情報Ｄ２の異常順序に該当するか否かを判断して、該当する候補を作業組合せテーブルＴ１，Ｔ２から除外する。
　例えば、図９（Ａ）の作業組合せテーブルＴ１では、候補Ｃ１１に含まれる作業者Ｗ２の作業組合せが、図４に例示する作業順序情報Ｄ２の異常順序に該当する。よって、作業組合せテーブルＴ１から、候補Ｃ１１が除外される（Ｓ１２）。
　次に、制御部５０は、例えば記憶部５２に格納された標準作業期間の情報に基づいて、実施作業の作業期間が標準作業期間を超過する候補を、作業組合せテーブルＴ１，Ｔ２から除外する（Ｓ１３）。制御部５０は、例えば各候補の作業列における最新の実施作業の作業期間を算出して、その作業期間が、標準作業期間からの大幅な超過を示す所定期間を超える場合に、当該作業列を含む候補を除外する。標準作業期間は、作業者毎の各作業に要する期間として、予め複数回にわたり計測された期間を平均して算出される。所定期間の増分は、例えば計測された期間の標準偏差の３倍に設定される。
　例えば、図９（Ｂ）の作業組合せテーブルＴ２では、候補Ｃ２１の作業者Ｗ２に関して、図６（Ａ）の場面から継続する箱詰めの作業期間が所定期間を超えるとき、作業組合せテーブルＴ２から候補Ｃ２１が除外される。箱詰めは、本実施形態における第１の作業の一例である。
　制御部５０は、例えば上記のような候補の除外後（Ｓ１２、Ｓ１３）、作業組合せテーブルＴ１，Ｔ２において除外されていない複数の候補が存在するか、すなわち複数の候補が残ったか否かを判断する（Ｓ１４）。なお、ステップＳ１２、Ｓ１３において全ての候補が除外された場合、ステップＳ１４までに少なくとも１つの候補を残すべく、制御部５０は、例えば作業傾向情報による除外の条件を緩和した上で、ステップＳ１１以降の処理を再度実行してもよい。例えば、作業期間による除外（Ｓ１３）における所定期間が、上記の例より長く設定されてもよい。
　作業組合せテーブルＴ１，Ｔ２に複数の候補が残っていない場合（Ｓ１４でＮＯ）、制御部５０は、残った１つの候補を判別結果の作業組合せに決定する（Ｓ１６）。図９（Ａ），（Ｂ）の作業組合せテーブルＴ１，Ｔ２では、それぞれ除外されずに残った候補Ｃ１２，Ｃ２２が判別結果の作業組合せに決定される。
　一方、複数の候補が残った場合（Ｓ１４でＹＥＳ）、制御部５０は、当該複数の候補のうち、例えば各作業列における最新の実施作業の継続期間と標準作業期間との差分が最小である候補を選定する（Ｓ１５）。制御部５０は、選定した候補を判別結果の作業組合せに決定する（Ｓ１６）。
　制御部５０は、決定した判別結果の作業組合せから、最新の時刻に認識された、作業者Ｗとの動線に基づく対応付けができない各作業の作業者Ｗを判別する（Ｓ１７）。制御部５０は、判別された各作業者Ｗの最新の時刻における位置を、対応する動線ＩＤの位置として追加するように、動線データＤ０を更新する（Ｓ１７）。
　図５（Ｃ）の例では、集荷と箱詰めの各作業を行う作業者Ｗは、作業組合せテーブルＴ１において判別結果の作業組合せに決定された候補Ｃ１２から、それぞれ作業者Ｗ２，Ｗ１であると判別される。そして、集荷及び箱詰めにそれぞれ対応する位置を各作業者Ｗ２，Ｗ１の位置として、動線データＤ０が更新される。図６（Ｃ）の例では、箱詰めと箱準備の各作業を行う作業者Ｗは、作業組合せテーブルＴ２において判別結果の作業組合せに決定された候補Ｃ２２から、それぞれ作業者Ｗ１，Ｗ２であると判別される。そして、箱詰め及び箱準備にそれぞれ対応する位置を各作業者Ｗ１，Ｗ２の位置として、動線データＤ０が更新される。
　制御部５０は、作業者Ｗを判別して動線データＤ０を更新した（Ｓ１７）後、本フローチャートに示す処理を終了する。その後、図７のステップＳ７に進む。
　以上の混線状態用の作業者判別処理（Ｓ５）によると、動線の混線状態により作業者Ｗと対応付けられない作業を含む作業組合せが候補として生成され（Ｓ１１）、当該候補から作業傾向情報に応じて判別結果の作業組合せが決定される（Ｓ１２～Ｓ１６）。これにより、混線状態が生じても、決定した作業組合せから各作業の作業者Ｗを判別する（Ｓ１７）ことができ、作業毎の作業者Ｗの推定を実現することができる。
　また、上記のステップＳ１１では、作業組合せテーブルＴ１，Ｔ２の作業列が３フレーム分の作業を含む例を説明した。作業列は、３フレーム等の時刻毎の作業に限らず、例えば種類が異なる３つの作業を含んでもよい。この場合、制御部５０は、例えば３種類の作業が得られるまで動線データＤ０に関連付けられた過去の作業を参照して、作業組合せテーブルＴ１，Ｔ２を生成する。さらに、３種類に限らず、所定の期間毎の３つの作業を並べた作業列が生成されてもよい。さらに、３つに限らず、２つの作業を並べた作業列が生成されてもよい。
　また、作業組合せテーブルＴ１，Ｔ２の生成（Ｓ１１）では、作業者Ｗの候補の絞り込みが、動線データＤ０における座標情報及び時間当たりの移動距離を用いて行われてもよい。例えば、制御部５０は、作業組合せにおける混線状態に関連する作業者Ｗを、例えば動線データＤ０における過去の作業者Ｗの位置に加えて、過去の位置に基づく作業者Ｗの移動速度に基づいて決定してもよい。
３．効果等
　以上のように、本実施形態における作業分析装置５は、作業場６において複数の作業を行う複数の作業者Ｗに関する情報を生成する。作業分析装置５は、取得部の一例として機器Ｉ／Ｆ５４と、制御部５０と、記憶部５２とを備える。機器Ｉ／Ｆ５４は、作業場６が撮像された画像を示す画像データを取得する（Ｓ１）。制御部５０は、画像データに基づいて、複数の作業者Ｗにおける個別の作業者Ｗ１～Ｗ３が作業場６において行った作業を示す作業履歴情報の一例として、動線データＤ０の各位置に作業と作業者Ｗとを関連付けた情報を生成する（Ｓ５，Ｓ６）。記憶部５２は、作業履歴情報を格納する。制御部５０は、作業場６における時刻毎の画像データに基づいて、複数の作業者Ｗの位置及び作業を順次、認識する（Ｓ２，Ｓ３，Ｓ７）。制御部５０は、複数の作業者Ｗの時刻毎の位置を含む複数の動線の間の混線の一例として、混線状態を検知する（Ｓ４）。制御部５０は、混線状態が検知されていないとき（Ｓ４でＮＯ）、複数の動線に基づいて、各時刻に認識された作業と個別の作業者Ｗ１～Ｗ３とを対応付けて作業履歴情報を生成する（Ｓ６）。制御部５０は、混線状態が検知されたとき（Ｓ４でＹＥＳ）、認識された作業と、過去の作業履歴情報とに基づいて、当該認識された作業と個別の作業者Ｗ１～Ｗ３とを対応付ける（Ｓ５）。
　以上の作業分析装置５によると、動線に基づく作業と作業者Ｗ１～Ｗ３の対応付け（Ｓ６）が困難な混線状態が検知されると（Ｓ４でＹＥＳ）、認識された作業と、過去の作業履歴情報とに基づいて、作業と作業者Ｗ１～Ｗ３が対応付けられる（Ｓ５）。これにより、作業場６において複数の作業者Ｗにより複数の作業が行われる際に、各作業の作業者Ｗを推定することができる。
　本実施形態において、記憶部５２は、作業場６において作業が行われる傾向を示す作業傾向情報を格納する。制御部５０は、混線状態が検知されたとき（Ｓ４でＹＥＳ）、作業傾向情報を参照して、認識された作業と個別の作業者Ｗ１～Ｗ３とを対応付ける（Ｓ５）。これにより、混線状態により作業者Ｗの位置の画像認識等からでは作業と作業者Ｗ１～Ｗ３の対応付けが困難な場合であっても、作業傾向情報に基づいて、作業毎に対応する作業者Ｗを推定することができる。
　本実施形態において、制御部５０は、混線状態が検知されたとき（Ｓ４でＹＥＳ）、混線が生じた複数の動線に対応する複数の作業者Ｗと、認識された複数の作業との複数の組合せを算出する一例として、複数の作業組合せを生成する（Ｓ１１）。制御部５０は、作業傾向情報に基づいて、複数の作業組合せから一の作業組合せを決定し（Ｓ１６）、決定した一の作業組合せに応じて、認識された作業と個別の作業者Ｗ１～Ｗ３とを対応付ける（Ｓ１７）。このように、複数の作業組合せを候補Ｃ１１～Ｃ２２として含む作業組合せテーブルＴ１，Ｔ２が生成され（Ｓ１１）、作業傾向情報に基づいて候補Ｃ１１～Ｃ２２を絞り込むことで、判別結果の作業組合せが決定される（Ｓ１６）。これにより、決定した作業組合せから、各作業の作業者Ｗを判別することができる。
　本実施形態において、作業傾向情報は、複数の作業のうちの２以上の作業の組合せにおける順序を示す情報の一例として、作業順序情報Ｄ２を含む。制御部５０は、当該順序に応じて、複数の作業組合せから所定の順序の一例として異常順序に該当する作業組合せを除外して（Ｓ１２）、一の作業組合せを決定する（Ｓ１６）。これにより、作業順序情報Ｄ２における異常順序に該当しない作業組合せを、判別結果に決定することができる。
　本実施形態において、作業傾向情報は、複数の作業における第１の作業に設定される標準作業期間を示す情報を含む。制御部５０は、作業者Ｗの作業が第１の作業であると認識される期間に応じて、複数の作業組合せから当該期間が標準作業期間を超える作業組合せを除外して（Ｓ１３）、一の組合せを決定する（Ｓ１６）。図６の例では、図９（Ｂ）の作業組合せテーブルＴ２から、候補Ｃ２２の作業者Ｗ２の箱詰め（第１の作業の一例）が標準作業期間を超えて継続するため、候補Ｃ２２の作業組合せが除外される。これにより、特定の作業の作業期間が、標準作業期間に適合する作業組合せを、判別結果に決定することができる。
　本実施形態において、制御部５０は、取得された画像データが示す画像において、複数の作業者Ｗのうちの作業者Ｗ１，Ｗ２（２以上の作業者の一例）の位置が重畳した状態の一例であるオクルージョンに応じて混線状態を検知する（Ｓ４）。これにより、画像上の作業者Ｗの位置に基づいて混線状態の検知を実現することができる。
　本実施形態において、記憶部５２は、個別の作業者Ｗ１～Ｗ３を識別する認証情報Ｄ３をさらに格納する。制御部５０は、作業場６における作業者Ｗの位置を認識した最初の時刻に、認識された位置と個別の作業者Ｗ１～Ｗ３とを対応付ける。このように制御部５０は、動線データＤ０における各位置の動線ＩＤと各作業者Ｗ１～Ｗ３とを対応付けて管理する。これにより、順次認識される（Ｓ３）作業者Ｗの位置と各作業者Ｗ１～Ｗ３の過去の位置とを対応付けるように動線データＤ０を更新して、認識された各位置の実施作業を行った作業者Ｗ１～Ｗ３を判別する（Ｓ６）ことができる。
　制御部５０は、分析期間（所定期間の一例）分の作業履歴情報に基づいて、個別の作業者Ｗ１～Ｗ３毎に、分析期間に亘る複数の作業の比率を示す情報の一例として、分析チャート７を生成する。これにより、作業場６において複数の作業を行う複数の作業者Ｗに関する分析チャート７を、例えば作業分析システム１のユーザ３に提示することができる。作業分析装置５は、分析チャート７等の生成した情報を表示する表示部の一例として、出力Ｉ／Ｆ５５及び／又はモニタ４を更に備えてもよい。
　本実施形態における作業分析方法は、作業場６において複数の作業を行う複数の作業者Ｗに関する情報を生成する方法である。本方法は、コンピュータの制御部５０が、作業場６が撮像された画像を示す画像データを取得するステップ（Ｓ１）と、画像データに基づいて、複数の作業者Ｗにおける個別の作業者Ｗ１～Ｗ３が作業場６において行った作業を示す作業履歴情報を生成するステップ（Ｓ２～Ｓ７）とを含む。作業履歴情報を生成するステップ（Ｓ２～Ｓ７）において、コンピュータの制御部５０が、作業場６における時刻毎の画像データに基づいて、複数の作業者Ｗの位置及び作業を順次、認識し（Ｓ２，Ｓ３，Ｓ７）、複数の作業者Ｗの時刻毎の位置を含む複数の動線の間の混線を検知する（Ｓ４）。制御部５０は、混線が検知されていないとき（Ｓ４でＮＯ）、複数の動線に基づいて、各時刻に認識された作業と個別の作業者Ｗ１～Ｗ３とを対応付けて作業履歴情報を生成し（Ｓ６）、混線が検知されたとき（Ｓ４でＹＥＳ）、認識された作業と、過去の作業履歴情報とに基づいて、当該認識された作業と個別の作業者Ｗ１～Ｗ３とを対応付ける（Ｓ５）。
　本実施形態において、以上のような作業分析方法をコンピュータの制御部に実行させるためのプログラムが提供される。本実施形態の作業分析方法によると、複数の作業者Ｗにより複数の作業が行われる際に、各作業の作業者Ｗを推定することができる。
（実施形態２）
　実施形態１では、作業期間の情報及び作業順序情報Ｄ２に基づいて、作業者判別処理を行う作業分析装置５を説明した。実施形態２では、さらに作業場６に関する作業計画情報に基づいて、作業者判別処理を行う作業分析装置５を説明する。
　以下、実施形態１に係る作業分析装置５と同様の構成、動作の説明は適宜、省略して、本実施形態に係る作業分析装置５を説明する。
　図１０は、本実施形態の作業分析装置５における作業計画情報Ｄ４を説明するための図である。作業計画情報Ｄ４は、本実施形態における作業計画情報の一例であり、作業場６におけるノルマ及び作業者Ｗの割り当てなどを示す。
　図１０に例示する作業計画情報Ｄ４は、作業場６における「作業者」と、主作業である箱詰めのノルマを示す「搬出個数」と、各作業者Ｗが主に作業する区画である「担当区画」とを関連付けて管理する。担当区画は、作業場６において、例えば作業者Ｗが箱準備といった補助作業を行わない位置の範囲を示す。補助作業は、本実施形態における第２の作業の一例である。搬出個数及び担当区画は、例えば予めユーザ３等によって設定される。例えば、図１０の作業計画情報Ｄ４では、作業者Ｗ１及びＷ２の担当区画が区画Ｚ１、作業者Ｗ３の担当区画が区画Ｚ２に設定されている。
　以上のような作業計画情報Ｄ４を用いた、本実施形態の作業分析装置５の動作について、図１１～図１３を用いて説明する。
　図１１は、本実施形態の作業者判別処理を例示するフローチャートである。本実施形態の作業分析装置５において、例えば制御部５０は、実施形態１の作業者判別処理（Ｓ５）におけるステップＳ１１～Ｓ１７の処理に加えて、作業組合せテーブルから作業計画情報Ｄ４に基づいて候補を除外する（Ｓ２１）。図１２は、本実施形態の作業者判別処理を説明するための図である。図１３は、本実施形態の作業者判別処理における作業組合せを説明するための図である。
　図１２は、図５及び図６と同様に作業場６を上方から見た図である。図１２は、作業場６の区画Ｚ１において作業者Ｗ１及びＷ２に加え、担当区画の異なる作業者Ｗ３が作業する様子を示す。
　図１２（Ａ）は、作業者Ｗ１が「集荷」、作業者Ｗ２が「箱詰め」、及び区画Ｚ２から区画Ｚ１へ入ってきた作業者Ｗ３が「移動」をしている場面を示す。図１２（Ｂ）は、図１２（Ａ）の場面から、各作業者Ｗ１～Ｗ３がそれぞれ「移動」をしている場面を示す。図１２（Ｃ）は、図１２（Ｂ）の場面から、移動した作業者Ｗ１，Ｗ３がそれぞれ「箱詰め」と「箱準備」を行い、作業者Ｗ２が「集荷」を行っている場面を示す。以下、図１２（Ｂ）の場面において、オクルージョンにより作業者Ｗ１～Ｗ３の動線が混線状態になる例を説明する。
　図１１に示すフローチャートは、例えば図１２（Ｂ）の場面に対応するフレームの画像データに基づいて、混線状態が検知される（図７のＳ４でＹＥＳ）ことで開始される。
　制御部５０は、例えば実施形態１の作業者判別処理（Ｓ５）における図５の例と同様に、図１２（Ｃ）の場面に対応する次の時刻のフレームから作業者Ｗの位置及び作業を認識して、作業組合せテーブルを生成する（Ｓ１１）。図１３は、図１２（Ａ）～（Ｃ）の例に応じて、ステップＳ１１で生成される作業組合せテーブルＴ３を例示する。
　次に、制御部５０は、作業組合せテーブルＴ３から、作業計画情報Ｄ４に基づいて候補を除外する（Ｓ２１）。制御部５０は、例えば作業計画情報Ｄ４の担当区画を参照して、作業組合せテーブルＴ３から、担当区画における各作業者の最新の実施作業が、補助作業の箱準備である候補を除外する。このように、例えば、作業者Ｗは担当区画では主作業の箱詰めまたは主作業に関連する集荷を行う可能性が高いと想定されることから、作業計画情報Ｄ４に基づく除外のルールが予め設定される。図１０の作業計画情報Ｄ４では作業者Ｗ１の担当区画が区画Ｚ１であることから、作業者Ｗ１に関して最新の実施作業が箱準備である候補Ｃ３５，Ｃ３６が、作業組合せテーブルＴ３から除外される。同様に作業者Ｗ２に関して、候補Ｃ３２，Ｃ３４が作業組合せテーブルＴ３から除外される。
　その後、制御部５０は、作業順序情報Ｄ２及び作業期間に基づいて作業組合せテーブルＴ３から候補を除外する（Ｓ１２～Ｓ１３）。図１２の例では、作業者Ｗ２に関して候補Ｃ３３の作業組合せが作業順序情報Ｄ２における異常順序に該当することから、作業組合せテーブルＴ３から候補Ｃ３３が除外される（Ｓ１２）。制御部５０は、作業組合せテーブルＴ３から除外されずに残った候補Ｃ３１を判別結果の作業組合せに決定する（Ｓ１６）。
　以上のように、本実施形態において、作業傾向情報は、作業場において個別の作業者Ｗ１～Ｗ３が、複数の作業における第２の作業の一例として補助作業を行わない位置の範囲を示す担当区画（担当範囲の一例）と、個別の作業者Ｗ１～Ｗ３とを関連付けた情報の一例として、作業計画情報Ｄ４を含む。制御部５０は、作業者Ｗの位置が作業者Ｗの担当区画に含まれるときに、複数の作業組合せから、作業者Ｗの作業が補助作業である作業組合せを除外して（Ｓ２１）、一の作業組合せを決定する（Ｓ１６）。これにより、作業者Ｗが各々の担当区画において主作業を行うような作業組合せを、判別結果に決定することができる。
　なお、作業計画情報Ｄ４に基づく除外（Ｓ２１）は、担当区画に限らず様々な作業計画に関する情報が用いられてもよく、例えば搬出個数の情報を用いて行われてもよい。例えば、所定の搬出個数に応じた回数分、箱詰めを行った作業者Ｗは、以降の時刻では箱詰めを含む候補に該当しないとして、当該候補が除外されてもよい。
（他の実施形態）
　以上のように、本出願において開示する技術の例示として、実施形態１、２を説明した。しかしながら、本開示における技術は、これに限定されず、適宜、変更、置換、付加、省略などを行った実施の形態にも適用可能である。また、上記各実施形態で説明した各構成要素を組み合わせて、新たな実施の形態とすることも可能である。そこで、以下、他の実施形態を例示する。
　上記の各実施形態では、作業場６における区画に、異常順序を関連付けた作業順序情報Ｄ２を説明した。本実施形態において、作業順序情報Ｄ２は、例えば作業場６の区画毎に、一作業者Ｗによる作業の実行順序を示す標準順序を含んでもよい。この場合、作業者判別処理（図８、図１１）における作業順序情報に基づく除外の処理（Ｓ１２）では、例えば標準順序に該当しない候補が作業組合せテーブルＴ１～Ｔ３から除外されてもよい。
　上記の各実施形態では、画像認識部５１が、作業者Ｗ１～Ｗ３を特に区別しない人物として、人物の位置の認識結果を出力する例を説明した。本実施形態の画像認識部５１は、例えば顔認証技術などにより、各作業者Ｗ１～Ｗ３を区別して、各々の位置を認識してもよい。この場合にも、本実施形態の作業分析装置５の動作は、例えばカメラ２の撮像画像に顔が映らない各作業者Ｗの実施作業は認識できるようなときに適用可能である。
　上記の各実施形態では、画像認識部５１により認識される全ての位置の作業者Ｗが、分析対象の作業者である例を説明した。本実施形態の作業分析装置５は、作業に関する処理（Ｓ４～Ｓ５，Ｓ８）における処理対象から、分析対象外の作業者の位置を除外してもよい。例えば作業場６において、補充作業の領域など作業エリアＡ１，Ａ２及びその間の領域と異なる位置の作業者が除外される。また、例えば作業場６において工程管理または監視を行う作業者は、当該作業者の動線が作業エリアＡ１，Ａ２の間の領域を通る期間が長いといった傾向に基づき、分析対象外として除外されてもよい。
　上記の各実施形態では、予め設定された作業期間の情報に基づいて作業期間による除外を行う（Ｓ１３）作業分析装置５を説明した。本実施形態の作業分析装置５では、例えば作業者毎に、棚６２側の作業エリアＡ２における過去の滞在期間に基づいて、集荷の作業期間が設定されてもよい。
　上記の各実施形態では、各作業の作業期間などの情報を用いて、作業者判別処理を実行する例を説明した。本実施形態の作業分析装置５は、作業者判別処理において、各作業の作業期間に限らず、カメラ２の画角外において作業が行われると推定される期間、或いは作業者の休憩期間などの情報を用いて、作業者判別処理を実行してもよい。
　また、上記の各実施形態では、作業分析システム１が物流倉庫のような作業場６に適用される例を説明した。本実施形態おいて、作業分析システム１及び作業分析装置５が適用される作業場すなわち現場は特に上述した作業場６に限らず、例えば工場または店舗の売り場など種々の現場であってもよい。また、作業分析システム１において判定される作業は、上述した箱詰め等の例に限らず、各種現場に応じた種々の作業であってもよい。また、作業分析システム１による分析対象の作業者は、作業者Ｗといった人物に限らず、各種作業を実行可能な移動体であればよい。例えば移動体はロボットでもよく、有人または無人の各種車両であってもよい。
　以上のように、本開示における技術の例示として、実施の形態を説明した。そのために、添付図面および詳細な説明を提供した。
　したがって、添付図面および詳細な説明に記載された構成要素の中には、課題解決のために必須な構成要素だけでなく、上記技術を例示するために、課題解決のためには必須でない構成要素も含まれ得る。そのため、それらの必須ではない構成要素が添付図面や詳細な説明に記載されていることをもって、直ちに、それらの必須ではない構成要素が必須であるとの認定をするべきではない。
　本開示は、物流現場または工場など種々の環境において作業者の作業を分析するデータ分析の用途に適用可能である。

Claims (11)

  1. 　作業場において複数の作業を行う複数の作業者に関する情報を生成する作業分析装置であって、
    　前記作業場が撮像された画像を示す画像データを取得する取得部と、
    　前記画像データに基づいて、前記複数の作業者における個別の作業者が前記作業場において行った作業を示す作業履歴情報を生成する制御部と、
    　前記作業履歴情報を格納する記憶部と
    を備え、
    　前記制御部は、
    　前記作業場における時刻毎の画像データに基づいて、前記複数の作業者の位置及び作業を順次、認識し、
    　前記複数の作業者の時刻毎の位置を含む複数の動線の間の混線を検知し、
    　　　前記混線が検知されていないとき、前記複数の動線に基づいて、各時刻に認識された作業と前記個別の作業者とを対応付けて前記作業履歴情報を生成し、
    　　　前記混線が検知されたとき、認識された作業と、過去の作業履歴情報とに基づいて、当該認識された作業と前記個別の作業者とを対応付ける
    作業分析装置。
  2. 　前記記憶部は、前記作業場において前記作業が行われる傾向を示す作業傾向情報を格納し、
    　前記制御部は、前記混線が検知されたとき、前記作業傾向情報を参照して、認識された作業と前記個別の作業者とを対応付ける
    請求項１に記載の作業分析装置。
  3. 　前記制御部は、前記混線が検知されたとき、
    　前記混線が生じた複数の動線に対応する複数の作業者と、認識された複数の作業との複数の組合せを算出し、
    　前記作業傾向情報に基づいて、前記複数の組合せから一の組合せを決定し、
    　決定した一の組合せに応じて、前記認識された作業と前記個別の作業者とを対応付ける
    請求項２に記載の作業分析装置。
  4. 　前記作業傾向情報は、前記複数の作業のうちの２以上の作業の組合せにおける順序を示す情報を含み、
    　前記制御部は、前記順序に応じて、前記複数の組合せから所定の順序に該当する組合せを除外して、前記一の組合せを決定する
    請求項３に記載の作業分析装置。
  5. 　前記作業傾向情報は、前記複数の作業における第１の作業に設定される標準作業期間を示す情報を含み、
    　前記制御部は、前記作業者の作業が、前記第１の作業であると認識される期間に応じて、前記複数の組合せから当該期間が前記標準作業期間を超える組合せを除外して、前記一の組合せを決定する
    請求項３又は４に記載の作業分析装置。
  6. 　前記作業傾向情報は、前記作業場において前記個別の作業者が、前記複数の作業における第２の作業を行わない位置の範囲を示す担当範囲と、前記個別の作業者とを関連付けた情報を含み、
    　前記制御部は、前記作業者の位置が前記作業者の担当範囲に含まれるときに、前記複数の組合せから、前記作業者の作業が前記第２の作業である組合せを除外して、前記一の組合せを決定する
    請求項３から５のいずれか１項に記載の作業分析装置。
  7. 　前記制御部は、取得された画像データが示す画像において、前記複数の作業者のうちの２以上の作業者の位置が重畳した状態に応じて前記混線を検知する
    請求項１から６のいずれか１項に記載の作業分析装置。
  8. 　前記記憶部は、前記個別の作業者を識別する認証情報をさらに格納し、
    　前記制御部は、前記作業場における前記作業者の位置を認識した最初の時刻に、認識された位置と前記個別の作業者とを対応付ける
    請求項１から７のいずれか１項に記載の作業分析装置。
  9. 　前記制御部は、所定期間分の前記作業履歴情報に基づいて、前記個別の作業者毎に、前記所定期間に亘る前記複数の作業の比率を示す情報を生成する
    請求項１から８のいずれか１項に記載の作業分析装置。
  10. 　作業場において複数の作業を行う複数の作業者に関する情報を生成する作業分析方法であって、
    　コンピュータの制御部が、
    　前記作業場が撮像された画像を示す画像データを取得するステップと、
    　前記画像データに基づいて、前記複数の作業者における個別の作業者が前記作業場において行った作業を示す作業履歴情報を生成するステップと、
    を含み、
    　前記作業履歴情報を生成するステップにおいて、前記コンピュータの制御部が、
    　前記作業場における時刻毎の画像データに基づいて、前記複数の作業者の位置及び作業を順次、認識し、
    　前記複数の作業者の時刻毎の位置を含む複数の動線の間の混線を検知し、
    　　　前記混線が検知されていないとき、前記複数の動線に基づいて、各時刻に認識された作業と前記個別の作業者とを対応付けて前記作業履歴情報を生成し、
    　　　前記混線が検知されたとき、認識された作業と、過去の作業履歴情報とに基づいて、当該認識された作業と前記個別の作業者とを対応付ける
    作業分析方法。
  11. 　請求項１０に記載の作業分析方法をコンピュータの制御部に実行させるためのプログラム。
PCT/JP2022/012833 2021-06-11 2022-03-18 作業分析装置及び方法 WO2022259690A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2023527523A JPWO2022259690A1 (ja) 2021-06-11 2022-03-18
EP22819880.0A EP4354388A1 (en) 2021-06-11 2022-03-18 Task analysis device and method
CN202280040369.8A CN117441189A (zh) 2021-06-11 2022-03-18 作业分析装置以及方法
US18/530,573 US20240112498A1 (en) 2021-06-11 2023-12-06 Image analysis device and method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021-098078 2021-06-11
JP2021098078 2021-06-11

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US18/530,573 Continuation US20240112498A1 (en) 2021-06-11 2023-12-06 Image analysis device and method

Publications (1)

Publication Number Publication Date
WO2022259690A1 true WO2022259690A1 (ja) 2022-12-15

Family

ID=84425176

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/012833 WO2022259690A1 (ja) 2021-06-11 2022-03-18 作業分析装置及び方法

Country Status (5)

Country Link
US (1) US20240112498A1 (ja)
EP (1) EP4354388A1 (ja)
JP (1) JPWO2022259690A1 (ja)
CN (1) CN117441189A (ja)
WO (1) WO2022259690A1 (ja)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011034234A (ja) * 2009-07-30 2011-02-17 Kozo Keikaku Engineering Inc 動作分析装置、動作分析方法及び動作分析プログラム
JP2013196029A (ja) * 2012-03-15 2013-09-30 Fujitsu Ltd 移動物体の動線補間装置、方法、及びプログラム
JP2017010224A (ja) * 2015-06-19 2017-01-12 キヤノン株式会社 物体追尾装置、物体追尾方法及びプログラム
WO2018198373A1 (ja) 2017-04-28 2018-11-01 株式会社日立国際電気 映像監視システム
JP2019185724A (ja) * 2018-03-30 2019-10-24 ダイキン工業株式会社 情報管理システム
JP2020098590A (ja) * 2018-12-13 2020-06-25 田中　成典 移動物追跡装置
JP2021056671A (ja) * 2019-09-27 2021-04-08 三菱電機株式会社 作業状態判別装置、作業状態判別方法およびプログラム

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011034234A (ja) * 2009-07-30 2011-02-17 Kozo Keikaku Engineering Inc 動作分析装置、動作分析方法及び動作分析プログラム
JP2013196029A (ja) * 2012-03-15 2013-09-30 Fujitsu Ltd 移動物体の動線補間装置、方法、及びプログラム
JP2017010224A (ja) * 2015-06-19 2017-01-12 キヤノン株式会社 物体追尾装置、物体追尾方法及びプログラム
WO2018198373A1 (ja) 2017-04-28 2018-11-01 株式会社日立国際電気 映像監視システム
JP2019185724A (ja) * 2018-03-30 2019-10-24 ダイキン工業株式会社 情報管理システム
JP2020098590A (ja) * 2018-12-13 2020-06-25 田中　成典 移動物追跡装置
JP2021056671A (ja) * 2019-09-27 2021-04-08 三菱電機株式会社 作業状態判別装置、作業状態判別方法およびプログラム

Also Published As

Publication number Publication date
CN117441189A (zh) 2024-01-23
US20240112498A1 (en) 2024-04-04
JPWO2022259690A1 (ja) 2022-12-15
EP4354388A1 (en) 2024-04-17

Similar Documents

Publication Publication Date Title
Akhavian et al. Construction equipment activity recognition for simulation input modeling using mobile sensors and machine learning classifiers
US10890898B2 (en) Traceability systems and methods
CA3014403C (en) Tracking and/or analyzing facility-related activities
US20190156276A1 (en) Realtime inventory tracking using deep learning
US9280757B2 (en) Automated inventory management
US11734338B2 (en) Image search in walkthrough videos
JP6995843B2 (ja) 作業管理システム及び作業管理方法
US20220137609A1 (en) Production information management system and production information management method
JP2017204094A (ja) 視線特定プログラム、視線特定装置、及び視線特定方法
US20170330206A1 (en) Motion line processing system and motion line processing method
US20190073616A1 (en) Customer interaction identification and analytics system
JP2019121294A (ja) 計算機システム
JP2024042003A (ja) レイアウト設計装置、レイアウト設計方法及びプログラム
Knoch et al. Video-to-model: Unsupervised trace extraction from videos for process discovery and conformance checking in manual assembly
US20210334758A1 (en) System and Method of Reporting Based on Analysis of Location and Interaction Between Employees and Visitors
JP2023538010A (ja) 倉庫環境におけるリスクマッピングのためのシステム及び方法
JP6864756B2 (ja) 作業分析装置、及び作業分析方法
WO2022259690A1 (ja) 作業分析装置及び方法
Tran et al. Assessing human worker performance by pattern mining of Kinect sensor skeleton data
US20220129821A1 (en) Retail traffic analysis statistics to actionable intelligence
WO2022209082A1 (ja) 作業分析装置
WO2023152893A1 (ja) 管理装置、管理システム、管理方法及びプログラム
WO2023276332A1 (ja) 作業分析装置及び方法
JP7345355B2 (ja) 物体識別装置
JP2020145652A (ja) 連携システム、システム連携方法、および連携プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22819880

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2023527523

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 2022819880

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2022819880

Country of ref document: EP

Effective date: 20240111