WO2023276332A1 - 作業分析装置及び方法 - Google Patents

作業分析装置及び方法 Download PDF

Info

Publication number
WO2023276332A1
WO2023276332A1 PCT/JP2022/013283 JP2022013283W WO2023276332A1 WO 2023276332 A1 WO2023276332 A1 WO 2023276332A1 JP 2022013283 W JP2022013283 W JP 2022013283W WO 2023276332 A1 WO2023276332 A1 WO 2023276332A1
Authority
WO
WIPO (PCT)
Prior art keywords
work
detection
worker
detected
control unit
Prior art date
Application number
PCT/JP2022/013283
Other languages
English (en)
French (fr)
Inventor
智祥 伊藤
知一 一力
秀彦 秦
大治郎 市村
Original Assignee
パナソニックＩｐマネジメント株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニックＩｐマネジメント株式会社 filed Critical パナソニックＩｐマネジメント株式会社
Priority to CN202280045627.1A priority Critical patent/CN117581271A/zh
Priority to JP2023531430A priority patent/JPWO2023276332A1/ja
Priority to EP22832495.0A priority patent/EP4365835A1/en
Publication of WO2023276332A1 publication Critical patent/WO2023276332A1/ja
Priority to US18/536,634 priority patent/US20240112499A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/08—Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects

Definitions

  • FIG. 2 is a block diagram illustrating the configuration of the work analysis device 5 .
  • the work analysis device 5 illustrated in FIG. 2 includes a control unit 50 , a storage unit 52 , an operation unit 53 , an equipment interface 54 and an output interface 55 .
  • the interface is abbreviated as "I/F".
  • FIG. 3 is a diagram for explaining the problem with the work analysis device 5.
  • FIG. 3 shows a captured image Im captured by the camera 2 of the worker W who is carrying out the transportation work in the work place 6 .
  • FIG. 4 is a diagram for explaining the operation of the work analysis device 5.
  • FIGS. 4A and 4B illustrate work timelines 70 and 7 before and after correction by the work analysis device 5, respectively, corresponding to the example of FIG.
  • Each work timeline 70, 7 is an example of work detection information in this embodiment.
  • the worker W is carrying a load, but the load is hidden behind the worker W's body in the line-of-sight direction of the camera 2 .
  • the transport work may not be detected by image recognition.
  • the target work is not detected in the period T1 including the time tb corresponding to FIG. 3B.
  • control unit 50 repeats the processing of steps S1 to S3 for the image data at the next time.
  • control unit 50 When all frames in the analysis period have been selected (YES in S4), the control unit 50 performs visualization processing (S5) for generating the work timeline 7 visualized by the user from the detection results for each frame. In step S5, the work timeline 7 after correction is generated based on the detection result interpolated in the work detection process (S3).
  • the work of the worker W is detected at each time (S2 to S4), and the detection result in the non-detection period T1 is interpolated with the target work (S3).
  • the work timeline 7 can be accurately obtained from the detection results for each time.
  • FIG. 6 is a flowchart illustrating the work detection process (S3 in FIG. 5) in the work analysis device 5 of this embodiment.
  • FIG. 7 is a diagram for explaining work detection processing.
  • the control unit 50 stores the time when the target work was detected based on the current detection result (S15).
  • the time at which the target work is detected is recorded, for example, by the imaging time of the frame at which the transportation work is detected.
  • the control unit 50 stores, for example, in the storage unit 52, the time ta at which the "take" stroke was detected.
  • the control unit 50 may retain the detected stroke in association with the time ta at which the transportation work was detected.
  • control unit 50 when the control unit 50 stores the current detection result in the storage unit 52 (S16), it ends the work detection processing (S3) shown in this flow chart for the one frame selected in step S2. After that, the control unit 50 returns to the process of the flowchart of FIG. 5 and proceeds to step S4. For example, after the work detection process (S3) is executed in the frame of FIG. 3A, the process proceeds to NO in step S4, and the frame of time tb corresponding to the scene of FIG. 3B is selected (S2) to detect work. Processing (S3) is performed again.
  • the image recognition in step S11 does not detect the process of "carrying" the load in the transportation work, and it is determined that the target work has not been detected (NO in S12). In this way, the non-detection period T1 illustrated in the work timeline 70 before correction in FIG.
  • FIG. 7 illustrates a captured image Im including a period during which the worker W does not carry out the transportation work.
  • the work analysis device 5 of the present embodiment performs the work detection process (S3) so as not to erroneously interpolate the detection result while the worker W does not carry out the transportation work. This point will be described with reference to FIG.
  • FIG. 7(A) shows a scene where the worker W puts the luggage at the carry-out port 62, similar to the scene in FIG. 3(C).
  • the target work is detected after time tc, for example, according to the captured image Im of FIG. 7A.
  • step S11 the target work is not detected in step S11 (NO in S12).
  • the control unit 50 proceeds to step S16 to store the current detection result, and then proceeds to NO in step S4 of FIG.
  • the control unit 50 determines that the target work is detected in the same way as when the process of "taking” the load is detected in the example of FIG.
  • the time is stored (S15).
  • the control unit 50 stores in the storage unit 52 the time at which the “carrying” stroke was detected, in addition to the time at which the “taking” stroke was detected, for example.
  • the control unit 50 interpolates the detection result up to the time when the immediately preceding "taking" stroke is detected, for example (S14). Accordingly, even when the target work is detected at a time in the middle of the non-detection period T1, the detection result can be interpolated with high accuracy.
  • control unit 50 when storing the current detection result (S16), the control unit 50 does not store the category of each process of the transportation work, but only whether it is a transportation work or not, that is, whether it is a target work or a non-work. may be stored.
  • FIG. 8 is a flowchart illustrating work detection processing in the work analysis device 5 according to the modification of the first embodiment. For example, instead of the process of step S13 in FIG. 6, the control unit 50 determines whether or not the current process is "taking" based on the detection result acquired in step S11 (S13A).
  • the plurality of processes include a process of picking up a load as an example of a first process that starts the target work, a process of carrying the load as an example of a second process that continues the target work, and a process that ends the target work.
  • An example of the three steps includes the step of placing the luggage.
  • the accurately corrected work timeline 7 can be obtained without erroneously interpolating the detection result of the period in which the target work is not performed.
  • the target work is a transport work of moving a load as an example of an object.
  • the first process is the process of picking up the load (an example of the process of starting the movement of the object)
  • the second process is the process of transporting the load (an example of the process of continuing the movement of the object)
  • the third process is and the process of placing the load (an example of the process of finishing the movement of the object).
  • the objects in the transportation work are not limited to packages, and may be various articles such as parts.
  • the target work is not limited to transportation work, and may be assembly work for attaching parts.
  • a program is provided for causing the control unit of the computer to execute the work analysis method as described above. According to the work analysis method of the present embodiment, it is possible to accurately detect a target work such as a transport work as an example of a specific work performed by the worker W.
  • Embodiment 2 Although Embodiment 1 described the work analysis device 5 that realizes interpolation processing by machine learning that identifies each process of the transportation work using the work detection model 51, such machine learning is not essential. In the second embodiment, a work analysis device 5 that realizes interpolation processing by using the moving direction of the worker W corresponding to a specific stroke in the transportation work will be described.
  • FIG. 9 is a diagram for explaining work detection processing in the work analysis device 5 of this embodiment.
  • FIG. 10 is a flowchart illustrating work detection processing according to the present embodiment.
  • FIG. 9(A) shows a captured image Im of a worker W carrying a load from the transport line 61 to the carry-out port 62 as in FIG. 3(B).
  • FIG. 9(B) shows a captured image Im of the worker W who turns from the outlet 62 to the transport line 61 in the same manner as in FIG. 7(B).
  • a predetermined direction is set in advance on the captured image Im, corresponding to the process in which the worker W carries the load in the work place 6 .
  • the direction from the transport line 61 to the outlet 62 is set as the predetermined direction.
  • control unit 50 performs the determination (S13) of the process identified by the work detection model 51 in the work detection process (S3) of the first embodiment. It is determined whether or not there is (S13B).
  • the control unit 50 detects the transportation work based on the image data, for example (S11), and determines the movement direction of the worker W based on the position of the detection area in the obtained detection result.
  • control unit 50 compares the position of the previous detection area with the position of the current detection area, and determines whether the moving direction of the worker W is in the predetermined direction. It is determined whether or not there is (S13B).
  • the worker W is moving in a predetermined direction, and it can be estimated that the worker W is carrying out a process of carrying a load.
  • the control unit 50 interpolates the detection results from the time of the current target work to the time of the previous target work with the target work. (S14).
  • the worker W is moving in a direction different from the predetermined direction, and it can be estimated that this is not a process of carrying luggage. If the control unit 50 determines that the movement direction of the worker W is not the predetermined direction (NO in S13B), the control unit 50 does not interpolate the detection result, and proceeds to step S15.
  • the control unit 50 determines whether or not the direction in which the worker W moved is the predetermined direction when the target work is detected as an example of the work (YES in S12), based on the image data. (S13B), and based on the direction determination result, the work detection information such as the work timeline 70 before correction is corrected (S14 to S16).
  • the predetermined direction is set on the captured image Im as an example of the image indicated by the image data, corresponding to the process of carrying the luggage as an example of the second process.
  • the work analysis device 5 of the present embodiment can also interpolate the detection result of the non-detection period T1 to obtain an appropriately corrected work timeline 7 (S5).
  • step S11 the control unit 50 acquires the detection results of the work detection model 51 and the image recognition model, and in step S13B, compares the position of the worker W recognized last time and this time, and The direction of movement of W may be determined.
  • the work detection model 51 may be machine-learned so as to output the detection area of the worker W who is not performing the target work as a category different from the detection area of the worker W who is performing the target work.
  • FIG. 11 is a diagram for explaining work detection processing in the work analysis device 5 of this embodiment.
  • FIG. 12 is a flowchart illustrating work detection processing according to the present embodiment.
  • the control unit 50 determines whether the current detection area is included in the first exclusion area 81 based on the position of the detection area in the detection result of the work (S11). It is determined whether or not it is within the first exclusion area 81 (S13C). For example, the control unit 50 determines that the detection area is included in the first exclusion area 81 when the ratio of the detection area overlapping the first exclusion area 81 in the captured image Im is equal to or greater than a predetermined ratio.
  • the predetermined ratio is set in advance as a large ratio (for example, 80%) to the extent that it can be considered that a part of the worker W's body enters the first exclusion area 81, for example.
  • step S13C may be made according to the positional relationship of the area on the map corresponding to 81 .
  • control unit 50 determines that the detection region R1 is included in the first exclusion region 81 (YES in S13C), and does not execute the interpolation process (S14).
  • control unit 50 performs interpolation processing (S14).
  • the control unit 50 is defined by the position on the image as an example of the detection position where the worker W was positioned when the target work (an example of work) was detected, based on the image data. It is determined whether or not the detection region R1 is included in the first exclusion region 81 as an example of at least one predetermined region (S13C), and the work timeline 7 (an example of work detection information) is determined based on the determination result of the detection position. correct. At least one predetermined area is set corresponding to at least one of the first and third processes on the captured image Im as an example of the image indicated by the image data. For example, the first exclusion area 81 is set corresponding to the process of picking up the luggage as an example of the first process. As a result, the work timeline 7 can be corrected based on the detected positions without using the identification result of each process of the transportation work by the work detection model 51 .
  • the control unit 50 interpolates the detection result of the target work in the undetected period T1 (S14), is included in the first exclusion area 81 (YES in S13C), the detection result of the target work during the non-detection period such as the period T2 is not interpolated.
  • the detection position is included in the first exclusion area 81, it can be estimated that the process after the non-detection period corresponds to the process of picking up the load, that is, the process of starting the work, so the detection result of the period T2 is A work timeline 7 accurately corrected without erroneous interpolation can be obtained.
  • the work analysis device 5 uses the area corresponding to the process of starting the transportation work for the interpolation process in the work detection process. In the fourth embodiment, the work analysis device 5 that uses areas corresponding to the process of ending the transportation work in addition to the process of starting will be described.
  • FIG. 13 is a diagram for explaining work detection processing in the work analysis device 5 of this embodiment.
  • FIG. 14 is a flowchart illustrating work detection processing according to the present embodiment.
  • FIG. 13(A) shows a captured image Im of a worker W who puts a load in the carry-out port 62, similarly to FIG. 7(A).
  • FIG. 13(B) shows a captured image Im of the worker W who picks up the load from the transfer line 61 after placing the load from the scene of FIG. 13(A).
  • a region on the captured image Im 2 illustrates the second exclusion area 82 that is preset as .
  • the second exclusion area 82 for example, when the worker W performs the transportation work in the work place 6, the position where the cargo taken from the transportation line 61 and carried is placed at the carry-out port 62, that is, the position where the transportation work is completed. area.
  • the first exclusion area 81 and the second exclusion area 82 are examples of the predetermined area in this embodiment, and examples of the start area and end area in this embodiment, respectively.
  • the worker W when the detection area R2 where the transportation work is detected is included in the second exclusion area 82, the worker W does not perform the process of placing the load, that is, the process of completing one transportation work. presumed to do.
  • FIG. 13B when the detection region R1 is included in the first exclusion region 81, it is estimated that the worker W will perform the process of picking up the next load, that is, the process of starting the next transportation work. can.
  • the worker W turns around from the carry-out port 62 to the transfer line 61 without holding the load, that is, does not perform the target work. It is thought that
  • the worker W is performing any process of the transportation work during the undetected period T1 immediately before the transportation work is detected.
  • the work analysis device 5 interpolates the detection result of the non-detection period T1.
  • the control unit 50 determines whether the detection area is within the first exclusion area 81. In addition, it is determined whether the detection area of the previous target work is within the second exclusion area 82 (S13D).
  • the control unit 50 determines that the current detection area is within the first exclusion area 81 and the detection area of the previous target work is within the second exclusion area 82. It is determined whether or not there is (S13D). For example, the control unit 50 refers to the time of the previous target work stored in step S15 and the past detection results stored in step S16 to identify the detection area of the previous target work. The control unit 50 determines whether the current and previous detection areas are within the first exclusion area 81 and the second exclusion area 82, respectively, based on the same criteria as in step S13C in the work detection process of the third embodiment, for example. to decide.
  • the control unit 50 performs interpolation processing ( S14) is skipped and the process proceeds to step S15.
  • control The unit 50 performs interpolation processing (S14).
  • At least one predetermined area includes, as an example of a start area corresponding to the first process, the first exclusion area 81 corresponding to the process of picking up the baggage and the end area corresponding to the third process.
  • An example of a region includes a second exclusion region 82 corresponding to the itinerary of placing a load.
  • the control unit 50 selects the case where the immediately preceding detection area is not included in the second exclusion area 82, and the current detection area as an example of the detection position after the non-detection period.
  • the detection result of the target work (an example of work) in the non-detection period T1 is interpolated (S14).
  • the control unit 50 includes the detection region R2 as an example of the detection position before the non-detection period in the second exclusion region 82, and the detection region R1 as an example of the detection position after the non-detection period in the first exclusion region.
  • the detection result of the target work in the non-detection period such as the period T2 is not interpolated.
  • the control unit 50 sets the detection region of the previous target work as an example of the detection position recognized before the non-detection period to the second exclusion region 82 in the captured image Im as an example of the image indicated by the image data. It is determined whether or not the current detection area is included in the first exclusion area 81 (an example of the start area) as an example of the detection position included in the (an example of the end area) and recognized after the non-detection period. (S13D).
  • Embodiments 1 to 4 have been described as examples of the technology disclosed in the present application.
  • the technology in the present disclosure is not limited to this, and can be applied to embodiments in which modifications, substitutions, additions, omissions, etc. are made as appropriate.
  • the work analysis device 5 that realizes interpolation processing by determining the process after the non-detection period (S13, S13A) in the work detection process (S3) has been described.
  • the work analysis device 5 of the present embodiment may further implement interpolation processing according to the process before the undetected period. For example, if the control unit 50 of the work analysis device 5 retains information on the process together with the time of the target work in step S15, even if an undetected period occurs, when the target work is detected after that, the previous
  • the above processing can be performed by referring to the information at the time of detection of the target work. Such modifications will be described with reference to FIGS. 15 and 16.
  • FIG. 15 and 16 Such modifications will be described with reference to FIGS. 15 and 16.
  • FIG. 15 illustrates a flowchart of work detection processing in this modified example.
  • the control unit 50 determines whether the process of the target work detected immediately before is "put”. It judges (S21). The control unit 50 performs the process of step S21, for example, by referring to the process information held in step S15 in the immediately preceding work detection process.
  • the control unit 50 sets the undetected period such as the period T2. Do not interpolate. The control unit 50 interpolates the undetected period T1 in at least one of the case where the immediately preceding process is not “putting” (NO in S21) and the case where the current process is not “taking” (NO in S13A). (S14).
  • FIG. 16 illustrates a flowchart of work detection processing in this modified example.
  • the control unit 50 interpolates the detection result of the non-detection period such as the period T2 if the immediately preceding process is "put" by the same judgment as in step S21 of FIG. 15 (YES in S21). do not.
  • the control unit 50 interpolates the undetected period T1 when the immediately preceding process is not "placing" (NO in S21), that is, when the immediately preceding process is "taking” or "carrying".
  • the work analysis device 5 has the same configuration as in each of the above-described embodiments, and the control unit 50 detects the target work before and after the non-detection period during which the target work is not detected.
  • Work detection information such as the work timeline 70 before correction may be corrected so as to interpolate the detection result of the target work in the non-detection period T1 according to the process at the time of detection. This also makes it possible to accurately detect the target work as an example of the specific work performed by the worker W.
  • the control unit 50 when the process before the non-detection period is the third process and the process after the non-detection period is the first process, the control unit 50 performs detection during the non-detection period such as the period T2. The result may not be interpolated. In at least one of the case where the stroke before the undetected period is the first or second stroke and the case where the stroke after the undetected period is the second or third stroke, the work detection result in the non-detection period T1 may be interpolated.
  • control unit 50 does not interpolate the undetected period when the stroke preceding the undetected period is the third stroke, and does not interpolate the undetected period when the stroke preceding the undetected period is the first or second stroke. You may make it interpolate a period.
  • interpolation processing (S14) was performed according to the process (S13) at the time when the target work was detected.
  • the work analysis device 5 of the present embodiment may perform interpolation processing (S14) according to the period from the current time to the time of the previous target work in addition to the process at the current time.
  • interpolation may be performed if the period of interest is shorter than a predetermined threshold.
  • the predetermined threshold value is set in advance as a short period that can be regarded as a period required for the worker W to carry the load, for example.
  • the target work of the work analysis system 1 is one type of transportation work.
  • the work analysis system 1 of this embodiment may be applied to a plurality of works as target works. For example, when detecting a plurality of types of transportation work for transporting different types of objects, interpolation processing may be performed on the detection results of each transportation work in the same manner as in the above-described embodiments.
  • the target work of the work analysis system 1 is transportation work.
  • the target work of the work analysis system 1 is not limited to the transportation work, and may be any work including a plurality of processes.
  • the present disclosure is applicable to data analysis applications for analyzing workers' work in various environments such as logistics sites or factories.

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Business, Economics & Management (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Economics (AREA)
  • Psychiatry (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Tourism & Hospitality (AREA)
  • Strategic Management (AREA)
  • Quality & Reliability (AREA)
  • Operations Research (AREA)
  • Human Resources & Organizations (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Development Economics (AREA)
  • General Factory Administration (AREA)
  • Image Analysis (AREA)

Abstract

作業者が行う作業に関する情報を生成する作業分析装置が提供される。作業分析装置は、取得部と、制御部とを備える。取得部は、作業を行う作業者が撮像された画像を示す画像データを取得する。制御部は、画像データに基づいて、作業者が行った作業を順次、検知して、作業の検知結果を示す作業検知情報を生成する。作業は、作業者によって行われる複数の行程を含む。制御部は、作業が検知されなかった未検知期間の前後に作業が検知された際の行程に応じて、未検知期間における作業の検知結果を補間するように、作業検知情報を補正する。

Description

作業分析装置及び方法
　本開示は、作業分析装置及び方法に関する。
　特許文献１は、人の作業動作の境界を検出して作業を分析する作業分析システムを開示する。特許文献１のシステムは、カメラで作業動作を撮影した動画像の画像データから、作業者の手の位置及び速度の時系列信号を取得して、速度の時系列信号における極小などを動作境界として検出する。特許文献１のシステムは、動作境界を用いて、取得した位置と基準パタンとのパタンマッチングにより、作業内容及び作業の開始／終了時間を特定する。特許文献１のシステムは、動作境界の時間を、パタンマッチングの起点または終点としたり、パタンマッチングにより特定された作業時間の補正に用いたりすることで、作業の境界を特定する。
特開２００９－３２０３３号公報
　本開示は、作業者によって行われる特定の作業の検知を精度良くすることができる作業分析装置及び方法を提供する。
　本開示の一態様に係る作業分析装置は、作業者が行う作業に関する情報を生成する。作業分析装置は、取得部と、制御部とを備える。取得部は、作業を行う作業者が撮像された画像を示す画像データを取得する。制御部は、画像データに基づいて、作業者が行った作業を順次、検知して、作業の検知結果を示す作業検知情報を生成する。作業は、作業者によって行われる複数の行程を含む。制御部は、作業が検知されなかった未検知期間の前後に作業が検知された際の行程に応じて、未検知期間における作業の検知結果を補間するように、作業検知情報を補正する。
　これらの概括的かつ特定の態様は、システム、方法、及びコンピュータプログラム、並びに、それらの組み合わせにより、実現されてもよい。
　本開示における作業分析装置及び方法によると、作業者によって行われる特定の作業の検知を精度良くすることができる。
実施形態１に係る作業分析システムの概要を示す図 作業分析システムにおける作業分析装置の構成を例示するブロック図 作業分析装置に関する課題を説明するため図 作業分析装置の動作を説明するための図 作業分析装置の全体動作を説明するためのフローチャート 実施形態１の作業分析装置における作業検知処理を例示するフローチャート 作業検知処理を説明するための図 実施形態１の変形例に係る作業分析装置における作業検知処理を例示するフローチャート 実施形態２の作業分析装置における作業検知処理を説明するための図 実施形態２の作業検知処理を例示するフローチャート 実施形態３の作業分析装置における作業検知処理を説明するための図 実施形態３の作業検知処理を例示するフローチャート 実施形態４の作業分析装置における作業検知処理を説明するための図 実施形態４の作業検知処理を例示するフローチャート 変形例１の作業検知処理を例示するフローチャート 変形例２の作業検知処理を例示するフローチャート
　以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。なお、発明者（ら）は、当業者が本開示を十分に理解するために添付図面および以下の説明を提供するのであって、これらによって特許請求の範囲に記載の主題を限定することを意図するものではない。
（実施形態１）
１．構成
　実施形態１に係る作業分析システムについて、図１を用いて説明する。図１は、本実施形態に係る作業分析システム１の概要を示す図である。
１－１．システムの概要
　本システム１は、図１に示すように、カメラ２と、作業分析装置５とを備える。本システム１は、物流倉庫などの作業場６において、運搬作業などの作業を行う作業者Ｗの効率等を分析する用途に適用される。本システム１は、例えば作業場６の管理者または分析担当者といったユーザ３に、所定の分析期間に関する作業タイムライン７を提示するためのモニタ４を備えてもよい。分析期間は、本システム１においてカメラ２を用いた画像認識等による分析対象の期間であり、例えば１日から数か月などに予め設定される。
　作業タイムライン７は、例えば本システム１の分析対象に設定された作業である「対象作業」と、それ以外の「非作業」との分類により、作業者Ｗの時刻毎の作業を示す。本例の作業分析装置５は、作業タイムライン７で、対象作業以外の作業を非作業に分類する（換言すると、非作業も作業に含まれる）。
　図１の例では、作業場６において搬送ライン６１と搬出口６２とが設置されている。本例において、作業場６において作業者Ｗが行う作業は、荷物の運搬作業、及び荷物を持たない移動などの作業を含む。本実施形態の作業分析システム１において、例えば運搬作業が対象作業に予め設定される。
　こうした本実施形態に係る作業分析システム１によると、例えば作業タイムライン７を提示することにより、ユーザ３は、例えば作業場６の業務効率化を検討するために、作業者Ｗの時系列の作業内容を分析することができる。
　本システム１のカメラ２は、作業場６において作業を行う作業者Ｗが映るように配置される。カメラ２は、例えば作業場６において所定の周期で撮像動作を繰り返し、撮像画像を示す画像データを生成する。カメラ２は、例えば画像データが作業分析装置５に送信されるように、作業分析装置５に接続される。なお、図１では１つのカメラ２を例示しているが、本システム１に含まれるカメラ２は１つのカメラに限らず、２つ以上のカメラであってもよい。
　作業分析装置５は、例えばサーバ装置などの情報処理装置で構成される。作業分析装置５は、例えばモニタ４を含むＰＣなど外部の情報処理装置と通信可能に接続される。作業分析装置５の構成について、図２を用いて説明する。
１－２．作業分析装置の構成
　図２は、作業分析装置５の構成を例示するブロック図である。図２に例示する作業分析装置５は、制御部５０と、記憶部５２と、操作部５３と、機器インタフェース５４と、出力インタフェース５５とを備える。以下、インタフェースを「Ｉ／Ｆ」と略記する。
　制御部５０は、例えばソフトウェアと協働して所定の機能を実現するＣＰＵ又はＭＰＵを含み、作業分析装置５の全体動作を制御する。制御部５０は、記憶部５２に格納されたデータ及びプログラムを読み出して種々の演算処理を行い、各種の機能を実現する。例えば、制御部５０は、画像認識処理によって作業の検知機能を実現する作業検知モデル５１を備える。
　作業検知モデル５１は、例えば畳み込みニューラルネットワーク等のニューラルネットワークによる学習済みモデルを採用して構成される。作業検知モデル５１は、画像データが示す画像において、画像認識処理を実行する。作業検知モデル５１は、例えば予め設定された検知対象が画像において映っている領域を示す検知領域を、検知結果として出力する。本実施形態における作業検知モデル５１の検知対象は、運搬作業などの対象作業（を行う作業者）に設定される。検知領域は、例えば画像上の水平位置及び垂直位置で規定されて、検知対象を矩形状に囲む領域を示す。
　本実施形態では、作業検知モデル５１は、画像において検知対象の領域が認識できない（すなわち、運搬作業の実施が検知できない）とき、例えば空値を検知結果として出力する。検知結果には、例えば画像が撮像された時刻を示す情報が含まれてもよい。作業検知モデル５１は、例えば荷物を持った状態で運搬作業を行う作業者が映った画像を正解として、正解を示す正解ラベルを関連付けた画像データを教師データとして用いることで、教師あり学習によって得ることができる。作業検知モデル５１には、対象作業などの検知対象を細分化するカテゴリ、或いは対象作業とは別のカテゴリが設定されてもよい。
　作業検知モデル５１の学習済みモデルはニューラルネットワークに限らず、種々の画像認識に関する機械学習モデルであってもよい。作業検知モデル５１は機械学習に限らず、種々の画像認識アルゴリズムを採用してもよく、例えば、ルールベースの画像認識処理によって行われるように構成されてもよい。
　制御部５０は、例えば作業分析装置５の機能を実現するための命令群を含んだプログラムを実行する。上記のプログラムは、インターネット等の通信ネットワークから提供されてもよいし、可搬性を有する記録媒体に格納されていてもよい。また、制御部５０は、各種のデータ及びプログラムを保持する一時的な記憶領域として内部メモリを備えてもよい。
　なお、制御部５０は、所定の機能を実現するように設計された専用の電子回路又は再構成可能な電子回路などのハードウェア回路であってもよい。制御部５０は、ＣＰＵ、ＭＰＵ、ＧＰＵ、ＧＰＧＰＵ、ＴＰＵ、マイコン、ＤＳＰ、ＦＰＧＡ及びＡＳＩＣ等の種々の半導体集積回路で構成されてもよい。
　記憶部５２は、作業分析装置５の機能を実現するために必要なプログラム及びデータを記憶する記憶媒体である。記憶部５２は、例えばハードディスクドライブ（ＨＤＤ）または半導体記憶装置（ＳＳＤ）により構成される。例えば記憶部５２は、上記のプログラム及び作業検知モデル５１の学習済みモデルのパラメータなどの各種情報を格納する。
　記憶部５２は、例えばＤＲＡＭまたはＳＲＡＭにより構成される一時的な記憶素子を備えてもよく、制御部５０の作業領域として機能してもよい。例えば記憶部５２は、カメラ２から受信した画像データ及び作業検知モデル５１による検知結果などを一時的に記憶してもよい。
　操作部５３は、ユーザの操作を受け付ける操作部材の総称である。操作部５３は、例えばキーボード、マウス、トラックパッド、タッチパッド、ボタン及びスイッチ等のいずれか、またはそれらの組合せにより構成される。操作部５３は、ユーザの操作によって入力される諸情報を取得する。
　機器Ｉ／Ｆ５４は、作業分析装置５にカメラ２のような外部機器を接続するための回路である。機器Ｉ／Ｆ５４は、所定の通信規格に従い通信を行う。所定の規格には、ＵＳＢ、ＨＤＭＩ（登録商標）、ＩＥＥＥ１３９５、ＩＥＥＥ８０２．１１、Ｂｌｕｅｔｏｏｔｈ（登録商標）等が含まれる。機器Ｉ／Ｆ５４は、作業分析装置５において外部機器から諸情報を受信する取得部の一例である。作業分析システム１において、作業分析装置５は、例えば機器Ｉ／Ｆ５４を介して、カメラ２が撮像した動画を示す画像データを取得する。
　出力Ｉ／Ｆ５５は、情報を出力するための回路である。出力Ｉ／Ｆ５５は、例えばＨＤＭＩ規格などに準拠して、各種の情報を表示するためのモニタ及びプロジェクタなど外付けの表示デバイスに映像信号等を出力する。
　以上のような作業分析装置５の構成は一例であり、作業分析装置５の構成はこれに限らない。作業分析装置５は、ＰＣ（パーソナルコンピュータ）を含む各種のコンピュータで構成されてもよい。作業分析装置５は、出力Ｉ／Ｆ５５に加えて、または代えて、例えば内蔵の表示デバイスとして液晶ディスプレイまたは有機ＥＬディスプレイにより構成される表示部を備えてもよい。また、本実施形態の作業分析方法は、分散コンピューティングにおいて実行されてもよい。
　また、作業分析装置５は、上記の構成に加えて、または代えて、通信ネットワークを介して外部の情報処理装置と通信する構成を有してもよい。例えば、操作部５３は、通信ネットワークを介して接続された外部の情報処理装置による操作を受け付ける構成であってもよい。また、出力Ｉ／Ｆ５５は、通信ネットワークを介して外部の情報処理装置に各種の情報を送信してもよい。
　また、作業分析装置５における取得部は、制御部５０等における各種ソフトウェアとの協働によって実現されてもよい。作業分析装置５における取得部は、各種記憶媒体（例えば記憶部５２）に格納された諸情報を制御部５０の作業エリアに読み出すことによって、諸情報の取得を行ってもよい。
２．動作
　以上のように構成される作業分析システム１及び作業分析装置５の動作について、以下説明する。
　図１に例示する作業分析システム１は、画像認識処理により、作業場６において作業者Ｗが実施する対象作業を時刻毎に検知する。本システム１は、対象作業の検知結果を示す情報を蓄積し、蓄積された情報に基づいて、分析期間において作業者Ｗが対象作業を実施したと検知された時刻を順次、可視化するように作業タイムライン７を生成する。
　ここで、例えば上記のような画像認識では、作業者Ｗが対象作業を実施した時刻であるにも関わらず、そのときの撮像画像において対象作業の検知のために特徴的な部分が映らなかった等により、対象作業の実施が検知されない場合が想定される。これに対して、本実施形態の作業分析装置５は、作業分析システム１において上記のように対象作業が未検知となる時刻があっても、画像認識の検知結果を補正して、作業者Ｗによる対象作業の実施を精度良く推定することができる。
２－１．課題について
　本実施形態の作業分析システム１において、作業者Ｗの時刻毎の作業を特定する上で課題となる場面について、図３及び図４を用いて説明する。以下では、対象作業が運搬作業である例を説明する。
　図３は、作業分析装置５に関する課題を説明するための図である。図３は、カメラ２により作業場６において運搬作業の実施中の作業者Ｗを撮像した撮像画像Ｉｍを示す。図４は、作業分析装置５の動作を説明するための図である。図４（Ａ），（Ｂ）は、図３の例に対応して、それぞれ作業分析装置５による補正の前後の作業タイムライン７０、７を例示する。各作業タイムライン７０、７は、本実施形態における作業検知情報の一例である。
　図３（Ａ）は、運搬作業において、作業者Ｗが搬送ライン６１から荷物を取る場面を示す。図３（Ｂ）は、図３（Ａ）の場面から作業者Ｗが取った荷物を運ぶ場面を示す。図３（Ｃ）は、図３（Ｂ）の場面から作業者Ｗが運んだ荷物を搬出口６２に置く場面を示す。このように、運搬作業は、搬送ライン６１から荷物を「取る」行程、搬出口６２まで荷物を「運ぶ」行程、及び搬出口６２に荷物を「置く」行程を含む。
　図３（Ａ）の例では、カメラ２からの撮像画像Ｉｍにおける画像認識により、作業者Ｗが荷物を「取る」行程の検知領域Ｒ１が認識されて、運搬作業が検知される。これに応じて、例えば図４（Ａ）に示すように、補正前の作業タイムライン７０では、図３（Ａ）の場面に対応する時刻ｔａまで、対象作業として運搬作業が検知されている。
　その後、図３（Ｂ）の例では、作業者Ｗが荷物を運んでいるが、カメラ２の視線方向において作業者Ｗの体に荷物が隠れている。このように、作業者Ｗが運搬中の荷物が撮像画像Ｉｍに映らない状態が生じると、画像認識によっては運搬作業が検知されない場合がある。この場合、図４（Ａ）に例示するように、補正前の作業タイムライン７０では、図３（Ｂ）に対応する時刻ｔｂを含んだ期間Ｔ１において、対象作業が未検知となってしまう。
　更にその後、図３（Ｃ）の例では、撮像画像Ｉｍに再び荷物が映って作業者Ｗが荷物を「置く」行程の検知領域Ｒ２が認識されて、運搬作業が検知される。これに応じて、図４（Ａ）の補正前の作業タイムライン７０では、図３（Ｃ）の場面に対応する時刻ｔｃから、再び対象作業が検知されている。
　以上のように、作業場６において、時刻毎に作業者Ｗの作業を検知する際、作業者Ｗが運搬作業を行っているにも関わらず、画像認識によっては運搬作業の実施が検知されない、すなわち対象作業が検知されない期間Ｔ１が生じ得るという課題が考えられる。
　そこで、本実施形態では、上記のような未検知期間Ｔ１の前後の作業者Ｗの行程に着目して、作業分析装置５が作業検知モデル５１の検知結果を補間するための補正の処理を実行する。例えば、図３（Ａ）～（Ｃ）の各行程は、１回の運搬作業において順に行われることから、検知結果の補間に利用できる。各行程は、本実施形態の対象作業において、作業者Ｗが荷物のような物体の移動を開始する行程、物体の移動を継続する行程、及び物体の移動を終了する行程の一例である。図４（Ｂ）は、図４（Ａ）の作業タイムライン７０から、作業分析装置５により補正された作業タイムライン７を示す。
　例えば、図３（Ｂ）の状況では、その後に図３（Ｃ）のように荷物を置く行程が行われたことから、荷物を運んでいたことが推定できる。本実施形態の作業分析装置５は、こうした推定を反映する補正処理により、図４（Ｂ）に例示するように、未検知期間Ｔ１において対象作業が行われていたとして検知結果を補間して、補正後の作業タイムライン７を得る。一方で、本実施形態の作業分析装置５は、作業者Ｗが対象作業を行っていない期間Ｔ２に関しては、検知結果を対象作業で誤って補間しないように、補正処理を行う。これにより、作業者Ｗによって行われる特定の作業として対象作業の検知を精度良くすることができる。
２－２．全体動作
　作業分析システム１における作業分析装置５の全体動作について、図５を用いて説明する。
　図５は、作業分析装置５の全体動作を説明するためのフローチャートである。本フローチャートに示す処理は、例えば作業分析装置５の制御部５０により実行される。
　まず、制御部５０は、例えば機器Ｉ／Ｆ５４を介して、カメラ２から分析期間における画像データを取得する（Ｓ１）。例えば作業場６において作業者Ｗの作業中に、カメラ２は動画を撮影して、動画のフレーム周期といった所定の周期で各時刻の撮像画像を示す画像データを生成し、内部メモリに記録する。カメラ２は、分析期間において記録した画像データを作業分析装置５に送信する。制御部５０は、取得した画像データを、例えば記憶部５２に格納する。
　次に、制御部５０は、取得した分析期間における画像データから、例えば時刻順に、各時刻の撮像画像を示す１フレームの画像データを選択する（Ｓ２）。制御部５０は、選択した１フレームが撮像された時刻を、例えば各作業タイムライン７０、７における時刻として記録する。
　制御部５０は、選択した１フレームの画像データに基づいて、作業検知モデル５１の画像認識処理により運搬作業を検知する（Ｓ３）。制御部５０は、例えば検知結果を記憶部５２に保持する。このような作業検知処理（Ｓ３）において、制御部５０は、当該フレームの検知結果に応じて、直前の未検知期間Ｔ１に対象作業が検知されていたとして過去の検知結果を補間する。
　本実施形態の作業検知処理においては、作業検知モデル５１に、運搬作業における複数の行程を区別して検知させて、検知結果の補正処理を実現する。例えば、本実施形態の作業検知モデル５１は、運搬作業の検知結果として、予め設定された複数のカテゴリの何れかと検知領域とを対応付けて出力するように、機械学習で構築される。複数のカテゴリは、運搬作業における荷物を「取る」、「運ぶ」及び「置く」といった各行程を含む。作業検知モデル５１の訓練には、例えば各カテゴリの行程の画像を正解とする教師データが用いられる。このような作業検知モデル５１を用いた本実施形態の作業検知処理（Ｓ３）の詳細は後述する。
　制御部５０は、分析期間の画像データにおける全てのフレームが未だ選択されていない場合（Ｓ４でＮＯ）、次の時刻の画像データに関して、ステップＳ１～Ｓ３の処理を再び行う。
　分析期間における全てのフレームが選択された場合（Ｓ４でＹＥＳ）、制御部５０は、フレーム毎の検知結果から、ユーザに可視化される作業タイムライン７を生成する可視化処理（Ｓ５）を行う。ステップＳ５では、作業検知処理（Ｓ３）において補間された検知結果に基づいて、補正後の作業タイムライン７が生成される。
　制御部５０は、例えば可視化処理（Ｓ５）により生成された作業タイムライン７を記憶部５２に格納して、本フローチャートに示す処理を終了する。
　以上の処理によると、画像データに基づいて、作業者Ｗの時刻毎の作業を検知し（Ｓ２～Ｓ４）、未検知期間Ｔ１における検知結果を対象作業で補間する（Ｓ３）。これにより、時刻毎の検知結果から精度良く作業タイムライン７が得られる。
　なお、上記のステップＳ１では、カメラ２から生成された画像データが逐次、取得されてもよい。例えば制御部５０は、ステップＳ４に代えて、分析期間におけるフレーム数の画像データに基づく実施作業の検知結果が得られるまで、ステップＳ１以降の処理を繰り返してもよい。
　また、可視化処理（Ｓ５）において制御部５０は、作業タイムライン７に加えて又は代えて、分析期間における作業者Ｗの対象作業と非作業との比率を示す分析チャートを生成してもよい。制御部５０は、例えば作業者Ｗについて、フレーム周期といった時間間隔毎に、運搬作業の検知結果に基づいて対象作業及び非作業の回数をカウントする。このように作業者毎に分析期間における各作業の総回数が算出されると、制御部５０は、作業者毎の各作業の比率を計算して、分析チャートを生成する。分析チャートにおいて各作業の比率は、例えば分析期間に対する各作業の時間の割合として示される。
２－３．作業検知処理について
　図５のステップＳ３における作業検知処理の詳細を、図６及び図７を用いて説明する。
　図６は、本実施形態の作業分析装置５における作業検知処理（図５のＳ３）を例示するフローチャートである。図７は、作業検知処理を説明するための図である。
　図６のフローチャートにおいて、まず、制御部５０は、図５のステップＳ２で選択した１フレームの画像データが示す撮像画像Ｉｍにおいて、作業検知モデル５１による画像認識処理を実行して、作業の検知を行う（Ｓ１１）。例えば、図３（Ａ）の撮像画像Ｉｍでは、荷物を「取る」行程と対応付けて検知領域Ｒ１を含む検知結果が得られる（Ｓ１１）。
　次に、制御部５０は、得られた検知結果に基づき、今回のフレームにおいて対象作業が検知されたか否かを判断する（Ｓ１２）。図３（Ａ）の例では、検知領域Ｒ１を含む検知結果に基づいて、対象作業が検知されたと判断される（Ｓ１２でＹＥＳ）。
　対象作業が検知された場合（Ｓ１２でＹＥＳ）、制御部５０は、今回の検知結果に基づき、検知された運搬作業の行程が「置く」であるか否かを判断する（Ｓ１３）。図３（Ａ）の例では、検知された運搬作業の行程が「取る」であり「置く」ではないことから、制御部５０は、ステップＳ１３でＮＯに進む。
　今回の行程が「置く」ではないと判断した場合（Ｓ１３でＮＯ）、制御部５０は、今回の検知結果に基づいて、対象作業が検知された時刻を記憶する（Ｓ１５）。対象作業が検知された時刻は、例えば運搬作業が検知されたフレームの撮像時刻により記録される。図３（Ａ）の例で制御部５０は、例えば記憶部５２に、「取る」行程が検知された時刻ｔａを保持する。制御部５０は、ステップＳ１５において、運搬作業が検知された時刻ｔａと関連付けて、検知された行程を保持してもよい。
　制御部５０は、例えば記憶部５２に今回の検知結果を格納すると（Ｓ１６）、ステップＳ２で選択した１フレームに関して本フローチャートに示す作業検知処理（Ｓ３）を終了する。その後、制御部５０は、図５のフローチャートの処理に戻り、ステップＳ４に進む。例えば、図３（Ａ）のフレームにおいて作業検知処理（Ｓ３）が実行された後にステップＳ４でＮＯに進み、図３（Ｂ）の場面に対応する時刻ｔｂのフレームの選択（Ｓ２）により作業検知処理（Ｓ３）が再び行われる。
　図３（Ｂ）の例では、ステップＳ１１の画像認識では運搬作業の荷物を「運ぶ」行程が検知されず、対象作業が検知されていないと判断される（Ｓ１２でＮＯ）。このように、対象作業が行われていても検知されないことで、図４（Ａ）の補正前の作業タイムライン７０に例示した未検知期間Ｔ１が生じ得る。
　対象作業が検知されていない場合（Ｓ１２でＮＯ）、制御部５０は、ステップＳ１３～Ｓ１５の処理を特に実行せず、今回の検知結果を記憶部５２に格納して（Ｓ１６）、図５のステップＳ４に進む。例えば、図３（Ｂ）のフレームにおける作業検知処理（Ｓ３）の後、図３（Ｃ）の場面に対応する時刻ｔｃのフレームが選択される（Ｓ４でＮＯ，Ｓ２）。
　図３（Ｃ）の例では、制御部５０は、作業の検知（Ｓ１１）により取得される検知領域Ｒ２に基づいて、対象作業が検知されたと判断する（Ｓ１２でＹＥＳ）。制御部５０はさらに、荷物を「置く」行程が検知領域Ｒ２に対応づけて得られた検知結果から、ステップＳ１３でＹＥＳに進む。
　今回の行程が「置く」であると判断した場合（Ｓ１３でＹＥＳ）、制御部５０は、直前に実施したステップＳ１５で記憶した対象作業の時刻を参照して、今回のフレームの時刻から、直前の対象作業の時刻までの期間における検知結果を対象作業で補間する（Ｓ１４）。図４（Ａ）の例では、今回のフレームで「置く」行程が検知された時刻ｔｃから、直前に「取る」行程が検知された時刻ｔａまでの未検知期間Ｔ１において、対象作業が検知されていたとして、検知結果が補間される。このように、１回の運搬作業を終了させる「置く」行程が検知された場合、運搬作業を開始する「取る」行程が検知された時刻ｔａ以降は、運搬作業が行われていたと推定できることから、未検知期間Ｔ１の検知結果が対象作業で補間される。
　次に、制御部５０は、対象作業が検知された時刻として「置く」行程が検知された時刻ｔｃを記憶する（Ｓ１５）。その後、制御部５０は、今回の検知結果を記憶して（Ｓ１６）、図５のステップＳ４に進む。
　図７は、図３の例と異なり、作業者Ｗが運搬作業を行っていない期間を含む撮像画像Ｉｍを例示する。本実施形態の作業分析装置５は、作業者Ｗが運搬作業を行っていない期間は検知結果を誤って補間しないように作業検知処理（Ｓ３）を行う。この点について、図７を用いて説明する。
　図７（Ａ）は、図３（Ｃ）の場面と同様に、作業者Ｗが荷物を搬出口６２に置く場面を示す。図４（Ａ）の補正前の作業タイムライン７０では、時刻ｔｃの後、例えば図７（Ａ）の撮像画像Ｉｍに応じて対象作業が検知されている。
　図７（Ｂ）は、図７（Ａ）の場面から、荷物を置いた作業者Ｗが搬送ライン６１に向かって振り向く場面を示す。図７（Ｂ）では、作業者Ｗは荷物を運んでおらず、運搬作業を行っていない。この場合、図４（Ａ）に例示するように、対象作業が検知されない期間Ｔ２が生じる。
　図７（Ｃ）は、図７（Ｂ）の場面から振り向いた作業者Ｗが搬送ライン６１から次の荷物を取る場面を示す。図４（Ａ）の作業タイムライン７０では、期間Ｔ２の後、再び対象作業が検知されている。
　まず、図７（Ａ）のフレームが選択されると（Ｓ２）、制御部５０は、図３（Ｃ）の例と同様にステップＳ１１～Ｓ１６の処理を実行する。図７（Ａ）の例では、対象作業が検知された時刻として、「置く」行程が検知された時刻が記憶される（Ｓ１５）。その後、制御部５０は、次の図７（Ｂ）のフレームを選択する（Ｓ４でＮＯ，Ｓ２）。
　図７（Ｂ）の例では、作業者Ｗが荷物を持つ運搬作業を行っておらず、ステップＳ１１で対象作業が検知されない（Ｓ１２でＮＯ）。本例において、制御部５０は、ステップＳ１６に進み、今回の検知結果を記憶した後、さらに図５のステップＳ４でＮＯに進む。
　次に図７（Ｃ）のフレームが選択されると（Ｓ２）、制御部５０は、荷物を「取る」行程を検知する（Ｓ１１）。制御部５０は、対象作業が検知されたと判断して（Ｓ１２でＹＥＳ）、ステップＳ１３に進む。制御部５０は、今の行程が「置く」ではない（Ｓ１３でＮＯ）ことから補間の処理（Ｓ１４）を特に実行せず、ステップＳ１５以降の処理を行う。これにより、図４（Ａ），（Ｂ）に示すように、作業者Ｗが対象作業を行っていない期間Ｔ２に関しては、検知結果が誤って補間されないようにすることができる。
　以上の作業検知処理（Ｓ３）によると、時刻毎の作業が検知され（Ｓ１１）、対象作業が検知された場合（Ｓ１２でＹＥＳ）、当該時刻が記憶される（Ｓ１５）。今回の行程が運搬作業を終了する行程「置く」である場合（Ｓ１３でＹＥＳ）、今回の対象作業の時刻から、記憶された直前の対象作業の時刻までの検知結果が対象作業で補間される（Ｓ１４）。これにより、作業者Ｗが荷物を運んでいるのに検知されないといった未検知期間Ｔ１に、対象作業が検知されていたとして、検知結果を補間することができる。
　一方、今回の行程が「置く」以外の場合（Ｓ１３でＮＯ）、対象作業が検知されなくても検知結果は補間されない。これにより、例えば図４（Ａ）の補正前の作業タイムライン７０では、図７（Ｂ）のように作業者Ｗが荷物を持たずに搬出口６２から搬送ライン６１に振り向く等、対象作業を行っていないと想定される期間Ｔ２において、検知結果が補間されない。これにより、補間された検知結果に基づいて、図４（Ｂ）に例示するように、精度良く補正された作業タイムライン７が得られる。
　なお、上記のステップＳ１１で荷物を「運ぶ」行程が検知された場合、図３（Ａ）の例で「取る」行程が検知された場合と同様に、制御部５０は、対象作業が検知された時刻を記憶する（Ｓ１５）。この場合、ステップＳ１５において、制御部５０は、例えば「取る」行程が検知された時刻とは別に、「運ぶ」行程が検知された時刻を記憶部５２に保持する。次に「置く」行程が検知された（Ｓ１３でＹＥＳ）場合、制御部５０は、例えば直前の「取る」行程が検知された時刻までの期間における検知結果を補間する（Ｓ１４）。これにより、未検知期間Ｔ１の途中の時刻において対象作業が検知された場合であっても、精度良く検知結果を補間することができる。
　また、今回の検知結果を記憶する（Ｓ１６）際に、制御部５０は、運搬作業の各行程のカテゴリを記憶せず、運搬作業か否か、すなわち対象作業と非作業の何れであるかのみを記憶してもよい。
２－３－１．実施形態１の変形例
　実施形態１において、作業分析装置５は、今の行程が「置く」である場合に（Ｓ１３でＹＥＳ）補間の処理（Ｓ１４）を行ったが、今の行程が運搬作業を開始する「取る」行程であるか否かに応じて、補間の処理を行ってもよい。このような変形例について、図８を用いて説明する。
　図８は、実施形態１の変形例に係る作業分析装置５における作業検知処理を例示するフローチャートである。制御部５０は、例えば図６のステップＳ１３の処理に代えて、ステップＳ１１で取得された検知結果に基づく今の行程が「取る」であるか否かを判断する（Ｓ１３Ａ）。
　今の行程が「取る」である場合（Ｓ１３ＡでＹＥＳ）、制御部５０は、ステップＳ１４の処理を実行せず、当該行程が検知された時刻を対象作業の時刻として記憶する（Ｓ１５）。今の行程が「取る」ではない場合（Ｓ１３ＡでＮＯ）、すなわち運搬作業の途中または終了の行程が検知された場合、制御部５０は、今の検知結果の時刻から直前の対象作業の時刻までの検知結果を対象作業で補間する（Ｓ１４）。
　このような作業検知処理によれば、ステップＳ１１で荷物を「運ぶ」行程が検知された際には、対象作業が検知されて（Ｓ１２でＹＥＳ）かつ今の行程が「取る」ではない（Ｓ１３でＮＯ）ため、ステップＳ１４に進む。この場合、「運ぶ」行程が検知された時刻から、直前の対象作業までの検知結果が補間される（Ｓ１４）。これにより、例えば未検知期間Ｔ１の途中の時刻に「運ぶ」行程が検知されて、その後に「置く」行程が検知されても、ステップＳ１４では、それぞれ直前の対象作業の時刻を参照して、未検知期間Ｔ１の検知結果を補間することができる。
３．効果等
　以上のように、本実施形態における作業分析装置５は、作業者Ｗが行う作業に関する情報を生成する。作業分析装置５は、取得部の一例として機器Ｉ／Ｆ５４と、制御部５０とを備える。機器Ｉ／Ｆ５４は、作業を行う作業者Ｗが撮像された画像を示す画像データを取得する（Ｓ１）。制御部５０は、画像データに基づいて、作業者Ｗが行った作業の一例として対象作業を順次、検知して（Ｓ２～Ｓ４）、対象作業の検知結果を示す作業検知情報の一例として作業タイムライン７を生成する（Ｓ５）。対象作業は、作業者Ｗによって行われる複数の行程を含む。制御部５０は、対象作業が検知されなかった未検知期間の後に対象作業が検知された際の行程に応じて、未検知期間Ｔ１における対象作業の検知結果を補間するように、補正前の作業タイムライン７０のような作業検知情報を補正する（Ｓ３）。
　以上の作業分析装置５によると、対象作業の実施が検知されなかった未検知期間Ｔ１が生じた場合に、未検知期間Ｔ１の前後に対象作業が検知された際の行程に応じて、未検知期間Ｔ１の検知結果が補間され、補正された作業タイムライン７が得られる（Ｓ３，Ｓ５）。これにより、作業者Ｗによって行われる特定の作業の一例として、対象作業の検知を精度良くすることができる。
　本実施形態において、複数の行程は、対象作業を開始する第１行程の一例として荷物を取る行程と、対象作業を継続する第２行程の一例として荷物を運ぶ行程と、対象作業を終了する第３行程の一例として荷物を置く行程とを含む。制御部５０は、未検知期間の後の行程が第１行程である場合に、未検知期間における対象作業の検知結果を補間しない。例えば、制御部５０は、図７の例のように、今回の対象作業の検知時に「取る」行程が検知された場合（Ｓ１３ＡでＹＥＳ）、または「置く」行程が検知されない場合（Ｓ１３でＮＯ）、期間Ｔ２における作業の検知結果を補間しない。
　このように、対象作業を開始する「取る」行程までの対象作業が検知されない期間Ｔ２では、対象作業が実施されていないと推定できることから、期間Ｔ２における検知結果を補間しない。これにより、対象作業が実施されていない期間の検知結果を誤って補間することなく、精度良く補正された作業タイムライン７が得られる。
　本実施形態において、制御部５０は、未検知期間の後の行程が第２行程である場合と、未検知期間の後の行程が第３行程である場合との少なくとも一方の場合において、未検知期間における対象作業の検知結果を補間する。例えば、制御部５０は、図３の例のように今回の対象作業の検知時に「置く」行程が検知された場合（Ｓ１３でＹＥＳ）及び「取る」行程が検知されない場合（Ｓ１３ＡでＮＯ）の少なくとも一方において、未検知期間Ｔ１における対象作業の検知結果を補間する（Ｓ１４）。これにより、対象作業を継続または終了する行程までの未検知期間Ｔ１では、対象作業が行われていたと推定できることから、対象作業の検知結果を補間することができる。
　本実施形態において、対象作業は、物体の一例として荷物を移動させる運搬作業である。運搬作業は、第１行程として荷物を取る行程（物体の移動を開始する行程の一例）と、第２行程として荷物を運ぶ行程（物体の移動を継続する行程の一例）と、第３行程として荷物を置く行程（物体の移動を終了する行程の一例）とを含む。なお、運搬作業における物体は荷物に限らず、例えば部品などの各種物品であってもよい。対象作業は、運搬作業に限らず、部品を取り付ける組立作業であってもよい。組立作業は、第１行程として部品を取る行程（物体の取り付けを開始する行程の一例）と、第２行程として部品を運ぶ行程（物体の取り付けを継続する行程の一例）と、第３行程として部品を付ける行程（物体の取り付けを終了する行程の一例）とを含む。
　本実施形態において、制御部５０は、画像データに基づいて、対象作業の検知時に作業者Ｗにより行われた行程を識別して（Ｓ１１）、行程の識別結果に基づき、補正前の作業タイムライン７０のような作業検知情報を補正する（Ｓ１２～Ｓ１６）。例えば、対象作業の各行程として運搬作業の各行程を識別するように機械学習を用いた作業検知モデル５１の検知結果に基づいて、精度良く作業検知処理（Ｓ３）を行うことができる。
　本実施形態における作業分析方法は、作業者Ｗが行う作業に関する情報を生成する方法である。本方法は、コンピュータの制御部５０が、作業を行う作業者Ｗが撮像された画像を示す画像データを取得するステップ（Ｓ１）と、画像データに基づいて、作業者Ｗが行った作業の一例として対象作業を順次、検知して、対象作業の検知結果を示す作業検知情報の一例として作業タイムライン７を生成するステップ（Ｓ２～Ｓ５）とを含む。コンピュータの制御部５０は、対象作業が検知されなかった未検知期間の後に対象作業が検知された際の行程に応じて、未検知期間Ｔ１における対象作業の検知結果を補間するように、補正前の作業タイムライン７０のような作業検知情報を補正する（Ｓ３）。
　本実施形態において、以上のような作業分析方法をコンピュータの制御部に実行させるためのプログラムが提供される。本実施形態の作業分析方法によると、作業者Ｗによって行われる特定の作業の一例として、運搬作業といった対象作業の検知を精度良くすることができる。
（実施形態２）
　実施形態１では、作業検知モデル５１により運搬作業の各行程を識別する機械学習により、補間の処理を実現する作業分析装置５を説明したが、こうした機械学習は必須ではない。実施形態２では、運搬作業における特定の行程に対応した作業者Ｗの移動方向を用いることで、補間の処理を実現する作業分析装置５を説明する。
　以下、実施形態１に係る作業分析装置５と同様の構成、動作の説明は適宜、省略して、本実施形態に係る作業分析装置５を説明する。
　本実施形態の作業分析装置５の動作について、図９及び図１０を用いて説明する。図９は、本実施形態の作業分析装置５における作業検知処理を説明するための図である。図１０は、本実施形態の作業検知処理を例示するフローチャートである。
　図９（Ａ）は、図３（Ｂ）と同様に搬送ライン６１から搬出口６２へ荷物を運ぶ作業者Ｗが撮像された撮像画像Ｉｍを示す。図９（Ｂ）は、図７（Ｂ）と同様に搬出口６２から搬送ライン６１へ振り向く作業者Ｗが撮像された撮像画像Ｉｍを示す。
　図９（Ａ），（Ｂ）に例示するように、作業者Ｗが荷物を運ぶ運搬作業の最中である場合とそうでない場合とでは、互いに異なる方向に作業者Ｗが移動することが想定される。そこで、本実施形態の作業分析装置５では、例えば撮像画像Ｉｍ上で、作業場６において作業者Ｗが荷物を運ぶ行程に対応する所定方向が予め設定される。本実施形態では、所定方向として搬送ライン６１から搬出口６２へ向かう方向が設定される。
　図１０のフローチャートにおいて、制御部５０は、実施形態１の作業検知処理（Ｓ３）における作業検知モデル５１により識別された行程の判断（Ｓ１３）に代えて、作業者Ｗの移動方向が所定方向であるか否かを判断する（Ｓ１３Ｂ）。制御部５０は、例えば画像データに基づく運搬作業の検知を行い（Ｓ１１）、取得した検知結果における検知領域の位置に基づいて、作業者Ｗの移動方向を判断する。
　例えば、制御部５０は、対象作業が検知された場合（Ｓ１２でＹＥＳ）、前回の検知領域の位置と、今回の検知領域の位置とを比較して、作業者Ｗの移動方向が所定方向であるか否かを判断する（Ｓ１３Ｂ）。
　図９（Ａ）の例においては、作業者Ｗが所定方向に移動しており、作業者Ｗが荷物を運ぶ行程を行っていると推定できる。制御部５０は、作業者Ｗの移動方向が所定方向であると判断した場合（Ｓ１３ＢでＹＥＳ）、今回の対象作業の時刻から直前の対象作業の時刻までの検知結果を、対象作業で補間する（Ｓ１４）。
　一方で、図９（Ｂ）の例では、作業者Ｗが所定方向とは異なる方向に移動しており、荷物を運ぶ行程ではないと推定できる。制御部５０は、作業者Ｗの移動方向が所定方向ではないと判断した場合（Ｓ１３ＢでＮＯ）、検知結果を補間せず、ステップＳ１５に進む。
　以上のように、本実施形態において、制御部５０は、画像データに基づいて、作業の一例として対象作業の検知時（Ｓ１２でＹＥＳ）に作業者Ｗが移動した方向が所定方向であるか否かを判断して（Ｓ１３Ｂ）、方向の判断結果に基づき、補正前の作業タイムライン７０のような作業検知情報を補正する（Ｓ１４～Ｓ１６）。所定方向は、画像データが示す画像の一例として撮像画像Ｉｍ上で、第２行程の一例として荷物を運ぶ行程に対応して設定される。
　また、本実施形態において、制御部５０は、作業者Ｗの移動方向が所定方向であると判断した場合（Ｓ１３ＢでＹＥＳ）、未検知期間Ｔ１における対象作業の検知結果を補間する（Ｓ１４）。制御部５０は、作業者Ｗの移動方向が所定方向でないと判断した場合（Ｓ１３ＢでＮＯ）、期間Ｔ２のような未検知期間における対象作業の検知結果を補間しない。
　このように、運搬作業のような規則的な動きの作業が行われる作業場６では、作業者Ｗの移動方向といったルールに基づいて、作業者Ｗが荷物を運ぶ等の対象作業を行っていたか否かを推定することができる。これにより、本実施形態では、作業検知モデル５１により運搬作業を検知できればよく、運搬作業の各行程の識別を省略できる。こうした本実施形態の作業分析装置５によっても、未検知期間Ｔ１の検知結果を補間して、適切に補正された作業タイムライン７を得られる（Ｓ５）。
　なお、上記の説明では、作業検知モデル５１による検知領域の位置に基づいて、作業者Ｗの移動方向を判断する例を説明したが、作業分析装置５は、作業検知モデル５１の他に撮像画像Ｉｍにおいて作業者Ｗ等の人物の位置を認識する画像認識モデルを用いてもよい。この場合、制御部５０は、ステップＳ１１において、作業検知モデル５１及び画像認識モデルの検知結果を取得し、ステップＳ１３Ｂでは、前回と今回に認識された作業者Ｗの位置を比較して、作業者Ｗの移動方向を判断してもよい。或いは、作業検知モデル５１が、対象作業を実施していない作業者Ｗの検知領域も、対象作業の実施中の検知領域とは別のカテゴリとして出力するように機械学習されてもよい。
（実施形態３）
　実施形態２では、作業検知処理において、対象作業における特定の行程に対応した作業者Ｗの移動方向を用いて補間の処理を実現する作業分析装置５を説明した。実施形態３では、作業場６において作業者Ｗが特定の行程に対応して位置する領域を用いて、補間の処理を実現する作業分析装置５を説明する。
　以下、実施形態１、２に係る作業分析装置５と同様の構成、動作の説明は適宜、省略して、本実施形態に係る作業分析装置５を説明する。
　本実施形態の作業分析装置５の動作について、図１１及び図１２を用いて説明する。図１１は、本実施形態の作業分析装置５における作業検知処理を説明するための図である。図１２は、本実施形態の作業検知処理を例示するフローチャートである。
　図１１は、搬出口６２から振り向いて、搬送ライン６１において荷物を取る作業者Ｗが撮像された撮像画像Ｉｍを示す。図１１は、本実施形態の作業分析装置５において、撮像画像Ｉｍ上の領域として予め設定される第１除外領域８１を例示する。第１除外領域８１は、例えば、作業場６において作業者Ｗが運搬作業を行う際に、搬送ライン６１から新たに荷物を取る位置、すなわち運搬作業を開始する位置に応じた領域として設定される。第１除外領域８１は、本実施形態における所定領域の一例である。
　図１１に示すように、運搬作業を検知した検知領域Ｒ１が第１除外領域８１に含まれる場合、作業者Ｗは荷物を取る行程、すなわち運搬作業を新たに開始する行程を行うと推定できる。この場合、運搬作業の検知前の期間において、作業者Ｗは荷物を持っていないことが想定される。本実施形態の作業分析装置５によれば、第１除外領域８１内で運搬作業が検知された場合、直前に対象作業が検知されない期間においては運搬作業が行われていないと考えられることから、検知結果を補間しない。一方、第１除外領域８１とは異なる領域で運搬作業が検知された場合、作業者Ｗは運搬作業を継続または終了する行程を行うと推定できることから、直前の未検知期間Ｔ１の検知結果を補間する。
　図１２のフローチャートにおいて、制御部５０は、実施形態２の作業検知処理における作業者Ｗの移動方向の判断（Ｓ１３Ｂ）に代えて、今回の検知領域が第１除外領域８１内かを判断する（Ｓ１３Ｃ）。
　制御部５０は、対象作業が検知された場合（Ｓ１２でＹＥＳ）、作業の検知結果（Ｓ１１）における検知領域の位置に基づいて、今回の検知領域が第１除外領域８１に含まれるか、すなわち第１除外領域８１内にあるか否かを判断する（Ｓ１３Ｃ）。制御部５０は、例えば撮像画像Ｉｍにおいて検知領域のうち第１除外領域８１と重畳する割合が、所定の割合以上である場合に、検知領域が第１除外領域８１に含まれると判断する。所定の割合は、例えば作業者Ｗの体の一部が第１除外領域８１に入るとみなせる程度に大きい割合として、予め設定される（例えば８０％）。
　また、検知領域の中心が第１除外領域８１に入るか否かに応じて、或いは撮像画像Ｉｍ上の位置を示す座標を作業場６の地図上の座標に変換し、検知領域及び第１除外領域８１に対応する地図上の領域の位置関係に応じて、ステップＳ１３Ｃの判断を行ってもよい。
　今回の検知領域が第１除外領域８１内である場合（Ｓ１３ＣでＹＥＳ）、制御部５０は、直前の対象作業の時刻までの検知結果を補間（Ｓ１４）せず、ステップＳ１５に進む。図１１の例では、制御部５０は、検知領域Ｒ１が第１除外領域８１に含まれる（Ｓ１３ＣでＹＥＳ）と判断して、補間の処理（Ｓ１４）を実行しない。
　一方、今回の検知領域が第１除外領域８１内ではない場合（Ｓ１３ＣでＮＯ）、制御部５０は、補間の処理（Ｓ１４）を行う。
　以上のように、本実施形態において、制御部５０は、画像データに基づいて、対象作業（作業の一例）の検知時に作業者Ｗが位置した検知位置の一例として画像上の位置で規定される検知領域Ｒ１が、少なくとも１つの所定領域の一例として第１除外領域８１に含まれるか否かを判断して（Ｓ１３Ｃ）、検知位置の判断結果に基づき作業タイムライン７（作業検知情報の一例）を補正する。少なくとも１つの所定領域は、画像データが示す画像の一例として撮像画像Ｉｍ上で、第１及び第３行程のうちの少なくとも一方に対応して設定される。例えば第１除外領域８１は、第１行程の一例として荷物を取る行程に対応して設定される。これにより、作業検知モデル５１による運搬作業の各行程の識別結果を特に用いることなく、検知位置に基づいて作業タイムライン７の補正を実現することができる。
　また、本実施形態において、制御部５０は、画像データに基づいて、検知位置の一例として検知領域Ｒ１を認識し（Ｓ１１）、未検知期間の後に認識された検知位置が、画像データが示す画像の一例として撮像画像Ｉｍにおいて荷物を取る行程（第１行程の一例）に対応する第１除外領域８１（所定領域の一例）に含まれるか否かを判断する（Ｓ１３Ｃ）。制御部５０は、未検知期間の後の検知位置が第１除外領域８１に含まれない場合（Ｓ１３ＣでＮＯ）、未検知期間Ｔ１における対象作業の検知結果を補間し（Ｓ１４）、未検知期間の後の検知位置が第１除外領域８１に含まれる場合（Ｓ１３ＣでＹＥＳ）、期間Ｔ２のような未検知期間における対象作業の検知結果を補間しない。このように、例えば検知位置が第１除外領域８１に含まれる場合、未検知期間の後の行程が荷物を取る行程、すなわち作業を開始する行程に対応すると推定できることから、期間Ｔ２の検知結果を誤って補間せずに精度良く補正した作業タイムライン７が得られる。
（実施形態４）
　実施形態３では、作業検知処理において運搬作業を開始する行程に対応した領域を補間の処理のために用いる作業分析装置５を説明した。実施形態４では、開始の行程に加えて、運搬作業を終了する行程に対応した領域を用いる作業分析装置５を説明する。
　以下、実施形態１～３に係る作業分析装置５と同様の構成、動作の説明は適宜、省略して、本実施形態に係る作業分析装置５を説明する。
　本実施形態の作業分析装置５の動作について、図１３及び図１４を用いて説明する。図１３は、本実施形態の作業分析装置５における作業検知処理を説明するための図である。図１４は、本実施形態の作業検知処理を例示するフローチャートである。図１３（Ａ）は図７（Ａ）と同様に、搬出口６２に荷物を置く作業者Ｗの撮像画像Ｉｍを示す。図１３（Ｂ）は、図１３（Ａ）の場面から荷物を置いた後、搬送ライン６１から荷物を取る作業者Ｗの撮像画像Ｉｍを示す。
　図１３（Ａ），（Ｂ）では、本実施形態の作業分析装置５において、実施形態３の作業分析装置５と同様に設定される第１除外領域８１に加えて、撮像画像Ｉｍ上の領域として予め設定される第２除外領域８２を例示する。第２除外領域８２は、例えば、作業場６において作業者Ｗが運搬作業を行う際に、搬送ライン６１から取って運んだ荷物を、搬出口６２に置く位置、すなわち運搬作業を終了する位置に応じた領域として設定される。第１除外領域８１及び第２除外領域８２は、本実施形態における所定領域の一例であり、それぞれ本実施形態における開始領域及び終了領域の一例である。
　図１３（Ａ）に示すように、運搬作業を検知した検知領域Ｒ２が、第２除外領域８２に含まれる場合、作業者Ｗは荷物を置く行程、すなわち１回の運搬作業を終了する行程を行うと推定される。その後、図１３（Ｂ）に示すように、検知領域Ｒ１が第１除外領域８１に含まれる場合、作業者Ｗは次の荷物を取る行程、すなわち次の運搬作業を開始する行程を行うと推定できる。この場合、図１３（Ａ）から図１３（Ｂ）の場面に移行する期間において、作業者Ｗは荷物を持たずに搬出口６２から搬送ライン６１へ振り向く動作、すなわち対象作業ではない動作を行ったと考えられる。
　このように、運搬作業が、当該作業の終了に応じた第２除外領域８２内で検知された後に、開始に応じた第１除外領域８１内で検知された場合、途中に対象作業が検知されない期間において運搬作業が行われていないと考えられる。この場合、本実施形態の作業分析装置５は、検知結果を補間しない。
　一方で、上記のように運搬作業の終了から開始に移行すると推定される場合以外では、運搬作業が検知された直前の未検知期間Ｔ１において作業者Ｗが運搬作業の何れかの行程を行っていたと推定される。この場合、作業分析装置５は、未検知期間Ｔ１の検知結果を補間する。
　図１４のフローチャートにおいて、制御部５０は、実施形態３の作業検知処理における今回の検知領域が第１除外領域８１内かの判断（Ｓ１３Ｃ）に代えて、当該検知領域が第１除外領域８１内かつ直前の対象作業の検知領域が第２除外領域８２内かを判断する（Ｓ１３Ｄ）。
　本実施形態において、制御部５０は、対象作業が検知された場合（Ｓ１２でＹＥＳ）、今回の検知領域が第１除外領域８１内かつ直前の対象作業の検知領域が第２除外領域８２内であるか否かを判断する（Ｓ１３Ｄ）。制御部５０は、例えばステップＳ１５で記憶された直前の対象作業の時刻、及びステップＳ１６で記憶された過去の検知結果を参照して、直前の対象作業の検知領域を特定する。制御部５０は、例えば実施形態３の作業検知処理におけるステップＳ１３Ｃと同様の基準によって、今回及び直前の各検知領域が、それぞれ第１除外領域８１及び第２除外領域８２内であるか否かを判断する。
　例えば、図１３（Ｂ）の撮像画像Ｉｍにおいて作業検知処理が実行されるとき、制御部５０は、今回の検知領域Ｒ１が第１除外領域８１内で、かつ図１３（Ａ）に例示する直前の対象作業の検知領域Ｒ２が第２除外領域８２内であるか否かを判断する（Ｓ１３Ｄ）。図１３（Ａ），（Ｂ）の例では検知領域Ｒ１が第１除外領域８１内かつ検知領域Ｒ２が第２除外領域８２内であり（Ｓ１３ＤでＹＥＳ）、制御部５０は、補間の処理（Ｓ１４）を行わずにステップＳ１５に進む。
　一方、今回の検知領域が第１除外領域８１に含まれない場合と、直前の対象作業の検知領域が第２除外領域８２に含まれない場合との少なくとも一方の場合（Ｓ１３ＤでＮＯ）、制御部５０は、補間の処理（Ｓ１４）を行う。
　以上のように、本実施形態において、少なくとも１つの所定領域は、第１行程に対応する開始領域の一例として、荷物を取る行程に対応する第１除外領域８１と、第３行程に対応する終了領域の一例として、荷物を置く行程に対応する第２除外領域８２とを含む。制御部５０は、未検知期間の前の検知位置の一例として直前の検知領域が第２除外領域８２に含まれない場合と、未検知期間の後の検知位置の一例として今回の検知領域が第１除外領域８１に含まれない場合との少なくとも一方であると判断すると（Ｓ１３ＤでＮＯ）、未検知期間Ｔ１における対象作業（作業の一例）の検知結果を補間する（Ｓ１４）。制御部５０は、未検知期間の前の検知位置の一例として検知領域Ｒ２が第２除外領域８２に含まれて、且つ未検知期間の後の検知位置の一例として検知領域Ｒ１が第１除外領域８１に含まれると判断すると（Ｓ１３ＤでＹＥＳ）、期間Ｔ２のような未検知期間における対象作業の検知結果を補間しない。
　これにより、作業検知処理において今回及び直前の検知位置に基づき未検知期間の前後の行程を推定することができる。これにより、作業検知モデル５１による対象作業の各行程の識別結果を特に用いることなく、補間の処理（Ｓ１４）を行うか否かを精度良く判断することができる。本実施形態において、制御部５０は、未検知期間の前に認識された検知位置の一例として直前の対象作業の検知領域が、画像データが示す画像の一例として撮像画像Ｉｍにおいて第２除外領域８２（終了領域の一例）に含まれて、且つ未検知期間の後に認識された検知位置の一例として今回の検知領域が、第１除外領域８１（開始領域の一例）に含まれるか否かを判断する（Ｓ１３Ｄ）。
（他の実施形態）
　以上のように、本出願において開示する技術の例示として、実施形態１～４を説明した。しかしながら、本開示における技術は、これに限定されず、適宜、変更、置換、付加、省略などを行った実施の形態にも適用可能である。また、上記各実施形態で説明した各構成要素を組み合わせて、新たな実施の形態とすることも可能である。そこで、以下、他の実施形態を例示する。
　上記の実施形態１では、作業検知処理（Ｓ３）において、未検知期間の後の行程を判断することで（Ｓ１３，Ｓ１３Ａ）、補間の処理を実現する作業分析装置５を説明した。本実施形態の作業分析装置５は、さらに未検知期間の前の行程に応じて、補間の処理を実現してもよい。例えば、作業分析装置５の制御部５０は、ステップＳ１５において対象作業の時刻と共に行程の情報を保持しておけば、未検知期間が生じても、その後に対象作業が検知されたときに、前回の対象作業の検知時の情報を参照して上記の処理を行える。こうした変形例について、図１５，１６を用いて説明する。
　図１５は、本変形例における作業検知処理のフローチャートを例示する。本変形例では、制御部５０は、図８と同様の処理に加えて、対象作業が検知されたとき（Ｓ１２でＹＥＳ）、直前に検知された対象作業の行程が「置く」であるかを判断する（Ｓ２１）。制御部５０は、例えば直前の作業検知処理におけるステップＳ１５で保持された行程の情報を参照することで、ステップＳ２１の処理を行う。本変形例において、制御部５０は、直前の行程が「置く」であり（Ｓ２１でＹＥＳ）且つ今の行程が「取る」である場合（Ｓ１３ＡでＹＥＳ）、期間Ｔ２のような未検知期間を補間しない。制御部５０は、直前の行程が「置く」ではない場合（Ｓ２１でＮＯ）と、今の行程が「取る」ではない場合（Ｓ１３ＡでＮＯ）との少なくとも一方において、未検知期間Ｔ１を補間する（Ｓ１４）。
　上記の変形例では、前回の対象作業の検知時、すなわち未検知期間の前の行程に加えて、未検知期間が生じた後の行程に応じて補間の処理を行う例を説明した。本変形例の作業分析装置５は、未検知期間の後の行程を特に判断することなく、未検知期間の前の行程に応じて補間の処理を実現してもよい。図１６は、本変形例における作業検知処理のフローチャートを例示する。本変形例において、制御部５０は、図１５のステップＳ２１と同様の判断により、直前の行程が「置く」である場合（Ｓ２１でＹＥＳ）、期間Ｔ２のような未検知期間の検知結果を補間しない。制御部５０は、直前の行程が「置く」ではない場合（Ｓ２１でＮＯ）、すなわち直前の行程が「取る」又は「運ぶ」である場合、未検知期間Ｔ１を補間する。
　以上のように、本実施形態において、作業分析装置５は、上記各実施形態と同様の構成を備え、制御部５０は、対象作業が検知されなかった未検知期間の前後に対象作業が検知された際の行程に応じて、未検知期間Ｔ１における対象作業の検知結果を補間するように、補正前の作業タイムライン７０のような作業検知情報を補正してもよい。これによっても、作業者Ｗによって行われる特定の作業の一例として、対象作業の検知を精度良くすることができる。
　又、本実施形態において制御部５０は、未検知期間の前の行程が第３行程であり且つ未検知期間の後の行程が第１行程である場合、期間Ｔ２のような未検知期間における検知結果を補間しないようにしてもよい。また、制御部５０は、未検知期間の前の行程が第１又は第２行程である場合と、未検知期間の後の行程が第２又は第３行程である場合との少なくとも一方の場合において、未検知期間Ｔ１における作業の検知結果を補間してもよい。また、制御部５０は、未検知期間の前の行程が第３行程である場合、未検知期間を補間せず、未検知期間の前の行程が第１又は第２行程である場合、未検知期間を補間するようにしてもよい。
　上記の各実施形態では、作業検知処理において、対象作業が検知された時刻の行程（Ｓ１３）等に応じて補間の処理（Ｓ１４）を行った。本実施形態の作業分析装置５は、例えばステップＳ１３において、当該時刻の行程に加えて当該時刻から直前の対象作業の時刻までの期間に応じて、補間の処理（Ｓ１４）を実行してもよい。例えば、当該期間が所定の閾値よりも短い場合に、補間が行われてもよい。所定の閾値は、例えば作業者Ｗが荷物を運ぶ行程に要する期間とみなせる程度に短い期間として、予め設定される。
　上記の各実施形態では、作業分析システム１の対象作業が１種類の運搬作業である例を説明した。本実施形態の作業分析システム１は、複数の作業を対象作業として適用されてもよい。例えば、別種の物体を運搬する複数の種類の運搬作業をそれぞれ検知する際に、各運搬作業の検知結果において、上記の各実施形態と同様に補間の処理を行ってもよい。
　上記の各実施形態では、作業分析システム１の対象作業が運搬作業である例を説明した。本実施形態において、作業分析システム１の対象作業は運搬作業に限らず、複数の行程を含む作業であればよい。
　また、上記の各実施形態では、作業分析システム１が物流倉庫のような作業場６に適用される例を説明した。本実施形態おいて、作業分析システム１及び作業分析装置５が適用される作業場すなわち現場は特に上述した作業場６に限らず、例えば工場または店舗の売り場など種々の現場であってもよい。また、作業分析システム１における分析対象の運搬作業は、上述した例に限らず、各種現場に応じた種々の行程を含んでもよい。また、作業分析システム１による分析対象の作業者は、作業者Ｗといった人物に限らず、各種作業を実行可能な移動体であればよい。例えば移動体はロボットでもよく、有人または無人の各種車両であってもよい。
　以上のように、本開示における技術の例示として、実施の形態を説明した。そのために、添付図面および詳細な説明を提供した。
　したがって、添付図面および詳細な説明に記載された構成要素の中には、課題解決のために必須な構成要素だけでなく、上記技術を例示するために、課題解決のためには必須でない構成要素も含まれ得る。そのため、それらの必須ではない構成要素が添付図面や詳細な説明に記載されていることをもって、直ちに、それらの必須ではない構成要素が必須であるとの認定をするべきではない。
　本開示は、物流現場または工場など種々の環境において作業者の作業を分析するデータ分析の用途に適用可能である。

Claims (10)

  1. 　作業者が行う作業に関する情報を生成する作業分析装置であって、
    　前記作業を行う前記作業者が撮像された画像を示す画像データを取得する取得部と、
    　前記画像データに基づいて、前記作業者が行った作業を順次、検知して、前記作業の検知結果を示す作業検知情報を生成する制御部と
    を備え、
    　前記作業は、前記作業者によって行われる複数の行程を含み、
    　前記制御部は、前記作業が検知されなかった未検知期間の前後に前記作業が検知された際の行程に応じて、前記未検知期間における前記作業の検知結果を補間するように、前記作業検知情報を補正する
    作業分析装置。
  2. 　前記複数の行程は、前記作業を開始する第１行程と、前記作業を継続する第２行程と、前記作業を終了する第３行程とを含み、
    　前記制御部は、前記未検知期間の後の行程が前記第２行程である場合と、前記未検知期間の後の行程が前記第３行程である場合との少なくとも一方において、前記未検知期間における前記作業の検知結果を補間する
    請求項１に記載の作業分析装置。
  3. 　前記制御部は、前記未検知期間の後の行程が前記第１行程である場合、前記未検知期間における前記作業の検知結果を補間しない
    請求項２に記載の作業分析装置。
  4. 　前記作業は、物体を移動させる運搬作業であり、
    　前記運搬作業は、前記第１行程として前記物体の移動を開始する行程と、前記第２行程として前記物体の移動を継続する行程と、前記第３行程として前記物体の移動を終了する行程とを含む
    請求項２又は３に記載の作業分析装置。
  5. 　前記制御部は、前記画像データに基づいて、前記作業の検知時に前記作業者により行われた行程を識別して、前記行程の識別結果に基づき前記作業検知情報を補正する
    請求項１から４のいずれか１項に記載の作業分析装置。
  6. 　前記制御部は、前記画像データに基づいて、前記作業の検知時に前記作業者が移動した方向が所定方向であるか否かを判断して、前記方向の判断結果に基づき前記作業検知情報を補正し、
    　前記所定方向は、前記画像データが示す画像上で、前記第２行程に対応して設定される
    請求項２から４のいずれか１項に記載の作業分析装置。
  7. 　前記制御部は、前記画像データに基づいて、前記作業の検知時に前記作業者が位置した検知位置が、少なくとも１つの所定領域に含まれるか否かを判断して、前記検知位置の判断結果に基づき前記作業検知情報を補正し、
    　前記少なくとも１つの所定領域は、前記画像データが示す画像上で、前記第１及び第３行程のうちの少なくとも一方に対応して設定される
    請求項２から４のいずれか１項に記載の作業分析装置。
  8. 　前記少なくとも１つの所定領域は、前記第１行程に対応する開始領域と、前記第３行程に対応する終了領域とを含み、
    　前記制御部は、
    　前記未検知期間の前の前記検知位置が前記終了領域に含まれない場合と、前記未検知期間の後の前記検知位置が前記開始領域に含まれない場合との少なくとも一方であると判断すると、前記未検知期間における前記作業の検知結果を補間し、
    　前記未検知期間の前の前記検知位置が前記終了領域に含まれて、且つ前記未検知期間の後の前記検知位置が前記開始領域に含まれると判断すると、前記未検知期間における前記作業の検知結果を補間しない
    請求項７に記載の作業分析装置。
  9. 　作業者が行う作業に関する情報を生成する作業分析方法であって、
    　コンピュータの制御部が、
    　前記作業者が撮像された画像を示す画像データを取得するステップと、
    　前記画像データに基づいて、前記作業者が行った作業を順次、検知して、前記作業の検知結果を示す作業検知情報を生成するステップと
    を含み、
    　前記作業は、前記作業者によって行われる複数の行程を含み、
    　前記コンピュータの制御部が、
    　前記作業が検知されなかった未検知期間の前後に前記作業が検知された際の行程に応じて、前記未検知期間における前記作業の検知結果を補間するように、前記作業検知情報を補正する
    作業分析方法。
  10. 　請求項９に記載の作業分析方法をコンピュータの制御部に実行させるためのプログラム。
PCT/JP2022/013283 2021-06-28 2022-03-22 作業分析装置及び方法 WO2023276332A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN202280045627.1A CN117581271A (zh) 2021-06-28 2022-03-22 作业分析装置以及方法
JP2023531430A JPWO2023276332A1 (ja) 2021-06-28 2022-03-22
EP22832495.0A EP4365835A1 (en) 2021-06-28 2022-03-22 Work analysis device and method
US18/536,634 US20240112499A1 (en) 2021-06-28 2023-12-12 Image analysis device and method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021-106645 2021-06-28
JP2021106645 2021-06-28

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US18/536,634 Continuation US20240112499A1 (en) 2021-06-28 2023-12-12 Image analysis device and method

Publications (1)

Publication Number Publication Date
WO2023276332A1 true WO2023276332A1 (ja) 2023-01-05

Family

ID=84692613

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/013283 WO2023276332A1 (ja) 2021-06-28 2022-03-22 作業分析装置及び方法

Country Status (5)

Country Link
US (1) US20240112499A1 (ja)
EP (1) EP4365835A1 (ja)
JP (1) JPWO2023276332A1 (ja)
CN (1) CN117581271A (ja)
WO (1) WO2023276332A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009032033A (ja) 2007-07-27 2009-02-12 Omron Corp 動作境界検出方法および作業分析システム
JP2019193019A (ja) * 2018-04-20 2019-10-31 キヤノン株式会社 作業分析装置、作業分析方法
JP2021077177A (ja) * 2019-11-11 2021-05-20 株式会社リコー 動作認識装置、動作認識方法及び動作認識プログラム
JP2021082137A (ja) * 2019-11-21 2021-05-27 キヤノン株式会社 行動認識装置及びその制御方法及びプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009032033A (ja) 2007-07-27 2009-02-12 Omron Corp 動作境界検出方法および作業分析システム
JP2019193019A (ja) * 2018-04-20 2019-10-31 キヤノン株式会社 作業分析装置、作業分析方法
JP2021077177A (ja) * 2019-11-11 2021-05-20 株式会社リコー 動作認識装置、動作認識方法及び動作認識プログラム
JP2021082137A (ja) * 2019-11-21 2021-05-27 キヤノン株式会社 行動認識装置及びその制御方法及びプログラム

Also Published As

Publication number Publication date
EP4365835A1 (en) 2024-05-08
CN117581271A (zh) 2024-02-20
JPWO2023276332A1 (ja) 2023-01-05
US20240112499A1 (en) 2024-04-04

Similar Documents

Publication Publication Date Title
WO2019090268A1 (en) Contextual training systems and methods
US10334965B2 (en) Monitoring device, monitoring system, and monitoring method
US11908293B2 (en) Information processing system, method and computer readable medium for determining whether moving bodies appearing in first and second videos are the same or not using histogram
CN108629284A (zh) 基于嵌入式视觉系统的实时人脸跟踪和人脸姿态选择的方法及装置
JP2011170684A (ja) 対象物追跡装置、対象物追跡方法、および対象物追跡プログラム
US20110246122A1 (en) Motion determination apparatus, method and computer readable medium
WO2014050432A1 (ja) 情報処理システム、情報処理方法及びプログラム
US20120020521A1 (en) Object position estimation apparatus, object position estimation method, and object position estimation program
Urgo et al. A human modelling and monitoring approach to support the execution of manufacturing operations
US11176700B2 (en) Systems and methods for a real-time intelligent inspection assistant
Knoch et al. Technology-enhanced process elicitation of worker activities in manufacturing
WO2023276332A1 (ja) 作業分析装置及び方法
KR20200068709A (ko) 인체 식별 방법, 장치 및 저장 매체
JP7428769B2 (ja) 柔軟で適応的なロボット学習のための人間ロボット協働
JP2019159885A (ja) 動作分析装置、動作分析方法、動作分析プログラム及び動作分析システム
US20220198802A1 (en) Computer-implemental process monitoring method, device, system and recording medium
Arita et al. Maneuvering assistance of teleoperation robot based on identification of gaze movement
WO2022209082A1 (ja) 作業分析装置
CN114596239A (zh) 装卸货事件检测方法、装置、计算机设备和存储介质
US10712725B2 (en) Non-transitory computer-readable storage medium, robot transfer time estimation method, and robot transfer time estimation device
EP4354388A1 (en) Task analysis device and method
CN112567401B (zh) 动作分析装置、动作分析方法及其程序的记录媒体
WO2022202178A1 (ja) 機械学習用の学習データ生成装置、学習データ生成システム及び学習データ生成方法
Ravichandar et al. Gyro-aided image-based tracking using mutual information optimization and user inputs
US20220230333A1 (en) Information processing system, information processing method, and program

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22832495

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2023531430

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 202280045627.1

Country of ref document: CN

WWE Wipo information: entry into national phase

Ref document number: 2022832495

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2022832495

Country of ref document: EP

Effective date: 20240129