WO2023017647A1 - 行動分析装置、行動分析方法、行動分析プログラム、撮影装置および行動分析システム - Google Patents

行動分析装置、行動分析方法、行動分析プログラム、撮影装置および行動分析システム Download PDF

Info

Publication number
WO2023017647A1
WO2023017647A1 PCT/JP2022/013286 JP2022013286W WO2023017647A1 WO 2023017647 A1 WO2023017647 A1 WO 2023017647A1 JP 2022013286 W JP2022013286 W JP 2022013286W WO 2023017647 A1 WO2023017647 A1 WO 2023017647A1
Authority
WO
WIPO (PCT)
Prior art keywords
behavior
behavior data
analysis device
data
behavior analysis
Prior art date
Application number
PCT/JP2022/013286
Other languages
English (en)
French (fr)
Inventor
龍 成澤
玄太 松川
賢作 緒方
健 小谷
Original Assignee
ソニーセミコンダクタソリューションズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーセミコンダクタソリューションズ株式会社 filed Critical ソニーセミコンダクタソリューションズ株式会社
Priority to JP2023541218A priority Critical patent/JPWO2023017647A1/ja
Publication of WO2023017647A1 publication Critical patent/WO2023017647A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/418—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/04—Manufacturing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16Y—INFORMATION AND COMMUNICATION TECHNOLOGY SPECIALLY ADAPTED FOR THE INTERNET OF THINGS [IoT]
    • G16Y10/00—Economic sectors
    • G16Y10/25—Manufacturing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16Y—INFORMATION AND COMMUNICATION TECHNOLOGY SPECIALLY ADAPTED FOR THE INTERNET OF THINGS [IoT]
    • G16Y20/00—Information sensed or collected by the things
    • G16Y20/20—Information sensed or collected by the things relating to the thing itself
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16Y—INFORMATION AND COMMUNICATION TECHNOLOGY SPECIALLY ADAPTED FOR THE INTERNET OF THINGS [IoT]
    • G16Y20/00—Information sensed or collected by the things
    • G16Y20/40—Information sensed or collected by the things relating to personal data, e.g. biometric data, records or preferences
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16Y—INFORMATION AND COMMUNICATION TECHNOLOGY SPECIALLY ADAPTED FOR THE INTERNET OF THINGS [IoT]
    • G16Y40/00—IoT characterised by the purpose of the information processing
    • G16Y40/20—Analytics; Diagnosis
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16Y—INFORMATION AND COMMUNICATION TECHNOLOGY SPECIALLY ADAPTED FOR THE INTERNET OF THINGS [IoT]
    • G16Y40/00—IoT characterised by the purpose of the information processing
    • G16Y40/30—Control
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Definitions

  • the present disclosure relates to a behavior analysis device, behavior analysis method, behavior analysis program, imaging device, and behavior analysis system that perform behavior analysis using machine learning.
  • Patent Document 1 there is a known method of analyzing the posture of a worker by acquiring skeletal data from features such as the skeletal structure and joint positions of the worker and assigning a posture label to each skeletal data.
  • Patent Document 2 there is known a technique for measuring the degree of progress in each process by recognizing the positions of the worker's wrists and shoulders using a skeletal recognition technique, a sensor, or the like and analyzing the work (for example, Patent Literature 2).
  • this disclosure proposes a behavior analysis device, a behavior analysis method, a behavior analysis program, an imaging device, and a behavior analysis system that can perform appropriate behavior analysis while reducing the load required for learning.
  • a behavior analysis device acquires behavior data representing the behavior of an object during a work process recognized by a model pre-trained to recognize the object. and a determination unit configured to determine, based on the behavior data acquired by the acquisition unit, the time required for the process corresponding to the behavior data.
  • FIG. 1 is a diagram (1) for explaining a user interface according to an embodiment
  • FIG. 2 is a figure (2) for demonstrating the action-analysis process which concerns on embodiment.
  • FIG. 3 is a diagram (3) for explaining the user interface according to the embodiment
  • FIG. 4 is a diagram (4) for explaining the user interface according to the embodiment; It is the figure which compared the conventional process and the action-analysis process which concerns on embodiment.
  • Embodiment 1-1 Overview of Behavior Analysis Processing
  • Embodiment 1-2 Configuration of behavior analysis device according to embodiment 1-3.
  • Configuration of detection device according to embodiment 1-4 Configuration of terminal device according to embodiment 1-5.
  • Procedure of processing according to embodiment 1-6 Modified example according to the embodiment 2.
  • Other embodiments Effects of behavior analysis device, photographing device, and behavior analysis system according to the present disclosure4.
  • Hardware configuration
  • FIG. 1 is a diagram showing an overview of a behavior analysis system 1 according to an embodiment. Specifically, FIG. 1 shows components of a behavior analysis system 1 that executes behavior analysis processing according to the embodiment.
  • the behavior analysis system 1 includes a behavior analysis device 100, an edge 200A, an edge 200B, an edge 200C, and an edge 2004D.
  • the edge 200A, the edge 200B, the edge 200C and the edge 200D have the same configuration, respectively, the detection device 300A, the detection device 300B, the detection device 300C and the detection device 300D, and the terminal device 400A, the terminal device 400B and the terminal device 400C. and a terminal device 400D.
  • edge 200 when there is no need to distinguish between the edge 200A, the detection device 300A, the terminal device 400A, and the like, they are collectively referred to as "edge 200,” “detection device 300,” and "terminal device 400.”
  • the behavior analysis device 100 is an example of an information processing device that executes behavior analysis processing according to the present disclosure.
  • the behavior analysis device 100 is a server or PC (Personal Computer) installed in a factory. Specifically, the behavior analysis device 100 analyzes the behavior of the worker 10 in the factory process.
  • PC Personal Computer
  • the edge 200 is a system installed in a factory for photographing the actions of workers (for example, work processes), and is a terminal device in the action analysis system 1.
  • edge 200A is used to analyze worker 10's behavior.
  • Edge 200B, edge 200C, and edge 200D are used to analyze actions of other workers (not shown).
  • the edge 200 is composed of a detection device 300 and a terminal device 400 .
  • the detection device 300 is a device having a function of photographing the worker 10, such as a digital camera. As will be described later, the detection device 300 includes an image sensor 310 (see FIG. 13) and has a function of recognizing a predetermined object by using a pre-learned model for object recognition.
  • the detection device 300 includes a trained model for recognizing objects that are commonly used in processes at various factories.
  • the objects according to the embodiment are human hands, various tools such as screwdrivers and soldering irons, mice, connectors, bar code readers, and the like.
  • pre-learning process for example, when learning the human hand, object recognition is learned using pre-photographed data that takes into account the different colors of gloves, the size of the hand, the angle of view, etc.
  • object recognition is learned using pre-photographed data that takes into account the different colors of gloves, the size of the hand, the angle of view, etc.
  • the detection device 300 it is possible to generalize the learning process related to machine learning.
  • objects that are commonly used in various factories are subject to pre-learning, thereby reducing the burden associated with machine learning annotations.
  • re-learning suitable for each factory is unnecessary.
  • the weight of inference processing can be reduced, and inference can be made at low cost and at high speed.
  • the terminal device 400 is a device that communicates with or is connected to the detection device 300, and acquires video data captured by the detection device 300 and behavior data indicating the behavior of objects recognized by the detection device 300. In addition, the terminal device 400 communicates with or is connected to the behavior analysis device 100 and transmits video data and behavior data acquired from the detection device 300 to the behavior analysis device 100 .
  • Each device in FIG. 1 conceptually shows the function of the behavior analysis system 1, and can take various aspects depending on the embodiment.
  • the behavior analysis device 100 may be composed of two or more devices having different functions, which will be described later.
  • the number of edges 200 included in the behavior analysis system 1 is not limited to the illustrated number.
  • the behavior analysis system 1 is a system realized by a combination of the behavior analysis device 100 and the edge 200.
  • the behavior analysis system 1 acquires behavior data indicating the behavior of an object during a work process, and determines the required time of the process corresponding to the behavior data based on the acquired behavior data.
  • the behavior analysis device 100 can determine the required time (cycle time) indicating how long it took for one process executed by the worker 10 .
  • the behavior analysis device 100 calculates, for example, the average required time for all workers, and determines whether the worker 10 finished the process faster than other workers. It is possible to analyze the work situation such as
  • the behavior analysis system 1 makes the edge 200 recognize a predetermined object using a pre-learned model, extracts its behavior data, and performs behavior analysis.
  • the object recognition processing is a primary analysis that performs inference processing by lightweight machine learning, and the behavior data is taken out and the behavior analysis is performed according to preset rules. perform analysis and
  • the behavior analysis system 1 can analyze the behavior of the worker 10 without requiring time for annotation or the like and without performing heavy-load machine learning.
  • FIG. 2 is a diagram (1) for explaining behavior analysis processing according to the embodiment.
  • FIG. 2 shows a moving image captured by the edge 200 of the worker 10 proceeding with one process (for example, the process of assembling a part of a product, etc.).
  • the video captured by the edge 200 is transmitted from the edge 200 to the behavior analysis device 100. Via the behavior analysis device 100, the manager can view how the worker 10 proceeds with the work in real time or as a recorded moving image.
  • the behavior analysis device 100 provides a user interface 20 displayed on a display and displays a moving image 25 within the user interface 20 .
  • the moving image 25 includes a tracking indication 22 and a tracking indication 24 indicating that the edge 200 has recognized the object.
  • Tracking display 22 shows that edge 200 recognizes an object, right hand 21 of worker 10 .
  • Tracking display 24 shows edge 200 recognizing an object, left hand 23 of worker 10 .
  • the administrator can watch the work of the worker 10 while operating the operation panel 26 on the user interface 20 .
  • the edge 200 acquires behavior data indicating the behavior of each object while tracking the right hand 21 and the left hand 23 .
  • behavior data is coordinates indicating movement of an object within a photographed screen, which is represented in the form of so-called point cloud data. That is, according to the behavior data acquired by the edge 200, it is possible to recognize behavior such as to which coordinates in the screen the right hand 21 has moved and to which coordinates in the screen the left hand 23 has moved along the time axis. is.
  • the point cloud data may be obtained by tracking an arbitrary point (for example, the center point) of the tracking display 22 or the tracking display 24, or may be obtained by tracking a plurality of points such as four corner points of the tracking display 22 or the tracking display 24. It's okay.
  • the point cloud data is not limited to two-dimensional data, and may be three-dimensional data.
  • the edge 200 has a depth sensor such as a ToF (Time of Flight) sensor, the edge 200 can acquire three-dimensional data of the object.
  • ToF Time of Flight
  • Two videos are displayed side by side on the user interface 30 shown in FIG.
  • a moving image 33 is displayed in which a skilled worker who is skilled in one process is photographed.
  • a moving image 38 of the worker 10 to be compared with the skilled worker is displayed.
  • Each moving image column includes an operation panel 34, a shooting information column 35 indicating which edge 200 was used to shoot, and a date and time information column 27 indicating when the shooting was performed. While visually recognizing these pieces of information, the manager can confirm the actions of the worker 10 when compared with those of the skilled worker.
  • FIG. 4 is a diagram (2) for explaining behavior analysis processing according to the embodiment.
  • FIG. 4 shows a graph display 40 displaying behavior data in which the hand movements of the worker 10 are recorded.
  • the graph display 40 records the movement of the hand performed by the worker 10 until a certain process is completed, and the X-axis and Y-axis movements of the right hand and left hand, respectively.
  • the vertical axis 41 indicates the magnitude of values when the behavior is indicated as coordinates.
  • a horizontal axis 42 indicates time.
  • the first behavior data waveform 43 is a record of hand movements of the worker 10 over time.
  • the first cycle time 44 indicates a group of a series of waveforms from the start to the end of one process. The details of determining the cycle time will be described later.
  • the second behavior data waveform 45 is displayed superimposed on the first behavior data waveform 43 indicating the behavior of the worker 10.
  • a second behavior data waveform 45 indicates behavior data of another worker to be compared with the worker 10, and corresponds to, for example, behavior data of an expert.
  • a second cycle time 46 indicates a cycle time when a skilled worker executes the same process as the process executed by the worker 10 . As shown in FIG. 4 , the second cycle time 46 for the expert is shorter than the first cycle time 44 for the worker 10 .
  • the waveform 47 indicates that both hands of the worker 10 have moved to a position outside the area where the coordinates can be observed (for example, the imaging angle of view of the camera).
  • the behavior analysis device 100 executes a predetermined analysis according to the setting of the administrator or the like.
  • the behavior analysis device 100 determines the similarity between the first behavior data waveform 43 indicating the working situation of the worker 10 and the second behavior data waveform 45 indicating the working situation of the expert. Behavioral analysis is performed by comparison. For example, the behavior analysis device 100 applies similarity analysis called DTW (Dynamic Time Warping). According to such a method, the behavior analysis device 100 can obtain quantitative information on how the work of the worker 10 differs from that of a skilled worker, regardless of the time axis. For example, the behavior analysis device 100 can determine that there is no problem with the work of the worker 10, although it takes longer than the expert. Alternatively, the behavior analysis device 100 detects that there is a difference between the first behavior data waveform 43 and the second behavior data waveform 45, and that the worker 10 may have forgotten one task in the process, It is possible to detect the possibility that an incorrect assembly process has been performed.
  • DTW Dynamic Time Warping
  • FIG. 5 is a diagram (3) for explaining behavior analysis processing according to the embodiment.
  • FIG. 5 shows a graph display 50 displaying the results of a plurality of cycle times when the worker 10 repeats one process for a certain period of time.
  • a result 51 in the graph display 50 indicates the time required for each process when the worker 10 repeats one process.
  • a horizontal axis 52 of the graphical representation 50 indicates the time at which the behavior of the worker 10 was observed.
  • each result 51 is color-coded based on the color-coded display 53 and displayed.
  • the behavior analysis device 100 displays each of the results 51 in different colors based on the similarity between the behavior data of the skilled worker to be compared and the behavior data of the worker 10 .
  • the result 54 indicates a process in which the behavior data of the skilled worker to be compared is similar to the behavior data of the worker 10, and there were no problems.
  • the result 55 indicates a process in which the behavior data of the expert to be compared and the behavior data of the worker 10 are not similar, and there is a problem.
  • result 55 is highlighted in a more prominent way, such as red, compared to result 54 . Thereby, the manager can verify whether or not there was a problem in the behavior of the worker 10 at a certain time.
  • the behavior analysis device 100 may perform processing such as sending an alert to the mobile terminal used by the administrator.
  • behavior analysis device 100 may highlight the result according to the cycle time. For example, behavior analysis device 100 may highlight a process that has a significantly longer cycle time than others. In such a case as well, the behavior analysis device 100 may send an alert to the mobile terminal used by the administrator.
  • FIG. 6 is a diagram (2) for explaining the user interface according to the embodiment.
  • the user interface 60 shown in FIG. 6 displays a list of the moving image column 31, the moving image column 32, the graph display 40, and the graph display 50 shown in FIG.
  • the administrator confirms the graph display 50 and, when finding a result with a problem, selects the result.
  • the behavior analysis device 100 displays the moving image corresponding to the result in the moving image column 31 and the moving image column 32 . Also, the behavior analysis device 100 displays the behavior data corresponding to the result on the graph display 40 .
  • the behavior analysis device 100 receives rules (various setting information) for analysis from an administrator or the like, and determines cycle time or the like according to the rules.
  • FIG. 7 is a diagram (3) for explaining the user interface according to the embodiment.
  • a user interface 70 shown in FIG. 7 includes an image 71 captured by the edge 200 .
  • the image 71 includes area settings 72 .
  • the area setting 72 is an area arbitrarily set by an administrator or the like, and indicates an area within the image 71 in which the worker 10 is assumed to work. For example, when an object is observed in the area setting 72, the behavior analysis device 100 determines that the worker 10 is working. On the other hand, the behavior analysis device 100 determines that one step has been completed when the object being recognized exists in a range beyond the region setting 72 for a predetermined time or longer (for example, several seconds or longer).
  • the behavior analysis device 100 may display a reference region 74, which is the range where objects are frequently located, based on past video history.
  • the reference area 74 indicates that many objects are located at that position in a certain process, and is superimposed on the image 71, for example.
  • the administrator determines the area setting 72 while referring to the reference area 74 .
  • the area setting 72 is indicated by a rectangle in the example of FIG. 7, the area setting 72 may be set in an arbitrary shape instead of a rectangle.
  • the behavior analysis device 100 may set the region setting 72 using three-dimensional information.
  • the setting items 75 include an interval setting 76, a minimum time setting 77, a maximum time setting 78, a flexibility setting 79, and the like.
  • the interval setting 76 is an item for setting the time until it is determined that one process is completed within the range where the object being recognized exceeds the area setting 72 .
  • the minimum time setting 77 is an item that is determined as the minimum time when determining the cycle time of one process. For example, when determining the cycle time, the behavior analysis device 100 avoids determining a cycle time that is shorter than the time input to the minimum time setting 77 .
  • the maximum time setting 78 is an item that is determined as the maximum time when determining the cycle time of one process. For example, when determining the cycle time, the behavior analysis device 100 avoids determining a cycle time that is longer than the time entered in the maximum time setting 78 .
  • Flexibility setting 79 is a numerical value that indicates how strictly the above setting should be applied. In this way, the administrator can efficiently perform secondary analysis of the behavior data acquired by the edge 200 by inputting an approximate cycle time estimated in one process as a rule.
  • FIG. 8 is a diagram (4) for explaining the user interface according to the embodiment.
  • a user interface 80 shown in FIG. 8 includes a list 81 of moving images recorded when one process is repeated.
  • the behavior analysis device 100 detects that the administrator has pressed the re-analysis button 84 after setting the rules, the behavior analysis device 100 analyzes the moving images included in the list 81 based on the rules.
  • the behavior analysis device 100 determines the cycle time of the process by referring to the behavior data corresponding to each moving image based on the information set in the rule. Specifically, the behavior analysis device 100 determines the time during which the object is out of the set area in the behavior data, and determines that the process has ended when the time exceeds the set value. In addition, the behavior analysis device 100 determines the cycle time to be the maximum set value for behavior data in which the behavior of an object can be observed but the time exceeds the set value of the maximum time setting. In this case, the behavior analysis device 100 may send an alert to the manager or the like, noting that there is some problem in the process.
  • the behavior analysis device 100 determines the cycle time 82 of each process listed in the list 81 . In this way, the behavior analysis device 100 performs secondary analysis on behavior data based on the set rules, so that it is possible to determine the cycle time of each step without requiring complex machine learning or other processing. can.
  • the administrator can display the video 88 in the video column 85 by pressing the selection button 83 displayed on the user interface 80 .
  • the manager may select the video with the shortest cycle time and use it as a sample for other workers to view.
  • the manager may select the video with the longest cycle time and view what problems there are in the process.
  • the tracking display 86 and the tracking display 87 are displayed superimposed on the video. As a result, the manager can appropriately confirm how the worker 10 is working.
  • FIG. 9 is a diagram comparing the conventional processing and the behavior analysis processing according to the embodiment.
  • FIG. 9 shows a flow 90 according to the prior art and a flow 96 according to the embodiment.
  • a flow 90 according to the conventional technology includes a first procedure 91 for photographing learning data, a second procedure 92 for annotation, a third procedure 93 for learning processing, a fourth procedure 94 for photographing data to be analyzed, and a fifth procedure 95 for inference processing. Five steps are required.
  • a process is photographed, and labeling (annotation) indicating what kind of work the photographed image corresponds to, and learning processing for recognizing the work. , a lot of time is spent on pre-processing.
  • the flow 96 according to the embodiment it is only necessary to perform the analysis target data photographing as the first procedure 97, the primary machine learning processing as the second procedure 98, and the secondary analysis as the third procedure 99.
  • This is achieved in the flow 96 according to the embodiment by introducing the edge 200 into the factory prior to the first step 97 with a pre-trained model of the object to be recognized.
  • the second procedure 98 executes only relatively lightweight inference processing of object recognition, recognition processing can be executed almost simultaneously with photographing.
  • the third procedure 99 analyzes the behavior data on a rule basis, so that the analysis can be completed without requiring much time unlike the fifth procedure 95 according to the flow 90 according to the conventional technology.
  • by quickly performing the third procedure 99 it is possible to immediately send an alert when an abnormality is detected, which contributes to improving the efficiency of the entire factory.
  • FIG. 10 is a diagram showing a configuration example of the behavior analysis device 100 according to the embodiment.
  • the behavior analysis device 100 has a communication section 110, a storage section 120, and a control section .
  • the behavior analysis device 100 includes an input unit (for example, a keyboard, a touch display, etc.) that receives various operations from an administrator or the like who manages the behavior analysis device 100, and a display unit (for example, a liquid crystal display) for displaying various information. etc.).
  • an input unit for example, a keyboard, a touch display, etc.
  • a display unit for example, a liquid crystal display
  • the communication unit 110 is implemented by, for example, a NIC (Network Interface Card), a network interface controller, or the like.
  • the communication unit 110 is connected to the network N by wire or wirelessly, and transmits/receives information to/from the edge 200 or the like via the network N.
  • the network N is realized by a wireless communication standard or method such as Bluetooth (registered trademark), the Internet, Wi-Fi (registered trademark), UWB (Ultra Wide Band), LPWA (Low Power Wide Area), or the like.
  • the storage unit 120 is implemented by, for example, a semiconductor memory device such as RAM (Random Access Memory) or flash memory, or a storage device such as a hard disk or optical disk.
  • the storage unit 120 has an imaging data storage unit 121 and a rule storage unit 122 .
  • each storage unit will be described in order with reference to FIGS. 11 and 12.
  • FIG. 11 is a diagram showing an example of the imaging data storage unit 121 according to the embodiment.
  • the imaging data storage unit 121 has items such as "imaging data ID”, “imaging date and time”, “image data”, and “point cloud data”.
  • the information stored in the storage unit 120 may be conceptually indicated as "A01", but in reality, each piece of information described later is stored in the storage unit 120.
  • FIG. 11 is a diagram showing an example of the imaging data storage unit 121 according to the embodiment.
  • the imaging data storage unit 121 has items such as "imaging data ID”, “imaging date and time”, “image data”, and “point cloud data”.
  • 11 and 12 the information stored in the storage unit 120 may be conceptually indicated as "A01", but in reality, each piece of information described later is stored in the storage unit 120.
  • Captured data ID is identification information for identifying captured data.
  • Photographing date and time indicates the date and time when the image was captured by the edge 200 .
  • Image data indicates image (moving image) data captured by the edge 200 .
  • Point cloud data indicates data indicating the behavior of the object recognized by the edge 200 .
  • FIG. 12 is a diagram illustrating an example of a rule storage unit according to the embodiment.
  • the rule storage unit 122 has items such as "rule ID”, “set date and time”, and “set information”.
  • Rule ID indicates identification information for identifying a rule.
  • Set date and time indicates the date and time when the rule was set.
  • “Setting information” indicates setting information set as a rule.
  • the setting information is each information included in the setting item 75 shown in FIG.
  • the control unit 130 stores a program (for example, a behavior analysis program according to the present disclosure) stored inside the behavior analysis device 100 by means of, for example, a CPU (Central Processing Unit), MPU (Micro Processing Unit), GPU, etc. Access Memory) etc. is executed as a work area. Also, the control unit 130 is a controller, and may be realized by an integrated circuit such as an ASIC (Application Specific Integrated Circuit) or an FPGA (Field Programmable Gate Array).
  • ASIC Application Specific Integrated Circuit
  • FPGA Field Programmable Gate Array
  • control unit 130 has an acquisition unit 131, a determination unit 132, a display control unit 133, and a transmission unit .
  • the acquisition unit 131 acquires various types of information. For example, the acquisition unit 131 acquires behavior data representing the behavior of an object during a work process recognized by a model pre-trained to recognize the object.
  • the acquisition unit 131 acquires behavior data from the edge 200 . More specifically, the acquisition unit 131 acquires the behavior data of the object detected by the image sensor from the image sensor using the model incorporated in the logic chip 312 integrated with the image sensor of the detection device 300. .
  • the acquisition unit 131 may acquire only behavior data (point cloud data), or may acquire image data together with behavior data.
  • the acquisition unit 131 stores the acquired data in the captured data storage unit 121 .
  • the determination unit 132 determines the required time (cycle time) of the process corresponding to the behavior data.
  • the determining unit 132 determines the required time for the process corresponding to the behavior data based on the time information set as the required time for the process.
  • the determination unit 132 determines the delimiter of the process corresponding to the behavior data at the timing when the behavior data indicating the predetermined behavior of the object is observed between the minimum time and the maximum time set as the time information. to decide. For example, the determination unit 132 determines a process break corresponding to behavior data when an object behavior exceeding a predetermined value is observed in the point cloud data, like the waveform 47 shown in FIG. In other words, the determining unit 132 determines the division of the process and determines the required time of the process when the behavior of the object exceeding the predetermined value is observed in the point cloud data.
  • the determination unit 132 may determine whether or not the object has exhibited a predetermined behavior based on the area information set as the work area of the process, and determine the division of the process corresponding to the behavior data. For example, the determination unit 132 may determine the delimiter of the process corresponding to the behavior data at the timing when the behavior data indicating that the object has left the area set as the area information and the predetermined time has passed has been observed. . That is, the determining unit 132 refers to the area setting 72 as shown in FIG. 7, determines the division of the process at the timing indicating that the object has left the area and the predetermined time has passed, and Decide how long it will take.
  • the display control unit 133 displays various user interfaces including various information on the display or the like.
  • the display control unit 133 also receives various information from the administrator via the user interface.
  • the display control unit 133 displays, on the user interface, a list of required times for processes corresponding to behavior data determined by the determination unit 132 over multiple times along the time axis. 5 and 6, the display control unit 133 displays, in graph form, the time required for a plurality of steps performed by the worker 10 over a certain period of time. Thereby, the manager can confirm at a glance how long it takes the worker 10 to complete one process.
  • the display control unit 133 compares the first behavior data arbitrarily selected from among the plurality of behavior data and the second behavior data which is behavior data to be compared, and obtains the second behavior data. Based on the degree of similarity between the behavior data corresponding to one process and the behavior data corresponding to one process in the first behavior data, the portion of the required time corresponding to one process is highlighted. For example, as shown in FIG. 5, in a certain process, when the work situations of the skilled worker and the worker 10 to be compared are not similar, the display control unit 133 displays a portion corresponding to the process with a color that emphasizes the process. to display. This allows the manager to grasp at a glance which process the worker 10 is not performing appropriate work.
  • the display control unit 133 displays the result of comparing the first behavior data arbitrarily selected from among the plurality of behavior data and the second behavior data which is the behavior data to be compared as a graph for the user interface. may be displayed above. For example, as shown in FIG. 4, the display control unit 133 superimposes and displays the waveform of the behavior data of the expert and the waveform of the behavior data of the worker 10 to be compared in a certain process.
  • the display control unit 133 determines whether there is an abnormality in the process corresponding to the second behavior data based on the similarity between the waveform corresponding to the first behavior data in the graph and the waveform corresponding to the second behavior data. It may be determined whether there is For example, the display control unit 133 determines the similarity between the expert and the waveform corresponding to the behavior data of the worker 10 to be compared, based on a technique such as DTW.
  • the display control unit 133 determines the waveform corresponding to the second behavior data based on the similarity between the waveform corresponding to the first behavior data in the graph and the waveform corresponding to the second behavior data. It is determined whether or not the plurality of processes match the plurality of processes corresponding to the first behavior data, and if the plurality of processes do not match, it is determined that there is an abnormality in the process corresponding to the second behavior data. .
  • a plurality of steps may indicate a plurality of small steps performed within a certain cycle time.
  • the display control unit 133 compares the waveform of the skilled worker or the model with the waveform of the worker 10 to be compared, and if a dissimilar portion is detected, there is a possibility that some small process has been omitted. , and an abnormality is detected.
  • the transmission unit 134 transmits a warning to a pre-registered transmission destination. For example, the transmission unit 134 transmits an alert to a mobile terminal held by an administrator. Alternatively, the transmission unit 134 may control display of the alert on the user interface displayed by the display control unit 133 .
  • FIG. 14 is a diagram showing a configuration example of the detection device 300 according to the embodiment.
  • the detection device 300 includes an image sensor 310. Although not shown in FIG. 14, the detection device 300 has an optical system for realizing functions as a digital camera, a communication system for communicating with the terminal device 400, and the like.
  • the image sensor 310 is, for example, a CMOS (Complementary Metal Oxide Semiconductor) image sensor composed of a chip, receives incident light from the optical system, performs photoelectric conversion, and outputs image data corresponding to the incident light. .
  • CMOS Complementary Metal Oxide Semiconductor
  • the image sensor 310 has a configuration in which a pixel chip 311 and a logic chip 312 are integrated via a connection portion 313 .
  • the image sensor 310 also has an image processing block 320 and a signal processing block 330 .
  • the pixel chip 311 has an imaging section 321 .
  • the imaging unit 321 is configured by arranging a plurality of pixels two-dimensionally.
  • the imaging unit 321 is driven by the imaging processing unit 322 to capture an image.
  • the imaging processing unit 322 Under the control of the imaging control unit 325, the imaging processing unit 322 performs driving of the imaging unit 321, AD (Analog to Digital) conversion of analog image signals output by the imaging unit 321, imaging signal processing, and the like. imaging processing related to imaging of the image of .
  • AD Analog to Digital
  • the captured image output by the imaging processing unit 322 is supplied to the output control unit 323 and also supplied to the image compression unit 335 . Also, the imaging processing unit 322 passes the captured image to the output I/F 324 .
  • the output control unit 323 selects the captured image from the imaging processing unit 322 and the signal processing result from the signal processing block 330 from the output I / F 324 to the outside (in the embodiment, the terminal device 400 or the behavior analysis device 100) output control to output That is, the output control unit 323 controls to selectively output at least one of the behavior data indicating the behavior of the detected object and the image to the outside.
  • the output control unit 323 selects the captured image from the imaging processing unit 322 or the signal processing result from the signal processing block 330 and supplies it to the output I/F 324 .
  • the output I/F 324 can output both data. Or output I/F324 can output only behavior data, when behavior analysis device 100 requires only behavior data. That is, the output I/F 324 can output only the signal processing result (behavior data) when the captured image itself is not required in the secondary analysis, so the amount of data to be output to the outside can be reduced. .
  • the signal processing block 330 has a CPU 331, a DSP 332, a memory 333, a communication I/F 334, an image compression section 335, and an input I/F.
  • the CPU 331 and DSP 332 recognize objects from images included in the image compression unit 335 using a pre-learning model incorporated in the memory 333 via the communication I/F 334 or input I/F 336 .
  • the CPU 331 and DSP 332 also acquire behavior data indicating the behavior of the recognized object.
  • the signal processing block 330 detects the behavior of the object contained in the image using the pre-learning model for recognizing the object in cooperation with each functional unit.
  • the detection device 300 can selectively output the image data obtained by the image processing block 320 and the behavior data obtained by the signal processing block 330 to the outside.
  • the detection device 300 may include various sensors in addition to the configuration shown in FIG.
  • the detection device 300 may include a ToF sensor, which is a depth sensor that measures the distance to an object located in space.
  • the detection device 300 can acquire, as behavior data, not only two-dimensional point cloud data shown on the image, but also three-dimensional point cloud data including height information.
  • FIG. 14 is a diagram showing a configuration example of the terminal device 400 according to the embodiment.
  • the terminal device 400 has a communication unit 410, a storage unit 420, and a control unit 430.
  • the communication unit 410 is implemented by, for example, a NIC, a network interface controller, or the like.
  • the communication unit 410 is connected to the network N by wire or wirelessly, and transmits/receives information to/from the behavior analysis device 100 or the like via the network N.
  • the storage unit 420 is implemented, for example, by a semiconductor memory device such as a RAM or flash memory, or a storage device such as a hard disk or optical disk.
  • the storage unit 420 has a photographed data storage unit 421 that stores photographed data including images photographed by the detection device 300 and behavior data.
  • the control unit 430 is realized, for example, by executing a program stored inside the terminal device 400 using a RAM or the like as a work area by a CPU, MPU, GPU, or the like. Also, the control unit 430 is a controller, and may be implemented by an integrated circuit such as an ASIC or FPGA, for example.
  • control unit 430 has a conversion unit 431, an acquisition unit 432, and a transmission/reception unit 433.
  • the conversion unit 431 When an object is detected by the detection device 300, the conversion unit 431 reads the behavior on the image and converts it into behavior data. Note that if the detection device 300 has a function of generating behavior data, the conversion unit 431 does not need to perform conversion processing.
  • the acquisition unit 432 acquires image data and behavior data output from the detection device 300 .
  • the acquisition unit 432 stores the acquired image data and behavior data in the captured data storage unit 421 .
  • the transmission/reception unit 433 receives a request from the behavior analysis device 100 and transmits image data and behavior data to the behavior analysis device 100 according to the request. Further, when receiving a request to photograph the work situation of worker 10 from behavior analysis device 100, transmission/reception unit 433 controls detection device 300 and photographs the work situation of worker 10 according to the request.
  • FIG. 15 is a sequence diagram (1) showing the flow of processing according to the embodiment.
  • the edge 200 acquires a pre-learned model that has learned object recognition such as common tools and human hands used in various factories (step S101). Then, the edge 200 starts photographing the work situation of an arbitrary worker according to the operation of the manager or the like (step S102).
  • the edge 200 recognizes the object during shooting, and acquires the data (behavior data) for recognizing the object (step S103). Note that the edge 200 acquires not only the behavior data but also the image data of the work. The edge 200 then transmits the acquired data to the behavior analysis device 100 (step S104).
  • the behavior analysis device 100 acquires data from the edge 200 (step S105). After that, the behavior analysis device 100 receives rule settings for the data from the administrator in order to determine the time required for the process corresponding to the photographed data (step S106).
  • FIG. 16 is a flowchart showing the flow of processing according to the embodiment.
  • the behavior analysis device 100 determines whether or not a rule setting operation has been received from the administrator (step S201). If the rule setting operation has not been received (step S201; No), the behavior analysis device 100 waits until the operation is received.
  • the behavior analysis device 100 provides data on the user interface (step S202). For example, the behavior analysis device 100 displays the user interface 70 shown in FIG. 7 so that the administrator can input information.
  • the behavior analysis device 100 receives rule settings from the administrator (step S203). After that, the behavior analysis device 100 analyzes the data according to the accepted rule (step S204). For example, the behavior analysis device 100 determines the time required for a certain process.
  • the behavior analysis device 100 determines whether the rule setting is completed (step S205). If the rule setting is not completed (step S205; No), for example, if the administrator continues to operate, the behavior analysis device 100 continues the process of providing data on the user interface. On the other hand, when the rule setting is completed (step S205; Yes), the behavior analysis device 100 ends the rule setting process.
  • FIG. 17 is a flowchart (3) showing the flow of processing according to the embodiment.
  • the edge 200 starts photographing the worker 10 who is working (step S301).
  • the edge 200 recognizes the object while shooting, and acquires the data of the recognition of the object (step S302).
  • the edge 200 transmits the acquired data to the behavior analysis device 100 while continuing to shoot (step S303).
  • the behavior analysis device 100 continuously acquires data from the edge 200 (step S304). Then, the behavior analysis device 100 applies the rule to the acquired data and displays the result on the user interface (step S305).
  • the behavior analysis device 100 determines whether or not an abnormality is detected in the obtained results (step S306). If an abnormality is detected (step S306; Yes), the behavior analysis device 100 transmits an alert to a pre-registered destination or the like (step S307). If no abnormality is detected (step S306; No) or if an alert is sent, the behavior analysis device 100 stores image data of the worker 10 and behavior data in the storage unit 120 (step S308).
  • the edge 200 does not have to be composed of two devices, the detection device 300 and the terminal device 400 .
  • the edge 200 may consist of only one digital camera with camera function, sensor, communication function, and object recognition function.
  • the behavior analysis device 100 has shown an example in which the time required for the process and the like are determined according to the rules set by the administrator and the like.
  • the behavior analysis device 100 may automatically determine the time required for the process and the like through learning processing instead of following the preset rules.
  • the behavior analysis device 100 may determine the required time of the process corresponding to the behavior data by learning the features observed in the behavior data. For example, the behavior analysis device 100 may automatically detect the delimitation of the process by learning the characteristics of the waveform shown in FIG. For example, the behavior analysis device 100 determines that a waveform indicating that an object has entered a certain area and that the movement of the object has exceeded a predetermined threshold value (moved out of a certain area) indicates the start to end of the process. The waveform shape is learned based on the labeled teacher data such as . As a result, the behavior analysis device 100 can automatically determine the time required for the process without receiving a rule from the administrator.
  • the learning process described above may be performed by the edge 200 instead of the behavior analysis device 100 . That is, Edge 200 learns the process start and end characteristics based on object behavior data. Then, the edge 200 acquires the behavior data of the object, determines the delimitation of one process, and passes the data to the behavior analysis device 100 for each delimited process. As a result, the behavior analysis device 100 can omit the process of determining the required time of the process and only perform the behavior analysis, so that the process can be performed more quickly.
  • the edge 200 sends the image data of the worker 10 and the behavior data indicating the behavior of the object to the behavior analysis device 100 .
  • edge 200 may transmit only behavior data to behavior analysis device 100 .
  • the behavior analysis system 1 uses only relatively lightweight data such as point cloud data for processing, so processing can be performed quickly.
  • the behavior analysis system 1 can operate even in a factory that does not have enough line equipment that can withstand the amount of information for handling image data, or that does not have sufficient security to prevent leakage of image data. can be done.
  • the behavior analysis device 100 displays the time required when the worker 10 repeats one process in a graph or the like.
  • the behavior analysis device 100 may display not only the time required for one process but also the time required when a plurality of processes are combined in a graph.
  • the behavior analysis device 100 can detect not only a place where work is stagnant in one process, but also a specific process that is stagnant from the upstream process to the downstream process.
  • each component of each device illustrated is functionally conceptual and does not necessarily need to be physically configured as illustrated.
  • the specific form of distribution and integration of each device is not limited to the one shown in the figure, and all or part of them can be functionally or physically distributed and integrated in arbitrary units according to various loads and usage conditions. Can be integrated and configured.
  • the determination unit 132 and the display control unit 133 may be integrated.
  • the behavior analysis device (the behavior analysis device 100 in the embodiment) according to the present disclosure includes the acquisition unit (the acquisition unit 131 in the embodiment) and the determination unit (the determination unit 132 in the embodiment).
  • the acquisition unit acquires behavior data representing the behavior of the object during the work process recognized by the pre-trained model for recognizing the object.
  • the determination unit determines the time required for the process corresponding to the behavior data.
  • the behavior analysis device acquires the behavior data of the object recognized by the pre-learned model without performing machine learning or inference processing by itself, and based on the acquired data, the required time to decide.
  • the behavior analysis device can perform appropriate behavior analysis without annotation for each step or complicated machine learning processing.
  • the determination unit determines the time required for the process corresponding to the behavior data based on the time information set as the time required for the process.
  • the behavior analysis device can perform behavior analysis according to the intention of the manager by determining the required time for the process based on the time information defined as the rule.
  • the determination unit determines a division of the process corresponding to the behavior data at the timing when the behavior data indicating the predetermined behavior of the object is observed between the minimum time and the maximum time set as the time information. .
  • the behavior analysis device can more accurately determine the required time by accepting the setting of the minimum and maximum time estimated in the process as a rule.
  • the determination unit determines whether or not the object has exhibited a predetermined behavior based on the area information set as the work area of the process, and determines the division of the process corresponding to the behavior data.
  • the behavior analysis device can more accurately detect the delimitation of the process by accepting in advance the work area in which the object behaves from the manager or the like.
  • the behavior analysis device can more accurately detect the delimitation of the process by accepting, as area information, an event such as an object moving out of the angle of view, which is generally presumed to be the end of the work. can.
  • the determination unit determines the required time for the process corresponding to the behavior data by learning the features observed in the behavior data.
  • the behavior analysis device determines the required time based on learning rather than on a rule basis, making it possible to perform an appropriate analysis without the hassle of setting rules.
  • the behavior analysis device includes a display control unit (in the embodiment, a display control A unit 133) is further provided.
  • the behavior analysis device displays a list of the time required for each process, making it easier to grasp the timing of the process in which a problem occurred.
  • the display control unit compares first behavior data arbitrarily selected from a plurality of behavior data with second behavior data that is behavior data to be compared, and compares the second behavior data.
  • the behavior data corresponding to one of the processes is highlighted based on the degree of similarity with the behavior data corresponding to the one process in the first behavior data. do.
  • the behavior analysis device compares, for example, the behavior data of a skilled worker or the like, which serves as a model, with the behavior data of a specific worker, and displays the results in different colors to determine the accuracy and results of the work. It is possible to make it easier for an administrator or the like to understand.
  • the behavior analysis device displays the result of comparing the first behavior data arbitrarily selected from the plurality of behavior data and the second behavior data which is the behavior data to be compared as a graph on the user interface. It further includes a display control unit (in the embodiment, the display control unit 133) that displays the .
  • the behavior analysis device compares the behavior data of a skilled person or the like, which serves as a model, with the behavior data of a specific worker, thereby making it easier for the manager or the like to grasp the accuracy and results of the work. can be done.
  • the display control unit determines whether there is an abnormality in the process corresponding to the second behavior data based on the similarity between the waveform corresponding to the first behavior data in the graph and the waveform corresponding to the second behavior data. Determine whether or not there is
  • the behavior analysis device can appropriately detect that there is some kind of abnormality in the process by determining the similarity of waveforms using a technique such as DTW.
  • the display control unit performs a plurality of steps corresponding to the second behavior data based on the similarity between the waveform corresponding to the first behavior data in the graph and the waveform corresponding to the second behavior data. , whether or not the plurality of processes corresponding to the first behavior data match, and if the plurality of processes do not match, it is determined that there is an abnormality in the process corresponding to the second behavior data.
  • the behavior analysis device can detect the omission of some work by judging the similarity of the waveforms, so it can prevent the manufacturing of defective products and the occurrence of serious accidents. can be suppressed.
  • the behavior analysis device includes a transmission unit (in the embodiment, transmission 134).
  • the behavior analysis device can quickly notify the administrator of the abnormality by sending a warning (alert) regarding some abnormality.
  • the acquisition unit acquires the behavior data of the object detected by the image sensor from the image sensor using the model incorporated in the chip integrated with the image sensor (the logic chip 312 in the embodiment).
  • the behavior analysis device acquires data from an integrated chip (called an AI chip or the like) that can perform object recognition, etc., so it does not need to perform complex inference processing by itself. , a rapid analysis can be performed.
  • an integrated chip called an AI chip or the like
  • the imaging device (the edge 200 in the embodiment) includes an imaging unit (the imaging unit 321 in the embodiment), a detection unit (the signal processing block 330 in the embodiment), an output control unit (an output control unit in the embodiment 323).
  • the imaging unit captures an image including an object.
  • the detection unit uses a pre-learned model for object recognition to detect the behavior of the object included in the image.
  • the output control unit selectively outputs to the outside at least one of the behavior data indicating the behavior of the object detected by the detection unit and the image.
  • the imaging device acquires image data and behavior data at the same time, or selectively outputs one of them to the outside, thereby reducing the amount of data to be handled.
  • the processing load related to the next analysis can be reduced.
  • the behavior analysis system includes a photographing device and a behavior analysis device.
  • the imaging device includes an imaging unit that captures an image including an object, a detection unit that detects the behavior of the object included in the image using a pre-learning model for recognizing the object, and an image of the object detected by the detection unit. Behavior data indicating behavior and an output control unit selectively outputting at least one of the images to the outside are provided.
  • a behavior analysis device includes an acquisition unit that acquires behavior data output from an output unit, and a determination unit that determines the time required for a process corresponding to the behavior data based on the behavior data acquired by the acquisition unit. Prepare.
  • the behavior analysis system transfers data in a state where the shooting side (edge side) has performed light inference processing such as object recognition processing, and performs secondary analysis in the latter stage. Appropriate behavior analysis can be performed while reducing the load.
  • FIG. 18 is a hardware configuration diagram showing an example of a computer 1000 that implements the functions of the behavior analysis device 100.
  • the computer 1000 has a CPU 1100 , a RAM 1200 , a ROM (Read Only Memory) 1300 , a HDD (Hard Disk Drive) 1400 , a communication interface 1500 and an input/output interface 1600 .
  • Each part of computer 1000 is connected by bus 1050 .
  • the CPU 1100 operates based on programs stored in the ROM 1300 or HDD 1400 and controls each section. For example, the CPU 1100 loads programs stored in the ROM 1300 or HDD 1400 into the RAM 1200 and executes processes corresponding to various programs.
  • the ROM 1300 stores a boot program such as BIOS (Basic Input Output System) executed by the CPU 1100 when the computer 1000 is started, and programs dependent on the hardware of the computer 1000.
  • BIOS Basic Input Output System
  • the HDD 1400 is a computer-readable recording medium that non-temporarily records programs executed by the CPU 1100 and data used by such programs.
  • HDD 1400 is a recording medium that records the behavior analysis program according to the present disclosure, which is an example of program data 1450 .
  • a communication interface 1500 is an interface for connecting the computer 1000 to an external network 1550 (for example, the Internet).
  • CPU 1100 receives data from another device via communication interface 1500, and transmits data generated by CPU 1100 to another device.
  • the input/output interface 1600 is an interface for connecting the input/output device 1650 and the computer 1000 .
  • the CPU 1100 receives data from input devices such as a keyboard and mouse via the input/output interface 1600 .
  • the CPU 1100 transmits data to an output device such as a display, an edger, or a printer via the input/output interface 1600 .
  • the input/output interface 1600 may function as a media interface for reading a program or the like recorded on a predetermined recording medium.
  • Media include, for example, optical recording media such as DVD (Digital Versatile Disc) and PD (Phase change rewritable disk), magneto-optical recording media such as MO (Magneto-Optical disk), tape media, magnetic recording media, semiconductor memories, etc. is.
  • optical recording media such as DVD (Digital Versatile Disc) and PD (Phase change rewritable disk)
  • magneto-optical recording media such as MO (Magneto-Optical disk)
  • tape media magnetic recording media
  • magnetic recording media semiconductor memories, etc. is.
  • the CPU 1100 of the computer 1000 implements the functions of the control unit 130 and the like by executing the behavior analysis program loaded on the RAM 1200.
  • the HDD 1400 also stores the behavior analysis program according to the present disclosure and the data in the storage unit 120 .
  • CPU 1100 reads and executes program data 1450 from HDD 1400 , as another example, these programs may be obtained from another device via external network 1550 .
  • the present technology can also take the following configuration.
  • the decision unit determining the time required for the process corresponding to the behavior data based on the time information set as the time required for the process; The behavior analysis device according to (1) above.
  • the decision unit At the timing when behavior data indicating a predetermined behavior of the object is observed between the minimum time and the maximum time set as the time information, a step break corresponding to the behavior data is determined; The behavior analysis device according to (2) above.
  • the decision unit Determining whether or not the object exhibits a predetermined behavior based on area information set as the work area of the process, and determining a division of the process corresponding to the behavior data; The behavior analysis device according to (3) above.
  • the decision unit Determining a step break corresponding to the behavior data at the timing when behavior data indicating that the object has left the area set as the area information and a predetermined time has elapsed is observed; The behavior analysis device according to (4) above.
  • the decision unit determining the duration of a step corresponding to the behavior data by learning features observed in the behavior data; The behavior analysis device according to any one of (1) to (5) above.
  • a display control unit that displays, on a user interface, a list of required times for processes corresponding to the behavior data determined by the determination unit over a plurality of times along the time axis;
  • the behavior analysis device according to any one of (1) to (6), further comprising: (8)
  • the display control unit A first behavior data arbitrarily selected from the plurality of behavior data is compared with a second behavior data as behavior data to be compared, and one step of the second behavior data is performed. highlighting the portion of the required time corresponding to the one step based on the similarity of the corresponding behavior data to the behavior data corresponding to the one step in the first behavior data;
  • the behavior analysis device according to (7) above.
  • a display control unit for displaying, as a graph on a user interface, a result of comparing first behavior data arbitrarily selected from the plurality of behavior data and second behavior data as behavior data to be compared.
  • the behavior analysis device according to any one of (1) to (6), further comprising: (10) The display control unit Whether there is an abnormality in the process corresponding to the second behavior data based on the similarity between the waveform corresponding to the first behavior data and the waveform corresponding to the second behavior data in the graph determine the The behavior analysis device according to (9) above.
  • the display control unit Based on the similarity between the waveform corresponding to the first behavior data in the graph and the waveform corresponding to the second behavior data, a plurality of steps corresponding to the second behavior data It is determined whether or not the plurality of processes corresponding to the behavior data match, and if the plurality of processes do not match, it is determined that there is an abnormality in the process corresponding to the second behavior data.
  • the behavior analysis device according to (10) above.
  • a transmission unit configured to transmit a warning to a pre-registered transmission destination when the display control unit determines that there is an abnormality in the process corresponding to the second behavior data;
  • the computer obtaining behavior data indicative of the behavior of an object during a work process as recognized by a model pre-trained to recognize the object; Based on the acquired behavior data, determining the required time of the process corresponding to the behavior data; behavioral analysis methods, including (15) the computer, an acquisition unit for acquiring behavior data indicative of the behavior of an object during a work process as recognized by a model pre-trained to recognize the object; a determination unit that determines the required time of a process corresponding to the behavior data based on the behavior data acquired by the acquisition unit; A behavior analysis program that functions as a (16) an imaging unit that captures an image including an object; a detection unit that detects the behavior of an object included in the image using a pre-learning model for recognizing the object; behavior data indicating the behavior of the object detected by the detection unit; and an output control unit selectively outputting at least one of the images to the outside; A photographing device comprising a (17) an imaging unit that captures an image including an object; a detection unit that detects the behavior of an object included
  • behavior analysis system 10 worker 100 behavior analysis device 110 communication unit 120 storage unit 121 photographed data storage unit 122 rule storage unit 130 control unit 131 acquisition unit 132 determination unit 133 display control unit 134 transmission unit 200 edge 300 detection device 400 terminal device

Landscapes

  • Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Manufacturing & Machinery (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • General Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)
  • Economics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Resources & Organizations (AREA)
  • Tourism & Hospitality (AREA)
  • Strategic Management (AREA)
  • Primary Health Care (AREA)
  • Multimedia (AREA)
  • Marketing (AREA)
  • Biomedical Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Automation & Control Theory (AREA)
  • Accounting & Taxation (AREA)
  • Development Economics (AREA)
  • Image Analysis (AREA)

Abstract

行動分析装置（１００）は、オブジェクトを認識するために事前学習されたモデルによって認識された、作業工程中のオブジェクトの挙動を示す挙動データを取得する取得部（１３１）と、前記取得部によって取得された挙動データに基づいて、当該挙動データに対応する工程の所要時間を決定する決定部（１３２）と、を備える。例えば、前記決定部は、前記工程の所要時間として設定された時間情報に基づいて、前記挙動データに対応する工程の所要時間を決定する。

Description

行動分析装置、行動分析方法、行動分析プログラム、撮影装置および行動分析システム
　本開示は、機械学習を利用して行動分析を実施する行動分析装置、行動分析方法、行動分析プログラム、撮影装置および行動分析システムに関する。
　生産現場における工程を効率化するためや、複数の工場での作業を均質化するために、現場で実施される作業を映像化するなどして分析し、どのような手順や時間で作業を実行することが望ましいかが検討されることがある。
　例えば、作業者の骨格や関節の位置などの特徴から骨格データを取得し、骨格データごとに姿勢ラベルを付与することで作業者の姿勢を分析する手法が知られている（例えば、特許文献１）。あるいは、骨格認識技術やセンサ等で作業者の手首や肩の位置を認識して作業を分析することで、各工程における進捗度を測る技術が知られている（例えば、特許文献２）。
特開２０２０－２０１７７２号公報 特開２０２０－１３３４１号公報
　しかしながら、現場における作業者の姿勢は多様であり、それらを機械学習モデルで判別しようとすると、それぞれにアノテーション（教師データの設定）が必要になるため、作業負担が大きい。さらに、現場で学習処理を実行するためには、充分なＧＰＵ（Graphics　Processing　Unit）を現場に備えることを要し、また充分な学習時間を確保しなければならないなど、導入コストも課題となる。
　そこで、本開示では、学習に要する負荷を削減しつつ適切な行動分析を行うことができる行動分析装置、行動分析方法、行動分析プログラム、撮影装置および行動分析システムを提案する。
　上記の課題を解決するために、本開示に係る一形態の行動分析装置は、オブジェクトを認識するために事前学習されたモデルによって認識された、作業工程中のオブジェクトの挙動を示す挙動データを取得する取得部と、前記取得部によって取得された挙動データに基づいて、当該挙動データに対応する工程の所要時間を決定する決定部と、を備える。
実施形態に係る行動分析システムの概要を示す図である。 実施形態に係る行動分析処理を説明するための図（１）である。 実施形態に係るユーザインターフェイスを説明するための図（１）である。 実施形態に係る行動分析処理を説明するための図（２）である。 実施形態に係る行動分析処理を説明するための図（３）である。 実施形態に係るユーザインターフェイスを説明するための図（２）である。 実施形態に係るユーザインターフェイスを説明するための図（３）である。 実施形態に係るユーザインターフェイスを説明するための図（４）である。 従来処理と実施形態に係る行動分析処理とを比較した図である。 実施形態に係る行動分析装置の構成例を示す図である。 実施形態に係る撮影データ記憶部の一例を示す図である。 実施形態に係るルール記憶部の一例を示す図である。 実施形態に係る検出装置の構成例を示す図である。 実施形態に係る端末装置の構成例を示す図である。 実施形態に係る処理の流れを示すシーケンス図（１）である。 実施形態に係る処理の流れを示すフローチャートである。 実施形態に係る処理の流れを示すシーケンス図（２）である。 行動分析装置の機能を実現するコンピュータの一例を示すハードウェア構成図である。
　以下に、実施形態について図面に基づいて詳細に説明する。なお、以下の各実施形態において、同一の部位には同一の符号を付することにより重複する説明を省略する。
　以下に示す項目順序に従って本開示を説明する。
　　１．実施形態
　　　１－１．実施形態に係る行動分析処理の概要
　　　１－２．実施形態に係る行動分析装置の構成
　　　１－３．実施形態に係る検出装置の構成
　　　１－４．実施形態に係る端末装置の構成
　　　１－５．実施形態に係る処理の手順
　　　１－６．実施形態に係る変形例
　　２．その他の実施形態
　　３．本開示に係る行動分析装置、撮影装置および行動分析システムの効果
　　４．ハードウェア構成
（１．実施形態）
（１－１．実施形態に係る行動分析処理の概要）
　図１を用いて、本開示の実施形態に係る行動分析処理の一例を説明する。図１は、実施形態に係る行動分析システム１の概要を示す図である。具体的には、図１には、実施形態に係る行動分析処理を実行する行動分析システム１の構成要素を示す。
　図１に示すように、行動分析システム１は、行動分析装置１００と、エッジ２００Ａと、エッジ２００Ｂと、エッジ２００Ｃと、エッジ２００４Ｄとを含む。エッジ２００Ａ、エッジ２００Ｂ、エッジ２００Ｃおよびエッジ２００Ｄは同様の構成を有し、それぞれ、検出装置３００Ａ、検出装置３００Ｂ、検出装置３００Ｃおよび検出装置３００Ｄ、並びに、端末装置４００Ａ、端末装置４００Ｂ、端末装置４００Ｃおよび端末装置４００Ｄを有する。以下では、エッジ２００Ａ、検出装置３００Ａ、端末装置４００Ａ等を区別する必要のない場合、それぞれ、「エッジ２００」、「検出装置３００」、「端末装置４００」と総称する。
　行動分析装置１００は、本開示に係る行動分析処理を実行する情報処理装置の一例である。例えば、行動分析装置１００は、工場に設置されるサーバやＰＣ（Personal　Computer）等である。具体的には、行動分析装置１００は、工場での作業者１０の工程における行動を分析する。
　エッジ２００は、工場に設置され、作業者の行動（例えば作業工程）を撮影するためのシステムであり、行動分析システム１における末端機器である。図１の例では、エッジ２００Ａは、作業者１０の行動を分析するために用いられる。また、エッジ２００Ｂやエッジ２００Ｃやエッジ２００Ｄは、図示しない他の作業者の行動を分析するために用いられる。実施形態では、エッジ２００は、検出装置３００と、端末装置４００とから構成される。
　検出装置３００は、作業者１０を撮影する機能を有する機器であり、例えばデジタルカメラである。検出装置３００は、後述するように、イメージセンサ３１０（図１３参照）を内部に備え、物体認識用に事前学習されたモデルを用いることで所定のオブジェクトを認識する機能を有する。
　例えば、検出装置３００は、様々な工場で、工程において共通して利用されるオブジェクトを認識するための学習済みモデルを備える。例えば、実施形態に係るオブジェクトとは、人間の手や、ドライバや半田ごて等の各種工具、マウス、コネクタ、バーコードリーダなどである。
　事前学習の過程では、例えば人間の手を学習する際に、手袋の色違いや手の大小、画角の違いなどを考慮して事前撮影したデータを用いて、オブジェクト認識の学習を行う。このように、検出装置３００で認識する対象を絞ることで、機械学習に関する学習処理を汎用化することができる。すなわち、行動分析システム１では、様々な工場で共通して利用されるオブジェクトを事前学習の対象とすることで、機械学習のアノテーションに係る負担を軽減することができる。さらに、ある一つの工場のデータに特化した学習ではなく、様々な工場に即座に導入することのできるような学習を済ませておくことで、各工場ごとに適した再学習が不要となる。また、認識および検出する対象を絞ることで、推論処理が軽量化し、安価にかつ高速に推論することが可能になる。
　端末装置４００は、検出装置３００と通信もしくは接続される機器であり、検出装置３００によって撮影された動画データや、検出装置３００によって認識されたオブジェクトの挙動を示した挙動データを取得する。また、端末装置４００は、行動分析装置１００と通信もしくは接続され、検出装置３００から取得した動画データや挙動データを行動分析装置１００に送信する。
　なお、図１における各々の装置は、行動分析システム１における機能を概念的に示すものであり、実施形態によって様々な態様をとりうる。例えば、行動分析装置１００は、後述する機能ごとに異なる２台以上の装置で構成されてもよい。また、行動分析システム１に含まれるエッジ２００は、図示した数に限られない。
　上記のように、図１に示す例において、行動分析システム１は、行動分析装置１００とエッジ２００との組み合わせで実現されるシステムである。例えば、行動分析システム１は、作業工程中のオブジェクトの挙動を示す挙動データを取得し、取得された挙動データに基づいて、挙動データに対応する工程の所要時間を決定する。これにより、行動分析装置１００は、作業者１０が実行する一の工程にどれくらいの時間がかかったかという所要時間（サイクルタイム）を判定できる。工程の所要時間を計測することにより、行動分析装置１００は、例えば作業者全体の所要時間の平均を算出したり、作業者１０が他の作業者と比較して素早く工程を終えているか否かといった作業状況を分析したりすることが可能となる。
　ところで、組立工場等の現場では、従来より、作業工程を撮影した動画を機械学習等を用いて分析し、効率の良い作業を提案する手法が模索されている。例えば、熟練の技術者が組み立て作業を行う模様を映像化し、かかる映像に含まれる技術者の動作を機械学習することで、どのような動作が効率がよいかを分析する手法が検討されている。しかしながら、現場における工程は多様であり、それらを機械学習モデルで判別しようとすると、それぞれにアノテーション（教師データの設定）が必要になる。さらに、現場で学習処理を実行するためには、充分なＧＰＵ（Graphics　Processing　Unit）を現場に備えることを要し、また充分な学習時間を確保しなければならないなど、導入コストも課題となる。
　一方、実施形態に係る行動分析システム１は、事前学習したモデルを用いて所定のオブジェクトをエッジ２００に認識させ、その挙動データを取り出して行動分析を行う。具体的には、行動分析システム１では、オブジェクトの認識処理という、軽量な機械学習による推論処理を行う一次分析と、その挙動データを取り出して、予め設定されたルールに従って行動分析を行うという二次分析とを実行する。これにより、行動分析システム１は、アノテーション等の時間を必要とせず、かつ、負荷の高い機械学習を行うことなく、作業者１０の行動を分析できる。
　以下、図２乃至図９を用いて、実施形態に係る行動分析処理を流れに沿って説明する。図２は、実施形態に係る行動分析処理を説明するための図（１）である。
　図２には、エッジ２００が、作業者１０が一の工程（例えば、製品の一部を組み立てる工程等）を進めている様子を撮影した動画を示す。
　エッジ２００が撮影した動画は、エッジ２００から行動分析装置１００に送信される。管理者は、行動分析装置１００を介して、作業者１０が作業を進める様子をリアルタイムに、もしくは記録された動画として閲覧可能である。
　具体的には、行動分析装置１００は、ディスプレイに表示されるユーザインターフェイス２０を提供し、ユーザインターフェイス２０内に動画２５を表示する。図２に示すように、動画２５には、エッジ２００がオブジェクトを認識したことを示したトラッキング表示２２や、トラッキング表示２４が含まれる。トラッキング表示２２は、エッジ２００が作業者１０の右手２１というオブジェクトを認識していることを示す。トラッキング表示２４は、エッジ２００が作業者１０の左手２３というオブジェクトを認識していることを示す。管理者は、ユーザインターフェイス２０において、操作パネル２６を操作しながら、作業者１０の作業の様子を視聴できる。
　また、エッジ２００は、右手２１および左手２３をトラッキングしながら、それぞれのオブジェクトの挙動を示す挙動データを取得する。挙動データの一例は、撮影された画面内におけるオブジェクトの移動を示す座標であり、いわゆる点群データの形式で表される。すなわち、エッジ２００が取得する挙動データによれば、時間軸に沿って、右手２１が画面内のどの座標に移動したか、および、左手２３が画面内のどの座標にしたかといった挙動を認識可能である。なお、点群データは、トラッキング表示２２やトラッキング表示２４の任意の１点（例えば中心点）をトラッキングしたものでもよいし、トラッキング表示２２やトラッキング表示２４の四隅の点など複数点をトラッキングしたものでもよい。
　また、点群データは、２次元に限らず、３次元のデータであってもよい。例えば、エッジ２００がＴｏＦ（Time　of　Flight）センサ等の深度センサを備える場合、エッジ２００は、オブジェクトの３次元のデータを取得しうる。
　次に、図３を用いて、エッジ２００によって撮影された動画を比較する際のユーザインターフェイスについて説明する。図３は、実施形態に係るユーザインターフェイスを説明するための図（１）である。
　図３に示すユーザインターフェイス３０には、動画が２つ並んで表示される。例えば、動画欄３１には、一の工程に熟練した熟練者を撮影した動画３３が表示される。また、動画欄３２には、熟練者と比較するための対象となる作業者１０を撮影した動画３８が表示される。
　各動画欄は、操作パネル３４や、どのエッジ２００で撮影されたかを示す撮影情報欄３５や、いつ撮影されたから示す日時情報欄２７を含む。管理者は、これらの情報を視認しながら、熟練者と比較した際の作業者１０の行動を確認することができる。
　続いて、図４を用いて、エッジ２００が認識したオブジェクトの挙動を示した挙動データを行動分析装置１００が分析する例を示す。図４は、実施形態に係る行動分析処理を説明するための図（２）である。
　図４には、作業者１０の手の動きを記録した挙動データを表示したグラフ表示４０を示す。グラフ表示４０は、ある一つの工程が完了するまでに作業者１０が動かした手の動きを、右手および左手の各々のＸ軸およびＹ軸の移動を記録したものである。
　図４に示す例では、縦軸４１は、挙動を座標として示した場合の値の大小を示す。横軸４２は、時間を示す。第１挙動データ波形４３は、作業者１０の手の動きを時間に沿って記録したものである。第１サイクルタイム４４は、一つの工程の開始から終点までを示した一連の波形の固まりを示すものである。なお、サイクルタイムの決定についての詳細は後述する。
　図４の例では、作業者１０の挙動を示す第１挙動データ波形４３に重ねて、第２挙動データ波形４５が表示される。第２挙動データ波形４５は、作業者１０と比較する他の作業者の挙動データを示しており、例えば、熟練者の挙動データに対応する。第２サイクルタイム４６は、作業者１０が実行した工程と同一の工程を、熟練者が実行した場合のサイクルタイムを示す。図４に示すように、熟練者の第２サイクルタイム４６は、作業者１０の第１サイクルタイム４４と比較して、短い時間となっている。
　サイクルタイムの終了時点では、例えば、波形４７のように、所定の値を超えた手の動きが観測される。図４の例では、波形４７は、作業者１０の両手が、座標が観測できる領域（例えば、カメラの撮影画角）から外れた位置に移動していることを示す。
　図４に示した挙動データはエッジ２００によって取得されるが、挙動データの分析は、行動分析装置１００によって実行される。行動分析装置１００は、管理者等の設定に従い、所定の分析を実行する。
　例えば、図４に示した例では、行動分析装置１００は、作業者１０の作業状況を示す第１挙動データ波形４３と、熟練者の作業状況を示す第２挙動データ波形４５との類似性を比較することで、行動の分析を行う。例えば、行動分析装置１００は、ＤＴＷ（Dynamic　Time　Warping）等と称される、類似分析などを適用する。かかる手法によれば、行動分析装置１００は、時間軸によらず、作業者１０の作業が熟練者とどう相違するかといった定量的な情報を得ることができる。例えば、行動分析装置１００は、熟練者よりも時間はかかるものの、作業者１０の作業自体には問題がない、といったことを判定できる。あるいは、行動分析装置１００は、第１挙動データ波形４３と第２挙動データ波形４５との間に相違があり、作業者１０が工程において何か一つ作業を忘れた可能性があることや、誤った組立処理を行った可能性があること等を検出することができる。
　次に、図５を用いて、行動分析装置１００が分析した結果を表示する例を示す。図５は、実施形態に係る行動分析処理を説明するための図（３）である。
　図５には、作業者１０がある時間、一つの工程を繰り返した際の複数のサイクルタイムの結果を表示するグラフ表示５０を示す。グラフ表示５０内の結果５１は、ある一つの工程を作業者１０が繰り返した場合に、各工程においてかかった所要時間を示している。グラフ表示５０の横軸５２は、作業者１０の行動を観測した時間を示す。
　グラフ表示５０では、色分け表示５３に基づき、結果５１の各々が色分けされて表示される。一例として、行動分析装置１００は、比較対象となる熟練者の挙動データと、作業者１０の挙動データの類似性に基づいて、結果５１の各々を色分けして表示する。
　例えば、結果５４は、比較対象となる熟練者の挙動データと、作業者１０の挙動データとが類似しており、問題のなかった工程を示す。一方、結果５５は、比較対象となる熟練者の挙動データと、作業者１０の挙動データとが類似しておらず、問題があった工程を示す。例えば、結果５５は、結果５４と比較して、赤色など目立つよう強調表示される。これにより、管理者は、ある時間において、作業者１０の行動に問題があったか否かを検証することができる。行動分析装置１００は、結果５５のような問題のある工程を認識した場合、管理者が利用する携帯端末にアラートを送信するなどの処理を行ってもよい。
　なお、行動分析装置１００は、サイクルタイムの時間に応じて、結果を強調表示してもよい。例えば、行動分析装置１００は、他と比較して極めてサイクルタイムが長かった工程を強調表示してもよい。このような場合も、行動分析装置１００は、管理者が利用する携帯端末にアラートを送信してもよい。
　次に、図６を用いて、行動分析装置１００による分析を一覧表示するユーザインターフェイスについて説明する。図６は、実施形態に係るユーザインターフェイスを説明するための図（２）である。
　図６に示すユーザインターフェイス６０には、図３で示した動画欄３１や動画欄３２、グラフ表示４０、グラフ表示５０が一覧表示される。管理者は、グラフ表示５０を確認し、問題のある結果を発見すると、当該結果を選択する。行動分析装置１００は、結果が選択されると、当該結果に対応する動画を動画欄３１や動画欄３２に表示する。また、行動分析装置１００は、当該結果に対応する挙動データをグラフ表示４０に表示する。
　ここで、図７を用いて、行動分析装置１００がサイクルタイムの決定を行う処理について説明する。実施形態では、行動分析装置１００は、管理者等から分析のためのルール（各種設定情報）を受け付け、ルールにしたがってサイクルタイム等を決定する。
　図７は、実施形態に係るユーザインターフェイスを説明するための図（３）である。図７に示すユーザインターフェイス７０には、エッジ２００によって撮影される映像７１が含まれる。映像７１には、領域設定７２が含まれる。領域設定７２とは、管理者等が任意に設定する領域であり、作業者１０が作業すると推測される、映像７１内の領域を示す。例えば、行動分析装置１００は、領域設定７２でオブジェクトが観測された場合、作業者１０が作業中であると判定する。一方、行動分析装置１００は、認識中のオブジェクトが領域設定７２を超えた範囲に所定時間以上（例えば数秒以上など）所在する場合、一の工程が終了したと判定する。
　行動分析装置１００は、管理者が領域設定７２を決定する際に、過去の動画履歴に基づいて、オブジェクトが頻繁に所在する範囲である参考領域７４を表示してもよい。参考領域７４は、ある工程においてオブジェクトがその位置に多く所在することを示すものであり、例えば映像７１に重畳表示される。管理者は、参考領域７４を参照しながら、領域設定７２を決定する。なお、図７の例では領域設定７２を矩形で示しているが、領域設定７２は、矩形ではなく任意の形状で設定されてもよい。また、エッジ２００がＴｏＦセンサを備える場合、行動分析装置１００は、領域設定７２を三次元情報で設定しても良い。
　また、管理者は、設定項目７５に情報を入力し、サイクルタイムを決定するためのルールを決定する。設定項目７５には、インターバル設定７６や、最小時間設定７７や、最大時間設定７８や、柔軟性設定７９等が含まれる。
　インターバル設定７６は、認識中のオブジェクトが領域設定７２を超えた範囲に一つの工程が終了したと判定するまでの時間を設定する項目である。最小時間設定７７は、一つの工程のサイクルタイムを決定する際に、最小の時間として判定する項目である。例えば、行動分析装置１００は、サイクルタイムを決定する際、最小時間設定７７に入力された時間よりも短い時間をサイクルタイムと決定することを避ける。最大時間設定７８は、一つの工程のサイクルタイムを決定する際に、最大の時間として判定する項目である。例えば、行動分析装置１００は、サイクルタイムを決定する際、最大時間設定７８に入力された時間よりも長い時間をサイクルタイムと決定することを避ける。柔軟性設定７９は、上記設定をどれだけ厳密に適用するかを示す数値である。このように、管理者は、一つの工程で推測される、おおよそのサイクルタイムをルールとして入力することで、エッジ２００によって取得された挙動データの二次分析を効率よく行うことができる。
　図８を用いて、ルールが設定されたのちに、行動分析装置１００がサイクルタイムの決定を行う処理について説明する。図８は、実施形態に係るユーザインターフェイスを説明するための図（４）である。
　図８に示すユーザインターフェイス８０には、一の工程を繰り返した際に記録された動画のリスト８１が含まれる。行動分析装置１００は、ルールが設定された後に管理者から再解析ボタン８４が押されたことを検出すると、リスト８１に含まれる動画に対してルールに基づいた解析を行う。
　例えば、行動分析装置１００は、ルールに設定された情報に基づいて、各動画に対応する挙動データを参照して工程のサイクルタイムを決定する。具体的には、行動分析装置１００は、挙動データにおいて、オブジェクトが設定された領域を外れた時間を判定し、その時間が設定値を超えた場合、工程が終了したと判定する。また、行動分析装置１００は、挙動データにおいて、オブジェクトの挙動が観測できるものの、その時間が最大時間設定の設定値を超えたものについては、サイクルタイムを最大設定値に決定する。この場合、行動分析装置１００は、工程に何らかの問題があったとして、管理者等にアラートを送信してもよい。
　行動分析装置１００は、再解析が終了すると、リスト８１に列挙された各工程のサイクルタイム８２を決定する。このように、行動分析装置１００は、設定されたルールに基づいて挙動データに対する二次分析を行うことで、複雑な機械学習などの処理を要せず、各工程のサイクルタイムを決定することができる。
　その後、管理者は、確認したい動画がある場合、ユーザインターフェイス８０上に表示された選択ボタン８３を押下することで、動画欄８５に動画８８を表示させることができる。例えば、管理者は、最もサイクルタイムの短い動画を選択し、かかる動画を他の作業者に閲覧させる見本としてもよい。あるいは、管理者は、最もサイクルタイムの長い動画を選択し、工程においてどのような問題があるかを閲覧してもよい。
　動画再生時には、トラッキング表示８６やトラッキング表示８７が動画に重畳して表示される。これにより、管理者は、どのようにして作業者１０が作業を行っているかを適切に確認することができる。
　以上、図１乃至図８を用いて、実施形態に係る行動分析処理について説明した。ここで、図９を用いて、実施形態に係る行動分析処理と、従来の機械学習による行動分析処理との比較について説明する。図９は、従来処理と実施形態に係る行動分析処理とを比較した図である。
　図９では、従来技術に係るフロー９０と、実施形態に係るフロー９６とを示す。従来技術に係るフロー９０には、第１手順９１として学習データ撮影、第２手順９２としてアノテーション、第３手順９３として学習処理、第４手順９４として分析対象データ撮影、第５手順９５として推論処理という５つの工程が必要となる。また、従来技術に係るフロー９０では、工程を撮影し、撮影された映像がどのような作業を行っている場面に対応するかというラベル付け（アノテーション）、その作業を認識するための学習処理といった、前段階の処理に多くの時間が費やされる。
　一方、実施形態に係るフロー９６では、第１手順９７として分析対象データ撮影、第２手順９８として一次機械学習処理、第３手順９９として二次分析のみを行うのみでよい。これは、実施形態に係るフロー９６では、第１手順９７に先立ち、予め認識するオブジェクトの学習済みモデルを有したエッジ２００を工場に導入することにより実現される。また、第２手順９８は、オブジェクト認識という比較的軽量の推論処理のみを実行するので、ほぼ撮影と同時に認識処理を実行することができる。そして、第３手順９９は、ルールベースで挙動データを分析することで、従来技術に係るフロー９０に係る第５手順９５のように、多くの時間を要することなく分析を終えることができる。また、実施形態に係るフロー９６では、第３手順９９を迅速に行うことで、異常を検出した場合のアラート送信などを即座に行うことでき、工場全体の効率を向上させることにも寄与する。
（１－２．実施形態に係る行動分析装置の構成）
　次に、行動分析装置１００の構成について説明する。図１０は、実施形態に係る行動分析装置１００の構成例を示す図である。
　図１０に示すように、行動分析装置１００は、通信部１１０と、記憶部１２０と、制御部１３０とを有する。なお、行動分析装置１００は、行動分析装置１００を管理する管理者等から各種操作を受け付ける入力部（例えば、キーボードやタッチディスプレイ等）や、各種情報を表示するための表示部（例えば、液晶ディスプレイ等）を有してもよい。
　通信部１１０は、例えば、ＮＩＣ（Network　Interface　Card）やネットワークインタフェイスコントローラ（Network　Interface　Controller）等によって実現される。通信部１１０は、ネットワークＮと有線又は無線で接続され、ネットワークＮを介して、エッジ２００等と情報の送受信を行う。ネットワークＮは、例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）、インターネット、Ｗｉ－Ｆｉ（登録商標）、ＵＷＢ（Ultra　Wide　Band）、ＬＰＷＡ（Low　Power　Wide　Area）等の無線通信規格もしくは方式で実現される。
　記憶部１２０は、例えば、ＲＡＭ（Random　Access　Memory)、フラッシュメモリ（Flash　Memory）等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。記憶部１２０は、撮影データ記憶部１２１と、ルール記憶部１２２とを有する。以下、各記憶部について、図１１および図１２を用いて、順に説明する。
　図１１は、実施形態に係る撮影データ記憶部１２１の一例を示す図である。図１１に示すように、撮影データ記憶部１２１は、「撮影データＩＤ」、「撮影日時」、「画像データ」、「点群データ」といった項目を有する。なお、図１１および図１２では、記憶部１２０に格納される情報を「Ａ０１」のように概念的に示す場合があるが、実際には、後述する各情報が記憶部１２０に記憶される。
　「撮影データＩＤ」は、撮影データを識別するための識別情報である。「撮影日時」は、エッジ２００によって撮影が行われた日時を示す。「画像データ」は、エッジ２００によって撮影された画像（動画）データを示す。「点群データ」は、エッジ２００によって認識されたオブジェクトの挙動を示したデータを示す。
　次に、ルール記憶部１２２について説明する。図１２は、実施形態に係るルール記憶部の一例を示す図である。
　図１２に示した例では、ルール記憶部１２２は、「ルールＩＤ」、「設定日時」、「設定情報」といった項目を有する。「ルールＩＤ」は、ルールを識別する識別情報を示す。「設定日時」は、ルールが設定された日時を示す。「設定情報」は、ルールとして設定された設定情報を示す。例えば、設定情報は、図７に示した設定項目７５に含まれる各情報等である。
　図１０に戻って説明を続ける。制御部１３０は、例えば、ＣＰＵ（Central　Processing　Unit）やＭＰＵ（Micro　Processing　Unit）、ＧＰＵ等によって、行動分析装置１００内部に記憶されたプログラム（例えば、本開示に係る行動分析プログラム）がＲＡＭ（Random　Access　Memory）等を作業領域として実行されることにより実現される。また、制御部１３０は、コントローラ（controller）であり、例えば、ＡＳＩＣ（Application　Specific　Integrated　Circuit）やＦＰＧＡ（Field　Programmable　Gate　Array）等の集積回路により実現されてもよい。
　図１０に示すように、制御部１３０は、取得部１３１と、決定部１３２と、表示制御部１３３と、送信部１３４を有する。
　取得部１３１は、各種情報を取得する。例えば、取得部１３１は、オブジェクトを認識するために事前学習されたモデルによって認識された、作業工程中のオブジェクトの挙動を示す挙動データを取得する。
　具体的には、取得部１３１は、エッジ２００から挙動データを取得する。より詳細には、取得部１３１は、検出装置３００が有するイメージセンサと一体化したロジックチップ３１２に組み込まれたモデルを用いて、イメージセンサによって検知されたオブジェクトの挙動データを、イメージセンサから取得する。
　取得部１３１は、挙動データ（点群データ）のみを取得してもよいし、挙動データと併せて画像データを取得してもよい。取得部１３１は、取得したデータを撮影データ記憶部１２１に記憶する。
　決定部１３２は、取得部１３１によって取得された挙動データに基づいて、挙動データに対応する工程の所要時間（サイクルタイム）を決定する。
　例えば、決定部１３２は、工程の所要時間として設定された時間情報に基づいて、挙動データに対応する工程の所要時間を決定する。
　具体的には、決定部１３２は、時間情報として設定された最小時間と最大時間との間で、オブジェクトが所定の挙動を示す挙動データが観測されたタイミングで、挙動データに対応する工程の区切りを決定する。例えば、決定部１３２は、図４に示した波形４７のように、点群データにおいて所定の値を超えたオブジェクトの挙動が観測された場合に、挙動データに対応する工程の区切りを決定する。言い換えれば、決定部１３２は、点群データにおいて所定の値を超えたオブジェクトの挙動が観測された場合に、その工程の区切りを決定し、工程の所要時間を決定する。
　また、決定部１３２は、工程の作業領域として設定された領域情報に基づいて、オブジェクトが所定の挙動を示したか否かを判定し、挙動データに対応する工程の区切りを決定してもよい。例えば、決定部１３２は、領域情報として設定された領域からオブジェクトが外れて所定時間が経過したことを示す挙動データが観測されたタイミングで、挙動データに対応する工程の区切りを決定してもよい。すなわち、決定部１３２は、図７に示したような領域設定７２を参照し、かかる領域からオブジェクトが外れて所定時間が経過したことを示したタイミングで、その工程の区切りを決定し、工程の所要時間を決定する。
　表示制御部１３３は、種々の情報を含む各種ユーザインターフェイスをディスプレイ等に表示する。また、表示制御部１３３は、ユーザインターフェイスを介して、管理者から種々の情報を受け付ける。
　例えば、表示制御部１３３は、複数回に渡って決定部１３２によって決定された挙動データに対応する工程の所要時間を、時間軸に沿ってユーザインターフェイス上に一覧表示する。すなわち、表示制御部１３３は、図５や図６に示したように、ある時間にわたって作業者１０が実行した複数回の工程の所要時間をグラフで表示する。これにより、管理者は、作業者１０がどのくらいの所要時間で一回の工程をこなしているかを一目で確認することができる。
　また、表示制御部１３３は、複数の挙動データの中から任意に選択された第１の挙動データと、比較対象とする挙動データである第２の挙動データとを比較し、第２の挙動データのうち一の工程に対応する挙動データが、第１の挙動データにおける一の工程に対応する挙動データとの類似度に基づいて、一の工程に対応する所要時間の箇所を強調表示する。例えば、表示制御部１３３は、図５に示したように、ある工程において、熟練者と比較対象となる作業者１０との作業状況が類似しない場合に、当該工程に対応する箇所を強調した色で表示する。これにより、管理者は、どの工程で作業者１０が適切な作業を行っていないかなどを一目で把握することができる。
　また、表示制御部１３３は、複数の挙動データの中から任意に選択された第１の挙動データと、比較対象とする挙動データである第２の挙動データとを比較した結果をグラフとしてユーザインターフェイス上に表示してもよい。例えば、表示制御部１３３は、図４に示したように、ある工程において、熟練者の挙動データの波形と、比較対象となる作業者１０の挙動データの波形とを重畳して表示する。
　また、表示制御部１３３は、グラフにおける第１の挙動データに対応する波形と、第２の挙動データに対応する波形との類似性に基づいて、第２の挙動データに対応する工程に異常があるか否かを判定してもよい。例えば、表示制御部１３３は、ＤＴＷ等の手法に基づき、熟練者と、比較対象となる作業者１０の挙動データに対応する波形との類似性を判定する。
　より具体的には、表示制御部１３３は、グラフにおける第１の挙動データに対応する波形と、第２の挙動データに対応する波形との類似性に基づいて、第２の挙動データに対応する複数の工程が、第１の挙動データに対応する複数の工程と一致するか否かを判定し、複数の工程が一致しない場合、第２の挙動データに対応する工程に異常があると判定する。この場合、複数の工程とは、あるサイクルタイム内で行われる複数の小工程を示すものであってもよい。すなわち、表示制御部１３３は、熟練者や手本となる波形と、比較対象となる作業者１０の波形とを比較し、類似しない箇所を検出した場合、何らかの小工程が抜けた可能性があると判定して、異常を検出する。
　送信部１３４は、表示制御部１３３によって、第２の挙動データに対応する工程に異常があると判定された場合に、予め登録された送信先に警告を送信する。例えば、送信部１３４は、管理者が保持する携帯端末にアラートを送信する。あるいは、送信部１３４は、表示制御部１３３によって表示されているユーザインターフェイス上にアラートを表示させるよう制御してもよい。
（１－３．実施形態に係る検出装置の構成）
　次に、エッジ２００のうち、検出装置３００の構成について説明する。図１４は、実施形態に係る検出装置３００の構成例を示す図である。
　図１４に示すように、検出装置３００は、イメージセンサ３１０を含む。なお、図１４での図示は省略するが、検出装置３００は、デジタルカメラとしての機能を実現するための光学系や、端末装置４００と通信するための通信系等を有する。
　イメージセンサ３１０は、例えば、チップで構成されるＣＭＯＳ（Complementary　Metal　Oxide　Semiconductor）イメージセンサであり、光学系からの入射光を受光し、光電変換を行って、入射光に対応する画像データを出力する。
　イメージセンサ３１０は、画素チップ３１１と、ロジックチップ３１２とが接続部３１３を介して一体となる構成を有する。また、イメージセンサ３１０は、画像処理ブロック３２０と、信号処理ブロック３３０とを有する。
　画素チップ３１１は、撮像部３２１を有する。撮像部３２１は、複数の画素が２次元に並んで構成される。撮像部３２１は、撮像処理部３２２によって駆動され、画像を撮像する。
　撮像処理部３２２は、撮像制御部３２５の制御に従い、撮像部３２１の駆動や、撮像部３２１が出力するアナログの画像信号のＡＤ（Analog　to　Digital）変換や、撮像信号処理等の撮像部３２１での画像の撮像に関連する撮像処理を行う。
　撮像処理部３２２が出力する撮像画像は、出力制御部３２３に供給されるとともに、画像圧縮部３３５に供給される。また、撮像処理部３２２は、出力Ｉ／Ｆ３２４に撮影画像を渡す。
　出力制御部３２３は、撮像処理部３２２からの撮像画像、および、信号処理ブロック３３０からの信号処理結果を、出力Ｉ／Ｆ３２４から外部（実施形態では、端末装置４００や行動分析装置１００）に選択的に出力させる出力制御を行う。すなわち、出力制御部３２３は、検出されたオブジェクトの挙動を示す挙動データと、画像のうち少なくとも一方を選択的に外部に出力するよう制御する。
　具体的には、出力制御部３２３は、撮像処理部３２２からの撮像画像、または、信号処理ブロック３３０からの信号処理結果を選択し、出力Ｉ／Ｆ３２４に供給する。
　例えば、出力Ｉ／Ｆ３２４は、行動分析装置１００が画像データと挙動データとの双方を要求する場合、双方のデータを出力可能である。あるいは、出力Ｉ／Ｆ３２４は、行動分析装置１００が挙動データのみを要求する場合、挙動データのみを出力することが可能である。すなわち、出力Ｉ／Ｆ３２４は、二次分析において撮像画像そのものが必要でない場合には、信号処理結果（挙動データ）だけを出力することができるので、外部に出力するデータ量を削減することができる。
　図１３に示すように、信号処理ブロック３３０は、ＣＰＵ３３１、ＤＳＰ３３２、メモリ３３３、通信Ｉ／Ｆ３３４、画像圧縮部３３５、入力Ｉ／Ｆを有する。
　例えば、ＣＰＵ３３１およびＤＳＰ３３２は、通信Ｉ／Ｆ３３４もしくは入力Ｉ／Ｆ３３６を介してメモリ３３３に組み込まれた事前学習モデルを用いて、画像圧縮部３３５に含まれる画像から、オブジェクトを認識する。また、ＣＰＵ３３１およびＤＳＰ３３２は、認識したオブジェクトの挙動を示す挙動データを取得する。言い換えれば、信号処理ブロック３３０は、各機能部が協働して、オブジェクトを認識するための事前学習モデルを用いて、画像に含まれるオブジェクトの挙動を検出する。
　上記の構成により、実施形態に係る検出装置３００は、画像処理ブロック３２０により得られた画像データと、信号処理ブロック３３０により得られた挙動データとを、選択的に外部に出力することができる。
　なお、検出装置３００は、図１３で示した構成に加えて、各種センサを備えてもよい。例えば、検出装置３００は、空間に所在するオブジェクトまでの距離を測定する深度センサであるＴｏＦセンサを備えてもよい。これにより、検出装置３００は、挙動データとして、画像上で示される２次元の点群データのみならず、高さ情報を加えた３次元の点群データを取得することができる。
（１－４．実施形態に係る端末装置の構成）
　次に、エッジ２００のうち、端末装置４００の構成について説明する。図１４は、実施形態に係る端末装置４００の構成例を示す図である。
　図１４に示すように、端末装置４００は、通信部４１０と、記憶部４２０と、制御部４３０とを有する。
　通信部４１０は、例えば、ＮＩＣやネットワークインタフェイスコントローラ等によって実現される。通信部４１０は、ネットワークＮと有線又は無線で接続され、ネットワークＮを介して、行動分析装置１００等と情報の送受信を行う。
　記憶部４２０は、例えば、ＲＡＭ、フラッシュメモリ等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。記憶部４２０は、検出装置３００によって撮影された画像や挙動データを含む、撮影データを記憶する撮影データ記憶部４２１を有する。
　制御部４３０は、例えば、ＣＰＵやＭＰＵ、ＧＰＵ等によって、端末装置４００内部に記憶されたプログラムがＲＡＭ等を作業領域として実行されることにより実現される。また、制御部４３０は、コントローラであり、例えば、ＡＳＩＣやＦＰＧＡ等の集積回路により実現されてもよい。
　図１４に示すように、制御部４３０は、変換部４３１と、取得部４３２と、送受信部４３３とを有する。
　変換部４３１は、検出装置３００によってオブジェクトが検出された場合に、その画像上の挙動を読み取り、挙動データに変換する。なお、検出装置３００が挙動データを生成する機能を有する場合、変換部４３１は、変換処理を実行することを要しない。
　取得部４３２は、検出装置３００から出力される画像データおよび挙動データを取得する。取得部４３２は、取得した画像データおよび挙動データを撮影データ記憶部４２１に記憶する。
　送受信部４３３は、行動分析装置１００からの要求を受信し、要求にしたがい、画像データおよび挙動データを行動分析装置１００に送信する。また、送受信部４３３は、行動分析装置１００から作業者１０の作業状況を撮影する要求を受け付けた場合、要求にしたがい、検出装置３００を制御して作業者１０の作業状況を撮影する。
（１－５．実施形態に係る処理の手順）
　次に、図１５乃至図１７を用いて、実施形態に係る処理の手順について説明する。まず、図１５を用いて、実施形態に係る行動分析処理のうち、ルール設定までの処理を説明する。図１５は、実施形態に係る処理の流れを示すシーケンス図（１）である。
　図１５に示すように、エッジ２００は、様々な工場で利用される共通工具や人間の手などのオブジェクト認識を学習した事前学習モデルを取得する（ステップＳ１０１）。そして、エッジ２００は、管理者等の操作に従い、任意の作業者の作業状況の撮影を開始する（ステップＳ１０２）。
　エッジ２００は、撮影中にオブジェクトを認識し、オブジェクトを認識したデータ（挙動データ）を取得する（ステップＳ１０３）。なお、エッジ２００は、挙動データのみならず、作業を撮影した画像データも取得する。そして、エッジ２００は、取得したデータを行動分析装置１００に送信する（ステップＳ１０４）。
　行動分析装置１００は、エッジ２００からデータを取得する（ステップＳ１０５）。その後、行動分析装置１００は、撮影したデータに対応する工程の所要時間を決定するために、管理者からデータに対するルール設定を受け付ける（ステップＳ１０６）。
　次に、図１６を用いて、ルール設定の手順について説明する。図１６は、実施形態に係る処理の流れを示すフローチャートである。
　図１６に示すように、行動分析装置１００は、管理者からルール設定操作を受け付けたか否かを判定する（ステップＳ２０１）。ルール設定操作を受け付けていない場合（ステップＳ２０１；Ｎｏ）、行動分析装置１００は、操作を受け付けるまで待機する。
　一方、ルール設定操作を受け付けた場合（ステップＳ２０１；Ｙｅｓ）、行動分析装置１００は、ユーザインターフェイス上でデータを提供する（ステップＳ２０２）。例えば、行動分析装置１００は、管理者が情報を入力可能なように、図７で示したユーザインターフェイス７０を表示する。
　行動分析装置１００は、管理者からルール設定を受け付ける（ステップＳ２０３）。その後、行動分析装置１００は、受け付けたルールに沿ってデータを解析する（ステップＳ２０４）。例えば、行動分析装置１００は、ある工程の所要時間等を決定する。
　その後、行動分析装置１００は、ルール設定が完了したか否かを判定する（ステップＳ２０５）。ルール設定が完了していない場合（ステップＳ２０５；Ｎｏ）、例えば、管理者による操作が継続している場合、行動分析装置１００は、ユーザインターフェイス上でデータを提供する処理を継続する。一方、ルール設定が完了した場合（ステップＳ２０５；Ｙｅｓ）、行動分析装置１００は、ルール設定の処理を終了する。
　次に、図１７を用いて、作業者１０の行動分析処理を行う場合の手順について説明する。図１７は、実施形態に係る処理の流れを示すフローチャート（３）である。
　図１７に示すように、エッジ２００は、作業中の作業者１０の撮影を開始する（ステップＳ３０１）。エッジ２００は、撮影しながらオブジェクトを認識し、オブジェクトを認識したデータを取得する（ステップＳ３０２）。エッジ２００は、撮影を続けながら、取得したデータを行動分析装置１００に送信する（ステップＳ３０３）。
　行動分析装置１００は、エッジ２００からデータを継続的に取得する（ステップＳ３０４）。そして、行動分析装置１００は、取得したデータにルールを適用させ、その結果をユーザインターフェイス上に表示する（ステップＳ３０５）。
　行動分析装置１００は、取得した結果において、異常が検出されたか否かを判定する（ステップＳ３０６）。異常が検出された場合（ステップＳ３０６；Ｙｅｓ）、行動分析装置１００は、予め登録された送信先等にアラートを送信する（ステップＳ３０７）。異常が検出されない場合（ステップＳ３０６；Ｎｏ）や、アラートを送信した場合、行動分析装置１００は、作業者１０を撮影した画像データや挙動データを記憶部１２０に格納する（ステップＳ３０８）。
（１－６．実施形態に係る変形例）
　上記実施形態は、様々に異なる変形を伴ってもよい。例えば、エッジ２００は、検出装置３００と端末装置４００との２台で構成されなくてもよい。例えば、エッジ２００は、カメラ機能やセンサや通信機能やオブジェクト認識機能を備えたデジタルカメラ１台のみで構成されてもよい。
　また、上記実施形態では、行動分析装置１００は、管理者等に設定されたルールにしたがって工程の所要時間等を決定する例を示した。しかし、行動分析装置１００は、予め設定されたルールにしたがうのではなく、学習処理を経て、自動的に工程の所要時間等を決定してもよい。
　すなわち、行動分析装置１００は、挙動データで観測される特徴を学習することにより、挙動データに対応する工程の所要時間を決定してもよい。例えば、行動分析装置１００は、図４に示す波形の特徴を学習することで、自動的に工程の区切りを検出してもよい。例えば、行動分析装置１００は、オブジェクトがある領域に入ったこと、および、オブジェクトの動きが所定の閾値を超えたこと（ある領域から外れたこと）を示す波形が、工程の開始から終了を示す、といったようなラベル付き教師データに基づいて、波形形状の学習を行う。これにより、行動分析装置１００は、管理者からルールを受け付けずとも、自動で工程の所要時間を決定できるようになる。
　また、上記の学習処理は、行動分析装置１００ではなく、エッジ２００が実行してもよい。すなわち、エッジ２００は、オブジェクトの挙動データに基づいて、工程の開始および終了の特徴を学習する。そして、エッジ２００は、オブジェクトの挙動データを取得しつつ、一の工程の区切りを決定し、区切った工程ごとに行動分析装置１００にデータを渡す。これにより、行動分析装置１００は、工程の所要時間を決定する処理を省略し、行動分析のみを実行できるので、処理をさらに迅速に行うことができる。
　また、上記実施形態では、エッジ２００は、作業者１０を撮影した画像データと、オブジェクトの挙動を示す挙動データとを行動分析装置１００に送信する例を示した。しかし、エッジ２００は、挙動データのみを行動分析装置１００に送信してもよい。これにより、行動分析システム１は、点群データ等の比較的軽量のデータのみを処理に利用するので、処理を迅速に行うことができる。また、かかる構成によれば、行動分析システム１は、画像データを扱うための情報量に耐えうる回線設備や、画像データの流出に備えたセキュリティの確保が充分でない工場であっても稼働することができる。
　また、上記実施形態では、行動分析装置１００が、作業者１０が一の工程を繰り返した際の所要時間をグラフ等に表示する例を示した。しかし、行動分析装置１００は、一の工程の所要時間のみならず、複数の工程を組み合わせた際の所要時間をグラフに表示してもよい。これにより、行動分析装置１００は、一の工程において作業が滞っている箇所だけでなく、上流の工程から下流の工程までを通じて滞っている特定の工程を検出すること等が可能となる。
（２．その他の実施形態）
　上述した各実施形態に係る処理は、上記各実施形態以外にも種々の異なる形態にて実施されてよい。
　また、上記各実施形態において説明した各処理のうち、自動的に行われるものとして説明した処理の全部または一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部または一部を公知の方法で自動的に行うこともできる。この他、上記文書中や図面中で示した処理手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。例えば、各図に示した各種情報は、図示した情報に限られない。
　また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。例えば、決定部１３２と表示制御部１３３とは統合されてもよい。
　また、上述してきた各実施形態及び変形例は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。
　また、本明細書に記載された効果はあくまで例示であって限定されるものでは無く、他の効果があってもよい。
（３．本開示に係る行動分析装置、撮影装置および行動分析システムの効果）
　上述のように、本開示に係る行動分析装置（実施形態では行動分析装置１００）は、取得部（実施形態では取得部１３１）と、決定部（実施形態では決定部１３２）とを備える。取得部は、オブジェクトを認識するために事前学習されたモデルによって認識された、作業工程中のオブジェクトの挙動を示す挙動データを取得する。決定部は、取得部によって取得された挙動データに基づいて、挙動データに対応する工程の所要時間を決定する。
　このように、本開示に係る行動分析装置は、自身で機械学習や推論処理を行うことなく、事前学習されたモデルによって認識されたオブジェクトの挙動データを取得し、取得したデータに基づいて所要時間を決定する。これにより、行動分析装置は、工程ごとのアノテーションや複雑な機械学習処理を行うことなく、適切な行動分析を行うことができる。
　また、決定部は、工程の所要時間として設定された時間情報に基づいて、挙動データに対応する工程の所要時間を決定する。
　このように、行動分析装置は、ルールとして定められる時間情報に基づいて工程の所要時間を決定することで、管理者の意に沿った行動分析を行うことができる。
　また、決定部は、時間情報として設定された最小時間と最大時間との間で、オブジェクトが所定の挙動を示す挙動データが観測されたタイミングで、当該挙動データに対応する工程の区切りを決定する。
　このように、行動分析装置は、工程において推定される最小および最大時間の設定をルールとして受け付けることで、所要時間をより正確に決定することができる。
　また、決定部は、工程の作業領域として設定された領域情報に基づいて、オブジェクトが所定の挙動を示したか否かを判定し、当該挙動データに対応する工程の区切りを決定する。
　このように、行動分析装置は、オブジェクトが挙動する作業領域を管理者等から予め受け付けておくことで、工程の区切りをより正確に検出することができる。
　また、決定部は、領域情報として設定された領域からオブジェクトが外れて所定時間が経過したことを示す挙動データが観測されたタイミングで、当該挙動データに対応する工程の区切りを決定する。
　このように、行動分析装置は、オブジェクトが画角から外れるなど、一般に作業が終了したと推測されるような事象を領域情報として受け付けておくことで、より正確に工程の区切りを検出することができる。
　また、決定部は、挙動データで観測される特徴を学習することにより、挙動データに対応する工程の所要時間を決定する。
　このように、行動分析装置は、ルールベースではなく、学習ベースによって所要時間の決定を行うことで、ルール設定の手間などを掛けさせずに適切な分析を行うことができる。
　また、行動分析装置は、複数回に渡って決定部によって決定された挙動データに対応する工程の所要時間を、時間軸に沿ってユーザインターフェイス上に一覧表示する表示制御部（実施形態では表示制御部１３３）をさらに備える。
　このように、行動分析装置は、工程ごとに費やした所要時間を一覧表示することで、どのタイミングの工程に問題が発生したか等を把握させやすくすることができる。
　また、表示制御部は、複数の挙動データの中から任意に選択された第１の挙動データと、比較対象とする挙動データである第２の挙動データとを比較し、当該第２の挙動データのうち一の工程に対応する挙動データが、当該第１の挙動データにおける当該一の工程に対応する挙動データとの類似度に基づいて、当該一の工程に対応する所要時間の箇所を強調表示する。
　このように、行動分析装置は、例えば熟練者等のお手本となる挙動データと、ある特定の作業者の挙動データとを比較し、その結果を色分け表示すること等によって、作業の精度や結果を管理者等に把握させやすくすることができる。
　また、行動分析装置は、複数の挙動データの中から任意に選択された第１の挙動データと、比較対象とする挙動データである第２の挙動データとを比較した結果をグラフとしてユーザインターフェイス上に表示する表示制御部（実施形態では表示制御部１３３）をさらに備える。
　このように、行動分析装置は、熟練者等のお手本となる挙動データと、ある特定の作業者の挙動データとを比較することで、作業の精度や結果を管理者等に把握させやすくすることができる。
　また、表示制御部は、グラフにおける第１の挙動データに対応する波形と、第２の挙動データに対応する波形との類似性に基づいて、当該第２の挙動データに対応する工程に異常があるか否かを判定する。
　このように、行動分析装置は、例えばＤＴＷ等の手法を用いて波形の類似性を判定することで、工程に何らかの異常があったことを適切に検出することができる。
　また、表示制御部は、グラフにおける第１の挙動データに対応する波形と、第２の挙動データに対応する波形との類似性に基づいて、当該第２の挙動データに対応する複数の工程が、当該第１の挙動データに対応する複数の工程と一致するか否かを判定し、複数の工程が一致しない場合、当該第２の挙動データに対応する工程に異常があると判定する。
　このように、行動分析装置は、波形の類似性を判定することで、何らかの作業が抜けたことなどを検出できるので、欠陥品を製造してしまったり、重大な事故が発生したりすることを抑止できる。
　また、行動分析装置は、表示制御部によって、第２の挙動データに対応する工程に異常があると判定された場合に、予め登録された送信先に警告を送信する送信部（実施形態では送信部１３４）をさらに備える。
　このように、行動分析装置は、何らかの異常に関する警告（アラート）を送信することで、異常を迅速に管理者等に伝達することができる。
　また、取得部は、イメージセンサと一体化したチップ（実施形態ではロジックチップ３１２）に組み込まれたモデルを用いて、イメージセンサによって検知されたオブジェクトの挙動データを、イメージセンサから取得する。
　このように、行動分析装置は、物体認識などを行うことができる一体型チップ（ＡＩチップ等と称される）からデータを取得するので、自身で複雑な推論処理等を行うことを要さず、迅速な分析を行うことができる。
　また、撮影装置（実施形態ではエッジ２００）は、撮像部（実施形態では撮像部３２１）と、検出部（実施形態では、信号処理ブロック３３０）と、出力制御部（実施形態では、出力制御部３２３）とを備える。撮像部は、オブジェクトを含む画像を撮像する。検出部は、オブジェクトを認識するための事前学習モデルを用いて、画像に含まれるオブジェクトの挙動を検出する。出力制御部は、検出部によって検出されたオブジェクトの挙動を示す挙動データと、画像のうち少なくとも一方を選択的に外部に出力する。
　このように、本開示に係る撮影装置は、画像データと挙動データとを同時に取得したり、いずれか一方を選択的に外部に出力したりすることで、取り扱うデータ量を削減し、後段の二次分析に係る処理負荷を軽減することができる。
　また、行動分析システム（実施形態では行動分析システム１）は、撮影装置と、行動分析装置とを含む。撮影装置は、オブジェクトを含む画像を撮像する撮像部と、オブジェクトを認識するための事前学習モデルを用いて、画像に含まれるオブジェクトの挙動を検出する検出部と、検出部によって検出されたオブジェクトの挙動を示す挙動データと、画像のうち少なくとも一方を選択的に外部に出力する出力制御部と、を備える。行動分析装置は、出力部から出力された挙動データを取得する取得部と、取得部によって取得された挙動データに基づいて、当該挙動データに対応する工程の所要時間を決定する決定部と、を備える。
　このように、本開示に係る行動分析システムは、撮影側（エッジ側）がオブジェクト認識処理などの軽量な推論処理を行った状態でデータを受け渡し、後段の二次分析を行うので、学習に要する負荷を削減しつつ、適切な行動分析を行うことができる。
（４．ハードウェア構成）
　上述してきた各実施形態に係る行動分析装置１００等の情報機器は、例えば図１８に示すような構成のコンピュータ１０００によって実現される。以下、本開示に係る行動分析装置１００を例に挙げて説明する。図１８は、行動分析装置１００の機能を実現するコンピュータ１０００の一例を示すハードウェア構成図である。コンピュータ１０００は、ＣＰＵ１１００、ＲＡＭ１２００、ＲＯＭ（Read　Only　Memory）１３００、ＨＤＤ（Hard　Disk　Drive）１４００、通信インターフェイス１５００、及び入出力インターフェイス１６００を有する。コンピュータ１０００の各部は、バス１０５０によって接続される。
　ＣＰＵ１１００は、ＲＯＭ１３００又はＨＤＤ１４００に格納されたプログラムに基づいて動作し、各部の制御を行う。例えば、ＣＰＵ１１００は、ＲＯＭ１３００又はＨＤＤ１４００に格納されたプログラムをＲＡＭ１２００に展開し、各種プログラムに対応した処理を実行する。
　ＲＯＭ１３００は、コンピュータ１０００の起動時にＣＰＵ１１００によって実行されるＢＩＯＳ（Basic　Input　Output　System）等のブートプログラムや、コンピュータ１０００のハードウェアに依存するプログラム等を格納する。
　ＨＤＤ１４００は、ＣＰＵ１１００によって実行されるプログラム、及び、かかるプログラムによって使用されるデータ等を非一時的に記録する、コンピュータが読み取り可能な記録媒体である。具体的には、ＨＤＤ１４００は、プログラムデータ１４５０の一例である本開示に係る行動分析プログラムを記録する記録媒体である。
　通信インターフェイス１５００は、コンピュータ１０００が外部ネットワーク１５５０（例えばインターネット）と接続するためのインターフェイスである。例えば、ＣＰＵ１１００は、通信インターフェイス１５００を介して、他の機器からデータを受信したり、ＣＰＵ１１００が生成したデータを他の機器へ送信したりする。
　入出力インターフェイス１６００は、入出力デバイス１６５０とコンピュータ１０００とを接続するためのインターフェイスである。例えば、ＣＰＵ１１００は、入出力インターフェイス１６００を介して、キーボードやマウス等の入力デバイスからデータを受信する。また、ＣＰＵ１１００は、入出力インターフェイス１６００を介して、ディスプレイやエッジーやプリンタ等の出力デバイスにデータを送信する。また、入出力インターフェイス１６００は、所定の記録媒体（メディア）に記録されたプログラム等を読み取るメディアインターフェイスとして機能してもよい。メディアとは、例えばＤＶＤ（Digital　Versatile　Disc）、ＰＤ（Phase　change　rewritable　Disk）等の光学記録媒体、ＭＯ（Magneto-Optical　disk）等の光磁気記録媒体、テープ媒体、磁気記録媒体、または半導体メモリ等である。
　例えば、コンピュータ１０００が実施形態に係る行動分析装置１００として機能する場合、コンピュータ１０００のＣＰＵ１１００は、ＲＡＭ１２００上にロードされた行動分析プログラムを実行することにより、制御部１３０等の機能を実現する。また、ＨＤＤ１４００には、本開示に係る行動分析プログラムや、記憶部１２０内のデータが格納される。なお、ＣＰＵ１１００は、プログラムデータ１４５０をＨＤＤ１４００から読み取って実行するが、他の例として、外部ネットワーク１５５０を介して、他の装置からこれらのプログラムを取得してもよい。
　なお、本技術は以下のような構成も取ることができる。
（１）
　オブジェクトを認識するために事前学習されたモデルによって認識された、作業工程中のオブジェクトの挙動を示す挙動データを取得する取得部と、
　前記取得部によって取得された挙動データに基づいて、当該挙動データに対応する工程の所要時間を決定する決定部と、
　を備える行動分析装置。
（２）
　前記決定部は、
　前記工程の所要時間として設定された時間情報に基づいて、前記挙動データに対応する工程の所要時間を決定する、
　前記（１）に記載の行動分析装置。
（３）
　前記決定部は、
　前記時間情報として設定された最小時間と最大時間との間で、前記オブジェクトが所定の挙動を示す挙動データが観測されたタイミングで、当該挙動データに対応する工程の区切りを決定する、
　前記（２）に記載の行動分析装置。
（４）
　前記決定部は、
　前記工程の作業領域として設定された領域情報に基づいて、前記オブジェクトが所定の挙動を示したか否かを判定し、当該挙動データに対応する工程の区切りを決定する、
　前記（３）に記載の行動分析装置。
（５）
　前記決定部は、
　前記領域情報として設定された領域から前記オブジェクトが外れて所定時間が経過したことを示す挙動データが観測されたタイミングで、当該挙動データに対応する工程の区切りを決定する、
　前記（４）に記載の行動分析装置。
（６）
　前記決定部は、
　前記挙動データで観測される特徴を学習することにより、前記挙動データに対応する工程の所要時間を決定する、
　前記（１）～（５）のいずれかに記載の行動分析装置。
（７）
　複数回に渡って前記決定部によって決定された前記挙動データに対応する工程の所要時間を、時間軸に沿ってユーザインターフェイス上に一覧表示する表示制御部、
　をさらに備える前記（１）～（６）のいずれかに記載の行動分析装置。
（８）
　前記表示制御部は、
　複数の前記挙動データの中から任意に選択された第１の挙動データと、比較対象とする挙動データである第２の挙動データとを比較し、当該第２の挙動データのうち一の工程に対応する挙動データが、当該第１の挙動データにおける当該一の工程に対応する挙動データとの類似度に基づいて、当該一の工程に対応する所要時間の箇所を強調表示する、
　前記（７）に記載の行動分析装置。
（９）
　複数の前記挙動データの中から任意に選択された第１の挙動データと、比較対象とする挙動データである第２の挙動データとを比較した結果をグラフとしてユーザインターフェイス上に表示する表示制御部、
　をさらに備える前記（１）～（６）のいずれかに記載の行動分析装置。
（１０）
　前記表示制御部は、
　前記グラフにおける前記第１の挙動データに対応する波形と、前記第２の挙動データに対応する波形との類似性に基づいて、当該第２の挙動データに対応する工程に異常があるか否かを判定する、
　前記（９）に記載の行動分析装置。
（１１）
　前記表示制御部は、
　前記グラフにおける前記第１の挙動データに対応する波形と、前記第２の挙動データに対応する波形との類似性に基づいて、当該第２の挙動データに対応する複数の工程が、当該第１の挙動データに対応する複数の工程と一致するか否かを判定し、複数の工程が一致しない場合、当該第２の挙動データに対応する工程に異常があると判定する、
　前記（１０）に記載の行動分析装置。
（１２）
　前記表示制御部によって、前記第２の挙動データに対応する工程に異常があると判定された場合に、予め登録された送信先に警告を送信する送信部、
　をさらに備える前記（１）～（１１）のいずれかに記載の行動分析装置。
（１３）
　前記取得部は、
　イメージセンサと一体化したチップに組み込まれた前記モデルを用いて、当該イメージセンサによって検知された前記オブジェクトの挙動データを、当該イメージセンサから取得する、
　前記（１）～（１２）のいずれかに記載の行動分析装置。
（１４）
　コンピュータが、
　オブジェクトを認識するために事前学習されたモデルによって認識された、作業工程中のオブジェクトの挙動を示す挙動データを取得し、
　前記取得された挙動データに基づいて、当該挙動データに対応する工程の所要時間を決定する、
　ことを含む行動分析方法。
（１５）
　コンピュータを、
　オブジェクトを認識するために事前学習されたモデルによって認識された、作業工程中のオブジェクトの挙動を示す挙動データを取得する取得部と、
　前記取得部によって取得された挙動データに基づいて、当該挙動データに対応する工程の所要時間を決定する決定部と、
　として機能させる行動分析プログラム。
（１６）
　オブジェクトを含む画像を撮像する撮像部と、
　前記オブジェクトを認識するための事前学習モデルを用いて、前記画像に含まれるオブジェクトの挙動を検出する検出部と、
　前記検出部によって検出されたオブジェクトの挙動を示す挙動データと、前記画像のうち少なくとも一方を選択的に外部に出力する出力制御部と、
　を備える撮影装置。
（１７）
　オブジェクトを含む画像を撮像する撮像部と、
　前記オブジェクトを認識するための事前学習モデルを用いて、前記画像に含まれるオブジェクトの挙動を検出する検出部と、
　前記検出部によって検出されたオブジェクトの挙動を示す挙動データと、前記画像のうち少なくとも一方を選択的に外部に出力する出力制御部と、を備えた撮影装置と、
　前記出力制御部から出力された挙動データを取得する取得部と、
　前記取得部によって取得された挙動データに基づいて、当該挙動データに対応する工程の所要時間を決定する決定部と、を備えた行動分析装置と、
　を含む行動分析システム。
　１　行動分析システム
　１０　作業者
　１００　行動分析装置
　１１０　通信部
　１２０　記憶部
　１２１　撮影データ記憶部
　１２２　ルール記憶部
　１３０　制御部
　１３１　取得部
　１３２　決定部
　１３３　表示制御部
　１３４　送信部
　２００　エッジ
　３００　検出装置
　４００　端末装置

Claims (17)

  1. 　オブジェクトを認識するために事前学習されたモデルによって認識された、作業工程中のオブジェクトの挙動を示す挙動データを取得する取得部と、
    　前記取得部によって取得された挙動データに基づいて、当該挙動データに対応する工程の所要時間を決定する決定部と、
    　を備える行動分析装置。
  2. 　前記決定部は、
    　前記工程の所要時間として設定された時間情報に基づいて、前記挙動データに対応する工程の所要時間を決定する、
    　請求項１に記載の行動分析装置。
  3. 　前記決定部は、
    　前記時間情報として設定された最小時間と最大時間との間で、前記オブジェクトが所定の挙動を示す挙動データが観測されたタイミングで、当該挙動データに対応する工程の区切りを決定する、
    　請求項２に記載の行動分析装置。
  4. 　前記決定部は、
    　前記工程の作業領域として設定された領域情報に基づいて、前記オブジェクトが所定の挙動を示したか否かを判定し、当該挙動データに対応する工程の区切りを決定する、
    　請求項３に記載の行動分析装置。
  5. 　前記決定部は、
    　前記領域情報として設定された領域から前記オブジェクトが外れて所定時間が経過したことを示す挙動データが観測されたタイミングで、当該挙動データに対応する工程の区切りを決定する、
    　請求項４に記載の行動分析装置。
  6. 　前記決定部は、
    　前記挙動データで観測される特徴を学習することにより、前記挙動データに対応する工程の所要時間を決定する、
    　請求項１に記載の行動分析装置。
  7. 　複数回に渡って前記決定部によって決定された前記挙動データに対応する工程の所要時間を、時間軸に沿ってユーザインターフェイス上に一覧表示する表示制御部、
    　をさらに備える請求項１に記載の行動分析装置。
  8. 　前記表示制御部は、
    　複数の前記挙動データの中から任意に選択された第１の挙動データと、比較対象とする挙動データである第２の挙動データとを比較し、当該第２の挙動データのうち一の工程に対応する挙動データが、当該第１の挙動データにおける当該一の工程に対応する挙動データとの類似度に基づいて、当該一の工程に対応する所要時間の箇所を強調表示する、
    　請求項７に記載の行動分析装置。
  9. 　複数の前記挙動データの中から任意に選択された第１の挙動データと、比較対象とする挙動データである第２の挙動データとを比較した結果をグラフとしてユーザインターフェイス上に表示する表示制御部、
    　をさらに備える請求項１に記載の行動分析装置。
  10. 　前記表示制御部は、
    　前記グラフにおける前記第１の挙動データに対応する波形と、前記第２の挙動データに対応する波形との類似性に基づいて、当該第２の挙動データに対応する工程に異常があるか否かを判定する、
    　請求項９に記載の行動分析装置。
  11. 　前記表示制御部は、
    　前記グラフにおける前記第１の挙動データに対応する波形と、前記第２の挙動データに対応する波形との類似性に基づいて、当該第２の挙動データに対応する複数の工程が、当該第１の挙動データに対応する複数の工程と一致するか否かを判定し、複数の工程が一致しない場合、当該第２の挙動データに対応する工程に異常があると判定する、
    　請求項１０に記載の行動分析装置。
  12. 　前記表示制御部によって、前記第２の挙動データに対応する工程に異常があると判定された場合に、予め登録された送信先に警告を送信する送信部、
    　をさらに備える請求項１１に記載の行動分析装置。
  13. 　前記取得部は、
    　イメージセンサと一体化したチップに組み込まれた前記モデルを用いて、当該イメージセンサによって検知された前記オブジェクトの挙動データを、当該イメージセンサから取得する、
    　請求項１に記載の行動分析装置。
  14. 　コンピュータが、
    　オブジェクトを認識するために事前学習されたモデルによって認識された、作業工程中のオブジェクトの挙動を示す挙動データを取得し、
    　前記取得された挙動データに基づいて、当該挙動データに対応する工程の所要時間を決定する、
    　ことを含む行動分析方法。
  15. 　コンピュータを、
    　オブジェクトを認識するために事前学習されたモデルによって認識された、作業工程中のオブジェクトの挙動を示す挙動データを取得する取得部と、
    　前記取得部によって取得された挙動データに基づいて、当該挙動データに対応する工程の所要時間を決定する決定部と、
    　として機能させる行動分析プログラム。
  16. 　オブジェクトを含む画像を撮像する撮像部と、
    　前記オブジェクトを認識するための事前学習モデルを用いて、前記画像に含まれるオブジェクトの挙動を検出する検出部と、
    　前記検出部によって検出されたオブジェクトの挙動を示す挙動データと、前記画像のうち少なくとも一方を選択的に外部に出力する出力制御部と、
    　を備える撮影装置。
  17. 　オブジェクトを含む画像を撮像する撮像部と、
    　前記オブジェクトを認識するための事前学習モデルを用いて、前記画像に含まれるオブジェクトの挙動を検出する検出部と、
    　前記検出部によって検出されたオブジェクトの挙動を示す挙動データと、前記画像のうち少なくとも一方を選択的に外部に出力する出力制御部と、を備えた撮影装置と、
    　前記出力制御部から出力された挙動データを取得する取得部と、
    　前記取得部によって取得された挙動データに基づいて、当該挙動データに対応する工程の所要時間を決定する決定部と、を備えた行動分析装置と、
    　を含む行動分析システム。
PCT/JP2022/013286 2021-08-12 2022-03-22 行動分析装置、行動分析方法、行動分析プログラム、撮影装置および行動分析システム WO2023017647A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2023541218A JPWO2023017647A1 (ja) 2021-08-12 2022-03-22

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021-131776 2021-08-12
JP2021131776 2021-08-12

Publications (1)

Publication Number Publication Date
WO2023017647A1 true WO2023017647A1 (ja) 2023-02-16

Family

ID=85200155

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/013286 WO2023017647A1 (ja) 2021-08-12 2022-03-22 行動分析装置、行動分析方法、行動分析プログラム、撮影装置および行動分析システム

Country Status (2)

Country Link
JP (1) JPWO2023017647A1 (ja)
WO (1) WO2023017647A1 (ja)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016157357A (ja) * 2015-02-26 2016-09-01 株式会社日立製作所 作業者品質管理方法及び作業者品質管理装置
US20170061326A1 (en) * 2015-08-25 2017-03-02 Qualcomm Incorporated Method for improving performance of a trained machine learning model
JP2020013341A (ja) 2018-07-18 2020-01-23 コニカミノルタ株式会社 作業工程管理システム、作業工程管理方法、および作業工程管理プログラム
JP2020201772A (ja) 2019-06-11 2020-12-17 株式会社 日立産業制御ソリューションズ 姿勢分析プログラム、および、姿勢分析装置
JP2021086218A (ja) * 2019-11-25 2021-06-03 オムロン株式会社 協調作業システム、解析装置および解析プログラム
WO2021131552A1 (ja) * 2019-12-27 2021-07-01 パナソニックＩｐマネジメント株式会社 作業分析装置及び作業分析方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016157357A (ja) * 2015-02-26 2016-09-01 株式会社日立製作所 作業者品質管理方法及び作業者品質管理装置
US20170061326A1 (en) * 2015-08-25 2017-03-02 Qualcomm Incorporated Method for improving performance of a trained machine learning model
JP2020013341A (ja) 2018-07-18 2020-01-23 コニカミノルタ株式会社 作業工程管理システム、作業工程管理方法、および作業工程管理プログラム
JP2020201772A (ja) 2019-06-11 2020-12-17 株式会社 日立産業制御ソリューションズ 姿勢分析プログラム、および、姿勢分析装置
JP2021086218A (ja) * 2019-11-25 2021-06-03 オムロン株式会社 協調作業システム、解析装置および解析プログラム
WO2021131552A1 (ja) * 2019-12-27 2021-07-01 パナソニックＩｐマネジメント株式会社 作業分析装置及び作業分析方法

Also Published As

Publication number Publication date
JPWO2023017647A1 (ja) 2023-02-16

Similar Documents

Publication Publication Date Title
Yang et al. Vision-based action recognition of construction workers using dense trajectories
US20180211138A1 (en) Information processing device, information processing method, and storage medium
JP6159179B2 (ja) 画像処理装置、画像処理方法
JP6590609B2 (ja) 画像解析装置及び画像解析方法
US11763463B2 (en) Information processing apparatus, control method, and program
JP2010067079A (ja) 行動解析システムおよび行動解析方法
JP6841608B2 (ja) 振る舞い検知システム
JP6988790B2 (ja) 群衆種類識別システム、群衆種類識別方法および群衆種類識別プログラム
US11315294B2 (en) Information processing device, display method, and program storage medium for monitoring object movement
US11138805B2 (en) Quantitative quality assurance for mixed reality
JP2015225630A (ja) 作業管理装置、作業管理システムおよび作業管理方法
WO2021020500A1 (ja) 情報処理装置、及び、マーケティング活動支援装置
JP6191160B2 (ja) 画像処理プログラムおよび画像処理装置
Moutinho et al. Deep learning-based human action recognition to leverage context awareness in collaborative assembly
US11199561B2 (en) System and method for standardized evaluation of activity sequences
WO2023017647A1 (ja) 行動分析装置、行動分析方法、行動分析プログラム、撮影装置および行動分析システム
JP7484569B2 (ja) 画像処理装置、画像処理方法およびプログラム
JP7383999B2 (ja) 協調作業システム、解析装置および解析プログラム
WO2022239291A1 (ja) 物体検知装置及び方法
JP2009110239A (ja) 作業動作分析システム及び作業動作分析方法
JP2014002502A (ja) 手のばし検出装置、手のばし検出方法及びプログラム
JP7464451B2 (ja) 骨格検出システム及び作業管理装置
JP7350222B1 (ja) 動作分析装置、動作分析方法、及び動作分析プログラム
WO2023095329A1 (ja) 動作評価システム、動作評価方法、及び非一時的なコンピュータ可読媒体
JP7340801B2 (ja) バイタルデータ出力方法、バイタルデータ出力装置およびバイタルセンシングシステム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22855713

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2023541218

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2022855713

Country of ref document: EP

Effective date: 20240312