WO2023152893A1 - 管理装置、管理システム、管理方法及びプログラム - Google Patents

管理装置、管理システム、管理方法及びプログラム Download PDF

Info

Publication number
WO2023152893A1
WO2023152893A1 PCT/JP2022/005428 JP2022005428W WO2023152893A1 WO 2023152893 A1 WO2023152893 A1 WO 2023152893A1 JP 2022005428 W JP2022005428 W JP 2022005428W WO 2023152893 A1 WO2023152893 A1 WO 2023152893A1
Authority
WO
WIPO (PCT)
Prior art keywords
work
information
worker
appearance
workers
Prior art date
Application number
PCT/JP2022/005428
Other languages
English (en)
French (fr)
Inventor
智史 山崎
健全 劉
登 吉田
洋平 佐々木
諒 川合
テイテイ トウ
カレン ステファン
直樹 進藤
悠太 並木
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to PCT/JP2022/005428 priority Critical patent/WO2023152893A1/ja
Publication of WO2023152893A1 publication Critical patent/WO2023152893A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Definitions

  • the present invention relates to a management device, management system, management method and program.
  • Non-Patent Document 1 value-added time (operating rate/operating time) and waste time in the assembly and inspection process in a factory are automatically measured from the position of the "hand" captured by the camera, and are calculated on a numerical basis. There is a statement to support on-site Kaizen.
  • Non-Patent Document 2 describes platform software that converts skeletal information (postures such as body orientation and hand movements) into data from images taken with a camera or recorded, and recognizes actions.
  • Non-Patent Document 2 describes the patent numbers of Patent Documents 1 to 3.
  • Patent Document 1 describes a technique for analyzing the posture of a worker.
  • Patent Literature 2 describes a technique for detecting an unsafe whole-body posture.
  • Patent Literature 3 describes a technique for managing hand washing of medical personnel.
  • Patent Document 4 describes a technique for reducing the burden on the creator regarding the target image when creating a report using the target image.
  • the moving image editing apparatus described in Patent Document 4 includes recognition means for recognizing an object appearing in a predetermined period in the moving image, and registration means for registering the object recognized by the recognition means in association with the period. and display means for displaying, when information is received, an image in which the target identified by the information is recognized for a period associated with the target.
  • Japanese Patent Laid-Open No. 2005-101000 calculates feature amounts for each of a plurality of key points of a human body included in an image, and searches for images containing human bodies with similar postures or similar movements based on the calculated feature amounts. A technique for grouping and classifying objects with similar postures and movements is described.
  • Non-Patent Document 3 describes a technique related to human skeleton estimation.
  • Patent Documents 1 to 5 and Non-Patent Documents 1 to 3 do not describe a technique for supporting the optimization of the entire work in the work area where one or more workers work.
  • One example of the object of the present invention is to provide a management device, management system, management method, and program that solve the difficulty of supporting optimization of the entire work in the work area in view of the above-mentioned problems.
  • master storage means for storing master information that associates a predetermined appearance of a worker or a group of workers performing work with the type of work; Types of work performed by each of the one or more workers based on the master information and appearance information about the appearance of one or more workers obtained by analyzing a video of the work area Estimating means for estimating a management device is provided.
  • the management device includes a photographing device that photographs the work area and transmits image data including a photographed image of the work area.
  • the computer storing in the master storage means master information that associates a predetermined appearance of one worker or a group of workers who perform the work with the type of the work; Types of work performed by each of the one or more workers based on the master information and appearance information about the appearance of one or more workers obtained by analyzing a video of the work area
  • a management method is provided that includes estimating the .
  • the computer storing master information that associates a predetermined appearance of a single worker or a group of workers performing work with the type of work; Types of work performed by each of the one or more workers based on the master information and appearance information about the appearance of one or more workers obtained by analyzing a video of the work area A program is provided for estimating the .
  • FIG. 4 is a flowchart showing an overview of management processing according to the first embodiment of the present invention
  • 1 is a diagram showing a configuration example of a management system according to Embodiment 1 together with a diagram of a work area A viewed from above
  • FIG. 4 is a diagram showing an example of master information according to the first embodiment
  • FIG. 3 is a diagram illustrating a detailed example of a functional configuration of an estimating unit according to Embodiment 1
  • FIG. 4 is a diagram showing an example of history information according to the first embodiment
  • FIG. 3 is a diagram illustrating a physical configuration example of a management device according to Embodiment 1;
  • FIG. 6 is a flowchart showing a detailed example of estimation processing according to the first embodiment; It is a figure which shows an example of tagging.
  • 4 is a flowchart showing an example of output processing according to Embodiment 1 of the present invention; It is an example of the screen which displayed history information on the display part.
  • FIG. 10 is a diagram showing a configuration example of a management system according to Embodiment 2 of the present invention together with a view of a work area A viewed from above;
  • FIG. 10 is a diagram showing a configuration example of a management system according to Embodiment 2 of the present invention together with a view of a work area A viewed from above;
  • FIG. 10 is a diagram showing a configuration example of a management system according to Embodiment 3 of the present invention together with a diagram of a work area A viewed from above;
  • FIG. 12 is a diagram showing an example of master information according to the third embodiment;
  • FIG. 13 is a diagram illustrating a detailed example of a functional configuration of an estimating unit according to Embodiment 3;
  • FIG. 11 is a diagram showing a configuration example of a management system according to Embodiment 4 of the present invention together with a diagram of a work area A viewed from above;
  • FIG. 13 is a diagram showing an example of a configuration of worker information according to Embodiment 4;
  • FIG. 13 is a diagram showing an example of the configuration of unregistered information according to Embodiment 4;
  • FIG. 13 is a diagram showing a detailed example of a functional configuration of an estimating unit according to the fourth embodiment;
  • FIG. 14 is a flowchart showing an example of management processing according to the fourth embodiment;
  • FIG. 1 is a diagram showing an overview of a management system 100 according to the first embodiment.
  • the management system 100 includes an imaging device 101 and a management device 102 .
  • the photographing device 101 photographs the working area and transmits video data including the photographed image of the working area.
  • the management device 102 includes a master storage unit 103 for storing master information 103a and an estimation unit 104.
  • the master information 103a associates a predetermined appearance of one worker or a group of workers performing the work with the type of work.
  • the estimating unit 104 estimates each of the one or more workers based on the appearance information about the appearance of the one or more workers obtained by analyzing the video of the work area and the master information 103a. Estimate the type of work performed by
  • this management system 100 it is possible to support optimization of the entire work performed by one or more workers.
  • this management device 102 it becomes possible to support optimization of the entire work performed by one or more workers.
  • FIG. 2 is a flowchart showing an outline of management processing according to the first embodiment.
  • the management device 102 causes the master storage unit 103 to store master information 103a that associates a predetermined appearance of a single worker or a group of workers performing the work with the type of work (step S101).
  • the management device 102 Based on the master information 103a, the management device 102, based on the appearance information about the appearance of one or more workers obtained by analyzing the video of the work area, and the master information 103a presumes the type of work performed by (step S102).
  • FIG. 3 is a diagram showing a configuration example of the management system 100 according to the first embodiment of the present invention together with a view of the work area A from above.
  • Fig. 3 shows an example of a worker Pa performing work A in a work area A set in a manufacturing factory for foodstuffs, electronic equipment, etc., viewed from above.
  • Work A is a work of attaching three predetermined parts to the semi-finished product M1 that is placed on the conveyor C and moves in the direction of the arrow AR (to the right in the figure).
  • step A1, step A2, and step A3 to sequentially attach the parts to the semi-finished product M1 one by one while moving from the position X1 to the position X3 in the workplace X along the conveyor C. Repeat by yourself.
  • the worker Pa is one of the workers P who work in the work area A.
  • the number of workers P may be one or more.
  • An example of group work in which a plurality of workers work together will be described later in another embodiment.
  • work A is an example of work.
  • Work is not limited to assembly work.
  • the work may be, for example, transportation work of parts, semi-finished products, products, etc., inspection work, etc., and is not limited to work in a manufacturing factory.
  • the work may consist of one or more steps that are defined as appropriate.
  • the work area A may be an area for performing one or more types of work, and the place where it is set is not limited to a manufacturing factory for foods, electronic equipment, etc.
  • Work area A may include multiple work stations.
  • the management system 100 is a system for managing work in the work area.
  • the management system 100 includes the imaging device 101 and the management device 102 as described above.
  • the imaging device 101 and the management device 102 are connected to each other via a network N.
  • FIG. Network N is a communication network configured by wire, wireless, or a combination thereof. Therefore, the imaging device 101 and the management device 102 can transmit and receive information, data, etc. to and from each other via the network N.
  • FIG. 1 is a communication network configured by wire, wireless, or a combination thereof. Therefore, the imaging device 101 and the management device 102 can transmit and receive information, data, etc. to and from each other via the network N.
  • the photographing device 101 is a device for photographing the work area A.
  • the imaging device 101 is, for example, a camera.
  • the imaging device 101 images the work area A.
  • the image capturing device 101 captures an image of the work area A and generates image data including an image of the work area A captured.
  • the imaging device 101 transmits video data to the management device 102 via the network N.
  • FIG. The video preferably includes a full-body image of the worker P in the work area A.
  • the imaging device 101 continuously images the work area A.
  • the frame rate at which the imaging device 101 captures images may be set as appropriate.
  • the image capturing apparatus 101 continuously generates image data including frame images generated in each image capturing.
  • the imaging device 101 generates video data including a video (moving image) composed of a plurality of frame images.
  • the management device 102 is a device for managing work in the work area A.
  • the master storage unit 103 is a storage unit for storing master information 103a.
  • the master information 103a is information indicating criteria for determining the type of work performed by the worker P.
  • FIG. 4 is a diagram showing an example of the master information 103a according to this embodiment.
  • the master information 103a associates work types, appearances (master appearance information), workplaces, process IDs (identifiers), and work positions/postures.
  • the type of work is information for identifying the type of work.
  • the master appearance information is information indicating the predetermined appearance of the worker P who performs the work.
  • the master appearance information includes at least one of information indicating at least one of worker P's whole body, clothing, posture, and behavior, and information indicating articles used for work.
  • the action is at least one of posture change or transition, movement (position change or transition), and the like.
  • Information included in the master appearance information is, for example, an image and an image feature amount.
  • a workplace is information that indicates the location where work is performed.
  • the workplace is information indicating the range in which the worker P who performs the work is working.
  • the workplace may be represented by an extent in the image or may be represented by an extent in real space.
  • the process ID is information for identifying each process included in the work.
  • the work position/work posture is information that includes the work position or work posture.
  • the work location is information that indicates the location where each process included in the work is performed.
  • the work position is information indicating the range in which the worker P who performs each process included in the work is during the work of the process.
  • the working position may be indicated by a range within the image, or may be indicated by a range in real space.
  • the work posture is information that indicates the posture in each process involved in the work.
  • Information included in the working posture is, for example, an image or an image feature amount.
  • the work position/work posture should include the work position.
  • the work position/work posture may include the work posture.
  • the master information 103a shown in FIG. 4 includes, for example, information indicating that the predetermined appearance of the work "work A” is “appearance A” and the workplace is “workplace X”.
  • the master information 103a shown in FIG. 4 includes three processes whose process IDs are “process A1” to “process A3” for the work "work A”, and the respective work positions are “position X1” to " position X3”.
  • the appearance A includes information indicating the clothes in which the hat is worn.
  • the appearance B includes an image or an image feature amount showing the clothes in which the orange work clothes are worn.
  • Appearance B includes an image or an image feature amount representing a cart, which is an article.
  • appearance C includes information indicating at least one of posture, change in posture, and transition in posture.
  • work position/work posture includes the work position. Since the work C involves a change in posture, the "work position/work posture” includes the work posture.
  • the estimating unit 104 estimates the one or more workers based on the appearance information about the appearance of the one or more workers P obtained by analyzing the image of the work area A and the master information 103a. Estimate the type of work each of the
  • FIG. 5 is a diagram showing a detailed example of the functional configuration of the estimation unit 104 according to this embodiment.
  • the estimation unit 104 includes an analysis unit 111 , a work estimation unit 112 and a history generation unit 113 .
  • the analysis unit 111 acquires video data generated by the imaging device 101 from the imaging device 101 via the network N.
  • the analysis unit 111 analyzes the video included in the acquired video data, that is, the video of the work area A captured.
  • the analysis unit 111 has one or more analysis functions that perform processing (analysis processing) for analyzing video.
  • the analysis functions provided by the analysis unit 111 include (1) an object detection function, (2) a face analysis function, (3) a human shape analysis function, (4) a posture analysis function, (5) a behavior analysis function, and (6) an appearance attribute. (7) gradient feature analysis function; (8) color feature analysis function; (9) flow line analysis function;
  • the object detection function detects objects from images.
  • the object detection function can also determine the location of objects within an image.
  • Models applied to object detection processing include, for example, YOLO (You Only Look Once).
  • the object detection function detects, for example, a worker P, an article, and the like. Also, for example, the object detection function obtains the positions of the worker P, the article, and the like.
  • object includes people and things, and the same applies hereinafter.
  • the face analysis function detects a human face from an image, extracts the feature quantity (face feature quantity) of the detected face, and classifies (classifies) the detected face.
  • the face analysis function can also determine the location within the image of the face.
  • the face analysis function can also determine the identity of persons detected from different images based on similarities between facial feature amounts of persons detected from different images.
  • the human shape analysis function extracts the human body feature values of the person included in the image (for example, values indicating overall characteristics such as body weight, height, clothing, etc.), Classification (classification) is performed.
  • the human shape analysis function can also identify a person's location within an image.
  • the human shape analysis function can also determine the identity of a person included in different images based on the human body feature amount of the person included in the different images.
  • the posture analysis function detects a person's joint points from the image and creates a stick figure model by connecting the joint points.
  • the posture analysis function uses the information of the stick figure model to estimate the posture of the person, extract the feature value of the estimated posture (posture feature value), and classify the person included in the image (classification). conduct.
  • the posture analysis function can also determine the identity of a person included in different images based on the posture feature amount of the person included in the different images.
  • the posture analysis function estimates postures such as a standing posture, a squatting posture, and a crouching posture from an image, and extracts posture feature values that indicate each posture. Further, for example, the posture analysis function can estimate the posture of an article detected using an object detection function or the like from an image, and extract a posture feature quantity indicating the posture.
  • Patent Document 5 and Non-Patent Document 3 can be applied to the posture analysis function.
  • Behavior analysis processing uses stick figure model information, changes in posture, etc. to estimate human movement, extract the feature amount of the person's movement (movement feature amount), and classify the person included in the image. (classification) and the like can be performed.
  • the behavioral analysis process can also use information from the stick figure model to estimate a person's height or locate the person within an image.
  • an action such as a change or transition in posture or movement (change or transition in position) can be estimated from an image, and a motion feature amount of the action can be extracted.
  • the appearance attribute analysis function can recognize appearance attributes attached to people.
  • the appearance attribute analysis function extracts feature amounts (appearance attribute feature amounts) related to recognized appearance attributes, and classifies (classifies) people included in images.
  • Appearance attributes are appearance attributes, and include, for example, one or more of clothing color, shoe color, hairstyle, wearing or not wearing hats, ties, eyeglasses, and the like.
  • the gradient feature analysis function extracts the gradient feature amount (gradient feature amount) in the image.
  • Techniques such as SIFT, SURF, RIFF, ORB, BRISK, CARD, and HOG can be applied to the gradient feature detection process.
  • the color feature analysis function can detect an object from an image, extract the color feature amount (color feature amount) of the detected object, and classify (classify) the detected object.
  • a color feature value is, for example, a color histogram.
  • the color feature analysis function can detect, for example, people included in the image, items used for work. Also, for example, the color feature analysis function can be used to classify articles into conveyors C, workbenches, parts, semi-finished products, finished products, packages to be transported, tools/instruments/equipment (for example, carts/trolleys for transporting packages, screws). drivers) can be categorized into classes such as
  • the flow line analysis function uses, for example, the result of identity determination in any of the above analysis functions (2) to (6) to determine the flow line (movement trajectory) of the person included in the video. can ask. Specifically, for example, by connecting a person determined to be the same between different images in chronological order, it is possible to obtain the flow line of the person. Note that the flow line analysis function can also obtain a flow line across a plurality of images shot in different shooting areas, for example, when images shot by a plurality of shooting devices 101 shooting different shooting areas are acquired. .
  • the image features include, for example, object detection results, facial features, human body features, posture features, movement features, appearance attribute features, gradient features, color features, and flow lines. include.
  • each of the analysis functions (1) to (9) may appropriately use the results of analysis performed by other analysis functions.
  • the analysis unit 111 analyzes the image of the work area A and detects objects (worker P and articles) included in the image. In addition, the analysis unit 111 generates appearance information regarding the detected appearance of the worker P.
  • FIG. Appearance information is time-series information about the appearance of the worker.
  • Appearance information includes at least one of information indicating at least one of worker P's whole body, clothing, posture, and behavior, and information indicating articles used for work.
  • Information included in the appearance information is, for example, an image or an image feature amount.
  • the work estimation unit 112 estimates the type of work performed by the worker P based on the appearance information generated by the analysis unit 111 and the master information 103a.
  • the work estimation unit 112 estimates the work time of the worker P based on the appearance information generated by the analysis unit 111 and the master information 103a.
  • the work time of the worker P is the time related to the work that the worker P performs.
  • Work time includes time related to working hours, time related to actual work time, and time related to process execution time.
  • the working hours are the hours during which the worker P is working, for example, the hours during which the worker P is in the work area A with a predetermined appearance.
  • the actual work time is the time during which the worker P is actually performing the work, for example, the time during which the worker P stays in the work area according to the work with a predetermined appearance.
  • the process execution time is the time during which the worker P executes each process, and is the time during which the work position or work posture corresponding to each process is maintained.
  • the time for each of working hours, actual work hours, and process execution time includes start time and end time.
  • work time is not limited to this, and may be, for example, a time related to one or two of working hours, actual work hours, and process execution time.
  • the history generation unit 113 generates history information 105a based on the results estimated by the work estimation unit 112 .
  • FIG. 6 is a diagram showing an example of the history information 105a according to this embodiment.
  • the history information 105a is information indicating the history of the worker P's work.
  • the history information 105a according to this embodiment includes the worker ID, the type of work, the time related to working hours, the time related to actual work time, and the time related to process execution time.
  • the worker ID included in the history information 105a is information for identifying the worker P.
  • a worker ID may be given as appropriate.
  • the type of work included in the history information 105a is the type of work performed by the associated worker P.
  • the type of work is the type of work estimated by the work estimation unit 112 .
  • the history information 105a shown in FIG. 6 includes an example of the history of "work A” performed by worker Pa whose worker ID is "Pa". History information 105a shown in FIG. 6 indicates that worker Pa's working hours are from “ST1" to "ST2", and that there was actual working hours from "WT1" to "WT2" during that time. It also indicates that steps A1 to A3 were performed during this actual work time. For example, "WT1" to "WT2" are examples of times related to the process execution time of process A1 performed first in the actual work time.
  • the history information 105a may include times related to a plurality of actual working hours for one working hour, since the worker P may take a break. In addition, since the process included in the work is usually repeated multiple times during one actual work time, the history information 105a may include times related to multiple process execution times for one actual work time.
  • the history storage unit 105 is a storage unit for storing history information 105a.
  • the management unit 106 generates management information for supporting work management in the work area A based on the history information 105a. For example, the management unit 106 statistically processes the history information 105a to generate management information.
  • the display unit 107 displays various information.
  • the output control unit 108 performs control for outputting information.
  • the output control unit 108 may cause the display unit 107 to display information, or may output electronic data including information.
  • the output control unit 108 causes the display unit 107 to display the history information 105a, management information, and the like.
  • the output control unit 108 outputs electronic data including history information 105a, management information, and the like.
  • the input reception unit 109 receives user input.
  • a management system 100 is physically composed of an imaging device 101 and a management device 102 connected via a network N.
  • Each of the imaging device 101 and the management device 102 is composed of a physically different single device.
  • the management device 102 may be physically composed of a plurality of devices connected via an appropriate communication line such as the network N.
  • the imaging device 101 and the management device 102 may be physically configured as a single device. If the management system 100 includes a plurality of imaging devices 101, one or more of the imaging devices 101 may include at least part of the management device 102, for example.
  • the management device 102 is physically a general-purpose computer, for example.
  • the management device 102 physically has a bus 1010, a processor 1020, a memory 1030, a storage device 1040, a network interface 1050, an input interface 1060 and an output interface 1070, as shown in FIG.
  • the bus 1010 is a data transmission path for the processor 1020, memory 1030, storage device 1040, network interface 1050, input interface 1060 and output interface 1070 to transmit and receive data to and from each other.
  • the method of connecting processors 1020 and the like to each other is not limited to bus connection.
  • the processor 1020 is a processor realized by a CPU (Central Processing Unit), a GPU (Graphics Processing Unit), or the like.
  • the memory 1030 is a main memory implemented by RAM (Random Access Memory) or the like.
  • the storage device 1040 is an auxiliary storage device realized by a HDD (Hard Disk Drive), SSD (Solid State Drive), memory card, ROM (Read Only Memory), or the like.
  • the storage device 1040 stores program modules for implementing the functions of the management device 102 .
  • the processor 1020 loads each of these program modules into the memory 1030 and executes them, thereby implementing the functions corresponding to the program modules.
  • the network interface 1050 is an interface for connecting the management device 102 to the network N.
  • the input interface 1060 is a touch panel, keyboard, mouse, etc. as an interface for the user to input information.
  • the output interface 1070 is a liquid crystal panel, an organic EL (Electro-Luminescence) panel, or the like as an interface for presenting information to the user.
  • Output interface 1070 configures display unit 107 .
  • the output interface 1070 may be built in the management device 102 or may be provided outside the management device 102 .
  • Management processing is processing for managing work in the work area A.
  • FIG. 2 The management device 102 starts management processing, for example, upon receiving a start instruction from the user.
  • the input reception unit 109 causes the master storage unit 103 to store the master information 103a according to the user's input (step S101).
  • the input reception unit 109 may execute step S101 when performing initial settings when using the management device 102 for the first time, changing the master information 103a, and the like. Therefore, the input receiving unit 109 may execute step S101, for example, when requested by the user.
  • the estimation unit 104 estimates the type of work performed by the worker P based on the master information 103a and appearance information about the appearance of the worker P obtained by analyzing the image of the work area A (step S102).
  • FIG. 8 is a flowchart showing a detailed example of the estimation process (step S102) according to this embodiment.
  • the analysis unit 111 acquires the video data generated by the imaging device 101 from the imaging device 101 via the network N (step S102a).
  • the analysis unit 111 acquires video data for a predetermined period from the imaging device 101 at a predetermined time.
  • the predetermined period may be determined as appropriate, and is, for example, one day.
  • the predetermined time may be determined as appropriate, and is, for example, a time when work is not being performed in the work area A.
  • the video data is a moving image composed of multiple frame images.
  • the video data includes the shooting time of each frame image.
  • the analysis unit 111 may acquire video data from the imaging device 101 in real time. In this case, the analysis unit 111 may hold video data for a predetermined period. The analysis unit 111 may acquire the video data from the imaging device 101 via a device that holds the video data. The analysis unit 111 may acquire video data not only through the network N but also through a storage medium.
  • the analysis unit 111 analyzes the video included in the video data acquired in step S102a, that is, the video of the work area A captured, and detects an object included in the video (step S102b).
  • the analysis unit 111 detects the worker Pa, the conveyor C, and the like when analyzing the image of the work area A shown in FIG.
  • the analysis unit 111 repeatedly executes steps S102d to S102g for all workers P detected in step S102c (loop A; step S102c).
  • the analysis unit 111 assigns a worker ID to the worker P to be processed and tags it (step S102d).
  • the analysis unit 111 assigns the same worker ID to the same worker P included in a plurality of frame images, based on the result of person identity determination using, for example, facial feature amounts.
  • the analysis unit 111 tags the image of the worker P who is the processing target included in each frame image.
  • the analysis unit 111 attaches a mark (for example, a rectangular frame) indicating the image area of the worker P, and associates the mark with the worker ID.
  • FIG. 9 is a diagram showing an example of tagging.
  • FIG. 9 shows an example in which the image of the worker Pa is surrounded by a rectangular frame mark, and the worker ID "Pa" of the worker Pa is associated with the frame.
  • the analysis unit 111 may detect a specific action instructed by the user and tag the image of the worker performing the specific action.
  • the tag may contain information (eg, text, mark, symbol, etc.) indicating a specific action instructed by the user.
  • the analysis unit 111 analyzes the video included in the video data acquired in step S102a, that is, the video of the work area A, and generates appearance information of the worker P to be processed (step S102e).
  • the analysis unit 111 analyzes video using an object detection function, a human figure analysis function, a posture analysis function, an appearance attribute analysis function, a color feature analysis function, and the like. Using the output results of these functions, the analysis unit 111 acquires appearance information indicating the whole body, clothing, posture, behavior, articles, etc. of the worker P to be processed.
  • the work estimation unit 112 estimates the type of work performed by the worker P to be processed (step S102f).
  • the work estimation unit 112 identifies master appearance information that matches the appearance information acquired in step S102e.
  • “matching” means substantially matching, and includes cases where they differ within a predetermined range.
  • the work estimation unit 112 identifies the type of work associated with the identified master appearance information in the master information 103a.
  • the work estimation unit 112 estimates that the identified type of work is the type of work performed by the worker P to be processed.
  • the master appearance information includes appearances A to C.
  • the work estimating unit 112 identifies, among the appearances A to C, master appearance information that matches the appearance information of the worker Pa to be processed.
  • the work estimation unit 112 estimates that the work A associated with the appearance A in the master information 103a is the type of work performed by the worker Pa.
  • the work estimation unit 112 estimates the work time of the work performed by the worker P based on the appearance information acquired in step S102c and the master information 103a (step S102g).
  • the work estimation unit 112 identifies a frame image that appears in the video for the first time with an appearance corresponding to the type of work estimated in step S102f.
  • the work estimation unit 112 estimates the shooting time of the frame image as the start time of working hours.
  • the work estimation unit 112 identifies the last frame image appearing in the video with an appearance corresponding to the type of work estimated in step S102f.
  • the work estimation unit 112 estimates the shooting time of the frame image as the end time of working hours.
  • the work estimating unit 112 identifies a group of frame images in the workplace X with an appearance corresponding to the type of work estimated in step S102f. At this time, if there are multiple actual work times, the work estimation unit 112 identifies multiple frame image groups.
  • the work estimation unit 112 estimates the shooting time of the first frame image of each of the identified one or more frame image groups as the start time of the actual work time.
  • the work estimation unit 112 estimates the shooting time of the last frame image of each of the identified one or more frame image groups as the end time of the actual work time.
  • the work estimator 112 identifies the first frame image corresponding to the work position or work posture for each of the one or more frame image groups identified for estimating the time related to the actual work time.
  • the work estimation unit 112 estimates the shooting time of the frame image as the start time of the process corresponding to the work position or the work posture.
  • the work estimating unit 112 determines, for each of the one or a plurality of frame image groups specified for estimating the time related to the actual work time, the work position or work posture corresponding to the next step. Identify the frame image whose posture has changed. The work estimation unit 112 estimates the shooting time of the frame image as the end time of the previous process and the start time of the next process.
  • the work estimating unit 112 identifies the first frame image corresponding to “position X1” for each of the one or more frame image groups identified for estimating the time related to the actual work time.
  • the work estimation unit 112 estimates the shooting time of the frame image as the start time of "step A1".
  • the work estimating unit 112 selects each of the one or more frame image groups specified for estimating the time related to the actual work time. Identify an image.
  • the work estimating unit 112 estimates the shooting time of the frame image as the end time of the previous process "process A1" and the start time of the next process "process A2".
  • the work estimation unit 112 sequentially repeats such processing up to the last frame image of each of one or a plurality of frame image groups.
  • the work estimating unit 112 calculates the photographing time of the last frame image of each of one or a plurality of frame image groups as the process corresponding to the work position in the frame image A3”) is estimated to be the end time.
  • the work estimating unit 112 identifies the first frame image corresponding to the “posture Z1” for each of the one or more frame image groups identified for estimating the time related to the actual work time.
  • the work estimation unit 112 estimates the shooting time of the frame image as the start time of "process C1".
  • the work estimating unit 112 determines the frames in which the work posture has changed from “posture Z1” to “posture Z2” for each of the one or a plurality of frame image groups specified for estimating the time related to the actual work time. Identify an image.
  • the work estimating unit 112 estimates the shooting time of the frame image as the end time of the previous process "process C1" and the start time of the next process "process C2".
  • the work estimation unit 112 sequentially repeats such processing up to the last frame image of each of one or a plurality of frame image groups.
  • the work estimating unit 112 calculates the photographing time of the last frame image of each of one or a plurality of frame image groups as the process corresponding to the work posture in the frame image C2”) is estimated to be the end time.
  • step S102c After executing steps S102d to S102g for all workers P detected in step S102c, the analysis unit 111 ends loop A (step S102c).
  • the analysis unit 111 generates the history information 105a based on the results of steps S102f to S102g executed for each of the one or more workers P (step S102h).
  • the analysis unit 111 generates history information 105a for each worker P as shown in FIG.
  • the analysis unit 111 causes the history storage unit 105 to store the generated history information 105a.
  • the analysis unit 111 returns to the management process (see FIG. 2) and repeatedly executes the estimation process (step S102).
  • output processing 10 is a flowchart illustrating an example of output processing according to the first embodiment; FIG. The output process is a process of statistically processing and outputting the history information 105a.
  • the management unit 106 generates management information based on the history information 105a, such as performing statistical processing on the history information 105a (step S111).
  • the management unit 106 obtains the number of workers P who perform the same type of work, and generates management information including the number of workers. Further, for example, the management unit 106 obtains the number of workers P who perform the same type of work for each time slot, and generates management information including the number of workers P for each time slot.
  • the statistical processing in step S111 may be variously changed.
  • the management unit 106 obtains at least one of the required time of each process performed by each worker in each actual work time, the ratio of the required time, etc., and calculates the required time of each process, the ratio of the required time, etc. generating management information including at least one of
  • the output control unit 108 outputs information such as the history information 105a and management information according to the user's instruction (step S112).
  • the output control unit 108 causes the display unit 107 to display the information by outputting the information to the display unit 107 . Further, for example, the output control unit 108 stores electronic data including information in a storage location specified by the user in a storage unit (not shown) of the management device 102, or transmits the electronic data to a destination specified by the user. do.
  • FIG. 11 is an example of a screen displaying the history information 105a on the display unit 107.
  • FIG. The figure includes an example in which detailed information on the actual work time is displayed when the cursor is placed on the line indicating the actual work time being displayed.
  • the figure shows an example in which the detailed information is the ratio of the time required for each process to the actual work time.
  • the history information 105a can be statistically processed, and the management information necessary for optimizing the entire work in the work area A can be obtained. Therefore, it becomes possible to support the optimization of the entire work in the work area.
  • information such as the history information 105a and management information can be output in a manner that is easy for the user to view. Therefore, it becomes possible to support the optimization of the entire work in the work area.
  • the management device 102 includes a master storage unit 103 for storing master information 103 a and an estimation unit 104 .
  • the master information 103a associates the predetermined appearance of the worker P who performs the work with the type of work.
  • the estimating unit 104 based on the appearance information about the appearance of one or more workers obtained by analyzing the image of the work area A, and the master information 103a, the one or more workers Estimate the type of work each does.
  • history information 105a including the types of work performed in work area A can be accurately collected and managed.
  • the history information 105a can be used to optimize the entire work in the work area A. FIG. Therefore, it becomes possible to support the optimization of the entire work in the work area A.
  • the predetermined appearance includes information indicating the whole body, clothing, posture, and behavior of the worker P who performs the work, and information indicating the articles used for the work. including at least one.
  • the workers P who perform the work often wear the prescribed clothes determined by the manufacturing factory.
  • Predetermined clothes are, for example, work clothes, uniforms, caps, shoes, etc., determined according to the work performed by the worker P.
  • the colors may differ depending on the work performed by the worker P. Whether or not to wear a hat is often determined according to the work performed by the worker P.
  • the color of the hat may differ according to the work performed by the worker P.
  • Shoes may be defined as safety shoes, work shoes, clean room shoes, or the like, depending on the work that the worker P performs. In this case, the color of the shoes may differ depending on the work performed by the worker P.
  • At least one of posture and behavior is often patterned in a certain pattern, such as moving within a certain range or repeating standing and crouching.
  • the articles are, for example, conveyors C, workbenches, parts, semi-finished products, products, cargo to be transported, tools/instruments/equipment (for example, carts/trucks for transporting cargo, drivers for screwing).
  • the type of work performed by the worker P can be estimated based on the video. can be done. Therefore, it becomes possible to support the optimization of the entire work in the work area A.
  • the management device 102 includes the management unit 106 that outputs management information based on the result estimated by the estimation unit 104 .
  • the management information includes the number of workers who do the same type of work.
  • the management information includes the number of workers who perform the same type of work by time slot.
  • the information about the whole body of the worker P can include information indicating clothing, posture, and the like.
  • the information about the whole body of the worker P can include a plurality of pieces of information. It is possible to reduce the time and effort for setting. Therefore, it is possible to support the optimization of the entire work in the work area A while reducing the user's trouble.
  • the estimation unit 104 further estimates the work time of each of one or more workers P based on the appearance information and the master information 103a.
  • history information 105a including work time can be accurately collected and managed.
  • the history information 105a can be used to optimize the entire work in the work area. Therefore, it becomes possible to support the optimization of the entire work in the work area A.
  • the video includes a full-body image of the worker P in the work area A.
  • the image may not include the worker P's face with sufficient clarity to determine the identity of the person based on the facial feature amount.
  • the video contains the full-body image of the worker P
  • the identity of the person can be determined using, for example, the human body feature amount, hairstyle, and physique.
  • the history information 105a including the types of work performed in the work area A can be accurately and reliably collected and managed. Therefore, optimization of the entire work in the work area A can be further supported.
  • FIG. 12 is a diagram showing a configuration example of a management system 200 according to Embodiment 2 of the present invention together with a view of a work area A viewed from above.
  • this embodiment in order to simplify the explanation, explanations that overlap with the first embodiment will be omitted as appropriate, and differences from the first embodiment will be mainly explained.
  • the management system 200 includes multiple imaging devices 101 and a management device 102 .
  • a plurality of photographing devices 101 are devices for photographing the entire work area A.
  • a plurality of photographing devices 101 photograph the work area A from different directions.
  • Each of the plurality of imaging devices 101 is the same as the imaging device 101 according to the first embodiment.
  • the estimating unit 104 calculates the relevant The type of work performed by each of the one or more workers is estimated.
  • the management system 200 may be functionally and physically configured similarly to the management system 100 according to the first embodiment. Moreover, the management system 200 may operate similarly to the management system 100 according to the first embodiment.
  • the estimating unit 104 based on the appearance information about the appearance of one or more workers obtained by analyzing a plurality of images of the work area A and the master information 103a, The type of work performed by each of the one or more workers is estimated.
  • the plurality of images are images of the work area A photographed from different directions.
  • the history information 105a including the types of work performed in the work area A can be accurately and reliably collected and managed. Therefore, optimization of the entire work in the work area A can be further supported.
  • FIG. 13 is a diagram showing a configuration example of the management system 300 according to Embodiment 3 of the present invention together with a view of the work area A from above.
  • a management system 300 includes an imaging device 101 similar to that of the first embodiment, and a management device 302 that replaces the management device 102 according to the first embodiment.
  • the management device 302 includes a history storage unit 105, a management unit 106, a display unit 107, an output control unit 108, and an input reception unit 109 similar to those in the first embodiment.
  • the management device 302 includes a master storage unit 303 and an estimation unit 304 instead of the master storage unit 103 and the estimation unit 104 according to the first embodiment.
  • the master storage unit 303 is a storage unit for storing master information 303a, as in the first embodiment.
  • the master information 303a is information indicating criteria for determining the type of work performed by the worker P.
  • the master information 303a differs from the master information 103a according to the first embodiment in that it includes master information 303a about group work.
  • FIG. 14 is a diagram showing an example of the master information 303a according to this embodiment.
  • the master information 303a associates a predetermined appearance of the worker P who performs the work with the type of work. In addition to this, the master information 303a associates a predetermined appearance of the worker group performing the work with the type of work.
  • a worker group is a group consisting of multiple workers who work together.
  • the master appearance information for group work includes at least one of the number of workers P constituting the worker group and the positional relationship in addition to the same appearance as in the first embodiment. including one.
  • the master information 303a shown in FIG. 14 includes information that associates "Work D", which is a group work, with the master appearance information, the same workplace, process ID, and work position/posture as in the first embodiment.
  • the master appearance information associated with "work D" is information indicating at least one of the whole body, clothing, posture, and behavior of each of the plurality of workers constituting the worker group, and items used for the work. at least one of:
  • this master appearance information includes the number of workers and the positional relationship of a plurality of workers forming the worker group.
  • FIG. 14 shows an example in which the number of people is "two" and the positional relationship is "face each other at a distance of XX pixels or less".
  • "00 pixels” is an example of representing the distance by the number of screen pixels (distance within the screen). The distance may be represented by a distance in real space.
  • the estimating unit 304 calculates the relevant The type of work performed by each of the one or more workers is estimated.
  • FIG. 15 is a diagram showing a detailed example of the functional configuration of the estimation unit 304 according to this embodiment.
  • the estimation unit 304 includes a history generation unit 113 similar to that of the first embodiment, and an analysis unit 311 and a work estimation unit 312 that replace the analysis unit 111 and the work estimation unit 112 according to the first embodiment.
  • the analysis unit 311 uses the analysis function to analyze the image of the work area A and detect objects (worker P and articles) included in the image. In addition, the analysis unit 311 generates appearance information regarding the detected appearance of the worker P, as in the first embodiment.
  • Appearance information includes at least one of the positional relationship and the number of workers P when a plurality of workers P are included in the same frame image.
  • the appearance information includes the distances between the multiple workers P (for example, the distance in the screen, the distance in the real space), the orientation of each of the multiple workers P, and the like.
  • the work estimation unit 312 estimates the type of work performed by the worker P based on the appearance information generated by the analysis unit 111 and the master information 303a.
  • the work estimating unit 312 includes information indicating at least one of the whole body, clothing, posture, and behavior of the worker P, and information about the work, which are included in the appearance information and the master appearance information. and information indicating the item used for the work.
  • the work estimation unit 312 When the appearance information includes at least one of the positional relationship and the number of workers P, the work estimation unit 312 according to the present embodiment further determines that at least one of the number of workers and the positional relationship included in the appearance information and the master appearance information Based on this, estimate the type of work for group work.
  • management system 300 may be functionally and physically configured similarly to the management system 100 according to the first embodiment.
  • step S102e the analysis unit 311 analyzes the image of the work area A and obtains the appearance information including the whole body, clothes, posture, behavior, articles, etc. similar to the first embodiment. Generate. In addition to this, when there is a frame image including the worker P to be processed and other workers P, the analysis unit 311 determines at least the positional relationship and the number of workers P Generate appearance information containing one.
  • step S102f the work estimation unit 112 estimates the type of work performed by the worker P, who is the processing target, based on the appearance information acquired in step S102e and the master information 103a, as in the embodiment. .
  • the work estimation unit 312 determines the group work based on the appearance information and the master appearance information. Estimate the type of
  • the work estimation unit 312 identifies master appearance information whose number, whole body, clothing, posture, behavior, articles, etc. match the appearance information. Further, for example, when the appearance information includes the positional relationship of the worker P, the work estimation unit 312 identifies master appearance information whose positional relationship, whole body, clothing, posture, behavior, articles, etc. match the appearance information.
  • the work estimation unit 312 identifies master appearance information that matches the appearance information, such as the number of workers, positional relationships, whole bodies, clothing, postures, behaviors, and articles. do.
  • the work estimation unit 312 performs information other than the number of people and the positional relationship (whole body, clothing, posture, behavior, items, etc.) to identify master appearance information that matches the appearance information.
  • the work estimation unit 312 identifies the type of work associated with the identified appearance information in the master information 103a.
  • the work estimation unit 112 estimates that the identified type of work is the type of work performed by the worker P to be processed.
  • management processing according to this embodiment may be the same as the management processing according to the first embodiment.
  • the master information 103a associates a predetermined appearance of a worker group that performs a task with the type of the task.
  • a worker group consists of a plurality of workers who work together.
  • the predetermined appearance (master appearance information) for the worker group that performs the work includes at least one of the number of workers and the positional relationship of the plurality of workers forming the worker group.
  • a predetermined worker P often enters and exits the work area A.
  • a person other than the predetermined worker P may enter and exit the work area A.
  • an example of processing when a person other than the predetermined worker P is included in the image of the work area A will be described.
  • explanations that overlap with the first embodiment will be omitted as appropriate, and differences from the first embodiment will be mainly explained.
  • FIG. 16 is a diagram showing a configuration example of the management system 400 according to Embodiment 4 of the present invention together with a view of the work area A from above.
  • a management system 400 includes an imaging device 101 similar to that of the first embodiment, and a management device 402 that replaces the management device 102 according to the first embodiment.
  • the management device 402 functionally includes an output control unit 408 that replaces the output control unit 108 according to the first embodiment.
  • the management device 402 includes a registration storage unit 410 . Except for these, the management device 402 may be configured similarly to the management device 102 according to the first embodiment.
  • the registration storage unit 410 is a storage unit for storing worker information 410a and unregistered information 410b.
  • the worker information 410a is information about the worker P.
  • the worker information 410a is registered in the registration storage unit 410 in advance.
  • FIG. 17 is a diagram showing an example of the configuration of worker information 410a according to this embodiment.
  • the worker information 410a associates a worker ID with an image feature amount.
  • the image feature amount is the image feature amount of the worker P indicated by the worker ID associated therewith.
  • This image feature amount is, for example, a face feature amount, but is not limited to this.
  • the unregistered information 410b is information about unregistered persons.
  • An unregistered person is a person who is not registered in the worker information 410a among persons who enter and leave the work area A.
  • FIG. 18 is a diagram showing an example of the configuration of the unregistered information 410b according to this embodiment.
  • the unregistered information 410b associates an unregistered ID, an image, and information about action.
  • An unregistered ID is information for identifying an unregistered person.
  • the image is an image that includes the unregistered person indicated by the unregistered ID associated with it.
  • the information about the behavior is information about the behavior of the unregistered person indicated by the associated unregistered ID.
  • the unregistered information 410b may include at least one of an image and information about actions.
  • the estimating unit 404 in addition to the function of the estimating unit 104 according to the first embodiment, generates unregistered information 410b regarding an unregistered person when the person included in the image of the work area A is an unregistered person. .
  • the estimation unit 404 causes the registration storage unit 410 to store the unregistered information 410b.
  • FIG. 19 is a diagram showing a detailed example of the functional configuration of the estimation unit 404 according to this embodiment.
  • the estimation unit 404 includes a work estimation unit 112 and a history generation unit 113 similar to those in the first embodiment, and an analysis unit 411 that replaces the analysis unit 111 according to the first embodiment.
  • the analysis unit 411 has the same functions as the analysis unit 411 according to the first embodiment. Furthermore, the analysis unit 411 determines whether or not the person included in the image of the work area A is the worker P. If the analysis unit 411 determines that it is not the worker P, the analysis unit 411 generates the unregistered information 410b and stores it in the registration storage unit 410 .
  • the output control unit 408 causes the display unit 107 to display the unregistered information 410b in addition to the history information 105a and the management information. Also, the output control unit 408 outputs electronic data including the unregistered information 410b. More specifically, for example, the output control unit 408 lists the information of unregistered persons included in the unregistered information 410b, displays the list of unregistered persons on the display unit 107, and displays electronic data including the list of unregistered persons. output.
  • the management system 400 may be physically configured similarly to the management system 100 according to the first embodiment.
  • the management device 402 executes management processing in the same manner as in the first embodiment.
  • the management process according to the present embodiment includes an estimation process that is partially different from the estimation process (step S102) according to the first embodiment.
  • FIG. 20 is a flowchart showing an example of management processing according to this embodiment.
  • FIG. 20 shows an example of a part of the management process according to this embodiment that is different from the estimation process (step S102) according to the first embodiment.
  • the analysis unit 411 executes steps S102a and S102b similar to those of the first embodiment.
  • the analysis unit 411 determines whether or not the person included in the image of the work area A is the worker P (step S402a).
  • the analysis unit 411 determines whether or not the operator information 410a includes a facial feature amount that matches the facial feature amount of the person detected in step S102b.
  • the analysis unit 411 determines that the operator is not P.
  • the analysis unit 411 determines that the operator is the operator P when the operator information 410a includes a facial feature amount that matches the facial feature amount of the detected person.
  • the analysis unit 411 If it is determined that the operator is not operator P (step S402a; No), the analysis unit 411 generates unregistered information 410b (step S402b). The analysis unit 411 causes the registration storage unit 410 to store the generated unregistered information 410b.
  • the analysis unit 411 assigns an unregistered ID to a person (unregistered person) determined not to be the worker P. At this time, the analysis unit 411 may assign an unregistered ID, for example, according to a predetermined rule.
  • the analysis unit 411 generates unregistered information 410b by associating an image including a person (unregistered person) determined to be not the worker P and information on actions with the unregistered ID.
  • the image of the person determined not to be the worker P is the image of the person included in the video of the work area A.
  • This image may be a still image and one or both of a moving image.
  • This image includes at least one of a facial image, a full-body image, and the like.
  • the information about the action is, for example, motion feature quantity, posture feature quantity, transition or change of the posture feature quantity, but is not limited thereto.
  • step S402a If it is determined to be the worker P (step S402a; No), the analysis unit 411 performs the same processes as in the first embodiment from step S102c onward. However, in step S102d, the analysis unit 111 may use the worker ID included in the worker information 410a as the worker ID to be given to the worker to be processed.
  • the unregistered information 410b includes at least one of an image including an unregistered person and information about the behavior of the unregistered person.
  • the output control unit 408 causes the display unit 107 to display the unregistered information 410b.
  • the user can view the unregistered information 410b and manage persons other than the worker P who enters and exits the work area A. Therefore, safety management, information management, etc. in the work area A can be improved.
  • master storage means for storing master information that associates a predetermined appearance of a worker or a group of workers performing work with the type of work; Types of work performed by each of the one or more workers based on the master information and appearance information about the appearance of one or more workers obtained by analyzing a video of the work area and estimation means for estimating the management device.
  • the predetermined appearance includes information indicating the whole body, clothing, posture, and behavior of the one worker performing the work or a plurality of workers constituting the worker group, and articles used for the work. including at least one of: 1.
  • the worker group is composed of a plurality of workers who jointly perform the work. or 2.
  • the predetermined appearance of the worker group that performs the work includes at least one of the number and positional relationship of a plurality of workers constituting the worker group. to 3. Management device according to any one of. 5. It further comprises management means for outputting management information based on the result estimated by the estimation means. to 4. Management device according to any one of. 6. 5. The management information includes the number of workers who perform the same type of work. The management device described in . 7. 6. The management information includes the number of workers who perform the same type of work by time slot. The management device described in . 8. The estimation means further estimates the work time of each of the one or more workers based on the appearance information and the master information. to 7. Management device according to any one of. 9.
  • the image is one of a plurality of images taken from different directions of the work area
  • the estimating means based on appearance information about the appearance of one or more workers obtained by analyzing the plurality of images of the work area and the master information, Estimating the type of work performed by each worker1. to 8. Management device according to any one of. 10.
  • the estimating means further generates unregistered information about the unregistered person when the person included in the video is an unregistered person who is not registered in the worker information. to 9. Management device according to any one of. 11.
  • the unregistered information includes at least one of an image including the unregistered person and behavior of the unregistered person.
  • the management device described in . 13. 1. to 12. a management device according to any one of A management system comprising: a photographing device that photographs the work area and transmits image data including a photographed image of the work area. 14. the computer storing in a master storage means master information that associates a predetermined appearance of one worker or a group of workers performing the work with the type of the work; Types of work performed by each of the one or more workers based on the master information and appearance information about the appearance of one or more workers obtained by analyzing a video of the work area management methods, including estimating 15.
  • master information that associates a predetermined appearance of a single worker or a group of workers performing work with the type of work
  • Types of work performed by each of the one or more workers based on the master information and appearance information about the appearance of one or more workers obtained by analyzing a video of the work area A program to run estimating .

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Factory Administration (AREA)

Abstract

管理装置（１０２）は、マスタ情報（１０３ａ）を記憶するためのマスタ記憶（１０３）と、推定部（１０４）とを備える。マスタ情報（１０３ａ）は、作業を行う１人の作業者又は作業者グループについて予め定められた外観と、当該作業の種類と、を関連付ける。推定部（１０４）は、作業領域を撮影した映像を解析して得られる１人又は複数の作業者の外観に関する外観情報と、マスタ情報（１０３ａ）と、に基づいて、当該１人又は複数の作業者の各々が行う作業の種類を推定する。

Description

管理装置、管理システム、管理方法及びプログラム
　本発明は、管理装置、管理システム、管理方法及びプログラムに関する。
　製造拠点における作業工程の効率化を支援するための技術が種々提案されている。
　例えば、非特許文献１には、工場内の組立・検査工程における付加価値時間（稼働率／稼働時間）とムダ時間をカメラに映る「手」の位置から自動的に計測し、数値ベースでの現場カイゼンを支援する旨の記載がある。
　例えば、非特許文献２には、カメラで撮影した映像又は録画した映像から、骨格情報（体の向きや手の動きなどの姿勢）をデータ化し、動作を認識するプラットフォームソフトウェアに関する記載がある。
　非特許文献２には、特許文献１～特許文献３の特許番号が記載されている。
　特許文献１には、作業者の姿勢を分析するための技術が記載されている。特許文献２には、不安全な全身姿勢を検知するための技術が記載されている。特許文献３には、医療従事者の手指洗浄を管理するための技術が記載されている。
　特許文献４には、対象が映っている画像を利用してレポートを作成する際に対象の画像に関する作成者の負担を軽減するための技術が記載されている。特許文献４に記載の動画編集装置は、動画中の予め定めた期間に映っている対象を認識する認識手段と、認識手段により認識された対象を期間に対応付けて登録しておく登録手段と、情報を受付けた場合、当該情報により特定された対象に対応付けられた期間の当該対象が認識された画像を表示する表示手段と、を備える。
　特許文献５には、画像に含まれる人体の複数のキーポイント各々の特徴量を算出し、算出した特徴量に基づき姿勢が似た人体や動きが似た人体を含む画像を検索したり、当該姿勢や動きが似たもの同士でまとめて分類したりする技術が記載されている。
　非特許文献３には、人物の骨格推定に関連する技術が記載されている。
特許第６８２５０４１号公報 特許第６８８４８１９号公報 特許第６８８９２２８号公報 特開２０２０－５３７２９号公報 国際公開第２０２１／０８４６７７号
ＮＥＣプラットフォームズ株式会社、「工場付加価値時間計測ソリューション」、[online]、[2022年2月1日検索]、インターネット＜URL: https://www.necplatforms.co.jp/solution/i-iot/time-measurement/index.html＞ 株式会社日立産業制御ソリューションズ、「ＡＩによる人物姿勢・動作認識ソリューション」、[online]、[2022年2月1日検索]、インターネット＜https://info.hitachi-ics.co.jp/product/activity_evaluation/＞ Zhe Cao, Tomas Simon, Shih-En Wei, Yaser Sheikh, "Realtime Multi-Person 2D Pose Estimation using Part Affinity Fields", The IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2017, P. 7291-7299
　しかしながら、特許文献１～５、非特許文献１～３には、１人又は複数の作業者が作業を行う作業領域における作業全体の最適化を支援するための技術が記載されていない。
　本発明の目的の一例は、上述した課題を鑑み、作業領域における作業全体の最適化の支援が困難なことを解決する管理装置、管理システム、管理方法及びプログラムを提供することにある。
　本発明の一態様によれば、
　作業を行う１人の作業者又は作業者グループについて予め定められた外観と、当該作業の種類と、を関連付けるマスタ情報を記憶するためのマスタ記憶手段と、
　作業領域を撮影した映像を解析して得られる１人又は複数の作業者の外観に関する外観情報と、前記マスタ情報と、に基づいて、当該１人又は複数の作業者の各々が行う作業の種類を推定する推定手段とを備える
　管理装置が提供される。
　本発明の一態様によれば、
　上記管理装置と、
　前記作業領域を撮影し、当該作業領域を撮影した映像を含む映像データを送信する撮影装置とを備える
　管理システムが提供される。
　本発明の一態様によれば、
　コンピュータが、
　作業を行う１人の作業者又は作業者グループについて予め定められた外観と、当該作業の種類と、を関連付けるマスタ情報をマスタ記憶手段に記憶させ、
　作業領域を撮影した映像を解析して得られる１人又は複数の作業者の外観に関する外観情報と、前記マスタ情報と、に基づいて、当該１人又は複数の作業者の各々が行う作業の種類を推定することを含む
　管理方法が提供される。
　本発明の一態様によれば、
　コンピュータに、
　作業を行う１人の作業者又は作業者グループについて予め定められた外観と、当該作業の種類と、を関連付けるマスタ情報を記憶させ、
　作業領域を撮影した映像を解析して得られる１人又は複数の作業者の外観に関する外観情報と、前記マスタ情報と、に基づいて、当該１人又は複数の作業者の各々が行う作業の種類を推定することを実行させるためのプログラムが提供される。
　本発明によれば、作業領域における作業全体の最適化を支援することが可能になる。
本発明の実施形態１に係る管理システムの概要を示す図である。 本発明の実施形態１に係る管理処理の概要を示すフローチャートである。 実施形態１に係る管理システムの構成例を、作業領域Ａを上方から見た図とともに示す図である。 実施形態１に係るマスタ情報の一例を示す図である。 実施形態１に係る推定部の機能的な構成の詳細例を示す図である。 実施形態１に係る履歴情報の一例を示す図である。 実施形態１に係る管理装置の物理的な構成例を示す図である。 実施形態１に係る推定処理の詳細例を示すフローチャートである。 タグ付けの一例を示す図である。 本発明の実施形態１に係る出力処理の一例を示すフローチャートである。 履歴情報を表示部に表示した画面の一例である。 本発明の実施形態２に係る管理システムの構成例を、作業領域Ａを上方から見た図とともに示す図である。 本発明の実施形態３に係る管理システムの構成例を、作業領域Ａを上方から見た図とともに示す図である。 実施形態３に係るマスタ情報の一例を示す図である。 実施形態３に係る推定部の機能的な構成の詳細例を示す図である。 本発明の実施形態４に係る管理システムの構成例を、作業領域Ａを上方から見た図とともに示す図である。 実施形態４に係る作業者情報の構成の一例を示す図である。 実施形態４に係る未登録情報の構成の一例を示す図である。 実施形態４に係る推定部の機能的な構成の詳細例を示す図である。 実施形態４に係る管理処理の一例を示すフローチャートである。
　以下、本発明の実施の形態について、図面を用いて説明する。なお、すべての図面において、同様な構成要素には同様の符号を付し、適宜説明を省略する。
＜実施形態１＞
　図１は、実施形態１に係る管理システム１００の概要を示す図である。
　管理システム１００は、撮影装置１０１と、管理装置１０２とを備える。
　撮影装置１０１は、作業領域を撮影し、当該作業領域を撮影した映像を含む映像データを送信する。
　管理装置１０２は、マスタ情報１０３ａを記憶するためのマスタ記憶部１０３と、推定部１０４とを備える。マスタ情報１０３ａは、作業を行う１人の作業者又は作業者グループについて予め定められた外観と、当該作業の種類と、を関連付ける。推定部１０４は、作業領域を撮影した映像を解析して得られる１人又は複数の作業者の外観に関する外観情報と、マスタ情報１０３ａと、に基づいて、当該１人又は複数の作業者の各々が行う作業の種類を推定する。
　この管理システム１００によれば、１人又は複数の作業者が作業を行う作業全体の最適化を支援することが可能になる。この管理装置１０２によれば、１人又は複数の作業者が作業を行う作業全体の最適化を支援することが可能になる。
　図２は、実施形態１に係る管理処理の概要を示すフローチャートである。
　管理装置１０２は、作業を行う１人の作業者又は作業者グループについて予め定められた外観と、当該作業の種類と、を関連付けるマスタ情報１０３ａをマスタ記憶部１０３に記憶させる（ステップＳ１０１）。
　管理装置１０２は、作業領域を撮影した映像を解析して得られる１人又は複数の作業者の外観に関する外観情報と、マスタ情報１０３ａと、に基づいて、当該１人又は複数の作業者の各々が行う作業の種類を推定する（ステップＳ１０２）。
　この管理処理によれば、１人又は複数の作業者が作業を行う作業全体の最適化を支援することが可能になる。
　以下、実施形態１に係る管理システム１００の詳細例について説明する。
　図３は、本発明の実施形態１に係る管理システム１００の構成例を、作業領域Ａを上方から見た図とともに示す図である。
　図３には、食品、電子機器などの製造工場に設定された作業領域Ａにおいて、作業者Ｐａが作業Ａを行う例を上方から見た図で示している。作業Ａは、コンベアＣに載って矢印ＡＲの方向（図中の右方向）に移動する半製品Ｍ１に、予め定められた３つの部品を取り付ける作業である。
　作業Ａの作業中には、作業者Ｐは、図３の略矩形の点線で示す作業場Ｘに居る。そして、作業者Ｐは、コンベアＣに沿って作業場Ｘ内の位置Ｘ１から位置Ｘ３へ移動しながら部品を１つずつ半製品Ｍ１に順次取り付ける３つ工程（工程Ａ１，工程Ａ２及び工程Ａ３）を繰り返し１人で行う。
　作業者Ｐａは、作業領域Ａにて作業を行う作業者Ｐの１人である。作業者Ｐは、１人以上であればよい。なお、複数の作業者が共同で作業を行うグループ作業の例については、他の実施形態で後述する。
　また、作業Ａは、作業の一例である。作業は、組立作業に限られない。作業は、例えば、部品、半製品、製品などの運搬作業、検品作業などであってもよく、製造工場における作業に限られない。作業は、適宜定められる１つ以上の工程で構成されればよい。
　さらに、作業領域Ａは、１種類以上の作業を行うための領域であればよく、それが設定される場所は食品、電子機器などの製造工場に限られない。作業領域Ａは、複数の作業場を含んでもよい。
　管理システム１００は、作業領域における作業を管理するためのシステムである。
　管理システム１００は、上述の通り、撮影装置１０１と、管理装置１０２とを備える。撮影装置１０１と管理装置１０２とは、ネットワークＮを介して互いに接続されている。ネットワークＮは、有線、無線又はこれらを組み合わせて構成される通信ネットワークである。そのため、撮影装置１０１と管理装置１０２とは、ネットワークＮを介して互いに情報、データなどを送受信することができる。
　撮影装置１０１は、作業領域Ａを撮影するための装置である。撮影装置１０１は、例えばカメラである。
　撮影装置１０１は、作業領域Ａを撮影する。撮影装置１０１は、作業領域Ａを撮影し、当該作業領域Ａを撮影した映像を含む映像データを生成する。撮影装置１０１は、映像データをネットワークＮを介して管理装置１０２へ送信する。映像は、作業領域Ａの作業者Ｐの全身画像を含むことが望ましい。
　詳細には例えば、撮影装置１０１は、作業領域Ａを継続的に撮影する。撮影装置１０１が撮影するフレームレートは、適宜設定されてよい。撮影装置１０１は、各撮影にて生成されるフレーム画像を含む画像データを継続的に生成する。その結果、撮影装置１０１は、複数のフレーム画像から構成される映像（動画像）を含む映像データを生成する。
（管理装置１０２の機能的構成）
　管理装置１０２は、作業領域Ａにおける作業を管理するための装置である。詳細には、管理装置１０２は、マスタ記憶部１０３と、推定部１０４と、履歴記憶部１０５と、管理部１０６と、表示部１０７と、出力制御部１０８と、入力受付部１０９とを備える。
　マスタ記憶部１０３は、マスタ情報１０３ａを記憶するための記憶部である。
　マスタ情報１０３ａは、作業者Ｐが行う作業の種類を判定するための基準を示す情報である。図４は、本実施形態に係るマスタ情報１０３ａの一例を示す図である。
　詳細には、マスタ情報１０３ａは、作業の種類と、外観（マスタ外観情報）と、作業場と、工程ＩＤ（Ｉｄｅｎｔｉｆｉｅｒ）と、作業位置／作業姿勢とを関連付ける。
　作業の種類は、作業の種類を識別するための情報である。
　マスタ外観情報は、作業を行う作業者Ｐについて予め定められた外観を示す情報である。マスタ外観情報は、作業者Ｐの、全身、服装、姿勢、行動の少なくとも１つを示す情報、作業のために用いられる物品を示す情報、の少なくとも１つを含む。行動は、姿勢の変化又は推移、移動（位置の変化又は推移）などの少なくとも１つである。マスタ外観情報に含まれる情報は、例えば、画像、画像特徴量である。
　以下、「作業のために用いられる物品」を単に「物品」とも称する。
　作業場は、作業が行われる場所を示す情報である。言い換えると、作業場は、作業を行う作業者Ｐが作業中に居る範囲を示す情報である。作業場は、画像内の範囲で示されてもよく、実空間の範囲で示されてもよい。
　工程ＩＤは、作業に含まれる各工程を識別するための情報である。
　作業位置／作業姿勢は、作業位置又は作業姿勢を含む情報である。
　作業位置は、作業に含まれる各工程が行われる場所を示す情報である。言い換えると、作業位置は、作業に含まれる各工程を行う作業者Ｐがその工程の作業中に居る範囲を示す情報である。作業位置は、画像内の範囲で示されてもよく、実空間の範囲で示されてもよい。
　作業姿勢は、作業に含まれる各工程における姿勢を示す情報である。作業姿勢に含まれる情報は、例えば、画像又は画像特徴量である。
　例えば、作業中に位置を移動する作業については、作業位置／作業姿勢は、作業位置を含むとよい。作業中に位置を移動する作業については、作業位置／作業姿勢は、作業姿勢を含むとよい。
　図４に示すマスタ情報１０３ａは、例えば、「作業Ａ」の作業について、予め定められる外観が「外観Ａ」であり、作業場が「作業場Ｘ」であることを示す情報を含む。また、図４に示すマスタ情報１０３ａは、「作業Ａ」の作業について、工程ＩＤが「工程Ａ１」～「工程Ａ３」である３つの工程を含み、それぞれの作業位置が「位置Ｘ１」～「位置Ｘ３」であることを示す情報を含む。
　作業Ａが例えば、帽子を着用する作業である場合、外観Ａは、その帽子を着用した服装を示す情報を含む。
　作業Ｂが例えば、オレンジ色の作業着を着用し、カートを用いて荷物を運搬する作業である場合、外観Ｂは、そのオレンジ色の作業着を着用した服装を示す画像又は画像特徴量を含む。また、外観Ｂは、物品であるカートを示す画像又は画像特徴量を含む。
　作業Ｃが例えば、同じ位置で立った姿勢としゃがんだ姿勢とを繰り返す作業である場合、外観Ｃは、姿勢、姿勢の変化、姿勢の推移の少なくとも１つを示す情報を含む。
　また、作業Ａ，作業Ｂは、位置の移動を伴う作業であるため、「作業位置／作業姿勢」は、作業位置を含んでいる。作業Ｃは姿勢の変化を伴う作業であるため、「作業位置／作業姿勢」は、作業姿勢を含んでいる。
　図３を再び参照する。
　推定部１０４は、作業領域Ａを撮影した映像を解析して得られる１人又は複数の作業者Ｐの外観に関する外観情報と、マスタ情報１０３ａと、に基づいて、当該１人又は複数の作業者の各々が行う作業の種類を推定する。
　図５は、本実施形態に係る推定部１０４の機能的な構成の詳細例を示す図である。
　推定部１０４は、解析部１１１と、作業推定部１１２と、履歴生成部１１３とを備える。
　解析部１１１は、撮影装置１０１にて生成された映像データを撮影装置１０１からネットワークＮを介して取得する。解析部１１１は、取得した映像データに含まれる映像、すなわち作業領域Ａを撮影した映像を解析する。
　詳細には、解析部１１１は、映像を解析するための処理（解析処理）を行う１つ又は複数の解析機能を備える。解析部１１１が備える解析機能は、（１）物体検出機能、（２）顔解析機能、（３）人型解析機能、（４）姿勢解析機能、（５）行動解析機能、（６）外観属性解析機能、（７）勾配特徴解析機能、（８）色特徴解析機能、（９）動線解析機能などの１つ又は複数である。
　（１）物体検出機能は、画像から物体を検出する。物体検出機能は、画像内の物体の位置を求めることもできる。物体検出処理に適用されるモデルとして、例えば、ＹＯＬＯ（Ｙｏｕ　Ｏｎｌｙ　Ｌｏｏｋ　Ｏｎｃｅ）がある。物体検出機能は、例えば、作業者Ｐ、物品などを検出する。また例えば、物体検出機能は、作業者Ｐ、物品などの位置を求める。
　ここで、「物体」は、人及び物を含み、以下においても同様である。
　（２）顔解析機能は、画像から人の顔を検出し、検出した顔の特徴量（顔特徴量）の抽出、検出した顔の分類（クラス分け）などを行う。顔解析機能は、顔の画像内の位置を求めることもできる。顔解析機能は、異なる画像から検出した人物の顔特徴量同士の類似度などに基づいて、異なる画像から検出した人物の同一性を判定することもできる。
　（３）人型解析機能は、画像に含まれる人の人体的特徴量（例えば、体形の肥痩や、身長、服装などの全体的な特徴を示す値）の抽出、画像に含まれる人の分類（クラス分け）などを行う。人型解析機能は、人の画像内の位置を特定することもできる。人型解析機能は、異なる画像に含まれる人の人体的特徴量などに基づいて、異なる画像に含まれる人の同一性を判定することもできる。
　（４）姿勢解析機能は、画像から人の関節点を検出し、関節点を繋げた棒人間モデルを作成する。そして、姿勢解析機能は、棒人間モデルの情報を用いて、人の姿勢を推定し、推定した姿勢の特徴量（姿勢特徴量）の抽出、画像に含まれる人の分類（クラス分け）などを行う。姿勢解析機能は、異なる画像に含まれる人の姿勢特徴量などに基づいて、異なる画像に含まれる人の同一性を判定することもできる。
　例えば、姿勢解析機能は、立っている姿勢、しゃがんだ姿勢、かがんだ姿勢などの姿勢を画像から推定し、それぞれの姿勢を示す姿勢特徴量を抽出する。また例えば、姿勢解析機能は、物体検出機能などを用いて検出された物品に対する姿勢を画像から推定し、その姿勢を示す姿勢特徴量を抽出することができる。
　姿勢解析機能には、例えば、特許文献５、非特許文献３に開示された技術を適用することができる。
　（５）行動解析処理は、棒人間モデルの情報、姿勢の変化などを用いて、人の動きを推定し、人の動きの特徴量（動き特徴量）の抽出、画像に含まれる人の分類（クラス分け）などを行うことができる。行動解析処理では、棒人間モデルの情報を用いて、人の身長を推定したり、人物の画像内の位置を特定したりすることもできる。行動解析処理は、例えば、姿勢の変化又は推移、移動（位置の変化又は推移）などの行動を画像から推定し、その行動の動き特徴量を抽出することができる。
　（６）外観属性解析機能は、人に付随する外観属性を認識することができる。外観属性解析機能は、認識した外観属性に関する特徴量（外観属性特徴量）の抽出、画像に含まれる人の分類（クラス分け）などを行う。外観属性とは、外観上の属性であり、例えば、服装の色、靴の色、髪型、帽子やネクタイ、眼鏡などの着用又は非着用などの１つ以上を含む。
　（７）勾配特徴解析機能は、画像における勾配の特徴量（勾配特徴量）を抽出する。勾配特徴検出処理には、例えば、ＳＩＦＴ、ＳＵＲＦ、ＲＩＦＦ、ＯＲＢ、ＢＲＩＳＫ、ＣＡＲＤ、ＨＯＧなどの技術を適用することができる。
　（８）色特徴解析機能は、画像から物体を検出し、検出した物体の色の特徴量（色特徴量）の抽出、検出した物体の分類（クラス分け）などを行うことができる。
　色特徴量は、例えばカラーヒストグラムなどである。色特徴解析機能は、例えば、画像に含まれる人物、作業のために用いられる物品を検出することができる。また例えば、色特徴解析機能は、物品を、コンベアＣ、作業台、部品、半製品、製品、運搬する荷物、道具・器具・機器（例えば、荷物を運搬するためのカート・台車、ネジ留めのためのドライバ）などのクラスに分類することができる。
　（９）動線解析機能は、例えば上述の（２）～（６）の解析機能のいずれかにおける同一性の判定の結果を用いて、映像に含まれる人の動線（移動の軌跡）を求めることができる。詳細には例えば、時系列的に異なる画像間で同一であると判定された人を接続することで、その人の動線を求めることができる。なお、動線解析機能は、異なる撮影領域を撮影する複数の撮影装置１０１で撮影した映像を取得した場合などには、異なる撮影領域を撮影した複数の映像間に跨る動線を求めることもできる。
　画像特徴量は、例えば、物体検出機能での物品の検知結果、顔特徴量、人体的特徴量、姿勢特徴量、動き特徴量、外観属性特徴量、勾配特徴量、色特徴量、動線を含む。
　なお、（１）～（９）の各解析機能は、他の解析機能が行った解析の結果を適宜利用してもよい。
　解析部１１１は、上記の（１）～（９）の解析機能を用いて、作業領域Ａを撮影した映像を解析し、映像に含まれる物体（作業者Ｐ及び物品）を検知する。また、解析部１１１は、検知された作業者Ｐの外観に関する外観情報を生成する。外観情報は、作業者の外観に関する時系列情報である。
　外観情報は、作業者Ｐの全身、服装、姿勢、行動の少なくとも１つを示す情報と、作業のために用いられる物品を示す情報と、の少なくとも１つを含む。外観情報に含まれる情報は、例えば、画像又は画像特徴量である。
　作業推定部１１２は、解析部１１１が生成した外観情報とマスタ情報１０３ａとに基づいて、作業者Ｐが行う作業の種類を推定する。
　また、作業推定部１１２は、解析部１１１が生成した外観情報とマスタ情報１０３ａとに基づいて、作業者Ｐの作業時刻を推定する。作業者Ｐの作業時刻は、作業者Ｐが行う作業に関連する時刻である。
　作業時刻は、就業時間に関する時刻と、実作業時間に関する時刻と、工程実行時間に関する時刻とを含む。
　就業時間は、作業者Ｐが就業している時間であり、例えば、作業者Ｐが予め定められた外観で作業領域Ａに居る時間である。実作業時間は、作業者Ｐが実際に作業を行っている時間であり、例えば、作業者Ｐが予め定められた外観で、作業に応じた作業場に居る時間である。工程実行時間は、作業者Ｐが各工程を実行する時間であり、各行程に応じた作業位置又は作業姿勢が維持されている時間である。就業時間、実作業時間、工程実行時間のそれぞれに関する時刻は、開始時刻及び終了時刻を含む。
　なお、作業時刻はこれに限られず、例えば、就業時間、実作業時間、工程実行時間のうちの１つ又は２つに関する時刻であってもよい。
　履歴生成部１１３は、作業推定部１１２が推定した結果に基づいて、履歴情報１０５ａを生成する。
　図６は、本実施形態に係る履歴情報１０５ａの一例を示す図である。履歴情報１０５ａは、作業者Ｐの作業の履歴を示す情報である。本実施形態に係る履歴情報１０５ａは、作業者ＩＤと、作業の種類と、就業時間に関する時刻と、実作業時間に関する時刻と、工程実行時間に関する時刻とを含む。
　履歴情報１０５ａに含まれる作業者ＩＤは、作業者Ｐを識別するための情報である。作業者ＩＤは、適宜付与されるとよい。
　履歴情報１０５ａに含まれる作業の種類は、これに関連付けられた作業者Ｐが行う作業の種類である。この作業の種類は、作業推定部１１２が推定した作業の種類である。
　図６に示す履歴情報１０５ａは、作業者ＩＤが「Ｐａ」である作業者Ｐａが「作業Ａ」を行った履歴の例を含む。図６に示す履歴情報１０５ａは、作業者Ｐａの就業時間が「ＳＴ１」から「ＳＴ２」までであり、その間に、「ＷＴ１」から「ＷＴ２」までの実作業時間があったことを示す。また、この実作業時間の間に、工程Ａ１からＡ３が行われたことを示す。例えば、「ＷＴ１」から「ＷＴ２」は、実作業時間の最初に行われた工程Ａ１の工程実行時間に関する時刻の例である。
　履歴情報１０５ａは、作業者Ｐが休憩をとることなどがあるため、１つの就業時間に対して、複数の実作業時間に関する時刻を含んでもよい。また、１つの実作業時間には、通常、作業に含まれる工程が複数回繰り返されるので、履歴情報１０５ａは、１つの実作業時間に対して、複数の工程実行時間に関する時刻を含んでもよい。
　図３を再び参照する。
　履歴記憶部１０５は、履歴情報１０５ａを記憶するための記憶部である。
　管理部１０６は、履歴情報１０５ａに基づいて、作業領域Ａにおける作業の管理を支援するための管理情報を生成する。例えば、管理部１０６は、履歴情報１０５ａを統計処理して管理情報を生成する。
　表示部１０７は、各種の情報を表示する。
　出力制御部１０８は、情報を出力するための制御を行う。例えば、出力制御部１０８は、表示部１０７に情報を表示させてもよく、情報を含む電子データを出力してもよい。
　例えば、出力制御部１０８は、履歴情報１０５ａ、管理情報などを表示部１０７に表示させる。例えば、出力制御部１０８は、履歴情報１０５ａ、管理情報などを含む電子データを出力する。
　入力受付部１０９は、ユーザの入力を受け付ける。
　これまで、実施形態１に係る管理システム１００の機能的な構成について主に説明した。ここから、本実施形態に係る管理システム１００の物理的な構成について説明する。
（管理システム１００の物理的構成）
　管理システム１００は、物理的に、ネットワークＮを介して接続された撮影装置１０１及び管理装置１０２から構成される。撮影装置１０１と管理装置１０２との各々は、物理的に異なる単一の装置から構成される。
　なお、管理装置１０２は、物理的に、ネットワークＮなどの適宜の通信回線を介して接続された複数の装置から構成されてもよい。撮影装置１０１と管理装置１０２とは物理的に単一の装置から構成されてもよい。管理システム１００が複数の撮影装置１０１を備える場合、例えば、撮影装置１０１の１つ又は複数が管理装置１０２の少なくとも一部を備えてもよい。
　管理装置１０２は、物理的には例えば、汎用のコンピュータである。
　詳細には例えば、管理装置１０２は物理的に、図７に示すように、バス１０１０、プロセッサ１０２０、メモリ１０３０、ストレージデバイス１０４０、ネットワークインタフェース１０５０、入力インタフェース１０６０及び出力インタフェース１０７０を有する。
　バス１０１０は、プロセッサ１０２０、メモリ１０３０、ストレージデバイス１０４０、ネットワークインタフェース１０５０、入力インタフェース１０６０及び出力インタフェース１０７０が、相互にデータを送受信するためのデータ伝送路である。ただし、プロセッサ１０２０などを互いに接続する方法は、バス接続に限定されない。
　プロセッサ１０２０は、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）やＧＰＵ（Ｇｒａｐｈｉｃｓ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）などで実現されるプロセッサである。
　メモリ１０３０は、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）などで実現される主記憶装置である。
　ストレージデバイス１０４０は、ＨＤＤ（Ｈａｒｄ　Ｄｉｓｋ　Ｄｒｉｖｅ）、ＳＳＤ（Ｓｏｌｉｄ　Ｓｔａｔｅ　Ｄｒｉｖｅ）、メモリカード、又はＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）などで実現される補助記憶装置である。ストレージデバイス１０４０は、管理装置１０２の機能を実現するためのプログラムモジュールを記憶している。プロセッサ１０２０がこれら各プログラムモジュールをメモリ１０３０に読み込んで実行することで、そのプログラムモジュールに対応する機能が実現される。
　ネットワークインタフェース１０５０は、管理装置１０２をネットワークＮに接続するためのインタフェースである。
　入力インタフェース１０６０は、ユーザが情報を入力するためのインタフェースとしてのタッチパネル、キーボード、マウスなどである。
　出力インタフェース１０７０は、ユーザに情報を提示するためのインタフェースとしての液晶パネル、有機ＥＬ（Ｅｌｅｃｔｒｏ－Ｌｕｍｉｎｅｓｃｅｎｃｅ）パネルなどである。出力インタフェース１０７０は、表示部１０７を構成する。なお、出力インタフェース１０７０は、管理装置１０２に内蔵されてもよく、管理装置１０２の外部に設けられてもよい。
　これまで、実施形態１に係る管理システム１００の物理的な構成について主に説明した。ここから、本実施形態に係る管理システム１００の動作について説明する。
（管理システム１００の動作）
（管理処理）
　管理装置１０２は、管理処理（図２参照）を実行する。管理処理は、作業領域Ａにおける作業を管理するための処理である。管理装置１０２は、例えばユーザから開始指示を受け付けると、管理処理を開始する。管理装置１０２は、例えばユーザから終了指示を受け付けると、管理処理を終了する。
　図２を参照する。
　入力受付部１０９は、ユーザの入力に従って、マスタ情報１０３ａをマスタ記憶部１０３に記憶させる（ステップＳ１０１）。
　なお、入力受付部１０９は、管理装置１０２を初めて用いるときの初期設定、マスタ情報１０３ａの変更などの際に、ステップＳ１０１を実行するとよい。そのため、入力受付部１０９は、例えばユーザの要求があったときに、ステップＳ１０１を実行してもよい。
　推定部１０４は、作業領域Ａを撮影した映像を解析して得られる作業者Ｐの外観に関する外観情報と、マスタ情報１０３ａと、に基づいて、作業者Ｐが行う作業の種類を推定する（ステップＳ１０２）。
　図８は、本実施形態に係る推定処理（ステップＳ１０２）の詳細例を示すフローチャートである。
　図８を参照する。
　解析部１１１は、撮影装置１０１にて生成された映像データを撮影装置１０１からネットワークＮを介して取得する（ステップＳ１０２ａ）。
　解析部１１１は、例えば、予め定められた時刻に予め定められた期間の映像データを撮影装置１０１から取得する。予め定められた期間は、適宜定められてよく、例えば１日である。予め定められた時刻は、適宜定められてよく、例えば作業領域Ａで作業が行われていない時刻である。
　映像データは、上述の通り、複数のフレーム画像から構成される動画像である。映像データは、各フレーム画像の撮影時刻を含む。
　なお、解析部１１１は、映像データをリアルタイムで撮影装置１０１から取得してもよい。この場合、解析部１１１は、予め定められた期間の映像データを保持していてもよい。解析部１１１は、映像データを保持する装置を介して、映像データを撮影装置１０１から取得してもよい。解析部１１１は、ネットワークＮに限らず、記憶媒体を介して映像データを取得してもよい。
　解析部１１１は、ステップＳ１０２ａにて取得した映像データに含まれる映像、すなわち作業領域Ａを撮影した映像を解析し、当該映像に含まれる物体を検知する（ステップＳ１０２ｂ）。
　例えば、解析部１１１は、図３に示す作業領域Ａを撮影した映像を解析した場合、作業者Ｐａ、コンベアＣなどを検知する。
　図８を再び参照する。
　解析部１１１は、ステップＳ１０２ｃにて検知されたすべての作業者Ｐについて、ステップＳ１０２ｄ～Ｓ１０２ｇを繰り返し実行する（ループＡ；ステップＳ１０２ｃ）。
　解析部１１１は、処理対象の作業者Ｐに作業者ＩＤを付与するとともに、タグ付けを行う（ステップＳ１０２ｄ）。
　詳細には、解析部１１１は、例えば顔特徴量を用いた人物の同一性判定の結果に基づいて、複数のフレーム画像に含まれる同一の作業者Ｐには同一の作業者ＩＤを付与する。
　解析部１１１は、フレーム画像の各々に含まれる処理対象である作業者Ｐの画像にタグ付けを行う。タグ付けでは、解析部１１１は、例えば、作業者Ｐの画像領域を示す印（例えば、矩形の枠）を付けるとともに、当該印に作業者ＩＤを関連付ける。図９は、タグ付けの一例を示す図である。図９では、作業者Ｐａの画像を矩形の枠の印で囲むとともに、作業者Ｐａの作業者ＩＤ「Ｐａ」を枠に関連付けた例を示す。
　なお、解析部１１１は、ユーザから指示を受けた特定の行動を検知し、当該特定の行動を行う作業者の画像にタグ付けを行ってもよい。このタグは、ユーザが指示した特定の行動であることを示す情報（例えば、文言、印、記号など）を含むとよい。
　図８を再び参照する。
　解析部１１１は、ステップＳ１０２ａにて取得した映像データに含まれる映像、すなわち作業領域Ａを撮影した映像を解析し、処理対象である作業者Ｐの外観情報を生成する（ステップＳ１０２ｅ）。
　例えば、解析部１１１は、物体検出機能、人型解析機能、姿勢解析機能、外観属性解析機能、色特徴解析機能などを用いて、映像を解析する。これらの機能の出力結果を用いて、解析部１１１は、処理対象である作業者Ｐの全身、服装、姿勢、行動、物品などを示す外観情報を取得する。
　作業推定部１１２は、ステップＳ１０２ｅにて取得された外観情報とマスタ情報１０３ａとに基づいて、処理対象である作業者Ｐが行う作業の種類を推定する（ステップＳ１０２ｆ）。
　詳細には例えば、作業推定部１１２は、ステップＳ１０２ｅにて取得された外観情報と一致するマスタ外観情報を特定する。ここで、「一致する」とは、実質的に一致することを意味し、予め定められた範囲で異なる場合も含む。作業推定部１１２は、マスタ情報１０３ａにおいて、特定されたマスタ外観情報に関連付けられた作業の種類を特定する。作業推定部１１２は、特定された作業の種類が、処理対象である作業者Ｐが行う作業の種類であると推定する。
　例えば図４に示すマスタ情報１０３ａでは、マスタ外観情報は外観Ａ～外観Ｃを含む。作業推定部１１２は、外観Ａ～外観Ｃのうち、処理対象である作業者Ｐａの外観情報と一致するマスタ外観情報を特定する。
　例えば、外観Ａが処理対象である作業者Ｐａの外観情報と一致するとする。この場合、作業推定部１１２は、マスタ情報１０３ａにおいて外観Ａに関連付けられた作業Ａが、作業者Ｐａが行う作業の種類であると推定する。
　作業推定部１１２は、ステップＳ１０２ｃにて取得された外観情報とマスタ情報１０３ａとに基づいて、作業者Ｐが行う作業の作業時刻を推定する（ステップＳ１０２ｇ）。
（就業時間に関する時刻の推定）
　作業推定部１１２は、ステップＳ１０２ｆで推定された作業の種類に応じた外観で、初めて映像に表れたフレーム画像を特定する。作業推定部１１２は、そのフレーム画像の撮影時刻を就業時間の開始時刻と推定する。
　作業推定部１１２は、ステップＳ１０２ｆで推定された作業の種類に応じた外観で、最後に映像に表れたフレーム画像を特定する。作業推定部１１２は、そのフレーム画像の撮影時刻を就業時間の終了時刻と推定する。
（実作業時間に関する時刻の推定）
　作業推定部１１２は、ステップＳ１０２ｆで推定された作業の種類に応じた外観で、作業場Ｘにいるフレーム画像群を特定する。このとき、複数の実作業時間がある場合、作業推定部１１２は、複数のフレーム画像群を特定する。
　作業推定部１１２は、特定された１つ又は複数のフレーム画像群の各々の最初のフレーム画像の撮影時刻を実作業時間の開始時刻と推定する。作業推定部１１２は、特定された１つ又は複数のフレーム画像群の各々の最後のフレーム画像の撮影時刻を実作業時間の終了時刻と推定する。
（工程実行時間に関する時刻の推定）
　作業推定部１１２は、実作業時間に関する時刻を推定するために特定された１つ又は複数のフレーム画像群の各々について、作業位置又は作業姿勢に対応する最初のフレーム画像を特定する。作業推定部１１２は、そのフレーム画像の撮影時刻を、当該作業位置又は当該作業姿勢に対応する工程の開始時刻と推定する。
　続けて、作業推定部１１２は、実作業時間に関する時刻の推定のために特定された１つ又は複数のフレーム画像群の各々について、作業位置又は作業姿勢が次の工程に対応する作業位置又は作業姿勢に変化したフレーム画像を特定する。作業推定部１１２は、そのフレーム画像の撮影時刻を、前の工程の終了時刻と推定するとともに、次の工程の開始時刻と推定する。
　例えば、図４を参照して、作業Ａの工程実行時間に関する時刻を推定する処理について説明する。作業推定部１１２は、実作業時間に関する時刻を推定するために特定された１つ又は複数のフレーム画像群の各々について、「位置Ｘ１」に対応する最初のフレーム画像を特定する。作業推定部１１２は、そのフレーム画像の撮影時刻を、「工程Ａ１」の開始時刻と推定する。
　次に、作業推定部１１２は、実作業時間に関する時刻を推定するために特定された１つ又は複数のフレーム画像群の各々について、「位置Ｘ１」から「位置Ｘ２」に作業位置が変化したフレーム画像を特定する。作業推定部１１２は、そのフレーム画像の撮影時刻を、前の工程である「工程Ａ１」の終了時刻と推定するとともに、次の工程である「工程Ａ２」の開始時刻と推定する。作業推定部１１２は、このような処理を順次、１つ又は複数のフレーム画像群の各々の最後のフレーム画像まで繰り返す。
　作業推定部１１２は、１つ又は複数のフレーム画像群の各々の最後のフレーム画像の撮影時刻を、そのフレーム画像における作業位置に対応する工程（通常は、作業Ａの最後の工程である「工程Ａ３」）の終了時刻と推定する。
　また例えば、図４を参照して、作業Ｃの工程実行時間に関する時刻を推定する処理について説明する。作業推定部１１２は、実作業時間に関する時刻を推定するために特定された１つ又は複数のフレーム画像群の各々について、「姿勢Ｚ１」に対応する最初のフレーム画像を特定する。作業推定部１１２は、そのフレーム画像の撮影時刻を、「工程Ｃ１」の開始時刻と推定する。
　次に、作業推定部１１２は、実作業時間に関する時刻を推定するために特定された１つ又は複数のフレーム画像群の各々について、「姿勢Ｚ１」から「姿勢Ｚ２」に作業姿勢が変化したフレーム画像を特定する。作業推定部１１２は、そのフレーム画像の撮影時刻を、前の工程である「工程Ｃ１」の終了時刻と推定するとともに、次の工程である「工程Ｃ２」の開始時刻と推定する。作業推定部１１２は、このような処理を順次、１つ又は複数のフレーム画像群の各々の最後のフレーム画像まで繰り返す。
　作業推定部１１２は、１つ又は複数のフレーム画像群の各々の最後のフレーム画像の撮影時刻を、そのフレーム画像における作業姿勢に対応する工程（通常は、作業Ｃの最後の工程である「工程Ｃ２」）の終了時刻と推定する。
　図８を再び参照する。
　解析部１１１は、ステップＳ１０２ｃにて検知されたすべての作業者Ｐについて、ステップＳ１０２ｄ～Ｓ１０２ｇを実行すると、ループＡ（ステップＳ１０２ｃ）を終了する。
　解析部１１１は、１人又は複数の作業者Ｐの各々を処理対象として実行されたステップＳ１０２ｆ～Ｓ１０２ｇの結果に基づいて、履歴情報１０５ａを生成する（ステップＳ１０２ｈ）。
　解析部１１１は、例えば、図６に示すような作業者Ｐごとの履歴情報１０５ａを生成する。解析部１１１は、生成した履歴情報１０５ａを履歴記憶部１０５に記憶させる。
　解析部１１１は、管理処理（図２参照）に戻り、推定処理（ステップＳ１０２）を繰り返し実行する。
　管理処理を実行することで、作業領域Ａにて行われる作業の種類を含む履歴情報１０５ａを正確に収集して管理することができる。従って、作業領域における作業全体の最適化を支援することが可能になる。
（出力処理）
　図１０は、実施形態１に係る出力処理の一例を示すフローチャートである。出力処理は、履歴情報１０５ａを統計処理して出力する処理である。
　管理部１０６は、履歴情報１０５ａに統計処理を行うなど、履歴情報１０５ａに基づいて、管理情報を生成する（ステップＳ１１１）。
　詳細には例えば、管理部１０６は、同じ種類の作業を行う作業者Ｐの人数を求め、当該人数を含む管理情報を生成する。また例えば、管理部１０６は、同じ種類の作業を行う作業者Ｐの時間帯別の人数を求め、当該時間帯別の人数を含む管理情報を生成する。ステップＳ１１１における統計処理は、種々変更されてよい。
　さらに例えば、管理部１０６は、各作業者が実作業時間の各々で行った各工程の所要時間、所要時間の割合などの少なくとも１つを求め、当該各工程の所要時間、所要時間の割合などの少なくとも１つを含む管理情報を生成する。
　出力制御部１０８は、ユーザの指示に応じて、履歴情報１０５ａ、管理情報などの情報を出力する（ステップＳ１１２）。
　詳細には例えば、出力制御部１０８は、情報を表示部１０７へ出力することで、表示部１０７に情報を表示させる。また例えば、出力制御部１０８は、情報を含む電子データを、管理装置１０２の記憶部（図示しない）のうちのユーザが指定する記憶場所に記憶させたり、ユーザが指定する送信先へ送信したりする。
　図１１は、履歴情報１０５ａを表示部１０７に表示した画面の一例である。同図は、表示中の実作業時間を示す線にカーソルを当てると、当該実作業時間での詳細な情報が表示される例を含む。同図では、詳細な情報が実作業時間における各工程の所要時間の割合である例を示している。
　出力処理を実行することで、履歴情報１０５ａを統計処理し、作業領域Ａにおける作業全体を最適化するために必要な管理情報を取得することができる。従って、作業領域における作業全体の最適化を支援することが可能になる。また、履歴情報１０５ａ、管理情報などの情報をユーザが閲覧し易い態様で出力することができる。従って、作業領域における作業全体の最適化を支援することが可能になる。
　以上、本発明の実施形態１について説明した。
（作用・効果）
　本実施形態によれば、管理装置１０２は、マスタ情報１０３ａを記憶するためのマスタ記憶部１０３と、推定部１０４とを備える。マスタ情報１０３ａは、作業を行う作業者Ｐについて予め定められた外観と、当該作業の種類と、を関連付ける。推定部１０４は、作業領域Ａを撮影した映像を解析して得られる１人又は複数の作業者の外観に関する外観情報と、マスタ情報１０３ａと、に基づいて、当該１人又は複数の作業者の各々が行う作業の種類を推定する。
　これにより、作業領域Ａにて行われる作業の種類を推定することができる。そのため、例えば、作業領域Ａにて行われる作業の種類を含む履歴情報１０５ａを正確に収集して管理することができる。例えば、この履歴情報１０５ａを活用して、作業領域Ａにおける作業全体の最適化を図ることができる。従って、作業領域Ａにおける作業全体の最適化を支援することが可能になる。
　本実施形態によれば、予め定められた外観（マスタ外観情報）は、作業を行う作業者Ｐの全身、服装、姿勢、行動を示す情報、当該作業のために用いられる物品を示す情報、の少なくとも１つを含む。
　一般的に、作業を行う作業者Ｐは、製造工場などにおいて定められた所定の服装を着用することが多い。所定の服装は、例えば、作業者Ｐが行う作業に応じて定められる作業着、制服、帽子、靴などである。作業着や制服の場合、作業者Ｐが行う作業に応じて色が異なることがある。帽子は、作業者Ｐが行う作業に応じて着用するか否かが定められることが多い。また、帽子を着用する場合、作業者Ｐが行う作業に応じて帽子の色が異なることもある。靴は、作業者Ｐが行う作業に応じて、安全靴、作業靴、クリーンルーム用の靴などと定められることがある。この場合、作業者Ｐが行う作業に応じて靴の色が異なることもある。
　また、作業では、一定の範囲で移動することや、立ったりしゃがんだりを繰り返すことのように、姿勢、行動の少なくとも１つが一定の様式にパターン化していることが多い。
　さらに、作業では、作業のために用いられる物品があることも多い。物品は、例えば、コンベアＣ、作業台、部品、半製品、製品、運搬する荷物、道具・器具・機器（例えば、荷物を運搬するためのカート・台車、ネジ留めのためのドライバ）である。
　そのため、作業者Ｐの全身、服装、姿勢、行動の少なくとも１つを示す情報、物品を示す情報、の少なくとも１つに基づいて、映像を基に作業者Ｐが行う作業の種類を推定することができる。従って、作業領域Ａにおける作業全体の最適化を支援することが可能になる。
　本実施形態によれば、管理装置１０２は、推定部１０４が推定した結果に基づいて、管理情報を出力する管理部１０６を備える。例えば、管理情報は、同じ種類の作業を行う作業者の人数を含む。また例えば、管理情報は、同じ種類の作業を行う作業者の時間帯別の人数を含む。
　特に、作業者Ｐの全身の情報は、服装、姿勢などを示す情報を含むことができる。このように、作業者Ｐの全身の情報は、複数の情報を含むことができるので、服装、姿勢などの複数の情報の各々を準備してマスタ外観情報に設定するよりも、マスタ外観情報を設定する手間を軽減することができる。従って、ユーザの手間を軽減しつつ、作業領域Ａにおける作業全体の最適化を支援することが可能になる。
　本実施形態によれば、推定部１０４は、外観情報とマスタ情報１０３ａとに基づいて、１人又は複数の作業者Ｐの各々の作業時刻をさらに推定する。
　これにより、作業領域Ａにて行われる作業の種類に加えて、作業時刻を含む履歴情報１０５ａを正確に収集して管理することができる。例えば、この履歴情報１０５ａを活用して、作業領域における作業全体の最適化を図ることができる。従って、作業領域Ａにおける作業全体の最適化を支援することが可能になる。
　本実施形態によれば、映像は、作業領域Ａの作業者Ｐの全身画像を含む。
　一般的に、映像では、作業者Ｐの顔の向きなどのために、作業者Ｐの顔が、顔特徴量を基に人物の同一性を判定できる程度の鮮明さで含まれないことがある。このような場合であっても、映像が作業者Ｐの全身画像を含むことで、例えば、人体的特徴量、髪型、体格等を用いて、人物の同一性を判定することができる。これにより、作業領域Ａにて行われる作業の種類を含む履歴情報１０５ａを正確に、かつ、確実に収集して管理することができる。従って、作業領域Ａにおける作業全体の最適化をより一層支援することが可能になる。
＜実施形態２＞
　図１２は、本発明の実施形態２に係る管理システム２００の構成例を、作業領域Ａを上方から見た図とともに示す図である。本実施形態では、説明を簡潔にするため、実施形態１と重複する説明は適宜省略し、実施形態１と異なる点について主に説明する。
　管理システム２００は、複数の撮影装置１０１と、管理装置１０２とを備える。
　複数の撮影装置１０１は、作業領域Ａの全体を撮影するための装置である。複数の撮影装置１０１は、作業領域Ａを異なる方向から撮影する。複数の撮影装置１０１の各々は、実施形態１に係る撮影装置１０１と同様である。
　実施形態２では、推定部１０４は、作業領域Ａを撮影した複数の映像を解析して得られる１人又は複数の作業者Ｐの外観に関する外観情報と、マスタ情報１０３ａと、に基づいて、当該１人又は複数の作業者の各々が行う作業の種類を推定する。
　これらの点を除いて、管理システム２００は、機能的及び物理的に、実施形態１に係る管理システム１００と同様に構成されてよい。また、管理システム２００は、実施形態１に係る管理システム１００と同様に動作するとよい。
　以上、本発明の実施形態２について説明した。
（作用・効果）
　本実施形態によれば、推定部１０４は、作業領域Ａを撮影した複数の映像を解析して得られる１人又は複数の作業者の外観に関する外観情報と、マスタ情報１０３ａと、に基づいて、当該１人又は複数の作業者の各々が行う作業の種類を推定する。複数の映像は、作業領域Ａを異なる方向から撮影した映像である。
　このように、複数の異なる方向から撮影した映像を用いることで、作業領域Ａの全体を概ね漏れなく撮影した映像を得ることができる。そのため、作業場に空きスペースがあることなどを認識して、作業者Ｐの配置を変更することなどができる。従って、作業領域Ａにおける作業全体の最適化を支援することが可能になる。
　また、異なる方向から撮影することで、作業者Ｐの顔を撮影し易くなる。そのため、顔特徴量に基づいて人物の同一性を確実に判定し易くなる。これにより、作業領域Ａにて行われる作業の種類を含む履歴情報１０５ａを正確に、かつ、確実に収集して管理することができる。従って、作業領域Ａにおける作業全体の最適化をより一層支援することが可能になる。
＜実施形態３＞
　実施形態３では、複数の作業者Ｐが共同で作業を行うグループ作業の例について説明する。本実施形態では、説明を簡潔にするため、実施形態１と重複する説明は適宜省略し、実施形態１と異なる点について主に説明する。
　図１３は、本発明の実施形態３に係る管理システム３００の構成例を、作業領域Ａを上方から見た図とともに示す図である。
　管理システム３００は、実施形態１と同様の撮影装置１０１と、実施形態１に係る管理装置１０２に代わる管理装置３０２とを備える。
　管理装置３０２は、実施形態１と同様の履歴記憶部１０５、管理部１０６、表示部１０７、出力制御部１０８及び入力受付部１０９を備える。管理装置３０２は、実施形態１に係るマスタ記憶部１０３及び推定部１０４に代わる、マスタ記憶部３０３及び推定部３０４を備える。
　マスタ記憶部３０３は、実施形態１と同様に、マスタ情報３０３ａを記憶するための記憶部である。
　マスタ情報３０３ａは、実施形態１と同様に、作業者Ｐが行う作業の種類を判定するための基準を示す情報である。本実施形態では、マスタ情報３０３ａは、グループ作業についてのマスタ情報３０３ａを含む点で、実施形態１に係るマスタ情報１０３ａとは異なる。
　図１４は、本実施形態に係るマスタ情報３０３ａの一例を示す図である。
　本実施形態に係るマスタ情報３０３ａは、実施形態１に係るマスタ情報１０３ａと同様に、作業を行う作業者Ｐについて予め定められた外観と、当該作業の種類とを関連付ける。これに加えて、マスタ情報３０３ａは、作業を行う作業者グループについて予め定められた外観と、当該作業の種類とを関連付ける。
　作業者グループは、共同で作業を行う複数の作業者から構成されるグループである。
　グループ作業についてのマスタ外観情報、すなわちグループ作業について予め定められた外観は、実施形態１と同様の外観に加えて、作業者グループを構成する複数の作業者Ｐの人数、位置関係、の少なくとも１つを含む。
　図１４に示すマスタ情報３０３ａは、グループ作業である「作業Ｄ」に、マスタ外観情報と、実施形態１と同様の作業場、工程ＩＤ及び作業位置／作業姿勢とを関連付ける情報を含む。
　「作業Ｄ」に関連付けられたマスタ外観情報は、作業者グループを構成する複数の作業者の各々の、全身、服装、姿勢、行動の少なくとも１つを示す情報、作業のために用いられる物品を示す情報、の少なくとも１つを含む。また、このマスタ外観情報は、作業者グループを構成する複数の作業者の人数及び位置関係を含む。図１４では、人数が「２人」であり、位置関係が「〇〇ピクセル以内の距離で向き合う」である例を示す。「〇〇ピクセル」は、距離を画面の画素数（画面内の距離）で表す例である。距離は、実空間の距離で表されてもよい。
　推定部３０４は、実施形態１と同様に、作業領域Ａを撮影した映像を解析して得られる１人又は複数の作業者Ｐの外観に関する外観情報と、マスタ情報１０３ａと、に基づいて、当該１人又は複数の作業者の各々が行う作業の種類を推定する。
　図１５は、本実施形態に係る推定部３０４の機能的な構成の詳細例を示す図である。
　推定部３０４は、実施形態１と同様の履歴生成部１１３と、実施形態１に係る解析部１１１及び作業推定部１１２に代わる解析部３１１及び作業推定部３１２とを備える。
　解析部３１１は、実施形態１と同様に、解析機能を用いて、作業領域Ａを撮影した映像を解析し、映像に含まれる物体（作業者Ｐ及び物品）を検知する。また、解析部３１１は、実施形態１と同様に、検知された作業者Ｐの外観に関する外観情報を生成する。
　本実施形態に係る外観情報は、同じフレーム画像に複数の作業者Ｐが含まれる場合に、複数の作業者Ｐの位置関係と人数との少なくとも一方を含む。例えば、外観情報は、複数の作業者Ｐ間の距離（例えば、画面内の距離、実空間の距離）、複数の作業者Ｐの各々の向きなどを含む。
　作業推定部３１２は、解析部１１１が生成した外観情報とマスタ情報３０３ａとに基づいて、作業者Ｐが行う作業の種類を推定する。
　詳細には、作業推定部３１２は、実施形態１と同様に、外観情報とマスタ外観情報とに含まれる、作業者Ｐの、全身、服装、姿勢、行動の少なくとも１つを示す情報、作業のために用いられる物品を示す情報、の少なくとも１つに基づいて、作業の種類を推定する。
　本実施形態に係る作業推定部３１２は、外観情報が作業者Ｐの位置関係と人数との少なくとも一方を含む場合、さらに、外観情報とマスタ外観情報とに含まれる人数及び位置関係の少なくとも一方に基づいて、グループ作業についての作業の種類を推定する。
　これらの点を除いて、管理システム３００は、機能的及び物理的に、実施形態１に係る管理システム１００と同様に構成されてよい。
　本実施形態に係る推定処理では、ステップＳ１０２ｅにおいて、解析部３１１は、作業領域Ａを撮影した映像を解析し、実施形態１と同様の全身、服装、姿勢、行動、物品などを含む外観情報を生成する。これに加えて、解析部３１１は、処理対象である作業者Ｐと他の作業者Ｐを含むフレーム画像がある場合に、解析部３１１は、複数の作業者Ｐの位置関係と人数との少なくとも一方を含む外観情報を生成する。
　ステップＳ１０２ｆにおいて、作業推定部１１２は、実施形態にと同様に、ステップＳ１０２ｅにて取得された外観情報とマスタ情報１０３ａとに基づいて、処理対象である作業者Ｐが行う作業の種類を推定する。
　詳細には、本実施形態に係る作業推定部３１２は、外観情報が作業者Ｐの位置関係と人数との少なくとも一方を含む場合、外観情報とマスタ外観情報とに基づいて、グループ作業についての作業の種類を推定する。
　より詳細には例えば、外観情報が作業者Ｐの人数を含む場合、作業推定部３１２は、人数、全身、服装、姿勢、行動、物品などが外観情報と一致するマスタ外観情報を特定する。また例えば、外観情報が作業者Ｐの位置関係を含む場合、作業推定部３１２は、位置関係、全身、服装、姿勢、行動、物品などが外観情報と一致するマスタ外観情報を特定する。
　さらに例えば、外観情報が作業者Ｐの人数及び位置関係を含む場合、作業推定部３１２は、人数、位置関係、全身、服装、姿勢、行動、物品などが外観情報と一致するマスタ外観情報を特定する。
　外観情報が作業者Ｐの位置関係と人数との少なくとも一方を含む場合であっても、複数の作業者Ｐの一部又は全部が１人で行う作業を行っていることもある。そのため、作業推定部３１２は、例えばグループ作業についての作業の種類を推定するための処理を行った後に、実施形態１と同様に、人数及び位置関係以外の情報（全身、服装、姿勢、行動、物品など）が外観情報と一致するマスタ外観情報を特定する。
　そして、いずれの場合も、作業推定部３１２は、マスタ情報１０３ａにおいて、特定された外観情報に関連付けられた作業の種類を特定する。作業推定部１１２は、特定された作業の種類が、処理対象である作業者Ｐが行う作業の種類であると推定する。
　これらの点を除いて、本実施形態に係る管理処理は、実施形態１に係る管理処理と同様でよい。
　以上、本発明の実施形態３について説明した。
（作用・効果）
　本実施形態によれば、マスタ情報１０３ａは、作業を行う作業者グループについて予め定められた外観と、当該作業の種類と、を関連付ける。作業者グループは、作業を共同で行う複数の作業者から構成される。
　これにより、作業領域Ａにて行われるグループ作業についての作業の種類を推定することができる。そのため、例えば、グループ作業についての作業の種類を含む履歴情報１０５ａを正確に収集して管理することができる。例えば、この履歴情報１０５ａを活用して、作業領域Ａにおける作業全体の最適化を図ることができる。従って、作業領域Ａにおける作業全体の最適化を支援することが可能になる。
　本実施形態によれば、作業を行う作業者グループについて予め定められた外観（マスタ外観情報）は、作業者グループを構成する複数の作業者の人数、位置関係、の少なくとも１つを含む。
　これにより、作業領域Ａにて行われるグループ作業についての作業の種類を推定することができる。そのため、例えば、グループ作業についての作業の種類を含む履歴情報１０５ａを正確に収集して管理することができる。例えば、この履歴情報１０５ａを活用して、作業領域Ａにおける作業全体の最適化を図ることができる。従って、作業領域Ａにおける作業全体の最適化を支援することが可能になる。
＜実施形態４＞
　通常、作業領域Ａには予め定められた作業者Ｐが出入りすることが多い。しかし、予め定められた作業者Ｐ以外の者が作業領域Ａに出入りすることもある。実施形態４では、予め定められた作業者Ｐ以外の者が作業領域Ａの映像に含まれた場合の処理の例について説明する。本実施形態では、説明を簡潔にするため、実施形態１と重複する説明は適宜省略し、実施形態１と異なる点について主に説明する。
　図１６は、本発明の実施形態４に係る管理システム４００の構成例を、作業領域Ａを上方から見た図とともに示す図である。
　管理システム４００は、実施形態１と同様の撮影装置１０１と、実施形態１に係る管理装置１０２に代わる管理装置４０２とを備える。
　管理装置４０２は、機能的に、実施形態１に係る出力制御部１０８に代わる出力制御部４０８を備える。これに加えて、管理装置４０２は、登録記憶部４１０を備える。これらを除いて、管理装置４０２は、実施形態１に係る管理装置１０２と同様に構成されるとよい。
　登録記憶部４１０は、作業者情報４１０ａと未登録情報４１０ｂと記憶するための記憶部である。
　作業者情報４１０ａは、作業者Ｐに関する情報である。作業者情報４１０ａは、登録記憶部４１０に予め登録される。
　図１７は、本実施形態に係る作業者情報４１０ａの構成の一例を示す図である。作業者情報４１０ａは、作業者ＩＤと、画像特徴量とを関連付ける。
　画像特徴量は、これに関連付けられた作業者ＩＤが示す作業者Ｐの画像特徴量である。この画像特徴量は、例えば、顔特徴量であるが、これに限られない。
　未登録情報４１０ｂは、未登録者に関する情報である。未登録者は、作業領域Ａに出入りする人物のうち、作業者情報４１０ａに登録されていない人物である。
　図１８は、本実施形態に係る未登録情報４１０ｂの構成の一例を示す図である。未登録情報４１０ｂは、未登録ＩＤと、画像と、行動に関する情報とを関連付ける。
　未登録ＩＤは、未登録者を識別するための情報である。
　画像は、これに関連付けられた未登録ＩＤが示す未登録者を含む画像である。
　行動に関する情報は、これに関連付けられた未登録ＩＤが示す未登録者の行動に関する情報である。
　なお、未登録情報４１０ｂは、画像と行動に関する情報との少なくとも一方を含めばよい。
　推定部４０４は、実施形態１に係る推定部１０４の機能に加えて、作業領域Ａを撮影した映像に含まれる人物が未登録者である場合に、未登録者に関する未登録情報４１０ｂを生成する。推定部４０４は、未登録情報４１０ｂを登録記憶部４１０に記憶させる。
　図１９は、本実施形態に係る推定部４０４の機能的な構成の詳細例を示す図である。
　推定部４０４は、実施形態１と同様の作業推定部１１２及び履歴生成部１１３と、実施形態１に係る解析部１１１に代わる解析部４１１とを備える。
　解析部４１１は、実施形態１に係る解析部４１１と同様の機能を備える。さらに、解析部４１１は、作業領域Ａを撮影した映像に含まれる人物が作業者Ｐであるか否かを判定する。解析部４１１は、作業者Ｐでないと判定した場合に、未登録情報４１０ｂを生成して登録記憶部４１０に記憶させる。
　図１６を再び参照する。
　出力制御部４０８は、履歴情報１０５ａ、管理情報に加えて、未登録情報４１０ｂを表示部１０７に表示させる。また、出力制御部４０８は、未登録情報４１０ｂを含む電子データを出力する。詳細には例えば、出力制御部４０８は、未登録情報４１０ｂに含まれる未登録者の情報をリスト化し、未登録者のリストを表示部１０７に表示させたり、未登録者のリストを含む電子データを出力したりする。
　管理システム４００は、物理的には、実施形態１に係る管理システム１００と同様に構成されてよい。
　本実施形態に係る管理装置４０２は、実施形態１と同様に、管理処理を実行する。本実施形態に係る管理処理は、実施形態１に係る推定処理（ステップＳ１０２）とは一部が異なる推定処理を含む。
　図２０は、本実施形態に係る管理処理の一例を示すフローチャートである。図２０では、本実施形態に係る管理処理のうち、実施形態１に係る推定処理（ステップＳ１０２）と異なる部分の一例を示している。
　解析部４１１は、実施形態１と同様のステップＳ１０２ａ～Ｓ１０２ｂを実行する。
　解析部４１１は、作業者情報４１０ａに基づいて、作業領域Ａを撮影した映像に含まれる人物が作業者Ｐであるか否かを判定する（ステップＳ４０２ａ）。
　詳細には例えば、解析部４１１は、ステップＳ１０２ｂで検知された人物の顔特徴量に一致する顔特徴量が作業者情報４１０ａに含まれるか否かを判定する。
　検知された人物の顔特徴量に一致する顔特徴量が作業者情報４１０ａに含まれない場合に、解析部４１１は、作業者Ｐでないと判定する。検知された人物の顔特徴量に一致する顔特徴量が作業者情報４１０ａに含まれる場合に、解析部４１１は、作業者Ｐであると判定する。
　作業者Ｐでないと判定した場合（ステップＳ４０２ａ；Ｎｏ）、解析部４１１は、未登録情報４１０ｂを生成する（ステップＳ４０２ｂ）。解析部４１１は、生成した未登録情報４１０ｂを登録記憶部４１０に記憶させる。
　詳細には、解析部４１１は、作業者Ｐでないと判定した人物（未登録者）に未登録ＩＤを付与する。このとき、解析部４１１は、例えば予め定められた規則に従って、未登録ＩＤを付与するとよい。解析部４１１は、作業者Ｐでないと判定した人物（未登録者）を含む画像及び行動に関する情報を未登録ＩＤに関連付けて、未登録情報４１０ｂを生成する。
　作業者Ｐでないと判定した人物の画像は、作業領域Ａを撮影した映像に含まれる当該人物の画像である。この画像は、静止画像で、動画像の一方又は両方である。この画像は、顔画像、全身画像などの少なくとも１つを含む。行動に関する情報は、例えば、動き特徴量、姿勢特徴量、姿勢特徴量の推移又は変化であるが、これに限られない。
　作業者Ｐであると判定した場合（ステップＳ４０２ａ；Ｎｏ）、解析部４１１は、実施形態１と同様のステップＳ１０２ｃ以降の処理を行う。ただし、ステップＳ１０２ｄにおいて解析部１１１は、処理対象の作業者に付与する作業者ＩＤに、作業者情報４１０ａに含まれる作業者ＩＤを用いるとよい。
　以上、本発明の実施形態４について説明した。
（作用・効果）
　本実施形態によれば、作業領域Ａを撮影した映像に含まれる人物が作業者情報４１０ａに登録されていない未登録者である場合に、当該未登録者に関する未登録情報４１０ｂを生成する。
　これにより、作業領域Ａに出入りする作業者Ｐ以外の人物を管理することができる。従って、作業領域Ａにおける安全管理、情報管理などを向上させることが可能になる。
　本実施形態によれば、未登録情報４１０ｂは、未登録者を含む画像と未登録者の行動に関する情報との少なくとも１つを含む。
　これにより、作業領域Ａに出入りする作業者Ｐ以外の人物を、当該人物の画像と行動との少なくとも一方に基づいて管理することができる。従って、作業領域Ａにおける安全管理、情報管理などを向上させることが可能になる。
　本実施形態によれば、出力制御部４０８は、未登録情報４１０ｂを表示部１０７に表示させる。
　これにより、ユーザは、未登録情報４１０ｂを閲覧して、作業領域Ａに出入りする作業者Ｐ以外の人物を管理することができる。従って、作業領域Ａにおける安全管理、情報管理などを向上させることが可能になる。
　以上、図面を参照して本発明の実施の形態及び変形例について述べたが、これらは本発明の例示であり、上記以外の様々な構成を採用することもできる。
　また、上述の説明で用いた複数のフローチャートでは、複数の工程（処理）が順番に記載されているが、実施の形態の各々で実行される工程の実行順序は、その記載の順番に制限されない。実施の形態の各々では、図示される工程の順番を内容的に支障のない範囲で変更することができる。また、上述の実施の形態及び変形例は、内容が相反しない範囲で組み合わせることができる。
　上記の実施の形態の一部または全部は、以下の付記のようにも記載されうるが、以下に限られない。
１．
　作業を行う１人の作業者又は作業者グループについて予め定められた外観と、当該作業の種類と、を関連付けるマスタ情報を記憶するためのマスタ記憶手段と、
　作業領域を撮影した映像を解析して得られる１人又は複数の作業者の外観に関する外観情報と、前記マスタ情報と、に基づいて、当該１人又は複数の作業者の各々が行う作業の種類を推定する推定手段とを備える
　管理装置。
２．
　前記予め定められた外観は、前記作業を行う前記１人の作業者又は前記作業者グループを構成する複数の作業者の全身、服装、姿勢、行動を示す情報、当該作業のために用いられる物品を示す情報、の少なくとも１つを含む
　１．に記載の管理装置。
３．
　前記作業者グループは、前記作業を共同で行う複数の作業者から構成される
　１．又は２．に記載の管理装置。
４．
　前記作業を行う前記作業者グループについて前記予め定められた外観は、前記作業者グループを構成する複数の作業者の人数、位置関係、の少なくとも１つを含む
　１．から３．のいずれか１つに記載の管理装置。
５．
　前記推定手段が推定した結果に基づいて、管理情報を出力する管理手段をさらに備える
　１．から４．のいずれか１つに記載の管理装置。
６．
　前記管理情報は、同じ種類の作業を行う作業者の人数を含む
　５．に記載の管理装置。
７．
　前記管理情報は、同じ種類の作業を行う作業者の時間帯別の人数を含む
　６．に記載の管理装置。
８．
　前記推定手段は、前記外観情報と前記マスタ情報とに基づいて、前記１人又は複数の作業者の各々の作業時刻をさらに推定する
　１．から７．のいずれか１つに記載の管理装置。
９．
　前記映像は、前記作業領域を異なる方向から撮影した複数の映像の１つであり、
　前記推定手段は、前記作業領域を撮影した前記複数の映像を解析して得られる１人又は複数の作業者の外観に関する外観情報と、前記マスタ情報と、に基づいて、当該１人又は複数の作業者の各々が行う作業の種類を推定する
　１．から８．のいずれか１つに記載の管理装置。
１０．
　前記推定手段は、さらに、前記映像に含まれる人物が作業者情報に登録されていない未登録者である場合に、当該未登録者に関する未登録情報を生成する
　１．から９．のいずれか１つに記載の管理装置。
１１．
　前記未登録情報は、前記未登録者を含む画像と、前記未登録者の行動と、の少なくとも１つを含む
　１０．に記載の管理装置。
１２．
　前記未登録情報を表示手段に表示させる出力制御手段をさらに備える
　１０．又は１１．に記載の管理装置。
１３．
　１．から１２．のいずれか１つに記載の管理装置と、
　前記作業領域を撮影し、当該作業領域を撮影した映像を含む映像データを送信する撮影装置とを備える
　管理システム。
１４．
　コンピュータが、
　作業を行う１人の作業者又は作業者グループについて予め定められた外観と、当該作業の種類と、を関連付けるマスタ情報をマスタ記憶手段に記憶させ、
　作業領域を撮影した映像を解析して得られる１人又は複数の作業者の外観に関する外観情報と、前記マスタ情報と、に基づいて、当該１人又は複数の作業者の各々が行う作業の種類を推定することを含む
　管理方法。
１５．
　コンピュータに、
　作業を行う１人の作業者又は作業者グループについて予め定められた外観と、当該作業の種類と、を関連付けるマスタ情報を記憶させ、
　作業領域を撮影した映像を解析して得られる１人又は複数の作業者の外観に関する外観情報と、前記マスタ情報と、に基づいて、当該１人又は複数の作業者の各々が行う作業の種類を推定することを実行させるためのプログラム。
１００，２００，３００，４００　管理システム
１０１　撮影装置
１０２，３０２，４０２　管理装置
１０３，３０３　マスタ記憶部
１０３ａ，３０３ａ　マスタ情報
１０４，３０４，４０４　推定部
１０５　履歴記憶部
１０５ａ　履歴情報
１０６　管理部
１０７　表示部
１０８，４０８　出力制御部
１０９　入力受付部
１１１，３１１，４１１　解析部
１１２，３１２　作業推定部
１１３　履歴生成部
４１０　登録記憶部
４１０ａ　作業者情報
４１０ｂ　未登録情報
Ａ　作業領域
Ｐ，Ｐａ　作業者
　

Claims (15)

  1. 　作業を行う１人の作業者又は作業者グループについて予め定められた外観と、当該作業の種類と、を関連付けるマスタ情報を記憶するためのマスタ記憶手段と、
    　作業領域を撮影した映像を解析して得られる１人又は複数の作業者の外観に関する外観情報と、前記マスタ情報と、に基づいて、当該１人又は複数の作業者の各々が行う作業の種類を推定する推定手段とを備える
    　管理装置。
  2. 　前記予め定められた外観は、前記作業を行う前記１人の作業者又は前記作業者グループを構成する複数の作業者の全身、服装、姿勢、行動を示す情報、当該作業のために用いられる物品を示す情報、の少なくとも１つを含む
    　請求項１に記載の管理装置。
  3. 　前記作業者グループは、前記作業を共同で行う複数の作業者から構成される
    　請求項１又は２に記載の管理装置。
  4. 　前記作業を行う前記作業者グループについて前記予め定められた外観は、前記作業者グループを構成する複数の作業者の人数、位置関係、の少なくとも１つを含む
    　請求項１から３のいずれか１項に記載の管理装置。
  5. 　前記推定手段が推定した結果に基づいて、管理情報を出力する管理手段をさらに備える
    　請求項１から４のいずれか１項に記載の管理装置。
  6. 　前記管理情報は、同じ種類の作業を行う作業者の人数を含む
    　請求項５に記載の管理装置。
  7. 　前記管理情報は、同じ種類の作業を行う作業者の時間帯別の人数を含む
    　請求項６に記載の管理装置。
  8. 　前記推定手段は、前記外観情報と前記マスタ情報とに基づいて、前記１人又は複数の作業者の各々の作業時刻をさらに推定する
    　請求項１から７のいずれか１項に記載の管理装置。
  9. 　前記映像は、前記作業領域を異なる方向から撮影した複数の映像の１つであり、
    　前記推定手段は、前記作業領域を撮影した前記複数の映像を解析して得られる１人又は複数の作業者の外観に関する外観情報と、前記マスタ情報と、に基づいて、当該１人又は複数の作業者の各々が行う作業の種類を推定する
    　請求項１から８のいずれか１項に記載の管理装置。
  10. 　前記推定手段は、さらに、前記映像に含まれる人物が作業者情報に登録されていない未登録者である場合に、当該未登録者に関する未登録情報を生成する
    　請求項１から９のいずれか１項に記載の管理装置。
  11. 　前記未登録情報は、前記未登録者を含む画像と、前記未登録者の行動と、の少なくとも１つを含む
    　請求項１０に記載の管理装置。
  12. 　前記未登録情報を表示手段に表示させる出力制御手段をさらに備える
    　請求項１０又は１１に記載の管理装置。
  13. 　請求項１から１２のいずれか１項に記載の管理装置と、
    　前記作業領域を撮影し、当該作業領域を撮影した映像を含む映像データを送信する撮影装置とを備える
    　管理システム。
  14. 　コンピュータが、
    　作業を行う１人の作業者又は作業者グループについて予め定められた外観と、当該作業の種類と、を関連付けるマスタ情報をマスタ記憶手段に記憶させ、
    　作業領域を撮影した映像を解析して得られる１人又は複数の作業者の外観に関する外観情報と、前記マスタ情報と、に基づいて、当該１人又は複数の作業者の各々が行う作業の種類を推定することを含む
    　管理方法。
  15. 　コンピュータに、
    　作業を行う１人の作業者又は作業者グループについて予め定められた外観と、当該作業の種類と、を関連付けるマスタ情報を記憶させ、
    　作業領域を撮影した映像を解析して得られる１人又は複数の作業者の外観に関する外観情報と、前記マスタ情報と、に基づいて、当該１人又は複数の作業者の各々が行う作業の種類を推定することを実行させるためのプログラム。
PCT/JP2022/005428 2022-02-10 2022-02-10 管理装置、管理システム、管理方法及びプログラム WO2023152893A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2022/005428 WO2023152893A1 (ja) 2022-02-10 2022-02-10 管理装置、管理システム、管理方法及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2022/005428 WO2023152893A1 (ja) 2022-02-10 2022-02-10 管理装置、管理システム、管理方法及びプログラム

Publications (1)

Publication Number Publication Date
WO2023152893A1 true WO2023152893A1 (ja) 2023-08-17

Family

ID=87563885

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/005428 WO2023152893A1 (ja) 2022-02-10 2022-02-10 管理装置、管理システム、管理方法及びプログラム

Country Status (1)

Country Link
WO (1) WO2023152893A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017151520A (ja) * 2016-02-22 2017-08-31 株式会社ブロードリーフ コンピュータプログラム、作業分析支援方法及び作業分析支援装置
JP2019012328A (ja) * 2017-06-29 2019-01-24 株式会社 日立産業制御ソリューションズ 人行動推定システム
JP2020145511A (ja) * 2019-03-04 2020-09-10 パナソニックｉ−ＰＲＯセンシングソリューションズ株式会社 カメラ装置、人物検出方法および人物検出システム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017151520A (ja) * 2016-02-22 2017-08-31 株式会社ブロードリーフ コンピュータプログラム、作業分析支援方法及び作業分析支援装置
JP2019012328A (ja) * 2017-06-29 2019-01-24 株式会社 日立産業制御ソリューションズ 人行動推定システム
JP2020145511A (ja) * 2019-03-04 2020-09-10 パナソニックｉ−ＰＲＯセンシングソリューションズ株式会社 カメラ装置、人物検出方法および人物検出システム

Similar Documents

Publication Publication Date Title
Ray et al. Real-time construction worker posture analysis for ergonomics training
US11263795B1 (en) Visualization system for sensor data and facility data
JP6825141B2 (ja) 服飾コーディネーションの推薦方法および装置、電子デバイス、記憶媒体
US11030442B1 (en) Associating events with actors based on digital imagery
WO2019090268A1 (en) Contextual training systems and methods
CN108229559B (zh) 服饰检测方法、装置、电子设备、程序和介质
US11284041B1 (en) Associating items with actors based on digital imagery
US20200402139A1 (en) Self-checkout system, purchased product management method, and purchased product management program
JP6756473B2 (ja) 行動分析装置及びシステム及び方法
WO2020225562A1 (en) Processing captured images
JP2009048430A (ja) 顧客動作分析装置、顧客動作判定システム、及び顧客購買行動分析システム
US20070244630A1 (en) Behavior determining apparatus, method, and program
US11842378B2 (en) Systems and methods for product identification using image analysis and trained neural network
KR20170016578A (ko) 의류 피팅 시스템 및 의류 피팅 시스템의 동작 방법
US11443503B2 (en) Product analysis system, product analysis method, and product analysis program
JP6593949B1 (ja) 情報処理装置、及び、マーケティング活動支援装置
Saqlain et al. Hybrid Approach for Shelf Monitoring and Planogram Compliance (Hyb‐SMPC) in Retails Using Deep Learning and Computer Vision
US20220130148A1 (en) System and Method for Identifying Outfit on a Person
JP2017130061A (ja) 画像処理システム、画像処理方法およびプログラム
WO2023152893A1 (ja) 管理装置、管理システム、管理方法及びプログラム
Bouma et al. WPSS: Watching people security services
WO2022176774A1 (ja) 解析装置、解析システム、解析方法及びプログラム
US20230267743A1 (en) Computer-readable recording medium, information processing method, and information processing apparatus
WO2023195122A1 (ja) 処理装置、処理方法、および記録媒体
WO2022259690A1 (ja) 作業分析装置及び方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22925914

Country of ref document: EP

Kind code of ref document: A1