WO2022044637A1 - 画像処理装置、画像処理方法およびプログラム - Google Patents

画像処理装置、画像処理方法およびプログラム Download PDF

Info

Publication number
WO2022044637A1
WO2022044637A1 PCT/JP2021/027375 JP2021027375W WO2022044637A1 WO 2022044637 A1 WO2022044637 A1 WO 2022044637A1 JP 2021027375 W JP2021027375 W JP 2021027375W WO 2022044637 A1 WO2022044637 A1 WO 2022044637A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
worker
work
generated
statistical information
Prior art date
Application number
PCT/JP2021/027375
Other languages
English (en)
French (fr)
Inventor
清明 田中
淳一 杉尾
貴宏 高山
Original Assignee
オムロン株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オムロン株式会社 filed Critical オムロン株式会社
Priority to CN202180057656.5A priority Critical patent/CN116134480A/zh
Priority to US18/006,623 priority patent/US20230267767A1/en
Priority to DE112021004434.6T priority patent/DE112021004434T5/de
Publication of WO2022044637A1 publication Critical patent/WO2022044637A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16Y—INFORMATION AND COMMUNICATION TECHNOLOGY SPECIALLY ADAPTED FOR THE INTERNET OF THINGS [IoT]
    • G16Y10/00—Economic sectors
    • G16Y10/25—Manufacturing
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Definitions

  • the present invention relates to a technique for analyzing the behavior of a target using an image sensor.
  • Patent Document 1 there is a technique for measuring work time by specifying the work start time and work end time of the work by reading the ID tag attached to the work operating on the line at the entrance and exit of the line. Proposed. Further, Patent Document 2 proposes a technique for displaying a time chart or a moving image regarding the work content of a worker to be tracked in a series of operations in a work process.
  • the analysis target of the work content such as attaching an ID tag to the work or designating a person whose work is tracked by the user.
  • the accuracy of the measurement time depends on the detection accuracy of the sensor or the like that reads the ID tag, and it is necessary to read the ID tag for each process.
  • the user specifies a worker to be tracked in the video of the line, the user does not identify an individual for each worker, so even if the work content of each worker can be grasped, the individual is identified. It is not possible to identify and understand the work content.
  • the present invention has been made in view of the above circumstances, and provides a technique capable of analyzing work contents while identifying an individual worker based on an image acquired by an image sensor.
  • the present invention adopts the following configuration.
  • the first aspect of the present invention is an image acquisition means for acquiring a moving image in which a working area is captured by an image sensor, and an image for generating an image of a face portion of a worker working in the working area from the moving image.
  • the data generation means associates an image of a plurality of workers' faces generated by the image generation means with statistical information of the work of the plurality of workers generated by the statistical information generation means.
  • the data generation means generates at least two or more images of the faces of the plurality of workers and at least two or more of the images of the face portion of the plurality of workers with respect to the data output by the output means.
  • New data may be generated by integrating the statistical information associated with the image.
  • the at least two or more images may be images selected based on user input. As a result, when multiple images of the face part are generated for the same worker, the plurality of images are integrated into one image, and the statistical information associated with the plurality of images is integrated. Can be done.
  • the data generation means changes the image of the worker's face portion to another image of the worker's face portion generated by the image generation means with respect to the data output by the output means. You may generate new data. Further, the data generation means includes an image of the worker's face portion selected based on a criterion including at least one of the size, orientation, and facial appearance of the worker's face portion, and the generated worker's face portion. You may generate the data associated with the statistical information of the work of. Further, the data generation means is selected from the pre-acquired images based on the matching between the pre-acquired images of the face portions of the plurality of workers and the generated images of the face portions of the workers.
  • Data may be generated in which the image of the face portion of the worker and the generated statistical information of the worker's work are associated with each other.
  • the image of the worker's face can be changed to an image that makes it easier to identify the worker, and the statistical information of the worker can be easily identified.
  • the statistical information generating means generates schematic information and detailed information of the statistical information of the worker's work based on the moving image
  • the data generating means includes an image of the face portion of the worker and the image of the worker's face.
  • Data may be generated in which the schematic information of the generated statistical information of the worker's work and the detailed information of the generated statistical information of the worker's work are linked to each other.
  • the data generation means generates a moving image related to the generated statistical information of the worker's work based on the acquired moving image, and the data generating means is a face portion of the worker. Data may be generated in which the image, the generated statistical information of the worker's work, and the generated moving image are linked to each other. Further, the statistical information generation means generates statistical information of the work of the worker for each one or more work steps included in the work area based on the moving image, and the data generation means obtains the acquisition. Based on the generated moving image, a moving image related to the generated statistical information of the worker's work is generated for each of the one or more work steps, and the data generation means is a face portion of the worker.
  • Data statistical information for each of the one or more work steps of the generated work of the worker, and moving images for each of the one or more work steps generated. May be generated. As a result, more efficient work analysis can be performed by confirming the moving image that is the basis of the worker's statistical information.
  • the statistical information generation means generates evaluation information indicating an evaluation result based on a predetermined standard for the statistical information of the worker's work generated based on the moving image, and the data generation means is the worker.
  • Data may be generated in which the image of the face portion of the above is associated with the generated statistical information of the work of the worker and the evaluation information.
  • the present invention includes an image processing method including at least a part of the above processing, a program for causing a computer to execute these methods, or a computer-readable recording in which such a program is recorded non-temporarily. It can also be regarded as a medium.
  • the present invention it is possible to analyze the work content while identifying the individual worker based on the image acquired by the image sensor.
  • FIG. 1 is a block diagram showing a configuration example of an image processing apparatus to which the present invention is applied.
  • FIG. 2 is a block diagram showing a configuration example of a PC (image processing device) according to an embodiment.
  • FIG. 3 is a flowchart showing an example of a processing flow of a PC according to an embodiment.
  • FIG. 4 is a schematic diagram showing a specific example of the display screen according to the embodiment.
  • FIG. 5 is a schematic diagram showing a specific example of the display screen according to the modified example 1.
  • FIG. 6 is a schematic diagram showing a specific example of the display screen according to the modified example 2.
  • FIG. 7 is a schematic diagram showing a specific example of the display screen according to the modified example 3.
  • FIG. 1 is a block diagram showing a configuration example of an image processing apparatus to which the present invention is applied.
  • FIG. 2 is a block diagram showing a configuration example of a PC (image processing device) according to an embodiment.
  • FIG. 3 is a flowchart showing an example of
  • FIG. 8 is a schematic diagram showing a specific example of the display screen according to the modified example 4.
  • FIG. 9 is a schematic diagram showing a specific example of the display screen according to the modified example 5.
  • FIG. 10 is a schematic diagram showing a specific example of the display screen according to the modified example 6.
  • FIG. 11 is a schematic diagram showing a specific example of the display screen according to the modified example 7.
  • FIG. 12 is a schematic diagram showing a specific example of the display screen according to the modified example 8.
  • FIG. 1 is a block diagram showing a configuration example of an image processing apparatus 100 to which the present invention is applied.
  • the image processing device 100 includes an image acquisition unit 101, a face image generation unit 102, a statistical information generation unit 103, a data generation unit 104, and an output unit 105.
  • the image acquisition unit 101 acquires an image captured by an image sensor such as an omnidirectional camera arranged on a cell line or the like.
  • the face image generation unit 102 generates an image (face image) of the face portion of each worker based on the captured image.
  • the statistical information generation unit 103 generates statistical information of the work of each worker based on the captured image.
  • the data generation unit 104 generates data in which the image of the worker's face portion generated by the face image generation unit 102 and the statistical information of the worker's work generated by the statistical information generation unit 103 are linked. do.
  • the output unit 105 outputs the data generated by the data generation unit 104.
  • the image processing apparatus 100 it is possible to accurately identify an operator based on an image captured by an image sensor and provide information indicating the analysis content of the work for each operator.
  • FIG. 2 is a schematic diagram showing a rough configuration example of the image processing system according to the first embodiment.
  • the image processing system according to the first embodiment includes an image sensor, a PC200 (personal computer; an image processing device), and a display device.
  • the image sensor and the PC200 are connected to each other by wire or wirelessly, and the PC200 and the display device are connected to each other by wire or wirelessly.
  • the area of the cell line in the image captured by the image sensor becomes the detection area for detecting the human body for the operator.
  • the image sensor captures the cell line and outputs the captured image to the PC200.
  • the image pickup direction of the image sensor is not particularly limited, but in the first embodiment, for example, the image sensor is installed on the ceiling of the floor where the cell line is developed in a direction in which the cell line is overlooked.
  • the PC 200 detects the human body based on the image captured by the image sensor, and outputs the detection result to the display device. Examples of display devices include displays and information processing terminals (smartphones, etc.).
  • the PC 200 is a device separate from the image sensor and the display device in the first embodiment, the PC 200 may be integrally configured with the image sensor or the display device. Further, the installation location of the PC 200 is not particularly limited. For example, the PC 200 may be installed in the same room as the image sensor. Further, the PC 200 may be a computer on the cloud.
  • the PC 200 has an input unit 210, a control unit 220, a storage unit 230, and an output unit 240.
  • the control unit 220 includes an image generation unit 221, a statistical information generation unit 222, and a data generation unit 223.
  • the input unit 210, the image generation unit 221, the statistical information generation unit 222, the data generation unit 223, and the output unit 240 are the image acquisition means, the image generation means, the statistical information generation means, the data generation means, and the output means of the present invention, respectively. Corresponds to.
  • the input unit 210 acquires the moving image data obtained by capturing the cell line by the image sensor from the image sensor and outputs it to the control unit 220.
  • the moving image data acquired by the input unit 210 from the image sensor is stored in the storage unit 230 by the control unit 220.
  • the moving image data acquired by the input unit 210 is moving image data obtained by capturing a cell line over a predetermined period (1 hour, 1 day, etc. may be appropriately set).
  • the control unit 220 includes a CPU (Central Processing Unit), a RAM (Random Access Memory), a ROM (Read Only Memory), and the like, and controls each part in the PC 200 and performs various information processing.
  • CPU Central Processing Unit
  • RAM Random Access Memory
  • ROM Read Only Memory
  • the image generation unit 221 detects the face portion of the worker existing in the captured image based on the moving image data acquired by the input unit 210. Since the detection of the worker's face portion in the moving image data acquired by the image sensor can be realized by the detection based on the facial appearance of the human body by the prior art, detailed description thereof is omitted here. Further, the image generation unit 221 determines whether or not the detected worker of the face portion is the worker whose work content is to be analyzed. In the present embodiment, information for identifying the detected worker of the face portion and the worker to be analyzed from the detection position in the moving image, the similarity of the image feature, and the worker ID for identifying the worker are used. Is stored in the storage unit 230 in advance.
  • the image generation unit 221 identifies the worker to be analyzed from the detected face portion based on the information stored in the storage unit 230, and the worker ID of the identified worker and the detected moving image are included.
  • the position information of is stored in the storage unit 230. Further, when the worker identified as the detected face portion does not exist, the image generation unit 221 issues a new worker ID, assuming that the worker corresponding to the detected face portion is a new worker.
  • the issued worker ID and the detected position information in the moving image are stored in the storage unit 230.
  • the image generation unit 221 and the image generation unit 221 generate an image of the detected face portion.
  • the image of the worker's face portion generated by the image generation unit 221 may be stored in the storage unit 230, or may be transmitted to each unit in the PC 200 that processes the image.
  • the statistical information generation unit 222 statistics on the work contents of each detected worker based on the moving image data acquired by the input unit 220 and the above information generated by the image generation unit 221 stored in the storage unit 230. Generate information.
  • statistical information there is a Gantt chart showing the working time in each process in the cell line.
  • the statistical information may include information on a target working time as an index of working time in each process, which can be compared with the working time of each worker. Since the calculation of the work time of each process of each worker based on the image captured by the image sensor and the creation of the Gantt chart based on the calculation result can be realized by the conventional technique, detailed description thereof is omitted here. ..
  • the data generation unit 223 generates data in which the image of the face portion of each worker specified by the image generation unit 221 and the statistical information of the work contents of each worker generated by the statistical information generation unit 222 are associated with each other. ..
  • the data generated by the data generation unit 223 is assumed to be data such as an image that can be displayed by the display device connected to the output unit 240, but can be processed by another information processing device. It may be data or the like.
  • the storage unit 230 stores programs executed by the control unit 220, various data used by the control unit 220, and the like.
  • the storage unit 230 is an auxiliary storage device such as a hard disk drive or a solid state drive.
  • the output unit 240 outputs the image generated by the data generation unit 223 to the display device.
  • the image generated by the data generation unit 223 may be stored in the storage unit 230 and output from the output unit 240 at any timing.
  • FIG. 3 is a flowchart showing an example of the processing flow of the PC200.
  • the PC 200 executes the processing flow of FIG. 3 after the moving image data of the image sensor is acquired by the input unit 210 and stored in the storage unit 230.
  • step S301 the control unit 220 acquires the moving image data captured by the image sensor stored in the storage unit 230.
  • the image generation unit 221 repeatedly executes the processes of steps S302 to S305 for each frame of the moving image data acquired from the storage unit 230.
  • the image generation unit 221 detects the face portion of the worker from the frame of the moving image data acquired from the storage unit 230.
  • the image generation unit 221 acquires information from the storage unit 230 for determining whether or not the worker is the worker to be analyzed based on the detected face portion, and detects it in step S302. Identify the worker corresponding to the face part and the worker to be analyzed.
  • the image generation unit 221 When the image generation unit 221 can identify the worker to be analyzed from the detected face portion, the image generation unit 221 links the worker ID of the worker and the position information of the worker in the frame to the storage unit 230.
  • the image generation unit 221 issues a new worker ID to the worker of the detected face part, and the issued worker ID is issued. And the position information of the worker in the frame are associated with each other and stored in the storage unit 230.
  • step S304 the image generation unit 221 determines the work process of the worker based on the information about the cell line captured by the image sensor stored in the storage unit 230 and the position information of the worker in the frame. Then, the determined work process and the above-mentioned position information of the worker are associated with each other and stored in the storage unit 230.
  • step S305 the image generation unit 221 generates an image of the worker's face portion detected in step S302 based on the image of the frame, and associates the generated face portion image with the worker ID. It is stored in the storage unit 230.
  • the image generation unit 221 acquires an image of the worker's face portion for each frame acquired by the input unit 210, but the image generation unit 221 repeats the processes of steps S302 to S305. Therefore, the image of the face portion of the worker may be acquired intermittently at any timing, or the image of the face portion of each worker may be acquired only once.
  • step S306 the image generation unit 221 determines whether or not the processes of steps S302 to S305 have been executed for all the frames of the moving image data acquired in step S301. If there is a frame for which the processing of steps S302 to S305 has not been executed (S306: NO), the image generation unit 221 returns the processing to step S302 and executes the processing of steps S302 to S305 for the frame. .. On the other hand, when the processing of steps S302 to S305 is executed for all frames of the moving image data (S306: YES), the image generation unit 221 advances the processing to step S307.
  • step S307 the statistical information generation unit 222 determines the work time and work time in each work process in the cell line based on the data of each worker stored in the storage unit 230 by the processing of steps S302 to S305. Generate statistics such as averages.
  • a Gantt chart showing the working time of each process is assumed as the statistical information generated by the statistical information generation unit 222.
  • the statistical information generation unit 222 stores the generated Gantt chart of each worker in the storage unit 230 in association with the worker ID.
  • step S308 the data generation unit 223 acquires the image of the face portion of each worker generated by the image generation unit 221 and the statistical information generated by the statistical information generation unit 222 from the storage unit 230, and the worker Based on the ID, data that associates the image of each worker's face with statistical information is generated.
  • step S309 the output unit 240 outputs the data generated by the data generation unit 223 in step S308 to the display device.
  • the output unit 240 may store the data in the storage unit 230 instead of or in addition to outputting the data generated by the data generation unit 223.
  • FIG. 4 is a schematic diagram showing an example of a display screen 400 in a data display device generated by the data generation unit 223 in the processing flow of FIG.
  • the face images 401 to 405 of each worker acquired by the image generation unit 221, the identification numbers of each worker (“ID1” to “ID5” in the figure), and the statistical information generation unit 222 are displayed.
  • a Gantt chart showing the work contents of each generated worker is displayed.
  • the face image, identification number, and Gantt chart of each worker are arranged so that the user who confirms the display screen 400 can understand that they are related to each other.
  • the work process of the worker is divided into steps 1 to 5 in the cell line imaged by the image sensor, and the Gantt charts 406 to 410 showing the work time for each step generated by the statistical information generation unit 222 are shown. It is displayed. Further, on the display screen 400, a Gantt chart 411 of the target value created based on the target working time of each process preset by the statistical information generation unit 222 is also displayed.
  • the data in which the face image of each worker working in the cell line and the statistical information related to the work are linked is generated. , Without incurring costs such as attaching tags to workers, and without raising concerns such as deterioration of worker identification accuracy when identifying workers using a communication system such as wireless LAN. It is possible to identify the worker and accurately associate the worker with the statistical information of the work content.
  • the worker corresponding to the detected face image should be identified as the worker already stored in the storage unit 230, and the worker is based on the image processing.
  • the above processing divides the statistical information for the same worker into a plurality of statistical information.
  • the image of the face portion of the worker whose worker ID is "ID2" is mistakenly recognized as a new worker and another worker ID "ID3" is assigned, resulting in one person. It shows a case where the worker information is divided into different worker IDs "ID2" and "ID3" and aggregated, and a Gantt chart associated with each worker ID is generated.
  • the user uses an input device connected to the display device (not shown). ) Can be operated to integrate the pair of face image and Gantt chart to improve the analysis efficiency of statistical information.
  • the user operates the cursor 501 displayed on the display screen 500 to select two different facial images 402a and 402b indicating the same worker. Then, the user operates the input device to display the menu 502 that integrates the two face images 402a and 402b with the two face images 402a and 402b selected. Further, when the user operates the input device and selects the menu 502, the integration of the two face images 402a and 402b selected by the PC200 and the Gantt chart associated with the face images is executed. As a result, the two sets of face images 402a and 402b and the Gantt charts 407 and 408 selected on the display screen 500 are integrated into one set of face images and a new Gantt chart.
  • either the face images 402a or 402b may be selected and used by user input or processing by the PC 200, and the face image is stored in the storage unit 230. Another facial image showing the same worker may be used.
  • the new Gantt chart may be generated by calculating the average of each step based on the original Gantt charts 407 and 408 by the statistical information generation unit 222.
  • the identification numbers displayed in association with the face images 402a and 402b (“ID2” and “ID3” in the figure).
  • Gantt charts 407 and 408 may be selected.
  • three or more sets of face images and a Gantt chart may be integrated.
  • ⁇ Modification 2> the above processing by the PC 200 generates data on which the display screen 600 shown in FIG. 6 is displayed on the display device.
  • the menu 601 in which the integration of the plurality of sets of face images and the Gantt chart in the modification 1 is automatically executed by the PC 200 is displayed on the display screen 600.
  • the background in which a plurality of statistical information is associated with the same worker is the same as that of the first modification, and the differences from the first modification will be described below.
  • a plurality of sets of face images are displayed by the PC 200 as in the modification 1.
  • the process of integrating the 402a and 402b and the Gantt charts 407 and 408 is executed.
  • the PC 200 can identify a pair of facial images 402a, 402b and Gantt charts 407, 408 to be integrated based on the similarity of facial images.
  • ⁇ Modification 3> the above processing by the PC 200 generates data on which the display screen 700 shown in FIG. 7 is displayed on the display device. As shown in the example of the display screen 700, in this modified example, a part of the worker's face is missing and displayed in the face image 702. Therefore, the user can operate the input device to select a more appropriate face image as the face image 702, and make it easier to discriminate the statistical information of each worker.
  • the user operates the cursor 501 displayed on the display screen 700 to select the face image 702 to be changed. Then, the user operates the input device to display the menu 701 for reselecting the face image 702 with the face image 702 selected. Further, when the user operates the input device and selects the menu 701, among the face images generated by the image generation unit 221 and stored in the storage unit 230, the other face of the worker corresponding to the face image 702 is used. The image is displayed on the selection screen 703. When the user selects an appropriate face image from the plurality of face images displayed on the selection screen 703 and presses the selection button 704, the face image 702 is changed to the selected face image. The changed face image is stored in the storage unit 230 in association with the worker ID and statistical information, and is used for displaying the face image from the next time onward.
  • the above processing by the PC 200 generates data on which the display screen 800 shown in FIG. 8 is displayed on the display device.
  • the user operates an input device to display one of the face images (face image 405 in the example of the figure).
  • the display screen 800 shows a Gantt chart (Gantt chart corresponding to C1 to C4 in the figure) showing the working time for each cycle in the cell line, a Gantt chart showing the average working time, and a target working time. Gantt chart etc.
  • the details of the statistical information displayed on the display screen 800 are displayed.
  • the details of the statistical information displayed on the display screen 800 are not limited to the information shown in the figure and may be set as appropriate.
  • the user switches between the summary information of the statistical information of the work related to a plurality of workers (display screen 400) and the detailed information of the statistical information of the work related to each worker (display screen 800), and confirms the statistics.
  • Information analysis can be carried out more efficiently.
  • ⁇ Modification 5> the above processing by the PC 200 generates data on which the display screen 900 shown in FIG. 9 is displayed on the display device. As shown in the example of the display screen 900, in this modification, the user can view the moving image of each process of the operator.
  • the user operates the cursor 501 displayed on the display screen 900 to select a process for viewing a moving image on the Gantt chart of the operator (in the example of the figure, the process of the operator of the face image 402). 5), the video viewing menu 901 is displayed. Then, when the user operates the input device and selects the viewing menu 901, the moving image screen 902 of the selected process is displayed and the moving image is reproduced. As a result, the user can obtain information on the work content, which is difficult to obtain only from the statistical information, and perform more accurate analysis.
  • the moving image displayed on the moving image screen 902 is generated in the storage unit 230 by the control unit 220 based on the moving image data stored in the storage unit 230 for each process of the operator. May be remembered. Further, in the above example, it is assumed that a moving image is displayed for each process, but a moving image of a series of processes may be displayed for a plurality of processes or all processes.
  • ⁇ Modification 6> the above processing by the PC 200 generates data on which the display screen 1000 shown in FIG. 10 is displayed on the display device. As shown in the example of the display screen 1000, in this modification, the user can simultaneously view the moving images of a plurality of workers (processes).
  • the user operates the cursor 501 displayed on the display screen 1000 to select the check boxes 1001 to 1005 displayed next to the worker's face images 401 to 405 on the worker's Gantt chart. , Select the worker who wants to view the moving image (in the example of the figure, the worker of the face image 402 and the worker of the face image 404 are selected). Then, when the user operates the input device and selects the moving image viewing menu 1006, the moving image screen of the worker in which the check boxes 1001 to 1005 are selected (in the figure, the moving image screen corresponding to the worker 402). The moving image screen 1014) corresponding to 1012 and the worker 404 is displayed, respectively, and the moving image is reproduced. As a result, it can be expected that information that is difficult to grasp from statistical information can be obtained by comparing the behaviors of so-called new workers and veteran workers during work.
  • the above processing by the PC 200 generates data for displaying the display screen 1100 shown in FIG. 11 on the display device.
  • the notification column 1101 for notifying the user that the difference between the worker's statistical information and the working time of the target value is equal to or more than the threshold value is displayed on the display screen 1100. Will be done.
  • the notification column 1101 stores the notification date and time in the "date and time” column, and stores the details of the notification content in the "notification content” column.
  • the notification content is "ID5 cycle 3 process 5 gap large (+6 minutes)", and the work time in process 5 in the third cycle of the ID5 worker (face image 405 worker) is the target value. It is shown to notify that it is 6 minutes longer than the working time.
  • the information displayed in the notification column 1101 can be generated by the statistical information generation unit 222.
  • the statistical information generation unit 222 compares the statistical information of the work of each worker with the working time of the target value, and generates the information displayed in the notification column 1101 when the difference is equal to or greater than the threshold value.
  • the information to be displayed in the notification column 1101 is not limited to the example shown in the figure, and various information may be notified. Further, the criteria for determining whether or not to display in the notification column 1101 may be appropriately determined according to the content of the information to be displayed.
  • the data on which the display screen 1200 shown in FIG. 12 is displayed on the display device is generated by the above processing by the PC 200. Since the display screen 1200 displays the period in which the average value of the worker's working hours is different (today, yesterday, last week, this week, etc., but not limited to these, this month, last month, etc.), the worker's By comparing the same work for different periods, it becomes easier to understand changes in work efficiency. Further, as shown in the example of the display screen 1200, in this modified example, the working time is shorter than the target value by a predetermined threshold or more as a result of comparison with the target value in the Gantt chart which is the statistical information of the worker's work.
  • the process is displayed as good (“G” icon 1202 (Good) in the figure), and the process whose working time is longer than a predetermined threshold value from the target value is displayed as defective (“NG” icon 1201 (No Good) in the figure). )do.
  • the evaluation information indicating the evaluation results for the statistical information may be information on the results of various evaluations, and predetermined criteria used for the evaluation may be appropriately determined according to the evaluation.
  • the display screen 1200 when the user operates the input device and selects a process displayed as good or bad (in the example in the figure, the process in which the NG icon 1201 is displayed is selected), the selected process is selected.
  • the moving image screen 1203 for displaying the frame-by-frame moving image is displayed, and the moving image is reproduced.
  • the moving image displayed on the moving image screen 1203 is generated in the storage unit 230 by the control unit 220 based on the moving image data stored in the storage unit 230 for each process of the operator. May be remembered.
  • the face image of the worker is changed based on the user input, but based on the face image stored in the storage unit 230 by the PC 200, for example, an image having a larger face portion or a face portion. It may be configured to automatically change the image according to an image facing the front based on the estimation of the orientation of the face, an image having a higher reliability as the face portion, and the like.
  • a worker's face image for example, a face image used for an employee ID card
  • an employee ID and a name are stored in advance in the storage unit 230 as worker information, and the above-described embodiments and modifications have been described.
  • the face image of the worker displayed on the display screen may be changed to the worker information stored in the storage unit 230.
  • the data generation unit 223 uses the worker's face image generated by the image generation unit 221 and the worker's face image stored in the storage unit 230 based on the similarity of the features of the images of each other. Perform matching. Then, the data generation unit 223 replaces and replaces the face image displayed on the above display screen with a face image having a high degree of similarity among the face images of the worker stored in the storage unit 230 based on the matching result.
  • the data on the display screen is generated by associating the face image with the Gantt chart of the worker.
  • the display screen 800 displays the details of the statistical information of the work related to each worker, but in addition to or instead of this, the details of the work time for each process and the evaluation of each process are performed. Information indicating the results or results based on the analysis results may be displayed. What kind of evaluation or analysis should be adopted may be decided as appropriate.
  • Statistical information generation means (222) that generates statistical information of the work of the worker based on the moving image
  • a data generation means (223) that generates data in which the generated image of the worker's face and the generated statistical information of the worker's work are associated with each other.
  • step (S301) of acquiring a moving image in which the work area is captured by the image sensor A step (S305) of generating an image of a face portion of a worker working in the work area from the moving image, and a step (S305).
  • step (S307) of generating statistical information of the work of the worker based on the moving image A step (S308) of generating data in which the generated image of the worker's face and the generated statistical information of the worker's work are associated with each other.
  • step (S309) of outputting the generated data An image processing method characterized by having.
  • Image processing device 101 Image acquisition unit 102: Detection unit 103: Output unit 200: PC (image processing device) 210: Input unit 230: Storage unit 240: Output unit 220: Control unit 221: Image generation unit 222: Statistical information generation unit 223: Data generation unit

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Business, Economics & Management (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Resources & Organizations (AREA)
  • Economics (AREA)
  • Development Economics (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Educational Administration (AREA)
  • Entrepreneurship & Innovation (AREA)
  • General Business, Economics & Management (AREA)
  • Strategic Management (AREA)
  • Quality & Reliability (AREA)
  • Operations Research (AREA)
  • Marketing (AREA)
  • Tourism & Hospitality (AREA)
  • Game Theory and Decision Science (AREA)
  • Manufacturing & Machinery (AREA)
  • Accounting & Taxation (AREA)
  • Computing Systems (AREA)
  • Image Analysis (AREA)
  • General Factory Administration (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

画像処理装置が、画像センサによって作業領域が撮像された動画像を取得する画像取得手段と、前記動画像から前記作業領域内で作業をする作業者の顔部分の画像を生成する画像生成手段と、前記動画像に基づいて前記作業者の作業の統計情報を生成する統計情報生成手段と、前記生成された前記作業者の顔部分の画像と、前記生成された前記作業者の作業の統計情報とを紐付けたデータを生成するデータ生成手段と、前記生成されたデータを出力する出力手段と、を有する。

Description

画像処理装置、画像処理方法およびプログラム
　本発明は、画像センサを用いて対象の行動を分析する技術に関する。
　ファクトリオートメーション市場において、セルラインに設置された画像センサを用いて、作業を行う作業者や機器の稼働数、作業位置などを把握し、作業工程ごとの作業内容を分析することで、生産性の向上などに役立てる技術が実用に供されている。
　例えば、特許文献１では、ラインで稼働するワークに取り付けられたＩＤタグをラインの入口と出口とで読み取ることで、ワークの作業開始時刻と作業終了時刻を特定して作業時間を計測する技術が提案されている。また、特許文献２では、作業工程における一連の作業において、追跡対象の作業者の作業内容に関するタイムチャートや動画像を表示する技術が提案されている。
特開２００６－２０２２５５号公報 特開２０１８－０７３１７６号公報
　しかしながら、従来技術では、ワークにＩＤタグを取り付けたり、ユーザが作業を追跡する人物を指定したりするなど、作業内容の分析対象を特定する作業が必要となる。また、ＩＤタグを用いる場合、ＩＤタグを読み取るセンサ等の検出精度によって計測時間の正確性が左右され、工程毎にＩＤタグの読み取りが必要になる。また、ユーザがラインの映像において追跡対象となる作業者を指定する場合、ユーザは各作業者について個人を識別しているわけではないため、各作業者の作業内容を把握できても、個人を特定して作業内容を把握できるわけではない。
　本発明は上記実情に鑑みなされたものであって、画像センサによって取得された画像を基に、作業者個人を識別しつつ作業内容を分析することができる技術を提供する。
　上記目的を達成するために本発明は、以下の構成を採用する。
　本発明の第一側面は、画像センサによって作業領域が撮像された動画像を取得する画像取得手段と、前記動画像から前記作業領域内で作業をする作業者の顔部分の画像を生成する画像生成手段と、前記動画像に基づいて前記作業者の作業の統計情報を生成する統計情報生成手段と、前記生成された前記作業者の顔部分の画像と、前記生成された前記作業者の作業の統計情報とを紐付けたデータを生成するデータ生成手段と、前記生成されたデータを出力する出力手段と、を有することを特徴とする画像処理装置である。これにより、画像センサの動画像から作業者個人と統計情報とが紐付けられるため、作業者個人を識別して作業を分析することができる。
　また、前記データ生成手段は、前記画像生成手段によって生成される複数の作業者の顔部分の画像と、前記統計情報生成手段によって生成される前記複数の作業者の作業の統計情報とを紐付けたデータを生成し、前記データ生成手段は、前記出力手段によって出力されたデータに対して、前記複数の作業者の顔部分の画像のうち少なくとも２つ以上の画像と、前記少なくとも２つ以上の画像に紐付けられた前記統計情報とを統合した新たなデータを生成してもよい。また、前記少なくとも２つ以上の画像は、ユーザ入力に基づいて選択される画像であってもよい。これにより、同一の作業者に対して顔部分の画像が複数生成された場合に、複数の画像を１つの画像に統合しつつ、それら複数の画像に紐付けられている統計情報を統合することができる。
　また、前記データ生成手段は、前記出力手段によって出力されたデータに対して、前記作業者の顔部分の画像を、前記画像生成手段によって生成された前記作業者の顔部分の別の画像に変更した新たなデータを生成してもよい。また、前記データ生成手段は、前記作業者の顔部分のサイズ、向き、顔らしさの少なくとも１つを含む基準に基づいて選択した前記作業者の顔部分の画像と、前記生成された前記作業者の作業の統計情報とを紐付けたデータを生成してもよい。また、前記データ生成手段は、あらかじめ取得された複数の作業者の顔部分の画像と前記生成された前記作業者の顔部分の画像とのマッチングに基づいて、前記あらかじめ取得された画像から選択した前記作業者の顔部分の画像と、前記生成された前記作業者の作業の統計情報とを紐付けたデータを生成してもよい。これにより、作業者の顔部分の画像を、より作業者を識別しやすい画像に変更して当該作業者の統計情報を特定しやくすることができる。
　また、前記統計情報生成手段は、前記動画像に基づいて前記作業者の作業の統計情報の概略情報と詳細情報とを生成し、前記データ生成手段は、前記作業者の顔部分の画像と、前記生成された前記作業者の作業の統計情報の前記概略情報と、前記生成された前記作業者の作業の統計情報の前記詳細情報とを互いに紐付けたデータを生成してもよい。これにより、作業者の顔部分の画像と作業者の作業の分析に資する種々の情報を紐付けることで、より効率的な作業の分析を行うことができる。
　前記データ生成手段は、前記取得された動画像に基づいて、前記生成された前記作業者の作業の統計情報と関連する動画像を生成し、前記データ生成手段は、前記作業者の顔部分の画像と、前記生成された前記作業者の作業の統計情報と、前記生成された動画像と、を互いに紐付けたデータを生成してもよい。また、前記統計情報生成手段は、前記動画像に基づいて、前記作業領域に含まれる１つ以上の作業工程ごとに前記作業者の作業の統計情報を生成し、前記データ生成手段は、前記取得された動画像に基づいて、前記生成された前記作業者の作業の統計情報と関連する動画像を前記１つ以上の作業工程ごとに生成し、前記データ生成手段は、前記作業者の顔部分の画像と、前記生成された前記作業者の作業の前記１つ以上の作業工程ごとの統計情報と、前記生成された前記１つ以上の作業工程ごとの動画像と、を互いに紐付けたデータを生成してもよい。これにより、作業者の統計情報の基となる動画像を確認することで、より効率的な作業の分析を行うことができる。
　また、前記統計情報生成手段は、前記動画像に基づいて生成した前記作業者の作業の統計情報に対する所定の基準に基づく評価結果を示す評価情報を生成し、前記データ生成手段は、前記作業者の顔部分の画像と、前記生成された前記作業者の作業の統計情報および前記評価情報とを紐付けたデータを生成してもよい。これにより、例えば、作業者の統計情報のうち作業時間が目標値を大幅に上回ったり、目標値に対して大幅に短縮されたりしている統計情報など、統計情報の分析において注目すべき情報が評価結果として示されるため、より効率的な作業の分析を行うことができる。
　なお、本発明は、上記処理の少なくとも一部を含む、画像処理方法や、これらの方法をコンピュータに実行させるためのプログラム、又は、そのようなプログラムを非一時的に記録したコンピュータ読取可能な記録媒体として捉えることもできる。上記構成及び処理の各々は技術的な矛盾が生じない限り互いに組み合わせて本発明を構成することができる。
　本発明によれば、画像センサによって取得された画像を基に、作業者個人を識別しつつ作業内容を分析することができる。
図１は、本発明が適用された画像処理装置の構成例を示すブロック図である。 図２は、一実施形態に係るＰＣ（画像処理装置）の構成例を示すブロック図である。 図３は、一実施形態に係るＰＣの処理フロー例を示すフローチャートである。 図４は、一実施形態に係る表示画面の具体例を示す模式図である。 図５は、変形例１に係る表示画面の具体例を示す模式図である。 図６は、変形例２に係る表示画面の具体例を示す模式図である。 図７は、変形例３に係る表示画面の具体例を示す模式図である。 図８は、変形例４に係る表示画面の具体例を示す模式図である。 図９は、変形例５に係る表示画面の具体例を示す模式図である。 図１０は、変形例６に係る表示画面の具体例を示す模式図である。 図１１は、変形例７に係る表示画面の具体例を示す模式図である。 図１２は、変形例８に係る表示画面の具体例を示す模式図である。
　＜適用例＞
　本発明の適用例について説明する。工場のセルラインなどに配置された画像センサによって取得される作業者の画像を基に、各作業者の作業内容を分析する場合、作業者個人を特定する必要がある。作業者の特定をする手段として、作業者が携帯する端末と無線ＬＡＮのアクセスポイントにおける電波強度による測位や作業者に取り付けられるＩＣタグの読み取りによる測位が挙げられる。しかしながら、無線ＬＡＮの電波が種々の設備や機器の影響を受けて測位の精度が低下したり、作業者に取り付けるＩＣタグを大量に準備する必要があったりするなどの懸念が伴う。
　図１は、本発明が適用された画像処理装置１００の構成例を示すブロック図である。画像処理装置１００は、画像取得部１０１、顔画像生成部１０２、統計情報生成部１０３、データ生成部１０４、出力部１０５を有する。画像取得部１０１は、セルラインなどに配置された全方位カメラなどの画像センサによる撮像画像を取得する。顔画像生成部１０２は、撮像画像を基に各作業者の顔部分の画像（顔画像）を生成する。また、統計情報生成部１０３は、撮像画像を基に各作業者の作業の統計情報を生成する。さらに、データ生成部１０４は、顔画像生成部１０２によって生成される作業者の顔部分の画像と、統計情報生成部１０３によって生成される作業者の作業の統計情報とを紐付けたデータを生成する。出力部１０５は、データ生成部１０４によって生成されるデータを出力する。
　本発明に係る画像処理装置１００によれば、画像センサによる撮像画像を基に精度よく作業者を特定して、作業者ごとに作業の分析内容を示す情報を提供することができる。
　＜第１の実施形態＞
　本発明の第１の実施形態について説明する。
　図２は、第１の実施形態に係る画像処理システムの大まかな構成例を示す模式図である。第１の実施形態に係る画像処理システムは、画像センサ、ＰＣ２００（パーソナルコンピュータ；画像処理装置）、及び、表示装置を有する。画像センサとＰＣ２００は有線または無線で互いに接続されており、ＰＣ２００と表示装置は有線または無線で互いに接続されている。
　第１の実施形態では、工場や物流倉庫などで展開されるセルラインを画像センサによって撮像することを想定する。そして、画像センサによる撮像画像内のセルラインの領域が、作業者を対象とする人体検出の検出領域となる。画像センサは、セルラインを撮像し、撮像画像をＰＣ２００に出力する。画像センサの撮像方向は特に限定されないが、第１の実施形態では、例えば画像センサはセルラインが展開されているフロアの天井に、セルラインを俯瞰する方向に設置されている。ＰＣ２００は、画像センサによる撮像画像に基づいて人体検出を行い、検出結果を表示装置へ出力する。表示装置の一例としては、ディスプレイや情報処理端末（スマートフォンなど）が挙げられる。
　なお、第１の実施形態ではＰＣ２００が画像センサや表示装置とは別体の装置であるものとするが、ＰＣ２００は画像センサまたは表示装置と一体に構成されてもよい。また、ＰＣ２００の設置場所は特に限定されない。例えば、ＰＣ２００は画像センサと同じ部屋に設置されてもよい。また、ＰＣ２００はクラウド上のコンピュータであってもよい。
　ＰＣ２００は、入力部２１０、制御部２２０、記憶部２３０、及び、出力部２４０を有する。制御部２２０は、画像生成部２２１、統計情報生成部２２２、及び、データ生成部２２３を有する。なお、入力部２１０、画像生成部２２１、統計情報生成部２２２、データ生成部２２３、出力部２４０が、それぞれ本発明の画像取得手段、画像生成手段、統計情報生成手段、データ生成手段、出力手段に対応する。
　入力部２１０は、画像センサによってセルラインを撮像した動画データを、画像センサから取得して制御部２２０に出力する。入力部２１０が画像センサから取得した動画データは、制御部２２０によって記憶部２３０に記憶される。なお、入力部２１０が取得する動画データは、セルラインを所定期間（１時間、１日など適宜設定されてよい）にわたって撮像した動画データである。
　制御部２２０は、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）やＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）などを含み、ＰＣ２００内の各部の制御や、各種情報処理などを行う。
　画像生成部２２１は、入力部２１０によって取得された動画データを基に、撮像画像内に存在する作業者の顔部分を検出する。画像センサによって取得された動画データにおける作業者の顔部分の検出は、従来技術による人体の顔らしさに基づく検出によって実現できるため、ここでは詳細な説明は省略する。また、画像生成部２２１は、検出された顔部分の作業者が、作業内容の分析対象の作業者であるか否かを判定する。本実施形態では、動画像内の検出位置や画像特徴の類似度などから、検出された顔部分の作業者と分析対象の作業者とを同定するための情報や作業者を識別する作業者ＩＤがあらかじめ記憶部２３０に記憶されている。画像生成部２２１は、記憶部２３０に記憶されている情報を基に、検出された顔部分から分析対象の作業者を同定し、同定された作業者の作業者ＩＤと検出された動画像内の位置情報とを記憶部２３０に記憶する。また、画像生成部２２１は、検出した顔部分と同定される作業者が存在しない場合は、検出した顔部分に対応する作業者は新しい作業者であるとして、新規の作業者ＩＤを発行し、発行した作業者ＩＤと検出された動画像内の位置情報とを記憶部２３０に記憶する。
　また、画像生成部２２１は、また、画像生成部２２１は、検出した顔部分の画像を生成する。画像生成部２２１によって生成された作業者の顔部分の画像は記憶部２３０に記憶されてもよいし、当該画像を処理するＰＣ２００内の各部に送信されてもよい。
　統計情報生成部２２２は、記憶部２３０に記憶されている、入力部２２０が取得した動画データと画像生成部２２１が生成した上記の情報に基づいて、検出された各作業者の作業内容の統計情報を生成する。統計情報の一例として、セルラインにおける各工程での作業時間を表すガントチャートが挙げられる。また、統計情報には、各作業者の作業時間と比較可能な、各工程における作業時間の指標となる目標の作業時間に関する情報が含まれてもよい。なお、画像センサによる撮像画像を基にした各作業者の各工程の作業時間の算出および算出結果を基にしたガントチャートの作成は、従来技術によって実現できるため、ここでは詳細な説明は省略する。
　データ生成部２２３は、画像生成部２２１によって特定された各作業者の顔部分の画像と統計情報生成部２２２によって生成された各作業者の作業内容の統計情報とを紐付けたデータを生成する。本実施形態では、データ生成部２２３によって生成されるデータは、出力部２４０と接続されている表示装置が表示可能な画像などのデータを想定しているが、他の情報処理装置が処理可能なデータなどであってもよい。
　記憶部２３０は、上記の統計情報のほか、制御部２２０で実行されるプログラムや、制御部２２０で使用される各種データなどを記憶する。例えば、記憶部２３０は、ハードディスクドライブ、ソリッドステートドライブ、等の補助記憶装置である。出力部２４０は、データ生成部２２３によって生成された画像を、表示装置に出力する。なお、データ生成部２２３によって生成された画像は、記憶部２３０に記憶されて、任意のタイミングで出力部２４０から出力されてもよい。
　図３は、ＰＣ２００の処理フロー例を示すフローチャートである。ＰＣ２００は、入力部２１０によって画像センサの動画データが取得されて記憶部２３０に記憶された後に、図３の処理フローを実行する。
　まず、ステップＳ３０１において、制御部２２０が、記憶部２３０に記憶されている画像センサによって撮像された動画データを取得する。
　次に、画像生成部２２１が、記憶部２３０から取得された動画データのフレームごとにステップＳ３０２～Ｓ３０５の処理を繰り返し実行する。ステップＳ３０２では、画像生成部２２１は、記憶部２３０から取得した動画データのフレームから、作業者の顔部分を検出する。次に、ステップＳ３０３において、画像生成部２２１は、検出された顔部分を基に分析対象の作業者であるか否かを判断するための情報を記憶部２３０から取得し、ステップＳ３０２において検出した顔部分に対応する作業者と、分析対象の作業者とを同定する。画像生成部２２１は、検出された顔部分から分析対象の作業者を同定できた場合は、当該作業者の作業者ＩＤとフレーム内の作業者の位置情報とを互いに紐付けて記憶部２３０に記憶する。また、画像生成部２２１は、検出された顔部分から分析対象の作業者を同定できなかった場合は、検出された顔部分の作業者に新規の作業者ＩＤを発行し、発行した作業者ＩＤとフレーム内の作業者の位置情報とを互いに紐付けて記憶部２３０に記憶する。
　さらに画像生成部２２１は、ステップＳ３０４において、記憶部２３０に記憶されている画像センサによって撮像されるセルラインに関する情報とフレーム内の作業者の位置情報とに基づいて、作業者の作業工程を判別し、判別した作業工程と上記の作業者の位置情報とを互いに紐付けて記憶部２３０に記憶する。
　次に、ステップＳ３０５において、画像生成部２２１は、フレームの画像を基にステップＳ３０２において検出した作業者の顔部分の画像を生成し、生成した顔部分の画像と作業者ＩＤとを互いに紐付けて記憶部２３０に記憶する。なお、ここでは画像生成部２２１は、入力部２１０が取得するフレームごとに作業者の顔部分の画像を取得することを想定するが、画像生成部２２１は、ステップＳ３０２～Ｓ３０５の処理を繰り返す中で、任意のタイミングで間欠的に作業者の顔部分の画像を取得してもよいし、各作業者の顔部分の画像の取得は一度のみとしてもよい。
　次に、ステップＳ３０６において、画像生成部２２１は、ステップＳ３０１において取得した動画データの全フレームに対してステップＳ３０２～Ｓ３０５の処理を実行したか否かを判定する。ステップＳ３０２～Ｓ３０５の処理を実行していないフレームがある場合は（Ｓ３０６：ＮＯ）、画像生成部２２１は、処理をステップＳ３０２に戻して、当該フレームに対してステップＳ３０２～Ｓ３０５の処理を実行する。一方、動画データの全フレームに対してステップＳ３０２～Ｓ３０５の処理を実行している場合は（Ｓ３０６：ＹＥＳ）、画像生成部２２１は、処理をステップＳ３０７に進める。
　ステップＳ３０７において、統計情報生成部２２２が、上記のステップＳ３０２～Ｓ３０５の処理によって記憶部２３０に記憶された各作業者のデータを基に、セルライン内の各作業工程における作業時間や作業時間の平均などの統計情報を生成する。ここでは、統計情報生成部２２２が生成する統計情報として各工程の作業時間を示すガントチャートを想定する。また、統計情報生成部２２２は、生成した各作業者のガントチャートを作業者ＩＤと紐付けて記憶部２３０に記憶する。
　次に、ステップＳ３０８において、データ生成部２２３は、画像生成部２２１が生成した各作業者の顔部分の画像と統計情報生成部２２２が生成した統計情報とを記憶部２３０から取得し、作業者ＩＤを基に各作業者の顔部分の画像と統計情報とを紐付けたデータを生成する。
　次に、ステップＳ３０９において、出力部２４０が、ステップＳ３０８においてデータ生成部２２３によって生成されたデータを表示装置に出力する。なお、ステップＳ３０５において、出力部２４０は、データ生成部２２３によって生成されたデータを出力する代わりにあるいはこれに加えて、当該データを記憶部２３０に記憶してもよい。
　図４は、図３の処理フローでデータ生成部２２３によって生成されるデータの表示装置における表示画面４００の一例を示す模式図である。表示画面４００には、画像生成部２２１によって取得された各作業者の顔画像４０１～４０５と、各作業者の識別番号（図中「ＩＤ１」～「ＩＤ５」）と、統計情報生成部２２２によって生成された各作業者の作業内容を示すガントチャートとが表示される。
　表示画面４００では、各作業者の顔画像と識別番号とガントチャートとは、表示画面４００を確認するユーザが、これらが互いに関連していることがわかるように配置されている。本実施形態では、画像センサによって撮像されるセルラインにおいて作業者の作業工程が工程１～５に分かれており、統計情報生成部２２２が生成した工程ごとの作業時間を示すガントチャート４０６～４１０が表示されている。また、表示画面４００には、統計情報生成部２２２があらかじめ設定されている各工程の目標作業時間を基に作成した目標値のガントチャート４１１も表示される。
　したがって、本実施形態によれば、セルラインを撮像する画像センサの動画データを基に、セルラインで作業する各作業者の顔画像と作業に関する統計情報とを紐付けたデータを生成することで、作業者にタグなどを取り付けるなどのコストを発生させることなく、また無線ＬＡＮなどの通信システムを用いて作業者を特定する場合の作業者の特定精度の低下などの懸念を生じさせることなく、作業者の特定および作業者と作業内容の統計情報との紐付けを精度よく行うことができる。
　＜その他＞
　上記実施形態は、本発明の構成例を例示的に説明するものに過ぎない。本発明は上記の具体的な形態には限定されることはなく、その技術的思想の範囲内で種々の変形が可能である。例えば、上記の各実施形態の構成および処理などは互いに組み合わせられてもよい。以下に上記実施形態の変形例について説明する。なお、以下の説明において、上記の実施形態と同様の構成については、同一の符号を付し、詳細な説明は省略する。
　＜変形例１＞
　変形例１では、ＰＣ２００による上記の処理において、検出された顔画像に対応する作業者が、記憶部２３０に既に記憶されている作業者と同定されるべきところ、画像処理を基に作業者の同定を行うため、同定の処理に失敗して、検出された顔部分が新規の作業者ＩＤと紐付けられる可能性がある。この場合、上記の処理により、同一の作業者に対する統計情報が複数の統計情報に分かれてしまう。
　図５に示す例では、作業者ＩＤが「ＩＤ２」である作業者の顔部分の画像が、新規の作業者として誤認されて別の作業者ＩＤ「ＩＤ３」が割り当てられた結果、１人の作業者の情報が異なる作業者ＩＤ「ＩＤ２」、「ＩＤ３」に分かれて集計され、それぞれの作業者ＩＤに紐付くガントチャートが生成された場合を示す。表示画面５００の例に示すように、このように同一の作業者と複数のガントチャートとが紐付けられている表示画面５００において、ユーザは、表示装置に接続されている入力装置（図示せず）を操作して顔画像とガントチャートとの組を統合して統計情報の分析効率を高めることができる。
　具体例として、ユーザは表示画面５００に表示されるカーソル５０１を操作して、同一の作業者を示す異なる２つの顔画像４０２ａ、４０２ｂを選択する。そして、ユーザは入力装置を操作して、２つの顔画像４０２ａ、４０２ｂを選択した状態で、これら２つの顔画像４０２ａ、４０２ｂを統合するメニュー５０２を表示する。さらに、ユーザは入力装置を操作して、メニュー５０２を選択すると、ＰＣ２００によって選択した２つの顔画像４０２ａ、４０２ｂとそれら顔画像に紐付けられているガントチャートとの統合を実行する。これにより、表示画面５００において選択された２組の顔画像４０２ａ、４０２ｂとガントチャート４０７、４０８が、１組の顔画像と新たなガントチャートに統合される。
　なお、統合後に表示画面５００に表示される顔画像としては、ユーザ入力あるいはＰＣ２００の処理によって顔画像４０２ａ、４０２ｂのいずれかが選択されて用いられてもよいし、記憶部２３０に記憶されている同一の作業者を示す別の顔画像が用いられてもよい。また、新たなガントチャートは、統計情報生成部２２２によって元のガントチャート４０７、４０８を基に各工程の平均が算出されて生成されてよい。また、ユーザが入力装置を操作して２つの顔画像４０２ａ、４０２ｂを選択する代わりに、顔画像４０２ａ、４０２ｂと紐付けられて表示されている識別番号（図中「ＩＤ２」、「ＩＤ３」）やガントチャート４０７、４０８を選択してもよい。また、３組以上の顔画像とガントチャートが統合されてもよい。
＜変形例２＞
　変形例２では、ＰＣ２００による上記の処理によって、表示装置で図６に示す表示画面６００が表示されるデータが生成される。表示画面６００の例に示すように、本変形例では、ＰＣ２００によって変形例１における複数組の顔画像とガントチャートの統合が自動的に実行されるメニュー６０１が表示画面６００に表示される。変形例２でも同一の作業者に複数の統計情報が紐付けられる背景は変形例１と同じであり、変形例１と異なる点について以下に説明する。
　表示装置に表示画面６００が表示されている状態で、ユーザは入力装置を操作して、カーソル５０１によってメニュー６０１の実行ボタン６０２を押すと、変形例１と同様に、ＰＣ２００によって複数組の顔画像４０２ａ、４０２ｂとガントチャート４０７、４０８を統合する処理が実行される。ＰＣ２００は、顔画像の類似性を基に統合する顔画像４０２ａ、４０２ｂとガントチャート４０７、４０８の組を特定することができる。
＜変形例３＞
　変形例３では、ＰＣ２００による上記の処理によって、表示装置で図７に示す表示画面７００が表示されるデータが生成される。表示画面７００の例に示すように、本変形例では、顔画像７０２において作業者の顔の一部分が欠けて表示されている。そこで、ユーザは入力装置を操作して、顔画像７０２としてより適切な顔画像を選択し、各作業者の統計情報をより判別しやすくすることができる。
　具体例として、ユーザは表示画面７００に表示されるカーソル５０１を操作して、変更する顔画像７０２を選択する。そして、ユーザは入力装置を操作して、顔画像７０２を選択した状態で、顔画像７０２を再選択するメニュー７０１を表示する。さらに、ユーザは入力装置を操作して、メニュー７０１を選択すると、画像生成部２２１によって生成されて記憶部２３０に記憶されている顔画像のうち、顔画像７０２に対応する作業者の他の顔画像が選択画面７０３に表示される。ユーザは、選択画面７０３に表示されている複数の顔画像から適切な顔画像を選択して選択ボタン７０４を押すと、顔画像７０２が選択された顔画像に変更される。変更後の顔画像は、作業者ＩＤや統計情報と紐付けられて記憶部２３０に記憶され、次回以降の顔画像の表示に使用される。
＜変形例４＞
　変形例４では、ＰＣ２００による上記の処理によって、表示装置で図８に示す表示画面８００が表示されるデータが生成される。表示画面８００の例に示すように、本変形例では、変形例１において表示される表示画面４００において、ユーザが入力装置を操作していずれかの顔画像（図の例では顔画像４０５）を選択すると、選択された顔画像４０５に対応する作業者の作業の統計情報のより詳細な情報が表示画面８００に表示される。表示画面８００には、一例として、セルラインにおけるサイクルごとの作業時間を示すガントチャート（図中Ｃ１～Ｃ４に対応するガントチャート）やその平均の作業時間を示すガントチャート、目標の作業時間を示すガントチャートなどが表示される。なお、表示画面８００に表示される統計情報の詳細は、図に示す情報に限らず適宜設定されてよい。これにより、ユーザは、複数の作業者に関する作業の統計情報の概略情報（表示画面４００）と個々の作業者に関する作業の統計情報の詳細情報（表示画面８００）とを切り替えて確認して、統計情報の分析をより効率よく進めることができる。
＜変形例５＞
　変形例５では、ＰＣ２００による上記の処理によって、表示装置で図９に示す表示画面９００が表示されるデータが生成される。表示画面９００の例に示すように、本変形例では、ユーザは、作業者の各工程の動画像を視聴することができる。
　具体例として、ユーザは、表示画面９００に表示されるカーソル５０１を操作して、作業者のガントチャートにおいて動画像を視聴したい工程を選択する（図の例では、顔画像４０２の作業者の工程５を選択）と、動画像の視聴メニュー９０１が表示される。そして、ユーザは入力装置を操作して、視聴メニュー９０１を選択すると、選択された工程の動画像画面９０２が表示されて動画像が再生される。これにより、ユーザは統計情報のみでは得ることが難しい作業内容に関する情報を得てより精度よい分析を行うことができる。なお、動画像画面９０２に表示される動画像は、制御部２２０によって、記憶部２３０に記憶されている動画データを基に、作業者の工程ごとに動画像が生成されて、記憶部２３０に記憶されてよい。また、上記の例では、工程ごとに動画像を表示することを想定しているが、複数の工程あるいは全工程を対象として、一連の工程の動画像が表示されてもよい。
＜変形例６＞
　変形例５では、ＰＣ２００による上記の処理によって、表示装置で図１０に示す表示画面１０００が表示されるデータが生成される。表示画面１０００の例に示すように、本変形例では、ユーザは、複数の作業者（工程）の動画像を同時に視聴することができる。
　具体例として、ユーザは表示画面１０００に表示されるカーソル５０１を操作して、作業者のガントチャートにおいて、作業者の顔画像４０１～４０５の隣に表示されるチェックボックス１００１～１００５をオンにして、動画像を視聴したい作業者を選択する（図の例では、顔画像４０２の作業者と顔画像４０４の作業者を選択）。そして、ユーザは入力装置を操作して、動画像の視聴メニュー１００６を選択すると、チェックボックス１００１～１００５がオンにされている作業者の動画像画面（図では作業者４０２に対応する動画像画面１０１２と作業者４０４に対応する動画像画面１０１４）がそれぞれ表示されて動画像が再生される。これにより、いわゆる新人の作業者とベテランの作業者との作業時の行動を比較することで、統計情報から把握することが難しい情報が得られることが期待できる。
＜変形例７＞
　変形例７では、ＰＣ２００による上記の処理によって、表示装置で図１１に示す表示画面１１００が表示されるデータが生成される。表示画面１１００の例に示すように、本変形例では、表示画面１１００において、作業者の統計情報において目標値の作業時間との差が閾値以上となるものをユーザに通知する通知欄１１０１が表示される。例えば、図に示すように通知欄１１０１には「日時」カラムに通知日時が格納され、「通知内容」カラムに通知内容の詳細が格納される。図の例では、通知内容が「ＩＤ５　サイクル３　工程５　ギャップ大（＋６分）」であり、ＩＤ５の作業者（顔画像４０５の作業者）の第３サイクルにおいて工程５における作業時間が目標値の作業時間よりも６分長いことを通知するものであることが示されている。なお、通知欄１１０１に表示される情報は、統計情報生成部２２２が生成することができる。例えば、統計情報生成部２２２は、各作業者の作業の統計情報と目標値の作業時間とを比較して、差が閾値以上である場合に通知欄１１０１に表示される情報を生成する。これにより、ユーザは通知される情報を考慮しながら効率よくより精度の高い統計情報の分析を行うことができる。なお、どのような情報を通知欄１１０１に表示するかは、図の例に限らず種々の情報が通知対象とされてよい。また、通知欄１１０１に表示するか否かを決定する基準なども、表示する情報の内容に応じて適宜決定されてよい。
＜変形例８＞
　変形例８では、ＰＣ２００による上記の処理によって、表示装置で図１２に示す表示画面１２００が表示されるデータが生成される。表示画面１２００には、作業者の作業時間の平均値が異なる期間（今日、昨日、先週、今週など。ただし、これらに限られず今月、先月などでもよい。）が表示されるため、作業者の同じ作業を期間を変えて比較することで、作業効率の変動などが把握しやすくなる。また、表示画面１２００の例に示すように、本変形例では、作業者の作業の統計情報であるガントチャートにおいて、目標値との比較の結果、目標値から所定の閾値以上短い作業時間である工程を良好として表示（図中「Ｇ」のアイコン１２０２（Good））し、目標値から所定の閾値以上長い作業時間である工程を不良として表示（図中「ＮＧ」のアイコン１２０１（No Good））する。なお、統計情報に対する評価結果を示す評価情報としては種々の評価の結果の情報であってよく、評価に用いる所定の基準も評価に応じて適宜決定されてよい。そして、表示画面１２００において、ユーザは入力装置を操作して、良好あるいは不良として表示された工程を選択すると（図の例ではＮＧのアイコン１２０１が表示された工程を選択）、選択された工程のコマ送り動画像を表示する動画像画面１２０３が表示され、動画像が再生される。なお、動画像画面１２０３に表示される動画像は、制御部２２０によって、記憶部２３０に記憶されている動画データを基に、作業者の工程ごとに動画像が生成されて、記憶部２３０に記憶されてよい。
　以上説明した実施形態および変形例は、適宜組み合わせて実施することができる。また、変形例３では、ユーザ入力に基づいて作業者の顔画像が変更されるが、ＰＣ２００によって記憶部２３０に記憶されている顔画像を基に、例えば顔部分がより大きい画像、顔部分の顔の向き推定を基により正面を向いている画像、顔部分としてより信頼度の高い画像などによって画像を自動的に変更するように構成されてもよい。また、記憶部２３０に作業者の顔画像（例えば社員証に用いられている顔画像など）や社員ＩＤや名前を作業者情報としてあらかじめ記憶しておき、上記の実施形態や変形例で説明した表示画面において表示される作業者の顔画像を記憶部２３０に記憶されている作業者情報に変更するように構成されてもよい。この場合、データ生成部２２３は、画像生成部２２１が生成した作業者の顔画像と、記憶部２３０に記憶されている作業者の顔画像とを用いて互いの画像の特徴の類似度に基づくマッチングを行う。そして、データ生成部２２３は、マッチング結果を基に記憶部２３０に記憶されている作業者の顔画像のうち類似度の高い顔画像で、上記の表示画面に表示される顔画像を置き換え、置き換えられた顔画像と当該作業者のガントチャートとを紐付けて表示画面のデータを生成する。これらの処理によっても、ユーザはより効率よく各作業者を判別して統計情報を分析することができる。
　また、変形例４では、表示画面８００に、個々の作業者に関する作業の統計情報の詳細が表示されるが、これに加えてあるいはこの代わりに、工程ごとの作業時間の詳細や各工程の評価結果や分析結果に基づく結果を示す情報が表示されてもよい。どのような評価や分析を採用するかは適宜決定されてよい。
　＜付記１＞
　画像センサによって作業領域が撮像された動画像を取得する画像取得手段（２１０）と、
　前記動画像から前記作業領域内で作業をする作業者の顔部分の画像を生成する画像生成手段（２２１）と、
　前記動画像に基づいて前記作業者の作業の統計情報を生成する統計情報生成手段（２２２）と、
　前記生成された前記作業者の顔部分の画像と、前記生成された前記作業者の作業の統計情報とを紐付けたデータを生成するデータ生成手段（２２３）と、
　前記生成されたデータを出力する出力手段（２４０）と、
を有することを特徴とする画像処理装置。
　＜付記２＞
　画像センサによって作業領域が撮像された動画像を取得するステップ（Ｓ３０１）と、
　前記動画像から前記作業領域内で作業をする作業者の顔部分の画像を生成するステップ（Ｓ３０５）と、
　前記動画像に基づいて前記作業者の作業の統計情報を生成するステップ（Ｓ３０７）と、
　前記生成された前記作業者の顔部分の画像と、前記生成された前記作業者の作業の統計情報とを紐付けたデータを生成するステップ（Ｓ３０８）と、
　前記生成されたデータを出力するステップ（Ｓ３０９）と、
を有することを特徴とする画像処理方法。
　１００：画像処理装置　１０１：画像取得部　１０２：検出部　１０３：出力部
　２００：ＰＣ（画像処理装置）
　２１０：入力部　２３０：記憶部　２４０：出力部
　２２０：制御部
　２２１：画像生成部
　２２２：統計情報生成部
　２２３：データ生成部

Claims (12)

  1. 　画像センサによって作業領域が撮像された動画像を取得する画像取得手段と、
    　前記動画像から前記作業領域内で作業をする作業者の顔部分の画像を生成する画像生成手段と、
    　前記動画像に基づいて前記作業者の作業の統計情報を生成する統計情報生成手段と、
    　前記生成された前記作業者の顔部分の画像と、前記生成された前記作業者の作業の統計情報とを紐付けたデータを生成するデータ生成手段と、
    　前記生成されたデータを出力する出力手段と、
    を有することを特徴とする画像処理装置。
  2. 　前記データ生成手段は、前記画像生成手段によって生成される複数の作業者の顔部分の画像と、前記統計情報生成手段によって生成される前記複数の作業者の作業の統計情報とを紐付けたデータを生成し、
    　前記データ生成手段は、前記出力手段によって出力されたデータに対して、前記複数の作業者の顔部分の画像のうち少なくとも２つ以上の画像と、前記少なくとも２つ以上の画像に紐付けられた前記統計情報とを統合した新たなデータを生成する、
    ことを特徴とする請求項１に記載の画像処理装置。
  3. 　前記少なくとも２つ以上の画像は、ユーザ入力に基づいて選択される画像であることを特徴とする請求項２に記載の画像処理装置。
  4. 　前記データ生成手段は、前記出力手段によって出力されたデータに対して、前記作業者の顔部分の画像を、前記画像生成手段によって生成された前記作業者の顔部分の別の画像に変更した新たなデータを生成することを特徴とする請求項１から３のいずれか１項に記載の画像処理装置。
  5. 　前記データ生成手段は、前記作業者の顔部分のサイズ、向き、顔らしさの少なくとも１つを含む基準に基づいて選択した前記作業者の顔部分の画像と、前記生成された前記作業者の作業の統計情報とを紐付けたデータを生成することを特徴とする請求項１から４のいずれか１項に記載の画像処理装置。
  6. 　前記データ生成手段は、あらかじめ取得された複数の作業者の顔部分の画像と前記生成された前記作業者の顔部分の画像とのマッチングに基づいて、前記あらかじめ取得された画像から選択した前記作業者の顔部分の画像と、前記生成された前記作業者の作業の統計情報とを紐付けたデータを生成することを特徴とする請求項１から５のいずれか１項に記載の画像処理装置。
  7. 　前記統計情報生成手段は、前記動画像に基づいて前記作業者の作業の統計情報の概略情報と詳細情報とを生成し、
    　前記データ生成手段は、前記作業者の顔部分の画像と、前記生成された前記作業者の作業の統計情報の前記概略情報と、前記生成された前記作業者の作業の統計情報の前記詳細情報とを互いに紐付けたデータを生成する、
    ことを特徴とする請求項１から６のいずれか１項に記載の画像処理装置。
  8. 　前記データ生成手段は、前記取得された動画像に基づいて、前記生成された前記作業者の作業の統計情報と関連する動画像を生成し、
    　前記データ生成手段は、前記作業者の顔部分の画像と、前記生成された前記作業者の作業の統計情報と、前記生成された動画像と、を互いに紐付けたデータを生成する、
    ことを特徴とする請求項１から７のいずれか１項に記載の画像処理装置。
  9. 　前記統計情報生成手段は、前記動画像に基づいて、前記作業領域に含まれる１つ以上の作業工程ごとに前記作業者の作業の統計情報を生成し、
    　前記データ生成手段は、前記取得された動画像に基づいて、前記生成された前記作業者の作業の統計情報と関連する動画像を前記１つ以上の作業工程ごとに生成し、
    　前記データ生成手段は、前記作業者の顔部分の画像と、前記生成された前記作業者の作業の前記１つ以上の作業工程ごとの統計情報と、前記生成された前記１つ以上の作業工程ごとの動画像と、を互いに紐付けたデータを生成する、
    ことを特徴とする請求項１から８のいずれか１項に記載の画像処理装置。
  10. 　前記統計情報生成手段は、前記動画像に基づいて生成した前記作業者の作業の統計情報に対する所定の基準に基づく評価結果を示す評価情報を生成し、
    　前記データ生成手段は、前記作業者の顔部分の画像と、前記生成された前記作業者の作業の統計情報および前記評価情報とを紐付けたデータを生成する、
    ことを特徴とする請求項１から９のいずれか１項に記載の画像処理装置。
  11. 　画像センサによって作業領域が撮像された動画像を取得するステップと、
    　前記動画像から前記作業領域内で作業をする作業者の顔部分の画像を生成するステップと、
    　前記動画像に基づいて前記作業者の作業の統計情報を生成するステップと、
    　前記生成された前記作業者の顔部分の画像と、前記生成された前記作業者の作業の統計情報とを紐付けたデータを生成するステップと、
    　前記生成されたデータを出力するステップと、
    を有することを特徴とする画像処理方法。
  12. 　請求項１１に記載の画像処理方法の各ステップをコンピュータに実行させるためのプログラム。
PCT/JP2021/027375 2020-08-24 2021-07-21 画像処理装置、画像処理方法およびプログラム WO2022044637A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202180057656.5A CN116134480A (zh) 2020-08-24 2021-07-21 图像处理装置、图像处理方法以及程序
US18/006,623 US20230267767A1 (en) 2020-08-24 2021-07-21 Image processing device, image processing method, and non-transitory computer readable medium
DE112021004434.6T DE112021004434T5 (de) 2020-08-24 2021-07-21 Bildverarbeitungsvorrichtung, bildverarbeitungsverfahren und -programm

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020141222A JP7484569B2 (ja) 2020-08-24 2020-08-24 画像処理装置、画像処理方法およびプログラム
JP2020-141222 2020-08-24

Publications (1)

Publication Number Publication Date
WO2022044637A1 true WO2022044637A1 (ja) 2022-03-03

Family

ID=80353261

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/027375 WO2022044637A1 (ja) 2020-08-24 2021-07-21 画像処理装置、画像処理方法およびプログラム

Country Status (5)

Country Link
US (1) US20230267767A1 (ja)
JP (1) JP7484569B2 (ja)
CN (1) CN116134480A (ja)
DE (1) DE112021004434T5 (ja)
WO (1) WO2022044637A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114926889A (zh) * 2022-07-19 2022-08-19 安徽淘云科技股份有限公司 作业提交方法、装置、电子设备和存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015225486A (ja) * 2014-05-28 2015-12-14 株式会社日立製作所 生体情報登録システムおよび情報取得装置
JP2016201074A (ja) * 2015-04-14 2016-12-01 株式会社コンピュータシステム研究所 工事管理支援装置、工事管理支援プログラムおよび記憶媒体
JP2019101566A (ja) * 2017-11-29 2019-06-24 株式会社 プロネット 情報処理システム、情報処理方法、情報処理プログラム、および情報処理装置
JP2020017283A (ja) * 2019-08-13 2020-01-30 株式会社ブロードリーフ プログラム、情報処理装置及び情報処理方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4665621B2 (ja) 2004-12-24 2011-04-06 オムロン株式会社 工程改善支援システム
JP6834353B2 (ja) 2016-10-31 2021-02-24 株式会社リコー 画像処理装置、画像処理システム、画像処理方法およびプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015225486A (ja) * 2014-05-28 2015-12-14 株式会社日立製作所 生体情報登録システムおよび情報取得装置
JP2016201074A (ja) * 2015-04-14 2016-12-01 株式会社コンピュータシステム研究所 工事管理支援装置、工事管理支援プログラムおよび記憶媒体
JP2019101566A (ja) * 2017-11-29 2019-06-24 株式会社 プロネット 情報処理システム、情報処理方法、情報処理プログラム、および情報処理装置
JP2020017283A (ja) * 2019-08-13 2020-01-30 株式会社ブロードリーフ プログラム、情報処理装置及び情報処理方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114926889A (zh) * 2022-07-19 2022-08-19 安徽淘云科技股份有限公司 作业提交方法、装置、电子设备和存储介质
CN114926889B (zh) * 2022-07-19 2023-04-07 安徽淘云科技股份有限公司 作业提交方法、装置、电子设备和存储介质

Also Published As

Publication number Publication date
DE112021004434T5 (de) 2023-06-22
US20230267767A1 (en) 2023-08-24
JP7484569B2 (ja) 2024-05-16
JP2022036825A (ja) 2022-03-08
CN116134480A (zh) 2023-05-16

Similar Documents

Publication Publication Date Title
CN110089104B (zh) 事件存储装置、事件搜索装置和事件警报装置
JP5730518B2 (ja) 特定人物検知システムおよび特定人物検知方法
EP2688296B1 (en) Video monitoring system and method
US20070206834A1 (en) Search system, image-capturing apparatus, data storage apparatus, information processing apparatus, captured-image processing method, information processing method, and program
US8854474B2 (en) System and method for quick object verification
US10043079B2 (en) Method and apparatus for providing multi-video summary
US10037504B2 (en) Methods for determining manufacturing waste to optimize productivity and devices thereof
CN111724496A (zh) 一种考勤方法、考勤装置及计算机可读存储介质
US9965841B2 (en) Monitoring system based on image analysis of photos
JP2019016079A (ja) 電力機器の保守支援装置、システムおよびプログラム
WO2022044637A1 (ja) 画像処理装置、画像処理方法およびプログラム
CN111310351B (zh) 车间设备的状态监测方法、装置、终端设备及存储介质
US20180165622A1 (en) Action analysis device, acton analysis method, and analysis program
JP6399096B2 (ja) 情報処理装置、表示方法およびコンピュータプログラム
WO2015096824A1 (zh) 分析装置和分析方法
US20100157051A1 (en) System and method for detecting and deterring rfid tag related fraud
JP7139987B2 (ja) 工程情報取得システム、工程情報取得方法、および工程情報取得プログラム
CN104655638A (zh) 分析对比装置和分析对比方法
CN106169057B (zh) 信息处理装置及方法
US9111237B2 (en) Evaluating an effectiveness of a monitoring system
WO2020044779A1 (ja) 設置環境推定装置及びプログラム
JP2018074317A (ja) 人物特定支援装置
JP2021056671A (ja) 作業状態判別装置、作業状態判別方法およびプログラム
JP4408355B2 (ja) 画像処理装置及び画像処理プログラム
KR20200094940A (ko) 히트맵을 생성하는 장치 및 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21861065

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 21861065

Country of ref document: EP

Kind code of ref document: A1