WO2016098265A1 - 動線描画方法、動線描画プログラム、動線描画装置、動作解析の処理方法、動作解析の処理プログラムおよび動作解析装置 - Google Patents

動線描画方法、動線描画プログラム、動線描画装置、動作解析の処理方法、動作解析の処理プログラムおよび動作解析装置 Download PDF

Info

Publication number
WO2016098265A1
WO2016098265A1 PCT/JP2014/083801 JP2014083801W WO2016098265A1 WO 2016098265 A1 WO2016098265 A1 WO 2016098265A1 JP 2014083801 W JP2014083801 W JP 2014083801W WO 2016098265 A1 WO2016098265 A1 WO 2016098265A1
Authority
WO
WIPO (PCT)
Prior art keywords
flow line
person
information
time range
analysis
Prior art date
Application number
PCT/JP2014/083801
Other languages
English (en)
French (fr)
Inventor
伊藤　史
紗也香 諏訪
一樹 ▲高▼橋
一彦 砂川
亮太 坂口
Original Assignee
富士通株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士通株式会社 filed Critical 富士通株式会社
Priority to PCT/JP2014/083801 priority Critical patent/WO2016098265A1/ja
Publication of WO2016098265A1 publication Critical patent/WO2016098265A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/04—Manufacturing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/12—Hotels or restaurants
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Definitions

  • the present invention relates to a flow line drawing method, a flow line drawing program, a flow line drawing apparatus, a motion analysis processing method, a motion analysis processing program, and a motion analysis apparatus.
  • the conventional technique can detect a gesture from the movement of the hand, it cannot evaluate the efficiency of work performed by a person even if the gesture is detected.
  • a flow line drawing method a flow line drawing program, a flow line drawing device, a motion analysis processing method, a motion analysis processing program, and a motion analysis device capable of outputting an image capable of evaluating work efficiency are provided.
  • a flow line drawing program a flow line drawing program
  • a motion analysis device capable of outputting an image capable of evaluating work efficiency
  • the flow line drawing method uses a computer to acquire information indicating the position of each of a plurality of parts including a specific part of a person to be measured in a state associated with the measured time. Will run.
  • a computer executes a process of specifying a time range in which the person is performing a predetermined operation based on the acquired information.
  • the computer executes a process of drawing the flow line for the specific part in a state where the time range in which the predetermined operation is performed and the other time range can be identified.
  • FIG. 1 is a diagram illustrating an example of a schematic configuration of the entire analysis system.
  • FIG. 2 is a diagram illustrating an example of a work area of a store.
  • FIG. 3A is a diagram schematically illustrating an example of a captured image output from the sensor device.
  • FIG. 3B is a diagram schematically illustrating an example of depth data output from the sensor device.
  • FIG. 3C is a diagram illustrating an example of position information indicating the position of a part of the human body output from the sensor device.
  • FIG. 4 is a diagram schematically illustrating an example of detecting a human body part from a captured image.
  • FIG. 5 is a diagram schematically showing the flow of analysis by the analysis system.
  • FIG. 6 is a diagram illustrating an example of a functional configuration of the analyzer.
  • FIG. 7 is a diagram illustrating an example of a data configuration of sensor information.
  • FIG. 8 is a diagram illustrating an example of a data configuration of manufactured food information.
  • FIG. 9 is a diagram illustrating an example of a data configuration of the work setting information.
  • FIG. 10 is a diagram illustrating an example of a data configuration of manufacturing process information.
  • FIG. 11 is a diagram illustrating an example of a data configuration of event information.
  • FIG. 12 is a diagram illustrating an example of a work setting image.
  • FIG. 13 is a diagram illustrating an example of a detection target area.
  • FIG. 14A is a diagram illustrating an example of a manufactured food screen.
  • FIG. 14B is a diagram illustrating an example of the analysis screen.
  • FIG. 14A is a diagram illustrating an example of a manufactured food screen.
  • FIG. 14B is a diagram illustrating an example of the analysis screen.
  • FIG. 14A is a diagram illustrating an example of a manufactured food screen.
  • FIG. 15A is a diagram illustrating an example of a change in the analysis screen.
  • FIG. 15B is a diagram illustrating an example of a change in the analysis screen.
  • FIG. 15C is a diagram illustrating an example of a change in the analysis screen.
  • FIG. 16 is a diagram illustrating an example of an analysis screen display.
  • FIG. 17 is a diagram illustrating an example of drawing a flow line of a specified specific part.
  • FIG. 18 is a diagram illustrating an example of separation of flow lines when a plurality of types of foods are manufactured in order.
  • FIG. 19 is a diagram schematically illustrating an example of a flow line comparison.
  • FIG. 20 is a diagram illustrating an example of displaying the elapsed time of each person's process.
  • FIG. 20 is a diagram illustrating an example of displaying the elapsed time of each person's process.
  • FIG. 21 is a flowchart illustrating an example of the procedure of the work setting process.
  • FIG. 22 is a flowchart illustrating an example of the procedure of the detection process.
  • FIG. 23 is a flowchart illustrating an example of the analysis processing procedure.
  • FIG. 24 is a diagram illustrating an example of drawing a flow line of a specified specific part.
  • FIG. 25 is a diagram illustrating an example of drawing a flow line of a specified specific part.
  • FIG. 26 is a diagram illustrating an example of a schematic configuration of the entire analysis system.
  • FIG. 27 is a flowchart illustrating an example of the procedure of the generation process.
  • FIG. 28 is a diagram illustrating a computer that executes a flow line drawing program.
  • FIG. 29 is a diagram illustrating a computer that executes an operation analysis processing program.
  • FIG. 1 is a diagram illustrating an example of a schematic configuration of the entire analysis system.
  • the analysis system 1 is a system that supports the evaluation of work efficiency by detecting the action of a person who performs work and analyzing the action of the detected person.
  • the analysis system 1 is applied to support the evaluation of the efficiency of the work of manufacturing food such as rice balls, cooking bread, and lunch boxes in stores such as food and beverage handling stores.
  • the work to be analyzed by the analysis system 1 is not limited to food manufacturing work.
  • Foods such as rice balls, cooking pans, and lunch boxes require cooking, have a short shelf life after production, and the quality deteriorates with the elapsed time since production.
  • the stores can provide high-quality foods and can differentiate from competing stores.
  • stores have a variety of operations, and various store staffs perform the operations of each operation, so that the efficiency of operations for manufacturing food is required.
  • the analysis system 1 supports the evaluation of the efficiency of work for manufacturing food in such a store.
  • the analysis system 1 includes an analysis device 10 and a store device 11.
  • the analysis device 10 and the store device 11 are communicably connected via a network 12 so that various types of information can be exchanged.
  • One aspect of the network 12 is any type of communication network, such as mobile communication such as a mobile phone, Internet (Internet), LAN (Local Area Network), VPN (Virtual Private Network), regardless of wired or wireless. Can be adopted.
  • mobile communication such as a mobile phone, Internet (Internet), LAN (Local Area Network), VPN (Virtual Private Network), regardless of wired or wireless.
  • the store apparatuses 11 can be made into arbitrary numbers.
  • the analysis device 10 corresponds to a flow line drawing device and a motion analysis device.
  • the store apparatus 11 is an apparatus installed in the store.
  • the store apparatus 11 is, for example, a computer such as a personal computer or a server computer set in the store, or an information processing apparatus such as a POS (Point of sale) system.
  • a sensor device 13 and an output device 14 are connected to the store apparatus 11.
  • the sensor device 13 is a sensor device that can detect a person.
  • the sensor device 13 has a built-in camera and takes an image with the camera at a predetermined frame rate.
  • the sensor device 13 divides the captured image into a plurality of divided areas and detects the depth for each divided area.
  • the sensor device 13 detects a human body from the captured image. When a human body is detected, the sensor device 13 performs a skeletal analysis to specify the position of a human body part such as a head or a fingertip.
  • the sensor apparatus 13 outputs the positional information which shows the image data of a picked-up image, the depth data for every division area of a picked-up image, and the position for every part of a human body to the store apparatus 11.
  • FIG. An example of such a sensor device 13 is KINECT (registered trademark).
  • the output device 14 is a device that outputs a label to be attached to the manufactured food.
  • An example of the label is a thermal sheet.
  • information about food such as a price and a period until the expiration date is registered in advance for each food manufactured in the store.
  • the output device 14 is provided with an input unit 14A such as a touch panel or a button, and by operating the input unit 14A, it is possible to print a thermal sheet describing the price of the food, the expiration date, and the like.
  • the output device 14 is provided with a plurality of buttons as the input unit 14A, and each food manufactured in the store is associated with each button.
  • the output device 14 When the button is operated, the output device 14 obtains the expiration date from the period until the expiration date of the product corresponding to the operated button on the basis of the operated time point, and determines the product corresponding to the operated button. A thermal sheet printed with the price and expiration date is output.
  • the input unit 14A corresponds to an operation unit.
  • the operator When an operator at the store manufactures food, the operator operates the output device 14 to output a thermal sheet of the manufactured food from the output device 14. The store worker attaches the output thermal sheet to the manufactured food and sells it at the store.
  • the sensor device 13 When the sensor device 13 outputs a thermal sheet by an operation on the input unit 14A, the sensor device 13 outputs, to the store apparatus 11, manufactured food information that associates the output thermal sheet product and the date and time when the thermal sheet is output.
  • the sensor device 13 and the output device 14 are arranged in a work area where work to be evaluated is performed in a store. In a present Example, it arrange
  • FIG. 2 is a diagram illustrating an example of a work area of a store.
  • FIG. 2 shows a plan view of the work area.
  • the work area has a rectangular shape, and a door used by an operator to enter and exit the work area is provided on one short side.
  • refrigerator A, refrigerator B, and sink are arranged in this order from the door side along one long side.
  • a gantry, a work table, and a flyer are arranged in this order from the door side along the other long side.
  • the workbench is provided with a door at the bottom, and food and the like can be stored at room temperature.
  • an upper counter is arranged at the upper part of the work table.
  • materials, seasonings, and work tools that are the basis of each food to be manufactured are stored.
  • the material which requires refrigeration or refrigeration is stored in the refrigerator A or the refrigerator B.
  • the material which does not require freezing and refrigeration is stored in the lower part of the work table.
  • vinyl gloves worn when workers handle food and vinyl sheets laid on the work table are stored in the upper counter.
  • the storage positions of the materials, seasonings, and work tools are defined as standard.
  • the sensor device 13 is arranged so that the work area is within the measurement target area.
  • the sensor device 13 is arranged on the upper part of the gantry with the direction adjusted so that the work area is within the measurement target region.
  • the sensor device 13 captures an image with a built-in camera at a predetermined frame rate, and stores image data of the captured image, depth data for each divided region of the captured image, and position information indicating the position of each part of the human body. Output to the device 11.
  • FIG. 3A is a diagram schematically illustrating an example of a captured image output from the sensor device.
  • the photographed image shows the situation in the work area shown in FIG.
  • the photographed image includes a refrigerator, a sink, a stand, a work table, a flyer, and the like.
  • FIG. 3B is a diagram schematically illustrating an example of depth data output from the sensor device. In the depth data, information indicating the depth to each of the divided areas obtained by dividing the captured image is stored.
  • FIG. 3C is a diagram illustrating an example of position information indicating the position of a part of the human body output from the sensor device. In the example of FIG.
  • the position of each part of the human body indicated by the position information is indicated by a point, and the skeleton portion of the human body is indicated by connecting the points.
  • the sensor device 13 obtains the open / closed state of the hand from the detection result of the finger position of the hand, and outputs information indicating the open / closed state of the left and right hands.
  • the open / closed state is shown in round areas in the right hand part and the left hand part.
  • the example of FIG. 3C shows that the right hand and the left hand are in an open state.
  • FIG. 4 is a diagram schematically illustrating an example of detecting a human body part from a captured image.
  • the detected part of the human body is shown superimposed on the captured image.
  • the position of each part of the upper part from the person's knee is detected, indicating that the right hand and the left hand are open.
  • the sensor device 13 even if there is a person in the measurement target region, there may be a part of the person who is not shown in the photographed image depending on the orientation of the person's body with respect to the sensor device 13.
  • the sensor device 13 also estimates the position of a part that is not shown in the captured image and outputs the position information to the store apparatus 11. For example, the sensor device 13 positions the part not captured in the captured image by calculation using machine learning or the like based on the nearest position of the part, the indirect movable range limitation of the part, or the limited range not captured. And the estimated position information is output to the store apparatus 11. Further, when the hand is not shown in the captured image, the sensor device 13 outputs the information indicating the open / closed state of the hand to the store device 11 with the open / closed state being unknown for the hand that is not shown.
  • the store apparatus 11 can transmit and receive various types of information to and from the analysis apparatus 10 via the network 12.
  • the store apparatus 11 transmits various information input from the sensor apparatus 13 and the output apparatus 14 to the analysis apparatus 10.
  • the store apparatus 11 includes the manufactured food information input from the output apparatus 14, the image data input from the sensor apparatus 13, depth data, position information indicating the position of each part of the human body, and information indicating the open / closed state of the hand. accumulate.
  • the store apparatus 11 stores the manufactured food information, the image data, the depth data, the position information indicating the position of each part of the human body, and the hand at a predetermined timing such as a timing at which a transmission request is received from the analysis apparatus 10.
  • the information indicating the open / closed state is transmitted to the analyzer 10.
  • the analysis apparatus 10 is an apparatus that performs various types of analysis.
  • the analysis device 10 is, for example, a computer such as a personal computer or a server computer set in a company that operates a data center or a store.
  • the analysis apparatus 10 may be implemented as a single computer, or may be implemented by a plurality of computers. In the present embodiment, a case where the analysis apparatus 10 is a single computer will be described as an example.
  • the analysis device 10 performs work performed in the store based on various types of information such as image data received from the store device 11, depth data, position information indicating the position of each part of the human body, and information indicating the open / closed state of the hand. Analyzes about
  • FIG. 5 is a diagram schematically showing the flow of analysis by the analysis system.
  • the sensor device 13 detects the movement of a person working in a store. Based on the detection result by the sensor device 13, the analysis device 10 obtains a flow line indicating a trajectory in which a specific part of the person has moved.
  • the analysis apparatus 10 obtains a flow line of movement of the hand or wrist using a specific part as the hand or wrist. In the analysis system 1, it is possible to analyze whether the work is efficiently performed by obtaining the flow line of a specific part of the person with the analysis device 10.
  • FIG. 6 is a diagram illustrating an example of a functional configuration of the analyzer.
  • the analysis apparatus 10 includes a communication I / F (interface) unit 20, an input unit 21, a display unit 22, a storage unit 23, and a control unit 24.
  • the analyzer 10 may have other devices other than the above devices.
  • the communication I / F unit 20 is an interface that performs communication control with other devices.
  • a network interface card such as a LAN card can be adopted.
  • the communication I / F unit 20 transmits / receives various information to / from other devices via the network 12.
  • the communication I / F unit 20 receives the manufactured food information, image data, depth data, position information indicating the position of each part of the human body, and information indicating the open / closed state of the hand from the store apparatus 11.
  • the input unit 21 is an input device for inputting various information.
  • Examples of the input unit 21 include an input device that receives an input of an operation such as a mouse or a keyboard.
  • the input unit 21 receives input of various types of information.
  • the input unit 21 receives various operation inputs related to analysis.
  • the input unit 21 receives an operation input from the user, and inputs operation information indicating the received operation content to the control unit 24.
  • the display unit 22 is a display device that displays various types of information. Examples of the display unit 22 include display devices such as LCD (Liquid Crystal Display) and CRT (Cathode Ray Tube). The display unit 22 displays various information. For example, the display unit 22 displays various screens related to analysis such as a work setting image, a designation screen, and an analysis screen described later.
  • display devices such as LCD (Liquid Crystal Display) and CRT (Cathode Ray Tube).
  • the display unit 22 displays various information. For example, the display unit 22 displays various screens related to analysis such as a work setting image, a designation screen, and an analysis screen described later.
  • the storage unit 23 is a storage device that stores various data.
  • the storage unit 23 is a storage device such as a hard disk, an SSD (Solid State Drive), or an optical disk.
  • the storage unit 23 may be a semiconductor memory capable of rewriting data such as RAM (Random Access Memory), flash memory, NVSRAM (Non Volatile Static Random Access Memory).
  • the storage unit 23 stores an OS (Operating System) executed by the control unit 24 and various programs.
  • OS Operating System
  • the storage unit 23 stores various programs including programs that execute various processes described later.
  • the storage unit 23 stores various data used in programs executed by the control unit 24.
  • the storage unit 23 stores sensor information 30, manufactured food information 31, layout information 32, work setting information 33, manufacturing process information 34, and event information 35.
  • Sensor information 30 is data that stores various types of information detected by the sensor device 13.
  • the sensor information 30 stores image data, depth data, position information indicating the position of each part of the human body, and information indicating the open / closed state of the hand.
  • the sensor device 13 performs imaging at a predetermined frame rate, and measures the depth, the position of each part of the human body, and the open / closed state of the hand. For this reason, the measured time is associated with image data, depth data, position information indicating the position of each part of the human body, and information indicating the open / closed state of the hand.
  • image data, depth data, position information indicating the position of each part of the human body, and information indicating the open / closed state of the hand are stored in association with the measured time.
  • FIG. 7 is a diagram illustrating an example of a data configuration of sensor information.
  • the sensor information 30 stores part information, color data, and depth data corresponding to the measurement time.
  • the part information “joints” indicates that position information regarding a part of the human body is recorded.
  • the position information of the part of the human body is indicated by three-dimensional coordinates in the xyz three-axis directions orthogonal to each other.
  • jointName identification information indicating a human body part is set.
  • the part information also stores the open / closed state of the hand.
  • “HandLeftState” stores a numerical value indicating the open / closed state of the left hand.
  • “HandRightState” stores a numerical value indicating the open / closed state of the right hand.
  • the color data stores a byte array in which color data for each pixel of an image of image data is arranged in a predetermined order.
  • a byte array in which the depth data for each divided region of the image data is arranged in a predetermined order is stored.
  • the manufactured food information 31 is data storing information related to food manufactured at the store.
  • the manufactured food information output from the output device 14 is stored as the manufactured food information 31.
  • FIG. 8 is a diagram showing an example of the data structure of manufactured food information.
  • the manufactured food information 31 includes items of “date and time”, “product”, and “number”.
  • the item of date / time is an area for storing the date / time of food production.
  • the date and time when the thermal sheet is output from the output device 14 is set as the food production date and time.
  • the item of product is an area for storing an identification name of the manufactured food.
  • the item of number is an area for storing the number of manufactured foods. In the example of FIG. 8, it shows that 15 rice balls were manufactured at 8:00 on December 1, 2014.
  • the layout information 32 is data that stores information related to the layout of the work area of the store.
  • position information indicating where and what is arranged in the work area is stored.
  • the position information stored in the layout information 32 may be combined with the position information detected by the sensor device 13 and the coordinate system. That is, the position information of the layout information 32 may be the same coordinate system as the position information of the sensor device 13. Further, the position information of the layout information 32 may be a coordinate system different from the position information of the sensor device 13.
  • the analysis device 10 converts the position information measured by the sensor device 13 into position information in the same coordinate system as the layout information 32 and stores it. For example, when storing the position information indicating the position of each part of the human body in the sensor information 30, the analysis apparatus 10 converts the position information for each part of the human body into position information in the same coordinate system as the layout information 32 and stores it. To do.
  • the work setting information 33 is data that stores information related to the work to be detected.
  • the work setting information 33 stores a region to be detected and a movement of a person to be detected for each work to be detected.
  • FIG. 9 is a diagram showing an example of the data configuration of the work setting information.
  • the work setting information 33 includes items of “work”, “target region”, “movement”, and “depth change”.
  • the work item is an area for storing identification information representing the work to be detected.
  • the work name is stored in the work item as identification information representing the work.
  • the item of the target area is an area for storing information indicating the target area that is a target for motion detection. Information indicating the space boundary of the target area is stored in the item of the target area. For example, when the target area is a rectangular parallelepiped space, the position information of the three-dimensional coordinates of each vertex of the rectangular parallelepiped is stored in the item of the target area.
  • FIG. 9 is a diagram showing an example of the data configuration of the work setting information.
  • the work setting information 33 includes items of “work”, “target region”, “movement”, and “depth change”.
  • the work item is an area for storing identification information representing the work to be detected.
  • the work name
  • the region A is a rectangular parallelepiped space on the front surface of the refrigerator A, and includes the door of the refrigerator A in order to improve the detection accuracy of the opening and closing of the door.
  • the region B is a rectangular parallelepiped space in front of the refrigerator B and includes the door of the refrigerator B in order to improve the detection accuracy of the opening and closing of the door.
  • the area C is a rectangular parallelepiped space along the work table.
  • Region X is a rectangular parallelepiped space of the work table portion.
  • the item of movement is an area for storing a movement to be detected.
  • the depth change item is an area for storing a depth change to be detected.
  • the change in depth is an arbitrary condition.
  • the depth change to be detected is stored when the detection condition is set, and “ ⁇ ” is stored when the detection condition is not set.
  • a pulling operation and a change in depth are detected in the region A, it indicates that the operation is for opening and closing the refrigerator A.
  • a squatting action and a pulling action are detected in the area C, it indicates that the work is to be cut.
  • the manufacturing process information 34 is data that stores information relating to the flow of manufacturing food in a store.
  • the flow when manufacturing food in a store is divided into processes in stages, and work performed for each process is stored.
  • FIG. 10 is a diagram showing an example of the data structure of the manufacturing process information.
  • the manufacturing process information 34 includes items of “product”, “order”, “process”, and “operation”.
  • the item of product is an area for storing an identification name of a food manufactured by the process.
  • the item of order is an area for storing a number indicating the order of steps in manufacturing.
  • the item of a process is an area for storing a process name indicating a process when manufacturing food.
  • the item of work is an area for storing identification information representing work performed in each process.
  • FIG. 10 when manufacturing a rice ball, it shows that work is performed in order of the process A, the process B, the process C ....
  • the process A shows that the work of worktable preparation is implemented.
  • the event information 35 is data that stores events detected from the movement of the worker stored in the sensor information 30.
  • the event information 35 when a work to be detected set in the work setting information 33 is detected from the movement of the worker stored in the sensor information 30, the detected work is stored as an event.
  • FIG. 11 is a diagram illustrating an example of a data configuration of event information.
  • the event information 35 includes items of “detection date and time” and “detection work”.
  • the item of detection date and time is an area for storing the date and time when the work to be detected is detected.
  • the detection work item is an area for storing the work to be detected. In the example of FIG. 11, it is shown that a work table preparation work event was detected at 7:00 on December 1, 2014.
  • the control unit 24 is a device that controls the analysis apparatus 10.
  • an electronic circuit such as a CPU (Central Processing Unit) or an MPU (Micro Processing Unit), or an integrated circuit such as an ASIC (Application Specific Integrated Circuit) or FPGA (Field Programmable Gate Array) can be used.
  • the control unit 24 has an internal memory for storing programs defining various processing procedures and control data, and executes various processes using these.
  • the control unit 24 functions as various processing units by operating various programs.
  • the control unit 24 includes an acquisition unit 40, a reception unit 41, a detection unit 42, an output unit 43, a specification unit 44, a display control unit 45, and an analysis unit 46.
  • the acquisition unit 40 performs various acquisitions.
  • the acquisition unit 40 acquires various types of information from the store apparatus 11.
  • the acquisition unit 40 acquires manufactured food information, image data, depth data, position information indicating the position of each part of the human body, and information indicating the open / closed state of the hand from the store apparatus 11.
  • the information to be acquired may be transmitted autonomously by the store apparatus 11.
  • the acquisition part 40 may request
  • the acquisition unit 40 stores the acquired information in the storage unit 23.
  • the acquisition unit 40 stores the acquired image data, depth data, position information indicating the position of each part of the human body, and information indicating the open / closed state of the hand in the sensor information 30.
  • the acquisition unit 40 stores the acquired manufactured food information in the manufactured food information 31.
  • the acquisition unit 40 converts the position information for each part of the human body into the position information of the same coordinate system as the layout information 32. Store.
  • the reception part 41 performs various receptions.
  • the reception unit 41 receives various settings.
  • the reception unit 41 causes the display unit 22 to display a work setting image for setting the detection target work, and receives input of the detection target region and the detection target work setting from the input unit 21.
  • the reception unit 41 displays a floor plan of the work area including the measurement target area by the sensor device 13 for the store on the work setting image based on the layout information 32, and specifies the detection target area by specifying the area for the floor plan. Accept.
  • FIG. 12 is a diagram showing an example of the work setting image.
  • the work setting screen 60 includes a first area 61 for displaying a sketch of the work area of the store, a second area 62 for performing settings related to human movement, and a third area 63 for performing settings related to depth.
  • region 64 which performs the setting regarding work is provided.
  • the first area 61 can be designated as a detection target area by selecting a range on the sketch.
  • a range can be selected in a rectangular shape on the floor plan by a mouse drag operation or an operation for designating the positions of two points.
  • a detection target area is designated by selecting a range.
  • the range of the detection target area is specified two-dimensionally on the floor plan.
  • the work area is displayed three-dimensionally, and the detection target area range is three-dimensionally displayed. It may be possible to specify.
  • the second area 62 it is possible to specify the movement of the person to be detected.
  • items describing different human movements are displayed, check boxes 62A are provided corresponding to the respective items, and the movement of the detection target person can be specified by the check boxes 62A.
  • the movement to be detected is designated by the check box 62A.
  • a plurality of check boxes 62A can be selected.
  • the third area 63 it is possible to specify a change in the detection target depth.
  • items describing conditions relating to the change in depth are displayed, radio buttons 63A are provided corresponding to the respective items, and the change in depth of the detection target is selectively designated by the radio button 63A. Is possible.
  • a change in the detection target depth is designated by the radio button 63A.
  • a work name representing the work can be input.
  • a work name representing a work is input.
  • the work setting screen 60 is provided with a registration button 65.
  • the reception unit 41 registers the content specified on the work setting screen 60 in the work setting information 33.
  • the reception unit 41 uses the work name input in the fourth area 64 as the work name, and registers the space of the rectangular parallelepiped from the ceiling to the floor in the range specified in the first area 61 as the target area in the work setting information 33. To do. Further, the reception unit 41 registers the movement of the person specified in the second area 62 as the detection target movement, and registers the change in the depth specified in the third area 63 in the work setting information 33 as the change in the detection target depth. To do.
  • the reception unit 41 receives a setting of a manufacturing process for manufacturing food.
  • the reception unit 41 displays the manufacturing process information 34 illustrated in FIG. 10 on the display unit 22 and receives settings for the product, the order, the process, and the operation by the input from the input unit 21.
  • the reception unit 41 updates the manufacturing process information 34 according to the set contents.
  • the detection unit 42 performs various types of detection. For example, the detection unit 42 sequentially reads out the data of the sensor information 30 in time series, and detects whether the work registered in the work setting information 33 is occurring in the movement of the person indicated by the read data. For example, the detection unit 42 pays attention to the position information of the specific part among the position information for each part of the human body stored in the sensor information 30, the specific part is in the detection target region, and the specific part is the detection target. Detects whether a person has moved. For each movement of a person to be detected, a specific part and conditions used for detection of the movement are determined. The detection unit 42 detects a person's movement for each movement to be detected using a specific part and condition corresponding to the movement. In addition, the detection unit 42 uses the depth data stored in the sensor information 30 to detect whether a change in the detection target depth has occurred within the detection target region.
  • the detection unit 42 pays attention to the position information of the hip joint and detects whether the hip joint is lower than the knee joint.
  • the height direction is the y coordinate.
  • the detection unit 42 compares the y-coordinate of the hip joint position of the frame and the y-coordinate of the knee joint position for each frame, and detects that crouching if the y-coordinate of the hip ⁇ the y-coordinate of the knee. .
  • the detection unit 42 pays attention to the position information of the hand or wrist and detects whether the hand has moved in the horizontal direction.
  • the height direction is the y coordinate
  • the two horizontal axes are the x coordinate and the z coordinate.
  • the detection unit 42 determines the amount of movement in the horizontal direction obtained from the x-coordinate and z-coordinate of the hand or wrist position within a predetermined allowable range in which the change in the y coordinate of the hand or wrist position is within a predetermined allowable range. If is greater than or equal to the threshold, it is detected as being subtracted.
  • the predetermined time, allowable range, and threshold value are set in advance by obtaining appropriate values from a general pulling operation.
  • the predetermined time, allowable range, and threshold value may be set from the outside.
  • the detection unit 42 detects the movement of the detection target person in the detection target area registered in the work setting information 33, and is set when a change in the detection target depth occurs in the detection target area. Detect that work has occurred.
  • FIG. 13 is a diagram illustrating an example of a detection target area.
  • a door is provided on the front side of the refrigerator A, and a region including the door on the front surface of the refrigerator A is set as the detection target region A.
  • the detection unit 42 detects a pulling operation from a change in the position of the hand or wrist in the region A, and a change in depth occurs during a few seconds after the hand or wrist enters the region A. When it does, it detects that the operation
  • the detection unit 42 may detect whether the motion is moving in a specific direction. For example, when detecting an operation of pulling a refrigerator or the like, the detection unit 42 may detect whether the operation is moving in a direction perpendicular to the wall.
  • the pulling operation occurs in the operation of opening and closing the refrigerator A, the operation of opening and closing the refrigerator B, and the operation of cutting. For this reason, if it is attempted to detect the opening / closing operation of the refrigerator A only by the pulling operation, it is detected as the opening / closing operation of the refrigerator A even when performed outside the area A, and a lot of noise is detected.
  • the analysis apparatus 10 can accurately detect the execution of the operation of the detection target by detecting the movement of the detection target person within the detection target region.
  • the output unit 43 performs various outputs. For example, the output unit 43 outputs the detection result by the detection unit 42. For example, when the operation registered in the work setting information 33 is detected by the detection unit 42, the output unit 43 stores the occurrence date and time of the detected work and the detected work in the event information 35 as an event.
  • the identifying unit 44 performs various types of identification.
  • the specifying unit 44 specifies a time range in which a person is performing a predetermined operation. For example, the specifying unit 44 sets a predetermined operation as each process of manufacturing, and specifies a time range for each manufacturing process. For example, the specifying unit 44 specifies the date and time of food production based on the manufactured food information 31.
  • the manufactured food information 31 stores the date and time of manufacturing the food. Therefore, the period immediately before the date of manufacture of the food is a period during which the food is manufactured.
  • the specifying unit 44 specifies which process when the food stored in the event information 35 is an operation stored as an event.
  • the specifying unit 44 specifies the date and time of manufacture of the food and the manufactured food from the manufactured food information 31, and reads the manufacturing process of the specified product from the manufacturing process information 34. Further, the specifying unit 44 retroactively searches the date and time in order starting from the manufacturing date and time, and obtains the work generated from the event information 35 in the order of the retroactive detection date and time. And the specific
  • the specifying unit 44 specifies the period during which a process is being performed, with the date and time when the work of the process occurs as the start date and time of the next process as the end date and time of the process. For the last process, the date of manufacture of the food is the process end date. When a plurality of operations are included in the process, the specifying unit 44 sets the earlier date / time of the date / time when the operation has occurred as the process start date / time. Note that the method of specifying the process period is not limited to this.
  • the identification unit 44 may use any method as long as the period of the process can be identified.
  • the specifying unit 44 may specify the period during which the process is performed, with the date and time when the work of the process occurred as the end date and time of the process and the date and time when the work of the previous process occurred as the start date and time of the process. .
  • the production date / time of the previous food may be the start date / time of the step, and a certain time before the end date / time may be the start date / time.
  • the specifying unit 44 may specify the period of each process from the standard work time indicating the standard work time for each process.
  • the standard operation time is stored in the manufacturing process information 34 for each process.
  • the specifying unit 44 corrects the standard work time for each process according to the number of foods to be manufactured, and obtains the work time. For example, the specifying unit 44 obtains the work time by multiplying the standard work time by a larger correction coefficient as the number of foods increases.
  • the correction coefficient may be stored in advance as correction coefficient data for each number, or may be obtained by calculation from a predetermined calculation formula. In the production of food, even if the number increases, work is performed in parallel for each process. Therefore, even if the number to be manufactured is doubled, the work time is not doubled. For this reason, when the number to be manufactured is two, the correction coefficient is 1.3, and when the number to be manufactured is three, the correction coefficient is 1.5 or less, such as 1.5.
  • the correction coefficient data to be applied and the arithmetic expression may be specified for each process.
  • correction coefficient data storing a correction coefficient for each number and an arithmetic expression are stored for each process.
  • the specifying unit 44 may obtain a correction coefficient for each process by using correction coefficient data or an arithmetic expression set in the manufacturing process information 34 for each process.
  • correction coefficient data X is set for the processes A and C
  • correction coefficient data Y is set for the process B.
  • the fixing unit 44 obtains a correction coefficient from the correction coefficient data X for the processes A and C, and obtains a correction coefficient from the correction coefficient data Y for the process B.
  • the display control unit 45 controls various displays. For example, the display control unit 45 displays a designation screen for designating food to be analyzed.
  • FIG. 14A is a diagram showing an example of the manufactured food screen.
  • the designation screen 80 includes a date area 81 for designating a date, a display area 82 for displaying food manufactured on the specified date and the number of manufactured foods, an analysis button 83, Is provided.
  • the display control unit 45 divides a line into the display area 82 indicating the food manufactured on the specified date and the number of manufactured foods based on the manufactured food information 31. To display. In the display area 82, food can be specified by selecting a row.
  • the display control unit 45 displays, on the display unit 22, an analysis screen for analyzing the work of manufacturing the food designated in the date display area 81 designated in the date area 81.
  • the display control unit 45 corresponds to a drawing unit and a display control unit.
  • FIG. 14B is a diagram showing an example of the analysis screen.
  • the analysis screen 70 is provided with a flow line display area 71 for displaying a flow line indicating the movement of a person over time, and a process display area 72 for displaying a process to be performed.
  • the analysis screen 70 is also provided with a play / stop button 73 for instructing to play and stop the drawing of the flow line, and a slider 74 indicating the position being played.
  • the playback / stop button 73 is switched between playback and stop each time it is operated, and playback and stop instructions can be given.
  • the display control unit 45 draws a flow line indicating the trajectory of the movement of the specific part of the person in the flow line display area 71 based on the sensor information 30 by operating the play / stop button 73.
  • the specific part is preferably a part where a flow line related to the work to be performed is likely to appear. In the case of manufacturing food, for example, the specific part is any one of the right wrist, the left wrist, the right hand, and the left hand.
  • the display control unit 45 draws the flow line that the right wrist has moved in the flow line display area 71 as time passes, with the specific part as the right wrist.
  • a person may perform a predetermined first action at one or both of the start and end of work.
  • the work table is prepared and cleaned at the start of the work, and the work table is cleaned at the end of the work.
  • the display control unit 45 sets the position of the specific part at the time when it is detected that a person is performing the predetermined first action as the drawing start position or the drawing end position of the flow line.
  • the display control unit 45 draws a flow line with a time point when a workbench preparation or workbench cleaning work is detected as a drawing start position or a drawing end position.
  • the display control unit 45 may determine an end point for which a flow line is to be drawn based on a timing at which predetermined data is generated due to an operation performed by a person. For example, in a store, a thermal sheet is output at the end of each food manufacturing operation. The output of the thermal sheet can be regarded as the end of the food manufacturing operation. Further, when a plurality of foods are manufactured in order, the output of the thermal sheet of the previous food can be regarded as a switching timing for starting the production of the next food. The display control unit 45 may draw a flow line with one of the cleaning work of the work table and the time when the output of the thermal sheet is detected as the drawing end position.
  • the display control unit 45 draws a flow line with the earlier one of the cleaning work of the work table and the time when the output of the thermal sheet is detected as the drawing end position.
  • the end position of the trajectory may be controlled according to the setting operation for the output device 14.
  • the display control unit 45 causes the process display area 72 to display processes performed at the time as time passes, based on the identification result by the identification unit 44.
  • FIG. 15A to FIG. 15C are diagrams showing an example of changes in the analysis screen.
  • the display of the analysis screen 70 changes from FIG. 15A to FIG. 15B and from FIG. 15B to FIG. 15C over time.
  • FIG. 15A only the flow line regarding the process A is displayed.
  • FIG. 15B the flow line regarding the process A and the process B is displayed.
  • FIG. 15C the flow line regarding the process A, the process B, and the process C is displayed.
  • the display control unit 45 displays processes from the left side of the process display area 72 as time passes, and displays the processes in the order of the processes from the top.
  • processes are displayed as time passes from the left side.
  • the analyzer 10 can present easily the process performed along the result of time.
  • the process display area 72 processes are displayed in the order of processes from the top.
  • the analysis apparatus 10 can present easily whether the processes are performed in order from the upper and lower relationships of the display or whether the rework has occurred in the previous process.
  • the process A, the process B, and the process C were performed in order along with the elapse of time.
  • the display control unit 45 draws a flow line in a state in which a time range in which a predetermined operation is performed and a time range other than that can be identified. For example, the display control unit 45 draws a flow line of each process in an identifiable state for each manufacturing process. In the examples of FIGS. 14B and 15A to 15C, the flow lines of the process A, the process B, and the process C are displayed so as to be identifiable by changing the line type.
  • the display control unit 45 may draw any way as long as it can show the flow line of each process in an identifiable state. For example, the display control unit 45 may change the color and thickness of the flow line for each process. Further, the display control unit 45 may draw different flow lines in each process. Further, the display control unit 45 may draw a label representing the process with text, a number, a figure, or a symbol in association with the locus portion of each process of the flow line.
  • the display control unit 45 draws text indicating the operation content in the vicinity of the flow line corresponding to the time range in which the predetermined operation is performed. For example, the display control unit 45 displays text indicating the operation content of the work that has occurred in the flow line display area 71 when the reproduced time is the time of occurrence of the work corresponding to the process. In the example of FIG. 14 and FIGS. 15A to 15C, text 75 indicating the operation content of the work is displayed. In the present embodiment, the display control unit 45 displays the flow line and the process separately in the flow line display area 71 and the process display area 72 of the analysis screen 70, but the process flow line is displayed in the flow line display area 71. A text indicating the process may be displayed correspondingly.
  • the display control unit 45 moves the slider 74 from one end to the other along the passage of time of the flow line to be reproduced.
  • the analysis screen 70 can be changed in time position to be reproduced by a slider 74.
  • the display control unit 45 draws a flow line and process before the time corresponding to the moved position, and draws the flow line and process along the passage of time from the time corresponding to the position. To resume.
  • the display control unit 45 displays only the flow line of the selected process in the flow line display area 71.
  • FIG. 16 is a diagram showing an example of the analysis screen display.
  • the example of FIG. 16 shows a case where the process B is selected. In the flow line display area 71, only the flow line of the process B is displayed.
  • the analysis screen 70 is provided with an end button 79.
  • the display control unit 45 ends the display of the analysis screen 70.
  • the analysis apparatus 10 can output an image that can evaluate the efficiency of the work by drawing the flow line on the analysis screen 70, and can support the evaluation of the efficiency of the work. For example, the user can evaluate whether the work is efficiently performed from the drawn flow line.
  • the display control unit 45 may accept designation of a specific part and draw a flow line of the designated specific part in the flow line display area 71.
  • the display control unit 45 may accept designation of the right wrist or the left wrist as the specific part and draw it in the flow line display area 71 of the flow line of the wrist position on the side specified by the designation.
  • FIG. 17 is a diagram illustrating an example of drawing a flow line of a specified specific part.
  • the flow line display area 71 is provided with a designation area 71A for designating whether to draw a right wrist, a left wrist, or both wrists as a specific part.
  • the display control unit 45 draws the flow line of the specific part designated in the designated area 71 ⁇ / b> A in the flow line display area 71. When both wrists are designated, the display control unit 45 displays the flow lines of the right wrist and the left wrist so that they can be identified.
  • the display control unit 45 changes the color of the flow lines of the right wrist and the left wrist and draws the flow lines of each process in an identifiable state.
  • the color difference of the flow line of the right wrist and the left wrist is shown by changing the line type.
  • FIG. 18 is a diagram illustrating an example of separation of flow lines when a plurality of types of foods are manufactured in order. As shown in FIG. 18, cleaning and cooking switching are performed even when rice balls, cooking pans, and bento boxes are manufactured in this order. In the analyzer 10, the flow of rice balls, cooking pans, and lunch boxes can be separated by specifying the process for producing food.
  • the analysis apparatus 10 can subdivide the work leads for each food and each person because the flow line can be separated for each food. Thereby, the pattern of work tendency can be obtained. For example, by determining each person's pattern for each food, it is possible to determine a work tendency pattern for each food. Also, by comparing each person's pattern with a manual or the like for each food item, it is possible to quantitatively extract and analyze whether the manual is being observed, work trends, and features.
  • the analysis unit 46 performs various types of analysis.
  • the analysis unit 46 accepts designation of a flow line pattern to be compared.
  • the analysis unit 46 analyzes the productivity by comparing the designated flow line patterns.
  • the user analyzes what influences the productivity by comparing the flow lines of the high productivity person and the low productivity person by the analysis unit 46. Thereby, the analyzer 10 can identify what is affecting the productivity and can support the improvement of the productivity.
  • FIG. 19 is a diagram schematically showing an example of a flow line comparison.
  • the flow lines when the cooking pans of Mr. A with high productivity and Mr. B with low productivity are manufactured are compared and correlation analysis is performed.
  • the analysis unit 46 compares the flow lines as shown in FIG. 19 and performs a correlation analysis to obtain a productivity gap that affects the productivity.
  • the display control unit 45 displays the obtained productivity gap. Thereby, the analyzer 10 can visualize the productivity gap between the high productivity person and the low productivity person.
  • the analysis unit 46 can analyze the variation in work time for each person's process by comparing the elapsed time of each person's process for each food.
  • the display control part 45 can visualize the dispersion
  • FIG. 20 is a diagram showing an example of displaying the elapsed time of each person's process.
  • the elapsed time of the processes of the workers A, B, and C is shown.
  • the analysis apparatus 10 can visualize variations in work time for each process by displaying the elapsed time of each person's process.
  • FIG. 21 is a flowchart illustrating an example of the procedure of the work setting process. This work setting is executed at a predetermined timing, for example, a timing at which a predetermined operation for instructing the display of the work setting screen 60 from the input unit 22 is performed.
  • the reception unit 41 displays the work setting screen 60 on the display unit 22 (S10).
  • the user inputs the setting of the detection target area and the detection target work from the input unit 21.
  • the accepting unit 41 accepts the setting of the detection target region and the detection target movement regarding the detection target work on the work setting screen 60.
  • the accepting unit 41 determines whether or not the registration button 65 has been selected (S11). If the registration button 65 has not been selected (No at S11), the process proceeds to S11 to wait for selection of the registration button 65. When the registration button 65 is selected (Yes at S11), the receiving unit 41 registers the content specified on the work setting screen 60 in the work setting information 33 (S12), and ends the process.
  • FIG. 22 is a flowchart illustrating an example of the procedure of the detection process.
  • This detection process is executed at a predetermined timing, for example, at a timing when a predetermined operation for starting detection is performed from the input unit 22 or at a predetermined cycle.
  • the detection process may be executed prior to an analysis process described later at a timing when a predetermined operation for starting an analysis is performed from the input unit 22.
  • the detection unit 42 reads one piece of data of the sensor information 30 in time series order (S20).
  • the detection unit 42 determines whether the work registered in the work setting information 33 is occurring in the movement of the person indicated by the data for a predetermined period including the read data (S21). If no work has occurred (No at S21), the process proceeds to S23 described later. On the other hand, when the work has occurred (Yes in S21), the output unit 43 stores the detected work as an event in the event information 35 (S22).
  • the detection unit 42 determines whether all the data of the sensor information 30 has been read (S23). If all the data has been read (Yes at S23), the process ends. If all the data has not been read (No at S23), the process proceeds to S20 described above.
  • FIG. 23 is a flowchart illustrating an example of the analysis processing procedure. This analysis process is executed at a predetermined timing, for example, when the analysis button 83 is selected on the designation screen 80.
  • the specifying unit 44 specifies the production date and time of the food designated in the date display area 82 designated in the date area 81 based on the manufactured food information 31 (S30). Based on the manufacturing process information 34 and the event information 35, the specifying unit 44 specifies which process is performed when the specified food is manufactured by the work stored in the event information 35 (S31). For example, the specifying unit 44 reads the manufacturing process of the designated product from the manufacturing process information 34. Further, the specifying unit 44 retroactively searches the date and time in order starting from the manufacturing date and time, and obtains the work generated from the event information 35 in the order of the retroactive detection date and time. And the specific
  • the display control unit 45 displays the analysis screen 70 on the display unit 22 (S32). Based on the sensor information 30, the display control unit 45 draws the flow line that the specific part has moved in the flow line display area 71 over time. In addition, the display control unit 45 causes the process display area 72 to display processes performed at the time as time passes, based on the identification result by the identification unit 44.
  • the display control unit 45 determines whether or not the end button 79 on the analysis screen 70 is selected (S33). When the end button 79 is selected (Yes at S33), the display control unit 45 ends the display of the analysis screen 70 and ends the process. On the other hand, if the end button 79 is not selected (No at S33), the process returns to S32 described above and the display of the analysis screen 70 is continued.
  • the analysis apparatus 10 acquires information indicating the position of each of a plurality of parts including a specific part of a person to be measured in a state associated with the measured time. To do. Based on the acquired information, the analysis device 10 specifies a time range in which a person is performing a predetermined operation. The analyzer 10 draws the flow line for the specific part in a state where the time range in which the predetermined operation is performed and the other time range can be identified. Thereby, the analyzer 10 can output the image which can evaluate the efficiency of work.
  • the analysis apparatus 10 draws a flow line in different colors for a time range in which a predetermined operation is performed and other time ranges. Thereby, the analyzer 10 can present the flow line of the time range which is performing predetermined
  • the analysis apparatus 10 draws text indicating the operation content in the vicinity of the flow line corresponding to the time range in which the predetermined operation is performed. Thereby, the analyzer 10 can present in an easy-to-understand manner what kind of work the flow line is.
  • the analysis apparatus 10 refers to the storage unit 23 that stores the positional changes of a plurality of parts of a person related to one or more predetermined actions, and is equivalent to the stored positional changes of the plurality of parts.
  • a time range in which the determined position change is detected in the information is specified.
  • the analysis apparatus 10 can specify the time range in which the specific work is performed by the position change of the plurality of parts of the person related to the one or more predetermined actions, and the movement in which the flow line of the specific work is being performed. Lines can be identified and presented.
  • the analysis apparatus 10 uses a specific part as a human right wrist or left wrist. As described above, the analysis apparatus 10 draws the flow line of the right wrist or the left wrist with the specific part among the plurality of parts of the person as the right wrist or the left wrist of the person, so that the flow line related to the work is easily understood. Can present.
  • the analysis apparatus 10 accepts designation of the right wrist or the left wrist, and sets the wrist position on the side specified by the designation as a flow line drawing target. Thereby, the analyzer 10 can draw the flow line of a specific hand side. For example, the analysis apparatus 10 can present the flow line of the hand of the dominant arm by designating the hand of the dominant arm.
  • the analysis apparatus 10 sets the position of a specific part at the time when it is detected that a person is performing a predetermined first action as the flow line drawing start position or drawing end position. . Thereby, the analysis apparatus 10 can automatically determine the drawing start position or the drawing end position of the flow line when the predetermined first operation is performed at the start or end of the work.
  • the analysis apparatus 10 determines an end point to be drawn as a flow line based on a timing at which predetermined data is generated due to an operation performed by a person. Thereby, the analysis apparatus 10 can automatically determine the drawing start position or the drawing end position of the flow line when predetermined data is generated at the start or end of the work.
  • the analysis apparatus 10 in synchronization with the drawing of the flow line, the information indicating the work specified by the action of the person corresponding to the time point indicated by the flow line being drawn, Output with Thereby, the analyzer 10 can present the part where the work was performed on the flow line in an easy-to-understand manner.
  • the analysis apparatus 10 acquires information indicating the position of each of a plurality of parts of a person to be measured in a state associated with the measured time. Based on the acquired information, the analysis device 10 specifies a time range in which a person is performing a predetermined operation. The analysis apparatus 10 draws a flow line about a person in a state where a time range in which a predetermined operation is performed and a time range other than that can be identified. Thereby, the analyzer 10 can output the image which can evaluate the efficiency of work.
  • the analysis apparatus 10 displays a movement locus of a specific part of the person based on the analysis result of the action of the person to be imaged obtained by analyzing the taken image. Thereby, the analyzer 10 can output the image which can evaluate work efficiency from the movement of a specific part of a person.
  • the analysis apparatus 10 detects the start position of the trajectory in response to detection that the motion of the person to be imaged shows a predetermined motion, or detection that an operation input is made to the operation unit. Alternatively, the end position is controlled. Thereby, the analysis apparatus 10 can automatically determine the drawing end position of the flow line when an operation input is made to the predetermined operation or the operation unit at the end of the work.
  • the analysis apparatus 10 additionally displays the trajectory sequentially in time series.
  • the analysis apparatus 10 can present the operations performed from the trajectory in chronological order.
  • the analysis apparatus 10 displays the work content information registered in association with the predetermined operation at the time of additional display of the locus portion corresponding to the timing at which the predetermined operation of the person is detected. Additional display is performed in any of the upper, lower, left, and right display areas of the locus display area. As a result, the analysis apparatus 10 can present the details of the work performed in association with the movement in association with the movement line of the movement.
  • Example 2 will be described.
  • the configurations of the analysis system 1, the store, the analysis device 10, the store device 11, the sensor device 13, and the output device 14 according to the second embodiment are the same as those of the first embodiment shown in FIGS. The part will be described.
  • the specifying unit 44 of the analyzer 10 specifies a time range in which the distance between the right wrist position and the left wrist position of a person is more than a predetermined distance.
  • the specifying unit 44 specifies a period in which a plurality of operations are performed in parallel from the distance between the right wrist position and the left wrist position of the person.
  • the specifying unit 44 specifies a time range in which the distance between the right wrist position and the left wrist position is more than a predetermined distance corresponding to the shoulder width.
  • the predetermined distance is an example, and may be varied depending on the work to be performed, or may be set from the outside. For example, the predetermined distance may be set from the outside.
  • the display control unit 45 receives designation of the right wrist or the left wrist as the specific part and draws the wrist position on the side specified by the designation in the flow line display area 71 of the flow line. In addition, the display control unit 45 draws the time range in which the distance between the right wrist position and the left wrist position of the person is a predetermined distance or more and the other time ranges in an identifiable state.
  • FIG. 24 is a diagram illustrating an example of drawing a flow line of a specified specific part.
  • the flow line display area 71 is provided with a designation area 71A for designating whether to draw a right wrist, a left wrist, or both wrists as a specific part.
  • the display control unit 45 draws the flow line of the specific part designated in the designated area 71 ⁇ / b> A in the flow line display area 71. Further, the display control unit 45 draws a flow line in a time range in which the distance between the right wrist position and the left wrist position is a predetermined distance or more in a state that can be distinguished from the flow lines in other time ranges.
  • both wrists are designated in the designated area 71A, the flow lines of the right wrist and the left wrist are displayed, and the flow lines where the distance between the wrist position and the left wrist position is more than a predetermined distance are indicated by broken lines.
  • the analysis apparatus 10 can display in a state where it is possible to identify a part of the flow line of the right hand and the left hand that is presumed that the right hand and the left hand are performing different operations.
  • the analysis apparatus 10 specifies a time range in which the distance between the right wrist position and the left wrist position of a person is more than a predetermined distance. Thereby, the analyzer 10 can display the part which is estimated that the right hand and the left hand are performing different operations in an identifiable state.
  • Example 3 Since the configurations of the analysis system 1, the store, the analysis device 10, the store device 11, the sensor device 13, and the output device 14 according to the third embodiment are the same as those in the first embodiment shown in FIGS. The part will be described.
  • the display control unit 45 of the analyzer 10 accepts designation of the right wrist or the left wrist as the specific part, and draws the wrist position specified by the designation in the flow line display area 71 of the flow line. To do.
  • the display control unit 45 draws the locus portion corresponding to the state where the palm of the person's palm is spread and the locus portion corresponding to the closed state based on the sensor information 30 in an identifiable state. For example, when the numerical value indicating the open / closed state of the hand is greater than or equal to a predetermined threshold, the display control unit 45 is in a state where the palm is widened, and when the numerical value indicating the open / closed state of the hand is less than the predetermined threshold, the palm is closed Are drawn with different lines.
  • FIG. 25 is a diagram illustrating an example of drawing a flow line of a specified specific part.
  • the flow line display area 71 is provided with a designation area 71A for designating whether to draw a right wrist, a left wrist, or both wrists as a specific part.
  • the display control unit 45 draws the flow line of the hand designated in the designated area 71A in a state where the locus portion corresponding to the state where the palm is spread and the locus portion corresponding to the closed state can be identified. Thereby, the analyzer 10 can present not only the flow line of the right wrist or the left wrist but also the open / closed state of the hand.
  • the analysis apparatus 10 detects a state in which a person's palm is spread and a state in which the person's palm is expanded, and associates the locus with a locus to correspond to a state in which the person's palm is expanded.
  • the part and the locus part corresponding to the closed state are displayed in an identifiable manner.
  • the analysis apparatus 10 can present up to the open / closed state of the hand, and can output an image capable of evaluating work efficiency including the open / closed state of the hand.
  • the disclosed device is not limited thereto.
  • some or all of the processing may be executed in the store apparatus 11. That is, for example, the shop apparatus 11 may be able to analyze the food production process of the own shop.
  • the analysis apparatus 10 receives various types of information output from the sensor device 13 and the output device 14 via the store apparatus 11 has been described, but the disclosed apparatus is not limited thereto.
  • the sensor device 13 and the output device 14 may transmit information to the analysis device 10 to various types. That is, the analysis system 1 may not have the store apparatus 11.
  • the analysis device 10 may receive setting input from another device via the network 12 and display various information on the other device.
  • the analysis apparatus 10 may receive setting input from the store apparatus 11 via the network 12 and cause the store apparatus 11 to display various types of information.
  • the analysis device 10 may detect a person's movement by analyzing either one or both of a photographed image taken by the sensor device 13 and a depth measurement result.
  • the analysis device 10 performs analysis such as pattern recognition on a captured image or identification of a moving part by comparison of captured images to identify a human region.
  • the analysis apparatus 10 can also specify a person's region by specifying a moving part by comparing the depth of each captured image.
  • the analysis device 10 performs a skeletal analysis or the like on the identified person's region to detect a motion, and when a predetermined motion of the person is detected, the analysis device 10 before the detection of the predetermined motion is detected. And a corresponding trajectory after detection of the predetermined motion may be displayed in an identifiable manner.
  • the analysis apparatus 10 may change the color of the corresponding trajectory before the detection of the predetermined motion and the color of the corresponding trajectory after the detection of the predetermined motion, or the type of the line describing the trajectory to be different. Or a process of displaying a label in association with the trajectory may be performed.
  • the analysis device 10 can identify and present a corresponding trajectory before detecting a predetermined action. It is possible to output an image that can be evaluated for efficiency.
  • the analysis apparatus 10 may detect the state of the hand by analyzing the captured image. For example, the analysis apparatus 10 further detects a state in which a person's palm is widened and a state in which the person's palm is expanded from the size of the hand region in the skeleton analysis or the captured image by analyzing the captured image. Then, the analysis apparatus 10 may display the locus portion corresponding to the state where the palm of the person's palm is spread and the locus portion corresponding to the closed state so as to be identifiable in association with the locus of the hand. Thereby, the analyzer 10 can present not only the flow line of the right wrist or the left wrist but also the open / closed state of the hand.
  • the predetermined operation is an operation for each manufacturing process and the flow line of each process is drawn in an identifiable state for each manufacturing process. It is not limited to this.
  • the display control unit 45 may draw the time range in which the operation of each work is performed and the other time ranges in an identifiable state. . Thereby, the analyzer 10 can output the image which can evaluate the efficiency of work for every work.
  • FIG. 26 is a diagram illustrating an example of a schematic configuration of the entire analysis system.
  • a sound collecting device 15 is connected to the store apparatus 11.
  • the sound collecting device 15 is provided in the work area of the store, and outputs sound data indicating the sound of the work area to the store device 11.
  • the store apparatus 11 stores the voice data input from the sound collecting apparatus 15 in association with the date and time, and transmits the stored voice data to the analysis apparatus 10 at a predetermined timing.
  • the analysis apparatus 10 determines a start time point or an end time point to be a flow line drawing target based on the timing at which a predetermined sound is detected from the sound data acquired in the same period as the sensor information 30 is measured. May be.
  • the analysis apparatus 10 may set the timing at which a voice indicating the start of work such as “work start” is detected by voice recognition of the voice data as a flow line drawing start time.
  • the timing at which the voice indicating the end of work such as “work end” is detected by voice recognition of the voice data may be set as the flow line drawing end time.
  • the analysis apparatus 10 sets the timing at which the sound of the device operated at the start of the work is recognized as the flow line drawing start time, and the timing at which the sound of the device operated at the end of the work is recognized as the flow line. It may be the drawing end point. Thereby, the analysis device 10 can automatically determine the drawing start position or the drawing end position of the flow line when a predetermined sound is detected at the start or end of the work.
  • the start position of the trajectory may be controlled according to detection of an operation in which the hand or wrist part spreads at the start of the work.
  • the analyzer 10 can detect the start of work by detecting the movement of the hand or wrist part, and the start of the trajectory The position can be controlled automatically.
  • the analysis device 10 may generate the layout information 32 by generating a sketch of the work area based on the data measured by the sensor device 13.
  • FIG. 27 is a flowchart illustrating an example of the procedure of the generation process. This generation process is executed at a predetermined timing, for example, when a predetermined operation for instructing generation of the layout information 32 is performed from the input unit 22.
  • the specifying unit 44 obtains the direction and depth of each region serving as the side surface of the work area from the depth data stored in the sensor information 30, and determines each side surface of the work area from the direction and depth of each part.
  • the distance to the area is specified (S40).
  • the specifying unit 44 generates a sketch drawing overlooking the work area from the direction and distance to each region on the side surface of the work area (S41).
  • the specifying unit 44 generates the layout information 32 based on the generated floor plan, stores the generated layout information 32 in the storage unit 23 (S42), and ends the process. Thereby, the analyzer 10 can generate the layout information 32 from the data measured by the sensor device 13.
  • each component of each illustrated apparatus is functionally conceptual and does not necessarily need to be physically configured as illustrated.
  • the specific state of distribution / integration of each device is not limited to the one shown in the figure, and all or a part thereof may be functionally or physically distributed or arbitrarily distributed in arbitrary units according to various loads or usage conditions.
  • the processing units of the acquisition unit 40, the reception unit 41, the detection unit 42, the output unit 43, the specifying unit 44, the display control unit 45, and the analysis unit 46 may be appropriately integrated.
  • the processing of each processing unit may be appropriately separated into a plurality of processing units.
  • all or any part of each processing function performed in each processing unit can be realized by a CPU and a program analyzed and executed by the CPU, or can be realized as hardware by wired logic. .
  • FIG. 28 is a diagram illustrating a computer that executes a flow line drawing program.
  • the computer 300 includes a CPU (Central Processing Unit) 310, an HDD (Hard Disk Drive) 320, and a RAM (Random Access Memory) 340. These units 300 to 340 are connected via a bus 400.
  • CPU Central Processing Unit
  • HDD Hard Disk Drive
  • RAM Random Access Memory
  • the HDD 320 has a flow line drawing program 320a that exhibits the same functions as some or all of the acquisition unit 40, reception unit 41, detection unit 42, output unit 43, identification unit 44, display control unit 45, and analysis unit 46 described above. Is stored in advance. Note that the flow line drawing program 320a may be separated as appropriate.
  • the HDD 320 stores various information.
  • the HDD 320 stores various data used for the OS and analysis.
  • the CPU 310 reads out and executes the flow line drawing program 320a from the HDD 320, thereby executing the same operation as each processing unit of the embodiment. That is, the flow line drawing program 320a performs the same operations as the acquisition unit 40, the reception unit 41, the detection unit 42, the output unit 43, the specifying unit 44, the display control unit 45, and the analysis unit 46.
  • FIG. 29 is a diagram illustrating a computer that executes an operation analysis processing program.
  • FIG. 29 shows a computer 300 similar to FIG.
  • the HDD 320 has an operation analysis processing program that exhibits the same functions as some or all of the acquisition unit 40, the reception unit 41, the detection unit 42, the output unit 43, the specification unit 44, the display control unit 45, and the analysis unit 46.
  • 320b is stored in advance.
  • the operation analysis processing program 320b may be appropriately separated.
  • the CPU 310 reads out and executes the processing program 320b from the HDD 320, thereby executing the same operation as each processing unit of the embodiment. That is, the processing program 320b performs the same operations as the receiving unit 41, the detecting unit 42, the specifying unit 44, and the analyzing unit 46.
  • the program is stored in a “portable physical medium” such as a flexible disk (FD), a CD-ROM, a DVD disk, a magneto-optical disk, or an IC card inserted into the computer 300. Then, the computer 300 may read and execute the program from these.
  • a “portable physical medium” such as a flexible disk (FD), a CD-ROM, a DVD disk, a magneto-optical disk, or an IC card
  • the program is stored in “another computer (or server)” connected to the computer 300 via a public line, the Internet, a LAN, a WAN, or the like. Then, the computer 300 may read and execute the program from these.

Landscapes

  • Business, Economics & Management (AREA)
  • Engineering & Computer Science (AREA)
  • Tourism & Hospitality (AREA)
  • Strategic Management (AREA)
  • Economics (AREA)
  • Human Resources & Organizations (AREA)
  • General Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Marketing (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Primary Health Care (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Manufacturing & Machinery (AREA)
  • Development Economics (AREA)
  • Educational Administration (AREA)
  • Game Theory and Decision Science (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

　動線描画方法は、計測対象とする人の特定部位を含む複数の部位それぞれについての位置を示す情報を、計測された時間と対応づけられた状態で取得する処理をコンピュータが実行する。動線描画方法は、取得した前記情報に基づいて、前記人が所定の動作を行っている時間範囲を特定する処理をコンピュータが実行する。動線描画方法は、前記特定部位についての動線を、前記所定の動作を行っている時間範囲と、それ以外の時間範囲とを識別可能な状態で描画する処理をコンピュータが実行する。

Description

動線描画方法、動線描画プログラム、動線描画装置、動作解析の処理方法、動作解析の処理プログラムおよび動作解析装置
　本発明は、動線描画方法、動線描画プログラム、動線描画装置、動作解析の処理方法、動作解析の処理プログラムおよび動作解析装置に関する。
　従来より、撮影画像から人の動きを検出する技術が提案されている。例えば、カメラにより得られる画像を利用して、ユーザの手の動きを検出し、ジェスチャにより入力を行う技術がある。
特開２０１１－７６２５５号公報
　しかしながら、従来の技術は、手の動きからジェスチャを検出できるものの、ジェスチャを検出しても人が実施する作業に対する効率を評価できない。
　一つの側面では、作業の効率を評価可能な画像を出力できる動線描画方法、動線描画プログラム、動線描画装置、動作解析の処理方法、動作解析の処理プログラムおよび動作解析装置を提供することを目的とする。
　第１の案では、動線描画方法は、計測対象とする人の特定部位を含む複数の部位それぞれについての位置を示す情報を、計測された時間と対応づけられた状態で取得する処理をコンピュータが実行する。動線描画方法は、取得した前記情報に基づいて、前記人が所定の動作を行っている時間範囲を特定する処理をコンピュータが実行する。動線描画方法は、前記特定部位についての動線を、前記所定の動作を行っている時間範囲と、それ以外の時間範囲とを識別可能な状態で描画する処理をコンピュータが実行する。
　本発明の一の実施態様によれば、作業の効率を評価可能な画像を出力できるという効果を奏する。
図１は、分析システムの全体の概略構成の一例を示す図である。 図２は、店舗の作業エリアの一例を示す図である。 図３Ａは、センサ装置から出力される撮影画像の一例を模式的に示した図である。 図３Ｂは、センサ装置から出力される深度データの一例を模式的に示した図である。 図３Ｃは、センサ装置から出力される人体の部位の位置を示す位置情報の一例を示す図である。 図４は、撮影画像から人体の部位を検出する一例を模式的に示した図である。 図５は、分析システムによる分析の流れを模式的に示した図である。 図６は、分析装置の機能的な構成の一例を示す図である。 図７は、センサ情報のデータ構成の一例を示す図である。 図８は、製造食品情報のデータ構成の一例を示す図である。 図９は、作業設定情報のデータ構成の一例を示す図である。 図１０は、製造工程情報のデータ構成の一例を示す図である。 図１１は、イベント情報のデータ構成の一例を示す図である。 図１２は、作業設定画像の一例を示す図である。 図１３は、検出対象の領域の一例を示す図である。 図１４Ａは、製造食品画面の一例を示す図である。 図１４Ｂは、分析画面の一例を示す図である。 図１５Ａは、分析画面の変化の一例を示す図である。 図１５Ｂは、分析画面の変化の一例を示す図である。 図１５Ｃは、分析画面の変化の一例を示す図である。 図１６は、分析画面の表示の一例を示す図である。 図１７は、指定された特定部位の動線を描画する一例を示す図である。 図１８は、複数の種類の食品を順に製造した際の動線の分離の一例を示す図である。 図１９は、動線の比較の一例を模式的に示した図である。 図２０は、各人の工程の経過時間を表示した一例を示す図である。 図２１は、作業設定処理の手順の一例を示すフローチャートである。 図２２は、検出処理の手順の一例を示すフローチャートである。 図２３は、分析処理の手順の一例を示すフローチャートである。 図２４は、指定された特定部位の動線を描画する一例を示す図である。 図２５は、指定された特定部位の動線を描画する一例を示す図である。 図２６は、分析システムの全体の概略構成の一例を示す図である。 図２７は、生成処理の手順の一例を示すフローチャートである。 図２８は、動線描画プログラムを実行するコンピュータを示す図である。 図２９は、動作解析の処理プログラムを実行するコンピュータを示す図である。
　以下に、本発明にかかる分析装置における動線描画方法、動線描画プログラム、動線描画装置、動作解析の処理方法、動作解析の処理プログラムおよび動作解析装置の実施例を図面に基づいて詳細に説明する。なお、この実施例によりこの発明が限定されるものではない。そして、各実施例は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。
［システム構成］
　最初に、本実施例に係る分析システムについて説明する。図１は、分析システムの全体の概略構成の一例を示す図である。分析システム１は、作業を行う人の動作を検出し、検出された人の動作を分析して作業の効率の評価を支援するシステムである。本実施例では、例えば、飲食料品取扱店などの店舗において、おにぎりや調理パン、お弁当などの食品を製造する作業の効率の評価の支援に分析システム１を適用した場合を例に説明する。なお、分析システム１が分析対象とする作業は、食品の製造作業に限定されるものではない。おにぎりや調理パン、お弁当などの食品は、調理を要し、製造してから賞味期限が短く、製造してからの経過時間により品質が劣化する。これらの食品を店舗で製造して販売することで、店舗は、質の高い食品を提供でき、競合する店舗と差別化を図ることができる。一方、店舗は、多様な業務があり、様々な店員が各業務の作業を行うため、食品を製造する作業の効率化が求められている。分析システム１は、このような店舗における食品を製造する作業の効率化の評価を支援する。
　図１に示すように、分析システム１は、分析装置１０と、店舗装置１１とを有する。分析装置１０と、店舗装置１１は、ネットワーク１２を介して通信可能に接続され、各種の情報を交換することが可能とされている。かかるネットワーク１２の一態様としては、有線または無線を問わず、携帯電話などの移動体通信、インターネット（Internet）、ＬＡＮ（Local　Area　Network）やＶＰＮ（Virtual　Private　Network）などの任意の種類の通信網を採用できる。なお、図１の分析システム１は、店舗装置１１を１つ有する場合を例示したが、開示のシステムはこれに限定されず、店舗装置１１を任意の数とすることができる。本実施例では、分析装置１０が動線描画装置および動作解析装置に対応する。
　店舗装置１１は、店舗に設置された装置である。店舗装置１１としては、例えば、店舗に設定されたパーソナルコンピュータやサーバコンピュータなどのコンピュータ、ＰＯＳ（Point　of　sale）システムなどの情報処理装置である。店舗装置１１には、センサ装置１３と、出力装置１４とが接続されている。
　センサ装置１３は、人の検出が可能とされたセンサデバイスである。例えば、センサ装置１３は、カメラが内蔵され、所定のフレームレートでカメラにより画像を撮影する。センサ装置１３は、撮影した撮影画像を複数の分割領域に分割し分割領域ごとに、深度を検出する。また、センサ装置１３は、撮影した撮影画像から人体の検出を行う。センサ装置１３は、人体が検出されると、骨格分析を行って頭や指先などの人体の部位の位置を特定する。そして、センサ装置１３は、撮影画像の画像データと、撮影画像の分割領域ごとの深度データと、人体の部位ごとの位置を示す位置情報を店舗装置１１へ出力する。このようなセンサ装置１３としては、例えば、ＫＩＮＥＣＴ（登録商標）が挙げられる。
　出力装置１４は、製造された食品に対して貼付するラベルを出力する装置である。ラベルの一例としてサーマルシートが挙げられる。出力装置１４には、店舗で製造される食品ごとに、価格、賞味期限までの期間など食品に関する情報が予め登録されている。また、出力装置１４は、タッチパネルやボタンなどの入力部１４Ａが設けられており、入力部１４Ａに対する操作により、食品の価格、賞味期限などを記載したサーマルシートを印刷することが可能とされている。例えば、出力装置１４は、入力部１４Ａとして、複数のボタンが設けられ、店舗で製造される各食品が各ボタンに対応付けられている。出力装置１４は、ボタンが操作されると、操作された時点を基準にして、操作されたボタンに対応する商品の賞味期限までの期間から賞味期限を求め、操作されたボタンに対応する商品の価格と賞味期限を印刷したサーマルシートを出力する。入力部１４Ａは、操作部に対応する。店舗の作業者は、食品を製造すると、出力装置１４を操作して、製造した食品のサーマルシートを出力装置１４から出力させる。店舗の作業者は、製造した食品に、出力されたサーマルシートを貼付して店舗で販売する。センサ装置１３は、入力部１４Ａに対する操作により、サーマルシートを出力すると、出力したサーマルシートの商品およびサーマルシートを出力した日時を対応付けた製造食品情報を店舗装置１１へ出力する。
　センサ装置１３および出力装置１４は、店舗で評価対象とする作業が行われる作業エリアに配置される。本実施例では、店舗の食品を製造する厨房などの作業エリアに配置される。
　図２は、店舗の作業エリアの一例を示す図である。図２には、作業エリアの平面図が示されている。図２に示すように、作業エリアは、長方形の形状とされており、一方の短辺に、作業員が作業エリアの出入りに用いるドアが設けられている。また、作業エリアは、一方の長辺に沿ってドア側から順に冷蔵庫Ａ、冷蔵庫Ｂ、流し台が配置されている。また、作業エリアは、他方の長辺に沿ってドア側から順に架台、作業台、フライヤが配置されている。作業台は、下部に扉が設けられ、常温で食品等の保管が可能とされている。また、作業エリアは、作業台の上部に上部カウンタが配置されている。作業エリアには、それぞれ製造する食品の元となる材料や調味料、作業用の器具が、それぞれ格納されている。例えば、冷蔵や冷蔵を要する材料は、冷蔵庫Ａや冷蔵庫Ｂに格納されている。また、冷凍や冷蔵を要しない材料は、作業台の下部に格納されている。また、作業員が食品を扱う際に装着するビニール手袋や、作業台に敷くビニールシートは、上部カウンタに格納されている。材料や調味料、作業用の器具は、標準として、それぞれ格納する位置が定められている。
　センサ装置１３は、作業エリアが計測対象領域内となるように配置される。図２の例では、センサ装置１３は、架台の上部に作業エリアが計測対象領域内となるように方向を調整して配置される。センサ装置１３は、内蔵したカメラにより、所定のフレームレートで画像を撮影し、撮影画像の画像データと、撮影画像の分割領域ごとの深度データと、人体の部位ごとの位置を示す位置情報を店舗装置１１へ出力する。
　図３Ａは、センサ装置から出力される撮影画像の一例を模式的に示した図である。撮影画像には、図２に示した作業エリア内の様子が写っている。例えば、撮影画像には、冷蔵庫や流し台、架台、作業台、フライヤなどが写っている。図３Ｂは、センサ装置から出力される深度データの一例を模式的に示した図である。深度データは、撮影画像を分割した分割領域ごとの当該領域までの深度を示す情報が記憶される。図３Ｃは、センサ装置から出力される人体の部位の位置を示す位置情報の一例を示す図である。図３Ｃの例では、位置情報により示される人体の部位ごとの位置を点で示し、点を結んで人体の骨格部分を示している。また、センサ装置１３は、手の指の位置の検出結果から、手の開閉状態を求めて、左右の手の開閉状態を示す情報も出力する。図３Ｃには、右手部分と左手部分に、丸い領域で開閉状態が示されている。図３Ｃの例は、右手と左手が開いた状態であることを示している。
　センサ装置１３は、撮影した撮影画像から人体が検出されると、検出された人体の部位ごとの位置を示す位置情報および左右の手の開閉状態に関する情報を出力する。図４は、撮影画像から人体の部位を検出する一例を模式的に示した図である。図４の例では、検出された人体の部位を撮影画像に重ねて示している。図４の例では、人の膝から上部分の各部位の位置が検出されており、右手と左手が開いた状態であることを示している。
　ここで、センサ装置１３では、計測対象領域内に人が居ても、センサ装置１３に対する人の体の向きによって撮影画像に写らない人の部位がある場合がある。センサ装置１３は、撮影画像に写らない部位についても、部位の位置を推定して位置情報を店舗装置１１へ出力する。例えば、センサ装置１３は、撮影画像に写らない部位については、当該部位の直近の位置や、当該部位の間接の可動範囲の制限、写らない範囲の制限などから機械学習などを用いた演算により位置を推定し、推定した位置情報を店舗装置１１へ出力する。また、センサ装置１３は、撮影画像に手が写らない場合、写らない手については開閉状態を不明として、手の開閉状態を示す情報を店舗装置１１へ出力する。
　図１に戻り、店舗装置１１は、ネットワーク１２を介して分析装置１０と各種の情報の送受信が可能とされている。店舗装置１１は、センサ装置１３および出力装置１４から入力した各種の情報を分析装置１０へ送信する。例えば、店舗装置１１は、出力装置１４から入力した製造食品情報と、センサ装置１３から入力した画像データ、深度データ、人体の部位ごとの位置を示す位置情報および手の開閉状態を示す情報とを蓄積する。店舗装置１１は、一定時間ごとや分析装置１０から送信の要求を受けたタイミングなど所定のタイミングで、蓄積した製造食品情報、画像データ、深度データ、人体の部位ごとの位置を示す位置情報および手の開閉状態を示す情報を分析装置１０へ送信する。
　分析装置１０は、各種の分析を行う装置である。分析装置１０は、例えば、データセンタや店舗を運営する企業に設定されたパーソナルコンピュータやサーバコンピュータなどのコンピュータなどである。分析装置１０は、１台のコンピュータとして実装してもよく、また、複数台のコンピュータにより実装してもよい。なお、本実施例では、分析装置１０を１台のコンピュータとした場合を例として説明する。分析装置１０は、店舗装置１１から受信した画像データ、深度データ、人体の部位ごとの位置を示す位置情報および手の開閉状態を示す情報などの各種の情報に基づいて店舗で実施されている作業に関する分析を行う。
　図５は、分析システムによる分析の流れを模式的に示した図である。例えば、分析システム１では、センサ装置１３により、店舗で作業する人の体の動きを検出する。分析装置１０は、センサ装置１３により検出結果に基づき、人の特定部位が動いた軌跡を示す動線を求める。例えば、分析装置１０は、特定部位を手又は手首として、手又は手首の動いた動線を求める。分析システム１では、分析装置１０で人の特定部位の動線を求めることにより、作業が効率的に実施されているかの分析を行うことができる。
［分析装置の構成］
　次に、本実施例に係る分析装置１０の構成について説明する。図６は、分析装置の機能的な構成の一例を示す図である。図６に示すように、分析装置１０は、通信Ｉ／Ｆ（インタフェース）部２０と、入力部２１と、表示部２２と、記憶部２３と、制御部２４とを有する。なお、分析装置１０は、上記の機器以外の他の機器を有してもよい。
　通信Ｉ／Ｆ部２０は、他の装置との間で通信制御を行うインタフェースである。通信Ｉ／Ｆ部２０としては、ＬＡＮカードなどのネットワークインタフェースカードを採用できる。
　通信Ｉ／Ｆ部２０は、ネットワーク１２を介して他の装置と各種情報を送受信する。例えば、通信Ｉ／Ｆ部２０は、店舗装置１１から製造食品情報、画像データ、深度データ、人体の部位ごとの位置を示す位置情報および手の開閉状態を示す情報を受信する。
　入力部２１は、各種の情報を入力する入力デバイスである。入力部２１としては、マウスやキーボードなどの操作の入力を受け付ける入力デバイスが挙げられる。入力部２１は、各種の情報の入力を受付ける。例えば、入力部２１は、分析に関する各種の操作入力を受け付ける。入力部２１は、ユーザからの操作入力を受け付け、受け付けた操作内容を示す操作情報を制御部２４に入力する。
　表示部２２は、各種情報を表示する表示デバイスである。表示部２２としては、ＬＣＤ（Liquid　Crystal　Display）やＣＲＴ（Cathode　Ray　Tube）などの表示デバイスが挙げられる。表示部２２は、各種情報を表示する。例えば、表示部２２は、後述する作業設定画像や指定画面、分析画面など分析に関する各種の画面を表示する。
　記憶部２３は、各種のデータを記憶する記憶デバイスである。例えば、記憶部２３は、ハードディスク、ＳＳＤ（Solid　State　Drive）、光ディスクなどの記憶装置である。なお、記憶部２３は、ＲＡＭ（Random　Access　Memory）、フラッシュメモリ、ＮＶＳＲＡＭ（Non　Volatile　Static　Random　Access　Memory）などのデータを書き換え可能な半導体メモリであってもよい。
　記憶部２３は、制御部２４で実行されるＯＳ（Operating　System）や各種プログラムを記憶する。例えば、記憶部２３は、後述する各種の処理を実行するプログラムを含む各種のプログラムを記憶する。さらに、記憶部２３は、制御部２４で実行されるプログラムで用いられる各種データを記憶する。例えば、記憶部２３は、センサ情報３０と、製造食品情報３１と、レイアウト情報３２と、作業設定情報３３と、製造工程情報３４と、イベント情報３５とを記憶する。
　センサ情報３０は、センサ装置１３により検出された各種の情報を記憶したデータである。本実施例では、センサ情報３０に、画像データ、深度データ、人体の部位ごとの位置を示す位置情報および手の開閉状態を示す情報が記憶される。センサ装置１３は、所定のフレームレートで撮影を行って、深度、人体の部位ごとの位置および手の開閉状態を計測する。このため、画像データ、深度データ、人体の部位ごとの位置を示す位置情報および手の開閉状態を示す情報には、計測された時間が対応付けられている。センサ情報３０には、画像データ、深度データ、人体の部位ごとの位置を示す位置情報および手の開閉状態を示す情報が計測された時間に対応付けて記憶される。
　図７は、センサ情報のデータ構成の一例を示す図である。センサ情報３０には、計測時刻に対応して、部位情報と、色データと、深度データが記憶されている。部位情報の“joints”は、人体の部位に関する位置情報が記録されることを示している。人体の部位の位置情報は、互いに直交するｘｙｚの３軸方向についての３次元座標で位置が示されている。“jointName”は、人体の部位を示す識別情報が設定される。部位情報には、手の開閉状態も記憶される。“HandLeftState”には、左手の開閉状態を示す数値が格納される。“HandRightState”には、右手の開閉状態を示す数値が格納される。色データには、画像データの画像の各ピクセルごとの色データを所定の順に並べたバイト配列が記憶される。深度データには、画像データの画像の分割領域ごとの深度データを所定の順に並べたバイト配列が記憶される。
　図６に戻り、製造食品情報３１は、店舗で製造された食品に関する情報を記憶したデータである。本実施例では、出力装置１４から出力された製造食品情報が製造食品情報３１として記憶される。
　図８は、製造食品情報のデータ構成の一例を示す図である。図８に示すように、製造食品情報３１は、「日時」、「製品」、「個数」の各項目を有する。日時の項目は、食品の製造日時を記憶する領域である。本実施例では、出力装置１４からサーマルシートを出力した日時が食品の製造日時として設定されている。製品の項目は、製造された食品の識別名を記憶する領域である。個数の項目は、製造された食品の個数を記憶する領域である。図８の例では、２０１４年１２月１日　８：００におにぎりが１５個製造されたことを示す。
　図６に戻り、レイアウト情報３２は、店舗の作業エリアのレイアウトに関する情報を記憶したデータである。レイアウト情報３２には、例えば、図２に示すように、作業エリア内のどこに何が配置されているかの位置情報が記憶される。レイアウト情報３２に記憶する位置情報は、センサ装置１３で検出される位置情報と座標系を合わせてもよい。すなわち、レイアウト情報３２の位置情報は、センサ装置１３の位置情報と同じ座標系としてもよい。また、レイアウト情報３２の位置情報は、センサ装置１３の位置情報と別な座標系としてもよい。この場合、例えば、分析装置１０は、センサ装置１３で計測された位置情報をレイアウト情報３２と同じ座標系の位置情報に変換して格納する。例えば、分析装置１０は、人体の部位ごとの位置を示す位置情報をセンサ情報３０に格納する際に、人体の部位ごとの位置情報をレイアウト情報３２と同じ座標系の位置情報に変換して格納する。
　図６に戻り、作業設定情報３３は、検出を行う検出対象の作業に関する情報を記憶したデータである。作業設定情報３３には、検出対象の作業ごとに、検出対象とする領域および検出対象とする人の動きが記憶される。
　図９は、作業設定情報のデータ構成の一例を示す図である。図９に示すように、作業設定情報３３は、「作業」、「対象領域」、「動き」、「深度変化」の各項目を有する。作業の項目は、検出する作業を表す識別情報を記憶する領域である。本実施例では、作業の項目に、作業を表す識別情報として作業名が格納される。対象領域の項目は、動きの検出を行う対象とする対象領域を示す情報を記憶する領域である。対象領域の項目には、対象領域の空間の境界を示す情報が格納される。例えば、対象領域を直方体の空間とする場合、対象領域の項目には、直方体の各頂点の３次元座標の位置情報が格納される。なお、図９では、領域をわかりやすくするため、領域Ａ、領域Ｂ、領域Ｃ、領域Ｘなどと記載している。本実施例では、領域Ａは、冷蔵庫Ａの前面の直方体の空間であり、扉の開閉の検出精度を向上させるため、冷蔵庫Ａの扉を含めている。領域Ｂは、冷蔵庫Ｂの前面の直方体の空間であり、扉の開閉の検出精度を向上させるため、冷蔵庫Ｂの扉を含めている。領域Ｃは、作業台に沿った直方体の空間である。領域Ｘは、作業台部分の直方体の空間である。動きの項目は、検出対象とする動きを記憶する領域である。深度変化の項目は、検出対象とする深度変化を記憶する領域である。本実施例では、深度変化は、任意の条件とされている。深度変化の項目には、検出の条件とされた場合、検出対象とする深度変化が格納され、検出の条件とされていない場合、「－」が格納される。図９の例では、領域Ａにおいて引き動作と、深度の変化とが検出された場合、冷蔵庫Ａ開閉の作業であることを示す。また、領域Ｃにおいてしゃがむ動作と、引き動作とが検出された場合、切る作業であることを示す。
　図６に戻り、製造工程情報３４は、店舗において食品を製造する際の流れに関する情報を記憶したデータである。製造工程情報３４には、店舗において食品を製造する際の流れが段階的に工程分けされ、工程ごとの実施される作業が記憶される。
　図１０は、製造工程情報のデータ構成の一例を示す図である。図１０に示すように、製造工程情報３４は、「製品」、「順番」、「工程」、「作業」の各項目を有する。製品の項目は、工程により製造する食品の識別名を記憶する領域である。順番の項目は、製造の際の工程の順序を示す番号を記憶する領域である。工程の項目は、食品を製造する際の工程を示す工程名を記憶する領域である。作業の項目は、それぞれの工程において実施される作業を表す識別情報を記憶する領域である。図１０の例では、おにぎりを製造する場合、工程Ａ、工程Ｂ、工程Ｃ・・・の順に作業が行われることを示す。また、工程Ａは、作業台準備の作業が実施されることを示す。
　図６に戻り、イベント情報３５は、センサ情報３０に記憶された作業者の動きから検出されたイベントを記憶したデータである。イベント情報３５には、センサ情報３０に記憶された作業者の動きから、作業設定情報３３に設定された検出対象の作業が検出された場合、検出された作業がイベントとして記憶される。
　図１１は、イベント情報のデータ構成の一例を示す図である。図１１に示すように、イベント情報３５は、「検出日時」、「検出作業」の各項目を有する。検出日時の項目は、検出対象の作業が検出された日時を記憶する領域である。検出作業の項目は、検出された検出対象の作業を記憶する領域である。図１１の例では、２０１４年１２月１日　７：００に作業台準備の作業のイベントが検出されたことを示す。
　図６に戻り、制御部２４は、分析装置１０を制御するデバイスである。制御部２４としては、ＣＰＵ（Central　Processing　Unit）、ＭＰＵ（Micro　Processing　Unit）等の電子回路や、ＡＳＩＣ（Application　Specific　Integrated　Circuit）、ＦＰＧＡ（Field　Programmable　Gate　Array）等の集積回路を採用できる。制御部２４は、各種の処理手順を規定したプログラムや制御データを格納するための内部メモリを有し、これらによって種々の処理を実行する。制御部２４は、各種のプログラムが動作することにより各種の処理部として機能する。例えば、制御部２４は、取得部４０と、受付部４１と、検出部４２と、出力部４３と、特定部４４と、表示制御部４５と、分析部４６とを有する。
　取得部４０は、各種の取得を行う。例えば、取得部４０は、店舗装置１１から各種の情報を取得する。例えば、取得部４０は、店舗装置１１から製造食品情報、画像データ、深度データ、人体の部位ごとの位置を示す位置情報および手の開閉状態を示す情報を取得する。取得する情報は、店舗装置１１が自立的に送信してもよい。また、取得する情報は、取得部４０が店舗装置１１に対して送信を要求し、店舗装置１１が要求に応じて送信してもよい。取得部４０は、取得した情報を記憶部２３へ格納する。例えば、取得部４０は、取得した画像データ、深度データ、人体の部位ごとの位置を示す位置情報および手の開閉状態を示す情報をセンサ情報３０に格納する。また、取得部４０は、取得した製造食品情報を製造食品情報３１に格納する。なお、人体の部位ごとの位置を示す位置情報と、レイアウト情報３２と座標系が異なる場合、取得部４０は、人体の部位ごとの位置情報をレイアウト情報３２と同じ座標系の位置情報に変換して格納する。
　受付部４１は、各種の受け付けを行う。例えば、受付部４１は、各種の設定を受け付ける。例えば、受付部４１は、検出対象の作業の設定する作業設定画像を表示部２２に表示させて、入力部２１から、検出対象の領域と検出対象の作業の設定の入力を受け付ける。例えば、受付部４１は、レイアウト情報３２に基づき、店舗についてのセンサ装置１３による計測対象領域を含む作業エリアの見取り図を作業設定画像に表示し、見取り図に対する領域の指定より、検出対象の領域の指定を受け付ける。
　図１２は、作業設定画像の一例を示す図である。図１２に示すように、作業設定画面６０は、店舗の作業エリアの見取り図を表示する第１領域６１と、人の動きに関する設定を行う第２領域６２と、深度に関する設定を行う第３領域６３と、作業に関する設定を行う第４領域６４が設けられている。
　第１領域６１は、見取り図上で範囲選択により、検出対象の領域の指定が可能とされている。例えば、第１領域６１は、マウスのドラッグ操作や、２点の位置を指定する操作により、見取り図上で矩形状に範囲選択が可能とされている。第１領域６１では、範囲の選択により検出対象の領域が指定される。なお、本実施例では、見取り図上で２次元的に検出対象の領域の範囲を指定するものとするが、作業エリアを３次元的に表示して、３次元的に検出対象の領域の範囲を指定可能としてもよい。
　第２領域６２は、検出対象の人の動きの指定が可能とされている。例えば、第２領域６２は、それぞれ異なる人の動きを記述した項目が表示され、それぞれの項目に対応してチェックボックス６２Ａが設けられ、チェックボックス６２Ａにより検出対象の人の動きの指定が可能とされている。第２領域６２では、チェックボックス６２Ａにより検出対象の動きが指定される。なお、第２領域６２では、チェックボックス６２Ａを複数選択することも可能である。
　第３領域６３は、検出対象の深度の変化の指定が可能とされている。例えば、第３領域６３は、深度の変化に関する条件を記述した項目が表示され、それぞれの項目に対応してラジオボタン６３Ａが設けられ、ラジオボタン６３Ａにより選択的に検出対象の深度の変化の指定が可能とされている。第３領域６３では、ラジオボタン６３Ａにより検出対象の深度の変化が指定される。
　第４領域６４は、作業を表す作業名の入力が可能とされている。第４領域６３では、作業を表す作業名が入力される。
　作業設定画面６０は、登録ボタン６５が設けられている。登録ボタン６５が選択されると、受付部４１は、作業設定画面６０で指定された内容を、作業設定情報３３に登録する。例えば、受付部４１は、第４領域６４に入力された作業名を作業名とし、第１領域６１で指定された範囲の天井から床までの直方体の空間を対象領域として作業設定情報３３に登録する。また、受付部４１は、第２領域６２で指定された人の動きを検出対象の動きとし、第３領域６３で指定された深度の変化を検出対象の深度の変化として作業設定情報３３に登録する。
　また、例えば、受付部４１は、食品を製造する製造工程の設定を受け付ける。例えば、受付部４１は、図１０に示した製造工程情報３４を表示部２２に表示させて、入力部２１からの入力により、製品、順番、工程、作業についてそれぞれ設定を受け付ける。受付部４１は、設定された内容に応じて製造工程情報３４を更新する。
　検出部４２は、各種の検出を行う。例えば、検出部４２は、センサ情報３０のデータを時系列に順次読み出し、読み出したデータが示す人の動きに、作業設定情報３３に登録された作業が発生しているかを検出する。例えば、検出部４２は、センサ情報３０に記憶された人体の部位ごとの位置情報のうち、特定部位の位置情報に着目し、特定部位が検出対象の領域内にあり、特定部位が検出対象の人の動きをしたかを検出する。検出対象の人の動きごとに、当該動きの検出に用いる特定部位および条件が定められている。検出部４２は、検出対象の動きごとに、当該動きに対応した特定部位および条件を用いて、人の動きを検出する。また、検出部４２は、センサ情報３０に記憶された深度データを用いて、検出対象の領域内で検出対象の深度の変化が発生したかを検出する。
　例えば、検出部４２は、しゃがむ動作を検出する場合、腰の関節の位置情報に着目し、腰の関節が膝の関節よりも低い位置となったかを検出する。例えば、高さ方向をｙ座標とする。この場合、検出部４２は、フレームごとにフレームの腰の関節位置のｙ座標と膝の関節位置のｙ座標を比較して腰のｙ座標＜膝のｙ座標の場合、しゃがんでいると検出する。
　また、例えば、検出部４２は、引き動作を検出する場合、手又は手首の位置情報に着目し、手が水平方向に移動したかを検出する。例えば、高さ方向をｙ座標とし、水平方向の２軸をｘ座標、ｚ座標とする。この場合、検出部４２は、所定の時間以内で手又は手首の位置のｙ座標の変化が所定の許容範囲内で、手又は手首の位置のｘ座標、ｚ座標からの求まる水平方向の移動量がしきい値以上の場合、引いていると検出する。この所定の時間や、許容範囲、しきい値は、予め一般的な引き動作から適切な値を求めて設定しておく。なお、所定の時間や、許容範囲、しきい値は、外部から設定可能としてもよい。
　検出部４２は、作業設定情報３３に登録された検出対象の領域内で、検出対象の人の動きを検出し、検出対象の領域内で検出対象の深度の変化が発生した場合、設定された作業が発生したと検出する。
　ここで、一例として、冷蔵庫Ａ開閉の作業を検出する場合を説明する。図１３は、検出対象の領域の一例を示す図である。図１３の例では、冷蔵庫Ａの前面側には扉が設けられており、冷蔵庫Ａの前面の扉を含む領域が検出対象の領域Ａと設定されている。例えば、検出部４２は、領域Ａ内で手又は手首の位置の変化から引き動作が検出され、領域Ａ内に手又は手首が進入してから出て数秒が経過する間に深度の変化が発生した場合、冷蔵庫Ａ開閉の作業が発生しているものと検出する。なお、検出部４２は、引く動作を検出する場合、特定の方向に移動する動作であるかを検出してもよい。例えば、検出部４２は、冷蔵庫などを引く動作を検出する場合、壁に対する垂直方向に移動する動作であるかを検出してもよい。
　ここで、人の動きの検出のみでは、人がどのような作業を実施しているか識別し難い場合がある。例えば、図９に示すように、引き動作は、冷蔵庫Ａ開閉の作業、冷蔵庫Ｂ開閉の作業、切る作業で発生する。このため、引き動作のみで冷蔵庫Ａ開閉の作業を検出しようとすると、領域Ａ以外で実施された場合も冷蔵庫Ａ開閉の作業と検出されてしまい、ノイズを多く検出してしまう。
　一方、分析装置１０は、検出対象の領域内で、検出対象の人の動きを検出することにより、検出対象の作業の実施を精度よく検出できる。
　出力部４３は、各種の出力を行う。例えば、出力部４３は、検出部４２による検出結果を出力する。例えば、出力部４３は、作業設定情報３３に登録された作業が検出部４２により検出された場合、検出された作業の発生日時と、検出された作業をイベントとしてイベント情報３５に格納する。
　特定部４４は、各種の特定を行う。特定部４４は、人が所定の動作を行っている時間範囲を特定する。例えば、特定部４４は、所定の動作を、製造の各工程とし、製造の工程ごとの時間範囲を特定する。例えば、特定部４４は、製造食品情報３１に基づいて、食品の製造日時を特定する。製造食品情報３１には、食品の製造日時が記憶されている。よって、食品の製造日時の直前の期間は、当該食品を製造している期間である。特定部４４は、製造工程情報３４およびイベント情報３５に基づいて、イベント情報３５にイベントとして記憶された作業が、食品を製造する際の何れの工程であるか特定する。例えば、特定部４４は、製造食品情報３１から食品の製造日時、製造された食品を特定し、特定した商品の製造工程を製造工程情報３４から読み出す。また、特定部４４は、製造日時を始点として日時を順に遡及し、遡及した検出日時の順にイベント情報３５から発生した作業を求める。そして、特定部４４は、特定した商品の製造工程を最後の工程から逆に辿り、それぞれの工程に対応する作業が発生している日時を特定し、工程が行われている期間を特定する。例えば、特定部４４は、工程の作業が発生した日時を工程の開始日時とし、次の工程の作業が発生した日時を工程の終了日時として、工程が行われている期間を特定する。最後の工程については、食品の製造日時を工程の終了日時とする。工程に複数の作業が含まれる場合、特定部４４は、作業が発生した日時のうち、早い方の日時を工程の開始日時とする。なお、工程の期間の特定方式は、これに限定されるものではない。特定部４４は、工程の期間の特定できれば何れの方式を用いてもよい。例えば、特定部４４は、工程の作業が発生した日時を工程の終了日時とし、前の工程の作業が発生した日時を工程の開始日時として、工程が行われている期間を特定してもよい。最初の工程については、別な食品が前に製造されていれば、前の食品の製造日時を工程の開始日時としてもよく、終了日時の一定時間前を開始日時としてもよい。また、特定部４４は、工程ごとの標準的な作業の時間を示す標準作業時間から、各工程の期間を特定してもよい。例えば、製造工程情報３４に、工程ごとに、標準作業時間を記憶させる。特定部４４は、製造する食品の個数に応じて、工程ごとに、標準作業時間を補正して作業時間を求める。例えば、特定部４４は、食品の個数が多いほど大きい補正係数を標準作業時間に乗算して作業時間を求める。補正係数は、個数ごとに補正係数データとして予め記憶させてもよく、予め定めた演算式からの演算により求めてもよい。食品の製造では、個数が増えても工程ごとに並列的に作業が行なわれるため、製造する個数が２倍になっても作業時間が２倍になるわけではない。このため、製造する個数が２個の場合、補正係数が１．３、製造する個数が３個の場合、補正係数が１．５などのように、補正係数は、個数以下の値となる。また、適用する補正係数のデータや演算式は、工程ごとに、指定可能としてもよい。例えば、製造工程情報３４には、個数ごとの補正係数を記憶した補正係数データや演算式を工程ごとに設定を記憶させる。特定部４４は、工程ごとに、製造工程情報３４に設定された補正係数データや演算式を用いて、工程ごとの補正係数を求めてもよい。例えば、製造工程情報３４に、工程Ａ、工程Ｃに対して補正係数データＸが設定され、工程Ｂに対して補正係数データＹが設定されているものとする。この場合、定部４４は、工程Ａ、工程Ｃについては、補正係数データＸから補正係数を求め、工程Ｂについては、補正係数データＹから補正係数を求める。このように特定を行うことにより、製造した食品の工程ごとに、工程が行われている期間を特定できる。また、複数の食品が順に製造された場合でも、食品ごとに正しく工程を分離でき、作業傾向のパターンを求めることができる。
　表示制御部４５は、各種の表示の制御を行う。例えば、表示制御部４５は、分析を行う食品を指定する指定画面を表示させる。
　図１４Ａは、製造食品画面の一例を示す図である。図１４Ａに示すように、指定画面８０は、日付を指定する日付領域８１と、指定された日付に製造された食品および当該食品の製造された個数を表示する表示領域８２と、分析ボタン８３とが設けられている。表示制御部４５は、日付領域８１に日付が指定されると、製造食品情報３１に基づき、指定された日付に製造された食品および当該食品の製造された個数を、行を分けて表示領域８２に表示する。表示領域８２は、行の選択により、食品の指定が可能とされている。表示制御部４５は、分析ボタン８３が選択された場合、日付領域８１で指定された日付の表示領域８１で指定された食品の製造の作業の分析を行うための分析画面を表示部２２に表示させる。本実施例では、表示制御部４５が描画部および表示制御部に対応する。
　図１４Ｂは、分析画面の一例を示す図である。図１４Ｂに示すように、分析画面７０は、経時的な人の動きを示す動線を表示する動線表示領域７１と、実施される工程を表示する工程表示領域７２とが設けられている。また、分析画面７０は、動線の描画の再生、停止を指示する再生・停止ボタン７３と、再生中の位置を示すスライダ７４が設けられている。再生・停止ボタン７３は、操作するごとに再生と停止が切り替わり、再生と停止の指示が可能とされている。
　動線表示領域７１には、店舗の作業エリアの見取り図が表示されている。表示制御部４５は、再生・停止ボタン７３の操作によりセンサ情報３０に基づき、人の特定部位が動いた軌跡を示す動線を時間の経過に沿って動線表示領域７１に描画する。特定部位は、実施される作業に関する動線が表れやすい部位であることが好ましく、食品の製造の場合、例えば、右手首、左手首、右手、左手の何れかとする。例えば、表示制御部４５は、特定部位を右手首として、右手首の動いた動線を時間の経過に沿って動線表示領域７１に描画する。店舗での食品の製造では、作業の開始、終了の一方または両方で人が所定の第一動作を行う場合がある。例えば、店舗では、作業の開始で作業台の準備や清掃、作業の終了で作業台の清掃が行われる。表示制御部４５は、人が所定の第一動作を行っていることが検出された時点の、特定の部位の位置を、動線の描画開始位置または描画終了位置とする。例えば、表示制御部４５は、作業台の準備や作業台の清掃の作業が検出された時点を、描画開始位置または描画終了位置として動線を描画する。なお、表示制御部４５は、人が行った操作に起因して所定のデータが生成されたタイミングに基づいて、動線の描画対象とする終了時点を決定してもよい。例えば、店舗では、それぞれの食品の製造作業の終了時にサーマルシートが出力される。サーマルシートの出力は、食品の製造作業の終了時点と見なせる。また、複数の食品を順に製造される場合、前の食品のサーマルシートの出力は、次の食品の製造開始の切り替えタイミングとも見なせる。表示制御部４５は、作業台の清掃の作業、サーマルシートの出力が検出された時点のうち一方を、描画終了位置として動線を描画してもよい。例えば、表示制御部４５は、作業台の清掃の作業、サーマルシートの出力が検出された時点のうち早い方を、描画終了位置として動線を描画する。なお、出力装置１４に対して金額等の設定を行ってサーマルシートの出力される場合は、出力装置１４に対する設定操作に応じて軌跡の終了位置を制御してもよい。表示制御部４５は、特定部４４による特定結果に基づき、時間の経過に沿って、当該時刻に実施された工程を工程表示領域７２に表示させる。
　図１５Ａ～図１５Ｃは、分析画面の変化の一例を示す図である。分析画面７０は、時間の経過に沿って、図１５Ａから図１５Ｂ、図１５Ｂから図１５Ｃへと表示が変化する。図１５Ａでは、工程Ａに関する動線のみが表示されている。図１５Ｂでは、工程Ａおよび工程Ｂに関する動線が表示されている。図１５Ｃでは、工程Ａ、工程Ｂおよび工程Ｃに関する動線が表示されている。
　表示制御部４５は、工程表示領域７２の左側から時間の経過に沿って工程を表示し、上から工程の順番の順に工程を表示する。工程表示領域７２には、左側から時間の経過に沿って工程が表示される。これにより、分析装置１０は、時間の結果に沿って実施された工程を把握しやすく提示できる。また、工程表示領域７２には、上から工程の順番の順に工程が表示される。これにより、分析装置１０は、表示の上下関係から工程が順番に実施されているか、前の工程に手戻りが発生したかを把握しやすく提示できる。図１４Ｂの例では、時間の経過に沿って工程Ａ、工程Ｂ、工程Ｃと順番に実施されたが、工程Ｃの後、工程Ｂに手戻りが発生している。
　また、表示制御部４５は、所定の動作を行っている時間範囲と、それ以外の時間範囲とを識別可能な状態で動線を描画する。例えば、表示制御部４５は、製造の工程ごとに、各工程の動線を識別可能な状態で描画する。図１４Ｂおよび図１５Ａ～Ｃの例では、工程Ａ、工程Ｂ、工程Ｃの動線が線種を変えて識別可能に表示されている。なお、表示制御部４５は、各工程の動線を識別可能な状態で示すことができれば、どのように描画してもよい。例えば、表示制御部４５は、工程ごとに動線の色や太さを変えてもよい。また、表示制御部４５は、各工程の動線をそれぞれ異なる描画してもよい。また、表示制御部４５は、動線の各工程の軌跡部分に対応づけて、テキストや、番号、図、記号で工程を表したラベルを描画してもよい。
　また、表示制御部４５は、所定の動作を行っている時間範囲に相当する動線の近傍に、動作内容を示すテキストを描画する。例えば、表示制御部４５は、再生された時間が工程に対応する作業の発生時刻となると、動線表示領域７１に発生した作業の動作内容を示すテキストを表示する。図１４および図１５Ａ～Ｃの例では、作業の動作内容を示すテキスト７５が表示されている。なお、本実施例では、表示制御部４５は、分析画面７０の動線表示領域７１と工程表示領域７２に動線と工程を分けて表示するが、動線表示領域７１に工程の動線に対応させて工程を示すテキストを表示させてもよい。
　表示制御部４５は、再生される動線の時間の経過に沿ってスライダ７４を一端から他端へ移動させる。分析画面７０は、スライダ７４により、再生する時間位置の変更が可能とされている。表示制御部４５は、スライダ７４が移動された場合、移動された位置に対応する時間以前の動線および工程を描画し、位置に対応する時間から時間の経過に沿った動線および工程の描画を再開する。
　また、表示制御部４５は、工程表示領域７２で何れかの工程が選択された場合、選択された工程の動線のみを動線表示領域７１に表示させる。
　図１６は、分析画面の表示の一例を示す図である。図１６の例は、工程Ｂが選択された場合を示している。動線表示領域７１には、工程Ｂの動線のみ表示されている。
　分析画面７０は、終了ボタン７９が設けられている。表示制御部４５は、終了ボタン７９が選択されると分析画面７０の表示を終了する。
　このように、分析装置１０は、分析画面７０に動線を描画することにより、作業の効率を評価可能な画像を出力でき、作業に対する効率の評価を支援できる。例えば、ユーザは、描画された動線から作業が効率的に実施されているかを評価できる。
　なお、図１４および図１５Ａ～Ｃでは、表示制御部４５が、特定部位を右手首とし、右手首の動いた動線を時間の経過に沿って動線表示領域７１に描画する場合について説明したが、これに限定されるものではない。表示制御部４５は、特定部位の指定を受付、指定された特定部位の動線を動線表示領域７１に描画してもよい。例えば、表示制御部４５は、特定部位として、右手首または左手首の指定を受け付け、該指定により特定される側の手首位置の動線の動線表示領域７１に描画してもよい。
　図１７は、指定された特定部位の動線を描画する一例を示す図である。図１７の例は、動線表示領域７１のみを図示し、作業エリアの見取り図の図示も省略している。動線表示領域７１には、特定部位として右手首、左手首、両手首の何れか描画するかを指定する指定領域７１Ａが設けられている。表示制御部４５は、指定領域７１Ａで指定された特定部位の動線を動線表示領域７１に描画する。両手首が指定された場合は、表示制御部４５は、右手首と左手首の動線を識別可能に表示する。例えば、表示制御部４５は、右手首、左手首の動線の色を変えて、各工程の動線を識別可能な状態で描画する。図１７の例では、右手首、左手首の動線の色の違いを線種を変えて示している。
　店舗では、食品を製造する場合、異なる種類の食品を並行して製造しない。店舗では、製造する食品の種類を変える場合、材料の混入や衛生状態を保つため、清掃や調理の切替を行う。このため、分析装置１０では、上述のように食品を製造する際の工程を特定することで、複数の食品が順に製造されても、食品ごとに動線を分離できる。
　図１８は、複数の種類の食品を順に製造した際の動線の分離の一例を示す図である。図１８に示すように、おにぎり、調理パン、お弁当を順に製造する場合でも間に清掃や調理の切替が行われる。分析装置１０では、食品を製造する際の工程を特定することで、おにぎり、調理パン、お弁当の動線を分離できる。
　分析装置１０では、食品ごとに、動線を分離できることにより、食品別、人別に作業導線を細分化できる。これにより、作業傾向のパターンを求めることができる。例えば、食品別に、各人のパターンを求めることにより、食品別に、作業傾向のパターンを求めることができる。また、食品別に、各人のパターンをマニュアル等と比較することにより、マニュアルが守られているかや、作業傾向、特徴を定量的に抽出・分析できる。
　分析部４６は、各種の分析を行う。例えば、分析部４６は、比較する動線のパターンの指定を受け付ける。例えば、分析部４６は、指定された動線のパターンを比較することにより、生産性を分析する。ユーザは、分析部４６により、生産性の高い人と、生産性の低い人の動線を比較することにより、何が生産性に影響を与えているかを分析する。これにより、分析装置１０は、何が生産性に影響を与えているかを特定でき、生産性の向上を支援できる。
　図１９は、動線の比較の一例を模式的に示した図である。図１９の例では、生産性の高いＡさんと生産性の低いＢさんの調理パンを製造した際の動線を比較し、相関分析している。例えば、分析部４６は、図１９に示すように動線を比較し、相関分析することにより、生産性に影響を与える生産性のギャップを求める。表示制御部４５は、求めた生産性のギャップを表示する。これにより、分析装置１０は、生産性の高い人と生産性の低い人の生産性のギャップを可視化できる。
　また、分析部４６は、食品別に各人の工程の経過時間を比較することで、各人の工程ごとの作業時間のばらつきを分析できる。また、表示制御部４５は、例えば、各人の工程ごとの作業時間を工程の順に表示することで、作業時間のばらつきを可視化できる。
　図２０は、各人の工程の経過時間を表示した一例を示す図である。図２０の例では、作業者Ａ、Ｂ、Ｃの工程の経過時間を示している。分析装置１０では、各人の工程の経過時間を表示することで、工程ごとの作業時間のばらつきを可視化できる。
［処理の流れ］
　本実施例に係る分析装置１０が実行する各種の処理について説明する。最初に、本実施例に係る分析装置１０が作業設定を受け付ける作業設定処理の流れについて説明する。図２１は、作業設定処理の手順の一例を示すフローチャートである。この作業設定は、所定のタイミング、例えば、入力部２２から作業設定画面６０の表示を指示する所定操作が行われたタイミングで実行される。
　図２１に示すように、受付部４１は、作業設定画面６０を表示部２２に表示させる（Ｓ１０）。ユーザは、入力部２１から、検出対象の領域と検出対象の作業の設定の入力を行う。受付部４１は、作業設定画面６０により、検出対象の作業に関して、検出対象の領域および検出対象の動きの設定を受け付ける。
　受付部４１は、登録ボタン６５が選択されたか否かを判定する（Ｓ１１）。登録ボタン６５が選択されていない場合（Ｓ１１否定）、Ｓ１１へ移行して登録ボタン６５の選択待ちを行う。登録ボタン６５が選択された場合（Ｓ１１肯定）、受付部４１は、作業設定画面６０で指定された内容を、作業設定情報３３に登録し（Ｓ１２）、処理を終了する。
　次に、本実施例に係る分析装置１０が検出対象の作業を検出する検出処理の流れについて説明する。図２２は、検出処理の手順の一例を示すフローチャートである。この検出処理は、所定のタイミング、例えば、入力部２２から検出開始の所定操作が行われたタイミングあるいは所定の周期ごとに実行される。なお、検出処理は、入力部２２から分析開始の所定操作が行われたタイミングで後述する分析処理に先だって実行してもよい。
　図２２に示すように、検出部４２は、センサ情報３０のデータを時系列順に１つ読み出す（Ｓ２０）。検出部４２は、読み出したデータを含む所定期間のデータが示す人の動きに作業設定情報３３に登録された作業が発生しているかを判定する（Ｓ２１）。作業が発生していない場合（Ｓ２１否定）、後述のＳ２３へ移行する。一方、作業が発生している場合（Ｓ２１肯定）、出力部４３は、検出された作業をイベントとしてイベント情報３５に格納する（Ｓ２２）。
　検出部４２は、センサ情報３０のデータを全て読み出したか否か判定する（Ｓ２３）。データを全て読み出した場合（Ｓ２３肯定）、処理を終了する。データを全て読み出していない場合（Ｓ２３否定）、上述のＳ２０へ移行する。
　次に、本実施例に係る分析装置１０が人の動きを分析する分析処理の流れについて説明する。図２３は、分析処理の手順の一例を示すフローチャートである。この分析処理は、所定のタイミング、例えば、指定画面８０で分析ボタン８３が選択されたタイミングで実行される。
　図２３に示すように、特定部４４は、製造食品情報３１に基づいて、日付領域８１で指定された日付の表示領域８２で指定された食品の製造日時を特定する（Ｓ３０）。特定部４４は、製造工程情報３４およびイベント情報３５に基づいて、イベント情報３５に記憶された作業が、指定された食品を製造する際の何れの工程であるか特定する（Ｓ３１）。例えば、特定部４４は、指定された商品の製造工程を製造工程情報３４から読み出す。また、特定部４４は、製造日時を始点として日時を順に遡及し、遡及した検出日時の順にイベント情報３５から発生した作業を求める。そして、特定部４４は、商品の製造工程を最後の工程から逆に辿り、それぞれの工程に対応する作業が発生している日時を特定し、工程が行われている期間を特定する。
　表示制御部４５は、分析画面７０を表示部２２に表示させる（Ｓ３２）。表示制御部４５は、センサ情報３０に基づき、特定部位の動いた動線を時間の経過に沿って動線表示領域７１に描画する。また、表示制御部４５は、特定部４４による特定結果に基づき、時間の経過に沿って、当該時刻に実施された工程を工程表示領域７２に表示させる。
　表示制御部４５は、分析画面７０の終了ボタン７９が選択されたか否かを判定する（Ｓ３３）。終了ボタン７９が選択された場合（Ｓ３３肯定）、表示制御部４５は、分析画面７０の表示を終了して、処理を終了する。一方、終了ボタン７９が選択されていない場合（Ｓ３３否定）、上述のＳ３２へ戻り、分析画面７０の表示を継続する。
［効果］
　上述してきたように、本実施例に係る分析装置１０は、計測対象とする人の特定部位を含む複数の部位それぞれについての位置を示す情報を、計測された時間と対応づけられた状態で取得する。分析装置１０は、取得した情報に基づいて、人が所定の動作を行っている時間範囲を特定する。分析装置１０は、特定部位についての動線を、所定の動作を行っている時間範囲と、それ以外の時間範囲とを識別可能な状態で描画する。これにより、分析装置１０は、作業の効率を評価可能な画像を出力できる。
　また、本実施例に係る分析装置１０は、動線を、所定の動作を行っている時間範囲と、それ以外の時間範囲とをそれぞれ異なる色で描画する。これにより、分析装置１０は、所定の動作を行っている時間範囲の動線を、それ以外の時間範囲の動線と視覚的に識別しやすく提示できる。
　また、本実施例に係る分析装置１０は、所定の動作を行っている時間範囲に相当する動線の近傍に、動作内容を示すテキストを描画する。これにより、分析装置１０は、動線がどのような作業であるかをわかりやすく提示できる。
　また、本実施例に係る分析装置１０は、１以上の所定の動作に関する人の複数の部位の位置変化を記憶した記憶部２３を参照し、記憶された該複数の部位の位置変化と同等と判断される位置変化が情報中で検出された時間範囲を特定する。これにより、分析装置１０は、１以上の所定の動作に関する人の複数の部位の位置変化による特定の作業が行われている時間範囲を特定でき、特定の作業の動線が行われている動線を識別して提示できる。
　また、本実施例に係る分析装置１０は、特定部位を人の右手首または左手首とする。このように、分析装置１０は、人の複数の部位のうち、特定部位を人の右手首または左手首として、右手首または左手首の動線を描画することで、作業に関する動線がわかりやすく提示できる。
　また、本実施例に係る分析装置１０は、右手首または左手首の指定を受け付け、該指定により特定される側の手首位置を動線の描画対象とする。これにより、分析装置１０は、特定の手側の動線の描画させることができる。例えば、分析装置１０は、利き腕の手を指定させることにより、利き腕の手の動線の提示できる。
　また、本実施例に係る分析装置１０は、人が所定の第一動作を行っていることが検出された時点の、特定の部位の位置を、動線の描画開始位置または描画終了位置とする。これにより、分析装置１０は、作業の開始または終了で所定の第一動作が行なわれる場合、動線の描画開始位置または描画終了位置を自動的に定めることができる。
　また、本実施例に係る分析装置１０は、人が行った操作に起因して所定のデータが生成されたタイミングに基づいて、動線の描画対象とする終了時点を決定する。これにより、分析装置１０は、作業の開始または終了で所定のデータが生成される場合、動線の描画開始位置または描画終了位置を自動的に定めることができる。
　また、本実施例に係る分析装置１０は、動線を描画するのと同期して、描画中の動線が示す時点に対応する人の動作により特定される作業を示す情報を、前記動線とともに出力する。これにより、分析装置１０は、動線上で作業が行われた部分をわかりやすく提示できる。
　また、本実施例に係る分析装置１０は、計測対象とする人の複数の部位それぞれについての位置を示す情報を、計測された時間と対応づけられた状態で取得する。分析装置１０は、取得した情報に基づいて、人が所定の動作を行っている時間範囲を特定する。分析装置１０は、人についての動線を、所定の動作を行っている時間範囲と、それ以外の時間範囲とを識別可能な状態で描画する。これにより、分析装置１０は、作業の効率を評価可能な画像を出力できる。
　また、本実施例に係る分析装置１０は、撮像画像を解析して得られた撮像対象の人の動作の解析結果に基づいて、人の特定の部位の動きの軌跡を表示する。これにより、分析装置１０は、人の特定の部位の動きから作業の効率を評価可能な画像を出力できる。
　また、本実施例に係る分析装置１０は、撮像対象の人の動作が所定の動作を示したことの検出、又は、操作部に操作入力がなされたことの検出に応じて、軌跡の開始位置又は終了位置を制御する。これにより、分析装置１０は、作業の終了で所定の動作または操作部に操作入力がなされる場合、動線の描画終了位置を自動的に定めることができる。
　また、本実施例に係る分析装置１０は、軌跡を、時系列順に順次追加表示する。分析装置１０は、軌跡から実施された動作を時系列順に提示できる。
　また、本実施例に係る分析装置１０は、人の所定の動作が検出されたタイミングに対応する軌跡部分の追加表示の際に、所定の動作に対応づけられて登録された作業内容情報を、軌跡の表示領域の上、下、左、右側のいずれかの表示領域に追加表示する。これにより、分析装置１０は、動作の動線に対応させて、動作に対応付けられ、実施された作業内容を提示できる。
　次に、実施例２について説明する。実施例２に係る分析システム１、店舗、分析装置１０、店舗装置１１、センサ装置１３および出力装置１４の構成は、図１～図６に示した実施例１と同様であるため、主に異なる部分について説明する。
　実施例２では、分析装置１０の特定部４４は、人の右手首位置と左手首位置との距離が所定以上離れている時間範囲を特定する。ここで、作業の早い作業者は、平行して複数の作業を実施するために、右手と左手が離れて動作する場合がある。そこで、特定部４４は、人の右手首位置と左手首位置との距離から平行して複数の作業を実施されている期間を特定する。例えば、特定部４４は、右手首位置と左手首位置との距離が肩幅に相当する所定の距離以上離れている時間範囲を特定する。なお、この所定の距離は、一例であり、実施される作業によって異ならせてもよく、外部から設定可能としてもよい。例えば、所定の距離は、外部から設定可能としてもよい。
　表示制御部４５は、特定部位として、右手首または左手首の指定を受け付け、該指定により特定される側の手首位置を動線の動線表示領域７１に描画する。また、表示制御部４５は、人の右手首位置と左手首位置との距離が所定以上離れている時間範囲と、それ以外の時間範囲とをそれぞれ識別可能な状態で描画する。
　図２４は、指定された特定部位の動線を描画する一例を示す図である。図２４の例は、動線表示領域７１のみを図示し、作業エリアの見取り図の図示も省略している。動線表示領域７１には、特定部位として右手首、左手首、両手首の何れか描画するかを指定する指定領域７１Ａが設けられている。表示制御部４５は、指定領域７１Ａで指定された特定部位の動線を動線表示領域７１に描画する。また、表示制御部４５は、右手首位置と左手首位置との距離が所定以上離れている時間範囲の動線を、それ以外の時間範囲の動線と識別可能な状態で描画する。図２４の例は、指定領域７１Ａで両手首が指定され、右手首と左手首の動線がそれぞれ表示され、手首位置と左手首位置との距離が所定以上離れている動線が破線により表示されている。このように表示を行うことにより、分析装置１０は、右手と左手の動線のうち、右手と左手が異なる作業を実施していると推定される部分を識別可能な状態で表示できる。
［効果］
　上述してきたように、本実施例に係る分析装置１０は、人の右手首位置と左手首位置との距離が所定以上離れている時間範囲を特定する。これにより、分析装置１０は、右手と左手が異なる作業を実施していると推定される部分を識別可能な状態で表示できる。
　次に、実施例３について説明する。実施例３に係る分析システム１、店舗、分析装置１０、店舗装置１１、センサ装置１３および出力装置１４の構成は、図１～図６に示した実施例１と同様であるため、主に異なる部分について説明する。
　実施例２では、分析装置１０の表示制御部４５は、特定部位として、右手首または左手首の指定を受け付け、該指定により特定される側の手首位置を動線の動線表示領域７１に描画する。また、表示制御部４５は、センサ情報３０に基づき、人の手の平が広げられる状態に対応する軌跡部分と、閉じられる状態に対応する軌跡部分をそれぞれ識別可能な状態で描画する。例えば、表示制御部４５は、手の開閉状態を示す数値が所定の閾値以上の場合、手の平が広げられる状態とし、手の開閉状態を示す数値が所定の閾値未満の場合、手の平が閉じられる状態としてそれぞれ異なる線で描画する。
　図２５は、指定された特定部位の動線を描画する一例を示す図である。図２５の例は、動線表示領域７１のみを図示し、作業エリアの見取り図の図示も省略している。動線表示領域７１には、特定部位として右手首、左手首、両手首の何れか描画するかを指定する指定領域７１Ａが設けられている。表示制御部４５は、指定領域７１Ａで指定された手の動線を、手の平が広げられる状態に対応する軌跡部分と、閉じられる状態に対応する軌跡部分をそれぞれ識別可能な状態で描画する。これにより、分析装置１０は、右手首または左手首の動線のみではなく、手の開閉状態まで提示することができる。
［効果］
　上述してきたように、本実施例に係る分析装置１０は、人の手の平が広げられる状態と、閉じられる状態とを検出し、軌跡に対応づけて、人の手の平が広げられる状態に対応する軌跡部分と、閉じられる状態に対応する軌跡部分を識別可能に表示する。これにより、分析装置１０は、手の開閉状態まで提示でき、手の開閉状態も含めて作業の効率を評価可能な画像を出力できる。
　さて、これまで開示の装置に関する実施例について説明したが、開示の技術は上述した実施例以外にも、種々の異なる形態にて実施されてよいものである。そこで、以下では、本発明に含まれる他の実施例を説明する。
　例えば、上記の実施例では、作業設定処理、検出処理、分析処理などの分析に関する各種の処理を分析装置１０において実行する場合について説明したが、開示の装置はこれに限定されない。例えば、一部の処理または全部の処理を店舗装置１１において実行してもよい。すなわち、例えば、店舗装置１１において自店舗の食品の製造の作業を分析できるようにしてもよい。
　また、上記の実施例では、センサ装置１３および出力装置１４から出力される各種の情報を分析装置１０が店舗装置１１を介して受信する場合について説明したが、開示の装置はこれに限定されない。例えば、センサ装置１３および出力装置１４が各種へ情報を分析装置１０へ送信してもよい。すなわち、分析システム１は、店舗装置１１が無くてもよい。
　また、上記の実施例では、分析装置１０の入力部２１から設定の入力を受け付け、表示部２２に各種の情報を表示させる場合について説明したが、開示の装置はこれに限定されない。例えば、分析装置１０は、ネットワーク１２を介して他の装置から設定の入力を受け付け、他の装置に各種の情報を表示させてもよい。例えば、分析装置１０は、ネットワーク１２を介して店舗装置１１から設定の入力を受け付け、店舗装置１１に各種の情報を表示させてもよい。
　また、上記の実施例では、センサ装置１３により検出された人体の部位ごとの位置の変化から人の動きを検出する場合について説明したが、開示の装置はこれに限定されない。例えば、分析装置１０は、センサ装置１３により撮影される撮影画像と深度の測定結果の何れか一方または両方を用いた解析して人の動きを検出してもよい。例えば、分析装置１０は、撮影画像に対してパターン認識や、撮影画像の比較による動きのある部分を特定するなどの解析を行って人の領域を特定する。分析装置１０は、撮影画像ごとの深度の比較による動きのある部分を特定することによっても人の領域を特定できる。そして、分析装置１０は、特定された人の領域に対して骨格分析などを行って動きを検出し、人の所定の動作が検出された場合に、軌跡のうち、該所定の動作の検出前に対応する軌跡と、該所定の動作の検出後に対応する軌跡とを識別可能に表示してもよい。例えば、分析装置１０は、所定の動作の検出前に対応する軌跡と、該所定の動作の検出後に対応する軌跡の色を異なる色とするか、または、軌跡を描く線の種別を異なるものとするか、軌跡に対応づけてラベルを表示するかのいずれかの処理を行ってもよい。これにより、分析装置１０は、センサ装置１３が撮影画像と深度の何れか一方または両方を出力する装置である場合でも、所定の動作の検出前に対応する軌跡を識別して提示できるため、作業の効率を評価可能な画像を出力できる。
　また、分析装置１０は、手の状態についても撮像画像の解析により検出してもよい。例えば、分析装置１０は、撮像画像の解析により、更に、骨格分析や撮影画像内での手の領域の大きさから、人の手の平が広げられる状態と、閉じられる状態とを検出する。そして、分析装置１０は、手の軌跡に対応づけて、人の手の平が広げられる状態に対応する軌跡部分と、閉じられる状態に対応する軌跡部分を識別可能に表示してもよい。これにより、分析装置１０は、右手首または左手首の動線のみではなく、手の開閉状態まで提示することができる。
　また、上記の実施例では、所定の動作を、製造の工程ごとの動作とし、製造の工程ごとに、各工程の動線を識別可能な状態で描画する場合について説明したが、開示の装置はこれに限定されない。例えば、所定の動作を、各工程の作業として、表示制御部４５は、それぞれの作業の動作を行っている時間範囲と、それ以外の時間範囲とをそれぞれ識別可能な状態で描画してもよい。これにより、分析装置１０は、作業ごとに、作業の効率を評価可能な画像を出力できる。
　また、上記の実施例では、店舗の出力装置１４からサーマルシートの出力が検出された時点を食品の製造の終了時点とする場合について説明したが、開示の装置はこれに限定されない。店舗に設けられたマイクなどの集音装置により集音された音声データが分析装置１０へ送信される場合、分析装置１０は、音声データから、動線の描画対象とする開始時点または終了時点を決定してもよい。図２６は、分析システムの全体の概略構成の一例を示す図である。店舗装置１１には、集音装置１５が接続されている。集音装置１５は、店舗の作業エリアに設けられ、作業エリアの音声を示す音声データを店舗装置１１へ出力する。店舗装置１１は、集音装置１５から入力した音声データに日時を対応付けて蓄積し、所定のタイミングで、蓄積した音声データを分析装置１０へ送信する。分析装置１０は、センサ情報３０が計測された期間と同じ期間で取得された音声データから、所定の音声が検出されたタイミングに基づいて、動線の描画対象とする開始時点または終了時点を決定してもよい。例えば、分析装置１０は、音声データの音声認識により「作業開始」など作業の開始を示す音声が検出されたタイミングを動線の描画開始時点としてもよい。また、音声データの音声認識により「作業終了」など作業の終了を示す音声が検出されたタイミングを動線の描画終了時点としてもよい。また、分析装置１０は、作業の開始時操作される機器の音が認識されたタイミングを動線の描画開始時点とし、作業の終了時操作される機器の音が認識されたタイミングを動線の描画終了点としてもよい。これにより、分析装置１０は、作業の開始または終了で所定の音声が検出される場合、動線の描画開始位置または描画終了位置を自動的に定めることができる。また、分析装置１０は、作業の開始時に手又は手首部位が広がる動作をする場合、作業の開始時に手又は手首部位が広がる動作の検出に応じて軌跡の開始位置が制御してもよい。例えば、作業の開始時に汚れの付着を抑制するため、作業台にビニールシートをひく場合、分析装置１０は、手又は手首部位が広がる動作の検出することで作業の開始を検出でき、軌跡の開始位置が自動的に制御できる。
　また、上記の実施例では、店舗装置１１の店舗の作業エリアのレイアウトを示すレイアウト情報３２が分析装置１０の記憶部２３に記憶されている場合について説明したが、開示の装置はこれに限定されない。例えば、分析装置１０は、センサ装置１３により計測されたデータに基づき、分析装置１０が作業エリアの見取り図を生成してレイアウト情報３２を生成してもよい。
　分析装置１０がレイアウト情報３２を生成する生成処理の流れについて説明する。図２７は、生成処理の手順の一例を示すフローチャートである。この生成処理は、所定のタイミング、例えば、入力部２２からレイアウト情報３２の生成を指示する所定操作が行われたタイミングで実行される。
　図２７に示すように、特定部４４は、センサ情報３０に記憶された深度データから作業エリアの側面となる各領域の方向および深度を求め、各部分の方向および深度から作業エリアの側面の各領域への距離を特定する（Ｓ４０）。特定部４４は、作業エリアの側面の各領域への方向および距離から、作業エリアを俯瞰した見取り図を生成する（Ｓ４１）。特定部４４は、生成した見取り図に基づき、レイアウト情報３２の生成し、生成したレイアウト情報３２を記憶部２３に格納して（Ｓ４２）、処理を終了する。これにより、分析装置１０は、センサ装置１３により計測されたデータからレイアウト情報３２を生成できる。
　また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的状態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。例えば、取得部４０、受付部４１、検出部４２、出力部４３、特定部４４、表示制御部４５および分析部４６の各処理部が適宜統合されてもよい。また、各処理部の処理が適宜複数の処理部の処理に分離されてもよい。さらに、各処理部にて行なわれる各処理機能は、その全部または任意の一部が、ＣＰＵおよび当該ＣＰＵにて解析実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現され得る。
［動線描画プログラム］
　また、上記の実施例で説明した各種の処理は、あらかじめ用意されたプログラムをパーソナルコンピュータやワークステーションなどのコンピュータシステムで実行することによって実現することもできる。そこで、以下では、上記の実施例と同様の機能を有するプログラムを実行するコンピュータシステムの一例を説明する。図２８は、動線描画プログラムを実行するコンピュータを示す図である。
　図２８に示すように、コンピュータ３００は、ＣＰＵ（Central　Processing　Unit）３１０、ＨＤＤ（Hard　Disk　Drive）３２０、ＲＡＭ（Random　Access　Memory）３４０を有する。これら３００～３４０の各部は、バス４００を介して接続される。
　ＨＤＤ３２０には上記の取得部４０、受付部４１、検出部４２、出力部４３、特定部４４、表示制御部４５および分析部４６の一部または全部と同様の機能を発揮する動線描画プログラム３２０ａが予め記憶される。なお、動線描画プログラム３２０ａについては、適宜分離しても良い。
　また、ＨＤＤ３２０は、各種情報を記憶する。例えば、ＨＤＤ３２０は、ＯＳや分析に用いる各種データを記憶する。
　そして、ＣＰＵ３１０が、動線描画プログラム３２０ａをＨＤＤ３２０から読み出して実行することで、実施例の各処理部と同様の動作を実行する。すなわち、動線描画プログラム３２０ａは、取得部４０、受付部４１、検出部４２、出力部４３、特定部４４、表示制御部４５および分析部４６と同様の動作を実行する。
［動作解析の処理プログラム］
　また、検出動作の設定および検出を行う設定プログラムとしてもよい。図２９は、動作解析の処理プログラムを実行するコンピュータを示す図である。
　図２９には、図２８と同様のコンピュータ３００が示されている。
　ＨＤＤ３２０には上記の取得部４０、受付部４１、検出部４２、出力部４３、特定部４４、表示制御部４５および分析部４６の一部または全部と同様の機能を発揮する動作解析の処理プログラム３２０ｂが予め記憶される。なお、動作解析の処理プログラム３２０ｂについては、適宜分離しても良い。
　ＣＰＵ３１０が、処理プログラム３２０ｂをＨＤＤ３２０から読み出して実行することで、実施例の各処理部と同様の動作を実行する。すなわち、処理プログラム３２０ｂは、受付部４１、検出部４２、特定部４４および分析部４６と同様の動作を実行する。
　なお、上記した動線描画プログラム３２０ａおよび処理プログラム３２０ｂについては、必ずしも最初からＨＤＤ３２０に記憶させることを要しない。
　例えば、コンピュータ３００に挿入されるフレキシブルディスク（ＦＤ）、ＣＤ－ＲＯＭ、ＤＶＤディスク、光磁気ディスク、ＩＣカードなどの「可搬用の物理媒体」にプログラムを記憶させておく。そして、コンピュータ３００がこれらからプログラムを読み出して実行するようにしてもよい。
　さらには、公衆回線、インターネット、ＬＡＮ、ＷＡＮなどを介してコンピュータ３００に接続される「他のコンピュータ（またはサーバ）」などにプログラムを記憶させておく。そして、コンピュータ３００がこれらからプログラムを読み出して実行するようにしてもよい。
１　　分析システム
１０　分析装置
１１　店舗装置
１３　センサ装置
１４　出力装置
２１　入力部
２２　表示部
２３　記憶部
２４　制御部
３０　センサ情報
３１　製造食品情報
３２　レイアウト情報
３３　作業設定情報
３４　製造工程情報
３５　イベント情報
４０　取得部
４１　受付部
４２　検出部
４３　出力部　
４４　特定部
４５　表示制御部
４６　分析部

Claims (32)

  1. 　計測対象とする人の特定部位を含む複数の部位それぞれについての位置を示す情報を、計測された時間と対応づけられた状態で取得し、
    　取得した前記情報に基づいて、前記人が所定の動作を行っている時間範囲を特定し、
    　前記特定部位についての動線を、前記所定の動作を行っている時間範囲と、それ以外の時間範囲とを識別可能な状態で描画する
    　処理を、コンピュータが実行することを特徴とする動線描画方法。
  2. 　前記描画する処理は、前記動線を、前記所定の動作を行っている時間範囲と、それ以外の時間範囲とをそれぞれ異なる色で描画する処理であることを特徴とする請求項１記載の動線描画方法。
  3. 　前記描画する処理は、前記所定の動作を行っている時間範囲に相当する前記動線の近傍に、動作内容を示すテキストを描画する処理であることを特徴とする請求項１記載の動線描画方法。
  4. 　前記時間範囲を特定する処理は、１以上の所定の動作に関する人の複数の部位の位置変化を記憶した記憶部を参照し、記憶された該複数の部位の位置変化と同等と判断される位置変化が前記情報中で検出された時間範囲を特定することを特徴とする請求項１～３のいずれか１項に記載の動線描画方法。
  5. 　前記時間範囲を特定する処理は、前記情報により特定される、前記人の右手首位置と左手首位置との距離が所定以上離れている時間範囲を特定することを特徴とする、請求項１記載の動線描画方法。
  6. 　前記特定部位は、前記人の右手首または左手首であることを特徴とする請求項１記載の動線描画方法。
  7. 　前記特定部位は、前記人の右手首と左手首とであり、
    　前記描画する処理は、右手首または左手首の指定を受け付け、該指定により特定される側の手首位置を動線の描画対象とすることを特徴とする請求項１記載の動線描画方法。
  8. 　前記描画する処理は、前記情報に基づいて前記人が所定の第一動作を行っていることが検出された時点の、前記特定の部位の位置を、前記動線の描画開始位置または描画終了位置とすることを特徴とする請求項１記載の動線描画方法。
  9. 　前記描画する処理は、前記人が行った操作に起因して所定のデータが生成されたタイミングに基づいて、前記情報のうち、前記動線の描画対象とする終了時点を決定することを特徴とする請求項１記載の動線描画方法。
  10. 　前記描画する処理は、前記情報が計測された期間と同じ期間で取得された音声データから、所定の音声が検出されたタイミングに基づいて、前記情報のうち、前記動線の描画対象とする開始時点または終了時点を決定することを特徴とする、請求項１記載の動線描画方法。
  11. 　さらに、
    　前記描画する処理により動線を描画するのと同期して、描画中の動線が示す時点に対応する前記人の動作により特定される作業を示す情報を、前記動線とともに出力する処理を、コンピュータが実行することを特徴とする、請求項１記載の動線描画方法。
  12. 　計測対象とする人の特定部位を含む複数の部位それぞれについての位置を示す情報を、計測された時間と対応づけられた状態で取得し、
    　取得した前記情報に基づいて、前記人が所定の動作を行っている時間範囲を特定し、
    　前記特定部位についての動線を、前記所定の動作を行っている時間範囲と、それ以外の時間範囲とを識別可能な状態で描画する
    　処理を、コンピュータに実行させることを特徴とする動線描画プログラム。
  13. 　計測対象とする人の特定部位を含む複数の部位それぞれについての位置を示す情報を、計測された時間と対応づけられた状態で取得する取得部と、
    　前記取得部により取得した前記情報に基づいて、前記人が所定の動作を行っている時間範囲を特定する特定部と
    　前記特定部位についての動線を、前記所定の動作を行っている時間範囲と、それ以外の時間範囲とを識別可能な状態で描画する描画部と、
    　を有することを特徴とする動線描画装置。
  14. 　計測対象とする人の複数の部位それぞれについての位置を示す情報を、計測された時間と対応づけられた状態で取得し、
    　取得した前記情報に基づいて、前記人が所定の動作を行っている時間範囲を特定し、
    　前記人についての動線を、前記所定の動作を行っている時間範囲と、それ以外の時間範囲とを識別可能な状態で描画する
    　処理を、コンピュータが実行することを特徴とする動線描画方法。
  15. 　前記描画する処理は、前記動線を、前記所定の動作を行っている時間範囲と、それ以外の時間範囲とをそれぞれ異なる色で描画する処理であることを特徴とする請求項１４記載の動線描画方法。
  16. 　前記描画する処理は、前記所定の動作を行っている時間範囲に相当する前記動線の近傍に、動作内容を示すテキストを描画する処理であることを特徴とする請求項１４記載の動線描画方法。
  17. 　前記時間範囲を特定する処理は、１以上の所定の動作に関する人の複数の部位の位置変化を記憶した記憶部を参照し、記憶された該複数の部位の位置変化と同等と判断される位置変化が前記情報中で検出された時間範囲を特定することを特徴とする請求項１４～１６のいずれか１項記載の動線描画方法。
  18. 　計測対象とする人の複数の部位それぞれについての位置を示す情報を、計測された時間と対応づけられた状態で取得し、
    　取得した前記情報に基づいて、前記人が所定の動作を行っている時間範囲を特定し、
    　前記人についての動線を、前記所定の動作を行っている時間範囲と、それ以外の時間範囲とを識別可能な状態で描画する
    　処理を、コンピュータに実行させることを特徴とする動線描画プログラム。
  19. 　計測対象とする人の複数の部位それぞれについての位置を示す情報を、計測された時間と対応づけられた状態で取得する取得部と、
    　前記取得により取得した前記情報に基づいて、前記人が所定の動作を行っている時間範囲を特定する特定部と、
    　前記人についての動線を、前記所定の動作を行っている時間範囲と、それ以外の時間範囲とを識別可能な状態で描画する描画部と、
    　を有することを特徴とする動線描画装置。
  20. 　撮像画像を解析して得られた撮像対象の人の動作の解析結果に基づいて、前記人の特定の部位の動きの軌跡を表示する、
    　処理をコンピュータが実行することを特徴とする動作解析の処理方法。
  21. 　前記表示する処理は、前記撮像対象の人の動作が所定の動作を示したことの検出、又は、所定の音声入力又は操作部に操作入力がなされたことの検出に応じて、前記軌跡の開始位置又は終了位置を制御する、ことを特徴とする請求項２０記載の処理方法。
  22. 　前記表示する処理は、前記人の動作によって作成された商品に貼付されるサーマルシートの出力装置に対する設定操作又はサーマルシートの出力操作に応じて前記軌跡の終了位置を制御する、ことを特徴とする請求項２０記載の処理方法。
  23. 　前記表示する処理は、手又は手首部位が広がる動作の検出に応じて前記軌跡の開始位置を制御する、ことを特徴とする請求項２０記載の処理方法。
  24. 　前記表示する処理は、前記撮像画像の解析により、更に、前記人の手の平が広げられる状態と、閉じられる状態とを検出し、前記軌跡に対応づけて、前記人の手の平が広げられる状態に対応する軌跡部分と、閉じられる状態に対応する軌跡部分を識別可能に表示する、ことを特徴とする請求項２０記載の処理方法。
  25. 　前記特定の部位を少なくとも右手とするか左手とするか選択することを受け付ける、
    　処理をさらにコンピュータが実行することを特徴とする請求項２０記載の処理方法。
  26. 　前記特定の部位を片手とするか両手とするか選択することを受け付ける、
    　処理をさらにコンピュータが実行することを特徴とする請求項２０記載の処理方法。
  27. 　前記表示する処理は、前記撮像画像の解析及び／又は深度センサの測定結果の解析により、前記人の所定の動作が検出された場合に、前記軌跡のうち、該所定の動作の検出前に対応する軌跡と、該所定の動作の検出後に対応する軌跡とを識別可能に表示する、ことを特徴とする請求項２０記載の処理方法。
  28. 　前記表示する処理は、前記撮像画像の解析及び／又は深度センサの測定結果の解析により、前記人の所定の動作が検出された場合に、前記軌跡のうち、該所定の動作の検出前に対応する軌跡と、該所定の動作の検出後に対応する軌跡の色を異なる色とするか、または、軌跡を描く線の種別を異なるものとするか、軌跡に対応づけてラベルを表示するかのいずれかの処理を行う、ことを特徴とする請求項２０記載の処理方法。
  29. 　前記表示する処理は、前記軌跡を、時系列順に順次追加表示する、ことを特徴とする請求項２０記載の処理方法。
  30. 　前記撮像画像の解析及び／又は深度センサの測定結果の解析により、前記人の所定の動作が検出されたタイミングに対応する軌跡部分の追加表示の際に、前記所定の動作に対応づけられて登録された作業内容情報を、前記軌跡の表示領域の上、下、左、右側のいずれかの表示領域に追加表示することを特徴とする請求項２９記載の処理方法。
  31. 　撮像画像を解析して得られた撮像対象の人の動作の解析結果に基づいて、前記人の特定の部位の動きの軌跡を表示する、
    　処理をコンピュータが実行することを特徴とする動作解析の処理プログラム。
  32. 　撮像画像を解析して得られた撮像対象の人の動作の解析結果に基づいて、前記人の特定の部位の動きの軌跡を表示する制御を行う表示制御部、
    　を有することを特徴とする動作解析装置。
PCT/JP2014/083801 2014-12-19 2014-12-19 動線描画方法、動線描画プログラム、動線描画装置、動作解析の処理方法、動作解析の処理プログラムおよび動作解析装置 WO2016098265A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2014/083801 WO2016098265A1 (ja) 2014-12-19 2014-12-19 動線描画方法、動線描画プログラム、動線描画装置、動作解析の処理方法、動作解析の処理プログラムおよび動作解析装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2014/083801 WO2016098265A1 (ja) 2014-12-19 2014-12-19 動線描画方法、動線描画プログラム、動線描画装置、動作解析の処理方法、動作解析の処理プログラムおよび動作解析装置

Publications (1)

Publication Number Publication Date
WO2016098265A1 true WO2016098265A1 (ja) 2016-06-23

Family

ID=56126182

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2014/083801 WO2016098265A1 (ja) 2014-12-19 2014-12-19 動線描画方法、動線描画プログラム、動線描画装置、動作解析の処理方法、動作解析の処理プログラムおよび動作解析装置

Country Status (1)

Country Link
WO (1) WO2016098265A1 (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018073176A (ja) * 2016-10-31 2018-05-10 株式会社リコー 画像処理装置、画像処理システム、画像処理方法およびプログラム
JP2019016226A (ja) * 2017-07-07 2019-01-31 株式会社日立製作所 作業データ管理システム及び作業データ管理方法
JP2019212067A (ja) * 2018-06-06 2019-12-12 前田建設工業株式会社 工程判別システム及び工程判別方法
JP2020184250A (ja) * 2019-05-09 2020-11-12 オムロン株式会社 作業分析装置、作業分析方法およびプログラム
WO2020250501A1 (ja) * 2019-06-14 2020-12-17 オムロン株式会社 データ抽出装置、データ抽出装置の制御方法、情報処理プログラム、および記録媒体
JP2020205027A (ja) * 2019-06-14 2020-12-24 オムロン株式会社 データ抽出装置、データ抽出装置の制御方法、情報処理プログラム、および記録媒体
WO2021044680A1 (ja) 2019-09-04 2021-03-11 パナソニックＩｐマネジメント株式会社 レイアウト設計装置、レイアウト設計方法及びプログラム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000180162A (ja) * 1998-12-11 2000-06-30 Hitachi Plant Eng & Constr Co Ltd 作業分析装置
JP2008108008A (ja) * 2006-10-24 2008-05-08 Omron Corp 移動パターン特定装置、移動パターン特定方法、移動パターン特定プログラム、およびこれを記録した記録媒体
JP2010108149A (ja) * 2008-10-29 2010-05-13 Hitachi Ltd 作業情報処理装置、プログラムおよび作業情報処理方法
JP2010271927A (ja) * 2009-05-21 2010-12-02 Kanto Auto Works Ltd 作業判定システム及び作業判定方法並びに該作業判定方法を記録した記録媒体

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000180162A (ja) * 1998-12-11 2000-06-30 Hitachi Plant Eng & Constr Co Ltd 作業分析装置
JP2008108008A (ja) * 2006-10-24 2008-05-08 Omron Corp 移動パターン特定装置、移動パターン特定方法、移動パターン特定プログラム、およびこれを記録した記録媒体
JP2010108149A (ja) * 2008-10-29 2010-05-13 Hitachi Ltd 作業情報処理装置、プログラムおよび作業情報処理方法
JP2010271927A (ja) * 2009-05-21 2010-12-02 Kanto Auto Works Ltd 作業判定システム及び作業判定方法並びに該作業判定方法を記録した記録媒体

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018073176A (ja) * 2016-10-31 2018-05-10 株式会社リコー 画像処理装置、画像処理システム、画像処理方法およびプログラム
JP2019016226A (ja) * 2017-07-07 2019-01-31 株式会社日立製作所 作業データ管理システム及び作業データ管理方法
JP2019212067A (ja) * 2018-06-06 2019-12-12 前田建設工業株式会社 工程判別システム及び工程判別方法
JP2020184250A (ja) * 2019-05-09 2020-11-12 オムロン株式会社 作業分析装置、作業分析方法およびプログラム
WO2020225958A1 (ja) * 2019-05-09 2020-11-12 オムロン株式会社 作業分析装置、作業分析方法およびプログラム
CN113811825A (zh) * 2019-05-09 2021-12-17 欧姆龙株式会社 作业分析装置、作业分析方法及程序
US20220215327A1 (en) * 2019-05-09 2022-07-07 Omron Corporation Work analysis device, work analysis method and computer-readable medium
JP7234787B2 (ja) 2019-05-09 2023-03-08 オムロン株式会社 作業分析装置、作業分析方法およびプログラム
CN113811825B (zh) * 2019-05-09 2024-08-23 欧姆龙株式会社 作业分析装置、作业分析方法及计算机可读取的记录介质
WO2020250501A1 (ja) * 2019-06-14 2020-12-17 オムロン株式会社 データ抽出装置、データ抽出装置の制御方法、情報処理プログラム、および記録媒体
JP2020205027A (ja) * 2019-06-14 2020-12-24 オムロン株式会社 データ抽出装置、データ抽出装置の制御方法、情報処理プログラム、および記録媒体
WO2021044680A1 (ja) 2019-09-04 2021-03-11 パナソニックＩｐマネジメント株式会社 レイアウト設計装置、レイアウト設計方法及びプログラム

Similar Documents

Publication Publication Date Title
WO2016098265A1 (ja) 動線描画方法、動線描画プログラム、動線描画装置、動作解析の処理方法、動作解析の処理プログラムおよび動作解析装置
US9558398B2 (en) Person behavior analysis device, person behavior analysis system, person behavior analysis method, and monitoring device for detecting a part of interest of a person
WO2014160651A2 (en) System and method for presenting true product dimensions within an augmented real-world setting
US20230044842A1 (en) Work analyzing device and work analyzing method
US10380730B2 (en) Analysis apparatus and analysis method
JP6648508B2 (ja) 購買行動分析プログラム、購買行動分析方法、及び購買行動分析装置
US20170296099A1 (en) Systems and methods for assessing ergonomics utilizing visual sensing
CN109219426A (zh) 康复训练辅助控制装置以及计算机程序
US11461923B2 (en) Calculation system, calculation method, and storage medium
JP2019125023A (ja) 動作分析システム、動作分析装置、動作分析方法及び動作分析プログラム
CN107908286A (zh) 一种虚拟现实展厅中实现人体感受的方法和系统
KR20160076488A (ko) 근골격계 질환의 발생가능성의 판단 장치 및 방법
JP7004218B2 (ja) 動作分析装置、動作分析方法、動作分析プログラム及び動作分析システム
WO2016098264A1 (ja) 分析装置における処理方法、処理プログラム、分析装置、検出動作の設定方法および設定プログラム
JP2022164831A (ja) 作業稼働率測定装置及び作業稼働率測定方法
JP7338282B2 (ja) 技能比較装置および該方法
JP7271777B1 (ja) プログラム、方法、作業管理装置、及び作業管理システム
JP6441417B2 (ja) リハビリテーション支援システム及びコンピュータプログラム
CN106095088B (zh) 一种电子设备及其图像处理方法
CN105739878B (zh) 控制按钮显示方法和系统
US20240061512A1 (en) Computer-implemented method and apparatus for determining reaction time processes
US20240346426A1 (en) Operation sequence identification device, operation sequence identification system, operation sequence identification method, and non-transitory computer-readable recording medium
JP2018161529A (ja) リハビリテーション支援装置
JP2005211105A (ja) 観察対象者の動作解析システム
Wang et al. Multiple perspectives integration for virtual reality-aided assemblability assessment in complex virtual assembly environment

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14908475

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 14908475

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP