WO2016199356A1 - 動作分析装置、動作分析方法および動作分析プログラム - Google Patents

動作分析装置、動作分析方法および動作分析プログラム Download PDF

Info

Publication number
WO2016199356A1
WO2016199356A1 PCT/JP2016/002452 JP2016002452W WO2016199356A1 WO 2016199356 A1 WO2016199356 A1 WO 2016199356A1 JP 2016002452 W JP2016002452 W JP 2016002452W WO 2016199356 A1 WO2016199356 A1 WO 2016199356A1
Authority
WO
WIPO (PCT)
Prior art keywords
frequency
analysis
change
work
time
Prior art date
Application number
PCT/JP2016/002452
Other languages
English (en)
French (fr)
Inventor
岡部　稔哉
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to US15/575,498 priority Critical patent/US20180165622A1/en
Priority to JP2017523095A priority patent/JPWO2016199356A1/ja
Publication of WO2016199356A1 publication Critical patent/WO2016199356A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0631—Resource planning, allocation, distributing or scheduling for enterprises or organisations
    • G06Q10/06311—Scheduling, planning or task assignment for a person or group
    • G06Q10/063112—Skill-based matching of a person or a group to a task
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0631—Resource planning, allocation, distributing or scheduling for enterprises or organisations
    • G06Q10/06311—Scheduling, planning or task assignment for a person or group
    • G06Q10/063114—Status monitoring or status determination for a person or group
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/04—Manufacturing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/03—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
    • G10L25/18—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters the extracted parameters being spectral information of each sub-band
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/72—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for transmitting results of analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Definitions

  • the present invention relates to a motion analysis device, a motion analysis method, and a motion analysis program for individual workers, and in particular, works by the level of proficiency with respect to worker work and the effects of worker fatigue without increasing the burden on the worker.
  • the present invention relates to a motion analysis apparatus, a motion analysis method, and a motion analysis program that can quantify a change in productivity and notify a calculated value.
  • Patent Document 1 describes a work analysis device that reduces the time required for work analysis.
  • the work analysis apparatus described in Patent Document 1 identifies a plurality of cycles based on a standard cycle from the work trajectory of a worker who is performing work that may change the work order. And reduce the time required for work analysis.
  • Patent Document 2 describes a work evaluation device that supports evaluation of work contents by extracting work motions that cause problems from moving image information of actual work shooting.
  • the work evaluation device automatically detects the state of the work in the work area around the worker, and stores the detected work state, moving picture frame information, and standard work information in association with each other.
  • the work performed by the worker is evaluated based on the frame information of the moving image stored in association with the standard work information and the work state.
  • Patent Document 3 describes an operation analysis apparatus that captures and analyzes an operator's action and provides analysis data used to find problems in work actions and procedures and improve the problems.
  • the motion analysis apparatus described in Patent Document 3 separates the motion trajectory of a subject in a reference video for each operation in which a series of motions are continuously performed, and separates each motion that constitutes the series of motions. Extract and save trajectory feature information at the timing. Next, the motion analysis device extracts the timing of each operation using the feature information from the video image captured by another worker performing the same task, and then converts the motion information included in the operation indicated by the reference image Based on this, the work is aggregated and the time required for each work is analyzed.
  • a general motion analysis apparatus collates a video in which a worker's work is photographed with a reference video or a reference trajectory prepared in advance. By collating, the motion analysis device detects the work of the worker that deviates from the reference, and notifies the supervisor or the like.
  • the motion analysis apparatus may calculate the time required for each step by the worker from the video in which the state of the worker's work is photographed.
  • the motion analyzer detects the work corresponding to the work time deviating from the reference time by comparing the time required for each process with the reference time calculated from the reference video and the reference trajectory, and notifies the supervisor etc. To do.
  • the motion analysis apparatus extracts a characteristic image and a marker trajectory from an image in which the work contents of the worker are photographed.
  • the above motion analysis apparatus has the following two problems.
  • the first problem is that, in use, it is required to install a marker such as a marker or a special sensing device in the vicinity of the subject, and the subject is burdened with the installation.
  • a marker such as a marker or a special sensing device
  • the reason why markers and the like are required is because the motion analyzer must measure the movement of the subject's limbs and body, or the movement of equipment such as jigs used by workers, so it is necessary to make the target stand out. It is.
  • the second problem is that it is required to prepare in advance some standard for the captured video, and it takes time to prepare the standard.
  • the analysis by the motion analysis apparatus includes a step of comparing the image with the reference, and it is determined whether or not the worker's work deviates from the normal state in the step.
  • Patent Document 4 describes a portable communication device that can extract only a light source that has changed color information as a feature point.
  • the mobile communication device described in Patent Literature 4 extracts pixels whose predetermined luminance or brightness has changed to a predetermined value or more.
  • the motion analysis apparatus to which the technique described in Patent Document 4 is applied, the movement of the subject's limbs and body from the change of color information in the captured video, or the movement of equipment such as a jig used by the worker. Can be grasped. Therefore, it is not required to install a marker or the like around the subject or the subject in use, and the first problem is solved.
  • Patent Document 5 describes a technique for solving the second problem.
  • Patent Document 5 describes a work analysis device that evaluates each worker's ability and state by calculating statistical values based on the work performance of each worker.
  • the work analysis device described in Patent Document 5 is based on the time required for work in an arbitrary time interval or period from the time required for work for each work type such as each process type and product type. Calculate the variance value and standard deviation value of the actual values.
  • the work analysis apparatus uses the calculated variance value and standard deviation value as an index value indicating the degree of variation in work required time for each work type of each worker during a predetermined period.
  • the motion analysis apparatus to which the technique described in Patent Document 5 is applied can evaluate the work content of the worker using only the acquired data. Therefore, it is not required to prepare in advance some reference for the captured video, and the second problem is solved.
  • the method that uses the video of the worker's work is suitable for detailed analysis because much information is acquired.
  • processing is time consuming because of a large amount of information to be acquired, and that the load due to transmission of video data is large.
  • a method of using voice generated during the worker's work can be considered. Even using voice, the motion analysis apparatus can evaluate the work contents of the worker. Since voice is one-dimensional data, it is easy to process. In addition, since the amount of information acquired is small, the load due to data transmission is small compared to video.
  • the method using audio has an advantage that it is realized by an inexpensive and small sensor compared to the method using video.
  • the motion analysis methods described in Patent Documents 1 to 3 it is not assumed that the voice generated in the work of the worker is used.
  • the present invention provides a motion analysis apparatus, a motion analysis method, and a motion analysis program that can grasp a change in time required for work due to the influence of proficiency and fatigue without using a reference value without imposing a heavy burden on the subject.
  • the purpose is to do.
  • the motion analysis apparatus includes an acquisition unit that acquires sound and an analysis unit that analyzes the frequency of the acquired sound for a predetermined time period, and the analysis unit is a subject within each frequency distribution that is a frequency analysis result. Generating information indicating a change in time required for the predetermined work of the subject over time by comparing frequency distributions of frequency components corresponding to work sounds generated in the predetermined work performed by To do.
  • the motion analysis method acquires sound, performs frequency analysis on the acquired sound for a predetermined time, and generates a work sound generated in a predetermined work performed by a subject in each frequency distribution as a frequency analysis result. By comparing frequency distributions of corresponding frequency components, information indicating a change in time required for a predetermined work of the subject with the passage of time is generated.
  • the motion analysis program according to the present invention is a computer that performs an acquisition process for acquiring voice, an analysis process for analyzing the frequency of the acquired voice for a predetermined time, and a predetermined analysis performed by a subject within each frequency distribution that is a frequency analysis result.
  • a generation process for generating information indicating a change in time required for a predetermined work of a subject with the passage of time is executed by comparing frequency distributions of frequency components corresponding to work sounds generated in the work of And
  • FIG. 1 is a block diagram showing a configuration example of the first embodiment of the motion analysis apparatus according to the present invention.
  • a microphone hereinafter referred to as a microphone 101
  • a feature point extraction unit 102 an analysis unit 103
  • a notification unit 104 a notification unit 104.
  • the microphone 101 has a function of collecting a sound including a work sound generated in a work performed by a worker for a predetermined time. For example, the microphone 101 collects sound around a factory worker. The microphone 101 inputs the collected sound to the feature point extraction unit 102.
  • the microphone 101 may have a function of recording the collected sound.
  • the microphone 101 in the recording mode when installed on the work table, the microphone 101 can record sound and vibration generated in the work.
  • the motion analysis apparatus 100 may use the device mounted on the mobile terminal as the microphone 101.
  • the feature point extraction unit 102 has a function of extracting the voice that is frequently changed from the voice input from the microphone 101.
  • the microphone 101 when the microphone 101 has a plurality of sound collecting units (not shown), the microphone 101 can simultaneously collect different types of sounds.
  • the feature point extraction unit 102 extracts only a voice that is frequently changed with time from a plurality of inputted voices. Note that the motion analysis device 100 may not include the feature point extraction unit 102.
  • the analysis unit 103 has a function of calculating an index indicating the influence of the worker's proficiency level and fatigue on work productivity.
  • the analysis unit 103 performs frequency analysis that decomposes a time change amount (time-series data) of a sound volume, a time change amount of a sound volume of a predetermined pitch, or a time change amount of a pitch into frequency components. .
  • the analysis unit 103 creates a frequency distribution indicating the frequency of each frequency component by performing frequency analysis.
  • the analysis unit 103 may create a frequency distribution indicating the frequency of each periodic component.
  • the analysis unit 103 can calculate an index indicating the influence of worker proficiency and fatigue on work productivity. Note that a specific index calculation method will be described in the description of operations and examples described later.
  • the notification unit 104 has a function of notifying the supervisor of the worker of the calculation result by the analysis unit 103.
  • the motion analysis apparatus 100 of the present embodiment is realized by, for example, a CPU (Central Processing Unit) that executes processing according to a program stored in a storage medium. That is, the microphone 101, the feature point extraction unit 102, the analysis unit 103, and the notification unit 104 are realized by, for example, a CPU that executes processing according to program control.
  • a CPU Central Processing Unit
  • each unit in the motion analysis apparatus 100 may be realized by a hardware circuit.
  • a mobile phone such as a smartphone having a sound collecting function and a recording function can be used.
  • FIG. 2 is a flowchart showing the operation of the analysis process performed by the motion analysis apparatus 100 according to the first embodiment.
  • the microphone 101 collects a sound including work sound generated in the work by the worker for a predetermined time (step S101). In step S101, the microphone 101 may record the collected sound.
  • the microphone 101 inputs the collected voice to the feature point extraction unit 102.
  • the microphone 101 may input the recorded voice to the feature point extraction unit 102.
  • the feature point extraction unit 102 extracts, from the input voice, a voice that is frequently changed over time.
  • the feature point extraction unit 102 inputs the extracted voice to the analysis unit 103 (step S102).
  • the analysis unit 103 performs frequency analysis on the time variation in the input voice, and decomposes the time variation into frequency components (step S103).
  • the analysis unit 103 uses, for example, Fourier transform.
  • the analysis unit 103 performs frequency analysis on the voice for one hour.
  • the analysis unit 103 repeatedly performs frequency analysis on all input voices.
  • a plurality of frequency component frequency distributions based on one hour of speech are generated.
  • the analysis unit 103 determines that a frequency component having a frequency equal to or lower than a predetermined value is noise, and removes it from the generated frequency distribution (step S104).
  • the analysis unit 103 After the process of step S104, the analysis unit 103 performs the calculation of the variation amount of the frequency component and the calculation of the longest cycle in each generated frequency distribution in parallel.
  • the analysis unit 103 selects a plurality of frequency components having a high frequency in each generated frequency distribution.
  • the analysis unit 103 calculates the variation amount of each selected frequency component (step S105). Note that the analysis unit 103 may calculate the variation amount of all frequency components.
  • the analysis unit 103 calculates, as a variation amount, how far a frequency component having a predetermined frequency (for example, 80%) of the frequency of the selected frequency component is away from the selected frequency component.
  • the unit of the variation amount may be any unit as long as the variation amount corresponds to the distance between the frequency components.
  • the analysis unit 103 calculates the sum of the variation amounts of the frequency components calculated in each frequency distribution for each frequency distribution (step S106).
  • the analysis unit 103 calculates a change amount of the calculated total amount of variation (step S107). Specifically, the analysis unit 103 checks how the total amount of variation changes as the work time elapses.
  • the analysis unit 103 determines whether or not the amount of change over time of the calculated total amount of variation is negative (step S108). That is, the analysis unit 103 determines whether or not the total amount of variation has decreased as the work time has elapsed.
  • the notification unit 104 serves as an index of the effect of habituation. A change amount of the calculated sum of variations is notified (step S109).
  • the change amount of the sum of the variation amounts notified by the notification unit 104 indicates that an effect due to the habituation to the subject's predetermined work has occurred.
  • the amount of change in the total amount of variation may include character information “effect by accustoming the subject to predetermined work”.
  • the reason for notifying the amount of change in the total amount of variation calculated as an index of the effect of familiarity is that workers who are accustomed to work tend to have uniform time for each work.
  • a time for a worker unfamiliar with the work to check the position of the box A and the position of the box B, the time to grasp the parts in the box, and the time to combine the parts a and b The time required for each operation such as is difficult to be uniform over each time.
  • the notification unit 104 uses the following as an index of the effect of fatigue: A change amount of the calculated total amount of variation is notified (step S110).
  • the amount of change in the total amount of variation notified by the notification unit 104 indicates that the subject is affected by fatigue.
  • the text information “influence of subject fatigue” may be included in the amount of change in the total amount of variation.
  • the reason for notifying the amount of change in the total amount of variation calculated as an indicator of the effects of fatigue is that, for example, if an operator becomes fatigued, he or she grasps the part again after losing the part or dropping the part. Often occur irregularly.
  • the analysis unit 103 calculates the longest cycle in each generated frequency distribution (step S111). Specifically, the analysis unit 103 selects a frequency component having a minimum value among frequency components having a frequency equal to or higher than a predetermined value. The analysis unit 103 calculates the reciprocal of the selected frequency component as the longest period in the frequency distribution. The calculated longest cycle corresponds to the time required to perform one operation.
  • the analysis unit 103 calculates the average value of the longest period calculated in each frequency distribution (step S112). For example, the analysis unit 103 calculates the average value of the longest cycle of each work day.
  • the analysis unit 103 calculates the amount of change in the average value of the longest cycle with the lapse of work time (step S113).
  • the notification unit 104 notifies the calculated amount of change in the average value of the longest cycle as an index indicating the proficiency level of the worker for the work (step S114).
  • FIG. 3 is an explanatory diagram showing an example of the daily change in the work time required for the work by the worker.
  • an operator who has taken 10 seconds on average on the first day increases the proficiency level of the work on the first day such as 9 seconds or 8 seconds after the second day. It is assumed that the work can be performed in a shorter time.
  • the notification unit 104 notifies the amount of change in the average value of the longest cycle as the amount of change in time required for work.
  • the motion analysis apparatus 100 After the notification of the amount of change as an indicator of the effect of familiarity, the notification of the amount of change as an indicator of the effect of fatigue, and the notification of the amount of change as an indicator of proficiency, the motion analysis apparatus 100 performs an analysis process. finish.
  • the motion analysis apparatus When the motion analysis apparatus according to the present embodiment is used, it becomes easy to analyze the influence on the productivity of the worker due to the surrounding environment such as the learning effect, fatigue, nature (proper), and temperature in each process of the subject.
  • the reason is that the analysis unit 103 calculates the change in productivity due to the influence of proficiency and fatigue from the change in periodicity and the amount of variation in each extracted cycle, and the notification unit 104 calculates the value. Is to provide.
  • the productivity of the worker is easily calculated.
  • data used as a reference used by a general motion analysis apparatus is not used in the present embodiment, and therefore steps such as creation of reference data and verification with reference data are not required.
  • the motion analysis apparatus 100 can grasp a change in time required for work due to the level of proficiency and fatigue without using a reference value without imposing a heavy burden on the subject.
  • the reason is that the work sound to be analyzed is a sound that naturally occurs in the work of the subject, and no burden is placed on the subject for acquisition.
  • the analysis unit 103 confirms the change over time in the frequency analysis result of the data acquired over a predetermined time, the reference data is not used.
  • FIG. 4 is a block diagram showing a configuration example of the second embodiment of the motion analysis apparatus according to the present invention.
  • the motion analysis apparatus 100 of the present embodiment is different from the motion analysis apparatus 100 shown in FIG. 1 in that a camera 105 is included instead of the microphone 101.
  • the configuration of the motion analysis apparatus 100 shown in FIG. 4 other than the camera 105 is the same as the configuration of the motion analysis apparatus 100 shown in FIG.
  • the camera 105 has a function of photographing the work status of the worker. For example, the camera 105 captures the work situation of the worker as a video. In addition, the camera 105 may take an image of the work situation of the worker.
  • the feature point extraction unit 102 of the present embodiment has a function of extracting, as a feature point, a point where a change in brightness with time is frequently seen in an image input from the camera 105 or the like.
  • the brightness of the worker's hand is different from the background color, the brightness (brightness) in the vicinity of box A, the brightness in the vicinity of box B, and the brightness in the vicinity of box C in the image captured by camera 105.
  • the brightness of the vicinity of the desk on which the parts a and b are placed changes once per work.
  • the worker is smart and has a short time required for work, the brightness of each part changes rapidly because the hand moves quickly.
  • the feature point extraction unit 102 extracts, as a feature point, a point in which a large temporal change in brightness is seen in the video input from the camera 105 or the like. To do.
  • the feature point extraction unit 102 may extract, as a feature point, a point where a change in color (hue) with time is seen in a video input from the camera 105 or the like.
  • the motion analysis apparatus 100 displays a color image in which only the color changes without changing the brightness. It can be processed.
  • the feature point extraction unit 102 receives a feature point in which a change with time in brightness or a change with time in color is often seen in an image or the like.
  • a mobile phone such as a smartphone having a photographing function can be used as the camera 105.
  • FIG. 5 is a flowchart illustrating the operation of the analysis process performed by the motion analysis apparatus 100 according to the second embodiment.
  • the camera 105 captures the work status of the worker for a predetermined time (step S201).
  • the camera 105 captures the work status of the worker as a video.
  • the camera 105 inputs the captured video to the feature point extraction unit 102.
  • the feature point extraction unit 102 extracts, as a feature point, a point in the video input from the camera 105 where a change with time of brightness or a change with time of color is frequently observed.
  • the feature point extraction unit 102 inputs the extracted feature points to the analysis unit 103 (step S202).
  • the analysis unit 103 performs frequency analysis on the temporal change amount of the brightness of the video or the temporal change amount of the color of the video at the input feature point, and decomposes the temporal change amount into frequency components (step S203). ).
  • step S204 to step S214 is the same as the processing from step S104 to step S114 of the first embodiment shown in FIG.
  • the motion analysis apparatus 100 can grasp the change in time required for work in more detail. The reason is that the camera can capture more changes in work than the microphone of the first embodiment.
  • FIG. 6 is a block diagram showing a configuration example of the third embodiment of the motion analysis apparatus according to the present invention.
  • the motion analysis apparatus 100 of the present embodiment is different from the motion analysis apparatus 100 shown in FIG. 4 in that a camera 106 and a feature point extraction unit 107 are included. Except for the camera 106 and the feature point extraction unit 107, the configuration of the motion analysis apparatus 100 illustrated in FIG. 6 is the same as the configuration of the motion analysis apparatus 100 illustrated in FIG. Note that the motion analysis apparatus 100 may include three or more cameras.
  • the camera 105 and the camera 106 shoot different types of images. That is, the feature points extracted by the feature point extraction unit 102 and the feature point extraction unit 107 are also different.
  • the feature point extraction unit 102 or the feature point extraction unit 107 may extract a plurality of feature points from an image taken by one camera.
  • the analysis unit 103 performs frequency analysis on the temporal change in the brightness of the video or the temporal change in the color of the video at each input feature point, and creates a frequency component frequency distribution. To do.
  • the analysis unit 103 adds up the frequency distributions corresponding to the created feature points, and analyzes the newly created frequency distribution.
  • FIG. 7 is a flowchart illustrating the operation of the analysis process performed by the motion analysis apparatus 100 according to the third embodiment.
  • the camera 105 and the camera 106 photograph the worker's work status for a predetermined time (step S301).
  • the camera 105 and the camera 106 capture the work situation of the worker as a video.
  • the camera 105 inputs the captured image to the feature point extraction unit 102.
  • the camera 106 inputs the captured video to the feature point extraction unit 107.
  • the feature point extraction unit 102 extracts, as a feature point, a point in the video input from the camera 105 where a change with time of brightness or a change with time of color is frequently observed.
  • the feature point extraction unit 102 inputs the extracted feature points to the analysis unit 103.
  • the feature point extraction unit 107 extracts a point where a change with time in brightness or a change with time in color is frequently seen in the video input from the camera 106 as a feature point.
  • the feature point extraction unit 107 inputs the extracted feature points to the analysis unit 103 (step S302).
  • the analysis unit 103 performs frequency analysis on the temporal change amount of the brightness of the video or the temporal change amount of the color of the video at each input feature point, and decomposes the temporal change amount into frequency components.
  • the analysis unit 103 adds up the frequency distribution corresponding to each feature point obtained by the frequency analysis, and generates a new frequency distribution (step S303).
  • step S304 to step S314 is the same as the processing from step S104 to step S114 of the first embodiment shown in FIG.
  • the motion analysis apparatus 100 can calculate an index indicating more accurate work productivity.
  • the reason is that a plurality of feature points are extracted from videos taken by a plurality of cameras and the analysis unit can obtain a large number of frequency distributions.
  • FIG. 8 is a block diagram showing a configuration example of the fourth embodiment of the motion analysis apparatus according to the present invention.
  • the motion analysis apparatus 100 of the present embodiment is different from the motion analysis apparatus 100 shown in FIG. 1 in that a camera 105 and a feature point extraction unit 107 are included.
  • the configuration of the motion analysis apparatus 100 shown in FIG. 8 other than the camera 105 and the feature point extraction unit 107 is the same as the configuration of the motion analysis apparatus 100 shown in FIG.
  • the motion analysis apparatus 100 may include two or more microphones and cameras.
  • the microphone 101 collects the sound including the work sound generated in the work by the worker. Further, the camera 105 photographs the work situation of the worker. That is, the types of information extracted by the feature point extraction unit 102 and the feature point extraction unit 107 are different.
  • the analysis unit 103 of the present embodiment performs frequency analysis on the amount of time change related to the information input from the feature point extraction unit 102 and the feature point extraction unit 107, and creates frequency component frequency distributions.
  • the analysis unit 103 adds up the created frequency distributions and analyzes the newly created frequency distribution.
  • FIG. 9 is a flowchart illustrating the operation of the analysis process performed by the motion analysis apparatus 100 according to the fourth embodiment.
  • the microphone 101 collects a sound including work sound generated in the work by the worker for a predetermined time (step S401). Next, the microphone 101 inputs the collected sound to the feature point extraction unit 102.
  • the feature point extraction unit 102 extracts, from the input voice, a voice that is frequently changed over time.
  • the feature point extraction unit 102 inputs the extracted voice to the analysis unit 103 (step S402).
  • the camera 105 captures the work status of the worker for a predetermined time (step S403).
  • the camera 105 captures the work status of the worker as a video.
  • the camera 105 inputs the captured video to the feature point extraction unit 107.
  • the feature point extraction unit 107 extracts, as a feature point, a point in the video input from the camera 105 that frequently shows a change in brightness over time or a change in color over time.
  • the feature point extraction unit 107 inputs the extracted feature points to the analysis unit 103 (step S404).
  • the analysis unit 103 performs frequency analysis on the amount of time change related to each piece of input information, and decomposes the amount of time change into frequency components.
  • the analysis unit 103 adds the frequency distributions obtained by the frequency analysis, and generates a new frequency distribution (step S405).
  • step S406 to step S416 Since the processing from step S406 to step S416 is the same as the processing from step S104 to step S114 in the first embodiment shown in FIG.
  • the motion analysis apparatus 100 can calculate an index indicating more accurate work productivity.
  • the reason is that the analysis unit can obtain a large number of frequency distributions from different amounts of time change acquired by a plurality of devices.
  • FIG. 10 is a block diagram showing a configuration example of this embodiment of the motion analysis apparatus according to the present invention.
  • the motion analysis apparatus 200 in the present embodiment quantifies the productivity of workers working on the production line of the factory.
  • the motion analysis apparatus 200 includes a USB (Universal Serial Bus) camera 201 and a personal computer (hereinafter referred to as a PC) 202.
  • the PC 202 includes a buffer 203, a feature point extraction unit 204, an analysis unit 205, and a notification unit 206.
  • USB camera 201 feature point extraction unit 204, analysis unit 205, and notification unit 206 have the same functions as camera 105, feature point extraction unit 102, analysis unit 103, and notification unit 104, respectively.
  • general video capture software is installed in the PC 202 shown in FIG.
  • the video capture software edits the video captured by the USB camera 201 and stores it in the buffer 203.
  • the motion analysis apparatus according to the second embodiment is realized by using a USB camera and a PC in which video capture software is installed.
  • the USB camera 201 captures the work status of the worker as an image for a predetermined time (step S201).
  • the video capture software edits the video captured by the USB camera 201 and stores it in the buffer 203.
  • the feature point extraction unit 204 receives, for example, a bitmap having a size of 640 ⁇ 480 pixels from the buffer 203 at 10 frames per second.
  • the feature point extraction unit 204 calculates a moving average of the brightness of all the pixels in the past one second (10 frames) using a general-purpose library that calculates the brightness of the pixel at the designated coordinates.
  • the feature point extraction unit 204 calculates the number of times the brightness has changed by a predetermined value or more in the last 60 seconds for all pixels.
  • the feature point extraction unit 204 selects a pixel having the largest number of changes as a feature point.
  • the feature point extraction unit 204 inputs the selected feature point to the analysis unit 205 (step S202).
  • the analysis unit 205 performs frequency analysis on the temporal change amount of the brightness of the video at the input feature point, and decomposes the temporal change amount into frequency components (step S203).
  • the analysis unit 205 removes noise and the like from the obtained result and creates a frequency component frequency distribution (step S204).
  • FIG. 11 is an explanatory diagram illustrating an example of a frequency distribution of periodic components created by the analysis unit 205 in the present embodiment.
  • the frequency distribution shown in FIG. 11 is created, for example, by converting the horizontal axis of the frequency component frequency distribution into a period.
  • the frequency of each periodic component of 8 seconds, 15 seconds, and 55 seconds has a maximum value.
  • the frequencies of the periodic components of 8 seconds, 15 seconds, and 55 seconds are referred to as f1 (t), f2 (t), and f3 (t), respectively.
  • t is the time when acquisition of the target data for frequency analysis is started.
  • the analysis unit 205 calculates a variation amount of each periodic component of 8 seconds, 15 seconds, and 55 seconds for each frequency distribution (step S205).
  • the analysis component 205 is a periodic component of 8 seconds, it is determined how far away from f1 (t) shown in FIG. 11 the frequency equal to or higher than a value obtained by multiplying f1 (t) by a predetermined ratio is present. calculate.
  • the distance between f1 (t) and the minimum frequency that satisfies the predetermined condition existing to the left of f1 (t), and the minimum frequency that satisfies the predetermined condition that exists to the right of f1 (t) The distance combined with the distance from f1 (t) is defined as a variation amount of the periodic component of 8 seconds.
  • the variation amount of the periodic component of 8 seconds is referred to as d1 (t).
  • the unit of variation is seconds on the horizontal axis of the frequency distribution.
  • the unit of the variation amount may be any unit as long as the variation amount corresponds to the distance between the frequency distributions.
  • the analysis unit 205 calculates the variation amount of the periodic component for the periodic component of 15 seconds and the periodic component of 55 seconds as well as the periodic component of 8 seconds.
  • the variation amount of the periodic component of 15 seconds and the variation amount of the periodic component of 55 seconds are referred to as d2 (t) and d3 (t), respectively.
  • the frequency distribution shown in FIG. 11 is a frequency distribution obtained by performing frequency analysis on an image for one hour from 12:00 to 13:00.
  • d1 (t), d2 (t), and d3 (t) have the following values, respectively.
  • d1 (t) , D2 (t), d3 (t) take the following values, for example.
  • d1 (13:00) 6 seconds
  • d2 (13:00) 3 seconds
  • d3 (13:00) 3 seconds
  • d1 (14:00) 9 seconds
  • d2 (14:00) 3 seconds
  • d3 (14:00) 2 seconds
  • d1 (15:00) 7 seconds
  • d2 (15:00) 2 seconds
  • d3 (15:00) 3 seconds
  • the analysis unit 205 calculates a change amount S (t + ⁇ t) ⁇ S (t) between the frequency distributions of the sum of the variation amounts (step S207).
  • the analysis unit 205 determines whether or not the amount of change over time of the calculated total amount of variation is negative, that is, whether or not the total amount of variation is decreasing (step S208).
  • ⁇ t is 1 hour.
  • the notification unit 206 uses the amount of change in the total amount of variation
  • the notification unit 206 uses the amount of change in the total amount of variation
  • the analysis unit 205 determines the longest period among the periods corresponding to the frequency having the maximum value in the frequency distribution, that is, the time required for one operation (step S211). ).
  • the longest period among the periods corresponding to the frequency having the maximum value is the period corresponding to f3 (t).
  • the period corresponding to f3 (t) is p (t).
  • the analysis unit 205 calculates an average daily period P (day) of p (t) (step S212).
  • P (day) is calculated by the following formula, for example.
  • P (day) may be calculated by a formula other than the above.
  • acquired p (t) is, for example, p (9:00), p (10:00), ..., p ( 17:00).
  • the analysis unit 205 may change the equation for calculating P (day) according to the number of p (t) acquired.
  • the analysis unit 205 calculates a change amount
  • ⁇ d is, for example, one day.
  • the notification unit 206 notifies the calculated change amount as an index indicating the proficiency level (step S214). Note that the notification unit 206 may notify P (d + ⁇ d) ⁇ P (d) itself, which is a calculation result.
  • the motion analysis apparatus 200 After the notification of the amount of change as an index of the effect of familiarity, the notification of the amount of change as an index of the effect of fatigue, and the notification of the amount of change as an index indicating the level of proficiency, the motion analysis apparatus 200 performs an analysis process. finish.
  • the feature point extraction unit 204 selects coordinates of a point where a change with time of brightness or a change with time of color is frequently seen from a video image of the subject.
  • the analysis unit 205 performs frequency analysis on the temporal change in brightness or the temporal change in color at the selected coordinates to create a frequency distribution of periodic components.
  • the analysis unit 205 calculates the proficiency level from the variation between the frequency distributions of long-term periodic components. Further, the analysis unit 205 calculates an effect due to habituation to work or an influence due to fatigue from the variation between the frequency distributions of the variation amounts of the periodic components.
  • the notification unit 206 notifies the supervisor of the value calculated by the analysis unit 205.
  • the motion analysis apparatus of the present embodiment can quantify the change in productivity due to the influence of proficiency and fatigue without increasing the burden on the worker. Since the motion analysis apparatus can grasp the change in productivity without comparing the acquired data with the reference data, the user is not required to create the reference data in advance.
  • FIG. 12 is a block diagram showing an outline of the motion analysis apparatus according to the present invention.
  • the motion analysis apparatus 10 includes an acquisition unit 11 (for example, a microphone 101) that acquires sound, and an analysis unit 12 (for example, an analysis unit 103) that performs frequency analysis of the acquired sound for a predetermined time period.
  • the analysis unit 12 compares the frequency component frequency distribution corresponding to the work sound generated in the predetermined work performed by the subject in each frequency distribution as the frequency analysis result, thereby determining the predetermined of the subject over time.
  • the information which shows the change of the time which is required for the work is generated.
  • the motion analysis apparatus can grasp changes in time required for work due to the level of proficiency and fatigue without using a reference value without placing a heavy burden on the subject.
  • the motion analysis apparatus 10 includes an extraction unit (for example, a feature point extraction unit 102) that extracts a voice with the greatest change in time from a plurality of different types of voices acquired by the acquisition unit 11. Also good.
  • an extraction unit for example, a feature point extraction unit 102
  • the motion analysis device does not need to analyze voices that do not need to be analyzed.
  • the acquisition unit 11 acquires an image indicating a subject who performs a predetermined operation
  • the extraction unit determines a place where the change with time of brightness or the change with time of color is most frequently seen in the plurality of acquired images.
  • the analyzing unit 12 performs frequency analysis of brightness time-series data or color time-series data in the extracted portion obtained from a plurality of images for each predetermined time, and each frequency distribution as a frequency analysis result The change of the time required for the predetermined work of the subject with the passage of time is shown by comparing the frequency distribution of the frequency component corresponding to the time change of the brightness or the time change of the color generated by the predetermined work. Information may be generated.
  • the motion analysis apparatus can grasp a change in the time required for the test subject's work using a video image of the test subject's work.
  • the motion analysis apparatus 10 may include a notification unit (for example, the notification unit 104) that notifies information indicating a change in time required for the generated predetermined work.
  • a notification unit for example, the notification unit 104 that notifies information indicating a change in time required for the generated predetermined work.
  • the motion analysis apparatus can notify the supervisor of changes in the time required for the work of the subject.
  • the analysis unit 12 specifies a frequency component related to a predetermined operation in which the frequency has a maximum value in the frequency distribution, and acquires a value of a width in the frequency distribution from the specified frequency component to a frequency component that satisfies a predetermined condition.
  • the amount of change with time of the width value acquired from each frequency distribution may be generated as information indicating a change in time required for a predetermined operation.
  • the motion analysis apparatus can grasp changes in the degree of variation in time required for the work of the subject.
  • the analysis unit 12 includes the character information “effect due to the subject's familiarity with the predetermined work” in the negative change amount, and includes the character information “effect due to the subject's fatigue” in the positive change amount. May be.
  • the motion analysis apparatus can notify the supervisor of changes in the work of the subject indicated by changes in the degree of variation in time required for the work of the subject.
  • the analysis unit 12 identifies the longest period among the periods corresponding to the frequency components related to the predetermined work having the maximum frequency in the frequency distribution, and the elapse of time of the longest period identified in each frequency distribution
  • the amount of change associated with may be generated as information indicating a change in time required for a predetermined operation.
  • the motion analysis apparatus can grasp a change in time required for the work for one step of the subject.
  • the analysis unit 12 calculates an average value on each work day of the longest period specified in each frequency distribution, and a change amount of each calculated average value with the passage of time is required for a predetermined work. You may produce
  • the motion analysis apparatus can grasp the change over time of the time required for the work for one step of the subject.
  • the analysis unit 12 may perform frequency analysis on the volume of the acquired voice, the volume of a specific pitch, or the pitch every predetermined time.
  • the acquisition unit 11 acquires an image indicating a subject who performs a predetermined operation
  • the extraction unit includes a plurality of locations in which a change in brightness with time or a change in color with time is frequently observed in the plurality of acquired images.
  • the analysis unit 12 performs frequency analysis on the brightness time-series data or color time-series data obtained from a plurality of images, and adds up the frequency distributions that are the frequency analysis results. Then, the combined frequency distributions may be compared.
  • the analysis unit 12 adds up the frequency distribution obtained by frequency analysis of the sound and the frequency distribution obtained by frequency analysis of the brightness time series data or the color time series data. The frequency distributions may be compared.
  • the present invention can be suitably applied to applications for quantitatively grasping the productivity of workers engaged in factories, restaurants, office work, traffic control, and the like. Further, the present invention can be suitably applied to an application for analyzing the influence of the surrounding environment such as temperature on the productivity of workers. Furthermore, the present invention can be suitably applied to uses for detecting aging of machine tools that perform repetitive work.

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Physics & Mathematics (AREA)
  • Strategic Management (AREA)
  • Economics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Educational Administration (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Marketing (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Development Economics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Game Theory and Decision Science (AREA)
  • Human Computer Interaction (AREA)
  • Computational Linguistics (AREA)
  • Signal Processing (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Acoustics & Sound (AREA)
  • Primary Health Care (AREA)
  • General Health & Medical Sciences (AREA)
  • Manufacturing & Machinery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • General Factory Administration (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Image Analysis (AREA)

Abstract

　動作分析装置（１０）は、音声を取得する取得部（１１）と、取得された音声を所定時間分ずつ周波数分析する分析部（１２）とを備え、分析部（１２）は、周波数分析結果である各頻度分布内の、被験者が実施する所定の作業において発生する作業音に対応する周波数成分の頻度分布を比較することによって、時間の経過に伴う被験者の所定の作業に要する時間の変化を示す情報を生成する。

Description

動作分析装置、動作分析方法および動作分析プログラム
　本発明は、作業員個人を対象にした動作分析装置、動作分析方法および動作分析プログラムに関し、特に作業員の負担を増やさずに作業員の作業に対する習熟度や作業員の疲労の影響による作業の生産性の変化を数値化し、算出された値を通知できる動作分析装置、動作分析方法および動作分析プログラムに関する。
　一般的な動作分析方法の例が、特許文献１～特許文献３に記載されている。
　特許文献１には、作業分析に要する時間を削減する作業分析装置が記載されている。特許文献１に記載されている作業分析装置は、作業順序が変わる可能性のある作業を行っている作業者の作業軌跡から、標準的なサイクルを基に１サイクルを複数特定することによって作業分析を容易に行い、作業分析に要する時間を削減する。
　特許文献２には、少ない実作業撮影の動画情報から問題になる作業動作を抽出することによって作業内容の評価を支援する作業評価装置が記載されている。
　特許文献２に記載されている作業評価装置には、生産計画に基づいた作業者による標準作業の情報が入力される。また、作業評価装置は、作業者の行う作業の状態を動画として撮影する。
　作業評価装置は、作業者周辺の作業区域内におけるワークの状態を自動的に検知し、検知されたワークの状態と動画のフレーム情報と標準作業情報とを関連付けて記憶する。関連付けて記憶された動画のフレーム情報、標準作業情報およびワークの状態に基づいて、作業者の行う作業が評価される。
　特許文献３には、作業者の動作を撮影して分析し、作業動作および手順における問題点の発見と問題点の改善に使用される分析データを提供する動作分析装置が記載されている。
　特許文献３に記載されている動作分析装置は、基準になる映像中の被写体の動作軌跡を、一連の動作が連続で行われる作業ごとに区切り、一連の動作を構成する個々の動作ごとの区切りタイミングにおける軌跡の特徴情報を抽出し、保存する。次いで、動作分析装置は、同じ作業を行う他の作業者を撮影したビデオ映像から、特徴情報を用いて各動作の区切りタイミングを抽出した上で、基準映像が示す作業に含まれる動作の情報に基づいて作業を集約し、各作業に要する時間を分析する。
　上記のように、一般的な動作分析装置は、作業者の作業の様子が撮影された映像を、事前に用意された基準映像や基準軌跡と照合する。照合することによって、動作分析装置は、基準から逸脱した作業者の作業を検出し、監督者などに通知する。
　また、動作分析装置は、作業者の作業の様子が撮影された映像から、作業者が各工程に要した時間を算出してもよい。動作分析装置は、各工程に要した時間と基準映像や基準軌跡から算出された基準時間とを照合することによって、基準時間から逸脱した作業時間に対応する作業を検出し、監督者などに通知する。
　また、特許文献３に記載されている動作分析装置を使用する場合、作業員の体の一部に目印になるマーカを設置することが求められる。動作分析装置は、作業員の作業内容が撮影された映像から特徴的な映像やマーカの軌跡を抽出する。
　上記の動作分析装置には、以下に示す２つの問題点がある。
　第１の問題点は、使用にあたり被験者や被験者の周辺にマーカなどの目印や、特別なセンシングデバイスを設置することが求められ、被験者に設置に伴う負荷が発生する点である。マーカなどの設置が求められる理由は、動作分析装置が被験者の手足や体の動き、または作業員が使う治具などの機材の動きを測定の対象にするため、対象を目立たせる必要があるからである。
　第２の問題点は、撮影された映像に対する何らかの基準を事前に用意することが求められ、基準の準備に時間がかかる点である。その理由は、動作分析装置による分析には映像を基準と比較する工程が含まれ、工程において作業員の作業が正常状態から逸脱しているか否かなどが判断されるためである。
特開２００９－０１５５２９号公報 特開２００５－２４２４１８号公報 特許第５５２５２０２号公報 特開２０１０－１０２０９７号公報 特許第５０２７０５３号公報
　上記の第１の問題点を解決する技術が特許文献４に記載されている。特許文献４には、色情報の変化があった光源のみを特徴点として抽出できる携帯通信装置が記載されている。特許文献４に記載されている携帯通信装置は、例えば、予め定められた輝度または明度が所定値以上に変化した画素を抽出する。
　すなわち、特許文献４に記載されている技術が適用された動作分析装置は、撮影された映像における色情報の変化から被験者の手足や体の動き、または作業員が使う治具などの機材の動きを把握できる。よって、使用にあたり被験者や被験者の周辺にマーカなどを設置することが求められず、第１の問題点が解決される。
　また、上記の第２の問題点を解決する技術が特許文献５に記載されている。特許文献５には、作業者ごとの作業実績に基づいて統計値を算出することによって、各作業者の能力および状態を評価する作業分析装置が記載されている。
　特許文献５に記載されている作業分析装置は、具体的には、各作業者の工程種別ごと、製品種別ごとなどの作業種別ごとの作業所要時間から、任意の時間間隔または期間における作業所要時間の実績値の分散値や標準偏差値を算出する。作業分析装置は、算出された分散値や標準偏差値を、所定の期間における各作業者の作業種別ごとの作業所要時間のばらつき度合いを示す指標値にする。
　すなわち、特許文献５に記載されている技術が適用された動作分析装置は、取得したデータのみを用いて作業者の作業内容を評価できる。よって、撮影された映像に対する何らかの基準を事前に用意することが求められず、第２の問題点が解決される。
　作業員の作業が撮影された映像を用いる方法は、取得される情報が多いため細かい分析に適している。しかし、取得される情報が多いため加工に時間がかかることや、映像データの伝送による負荷が大きいという欠点もある。
　作業員の作業が撮影された映像を用いる代わりに、作業員の作業において発生した音声を用いる方法が考えられる。音声を用いても、動作分析装置は、作業員の作業内容を評価できる。音声は１次元のデータであるため加工されやすい。また、取得される情報量が少ないため、映像に比べてデータの伝送による負荷は小さい。
　音声を用いる方法は、映像を用いる方法と比較して、安価かつ小型のセンサで実現されるという利点もある。しかし、特許文献１～特許文献３に記載されている動作分析方法では、作業員の作業において発生した音声を用いることは想定されていない。
　そこで、本発明は、被験者に大きな負担をかけることなく、基準値を用いずに習熟度や疲労の影響による作業に要する時間の変化を把握できる動作分析装置、動作分析方法および動作分析プログラムを提供することを目的とする。
　本発明による動作分析装置は、音声を取得する取得部と、取得された音声を所定時間分ずつ周波数分析する分析部とを備え、分析部は、周波数分析結果である各頻度分布内の、被験者が実施する所定の作業において発生する作業音に対応する周波数成分の頻度分布を比較することによって、時間の経過に伴う被験者の所定の作業に要する時間の変化を示す情報を生成することを特徴とする。
　本発明による動作分析方法は、音声を取得し、取得された音声を所定時間分ずつ周波数分析し、周波数分析結果である各頻度分布内の、被験者が実施する所定の作業において発生する作業音に対応する周波数成分の頻度分布を比較することによって、時間の経過に伴う被験者の所定の作業に要する時間の変化を示す情報を生成することを特徴とする。
　本発明による動作分析プログラムは、コンピュータに、音声を取得する取得処理、取得された音声を所定時間分ずつ周波数分析する分析処理、および周波数分析結果である各頻度分布内の、被験者が実施する所定の作業において発生する作業音に対応する周波数成分の頻度分布を比較することによって、時間の経過に伴う被験者の所定の作業に要する時間の変化を示す情報を生成する生成処理を実行させることを特徴とする。
　本発明によれば、被験者に大きな負担をかけることなく、基準値を用いずに習熟度や疲労の影響による作業に要する時間の変化を把握できる。
本発明による動作分析装置の第１の実施形態の構成例を示すブロック図である。 第１の実施形態の動作分析装置１００による分析処理の動作を示すフローチャートである。 作業員が作業に要する作業時間の経日変化の例を示す説明図である。 本発明による動作分析装置の第２の実施形態の構成例を示すブロック図である。 第２の実施形態の動作分析装置１００による分析処理の動作を示すフローチャートである。 本発明による動作分析装置の第３の実施形態の構成例を示すブロック図である。 第３の実施形態の動作分析装置１００による分析処理の動作を示すフローチャートである。 本発明による動作分析装置の第４の実施形態の構成例を示すブロック図である。 第４の実施形態の動作分析装置１００による分析処理の動作を示すフローチャートである。 本発明による動作分析装置の本実施例の構成例を示すブロック図である。 本実施例における分析部２０５が算出する周期に対する頻度分布の例を示す説明図である。 本発明による動作分析装置の概要を示すブロック図である。
実施形態１．
［構成の説明］
　以下、本発明の実施形態を、図面を参照して説明する。図１は、本発明による動作分析装置の第１の実施形態の構成例を示すブロック図である。
　図１に示す動作分析装置１００は、マイクロフォン（以下、マイクという。）１０１、特徴点抽出部１０２、分析部１０３、および通知部１０４を備える。
　例えば、作業員が箱Ａから部品ａを取り、箱Ｂから別の部品ｂを取り、部品ａと部品ｂを組み合わせて箱Ｃに入れる作業を行う場合を考える。
　作業員が、箱Ａから部品ａを取る、箱Ｂから部品ｂを取る、部品ａと部品ｂを組み合わせる、箱Ｃに入れる、という各動作において音や振動が発生することが想定される。作業員が作業する机などの上に音声を検出するセンサが設置された場合、設置されたセンサは、可聴音だけでなく振動も音として検出できる。
　作業員の各動作において音や振動が発生する場合、例えば同じ作業を繰り返し実施する作業員の周辺で発生する作業音の間隔などを比較すれば、作業員の生産性の変化を把握できると考えられる。
　マイク１０１は、作業員による作業において発生した作業音が含まれる音声を所定時間集音する機能を有する。マイク１０１は、例えば、工場の作業員の周辺の音声を集音する。マイク１０１は、集音した音声を特徴点抽出部１０２に入力する。
　なお、マイク１０１は、集音した音声を録音する機能を有していてもよい。上記の例であれば、録音モードのマイク１０１が作業台に設置された場合、マイク１０１は、作業において発生する音や振動を録音できる。
　また、携帯端末には音声を検出するデバイスが搭載されていることが多いため、動作分析装置１００は、携帯端末に搭載されているデバイスをマイク１０１として利用してもよい。
　特徴点抽出部１０２は、マイク１０１から入力された音声の中から、時間変化が多く見られる音声を抽出する機能を有する。
　例えば、マイク１０１が複数の集音部（図示せず）を有する場合、マイク１０１は、異なる種類の音声を同時に集音できる。特徴点抽出部１０２は、入力された複数の音声の中から、時間変化が多く見られる音声のみを抽出する。なお、動作分析装置１００は、特徴点抽出部１０２を備えていなくてもよい。
　分析部１０３は、作業員の習熟度や疲労などが作業の生産性に与えた影響を示す指標を算出する機能を有する。本実施形態において、分析部１０３は、音声の音量の時間変化量（時系列データ）、所定の音程の音量の時間変化量、または音程の時間変化量などを周波数成分に分解する周波数分析を行う。
　分析部１０３は、周波数分析を行うことによって、各周波数成分の頻度が示された頻度分布を作成する。また、分析部１０３は、各周期成分の頻度が示された頻度分布を作成してもよい。
　作成された頻度分布を用いて、分析部１０３は、作業員の習熟度や疲労などが作業の生産性に与えた影響を示す指標を算出できる。なお、具体的な指標の算出方法は、後述する動作の説明、および実施例において説明する。
　通知部１０４は、作業員の監督者などに対して、分析部１０３による算出結果を通知する機能を有する。
　なお、本実施形態の動作分析装置１００は、例えば、記憶媒体に格納されているプログラムに従って処理を実行するＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）によって実現される。すなわち、マイク１０１、特徴点抽出部１０２、分析部１０３、および通知部１０４は、例えば、プログラム制御に従って処理を実行するＣＰＵによって実現される。
　また、動作分析装置１００における各部は、ハードウェア回路によって実現されてもよい。
　また、マイク１０１として、集音機能や録音機能を有するスマートフォンなどの携帯電話機を使用することもできる。
［動作の説明］
　以下、本実施形態の動作分析装置１００の動作を図２を参照して説明する。図２は、第１の実施形態の動作分析装置１００による分析処理の動作を示すフローチャートである。
　マイク１０１は、作業員による作業において発生した作業音が含まれる音声を、所定時間集音する（ステップＳ１０１）。ステップＳ１０１において、マイク１０１は、集音された音声を録音してもよい。
　次いで、マイク１０１は、集音された音声を特徴点抽出部１０２に入力する。なお、マイク１０１は、録音された音声を特徴点抽出部１０２に入力してもよい。
　次いで、特徴点抽出部１０２は、入力された音声の中から、時間変化が多く見られる音声を抽出する。特徴点抽出部１０２は、抽出された音声を分析部１０３に入力する（ステップＳ１０２）。
　次いで、分析部１０３は、入力された音声における時間変化量に対して周波数分析を行い、時間変化量を周波数成分に分解する（ステップＳ１０３）。周波数成分に分解する方法として、分析部１０３は、例えばフーリエ変換を用いる。
　図２に示す例において、分析部１０３は、音声を１時間分ずつ周波数分析する。分析部１０３は、入力された全ての音声に対して、周波数分析を繰り返し行う。
　周波数分析が繰り返し実施されることによって、１時間分の音声に基づいた周波数成分の頻度分布が複数生成される。分析部１０３は、頻度が所定値以下の周波数成分をノイズと判断し、生成された頻度分布から除去する（ステップＳ１０４）。
　ステップＳ１０４の処理の後、分析部１０３は、生成された各頻度分布における、周波数成分のばらつき量の算出と、最長周期の算出を並列に行う。
　分析部１０３は、生成された各頻度分布において、頻度の大きい周波数成分を複数選択する。分析部１０３は、選択された各周波数成分のばらつき量を算出する（ステップＳ１０５）。なお、分析部１０３は、全ての周波数成分のばらつき量を算出してもよい。
　例えば、分析部１０３は、選択された周波数成分の頻度の所定の割合（例えば、８０％）の頻度を有する周波数成分が、選択された周波数成分からどの程度離れているかを、ばらつき量として算出する。ばらつき量の単位は、ばらつき量が周波数成分間の距離に対応するのであれば、どのような単位でもよい。
　次いで、分析部１０３は、各頻度分布において算出された各周波数成分のばらつき量の総和を、頻度分布ごとに算出する（ステップＳ１０６）。
　次いで、分析部１０３は、算出されたばらつき量の総和の変化量を算出する（ステップＳ１０７）。具体的には、分析部１０３は、作業時間が経過するにつれてばらつき量の総和がどのように変化するかを確認する。
　次いで、分析部１０３は、算出されたばらつき量の総和の時間経過に伴う変化量が負であるか否かを判定する（ステップＳ１０８）。すなわち、分析部１０３は、作業時間が経過するにつれてばらつき量の総和が減少したか否かを判定する。
　ばらつき量の総和の時間経過に伴う変化量が負である、すなわちばらつき量の総和が減少していると判定された場合（ステップＳ１０８における負）、通知部１０４は、慣れによる効果の指標として、算出されたばらつき量の総和の変化量を通知する（ステップＳ１０９）。
　通知部１０４が通知するばらつき量の総和の変化量は、被験者の所定の作業に対する慣れによる効果が生じていることを示す。例えば、ばらつき量の総和の変化量に「被験者の所定の作業に対する慣れによる効果」という文字情報が含まれていてもよい。
　慣れによる効果の指標として算出されたばらつき量の総和の変化量を通知する理由は、作業に慣れた作業員の場合、各回の作業に要する時間が均一になりやすいためである。上記の作業の例であれば、作業に不慣れな作業員が箱Ａの位置および箱Ｂの位置を確認する時間、箱の中に入っている部品をつかむ時間、部品ａと部品ｂを組み合わせる時間などの各作業に要する時間は、各回に渡って均一になりにくい。
　しかし、作業に慣れた作業員であれば常に所定の速さで各作業を処理できるため、各回の作業に要する時間は均一になりやすい。すなわち、作業員が作業に慣れると、頻度分布において算出されるばらつき量の総和が減少するため、慣れによる効果の指標として通知することが適切であるためである。
　ばらつき量の総和の時間経過に伴う変化量が正である、すなわちばらつき量の総和が増加していると判定された場合（ステップＳ１０８における正）、通知部１０４は、疲労による影響の指標として、算出されたばらつき量の総和の変化量を通知する（ステップＳ１１０）。
　通知部１０４が通知するばらつき量の総和の変化量は、被験者の疲労による影響が生じていることを示す。例えば、ばらつき量の総和の変化量に「被験者の疲労による影響」という文字情報が含まれていてもよい。
　疲労による影響の指標として算出されたばらつき量の総和の変化量を通知する理由は、例えば、作業員が疲労すると、部品をつかみ損ねたり部品を落としたりした後に再度部品をつかむなど、無駄な作業が不規則に発生することが多くなる。
　作業員が同じ時間で作業を繰り返し実施できる可能性が低くなると、各回の作業に要する時間が均一になりにくい。すなわち、作業員が疲労すると、頻度分布において算出されるばらつき量の総和が増加するため、疲労による影響の指標として通知することが適切であるためである。
　また、分析部１０３は、生成された各頻度分布における最長周期を算出する（ステップＳ１１１）。具体的には、分析部１０３は、頻度が所定値以上の周波数成分の中で、値が最小の周波数成分を選択する。分析部１０３は、選択された周波数成分の逆数を、頻度分布における最長周期として算出する。算出された最長周期は、１回の作業の実施に要する時間に相当する。
　次いで、分析部１０３は、各頻度分布において算出された最長周期の平均値を算出する（ステップＳ１１２）。例えば、分析部１０３は、各作業日の最長周期の平均値を算出する。
　次いで、分析部１０３は、作業時間の経過に伴う最長周期の平均値の変化量を算出する（ステップＳ１１３）。
　次いで、通知部１０４は、作業員の作業に対する習熟度を示す指標として、算出された最長周期の平均値の変化量を通知する（ステップＳ１１４）。
　図３は、作業員が作業に要する作業時間の経日変化の例を示す説明図である。図３に示すように、作業員は、例えば１日目に平均で１０秒を要した作業を、作業に対する習熟度が増すことによって、２日目以降は９秒や８秒などの１日目より短い時間で作業できることが想定される。通知部１０４は、最長周期の平均値の変化量を、作業に要する時間の変化量として通知する。
　また、図３に示すように、最初の数日は作業時間の短縮幅が大きくても、３日目以降は短縮幅が徐々に小さくなることが想定される。時間の経過と共に作業員の作業に対する習熟度が増し、作業時間は短くなることが想定される。また、時間の経過と共に作業時間の短縮幅、すなわち作業時間の変化量は小さくなることが想定される。通知部１０４から作業員の作業に要する時間の変化量を受け取ることによって、監督者は、作業員の作業の習熟度の変化を把握できる。
　慣れによる効果の指標としての変化量の通知または疲労による影響の指標としての変化量の通知、および習熟度を示す指標としての変化量の通知を終えた後、動作分析装置１００は、分析処理を終了する。
　本実施形態の動作分析装置を使用した場合、被験者のそれぞれの工程における学習効果、疲労、素養（適正）、気温などの周辺環境などによる作業員の生産性への影響の分析が容易になる。
　その理由は、分析部１０３が周期性の変化や、抽出された各周期のばらつき量の大きさから習熟度や疲労の影響による生産性の変化量を算出し、通知部１０４が算出された値を提供するためである。
　また、本実施形態の動作分析装置を使用した場合、作業員の生産性が容易に算出される。その理由は、一般的な動作分析装置が使用する基準になるデータが本実施形態では使用されないため、基準データの作成や、基準データとの照合などの工程が不要になるからである。
　本実施形態の動作分析装置１００は、被験者に大きな負担をかけることなく、基準値を用いずに習熟度や疲労の影響による作業に要する時間の変化を把握できる。その理由は、分析対象になる作業音は被験者の作業において自然に発生する音であり、取得にあたり被験者への負担が発生しないためである。また、分析部１０３が所定時間に渡って取得されたデータの周波数分析結果の経時変化を確認するので、基準になるデータが使用されないためである。
実施形態２．
［構成の説明］
　次に、本発明の第２の実施形態を、図面を参照して説明する。図４は、本発明による動作分析装置の第２の実施形態の構成例を示すブロック図である。
　図４に示すように、本実施形態の動作分析装置１００は、図１に示す動作分析装置１００と比較して、マイク１０１の代わりにカメラ１０５が含まれている点が異なる。カメラ１０５以外の図４に示す動作分析装置１００の構成は、図１に示す動作分析装置１００の構成と同様である。
　カメラ１０５は、作業員の作業状況を撮影する機能を有する。例えば、カメラ１０５は、作業員の作業状況を映像として撮影する。また、カメラ１０５は、作業員の作業状況を画像として撮影してもよい。
　また、本実施形態の特徴点抽出部１０２は、カメラ１０５から入力された映像などにおいて、明るさの時間変化が多く見られる点を特徴点として抽出する機能を有する。
　例えば、カメラ１０５が、作業員による上記の一連の作業を映像として作業開始時刻から撮影した場合を考える。１回の作業につき、作業員の手が箱Ａの近傍、箱Ｂの近傍、箱Ｃの近傍、部品ａと部品ｂが置かれる机の近傍を１回通過するとする。
　すなわち、作業員の手の色が背景色と異なっていれば、カメラ１０５が撮影した映像における箱Ａの近傍の明るさ（明度）、箱Ｂの近傍の明るさ、箱Ｃの近傍の明るさ、および部品ａと部品ｂが置かれる机の近傍の明るさは、１回の作業につき１回変化する。また、作業に要する時間が短い手際の良い作業員であれば、手の動きが速いため、各箇所の明るさが速く変化する。
　よって、映像などにおける明るさの時間変化が分析対象になり得るため、特徴点抽出部１０２は、カメラ１０５から入力された映像などにおいて、明るさの時間変化が多く見られる点を特徴点として抽出する。
　また、特徴点抽出部１０２は、カメラ１０５から入力された映像などにおいて、色（色相）の時間変化が多く見られる点を特徴点として抽出してもよい。特徴点抽出部１０２が色の時間変化が多く見られる点を特徴点として抽出する場合、本実施形態の動作分析装置１００は、例えば、明るさは変化せず色のみが変化するカラー映像などを処理できる。
　本実施形態の分析部１０３には、特徴点抽出部１０２から、映像などにおいて、明るさの時間変化または色の時間変化が多く見られる特徴点が入力される。
　なお、カメラ１０５として、撮影機能を有するスマートフォンなどの携帯電話機を使用することもできる。
［動作の説明］
　以下、本実施形態の動作分析装置１００の動作を図５を参照して説明する。図５は、第２の実施形態の動作分析装置１００による分析処理の動作を示すフローチャートである。
　カメラ１０５は、作業員の作業状況を、所定時間撮影する（ステップＳ２０１）。本例において、カメラ１０５は、作業員の作業状況を映像として撮影する。カメラ１０５は、撮影された映像を特徴点抽出部１０２に入力する。
　次いで、特徴点抽出部１０２は、カメラ１０５から入力された映像において、明るさの時間変化または色の時間変化が多く見られる点を特徴点として抽出する。特徴点抽出部１０２は、抽出された特徴点を分析部１０３に入力する（ステップＳ２０２）。
　次いで、分析部１０３は、入力された特徴点における、映像の明るさの時間変化量または映像の色の時間変化量に対して周波数分析を行い、時間変化量を周波数成分に分解する（ステップＳ２０３）。
　ステップＳ２０４～ステップＳ２１４の処理は、図２に示す第１の実施形態のステップＳ１０４～ステップＳ１１４の処理と同様であるため、説明を省略する。
　本実施形態によれば、動作分析装置１００は、作業に要する時間の変化をより細かく把握できる。その理由は、第１の実施形態のマイクに比べて、カメラがより多くの作業における変化を捉えることができるためである。
実施形態３．
［構成の説明］
　次に、本発明の第３の実施形態を、図面を参照して説明する。図６は、本発明による動作分析装置の第３の実施形態の構成例を示すブロック図である。
　図６に示すように、本実施形態の動作分析装置１００は、図４に示す動作分析装置１００と比較して、カメラ１０６と特徴点抽出部１０７が含まれている点が異なる。カメラ１０６と特徴点抽出部１０７以外の図６に示す動作分析装置１００の構成は、図４に示す動作分析装置１００の構成と同様である。なお、動作分析装置１００は、カメラを３台以上備えてもよい。
　カメラ１０５とカメラ１０６は、それぞれ異なる種類の映像などを撮影する。すなわち、特徴点抽出部１０２と特徴点抽出部１０７がそれぞれ抽出する特徴点も異なる。
　なお、特徴点抽出部１０２または特徴点抽出部１０７は、１台のカメラが撮影した映像などから、複数の特徴点をそれぞれ抽出してもよい。
　本実施形態の分析部１０３は、入力されたそれぞれの特徴点における、映像の明るさの時間変化量または映像の色の時間変化量に対して周波数分析を行い、周波数成分の頻度分布をそれぞれ作成する。また、分析部１０３は、作成された各特徴点に対応する頻度分布を合算し、新たに作成された頻度分布を分析する。
［動作の説明］
　以下、本実施形態の動作分析装置１００の動作を図７を参照して説明する。図７は、第３の実施形態の動作分析装置１００による分析処理の動作を示すフローチャートである。
　カメラ１０５およびカメラ１０６は、作業員の作業状況を、所定時間撮影する（ステップＳ３０１）。本例において、カメラ１０５およびカメラ１０６は、作業員の作業状況を映像として撮影する。
　次いで、カメラ１０５は、撮影された映像を特徴点抽出部１０２に入力する。また、カメラ１０６は、撮影された映像を特徴点抽出部１０７に入力する。
　次いで、特徴点抽出部１０２は、カメラ１０５から入力された映像において、明るさの時間変化または色の時間変化が多く見られる点を特徴点として抽出する。特徴点抽出部１０２は、抽出された特徴点を分析部１０３に入力する。
　また、特徴点抽出部１０７は、カメラ１０６から入力された映像において、明るさの時間変化または色の時間変化が多く見られる点を特徴点として抽出する。特徴点抽出部１０７は、抽出された特徴点を分析部１０３に入力する（ステップＳ３０２）。
　次いで、分析部１０３は、入力された各特徴点における、映像の明るさの時間変化量または映像の色の時間変化量に対して周波数分析を行い、時間変化量を周波数成分に分解する。分析部１０３は、周波数分析により得られた各特徴点に対応する頻度分布を合算し、新たな頻度分布を生成する（ステップＳ３０３）。
　ステップＳ３０４～ステップＳ３１４の処理は、図２に示す第１の実施形態のステップＳ１０４～ステップＳ１１４の処理と同様であるため、説明を省略する。
　本実施形態の動作分析装置１００は、より正確な作業の生産性を示す指標を算出できる。その理由は、複数のカメラが撮影した映像などから複数の特徴点が抽出され、分析部が多くの頻度分布を得ることができるためである。
実施形態４．
［構成の説明］
　次に、本発明の第４の実施形態を、図面を参照して説明する。図８は、本発明による動作分析装置の第４の実施形態の構成例を示すブロック図である。
　図８に示すように、本実施形態の動作分析装置１００は、図１に示す動作分析装置１００と比較して、カメラ１０５と特徴点抽出部１０７が含まれている点が異なる。カメラ１０５と特徴点抽出部１０７以外の図８に示す動作分析装置１００の構成は、図１に示す動作分析装置１００の構成と同様である。なお、動作分析装置１００は、マイクとカメラをそれぞれ２台以上備えてもよい。
　上述したように、マイク１０１は、作業員による作業において発生した作業音が含まれる音声を集音する。また、カメラ１０５は、作業員の作業状況を撮影する。すなわち、特徴点抽出部１０２と特徴点抽出部１０７がそれぞれ抽出する情報の種類は異なる。
　本実施形態の分析部１０３は、特徴点抽出部１０２と特徴点抽出部１０７から入力されたそれぞれの情報に関する時間変化量に対して周波数分析を行い、周波数成分の頻度分布をそれぞれ作成する。また、分析部１０３は、作成された各頻度分布を合算し、新たに作成された頻度分布を分析する。
［動作の説明］
　以下、本実施形態の動作分析装置１００の動作を図９を参照して説明する。図９は、第４の実施形態の動作分析装置１００による分析処理の動作を示すフローチャートである。
　マイク１０１は、作業員による作業において発生した作業音が含まれる音声を、所定時間集音する（ステップＳ４０１）。次いで、マイク１０１は、集音された音声を特徴点抽出部１０２に入力する。
　次いで、特徴点抽出部１０２は、入力された音声の中から、時間変化が多く見られる音声を抽出する。特徴点抽出部１０２は、抽出された音声を分析部１０３に入力する（ステップＳ４０２）。
　また、カメラ１０５は、作業員の作業状況を、所定時間撮影する（ステップＳ４０３）。本例において、カメラ１０５は、作業員の作業状況を映像として撮影する。次いで、カメラ１０５は、撮影された映像を特徴点抽出部１０７に入力する。
　次いで、特徴点抽出部１０７は、カメラ１０５から入力された映像において、明るさの時間変化または色の時間変化が多く見られる点を特徴点として抽出する。特徴点抽出部１０７は、抽出された特徴点を分析部１０３に入力する（ステップＳ４０４）。
　次いで、分析部１０３は、入力された各情報に関する時間変化量に対して周波数分析を行い、時間変化量を周波数成分に分解する。分析部１０３は、周波数分析により得られた各頻度分布を合算し、新たな頻度分布を生成する（ステップＳ４０５）。
　ステップＳ４０６～ステップＳ４１６の処理は、図２に示す第１の実施形態のステップＳ１０４～ステップＳ１１４の処理と同様であるため、説明を省略する。
　本実施形態の動作分析装置１００は、より正確な作業の生産性を示す指標を算出できる。その理由は、分析部が、複数のデバイスにより取得された種類が異なる時間変化量から、多くの頻度分布を得ることができるためである。
［構成の説明］
　以下、本発明の実施例を、図面を参照して説明する。図１０は、本発明による動作分析装置の本実施例の構成例を示すブロック図である。本実施例における動作分析装置２００は、工場の生産ラインで働く作業員の生産性を定量化する。
　図１０に示すように、動作分析装置２００は、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ　Ｓｅｒｉａｌ　Ｂｕｓ）カメラ２０１と、パーソナルコンピュータ（以下、ＰＣという。）２０２とを備える。また、ＰＣ２０２は、バッファ２０３と、特徴点抽出部２０４と、分析部２０５と、通知部２０６とを含む。
　ＵＳＢカメラ２０１、特徴点抽出部２０４、分析部２０５、および通知部２０６は、それぞれカメラ１０５、特徴点抽出部１０２、分析部１０３、および通知部１０４と同様の機能を有する。
　また、図１０に示すＰＣ２０２には、一般的なビデオキャプチャソフトウェアが導入されている。ビデオキャプチャソフトウェアは、ＵＳＢカメラ２０１が撮影した映像を編集した上で、バッファ２０３に格納する。図１０に示すように、ＵＳＢカメラと、ビデオキャプチャソフトウェアが導入されたＰＣを用いることによって、第２の実施形態の動作分析装置が実現される。
［動作の説明］
　以下、本実施例の動作分析装置２００の動作を図５を参照して説明する。
　ＵＳＢカメラ２０１は、作業員の作業状況を、所定時間映像として撮影する（ステップＳ２０１）。ビデオキャプチャソフトウェアは、ＵＳＢカメラ２０１が撮影した映像を編集した上で、バッファ２０３に格納する。
　特徴点抽出部２０４には、例えば、バッファ２０３から６４０×４８０ピクセルの大きさのビットマップが、毎秒１０フレーム入力される。特徴点抽出部２０４は、指定された座標の画素の明るさを算出する汎用のライブラリを用いて、過去１秒間（１０フレーム）における全画素それぞれの明るさの移動平均を算出する。本実施例における全画素数は、６４０×４８０＝３０７２００画素である。
　次いで、特徴点抽出部２０４は、全画素に関して直近の６０秒間において明るさが所定値以上変化した回数を算出する。特徴点抽出部２０４は、変化した回数が最も大きな画素を特徴点として選択する。特徴点抽出部２０４は、選択された特徴点を分析部２０５に入力する（ステップＳ２０２）。
　次いで、分析部２０５は、入力された特徴点における、映像の明るさの時間変化量に対して周波数分析を行い、時間変化量を周波数成分に分解する（ステップＳ２０３）。分析部２０５は、得られた結果からノイズなどを除去して、周波数成分の頻度分布を作成する（ステップＳ２０４）。
　例えば、ステップＳ２０４の処理で、図１１に示す頻度分布が得られた場合を考える。図１１は、本実施例における分析部２０５が作成する周期成分の頻度分布の例を示す説明図である。図１１に示す頻度分布は、例えば、周波数成分の頻度分布の横軸を周期に変換することによって作成される。
　図１１に示す頻度分布では、８秒、１５秒、５５秒の各周期成分の頻度が極大値をとる。８秒、１５秒、５５秒の各周期成分の頻度を、それぞれf1(t)、f2(t)、f3(t)と呼ぶ。なお、tは、周波数分析の対象データの取得が開始された時刻である。
　次いで、分析部２０５は、８秒、１５秒、５５秒の各周期成分のばらつき量を、頻度分布ごとに算出する（ステップＳ２０５）。
　分析部２０５は、８秒の周期成分であれば、f1(t)に所定の割合を乗じた値以上の頻度が、図１１に示すf1(t)からどの程度離れた所に存在するかを算出する。本実施例において、f1(t)より左に存在する所定の条件を満たす最小の頻度とf1(t)との距離と、f1(t)より右に存在する所定の条件を満たす最小の頻度とf1(t)との距離とを併せた距離を、８秒の周期成分のばらつき量とする。８秒の周期成分のばらつき量を、d1(t)と呼ぶ。
　なお、本実施例では、便宜上ばらつき量の単位を、頻度分布の横軸に合わせて秒とする。ばらつき量の単位は、ばらつき量が頻度分布間の距離に対応すればどのような単位でもよい。
　分析部２０５は、１５秒の周期成分、５５秒の周期成分に対しても８秒の周期成分と同様に、周期成分のばらつき量を算出する。１５秒の周期成分のばらつき量、５５秒の周期成分のばらつき量を、それぞれd2(t)、d3(t)と呼ぶ。
　図１１に示す頻度分布は、１２時から１３時までの１時間分の映像に対して周波数分析を行うことによって得られた頻度分布である。例えば、d1(t)、d2(t)、d3(t)は、それぞれ以下のような値をとる。
　d1(12:00) = 7秒、d2(12:00) = 2秒、d3(12:00) = 3秒
　同様に、１３時から１４時までの映像に対応する頻度分布、１４時から１５時までの映像に対応する頻度分布、１５時から１６時までの映像に対応する頻度分布において、d1(t)、d2(t)、d3(t)が、例えばそれぞれ以下のような値をとる。
　d1(13:00) = 6秒、d2(13:00) = 3秒、d3(13:00) = 3秒
　d1(14:00) = 9秒、d2(14:00) = 3秒、d3(14:00) = 2秒
　d1(15:00) = 7秒、d2(15:00) = 2秒、d3(15:00) = 3秒
　次いで、分析部２０５は、頻度分布ごとに周期成分のばらつき量の総和S(t)=d1(t)+d2(t)+d3(t)を算出する（ステップＳ２０６）。
　次いで、分析部２０５は、ばらつき量の総和の、頻度分布間の変化量S(t+Δt)-S(t)を算出する（ステップＳ２０７）。分析部２０５は、算出されたばらつき量の総和の時間経過に伴う変化量が負であるか否か、すなわちばらつき量の総和が減少しているか否かを判定する（ステップＳ２０８）。本実施例において、Δtは１時間である。
　S(t+Δt)-S(t)<0の場合（ステップＳ２０８における負）、通知部２０６は、慣れによる効果の指標として、算出されたばらつき量の総和の変化量｜S(t+Δt)-S(t)｜を通知する（ステップＳ２０９）。なお、通知部２０６は、計算結果であるS(t+Δt)-S(t)そのものを通知してもよい。
　S(t+Δt)-S(t)>0の場合（ステップＳ２０８における正）、通知部２０６は、疲労による影響の指標として、算出されたばらつき量の総和の変化量｜S(t+Δt)-S(t)｜を通知する（ステップＳ２１０）。なお、通知部２０６は、計算結果であるS(t+Δt)-S(t)そのものを通知してもよい。
　周期成分のばらつき量の算出と並行して、分析部２０５は、頻度分布において極大値をとる頻度に対応する周期の中で最も長い周期、すなわち１回の作業に要する時間を決定する（ステップＳ２１１）。
　図１１に示す頻度分布の例において、極大値をとる頻度に対応する周期の中で最も長い周期は、f3(t)に対応する周期である。本実施例において、f3(t)に対応する周期をp(t)とする。
　次いで、分析部２０５は、p(t)の１日の平均周期P(day)を算出する（ステップＳ２１２）。P(day)は、例えば、以下の式で算出される。
　P(day)=[p(0:00)+p(1:00)+・・・+p(23:00)]/24
　なお、P(day)は、上記以外の式で算出されてもよい。例えば、日中のみ行われる作業員の作業を分析する場合であれば、取得されるp(t)は、例えば、p(9:00)、p(10:00)、・・・、p(17:00)になる。分析部２０５は、取得されるp(t)の数に応じて、P(day)を算出する式を変更すればよい。
　次いで、分析部２０５は、算出された平均周期P(day)の変化量｜P(d+Δd)－P(d)｜を算出する（ステップＳ２１３）。Δdは、例えば１日である。
　次いで、通知部２０６は、算出された変化量を、習熟度を示す指標として通知する（ステップＳ２１４）。なお、通知部２０６は、計算結果であるP(d+Δd)－P(d)そのものを通知してもよい。
　慣れによる効果の指標としての変化量の通知または疲労による影響の指標としての変化量の通知、および習熟度を示す指標としての変化量の通知を終えた後、動作分析装置２００は、分析処理を終了する。
　本実施例の動作分析装置は、特徴点抽出部２０４が、被験者が撮影された映像から、明るさの時間変化または色の時間変化が多く見られる点の座標を選択する。次いで、分析部２０５が、選択された座標における明るさの時間変化量または色の時間変化量を周波数分析し、周期成分の頻度分布を作成する。分析部２０５は、長期の周期成分の頻度分布間における変動から、習熟度を算出する。また、分析部２０５は、周期成分のばらつき量の頻度分布間における変動から、作業に対する慣れによる効果または疲労による影響を算出する。通知部２０６は、分析部２０５が算出した値を、監督者に対して通知する。
　よって、本実施例の動作分析装置は、作業員への負担を増やすことなく、習熟度や疲労の影響による生産性の変化を数値化できる。動作分析装置は取得されたデータを基準データと照合せずに生産性の変化を把握できるため、使用者は、事前に基準データを作成することが求められない。
　次に、本発明の概要を説明する。図１２は、本発明による動作分析装置の概要を示すブロック図である。本発明による動作分析装置１０は、音声を取得する取得部１１（例えば、マイク１０１）と、取得された音声を所定時間分ずつ周波数分析する分析部１２（例えば、分析部１０３）とを備え、分析部１２は、周波数分析結果である各頻度分布内の、被験者が実施する所定の作業において発生する作業音に対応する周波数成分の頻度分布を比較することによって、時間の経過に伴う被験者の所定の作業に要する時間の変化を示す情報を生成する。
　そのような構成により、動作分析装置は、被験者に大きな負担をかけることなく、基準値を用いずに習熟度や疲労の影響による作業に要する時間の変化を把握できる。
　また、動作分析装置１０は、取得部１１により取得された種類が異なる複数の音声の中から、時間変化が最も多く見られる音声を抽出する抽出部（例えば、特徴点抽出部１０２）を備えてもよい。
　そのような構成により、動作分析装置は、分析する必要のない音声を分析せずに済む。
　また、取得部１１は、所定の作業を実施する被験者を示す画像を取得し、抽出部は、取得された複数の画像において、明るさの時間変化または色の時間変化が最も多く見られる箇所を抽出し、分析部１２は、複数の画像から得られる、抽出された箇所における明るさの時系列データ、または色の時系列データを所定時間分ずつ周波数分析し、周波数分析結果である各頻度分布内の、所定の作業により発生する明るさの時間変化または色の時間変化に対応する周波数成分の頻度分布を比較することによって、時間の経過に伴う被験者の所定の作業に要する時間の変化を示す情報を生成してもよい。
　そのような構成により、動作分析装置は、被験者の作業の様子が撮影された映像を用いて、被験者の作業に要する時間の変化を把握できる。
　また、動作分析装置１０は、生成された所定の作業に要する時間の変化を示す情報を通知する通知部（例えば、通知部１０４）を備えてもよい。
　そのような構成により、動作分析装置は、被験者の作業に要する時間の変化を監督者に通知できる。
　また、分析部１２は、頻度分布において頻度が極大値をとる所定の作業に関する周波数成分を特定し、特定された周波数成分から所定の条件を満たす周波数成分までの頻度分布における幅の値を取得し、各頻度分布から取得された幅の値の時間の経過に伴う変化量を、所定の作業に要する時間の変化を示す情報として生成してもよい。
　そのような構成により、動作分析装置は、被験者の作業に要する時間のばらつきの程度の変化を把握できる。
　また、分析部１２は、負である変化量に、「被験者の所定の作業に対する慣れによる効果」という文字情報を含め、正である変化量に、「被験者の疲労による影響」という文字情報を含めてもよい。
　そのような構成により、動作分析装置は、被験者の作業に要する時間のばらつきの程度の変化が示す被験者の作業における変化を、監督者に通知できる。
　また、分析部１２は、頻度分布において頻度が極大値をとる所定の作業に関する周波数成分に対応する周期の中から最長の周期を特定し、各頻度分布において特定された最長の周期の時間の経過に伴う変化量を、所定の作業に要する時間の変化を示す情報として生成してもよい。
　そのような構成により、動作分析装置は、被験者の１工程分の作業に要する時間の変化を把握できる。
　また、分析部１２は、各頻度分布において特定された最長の周期の、各作業日における平均値を算出し、算出された各平均値の、時間の経過に伴う変化量を所定の作業に要する時間の変化を示す情報として生成してもよい。
　そのような構成により、動作分析装置は、被験者の１工程分の作業に要する時間の経日変化を把握できる。
　また、分析部１２は、取得された音声における音量、特定の音程の音量、または音程を所定時間ごとに周波数分析してもよい。
　また、取得部１１は、所定の作業を実施する被験者を示す画像を取得し、抽出部は、取得された複数の画像において、明るさの時間変化または色の時間変化が多く見られる複数の箇所を抽出し、分析部１２は、複数の画像から得られる、抽出された各箇所における明るさの時系列データ、または色の時系列データを周波数分析し、周波数分析結果である各頻度分布を合算し、合算された頻度分布を比較してもよい。
　また、分析部１２は、音声を周波数分析して得られた頻度分布と、明るさの時系列データ、または色の時系列データを周波数分析して得られた頻度分布とを合算し、合算された頻度分布を比較してもよい。
　以上、実施形態および実施例を参照して本願発明を説明したが、本願発明は上記実施形態および実施例に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
　この出願は、２０１５年６月１０日に出願された日本特許出願２０１５－１１７２３０を基礎とする優先権を主張し、その開示の全てをここに取り込む。
産業上の利用の可能性
　本発明は、工場、料理場、内職、交通整理などに従事する作業員の生産性を定量的に把握する用途に好適に適用可能である。また、気温などの周辺環境が作業員の生産性に与える影響を分析する用途にも好適に適用可能である。さらに、繰り返し作業を行う工作機械の老朽化を検出する用途にも好適に適用可能である。
１０、１００、２００　動作分析装置
１１　取得部
１２　分析部
１０１　マイクロフォン（マイク）
１０２、１０７、２０４　特徴点抽出部
１０３、２０５　分析部
１０４、２０６　通知部
１０５、１０６　カメラ
２０１　ＵＳＢカメラ
２０２　ＰＣ
２０３　バッファ

Claims (10)

  1. 　音声を取得する取得部と、
    　取得された前記音声を所定時間分ずつ周波数分析する分析部とを備え、
    　前記分析部は、周波数分析結果である各頻度分布内の、被験者が実施する所定の作業において発生する作業音に対応する周波数成分の頻度分布を比較することによって、時間の経過に伴う前記被験者の前記所定の作業に要する時間の変化を示す情報を生成する
    　ことを特徴とする動作分析装置。
  2. 　取得部により取得された種類が異なる複数の音声の中から、時間変化が最も多く見られる音声を抽出する抽出部を備える
    　請求項１記載の動作分析装置。
  3. 　取得部は、所定の作業を実施する被験者を示す画像を取得し、
    　抽出部は、取得された複数の前記画像において、明るさの時間変化または色の時間変化が最も多く見られる箇所を抽出し、
    　分析部は、
    　複数の前記画像から得られる、抽出された前記箇所における明るさの時系列データ、または色の時系列データを所定時間分ずつ周波数分析し、
    　周波数分析結果である各頻度分布内の、前記所定の作業により発生する明るさの時間変化または色の時間変化に対応する周波数成分の頻度分布を比較することによって、時間の経過に伴う前記被験者の前記所定の作業に要する時間の変化を示す情報を生成する
    　請求項１または請求項２記載の動作分析装置。
  4. 　生成された所定の作業に要する時間の変化を示す情報を通知する通知部を備える
    　請求項１から請求項３のうちのいずれか１項に記載の動作分析装置。
  5. 　分析部は、
    　頻度分布において頻度が極大値をとる所定の作業に関する周波数成分を特定し、
    　特定された前記周波数成分から所定の条件を満たす周波数成分までの前記頻度分布における幅の値を取得し、
    　各頻度分布から取得された幅の値の時間の経過に伴う変化量を、前記所定の作業に要する時間の変化を示す情報として生成する
    　請求項１から請求項４のうちのいずれか１項に記載の動作分析装置。
  6. 　分析部は、
    　負である変化量に、「被験者の所定の作業に対する慣れによる効果」という文字情報を含め、
    　正である変化量に、「被験者の疲労による影響」という文字情報を含める
    　請求項５記載の動作分析装置。
  7. 　分析部は、
    　頻度分布において頻度が極大値をとる所定の作業に関する周波数成分に対応する周期の中から最長の周期を特定し、
    　各頻度分布において特定された最長の周期の時間の経過に伴う変化量を、前記所定の作業に要する時間の変化を示す情報として生成する
    　請求項１から請求項６のうちのいずれか１項に記載の動作分析装置。
  8. 　分析部は、
    　各頻度分布において特定された最長の周期の、各作業日における平均値を算出し、
    　算出された各平均値の、時間の経過に伴う変化量を所定の作業に要する時間の変化を示す情報として生成する
    　請求項７記載の動作分析装置。
  9. 　音声を取得し、
    　取得された前記音声を所定時間分ずつ周波数分析し、
    　周波数分析結果である各頻度分布内の、被験者が実施する所定の作業において発生する作業音に対応する周波数成分の頻度分布を比較することによって、時間の経過に伴う前記被験者の前記所定の作業に要する時間の変化を示す情報を生成する
    　ことを特徴とする動作分析方法。
  10. 　コンピュータに、
    　音声を取得する取得処理、
    　取得された前記音声を所定時間分ずつ周波数分析する分析処理、および
    　周波数分析結果である各頻度分布内の、被験者が実施する所定の作業において発生する作業音に対応する周波数成分の頻度分布を比較することによって、時間の経過に伴う前記被験者の前記所定の作業に要する時間の変化を示す情報を生成する生成処理
    　を実行させるための動作分析プログラム。
PCT/JP2016/002452 2015-06-10 2016-05-19 動作分析装置、動作分析方法および動作分析プログラム WO2016199356A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US15/575,498 US20180165622A1 (en) 2015-06-10 2016-05-19 Action analysis device, acton analysis method, and analysis program
JP2017523095A JPWO2016199356A1 (ja) 2015-06-10 2016-05-19 動作分析装置、動作分析方法および動作分析プログラム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015-117230 2015-06-10
JP2015117230 2015-06-10

Publications (1)

Publication Number Publication Date
WO2016199356A1 true WO2016199356A1 (ja) 2016-12-15

Family

ID=57503177

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/002452 WO2016199356A1 (ja) 2015-06-10 2016-05-19 動作分析装置、動作分析方法および動作分析プログラム

Country Status (3)

Country Link
US (1) US20180165622A1 (ja)
JP (1) JPWO2016199356A1 (ja)
WO (1) WO2016199356A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018165893A (ja) * 2017-03-28 2018-10-25 日本電気株式会社 作業支援装置、作業支援方法、及び作業支援プログラム
JP2020086506A (ja) * 2018-11-15 2020-06-04 東京瓦斯株式会社 情報処理装置およびプログラム

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7106851B2 (ja) * 2017-12-12 2022-07-27 富士フイルムビジネスイノベーション株式会社 情報処理装置及びプログラム
JP7245139B2 (ja) * 2019-09-26 2023-03-23 株式会社日立製作所 作業支援装置、作業支援システムおよび作業支援方法
CN112766638A (zh) * 2020-12-28 2021-05-07 惠州学院 基于视频图像分析流水线操作人员工作效率的方法及系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002056050A (ja) * 2000-08-09 2002-02-20 Hitachi Plant Eng & Constr Co Ltd 作業内容記録装置
JP2005242418A (ja) * 2004-02-24 2005-09-08 Matsushita Electric Works Ltd 作業評価装置、作業評価方法をコンピュータに実現させる作業評価プログラムおよび当該作業評価プログラムを記憶した記憶媒体
JP2009015529A (ja) * 2007-07-03 2009-01-22 Toshiba Corp 作業分析装置および方法
JP2010102097A (ja) * 2008-10-23 2010-05-06 Sharp Corp 携帯通信装置、表示制御方法、及び表示制御プログラム
JP5027053B2 (ja) * 2008-05-30 2012-09-19 株式会社日立製作所 作業分析装置、生産管理方法及び生産管理システム
JP5525202B2 (ja) * 2009-07-30 2014-06-18 株式会社構造計画研究所 動作分析装置、動作分析方法及び動作分析プログラム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002056050A (ja) * 2000-08-09 2002-02-20 Hitachi Plant Eng & Constr Co Ltd 作業内容記録装置
JP2005242418A (ja) * 2004-02-24 2005-09-08 Matsushita Electric Works Ltd 作業評価装置、作業評価方法をコンピュータに実現させる作業評価プログラムおよび当該作業評価プログラムを記憶した記憶媒体
JP2009015529A (ja) * 2007-07-03 2009-01-22 Toshiba Corp 作業分析装置および方法
JP5027053B2 (ja) * 2008-05-30 2012-09-19 株式会社日立製作所 作業分析装置、生産管理方法及び生産管理システム
JP2010102097A (ja) * 2008-10-23 2010-05-06 Sharp Corp 携帯通信装置、表示制御方法、及び表示制御プログラム
JP5525202B2 (ja) * 2009-07-30 2014-06-18 株式会社構造計画研究所 動作分析装置、動作分析方法及び動作分析プログラム

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018165893A (ja) * 2017-03-28 2018-10-25 日本電気株式会社 作業支援装置、作業支援方法、及び作業支援プログラム
JP2020086506A (ja) * 2018-11-15 2020-06-04 東京瓦斯株式会社 情報処理装置およびプログラム
JP7219593B2 (ja) 2018-11-15 2023-02-08 東京瓦斯株式会社 情報処理装置およびプログラム

Also Published As

Publication number Publication date
US20180165622A1 (en) 2018-06-14
JPWO2016199356A1 (ja) 2018-04-05

Similar Documents

Publication Publication Date Title
WO2016199356A1 (ja) 動作分析装置、動作分析方法および動作分析プログラム
US10721440B2 (en) Video conferencing apparatus and video conferencing method
US11875558B2 (en) Methods and apparatus to generate temporal representations for action recognition systems
CN110659397B (zh) 一种行为检测方法、装置、电子设备和存储介质
JP2019058625A (ja) 感情読み取り装置及び感情解析方法
WO2011148439A1 (ja) 動作解析装置および動作解析方法
GB2583203A (en) Search query enhancement with context analysis
JP2019012328A (ja) 人行動推定システム
JP7222231B2 (ja) 行動認識装置、行動認識方法及びプログラム
CN104751164A (zh) 物体运动轨迹捕捉方法及系统
CN106034240A (zh) 视频检测方法及装置
PL435520A1 (pl) System analizy czynności pracy i sposób analizy czynności pracy
CN108288025A (zh) 一种车载视频监控方法、装置及设备
CN111144351A (zh) 一种工程进度的图像采集与分析系统与方法
CN111325082A (zh) 一种人员专注度分析方法及装置
US20210166180A1 (en) Information processing apparatus, information processing method, and work evaluation system
CN110674728A (zh) 基于视频图像识别玩手机方法、装置、服务器及存储介质
JP2007114885A (ja) 画像の類似性による分類方法及び装置
JP2017109279A (ja) 処理装置、処理方法及び処理プログラム
US9538146B2 (en) Apparatus and method for automatically detecting an event in sensor data
WO2023084715A1 (ja) 情報処理装置、情報処理方法、及びプログラム
WO2020151530A1 (zh) 服装的计件方法、装置及设备
US20220058395A1 (en) Information processing apparatus, information processing method, and program
CN110544270A (zh) 结合语音识别且实时预测人脸追踪轨迹方法及装置
JP7175061B1 (ja) プログラム、情報処理装置、及び方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16807073

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2017523095

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 15575498

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 16807073

Country of ref document: EP

Kind code of ref document: A1