WO2024070189A1 - 要因分析装置及び要因分析方法 - Google Patents

要因分析装置及び要因分析方法 Download PDF

Info

Publication number
WO2024070189A1
WO2024070189A1 PCT/JP2023/027896 JP2023027896W WO2024070189A1 WO 2024070189 A1 WO2024070189 A1 WO 2024070189A1 JP 2023027896 W JP2023027896 W JP 2023027896W WO 2024070189 A1 WO2024070189 A1 WO 2024070189A1
Authority
WO
WIPO (PCT)
Prior art keywords
data
work
sensor data
estimation
contribution
Prior art date
Application number
PCT/JP2023/027896
Other languages
English (en)
French (fr)
Inventor
隼人 土屋
雅臣 飯田
良裕 川上
智彰 田宮
倫瞳 佐野
Original Assignee
川崎重工業株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 川崎重工業株式会社 filed Critical 川崎重工業株式会社
Publication of WO2024070189A1 publication Critical patent/WO2024070189A1/ja

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B25J19/04—Viewing devices
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B23/00—Testing or monitoring of control systems or parts thereof
    • G05B23/02—Electric testing or monitoring

Definitions

  • This application primarily relates to a factor analysis device that identifies the cause of inappropriate work performed by a work machine.
  • Patent Document 1 discloses an information processing device that causes a robot to grasp a target object.
  • the information processing device determines the distribution of the probability of success or failure in grasping the target object based on visual information obtained by capturing an image of the target object.
  • the information processing device estimates the current state based on the result of the grasp success or failure determination and the success or failure probability. For example, if the success or failure probability is sufficiently high, the information processing device determines that grasping has failed due to a control factor related to grasping.
  • the causes of failure that can be determined by the information processing device of Patent Document 1 are limited to failure causes that are anticipated in advance and that can be clearly determined based on sensors or control commands. However, because there are a wide variety of failure causes and various failure causes can occur depending on the environment, a situation may arise in which the information processing device of Patent Document 1 is unable to adequately identify the cause of failure.
  • This application has been made in light of the above circumstances, and its main objective is to provide a factor analysis device that accurately identifies factors that cause work performed by a work machine to be inappropriate.
  • the factor analysis device includes an input unit, a learning unit, an analysis unit, and a notification unit.
  • the input unit receives sensor data obtained by measuring work performed by a work machine with a sensor, and a judgment result of work stoppage or work quality of the work corresponding to the sensor data.
  • the learning unit uses machine learning to construct an estimation model based on the data input to the input unit, with the sensor data as input data and an estimation result of work stoppage or work quality as output data.
  • the analysis unit analyzes the input data and the output data of the estimation model, and creates contribution data indicating a contribution degree, which is the degree to which the sensor data contributes to the estimation of work stoppage or work quality.
  • the notification unit notifies the contribution data created by the analysis unit.
  • the following factor analysis method is provided.
  • sensor data obtained by measuring work performed by a work machine with a sensor and a judgment result of work stoppage or work quality of the work corresponding to the sensor data are input.
  • an estimation model is constructed by machine learning, using the sensor data as input data and an estimation result of work stoppage or work quality as output data.
  • the input data and output data of the estimation model are analyzed to create contribution data indicating the degree of contribution that the sensor data contributes to the estimation of work stoppage or work quality.
  • the created contribution data is notified.
  • This application makes it possible to accurately identify factors that cause work performed by a work machine to be inappropriate.
  • FIG. 1 is a block diagram of an operation system including a factor analysis device according to an embodiment of the present application.
  • 6 is a flowchart showing a cause estimation process for estimating a cause of a work stoppage or a deterioration in work quality.
  • FIG. 11 is an explanatory diagram showing how an estimation model is constructed from sensor data and a determination result and then evaluated.
  • 13 is a graph showing the contribution of each type of sensor data. A factor presentation image in which the contribution of each area is superimposed on the tool image captured by the camera.
  • the work system 1 is a system that performs work using work machines, analyzes this work, and presents factors that may cause work to stop or factors that may cause work quality to decline. Each piece of equipment that makes up the work system 1 is described in detail below.
  • an industrial robot is used as the work machine.
  • An industrial robot is a robot that performs work in a work area such as a factory or a warehouse.
  • the industrial robot is of the teaching-and-playback type.
  • the teaching-and-playback type means that the operation of the industrial robot is taught in advance, and the industrial robot repeats the same operation according to the contents of the teaching.
  • the industrial robot is, for example, a vertically multi-jointed or horizontally multi-jointed arm robot.
  • the industrial robot may be a robot other than an arm robot, such as a parallel link robot.
  • Work performed by the industrial robot is, for example, assembly, welding, painting, machining, or transportation.
  • the industrial robot is simply referred to as "robot 11.”
  • working machine is not limited to an industrial robot.
  • other examples of working machines include machine tools such as laser processing machines and machining centers.
  • the work system 1 of this embodiment is realized by various devices installed in a factory and a data center.
  • the factory and the data center are connected via the Internet. This allows data to be sent and received between the devices installed in the factory and the devices installed in the data center.
  • the network connecting the factory and the data center may be a wide area network other than the Internet.
  • the factor analysis device 50 may be installed in the factory instead of the data center. In this case, the factor analysis device 50 is connected to other devices by a local area network instead of a wide area network.
  • the factory includes a robot system 10, a sensor group 20, a management device 30, a determination device 40, and a factor analysis device 50.
  • the robot system 10 also includes a robot 11 and a robot control device 12.
  • the robot 11 has multiple arms 11a rotatably connected to each other.
  • a work tool 11b is attached to the tip of the arm 11a.
  • the arms 11a can operate individually using the power of an actuator 11c arranged on each arm.
  • the work tool 11b performs work on a workpiece 13 using the power of the actuator 11c.
  • the work tool 11b is a hand that holds the workpiece.
  • the robot control device 12 is a computer equipped with a processing device such as a CPU, a primary storage device such as a RAM, and a secondary storage device such as a hard disk, SSD, or flash memory.
  • the processing device of the robot control device 12 reads out a program stored in the secondary storage device into the primary storage device and executes it, thereby controlling the robot 11 and causing the robot 11 to perform work.
  • the storage device of the robot control device 12 stores teaching data.
  • the robot control device 12 operates the arm 11a by sending a command to the actuator 11c based on the teaching data, and operates the work tool 11b by sending a command to the work tool 11b based on the teaching data.
  • the sensor group 20 is a collective term for multiple sensors that measure various information related to the work of the robot 11.
  • the sensor group 20 includes an ammeter 21, a voltmeter 22, a sound pickup device 23, a thermometer 24, an encoder 25, a camera 26, and a timer 27.
  • the sensors included in the sensor group 20 are examples, and some sensors may be omitted or other sensors may be added depending on the work content of the robot 11 or the required accuracy of estimation. Furthermore, there is no particular limit to the number of the above-mentioned sensors. For example, two or more cameras 26 may be arranged.
  • the ammeter 21 measures the current value supplied to the actuator 11c of the arm 11a or the work tool 11b.
  • the voltmeter 22 measures the voltage value applied to the actuator 11c of the arm 11a or the work tool 11b.
  • the sound pickup device 23 measures the work sound generated while the robot 11 is working.
  • the thermometer 24 measures the temperature of the environment in which the robot 11 is placed.
  • the encoder 25 is provided at each joint of the arm 11a and measures the rotation angle of each arm 11a. Thus, the encoder 25 measures the movement of the robot 11.
  • the camera 26 photographs the robot 11 or the workpiece 13 to create an image.
  • the timer 27 measures the time.
  • Various data measured by each sensor of the sensor group 20 is associated with the time of measurement. In the following explanation, the data measured by each sensor of the sensor group 20 is collectively referred to as sensor data.
  • the management device 30 and the determination device 40 are each a computer equipped with a processing device such as a CPU, a primary storage device such as a RAM, a secondary storage device such as a hard disk, SSD, or flash memory, and a communication device.
  • the processing device can execute various processes by reading out programs stored in the secondary storage device into the primary storage device and executing them.
  • the management device 30 is connected to the robot control device 12, the sensor group 20, and the determination device 40 via wired or wireless connections. This allows the management device 30 to transmit the control contents of the robot control device 12 and the measurement results of the sensor group 20 to the determination device 40. Furthermore, the management device 30 can communicate with the factor analysis device 50 via the Internet described above. This allows the management device 30 to transmit the control contents of the robot control device 12, the measurement results of the sensor group 20, and the determination results of the determination device 40 to the factor analysis device 50. The management device 30 may process the received data and transmit it to the factor analysis device 50, or may transmit it to the factor analysis device 50 in its original format without processing it.
  • the determination device 40 determines whether or not a work stoppage has occurred based on the control contents of the robot control device 12 or the measurement results of the sensor group 20 received via the management device 30.
  • a work stoppage is when the work of the robot 11 stops due to the occurrence of an abnormality.
  • a work stoppage includes a short work stoppage of about a few seconds and a longer work stoppage.
  • a work stoppage in this embodiment includes a temporary work stoppage from which the robot can return to work on its own, and a work stoppage from which the robot cannot return to work on its own and requires assistance from a worker. Note that the processing of this embodiment may be performed by focusing only on a short work stoppage from which the robot can return to work on its own.
  • the determination device 40 determines whether or not the robot 11 is working based on the control contents of the robot control device 12 or the measurement results of the sensor group 20, and determines that a work stoppage has occurred if work has stopped.
  • the judgment device 40 may judge the quality of work instead of or in addition to judging whether to stop work.
  • Work quality is the degree of quality of the work performed by the robot 11.
  • the judgment device 40 judges the work quality based on, for example, the speed of the work, the accuracy of the work, or the success rate of the work.
  • the judgment device 40 may judge the work quality on a two-level scale, such as good or bad, or may assign a specific score that indicates the degree of the work quality.
  • the data center is provided with a factor analysis device 50.
  • the factor analysis device 50 analyzes data received via the management device 30, and identifies and notifies the causes of work stoppage or low work quality.
  • the factor analysis device 50 is a server equipped with an input unit 51, a processing device 52, a storage device 53, and a display device 54.
  • the factor analysis device 50 may be a single piece of hardware, or may be configured with multiple pieces of hardware linked together.
  • the hardware that aggregates and stores information may be separate from the hardware that performs processing according to the information received from the management device 30.
  • the factor analysis device 50 may be realized by a cloud computing service.
  • the input unit 51 is a part that communicates with the outside. Specifically, the input unit 51 is a wireless communication module or a wired communication module. The control contents of the robot control device 12, the measurement results of the sensor group 20, or the estimation results of the determination device 40 are input to the input unit 51.
  • the processing device 52 is a processing device such as a CPU, and can perform various processes by reading and executing programs stored in the storage device 53.
  • the processing device 52 will be named a learning unit 52a, an analysis unit 52b, and a notification unit 52c according to the functions it performs. The processes performed by the processing device 52 will be described in detail later.
  • the storage device 53 includes a primary storage device such as a RAM, and a secondary storage device such as a hard disk, SSD, or flash memory.
  • the storage device 53 stores the programs executed by the processing device 52, temporarily stores data necessary for executing the programs, and stores various data created by the processing device 52.
  • the display device 54 is, for example, a liquid crystal display or an organic EL display, and includes a screen capable of displaying information.
  • the display device 54 is capable of displaying images created by the processing device 52. Note that the display device 54 is not an essential component and can therefore be omitted.
  • FIG. 2 shows a flowchart of the factor estimation process.
  • the factor estimation process is performed by the processing device 52 of the factor analysis device 50.
  • the processing device 52 performs factor estimation processing for a task after the robot 11 has finished the task.
  • the processing device 52 may perform factor estimation processing in parallel with the task of the robot 11.
  • the factor analysis device 50 acquires sensor data and a judgment result (S101).
  • the sensor data is measured by the sensor group 20 and input to the input unit 51 of the factor analysis device 50 via the management device 30.
  • the judgment result is judged by the judgment device 40 and input to the input unit 51 of the factor analysis device 50 via the management device 30.
  • the upper part of FIG. 3 conceptually shows the sensor data and the judgment results acquired by the factor analysis device 50.
  • the sensor data may be associated with each task, or may be associated with a predetermined period of time.
  • the predetermined period is a time longer than the duration of one task. Therefore, when the sensor data is associated with a predetermined period of time, the sensor data is associated with multiple tasks.
  • the sensor data is composed of current values, voltage values, task sounds, temperature, robot operations, images, etc.
  • the sensor data and the judgment result are used as a set. Therefore, when the sensor data is associated with each task, the judgment result is also associated with each task. This makes it possible to match the sensor data measured during the Nth task with the Nth judgment result.
  • the judgment result is also associated with the specified period.
  • the judgment result is the work stoppage rate when determining a work stoppage, and is the average work quality score when determining work quality. This makes it possible to match the sensor data of work performed during a specified period with the judgment result for the same period. Note that instead of the average work quality score, the probability that the work quality is not good may be used.
  • Preprocessing of the sensor data means processing the sensor data to appropriately construct an estimation model in the next step.
  • Preprocessing is, for example, extraction of features. That is, if a value that contributes to work stoppage or work quality is known from the sensor data, that value is extracted. For example, if it is known that the number of times the current value exceeds a threshold value is strongly related to work stoppage, preprocessing is performed to convert the "current value" into the "number of times the current value exceeds the threshold value.”
  • Preprocessing may also be a process of reducing the types of sensor data. For example, if it is known that temperature is not related to work stoppage, temperature is deleted from the sensor data.
  • step S102 may be omitted.
  • the learning unit 52a of the processing device 52 uses the preprocessed sensor data and the judgment result as learning data to construct one or more estimation models (S103).
  • the estimation model is a model in which the sensor data is input data and the judgment result is output data.
  • the learning unit 52a performs machine learning of the sensor data and the judgment result. Since the judgment result corresponds to the correct answer, this machine learning is supervised learning.
  • supervised machine learning By performing supervised machine learning, the correlation between the numerical trend of the sensor data and the judgment result is identified, so a model that outputs the judgment result based on the sensor data can be constructed. Since supervised machine learning is well known, further explanation is omitted.
  • step S102 is omitted, it is preferable that the learning unit 52a performs deep learning to construct the estimation model. This is because in deep learning, processing including the selection of feature values is performed, so even if the user does not select the feature value, an appropriate feature value is selected and an estimation model is constructed.
  • the learning unit 52a constructs at least one estimation model.
  • AutoML is an abbreviation for Automated Machine Learning, and is a technology in which part of the machine learning design and model construction process is automated. AutoML itself is well known, so a detailed explanation will be omitted. Using AutoML makes it easy to construct models. Therefore, multiple estimation models can be constructed in a short time with little effort.
  • AutoML has a function for automatically selecting input data, so it is possible to select specific sensor data from multiple types of sensor data and construct a model that has learned the selected sensor data. This makes it possible to construct multiple estimation models that combine various types of sensor data.
  • the learning unit 52a of the processing device 52 evaluates the estimation model constructed in step S103 (S104).
  • the learning unit 52a inputs sensor data into the estimation model, and compares the estimation result output by the estimation model with the judgment result judged by the judgment device 40 during actual work. By repeating this process, the accuracy of the estimation model can be evaluated. For example, when an alternative estimation result is output, such as whether or not work has been stopped, the more times the estimation result matches the judgment result, the higher the evaluation of the estimation model. Also, when the estimation result is output as a numerical value, such as a score for work quality, the closer the estimation result is to the judgment result, the higher the evaluation of the estimation model. Evaluation values are recorded for each of the estimation models A to E shown in FIG. 3, and it is shown that estimation model E has the highest evaluation value.
  • the processing device 52 determines whether there is an estimation model with an evaluation value equal to or greater than the standard (S105). If there is no estimation model with an evaluation value equal to or greater than the standard, the processing device 52 ends the cause estimation process. This is because an estimation model with a low evaluation value cannot accurately estimate the cause of work stoppage or deterioration in work quality.
  • the analysis unit 52b of the processing device 52 uses the estimation model with the highest evaluation value to create contribution data indicating the degree of contribution of the specified sensor data to the estimation (S106).
  • the contribution degree is the degree to which the sensor data contributes to the estimation of work stoppage or deterioration of work quality.
  • Sensor data with a large contribution degree contributes greatly to the estimation of work stoppage or deterioration of work quality.
  • sensor data with a large contribution degree includes events or conditions related to work stoppage or deterioration of work quality.
  • the contribution data can be roughly classified into two types.
  • the first contribution data is data indicating which type of sensor data, among multiple types of sensor data, contributes greatly to the estimation. In other words, it is data indicating which type of sensor data has a large contribution degree.
  • the first contribution data is data indicating that temperature contributes greatly to the estimation compared to current values.
  • the second contribution data is data indicating which value or range, among the same type of sensor data, contributes greatly to the estimation. In other words, it is data indicating which part of one sensor data has a large contribution degree. For example, the second contribution data is data indicating that a specific area of one image contributes greatly to the estimation.
  • the contribution degree can be calculated, for example, based on the change in estimation accuracy when the value of the target sensor data is changed.
  • the analysis unit 52b replaces the value of the first type of sensor data with another value, inputs it to the estimation model, and compares the estimation result output by the estimation model with the actual judgment result.
  • the analysis unit 52b performs the same process on all other types of sensor data one by one.
  • the analysis unit 52b compares the degree of decrease in accuracy of the estimation results.
  • the above-mentioned evaluation value can be used to compare the accuracy of the estimation results.
  • the analysis unit 52b estimates that the greater the degree of decrease in accuracy of the estimation result, the higher the contribution degree of that sensor data. Note that a process other than the above may be performed to estimate the contribution degree for each type of sensor data. For example, the contribution degree can be calculated based on the SHAP value of each sensor data.
  • Figure 4 shows a graph of the contribution of each type of sensor data calculated.
  • Tool image 1 is an image obtained by photographing the work tool 11b at a first angle.
  • Tool image 2 is an image obtained by photographing the work tool 11b at a second angle.
  • This graph shows that tool image 1 has the highest contribution. Therefore, it can be seen that there is a high correlation between the information displayed in tool image 1 and work stoppages or deterioration in work quality. Therefore, by checking tool image 1, the user can identify the cause of work stoppages or deterioration in work quality. Then, by improving that cause, the frequency of work stoppages or deterioration in work quality can be reduced.
  • the analysis unit 52b may identify which areas of the image contribute to work stoppage or deterioration in work quality.
  • the process of identifying the parts of the image that contribute greatly is basically the same as the process of identifying sensor data with high contribution, described above. That is, a part of the image is modified by changing the RGB values or brightness of a part of the image, or by replacing it with an image acquired at a different time, and the degree of deterioration in the estimation accuracy at that time is calculated and compared with the degree of deterioration in other areas. This makes it possible to calculate the contribution of each area of the image.
  • FIG. 5 an image is shown in which information indicating the contribution of each region is superimposed on the tool image.
  • the notification unit 52c of the processing device 52 notifies the user of the contribution data created by the analysis unit 52b (S107).
  • the notification unit 52c notifies the user by displaying the contribution data in an image format as shown in FIG. 4 or FIG. 5 on the display device 54.
  • the notification unit 52c may perform a process of transmitting the contribution data to a device owned by the user instead of displaying it on the display device 54 of the factor analysis device 50.
  • the contribution data is not limited to an image format and may be, for example, in a text format.
  • the notification unit 52c may notify the user of the type of sensor data with the highest contribution in a text format.
  • the factor analysis device 50 of this embodiment includes an input unit 51, a learning unit 52a, an analysis unit 52b, and a notification unit 52c.
  • the input unit 51 receives sensor data obtained by measuring the work performed by the robot 11 with a sensor, and a judgment result of work stoppage or work quality of the work corresponding to the sensor data.
  • the learning unit 52a uses machine learning to construct an estimation model based on the data input to the input unit 51, in which the sensor data is used as input data and the estimation result of work stoppage or work quality is used as output data.
  • the analysis unit 52b analyzes the input data and output data of the estimation model, and creates contribution data indicating the contribution degree, which is the degree to which the sensor data contributes to the estimation of work stoppage or work quality.
  • the notification unit 52c notifies the user of the contribution data created by the analysis unit 52b.
  • the above technical content is feature 1.
  • the contribution data indicates factors that cause the robot 11 to stop working or the quality of work to decline. Therefore, by checking the contribution data, the user can accurately identify factors that cause the robot 11 to perform work inappropriately. Furthermore, if the factors are included in the sensor data, it is also possible to identify factors that the user has not anticipated.
  • the learning unit 52a constructs multiple estimation models.
  • the analysis unit 52b selects one estimation model with the highest estimation accuracy from the multiple estimation models, and creates contribution data using the selected estimation model.
  • the above technical content is Feature 2.
  • the learning unit 52a uses AutoML to construct multiple estimation models.
  • the above technical content is Feature 3.
  • the sensor includes the camera 26.
  • the sensor data includes the tool image 1.
  • the analysis unit 52b identifies the contribution degree for each area of the tool image 1, and creates a factor presentation image in which the contribution degree is superimposed on the tool image as contribution data.
  • the notification unit 52c outputs the factor presentation image to the display device 54.
  • the above technical content is Feature 4.
  • the sensor data includes at least first sensor data and second sensor data.
  • One of the multiple types of sensor data described in this embodiment is the first sensor data, and any one of the remaining is the second sensor data.
  • the analysis unit 52b creates contribution data indicating the contribution degree of the first sensor data and the contribution degree of the second sensor data.
  • the above technical content is Feature 5.
  • the learning unit 52a constructs an estimation model using sensor data from which feature quantities have not been extracted as input data.
  • the above technical content is Feature 6.
  • the flowchart shown in the above embodiment is an example, and some processes may be omitted, the contents of some processes may be changed, or new processes may be added. For example, in a situation where the accuracy of the estimation model is considered to be high, the process of evaluating the estimation model, specifically steps S104 and S105, may be omitted. Also, in the flowchart of FIG. 4, if the evaluation value of the estimation model is below the reference value, the factor estimation process is terminated. Alternatively, if the evaluation value of the estimation model is below the reference value, the process may return to step S103 and the process of constructing the estimation model may be executed again. In this case, it is preferable to change the conditions and parameters, etc., used when constructing the estimation model.
  • circuits or processing circuits including general purpose processors, special purpose processors, integrated circuits, ASICs (Application Specific Integrated Circuits), conventional circuits, and/or combinations thereof, configured or programmed to perform the disclosed functions.
  • Processors are considered processing circuits or circuits because they include transistors and other circuits.
  • a circuit, unit, or means is hardware that performs the recited functions or hardware that is programmed to perform the recited functions.
  • the hardware may be hardware disclosed herein or other known hardware that is programmed or configured to perform the recited functions. If the hardware is a processor, which is considered a type of circuit, the circuit, means, or unit is a combination of hardware and software, and the software is used to configure the hardware and/or the processor.

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Manipulator (AREA)
  • Testing And Monitoring For Control Systems (AREA)

Abstract

要因分析装置（５０）は、入力部（５１）と、学習部（５２ａ）と、分析部（５２ｂ）と、通知部（５２ｃ）と、を備える。入力部（５１）には、ロボット（１１）による作業をセンサで計測して得られるセンサデータと、センサデータに対応する作業の作業停止又は作業品質の判定結果と、が入力される。学習部（５２ａ）は、入力部（５１）に入力されたデータに基づいて、センサデータを入力データとして作業停止又は作業品質の推定結果を出力データとする推定モデルを機械学習により構築する。分析部（５２ｂ）は、推定モデルの入力データと出力データを分析して、センサデータが作業停止又は作業品質の推定に寄与する度合いである寄与度を示す寄与データを作成する。通知部（５２ｃ）は、分析部（５２ｂ）が作成した寄与データを通知する。

Description

要因分析装置及び要因分析方法
　本出願は、主として、作業機による作業が不適切であった場合にその要因を特定する要因分析装置に関する。
　特許文献１は、対象物体をロボットに把持させる情報処理装置を開示する。情報処理装置は、対象物体を撮像した視覚情報に基づいて、対象物体の把持の成否確率の分布を決定する。情報処理装置は、把持の成否の判定結果と、成否確率と、に基づいて現在の状態を推定する。例えば、情報処理装置は、成否確率が十分に高い場合、把持に関する制御要因により把持に失敗したと判定する。
特開２０１９－１８８５１６号公報
　特許文献１の情報処理装置で判定可能な失敗要因は、予め想定された失敗要因であって、かつ、センサ又は制御指令に基づいて明確に判定可能な失敗要因に限られる。しかし、失敗要因は多岐にわたり、かつ、環境に応じて様々な失敗要因が生じ得るため、特許文献１の情報処理装置では失敗要因を十分に特定できない状況が発生し得る。
　本出願は以上の事情に鑑みてされたものであり、その主要な目的は、作業機による作業が不適切となる要因を精度良く特定する要因分析装置を提供することにある。
　本出願の解決しようとする課題は以上の如くであり、次にこの課題を解決するための手段とその効果を説明する。
　本出願の第１の観点によれば、以下の構成の要因分析装置が提供される。即ち、要因分析装置は、入力部と、学習部と、分析部と、通知部と、を備える。前記入力部には、作業機による作業をセンサで計測して得られるセンサデータと、当該センサデータに対応する作業の作業停止又は作業品質の判定結果と、が入力される。前記学習部は、前記入力部に入力されたデータに基づいて、前記センサデータを入力データとして作業停止又は作業品質の推定結果を出力データとする推定モデルを機械学習により構築する。前記分析部は、前記推定モデルの前記入力データと前記出力データを分析して、前記センサデータが作業停止又は作業品質の推定に寄与する度合いである寄与度を示す寄与データを作成する。前記通知部は、前記分析部が作成した前記寄与データを通知する。
　本出願の第２の観点によれば、以下の要因分析方法が提供される。要因分析方法では、作業機による作業をセンサで計測して得られるセンサデータと、当該センサデータに対応する作業の作業停止又は作業品質の判定結果と、を入力する。入力されたデータに基づいて、前記センサデータを入力データとして作業停止又は作業品質の推定結果を出力データとする推定モデルを機械学習により構築する。前記推定モデルの前記入力データと前記出力データを分析して、前記センサデータが作業停止又は作業品質の推定に寄与する度合いである寄与度を示す寄与データを作成する。作成した前記寄与データを通知する。
　本出願によれば、作業機による作業が不適切となる要因を精度良く特定できる。
本出願の一実施形態に係る要因分析装置を含む作業システムのブロック図。 作業停止又は作業品質の低下の要因を推定する要因推定処理を示すフローチャート。 センサデータ及び判定結果から推定モデルを構築し、その評価を行うことを示す説明図。 センサデータの種類毎の寄与度を示すグラフ。 カメラが撮影したツール画像に対して領域毎の寄与度を重畳した要因提示画像。
　次に、図面を参照して本出願の実施形態を説明する。初めに、図１を参照して、作業システム１の概要について説明する。
　作業システム１は、作業機を用いて作業を行うとともに、この作業を分析して、作業停止が発生する要因又は作業品質が低下する要因を提示するシステムである。以下、作業システム１を構成する各機器について詳細に説明する。
　本実施形態では、作業機として、産業用のロボットが用いられている。産業用のロボットとは、工場又は倉庫等の作業場で作業を行うロボットである。産業用のロボットは、ティーチングアンドプレイバック型である。ティーチングプレイバック型とは、事前に産業用のロボットの動作を教示し、教示された内容に沿って産業用のロボットが同じ動作を繰り返すことである。産業用のロボットは、例えば、垂直多関節又は水平多関節のアームロボットである。ただし、産業用のロボットは、アームロボット以外のロボット、例えばパラレルリンクロボット等であってもよい。産業用のロボットが行う作業は、例えば、組立て、溶接、塗装、機械加工、又は、運搬である。以下では、産業用のロボットを単に「ロボット１１」と称する。
　なお、作業機は産業用のロボットに限られない。例えば、他の作業機の例としては、レーザ加工機又はマシニングセンタ等の工作機械がある。
　図１に示すように、本実施形態の作業システム１は、工場及びデータセンターに設けられた様々な装置によって実現される。工場とデータセンターはインターネットを介して接続されている。これにより、工場に設けられた装置とデータセンターに設けられた装置との間でデータを送受信できる。なお、工場とデータセンターを接続するネットワークはインターネット以外のワイドエリアネットワークであってもよい。また、要因分析装置５０は、データセンターではなく工場に設けられてもよい。この場合、ワイドエリアネットワークに代えてローカルエリアネットワークにより、要因分析装置５０が他の機器と接続される。
　工場には、ロボットシステム１０と、センサ群２０と、管理装置３０と、判定装置４０と、要因分析装置５０と、を備える。また、ロボットシステム１０は、ロボット１１と、ロボット制御装置１２と、を備える。
　ロボット１１は、互いに回転可能に連結された複数のアーム１１ａを備える。アーム１１ａの先端には、作業ツール１１ｂが取り付けられている。アーム１１ａは、それぞれに配置されたアクチュエータ１１ｃの動力により個別に動作可能である。作業ツール１１ｂは、アクチュエータ１１ｃの動力によりワーク１３に対して作業を行う。ロボット１１が行う作業が組立て又は運搬である場合、作業ツール１１ｂはワークを保持するハンドである。
　ロボット制御装置１２は、ＣＰＵ等の処理装置と、ＲＡＭ等の一次記憶装置と、ハードディスク、ＳＳＤ、又はフラッシュメモリ等の二次記憶装置と、を備えるコンピュータである。ロボット制御装置１２の処理装置は、二次記憶装置に記憶されたプログラムを一次記憶装置に読み出して実行することにより、ロボット１１を制御して、ロボット１１に作業を行わせる。具体的には、ロボット制御装置１２の記憶装置は、教示データを記憶する。ロボット制御装置１２は、教示データに基づいてアクチュエータ１１ｃに指令を送信することによりアーム１１ａを動作させ、教示データに基づいて作業ツール１１ｂに指令を送信することにより作業ツール１１ｂを動作させる。
　センサ群２０は、ロボット１１の作業に関する様々な情報を計測する複数のセンサの総称である。センサ群２０には、電流計２１と、電圧計２２と、収音装置２３と、温度計２４と、エンコーダ２５と、カメラ２６と、タイマ２７と、が含まれる。センサ群２０に含まれるセンサは一例であり、ロボット１１の作業内容又は要求される推定の精度等に応じて、何れかのセンサを省略してもよいし、更に別のセンサが追加されてもよい。また、上述するセンサの個数は特に限定されない。例えば、カメラ２６を２台以上配置してもよい。
　電流計２１は、アーム１１ａ又は作業ツール１１ｂのアクチュエータ１１ｃに供給される電流値を計測する。電圧計２２は、アーム１１ａ又は作業ツール１１ｂのアクチュエータ１１ｃに印加される電圧値を計測する。収音装置２３は、ロボット１１の作業中に発生する作業音を計測する。温度計２４は、ロボット１１が配置される環境の温度を計測する。エンコーダ２５は、アーム１１ａの関節毎に設けられており、各アーム１１ａの回転角度を計測する。従って、エンコーダ２５はロボット１１の動作を計測する。カメラ２６は、ロボット１１又はワーク１３を撮影して画像を作成する。タイマ２７は時刻を計測する。センサ群２０の各センサが計測する様々なデータは計測した時刻と対応付けられる。以下の説明では、センサ群２０の各センサが計測したデータをまとめてセンサデータと称する。
　管理装置３０及び判定装置４０は、それぞれ、ＣＰＵ等の処理装置と、ＲＡＭ等の一次記憶装置と、ハードディスク、ＳＳＤ、又はフラッシュメモリ等の二次記憶装置と、通信装置と、を備えるコンピュータである。処理装置が、二次記憶装置に記憶されたプログラムを一次記憶装置に読み出して実行することにより、様々な処理を実行可能である。
　管理装置３０は、ロボット制御装置１２、センサ群２０、及び、判定装置４０に対して有線又は無線で接続されている。これにより、管理装置３０は、ロボット制御装置１２の制御内容及びセンサ群２０の計測結果を判定装置４０に送信可能である。更に、管理装置３０は、上述したインターネットを介して要因分析装置５０と通信可能である。これにより、管理装置３０は、ロボット制御装置１２の制御内容、センサ群２０の計測結果、判定装置４０の判定結果を要因分析装置５０に送信可能である。管理装置３０は、受信したデータを加工して要因分析装置５０へ送信してもよいし、加工せずにそのままの形式で要因分析装置５０へ送信してもよい。
　判定装置４０は、管理装置３０を介して受信した、ロボット制御装置１２の制御内容又はセンサ群２０の計測結果に基づいて、作業停止が発生したか否かを判定する。作業停止とは、異常の発生に伴って、ロボット１１の作業が停止することである。本実施形態の作業停止は、数秒程度の短時間の作業停止と、それ以上の長時間の作業停止と、を含む。別の観点において、本実施形態の作業停止は、自力で復帰可能な一時的な作業停止と、自力で復帰できないため作業者の補助が必要な作業停止と、を含む。なお、短時間かつ自力で復帰可能な作業停止のみに着目して、本実施形態の処理を行ってもよい。判定装置４０は、ロボット制御装置１２の制御内容又はセンサ群２０の計測結果に基づいて、ロボット１１が作業中か否かを判定し、作業が停止された場合は作業停止が発生したと判定する。
　あるいは、判定装置４０は、作業停止の判定に代えて又は加えて、作業品質の判定を行ってもよい。作業品質とは、ロボット１１が行う作業の品質の程度である。判定装置４０は、例えば、作業の早さ、作業の精度、又は、作業の成功率等に応じて作業品質を判定する。判定装置４０は、良否のように２段階で作業品質を判定してもよいし、作業品質の程度を示す具体的な点数を付けてもよい。
　データセンターには、要因分析装置５０が設けられている。要因分析装置５０は、管理装置３０を介して受信したデータを分析して、作業停止又は作業品質が低い要因を特定して通知する。要因分析装置５０は、入力部５１と、処理装置５２と、記憶装置５３と、表示装置５４と、を備えるサーバである。なお、要因分析装置５０は、１台のハードウェアであってもよいし、複数台のハードウェアが連携した構成であってもよい。例えば、情報を集約して記憶するハードウェアと、管理装置３０から受信した情報に応じて処理を行うハードウェアと、が別であってもよい。要因分析装置５０は、クラウドコンピューティングサービスにより実現されてもよい。
　入力部５１は、外部と通信を行う部分である。入力部５１は、具体的には、無線通信モジュール又は有線通信モジュールである。入力部５１には、ロボット制御装置１２の制御内容、センサ群２０の計測結果、又は、判定装置４０の推定結果が入力される。
　処理装置５２は、ＣＰＵ等の処理装置であり、記憶装置５３に記憶されたプログラムを読み出して実行することにより、様々な処理を行うことができる。以下では、処理装置５２が発揮する機能別に、学習部５２ａ、分析部５２ｂ、及び通知部５２ｃの名称を付ける。処理装置５２が行う処理の詳細は後述する。
　記憶装置５３は、ＲＡＭ等の一次記憶装置と、ハードディスク、ＳＳＤ、又はフラッシュメモリ等の二次記憶装置と、を含む。記憶装置５３は、処理装置５２が行うプログラムを記憶したり、プログラムの実行に必要なデータを一時的に記憶したり、処理装置５２が作成した様々なデータを記憶したりする。
　表示装置５４は、例えば液晶ディスプレイ又は有機ＥＬディスプレイであり、情報を表示可能な画面を含む。表示装置５４は、処理装置５２が作成した画像を表示可能である。なお、表示装置５４は必須の構成要素ではないため、省略することができる。
　次に、要因分析装置５０が作業停止又は作業品質の低下の要因を推定する要因推定処理を説明する。図２には、要因推定処理のフローチャートが記載されている。要因推定処理は、要因分析装置５０の処理装置５２によって行われる。処理装置５２は、ロボット１１が作業を終了した後に当該作業について要因推定処理を行う。ただし、処理装置５２は、ロボット１１の作業と並行して要因推定処理を行ってもよい。
　初めに、要因分析装置５０は、センサデータ及び判定結果を取得する（Ｓ１０１）。詳細には、センサデータは、センサ群２０によって計測され、管理装置３０を介して要因分析装置５０の入力部５１に入力される。判定結果は、判定装置４０によって判定され、管理装置３０を介して要因分析装置５０の入力部５１に入力される。
　図３の上部には、要因分析装置５０が取得するセンサデータ及び判定結果が概念的に示されている。図３に示すように、センサデータは、１回の作業毎に対応付けられていてもよいし、所定期間に対応付けられていてもよい。所定期間は、１回の作業時間よりも長い時間である。従って、センサデータが所定期間に対応付けられている場合、センサデータは複数回の作業に対応付けられていることになる。なお、センサデータは、上述したように、電流値、電圧値、作業音、温度、ロボット動作、画像等で構成されている。
　センサデータと判定結果はセットで用いられる。従って、センサデータが１回の作業毎に対応付けられている場合、判定結果も１回の作業毎に対応付けられている。これにより、第Ｎ回目の作業で計測されたセンサデータと、第Ｎ回目の判定結果と、を対応させることができる。センサデータが所定期間に対応付けられている場合、判定結果も所定期間に対応付けられている。この場合の判定結果は、作業停止を判定する場合は作業停止率であり、作業品質を判定する場合は作業品質の平均点数である。これにより、所定期間で行われた作業のセンサデータと、同じ期間の判定結果と、を対応させることができる。なお、作業品質の平均点数に代えて、作業品質が良でない確率を用いてもよい。
　次に、処理装置５２は、センサデータの前処理を行う（Ｓ１０２）。センサデータの前処理とは、次のステップの推定モデルの構築を適切に行うためにセンサデータを加工することである。前処理は、例えば特徴量の抽出である。即ち、センサデータのうち、作業停止又は作業品質に寄与する値が分かっている場合は、その値を抽出する。例えば、電流値が閾値を超えた回数が作業停止に強く関係することが分かっている場合、前処理を行って、「電流値」を「電流値が閾値を超えた回数」に変換する。また、前処理は、センサデータの種類を削減する処理であってもよい。例えば、温度が作業停止に関係しないことが分かっている場合、センサデータから温度を削除する。
　又は、作業停止又は作業品質の低下の要因がある程度判明している場合、その判明している事象に関連するデータを特徴量とすればよい。これに対し、ユーザは、作業停止又は作業品質の低下の要因が全く判明していない場合、特徴量を特定できない。この場合は、ステップＳ１０２の処理を省略してもよい。
　次に、処理装置５２の学習部５２ａは、前処理後のセンサデータ及び判定結果を学習データとして用いて、１又は複数の推定モデルを構築する（Ｓ１０３）。推定モデルは、センサデータを入力データとして、判定結果を出力データとするモデルである。学習部５２ａは、センサデータ及び判定結果を機械学習する。判定結果は正解に相当するため、この機械学習は教師あり学習である。教師ありの機械学習を行うことにより、センサデータの数値傾向と判定結果との関連性が特定されるので、センサデータに基づいて判定結果を出力するモデルを構築できる。教師ありの機械学習は公知であるため、これ以上の説明を省略する。また、ステップＳ１０２を省略する場合は、学習部５２ａが深層学習を行って推定モデルを構築することが好ましい。深層学習では、特徴量の選択を含む処理が行われるため、ユーザ側で特徴量を選択しない場合においても、適切な特徴量が選択されて推定モデルが構築されるからである。
　学習部５２ａは、少なくとも１つの推定モデルを構築する。複数の推定モデルを構築する場合、ＡｕｔｏＭＬを用いることが好ましい。ＡｕｔｏＭＬとは、Ａｕｔｏｍａｔｅｄ　Ｍａｃｈｉｎｅ　Ｌｅａｒｎｉｎｇの略であり、機械学習の設計及びモデル構築のプロセスの一部が自動化された技術である。ＡｕｔｏＭＬ自体は公知であるため、詳細な説明は省略する。ＡｕｔｏＭＬを用いることによりモデル構築を容易に行うことができる。そのため、複数の推定モデルを短時間かつ少ない手間で構築できる。特に、ＡｕｔｏＭＬでは、入力データを自動で選択する機能があるため、複数種類のセンサデータから特定のセンサデータを選択して、選択したセンサデータを学習したモデルを構築できる。これにより、様々な種類のセンサデータを組み合わせた複数の推定モデルを構築できる。
　次に、処理装置５２の学習部５２ａは、ステップＳ１０３で構築した推定モデルを評価する（Ｓ１０４）。学習部５２ａは、推定モデルにセンサデータを入力し、推定モデルが出力した推定結果と、実際の作業で判定装置４０が判定した判定結果と、を比較する。この処理を繰り返すことにより、推定モデルの精度を評価できる。例えば、作業停止の有無等のように択一的な推定結果が出力される場合は、推定結果が判定結果に一致する回数が多いほど、推定モデルの評価が高くなる。また、作業品質の点数等のように推定結果が数値で出力される場合は、推定結果が判定結果に近似するほど、推定モデルの評価が高くなる。図３に示す推定モデルＡから推定モデルＥにはそれぞれ評価値が記載され、推定モデルＥが最も評価値が高いことが示されている。
　次に、処理装置５２は、評価値が基準以上の推定モデルがあるか否かを判定する（Ｓ１０５）。評価値が基準以上の推定モデルが無い場合、処理装置５２は、要因推定処理を終了する。なぜなら、評価値が低い推定モデルでは、作業停止又は作業品質の低下の要因を的確に推定できないからである。
　評価値が基準以上の推定モデルがある場合、処理装置５２の分析部５２ｂは、評価値が最も高い推定モデルを用いて、所定のセンサデータの推定の寄与度を示す寄与データを作成する（Ｓ１０６）。
　寄与度とは、センサデータが作業停止又は作業品質の低下の推定に寄与する度合いである。寄与度が大きいセンサデータは、作業停止又は作業品質の低下の推定に大きく寄与する。言い換えれば、寄与度が大きいセンサデータには、作業停止又は作業品質の低下に関連する事象又は状態が含まれている。また、寄与データは大きく２つに分類できる。１つ目の寄与データは、複数種類のセンサデータのうち、どの種類のセンサデータが推定に大きく寄与するかを示すデータである。言い換えれば、どの種類のセンサデータの寄与度が大きいかを示すデータである。例えば、１つ目の寄与データは、電流値よりも温度の方が推定に大きく寄与することを示すデータである。２つ目の寄与データは、同種類のセンサデータのうち、どの値又はどの範囲が推定に大きく寄与するかを示すデータである。言い換えれば、１つのセンサデータのどの部分の寄与度が大きいかを示すデータである。例えば、２つ目の寄与データは、１枚の画像の所定の領域が推定に大きく寄与することを示すデータである。
　寄与度は、例えば、対象のセンサデータの値を変更したときの推定精度の変化に基づいて算出できる。複数種類のセンサデータを入力データとする推定モデルについては、分析部５２ｂは、１種類目のセンサデータの値を別の値に置換して推定モデルに入力して、推定モデルが出力した推定結果と、実際の判定結果と、を比較する。次に、分析部５２ｂは、同様の処理を他の全ての種類のセンサデータに対して１つずつ行う。そして、分析部５２ｂは、推定結果の精度の低下度合いを比較する。推定結果の精度の比較には、上述した評価値を用いることができる。分析部５２ｂは、推定結果の精度の低下度合いが大きいほど、そのセンサデータの寄与度が高いと推定する。なお、上記とは別の処理を行って、センサデータの種類毎の寄与度を推定してもよい。例えば、各センサデータのＳＨＡＰ値に基づいて寄与度を算出することもできる。
　図４には、センサデータの種類毎の寄与度を算出してグラフ化した図が示されている。ツール画像１は、作業ツール１１ｂを第１アングルで撮影して得られた画像である。ツール画像２は、作業ツール１１ｂを第２アングルで撮影して得られた画像である。このグラフからは、ツール画像１の寄与度が最も高いことが分かる。そのため、ツール画像１に表れている情報と、作業停止又は作業品質の低下と、の関連性が高いことが分かる。従って、ユーザは、ツール画像１を確認することにより、作業停止又は作業品質の低下の要因を特定できる。そして、その要因を改善することにより、作業停止又は作業品質の低下を頻度を低下させることができる。
　なお、センサデータとしての画像は様々な情報を含むため、画像が特定されただけでは、作業停止又は作業品質の低下の要因を特定できない可能性がある。そのため、分析部５２ｂは、画像のうちどの領域が作業停止又は作業品質の低下に寄与するかを特定してもよい。画像のうち寄与度が大きい部分を特定する処理は、上述した、寄与度が高いセンサデータを特定する処理と基本的には同じである。即ち、画像の一部の領域について、ＲＧＢ値又は輝度を変化させたり、別のタイミングで取得された画像に置換する等して、画像の一部の領域を変更し、その時の推定精度の低下度合いを算出し、別の領域の低下度合いと比較する。これにより、画像の領域毎の寄与度を算出できる。
　図５には、ツール画像に対して、領域毎の寄与度を示す情報を重畳した画像が示されている。図５を参照することにより、ツール画像のどの部分が、作業停止又は作業品質の低下に寄与するかが確認できるので、作業停止又は作業品質の低下の要因を精度良く特定することができる。
　次に、処理装置５２の通知部５２ｃは、分析部５２ｂが作成した寄与データをユーザに通知する（Ｓ１０７）。本実施形態では、通知部５２ｃは、図４又は図５に示したような画像形式の寄与データを表示装置５４に表示することで、ユーザに通知する。なお、通知部５２ｃは、要因分析装置５０の表示装置５４に表示することに代えて、ユーザが所有する機器に寄与データを送信する処理を行ってもよい。また、寄与データは画像形式に限られず、例えばテキスト形式であってもよい。例えば、通知部５２ｃは、最も寄与度が高い種類のセンサデータをテキスト形式で通知してもよい。
　以上に説明したように、本実施形態の要因分析装置５０は、入力部５１と、学習部５２ａと、分析部５２ｂと、通知部５２ｃと、を備える。入力部５１には、ロボット１１による作業をセンサで計測して得られるセンサデータと、センサデータに対応する作業の作業停止又は作業品質の判定結果と、が入力される。学習部５２ａは、入力部５１に入力されたデータに基づいて、センサデータを入力データとして作業停止又は作業品質の推定結果を出力データとする推定モデルを機械学習により構築する。分析部５２ｂは、推定モデルの入力データと出力データを分析して、センサデータが作業停止又は作業品質の推定に寄与する度合いである寄与度を示す寄与データを作成する。通知部５２ｃは、分析部５２ｂが作成した寄与データを通知する。以上の技術内容が特徴１である。
　寄与データには、ロボット１１の作業停止又は作業品質の低下の要因が表れる。そのため、ユーザは、寄与データを確認することにより、ロボット１１による作業が不適切となる要因を精度良く特定できる。なお、センサデータに含まれる要因であれば、ユーザが想定していない要因についても特定できる。
　本実施形態の要因分析装置５０において、学習部５２ａは、複数の推定モデルを構築する。分析部５２ｂは、複数の推定モデルから推定精度が最も高い１つの推定モデルを選択し、選択した推定モデルを用いて寄与データを作成する。以上の技術内容が特徴２である。
　これにより、推定精度が高い推定モデルを用いて寄与データを作成できる。その結果、ロボット１１の作業停止又は作業品質の低下の要因が明確に表れた寄与データをユーザに提示できる。
　本実施形態の要因分析装置５０において、学習部５２ａは、ＡｕｔｏＭＬを用いて、複数の推定モデルを構築する。以上の技術内容が特徴３である。
　これにより、簡単な処理で複数の推定モデルを構築できる。
　本実施形態の要因分析装置５０において、センサはカメラ２６を含む。センサデータはツール画像１を含む。分析部５２ｂは、ツール画像１の領域毎に寄与度を特定して、寄与度をツール画像に重畳した要因提示画像を寄与データとして作成する。通知部５２ｃは、要因提示画像を表示装置５４に出力する。以上の技術内容が特徴４である。
　これにより、ユーザは一見して、ロボット１１の作業停止又は作業品質の低下の要因に関連する箇所を把握できる。
　本実施形態の要因分析装置５０において、センサデータは、少なくとも、第１センサデータと、第２センサデータと、を含む。本実施形態で説明した複数種類のセンサデータの１つが第１センサデータであり、残りの何れか１つが第２センサデータである。分析部５２ｂは、第１センサデータの寄与度と、第２センサデータの寄与度と、を示す寄与データを作成する。以上の技術内容が特徴５である。
　これにより、ユーザは、複数種類のセンサデータのうち何れのセンサデータが、ロボット１１の作業停止又は作業品質の低下の要因に関連するかを容易に把握できる。
　本実施形態の要因分析装置５０において、学習部５２ａは、特徴量が抽出されていないセンサデータを入力データとして推定モデルを構築する。以上の技術内容が特徴６である。
　これにより、ユーザは特徴量を抽出する処理を行う必要がないため、ユーザの手間を低減できる。特に、本実施形態では、作業停止又は品質低下の要因が不明であるため、特徴量の抽出が困難である可能性が高いため、効果的である。
　上述した特徴１から特徴６は矛盾が生じない限り、適宜組み合わせることができる。例えば、特徴Ｎ（Ｎ＝１，２，・・・，６）には、特徴１から特徴Ｎ－１までの少なくとも１つを適宜組み合わせることができる。
　以上に本出願の好適な実施の形態を説明したが、上記の構成は例えば以下のように変更することができる。
　上記実施形態で示したフローチャートは一例であり、一部の処理を省略したり、一部の処理の内容を変更したり、新たな処理を追加したりしてもよい。例えば、推定モデルの精度が高いと考えられる状況においては、推定モデルを評価する処理、具体的にはステップＳ１０４及びＳ１０５を省略してもよい。また、図４のフローチャートでは、推定モデルの評価値が基準未満である場合は要因推定処理を終了する。これに代えて、推定モデルの評価値が基準未満である場合は、ステップＳ１０３に戻って、推定モデルを構築する処理を再び実行してもよい。この場合、推定モデルを構築する際の条件及びパラメータ等を変更することが好ましい。
　本明細書で開示する要素の機能は、開示された機能を実行するように構成又はプログラムされた汎用プロセッサ、専用プロセッサ、集積回路、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ　Ｓｐｅｃｉｆｉｃ　Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔｓ）、従来の回路、及び／又は、それらの組み合わせ、を含む回路又は処理回路を使用して実行できる。プロセッサは、トランジスタやその他の回路を含むため、処理回路又は回路と見なされる。本開示において、回路、ユニット、又は手段は、列挙された機能を実行するハードウェアであるか、又は、列挙された機能を実行するようにプログラムされたハードウェアである。ハードウェアは、本明細書に開示されているハードウェアであってもよいし、あるいは、列挙された機能を実行するようにプログラム又は構成されているその他の既知のハードウェアであってもよい。ハードウェアが回路の一種と考えられるプロセッサである場合、回路、手段、又はユニットはハードウェアとソフトウェアの組み合わせであり、ソフトウェアはハードウェア及び/又はプロセッサの構成に使用される。

Claims (7)

  1. 　作業機による作業をセンサで計測して得られるセンサデータと、当該センサデータに対応する作業の作業停止又は作業品質の判定結果と、が入力される入力部と、
    　前記入力部に入力されたデータに基づいて、前記センサデータを入力データとして作業停止又は作業品質の推定結果を出力データとする推定モデルを機械学習により構築する学習部と、
    　前記推定モデルの前記入力データと前記出力データを分析して、前記センサデータが作業停止又は作業品質の推定に寄与する度合いである寄与度を示す寄与データを作成する分析部と、
    　前記分析部が作成した前記寄与データを通知する通知部と、
    を備える、要因分析装置。
  2. 　請求項１に記載の要因分析装置であって、
    　前記学習部は、複数の前記推定モデルを構築し、
    　前記分析部は、複数の前記推定モデルから推定精度が最も高い１つの前記推定モデルを選択し、選択した前記推定モデルを用いて前記寄与データを作成する、要因分析装置。
  3. 　請求項２に記載の要因分析装置であって、
    　前記学習部は、ＡｕｔｏＭＬを用いて、複数の前記推定モデルを構築する、要因分析装置。
  4. 　請求項１に記載の要因分析装置であって、
    　前記センサはカメラを含み、
    　前記センサデータは画像を含み、
    　前記分析部は、前記画像の領域毎に前記寄与度を特定して、当該寄与度を前記画像に重畳した要因提示画像を前記寄与データとして作成し、
    　前記通知部は、前記要因提示画像を表示装置に出力する、要因分析装置。
  5. 　請求項１に記載の要因分析装置であって、
    　前記センサデータは、少なくとも、第１センサデータと、第２センサデータと、を含み、
    　前記分析部は、前記第１センサデータの前記寄与度と、前記第２センサデータの前記寄与度と、を示す前記寄与データを作成する、要因分析装置。
  6. 　請求項１に記載の要因分析装置であって、
    　前記学習部は、特徴量が抽出されていない前記センサデータを入力データとして前記推定モデルを構築する、要因分析装置。
  7. 　作業機による作業をセンサで計測して得られるセンサデータと、当該センサデータに対応する作業の作業停止又は作業品質の判定結果と、を入力し、
    　入力されたデータに基づいて、前記センサデータを入力データとして作業停止又は作業品質の推定結果を出力データとする推定モデルを機械学習により構築し、
    　前記推定モデルの前記入力データと前記出力データを分析して、前記センサデータが作業停止又は作業品質の推定に寄与する度合いである寄与度を示す寄与データを作成し、
    　作成した前記寄与データを通知する、要因分析方法。
PCT/JP2023/027896 2022-09-26 2023-07-31 要因分析装置及び要因分析方法 WO2024070189A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022-152641 2022-09-26
JP2022152641A JP2024047171A (ja) 2022-09-26 2022-09-26 要因分析装置及び要因分析方法

Publications (1)

Publication Number Publication Date
WO2024070189A1 true WO2024070189A1 (ja) 2024-04-04

Family

ID=90477014

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/027896 WO2024070189A1 (ja) 2022-09-26 2023-07-31 要因分析装置及び要因分析方法

Country Status (2)

Country Link
JP (1) JP2024047171A (ja)
WO (1) WO2024070189A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011059790A (ja) * 2009-09-07 2011-03-24 Hitachi Ltd 異常検知・診断方法、異常検知・診断システム、及び異常検知・診断プログラム
JP2020123284A (ja) * 2019-01-31 2020-08-13 三菱重工機械システム株式会社 検査支援装置及び方法
WO2021015093A1 (ja) * 2019-07-19 2021-01-28 パナソニックＩｐマネジメント株式会社 不調要因特定装置、不調予兆検知装置、不調要因特定方法及び不調予兆検知方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011059790A (ja) * 2009-09-07 2011-03-24 Hitachi Ltd 異常検知・診断方法、異常検知・診断システム、及び異常検知・診断プログラム
JP2020123284A (ja) * 2019-01-31 2020-08-13 三菱重工機械システム株式会社 検査支援装置及び方法
WO2021015093A1 (ja) * 2019-07-19 2021-01-28 パナソニックＩｐマネジメント株式会社 不調要因特定装置、不調予兆検知装置、不調要因特定方法及び不調予兆検知方法

Also Published As

Publication number Publication date
JP2024047171A (ja) 2024-04-05

Similar Documents

Publication Publication Date Title
JP6031202B1 (ja) 製造機械の異常の原因を発見するセル制御装置
CN107305370B (zh) 设定与产品的异常相关的变量的判定值的生产系统
JP6693919B2 (ja) 制御装置及び機械学習装置
US20080058993A1 (en) System, Methods, Apparatuses and Computer Program Products for Use on a Machine Tool Controller
JP6977686B2 (ja) 制御システムおよび制御装置
JP6795562B2 (ja) 検査装置及び機械学習方法
US11682112B2 (en) Inspection device and machine learning method
US11138805B2 (en) Quantitative quality assurance for mixed reality
JP2020024139A (ja) 製品検査装置
WO2024070189A1 (ja) 要因分析装置及び要因分析方法
US20200098102A1 (en) Quality estimation device, quality estimation method, and quality estimation program
US11348355B1 (en) Method and system for monitoring manufacturing operations using computer vision for human performed tasks
US20200082281A1 (en) Verification device
JP2005216213A (ja) 故障診断システム及び故障診断方法
JP7181257B2 (ja) 原因分析システムおよび方法
WO2023008330A1 (ja) 作業状況分析システム及び作業状況分析方法
JP2024120127A (ja) 解析装置、解析システム、解析方法、および解析プログラム
JP2021086218A (ja) 協調作業システム、解析装置および解析プログラム
JP2021086219A (ja) 協調作業システム、解析収集装置および解析プログラム
US20240233113A9 (en) Method and system of providing assistance during an operation performed on an equipment
US20230237353A1 (en) Machine Learning Based Predictive P-F Curve Maintenance Optimization Platform and Associated Method
US20240361757A1 (en) Systems and methods for anomaly detection in industrial batch analytics
Sakurai et al. Human Work Support Technology Utilizing Sensor Data
JP2023061447A (ja) 作業監視装置及び作業監視方法
Liu et al. Intelligent Orthogonal Defect Classification (ODC) towards manufacturing nonconformance tracking and diagnostic recovery

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23871432

Country of ref document: EP

Kind code of ref document: A1