JP7423146B2 - Screw tightening abnormality determination device, learning model generation device, screw tightening abnormality determination method, learning model generation method, and screw tightening abnormality determination program - Google Patents
Screw tightening abnormality determination device, learning model generation device, screw tightening abnormality determination method, learning model generation method, and screw tightening abnormality determination program Download PDFInfo
- Publication number
- JP7423146B2 JP7423146B2 JP2020004905A JP2020004905A JP7423146B2 JP 7423146 B2 JP7423146 B2 JP 7423146B2 JP 2020004905 A JP2020004905 A JP 2020004905A JP 2020004905 A JP2020004905 A JP 2020004905A JP 7423146 B2 JP7423146 B2 JP 7423146B2
- Authority
- JP
- Japan
- Prior art keywords
- screw tightening
- series data
- time series
- data
- inverted
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000005856 abnormality Effects 0.000 title claims description 101
- 238000000034 method Methods 0.000 title claims description 18
- 238000012545 processing Methods 0.000 claims description 63
- 238000004364 calculation method Methods 0.000 claims description 27
- 238000013528 artificial neural network Methods 0.000 claims description 15
- 238000010801 machine learning Methods 0.000 claims description 13
- 238000005070 sampling Methods 0.000 claims description 9
- 230000002159 abnormal effect Effects 0.000 claims description 8
- 230000006870 function Effects 0.000 claims description 4
- 238000005259 measurement Methods 0.000 description 13
- 238000010586 diagram Methods 0.000 description 10
- 238000013500 data storage Methods 0.000 description 5
- 238000004826 seaming Methods 0.000 description 5
- 230000002950 deficient Effects 0.000 description 3
- 238000007689 inspection Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 208000033985 Device component issue Diseases 0.000 description 1
- 230000036772 blood pressure Effects 0.000 description 1
- 230000036760 body temperature Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000002567 electromyography Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000035485 pulse pressure Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000004804 winding Methods 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]
Landscapes
- General Factory Administration (AREA)
Description
本発明は、ネジ締付異常判定装置、学習モデル生成装置、ネジ締付異常判定方法、学習モデル生成方法およびネジ締付異常判定用プログラムに関し、特に、自動ネジ締め装置によるネジの締付異常を判定する技術に関するものである。 The present invention relates to a screw tightening abnormality determination device, a learning model generation device, a screw tightening abnormality determination method, a learning model generation method, and a screw tightening abnormality determination program, and in particular, the present invention relates to a screw tightening abnormality determination device, a learning model generation device, a screw tightening abnormality determination method, a learning model generation method, and a screw tightening abnormality determination program. It is related to technology for making judgments.
従来、種々提供されている産業用ロボットの１つとして、自動ネジ締め装置が知られている。自動ネジ締め装置の中には、締付機構にトルク測定器を設け、締付機構の動作中に締付トルクを測定し、測定トルク値が設定値となるまでネジを回転させて対象物に対する締め付けを行うものが存在する。この種の自動ネジ締め装置では、測定トルク値が設定動作時間内に設定値に達したことをもって、締め付け動作を完了する。 Conventionally, an automatic screw tightening device is known as one of various industrial robots that have been provided. Some automatic screw tightening devices are equipped with a torque measuring device in the tightening mechanism, measure the tightening torque while the tightening mechanism is in operation, and rotate the screw until the measured torque value reaches the set value. There is something that does the tightening. In this type of automatic screw tightening device, the tightening operation is completed when the measured torque value reaches the set value within the set operation time.
このような自動ネジ締め装置では、異物の噛み込み、ネジ不良、ネジ穴に対するネジの挿入不具合などが原因となって、適正な締付位置までネジが回転していない場合においても、測定トルク値が設定値に達して締め付け動作が停止し、その結果、ネジ浮きといった締付異常が発生しまうことがある。このような締付異常の発生した製品が市場に流通することがないように、締付異常の有無を判定する装置が必要不可欠である。 This type of automatic screw tightening device cannot measure the measured torque value even if the screw has not been rotated to the proper tightening position due to a foreign object being caught, a defective screw, or a failure to insert the screw into the screw hole. When the torque reaches the set value, the tightening operation stops, and as a result, tightening abnormalities such as screw lifting may occur. In order to prevent products with such tightening abnormalities from being distributed on the market, it is essential to have a device that determines the presence or absence of tightening abnormalities.
これに対し、トルク波形パターンを解析することによって巻き締め不良を検出するように構成した巻き締め検査装置が知られている（例えば、特許文献１参照）。特許文献１に記載の巻き締め検査装置では、巻き締め動作中の回転部のトルクを測定し、測定された巻き締め動作中のトルク値からトルク波形パターンを算出する。そして、算出されたトルク波形パターンと、所定の良品のトルク波形パターンとを比較することにより、巻き締め不良を検出する。 On the other hand, there is known a seaming inspection device configured to detect poor seaming by analyzing a torque waveform pattern (for example, see Patent Document 1). The tightening inspection device described in Patent Document 1 measures the torque of a rotating part during a tightening operation, and calculates a torque waveform pattern from the measured torque value during the tightening operation. Then, by comparing the calculated torque waveform pattern with the torque waveform pattern of a predetermined non-defective product, defective winding is detected.
なお、ネジの締付異常を判定するものではないが、波形データを解析対象として、ニューラルネットワークで構成されるオートエンコーダを用いて異常の判定を行う装置が知られている（例えば、特許文献２，３参照）。特許文献２に記載の異常検知装置では、工作機械から検出される波形データを解析することにより、工作機械の異常動作を検知する。特許文献３に記載の異常検知装置では、ウェアラブル測定器により測定される装着者の心電波形、心拍、筋電、体温、脈拍、血圧等の波形データを解析することにより、装着者の体調の異常を検知する。 Note that although it does not determine abnormality in screw tightening, there is a known device that analyzes waveform data and uses an autoencoder configured with a neural network to determine abnormality (for example, Patent Document 2 , 3). The abnormality detection device described in Patent Document 2 detects abnormal operation of a machine tool by analyzing waveform data detected from the machine tool. The abnormality detection device described in Patent Document 3 analyzes waveform data such as electrocardiogram waveforms, heartbeats, electromyography, body temperature, pulse, and blood pressure of the wearer measured by a wearable measuring device to determine the wearer's physical condition. Detect abnormalities.
上記特許文献１に記載の巻き締め検査装置のように、巻き締め動作中に測定されたトルク値から得られるトルク波形パターンと、良品のトルク波形パターンとを比較することによって巻き締め不良を検出するのは、ネジ山を有する容器に対してスクリューキャップの巻き締めが良好に行われている状況であれば、そのスクリューキャップについて得られるトルク波形パターンと良品のトルク波形パターンとの誤差が所定の度合い以内に収まることを前提としている。 Like the seaming inspection device described in Patent Document 1, a seaming defect is detected by comparing the torque waveform pattern obtained from the torque value measured during the seaming operation with the torque waveform pattern of a non-defective product. This is because if the screw cap is properly tightened on a container with threads, the error between the torque waveform pattern obtained for the screw cap and the torque waveform pattern of a good product will be within a certain degree. It is assumed that it falls within the following range.
しかしながら、最終的に締め付けが良好に行われる場合であっても、ネジの締め始め、すなわちトルクの測定開始からしばらくの期間は、トルク測定値のばらつきが大きくなる傾向にある。これは、締付機構を回転させ始めるときの雄ネジと雌ネジの位置関係のばらつきなどが原因となって生じる。そのため、この測定開始期間におけるトルク測定値のばらつきにより、トルク波形パターンの比較開始位置を正確に特定することが困難となり、それがトルク波形パターンを比較したときの誤差となって現れてしまう。その結果、締め付けが良好に行われているにもかかわらず異常と誤判定してしまうことがあるという問題があった。 However, even if the tightening is performed satisfactorily in the end, the torque measurement values tend to vary widely for a while after the screw starts to be tightened, that is, after the start of torque measurement. This occurs due to variations in the positional relationship between the male thread and the female thread when the tightening mechanism starts to rotate. Therefore, due to variations in the torque measurement values during this measurement start period, it becomes difficult to accurately specify the comparison start position of the torque waveform patterns, which results in an error when comparing the torque waveform patterns. As a result, there is a problem in that even though the tightening is performed satisfactorily, it may be erroneously determined to be abnormal.
本発明は、このような問題を解決するために成されたものであり、ネジの締付異常の判定精度を向上させることができるようにすることを目的とする。 The present invention has been made to solve such problems, and an object of the present invention is to improve the accuracy of determining abnormality in screw tightening.
上記した課題を解決するために、本発明のネジ締付異常判定装置では、自動ネジ締め装置によるネジ締付動作開始時からネジ締付動作終了時までの締付トルクの一連の測定値を表す時系列データの時間軸を反転させることによって反転時系列データを生成し、当該生成した反転時系列データと、自動ネジ締め装置による正常なネジ締付動作時における一連の締付トルクを表す時系列データについて時間軸を反転させることによって得られる反転時系列データとの一致性に基づいて、ネジの締付異常を判定するようにしている。ここで、当該生成した反転時系列データと、ニューラルネットワークによる演算部に対して当該生成した反転時系列データを入力した際に出力データとして得られる反転時系列データとの差分が所定の閾値を超えている場合に、ネジ締付異常と判定する。ニューラルネットワークは、正常なネジ締付動作時に得られる反転時系列データが入力データとして入力された際に、入力データとの差分が所定の閾値以下となる反転時系列データが出力データとして出力されるように機械学習する。 In order to solve the above problems, the screw tightening abnormality determination device of the present invention expresses a series of measured values of the tightening torque from the start of the screw tightening operation to the end of the screw tightening operation by the automatic screw tightening device. Inverted time series data is generated by inverting the time axis of the time series data, and the generated inverted time series data and a time series representing a series of tightening torques during normal screw tightening operations by an automatic screw tightening device Abnormal tightening of the screw is determined based on consistency with inverted time series data obtained by inverting the time axis of the data. Here, the difference between the generated inverted time-series data and the inverted time-series data obtained as output data when the generated inverted time-series data is input to the calculation unit using the neural network exceeds a predetermined threshold. If it is, it is determined that the screw tightening is abnormal. When the neural network receives inverted time-series data obtained during normal screw tightening operations as input data, it outputs inverted time-series data whose difference from the input data is less than a predetermined threshold as output data. machine learning.
上記のように構成した本発明によれば、時系列データの時間軸を反転させて反転時系列データを生成することで、自動ネジ締め装置によるネジの締め始め（トルクの測定開始）からしばらくの期間中に生じるトルク測定値のばらつきの影響を受けることなく、反転時系列データの開始位置を一意に特定し、その上で反転時系列データの一致性の判定を行うことが可能となる。これにより、反転時系列データの一致性をより正しく判定することが可能となり、その結果、締付異常の判定精度を向上させることができる。 According to the present invention configured as described above, by inverting the time axis of the time series data to generate inverted time series data, it is possible to generate the inverted time series data for a while after the automatic screw tightening device starts tightening the screw (starts measuring torque). It becomes possible to uniquely specify the start position of the reversed time series data without being affected by variations in torque measurement values that occur during the period, and then to determine the consistency of the reversed time series data. This makes it possible to more accurately determine the consistency of the inverted time series data, and as a result, it is possible to improve the accuracy of determining tightening abnormalities.
以下、本発明の一実施形態を図面に基づいて説明する。図１は、本実施形態によるネジ締付異常判定装置の機能構成例を示すブロック図である。図１に示すように、本実施形態のネジ締付異常判定装置は、自動ネジ締め装置によるネジの締付異常を判定するものであり、機能構成として、時系列データ取得部１１、データ加工部１２、演算部１３および異常判定部１４を備えている。 Hereinafter, one embodiment of the present invention will be described based on the drawings. FIG. 1 is a block diagram showing an example of the functional configuration of a screw tightening abnormality determination device according to this embodiment. As shown in FIG. 1, the screw tightening abnormality determination device of the present embodiment is for determining a screw tightening abnormality by an automatic screw tightening device, and includes a time series data acquisition unit 11, a data processing unit, and a data processing unit. 12, a calculation section 13, and an abnormality determination section 14.
上記各機能ブロック１１～１４は、ハードウェア、ＤＳＰ（Digital Signal Processor）、ソフトウェアの何れによっても構成することが可能である。例えばソフトウェアによって構成する場合、上記各機能ブロック１１～１４は、実際にはコンピュータのＣＰＵ、ＲＡＭ、ＲＯＭなどを備えて構成され、ＲＡＭやＲＯＭ、ハードディスクまたは半導体メモリ等の記録媒体に記憶されたネジ締付異常判定用プログラムが動作することによって実現される。ＣＰＵに代えてまたは加えてＧＰＵ（Graphics Processing Unit）、ＦＰＧＡ（Field Programmable Gate Array）またはＡＳＩＣ（Application Specific Integrated Circuit）などを用いてもよい。 Each of the functional blocks 11 to 14 described above can be configured by hardware, DSP (Digital Signal Processor), or software. For example, when configured by software, each of the functional blocks 11 to 14 is actually configured with a computer's CPU, RAM, ROM, etc. This is realized by running a tightening abnormality determination program. Instead of or in addition to the CPU, a GPU (Graphics Processing Unit), FPGA (Field Programmable Gate Array), ASIC (Application Specific Integrated Circuit), or the like may be used.
時系列データ取得部１１は、自動ネジ締め装置によるネジ締付動作開始時からネジ締付動作終了時までの締付トルクの一連の測定値を表す時系列データを取得する。自動ネジ締め装置は、締付機構に備えたトルク測定器によって締付機構の動作中に締付トルクを測定し、測定トルク値が設定値となるまでネジを回転させて対象物に対する締め付けを行う。すなわち、この自動ネジ締め装置では、トルクを付与することによって締め付け動作を開始し、その後、測定トルク値が設定動作時間内に設定値に達したことをもって、締め付け動作を終了する。 The time-series data acquisition unit 11 acquires time-series data representing a series of measured values of tightening torque from the start of the screw tightening operation by the automatic screw tightening device to the end of the screw tightening operation. An automatic screw tightening device measures the tightening torque while the tightening mechanism is in operation using a torque measuring device installed in the tightening mechanism, and then rotates the screw until the measured torque value reaches the set value to tighten the object. . That is, in this automatic screw tightening device, the tightening operation is started by applying torque, and then the tightening operation is ended when the measured torque value reaches the set value within the set operation time.
時系列データ取得部１１が取得する時系列データは、自動ネジ締め装置によるネジ締付動作開始時からネジ締付動作終了時まで所定のサンプリング時間ごとに測定された締付トルクの一連の測定値をもとにトルク波形画像として生成した波形データである。トルク波形画像は、締付トルクの測定値を縦軸にとり、時間軸を横軸にとって生成した波形画像であり、ネジ締付動作開始時からネジ締付動作終了時までに測定された締付トルクの変動をグラフ形式で表したものである。 The time series data acquired by the time series data acquisition unit 11 is a series of measured values of tightening torque measured at predetermined sampling times from the start of the screw tightening operation by the automatic screw tightening device to the end of the screw tightening operation. This is waveform data generated as a torque waveform image based on . A torque waveform image is a waveform image generated with the measured value of tightening torque on the vertical axis and the time axis on the horizontal axis, and shows the tightening torque measured from the start of the screw tightening operation to the end of the screw tightening operation. This is a graphical representation of the fluctuations in
このトルク波形画像による波形データの生成は、例えば、本実施形態のネジ締付異常判定装置とは異なる別の画像処理装置によって行われる。画像処理装置は、ネジ締付異常判定装置のネジ締付異常判定用プログラムがインストールされた端末と同じ端末または異なる端末にインストールされた画像処理用プログラムが動作することによって実現されるものである。 Generation of waveform data based on this torque waveform image is performed by, for example, another image processing device different from the screw tightening abnormality determination device of this embodiment. The image processing device is realized by the operation of an image processing program installed on the same terminal as the terminal on which the screw tightening abnormality determination program of the screw tightening abnormality determination device is installed or on a different terminal.
ネジ締付異常判定用プログラムが画像処理用プログラムと同じ端末にインストールされている場合、時系列データ取得部１１は、端末内の画像処理装置によって生成されて当該端末の記憶媒体に保存された波形データを、当該記憶媒体から読み出して取得する。一方、ネジ締付異常判定用プログラムが画像処理用プログラムと異なる端末にインストールされている場合、時系列データ取得部１１は、画像処理装置によって生成されてネジ締付異常判定装置とは異なる端末に保存された波形データを、通信ネットワークまたはリムーバブル記憶媒体を介して取得する。 When the screw tightening abnormality determination program is installed on the same terminal as the image processing program, the time series data acquisition unit 11 acquires the waveform generated by the image processing device in the terminal and saved in the storage medium of the terminal. Data is read and acquired from the storage medium. On the other hand, if the screw tightening abnormality determination program is installed on a terminal different from the image processing program, the time series data acquisition unit 11 is generated by the image processing device and installed on a different terminal from the screw tightening abnormality determination device. The stored waveform data is obtained via a communication network or removable storage medium.
なお、締付トルクの一連の測定値をもとに波形画像を生成する機能を時系列データ取得部１１が備えるようにしてもよい。この場合、時系列データ取得部１１は、締付トルクの一連の測定値を入力し、その測定値からトルク波形画像の波形データを生成することにより、当該波形データから成る時系列データを取得する。 Note that the time-series data acquisition unit 11 may be provided with a function of generating a waveform image based on a series of measured values of tightening torque. In this case, the time-series data acquisition unit 11 inputs a series of measured values of tightening torque, generates waveform data of a torque waveform image from the measured values, and acquires time-series data consisting of the waveform data. .
データ加工部１２は、時系列データ取得部１１により取得される時系列データ（トルク波形画像の波形データ）の時間軸を反転させることによって反転時系列データを生成する。反転時系列データは、締付トルクの測定値を縦軸にとり、反転した時間軸を横軸にとって生成した反転トルク波形画像の波形データであり、時間軸を反転させる前のトルク波形の終了位置が、時間軸を反転させた後の反転トルク波形における所定の開始位置となるように位置合わせを行ったものである。 The data processing unit 12 generates inverted time series data by inverting the time axis of the time series data (waveform data of the torque waveform image) acquired by the time series data acquisition unit 11. Inverted time series data is waveform data of an inverted torque waveform image generated with the measured value of tightening torque on the vertical axis and the inverted time axis on the horizontal axis, and the end position of the torque waveform before the time axis is inverted. , the positioning is performed so as to reach a predetermined starting position in the inverted torque waveform after the time axis is inverted.
図２は、このデータ加工部１２の処理内容を説明するための図である。図２（ａ）は、時間軸を反転させる前の時系列データ（時系列データ取得部１１により取得されたトルク波形画像の波形データ）を示している。図２（ｂ）は、時間軸を反転させた後の反転時系列データ（データ加工部１２により生成された反転トルク波形画像の波形データ）を示している。 FIG. 2 is a diagram for explaining the processing contents of this data processing section 12. FIG. 2A shows time series data (waveform data of a torque waveform image acquired by the time series data acquisition unit 11) before the time axis is reversed. FIG. 2B shows inverted time series data (waveform data of an inverted torque waveform image generated by the data processing unit 12) after the time axis has been inverted.
図２（ａ）に示すように、自動ネジ締め装置によるネジ締付動作開始時（締付トルクの測定開始時）からしばらくの期間（以下、開始期間２１という）は、トルク測定値のばらつきが大きくなる傾向にある。すなわち、同じ製品を大量生産する製造プロセスの中の一工程として自動ネジ締め装置により自動ネジ締めを行う場合において、複数のネジについてそれぞれ最終的に締め付けが良好に行われるか否かによらず、開始期間２１では締付トルクの値にばらつきが生じる。 As shown in Figure 2(a), for a while (hereinafter referred to as start period 21) after the start of screw tightening operation by the automatic screw tightening device (start of measurement of tightening torque), there are variations in torque measurement values. It tends to get bigger. In other words, when automatic screw tightening is performed by an automatic screw tightening device as a step in the manufacturing process of mass producing the same product, regardless of whether or not each of the multiple screws is ultimately properly tightened, In the start period 21, variations occur in the tightening torque values.
一方、ネジ締付動作終了時における締付トルクは、最終的に締め付けが良好に行われるか否かによらず、どのネジであってもほぼ一定の値となる。データ加工部１２は、このような性質を利用して、図２（ｂ）に示すように、時間軸を反転させる前におけるトルク波形の終了位置ＥＰが、時間軸を反転させた後における反転トルク波形の所定の開始位置ＳＰとなるように位置合わせを行う。ここでいう開始位置ＳＰとは、後述する異常判定部１４において反転トルク波形の比較を行う際の比較開始位置を意味する。 On the other hand, the tightening torque at the end of the screw tightening operation has a substantially constant value regardless of whether the screw is finally tightened properly or not. Utilizing this property, the data processing unit 12 determines that the end position EP of the torque waveform before reversing the time axis is the reverse torque after reversing the time axis, as shown in FIG. Positioning is performed so that the waveform reaches a predetermined starting position SP. The start position SP here means a comparison start position when comparing reverse torque waveforms in the abnormality determining section 14, which will be described later.
図２（ａ）のように時間軸を反転させていない状態のトルク波形を比較に用いる場合、ネジごとにばらつきが大きくなる開始期間２１のどの部分を比較開始位置として特定するかは困難である。これに対し、図２（ｂ）のように時間軸を反転させて生成した反転トルク波形であれば、比較開始位置を特定することは容易である。すなわち、どのネジについて測定された締付トルクに基づく反転トルク波形であっても、比較開始位置を一意に特定することが可能である。 When using a torque waveform with the time axis not inverted as shown in FIG. 2(a) for comparison, it is difficult to specify which part of the start period 21 as the comparison start position where the variation is large for each screw. . On the other hand, if the inverted torque waveform is generated by inverting the time axis as shown in FIG. 2(b), it is easy to specify the comparison start position. That is, it is possible to uniquely specify the comparison start position regardless of the inverted torque waveform based on the tightening torque measured for any screw.
なお、詳細は後述するが、締め付けが良好に行われたネジと、締め付けが良好に行われなかったネジとの間では、ネジ締付動作終了時に至るまでの過程における締付トルクの変動の仕方、つまりトルク波形の形状に差が生じる。一方、締め付けが良好に行われたネジであれば、どのネジについても、ネジ締付動作終了時に至るまでの過程における締付トルクの変動の仕方はほぼ同じとなり、取得される反転トルク波形の形状に大きな差は生じない。 Although the details will be described later, there is a difference in the way the tightening torque fluctuates in the process up to the end of the screw tightening operation between screws that have been tightened well and screws that have not been tightened well. In other words, a difference occurs in the shape of the torque waveform. On the other hand, if the screw has been tightened well, the way the tightening torque fluctuates in the process up to the end of the screw tightening operation will be almost the same for any screw, and the shape of the obtained reversed torque waveform will be the same. There is no big difference.
演算部１３は、データ加工部１２により生成された反転トルク波形画像を入力し、ニューラルネットワークによる学習モデルを用いて所定の演算を行うことにより、演算によって生成された反転トルク波形画像を出力する。この演算部１３は、自動ネジ締め装置による正常なネジ締付動作時に得られる反転トルク波形画像が入力データとしてニューラルネットワークに入力された際に、入力データとの差分が所定の閾値以下となる反転トルク波形画像が出力データとしてニューラルネットワークから出力されるように、ニューラルネットワークに対して機械学習処理が施されている。演算部１３が用いる学習モデルは、例えばオートエンコーダである。 The calculation unit 13 inputs the inverted torque waveform image generated by the data processing unit 12, performs a predetermined calculation using a learning model using a neural network, and outputs an inverted torque waveform image generated by the calculation. When the inverted torque waveform image obtained during normal screw tightening operation by the automatic screw tightening device is input to the neural network as input data, this calculation unit 13 performs an inverted torque waveform image such that the difference from the input data is less than or equal to a predetermined threshold. Machine learning processing is applied to the neural network so that the torque waveform image is output from the neural network as output data. The learning model used by the calculation unit 13 is, for example, an autoencoder.
図３は、演算部１３において用いる学習モデル（自動ネジ締め装置によるネジの締付異常を判定するための学習モデル）を生成するための学習モデル生成装置の機能構成例を示すブロック図である。図３に示すように、本実施形態の学習モデル生成装置は、機能構成として、時系列データ取得部３１、データ加工部３２およびモデル生成部３３を備えている。 FIG. 3 is a block diagram showing an example of the functional configuration of a learning model generation device for generating a learning model (a learning model for determining abnormality in screw tightening by the automatic screw tightening device) used in the calculation unit 13. As shown in FIG. 3, the learning model generation device of this embodiment includes a time series data acquisition section 31, a data processing section 32, and a model generation section 33 as functional configurations.
上記各機能ブロック３１～３３は、ハードウェア、ＤＳＰ、ソフトウェアの何れによっても構成することが可能である。例えばソフトウェアによって構成する場合、上記各機能ブロック３１～３３は、実際にはコンピュータのＣＰＵ、ＲＡＭ、ＲＯＭなどを備えて構成され、ＲＡＭやＲＯＭ、ハードディスクまたは半導体メモリ等の記録媒体に記憶された学習モデル生成用プログラムが動作することによって実現される。ＣＰＵに代えてまたは加えてＧＰＵ、ＦＰＧＡまたはＡＳＩＣなどを用いてもよい。 Each of the functional blocks 31 to 33 described above can be configured by hardware, DSP, or software. For example, when configured by software, each of the functional blocks 31 to 33 is actually configured with a computer's CPU, RAM, ROM, etc., and learning data stored in a recording medium such as RAM, ROM, hard disk, or semiconductor memory. This is realized by running a model generation program. A GPU, FPGA, ASIC, etc. may be used instead of or in addition to the CPU.
時系列データ取得部３１は、自動ネジ締め装置による正常なネジ締付動作時におけるネジ締付動作開始時からネジ締付動作終了時までの締付トルクの一連の測定値を表す時系列データを学習用データとして取得する。時系列データ取得部３１が取得する時系列データも、時系列データ取得部１１が取得する時系列データと同様、トルク波形画像の波形データである。 The time series data acquisition unit 31 acquires time series data representing a series of measured values of tightening torque from the start of the screw tightening operation to the end of the screw tightening operation during normal screw tightening operation by the automatic screw tightening device. Obtain as learning data. The time series data acquired by the time series data acquisition unit 31 is also waveform data of a torque waveform image, similar to the time series data acquired by the time series data acquisition unit 11.
上述した時系列データ取得部１１が取得する時系列データは、ネジ締付異常の判定対象とするネジ（異常の有無が未知のネジ）について取得されるデータであるのに対し、時系列データ取得部３１が取得する時系列データは、ネジ締付動作が正常に行われたことが既知の複数のネジについて取得された複数の学習用データである点で異なる。例えば、時系列データ取得部３１が取得する時系列データは、同じ製品の同じ箇所に同種のネジを締め付けたときに得られる複数の時系列データである。 The time-series data acquired by the above-mentioned time-series data acquisition unit 11 is data acquired for screws that are subject to determination of screw tightening abnormality (screws whose presence or absence of abnormality is unknown); The time series data acquired by the unit 31 differs in that it is a plurality of learning data acquired for a plurality of screws for which it is known that the screw tightening operation was performed normally. For example, the time series data acquired by the time series data acquisition unit 31 is a plurality of time series data obtained when the same type of screw is tightened at the same location of the same product.
データ加工部３２は、時系列データ取得部３１により取得される時系列データの時間軸を反転させることによって反転時系列データ（反転トルク波形画像の波形データ）を生成する。このデータ加工部３２の処理内容は、上述したデータ加工部１２の処理内容と同じである。データ加工部１２は、判定対象とするネジについて取得された時系列データに対して加工を行うのに対し、時系列データ取得部３１は、ネジ締付動作が正常に行われたことが既知の複数のネジについて取得された複数の時系列データに対して加工を行う点で相違するのみである。 The data processing unit 32 generates inverted time series data (waveform data of an inverted torque waveform image) by inverting the time axis of the time series data acquired by the time series data acquisition unit 31. The processing content of this data processing section 32 is the same as the processing content of the data processing section 12 described above. The data processing unit 12 processes the time series data acquired for the screw to be determined, whereas the time series data acquisition unit 31 processes the time series data acquired for the screw to be determined. The only difference is that processing is performed on a plurality of time series data acquired for a plurality of screws.
モデル生成部３３は、データ加工部３２により複数の学習用データから生成された複数の反転時系列データを用いて、自動ネジ締め装置による正常なネジ締付動作時に得られる反転時系列データが入力データとしてニューラルネットワークに入力された際に、入力データとの差分が所定の閾値以下となる反転時系列データを出力データとしてニューラルネットワークから出力するための学習モデルを機械学習処理によって生成する。 The model generation unit 33 uses a plurality of inverted time series data generated from a plurality of learning data by the data processing unit 32, and inputs inverted time series data obtained during normal screw tightening operation by the automatic screw tightening device. A learning model is generated by machine learning processing for outputting inverted time series data whose difference from the input data is less than or equal to a predetermined threshold value from the neural network as output data when the data is input to the neural network.
上述したように、モデル生成部３３が生成する学習モデルは、オートエンコーダである。オートエンコーダは、入力層、複数の隠れ層および出力層を有するニューラルネットワークにおいて、入力層に入力されたデータを隠れ層で次元圧縮した後、隠れ層で更に次元復元したデータを出力層から出力するように構成された学習モデルである。オートエンコーダを用いる場合、モデル生成部３３は、データ加工部３２により生成された反転トルク波形画像を入力層に与えるとともに、同じ反転トルク波形画像を出力層に教師データとして与えて学習を行うことにより、隠れ層のパラメータを調整する。 As described above, the learning model generated by the model generation unit 33 is an autoencoder. In a neural network that has an input layer, multiple hidden layers, and an output layer, an autoencoder compresses the dimensionality of data input to the input layer in the hidden layer, and then outputs the data, which has been further dimensionally restored in the hidden layer, from the output layer. This is a learning model configured as follows. When using an autoencoder, the model generation unit 33 provides the inverted torque waveform image generated by the data processing unit 32 to the input layer, and also provides the same inverted torque waveform image to the output layer as training data to perform learning. , adjust the hidden layer parameters.
上述したように、締め付けが良好に行われたネジであれば、どのネジについても、取得される反転トルク波形の形状に大きな差は生じない。よって、自動ネジ締め装置による正常なネジ締付動作時に得られる複数の反転トルク波形画像を教師データとしてオートエンコーダの機械学習を行うことにより、正常なネジ締付動作時に得られる反転トルク波形画像が入力された際に、それとの差分が所定の閾値以下となる反転トルク波形画像が出力されるように、隠れ層のパラメータを適切に調整することが可能である。 As described above, if the screws are properly tightened, there will not be a large difference in the shape of the obtained reverse torque waveform for any screw. Therefore, by performing machine learning on the autoencoder using multiple inverted torque waveform images obtained during normal screw tightening operations by an automatic screw tightening device as training data, the inverted torque waveform images obtained during normal screw tightening operations can be It is possible to appropriately adjust the parameters of the hidden layer so that an inverted torque waveform image whose difference from the input torque waveform image is equal to or less than a predetermined threshold is output.
これにより、学習済みのオートエンコーダの入力層に対して、学習時に用いた反転トルク波形画像と同じ反転トルク波形画像またはそれに近い反転トルク波形画像を入力すると、その反転トルク波形画像との誤差が小さい反転トルク波形画像が出力層から出力されることとなる。一方、学習済みのオートエンコーダの入力層に対して、学習時に用いた反転トルク波形画像と近くない反転トルク波形画像を入力すると、その反転トルク波形画像との誤差が大きい反転トルク波形画像が出力層から出力されることとなる。 As a result, if an inverted torque waveform image that is the same as the inverted torque waveform image used during learning or an inverted torque waveform image close to it is input to the input layer of a trained autoencoder, the error with the inverted torque waveform image is small. An inverted torque waveform image will be output from the output layer. On the other hand, if an inverted torque waveform image that is not close to the inverted torque waveform image used during learning is input to the input layer of a trained autoencoder, the inverted torque waveform image with a large error from the inverted torque waveform image will be output to the output layer. It will be output from.
図４は、上記のよう構成した学習モデル生成装置の動作例を示すフローチャートである。まず、時系列データ取得部３１は、正常なネジ締付動作時におけるネジ締付動作開始時からネジ締付動作終了時までの締付トルクの一連の測定値を表すトルク波形画像の波形データを学習用データとして１つ取得する（ステップＳ１）。次いで、データ加工部３２は、時系列データ取得部３１により取得されたトルク波形画像の時間軸を反転させることによって反転トルク波形画像の波形データを生成する（ステップＳ２）。 FIG. 4 is a flowchart showing an example of the operation of the learning model generation device configured as described above. First, the time series data acquisition unit 31 acquires waveform data of a torque waveform image representing a series of measured values of tightening torque from the start of the screw tightening operation to the end of the screw tightening operation during a normal screw tightening operation. One piece of data is acquired as learning data (step S1). Next, the data processing unit 32 generates waveform data of an inverted torque waveform image by inverting the time axis of the torque waveform image acquired by the time series data acquisition unit 31 (step S2).
そして、モデル生成部３３は、データ加工部３２により生成された反転トルク波形画像の波形データを用いて、当該反転トルク波形画像がオートエンコーダの入力層に入力された際にそれとの差分が所定の閾値以下となる反転トルク波形画像が出力層から出力されるように、オートエンコーダのパラメータを機械学習処理によって調整する（ステップＳ３）。その後、時系列データ取得部３１は、あらかじめ用意しておいた複数の学習用データを全て処理したか否かを判定する（ステップＳ４）。未処理の学習用データが残っている場合はステップＳ１に戻る。一方、全ての学習用データを処理し終わった場合、図４に示す機械学習の処理は終了する。 Then, the model generating unit 33 uses the waveform data of the inverted torque waveform image generated by the data processing unit 32 to determine that when the inverted torque waveform image is input to the input layer of the autoencoder, the difference between it and the inverted torque waveform image is a predetermined value. Parameters of the autoencoder are adjusted by machine learning processing so that an inverted torque waveform image that is equal to or less than a threshold value is output from the output layer (step S3). After that, the time series data acquisition unit 31 determines whether all of the plurality of learning data prepared in advance have been processed (step S4). If unprocessed learning data remains, the process returns to step S1. On the other hand, when all the learning data has been processed, the machine learning process shown in FIG. 4 ends.
図１に示す演算部１３は、モデル生成部３３により生成された学習済みの学習モデル（オートエンコーダ）をデプロイすることによって構成される。なお、ここではネジ締付異常判定装置と学習モデル生成装置とを別構成とする例について説明したが、ネジ締付異常判定装置が学習モデル生成装置を兼ね備える構成としてもよい。例えば、ネジ締付異常判定装置において、学習モードと判定モードとを切り替えられるように構成し、学習モードが設定されているときに、時系列データ取得部１１、データ加工部１２および演算部１３がそれぞれ図３に示した時系列データ取得部３１、データ加工部３２およびモデル生成部３３として動作するように構成することが可能である。 The calculation unit 13 shown in FIG. 1 is configured by deploying a trained learning model (autoencoder) generated by the model generation unit 33. Although an example in which the screw tightening abnormality determination device and the learning model generation device are configured separately has been described here, the screw tightening abnormality determination device may also be configured to have the learning model generation device. For example, a screw tightening abnormality determination device is configured to be able to switch between a learning mode and a determination mode, and when the learning mode is set, the time series data acquisition section 11, data processing section 12, and calculation section 13 They can be configured to operate as the time-series data acquisition unit 31, data processing unit 32, and model generation unit 33 shown in FIG. 3, respectively.
異常判定部１４は、データ加工部１２により生成された反転時系列データ（反転トルク波形画像）と、当該反転時系列データを演算部１３の学習モデルに入力データとして入力した際に演算部１３から出力データとして得られる反転時系列データ（反転トルク波形画像）との差分が所定の閾値を超えているか否かを判定し、差分が所定の閾値を超えている場合にネジの締付異常が生じていると判定する。 The abnormality determination unit 14 receives the inverted time series data (inverted torque waveform image) generated by the data processing unit 12 and the inverted time series data from the computing unit 13 when the inverted time series data is input as input data to the learning model of the computing unit 13. It is determined whether the difference with the inverted time series data (inverted torque waveform image) obtained as output data exceeds a predetermined threshold, and if the difference exceeds the predetermined threshold, a screw tightening error occurs. It is determined that the
これは、データ加工部１２により生成された反転トルク波形画像の波形データと、自動ネジ締め装置による正常なネジ締付動作時における一連の締付トルクを表す時系列データについて時間軸を反転させることによって得られる反転トルク波形画像の波形データ（これが演算部１３の学習モデルに学習されている）との一致性に基づいて、ネジの締付異常を判定することに相当する。 This is to invert the time axes of the waveform data of the inverted torque waveform image generated by the data processing unit 12 and the time series data representing a series of tightening torques during normal screw tightening operations by the automatic screw tightening device. This corresponds to determining a screw tightening abnormality based on the consistency with the waveform data of the inverted torque waveform image obtained by (this has been learned by the learning model of the calculation unit 13).
ここで、２つの反転トルク波形画像の差分は、公知の任意の手法により算出することが可能である。例えば、時間軸上に所定間隔ごとに設定した複数のサンプリング点についてそれぞれ反転トルク波形画像の差分（波形上の画素間の距離または画素数）をとり、それらの平均二乗誤差を算出するといった方法を用いることが可能である。この場合における各サンプリング点の時間間隔は、自動ネジ締め装置のトルク測定器によってサンプリング時間ごとに測定される締付トルクの時間間隔と同じであってもよいし、異なってもよい。 Here, the difference between the two inverted torque waveform images can be calculated using any known method. For example, a method can be used in which the differences (distance between pixels or number of pixels on the waveform) of the inverted torque waveform images are taken for each of multiple sampling points set at predetermined intervals on the time axis, and the mean square error is calculated. It is possible to use In this case, the time interval between each sampling point may be the same as or different from the time interval of the tightening torque measured at each sampling time by the torque measuring device of the automatic screw tightening device.
また、所定の閾値は、任意に定め得る。例えば、機械学習に用いた複数の反転トルク波形画像の全てまたは一部を学習済みの学習モデルに入力し、学習モデルに入力した反転トルク波形画像と、学習モデルから出力された反転トルク波形画像との差分をそれぞれ算出し、さらにそれらの差分の平均値を算出する。こうして算出される差分の平均値は、正常なネジ締付動作時に得られる反転トルク波形画像を学習モデルに入力した場合に入力データと出力データとの間に生じる差分の平均的な値を示していると言える。所定の閾値は、この差分の平均値を基準として、これよりもある程度大きな値を設定することが可能である。差分の平均値に代えて、差分の最大値を算出し、その最大値またはそれよりもある程度大きな値を所定の閾値とするようにしてもよい。 Further, the predetermined threshold value can be arbitrarily determined. For example, by inputting all or part of multiple inverted torque waveform images used for machine learning into a trained learning model, the inverted torque waveform images input to the learning model and the inverted torque waveform images output from the learning model can be combined. Then, the average value of these differences is calculated. The average value of the difference calculated in this way indicates the average value of the difference that occurs between the input data and the output data when the inverted torque waveform image obtained during normal screw tightening operation is input to the learning model. I can say that there is. The predetermined threshold value can be set to a value that is somewhat larger than the average value of the differences. Instead of the average value of the differences, the maximum value of the differences may be calculated, and the maximum value or a value somewhat larger than the maximum value may be set as the predetermined threshold.
図５は、異常判定部１４の処理内容を説明するための図である。図５（ａ）に示すように、締め付けが良好に行われたネジについて取得された反転トルク波形画像４１が演算部１３に供給された場合は、その反転トルク波形画像４１との差分が所定の閾値以下となる反転トルク波形画像４２が演算部１３から出力されることとなる。よって、この場合に異常判定部１４は、ネジの締付異常が生じていないと判定する。 FIG. 5 is a diagram for explaining the processing content of the abnormality determination unit 14. As shown in FIG. 5(a), when an inverted torque waveform image 41 acquired for a screw that has been properly tightened is supplied to the calculation unit 13, the difference between the inverted torque waveform image 41 and the inverted torque waveform image 41 is determined by a predetermined value. The inverted torque waveform image 42 that is equal to or less than the threshold value will be output from the calculation unit 13. Therefore, in this case, the abnormality determination unit 14 determines that there is no abnormality in the tightening of the screw.
一方、図５（ｂ）に示すように、締め付けが良好に行われなかったネジについて取得された反転トルク波形画像４３が演算部１３に供給された場合は、その反転トルク波形画像４３との差分が所定の閾値を超える反転トルク波形画像４４が演算部１３から出力されることとなる。よって、この場合に異常判定部１４は、ネジ締付異常が生じていると判定する。 On the other hand, as shown in FIG. 5(b), when the inverted torque waveform image 43 acquired for the screw that was not properly tightened is supplied to the calculation unit 13, the difference between the inverted torque waveform image 43 and the inverted torque waveform image 43 is An inverted torque waveform image 44 in which the torque exceeds a predetermined threshold value will be output from the calculation unit 13. Therefore, in this case, the abnormality determining unit 14 determines that a screw tightening abnormality has occurred.
図６は、上記のように構成したネジ締付異常判定装置の動作例を示すフローチャートである。まず、時系列データ取得部１１は、判定対象とするネジについてのトルク波形画像、すなわち、自動ネジ締め装置によるネジ締付動作開始時からネジ締付動作終了時までの締付トルクの一連の測定値を表すトルク波形画像の波形データを取得する（ステップＳ１１）。次いで、データ加工部１２は、時系列データ取得部１１により取得されたトルク波形画像の時間軸を反転させることによって反転トルク波形画像の波形データを生成する（ステップＳ１２）。 FIG. 6 is a flowchart showing an example of the operation of the screw tightening abnormality determining device configured as described above. First, the time-series data acquisition unit 11 obtains a torque waveform image of the screw to be determined, that is, a series of measurements of the tightening torque from the start of the screw tightening operation to the end of the screw tightening operation by the automatic screw tightening device. Waveform data of a torque waveform image representing the value is acquired (step S11). Next, the data processing unit 12 generates waveform data of an inverted torque waveform image by inverting the time axis of the torque waveform image acquired by the time series data acquisition unit 11 (step S12).
そして、演算部１３は、学習モデル生成装置により学習済みの学習モデルに対し、データ加工部１２により生成された反転トルク波形画像の波形データを入力データとして入力することにより、学習モデルの出力データとして反転トルク波形画像の波形データを取得する（ステップＳ１３）。 Then, the calculation unit 13 inputs the waveform data of the inverted torque waveform image generated by the data processing unit 12 as input data to the learning model that has been trained by the learning model generation device. Waveform data of an inverted torque waveform image is acquired (step S13).
次に、異常判定部１４は、データ加工部１２により生成された反転トルク波形画像と、演算部１３により学習モデルの出力データとして取得された反転トルク波形画像との差分を算出する（ステップＳ１４）。そして、算出した差分が所定の閾値以下であるか否かを判定する（ステップＳ１５）。ここで、異常判定部１４は、算出した差分が所定の閾値以下であればネジ締付は正常であると判定し（ステップＳ１６）、算出した差分が所定の閾値を超えている場合はネジ締付に異常が生じていると判定する（ステップＳ１７）。これにより、１つのネジに関する締付異常判定処理を終了する。 Next, the abnormality determination unit 14 calculates the difference between the inverted torque waveform image generated by the data processing unit 12 and the inverted torque waveform image acquired as output data of the learning model by the calculation unit 13 (step S14). . Then, it is determined whether the calculated difference is less than or equal to a predetermined threshold (step S15). Here, the abnormality determination unit 14 determines that the screw tightening is normal if the calculated difference is less than or equal to a predetermined threshold (step S16), and if the calculated difference exceeds the predetermined threshold, the screw tightening is determined to be normal (step S16). It is determined that an abnormality has occurred in the attachment (step S17). This completes the tightening abnormality determination process for one screw.
以上詳しく説明したように、本実施形態では、入力されるデータと出力されるデータとの差分が所定の閾値以下となるように、正常なネジ締付動作時に得られる学習用データを用いてニューラルネットワークの機械学習処理が施された学習モデルを用いて、ネジの締付異常を判定する。特に、本実施形態では、自動ネジ締め装置によるネジ締付動作開始時からネジ締付動作終了時までの締付トルクの一連の測定値を表す時系列データ（トルク波形画像）の時間軸を反転させることによって反転時系列データ（反転トルク波形画像）を生成し、当該反転トルク波形画像と、当該反転トルク波形画像を学習モデルに入力した際に出力される反転トルク波形画像との差分が所定の閾値を超えているか否かを判定し、超えている場合にネジの締付異常が生じていると判定するようにしている。 As explained in detail above, in this embodiment, the learning data obtained during normal screw tightening operation is used to create a neural network so that the difference between input data and output data is less than or equal to a predetermined threshold. A learning model that has been subjected to network machine learning processing is used to determine whether there is an abnormality in screw tightening. In particular, in this embodiment, the time axis of time-series data (torque waveform image) representing a series of measured values of tightening torque from the start of the screw tightening operation to the end of the screw tightening operation by the automatic screw tightening device is reversed. By doing so, inverted time series data (inverted torque waveform image) is generated, and the difference between the inverted torque waveform image and the inverted torque waveform image that is output when the inverted torque waveform image is input to the learning model is determined by a predetermined value. It is determined whether or not the threshold value is exceeded, and if the threshold value is exceeded, it is determined that an abnormal tightening of the screw has occurred.
このように構成した本実施形態によれば、トルク波形画像の時間軸を反転させて反転トルク波形画像を生成することで、自動ネジ締め装置によるネジの締め始め（トルクの測定開始）からしばらくの間の開始期間２１中に生じるトルク測定値のばらつきの影響を受けることなく、反転トルク波形画像の開始位置ＳＰを一意に特定し、その上で反転トルク波形画像の一致性の判定を行うことが可能となる。これにより、反転トルク波形画像の一致性をより正しく判定することが可能となり、その結果、締付異常の判定精度を向上させることができる。 According to the present embodiment configured in this way, by inverting the time axis of the torque waveform image and generating an inverted torque waveform image, the automatic screw tightening device can be used for a while after the start of screw tightening (torque measurement start). It is possible to uniquely specify the start position SP of the inverted torque waveform image without being affected by variations in torque measurement values that occur during the starting period 21 in between, and then to determine the consistency of the inverted torque waveform image. It becomes possible. This makes it possible to more accurately determine the consistency of the inverted torque waveform images, and as a result, it is possible to improve the accuracy of determining tightening abnormalities.
なお、図２に示すように、トルク波形画像の開始期間２１中に生じるトルク測定値のばらつきは、反転トルク波形画像の終了期間２２（開始期間２１に対応する期間）に存在する。この終了期間２２におけるトルク測定値のばらつきにより、正常なネジ締付動作時に得られる反転トルク波形画像どうしの間にも多少の差分が生じる。しかし、本実施形態では、反転トルク波形画像の開始位置ＳＰの位置合わせを行っているので、終了期間２２以外の期間において大きな差分は生じない。よって、正常なネジ締付動作時に得られる反転トルク波形画像どうしの差分を一定の範囲内に抑えることが可能である。 Note that, as shown in FIG. 2, variations in the torque measurement values that occur during the start period 21 of the torque waveform image exist in the end period 22 (period corresponding to the start period 21) of the inverted torque waveform image. Due to variations in the torque measurement values during the end period 22, some differences occur between the inverted torque waveform images obtained during normal screw tightening operations. However, in this embodiment, since the start position SP of the inverted torque waveform image is aligned, no large difference occurs in periods other than the end period 22. Therefore, it is possible to suppress the difference between the inverted torque waveform images obtained during normal screw tightening operation to within a certain range.
これに対し、データ加工部１２，３２は、時系列データ取得部１１，３１により取得される時系列データの時間軸を反転させることに加えて、反転後の時系列データの末尾から遡って所定期間（終了期間２２）のデータを削除することによって反転時系列データを生成するようにしてもよい。このようにすれば、正常なネジ締付動作時に得られる反転トルク波形画像どうしの間にも多少の差分が生じる可能性のある終了期間２２のデータを、モデル生成部３３において演算部１３の学習モデルを機械学習する際の対象外とし、異常判定部１４において反転トルク波形を比較して差分を算出する際の対象外とすることができるので、ネジ締付異常の判定精度を上げることができる。この場合、異常判定部１４において異常判定の際に用いる所定の閾値を小さくして、より厳密に異常判定を行うようにすることも可能である。 On the other hand, in addition to inverting the time axis of the time series data acquired by the time series data acquisition units 11 and 31, the data processing units 12 and 32 also perform predetermined data processing backward from the end of the time series data after the inversion. Inverted time series data may be generated by deleting data for a period (end period 22). In this way, the data of the end period 22, in which there is a possibility that some difference may occur between the inverted torque waveform images obtained during normal screw tightening operation, can be used in the learning of the calculation unit 13 in the model generation unit 33. Since the model can be excluded from machine learning and excluded from the abnormality determination unit 14 when comparing reversed torque waveforms and calculating the difference, it is possible to improve the accuracy of determining screw tightening abnormalities. . In this case, it is also possible to make the predetermined threshold value used in the abnormality determination section 14 smaller to perform the abnormality determination more strictly.
なお、上記実施形態では、時系列データとして、自動ネジ締め装置によるネジ締付動作開始時からネジ締付動作終了時まで所定のサンプリング時間ごとに測定された締付トルクの一連の測定値をもとに生成したトルク波形画像の波形データを用いる例について説明したが、本発明はこれに限定されない。例えば、時系列データは、自動ネジ締め装置によるネジ締付動作開始時からネジ締付動作終了時まで所定のサンプリング時間ごとに測定された締付トルクの一連の測定値を表す数値列データとしてもよい。 In the above embodiment, the time-series data includes a series of tightening torque measurements measured at predetermined sampling times from the start of the screw tightening operation by the automatic screw tightening device to the end of the screw tightening operation. Although an example has been described in which waveform data of a torque waveform image generated in the above is used, the present invention is not limited thereto. For example, time-series data may be numerical string data representing a series of measured values of tightening torque measured at predetermined sampling times from the start of a screw tightening operation by an automatic screw tightening device to the end of the screw tightening operation. good.
また、上記実施形態では、学習モデルとしてオートエンコーダを用いる例について説明したが、本発明はこれに限定されない。例えば、自動ネジ締め装置による正常なネジ締付動作時に得られる反転時系列データをあらかじめ正解データとして用意しておき、これを教師データとして機械学習を行うような学習モデルであってもよい。この場合の正解データは、例えば、複数のネジについてネジ締付動作が正常に行われたときに得られる複数の反転時系列データのそれぞれとの差分が極力小さくなるように生成した近似曲線を用いることが可能である。 Further, in the above embodiment, an example in which an autoencoder is used as a learning model has been described, but the present invention is not limited to this. For example, a learning model may be used in which inverted time-series data obtained during normal screw tightening operations by an automatic screw tightening device is prepared in advance as correct data, and machine learning is performed using this data as teacher data. In this case, the correct data is, for example, an approximate curve that is generated so that the difference from each of the multiple inverted time series data obtained when screw tightening operations are performed normally for multiple screws is as small as possible. Is possible.
時系列データとしてトルク波形画像を用いる場合は、オートエンコーダ以外の学習モデルとして、例えばＧＡＮ（Generative Adversarial Network：敵対的生成ネットワーク）を用いることも可能である。すなわち、データ加工部１２により生成された反転トルク波形画像をもとに所定のアルゴリズムによって同じトルク波形画像を生成する生成器（generator）と、生成器により生成された反転トルク波形画像が正解の反転トルク波形画像（例えば、データ加工部１２により生成された反転トルク波形画像を用いる）であるか否かを識別する識別器（discriminator）とにより学習モデルを構成するようにしてもよい。この場合、識別器が異常判定部１４の機能を兼ねることになる。 When using torque waveform images as time series data, it is also possible to use, for example, a GAN (Generative Adversarial Network) as a learning model other than an autoencoder. That is, there is a generator that generates the same torque waveform image using a predetermined algorithm based on the inverted torque waveform image generated by the data processing unit 12, and an inverted image that is the correct inverted torque waveform image generated by the generator. The learning model may be configured with a discriminator that identifies whether the image is a torque waveform image (for example, using an inverted torque waveform image generated by the data processing unit 12). In this case, the discriminator also functions as the abnormality determining section 14.
また、上記実施形態では、学習モデルを用いてネジ締付の異常判定を行う例について説明したが、本発明はこれに限定されない。例えば、データ加工部１２により生成された反転時系列データと、自動ネジ締め装置による正常なネジ締付動作時における一連の締付トルクを表す時系列データについて時間軸を反転させることによって得られる反転時系列データとの差分に基づいて、ネジの締付異常を判定するようにしてもよい。図７は、その一例に係るネジ締付異常判定装置の機能構成例を示すブロック図である。 Further, in the above embodiment, an example has been described in which a learning model is used to determine an abnormality in screw tightening, but the present invention is not limited thereto. For example, an inversion obtained by reversing the time axes of the inverted time series data generated by the data processing unit 12 and the time series data representing a series of tightening torques during normal screw tightening operations by an automatic screw tightening device. An abnormal tightening of the screw may be determined based on the difference from the time series data. FIG. 7 is a block diagram showing an example of the functional configuration of a screw tightening abnormality determination device according to one example.
図７において、図１に示した符号と同一の符号を付したものは同一の機能を有するものであるので、ここでは重複する説明を省略する。図７に示すネジ締付異常判定装置は、機能構成として、演算部１３および異常判定部１４に代えて異常判定部１４’を備えている。また、図７に示すネジ締付異常判定装置は、記憶媒体として、正解データ記憶部１５を備えている。正解データ記憶部１５は、自動ネジ締め装置による正常なネジ締付動作時に得られる反転時系列データをあらかじめ正解データとして記憶する。正解データは、上述したように、複数のネジについてネジ締付動作が正常に行われたときに得られる複数の反転時系列データのそれぞれとの差分が極力小さくなるように生成した近似曲線のデータを用いることが可能である。 In FIG. 7, components denoted by the same reference numerals as those shown in FIG. 1 have the same functions, so a redundant explanation will be omitted here. The screw tightening abnormality determining device shown in FIG. 7 includes an abnormality determining section 14' in place of the calculating section 13 and the abnormality determining section 14 as a functional configuration. Further, the screw tightening abnormality determination device shown in FIG. 7 includes a correct data storage section 15 as a storage medium. The correct data storage unit 15 stores in advance inverted time series data obtained during a normal screw tightening operation by the automatic screw tightening device as correct data. As mentioned above, the correct data is approximate curve data that is generated so that the difference from each of the multiple inverted time series data obtained when screw tightening operations are performed normally for multiple screws is as small as possible. It is possible to use
異常判定部１４’は、データ加工部１２により生成された反転時系列データ（測定トルク値に基づくデータ）と、正解データ記憶部１５にあらかじめ記憶されている正解の反転時系列データとの差分（例えば、サンプリング点ごとに抽出した差分の平均二乗誤差）が所定の閾値を超えるか否かを判定し、差分が所定の閾値を超える場合にネジの締付異常が生じていると判定する。 The abnormality determination section 14' calculates the difference ( For example, it is determined whether the mean squared error of the difference extracted for each sampling point exceeds a predetermined threshold, and if the difference exceeds the predetermined threshold, it is determined that an abnormality in screw tightening has occurred.
また、上記図１の実施形態では、ネジ締付異常判定装置が時系列データ取得部１１、データ加工部１２、演算部１３および異常判定部１４を備える構成について説明したが、本発明はこれに限定されない。例えば、ネジ締付異常判定装置が演算部１３および異常判定部１４を備え、時系列データ取得部１１およびデータ加工部１２は別の装置が備える構成としてもよい。同様に、図７において、ネジ締付異常判定装置が異常判定部１４’および正解データ記憶部１５を備え、時系列データ取得部１１およびデータ加工部１２は別の装置が備える構成としてもよい。また、正解データ記憶部１５は、ネジ締付異常判定装置に接続された外部装置が備える構成としてもよい。 Furthermore, in the embodiment shown in FIG. 1, the screw tightening abnormality determination device has been described as having a time-series data acquisition section 11, a data processing section 12, a calculation section 13, and an abnormality determination section 14. Not limited. For example, the screw tightening abnormality determination device may include the calculation section 13 and the abnormality determination section 14, and the time series data acquisition section 11 and the data processing section 12 may be provided in separate devices. Similarly, in FIG. 7, the screw tightening abnormality determination device may include an abnormality determination section 14' and a correct data storage section 15, and the time series data acquisition section 11 and data processing section 12 may be provided in separate devices. Further, the correct data storage section 15 may be configured to be included in an external device connected to the screw tightening abnormality determination device.
その他、上記実施形態は、何れも本発明を実施するにあたっての具体化の一例を示したものに過ぎず、これによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその要旨、またはその主要な特徴から逸脱することなく、様々な形で実施することができる。 In addition, the above-mentioned embodiments are merely examples of implementation of the present invention, and the technical scope of the present invention should not be construed to be limited thereby. That is, the present invention can be implemented in various forms without departing from its gist or main features.
１１ 時系列データ取得部
１２ データ加工部
１３ 演算部
１４，１４’ 異常判定部
１５ 正解データ記憶部
３１ 時系列データ取得部
３２ データ加工部
３３ モデル生成部
11 Time series data acquisition section 12 Data processing section 13 Calculation section 14, 14' Abnormality determination section 15 Correct data storage section 31 Time series data acquisition section 32 Data processing section 33 Model generation section
Claims (7)
上記自動ネジ締め装置によるネジ締付動作開始時からネジ締付動作終了時までの締付トルクの一連の測定値を表す時系列データを取得する時系列データ取得部と、
上記時系列データ取得部により取得される上記時系列データの時間軸を反転させることによって反転時系列データを生成するデータ加工部と、
上記自動ネジ締め装置による正常なネジ締付動作時に得られる反転時系列データが入力データとして入力された際に、上記入力データとの差分が所定の閾値以下となる反転時系列データが出力データとして出力されるように機械学習処理が施されたニューラルネットワークによる演算部と、
上記データ加工部により生成された反転時系列データと、上記自動ネジ締め装置による正常なネジ締付動作時における一連の締付トルクを表す時系列データについて時間軸を反転させることによって得られる反転時系列データとの一致性に基づいてネジの締付異常を判定する異常判定部とを備え、
上記異常判定部は、上記データ加工部により生成された反転時系列データと、当該反転時系列データを上記演算部に上記入力データとして入力した際に上記演算部から上記出力データとして得られる反転時系列データとの差分が上記所定の閾値を超えている場合にネジ締付異常と判定する
ことを特徴とするネジ締付異常判定装置。 A screw tightening abnormality determination device for determining a screw tightening abnormality by an automatic screw tightening device,
a time-series data acquisition unit that acquires time-series data representing a series of measured values of tightening torque from the start of the screw tightening operation to the end of the screw tightening operation by the automatic screw tightening device;
a data processing unit that generates inverted time series data by reversing the time axis of the time series data acquired by the time series data acquisition unit;
When the inverted time series data obtained during normal screw tightening operation by the above automatic screw tightening device is input as input data, the inverted time series data whose difference from the above input data is less than a predetermined threshold is output data. A calculation unit using a neural network that has been subjected to machine learning processing so as to output,
Reversal time obtained by reversing the time axis of the inverted time series data generated by the data processing section and the time series data representing a series of tightening torques during normal screw tightening operations by the automatic screw tightening device. and an abnormality determination unit that determines whether there is an abnormality in screw tightening based on consistency with series data ,
The abnormality determination unit is configured to receive the inverted time series data generated by the data processing unit and the inverted time series data obtained as the output data from the arithmetic unit when the inverted time series data is inputted to the arithmetic unit as the input data. If the difference with the series data exceeds the predetermined threshold above, it is determined that the screw tightening is abnormal.
A screw tightening abnormality determination device characterized by the following.
ネジ締付異常判定装置の時系列データ取得部が、上記自動ネジ締め装置によるネジ締付動作開始時からネジ締付動作終了時までの締付トルクの一連の測定値を表す時系列データを取得する第１のステップと、
上記ネジ締付異常判定装置のデータ加工部が、上記時系列データ取得部により取得される上記時系列データの時間軸を反転させることによって反転時系列データを生成する第２のステップと、
上記ネジ締付異常判定装置の演算部が、上記自動ネジ締め装置による正常なネジ締付動作時に得られる反転時系列データが入力データとしてニューラルネットワークに入力された際に、上記入力データとの差分が所定の閾値以下となる反転時系列データが出力データとして上記ニューラルネットワークから出力されるように機械学習処理が施された学習モデルに対し、上記データ加工部により生成された上記反転時系列データを上記入力データとして入力することによって上記出力データとして反転時系列データを取得する第３のステップと、
上記ネジ締付異常判定装置の異常判定部が、上記データ加工部により生成された反転時系列データと、上記演算部により上記出力データとして取得された反転時系列データとの差分が上記所定の閾値を超えている場合にネジ締付異常と判定する第４のステップとを有する
ことを特徴とするネジ締付異常判定方法。 A screw tightening abnormality determination method for determining a screw tightening abnormality by an automatic screw tightening device, the method comprising:
The time series data acquisition unit of the screw tightening abnormality determination device acquires time series data representing a series of measured values of tightening torque from the start of the screw tightening operation to the end of the screw tightening operation by the automatic screw tightening device. The first step is to
a second step in which the data processing section of the screw tightening abnormality determination device generates inverted time series data by inverting the time axis of the time series data acquired by the time series data acquisition section;
When the inverted time series data obtained during normal screw tightening operation by the automatic screw tightening device is input to the neural network as input data, the calculation unit of the screw tightening abnormality determination device calculates the difference with the input data. The above-mentioned inverted time-series data generated by the above-mentioned data processing section is applied to a learning model that has been subjected to machine learning processing such that the inverted time-series data for which a third step of obtaining inverted time series data as the output data by inputting it as the input data;
The abnormality determination unit of the screw tightening abnormality determination device determines that the difference between the inverted time series data generated by the data processing unit and the inverted time series data acquired as the output data by the calculation unit is set to the predetermined threshold value. and a fourth step of determining that the screw tightening is abnormal if the value exceeds .
上記自動ネジ締め装置によるネジ締付動作開始時からネジ締付動作終了時までの締付トルクの一連の測定値を表す時系列データを取得する時系列データ取得手段、
上記時系列データ取得手段により取得される上記時系列データの時間軸を反転させることによって反転時系列データを生成するデータ加工手段、
上記自動ネジ締め装置による正常なネジ締付動作時に得られる反転時系列データが入力データとしてニューラルネットワークに入力された際に、上記入力データとの差分が所定の閾値以下となる反転時系列データが出力データとして上記ニューラルネットワークから出力されるように機械学習処理が施された学習モデルに対し、上記データ加工手段により生成された反転時系列データを上記入力データとして入力することによって上記出力データとして反転時系列データを取得する演算手段、および
上記データ加工手段により生成された反転時系列データと、上記演算手段により上記出力データとして取得された反転時系列データとの差分が上記所定の閾値を超えている場合にネジ締付異常と判定する異常判定手段
として上記コンピュータを機能させるためのネジ締付異常判定用プログラム。 A screw tightening abnormality determination program for causing a computer to execute a process for determining a screw tightening abnormality by an automatic screw tightening device,
Time-series data acquisition means for acquiring time-series data representing a series of measured values of tightening torque from the start of the screw tightening operation to the end of the screw tightening operation by the automatic screw tightening device;
data processing means for generating inverted time series data by reversing the time axis of the time series data acquired by the time series data acquisition means;
When the inverted time series data obtained during normal screw tightening operation by the automatic screw tightening device described above is input to the neural network as input data, the inverted time series data whose difference from the above input data is less than a predetermined threshold is generated. By inputting the inverted time series data generated by the data processing means as the input data to the learning model that has been subjected to machine learning processing so as to be output from the neural network as output data, the learning model is inverted as the output data. a calculation means for acquiring time series data, and a difference between the inverted time series data generated by the data processing means and the inverted time series data acquired as the output data by the calculation means exceeds the predetermined threshold; A program for determining an abnormality in screw tightening for causing the computer to function as an abnormality determining means for determining an abnormality in screw tightening when there is an abnormality in screw tightening.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020004905A JP7423146B2 (en) | 2020-01-16 | 2020-01-16 | Screw tightening abnormality determination device, learning model generation device, screw tightening abnormality determination method, learning model generation method, and screw tightening abnormality determination program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020004905A JP7423146B2 (en) | 2020-01-16 | 2020-01-16 | Screw tightening abnormality determination device, learning model generation device, screw tightening abnormality determination method, learning model generation method, and screw tightening abnormality determination program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2021112776A JP2021112776A (en) | 2021-08-05 |
| JP7423146B2 true JP7423146B2 (en) | 2024-01-29 |
Family
ID=77076428
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2020004905A Active JP7423146B2 (en) | 2020-01-16 | 2020-01-16 | Screw tightening abnormality determination device, learning model generation device, screw tightening abnormality determination method, learning model generation method, and screw tightening abnormality determination program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7423146B2 (en) |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2011162222A (en) | 2010-02-08 | 2011-08-25 | Shibuya Kogyo Co Ltd | Capping apparatus and capping method |
| US20200009696A1 (en) | 2018-07-03 | 2020-01-09 | Toyota Jidosha Kabushiki Kaisha | Inspection system |
-
2020
- 2020-01-16 JP JP2020004905A patent/JP7423146B2/en active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2011162222A (en) | 2010-02-08 | 2011-08-25 | Shibuya Kogyo Co Ltd | Capping apparatus and capping method |
| US20200009696A1 (en) | 2018-07-03 | 2020-01-09 | Toyota Jidosha Kabushiki Kaisha | Inspection system |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2021112776A (en) | 2021-08-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11507801B2 (en) | Method for detecting defects in semiconductor device | |
| JP2018119924A (en) | Diagnostic device | |
| US10571890B2 (en) | Diagnostic data acquisition system, diagnostic system, and computer readable medium | |
| US20210154790A1 (en) | Anomaly detection device, method of detecting anomaly, and program | |
| CN112801497A (en) | Anomaly detection method and device | |
| JP2022020722A5 (en) | ||
| JP7426261B2 (en) | Learning device, image inspection device, learned parameters, learning method, and image inspection method | |
| JP7423146B2 (en) | Screw tightening abnormality determination device, learning model generation device, screw tightening abnormality determination method, learning model generation method, and screw tightening abnormality determination program | |
| TWI594835B (en) | Health assessment method and health assessment device of workpiece processing equipment | |
| WO2021014670A1 (en) | Abnormality detecting device, abnormality detecting method, and abnormality detecting program | |
| JP2006300613A (en) | Tire testing device and tire testing method | |
| JP2022015575A (en) | Anomaly detection system, learning apparatus, anomaly detection program, learning program, anomaly detection method, and learning method | |
| CN112990372A (en) | Data processing method, model training device and electronic equipment | |
| JP7237422B2 (en) | inspection equipment | |
| US10685432B2 (en) | Information processing apparatus configured to determine whether an abnormality is present based on an integrated score, information processing method and recording medium | |
| US10657626B2 (en) | Image processing apparatus, image processing system, and recording medium | |
| JP7020565B2 (en) | Process control equipment, process control method and process control program | |
| JP2010078445A (en) | Significant wave height calculator, program, and significant wave height calculating method | |
| JP7035779B2 (en) | Image processing system and anomaly detection method | |
| CN112084062A (en) | Method and device for verifying calibration data of camera module, electronic equipment and medium | |
| JP7272143B2 (en) | Inspection machine management system and inspection machine management method | |
| JP2023008416A (en) | Abnormality detection system and abnormality detection method | |
| JP2711643B2 (en) | Apparatus and method for detecting surface flaw of inspection object | |
| TWI819318B (en) | Machine monitoring device and method | |
| TWI749586B (en) | Signal detection method and electronic device using the same |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20221222 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20231013 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20231017 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231129 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240116 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240116 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7423146 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |