JP7401514B2 - Heat exchanger tube damage cause inference device and heat exchanger tube damage cause inference method - Google Patents

Heat exchanger tube damage cause inference device and heat exchanger tube damage cause inference method Download PDF

Info

Publication number
JP7401514B2
JP7401514B2 JP2021210085A JP2021210085A JP7401514B2 JP 7401514 B2 JP7401514 B2 JP 7401514B2 JP 2021210085 A JP2021210085 A JP 2021210085A JP 2021210085 A JP2021210085 A JP 2021210085A JP 7401514 B2 JP7401514 B2 JP 7401514B2
Authority
JP
Japan
Prior art keywords
heat exchanger
image data
exchanger tube
cause
damage
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021210085A
Other languages
Japanese (ja)
Other versions
JP2023094659A (en
Inventor
俊介 仲達
朋和 旗手
浩志 加藤
健治 山田
正則 山▲崎▼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
MITSUBISHI HEAVY INDUSTRIES POWER IDS CO., LTD.
Original Assignee
MITSUBISHI HEAVY INDUSTRIES POWER IDS CO., LTD.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by MITSUBISHI HEAVY INDUSTRIES POWER IDS CO., LTD. filed Critical MITSUBISHI HEAVY INDUSTRIES POWER IDS CO., LTD.
Priority to JP2021210085A priority Critical patent/JP7401514B2/en
Publication of JP2023094659A publication Critical patent/JP2023094659A/en
Application granted granted Critical
Publication of JP7401514B2 publication Critical patent/JP7401514B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Description

本開示は、伝熱管損傷原因推論装置及び伝熱管損傷原因推論方法に関する。 The present disclosure relates to a heat exchanger tube damage cause inference device and a heat exchanger tube damage cause inference method.

特許文献1には、ボイラ炉壁の伝熱管に関して、パウダスケールなどに起因した過熱損傷のリスクが高い部位を判定する方法が開示されている。この方法では、炉壁の複数の部位の温度をそれぞれ2回計測し、各回の温度の差分から統計的処理によって閾値を設定し、差分が閾値から逸脱した部位を高リスク部位と判定している。 Patent Document 1 discloses a method for determining a portion of a heat exchanger tube on a boiler furnace wall that has a high risk of overheating damage due to powder scale or the like. In this method, the temperature of multiple parts of the furnace wall is measured twice, a threshold is set through statistical processing based on the difference in temperature at each time, and parts where the difference deviates from the threshold are determined to be high-risk parts. .

特開2018-132240号公報JP2018-132240A

ところで、従来は、伝熱管に噴破等の損傷が発生すると、現地に作業員を派遣して対象部位を詳細に調査した上で原因を特定し、その後に具体的な対処(例えば交換部品の手配等)をすることとなり、伝熱管を含むプラントの運転を長時間停止する必要があった。このため、プラントの稼働率を高めるために伝熱管の損傷の原因を速やかに特定することが求められている。 By the way, conventionally, when damage such as a blowout occurs to a heat transfer tube, workers are dispatched to the site to investigate the target area in detail, identify the cause, and then take specific measures (for example, replace parts). It was necessary to stop operation of the plant, including the heat transfer tubes, for a long period of time. Therefore, there is a need to quickly identify the cause of damage to heat exchanger tubes in order to increase plant availability.

この点、特許文献1に記載の方法では、高リスク部位と判定された部分を監視して必要に応じて洗浄等を行うことによって、伝熱管の損傷の発生を抑制することはできるものの、実際に伝熱管の損傷が発生した場合に、その原因を推論することはできず、伝熱管の損傷に対して迅速な対処を行うことができない。 In this regard, in the method described in Patent Document 1, although it is possible to suppress the occurrence of damage to heat exchanger tubes by monitoring areas determined to be high-risk areas and cleaning them as necessary, in practice When damage to heat exchanger tubes occurs, it is not possible to infer the cause and it is not possible to take prompt action against the damage to the heat exchanger tubes.

上述の事情に鑑みて、本開示の少なくとも一実施形態は、伝熱管の損傷原因を推論することによって伝熱管の損傷に対して迅速な対処を行うことを可能とする、伝熱管損傷原因推論装置及び伝熱管損傷原因推論方法を提供することを目的とする。 In view of the above circumstances, at least one embodiment of the present disclosure provides a heat exchanger tube damage cause inference device that makes it possible to quickly take action against damage to heat exchanger tubes by inferring the cause of damage to the heat exchanger tubes. The purpose of the present invention is to provide a method for inferring the cause of heat exchanger tube damage.

上記目的を達成するため、本開示の少なくとも一実施形態に係る伝熱管損傷原因推論装置は、
過去に損傷原因を特定された伝熱管の損傷部をそれぞれ示す複数の学習用画像データと、前記複数の学習用画像データの各々に関連付けられた損傷原因と、を含む教師データを用いて機械学習を行うことにより、画像データから伝熱管の損傷原因を推論するための学習モデルを生成するように構成された機械学習部と、
損傷原因を推論する対象である対象伝熱管について、前記対象伝熱管の損傷部を示す画像データである対象画像データを取得するように構成された対象画像データ取得部と、
を備え、
前記学習モデルは、前記対象画像データ取得部によって取得した前記対象画像データを入力されることにより、前記対象伝熱管の損傷原因の推論結果を出力するように構成される。
In order to achieve the above object, a heat exchanger tube damage cause inference device according to at least one embodiment of the present disclosure includes:
Machine learning using training data that includes a plurality of learning image data each showing a damaged part of a heat exchanger tube whose cause of damage has been identified in the past, and a damage cause associated with each of the plurality of learning image data. a machine learning unit configured to generate a learning model for inferring the cause of damage to the heat exchanger tube from the image data;
a target image data acquisition unit configured to acquire target image data, which is image data indicating a damaged portion of the target heat exchanger tube, for the target heat exchanger tube from which the cause of damage is to be inferred;
Equipped with
The learning model is configured to output an inference result of a cause of damage to the target heat exchanger tube by receiving the target image data acquired by the target image data acquisition unit.

上記目的を達成するため、本開示の少なくとも一実施形態に係る伝熱管損傷原因推論方法は、
過去に損傷原因を特定された伝熱管の損傷部をそれぞれ示す複数の学習用画像データと、前記複数の学習用画像データの各々に関連付けられた損傷原因と、を含む教師データを用いて機械学習を行うことにより、伝熱管の損傷原因の推論に用いる学習モデルを生成する機械学習ステップと、
前記損傷原因を推論する対象である対象伝熱管について、前記対象伝熱管の損傷部を示す画像データである対象画像データを取得する対象画像データ取得ステップと、
前記対象画像データ取得ステップで取得した前記対象画像データを前記学習モデルに入力することにより、前記対象伝熱管の損傷原因の推論結果を前記学習モデルが出力するステップと、
を備える。
In order to achieve the above object, a heat exchanger tube damage cause inference method according to at least one embodiment of the present disclosure includes:
Machine learning using training data that includes a plurality of learning image data each showing a damaged part of a heat exchanger tube whose cause of damage has been identified in the past, and a damage cause associated with each of the plurality of learning image data. a machine learning step of generating a learning model used to infer the cause of damage to the heat exchanger tube;
a target image data acquisition step of acquiring target image data that is image data indicating a damaged part of the target heat exchanger tube for the target heat exchanger tube from which the cause of the damage is to be inferred;
inputting the target image data acquired in the target image data acquisition step into the learning model, so that the learning model outputs an inference result of the cause of damage to the target heat exchanger tube;
Equipped with

本開示の少なくとも一実施形態によれば、伝熱管の損傷原因を推論することによって伝熱管の損傷に対して迅速な対処を行うことを可能とする、伝熱管損傷原因推論装置及び伝熱管損傷原因推論方法が提供される。 According to at least one embodiment of the present disclosure, a heat exchanger tube damage cause inference device and a heat exchanger tube damage cause make it possible to take prompt action against damage to a heat exchanger tube by inferring the cause of damage to the heat exchanger tube. An inference method is provided.

本開示の一実施形態に係る伝熱管噴破原因推論装置2のハードウェア構成の一例を示す図である。It is a diagram showing an example of the hardware configuration of a heat exchanger tube blowout cause inference device 2 according to an embodiment of the present disclosure. 図1に示した伝熱管噴破原因推論装置2の機能的な構成の一例を示すブロック図である。FIG. 2 is a block diagram showing an example of the functional configuration of the heat exchanger tube blowout cause inference device 2 shown in FIG. 1. FIG. 上述した伝熱管噴破原因推論装置2を用いた伝熱管損傷原因の推論及び表示のフローの一例を示す図である。It is a figure which shows an example of the flow of inference and display of the cause of heat exchanger tube damage using the heat exchanger tube blowout cause inference device 2 mentioned above. 学習用画像データ生成部12によって学習用画像データDflを生成するフローの一例を示す図である。3 is a diagram illustrating an example of a flow of generating learning image data Dfl by the learning image data generation unit 12. FIG. 学習用画像データ生成部12が取得する画像データDbの一例を示す図である。It is a figure which shows an example of the image data Db which the learning image data generation part 12 acquires. 学習モデルMd0が推論した画像部分を示す図である。It is a figure which shows the image part inferred by the learning model Md0. 学習用画像データの生成方法を説明するための図である。FIG. 3 is a diagram for explaining a method of generating learning image data. 対象画像データDa等をユーザ側の端末14から伝熱管噴破原因推論装置2に入力する際のユーザ側の端末14の表示部14dの表示画面E1の一例を示す図である。FIG. 6 is a diagram showing an example of a display screen E1 of the display unit 14d of the user's terminal 14 when inputting target image data Da and the like from the user's terminal 14 to the heat exchanger tube blowout cause inference device 2. 図8において推論ボタンF6を押すことで端末14の表示部14dに出力される表示画面E2の一例を示す図である。9 is a diagram showing an example of a display screen E2 outputted to the display unit 14d of the terminal 14 by pressing the inference button F6 in FIG. 8. FIG. 図8において推論ボタンF6を押すことで端末14の表示部14dに出力される表示画面E2の他の一例を示す図である。9 is a diagram showing another example of the display screen E2 outputted to the display section 14d of the terminal 14 by pressing the inference button F6 in FIG. 8. FIG.

以下、添付図面を参照して本開示の幾つかの実施形態について説明する。ただし、実施形態として記載されている又は図面に示されている構成部品の寸法、材質、形状、その相対的配置等は、発明の範囲をこれに限定する趣旨ではなく、単なる説明例にすぎない。
例えば、「ある方向に」、「ある方向に沿って」、「平行」、「直交」、「中心」、「同心」或いは「同軸」等の相対的或いは絶対的な配置を表す表現は、厳密にそのような配置を表すのみならず、公差、若しくは、同じ機能が得られる程度の角度や距離をもって相対的に変位している状態も表すものとする。
例えば、「同一」、「等しい」及び「均質」等の物事が等しい状態であることを表す表現は、厳密に等しい状態を表すのみならず、公差、若しくは、同じ機能が得られる程度の差が存在している状態も表すものとする。
例えば、四角形状や円筒形状等の形状を表す表現は、幾何学的に厳密な意味での四角形状や円筒形状等の形状を表すのみならず、同じ効果が得られる範囲で、凹凸部や面取り部等を含む形状も表すものとする。
一方、一の構成要素を「備える」、「具える」、「具備する」、「含む」、又は、「有する」という表現は、他の構成要素の存在を除外する排他的な表現ではない。
Hereinafter, some embodiments of the present disclosure will be described with reference to the accompanying drawings. However, the dimensions, materials, shapes, relative arrangement, etc. of the components described as embodiments or shown in the drawings are not intended to limit the scope of the invention thereto, and are merely illustrative examples. .
For example, expressions expressing relative or absolute positioning such as "in a certain direction,""along a certain direction,""parallel,""orthogonal,""centered,""concentric," or "coaxial" are strictly In addition to representing such an arrangement, it also represents a state in which they are relatively displaced with a tolerance or an angle or distance that allows the same function to be obtained.
For example, expressions such as "same,""equal," and "homogeneous" that indicate that things are in an equal state do not only mean that things are exactly equal, but also have tolerances or differences in the degree to which the same function can be obtained. It also represents the existing state.
For example, expressions expressing shapes such as squares and cylinders do not only refer to shapes such as squares and cylinders in a strict geometric sense, but also include uneven parts and chamfers to the extent that the same effect can be obtained. Shapes including parts, etc. shall also be expressed.
On the other hand, the expressions "comprising,""comprising,""comprising,""containing," or "having" one component are not exclusive expressions that exclude the presence of other components.

(伝熱管噴破原因推論装置2の構成及び機能)
図1は、本開示の一実施形態に係る伝熱管噴破原因推論装置2のハードウェア構成の一例を示す図である。図2は、図1に示した伝熱管噴破原因推論装置2の機能的な構成の一例を示すブロック図である。伝熱管噴破原因推論装置2は、以下で説明するように、不図示のボイラの熱交換器等に用いられる伝熱管の噴破原因を推論するための装置である。
(Configuration and functions of heat exchanger tube blowout cause inference device 2)
FIG. 1 is a diagram illustrating an example of the hardware configuration of a heat exchanger tube blowout cause inference device 2 according to an embodiment of the present disclosure. FIG. 2 is a block diagram showing an example of the functional configuration of the heat exchanger tube blowout cause inference device 2 shown in FIG. 1. As shown in FIG. The heat transfer tube blowout cause inference device 2 is a device for inferring the cause of a heat transfer tube blowout used in a heat exchanger of a boiler (not shown), etc., as described below.

図1に示すように、伝熱管噴破原因推論装置2は、例えばプロセッサ72、RAM(Random Access Memory)74、ROM(Read Only Memory)76、HDD (Hard Disk Drive)78、入力I/F80、及び出力I/F82を含み、これらがバス84を介して互いに接続されたコンピュータを用いて構成される。なお、伝熱管噴破原因推論装置2のハードウェア構成は上記に限定されず、制御回路と記憶装置との組み合わせにより構成されてもよい。また伝熱管噴破原因推論装置2は、伝熱管噴破原因推論装置2の各機能を実現するプログラムをコンピュータが実行することにより構成される。以下で説明する伝熱管噴破原因推論装置2における各部の機能は、例えばROM76に保持されるプログラムをRAM74にロードしてプロセッサ72で実行するとともに、RAM74やROM76におけるデータの読み出し及び書き込みを行うことで実現される。 As shown in FIG. 1, the heat exchanger tube blowout cause inference device 2 includes, for example, a processor 72, a RAM (Random Access Memory) 74, a ROM (Read Only Memory) 76, an HDD (Hard Disk Drive) 78, an input I/F 80, and an output I/F 82, which are configured using a computer connected to each other via a bus 84. Note that the hardware configuration of the heat exchanger tube blowout cause inference device 2 is not limited to the above, and may be configured by a combination of a control circuit and a storage device. The heat exchanger tube blowout cause inference device 2 is configured by a computer executing a program that implements each function of the heat exchanger tube blowout cause inference device 2. The functions of each part in the heat exchanger tube blowout cause inference device 2 described below include, for example, loading a program held in the ROM 76 into the RAM 74 and executing it in the processor 72, as well as reading and writing data in the RAM 74 and ROM 76. It is realized by

図2に示すように、伝熱管噴破原因推論装置2は、対象画像データ取得部4、機械学習部6、参考情報記憶部8、参考情報検索部9、画面データ出力部10、及び学習用画像データ生成部12を備える。 As shown in FIG. 2, the heat exchanger tube blowout cause inference device 2 includes a target image data acquisition unit 4, a machine learning unit 6, a reference information storage unit 8, a reference information search unit 9, a screen data output unit 10, and a learning An image data generation section 12 is provided.

対象画像データ取得部4は、噴破原因を推論する対象である対象伝熱管について、対象伝熱管の噴破部を示す画像データである対象画像データDaを取得するように構成される。対象画像データ取得部4は、例えばユーザ側の端末14から情報通信ネットワークNcを介して対象画像データDaを取得する。対象画像データ取得部4は、対象画像データDaとともに、対象画像データDaが示す伝熱管の場所を示す場所情報Saを対象画像データDaに関連付けて取得してもよい。 The target image data acquisition unit 4 is configured to acquire target image data Da, which is image data indicating the blowout portion of the target heat exchanger tube, for the target heat exchanger tube whose cause of the blowout is to be inferred. The target image data acquisition unit 4 acquires target image data Da from the user's terminal 14 via the information communication network Nc, for example. The target image data acquisition unit 4 may acquire the target image data Da as well as location information Sa indicating the location of the heat exchanger tube indicated by the target image data Da in association with the target image data Da.

機械学習部6は、過去に噴破原因を特定された伝熱管の噴破部をそれぞれ示す複数の学習用画像データDflと、複数の学習用画像データDflの各々に関連付けられた噴破原因Cdと、を含む教師データDtを用いて機械学習を行うことにより、画像データから伝熱管の噴破原因を推論するための学習モデルMd1を生成するように構成される。ここで、機械学習部6が機械学習に用いる教師データDtは、複数の学習用画像データDflの各々に関連付けられた場所情報Stを含んでいてもよく、場所情報Stは、学習用画像データDflに示される伝熱管の場所を示す情報である。 The machine learning unit 6 stores a plurality of learning image data Dfl each indicating a blowout part of a heat exchanger tube whose cause of blowout has been identified in the past, and a blowout cause Cd associated with each of the plurality of learning image data Dfl. By performing machine learning using teacher data Dt including , a learning model Md1 for inferring the cause of a heat exchanger tube blowout from image data is generated. Here, the teacher data Dt used by the machine learning unit 6 for machine learning may include location information St associated with each of the plurality of learning image data Dfl, and the location information St is different from the learning image data Dfl. This is information indicating the location of the heat exchanger tube shown in .

学習モデルMd1は、対象画像データ取得部4によって取得した対象画像データDa(対象画像データDaに関連付けられた上記場所情報Saを対象画像データ取得部4が取得した場合には対象画像データDa及び場所情報Sa)を入力されることにより、対象伝熱管の噴破原因の推論結果Riを出力する。学習モデルMd1が出力する上記推論結果Riは、対象伝熱管の噴破原因の複数の候補と、複数の候補の各々の確率とを含む。 The learning model Md1 is based on the target image data Da acquired by the target image data acquisition unit 4 (if the target image data acquisition unit 4 acquires the location information Sa associated with the target image data Da, the target image data Da and the location). By inputting the information Sa), an inference result Ri of the cause of the blowout of the target heat exchanger tube is output. The above-mentioned inference result Ri outputted by the learning model Md1 includes a plurality of candidates for the cause of the blowout of the target heat exchanger tube and a probability of each of the plurality of candidates.

参考情報記憶部8は、伝熱管の複数の噴破原因について過去の事例に関する参考情報(例えば伝熱管を含むボイラ等のプラントの事故報告書等)を記憶している。 The reference information storage unit 8 stores reference information regarding past cases of multiple causes of heat exchanger tube blowouts (for example, accident reports of plants such as boilers including heat exchanger tubes).

参考情報検索部9は、学習モデルMd1から出力された推論結果Riに含まれる上記複数の候補のうち最も確率が高い候補の噴破原因についての過去の事例に関する参考情報Irを参考情報記憶部8に記憶された参考情報から検索して取得する。参考情報検索部9によって参考情報記憶部8から取得される参考情報Irは、推論結果Riに含まれる上記複数の候補のうち、最も確率が高い候補だけでなく、2番目以降に確率が高い候補の噴破原因についての過去の事例に関する参考情報を含んでいてもよい。 The reference information search unit 9 stores reference information Ir regarding past cases regarding the eruption cause of the candidate with the highest probability among the plurality of candidates included in the inference result Ri output from the learning model Md1 into the reference information storage unit 8. Search and obtain reference information stored in . The reference information Ir acquired from the reference information storage unit 8 by the reference information search unit 9 includes not only the candidate with the highest probability among the plurality of candidates included in the inference result Ri, but also the candidate with the second or subsequent highest probability. may include reference information regarding past cases of causes of eruptions.

画面データ出力部10は、ユーザ側の端末14に表示する表示画面の画面データDsを出力するように構成される。画面データ出力部10によって出力される画面データDsは、学習モデルMd1が出力する推論結果Riと、参考情報検索部9によって取得された上記参考情報Irを含む。画面データ出力部10によって出力された画面データDsは、情報通信ネットワークNcを介してユーザ側の端末14に送信され、端末14の表示部14dに表示される。 The screen data output unit 10 is configured to output screen data Ds of a display screen to be displayed on the user's terminal 14. The screen data Ds output by the screen data output unit 10 includes the inference result Ri output by the learning model Md1 and the reference information Ir acquired by the reference information search unit 9. The screen data Ds output by the screen data output section 10 is transmitted to the user's terminal 14 via the information communication network Nc, and displayed on the display section 14d of the terminal 14.

学習用画像データ生成部12は、過去に作成された事故報告書等の画像データDbから上述の学習用画像データDflを生成するように構成される。この画像データDbは、例えば事故報告書等をスキャニングすることで生成されるpdfファイル等であってもよく、画像部分と、画像以外の部分(背景等の非画像部分)とを含んでいてもよい。学習用画像データ生成部12は、学習モデルMd0を用いて、画像データDbから、画像部分を推論して抽出する(切り取る)ことによって、学習用画像データDflを生成する。 The learning image data generation unit 12 is configured to generate the above-mentioned learning image data Dfl from image data Db such as an accident report created in the past. This image data Db may be, for example, a PDF file generated by scanning an accident report, etc., and may include an image portion and a non-image portion (non-image portion such as a background). good. The learning image data generation unit 12 generates learning image data Dfl by inferring and extracting (cutting) an image portion from the image data Db using the learning model Md0.

これにより、過去に作成された事故報告書等の多くの画像データDbから、上述の教師データDtとして使用するための多くの学習用画像データDflを生成することができる。なお、学習用画像データ生成部12は、画像データにおける画像部分と画像部分以外の部分とを指示する教師データD0を用いて機械学習を行うことによって学習モデルMd0を生成する。学習用画像データ生成部12による学習用画像データDflの生成方法の詳細については後述する。 Thereby, a lot of learning image data Dfl to be used as the above-mentioned teacher data Dt can be generated from a lot of image data Db such as accident reports created in the past. Note that the learning image data generation unit 12 generates the learning model Md0 by performing machine learning using teacher data D0 that indicates an image portion and a portion other than the image portion in the image data. Details of how the learning image data generation unit 12 generates the learning image data Dfl will be described later.

図3は、上述した伝熱管噴破原因推論装置2を用いた伝熱管噴破原因の推論及び表示のフローの一例を示す図である。 FIG. 3 is a diagram showing an example of a flow of inference and display of the cause of a heat exchanger tube blowout using the heat exchanger tube blowout cause inference device 2 described above.

図3に示すように、S101において、対象画像データ取得部4は、噴破原因を推論する対象である対象伝熱管について、対象伝熱管の噴破部を示す画像データである対象画像データDaを取得する。対象画像データ取得部4は、例えばユーザ側の端末14から情報通信ネットワークNcを介して対象画像データDaを取得する。 As shown in FIG. 3, in S101, the target image data acquisition unit 4 obtains target image data Da, which is image data indicating the blowout part of the target heat exchanger tube, for the target heat exchanger tube from which the cause of the blowout is to be inferred. get. The target image data acquisition unit 4 acquires target image data Da from the user's terminal 14 via the information communication network Nc, for example.

S102において、機械学習部6の学習モデルMd1は、対象画像データ取得部4によって取得した対象画像データDaを入力されることにより、対象伝熱管の噴破原因の推論結果Riを出力する。 In S102, the learning model Md1 of the machine learning unit 6 receives the target image data Da acquired by the target image data acquisition unit 4 and outputs an inference result Ri of the cause of the blowout of the target heat exchanger tube.

S103において、参考情報検索部9は、学習モデルMd1から出力された推論結果Riに含まれる噴破原因の複数の候補のうち、最も確率が高い候補の噴破原因についての過去の事例に関する参考情報Irを参考情報記憶部8から検索して取得する。 In S103, the reference information search unit 9 retrieves reference information regarding past cases of the most likely candidate for the cause of a blowout among the plurality of candidates for the cause of a blowout included in the inference result Ri output from the learning model Md1. Ir is retrieved from the reference information storage unit 8 and obtained.

S104において、画面データ出力部10は、学習モデルMd1から出力された推論結果Riと、参考情報検索部9によって取得された上記参考情報Irと、を含む画面データDsを出力する。画面データ出力部10によって出力された画面データDsは、ネットワークNcを介してユーザ側の端末14に送信され、端末14の表示部14d(例えばディスプレイ等)に表示される。 In S104, the screen data output unit 10 outputs screen data Ds including the inference result Ri output from the learning model Md1 and the reference information Ir acquired by the reference information search unit 9. The screen data Ds output by the screen data output section 10 is transmitted to the user's terminal 14 via the network Nc, and displayed on the display section 14d (for example, a display) of the terminal 14.

図4は、学習用画像データ生成部12によって学習用画像データDflを生成するフローの一例を示す図である。 FIG. 4 is a diagram illustrating an example of a flow in which the learning image data generation unit 12 generates the learning image data Dfl.

図4に示すように、S201において、学習用画像データ生成部12は、過去に作成された事故報告書等の画像データDb(例えば図5参照)を取得する。この画像データDbは、画像部分と画像以外の部分(背景等の非画像部分)とを含む。S202において、学習用画像データ生成部12は、S201で取得した画像データDbにおける特徴量が所定の条件を満たす画像部分(特徴部)を学習モデルMd0を用いて推論する。学習用画像データ生成部12は、例えば、画像データDbにおける画素毎に、推論の対象である対象画素及び対象画素の周囲の画素の明度や色を特徴量として画像部分の推論をおこなってもよい。この場合、対象画素とその周囲の多くの画素が連続して同色である場合にはそれらの画素を背景として判断し(すなわち画像部分でないと判断し)、対象画素とその周囲の画素に多くの色が含まれる場合にはそれらの画素を画像部分として判断してもよい。また、例えばS201で図5に示す画像データDbが取得された場合には、S202において、学習モデルMd0は図6における黒色部によって示される画像部分を推論する。S203において、学習用画像データ生成部12は、S202で推論した画像部分のうち連続した画像部分の面積を算出する。 As shown in FIG. 4, in S201, the learning image data generation unit 12 acquires image data Db (see, for example, FIG. 5) such as an accident report created in the past. This image data Db includes an image portion and a non-image portion (non-image portion such as a background). In S202, the learning image data generation unit 12 uses the learning model Md0 to infer an image portion (feature portion) in which the feature amount in the image data Db acquired in S201 satisfies a predetermined condition. For example, the learning image data generation unit 12 may perform inference on the image portion for each pixel in the image data Db using the brightness and color of the target pixel that is the inference target and pixels around the target pixel as feature quantities. . In this case, if the target pixel and many surrounding pixels have the same color continuously, those pixels are judged to be background (that is, they are not part of the image), and many pixels around the target pixel and surrounding pixels are judged as background. If colors are included, those pixels may be determined as part of the image. For example, when the image data Db shown in FIG. 5 is acquired in S201, the learning model Md0 infers the image portion shown by the black part in FIG. 6 in S202. In S203, the learning image data generation unit 12 calculates the area of a continuous image portion among the image portions inferred in S202.

S204において、学習用画像データ生成部12は、ある程度大きな画像面積を有する学習用画像データを効率的に生成するために、S203で算出した面積が予め定められた閾値以上であるか否かを判定する。S204において、S203で算出した面積が閾値以上である場合には、S205において、S201で取得した画像データDbにおける連続した画像部分の集合Gを四角形(長方形又は正方形)で囲んだ部分を抽出する(切り取る)ことによって、学習用画像データDflを生成する。例えば、S202で図5に示す画像データDbから図6に示す画像部分(黒色部)を推論した場合、S205では、連続した画像部分の集合Gが占める範囲における最小のX座標Xmin及び最大のX座標Xmax並びに最小のY座標Ymin及び最大のY座標Ymaxによって規定される四角形Kの内側の部分(例えば図7におけるXmin,Xmax,Ymin,Ymaxによって規定される左下の四角形Kの範囲に対応する部分)を画像として抽出することによって、学習用画像データDflを生成する。なお、図7に示す例では、横軸がX軸、縦軸がY軸であり、図の右側がX軸の正の方向、図の下側がY軸の正の方向を示している。 In S204, the learning image data generation unit 12 determines whether the area calculated in S203 is greater than or equal to a predetermined threshold in order to efficiently generate learning image data having a relatively large image area. do. In S204, if the area calculated in S203 is equal to or greater than the threshold, in S205, a portion of the set G of continuous image portions in the image data Db acquired in S201 is extracted by a rectangle (rectangle or square). (cutting out) to generate learning image data Dfl. For example, when the image portion (black portion) shown in FIG. 6 is inferred from the image data Db shown in FIG. 5 in S202, in S205, the minimum X coordinate Xmin and the maximum The inner part of the rectangle K defined by the coordinate Xmax, the minimum Y coordinate Ymin, and the maximum Y coordinate Ymax (for example, the part corresponding to the range of the lower left quadrangle K defined by Xmin, Xmax, Ymin, Ymax in FIG. 7) ) is extracted as an image to generate learning image data Dfl. In the example shown in FIG. 7, the horizontal axis is the X axis and the vertical axis is the Y axis, the right side of the figure shows the positive direction of the X axis, and the bottom side of the figure shows the positive direction of the Y axis.

S204においてS203で算出した面積が閾値以上でないと判断した場合、又は、S205を実行した場合には、S206において、S202で他に推論した画像部分があるか否かを判定し、他に推論した画像部分があれば、S203に戻ってその画像部分についてS203~S205を実行する。S206においてS202で他に推論した画像部分がない場合には、画像データDbを用いた学習用画像データDflの生成を終了する。図7に示す例では、学習用画像データ生成部12は、画像データDbから3つの四角形Kの範囲にそれぞれ対応する3つの画像部分を抽出することによって、3つの学習用画像データDflを生成している。 If it is determined in S204 that the area calculated in S203 is not equal to or greater than the threshold, or if S205 is executed, it is determined in S206 whether or not there is another image part that was inferred in S202, and other inferences are made in S206. If there is an image portion, the process returns to S203 and S203 to S205 are executed for that image portion. In S206, if there is no other image portion inferred in S202, the generation of the learning image data Dfl using the image data Db is ended. In the example shown in FIG. 7, the learning image data generation unit 12 generates three pieces of learning image data Dfl by extracting three image parts corresponding to the ranges of three rectangles K from the image data Db. ing.

次に、上述の対象画像データDa等をユーザ側の端末14から伝熱管噴破原因推論装置2に入力する際のユーザ側の端末14の表示部14dの表示画面E1の一例を、図8を用いて説明する。図8に示す表示画面E1は、画面データ出力部10の出力に基づいて端末14の表示部14dに表示される。 Next, FIG. 8 shows an example of the display screen E1 of the display unit 14d of the user's terminal 14 when the above-mentioned target image data Da etc. are input from the user's terminal 14 to the heat exchanger tube blowout cause inference device 2. I will explain using The display screen E1 shown in FIG. 8 is displayed on the display section 14d of the terminal 14 based on the output of the screen data output section 10.

図8に示すように、表示画面E1は、対象伝熱管の噴破部を含む画像データのファイルを特定するためのファイル名入力欄F1と、ファイル名入力欄F1に入力された画像データを表示する画像データ表示部F2と、画像データ表示部F2に表示された画像データの一部を切り取って対象画像データDaとして抽出するためのフレームF3と、画像データ表示部F2に表示された画像データのサイズを調節するためのサイズ調節ボタンF4と、フレームF3の上下左右の位置を調節するためのフレーム位置調節ボタンF5と、フレームF3によって切り取られた対象画像データDaについて、対象画像データDaに示される対象伝熱管の噴破原因の推論を実行するための推論ボタンF6と、表示画面E1の情報を更新するための情報更新ボタンF0とを含む。 As shown in FIG. 8, the display screen E1 displays a file name input field F1 for identifying the file of image data including the blown part of the target heat exchanger tube, and image data input in the file name input field F1. a frame F3 for cutting out a part of the image data displayed on the image data display section F2 and extracting it as target image data Da; A size adjustment button F4 for adjusting the size, a frame position adjustment button F5 for adjusting the vertical and horizontal positions of the frame F3, and the target image data Da cut out by the frame F3 as shown in the target image data Da. It includes an inference button F6 for inferring the cause of the blowout of the target heat exchanger tube, and an information update button F0 for updating information on the display screen E1.

また、表示画面E1は、フレームF3のX座標、Y座標、幅及び高さを示す数値を入力する数値入力欄F7を含む。ここで、フレームF3のX座標及びY座標は、フレームF3の特定位置のX座標及びY座標であり、例えばフレームF3のX座標の最小値及びフレームF3のY座標の最小値(例えば図8におけるフレームF3の左上の角のX座標及びY座標)であってもよい。なお、図8におけるフレームF3の左上の角とは、フレームF3の4つの角のうち「検索画像」の文字に最も近い角を意味する。また、表示画面E1は、噴破した対象伝熱管の場所(例えばボイラの過熱器や再熱器等)を入力する場所入力欄F8と、噴破した対象伝熱管を識別する識別情報(例えば管番号等)を入力する管入力欄F9と、を含む。対象伝熱管の場所及び識別情報は、上述の場所情報Saに相当する。 The display screen E1 also includes a numerical value input field F7 for inputting numerical values indicating the X coordinate, Y coordinate, width, and height of the frame F3. Here, the X coordinate and Y coordinate of the frame F3 are the X coordinate and Y coordinate of a specific position of the frame F3, and for example, the minimum value of the X coordinate of the frame F3 and the minimum value of the Y coordinate of the frame F3 (for example, in FIG. (X and Y coordinates of the upper left corner of frame F3). Note that the upper left corner of frame F3 in FIG. 8 means the corner closest to the characters "search image" among the four corners of frame F3. The display screen E1 also includes a location input field F8 for inputting the location of the target heat exchanger tube that has blown out (for example, a boiler superheater or reheater, etc.), and identification information that identifies the target heat exchanger tube that has blown out (for example, the tube a tube input field F9 for inputting a number, etc.). The location and identification information of the target heat exchanger tube corresponds to the location information Sa described above.

図9は、図8における推論ボタンF6を押すことで端末14の表示部14dに出力される表示画面E2の一例を示す図である。 FIG. 9 is a diagram showing an example of the display screen E2 that is output to the display section 14d of the terminal 14 when the inference button F6 in FIG. 8 is pressed.

図9に示すように、表示画面E2は、上記表示画面E1でフレームF3によって切り取られた対象画像データDaと、学習モデルMd1から出力された推論結果Riと、参考情報検索部9によって取得された参考情報Irと、を含む。 As shown in FIG. 9, the display screen E2 includes the target image data Da cut out by the frame F3 on the display screen E1, the inference result Ri output from the learning model Md1, and the information obtained by the reference information search unit 9. Includes reference information Ir.

推論結果Riは、上記表示画面E1でフレームF3によって切り取られた対象画像データDaと、場所入力欄F8に入力された対象伝熱管の場所と、管入力欄F9に入力された対象伝熱管の識別情報と、が学習モデルMd1に入力されることにより、学習モデルMd1から出力される。 The inference result Ri is based on the target image data Da cut out by the frame F3 on the display screen E1, the location of the target heat exchanger tube inputted in the location input field F8, and the identification of the target heat exchanger tube inputted in the tube input field F9. The information is input to the learning model Md1, and is output from the learning model Md1.

図示する例では、推論結果Riは、対象伝熱管の噴破原因の複数の候補(エロージョン、クリープ破壊、硫酸露点腐食、腐食疲労、その他合計)と、複数の候補の各々の確率とを含む。また、参考情報Irは、推論結果Riに含まれる噴破原因の複数の候補のうち最も確率が高い候補の噴破原因(図示する例ではエロージョン)についての過去の事例に関する参考資料にアクセスするためのリンクF10(例えば事故報告書等の文書の所在を示す情報)を含む。なお、表示画面E2に表示される参考情報Irは、推論結果Riに含まれる上記複数の候補のうち2番目以降に確率が高い候補の噴破原因についての過去の事例に関する参考資料にアクセスするためのリンクを更に含んでいてもよい。 In the illustrated example, the inference result Ri includes a plurality of candidates for the cause of the blowout of the target heat exchanger tube (erosion, creep fracture, sulfuric acid dew point corrosion, corrosion fatigue, and a total of others) and a probability of each of the plurality of candidates. In addition, the reference information Ir is used to access reference materials related to past cases of the most likely cause of eruption (erosion in the example shown) among the multiple candidates for the cause of eruption included in the inference result Ri. link F10 (for example, information indicating the location of a document such as an accident report). Note that the reference information Ir displayed on the display screen E2 is for accessing reference materials related to past cases regarding the cause of eruption of the candidate with the second or higher probability among the multiple candidates included in the inference result Ri. It may further include a link.

図10は、図8において推論ボタンF6を押すことで端末14の表示部14dに出力される表示画面E2の他の一例を示す図である。 FIG. 10 is a diagram showing another example of the display screen E2 outputted to the display section 14d of the terminal 14 by pressing the inference button F6 in FIG.

図10に示す表示画面E2は、図9に示す表示画面E2と参考情報Irの内容のみが異なっており、その他は同一である。図10に示す表示画面E2では、参考情報Irは、推論結果Riに含まれる噴破原因の複数の候補のうち最も確率が高い候補の噴破原因(図示する例ではエロージョン)についての過去の事例に関する参考文書の画像F11(例えば事故報告書等の文書の画像)を含む。なお、表示画面E2に表示される参考情報Irは、推論結果Riに含まれる上記複数の候補のうち、2番目以降に確率が高い候補の噴破原因についての過去の事例に関する参考文書の画像を含んでいてもよい。 The display screen E2 shown in FIG. 10 differs from the display screen E2 shown in FIG. 9 only in the content of reference information Ir, and is otherwise the same. In the display screen E2 shown in FIG. 10, the reference information Ir includes past cases of the most probable blowout cause (erosion in the illustrated example) among the plurality of blowout cause candidates included in the inference result Ri. includes an image F11 of a reference document regarding (for example, an image of a document such as an accident report). Note that the reference information Ir displayed on the display screen E2 is an image of a reference document regarding a past case regarding the cause of an eruption of the candidate with the second or higher probability among the plurality of candidates included in the inference result Ri. May contain.

(伝熱管噴破原因推論装置2が奏する効果)
次に、上記伝熱管噴破原因推論装置2が奏する効果について説明する。
上記伝熱管噴破原因推論装置2によれば、過去に噴破原因を特定された伝熱管の噴破部をそれぞれ示す複数の学習用画像データDflと、複数の学習用画像データDflの各々に関連付けられた噴破原因Cdと、を含む教師データDtを用いて機械学習を行うことにより、伝熱管の噴破部の画像データと伝熱管の噴破原因との関係についての過去の知見の蓄積を反映した学習モデルMd1を機械学習部6によって生成することができる。このため、生成した学習モデルMd1に対象画像データDaを入力することにより、対象画像データDaが示す対象伝熱管の噴破原因を精度良く推論することができる。これにより、伝熱管の噴破に対して迅速な対処を行うことが可能となる。
(Effect of heat exchanger tube blowout cause inference device 2)
Next, the effects of the heat exchanger tube blowout cause inference device 2 will be explained.
According to the heat exchanger tube blowout cause inference device 2, each of the plurality of learning image data Dfl each indicating the blowout part of the heat exchanger tube whose cause of the blowout has been identified in the past, and the plurality of learning image data Dfl. By performing machine learning using training data Dt including associated blowout causes Cd, past knowledge about the relationship between image data of heat exchanger tube blowout parts and heat exchanger tube blowout causes can be accumulated. The machine learning unit 6 can generate a learning model Md1 that reflects the above. Therefore, by inputting the target image data Da into the generated learning model Md1, it is possible to accurately infer the cause of the blowout of the target heat exchanger tube indicated by the target image data Da. This makes it possible to quickly take measures against blowouts of heat exchanger tubes.

また、上記教師データDtは、複数の学習用画像データDflの各々に関連付けられた場所情報Stであって学習用画像データDflに示される伝熱管の場所を示す場所情報Stを含む。このため、伝熱管の噴破部を示す画像データと伝熱管の場所と伝熱管の噴破原因との関係についての過去の知見の蓄積を反映した学習モデルMd1を機械学習部6によって生成することができる。これにより、対象伝熱管の噴破原因の推論精度を向上することができる。 Further, the teacher data Dt includes location information St that is associated with each of the plurality of learning image data Dfl and indicates the location of the heat exchanger tube shown in the learning image data Dfl. For this purpose, the machine learning unit 6 generates a learning model Md1 that reflects the image data showing the blowout part of the heat exchanger tube and the accumulation of past knowledge about the relationship between the location of the heat exchanger tube and the cause of the blowout of the heat exchanger tube. I can do it. Thereby, it is possible to improve the accuracy of inferring the cause of the blowout of the target heat exchanger tube.

また、上記学習モデルMd1が出力する推論結果Riは、対象伝熱管の噴破原因の複数の候補と、複数の候補の各々の確率とを含む。このため、噴破原因の候補の確率を考慮して、伝熱管の噴破に対して効率的に対処を行うことができる。 Further, the inference result Ri outputted by the learning model Md1 includes a plurality of candidates for the cause of the blowout of the target heat exchanger tube and a probability of each of the plurality of candidates. Therefore, it is possible to efficiently deal with the blowout of the heat transfer tube by considering the probability of the candidate for the cause of the blowout.

また、画面データ出力部10によって出力する画面データDsは、学習モデルMd1が出力する推論結果Riと、推論結果Riに含まれる噴破原因の複数の候補のうち最も確率が高い候補についての過去の事例に関する参考情報Irと、を含む。このため、複数の候補のうち最も確率が高い候補の噴破原因についての過去の事例に関する参考情報Irを考慮して、伝熱管の噴破に対して効率的に対処を行うことができる。 In addition, the screen data Ds output by the screen data output unit 10 includes the inference result Ri output by the learning model Md1 and the past information about the candidate with the highest probability among the plurality of candidates for the cause of the eruption included in the inference result Ri. Includes reference information Ir regarding the case. Therefore, it is possible to efficiently deal with the blowout of the heat exchanger tube by considering the reference information Ir regarding past cases regarding the cause of the blowout of the candidate with the highest probability among the plurality of candidates.

また、図9に示す例では、参考情報Irは、推論結果Riに含まれる噴破原因の複数の候補のうち最も確率が高い候補の噴破原因についての過去の事例に関する参考資料にアクセスするためのリンクF10を含む。このため、学習モデルMd1が出力する推論結果Riと参考情報Irとを含む画面データDsをユーザ側の端末14に表示する際に、画面データDsの情報量が過剰に多くなることを抑制し、伝熱管の噴破に対処するために必要な情報を容易に把握することが可能となる。 Furthermore, in the example shown in FIG. 9, the reference information Ir is for accessing reference materials related to past cases of the most probable cause of eruption among the multiple candidates for the cause of eruption included in the inference result Ri. The link F10 is included. Therefore, when displaying the screen data Ds including the inference result Ri and the reference information Ir output by the learning model Md1 on the user side terminal 14, the amount of information in the screen data Ds is suppressed from becoming excessively large. It becomes possible to easily grasp the information necessary to deal with a blowout of a heat exchanger tube.

また、図10に示す例では、参考情報Irは、参考情報Irは、推論結果Riに含まれる噴破原因の複数の候補のうち最も確率が高い候補の噴破原因についての過去の事例に関する参考文書の画像F11を含むため、学習モデルMd1が出力する推論結果Riと参考情報Irとを含む画面データDsをユーザ側の端末14に表示する際に、参考文書の画像F11によって過去の事例の内容を容易に把握することが可能となる。 Further, in the example shown in FIG. 10, the reference information Ir is a reference regarding past cases of the cause of eruption of the candidate with the highest probability among the plurality of candidates for the cause of eruption included in the inference result Ri. Since the image F11 of the document is included, when the screen data Ds including the inference result Ri and the reference information Ir output by the learning model Md1 is displayed on the user terminal 14, the content of the past case is displayed using the image F11 of the reference document. It becomes possible to understand easily.

また、図7等に示したように、画像データDbのうち、集合Gが占める範囲における最小のX座標Xmin及び最大のX座標Xmax並びに最小のY座標Ymin及び最大のY座標Ymaxによって規定される四角形Kの内側の部分(四角形Kの範囲に対応する部分)を画像として抽出することによって、学習用画像データDflを生成することができる。このため、例えば画像データDbの中に1つ又は複数の画像領域(特徴部の複数の集合G)がある場合において、画像データDbから各画像領域に対応する部分を適切に抽出して学習用画像データDflを効率的に生成し、学習モデルMd1における噴破原因の推論精度を向上することができる。 In addition, as shown in FIG. 7 etc., among the image data Db, it is defined by the minimum X coordinate Xmin, the maximum X coordinate Xmax, the minimum Y coordinate Ymin, and the maximum Y coordinate Ymax in the range occupied by the set G. By extracting the inner part of the rectangle K (the part corresponding to the range of the rectangle K) as an image, the learning image data Dfl can be generated. For this reason, for example, when there are one or more image regions (multiple sets G of feature parts) in the image data Db, the parts corresponding to each image region can be appropriately extracted from the image data Db and used for learning. The image data Dfl can be efficiently generated, and the accuracy of inference of the cause of a blowout in the learning model Md1 can be improved.

本開示は上述した実施形態に限定されることはなく、上述した実施形態に変形を加えた形態や、これらの形態を適宜組み合わせた形態も含む。 The present disclosure is not limited to the embodiments described above, and also includes forms in which modifications are added to the embodiments described above, and forms in which these forms are appropriately combined.

例えば、上述した実施形態では、伝熱管の損傷の一例である伝熱管の噴破(伝熱管に伝熱管の内外を連通する貫通孔が形成された状態)の原因を推定する伝熱管噴破原因推論装置を示したが、本開示は、伝熱管の噴破に限らず伝熱管の損傷(例えば伝熱管の表面の傷等)の原因を推論する伝熱管損傷原因推論装置に適用可能である。伝熱管損傷原因推論装置の構成、機能及び効果等は、上述した伝熱管噴破原因推論装置2の説明について「噴破」を「損傷」と読み替えることにより理解される。 For example, in the embodiment described above, the cause of heat exchanger tube blowout is estimated to be the cause of heat exchanger tube blowout (a state in which a through hole is formed in the heat exchanger tube that communicates the inside and outside of the heat exchanger tube), which is an example of damage to the heat exchanger tube. Although an inference device is shown, the present disclosure is applicable to a heat exchanger tube damage cause inference device that infers the cause of damage to a heat exchanger tube (for example, scratches on the surface of a heat exchanger tube, etc.), not just a blowout of a heat exchanger tube. The configuration, functions, effects, etc. of the heat exchanger tube damage cause inference device 2 can be understood by replacing “blowout” with “damage” in the description of the heat exchanger tube blowout cause inference device 2 described above.

上記各実施形態に記載の内容は、例えば以下のように把握される。 The contents described in each of the above embodiments can be understood as follows, for example.

(1)本開示の少なくとも一実施形態に係る伝熱管損傷原因推論装置(例えば上述の伝熱管噴破原因推論装置2)は、
過去に損傷原因を特定された伝熱管の損傷部をそれぞれ示す複数の学習用画像データ(例えば上述の複数の学習用画像データDfl)と、前記複数の学習用画像データの各々に関連付けられた損傷原因(例えば上述の噴破原因Cd)と、を含む教師データ(例えば上述の教師データDt)を用いて機械学習を行うことにより、画像データから伝熱管の損傷原因を推論するための学習モデル(例えば上述の学習モデルMd1)を生成するように構成された機械学習部(例えば上述の機械学習部6)と、
損傷原因を推論する対象である対象伝熱管について、前記対象伝熱管の損傷部を示す画像データである対象画像データ(例えば上述の対象画像データDa)を取得するように構成された対象画像データ取得部(例えば上述の対象画像データ取得部4)と、
を備え、
前記学習モデルは、前記対象画像データ取得部によって取得した前記対象画像データを入力されることにより、前記対象伝熱管の損傷原因の推論結果(例えば上述の推論結果Ri)を出力するように構成される。
(1) A heat exchanger tube damage cause inference device (for example, the above-mentioned heat exchanger tube blowout cause inference device 2) according to at least one embodiment of the present disclosure,
A plurality of learning image data (for example, the plurality of learning image data Dfl described above) each showing a damaged part of a heat exchanger tube whose cause of damage has been identified in the past, and damage associated with each of the plurality of learning image data. A learning model for inferring the cause of heat exchanger tube damage from image data is created by performing machine learning using the cause (for example, the blowout cause Cd described above) and training data (for example, the training data Dt described above) including the cause (for example, the blowout cause Cd described above). For example, a machine learning section (for example, the above-mentioned machine learning section 6) configured to generate the above-mentioned learning model Md1),
Target image data acquisition configured to acquire target image data (for example, the above-mentioned target image data Da) that is image data indicating a damaged part of the target heat exchanger tube for the target heat exchanger tube from which the cause of damage is to be inferred. unit (for example, the above-mentioned target image data acquisition unit 4),
Equipped with
The learning model is configured to output an inference result of the cause of damage to the target heat exchanger tube (for example, the above-mentioned inference result Ri) by receiving the target image data acquired by the target image data acquisition unit. Ru.

上記(1)に記載の伝熱管損傷原因推論装置によれば、過去に損傷原因を特定された伝熱管の損傷部をそれぞれ示す複数の学習用画像データと、複数の学習用画像データの各々に関連付けられた損傷原因と、を含む教師データを用いて機械学習を行うことにより、伝熱管の損傷部の画像データと伝熱管の損傷原因との関係についての過去の知見の蓄積を反映した学習モデルを機械学習部によって生成することができる。このため、生成した学習モデルに対象画像データを入力することにより、対象画像データが示す対象伝熱管の損傷原因を精度良く推論することができる。これにより、伝熱管の損傷に対して迅速な対処を行うことが可能となる。 According to the heat exchanger tube damage cause inference device described in (1) above, each of the plurality of learning image data each showing a damaged part of a heat exchanger tube whose cause of damage has been identified in the past, and the plurality of learning image data. A learning model that reflects the accumulation of past knowledge about the relationship between image data of damaged parts of heat exchanger tubes and causes of damage to heat exchanger tubes is created by performing machine learning using training data that includes associated damage causes. can be generated by the machine learning unit. Therefore, by inputting the target image data into the generated learning model, it is possible to accurately infer the cause of damage to the target heat exchanger tube indicated by the target image data. This makes it possible to quickly deal with damage to the heat exchanger tubes.

(2)幾つかの実施形態では、上記(1)に記載の伝熱管損傷原因推論装置において、
前記教師データは、前記複数の学習用画像データの各々に関連付けられた場所情報(例えば上述の場所情報Stであって前記学習用画像データに示される伝熱管の場所を示す場所情報を含む。
(2) In some embodiments, in the heat exchanger tube damage cause inference device described in (1) above,
The teacher data includes location information associated with each of the plurality of learning image data (for example, the location information St described above, which indicates the location of the heat exchanger tube shown in the learning image data).

上記(2)に記載の伝熱管損傷原因推論装置によれば、損傷部の画像データと損傷部の場所と損傷原因との関係についての過去の知見の蓄積を反映した学習モデルを機械学習部によって生成することができる。これにより、対象伝熱管の損傷原因の推論精度を向上することができる。 According to the heat exchanger tube damage cause inference device described in (2) above, the machine learning unit creates a learning model that reflects the image data of the damaged part, the accumulation of past knowledge about the relationship between the location of the damaged part, and the cause of damage. can be generated. Thereby, it is possible to improve the accuracy of inferring the cause of damage to the target heat exchanger tube.

(3)幾つかの実施形態では、上記(1)又は(2)に記載の伝熱管損傷原因推論装置において、
前記学習モデルが出力する前記推論結果は、前記対象伝熱管の損傷原因の複数の候補と、前記複数の候補の各々の確率とを含む。
(3) In some embodiments, in the heat exchanger tube damage cause inference device described in (1) or (2) above,
The inference result output by the learning model includes a plurality of candidates for the cause of damage to the target heat exchanger tube and a probability of each of the plurality of candidates.

上記(3)に記載の伝熱管損傷原因推論装置によれば、損傷原因の候補の確率を考慮して、伝熱管の損傷に対して効率的に対処を行うことができる。 According to the heat exchanger tube damage cause inference device described in (3) above, it is possible to efficiently deal with damage to the heat exchanger tubes by considering the probability of damage cause candidates.

(4)幾つかの実施形態では、上記(3)に記載の伝熱管損傷原因推論装置において、
ユーザ側の表示端末に表示する表示画面の画面データを出力する画面データ出力部(例えば上述の画面データ出力部10)を備え、
前記画面データ出力部によって出力する前記画面データは、前記学習モデルが出力する前記推論結果と、前記推論結果に含まれる前記複数の候補のうち最も確率が高い候補の損傷原因についての過去の事例に関する参考情報(例えば上述の参考情報Ir)と、を含む。
(4) In some embodiments, in the heat exchanger tube damage cause inference device described in (3) above,
comprising a screen data output unit (for example, the above-mentioned screen data output unit 10) that outputs screen data of a display screen to be displayed on a user-side display terminal;
The screen data output by the screen data output unit is related to the inference result output by the learning model and past cases regarding the cause of damage of the candidate with the highest probability among the plurality of candidates included in the inference result. Reference information (for example, the above-mentioned reference information Ir).

上記(4)に記載の伝熱管損傷原因推論装置によれば、複数の候補のうち最も確率が高い候補の損傷原因についての過去の事例に関する参考情報を考慮して、伝熱管の損傷に対して効率的に対処を行うことができる。 According to the heat exchanger tube damage cause inference device described in (4) above, the damage cause of heat exchanger tubes is determined by considering reference information regarding past cases regarding the damage cause of the candidate with the highest probability among multiple candidates. It is possible to deal with it efficiently.

(5)幾つかの実施形態では、上記(4)に記載の伝熱管損傷原因推論装置において、
前記参考情報は、前記過去の事例に関する参考資料にアクセスするためのリンク(例えば上述のリンクF10)を含む。
(5) In some embodiments, in the heat exchanger tube damage cause inference device described in (4) above,
The reference information includes a link (for example, the above-mentioned link F10) for accessing reference material regarding the past case.

上記(5)に記載の伝熱管損傷原因推論装置によれば、学習モデルが出力する推論結果と参考情報とを含む画面データをユーザ側の端末に表示する際に、画面データの情報量が過剰に多くなることを抑制し、伝熱管の損傷に対処するために必要な情報を容易に把握することが可能となる。 According to the heat exchanger tube damage cause inference device described in (5) above, when displaying the screen data including the inference results and reference information output by the learning model on the user's terminal, the amount of information in the screen data is excessive. This makes it possible to easily grasp the information necessary to deal with damage to heat exchanger tubes.

(6)幾つかの実施形態では、上記(4)又は(5)に記載の伝熱管損傷原因推論装置において、
前記参考情報は、前記過去の事例に関する参考文書の画像(例えば上述の画像F11)を含む。
(6) In some embodiments, in the heat exchanger tube damage cause inference device described in (4) or (5) above,
The reference information includes an image of a reference document regarding the past case (for example, the above-mentioned image F11).

上記(6)に記載の伝熱管損傷原因推論装置によれば、学習モデルが出力する推論結果と参考情報とを含む画面データをユーザ側の端末に表示する際に、過去の事例に関する参考文書の画像によって過去の事例の内容を容易に把握することが可能となる。 According to the heat exchanger tube damage cause inference device described in (6) above, when displaying screen data including the inference results and reference information output by the learning model on the user terminal, reference documents related to past cases are displayed. Images make it possible to easily understand the contents of past cases.

(7)幾つかの実施形態では、上記(1)乃至(6)の何れかに記載の伝熱管損傷原因推論装置において、
画像部分と前記画像部分以外の部分とを含む画像データから前記学習用画像データを生成するための学習用画像データ生成部(例えば上述の学習用画像データ生成部12)を更に備え、
前記学習用画像データ生成部は、前記画像データのうち特徴量が所定の条件を満たす特徴部の集合(例えば上述の集合G)を推論し、前記画像データのうち、前記集合が占める範囲における最小のX座標及び最大のX座標並びに最小のY座標及び最大のY座標によって画定される四角形の内側の部分を画像として抽出することによって、前記学習用画像データを生成するように構成される。
(7) In some embodiments, in the heat exchanger tube damage cause inference device according to any one of (1) to (6) above,
further comprising a learning image data generation unit (for example, the above-mentioned learning image data generation unit 12) for generating the learning image data from image data including an image portion and a portion other than the image portion,
The learning image data generation unit infers a set of feature portions of the image data whose feature amounts satisfy a predetermined condition (for example, the above-mentioned set G), and the The learning image data is generated by extracting as an image the inner part of a rectangle defined by the X coordinate, the maximum X coordinate, the minimum Y coordinate, and the maximum Y coordinate.

上記(7)に記載の伝熱管損傷原因推論装置によれば、例えば元の1つの画像データの中に1つ又は複数の画像領域がある場合において、元の画像データから各画像領域に対応する部分を適切に抽出して学習用画像データを効率的に生成し、学習モデルにおける損傷原因の推論精度を向上することができる。 According to the heat exchanger tube damage cause inference device described in (7) above, for example, when there is one or more image regions in one original image data, the method corresponding to each image region from the original image data It is possible to efficiently generate training image data by appropriately extracting parts, and improve the accuracy of inferring the cause of damage in the learning model.

(8)本開示の一実施形態に係る伝熱管損傷原因推論方法は、
損傷原因を推論する対象である対象伝熱管について、前記対象伝熱管の損傷部を示す画像データである対象画像データ(例えば上述の対象画像データDa)を取得する対象画像データ取得ステップと、
過去に損傷原因を特定された伝熱管の損傷部をそれぞれ示す複数の学習用画像データ(例えば上述の複数の学習用画像データDfl)と、前記複数の学習用画像データの各々に関連付けられた損傷原因(例えば上述の噴破原因Cd)と、を含む教師データ(例えば上述の教師データDt)を用いた機械学習によって生成された、伝熱管の損傷原因の推論に用いる学習モデルについて、前記対象画像データ取得ステップで取得した前記対象画像データを前記学習モデルに入力することにより、前記対象伝熱管の損傷原因の推論結果(例えば上述の推論結果Ri)を前記学習モデルが出力するステップと、
を備える。
(8) A heat exchanger tube damage cause inference method according to an embodiment of the present disclosure includes:
A target image data acquisition step of acquiring target image data (for example, the above-mentioned target image data Da) that is image data indicating a damaged part of the target heat exchanger tube for the target heat exchanger tube whose damage cause is to be inferred;
A plurality of learning image data (for example, the plurality of learning image data Dfl described above) each showing a damaged part of a heat exchanger tube whose cause of damage has been identified in the past, and damage associated with each of the plurality of learning image data. Regarding the learning model used to infer the cause of damage to heat exchanger tubes, which is generated by machine learning using training data (for example, training data Dt described above) including a cause (for example, the above-mentioned blowout cause Cd), the above-mentioned target image inputting the target image data acquired in the data acquisition step into the learning model, so that the learning model outputs an inference result (for example, the above-mentioned inference result Ri) of the cause of damage to the target heat exchanger tube;
Equipped with

上記(8)に記載の伝熱管損傷原因推論方法によれば、過去に損傷原因を特定された伝熱管の損傷部をそれぞれ示す複数の学習用画像データと、複数の学習用画像データの各々に関連付けられた損傷原因と、を含む教師データを用いた機械学習により生成された学習モデルを用いて、伝熱管の損傷部の画像データと伝熱管の損傷原因との関係についての過去の知見の蓄積を反映した学習モデルに対象画像データを入力することにより、対象画像データが示す対象伝熱管の損傷原因を精度良く推論することができる。これにより、伝熱管の損傷に対して迅速な対処を行うことが可能となる。 According to the heat exchanger tube damage cause inference method described in (8) above, each of the plurality of learning image data each showing the damaged part of the heat exchanger tube whose cause of damage has been identified in the past, and the plurality of learning image data Accumulation of past knowledge about the relationship between image data of damaged parts of heat exchanger tubes and causes of damage to heat exchanger tubes using a learning model generated by machine learning using training data including associated damage causes. By inputting the target image data into a learning model that reflects the above, it is possible to accurately infer the cause of damage to the target heat exchanger tube indicated by the target image data. This makes it possible to quickly deal with damage to the heat exchanger tubes.

2 伝熱管噴破原因推論装置
4 対象画像データ取得部
6 機械学習部
8 参考情報記憶部
9 参考情報検索部
10 画面データ出力部
12 学習用画像データ生成部
14 端末
14d 表示部
72 プロセッサ
74 RAM
76 ROM
78 HDD
80 入力I/F
82 出力I/F
84 バス
Cd 噴破原因
Da 対象画像データ
Db 画像データ
Dfl 学習用画像データ
Ds 画面データ
Dt 教師データ
E1,E2 表示画面
F1 ファイル名入力欄
F2 画像データ表示部
F3 フレーム
F4 サイズ調節ボタン
F5 フレーム位置調節ボタン
F6 推論ボタン
F7 数値入力欄
F8 場所入力欄
F9 管入力欄
F10 リンク
F11 画像
G 集合
Ir 参考情報
K 四角形
Md0,Md1 学習モデル
Nc 情報通信ネットワーク
Ri 推論結果
Sa,St 場所情報
2 Heat exchanger tube blowout cause inference device 4 Target image data acquisition unit 6 Machine learning unit 8 Reference information storage unit 9 Reference information search unit 10 Screen data output unit 12 Learning image data generation unit 14 Terminal 14d Display unit 72 Processor 74 RAM
76 ROM
78 HDD
80 Input I/F
82 Output I/F
84 Bus Cd Blowout cause Da Target image data Db Image data Dfl Learning image data Ds Screen data Dt Teacher data E1, E2 Display screen F1 File name input field F2 Image data display section F3 Frame F4 Size adjustment button F5 Frame position adjustment button F6 Inference button F7 Numerical input field F8 Location input field F9 Tube input field F10 Link F11 Image G Set Ir Reference information K Rectangle Md0, Md1 Learning model Nc Information and communication network Ri Inference result Sa, St Location information

Claims (7)

過熱器および再熱器を含むボイラの熱交換器に用いられる伝熱管の損傷原因を推論するための伝熱管損傷原因推論装置であって、
過去に損傷原因を特定された伝熱管の損傷部をそれぞれ示す複数の学習用画像データと、前記複数の学習用画像データの各々に関連付けられた損傷原因と、を含む教師データを用いて機械学習を行うことにより、伝熱管の損傷原因の推論に用いる学習モデルを生成するように構成された機械学習部と、
前記損傷原因を推論する対象である対象伝熱管について、前記対象伝熱管の損傷部を示す画像データである対象画像データを取得するように構成された対象画像データ取得部と、
を備え、
前記学習モデルは、前記対象画像データ取得部によって取得した前記対象画像データを入力されることにより、前記対象伝熱管の損傷原因の推論結果を出力するように構成され、
前記教師データは、前記複数の学習用画像データの各々に関連付けられた場所情報であって前記学習用画像データに示される伝熱管が設けられる前記熱交換器の種類を示す場所情報を含み、
前記対象画像データ取得部は、前記対象画像データが示す前記対象伝熱管が設けられる前記熱交換器の種類を示す対象場所情報を取得するように構成された、
伝熱管損傷原因推論装置。
A heat exchanger tube damage cause inference device for inferring the cause of damage to heat exchanger tubes used in a heat exchanger of a boiler including a superheater and a reheater,
Machine learning using training data that includes a plurality of learning image data each showing a damaged part of a heat exchanger tube whose cause of damage has been identified in the past, and a damage cause associated with each of the plurality of learning image data. a machine learning unit configured to generate a learning model used to infer the cause of damage to the heat exchanger tube by performing the following steps;
a target image data acquisition unit configured to acquire target image data that is image data indicating a damaged portion of the target heat exchanger tube for the target heat exchanger tube from which the cause of the damage is to be inferred;
Equipped with
The learning model is configured to output an inference result of the cause of damage to the target heat exchanger tube by receiving the target image data acquired by the target image data acquisition unit,
The teacher data is location information associated with each of the plurality of learning image data , and includes location information indicating the type of the heat exchanger in which the heat exchanger tube shown in the learning image data is installed. ,
The target image data acquisition unit is configured to acquire target location information indicating a type of the heat exchanger in which the target heat exchanger tube indicated by the target image data is installed.
Heat exchanger tube damage cause inference device.
前記学習モデルが出力する前記推論結果は、前記対象伝熱管の損傷原因の複数の候補と、前記複数の候補の各々の確率とを含む、請求項1に記載の伝熱管損傷原因推論装置。 The heat exchanger tube damage cause inference device according to claim 1, wherein the inference result output by the learning model includes a plurality of candidates for the cause of damage to the target heat exchanger tube and a probability of each of the plurality of candidates. ユーザ側の端末に表示する表示画面の画面データを出力する画面データ出力部を備え、前記画面データ出力部によって出力する前記画面データは、前記学習モデルが出力する前記推論結果と、前記推論結果に含まれる前記複数の候補のうち最も確率が高い候補の損傷原因についての過去の事例に関する参考情報と、を含む、請求項2に記載の伝熱管損傷原因推論装置。 The screen data output unit includes a screen data output unit that outputs screen data of a display screen to be displayed on a user-side terminal, and the screen data output by the screen data output unit is based on the inference result output by the learning model and the inference result. 3. The heat exchanger tube damage cause inference device according to claim 2, further comprising reference information regarding past cases regarding the damage cause of the candidate with the highest probability among the plurality of candidates included. 前記参考情報は、前記過去の事例に関する参考資料にアクセスするためのリンクを含む、請求項3に記載の伝熱管損傷原因推論装置。 The heat exchanger tube damage cause inference device according to claim 3, wherein the reference information includes a link for accessing reference materials regarding the past cases. 前記参考情報は、前記過去の事例に関する参考文書の画像を含む、請求項3又は4に記載の伝熱管損傷原因推論装置。 The heat exchanger tube damage cause inference device according to claim 3 or 4, wherein the reference information includes an image of a reference document regarding the past case. 画像部分と前記画像部分以外の部分とを含む画像データから前記学習用画像データを生成するための学習用画像データ生成部を更に備え、
前記学習用画像データ生成部は、前記画像データのうち特徴量が所定の条件を満たす特徴部の集合を推論し、前記画像データのうち、前記集合が占める範囲における最小のX座標及び最大のX座標並びに最小のY座標及び最大のY座標によって画定される四角形の内側の部分を画像として抽出することによって、前記学習用画像データを生成するように構成された、請求項1乃至5の何れか1項に記載の伝熱管損傷原因推論装置。
further comprising a learning image data generation unit for generating the learning image data from image data including an image portion and a portion other than the image portion,
The learning image data generation unit infers a set of feature parts whose feature amounts satisfy a predetermined condition among the image data, and calculates a minimum X coordinate and a maximum X coordinate in a range occupied by the set of the image data. Any one of claims 1 to 5, wherein the learning image data is generated by extracting as an image an inner part of a rectangle defined by the coordinates, the minimum Y coordinate, and the maximum Y coordinate. The heat exchanger tube damage cause inference device according to item 1.
過熱器および再熱器を含むボイラの熱交換器に用いられる伝熱管の損傷原因を推論するための伝熱管損傷原因推論方法であって、
損傷原因を推論する対象である対象伝熱管について、前記対象伝熱管の損傷部を示す画像データである対象画像データを取得する対象画像データ取得ステップと、
過去に損傷原因を特定された伝熱管の損傷部をそれぞれ示す複数の学習用画像データと、前記複数の学習用画像データの各々に関連付けられた損傷原因と、を含む教師データを用いた機械学習によって生成された、伝熱管の損傷原因の推論に用いる学習モデルについて、前記対象画像データ取得ステップで取得した前記対象画像データを前記学習モデルに入力することにより、前記対象伝熱管の損傷原因の推論結果を前記学習モデルが出力するステップと、
を備え、
前記教師データは、前記複数の学習用画像データの各々に関連付けられた場所情報であって前記学習用画像データに示される伝熱管が設けられる前記熱交換器の種類を示す場所情報を含み、
前記対象画像データ取得ステップにおいて、前記対象画像データが示す前記対象伝熱管が設けられる前記熱交換器の種類を示す対象場所情報を取得する、
伝熱管損傷原因推論方法。

A heat exchanger tube damage cause inference method for inferring the cause of damage to heat exchanger tubes used in a heat exchanger of a boiler including a superheater and a reheater, the method comprising:
a target image data acquisition step of acquiring target image data that is image data indicating a damaged part of the target heat exchanger tube for the target heat exchanger tube from which the cause of damage is to be inferred;
Machine learning using training data including a plurality of learning image data each showing a damaged part of a heat exchanger tube whose cause of damage has been identified in the past, and a cause of damage associated with each of the plurality of learning image data. By inputting the target image data acquired in the target image data acquisition step into the learning model, which is used to infer the cause of damage to the heat exchanger tube, the learning model generated by a step in which the learning model outputs a result;
Equipped with
The teacher data is location information associated with each of the plurality of learning image data , and includes location information indicating the type of the heat exchanger in which the heat exchanger tube shown in the learning image data is installed. ,
In the target image data acquisition step, acquiring target location information indicating the type of the heat exchanger in which the target heat exchanger tube indicated by the target image data is installed;
Method for inferring the cause of heat exchanger tube damage.

JP2021210085A 2021-12-24 2021-12-24 Heat exchanger tube damage cause inference device and heat exchanger tube damage cause inference method Active JP7401514B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2021210085A JP7401514B2 (en) 2021-12-24 2021-12-24 Heat exchanger tube damage cause inference device and heat exchanger tube damage cause inference method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2021210085A JP7401514B2 (en) 2021-12-24 2021-12-24 Heat exchanger tube damage cause inference device and heat exchanger tube damage cause inference method

Publications (2)

Publication Number Publication Date
JP2023094659A JP2023094659A (en) 2023-07-06
JP7401514B2 true JP7401514B2 (en) 2023-12-19

Family

ID=87002270

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021210085A Active JP7401514B2 (en) 2021-12-24 2021-12-24 Heat exchanger tube damage cause inference device and heat exchanger tube damage cause inference method

Country Status (1)

Country Link
JP (1) JP7401514B2 (en)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021156655A (en) 2020-03-26 2021-10-07 株式会社奥村組 Device, method, and program for specifying sewer damage

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10209230A (en) * 1997-01-23 1998-08-07 Hitachi Ltd Method and device for fault analysis
KR102398307B1 (en) * 2019-03-26 2022-05-16 도시바 미쓰비시덴키 산교시스템 가부시키가이샤 Abnormality judgment support device
JP7423237B2 (en) * 2019-09-30 2024-01-29 キヤノン株式会社 Image processing device, image processing method, program

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021156655A (en) 2020-03-26 2021-10-07 株式会社奥村組 Device, method, and program for specifying sewer damage

Also Published As

Publication number Publication date
JP2023094659A (en) 2023-07-06

Similar Documents

Publication Publication Date Title
JP3834041B2 (en) Learning type classification apparatus and learning type classification method
US7903844B2 (en) Failure analysis system, failure analysis method, and program product for failure analysis
JP6877735B2 (en) Search support method and information processing device for the cause of manufacturing defects
US12001516B2 (en) Method and assistance system for parameterizing an anomaly detection method
KR102604320B1 (en) System and method for calibrating simulation model
US20150262030A1 (en) Image processing device, image processing method, and image processing program
JP7118277B2 (en) Inspection device, inspection method and program
CN108121648B (en) Interface error monitoring method
CN112001406A (en) Text region detection method and device
KR20220104020A (en) Analytical devices and analytical methods
JP7401514B2 (en) Heat exchanger tube damage cause inference device and heat exchanger tube damage cause inference method
CN110858302A (en) System and method for editing monitoring script in picture image
JP7363910B2 (en) Display method, display program and information processing device
JP7241506B2 (en) Correction support device and correction support program for optical character recognition results
JP5006263B2 (en) Image processing apparatus, program, and image processing method
US20200057909A1 (en) Objects aggregation and standardization for legacy graphics conversion
JP7363911B2 (en) Display method, display program and information processing device
JP7407648B2 (en) Object recognition device and object recognition method
JP7161379B2 (en) inference device
JP2015201055A (en) Defective place prediction apparatus, defective place prediction program and defective place prediction method
JP2021163127A (en) Program creation device, object detection system, anchor setting method and anchor setting program
US11222226B2 (en) Monitoring-screen-data generation device, monitoring-screen-data generation method, and recording medium
US20240078720A1 (en) Image processing apparatus, image processing method, and non-transitory computer readable storage medium
KR102439051B1 (en) Drawing error preventing device and method through markup
JP7331269B2 (en) Device malfunction symptom notification device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211224

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230214

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230411

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20230718

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230906

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20230912

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231128

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231207

R150 Certificate of patent or registration of utility model

Ref document number: 7401514

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350