JP7411473B2 - Validation method, validation system and program - Google Patents
Validation method, validation system and program Download PDFInfo
- Publication number
- JP7411473B2 JP7411473B2 JP2020058259A JP2020058259A JP7411473B2 JP 7411473 B2 JP7411473 B2 JP 7411473B2 JP 2020058259 A JP2020058259 A JP 2020058259A JP 2020058259 A JP2020058259 A JP 2020058259A JP 7411473 B2 JP7411473 B2 JP 7411473B2
- Authority
- JP
- Japan
- Prior art keywords
- cut set
- cut
- evaluation result
- hierarchical clustering
- sets
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000010200 validation analysis Methods 0.000 title claims description 76
- 238000011156 evaluation Methods 0.000 claims description 46
- 238000012502 risk assessment Methods 0.000 claims description 31
- 239000000284 extract Substances 0.000 claims description 25
- 230000005484 gravity Effects 0.000 claims description 24
- 238000012986 modification Methods 0.000 claims description 24
- 230000004048 modification Effects 0.000 claims description 24
- 238000000605 extraction Methods 0.000 claims description 23
- 238000004458 analytical method Methods 0.000 claims description 20
- 238000004364 calculation method Methods 0.000 claims description 18
- 238000012937 correction Methods 0.000 claims description 16
- 238000013210 evaluation model Methods 0.000 claims description 3
- 239000013598 vector Substances 0.000 description 31
- 238000000034 method Methods 0.000 description 25
- 238000010586 diagram Methods 0.000 description 10
- 238000012545 processing Methods 0.000 description 10
- 238000012790 confirmation Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 238000004891 communication Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Images
Landscapes
- Testing And Monitoring For Control Systems (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Description
本開示は、確率論的リスク評価モデルの妥当性確認方法、妥当性確認システム及びプログラムに関する。 The present disclosure relates to a validation method, validation system, and program for a probabilistic risk assessment model.
原子力発電プラントのリスク評価に確率論的リスク評価(Probabilistic Risk Assessment:PRA)モデル(以下、PRAモデルと記載する。)が用いられることがある(特許文献1)。リスク評価の精度を保つため、技術者が、PRAモデルに基づいて生成される頂上事象のカットセットを手作業で確認することがある。 A probabilistic risk assessment (PRA) model (hereinafter referred to as the PRA model) is sometimes used for risk assessment of nuclear power plants (Patent Document 1). To maintain the accuracy of the risk assessment, engineers may manually review the cut set of crest events generated based on the PRA model.
特許文献2には、トレーニングデータの特徴ベクトルをクラスタリングし、クラスタリングされた特徴ベクトルを用いて、認識すべきデータの特徴ベクトルを補間演算した後に音声認識モデルに入力して、音声認識モデルを最適に調整する技術が記載されている。
原子力発電プラントのPRAモデルから出力される頂上事象のカットセットの数は、1プラントあたり、数万から数十万になることがあるため、これら全てを手作業で確認するのは困難である。 The number of cut sets of top events output from a PRA model of a nuclear power plant can range from tens of thousands to hundreds of thousands per plant, so it is difficult to manually check all of them.
本開示は、上記課題を解決することができる妥当性確認方法、妥当性確認システム及びプログラムを提供する。 The present disclosure provides a validation method, validation system, and program that can solve the above problems.
本開示の妥当性確認方法は、コンピュータによって実行される妥当性確認方法であって、PRAモデルから出力されるカットセットの特徴量を演算するステップと、前記カットセットについて、前記特徴量に基づく階層的クラスタリングを実行するステップと、前記階層的クラスタリングによって生成された各々のクラスに含まれる前記カットセットの中から1つまたは複数を抽出するステップと、抽出された前記カットセットについての妥当性の評価結果を取得するステップと、前記評価結果が妥当ではない場合、前記PRAモデルの修正情報を受け付けるステップと、を有し、前記演算するステップでは、1つの前記カットセットについて、当該カットセットを構成する基事象を示すテキストデータに出現する単語の当該カットセットにおける出現回数と他の前記カットセットにも前記単語が出現するかどうかの傾向とを数値化した値を前記特徴量として算出し、前記妥当性の評価結果は、前記カットセットに含まれる基事象に誤りがないか、前記基事象の組合せ条件に誤りがないかどうか、についての技術者による評価結果を含み、前記確率論的リスク評価モデルの修正情報には、前記妥当性の評価結果が、誤りがあることを示す評価結果の場合に、前記技術者によって作成された当該誤りを修正するための情報が含まれる。 The validation method of the present disclosure is a validation method executed by a computer, and includes the steps of calculating feature amounts of a cut set output from a PRA model, and a hierarchy based on the feature amounts for the cut set. a step of performing hierarchical clustering, a step of extracting one or more of the cut sets included in each class generated by the hierarchical clustering, and evaluating the validity of the extracted cut sets. The method includes a step of obtaining a result, and a step of receiving correction information for the PRA model when the evaluation result is not valid, and in the step of calculating, a cut set is configured for one of the cut sets. A value that quantifies the number of times a word that appears in the text data indicating the basic event appears in the cut set and the tendency of whether the word appears in other cut sets is calculated as the feature quantity, and the value is calculated as the feature quantity. The risk evaluation results include evaluation results by engineers as to whether there are any errors in the basic events included in the cut set and whether there are any errors in the combination conditions of the basic events, and The correction information includes information created by the engineer for correcting the error when the validity evaluation result indicates that there is an error.
また、本開示の妥当性確認システムは、PRAモデルから出力されるカットセットの特徴量を演算する特徴量演算部と、前記カットセットについて、前記特徴量に基づく階層的クラスタリングを実行する階層的クラスタリング部、前記階層的クラスタリングによって生成された各々のクラスに含まれる前記カットセットの中から1つまたは複数を抽出する抽出部と、抽出された前記カットセットについての妥当性の評価結果が妥当ではない場合、前記PRAモデルの修正情報を受け付ける修正受付部と、を有し、前記特徴量演算部は、1つの前記カットセットについて、当該カットセットを構成する基事象を示すテキストデータに出現する単語の当該カットセットにおける出現回数と他の前記カットセットにも前記単語が出現するかどうかの傾向とを数値化した値を前記特徴量として算出し、前記妥当性の評価結果は、前記カットセットに含まれる基事象に誤りがないか、前記基事象の組合せ条件に誤りがないかどうか、についての技術者による評価結果を含み、前記確率論的リスク評価モデルの修正情報には、前記妥当性の評価結果が、誤りがあることを示す評価結果の場合に、前記技術者によって作成された当該誤りを修正するための情報が含まれる。 Further, the validation system of the present disclosure includes a feature calculation unit that calculates feature amounts of a cut set output from a PRA model, and a hierarchical clustering unit that performs hierarchical clustering on the cut set based on the feature amount. an extraction unit that extracts one or more of the cut sets included in each class generated by the hierarchical clustering; and an extraction unit that extracts one or more of the cut sets included in each class generated by the hierarchical clustering, and a validity evaluation result for the extracted cut sets that is not valid. In this case, the feature amount calculation unit includes a modification reception unit that receives modification information of the PRA model, and the feature value calculation unit calculates, for one of the cut sets, words appearing in text data indicating base events constituting the cut set. A value that quantifies the number of occurrences in the cut set and a tendency of whether or not the word appears in other cut sets is calculated as the feature amount, and the validity evaluation result is the number of occurrences in the cut set. The modification information for the probabilistic risk assessment model includes the evaluation results of the validity evaluation, including the results of an engineer's evaluation as to whether there are any errors in the base events to be used, and whether there are any errors in the combination conditions of the base events. If the evaluation result indicates that there is an error, information created by the engineer to correct the error is included.
また、本開示のプログラムは、コンピュータに、PRAモデルから出力されるカットセットの特徴量を演算するステップと、前記カットセットについて、前記特徴量に基づく階層的クラスタリングを実行するステップと、前記階層的クラスタリングによって生成された各々のクラスに含まれる前記カットセットの中から1つまたは複数を抽出するステップと、抽出された前記カットセットについての妥当性の評価結果を取得するステップと、前記評価結果が妥当ではない場合、前記PRAモデルの修正情報を受け付けるステップと、を実行させるプログラムであって、前記演算するステップでは、1つの前記カットセットについて、当該カットセットを構成する基事象を示すテキストデータに出現する単語の当該カットセットにおける出現回数と他の前記カットセットにも前記単語が出現するかどうかの傾向とを数値化した値を前記特徴量として算出し、前記妥当性の評価結果は、前記カットセットに含まれる基事象に誤りがないか、前記基事象の組合せ条件に誤りがないかどうか、についての技術者による評価結果を含み、前記確率論的リスク評価モデルの修正情報には、前記妥当性の評価結果が、誤りがあることを示す評価結果の場合に、前記技術者によって作成された当該誤りを修正するための情報が含まれる。 Further, the program of the present disclosure causes a computer to calculate a feature amount of a cut set output from a PRA model, perform hierarchical clustering on the cut set based on the feature amount, and perform hierarchical clustering on the cut set based on the feature amount. extracting one or more of the cut sets included in each class generated by clustering; obtaining a validity evaluation result for the extracted cut set; If the PRA model is not valid, the program executes the step of accepting correction information of the PRA model, and in the step of calculating, for one of the cut sets, text data indicating basic events constituting the cut set is processed. A value that quantifies the number of occurrences of the word appearing in the cut set and a tendency of whether the word appears in other cut sets is calculated as the feature quantity, and the validity evaluation result is The correction information for the probabilistic risk assessment model includes the results of an evaluation by an engineer as to whether there are any errors in the base events included in the cut set and whether there are any errors in the combination conditions of the base events, and the modification information for the probabilistic risk assessment model includes the If the validity evaluation result indicates that there is an error, information created by the engineer to correct the error is included.
上述の妥当性確認方法、妥当性確認システム及びプログラムによれば、PRAモデルの妥当性を効率的に確認することができる。 According to the validation method, validation system, and program described above, the validity of the PRA model can be efficiently confirmed.
<実施形態>
以下、本開示の妥当性確認システムについて、図1~図7を参照しながら説明する。
(システム構成)
図1は、実施形態に係る妥当性確認システムの一例を示すブロック図である。
妥当性確認システム1は、PRAモデルを構成する頂上事象のカットセットの妥当性確認作業を支援する。図示するように妥当性確認システム1は、PRAモデル管理装置10と、妥当性確認支援装置20とを備える。PRAモデル管理装置10と妥当性確認支援装置20は通信可能に接続されている。
<Embodiment>
The validation system of the present disclosure will be described below with reference to FIGS. 1 to 7.
(System configuration)
FIG. 1 is a block diagram illustrating an example of a validation system according to an embodiment.
The
(PRAモデル管理装置の構成)
PRAモデル管理装置10は、カットセット出力部11と、修正受付部12と、記憶部13とを備える。
カットセット出力部11は、PRAモデルを解析して、頂上事象のカットセットを出力する。頂上事象とは、例えば、原子力発電プラントにおける重大な事故事象である。頂上事象のカットセットとは、頂上事象を引き起こす、1または複数の基事象の組合せである。基事象は、例えば、ポンプの起動失敗、逆止弁の開失敗など、重大な事故事象に繋がる個々の事故事象である。以下、頂上事象のカットセットを単にカットセットと記載する。例えば、原子力発電プラントの場合、PRAモデルから出力されるカットセットの数は、数万から数十万になることがある。PRAモデルから出力される複数のカットセットをカットセットリストと呼ぶ。
修正受付部12は、PRAモデルに対する修正指示を受け付け、PRAモデルを修正する。
記憶部13は、PRAモデルを記憶する。PRAモデルには、FT(Fault Tree)やET(Event Tree)が含まれている。
(Configuration of PRA model management device)
The PRA
The cut
The
The
(妥当性確認支援装置の構成)
妥当性確認支援装置20は、カットセット取得部21と、特徴量演算部22と、階層的クラスタリング部23と、抽出部24と、非階層的クラスタリング部25と、選別部26と、出力部27と、記憶部28と、を備える。
カットセット取得部21は、PRAモデル管理装置10が出力したカットセットを取得する。
特徴量演算部22は、カットセット取得部21が取得した各カットセットの特徴量を演算する。具体的には、カットセットに含まれる基事象のID(識別情報)は、所定のルールに従ってコード化されているが、コード化されたテキストデータを所定の単位に分節し、分節された文字列を単語、カットセットを文書のように扱って、tfidfやword2vec等のテキスト分析を用いて、カットセットに出現する単語に基づく特徴量を演算する。演算結果の特徴量は、ベクトルとして表される。このベクトルの各要素は、基事象IDから分節して得られる文字列(単語)についてテキスト分析した値である。
(Configuration of validation support device)
The
The cut
The feature
階層的クラスタリング部23は、特徴量演算部22が演算したカットセットの特徴量に基づいて、階層的クラスタリングを実行し、PRAモデルから生成された全カットセットを、類似するカットセット同士に分類する。
抽出部24は、階層的クラスタリングによって生成された各クラスの中から技術者が確認するカットセットのサンプルを抽出する。
The
The
非階層的クラスタリング部25は、技術者によって妥当であると確認されたカットセットの集合を対象として、k-means法などの非階層的クラスタリングを行う。
選別部26は、非階層的クラスタリングの結果に基づいて、カットセットの中から不適切である可能性が高いカットセットを選別する。
The
The
出力部27は、階層的クラスタリングの結果、非階層的クラスタリングの結果などを表示装置に表示したり、電子データとして出力したりする。
記憶部28は、カットセットリスト、処理中のデータなどを記憶する。
The
The
(動作)
次に図2~図6を用いて、妥当性確認システム1の動作について説明する。
図2は、実施形態に係る妥当性確認処理の一例を示す図である。
妥当性確認システム1の動作は、テキスト分析と階層的クラスタリングにより、偏りなく確認対象のカットセットを抽出し、技術者の確認を求めることにより、妥当なカットセットを偏りなく蓄積する処理(後述するS1~S8)と、蓄積された妥当なカットセットを学習して、学習結果に基づいて不適切なカットセットを選別する処理(後述するS9~S13)の2段階で構成されている。以下、これらの処理について説明する。
(motion)
Next, the operation of the
FIG. 2 is a diagram illustrating an example of validation processing according to the embodiment.
The operation of the
まず、技術者が、PRAモデル管理装置10へカットセットリストを出力するよう指示する。カットセット出力部11は、記憶部13からPRAモデルを読み出して、カットセットを出力する。ここで、図3を参照する。
First, an engineer instructs the PRA
図3は、実施形態に係る頂上事象のカットセットを説明するための図である。
図3にPRAモデルに含まれるFTの一例を示す。図3の円で示したA~Eは基事象を示し、四角で示したP~Qは中間事象を示し、ORゲートは、基事象A、C、中間事象Pの何れかが発生すると、頂上事象が発生することを示す。上のANDゲートは、基事象Bと中間事象Qが発生すると、中間事象Pが発生することを示している。さらに下のANDゲートは、基事象Dと基事象Eが発生すると、中間事象Qが発生することを示している。図3のFTの場合、頂上事象を引き起こすカットセットは、(1)基事象A、(2)基事象B、基事象D、基事象Eの組合せ、(3)基事象Cである。PRAモデル管理装置10のカットセット出力部11は、例えば、図3のFTに基づいて、カットセット1(基事象A)、カットセット2(基事象B、基事象D、基事象E)、カットセット3(基事象C)を含むカットセットリストを出力する(S1)。
FIG. 3 is a diagram for explaining a cut set of top events according to the embodiment.
FIG. 3 shows an example of FT included in the PRA model. The circles A to E shown in FIG. 3 indicate basic events, and the squares P to Q indicate intermediate events. Indicates that an event will occur. The AND gate above indicates that when base event B and intermediate event Q occur, intermediate event P occurs. The AND gate further below shows that when base event D and base event E occur, intermediate event Q occurs. In the case of FT in FIG. 3, the cut set that causes the top event is (1) a combination of base event A, (2) base event B, base event D, and base event E, and (3) base event C. The cut set
妥当性確認支援装置20では、カットセット取得部21が、カットセット出力部11が出力したカットセットリストを取得する(S2)。記憶部28は、カットセットリストを記憶する。妥当性確認支援装置20は、取得したカットセットリストに含まれるカットセットの妥当性を確認する作業を効率化、省力化する機能を提供する。図4を参照する。
In the
図4は、実施形態に係るカットセットの一例を示す図である。
図4に図3のFTに基づくカットセットを示す。IDはカットセットのID、発生確率はカットセットの事象が発生する確率、基事象はカットセットに含まれる基事象を示す。図4の例の場合、ID=1は、図3で説明したカットセット1に相当し、確率はX1%、このカットセットを構成する基事象は基事象Aである。確率の算出方法については、公知のため説明しないが、例えば、図3のFT及び図示しないETに基づいて算出することができる。例えば、ID=2のカットセット(図3で説明したカットセット2に相当)の場合、カットセット2の事象が発生する確率X2%は、基事象B、基事象D、基事象Eが発生する確率に基づいて算出される。確率は、リスクの大きさを示す。ここで、X1%>X3%>X2%が成立するとする。図4に例示するカットセットは3個の為、技術者は全てを確認することができるが、カットセットが全部で数万個あり、カットセット1の確率X1%とカットセット3の確率X3%が確率の観点から数万個のうちの上位(例えば、上から100個以内)に入り、カットセット2の確率X2%が数万個のうちの下位に順位付けられるとする。確率が大きいカットセットは、それだけ頂上事象(事故)を引き起こしやすいという意味で重要である。その為、技術者は、例えば、確率が高い(リスクが高い)カットセットから順に妥当性の確認を行う。
FIG. 4 is a diagram illustrating an example of a cut set according to the embodiment.
FIG. 4 shows a cut set based on the FT of FIG. 3. ID indicates the ID of the cut set, occurrence probability indicates the probability that an event of the cut set occurs, and base event indicates the base event included in the cut set. In the example of FIG. 4, ID=1 corresponds to cut set 1 explained in FIG. 3, the probability is X1%, and the base event constituting this cut set is base event A. Although the method of calculating the probability will not be described because it is publicly known, it can be calculated based on the FT shown in FIG. 3 and the ET (not shown), for example. For example, in the case of a cut set with ID=2 (corresponding to cut set 2 explained in FIG. 3), the probability that the event of cut set 2 occurs is X2%, and base event B, base event D, and base event E occur. Calculated based on probability. Probability indicates the magnitude of risk. Here, it is assumed that X1%>X3%>X2% holds true. The number of cut sets illustrated in Figure 4 is three, so the engineer can check all of them, but there are tens of thousands of cut sets in total, and the probability of cut set 1 is x1% and the probability of cut set 3 is x3%. Suppose that the cut set 2 is ranked in the top (for example, within the top 100) out of tens of thousands in terms of probability, and the probability X2% of cut set 2 is ranked in the bottom out of the tens of thousands. A cut set with a large probability is important in the sense that it is more likely to cause a summit event (accident). Therefore, the engineer, for example, checks the validity of the cut sets in order of probability (high risk).
図3のFTに誤りがあり、図3の下のANDゲートはORゲートが正しいとする。この場合、カットセット2は誤りであって、正しいFTから出力されるカットセットリストには、基事象Bと基事象Dから構成されるカットセット2aと、基事象Bと基事象Eから構成されるカットセット2bと、上記のカットセット1と、カットセット3と、が含まれる。カットセット2aの確率をX2a%、カットセット2bの確率をX2b%とし、例えば、確率X2a%が上位に順位付けられるとするならば、本来であれば、高リスクのカットセット2aは技術者によって確認されるはずのカットセットである。しかし、PRAモデル(例えば、FT)の誤りにより、カットセットの確率が小さく算出されている場合、技術者の確認の対象から漏れる可能性がある。仮にPRAモデルが正しく、カットセット2aが出力されていれば、カットセット2aに関する基事象Bと基事象Dについて、注意が向けられ、リスク情報活用の観点に基づき、頂上事象の発生確率を低減するための対策を講じることが可能となる。しかし、PRAモデルの誤りにより、発生確率が高いカットセット2aが出力されない場合、カットセット2aは見過ごされ、それが原因でリスク低減のための対策が講じられない可能性がある。妥当性確認支援装置20は、カットセットの確率の高低に関わらず、広い範囲のカットセットを対象に妥当性の確認が行えるよう、カットセットを抽出し、技術者へ提示する。
Assume that there is an error in the FT in FIG. 3, and that the AND gate at the bottom of FIG. 3 is the correct OR gate. In this case, cut set 2 is incorrect, and the cut set list output from the correct FT includes cut set 2a consisting of base event B and base event D, and cut set 2a consisting of base event B and base event E. The cut set 2b, the cut set 1, and the cut set 3 described above are included. Let the probability of cut set 2a be X2a% and the probability of cut set 2b be X2b%. For example, if probability X2a% is ranked high, originally, high-risk cut set 2a should be This is the cut set that should be confirmed. However, if the probability of a cut set is calculated to be small due to an error in the PRA model (for example, FT), there is a possibility that it will not be checked by an engineer. If the PRA model is correct and cut set 2a is output, attention will be directed to base event B and base event D related to cut set 2a, and the probability of occurrence of the top event will be reduced from the perspective of risk information utilization. It becomes possible to take measures to prevent this. However, if the cut set 2a with a high probability of occurrence is not output due to an error in the PRA model, the cut set 2a may be overlooked, and as a result, no measures may be taken to reduce risk. The
図2に戻り、妥当性確認支援装置20の処理について説明する。まず、特徴量演算部22が、カットセット取得部21が取得したカットセットリスト内の各カットセットについて、「(1)テキスト分析によるカットセットのベクトル化」を実行する(S3)。基事象はコード化されたテキストデータとして表すことができる。例えば、基事象AのIDは、図4に例示するように“Aa1bbb1052A”である。例えば、先頭の3桁“Aa1”はプラントの系統ID、次の4桁”bbb1”は故障モードID、最後の4桁“052A”は故障に関する機器番号を示している。このように基事象IDには、故障事象が生じた機器、系統、故障の種類に関する情報が含まれている。そこで、カットセットを文章として捉え、カットセットに含まれる各基事象の基事象IDを、系統ID、故障モードID、機器番号等の意味のある要素(単語)に分節して、これらの単語のカットセットにおける重要度や意味をテキスト分析によって分析し、その分析結果をカットセットの特徴量として扱う。このような考えに基づいて、特徴量演算部22は、カットセットに含まれる基事象のテキストデータに対してテキスト分析を行って、カットセットを数値化、ベクトル化する。後述するように、カットセットをベクトル化することにより、ベクトルの近接性(テキストの類似性)に基づいてカットセットを分類することができるようになる。
Returning to FIG. 2, the processing of the
次にカットセットの特徴量の演算、つまり、カットセットのベクトル化の一例について具体的に説明する。説明の便宜のため、カットセットリストには、カットセット1~3のみが含まれ、カットセット1は基事象Aのみ、カットセット2は基事象Bのみ、カットセット3は基事象Cのみを含むものとする。基事象A~Cの基事象IDを図4に示す。まず、各カットセットのベクトルの次元を、全カットセット(カットセット1~3)に存在する全ての基事象(基事象A~C)の基事象IDを分節して得られる要素(単語)の数とする。具体的には、基事象AのIDは、“Aa1”、“bbb1”、“052A”に分節され、基事象BのIDは、“Aa1”、“ddd2”、“052A”に分節され、基事象CのIDは、“Aa2”、“ccc3”、“024B”に分節されることから、要素の数は、“Aa1”、“Aa2”、“bbb1”、“ccc3”、“ddd2”、“052A”、“024B”の7つとなり、ベクトルの次元数は7となる。例えば、特徴量演算部22は、カットセット1~3のそれぞれについて(単語“Aa1”についてのテキスト分析値、単語“Aa2”についてのテキスト分析値、単語“bbb1”についてのテキスト分析値、単語“ccc3”についてのテキスト分析値、単語“ddd2”についてのテキスト分析値、単語“052A”についてのテキスト分析値、単語“024B”についてのテキスト分析値)で表されるベクトルを作成する。テキスト分析とは、例えば、tfidfである。例えば、カットセット1のベクトルの要素の1つ目、単語“Aa1”についてのtfidfによるテキスト分析値は、以下の式によって演算することができる。
Next, calculation of the feature amount of a cut set, that is, an example of vectorization of a cut set will be specifically explained. For convenience of explanation, the cut set list includes only cut
tf(“Aa1”、カットセット1)=カットセット1(“Aa1bbb1052A”)内における“Aa1”の出現回数/カットセット1の全ての単語(“Aa1”と、”bbb1“と、”052A”)の出現回数の和・・・(1)
idf(“Aa1”)=log(総カットセット数(=3)/単語“Aa1”が出現するカットセット数(=2))・・・(2)
カットセット1の1つ目の要素のテキスト分析値(tfidf)=tf(“Aa1”、カットセット1)×idf(“Aa1”)=式(1)×式(2)・・・(3)
tf (“Aa1”, cut set 1) = number of occurrences of “Aa1” in cut set 1 (“Aa1bbb1052A”)/all words of cut set 1 (“Aa1”, “bbb1”, and “052A”) Sum of the number of occurrences...(1)
idf (“Aa1”) = log (total number of cut sets (=3)/number of cut sets in which the word “Aa1” appears (=2))... (2)
Text analysis value of the first element of cut set 1 (tfidf) = tf (“Aa1”, cut set 1) × idf (“Aa1”) = formula (1) × formula (2)... (3)
あるカットセット内での出現回数は多いが(tfが大きい)、他のカットセットには出現していない(idfが大きい)単語は、tfidfによるテキスト分析値が大きくなる。また、それ以外の単語はtfidfが小さくなる。例えば、複数のカットセットに出現している単語は、各カットセットの特徴を表しているとは言えないためtfidfの値は小さい。一方、特定のカットセットのみに出現している単語は、カットセットの特徴を表していると言えるためtfidfの値は大きくなる。tfidfにより、カットセットにおける単語の重要度を算出できる。このような性質を有するtfidfによる分析値を各要素とするベクトルを作成することで、基事象IDを構成するテキスト(単語の組合せ)の観点からカットセットの特徴を表すことができる。ベクトルの要素の値は、word2vecによって演算してもよい。 A word that appears many times in a certain cut set (tf is large) but does not appear in other cut sets (idf is large) has a large text analysis value using tfidf. In addition, tfidf becomes smaller for other words. For example, a word appearing in multiple cut sets cannot be said to represent the characteristics of each cut set, so the value of tfidf is small. On the other hand, a word that appears only in a specific cut set can be said to represent the characteristics of the cut set, so the value of tfidf becomes large. Using tfidf, the importance of words in the cut set can be calculated. By creating a vector whose elements are analysis values based on tfidf having such properties, the characteristics of the cut set can be expressed from the perspective of the text (combination of words) that constitutes the basic event ID. The values of the elements of the vector may be calculated using word2vec.
特徴量演算部22が、各カットセットを表すベクトルを演算すると、次に階層的クラスタリング部23が、全カットセットのベクトルを対象に「(2)階層的クラスタリング」を行って、ベクトルが類似するカットセット同士を同じクラスに分類する(S4)。階層的クラスタリング部23は、ベクトルの距離が近いカットセット同士で集合(クラスタ)にしていく過程を、最終的に全カットセットが1つのクラスタに統合されるまで繰り返す。この処理は、カットセットに含まれる単語のテキスト分析結果が、基事象の組み合わせの類似度を表すと想定して、カットセットをカテゴライズするために行う。図5に階層的クラスタリングの結果の一例を示す。
When the feature
次に抽出部24が、階層的クラスタリングによって生成したクラスタ群を、任意の階層(図5の閾値L1)で分割し、クラスに分ける(S5)。図5の樹形図(デンドログラム)の下に記載したC1~C20の各々が、閾値L1で分割したときに生成されるクラスである。閾値L1は、予め定められていてもよいし、分割後のクラス数が予め定められていて、このクラス数に応じて、抽出部24が閾値L1を設定してもよい。抽出部24は、分割後のクラスについて、「(3)各クラスから一部のカットセットを抽出する」(S6)。各クラスには、ベクトルが類似するカットセットが集まっているので、全クラスからカットセットを抽出することで、数万個以上存在するカットセットの中から代表的なサンプルを偏りなく抽出することができる。抽出部24は、例えば、各クラスから全く任意に1又は複数のカットセットを抽出してもよいし、満遍なくカットセットを抽出するためにベクトルの近接性が所定の閾値よりも低いカットセットの組み合わせを抽出してもよい。あるいは、各クラスから1つだけカットセットを抽出する場合、抽出部24は、各クラスのベクトルの重心を演算し、重心に最も近いカットセットを抽出してもよい。また、抽出部24は、閾値L1の他にカットセット抽出用に閾値L2(図5)を設定し、閾値L2によって分割されたクラスから、例えば1つずつ(複数でも良い)のカットセットを抽出してもよい。また、抽出部24は、各クラスC1~C20の各々から、図4に例示する確率に基づいてカットセットを抽出してもよい。例えば、抽出部24は、各クラス内の確率が最上位から順に所定個のカットセットを抽出し、最下位から順に所定個のカットセットを抽出したり、確率が所定の範囲内のものから任意にカットセットを抽出したりしてもよい。また、抽出部24は、確率とベクトルを組み合わせて、例えば、各クラス内の確率が最上位のものから順にベクトルの近接性が所定以上離れていることを条件に所定個のカットセットを抽出してもよい。抽出部24は、抽出したカットセットのIDを記憶部28に記録する。これは、後に再びS6の処理を行うときに、過去に抽出したカットセットを抽出しないようにするためである。
Next, the
抽出部24がカットセットを抽出すると、出力部27が、抽出されたカットセットを表示装置などに出力する。次に「(4)技術者による妥当性確認」を行う。技術者は、各クラスタから抽出されたカットセットを手作業により確認する。例えば、技術者は、カットセットに含まれる基事象に誤りがないか、余計な基事象が含まれていないか、基事象の組合せ条件(OR、AND)に誤りがないかどうか等を確認する。誤りがあった場合、技術者は、修正指示情報をPRAモデル管理装置10に入力し、PRAモデル管理装置10は、「(5)不適切なカットセットが同定された場合、PRAモデルを修正」する(S7)。具体的には、PRAモデル管理装置10では、修正受付部12が、PRAモデルの修正指示情報を取得し、修正指示情報に基づいて、記憶部13のPRAモデルを修正する。カットセットに誤りが無い場合、技術者は、「(6)不適切なカットセットが同定されなければ妥当性確認支援装置20へ入力」を行う(S8)。妥当性確認支援装置20では、カットセット取得部21が、技術者による確認済みのカットセットを、確認済みであることを示す目印を付けて記憶部28に記録する。
When the
以上が、テキスト分析技術を用いた妥当なカットセットの学習処理である。妥当性確認システム1は、「(4)技術者による妥当性確認」にて、不適切なカットセットが同定されなくなるまで、S1~S8の処理を繰り返し行う。2回目以降の処理では、抽出部24は、1度抽出したカットセットを再び抽出せず、他のカットセットを抽出する。S1~S8の処理を繰り返すと、記憶部28には、不適切ではないと確認されたカットセットが蓄積される。蓄積された確認済みのカットセットは、階層的クラスタリングによって生成された各クラスから抽出されたカットセットであるから、全カットセット中に存在する様々なカットセットを代表するカットセットであると考えられる。
The above is a reasonable cut set learning process using text analysis technology. The
不適切なカットセットが同定されなくなると、技術者は、不適切なカットセットの抽出処理を実行するよう妥当性確認支援装置20へ指示する。すると、非階層的クラスタリング部25は、記憶部28に蓄積された不適切ではないと確認されたカットセットを対象に、「(7)k-means法によるクラスタリング」を実行する(S9)。非階層的クラスタリング部25は、k-means法によって、確認済みカットセットのベクトルの近接性に基づいて、確認済みカットセットを予め設定されたクラス数に分類し、各クラスの重心と、重心を中心とする確認済みカットセットのベクトルが分布する範囲を演算する。また、非階層的クラスタリング部25は、抽出部24によって抽出されなかったカットセット、不適切ではないと確認されたもの以外のカットセット(これらを未確認カットセットと呼ぶ。)について、k-means法によって生成された各クラスに基づく評価を行う。図6にk-means法によって生成されたクラスの一例を示す。図6に示すのは、カットセットのベクトル空間である。便宜上ベクトル空間を2次元で示し、1つのクラスのみを示している。図6に示す星印の点は、このクラスの重心である。丸印の点は、技術者による確認済みカットセットのベクトルを示している。×印の点と三角印の点は何れも未確認カットセットのベクトルを示している。円61は、重心を中心に確認済みのカットセットが含まれる範囲を示している。非階層的クラスタリング部25は、クラスに分類された確認済みのカットセットのうち、重心からの距離が一番遠いカットセットを特定し、特定したカットセットから重心までの距離を半径とする円61を規定する。円62は、未確認カットセットについて、適切なカットセットであると判断する許容範囲を示している。非階層的クラスタリング部25は、例えば、円61の半径×所定の係数によって演算される長さを半径とする円62によって許容範囲を規定する。非階層的クラスタリング部25は、全ての未確認カットセットの各々について、重心からの距離を演算し、円61に含まれるか否か、円62に含まれるか否かを判定する。
When inappropriate cut sets are no longer identified, the engineer instructs the
非階層的クラスタリング部25は、円62に含まれる未確認カットセットを適切なカットセット、円62の外に位置する未確認カットセットを不適切なカットセットと判定する(S10)。非階層的クラスタリング部25は、未確認カットセットごとに判定結果を記憶部28に記録する。非階層的クラスタリング部25は、S9で生成された全てのクラスについて、重心や許容範囲等の演算を行い、S10の判定を行う。ここで、不適切なカットセットと判定された全ての未確認カットセットを技術者が確認すると、PRAモデルの精度を高めることができるが、不適切と判定された未確認カットセットの数が膨大になると、技術者が確認しきれない可能性がある。一方、PRAモデルに含まれている誤った要素(基事象や論理式)に関連するカットセットを1つでも確認し、その誤った要素を修正することができるならば、誤った要素に関連するカットセットは全て正しく修正される。従って、PRAモデルに存在する誤った要素に関連するカットセットの何れか1つを的確に選んで、技術者に確認を求めることができれば、技術者は、少数のカットセットだけを確認すれば良く、効率的にPRAモデルを修正することができる。
The
上記のような考えに基づいて、選別部26は、S10で不適切と判定されたカットリストの中から、実際に不適切な可能性が高いカットセットを選別する(S11)。具体的には、選別部26は、「(8)各クラスの重心からの距離に基づく分類」を行う。(a)例えば、選別部26は、不適切と判定されたカットセット(図6の三角印)のうち、重心からの距離が遠いものから順に所定個を選んで、選んだカットセットを実際に不適切な可能性が高いカットセットとする。(b)あるいは、選別部26は、不適切と判定されたカットセットについて、階層的クラスタリング部23を用いて階層的クラスタリングを行う。そして、階層的クラスタリングによって生成された各クラスから、重心からの距離が遠い順に所定個のカットセットを選んで、これらを実際に不適切な可能性が高いカットセットとする。階層的クラスタリングによって、不適切と判定されたカットリストをカテゴライズすることにより、例えば、PRAモデルに存在する誤りによって生成されたカットセットを1又は複数の特定のクラスへ分類できる可能性がある。そして、分類されたクラスにおいて重心からの距離が遠いものを選べば、実際に不適切な可能性が高いカットセットを選択できる確度を高めることが期待できる。また、階層的クラスタリングを利用することで、偏りなく実際に不適切な可能性が高いカットセットを選別することができる。なお、クラスから不適切な可能性が高いカットセットを選ぶ方法は、S6で説明したものと同様の方法であっても良い。(c)また、例えば、選別部26は、不適切と判定されたカットセットのうち、重心からの距離が所定値以上のものを全て選んで、これらを実際に不適切な可能性が高いカットセットしてもよい。妥当性が確認されたカットセットのベクトルからの距離が遠いカットセットを選択することで、上記で説明したPRAモデルの誤った要素に関連するカットセットを選ぶ可能性を高めることができる。選別部26は、S9で生成された全てのクラスについて、S11の選別処理を行う。
Based on the above idea, the
選別部26は、S11で選別した、全ての実際に不適切な可能性が高いカットセットの中から「(9)一部のカットセットを抽出」し、出力部27へ出力する(S12)。実際に不適切な可能性が高いカットセットの数が所定数以下であれば、選別部26は、実際に不適切な可能性が高いカットセットを全て出力部27へ出力してもよい。出力部27は、選別されたカットセットの一部又は全部を表示装置などに出力する。次に「(10)技術者による妥当性確認」を行う。技術者は、実際に不適切な可能性が高いカットセットについて、妥当性の確認を行う。PRAモデル管理装置10は、「(11)不適切なカットセットが同定された場合、PRAモデルを修正」する(S13)。具体的には、修正受付部12が、PRAモデルの修正指示情報を取得し、記憶部13のPRAモデルを修正する。
The sorting
技術者が手動で数十万規模のカットセットを確認する場合、リスクが上位のカットセットから優先的に確認することがある。 When an engineer manually checks hundreds of thousands of cut sets, he or she may preferentially check the cut sets with the highest risk.
これに対し、本実施形態によれば、全カットセットに対する階層的クラスタリングにより、全体から基事象の組み合わせの観点で代表的なカットセットを満遍なく抽出し、カットセットの妥当性の確認を行うことができる(S1~S8)。これにより、リスクの高低に関わらず、全体的に偏りなくカットセットの確認を行うことができる。また、S1~S8の処理を繰り返し行うことで、PRAモデルの精度を高めることができる。 In contrast, according to the present embodiment, by performing hierarchical clustering on all cut sets, it is possible to uniformly extract representative cut sets from the viewpoint of combinations of basic events from the whole, and to check the validity of the cut sets. I can do it (S1-S8). As a result, regardless of the level of risk, it is possible to check the cut set without any bias. Further, by repeating the processes S1 to S8, the accuracy of the PRA model can be improved.
また、階層的クラスタリングでは、確認済カットセットと未確認カットセットのベクトルの類似性を定量的に比較できないところ、S9~S12の処理では、非階層的クラスタリングであるk-means法を用いて各クラスの重心と未確認カットセットとのベクトル空間上の距離を算出し、近い場合は「適切」、遠い場合は「不適切」と判定する。これにより、S1~S8の処理で技術者が妥当と判断したカットセットに基づいて、妥当と考えられるカットセットとの類似性が低く、実際に不適切な可能性が高いと考えられるカットセットを自動的に抽出して技術者に提示することができる。これにより、技術者は、少ない作業量で効率よく不適切なカットセットを確認し、PRAモデルを修正することができる。 In addition, in hierarchical clustering, it is not possible to quantitatively compare the similarity of vectors between confirmed cut sets and unconfirmed cut sets, but in the processing of S9 to S12, each class is The distance in vector space between the center of gravity of and the unconfirmed cut set is determined, and if it is close, it is determined to be "appropriate", and if it is far, it is determined to be "inappropriate". As a result, based on the cut sets that the engineer judged to be appropriate in the processing of S1 to S8, the cut sets that have low similarity to the cut sets considered to be appropriate and are considered to have a high possibility of actually being inappropriate are selected. It can be automatically extracted and presented to the engineer. This allows engineers to efficiently confirm inappropriate cut sets and correct the PRA model with a small amount of work.
また、カットセットの確認作業は、安全性向上の観点から技術者によって継続的に実行される作業である。本実施形態の妥当性確認システム1を導入することによって、確認作業の効率化、省力化の効果を長期的に享受することができる。
Further, the work of checking the cut set is a work that is continuously performed by engineers from the viewpoint of improving safety. By introducing the
上記実施形態では、原子力発電プラントにおいて作成されたPRAモデルのカットセットの確認作業を省力化・効率化するについて述べた。上述の通り、原子力発電プラントでは、カットセットの数が数万~数十万に達することがあり、本実施形態のPRAモデルの妥当性確認方法は有効である。しかし、妥当性確認システム1の適用分野は、原子力プラントに限定されない。PRAモデルを用いてリスク評価を行うどのような産業分野にも適用が可能である。
また、階層的クラスタリング、非階層的クラスタリングの具体的手法についても特に上記した手法に限定するものでは無く、同様の手法を用いることができる。
In the above embodiment, it has been described how to save labor and improve the efficiency of checking a cut set of a PRA model created in a nuclear power plant. As mentioned above, in a nuclear power plant, the number of cut sets may reach tens of thousands to hundreds of thousands, and the PRA model validation method of this embodiment is effective. However, the field of application of the
Further, specific methods of hierarchical clustering and non-hierarchical clustering are not limited to the above-described methods, and similar methods can be used.
図7は、妥当性確認システムのハードウェア構成の一例を示す図である。
コンピュータ900は、CPU901、主記憶装置902、補助記憶装置903、入出力インタフェース904、通信インタフェース905を備える。
上述のPRAモデル管理装置10、妥当性確認支援装置20は、コンピュータ900に実装される。そして、上述した各機能は、プログラムの形式で補助記憶装置903に記憶されている。CPU901は、プログラムを補助記憶装置903から読み出して主記憶装置902に展開し、当該プログラムに従って上記処理を実行する。また、CPU901は、プログラムに従って、記憶領域を主記憶装置902に確保する。また、CPU901は、プログラムに従って、処理中のデータを記憶する記憶領域を補助記憶装置903に確保する。
FIG. 7 is a diagram illustrating an example of the hardware configuration of the validation system.
The
The above-described PRA
なお、PRAモデル管理装置10、妥当性確認支援装置20の全部または一部の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより各機能部による処理を行ってもよい。ここでいう「コンピュータシステム」とは、OSや周辺機器等のハードウェアを含むものとする。また、「コンピュータシステム」は、WWWシステムを利用している場合であれば、ホームページ提供環境(あるいは表示環境)も含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、CD、DVD、USB等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。また、このプログラムが通信回線によってコンピュータ900に配信される場合、配信を受けたコンピュータ900が当該プログラムを主記憶装置902に展開し、上記処理を実行しても良い。また、上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよい。
PRAモデル管理装置10、妥当性確認支援装置20は、それぞれ通信可能な複数のコンピュータ900によって構成されていても良い。また、PRAモデル管理装置10、妥当性確認支援装置20が1台のコンピュータ900によって構成されていても良い。
Note that a program for realizing all or part of the functions of the PRA
The PRA
以上のとおり、本開示に係るいくつかの実施形態を説明したが、これら全ての実施形態は、例として提示したものであり、発明の範囲を限定することを意図していない。これらの実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で種々の省略、置き換え、変更を行うことができる。これらの実施形態及びその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれる。 As described above, several embodiments according to the present disclosure have been described, but all these embodiments are presented as examples and are not intended to limit the scope of the invention. These embodiments can be implemented in various other forms, and various omissions, substitutions, and changes can be made without departing from the gist of the invention. These embodiments and their modifications are included within the scope and gist of the invention as well as within the scope of the invention described in the claims and its equivalents.
<付記>
各実施形態に記載の確率論的リスク評価モデル(PRAモデル)の妥当性確認方法、妥当性確認システム1及びプログラムは、例えば以下のように把握される。
<Additional notes>
The validation method,
(1)第1の態様に係る確率論的リスク評価モデル(PRAモデル)の妥当性確認方法は、確率論的リスク評価モデル(PRAモデル)から出力されるカットセットの特徴量を演算するステップ(S3)と、前記カットセットについて、前記特徴量に基づく階層的クラスタリングを実行するステップ(S4)と、前記階層的クラスタリングによって生成された各々のクラスに含まれる前記カットセットの中から1つまたは複数を抽出するステップ(S6)と、抽出された前記カットセットについての妥当性の評価結果を取得するステップ(S7、S8)と、前記評価結果が妥当ではない場合、前記確率論的リスク評価モデル(PRAモデル)の修正情報を受け付けるステップ(S7)と、を有する。 (1) The method for validating a probabilistic risk assessment model (PRA model) according to the first aspect includes the step of calculating feature quantities of a cut set output from the probabilistic risk assessment model (PRA model). S3), a step (S4) of performing hierarchical clustering on the cut set based on the feature amount, and one or more of the cut sets included in each class generated by the hierarchical clustering. (S6), obtaining a validity evaluation result for the extracted cut set (S7, S8), and if the evaluation result is not valid, the probabilistic risk evaluation model ( (S7) of receiving modification information of the PRA model).
カットセットの特徴量を演算し数値化することにより、全カットセットを対象にクラスタリングを行うことができる。全てのカットセットを対象に階層的クラスタリングを行うことにより、全体を代表的するカットセットを抽出することができる。代表的なカットセットを抽出して確認作業を行うので偏りなく省力的にカットセットの確認を行うことができる。 By calculating and quantifying the feature values of the cut sets, clustering can be performed for all the cut sets. By performing hierarchical clustering on all cut sets, it is possible to extract a cut set that is representative of the whole. Since the confirmation work is performed by extracting a representative cut set, the cut set can be confirmed without bias and with less effort.
(2)第2の態様に係る妥当性確認方法は、(1)の妥当性確認方法であって、前記評価結果が妥当とされた前記カットセットの前記特徴量に基づいて、非階層的クラスタリングによって1又は複数の第2クラスを生成し、前記第2クラスの重心と前記カットセットが妥当であるとみなせる範囲とを演算するステップ(S9)と、前記抽出するステップ(S6)で、抽出しなかった前記カットセットについて、前記範囲に基づいて妥当性を判定するステップ(S10)と、前記判定するステップにて、妥当ではないと判定された前記カットセットについて、さらに前記重心からの距離に基づく選別を行うステップ(S11)と、選別された前記カットセットについての妥当性の評価結果が妥当ではない場合、前記確率論的リスク評価モデル(PRAモデル)の修正情報を受け付けるステップ(S13)と、をさらに有する。 (2) A validation method according to a second aspect is the validation method according to (1), in which non-hierarchical clustering is performed based on the feature amount of the cut set for which the evaluation result is validated. In the step (S9) of generating one or more second classes, calculating the centroid of the second class and the range in which the cut set can be considered valid, and the step of extracting (S6), A step (S10) of determining validity based on the range for the cut set that is not valid; a step of performing selection (S11), and a step of receiving correction information for the probabilistic risk assessment model (PRA model) if the validity evaluation result for the selected cut set is not valid (S13); It further has.
これにより、技術者が妥当性を確認したカットセットに基づいて、未確認のカットセットの妥当性を自動的に判定することができる。また、妥当ではない(不適切)と判定されたカットセットについても、さらにクラスの重心からの距離に基づく選別を行うことで、不適切な可能性が高いカットセットを技術者に提示することができる。
(1)と(2)の妥当性確認方法により、膨大な量のカットセットの妥当性を効率的かつ、漏れを少なく確認することが可能となる。
Thereby, the validity of unconfirmed cut sets can be automatically determined based on the cut sets whose validity has been confirmed by the engineer. In addition, for cut sets that are determined to be unreasonable (inappropriate), by further sorting based on the distance from the center of gravity of the class, it is possible to present cut sets that are likely to be inappropriate to the engineer. can.
The validity checking methods (1) and (2) make it possible to check the validity of a huge amount of cut sets efficiently and with fewer omissions.
(3)第3の態様に係る妥当性確認方法は、(2)の妥当性確認方法であって、前記選別を行うステップでは、前記重心からの距離が離れているものから順に所定個の前記カットセットを選別する。 (3) A validation method according to a third aspect is the validation method of (2), in which, in the step of sorting, a predetermined number of the above-mentioned Select cut sets.
(4)第4の態様に係る妥当性確認方法は、(2)の妥当性確認方法であって、前記選別を行うステップでは、さらに階層的クラスタリングを行ってクラスタを生成し、当該クラスタごとに前記重心からの距離が離れているものから順に所定個の前記カットセットを選別する。 (4) The validation method according to the fourth aspect is the validation method of (2), in which in the step of performing the selection, hierarchical clustering is further performed to generate clusters, and each cluster is A predetermined number of the cut sets are selected in order of distance from the center of gravity.
(3)~(4)の妥当性確認方法により、より確実に、実際に不適切である可能性が高いカットセットを選択することができる。また、(4)の妥当性確認方法によれば、不適切である可能性が高いカットセットにある傾向がある場合、階層的クラスタリングによって、その傾向を有したカットセットを一つのクラスに集めることにより、効率良く、実際に不適切である可能性が高いカットセットを選択することができる。 By using the validation methods (3) and (4), it is possible to more reliably select a cut set that is likely to be actually inappropriate. Furthermore, according to the validation method (4), if there is a tendency among cut sets that are likely to be inappropriate, hierarchical clustering can be used to collect the cut sets with that tendency into one class. This makes it possible to efficiently select cut sets that are likely to be actually inappropriate.
(5)第5の態様に係る妥当性確認方法は、(1)~(4)の妥当性確認方法であって、前記特徴量は前記カットセットを構成する基事象を示すテキストデータに出現する単語をテキスト分析することによりベクトル化した値である。 (5) The validation method according to the fifth aspect is the validation method of (1) to (4), wherein the feature amount appears in text data indicating basic events forming the cut set. This value is vectorized by text analysis of words.
これにより、カットセットの基事象のテキストデータに含まれるその基事象に関する単語の観点から、カットセットの特徴量を演算することができる。 Thereby, the feature amount of the cut set can be calculated from the viewpoint of the words related to the basic event included in the text data of the basic event of the cut set.
(6)第6の態様に係る妥当性確認方法は、(1)~(5)の妥当性確認方法であって、前記抽出するステップでは、前記階層的クラスタリングによって生成された各々の前記第1クラスから前記特徴量の近接性が所定値より低い前記カットセットを抽出する。 (6) A validation method according to a sixth aspect is the validation method of (1) to (5), wherein in the step of extracting, each of the first The cut set in which the proximity of the feature amount is lower than a predetermined value is extracted from the class.
(7)第7の態様に係る妥当性確認方法は、(1)~(5)の妥当性確認方法であって、前記抽出するステップでは、前記階層的クラスタリングによって生成された各々の前記第1クラスから前記カットセットの発生確率に基づいて前記カットセットを抽出する。 (7) A validation method according to a seventh aspect is the validation method of (1) to (5), wherein in the extracting step, each of the first The cut set is extracted from the class based on the probability of occurrence of the cut set.
(6)~(7)の妥当性確認方法により、確認対象のカットセットを広範な範囲から偏りなく抽出することができる。 By the validation methods (6) to (7), it is possible to unbiasedly extract the cut set to be checked from a wide range.
(8)第8の態様に係る妥当性確認方法は、(1)~(7)の妥当性確認方法であって、(1)に記載の妥当性確認方法を、妥当性がないと判断される前記カットセットが抽出されなくなるまで繰り返し実行し、その後、(2)に記載の前記演算するステップと、(2)に記載の前記判定するステップと、(2)に記載の前記選別を行うステップと、(2)に記載の前記修正情報を受け付けるステップと、を実行する。 (8) The validation method according to the eighth aspect is the validation method described in (1) to (7), which is the validation method described in (1) that is determined to have no validity. The step of performing the calculation described in (2), the determining step of (2), and the sorting step of (2) are performed repeatedly until the cut set is no longer extracted. and the step of accepting the modification information described in (2).
これにより、妥当性が確認されたカットセットを蓄積しつつ、確率論的リスク評価モデル(PRAモデル)を修正し、請求項1に記載の妥当性確認方法では、不適切なカットセットが見つけられなくなった段階で、妥当性確認済みのカットセットに基づく学習(非階層的クラスタリング)により、未確認のカットセットから実際に不適切である可能性が高いカットセットを選別するので、効率的、省力的に不適切なカットセットを見つけ出して、確率論的リスク評価モデル(PRAモデル)の修正を行うことができる。 As a result, the probabilistic risk assessment model (PRA model) is corrected while accumulating cut sets whose validity has been confirmed. When a cut set is no longer valid, learning based on validated cut sets (non-hierarchical clustering) is used to select cutsets that are likely to be inappropriate from unconfirmed cutsets, making it efficient and labor-saving. The probabilistic risk assessment model (PRA model) can be modified by finding inappropriate cut sets.
(9)第9の態様に係る妥当性確認システムは、確率論的リスク評価モデル(PRAモデル)から出力されるカットセットの特徴量を演算する特徴量演算部22と、前記カットセットについて、前記特徴量に基づく階層的クラスタリングを実行する階層的クラスタリング部23、前記階層的クラスタリングによって生成された各々の第1クラスに含まれる前記カットセットの中から1つまたは複数を抽出する抽出部24と、抽出された前記カットセットについての妥当性の評価結果が妥当ではない場合、前記確率論的リスク評価モデル(PRAモデル)の修正情報を受け付ける修正受付部12と、を有する。
(9) The validation system according to the ninth aspect includes a
(10)第10の態様に係る妥当性確認システムは、(9)の妥当性確認システムであって、前記評価結果が妥当とされた前記カットセットの前記特徴量に基づいて、非階層的クラスタリングによって1又は複数の第2クラスを生成し、前記第2クラスの重心と前記カットセットが妥当であるとみなせる範囲とを演算する非階層的クラスタリング部25と、前記抽出部24が、抽出しなかった前記カットセットについて、前記範囲に基づいて妥当性を判定する判定部(非階層的クラスタリング部25)と、前記判定部(非階層的クラスタリング部25)によって、妥当ではないと判定された前記カットセットについて、さらに前記重心からの距離に基づく選別を行う選別部26と、をさらに有し、前記修正受付部12は、選別された前記カットセットについての妥当性の評価結果が妥当ではない場合、前記確率論的リスク評価モデル(PRAモデル)の修正情報を受け付ける。
(10) The validation system according to the tenth aspect is the validation system according to (9), which performs non-hierarchical clustering based on the feature amount of the cut set for which the evaluation result is validated. a
(11)第11の態様に係るプログラムは、コンピュータ900に、確率論的リスク評価モデル(PRAモデル)から出力されるカットセットの特徴量を演算するステップと、前記カットセットについて、前記特徴量に基づく階層的クラスタリングを実行するステップと、前記階層的クラスタリングによって生成された各々の第1クラスに含まれる前記カットセットの中から1つまたは複数を抽出するステップと、抽出された前記カットセットについての妥当性の評価結果を取得するステップと、前記評価結果が妥当ではない場合、前記確率論的リスク評価モデル(PRAモデル)の修正情報を受け付けるステップと、を実行させる。
(11) The program according to the eleventh aspect includes the step of causing the
(12)第12の態様に係るプログラムは、(11)のプログラムであって、前記コンピュータ900に、前記評価結果が妥当とされた前記カットセットの前記特徴量に基づいて、非階層的クラスタリングによって1又は複数の第2クラスを生成し、前記第2クラスの重心と前記カットセットが妥当であるとみなせる範囲とを演算するステップと、前記抽出するステップで、抽出しなかった前記カットセットについて、前記範囲に基づいて妥当性を判定するステップと、前記判定するステップにて、妥当ではないと判定された前記カットセットについて、さらに前記重心からの距離に基づく選別を行うステップと、選別された前記カットセットについての妥当性の評価結果が妥当ではない場合、前記確率論的リスク評価モデル(PRAモデル)の修正情報を受け付けるステップと、をさらに実行させる。
(12) The program according to the twelfth aspect is the program according to (11), which causes the
1・・・妥当性確認システム
10・・・PRAモデル管理装置
11・・・カットセット出力部
12・・・修正受付部
13・・・記憶部
20・・・妥当性確認支援装置
21・・・カットセット取得部
22・・・特徴量演算部
23・・・階層的クラスタリング部
24・・・抽出部
25・・・非階層的クラスタリング部
26・・・選別部
27・・・出力部
28・・・記憶部
900・・・コンピュータ
901・・・CPU、
902・・・主記憶装置、
903・・・補助記憶装置、
904・・・入出力インタフェース
905・・・通信インタフェース
1...
902...Main storage device,
903... Auxiliary storage device,
904...I/
Claims (12)
確率論的リスク評価モデルから出力されるカットセットの特徴量を演算するステップと、
前記カットセットについて、前記特徴量に基づく階層的クラスタリングを実行するステップと、
前記階層的クラスタリングによって生成された各々の第1クラスに含まれる前記カットセットの中から1つまたは複数を抽出するステップと、
抽出された前記カットセットについての妥当性の評価結果を取得するステップと、
前記評価結果が妥当ではない場合、前記確率論的リスク評価モデルの修正情報を受け付けるステップと、
を有し、
前記演算するステップでは、1つの前記カットセットについて、当該カットセットを構成する基事象を示すテキストデータに出現する単語の当該カットセットにおける出現回数と他の前記カットセットにも前記単語が出現するかどうかの傾向とを数値化した値を前記特徴量として算出し、
前記妥当性の評価結果は、前記カットセットに含まれる基事象に誤りがないか、前記基事象の組合せ条件に誤りがないかどうか、についての技術者による評価結果を含み、
前記確率論的リスク評価モデルの修正情報には、前記妥当性の評価結果が、誤りがあることを示す評価結果の場合に、前記技術者によって作成された当該誤りを修正するための情報が含まれる、
妥当性確認方法。 A computer-implemented validation method, comprising:
a step of calculating features of a cut set output from the probabilistic risk assessment model;
performing hierarchical clustering on the cut set based on the feature amount;
extracting one or more of the cut sets included in each first class generated by the hierarchical clustering;
obtaining a validity evaluation result for the extracted cut set;
If the evaluation result is not valid, receiving correction information for the probabilistic risk evaluation model;
has
In the step of calculating, for one of the cut sets, the number of occurrences of a word that appears in the text data indicating the base event constituting the cut set, and whether the word also appears in the other cut sets. Calculate a numerical value of the tendency as the feature amount,
The validity evaluation result includes an evaluation result by an engineer as to whether there are any errors in the basic events included in the cut set, and whether there are no errors in the combination conditions of the basic events,
The correction information for the probabilistic risk assessment model includes information for correcting the error created by the engineer when the validity evaluation result indicates that there is an error. Become,
Validation method.
前記抽出するステップで、抽出しなかった前記カットセットについて、前記範囲に基づいて妥当性を判定するステップと、
前記判定するステップにて、妥当ではないと判定された前記カットセットについて、さらに前記重心からの距離に基づく選別を行うステップと、
選別された前記カットセットについての妥当性の評価結果が妥当ではない場合、前記確率論的リスク評価モデルの修正情報を受け付けるステップと、
をさらに有する請求項1に記載の妥当性確認方法。 One or more second classes are generated by non-hierarchical clustering based on the feature amount of the cut set for which the evaluation result is valid, and the center of gravity of the second class and the cut set are determined to be valid. a step of calculating a range that can be considered;
determining the validity of the cut set that was not extracted in the extracting step based on the range;
further sorting the cut set determined to be invalid in the determining step based on the distance from the center of gravity;
If the validity evaluation result for the selected cut set is not valid, receiving correction information for the probabilistic risk assessment model;
The validation method according to claim 1, further comprising:
請求項2に記載の妥当性確認方法。 In the step of sorting, a predetermined number of the cut sets are sorted in order of distance from the center of gravity.
The validation method according to claim 2.
請求項2に記載の妥当性確認方法。 In the step of performing the sorting, hierarchical clustering is further performed to generate clusters, and for each cluster, a predetermined number of the cut sets are selected in order of distance from the center of gravity.
The validation method according to claim 2.
請求項1から請求項4の何れか1項に記載の妥当性確認方法。 The feature amount is a value obtained by vectorizing words appearing in text data indicating basic events forming the cut set by text analysis.
The validation method according to any one of claims 1 to 4.
請求項1から請求項5の何れか1項に記載の妥当性確認方法。 In the extracting step, extracting the cut set in which the proximity of the feature amount is lower than a predetermined value from each of the first classes generated by the hierarchical clustering.
The validation method according to any one of claims 1 to 5.
請求項1から請求項5の何れか1項に記載の妥当性確認方法。 In the extracting step, the cut set is extracted from each of the first classes generated by the hierarchical clustering based on the probability of occurrence of the cut set.
The validation method according to any one of claims 1 to 5.
妥当性確認方法。 The validation method according to claim 1 is repeatedly executed until the cut set that is determined to have no validity is extracted, and then the step of calculating according to claim 2; executing the determining step as described in claim 2, the step of performing the sorting as described in claim 2, and the step of receiving the modification information as described in claim 2;
Validation method.
前記カットセットについて、前記特徴量に基づく階層的クラスタリングを実行する階層的クラスタリング部、
前記階層的クラスタリングによって生成された各々の第1クラスに含まれる前記カットセットの中から1つまたは複数を抽出する抽出部と、
抽出された前記カットセットについての妥当性の評価結果が妥当ではない場合、前記確率論的リスク評価モデルの修正情報を受け付ける修正受付部と、
を有し、
前記特徴量演算部は、1つの前記カットセットについて、当該カットセットを構成する基事象を示すテキストデータに出現する単語の当該カットセットにおける出現回数と他の前記カットセットにも前記単語が出現するかどうかの傾向とを数値化した値を前記特徴量として算出し、
前記妥当性の評価結果は、前記カットセットに含まれる基事象に誤りがないか、前記基事象の組合せ条件に誤りがないかどうか、についての技術者による評価結果を含み、
前記確率論的リスク評価モデルの修正情報には、前記妥当性の評価結果が、誤りがあることを示す評価結果の場合に、前記技術者によって作成された当該誤りを修正するための情報が含まれる、
妥当性確認システム。 a feature calculation unit that calculates features of a cut set output from the probabilistic risk assessment model;
a hierarchical clustering unit that performs hierarchical clustering on the cut set based on the feature amount;
an extraction unit that extracts one or more of the cut sets included in each first class generated by the hierarchical clustering;
a modification reception unit that receives modification information of the probabilistic risk assessment model when the validity evaluation result for the extracted cut set is not valid;
has
The feature calculation unit calculates, for one cut set, the number of occurrences of a word that appears in text data indicating basic events constituting the cut set, and the number of occurrences of the word in the other cut set. Calculate the numerical value of the tendency as the feature amount,
The validity evaluation result includes an evaluation result by an engineer as to whether there are any errors in the basic events included in the cut set, and whether there are no errors in the combination conditions of the basic events,
The correction information for the probabilistic risk assessment model includes information for correcting the error created by the engineer when the validity evaluation result indicates that there is an error. Become,
Validation system.
前記抽出部が抽出しなかった前記カットセットについて、前記範囲に基づいて妥当性を判定する判定部と、
前記判定部によって、妥当ではないと判定された前記カットセットについて、さらに前記重心からの距離に基づく選別を行う選別部と、
をさらに有し、
前記修正受付部は、選別された前記カットセットについての妥当性の評価結果が妥当ではない場合、前記確率論的リスク評価モデルの修正情報を受け付ける、
請求項9に記載の妥当性確認システム。 One or more second classes are generated by non-hierarchical clustering based on the feature amount of the cut set for which the evaluation result is valid, and the center of gravity of the second class and the cut set are determined to be valid. a non-hierarchical clustering unit that calculates a range that can be considered;
a determination unit that determines the validity of the cut set not extracted by the extraction unit based on the range;
a sorting unit that further sorts the cut set determined to be invalid by the determining unit based on the distance from the center of gravity;
It further has
The modification receiving unit receives modification information of the probabilistic risk assessment model if the validity evaluation result for the selected cut set is not valid.
Validation system according to claim 9.
確率論的リスク評価モデルから出力されるカットセットの特徴量を演算するステップと、
前記カットセットについて、前記特徴量に基づく階層的クラスタリングを実行するステップと、
前記階層的クラスタリングによって生成された各々の第1クラスに含まれる前記カットセットの中から1つまたは複数を抽出するステップと、
抽出された前記カットセットについての妥当性の評価結果を取得するステップと、
前記評価結果が妥当ではない場合、前記確率論的リスク評価モデルの修正情報を受け付けるステップと、
を実行させるプログラムであって、
前記演算するステップでは、1つの前記カットセットについて、当該カットセットを構成する基事象を示すテキストデータに出現する単語の当該カットセットにおける出現回数と他の前記カットセットにも前記単語が出現するかどうかの傾向とを数値化した値を前記特徴量として算出し、
前記妥当性の評価結果は、前記カットセットに含まれる基事象に誤りがないか、前記基事象の組合せ条件に誤りがないかどうか、についての技術者による評価結果を含み、
前記確率論的リスク評価モデルの修正情報には、前記妥当性の評価結果が、誤りがあることを示す評価結果の場合に、前記技術者によって作成された当該誤りを修正するための情報が含まれる、
プログラム。 to the computer,
a step of calculating features of a cut set output from the probabilistic risk assessment model;
performing hierarchical clustering on the cut set based on the feature amount;
extracting one or more of the cut sets included in each first class generated by the hierarchical clustering;
obtaining a validity evaluation result for the extracted cut set;
If the evaluation result is not valid, receiving correction information for the probabilistic risk evaluation model;
A program that executes
In the step of calculating, for one of the cut sets, the number of occurrences of a word that appears in the text data indicating the base event constituting the cut set, and whether the word also appears in the other cut sets. Calculate a numerical value of the tendency as the feature amount,
The validity evaluation result includes an evaluation result by an engineer as to whether there are any errors in the basic events included in the cut set, and whether there are no errors in the combination conditions of the basic events,
The correction information for the probabilistic risk assessment model includes information for correcting the error created by the engineer when the validity evaluation result indicates that there is an error. Become,
program.
前記抽出するステップで、抽出しなかった前記カットセットについて、前記範囲に基づいて妥当性を判定するステップと、
前記判定するステップにて、妥当ではないと判定された前記カットセットについて、さらに前記重心からの距離に基づく選別を行うステップと、
選別された前記カットセットについての妥当性の評価結果が妥当ではない場合、前記確率論的リスク評価モデルの修正情報を受け付けるステップと、
をさらに実行させる請求項11に記載のプログラム。 One or more second classes are generated by non-hierarchical clustering based on the feature amount of the cut set for which the evaluation result is valid, and the center of gravity of each second class and the cut set are determined to be valid. a step of calculating a range that can be considered to exist;
determining the validity of the cut set that was not extracted in the extracting step based on the range;
further sorting the cut set determined to be invalid in the determining step based on the distance from the center of gravity;
If the validity evaluation result for the selected cut set is not valid, receiving correction information for the probabilistic risk assessment model;
The program according to claim 11, further causing the program to execute.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020058259A JP7411473B2 (en) | 2020-03-27 | 2020-03-27 | Validation method, validation system and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020058259A JP7411473B2 (en) | 2020-03-27 | 2020-03-27 | Validation method, validation system and program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021157597A JP2021157597A (en) | 2021-10-07 |
JP7411473B2 true JP7411473B2 (en) | 2024-01-11 |
Family
ID=77918499
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020058259A Active JP7411473B2 (en) | 2020-03-27 | 2020-03-27 | Validation method, validation system and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7411473B2 (en) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7542500B2 (en) | 2021-09-09 | 2024-08-30 | 三菱重工業株式会社 | Validation method, validation system, and program |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20080010230A1 (en) | 2006-07-06 | 2008-01-10 | Smith Curtis L | Hybrid assessment tool, and systems and methods of quantifying risk |
JP2010089760A (en) | 2008-10-10 | 2010-04-22 | Honda Motor Co Ltd | Creation of reference value for troubleshooting of vehicle |
JP2012008744A (en) | 2010-06-23 | 2012-01-12 | Inst Nuclear Energy Research Rocaec | Risk quantitative assessment method by computer supported top logic for nuclear power plant |
JP2012252519A (en) | 2011-06-02 | 2012-12-20 | Nippon Telegr & Teleph Corp <Ntt> | Classification system and classification method |
JP2014059597A (en) | 2012-09-14 | 2014-04-03 | Mitsubishi Chemicals Corp | Drawing program, drawing method and drawing device |
US20150067400A1 (en) | 2013-09-03 | 2015-03-05 | International Business Machines Corporation | Generating a fault tree |
JP2019197329A (en) | 2018-05-08 | 2019-11-14 | トヨタ自動車株式会社 | Information processing device |
-
2020
- 2020-03-27 JP JP2020058259A patent/JP7411473B2/en active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20080010230A1 (en) | 2006-07-06 | 2008-01-10 | Smith Curtis L | Hybrid assessment tool, and systems and methods of quantifying risk |
JP2010089760A (en) | 2008-10-10 | 2010-04-22 | Honda Motor Co Ltd | Creation of reference value for troubleshooting of vehicle |
JP2012008744A (en) | 2010-06-23 | 2012-01-12 | Inst Nuclear Energy Research Rocaec | Risk quantitative assessment method by computer supported top logic for nuclear power plant |
JP2012252519A (en) | 2011-06-02 | 2012-12-20 | Nippon Telegr & Teleph Corp <Ntt> | Classification system and classification method |
JP2014059597A (en) | 2012-09-14 | 2014-04-03 | Mitsubishi Chemicals Corp | Drawing program, drawing method and drawing device |
US20150067400A1 (en) | 2013-09-03 | 2015-03-05 | International Business Machines Corporation | Generating a fault tree |
JP2015049775A (en) | 2013-09-03 | 2015-03-16 | インターナショナル・ビジネス・マシーンズ・コーポレーションInternational Business Machines Corporation | Apparatus and method for generating fault tree |
JP2019197329A (en) | 2018-05-08 | 2019-11-14 | トヨタ自動車株式会社 | Information processing device |
Also Published As
Publication number | Publication date |
---|---|
JP2021157597A (en) | 2021-10-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7090936B2 (en) | ESG-based corporate evaluation execution device and its operation method | |
AU2018202527B2 (en) | Identification and management system for log entries | |
CN110928764B (en) | Automated evaluation method for crowdsourcing test report of mobile application and computer storage medium | |
US9021304B2 (en) | Fault analysis rule extraction device, fault analysis rule extraction method and storage medium | |
US20240185130A1 (en) | Normalizing text attributes for machine learning models | |
US7606784B2 (en) | Uncertainty management in a decision-making system | |
CN108427720A (en) | System log sorting technique | |
WO2019223104A1 (en) | Method and apparatus for determining event influencing factors, terminal device, and readable storage medium | |
US10877989B2 (en) | Data conversion system and method of converting data | |
CN115577701A (en) | Risk behavior identification method, device, equipment and medium for big data security | |
JP7411473B2 (en) | Validation method, validation system and program | |
JP7413225B2 (en) | Validation method, validation system and program | |
US11048730B2 (en) | Data clustering apparatus and method based on range query using CF tree | |
CN112632000A (en) | Log file clustering method and device, electronic equipment and readable storage medium | |
JP4479745B2 (en) | Document similarity correction method, program, and computer | |
CN111488903A (en) | Decision tree feature selection method based on feature weight | |
JP7542500B2 (en) | Validation method, validation system, and program | |
CN112733966A (en) | Cluster acquisition and identification method, system and storage medium | |
CN111737469A (en) | Data mining method and device, terminal equipment and readable storage medium | |
CN117194275B (en) | Automatic software automatic test plan generation method and system based on intelligent algorithm | |
CN113535444B (en) | Abnormal motion detection method, device, computing equipment and computer storage medium | |
US20170161321A1 (en) | Method for searching for reliable, significant & relevant patterns | |
CN108154179B (en) | Data error detection method and system | |
CN115269839A (en) | Text supervision and inspection method and device based on clustering and computer equipment | |
Müller et al. | Local analysis of SNP data |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20221111 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230929 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20231010 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231116 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20231205 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20231225 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7411473 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |