JP7277661B1 - 生成システム、及び生成プログラム - Google Patents
生成システム、及び生成プログラム Download PDFInfo
- Publication number
- JP7277661B1 JP7277661B1 JP2022181503A JP2022181503A JP7277661B1 JP 7277661 B1 JP7277661 B1 JP 7277661B1 JP 2022181503 A JP2022181503 A JP 2022181503A JP 2022181503 A JP2022181503 A JP 2022181503A JP 7277661 B1 JP7277661 B1 JP 7277661B1
- Authority
- JP
- Japan
- Prior art keywords
- detection
- information
- transaction
- rules
- rule
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 claims abstract description 384
- 238000000034 method Methods 0.000 claims description 160
- 238000012545 processing Methods 0.000 claims description 145
- 230000008569 process Effects 0.000 claims description 133
- 230000010365 information processing Effects 0.000 abstract description 11
- 238000004364 calculation method Methods 0.000 description 36
- 238000010586 diagram Methods 0.000 description 33
- 230000014509 gene expression Effects 0.000 description 26
- 230000008859 change Effects 0.000 description 19
- 238000004891 communication Methods 0.000 description 11
- 230000000694 effects Effects 0.000 description 7
- 230000006870 function Effects 0.000 description 5
- 230000007423 decrease Effects 0.000 description 4
- 238000011156 evaluation Methods 0.000 description 4
- 230000002068 genetic effect Effects 0.000 description 4
- 230000015654 memory Effects 0.000 description 4
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 239000000126 substance Substances 0.000 description 3
- 230000002776 aggregation Effects 0.000 description 2
- 238000004220 aggregation Methods 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 230000002238 attenuated effect Effects 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 238000013016 damping Methods 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000005315 distribution function Methods 0.000 description 1
- 230000035772 mutation Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
Images
Landscapes
- Financial Or Insurance-Related Operations Such As Payment And Settlement (AREA)
Abstract
Description
また、例えば、類似度に基づくグループを考慮して第2検出ルール群を生成することができるので、一例としては、相互に類似して偏った第1検出ルールのみから第2検出ルール群が生成されることを防止することができ、あらゆるタイプの不正取引を検出可能な適切な第2検出ルール群を生成することが可能となる。
まず、基本的概念について説明する。本発明に係る生成システムは、金融取引において不正取引を検出するための検出ルールに関する処理を行うシステムであり、具体的には、第1検出ルール群情報に基づいて、第2検出ルール群情報を生成するシステムである。
まず、本実施の形態に係る情報システムについて説明する。図1は、本発明の実施の形態に係る情報処理システムのブロック図である。
図1の取引端末装置1は、金融機関側の装置(コンピュータを含む)であり、例えば、金融取引を行うためのコンピュータであり、一例としては、不図示のコンビニエンスストア等又は他の設置場所に設置されているATM、又は取引者が用いる端末(パーソナルコンピュータ、タブレット端末、又はスマートフォン等)との間で通信可能となっており金融取引に関する情報処理を行う装置である。
図1の管理端末装置2は、金融取引を管理する装置(例えば、記録部及び制御部を有するコンピュータを含む装置)であり、例えば、取引端末装置1によって処理された金融取引を管理する装置であり、一例としては、当該金融取引における不正取引の検出等を行う装置である。つまり、例えば、管理端末装置2は、不正取引を検出するための「金融不正取引検出システム」に対応するものと解釈してもよい。
サーバ装置3は、例えば、通信部31、記録部32、及び制御部33を備える。
図1の通信部31は、外部装置(例えば、管理端末装置2又は不図示の他の装置)との間で通信するための通信手段である。この通信部31の具体的な種類や構成は任意であるが、例えば、公知の通信回路等を用いて構成することができる。
図1の記録部32は、サーバ装置3の動作に必要なプログラム及び各種のデータを記録する記録手段(格納手段)であり、例えば、外部記録装置としてのハードディスク又はフラッシュメモリ(図示省略)を用いて構成されている(他の装置の記録部も同様とする)。ただし、ハードディスク又はフラッシュメモリに代えてあるいはハードディスク又はフラッシュメモリと共に、磁気ディスクの如き磁気的記録媒体、又はDVDやブルーレイディスクの如き光学的記録媒体を含む、その他の任意の記録媒体を用いることができる(他の装置の記録部も同様とする)。
図1のルール特定情報DB321は、ルール特定情報を格納するルール特定情報格納手段である。「ルール特定情報」は、不正取引を検出するためのルールである検出ルールを特定する情報である。図2は、ルール特定情報を例示した図である。なお、図2においては、説明の便宜上、一部の情報の図示を省略し、「…」と図示している(他の図も同様)。「ルール特定情報」は、例えば、図2に示す各項目の情報が相互に関連付けられている。
図1の第1取引情報DB322は、第1取引情報を格納する第1取引情報格納手段である。「第1取引情報」とは、複数の検出ルールを評価するための取引関連情報であって、例えば、過去に行われた金融取引を示す情報である。図3は、第1取引情報を例示した図である。「第1取引情報」は、例えば、図3に示す各項目の情報が相互に関連付けられている。
図1の第2取引情報DB323は、第2取引情報を格納する第2取引情報格納手段である。「第2取引情報」とは、検出ルール群を評価するための取引関連情報であって、例えば、過去に行われた金融取引を示す情報である。図4は、第2取引情報を例示した図である。「第2取引情報」は、例えば、図4に示す各項目の情報が相互に関連付けられている。
図1の不正関連情報DB324は、不正関連情報を格納する不正関連情報格納手段である。「不正関連情報」とは、不正取引に関連する情報であり、具体的には、不正取引を特定するための情報である。図5は、不正関連情報を例示した図である。「不正関連情報」は、例えば、図5に示す各項目の情報が相互に関連付けられている。
図1の制御部33は、サーバ装置3を制御する制御手段であり、具体的には、CPU、当該CPU上で解釈実行される各種のプログラム(OSなどの基本制御プログラムや、OS上で起動され特定機能を実現するアプリケーションプログラムを含む)、及びプログラムや各種のデータを格納するためのRAMの如き内部メモリを備えて構成されるコンピュータである(他の装置の制御部も同様とする)。特に、実施の形態に係るプログラムは、任意の記録媒体又はネットワークを介してサーバ装置3にインストールされることで、制御部33の各部を実質的に構成する。
取得部331は、例えば、複数の第1検出ルールを評価するための取引関連情報(本実施の形態では、例えば、図3の第1取引情報)であって、金融取引を示す取引関連情報を取得する取得手段である。また、取得部331は、例えば、検出ルール群を評価するための取引関連情報(本実施の形態では、例えば、図4の第2取引情報)であって、金融取引を示す取引関連情報を取得する手段である。
生成部332は、例えば、取得手段が取得した取引関連情報(本実施の形態では、例えば、図3の第1取引情報)と、第1検出ルール群情報とに基づいて、第2検出ルール群情報を生成する生成手段である。生成部332は、例えば、取得手段が取得した取引関連情報(本実施の形態では、例えば、図3の第1取引情報)が示す金融取引において、第1検出ルール群情報が示す第1検出ルール群に含まれる複数の第1検出ルールを用いて不正取引を検出する不正検出処理を行い、不正検出処理の処理結果に基づいて、複数の第1検出ルール各々についての適合率関連情報を特定し、特定した適合率関連情報に基づいて、第2検出ルール群情報を生成する。なお、「適合率関連情報」については後述する。
特定部333は、例えば、取得手段が取得した取引関連情報(本実施の形態では、例えば、図4の第2取引情報)と、検出ルール群とに基づいて、検出ルール群についての再現率関連情報を特定する特定手段である。特定部333は、例えば、取得手段が取得した取引関連情報(本実施の形態では、例えば、図4の第2取引情報)が示す金融取引において、検出ルール群を用いて不正取引を検出する不正検出処理を行い、不正検出処理の処理結果に基づいて、再現率関連情報を特定する。なお、「再現率関連情報」については後述する。
判定部334は、例えば、特定手段が特定した再現率関連情報に基づいて、不正取引を検出するための金融不正取引検出システムにおいて検出ルール群を用いるか否かを判定する判定手段である。なお、このような制御部33の各部によって行われる処理については、後述する。
次に、このように構成される情報処理システム100によって行われる処理として、例えば、金融機関側不正検出処理、及びルール適用処理について説明する。
まず、金融機関側不正検出処理について説明する。金融機関側不正検出処理は、不正取引を検出する処理であり、例えば、図1の管理端末装置2によって繰り返し実行される処理である。なお、この金融機関側不正検出処理は公知の処理と同様な処理を適用することができるので、概要のみ説明する。
次に、ルール適用処理について説明する。図6は、ルール適用処理のフローチャートである(以下では、各ステップを「S」と称する)。ルール適用処理は、複数の検出ルールを生成して、生成した複数の検出ルールを管理端末装置2に適用する処理であり、例えば、サーバ装置3によって実行される処理である。
図6のSA1において制御部33は、ルール生成処理を行う。図7は、ルール生成処理のフローチャートであり、図8及び図9は、処理の説明図である。ルール生成処理とは、複数の検出ルールを生成する処理であり、例えば、いわゆる遺伝的アルゴリズムに対応する処理を含む処理である。ここでは、以下で用いられる用語である「現世代」、「次世代」、及び「世代交代」について説明した後に、処理内容について説明する。
図7のSB1において制御部33は、現世代に属するルール毎に信頼度込み適合率を特定する。ここでは、信頼度込み適合率について説明した後に、処理内容について説明する。
図10は、信頼度込み適合率の説明図である。「信頼度込み適合率」とは、ルールを評価する指標となる適合率関連情報であり、例えば、ルールにおける不正取引の検出についての適合率と、当該適合率の信頼度とに基づく情報である。信頼度込み適合率とは、例えば、指標としての信頼性の度合いである信頼度を反映した適合率を示す概念であるものと解釈することもできる。
「適合率」とは、精度を評価する公知の指標であり、本実施の形態では例えば、図10の(a)に示す演算式の演算結果に対応する指標である。
これに対して、本実施の形態で用いる信頼度込み適合率については、信頼度にも基づいているために、適合率の課題を解決可能な指標となっている。信頼度込み適合率は、適合率と信頼度とに基づく限りにおいて任意であるが、例えば、図10の(b)の演算式の演算結果に対応する数値を信頼度込み適合率として用いる場合について説明する。
「適合率の95%信頼区間」とは、統計学上の概念であり、例えば、ルールの本当の適合率が含まれることがかなり確信できる数値範囲を示す概念である。そして、本実施の形態では、「適合率の95%信頼区間」とは、例えば、100個のルールの内の95個のルールの本当の適合率が属する数値範囲を示すものと解釈することができる。
なお、ここで示した図10の(c)の演算式は例示であり、バリエーションとしては、他の公知の演算式を用いて上限値及び下限値を用いてもよい。また、ここでは、図10の(b)の演算式の「lower」及び「upper」として、適合率の95%信頼区間の下限値及び上限値を用いるものと説明したが、バリエーションとしては、他の信頼区間の下限値及び上限値を用いてもよく、例えば、90%信頼区間又は98%信頼区間の下限値及び上限値等を用いるように変更してもよい。
図11は、処理の説明図である。図7のSB1の処理は任意であるが、例えば、図7のルール生成処理の開始直後(つまり、初回実行時)のSB1では、図2のルール特定情報が示すルールを現世代として、また、SB5の世代交代後(つまり、繰り返し実行時)のSB1では、世代交代されたルールを現世代として、以下の第1ステップ~第5ステップの処理を行う。なお、以下の第1ステップ~第5ステップについては、図8の(a)に示すように、現世代の全てのルール各々に対して行う。
第1ステップにおいて、取得部331は、図3の第1取引情報(取引関連情報)を取得する。ここでは、例えば、図3の「IDd0001」に関連付けられた情報を含む各金融取引を示す情報を取得する。
第2ステップにおいて、生成部332は、第1ステップで取得部331が取得した第1取引情報が示す金融取引において、現世代のルールの内の1個の処理対象になっているルールを用いて不正取引を検出する処理(不正検出処理)を行う。具体的には、第1取引情報が示す金融取引が、処理対象のルールに定められている条件(図2の条件情報が示す条件)全てに該当する場合に、当該金融取引を不正取引と判定して不正取引として検出し、一方、第1取引情報が示す金融取引が、処理対象のルールに定められている条件全てに該当するわけではない場合(つまり、何れかの条件に非該当の場合)に、当該金融取引を不正取引ではないものと判定して不正取引としての検出は行わない。
第3ステップにおいて、生成部332は、第2ステップで検出した金融取引の総数(つまり、処理対象のルールを用いて不正取引として検出した金融取引の総数)を特定する。ここでは、例えば、第2ステップで「IDr803」のルールを用いて100個の金融取引を不正取引として検出した場合、「100」を特定する。
第4ステップにおいて、生成部332は、第2ステップで処理対象のルールにて検出された金融取引の内の、不正取引の検出数を特定する。
第5ステップでは、生成部332は、第3ステップ及び第4ステップの処理結果に基づいて、図10の(b)及び(c)の演算式を利用して、処理対象のルールに関する信頼度込み適合率を特定する。
図7のSB2において制御部33は、現世代のルールを、SB1で特定した信頼度込み適合率及び類似度(ルール類似度)に基づいてグループ化する。ここでは、ルール類似度について説明した後に、処理内容について説明する。
図12は、類似度の説明図である。なお、図12における「ルールA」及び「ルールB」は、相互間の類似度が求められる対象となる2個のルールを示している。「ルール類似度」とは、類似度情報であり、具体的には、2個のルールが相互に類似している度合いである類似度を示す概念である。ルール類似度の具体的な内容は任意であるが、例えば、図12の(a)の演算式の演算結果に対応する数値をルール類似度として用いる場合について説明する。
SB2では、以下の第1ステップ~第4ステップの処理を行う。例えば、SB1で特定した信頼度込み適合率の数値が大きい程精度が高いルールであるものとして、当該信頼度込み適合率に着目しつつ類似度が高いルール同士がグループ化されるように以下の処理を行う。
第1ステップにおいて、生成部332は、SB1で特定した信頼度込み適合率に着目して、現世代のルールの中で、当該信頼度込み適合率の数値が最も大きなルールをトップルールとして特定する。なお、数値が最も大きなルールが複数存在する場合、所定の手法(例えば、ランダムに1個を選択する手法、あるいは、条件の項目数がより多い1個を選択する手法等)で1個のルールを選択して特定することとする。
第2ステップにおいて、生成部332は、第1ステップで特定したルール類似度がグループ化用閾値以上となる他のルールを特定し、特定した他のルールとトップルールとを含むグループを生成することにより、当該他のルールとトップグループとを相互に同一のグループにグループ化する。
第3ステップにおいて、生成部332は、第2ステップしてグループ化したルールを、既にグループ化されているので、グループ化の処理の対象から外して、グループ化の処理の対象のルールが無くなるまで(つまり、全てのルールがグループ化されるまで)、第1ステップ及び第2ステップの処理を繰り返し行った上で、第4ステップに移行する。
第4ステップにおいて、第1ステップ~第3ステップの処理によりグループ化された各グループに関して、属するルールが1個のみのグループを特定し、特定したグループを1個のグループ(特定したグループに属する各ルールを含む1個のグループ)として統合する。
図7のSB3において生成部332は、現世代のルールを、次世代にコピーする(複製する)。具体的には任意であるが、例えば、図8の(b)に示すようにSB2においてルールがグループ化されており、この各グループについては、相互間のルール類似度がグループ化用閾値以上となっており比較的類似性の度合いが高いルールが同一グループ内に含まれている点に着目して以下の処理を行う。
図7のSB4において生成部332は、現世代のルール及び遺伝的アルゴリズムの概念に基づいて、適宜新たなルールを生成等した上で、次世代にコピーする。具体的には、所定の確率で以下の第1処理~第3処理の何れかを行う。なお、ここでの処理は、公知の処理を適用できるので、概要のみ説明する。
第1処理は、遺伝的アルゴリズムの一点交叉に対応する処理である。第1処理に関して生成部332は、前述のグループに関わらず、現世代からランダムに2個のルールを選択し、選択した2個のルール各々に定められている条件に関して、交叉位置をランダムに選択し、選択した交叉位置に対応する条件を2個のルール相互間で交換することにより、新たな2個のルールを生成して、生成した2個のルールを次世代にコピーする。
第2処理は、遺伝的アルゴリズムの突然変異に対応する処理である。第2処理に関して生成部332は、前述のグループに関わらず、現世代からランダムに1個のルールを選択し、選択した1個のルールに関して、所定の確率で条件削除、条件追加、又は条件変更の何れかの処理を行うことにより、新たな1個のルールを生成して、生成した1個のルールを次世代にコピーする。
第3処理は、そのままコピーする処理である。第3処理に関して生成部332は、前述のグループに関わらず、現世代からランダムに1個のルールを選択し、選択した1個のルールをそのまま次世代にコピーする。
図7のSB5において生成部332は、世代交代を行う。具体的には任意であるが、例えば、現世代のルールを消去した上で、次世代のルールを現世代にコピーし、この後、次世代のルールを消去する。このように処理することにより、例えば、図8の(f)に示す次世代のルールが、図8の(d)に示す現世代にコピーされることにより、現世代のルールは次世代のルールによって置き換えられて、世代交代が行われることになる。
図7のSB6において生成部332は、世代交代が所定回数行われた後の現世代(つまり、最新の世代)のルールに基づいて、新たなルールを生成する。
図6のSA2において制御部33は、SA1で生成した複数のルール(つまり、ルール群)に関する不正確率込み再現率を特定する。ここでは、不正確率込み再現率について説明した後に、処理内容について説明する。
図13は、不正確率込み再現率の説明図である。「不正確率込み再現率」とは、ルールを評価する指標となる再現率関連情報であり、例えば、ルールにおける不正取引の検出についての再現率と、ルールを評価するために用いられる第2取引情報が示す金融取引が不正取引である可能性(不正取引である確率)とに基づく情報である。不正確率込み再現率とは、例えば、ルールを評価するために用いられる第2取引情報が示す金融取引が不正取引である可能性(不正取引である確率)を反映した再現率を示す概念であるものと解釈することもできる。
「再現率」とは、網羅性を評価する公知の指標であり、本実施の形態では例えば、図13の(a)に示す演算式の演算結果に対応する指標である。
これに対して、本実施の形態で用いる不正確率込み再現率については、第2取引情報が示す金融取引が不正取引である可能性(不正取引である確率)を反映しているために、再現率の課題を解決可能な指標となっている。不正確率込み再現率は、再現率の概念に不正取引である確率の概念を付加する限りにおいて任意であるが、例えば、図13の(b)の演算式の演算結果に対応する数値を不正確率込み再現率として用いる場合について説明する。
なお、ここで示した図13の(b)の演算式は例示であり、バリエーションとしては、例えば、任意の係数を分母又は分子に掛け合わせてもよい。また、「基準日」については、バリエーションとしては、例えば、金融機関側で不正取引を任意の手法で常時監視し、不正取引を当日中に判断できる場合において、不正取引があった日より後の日に当該不正取引が行われた口座での取引が停止される運用となっている場合、不正取引があった口座の最終取引日を「基準日」としてもよい。
図6のSA2の処理は任意であるが、例えば、以下の第1ステップ~第5ステップの処理を行う。
第1ステップにおいて、取得部331は、図4の第2取引情報(取引関連情報)を取得する。ここでは、例えば、図4の「IDd9001」に関連付けられた情報を含む各金融取引を示す情報を取得する。
第2ステップにおいて、特定部333は、第1ステップで取得部331が取得した第2取引情報が示す金融取引において、不正取引であるものとみなす金融取引を選択する。
第3ステップにおいて、特定部333は、第2ステップで選択した金融取引各々について、図13の(b)の演算式の「day(i)」に対応する日数(以下、「遡る日数」とも称する)を特定する。
第4ステップにおいて、特定部333は、第2ステップで選択した金融取引(つまり、図4の第2取引情報が示す金融取引の内の不正取引とみなす金融取引)において、図6のSA1で生成した複数のルールを含むルール群(例えば、図9の「最終結果」の欄に示されるルールを含むルール群)を用いて不正取引を検出する処理(不正検出処理)を行う。概略的には、前述の「金融機関側不正検出処理」と同様な処理を行う。
第5ステップにおいて、特定部333は、第3ステップ及び第4ステップの処理結果に基づいて、図13の(b)の演算式を利用して、SA1で生成した複数のルールを含むルール群に関する不正確率込み再現率を特定する。ここでは、例えば、図13の(b)の演算式の「P」として、例えば、「0.9」が定められている場合について説明する。
図6のSA3において判定部334は、図1の管理端末装置2において、SA1で生成した複数のルールを含むルール群を用いるか否かを判定する。つまり、SA1で生成した複数のルールを含むルール群を適用するか否かを判定する。なお、ここでの判定基準は任意であり、例えば、SA2で特定した不正確率込み再現率を用いて判定する基準を用いてもよいし、あるいは、他の情報を用いて判定する基準を用いてもよいが、ここでは、例えば、不正確率込み再現率を用いる場合について説明し、後述する変形例において、他の情報も用いる場合について説明する。
図6のSA4において制御部33は、SA1で生成した複数のルールを含むルール群が図1の管理端末装置2で用いられるように、SA1で生成した複数のルールを含むルール群を示す情報を、図1の管理端末装置2に送信することにより、図1の管理端末装置2の記録部に記録する。この後、管理端末装置2は、当該記録部に新たに記録された情報が示すルール群を用いて、金融機関側不正検出処理を実行する。なお、ここでは、例えば、金融機関側の担当者が、管理端末装置2に記録された情報が示すルール群について確認した上で適用するための操作を行った後に、管理端末装置2が当該ルール群を用いて金融機関側不正検出処理を行うこととしてもよいし、あるいは、自動的に適用されるように構成してもよい。このようにして、新たにSA1で生成されたルール群が、管理端末装置2に適用されることになる。これにて、ルール適用処理の説明を終了する。
このように本実施の形態によれば、取引関連情報と、第1検出ルール群情報とに基づいて、第2検出ルール群情報を生成することにより、例えば、金融取引を考慮して第2検出ルール群を生成することができるので、適切な検出ルールを効率的に生成することが可能となる。また、適合率関連情報に基づいて第2検出ルール群を生成することができるので、適切な検出ルールを生成することが可能となる。
以上、本発明に係る実施の形態について説明したが、本発明の具体的な構成及び手段は、特許請求の範囲に記載した本発明の技術的思想の範囲内において、任意に改変及び改良することができる。以下、このような変形例について説明する。
まず、発明が解決しようとする課題や発明の効果は、上述の内容に限定されるものではなく、発明の実施環境や構成の細部に応じて異なる可能性があり、上述した課題の一部のみを解決したり、上述した効果の一部のみを奏したりすることがある。
また、上述した各電気的構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各部の分散や統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散又は統合して構成できる。また、本出願における「装置」とは、単一の装置によって構成されたものに限定されず、複数の装置によって構成されたものを含む。
実施の形態や図面において例示した構成要素に関して、形状、数値、又は複数の構成要素の構造若しくは時系列の相互関係については、本発明の技術的思想の範囲内において、任意に改変及び改良することができる。
また、上記実施の形態で説明したグループ化用閾値を、サーバ装置3側で決定するように構成してもよい。具体的な実装手法は任意であるが、例えば、図1の記録部32にグループ情報が格納されており、また、制御部33に閾値決定部が設けられていることとする。
図1の制御部33に機能概念的に含まれる閾値決定部(不図示)は、複数の検出ルールを複数のグループにグループ化するためのグループ化基準情報に基づいて、複数の検出ルールを複数のグループにグループ化するためのグループ化用閾値(閾値)であって、類似度情報が示す類似度と比較される閾値を決定する閾値決定手段である。
図18は、閾値決定処理のフローチャートであり、図19及び図20は、処理の説明図である。閾値決定処理は、グループ化用閾値を決定するための処理であり、例えば、制御部33の閾値決定部によって実行される処理である。
図18のSC1において閾値決定部は、複数の候補閾値を特定する。「候補閾値」とは、グループ化用閾値の候補となる情報(数値)である。ここは、例えば、管理者等によって設定された刻み幅である「0.1」刻みで「0」より大きく且つ「1」よりも小さい数値を特定することとし、「0.1」、「0.2」、「0.3」等を特定する。
図18のSC2において閾値決定部は、SC1で特定した候補閾値の内の、未だ選択されていない候補閾値を1個選択する。ここでは、例えば、「0.1」を選択する。
図18のSC3において閾値決定部は、SC2で選択した候補閾値に基づいて、図16のグループ情報のルールIDが示すルールをグループ化する。具体的には、SC2で選択した候補閾値を、グループ化用閾値とみなして、図7のSB1及びSB2の処理と同様な処理を行うことにより、図7のルール生成処理でのグループ化と同様な手法で、図16のルールIDが示すルールをグループ化する。
図18のSC4において閾値決定部は、ユーザグループ群と算出グループ群との相互間の相違度(相違している度合いであり、数値が大きい程相違している度合いが大きいことを示す数値情報)を特定する。具体的には、以下の第1ステップ~第3ステップの処理を行う。
第1ステップにおいて、各グループ群に属するグループ間の相違度を特定する。図21は、グループ間の相違度を示す演算式を例示した図である。具体的には、図21のx+y-2×zの演算式による演算を行うことにより、各グループ群各々に属するグループ相互間の相違度を特定する。なお、演算式の変数である「x」、「y」、「z」の意味は、図示の通りである。
第2ステップにおいて、第1ステップの処理結果に基づいて、各グループの他のグループ群に対する変化度(他のグループ群のグループとの相違度の内の最小値)を特定する。
第3ステップにおいて、第2ステップの処理結果に基づいて、ユーザグループ群と算出グループ群との相互間の相違度を特定する。具体的には、第2ステップで特定した変化度の総和(合計)を各グループ群内で求め、「(ユーザグループ群の変化度の合計値+算出グループ群の変化度の合計値)÷2」の演算を行い、演算結果を、各グループ群の相互間の相違度として特定する。
図18のSC5において閾値決定部は、繰り返し行われるSC4で特定された、各候補閾値に関する各グループ群の相互間の相違度に基づいて、グループ化用閾値を決定する。具体的には、特定された各グループ群の相互間の相違度の内の、最小値となる当該相違度を特定した際に選択されていた候補閾値を、グループ化用閾値として決定する。
また、上記実施の形態で説明した減衰率(図13の(b)の「P」)を、サーバ装置3側で決定するように構成してもよい。具体的な実装手法は任意であるが、例えば、図1の記録部32に回数情報が格納されており、また、制御部33に減衰率決定部が設けられていることとする。
図22は、回数情報を例示した図である。図1の記録部に格納されている「回数情報」(不図示)とは、不正取引が行われた口座(金融口座)における不正取引が行われた取引日以前の連続する複数の日各々に行われた金融取引における不正取引の回数と真正取引の回数を示す情報であり、例えば、図22に示す各項目の情報が相互に関連付けられている。
図1の制御部33に機能概念的に設けられる減衰率決定部は、減衰率の候補となる複数の候補数値であって、0よりも大きく1よりも小さい複数の候補数値と、不正取引が行われた金融口座における不正取引が行われた取引日以前の連続する複数の日各々に行われた金融取引における不正取引の回数と真正取引の回数を示す回数情報とに基づいて、減衰率を決定する減衰率決定手段である。減衰率決定部は、例えば、第1処理、第2処理、及び第3処理を行う。
図23は、減衰率決定処理のフローチャートであり、図24及び図25は、処理の説明図である。減衰率決定処理は、減衰率を決定するための処理であり、例えば、制御部33の減衰率決定部によって実行される処理である。
図23のSD1において減衰率決定部は、複数の候補数値を特定する。「候補数値」とは、減衰率の候補となる情報であり、0よりも大きく且つ1よりも小さい数値である。ここは、例えば、管理者等によって設定された刻み幅である「0.02」刻みでユーザによって設定された範囲である「0.7」から「0.98」までの数値を特定する。
図23のSD2において減衰率決定部は、図22の各回数情報の項目「日数」の情報が示す各日各々に関して、不正割合を特定する。「不正割合」とは、回数情報に基づいて定まる情報であって、後述する不正推定確率と比較される情報であり、例えば、各日における金融取引の回数における、不正取引が行われた回数の割合を示す概念である。なお、この不正割合が「基準不正推定確率」に対応するものと解釈してもよい。
図23のSD3において減衰率決定部は、図22の回数情報の項目「日数」の情報が示す各日各々に関して、不正推定確率を特定する。「不正推定確率」とは、複数の候補数値各々に基づいて定まる情報であって、金融取引が不正取引であることを示す確率と推定される確率を示す情報である。
図23のSD4において減衰率決定部は、減衰率を決定する。具体的には、SD2で特定した各日の不正割合を基準にして、SD3で特定した各日の不正推定確率に基づいて決定する。詳細には、SD2で特定した各日の不正割合と、SD3で特定した各日の不正推定確率とをSD1で特定した候補数値毎に比較し、比較結果に基づいて決定する。例えば、SD2で特定した各日の不正割合に対して、誤差が最も小さくなる各日の不正推定確率を特定するために用いられた候補数値を特定し、特定した候補数値を、減衰率として決定する。
また、上記実施の形態では、図6のSA3において、不正確率込み再現率のみを用いて判定する場合について説明したが、これに限らない。
また、図1に図示されている金融機関については、複数の金融機関の総称を示しているものと解釈してもよいし、あるいは、特定の1個の金融機関を示すものと解釈してもよい。
また、図4の第2取引情報としては、例えば、図14のフラグ情報が「1」となる情報(つまり、不正取引とみなされる金融取引を示す情報)のみが記録されていることとしてもよい。この場合、図6のSA2の「第2ステップ」(つまり、不正取引であるものとみなす金融取引を選択する所為)を省略して、「第1ステップ」で取得部331が取得した情報に基づいて、「第3ステップ」~「第5ステップ」を実行するように構成してもよい。
また、図7のルール生成処理の構成を任意に変更してもよい。例えば、各ステップの繰り返し回数を変更してもよいし、あるいは、繰り返しを行わずにSB1~SB6を1回行ってルールを生成するように構成してもよい。あるいは、例えば、SB1の処理の代わりに又は当該処理に加えて、ルール毎の不正確率込み再現率を特定した上で、当該不正確率込み再現率を用いてSB2以降の処理を行うように構成してもよい。
また、上記実施の形態では、図6のルール適用処理のSA2において、ルール群の不正確率込み再現率を特定する場合について説明したがこれに限らず、ルール適用処理から離れて任意のタイミングでルール群の不正確率込み再現率を特定する処理を行うように構成してもよい。例えば、金融機関で現在用いているルール群を評価するために、当該現在のルール群の不正確率込み再現率を特定するように構成してもよいし、あるいは、過去に金融機関で用いていたルール群を評価するために、当該過去のルール群の不正確率込み再現率を特定するように構成してもよい。
また、「ルール群」という用語は、ルールのあつまりを示す概念であり、例えば、複数のルールのあつまりを示しており、すなわち、複数のルールを示しているものと解釈してもよい。
また、例えば、図7のルール生成処理では、図2のルール特定情報が示すルールに基づいて、新たなルールを生成しているので、当該ルール特定情報が示すルールが「第1検出ルール」に対応し、当該ルールの集まりが「第1検出ルール群」に対応するものと解釈してもよい。また、例えば、図7の各ステップは、繰り返し実行されるので、この繰り返し実行される際に処理の対象となる現世代のルール(図8の(a)~(d)参照)(つまり、ルール生成処理の処理途中で現世代として処理されるルール)が「第1検出ルール」に対応し、当該ルールの集まりが「第1検出ルール群」に対応するものと解釈してもよい。
また、例えば、図6のSA1で最終的に生成されるルールが「第2検出ルール」に対応し、当該ルールの集まりが「第2検出ルール群」に対応するものと解釈してもよい。また、例えば、図7のSB3及びS4で次世代にルールをコピーする処理が、ルールを生成する処理に対応するものと解釈し、繰り返し実行されるルール生成処理中にコピーされた次世代のルール(図8の(e)~(f)参照)(つまり、ルール生成処理の処理途中でコピーされて生成されたルール)が「第2検出ルール」に対応し、当該ルールの集まりが「第2検出ルール群」に対応するものと解釈してもよい。
また、上記実施の形態では、図1の情報処理システム100が「生成システム」に対応するものと説明したが、情報処理システム100に含まれる要素であるサーバ装置3が「生成システム」に対応するものと解釈してもよい。また、情報処理システム100又はサーバ装置3は、検出ルール群を評価しているので、「評価システム」に対応するものと解釈してもよい。
また、上記実施の形態の特徴と、変形例の特徴を任意に組み合わせてもよい。
付記1の生成システムは、金融取引において不正取引を検出するための複数の第1検出ルールを含む第1検出ルール群を示す第1検出ルール群情報に基づいて、前記不正取引を検出するための複数の第2検出ルールを含む第2検出ルール群であって前記第1検出ルール群とは異なる前記第2検出ルール群を示す第2検出ルール群情報を生成する生成システムであって、前記複数の第1検出ルールを評価するための取引関連情報であって、前記金融取引を示す前記取引関連情報を取得する取得手段と、前記取得手段が取得した前記取引関連情報と、前記第1検出ルール群情報とに基づいて、前記第2検出ルール群情報を生成する生成手段と、を備え、前記生成手段は、前記取得手段が取得した前記取引関連情報が示す前記金融取引において、前記第1検出ルール群情報が示す前記第1検出ルール群に含まれる前記複数の第1検出ルールを用いて前記不正取引を検出する不正検出処理を行い、前記不正検出処理の処理結果に基づいて、前記複数の第1検出ルール各々についての適合率関連情報を特定し、特定した前記適合率関連情報に基づいて、前記第2検出ルール群情報を生成し、前記適合率関連情報は、前記複数の第1検出ルールを評価する指標となる情報であり、前記適合率関連情報は、前記複数の第1検出ルール各々における前記不正取引の検出についての適合率と、当該適合率の信頼度とに基づく情報である。
付記1に記載の生成システム、及び付記7に記載の生成プログラムによれば、取引関連情報と、第1検出ルール群情報とに基づいて、第2検出ルール群情報を生成することにより、例えば、金融取引を考慮して第2検出ルール群を生成することができるので、適切な検出ルールを効率的に生成することが可能となる。また、適合率関連情報に基づいて第2検出ルール群を生成することができるので、適切な検出ルールを生成することが可能となる。
2 管理端末装置
3 サーバ装置
31 通信部
32 記録部
33 制御部
100 情報処理システム
321 ルール特定情報DB
322 第1取引情報DB
323 第2取引情報DB
324 不正関連情報DB
331 取得部
332 生成部
333 特定部
334 判定部
Claims (7)
- 金融取引において不正取引を検出するための複数の第1検出ルールを含む第1検出ルール群を示す第1検出ルール群情報に基づいて、前記不正取引を検出するための複数の第2検出ルールを含む第2検出ルール群であって前記第1検出ルール群とは異なる前記第2検出ルール群を示す第2検出ルール群情報を生成する生成システムであって、
前記複数の第1検出ルールを評価するための取引関連情報であって、前記金融取引を示す前記取引関連情報を取得する取得手段と、
前記取得手段が取得した前記取引関連情報と、前記第1検出ルール群情報とに基づいて、前記第2検出ルール群情報を生成する生成手段と、を備え、
前記生成手段は、
前記取得手段が取得した前記取引関連情報が示す前記金融取引において、前記第1検出ルール群情報が示す前記第1検出ルール群に含まれる前記複数の第1検出ルールを用いて前記不正取引を検出する不正検出処理を行い、
前記不正検出処理の処理結果に基づいて、前記複数の第1検出ルール各々についての適合率関連情報を特定する特定処理と、
前記特定処理で特定した前記適合率関連情報に基づいて、前記第2検出ルール群情報を生成する生成処理と、を行い、
前記適合率関連情報は、前記複数の第1検出ルールを評価する指標となる情報であり、
前記適合率関連情報は、前記複数の第1検出ルール各々における前記不正取引の検出についての適合率と、当該適合率の信頼度とに基づく情報であり、
前記生成手段は、前記生成処理において、
前記複数の第1検出ルールの相互間の類似度を示す類似度情報を特定する第1処理と、
前記第1処理で特定した前記類似度情報に基づいて、前記複数の第1検出ルールを複数のグループにグループ化することにより前記複数のグループを生成する第2処理と、
前記第2処理で生成した前記複数のグループに基づいて、前記第2検出ルール群情報を生成する第3処理と、を行い、
前記生成手段は、前記第3処理において、
前記第2処理で生成された前記複数のグループ各々において、前記特定処理で特定した前記適合率関連情報に基づいて、前記複数のグループ各々に含まれる第1検出ルールであるグループ所属第1検出ルールの中から、一部の前記グループ所属第1検出ルールを特定する第4処理と、
前記複数のグループ各々において前記第4処理で特定された一部の前記グループ所属第1検出ルールを前記複数の第2検出ルールとして含む、前記第2検出ルール群を示す前記第2検出ルール群情報を生成する第5処理と、を行う、
生成システム。 - 前記適合率関連情報は、前記複数の第1検出ルール各々における前記不正取引の検出についての適合率に関する95%信頼区間の上限値及び下限値の平均に対応する数値を示す情報であり、
前記生成手段は、前記第4処理において、
前記第2処理で生成された前記複数のグループ各々において、前記複数のグループ各々に含まれる前記グループ所属第1検出ルールに対応する前記適合率関連情報の数値が大きいものから順に、前記複数のグループ各々に含まれる前記グループ所属第1検出ルールの全個数の所定割合分に対応する個数分の前記グループ所属第1検出ルールを、一部の前記グループ所属第1検出ルールとして特定する、
請求項1に記載の生成システム。 - 前記生成手段は、前記複数の第1検出ルール各々における前記不正取引の検出についての適合率に関する95%信頼区間の上限値及び下限値に基づいて、前記適合率関連情報を特定する、
請求項1に記載の生成システム。 - 前記複数の第1検出ルール各々は、前記不正取引を検出するための1個以上の条件を含み、
前記生成手段は、
前記複数の第1検出ルール各々に含まれる前記1個以上の条件の項目に基づいて、前記類似度情報を特定する、
請求項1に記載の生成システム。 - 前記生成手段は、
前記不正検出処理の処理結果に基づいて、前記類似度情報を特定する、
請求項1に記載の生成システム。 - 前記複数の第1検出ルールを前記複数のグループにグループ化するためのグループ化基準情報に基づいて、前記複数の第1検出ルールを前記複数のグループにグループ化するための閾値であって、前記類似度情報が示す類似度と比較される閾値を決定する閾値決定手段、を備え、
前記生成手段は、前記閾値決定手段によって決定された閾値と、前記類似度情報が示す類似度とを比較し、比較結果に基づいて、前記複数の第1検出ルールを前記複数のグループにグループ化し、
前記複数の第1検出ルールは、前記不正取引を検出する不正取引検出システムにおいて、ユーザによってグループ化されて用いられており、
前記グループ化基準情報は、前記複数の第1検出ルールに関して、前記ユーザによって行われたグループ化を示す情報である、
請求項1に記載の生成システム。 - 金融取引において不正取引を検出するための複数の第1検出ルールを含む第1検出ルール群を示す第1検出ルール群情報に基づいて、前記不正取引を検出するための複数の第2検出ルールを含む第2検出ルール群であって前記第1検出ルール群とは異なる前記第2検出ルール群を示す第2検出ルール群情報を生成する生成プログラムであって、
コンピュータを、
前記複数の第1検出ルールを評価するための取引関連情報であって、前記金融取引を示す前記取引関連情報を取得する取得手段と、
前記取得手段が取得した前記取引関連情報と、前記第1検出ルール群情報とに基づいて、前記第2検出ルール群情報を生成する生成手段と、として機能させ、
前記生成手段は、
前記取得手段が取得した前記取引関連情報が示す前記金融取引において、前記第1検出ルール群情報が示す前記第1検出ルール群に含まれる前記複数の第1検出ルールを用いて前記不正取引を検出する不正検出処理を行い、
前記不正検出処理の処理結果に基づいて、前記複数の第1検出ルール各々についての適合率関連情報を特定する特定処理と、
前記特定処理で特定した前記適合率関連情報に基づいて、前記第2検出ルール群情報を生成する生成処理と、を行い、
前記適合率関連情報は、前記複数の第1検出ルールを評価する指標となる情報であり、
前記適合率関連情報は、前記複数の第1検出ルール各々における前記不正取引の検出についての適合率と、当該適合率の信頼度とに基づく情報であり、
前記生成手段は、前記生成処理において、
前記複数の第1検出ルールの相互間の類似度を示す類似度情報を特定する第1処理と、
前記第1処理で特定した前記類似度情報に基づいて、前記複数の第1検出ルールを複数のグループにグループ化することにより前記複数のグループを生成する第2処理と、
前記第2処理で生成した前記複数のグループに基づいて、前記第2検出ルール群情報を生成する第3処理と、を行い、
前記生成手段は、前記第3処理において、
前記第2処理で生成された前記複数のグループ各々において、前記特定処理で特定した前記適合率関連情報に基づいて、前記複数のグループ各々に含まれる第1検出ルールであるグループ所属第1検出ルールの中から、一部の前記グループ所属第1検出ルールを特定する第4処理と、
前記複数のグループ各々において前記第4処理で特定された一部の前記グループ所属第1検出ルールを前記複数の第2検出ルールとして含む、前記第2検出ルール群を示す前記第2検出ルール群情報を生成する第5処理と、を行う、
生成プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022181503A JP7277661B1 (ja) | 2022-11-14 | 2022-11-14 | 生成システム、及び生成プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022181503A JP7277661B1 (ja) | 2022-11-14 | 2022-11-14 | 生成システム、及び生成プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP7277661B1 true JP7277661B1 (ja) | 2023-05-19 |
JP2024070880A JP2024070880A (ja) | 2024-05-24 |
Family
ID=86382640
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022181503A Active JP7277661B1 (ja) | 2022-11-14 | 2022-11-14 | 生成システム、及び生成プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7277661B1 (ja) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002505026A (ja) * | 1997-06-20 | 2002-02-12 | ロンバード リスク システムズ リミテッド | 商取引システムの準拠ルールを生成するシステムおよび方法 |
US20080109392A1 (en) * | 2006-11-07 | 2008-05-08 | Ebay Inc. | Online fraud prevention using genetic algorithm solution |
US20160335551A1 (en) * | 2015-05-12 | 2016-11-17 | Sap Se | Optimization of fraud detection strategies |
US20210142329A1 (en) * | 2019-11-12 | 2021-05-13 | Feedzai - Consultadoria e Inovação Tecnólogica, S.A. | Automated rules management system |
-
2022
- 2022-11-14 JP JP2022181503A patent/JP7277661B1/ja active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002505026A (ja) * | 1997-06-20 | 2002-02-12 | ロンバード リスク システムズ リミテッド | 商取引システムの準拠ルールを生成するシステムおよび方法 |
US20080109392A1 (en) * | 2006-11-07 | 2008-05-08 | Ebay Inc. | Online fraud prevention using genetic algorithm solution |
US20160335551A1 (en) * | 2015-05-12 | 2016-11-17 | Sap Se | Optimization of fraud detection strategies |
US20210142329A1 (en) * | 2019-11-12 | 2021-05-13 | Feedzai - Consultadoria e Inovação Tecnólogica, S.A. | Automated rules management system |
Non-Patent Citations (4)
Title |
---|
松井 由起,クレジットカードの信頼を強化する不正検知ソリューション,月刊消費者信用,一般社団法人金融財政事情研究会,2020年05月01日,Vol.38 No.5,pp.26-31 |
松井 由起: "クレジットカードの信頼を強化する不正検知ソリューション", 月刊消費者信用, vol. 38, no. 5, JPN6023004942, 1 May 2020 (2020-05-01), pages 26 - 31, ISSN: 0004985284 * |
濱崎 光希,決定ルール修復機構を搭載した進化的ルール学習,第64回システム制御情報学会 研究発表講演会講演論文集[CD-ROM],2020年05月22日,pp.340-347 |
濱崎 光希: "決定ルール修復機構を搭載した進化的ルール学習", 第64回システム制御情報学会 研究発表講演会講演論文集[CD−ROM], JPN6023004941, 22 May 2020 (2020-05-22), pages 340 - 347, ISSN: 0004985285 * |
Also Published As
Publication number | Publication date |
---|---|
JP2024070880A (ja) | 2024-05-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7945515B2 (en) | Mass compromise/point of compromise analytic detection and compromised card portfolio management system | |
US20180365696A1 (en) | Financial fraud detection using user group behavior analysis | |
CN109035003A (zh) | 基于机器学习的反欺诈模型建模方法和反欺诈监控方法 | |
US20140012724A1 (en) | Automated fraud detection method and system | |
CN107122669A (zh) | 一种评估数据泄露风险的方法和装置 | |
CN110060053B (zh) | 一种识别方法、设备及计算机可读介质 | |
CN108491474A (zh) | 一种数据分类方法、装置、设备及计算机可读存储介质 | |
WO2009010950A1 (en) | System and method for predicting a measure of anomalousness and similarity of records in relation to a set of reference records | |
US11823197B2 (en) | Authenticating based on user behavioral transaction patterns | |
US11853110B2 (en) | Auto-tuning of rule weights in profiles | |
KR20180059203A (ko) | 지불 거절 사기 사용자의 예측 방법 및 프로그램 | |
CN112100660B (zh) | 一种日志文件敏感信息检测方法及装置 | |
Rajwani et al. | Regression analysis for ATM cash flow prediction | |
EP3613003A1 (fr) | Système et procédé pour gérer la détection de fraudes dans un système de transactions financières | |
US20220327542A1 (en) | Self Learning Machine Learning Transaction Scores Adjustment via Normalization Thereof Accounting for Underlying Transaction Score Bases | |
JP7277661B1 (ja) | 生成システム、及び生成プログラム | |
JP7299403B1 (ja) | 評価システム、及び評価プログラム | |
EP4075363A1 (en) | Self learning machine learning scores adjustment via normalization thereof | |
Kang | Fraud Detection in Mobile Money Transactions Using Machine Learning | |
US20240086925A1 (en) | Systems and methods for training and applying machine learning systems in fraud detection | |
EP4310755A1 (en) | Self learning machine learning transaction scores adjustment via normalization thereof | |
CN112823502A (zh) | 针对资源访问规则配置的实时反馈服务 | |
CN114997991B (zh) | 出款风险拦截方法、装置、计算机设备和存储介质 | |
WO2024113317A1 (en) | Computer-based systems and methods for building and implementing attack narrative tree to improve successful fraud detection and prevention | |
CN118411242A (zh) | 授信额度自动配置方法、装置、电子设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20221115 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20221115 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230207 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230327 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230411 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230508 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7277661 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |