JP7127211B2 - 機械学習モデルを使用した、偏りのあるデータの拒否 - Google Patents
機械学習モデルを使用した、偏りのあるデータの拒否 Download PDFInfo
- Publication number
- JP7127211B2 JP7127211B2 JP2021513193A JP2021513193A JP7127211B2 JP 7127211 B2 JP7127211 B2 JP 7127211B2 JP 2021513193 A JP2021513193 A JP 2021513193A JP 2021513193 A JP2021513193 A JP 2021513193A JP 7127211 B2 JP7127211 B2 JP 7127211B2
- Authority
- JP
- Japan
- Prior art keywords
- training
- data set
- weights
- cluster
- training data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
- G06F18/232—Non-hierarchical techniques
- G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/04—Inference or reasoning models
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Medical Informatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Computational Linguistics (AREA)
- Probability & Statistics with Applications (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Machine Translation (AREA)
Description
この開示は、機械学習モデルを使用して偏りのあるデータを拒否することに関する。
一般的に言えば、偏りとは、パラメータを過大評価または過小評価する統計値の傾向である。この点で、データの収集およびデータの分析は典型的には、何らかの固有の偏りを含む。これらの偏りは、収集および分析の方法、または、当該収集および分析を行なうエンティティ(主体)に起因する場合がある。たとえば、人間によって設計され行なわれたデータ研究が、特定の仮説、人間の設計制約(たとえば人間の能力)、サンプリング制約などを提供する場合がある。これらの要素を提供することにより、当該研究のデータ結果は、さまざまなサンプリング誤差、測定誤差、または、当該研究のための目標母集団を表わしていないサンプルにより広範に基づいた誤差を含む可能性がある。コンピュータ処理は、技術が人間の活動とは比べものにならない速度でデータを収集および分析することを可能にするため、データ処理手法は、偏りの問題を同等に克服しなければならない。さもなければ、特にバルクデータのためのデータ処理は、偏りの問題を増幅して、人間の活動によって生じる偏りとは同様に比べものにならない結果を生み出すおそれがある。
この開示の1つの局面は、機械学習モデルを使用して偏りのあるデータを拒否するための方法を提供する。方法は、データ処理ハードウェアで、クラスタ訓練データセットを受信するステップを含み、クラスタ訓練データセットは偏りのない既知のデータ母集団(known unbiased population of data)を含む。方法はまた、データ処理ハードウェアが、偏りのない既知のデータ母集団のデータ特性に基づいて、受信されたクラスタ訓練データセットをクラスタに分割するように、クラスタ化モデルを訓練するステップを含む。クラスタ訓練データセットの各クラスタはクラスタ重みを含む。方法はさらに、データ処理ハードウェアで、機械学習モデルのための訓練データセットを受信するステップと、データ処理ハードウェアが、クラスタ化モデルに基づいて、機械学習モデルのための訓練データセットに対応する訓練データセット重みを生成するステップとを含む。方法はまた、データ処理ハードウェアが、訓練データセット重みの各訓練データセット重みを、それぞれのクラスタ重みと整合するように調節するステップと、データ処理ハードウェアが、調節された訓練データセットを、偏りのない訓練データセットとして、機械学習モデルに提供するステップとを含む。
図1は、機械学習環境10の一例である。機械学習環境10は一般に、ネットワーク120を介してアクセス可能なリソース110を有する分散型システム100(たとえば、クラウド環境などのリモートシステム)と、偏り拒否モデル200と、機械学習モデル300とを含む。リソース110は、偏り拒否モデル200および/または機械学習モデル300を訓練する際に使用するために、ならびに、ここに開示される機械学習機能を行なうために、偏り拒否モデル200および/または機械学習モデル300にアクセス可能である。分散型システム100は、偏り拒否モデル200および/または機械学習モデル300を動作させることができるコンピューティングリソース(たとえばリソース110)を有する任意のコンピュータ処理システムであってもよい。いくつかの例では、偏り拒否モデル200および/または機械学習モデル300は、ネットワーク120を介して分散型システム100にアクセス可能である、または他の態様で分散型システム100と通信しているデバイス上で動作する。たとえば、デバイスは、分散型システム100に関連付けられたウェブベースのアプリケーションを実行してもよい。
Claims (11)
- 方法であって、
データ処理ハードウェアで、クラスタ訓練データセットを受信するステップを含み、前記クラスタ訓練データセットは偏りのない既知のデータ母集団を含み、前記方法はさらに、
前記データ処理ハードウェアが、前記偏りのない既知のデータ母集団のデータ特性に基づいて、受信された前記クラスタ訓練データセットをクラスタに分割するように、クラスタ化モデルを訓練するステップを含み、前記クラスタ訓練データセットの各クラスタはクラスタ重みを含み、前記方法はさらに、
前記データ処理ハードウェアで、機械学習モデルのための訓練データセットを受信するステップと、
前記データ処理ハードウェアが、前記クラスタ化モデルに基づいて、前記機械学習モデルのための前記訓練データセットに対応する訓練データセット重みを生成するステップと、
前記データ処理ハードウェアが、前記訓練データセット重みの各訓練データセット重みを、それぞれのクラスタ重みと整合するように、および、調節された訓練データセットを形成するように調節するステップと、
前記データ処理ハードウェアが、前記調節された訓練データセットを、偏りのない訓練データセットとして、前記機械学習モデルに提供するステップとを含む、方法。 - 前記調節された訓練データセットを前記偏りのない訓練データセットとして前記機械学習モデルに提供するステップは、前記偏りのない訓練データセットを用いて前記機械学習モデルを訓練するステップを含む、請求項1に記載の方法。
- 前記データ処理ハードウェアが、前記偏りのない訓練データセットを用いて前記機械学習モデルを訓練するステップと、
前記データ処理ハードウェアで、少なくとも1つのそれぞれのデータ特性を含むサンプルデータセットを受信するステップと、
前記データ処理ハードウェアが、訓練された前記機械学習モデルを使用して、受信された前記サンプルデータセットに基づいた、偏りのない予測値を生成するステップとをさらに含む、請求項1または2に記載の方法。 - 各訓練データセット重みを、前記それぞれのクラスタ重みと整合するように調節するステップは、各訓練データセット重みについて、
共通のデータ特性に基づいて、前記訓練データセット重みを前記それぞれのクラスタ重みと整合させるステップと、
前記訓練データセット重みが前記それぞれのクラスタ重みと整合するまで、前記訓練データセットからデータを除去するステップとを含む、請求項1~3のいずれか1項に記載の方法。 - 各訓練データセット重みを、前記それぞれのクラスタ重みと整合するように調節するステップは、各訓練データセット重みについて、
共通のデータ特性に基づいて、前記訓練データセット重みを前記それぞれのクラスタ重みと整合させるステップと、
前記訓練データセット重みが前記それぞれのクラスタ重みと整合するまで、前記訓練データセットからデータを複製するステップとを含む、請求項1~4のいずれか1項に記載の方法。 - 各訓練データセット重みを、前記それぞれのクラスタ重みと整合するように調節するステップは、各訓練データセット重みについて、
共通のデータ特性に基づいて、前記訓練データセット重みを前記クラスタ重みと整合させるステップと、
前記訓練データセット重みが前記それぞれのクラスタ重みよりも小さい場合、前記訓練データセット重みに対応する訓練データに対する前記機械学習モデルの訓練を増加させることを示す重要性重みを関連付けるステップとを含む、請求項1~5のいずれか1項に記載の方法。 - 各訓練データセット重みを、前記それぞれのクラスタ重みと整合するように調節するステップは、各訓練データセット重みについて、
共通のデータ特性に基づいて、前記訓練データセット重みを前記クラスタ重みと整合させるステップと、
前記訓練データセット重みが前記それぞれのクラスタ重みよりも大きい場合、前記訓練データセット重みに対応する訓練データに対する前記機械学習モデルの訓練を減少させることを示す重要性重みを関連付けるステップとを含む、請求項1~6のいずれか1項に記載の方法。 - 前記訓練データセット重みの各訓練データセット重みを、前記それぞれのクラスタ重みと整合するように調節するステップはさらに、各訓練データセット重みについて、
共通のデータ特性に基づいて、前記訓練データセット重みを対応するクラスタ重みと整合させるステップと、
前記訓練データセット重みが前記対応するクラスタ重みよりも小さい場合、前記訓練データセット重みに対応する訓練データに対する前記機械学習モデルの訓練を増加させることを示す重要性重みを関連付けるステップと、
前記訓練データセット重みが前記対応するクラスタ重みよりも大きい場合、前記訓練データセット重みに対応する訓練データに対する前記機械学習モデルの訓練を減少させることを示す重要性重みを関連付けるステップとを含む、請求項1~7のいずれか1項に記載の方法。 - 前記クラスタ化モデルを訓練するステップはさらに、
前記偏りのない既知のデータ母集団のデータ特性に基づいて、受信された前記クラスタ訓練データセットをクラスタに分割するステップと、
前記偏りのない既知のデータ母集団の前記データ特性に基づいた前記クラスタの各クラスタについて、前記偏りのない既知のデータ母集団のサイズに対するそれぞれのクラスタのサイズの比に基づいて、前記クラスタ化モデルの各クラスタについての前記クラスタ重みを判定するステップとを含む、請求項1~8のいずれか1項に記載の方法。 - 教師なし機械学習アルゴリズムが、前記偏りのない既知のデータ母集団の前記データ特性に基づいて、受信された前記クラスタ訓練データセットをクラスタに分割する、請求項1~9のいずれか1項に記載の方法。
- システムであって、
データ処理ハードウェアと、
前記データ処理ハードウェアと通信しているメモリハードウェアとを含み、前記メモリハードウェアは、前記データ処理ハードウェア上で実行されると前記データ処理ハードウェアに請求項1~10のいずれか1項に記載された方法を実行させる命令を格納している、システム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022130108A JP7405919B2 (ja) | 2018-09-10 | 2022-08-17 | 機械学習モデルを使用した、偏りのあるデータの拒否 |
JP2023211190A JP2024028987A (ja) | 2018-09-10 | 2023-12-14 | 機械学習モデルを使用した、偏りのあるデータの拒否 |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US16/126,860 | 2018-09-10 | ||
US16/126,860 US11250346B2 (en) | 2018-09-10 | 2018-09-10 | Rejecting biased data using a machine learning model |
PCT/US2019/048121 WO2020055581A1 (en) | 2018-09-10 | 2019-08-26 | Rejecting biased data using a machine learning model |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022130108A Division JP7405919B2 (ja) | 2018-09-10 | 2022-08-17 | 機械学習モデルを使用した、偏りのあるデータの拒否 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021536067A JP2021536067A (ja) | 2021-12-23 |
JP7127211B2 true JP7127211B2 (ja) | 2022-08-29 |
Family
ID=67876099
Family Applications (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021513193A Active JP7127211B2 (ja) | 2018-09-10 | 2019-08-26 | 機械学習モデルを使用した、偏りのあるデータの拒否 |
JP2022130108A Active JP7405919B2 (ja) | 2018-09-10 | 2022-08-17 | 機械学習モデルを使用した、偏りのあるデータの拒否 |
JP2023211190A Pending JP2024028987A (ja) | 2018-09-10 | 2023-12-14 | 機械学習モデルを使用した、偏りのあるデータの拒否 |
Family Applications After (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022130108A Active JP7405919B2 (ja) | 2018-09-10 | 2022-08-17 | 機械学習モデルを使用した、偏りのあるデータの拒否 |
JP2023211190A Pending JP2024028987A (ja) | 2018-09-10 | 2023-12-14 | 機械学習モデルを使用した、偏りのあるデータの拒否 |
Country Status (6)
Country | Link |
---|---|
US (3) | US11250346B2 (ja) |
EP (1) | EP3834140A1 (ja) |
JP (3) | JP7127211B2 (ja) |
KR (3) | KR102556896B1 (ja) |
CN (1) | CN112639842A (ja) |
WO (1) | WO2020055581A1 (ja) |
Families Citing this family (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10783535B2 (en) * | 2016-05-16 | 2020-09-22 | Cerebri AI Inc. | Business artificial intelligence management engine |
US11392852B2 (en) * | 2018-09-10 | 2022-07-19 | Google Llc | Rejecting biased data using a machine learning model |
US11537876B2 (en) * | 2018-11-28 | 2022-12-27 | Bank Of America Corporation | Targeted variation of machine learning input data |
US11343144B2 (en) * | 2019-03-12 | 2022-05-24 | Cisco Technology, Inc. | Downlink performance optimizations in wireless networks |
US11775863B2 (en) * | 2019-05-22 | 2023-10-03 | Oracle International Corporation | Enforcing fairness on unlabeled data to improve modeling performance |
US20200372290A1 (en) | 2019-05-22 | 2020-11-26 | Oracle International Corporation | Bayesian Test of Demographic Parity for Learning to Rank |
US11062234B1 (en) * | 2019-12-31 | 2021-07-13 | Capital One Services, Llc | System and method for managing classification outcomes of data inputs classified into bias categories |
KR102542451B1 (ko) * | 2020-11-04 | 2023-06-12 | 서울대학교산학협력단 | 공정 분포 추정을 통한 공정 군집화 방법 및 그의 장치 |
JP7322918B2 (ja) * | 2021-03-29 | 2023-08-08 | 横河電機株式会社 | プログラム、情報処理装置、及び学習モデルの生成方法 |
CN113077057B (zh) * | 2021-04-20 | 2022-09-06 | 中国科学技术大学 | 无偏机器学习方法 |
KR20230034762A (ko) * | 2021-09-03 | 2023-03-10 | 주식회사 뷰노 | 기계학습 방법 및 장치 |
KR102674249B1 (ko) * | 2022-02-03 | 2024-06-12 | 한국생산기술연구원 | 리플로우 장비의 이상 여부 확인 방법 |
GB2625073A (en) * | 2022-12-02 | 2024-06-12 | Sony Interactive Entertainment Inc | System and method for training a machine learning model |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009282688A (ja) | 2008-05-21 | 2009-12-03 | Mitomo Shoji Kk | 無線icタグ |
US20170330058A1 (en) | 2016-05-16 | 2017-11-16 | Cerebri AI Inc. | Detecting and reducing bias (including discrimination) in an automated decision making process |
JP2018513461A (ja) | 2015-03-03 | 2018-05-24 | ナントミクス,エルエルシー | アンサンブルに基づいたリサーチ・レコメンデーションシステムおよび方法 |
US20180165697A1 (en) | 2016-12-08 | 2018-06-14 | App Annie Inc. | Determining usage data of mobile applications for a population |
JP2018109906A (ja) | 2017-01-05 | 2018-07-12 | 住友電気工業株式会社 | 画像データ作成プログラム、画像データ作成装置および画像データ作成方法 |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7437334B2 (en) | 2004-12-03 | 2008-10-14 | Hewlett-Packard Development Company, L.P. | Preparing data for machine learning |
WO2009135076A1 (en) | 2008-05-02 | 2009-11-05 | The Regents Of The University Of California | Estimation based on case-control designs |
JP5243888B2 (ja) | 2008-08-18 | 2013-07-24 | 日本放送協会 | データ分類装置及びデータ分類プログラム |
JP2010204966A (ja) | 2009-03-03 | 2010-09-16 | Nippon Telegr & Teleph Corp <Ntt> | サンプリング装置、サンプリング方法、サンプリングプログラム、クラス判別装置およびクラス判別システム。 |
US20110289025A1 (en) | 2010-05-19 | 2011-11-24 | Microsoft Corporation | Learning user intent from rule-based training data |
US9852019B2 (en) | 2013-07-01 | 2017-12-26 | Agent Video Intelligence Ltd. | System and method for abnormality detection |
JP2017076289A (ja) | 2015-10-15 | 2017-04-20 | キヤノン株式会社 | パラメータ決定装置、パラメータ決定方法及びプログラム |
WO2017096312A1 (en) * | 2015-12-04 | 2017-06-08 | Google Inc. | Regularization of machine learning models |
US10565523B2 (en) * | 2017-01-06 | 2020-02-18 | Accenture Global Solutions Limited | Security classification by machine learning |
CN107644015B (zh) * | 2017-10-19 | 2020-02-18 | 厦门大学 | 基于机器学习的调查问卷自动生成方法 |
-
2018
- 2018-09-10 US US16/126,860 patent/US11250346B2/en active Active
-
2019
- 2019-08-26 WO PCT/US2019/048121 patent/WO2020055581A1/en unknown
- 2019-08-26 KR KR1020217003605A patent/KR102556896B1/ko active IP Right Grant
- 2019-08-26 KR KR1020237023811A patent/KR102629553B1/ko active IP Right Grant
- 2019-08-26 KR KR1020247002451A patent/KR20240013898A/ko active Application Filing
- 2019-08-26 CN CN201980057266.0A patent/CN112639842A/zh active Pending
- 2019-08-26 JP JP2021513193A patent/JP7127211B2/ja active Active
- 2019-08-26 EP EP19765595.4A patent/EP3834140A1/en active Pending
-
2022
- 2022-01-31 US US17/649,510 patent/US20220156646A1/en active Pending
- 2022-08-17 JP JP2022130108A patent/JP7405919B2/ja active Active
-
2023
- 2023-12-14 JP JP2023211190A patent/JP2024028987A/ja active Pending
-
2024
- 2024-01-05 US US18/406,073 patent/US20240144095A1/en active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009282688A (ja) | 2008-05-21 | 2009-12-03 | Mitomo Shoji Kk | 無線icタグ |
JP2018513461A (ja) | 2015-03-03 | 2018-05-24 | ナントミクス,エルエルシー | アンサンブルに基づいたリサーチ・レコメンデーションシステムおよび方法 |
US20170330058A1 (en) | 2016-05-16 | 2017-11-16 | Cerebri AI Inc. | Detecting and reducing bias (including discrimination) in an automated decision making process |
US20180165697A1 (en) | 2016-12-08 | 2018-06-14 | App Annie Inc. | Determining usage data of mobile applications for a population |
JP2018109906A (ja) | 2017-01-05 | 2018-07-12 | 住友電気工業株式会社 | 画像データ作成プログラム、画像データ作成装置および画像データ作成方法 |
Also Published As
Publication number | Publication date |
---|---|
JP2024028987A (ja) | 2024-03-05 |
JP7405919B2 (ja) | 2023-12-26 |
US20200082300A1 (en) | 2020-03-12 |
US20220156646A1 (en) | 2022-05-19 |
KR20240013898A (ko) | 2024-01-30 |
WO2020055581A1 (en) | 2020-03-19 |
EP3834140A1 (en) | 2021-06-16 |
CN112639842A (zh) | 2021-04-09 |
KR20210025108A (ko) | 2021-03-08 |
KR102629553B1 (ko) | 2024-01-25 |
JP2022169657A (ja) | 2022-11-09 |
KR20230110830A (ko) | 2023-07-25 |
US20240144095A1 (en) | 2024-05-02 |
JP2021536067A (ja) | 2021-12-23 |
US11250346B2 (en) | 2022-02-15 |
KR102556896B1 (ko) | 2023-07-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7241862B2 (ja) | 機械学習モデルを使用した、偏りのあるデータの拒否 | |
JP7127211B2 (ja) | 機械学習モデルを使用した、偏りのあるデータの拒否 | |
Song et al. | Deep clustering based fair outlier detection | |
US11379685B2 (en) | Machine learning classification system | |
US20140122401A1 (en) | System and Method for Combining Segmentation Data | |
US20230334119A1 (en) | Systems and techniques to monitor text data quality | |
JP2016194914A (ja) | 混合モデル選択の方法及び装置 | |
US20220076157A1 (en) | Data analysis system using artificial intelligence | |
US20230169393A1 (en) | Detecting category-specific bias using overfitted machine learning models | |
US20240193035A1 (en) | Point Anomaly Detection | |
US20220138585A1 (en) | Systems and methods for applying a lens function generated using supervised learning techniques to segment data provided to an unsupervised learning model | |
Jain et al. | Analysis of different machine learning classifiers on MP election commission and breast cancer big dataset | |
Gu et al. | A realistic simulation framework for learning with label noise | |
US20230169394A1 (en) | Detecting category-specific bias using residual values | |
KR102601514B1 (ko) | 알코올 사용장애 환자의 외래 치료 조기 중단 예측 시스템 및 그 방법 | |
Yuill et al. | Using machine learning to improve personalised prediction: A data-driven approach to segment and stratify populations for healthcare | |
US20220414532A1 (en) | Machine learning model scenario-based training system | |
Khalid et al. | A Dynamic Selection Hybrid Model for Advancing Thyroid Care with BOO-ST Balancing Method | |
Larasati et al. | 22 Sentiment Analysis | |
Barreto et al. | Artificial intelligence applied to analyzes during the pandemic: COVID-19 beds occupancy in the state of Rio Grande do Norte, Brazil | |
CN118302773A (zh) | 机器学习回归分析 | |
Sen et al. | Empirical evaluation of classifiers’ performance using data mining algorithm |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210531 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210531 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220719 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220817 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7127211 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |