JP7476976B2 - 推論装置、推論方法、及び推論プログラム - Google Patents

推論装置、推論方法、及び推論プログラム Download PDF

Info

Publication number
JP7476976B2
JP7476976B2 JP2022558771A JP2022558771A JP7476976B2 JP 7476976 B2 JP7476976 B2 JP 7476976B2 JP 2022558771 A JP2022558771 A JP 2022558771A JP 2022558771 A JP2022558771 A JP 2022558771A JP 7476976 B2 JP7476976 B2 JP 7476976B2
Authority
JP
Japan
Prior art keywords
inference
uncertain
result
comparison
inference result
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022558771A
Other languages
English (en)
Other versions
JPWO2022091368A1 (ja
Inventor
篤彦 前田
健一 福田
幸雄 菊谷
順暎 金
和昭 尾花
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Publication of JPWO2022091368A1 publication Critical patent/JPWO2022091368A1/ja
Application granted granted Critical
Publication of JP7476976B2 publication Critical patent/JP7476976B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00Computing arrangements using knowledge-based models
    • G06N5/04Inference or reasoning models
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Description

本開示の技術は、推論装置、推論方法、及び推論プログラムに関する。
近年、様々な分野において、大量のデータを機械学習することで事象発生の推論モデルが作成され、利用されている。
「救急ビッグデータを用いた救急自動車最適運用システムの有効性を確認」、インターネット<URL:https://www.ntt.co.jp/news2018/1811/181126a.html>
推論モデルは、教師あり学習の場合、説明変数と目的変数の組である学習データを用いた学習により作成される。このとき、機械学習による推論は、学習に利用された説明変数がとる値の範囲内であれば、いわゆる内挿により、比較的信頼性が高い推論結果が得られる。しかし、学習に利用された説明変数の値の範囲外の状況を推論する場合、いわゆる外挿となり、推論精度は未知数であり、推論の信頼性が低下する。
例えば、日中の平均気温を説明変数とし、目的変数として1日の熱中症患者発生数を推論する場合、学習に利用できる学習データとして、日々の平均気温の記録として28度から31度までの範囲の記録と、各日における熱中症発生数のデータとが存在していたとする。この学習データからは、28度から1度増える毎に、およそ100人ずつ熱中症患者が増加する推論モデルが作成できたとする。しかし、それまでの観測記録にはない33度、34度などの気温になった場合に、同じ割合で熱中症患者が増加するかは不明である。もしかすると、そのような温度からは指数関数的に熱中症患者が増加するかもしれない。だが、どちらになるかは、過去の学習データではそのような気温のときの熱中症発生数の記録がないため、検証できない。
上記は説明変数が連続値の場合であるが、説明変数が離散値の場合には、離散値の値ごとの学習データの少なさが推論の信頼性低下につながる。例えば、ある地域で、その日の日中の天候から1日の交通事故発生数を予測したいとする。このとき、「晴れ」「曇り」「雨」の日の交通事故発生数について、過去の学習データが十分蓄積されていたとすれば、それらの天候のときの交通事故発生数は十分な精度で推論可能である。
しかし、その地域では「大雨」や「雪」といった天候がほとんど発生せず過去にそのような事例が1度か2度しかなかった場合が考えられる。この場合、そのような天候に対する交通事故発生数を推論するモデルが作成できたとしても、そのような天候時における推論の信頼性は低いはずである。
また、上記のように推論したい条件の説明変数が、学習データの値の範囲の最大値付近又は最小値付近となっていることを、機械学習システムのユーザが気づけるようになっていないことが多い。特に、傷病者が発生する予測に基づいて救急車の配備を検討するような場合、救急隊員やオペレータは、予測結果が不確かであれば、機械学習を用いたシステムの判断に従わずヒューリスティックに決めるべきであると考える場合がある。その理由は、機械学習は救急隊員やオペレータの観点からするとブラックボックスであるため、時には、救急隊員やオペレータの経験と、前記システムの判断と、を加味して決定することを望むことがあるためである。つまり、例えば救急隊員やオペレータが最終的な判断をくだすため、機械学習を用いたシステムの予測結果の確からしさをユーザに提示すべきであり、予測結果が不確かである場合はその理由についても提示すべきであるが、提示できない、という点でも課題を有する。
開示の技術は、上記の点に鑑みてなされたものであり、推論モデルによる推論結果が不確かであることをユーザに通知することができる推論装置、推論方法、及び推論プログラムを提供することを目的とする。
本開示の第1態様は、推論モデルによる推論結果が不確かである場合、前記推論結果とともに前記推論結果が不確かである旨をユーザに通知する推論装置であって、推論対象である対象データと、前記推論モデルの学習に用いられたデータである学習データ群とを比較し、比較結果が、一定の基準を満たさない場合、不確かであると判定する比較部と、不確かであると判定された場合、前記推論結果に加え、前記推論結果が不確かである旨をユーザに通知する通知部と、を含んで構成される。
本開示の第2態様は、推論モデルによる推論結果が不確かである場合、前記推論結果とともに前記推論結果が不確かである旨をユーザに通知する推論装置における推論方法であって、比較部が、推論対象である対象データと、前記推論モデルの学習に用いられたデータである学習データ群とを比較し、比較結果が、一定の基準を満たさない場合、不確かであると判定し、通知部が、不確かであると判定された場合、前記推論結果に加え、前記推論結果が不確かである旨をユーザに通知する。
本開示の第3態様は、推論プログラムであって、推論モデルによる推論結果が不確かである場合、前記推論結果とともに前記推論結果が不確かである旨をユーザに通知するための推論プログラムであって、推論対象である対象データと、前記推論モデルの学習に用いられたデータである学習データ群とを比較し、比較結果が、一定の基準を満たさない場合、不確かであると判定し、不確かであると判定された場合、前記推論結果に加え、前記推論結果が不確かである旨をユーザに通知することをコンピュータに実行させるためのプログラムである。
開示の技術によれば、推論モデルによる推論結果が不確かであることをユーザに通知することができる。
第1実施形態、第2実施形態、及び第3実施形態の学習装置及び推論装置として機能するコンピュータの一例の概略ブロック図である。 第1実施形態、第2実施形態、及び第3実施形態の学習装置の機能構成を表すブロック図である。 学習データ群の連続値である説明変数の分布の一例を示すグラフである。 学習データ群の離散値である説明変数の分布の一例を示すグラフである。 第1実施形態及び第3実施形態の学習装置の機能構成を表すブロック図である。 対象データの連続値である説明変数と、学習データ群の連続値である説明変数の分布とを比較した結果の一例を示す図である。 対象データの連続値である説明変数と、学習データ群の連続値である説明変数の分布とを比較した結果の一例を示す図である。 対象データの離散値である説明変数と、学習データ群の離散値である説明変数の分布とを比較した結果の一例を示す図である。 第1実施形態、第2実施形態、及び第3実施形態の推論処理の流れを表すフローチャートである。 第2実施形態の推論装置の機能構成を表すブロック図である。 対象データの連続値である条件変数と、学習データ群の連続値である条件変数の分布とを比較した結果の一例を示す図である。
以下、開示の技術の実施形態の一例を、図面を参照しつつ説明する。なお、各図面において同一又は等価な構成要素及び部分には同一の参照符号を付与している。また、図面の寸法比率は、説明の都合上誇張されており、実際の比率とは異なる場合がある。
[第1実施形態]
<第1実施形態に係る学習装置の構成>
図1は、第1実施形態の学習装置10のハードウェア構成を示すブロック図である。
図1に示すように、学習装置10は、CPU(Central Processing Unit)11、ROM(Read Only Memory)12、RAM(Random Access Memory)13、ストレージ14、入力部15、表示部16及び通信インタフェース(I/F)17を有する。各構成は、バス19を介して相互に通信可能に接続されている。
CPU11は、中央演算処理ユニットであり、各種プログラムを実行したり、各部を制御したりする。すなわち、CPU11は、ROM12又はストレージ14からプログラムを読み出し、RAM13を作業領域としてプログラムを実行する。CPU11は、ROM12又はストレージ14に記憶されているプログラムに従って、上記各構成の制御及び各種の演算処理を行う。本実施形態では、ROM12又はストレージ14には、推論モデルを学習するための学習プログラムが格納されている。学習プログラムは、1つのプログラムであっても良いし、複数のプログラム又はモジュールで構成されるプログラム群であっても良い。
ROM12は、各種プログラム及び各種データを格納する。RAM13は、作業領域として一時的にプログラム又はデータを記憶する。ストレージ14は、HDD(Hard Disk Drive)又はSSD(Solid State Drive)により構成され、オペレーティングシステムを含む各種プログラム、及び各種データを格納する。
入力部15は、マウス等のポインティングデバイス、及びキーボードを含み、各種の入力を行うために使用される。
入力部15は、学習データ群を、入力として受け付ける。具体的には、入力部15は、連続値と離散値とを含む説明変数と、目的変数との組である複数の学習データからなる学習データ群を受け付ける。例えば、過去3年間の、日中の平均気温と天候(晴れ、曇り、雨、大雨、その他)とを含む説明変数と、その日1日の傷病者の発生数である目的変数との組を、学習データとする。ここで、平均気温は連続値の一例であり、天候は離散値の一例である。
表示部16は、例えば、液晶ディスプレイであり、各種の情報を表示する。表示部16は、タッチパネル方式を採用して、入力部15として機能しても良い。
通信インタフェース17は、他の機器と通信するためのインタフェースであり、例えば、イーサネット(登録商標)、FDDI、Wi-Fi(登録商標)等の規格が用いられる。
次に、学習装置10の機能構成について説明する。図2は、学習装置10の機能構成の例を示すブロック図である。
学習装置10は、機能的には、図2に示すように、学習データ記憶部20、学習部22、推論モデル記憶部24、分布取得部26、及び分布記憶部28を備えている。
学習データ記憶部20は、入力された学習データ群を記憶する。
学習部22は、学習データ群に基づいて、説明変数から目的変数を推論する推論モデルを学習する。
例えば、推論モデルは、以下のような重回帰モデルである。
傷病者数=係数1*気温+係数2*晴れフラグ+係数3*曇りフラグ+係数4*雨フラグ+係数5*大雨フラグ+切片
ただし、晴れフラグは天候が晴れの場合に1をとり、それ以外のときに0をとる。曇りフラグ、雨フラグ等も同様である。係数1~係数5及び切片が、学習部22による学習によって求まるパラメータである。以下は、係数と切片が求まった推論モデルの一例である。
傷病者数=10*気温+10*晴れフラグ+10*曇りフラグ+20*雨フラグ+50*大雨フラグ+20
推論モデル記憶部24は、学習された推論モデルを記憶する。
分布取得部26は、学習データ群に基づいて、説明変数の分布を取得する。
ここで、説明変数には2種類のデータがありえる。一つは連続値であり、もう一つは離散値である。
図3は、学習データ群における連続値である気温の分布の一例を示している。この分布は、各気温についての、学習データ群における当該気温の学習データの比率を表している。
また、図4は、学習データ群における離散値である天候の分布の一例を示している。この分布は、各天候についての、学習データ群における当該天候の学習データの比率を表している。
分布記憶部28は、分布取得部26によって得られた説明変数の分布を記憶する。
<第1実施形態に係る推論装置の構成>
上記図1は、第1実施形態の推論装置50のハードウェア構成を示すブロック図である。
上記図1に示すように、推論装置50は、学習装置10と同様の構成であり、ROM12又はストレージ14には、推論モデルによる推論を行うための推論プログラムが格納されている。
入力部15は、推論対象となる対象データを、入力として受け付ける。具体的には、入力部15は、連続値と離散値とを含む説明変数を対象データとして受け付ける。例えば、推論対象日の日中の平均気温と天候(晴れ、曇り、雨、大雨、その他)とを含む説明変数を、対象データとする。
次に、推論装置50の機能構成について説明する。図5は、推論装置50の機能構成の例を示すブロック図である。
推論装置50は、機能的には、図5に示すように、推論条件取得部60、推論モデル記憶部62、推論部64、分布記憶部66、比較部68、及び通知部70を備えている。
推論条件取得部60は、入力された対象データの説明変数を取得する。
推論モデル記憶部62は、学習装置10によって学習された推論モデルを記憶する。
推論部64は、推論モデル記憶部62に記憶された推論モデルと、取得した対象データの説明変数とに基づいて、目的変数を推論する。例えば、推論モデルと、推論対象日における日中の平均気温と天候をもとに、推論対象日における傷病者発生数を推論する。
以下にいくつか例をあげる。
気温が20度であり、天候が晴れである場合には、以下となる。
傷病者数=10*20+10*1+10*0+20*0+50*0+20=230
気温が32度であり、天候が晴れである場合には、以下となる。
傷病者数=10*32+10*1+10*0+20*0+50*0+20=330
気温が18度であり、天候が大雨である場合には、以下となる。
傷病者数=10*18+10*0+10*0+20*0+50*1+20=250
推論された傷病者数は、通知部70によりユーザに対して出力され、ユーザは推論結果を確認できる。
ここで、学習データ群には気温が-1度から31度までの学習データしか存在しなかったとする。また、大雨の記録は、学習データ群のなかで1%しかなかったとする。このような場合、傷病者数を予測したいときの気温が32度になったり、天候が大雨となったりした場合には、推論結果の信頼性は疑わしいものとなる。
これらのことをユーザに気づかせるために、推論装置50は、推論部64が動作するのと並行して分布記憶部66を用いた比較部68も動作し、学習データ群の説明変数の分布と、対象データの説明変数とを比較する。
具体的には、分布記憶部66は、分布記憶部28と同様に、学習データ群の説明変数の分布を記憶する。例えば、分布記憶部66は、上記図3に示すような、学習データ群についての、気温の分布と、上記図4に示すような、学習データ群についての、天候の分布とを記憶する。
比較部68は、推論対象である対象データの説明変数と、学習データ群の説明変数の分布とを比較し、比較結果が、一定の基準を満たさない場合、推論部64による推論結果が不確かであると判定する。
具体的には、連続値である説明変数について、学習データ群の説明変数の分布と比較する場合に、一定の基準を、対象データの連続値である説明変数が、学習データ群の連続値である説明変数の最大値に対応する基準値以下であり、学習データ群の連続値である説明変数の最小値に対応する基準値以上であることとする。比較部68は、比較結果が、一定の基準を満たさないか否かを判定する。
例えば、学習データ群の連続値である説明変数の最大値付近の、データ比率が5%となる値を基準値とし、当該基準値より大きければ、推論部64による推論結果が不確かであると判定する。また、学習データ群の連続値である説明変数の最小値付近の、データ比率が5%となる基準値とし、当該基準値より小さければ、推論部64による推論結果が不確かであると判定する。
図6は、32度という気温と学習データ群の気温の分布とを比較した結果を示している。32度という気温は、学習データ群の気温の最大値付近の、データ比率が5%となる気温である31度より高い。そのため、比較部68は、推論部64による推論結果が不確かであると判定する。
図7は、20度という気温と学習データ群の気温の分布とを比較した結果である。20度という気温は、学習データ群の気温の最大値付近の、データ比率が5%となる気温である31度以下であり、かつ、学習データ群の気温の最小値付近の、データ比率が5%となる気温である0度以上である。そのため、比較部68は、推論部64による推論結果が不確かでないと判定する。
また、離散値である説明変数について、学習データ群の説明変数の分布と比較する場合に、一定の基準を、学習データ群の離散値である説明変数が、対象データの離散値である説明変数と一致するデータ数が、基準数以上であることとする。比較部68は、比較結果が、一定の基準を満たさないか否かを判定する。
例えば、基準値を、データ比率5%とし、学習データ群の離散値である説明変数が、対象データの離散値である説明変数と一致するデータ数の比率が、基準値未満であれば、推論部64による推論結果が不確かであると判定する。一方、学習データ群の離散値である説明変数が、対象データの離散値である説明変数と一致するデータ数の比率が、基準値以上であれば、推論部64による推論結果が不確かでないと判定する。
図8は、天候が「大雨」である場合に、学習データ群の天候の分布と比較した結果を示している。天候が「大雨」である学習データのデータ比率は5%未満である。そのため、比較部68は、推論部64による推論結果が不確かであると判定する。一方、天候が「晴れ」、「曇り」、「雨」である場合には、いずれもデータ比率が5%以上であるため、比較部68は、推論部64による推論結果が不確かでないと判定する。
また、本実施形態では、比較部68は、説明変数の各々について、対象データの当該説明変数と、学習データ群における当該説明変数の分布とを比較する。比較部68は、少なくとも1つの説明変数の比較結果が、一定の基準を満たさない場合に、推論部64による推論結果が不確かであると判定する。一方、比較部68は、全ての説明変数の比較結果が、一定の基準を満たす場合に、推論部64による推論結果が不確かでないと判定する。
通知部70は、推論部64による推論結果が不確かであると判定された場合、推論部64による推論結果に加え、当該推論結果が不確かである旨を表示部16によりユーザに通知する。例えば、上記図6、図8に示すように、当該推論結果が不確かである旨を通知する警告メッセージを表示部16により表示する。一方、通知部70は、推論部64による推論結果が不確かでないと判定された場合、推論部64による推論結果のみを表示部16によりユーザに出力する。
<第1実施形態に係る学習装置の作用>
次に、第1実施形態に係る学習装置10の作用について説明する。
CPU11がROM12又はストレージ14から学習プログラムを読み出して、RAM13に展開して実行することにより、学習処理が行なわれる。また、学習装置10に、学習データ群が入力される。学習装置10の学習処理では、学習部22は、学習データ群に基づいて、説明変数から目的変数を推論する推論モデルを学習し、推論モデル記憶部24に格納する。そして、分布取得部26は、学習データ群に基づいて、説明変数の分布を取得し、分布記憶部28に格納する。
<第1実施形態に係る推論装置の作用>
次に、第1実施形態に係る推論装置50の作用について説明する。
図9は、推論装置50による推論処理の流れを示すフローチャートである。CPU11がROM12又はストレージ14から推論プログラムを読み出して、RAM13に展開して実行することにより、推論処理が行なわれる。また、推論装置50に、推論対象となる対象データが入力される。
ステップS100で、CPU11は、推論条件取得部60として、入力された対象データの説明変数を取得する。
ステップS102で、CPU11は、推論部64として、推論モデル記憶部62に記憶された推論モデルと、取得した対象データの説明変数とに基づいて、目的変数を推論する。
ステップS104では、CPU11は、通知部70として、推論部64による推論結果を表示部16により表示する。
ステップS106では、CPU11は、比較部68として、推論対象である対象データの説明変数と、学習データ群の説明変数の分布とを比較する。
ステップS108では、CPU11は、比較部68として、比較結果が、一定の基準を満たすか否かを判定する。比較結果が一定の基準を満たさない場合、推論部64による推論結果が不確かであると判定し、ステップS110へ移行する。一方、比較結果が一定の基準を満たす場合、推論部64による推論結果が不確かでないと判定し、推論処理を終了する。
ステップS110では、CPU11は、通知部70として、上記ステップS104で出力された推論結果が不確かである旨を通知する警告メッセージを表示部16により表示し、推論処理を終了する。
以上説明したように、第1実施形態に係る推論装置は、推論対象である対象データと、推論モデルの学習に用いられた学習データ群とを比較し、比較結果が、一定の基準を満たさないか否かを判定することにより、推論モデルによる推論結果が不確かであることをユーザに通知することができる。また、推論モデルの信頼性が下がる推論条件に遭遇したときに、推論モデルのユーザはその状況に気づくことができる。
[第2実施形態]
<第2実施形態に係る学習装置の構成>
第2実施形態の学習装置は、上記第1実施形態の学習装置10と同様であるため、同一符号を付して説明を省略する。
<第2実施形態に係る推論装置の構成>
次に、第2実施形態の推論装置について説明する。第1実施形態と同様の構成となる部分については、同一符号を付して説明を省略する。
第2実施形態の推論装置150のハードウェア構成は、上記図1に示す推論装置50のハードウェア構成と同様である。
入力部15は、推論対象となる対象データを、入力として受け付ける。具体的には、入力部15は、連続値と離散値とを含む説明変数を対象データとして受け付ける。例えば、推論対象日の日中の平均気温と天候(晴れ、曇り、雨、大雨、その他)とを含む説明変数を、対象データとする。
また、入力部15は、推論対象である対象データより未来の対象データを、入力として受け付ける。具体的には、推論対象となる日時により未来の説明変数を、入力として受け付ける。例えば、推論対象となる日時が明日である場合に、明後日以降の1週間先までの6日間の日毎の日中の平均気温と天候とを含む説明変数を、入力として受け付ける。なお、6日間以外の日数であってもよく、例えば、1日間~5日間の何れかでもよく、7日間以上であってもよい。
次に、推論装置150の機能構成について説明する。図10は、推論装置150の機能構成の例を示すブロック図である。
推論装置150は、機能的には、図10に示すように、推論条件取得部60、推論モデル記憶部62、推論部64、分布記憶部66、未来条件取得部160、比較部168、及び通知部170を備えている。
未来条件取得部160は、入力された、推論対象となる対象データより未来の対象データの説明変数を取得する。
比較部168は、比較部68と同様に、推論対象である対象データの説明変数と、学習データ群の説明変数の分布とを比較し、比較結果が、一定の基準を満たさない場合、推論部64による推論結果が不確かであると判定する。
また、比較部168は、未来の対象データの各々について、当該対象データの説明変数と、学習データ群の説明変数の分布とを比較し、比較結果が、一定の基準を満たさない場合、推論部64による未来の推論結果が不確かとなると判定する。例えば、未来の対象データの日毎の平均気温について、学習データ群の平均気温の最大値付近の、データ比率が5%となる値を基準値とし、当該基準値より大きければ、推論部64による未来の推論結果が不確かとなると判定する。また、未来の対象データの日毎の平均気温について、学習データ群の平均気温の最小値付近の、データ比率が5%となる基準値とし、当該基準値より小さければ、推論部64による未来の推論結果が不確かとなると判定する。
また、未来の対象データの日毎の天候について、学習データ群の当該天候と一致するデータ数の比率が、基準値未満であれば、推論部64による未来の推論結果が不確かとなると判定する。また、未来の対象データの日毎の天候について、学習データ群の当該天候と一致するデータ数の比率が、基準値以上であれば、推論部64による未来の推論結果が不確かとならないと判定する。
また、本実施形態では、比較部168は、説明変数の各々について、対象データの当該説明変数と、学習データ群における当該説明変数の分布とを比較する。比較部168は、少なくとも1つの説明変数の比較結果が、一定の基準を満たさない場合に、推論部64による推論結果が不確かであると判定する。一方、比較部168は、全ての説明変数の比較結果が、一定の基準を満たす場合に、推論部64による推論結果が不確かでないと判定する。
また、本実施形態では、比較部168は、説明変数の各々について、未来の対象データの当該説明変数と、学習データ群における当該説明変数の分布とを比較する。比較部168は、少なくとも1つの説明変数の比較結果が、一定の基準を満たさない場合に、推論部64による未来の推論結果が不確かとなると判定する。一方、比較部168は、全ての説明変数の比較結果が、一定の基準を満たす場合に、推論部64による未来の推論結果が不確かとならないと判定する。
通知部170は、推論部64による推論結果が不確かであると判定された場合、推論部64による推論結果に加え、当該推論結果が不確かである旨を表示部16によりユーザに通知する。一方、通知部170は、推論部64による推論結果が不確かでないと判定された場合、推論部64による推論結果のみを表示部16によりユーザに出力する。
また、通知部170は、推論部64による未来の推論結果が不確かであると判定された場合、未来の推論結果が不確かとなる旨を表示部16によりユーザに通知する。
なお、第2実施形態の学習装置10及び推論装置150の他の構成及び作用については第1実施形態と同様であるため、説明を省略する。
以上説明したように、第2実施形態に係る推論装置は、推論対象である対象データより未来の説明変数と、推論モデルの学習に用いられた学習データ群の説明変数の分布とを比較し、比較結果が、一定の基準を満たさないか否かを判定することにより、推論モデルによる未来の推論結果が不確かとなることをユーザに通知することができる。
また、気温の予報の情報は明日だけでなく、一般的には1週間ほど先でも入手可能である。このような場合、近い未来に推論結果の信頼性が下がる事態にはユーザはいち早く気づくことができる。
[第3実施形態]
<第3実施形態の概要>
上記の第1実施形態及び第2実施形態では、対象データの説明変数と学習データ群の説明変数の分布とを比較する場合を例に説明していたが、本実施形態では、学習データに含まれる、説明変数とは異なる変数の値の分布と、対象データの当該変数の値とを比較する。
例えば、上記の傷病者数を推論する例では、対象地域の日中の人口は200万人前後で、その値は通常は変わらず、実際、学習データを記録した際の対象地域の日中の人口もほぼすべての場合で200万人前後であったとすると、推論モデルの説明変数として人口を加えないことが十分あり得る。また、上記の推論モデルは、日中の人口が200万人前後であることが前提の推論モデルということになる。
しかし、歴史的に大きな災害やイベント等で、稀に人口が大幅に減少もしくは増加する可能性を考え、その場合には推論モデルの推論結果の信頼性が下がる旨を警告できるようにしたいとする。そこで、本実施形態では、対象地域における通常時の人口の分布も記憶しておき、推論モデルの説明変数とはなっていないが、推論対象日の対象地域の日中の人口も取得できるようにしておく。そして、推論対象日の対象地域の日中の人口と、通常の人口の分布とを比較し、推論対象日の対象地域の日中の人口が、通常の人口の分布の最大値あるいは最小値に近いようであれば、警告を出すようにする。
<第3実施形態に係る学習装置の構成>
第3実施形態の学習装置は、上記第1実施形態の学習装置10と同様であるため、同一符号を付して説明を省略する。
入力部15は、学習データ群を、入力として受け付ける。具体的には、入力部15は、連続値と離散値とを含む説明変数と、目的変数との組である複数の学習データからなる学習データ群を受け付ける。ここで、学習データには、説明変数とは異なる変数であって、推論条件となる条件変数が含まれている。例えば、説明変数(日中の平均気温と天候)とは異なる、対象地域の日中の人口が、条件変数として学習データに含まれている。なお、対象地域の人口の取得方法に関しては、携帯電話の基地局やGPS機能を利用して地域毎の人口を割り出す方法を利用すればよい。
分布取得部26は、学習データ群に基づいて、条件変数の分布を取得する。例えば、分布取得部26は、図11に示すような、連続値のデータである日中の人口の分布を取得する。この分布は、各人口についての、学習データ群における当該人口の学習データの比率を表している。
分布記憶部28は、分布取得部26によって得られた、条件変数の分布を記憶する。
<第3実施形態に係る推論装置の構成>
第3実施形態の推論装置は、上記第1実施形態の推論装置50と同様であるため、同一符号を付して説明を省略する。
入力部15は、推論対象となる対象データを、入力として受け付ける。具体的には、入力部15は、連続値と離散値とを含む説明変数を対象データとして受け付ける。また、対象データには、説明変数とは異なる変数であって、推論条件となる条件変数が含まれている。例えば、説明変数(日中の平均気温と天候)とは異なる、対象地域の日中の人口が、条件変数として対象データに含まれている。
推論条件取得部60は、入力された対象データの説明変数及び条件変数を取得する。
推論部64は、推論モデル記憶部62に記憶された推論モデルと、取得した対象データの説明変数とに基づいて、目的変数を推論する。
分布記憶部66は、分布記憶部28と同様に、学習データ群の条件変数の分布を記憶する。
比較部68は、推論対象である対象データの条件変数と、学習データ群の条件変数の分布とを比較し、比較結果が、一定の基準を満たさない場合、推論部64による推論結果が不確かであると判定する。
具体的には、連続値である条件変数について、学習データ群の条件変数の分布と比較する場合に、一定の基準を、対象データの連続値が、学習データ群の連続値の最大値に対応する基準値以下であり、学習データ群の連続値の最小値に対応する基準値以上であることとする。比較部68は、比較結果が、一定の基準を満たさないか否かを判定する。
例えば、学習データ群の連続値の最大値付近の、データ比率が5%となる値を基準値とし、当該基準値より大きければ、推論部64による推論結果が不確かであると判定する。また、学習データ群の連続値の最小値付近の、データ比率が5%となる基準値とし、当該基準値より小さければ、推論部64による推論結果が不確かであると判定する。
図11は、110万人という日中の人口と学習データ群の通常時の人口の分布とを比較した結果である。110万人という人口は、学習データ群の通常時の人口の最小値付近の、データ比率が5%となる人口より低い。そのため、比較部68は、推論部64による推論結果が不確かであると判定する。
また、離散値である条件変数について、学習データ群の条件変数の分布と比較する場合に、一定の基準を、学習データ群の離散値である条件変数が、対象データの離散値である条件変数と一致するデータ数が、基準数以上であることとする。比較部68は、比較結果が、一定の基準を満たさないか否かを判定する。
なお、比較部68は、説明変数についても、対象データの当該説明変数と、学習データ群における当該説明変数の分布とを比較してもよい。この場合、比較部68は、条件変数の比較結果、及び説明変数の比較結果の少なくとも一方が、一定の基準を満たさない場合に、推論部64による推論結果が不確かであると判定する。一方、比較部68は、条件変数の比較結果、及び説明変数の比較結果の双方が、一定の基準を満たす場合に、推論部64による推論結果が不確かでないと判定する。
通知部70は、推論部64による推論結果が不確かであると判定された場合、推論部64による推論結果に加え、当該推論結果が不確かである旨を表示部16によりユーザに通知する。例えば、上記図11に示すように、当該推論結果が不確かである旨を通知する警告メッセージを表示部16により表示する。
なお、第3実施形態の学習装置10及び推論装置50の他の構成及び作用については第1実施形態と同様であるため、説明を省略する。
以上説明したように、第3実施形態に係る推論装置は、推論対象である対象データの説明変数とは異なる条件変数と、推論モデルの学習に用いられた学習データ群の条件変数の分布とを比較し、比較結果が、一定の基準を満たさないか否かを判定することにより、推論モデルによる推論結果が不確かであることをユーザに通知することができる。
なお、本発明は、上述した実施形態の装置構成及び作用に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。
例えば、上記実施形態でCPUがソフトウェア(プログラム)を読み込んで実行した各種処理を、CPU以外の各種のプロセッサが実行してもよい。この場合のプロセッサとしては、FPGA(Field-Programmable Gate Array)等の製造後に回路構成を変更可能なPLD(Programmable Logic Device)、及びASIC(Application Specific Integrated Circuit)等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が例示される。また、推論処理を、これらの各種のプロセッサのうちの1つで実行してもよいし、同種又は異種の2つ以上のプロセッサの組み合わせ(例えば、複数のFPGA、及びCPUとFPGAとの組み合わせ等)で実行してもよい。また、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子等の回路素子を組み合わせた電気回路である。
また、上記各実施形態では、推論プログラムがストレージ14に予め記憶(インストール)されている態様を説明したが、これに限定されない。プログラムは、CD-ROM(Compact Disk Read Only Memory)、DVD-ROM(Digital Versatile Disk Read Only Memory)、及びUSB(Universal Serial Bus)メモリ等の非一時的(non-transitory)記憶媒体に記憶された形態で提供されてもよい。また、プログラムは、ネットワークを介して外部装置からダウンロードされる形態としてもよい。
また、上記各実施形態では、天候や気温などから傷病者の発生数を推論する場合を例に説明したが、これに限定されない。説明変数を、天候や気温以外の多次元データとし、目的変数を、傷病者の発生数以外のデータとしてもよい。また、説明変数が、連続値と離散値との双方を含んでいる場合を例に説明したが、これに限定されない。説明変数が、連続値のみであってもよいし、離散値のみであってもよい。
また、上記第3実施形態で説明した、推論条件となる条件変数について、学習データ群の分布と比較する技術を、上記第2実施形態に適用し、未来の条件変数と、学習データ群における条件変数の分布とを比較するようにしてもよい。
また、学習装置及び推論装置を、別々の装置として構成する場合を例に説明したが、これに限定されない。学習装置及び推論装置を、一つの装置として構成してもよい。
以上の実施形態に関し、更に以下の付記を開示する。
(付記項1)
推論モデルによる推論結果が不確かである場合、前記推論結果とともに前記推論結果が不確かである旨をユーザに通知する推論装置であって、
メモリと、
前記メモリに接続された少なくとも1つのプロセッサと、
を含み、
前記プロセッサは、
推論対象である対象データと、前記推論モデルの学習に用いられたデータである学習データ群とを比較し、比較結果が、一定の基準を満たさない場合、不確かであると判定し、
不確かであると判定された場合、前記推論結果に加え、前記推論結果が不確かである旨をユーザに通知する、
推論装置。
(付記項2)
推論モデルによる推論結果が不確かである場合、前記推論結果とともに前記推論結果が不確かである旨をユーザに通知する推論処理を実行するようにコンピュータによって実行可能なプログラムを記憶した非一時的記憶媒体であって、
前記推論処理は、
推論対象である対象データと、前記推論モデルの学習に用いられたデータである学習データ群とを比較し、比較結果が、一定の基準を満たさない場合、不確かであると判定し、
不確かであると判定された場合、前記推論結果に加え、前記推論結果が不確かである旨をユーザに通知する、
非一時的記憶媒体。
10 学習装置
15 入力部
16 表示部
20 学習データ記憶部
22 学習部
24 推論モデル記憶部
26 分布取得部
28 分布記憶部
50、150 推論装置
60 推論条件取得部
62 推論モデル記憶部
64 推論部
66 分布記憶部
68、168 比較部
70、170 通知部
150 推論装置
160 未来条件取得部

Claims (11)

  1. 推論モデルによる推論結果が不確かである場合、前記推論結果とともに前記推論結果が不確かである旨をユーザに通知する推論装置であって、
    推論対象である対象データと、前記推論モデルの学習に用いられたデータである学習データ群とを比較し、比較結果が、一定の基準を満たさない場合、不確かであると判定する比較部と、
    不確かであると判定された場合、前記推論結果に加え、前記推論結果が不確かである旨をユーザに通知する通知部と、
    を含み、
    前記推論モデルは、説明変数から目的変数を推論するモデルであり、
    前記説明変数は、連続値である気温、及び離散値である気候を含み、
    前記気温についての前記一定の基準は、前記対象データの気温が、前記学習データ群の気温の最大値に対応する基準値以下であり、前記学習データ群の気温の最小値に対応する基準値以上であることであり、
    前記気温についての前記一定の基準は、前記学習データ群の気候が、前記対象データの気候と一致するデータ数が、基準数以上であることであり、
    前記比較部は、少なくとも1つの説明変数の比較結果が、一定の基準を満たさない場合に、前記推論結果が不確かであると判定し、全ての説明変数の比較結果が、一定の基準を満たす場合に、前記推論結果が不確かでないと判定する推論装置。
  2. 推論モデルによる推論結果が不確かである場合、前記推論結果とともに前記推論結果が不確かである旨をユーザに通知する推論装置であって、
    推論対象である対象データと、前記推論モデルの学習に用いられたデータである学習データ群とを比較し、比較結果が、一定の基準を満たさない場合、不確かであると判定する比較部と、
    不確かであると判定された場合、前記推論結果に加え、前記推論結果が不確かである旨をユーザに通知する通知部と、
    を含み、
    前記推論モデルは、説明変数から目的変数を推論するモデルであり、
    前記比較部は、
    前記対象データに含まれる、前記説明変数とは異なる条件変数と、前記学習データ群の各々に含まれる前記条件変数とを比較し、比較結果が、一定の基準を満たさない場合、不確かであると判定する推論装置。
  3. 推論モデルによる推論結果が不確かである場合、前記推論結果とともに前記推論結果が不確かである旨をユーザに通知する推論装置であって、
    推論対象である対象データと、前記推論モデルの学習に用いられたデータである学習データ群とを比較し、比較結果が、一定の基準を満たさない場合、不確かであると判定する比較部と、
    不確かであると判定された場合、前記推論結果に加え、前記推論結果が不確かである旨をユーザに通知する通知部と、
    を含み、
    前記比較部は、
    更に、前記推論対象である前記対象データより未来の前記対象データと、前記学習データ群とを比較し、比較結果が、前記一定の基準を満たさない場合、未来の推論結果が不確かとなると判定し、
    前記通知部は、未来の推論結果が不確かとなると判定された場合、未来の推論結果が不確かとなる旨をユーザに通知する推論装置。
  4. 前記データは、連続値を含み、
    前記一定の基準は、前記対象データの連続値が、前記学習データ群の連続値の最大値に対応する基準値以下であり、前記学習データ群の連続値の最小値に対応する基準値以上であることである請求項2又は3記載の推論装置。
  5. 前記データは、離散値を含み、
    前記一定の基準は、前記学習データ群の離散値が、前記対象データの離散値と一致するデータ数が、基準数以上であることである請求項2又は3記載の推論装置。
  6. 推論モデルによる推論結果が不確かである場合、前記推論結果とともに前記推論結果が不確かである旨をユーザに通知する推論装置における推論方法であって、
    比較部が、推論対象である対象データと、前記推論モデルの学習に用いられたデータである学習データ群とを比較し、比較結果が、一定の基準を満たさない場合、不確かであると判定し、
    通知部が、不確かであると判定された場合、前記推論結果に加え、前記推論結果が不確かである旨をユーザに通知する
    ことを含み、
    前記推論モデルは、説明変数から目的変数を推論するモデルであり、
    前記説明変数は、連続値である気温、及び離散値である気候を含み、
    前記気温についての前記一定の基準は、前記対象データの気温が、前記学習データ群の気温の最大値に対応する基準値以下であり、前記学習データ群の気温の最小値に対応する基準値以上であることであり、
    前記気温についての前記一定の基準は、前記学習データ群の気候が、前記対象データの気候と一致するデータ数が、基準数以上であることであり、
    前記比較することでは、少なくとも1つの説明変数の比較結果が、一定の基準を満たさない場合に、前記推論結果が不確かであると判定し、全ての説明変数の比較結果が、一定の基準を満たす場合に、前記推論結果が不確かでないと判定する推論方法。
  7. 推論モデルによる推論結果が不確かである場合、前記推論結果とともに前記推論結果が不確かである旨をユーザに通知する推論装置における推論方法であって、
    比較部が、推論対象である対象データと、前記推論モデルの学習に用いられたデータである学習データ群とを比較し、比較結果が、一定の基準を満たさない場合、不確かであると判定し、
    通知部が、不確かであると判定された場合、前記推論結果に加え、前記推論結果が不確かである旨をユーザに通知する
    ことを含み、
    前記推論モデルは、説明変数から目的変数を推論するモデルであり、
    前記比較することでは、
    前記対象データに含まれる、前記説明変数とは異なる条件変数と、前記学習データ群の各々に含まれる前記条件変数とを比較し、比較結果が、一定の基準を満たさない場合、不確かであると判定する推論方法。
  8. 推論モデルによる推論結果が不確かである場合、前記推論結果とともに前記推論結果が不確かである旨をユーザに通知する推論装置における推論方法であって、
    比較部が、推論対象である対象データと、前記推論モデルの学習に用いられたデータである学習データ群とを比較し、比較結果が、一定の基準を満たさない場合、不確かであると判定し、
    通知部が、不確かであると判定された場合、前記推論結果に加え、前記推論結果が不確かである旨をユーザに通知する
    ことを含み、
    前記比較することでは、
    更に、前記推論対象である前記対象データより未来の前記対象データと、前記学習データ群とを比較し、比較結果が、前記一定の基準を満たさない場合、未来の推論結果が不確かとなると判定し、
    前記通知することでは、未来の推論結果が不確かとなると判定された場合、未来の推論結果が不確かとなる旨をユーザに通知する推論方法。
  9. 推論モデルによる推論結果が不確かである場合、前記推論結果とともに前記推論結果が不確かである旨をユーザに通知するための推論プログラムであって、
    推論対象である対象データと、前記推論モデルの学習に用いられたデータである学習データ群とを比較し、比較結果が、一定の基準を満たさない場合、不確かであると判定し、
    不確かであると判定された場合、前記推論結果に加え、前記推論結果が不確かである旨をユーザに通知する
    ことを含み、
    前記推論モデルは、説明変数から目的変数を推論するモデルであり、
    前記説明変数は、連続値である気温、及び離散値である気候を含み、
    前記気温についての前記一定の基準は、前記対象データの気温が、前記学習データ群の気温の最大値に対応する基準値以下であり、前記学習データ群の気温の最小値に対応する基準値以上であることであり、
    前記気温についての前記一定の基準は、前記学習データ群の気候が、前記対象データの気候と一致するデータ数が、基準数以上であることであり、
    前記比較することでは、少なくとも1つの説明変数の比較結果が、一定の基準を満たさない場合に、前記推論結果が不確かであると判定し、全ての説明変数の比較結果が、一定の基準を満たす場合に、前記推論結果が不確かでないと判定する
    ことをコンピュータに実行させるための推論プログラム。
  10. 推論モデルによる推論結果が不確かである場合、前記推論結果とともに前記推論結果が不確かである旨をユーザに通知するための推論プログラムであって、
    推論対象である対象データと、前記推論モデルの学習に用いられたデータである学習データ群とを比較し、比較結果が、一定の基準を満たさない場合、不確かであると判定し、
    不確かであると判定された場合、前記推論結果に加え、前記推論結果が不確かである旨をユーザに通知する
    ことを含み、
    前記推論モデルは、説明変数から目的変数を推論するモデルであり、
    前記比較することでは、
    前記対象データに含まれる、前記説明変数とは異なる条件変数と、前記学習データ群の各々に含まれる前記条件変数とを比較し、比較結果が、一定の基準を満たさない場合、不確かであると判定する
    ことをコンピュータに実行させるための推論プログラム。
  11. 推論モデルによる推論結果が不確かである場合、前記推論結果とともに前記推論結果が不確かである旨をユーザに通知するための推論プログラムであって、
    推論対象である対象データと、前記推論モデルの学習に用いられたデータである学習データ群とを比較し、比較結果が、一定の基準を満たさない場合、不確かであると判定し、
    不確かであると判定された場合、前記推論結果に加え、前記推論結果が不確かである旨をユーザに通知する
    ことを含み、
    前記比較することでは、
    更に、前記推論対象である前記対象データより未来の前記対象データと、前記学習データ群とを比較し、比較結果が、前記一定の基準を満たさない場合、未来の推論結果が不確かとなると判定し、
    前記通知することでは、未来の推論結果が不確かとなると判定された場合、未来の推論結果が不確かとなる旨をユーザに通知する
    ことをコンピュータに実行させるための推論プログラム。
JP2022558771A 2020-10-30 2020-10-30 推論装置、推論方法、及び推論プログラム Active JP7476976B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2020/040902 WO2022091368A1 (ja) 2020-10-30 2020-10-30 推論装置、推論方法、及び推論プログラム

Publications (2)

Publication Number Publication Date
JPWO2022091368A1 JPWO2022091368A1 (ja) 2022-05-05
JP7476976B2 true JP7476976B2 (ja) 2024-05-01

Family

ID=81383830

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022558771A Active JP7476976B2 (ja) 2020-10-30 2020-10-30 推論装置、推論方法、及び推論プログラム

Country Status (3)

Country Link
US (1) US20230385661A1 (ja)
JP (1) JP7476976B2 (ja)
WO (1) WO2022091368A1 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140279762A1 (en) 2013-03-15 2014-09-18 REMTCS Inc. Analytical neural network intelligent interface machine learning method and system
US20170164907A1 (en) 2015-12-14 2017-06-15 Samsung Electronics Co., Ltd. Method and system for monitoring continuous biomedical signal

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5816143B2 (ja) * 2012-08-22 2015-11-18 株式会社神戸製鋼所 材質推定値評価システム、材質推定値評価方法、及びコンピュータプログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140279762A1 (en) 2013-03-15 2014-09-18 REMTCS Inc. Analytical neural network intelligent interface machine learning method and system
US20170164907A1 (en) 2015-12-14 2017-06-15 Samsung Electronics Co., Ltd. Method and system for monitoring continuous biomedical signal

Also Published As

Publication number Publication date
US20230385661A1 (en) 2023-11-30
WO2022091368A1 (ja) 2022-05-05
JPWO2022091368A1 (ja) 2022-05-05

Similar Documents

Publication Publication Date Title
Guo et al. Fuzzy DEA: a perceptual evaluation method
CN109377542B (zh) 三维模型渲染方法、装置及电子设备
Wu et al. Value of condition monitoring for optimal replacement in the proportional hazards model with continuous degradation
Avuglah et al. Application of ARIMA models to road traffic accident cases in Ghana
CA2916896C (en) Method and apparatus for automating network data analysis of user's activities
JP2015049626A (ja) 災害情報提供システム
JP7476976B2 (ja) 推論装置、推論方法、及び推論プログラム
CN116418653A (zh) 基于多指标根因定位算法的故障定位方法及装置
Liu et al. Steady-state analysis of SECIR rumor spreading model in complex networks
Xu et al. Availability optimisation of repairable system with preventive maintenance policy
Muhlmeyer et al. Event triggered social media chatter: A new modeling framework
Wang et al. Reliability of systems subject to competing failure propagation and probabilistic failure isolation
Jayatilaka et al. Use of Artificial Intelligence on spatio-temporal data to generate insights during COVID-19 pandemic: A Review
Sparks et al. Detection of multiple outbreaks using spatio-temporal EWMA-ordered statistics
Lin et al. Reliability-based measures for a system with an uncertain parameter environment
Espinoza Incommensurability: the failure to compare risks
CN116049752A (zh) 时序数据异常检测方法、装置、设备及可读存储介质
Islam et al. Predictive modelling of fuel shortages during hurricane evacuation: An epidemiological approach
Fahmy et al. Detection of linear trends in process mean
CN115545943A (zh) 一种图谱的处理方法、装置及设备
Shi et al. The role a fuzzy implication plays in a multi-criteria decision algorithm
Xie et al. Treatment of evacuation time uncertainty using polynomial chaos expansion
CN110266525B (zh) Cdn服务器数量配置方法、设备及计算机可读存储介质
Aghaie Evaluating ISO 9001: 2000 implementation using fault tree analysis (FTA)
Ding et al. RBOTUE: Rumor blocking considering outbreak threshold and user experience

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230313

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240109

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240207

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240319

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240401

R150 Certificate of patent or registration of utility model

Ref document number: 7476976

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150