JP7414502B2 - 情報処理装置、情報処理方法およびプログラム - Google Patents

情報処理装置、情報処理方法およびプログラム Download PDF

Info

Publication number
JP7414502B2
JP7414502B2 JP2019223816A JP2019223816A JP7414502B2 JP 7414502 B2 JP7414502 B2 JP 7414502B2 JP 2019223816 A JP2019223816 A JP 2019223816A JP 2019223816 A JP2019223816 A JP 2019223816A JP 7414502 B2 JP7414502 B2 JP 7414502B2
Authority
JP
Japan
Prior art keywords
data
input data
relationship
model
input
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019223816A
Other languages
English (en)
Other versions
JP2021093020A (ja
Inventor
舜 奥野
弘樹 上田
信輔 櫻木
優 田中
玲 是此田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Toshiba Digital Solutions Corp
Original Assignee
Toshiba Corp
Toshiba Digital Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp, Toshiba Digital Solutions Corp filed Critical Toshiba Corp
Priority to JP2019223816A priority Critical patent/JP7414502B2/ja
Publication of JP2021093020A publication Critical patent/JP2021093020A/ja
Application granted granted Critical
Publication of JP7414502B2 publication Critical patent/JP7414502B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Description

本発明の実施形態は、情報処理装置、情報処理方法およびプログラムに関する。
電力を使用する地域ごとに機械学習などにより作成されたモデルを用いて、指定された地域での電力の需要を気象データから予測する技術が提案されている。気象データは、例えば気象台などの施設が設置されている地域について気象庁が提供するデータを用いることができる。また、限定された地域に対して提供される気象データから、気象データが提供されない地域の気象データを予測する技術が提案されている。予測した気象データも用いれば、広範囲の地域の需要予測をより高精度に実現可能となる。
上記のような予測技術では、予測の精度に悪い影響を与えるデータおよび良い影響を与えるデータを抽出し、悪い影響を与えるデータを用いず、良い影響を与えるデータを用いるように構成することが望ましい。
特開2019-087027号公報
しかしながら、従来技術では、予測の精度に悪い影響を与えるデータおよび良い影響を与えるデータを効率的に抽出できない場合があった。
実施形態の情報処理装置は、取得部と、学習部と、出力制御部と、を備える。取得部は、位置に応じて値が連続的に変化する時系列データを含む入力データを入力して推論結果を出力するモデルに入力する入力データ、および、モデルによる推論の正解を表す正解データを取得する。学習部は、入力データから選択された第1入力データと、正解データと、を用いてモデルを学習する。出力制御部は、学習されたモデルによる推論結果に対する第1入力データの寄与度を出力する。学習部は、入力データのうち出力された寄与度に応じて指定された第2入力データに基づく第3入力データと、正解データと、を用いてモデルをさらに学習する。
図1は、実施形態にかかる情報処理装置の構成の一例を示すブロック図である。 図2は、事象データのデータ構造の一例を示す図である。 図3は、気象データに含まれうる気象を表す項目の例を示す図である。 図4は、地理データのデータ構造の一例を示す図である。 図5は、事象データのデータ構造の一例を示す図である。 図6は、追加データのデータ構造の一例を示す図である。 図7は、実施形態における学習処理の一例を示すフローチャートである。 図8は、実施形態における推論処理の一例を示すフローチャートである。 図9は、説明変数抽出処理の一例を示すフローチャートである。 図10は、度数分布R1の作成方法の一例を説明するための図である。 図11は、度数分布R1の作成方法の一例を説明するための図である。 図12は、度数分布R1の作成方法の一例を説明するための図である。 図13は、度数分布R2の例を示す図である。 図14は、説明変数抽出処理の他の例を示すフローチャートである。 図15は、推論結果を表示する表示画面の例を示す図である。 図16は、推論結果を表示する表示画面の例を示す図である。 図17は、推論結果を表示する表示画面の例を示す図である。 図18は、推論結果を表示する表示画面の例を示す図である。 図19は、推論結果を表示する表示画面の例を示す図である。 図20は、実施形態にかかる情報処理装置のハードウェア構成例を示す説明図である。
以下に添付図面を参照して、この発明にかかる情報処理装置の好適な実施形態を詳細に説明する。
以下では、気象データ(予測した気象データを含む)を含む入力データから、ある事象の発生を推論(予測)する情報処理システムを例に説明する。入力データは気象データに限られるものではない。位置(地図上の位置など)に応じて値が連続的に変化する他の時系列データを入力データとして用いてもよい。推論対象はどのような対象であってもよい。例えば、推論対象は、事象が発生するか否かであってもよいし、事象の発生量であってもよい。
上記のような情報処理システムは、1以上の説明変数から目的変数を推論(予測)するシステムであると解釈することができる。電力需要予測の場合は、気象データが説明変数に相当し、電力需要が目的変数に相当する。
目的変数となる事象のデータ(事象データ)と、説明変数となる気象データとの関連性が高いほど機械学習モデルによる予測精度は高くなる。一方、時系列的な地域傾向を勘案した場合に、予測の対象となる地域と遠い地域の気象データなどは、予測精度に悪い影響を与える場合がある。従来は、どのようなデータが予測に影響を与えるかについての知見は、分析者の経験則として蓄積されており、需要予測作業が属人化している場合があった。
本実施形態では、多数の説明変数(気象データなど)のうち、予測の精度に影響を与える説明変数を可視化し、定量的な指標に基づいて所望の説明変数を除外可能とするとともに、分析者の経験則などに基づく、予測精度によい影響を与える説明変数を指定可能とする。
例えば日本全域を対象として電力需要を予測するような場合、データが非常に多量になることから、分析者などが人手により分析することは困難となるし、計算機を利用した場合でも計算コストが非常に高くなる。本実施形態によれば、機械学習モデルによる推論(予測)の精度に影響がある説明変数の種類および属性を可視化し、従来の知見も考慮して予測精度によい影響を与える説明変数を指定(選択)可能となる。このため、計算コストを低減することができる。
図1は、本実施形態にかかる情報処理装置100の構成の一例を示すブロック図である。図1に示すように、情報処理装置100は、取得部101と、符号化部102と、抽出部103と、学習部104と、出力制御部105と、推論部111と、表示部131と、事象データ記憶部121と、気象データ記憶部122と、追加データ記憶部123と、地理データ記憶部124と、特徴量記憶部125と、モデル記憶部126と、抽出情報記憶部127と、を備えている。
取得部101は、情報処理装置100で実行される各種処理で用いられる各種データを取得する。例えば取得部101は、推論に用いられる機械学習モデルに入力する入力データ、正解データ、および、地理データなどを取得する。
取得部101による各データの取得方法は、どのような方法であってもよい。例えば、外部装置からネットワークを介して取得する方法、および、記憶媒体に記憶されたデータを読み込む方法などを適用できる。ネットワークは、LAN(ローカルエリアネットワーク)、および、インターネットなどであるが、その他のどのようなネットワークであってもよい。またネットワークは、有線ネットワークおよび無線ネットワークのいずれであってもよい。取得するデータに応じて取得方法を変更してもよい。例えば取得部101は、サーバ装置から事象データを取得し、気象データを提供する気象予測システムから気象データを取得し、WEBスクレイピングシステムから追加データ(後述)を取得するように構成してもよい。
以下では、位置に応じて値が連続的に変化する時系列データとして気象データを入力データが含む場合を例に説明する。入力データは、気象データなどの他に、推論に影響しうるどのようなデータを含んでもよい。気象データ以外に用いられるデータを以下では追加データという場合がある。入力データ(気象データ、追加データ)は、説明変数に相当する。
正解データは、機械学習モデルの学習時に用いられるデータであり、機械学習モデルによる推論の正解を表すデータである。例えば、予測の対象となる事象が過去に発生した時刻および位置などを表すデータが、正解データとなりうる。以下では、正解データを事象データという場合がある。
地理データは、事象が発生しうる地域の位置などを表すデータである。気象データ、事象データ、および、地理データのデータ構造の例は後述する。
符号化部102は、入力されたデータ(入力データ、正解データなど)を符号化(エンコード)し、符号化の結果である特徴量を出力する。符号化部102は、入力されたデータを後段の処理で使用しやすい形式に変換する処理を行うと解釈することができる。例えば時間的に疎なデータを用いる場合、時間的に連続な事象を予測できるように、このデータを時間的に連続なデータに変換する必要がある。符号化部102は、例えば以下のような手法により、データを符号化する。
・ワンホット符号化(One-hot Encoding):任意の事象のカテゴリ値を機械学習モデルが解釈しやすい形式のデータ(特徴量)で表す。
・カウント符号化(Count Encoding):任意の期間内におけるカテゴリの出現回数を特徴量とする。
・コンソリデーション符号化(Consolidation Encoding):データ内に存在する表記揺れ等の事項を解消しながら特徴量に符号化する。
・インタラクション(Interaction):特徴量同士の関係を新たな特徴量とする。
・トレンドライン(Trend lines)データセットを任意の時系列の傾向データに加工し、傾向値を特徴量として表す。
符号化の手法は上記に限られるものではない。符号化部102は、上記の複数の手法を組み合わせて用いてもよい。
抽出部103は、複数の説明変数(特徴量に符号化された入力データ)から、機械学習モデルの学習処理、および、機械学習モデルによる推論処理で用いる説明変数を抽出する。例えば抽出部103は、複数の説明変数のうち、目的変数(事象データ)に対してより相関がある説明変数を抽出する。
学習部104は、機械学習モデルを学習する。機械学習モデルは、入力データ(気象データなど)を入力して推論結果(事象の発生など)を出力するモデルである。機械学習モデルは、どのような形式のモデルであってもよいが、例えば、ランダムフォレスト、二分木、および、ニューラルネットワークなどのモデルを適用できる。学習部104は、適用する機械学習モデルで用いられるどのような学習方法により学習処理を実行してもよい。例えば学習部104は、複数の説明変数から選択(抽出)された説明変数(第1入力データ)と、正解データに相当する事象データと、を用いて機械学習モデルを学習する。
推論部111は、機械学習モデルによる推論を実行する。例えば推論部111は、学習部104により学習済みの機械学習モデルに、新たに入力データを入力して推論を実行する。推論に用いる入力データは、例えば、複数の説明変数(特徴量に符号化された入力データ)のうち、学習時に選択(抽出)された説明変数と同じ説明変数である。
出力制御部105は、表示部131などの出力装置に対するデータの出力を制御する。例えば出力制御部105は、学習部104により学習された機械学習モデルによる推論結果を表示部131に表示させる。本実施形態では、出力制御部105は、学習部104による学習時に、学習された機械学習モデルによる推論に寄与する説明変数を可視化する処理を制御する。例えば出力制御部105は、学習された機械学習モデルによる推論結果に対する各説明変数の寄与度を表示部131に表示する。
寄与度の出力方法は、使用する機械学習モデルに応じて様々な方法を適用しうる。機械学習モデルとして決定木を用いる場合は、出力制御部105は、dtreevizと呼ばれる可視化方法を適用できる。dtreevizは、決定木の内部における特徴量の可視化が可能なOSS(Open Source Software)ライブラリである。寄与度を可視化することにより、ある説明変数が機械学習モデル内でどのような振る舞いをして予測結果に寄与しているかを確認し、特異な影響を与えている説明変数を明らかにすることが可能となる。
ユーザは、表示された寄与度を参照して、学習に用いる説明変数をさらに指定(選択)することができる。抽出部103は、このようにして指定された説明変数(第2入力データ)、および、指定された説明変数に基づく他の説明変数を、さらに抽出する。また、学習部104は、抽出された説明変数と事象データとを用いて機械学習モデルを学習する処理を繰り返す。このような処理により、予測の精度に悪い影響を与えるデータおよび良い影響を与えるデータを効率的に抽出可能となる。
表示部131は、データを表示する液晶ディスプレイなどの表示装置である。表示部131は、出力制御部105の制御に従い、例えば、機械学習モデルによる推論結果を表示する。
事象データ記憶部121は、例えば取得部101により取得された事象データを記憶する。図2は、事象データのデータ構造の一例を示す図である。図2に示すように、事象データは、IDと、発生日時と、緯度と、経度と、を含む。IDは、事象データを識別する情報である。発生日時は、事象が発生した日時(年月日、時刻など)を表す。緯度および経度は、事象が発生した位置を特定するための情報である。事象データは、緯度および経度の代わりに、事象が発生した位置を特定可能な他の情報を含んでもよい。例えば、事象が発生した地域の名称(都市名など)、および、事象が発生した施設の名称などが、事象が発生した位置を特定可能な情報の他の例である。
図2は、ある事象が発生したか否かを表す事象データの例である。ある事象の発生量(例えば電力需要を予測する場合、発生した電力需要の量)を含む事象データが用いられてもよい。
図1に戻り、気象データ記憶部122は、例えば取得部101により取得された気象データを記憶する。気象データは、例えば、地域ごとおよび日時ごとの、気温、風速、および、降水量などの気象に関する各項目の値を含む。気象データは、気象庁などにより提供されるデータを用いてもよいし、提供されたデータから予測された気象データを用いてもよい。予測された気象データを用いれば、気象データが疎な地域で精密な予測ができないなどの問題を回避し、より広範囲の地域でより高精度に予測を実行することが可能となる。
図3は、気象データに含まれうる気象に関する項目の例を示す図である。図3に示すように、気象データは、気温、風速、および、降水量などの一般的に知られる項目のみでなく、他の多数の項目を含みうる。本実施形態によれば、これらの項目のうち、機械学習モデルによる推論によい影響を与える項目を効率的に見つけることが可能となる。
図1に戻り、追加データ記憶部123は、例えば取得部101により取得された追加データを記憶する。上記のように、追加データは、気象データ以外に入力データとして追加されうるデータである。追加データは必須ではない。追加データはどのようなデータおよびデータ構造であってもよい。例えば、大型連休(ゴールデンウィーク、シルバーウィーク、お盆休暇、年末年始休暇など)などのイベントの有無を追加データとすることができる。
地理データ記憶部124は、例えば取得部101により取得された地理データを記憶する。図4は、地理データのデータ構造の一例を示す図である。図4の地理データは、予測対象とする地域ごとの緯度および経度などの位置情報を定めたデータである。図4に示すように、地理データは、都道府県コードと、IDと、緯度と、経度と、地域名と、を含む。都道府県コードは、日本の都道府県を識別する情報である。IDは、地域を識別する情報である。地域名は、地域の名称を表す。
地理データは、例えば、出力制御部105が推論結果を地図上に表示するとき、および、符号化部102がデータを地域ごとのデータに符号化するときに参照される。図5は、特徴量に符号化した後の事象データのデータ構造の一例を示す図である。図5は、例えば、図2に示すような緯度および経度ごとに表された事象の発生を示す事象データを、地域ごとの事象の発生回数を表すように符号化した特徴量の例を示す。図5に示すように、符号化した事象データ(特徴量)は、日付ごと、および、地域ごとの事象の発生回数を含む。
図1に戻り、特徴量記憶部125は、例えば符号化部102により符号化された特徴量を記憶する。例えば特徴量記憶部125は、図5で説明した、符号化された事象データ、および、図6に示すような符号化された追加データを記憶する。図6は、特徴量に符号化した後の追加データのデータ構造の一例を示す図である。
図6は、例えば、休暇(イベントの一例)の期間(日付の範囲)を示す追加データが取得された場合に、この追加データを、地域ごとおよび日付ごとのイベントの発生有無(1:発生する、0:発生しない)を示す形式に符号化した例を示す。
図1に戻り、モデル記憶部126は、機械学習モデルを表す情報を記憶する。
抽出情報記憶部127は、複数の説明変数から推論に用いる説明変数を抽出するための条件を示す抽出情報を記憶する。例えば抽出情報記憶部127は、より高精度に予測が可能な機械学習モデルを学習したときに抽出された説明変数を特定する情報を、抽出情報として記憶する。
上記各部(取得部101、符号化部102、抽出部103、学習部104、出力制御部105、および、推論部111)は、例えば、1または複数のプロセッサにより実現される。例えば上記各部は、CPU(Central Processing Unit)などのプロセッサにプログラムを実行させること、すなわちソフトウェアにより実現してもよい。上記各部は、専用のIC(Integrated Circuit)などのプロセッサ、すなわちハードウェアにより実現してもよい。上記各部は、ソフトウェアおよびハードウェアを併用して実現してもよい。複数のプロセッサを用いる場合、各プロセッサは、各部のうち1つを実現してもよいし、各部のうち2以上を実現してもよい。
上記各記憶部(事象データ記憶部121、気象データ記憶部122、追加データ記憶部123、地理データ記憶部124、特徴量記憶部125、モデル記憶部126、抽出情報記憶部127)は、フラッシュメモリ、メモリカード、RAM(Random Access Memory)、HDD(Hard Disk Drive)、および、光ディスクなどの一般的に利用されているあらゆる記憶媒体により構成することができる。各記憶部は、物理的に異なる記憶媒体としてもよいし、物理的に同一の記憶媒体の異なる記憶領域として実現してもよい。さらに記憶部のそれぞれは、物理的に異なる複数の記憶媒体により実現してもよい。各記憶部のそれぞれは、物理的に異なる複数の記憶媒体により実現してもよい。
なお、図1は、学習処理を実行する機能と推論処理を実行する機能とを1つの情報処理装置100内に備える例を示しているが、2つの機能をそれぞれ異なる装置で実行するように構成してもよい。情報処理装置100は、クラウド環境上で動作する装置であってもよい。また、図1に示す各部のうち一部を、情報処理装置100の外部の装置により実行するように構成してもよい。例えば、表示部131をパーソナルコンピュータ、スマートフォン、および、タブレットなどの端末装置に備え、出力制御部105は、端末装置に対して情報を出力するように構成してもよい。外部の装置は、クラウド環境上で動作する装置であってもよい。
次に、このように構成された本実施形態にかかる情報処理装置100による機械学習モデルの学習処理について説明する。図7は、本実施形態における学習処理の一例を示すフローチャートである。
取得部101は、事象データ、追加データ、気象データ、および、地理データを取得する(ステップS101)。取得部101は、不要な場合は追加データを取得しなくてもよい。符号化部102は、取得された各データを用いて符号化処理を実行する(ステップS102)。例えば符号化部102は、少なくとも正解データ(事象データ)、および、入力データ(気象データ、追加データ)をそれぞれ特徴量に符号化する。特徴量に符号化された入力データが、説明変数として用いられる。特徴量に符号化された事象データが、目的変数として用いられる。
次に説明変数抽出処理が実行される(ステップS103)。説明変数抽出処理は、取得された複数の説明変数(特徴量に符号化された入力データ)から、機械学習モデルの推論の精度向上に貢献する説明変数を抽出し、抽出した説明変数により機械学習モデルを学習する処理である。説明変数抽出処理の詳細は後述する。
抽出部103は、説明変数抽出処理の中で、より高精度に予測が可能な機械学習モデルを学習したときに抽出された説明変数を特定する抽出情報を、抽出情報記憶部127に記憶する。また学習部104は、説明変数抽出処理により学習された学習済みの機械学習モデルを表す情報をモデル記憶部126に記憶する(ステップS104)。
出力制御部105は、学習済みの機械学習モデルに関する情報を例えば表示部131に表示する(ステップS105)。例えば出力制御部105は、抽出情報を参照し、機械学習モデルの学習に用いられた説明変数を示す情報を表示する。出力制御部105は、機械学習モデルのパラメータを示す情報を表示してもよい。
次に、本実施形態にかかる情報処理装置100による機械学習モデルを用いた推論処理について説明する。図8は、本実施形態における推論処理の一例を示すフローチャートである。
ステップS201およびステップS202は、図7のステップS101およびステップS102と同様であるため説明を省略する。
取得部101は、抽出情報記憶部127から抽出情報を読み出し、モデル記憶部126から学習済みの機械学習モデルの情報を読み出す(ステップS203)。抽出部103は、読み出された抽出情報を用いて、符号化された複数の特徴量(説明変数)から、推論に用いる説明変数を抽出(選択)する(ステップS204)。
推論部111は、読み出された機械学習モデルに、符号化された入力データ(気象データ、追加データ)を入力することにより推論処理を実行する(ステップS205)。出力制御部105は、推論処理の推論結果を例えば表示部131に表示する(ステップS206)。推論結果の表示方法の具体例は後述する。
次に、ステップS103の説明変数抽出処理の詳細について説明する。図9は、説明変数抽出処理の一例を示すフローチャートである。
なお、説明変数抽出処理は、予測すべき事象が気象データと相関がある場合にのみ実行されてもよい。例えば抽出部103は、事象データと気象データとの間の相関係数を算出し、算出した相関係数の絶対値が閾値(例えば0.2)以上である場合に、両者に相関があると判定する。抽出部103は、任意の単位時間を設定し、この単位時間内での各データの移動平均を用いて、相関係数を算出する。この相関係数が閾値以上と成り得る単位時間が、予測が有効となる時間粒度の目安となる。例えば、以降の処理で相関係数を算出するときにも、この単位時間を時間粒度として用いることができる。
説明変数抽出処理では、まず、抽出部103は、複数の説明変数(特徴量に符号化された入力データ)から、学習に用いる説明変数を選択する(ステップS301)。例えば抽出部103は、複数の説明変数から一様乱数などを用いてランダムに、適当な個数の説明変数を選択する。
次に学習部104は、選択された説明変数から、入力された事象データ(目的変数)を推論するための機械学習モデルを学習する(ステップS302)。推論部111は、学習された機械学習モデルを用いた推論処理を実行する(ステップS303)。推論処理では、学習処理で用いられた入力データと異なる入力データが用いられてもよい。
また、選択された説明変数を用いた分析者の人手による予測が並行して実行されてもよい。分析者による予測結果は、後述するように、学習に用いる説明変数を追加するときに参考とすることができる。
出力制御部105は、例えばdtreevizなどの可視化方法を用いて、機械学習モデルによる推論結果に対して寄与度の高い説明変数を表示部131に表示する(ステップS304)。
ユーザは、表示された寄与度を参照して、次の学習に用いる説明変数を指定することができる。ユーザは、分析者による予測結果および分析者が予測の根拠とした説明変数の情報などを参考にして、次の学習に用いる説明変数を指定してもよい。ユーザが説明変数を指定する代わりに、例えば寄与度が高い順に一定数(例えば上位一割など)の説明変数を抽出部103が抽出してもよい。
指定(抽出)された説明変数のみでなく、指定された説明変数と相関する他の説明変数をさらに次の学習で用いるように構成してもよい。例えば抽出部103は、指定された説明変数と相関する他の説明変数を抽出する(ステップS305)。抽出部103は、例えば両者の相関係数の絶対値と閾値とを比較し、相関係数の絶対値が閾値を超える場合に、両者が相関すると判定する。このようにして指定および抽出された説明変数を、以下で使用する説明変数群とする。
抽出部103は、さらに、説明変数群に含まれる各説明変数と類似する説明変数を、気象データに対する関係の類似性によって抽出する。
抽出部103は、まず、説明変数群に含まれる各説明変数と、気象データとの関係を表す関係情報(第1関係情報)を作成する。関係情報は、例えば、説明変数と気象データとの関係を表す指標値が指定期間に含まれる複数の期間それぞれで出現する回数を表す度数分布R1である(ステップS306)。
図10から図12は、度数分布R1の作成方法の一例を説明するための図である。図10は、ある1つの説明変数と気象データとの相関係数(関係を表す指標値の一例)の、指定期間内での変化の様子を示している。図10では、横軸が時間を表し、縦軸が相関係数を表す。図11は、この指定期間内での相関係数の出現回数を表す度数分布の例を示している。図12は、10個の説明変数に対する度数分布を重ねて表した例である。図12では、1つの説明変数に対する度数分布が1つの折れ線で表されている。
なお図12は、説明変数群に10個の説明変数が含まれることに相当するが、説明変数群に含まれる説明変数の個数は10個に限られるものではない。一方、説明変数の個数が多い場合(例えば個数が閾値を超える場合)は、抽出部103は、相互に類似する度数分布を1つの分布に統合するクラスタリングを行い、適切な個数となるように調整してもよい。クラスタリングを行った場合、抽出部103は、それぞれのクラスタの代表ベクトルを度数分布R1とする。代表ベクトルは、例えば、各ベクトルの要素の平均値を要素とするベクトルである。
図9に戻り、抽出部103は、すべての説明変数群と、気象データとの関係を表す関係情報(第2関係情報)を作成する。関係情報は、上記と同様に、例えば、説明変数と気象データとの関係を表す指標値(例えば相関係数)が指定期間に含まれる複数の期間それぞれで出現する回数を表す度数分布R2である(ステップS307)。
図13は、度数分布R2の例を示す図である。図13は、度数分布R1と同様の手法により、すべての説明変数に対して作成された度数分布R2の例を示す。
図9に戻り、抽出部103は、度数分布R1と一致または類似する度数分布R2に対応する説明変数を、次の学習に用いる説明変数(第3入力データ)として特定(抽出)する。例えば抽出部103は、度数分布R1に近似する度数分布R2に対応する説明変数を特定する(ステップS308)。抽出部103は、例えば、k近傍法(KNN:k-nearest neighbor algorithm)を用いて、度数分布R1に最も距離(ベクトル距離)が近い度数分布R2を求め、求めた度数分布R2に対応する説明変数を特定する。
このようにして特定された説明変数を用いて、さらに機械学習モデルが学習される。すなわち、学習部104は、特定された説明変数から、入力された事象データ(目的変数)を推論するための機械学習モデルを学習する(ステップS309)。推論部111は、学習された機械学習モデルを用いた推論処理を実行する(ステップS310)。
学習部104は、推論精度が向上したか否かを判定する(ステップS311)。例えば学習部104は、分析者による予測結果の精度よりステップS310で機械学習モデルを用いて推論した場合の精度の方が大きいか否かを判定する。学習部104は、機械学習モデルによる前回の推論時(例えばステップS303、または、ステップS310を繰り返し実行する場合の直前に実行したステップS309)の推論結果よりも精度が向上したかを判定してもよい。
推論精度が向上した場合(ステップS311:Yes)、説明変数抽出処理を終了する。推論精度が向上していない場合(ステップS311:No)、学習部104は、ステップS306からステップS311までの処理の繰り返しの回数(処理回数)が上限値に達したか否かを判定する(ステップS312)。処理回数が上限値に達したか判定する代わりに、ユーザにより処理の終了が指定されたか否かを判定するように構成してもよい。上限値に達していない場合(ステップS312:No)、抽出部103は、さらに説明変数を追加する(ステップS313)。
例えばユーザは、現在使用されている説明変数に含まれない説明変数を分析者が予測の根拠としているような場合には、その説明変数を追加する説明変数として指定する。抽出部103は、指定された説明変数を追加する。その後、追加された説明変数を含む説明変数群に対して、ステップS306以降の処理が繰り返し実行される。
上限値に達したと判定された場合(ステップS312:Yes)、抽出部103は、さらに別の手法により説明変数を選択する。例えば抽出部103は、Backward Eliminationと呼ばれる手法により説明変数を選択する(ステップS314)。学習部104は、選択された説明変数から、入力された事象データ(目的変数)を推論するための機械学習モデルを学習する(ステップS315)。
Backward Eliminationは、まず、すべての特徴量(説明変数)を含んだモデルを作成し、重要でないと判断される特徴量を逐次削除する手法である。Backward Eliminationでは、気象データおよびイベント情報(追加データの一例)などの説明変数と、目的変数との関連性を広域的に可視化することで、削除すべき説明変数が明らかされる。説明変数の削除方法としては、影響度(重要度)などに基づきユーザが指定した説明変数を削除する方法、および、影響度と閾値との比較結果などに基づき抽出部103が削除する方法(以下で説明するBoruta)などを適用できる。
Backward Eliminationの一例であるBorutaは、多数の特徴量の中から有効な特徴量を取り出すために、偽の特徴量を作成し、重要度を比較する手法である。Borutaでは、例えば、既存の特徴量(Original Data)をコピーし、各列のサンプルをシャッフルした偽の特徴量(Shadow Feature)を作り、既存の特徴量と偽の特徴量とを結合してランダムフォレストを訓練する。偽の特徴量の重要度のうち最も大きな重要度から、寄与しない既存の特徴量の重要度の目安を得ることができる。すなわち、偽の特徴量の重要度のうち最も大きな重要度より重要度が小さい既存の特徴量は、有効でないと特徴量であると判断される。
ランダムフォレストは、その性質上、訓練するたびに特徴量の重要度が変動する。このため、多数のサンプルを得た上で、統計的に検定を行う必要があり、ビッグデータに適用するには計算コストが増大する。
図9では、分析者による予測結果に対する精度を比較する例を説明した。分析者が存在しない場合などを想定し、分析者による予測結果を用いずに説明変数を抽出してもよい。図14は、このように構成される場合の説明変数抽出処理の一例を示すフローチャートである。
ステップS401~ステップS410は、図9のステップS301~ステップS310までと同様であるため説明を省略する。図14の例では、例えばステップS403の処理と並行して分析者による予測を実行する必要はない。
ユーザは、ステップS404で表示された寄与度を参照して、次の学習に用いる説明変数を指定することができる。なお図14の例では、ユーザは、分析者による予測結果を参考にして説明変数を指定することはできない。
ステップS411で、学習部104は、推論精度が向上したか否かを判定する(ステップS411)。例えば学習部104は、ステップS403での推論結果の精度よりステップS410で機械学習モデルを用いて推論した場合の精度の方が大きいか否かを判定する。
推論精度が向上した場合(ステップS411:Yes)、説明変数抽出処理を終了する。推論精度が向上していない場合(ステップS411:No)、抽出部103は、別の手法により説明変数を選択する。例えば抽出部103は、Backward Eliminationにより説明変数を選択する(ステップS412)。学習部104は、選択された説明変数から、入力された事象データ(目的変数)を推論するための機械学習モデルを学習する(ステップS413)。
ステップS306およびステップS307で度数分布を作成するときに算出される、説明変数と気象データとの関係を表す指標値は、上記のように、例えば説明変数と気象データとの相関係数である。指標値は相関係数に限られるものではなく、以下のような指標値を用いてもよい。また、複数の指標値を用いて説明変数と気象データとの関係性を評価してもよい。採用する指標の数および説明変数の個数が増加すると関係性の評価精度は向上するが、計算時間が増加する。従って、これらを考慮して適切な個数の指標を用いることが望ましい。
・誤差(二乗平均平方根誤差(RMSE)、平均絶対誤差(MAE)など):
変数同士のユークリッド距離を評価し、誤差の大きさにより関係性を評価する。
・データ整形:
変数の変動に応じた移動平均線または包絡線を描き、それら同士の関係性を相関係数、誤差、および、その他の手法で評価する。
・位相変化度数:
ある時間幅で、需要量が増加から減少に転じた極値の個数、および、減少から増加に転じた極値の個数で関係性を評価する。
・位相変化インターバル:
ある時間幅で、需要量が増加から減少に転じた極値の時刻、および、減少から増加に転じた極値の時刻のそれぞれの時間的間隔分布で関係性を評価する。
・ヒストグラム密度推定(Peristimulus Time Histogram):
ある時間幅でのイベント発生頻度を回数で表し、ある期間内に発生したイベントの回数に着目して関係性を評価する。例えば、単位期間の間にスパイクが何回発生したかで度数分布が作成される。
・発火時間間隔(interspike interval):
全期間での突発的な変動の発生頻度で度数分布(例えばスパイクの間隔の長さの度数分布)を作成し、前にスパイクが発生してから次のスパイクが発生するまでの期間に着目し関係性を評価する。
次に、ステップS206などで推論結果を表示する表示方法の例について説明する。図15~図19は、推論結果を表示する表示画面の例である。
図15に示すように、表示画面は、選択欄1501と、地図上に表示されるマーク1511、1512、1513と、を含む。選択欄1501は、推論結果に寄与した説明変数を選択するための欄である。図15の選択欄1501では、気温、風速、および、降雨・降雪が説明変数として選択可能である。これらの説明変数は一例であり、他の説明変数を追加可能としてもよい。例えば別の指定画面で、選択欄1501に表示する説明変数を指定できるように構成してもよい。
マーク1511は、発生すると予測された事象の発生位置を示すための記号である。マーク1511と同じ形状のマークが表示される位置は、事象がそれぞれ1件発生すると予測された位置であることを意味する。
マーク1512およびマーク1513は、円形の記号の内部に数値が記載されている。このような形状のマークは、マークが表示される位置を含む範囲で、数値に相当する件数の事象が発生すると予測されたことを意味する。すなわち、このような形状のマークは、複数のマーク1511を集約したマークに相当する。出力制御部105は、発生件数に応じてマークの表示態様(色など)を変更してもよい。例えば出力制御部105は、発生件数が1桁、2桁、3桁以上の場合にそれぞれマークの色を緑、黄、赤となるように表示してもよい。
図16は、気温のみが説明変数として選択された場合に表示される表示画面の例を示す。選択欄1601に示すように、この例では、気温(気温由来)のみが説明変数として選択されている。この場合、選択された説明変数(気温)によって予測された事象についての予測結果が、地図上に表示される。図16の例では、マーク1511、1512は表示され、マーク1513は気温由来でないため表示されなくなる。
表示画面は、ユーザの指定などに応じて拡大または縮小表示可能としてもよい。図17は、拡大表示された表示画面の例を示す。図17に示すように、マーク1701が選択された場合に、出力制御部105は、そのマーク1701に対応する事象に関する詳細情報を表示してもよい。
上記表示画面は一例であり、推論結果の表示方法はこれらに限られるものではない。図15および図16では、発生件数を数値で表示したが、発生件数に応じてマークの表示態様(大きさなど)を変更して表示する表示画面を用いてもよい。図18および図19は、このように構成される表示画面の一例を示す図である。
図18の選択欄1801では、3つの説明変数のすべてが選択されている。このような場合は、3つの説明変数によって予測された事象の発生位置に、発生件数に応じた半径となる円形のマークを表示する表示画面が表示される。図19の選択欄1901では、1つの説明変数(気温由来)が選択されている。このような場合は、選択された1つの説明変数によって予測された事象の発生位置に、発生件数に応じた半径となる円形のマークを表示する表示画面が表示される。
既存の手法による予測結果、および、分析者による予測結果などの比較対象のデータがある場合は、出力制御部105は、比較対象のデータと、本実施形態による予測結果とを対比して表示する表示画面を表示してもよい。
ユーザは、以上のような表示画面を用いることにより、どのような説明変数が予測に寄与するかを把握することが可能となる。
(適用例)
本実施形態の情報処理装置は、以下のようなシステムに適用しうる。
(適用例1)道路上における渋滞を予測するシステム
交通における渋滞が起こる要因は様々であるが、その1つに交通需要という要因がある。交通需要とは、各時間帯に道路を通過する車両台数であり、道路を通過可能な交通量(交通容量)に制限が無かった場合の交通量を指す。例えば、1分間あたり50台の車両が通過する交通容量を想定して設計された道路区間に対して、それ以上の車両が殺到する場合、多くの場合はボトルネックとなり渋滞が発生する。
交通需要量は、気象データと強く関連することが統計的に判明している。従って、上記実施形態により気象データから予測することが可能である。また、道路の新規開設および地域ごとのイベント等による交通需要の変化に対して、従来の交通シミュレーションに基づいた数値補正を行うことで、日時ごとおよび道路区間ごとの交通需要の予測(「x月y日z時、道路区間jの交通需要は○台/分です」など)が可能となる。
交通需要の高い区間および低い区間を予測することにより、最適な所要ルートの提示、および、交通需要が高い要因および低い要因の分析が可能となる。従って、道路事業者の渋滞緩和施策の決定、および、ドライバーの行動の支援などが可能となる。
(適用例2)保険事業者コールセンターにおける入電予測システム
例えば自動車保険を取り扱う事業者のコールセンター業務では、オペレータの人員配置を最適化することが求められている。時間別および地域別に発生しうる入電数の需要を予測することにより、遊休人材の抑制によるコストダウン、および、雇用計画の精微化による経営計画の精度上昇を実現できる。また地域ごとに発生しうる入電の種別を予測することによって、その事例に対応可能なアフターサービス要員を事前に緻密に配置することが可能となる。この結果、入電発生からサービスを行うまでの時間を短縮し、顧客満足度を高めることができる。
(適用例3)保険事業者における予測情報提供システム
時間別および地域別に発生しうる入電の種別を予測することにより、その時間に該当地域を走行する自動車保険の利用者に対して「エンジン不停止の発生にご注意ください」といった注意喚起を行うことができる。また、発生確率が高いと予測される事象(パンク、オーバーヒート、衝突など)について、例えば「走行中、道路上の異物にご注意ください」というように、エンドユーザに回避するために行うべき行動を情報提供することが可能となる。
(適用例4)保険事業者において、継続的にモデルを改善する入電予測システム
事故および故障が多い地域の天候情報、および、その地域でよく利用される車種を入電情報から蓄積し、また、その地域および時間帯におけるエンドユーザの自動車の利用目的などをヒアリングすることで得たデータを新たに追加データとして加えることができる。このようにして追加した追加データを精度向上に活用し、継続的に機械学習モデルの予測精度を改善することができる。
以上説明したとおり、上記実施形態によれば、予測の精度に悪い影響を与えるデータおよび良い影響を与えるデータをより効率的に抽出することが可能となる。この結果、より高精度に事象を予測可能な予測システムが実現可能となる。
次に、実施形態にかかる情報処理装置のハードウェア構成について図20を用いて説明する。図20は、実施形態にかかる情報処理装置のハードウェア構成例を示す説明図である。
実施形態にかかる情報処理装置は、CPU(Central Processing Unit)51などの制御装置と、ROM(Read Only Memory)52やRAM(Random Access Memory)53などの記憶装置と、ネットワークに接続して通信を行う通信I/F54と、各部を接続するバス61を備えている。
実施形態にかかる情報処理装置で実行されるプログラムは、ROM52等に予め組み込まれて提供される。
実施形態にかかる情報処理装置で実行されるプログラムは、インストール可能な形式又は実行可能な形式のファイルでCD-ROM(Compact Disk Read Only Memory)、フレキシブルディスク(FD)、CD-R(Compact Disk Recordable)、DVD(Digital Versatile Disk)等のコンピュータで読み取り可能な記録媒体に記録してコンピュータプログラムプロダクトとして提供されるように構成してもよい。
さらに、実施形態にかかる情報処理装置で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、実施形態にかかる情報処理装置で実行されるプログラムをインターネット等のネットワーク経由で提供または配布するように構成してもよい。
実施形態にかかる情報処理装置で実行されるプログラムは、コンピュータを上述した情報処理装置の各部として機能させうる。このコンピュータは、CPU51がコンピュータ読取可能な記憶媒体からプログラムを主記憶装置上に読み出して実行することができる。
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
100 情報処理装置
101 取得部
102 符号化部
103 抽出部
104 学習部
105 出力制御部
111 推論部
121 事象データ記憶部
122 気象データ記憶部
123 追加データ記憶部
124 地理データ記憶部
125 特徴量記憶部
126 モデル記憶部
127 抽出情報記憶部
131 表示部

Claims (8)

  1. 位置に応じて値が連続的に変化する時系列データを含む入力データを入力して推論結果を出力するモデルに入力する前記入力データ、および、前記モデルによる推論の正解を表す正解データを取得する取得部と、
    前記入力データから選択された第1入力データと、前記正解データと、を用いて前記モデルを学習する学習部と、
    学習された前記モデルによる推論結果に対する前記第1入力データの寄与度を出力する出力制御部と、を備え、
    前記学習部は、前記入力データのうち出力された前記寄与度に応じて指定された第2入力データに基づく第3入力データと、前記正解データと、を用いて前記モデルをさらに学習し、
    前記第2入力データと前記時系列データとの関係を表す第1関係情報は、前記第3入力データと前記時系列データとの関係を表す第2関係情報と一致または類似し、
    前記第1関係情報は、前記第2入力データと前記時系列データとの関係を表す指標値が指定期間に含まれる複数の期間それぞれで出現する回数を表す度数分布であり、
    前記第2関係情報は、前記第3入力データと前記時系列データとの関係を表す指標値が指定期間に含まれる複数の期間それぞれで出現する回数を表す度数分布である、
    情報処理装置。
  2. 前記第1関係情報は、前記第2入力データおよび前記第2入力データに相関するデータを含むデータと前記時系列データとの関係を表す、
    請求項1に記載の情報処理装置。
  3. 前記学習部は、複数の度数分布間の距離により、前記第1関係情報と前記第2関係情報とが一致または類似するか判定する、
    請求項1に記載の情報処理装置。
  4. 前記入力データから前記第1入力データをランダムに選択する抽出部をさらに備え、
    前記学習部は、抽出部により選択された前記第1入力データと、前記正解データと、を用いて前記モデルを学習する、
    請求項1に記載の情報処理装置。
  5. 前記時系列データは、予め定められた地域ごとの気象データである、
    請求項1に記載の情報処理装置。
  6. 前記出力制御部は、さらに、学習された前記モデルによる推論結果を表示装置に表示する、
    請求項1に記載の情報処理装置。
  7. 情報処理装置が実行する情報処理方法であって、
    位置に応じて値が連続的に変化する時系列データを含む入力データを入力して推論結果を出力するモデルに入力する前記入力データ、および、前記モデルによる推論の正解を表す正解データを取得する取得ステップと、
    前記入力データから選択された第1入力データと、前記正解データと、を用いて前記モデルを学習する第1学習ステップと、
    学習された前記モデルによる推論結果に対する前記第1入力データの寄与度を出力する出力制御ステップと、
    前記入力データのうち出力された前記寄与度に応じて指定された第2入力データに基づく第3入力データと、前記正解データと、を用いて前記モデルをさらに学習する第2学習ステップと、を含み、
    前記第2入力データと前記時系列データとの関係を表す第1関係情報は、前記第3入力データと前記時系列データとの関係を表す第2関係情報と一致または類似し、
    前記第1関係情報は、前記第2入力データと前記時系列データとの関係を表す指標値が指定期間に含まれる複数の期間それぞれで出現する回数を表す度数分布であり、
    前記第2関係情報は、前記第3入力データと前記時系列データとの関係を表す指標値が指定期間に含まれる複数の期間それぞれで出現する回数を表す度数分布である、
    報処理方法。
  8. コンピュータを、
    位置に応じて値が連続的に変化する時系列データを含む入力データを入力して推論結果を出力するモデルに入力する前記入力データ、および、前記モデルによる推論の正解を表す正解データを取得する取得部と、
    前記入力データから選択された第1入力データと、前記正解データと、を用いて前記モデルを学習する学習部と、
    学習された前記モデルによる推論結果に対する前記第1入力データの寄与度を出力する出力制御部と、として機能させ、
    前記学習部は、前記入力データのうち出力された前記寄与度に応じて指定された第2入力データに基づく第3入力データと、前記正解データと、を用いて前記モデルをさらに学習し、
    前記第2入力データと前記時系列データとの関係を表す第1関係情報は、前記第3入力データと前記時系列データとの関係を表す第2関係情報と一致または類似し、
    前記第1関係情報は、前記第2入力データと前記時系列データとの関係を表す指標値が指定期間に含まれる複数の期間それぞれで出現する回数を表す度数分布であり、
    前記第2関係情報は、前記第3入力データと前記時系列データとの関係を表す指標値が指定期間に含まれる複数の期間それぞれで出現する回数を表す度数分布である、
    プログラム。
JP2019223816A 2019-12-11 2019-12-11 情報処理装置、情報処理方法およびプログラム Active JP7414502B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019223816A JP7414502B2 (ja) 2019-12-11 2019-12-11 情報処理装置、情報処理方法およびプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019223816A JP7414502B2 (ja) 2019-12-11 2019-12-11 情報処理装置、情報処理方法およびプログラム

Publications (2)

Publication Number Publication Date
JP2021093020A JP2021093020A (ja) 2021-06-17
JP7414502B2 true JP7414502B2 (ja) 2024-01-16

Family

ID=76313144

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019223816A Active JP7414502B2 (ja) 2019-12-11 2019-12-11 情報処理装置、情報処理方法およびプログラム

Country Status (1)

Country Link
JP (1) JP7414502B2 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012092760A (ja) 2010-10-27 2012-05-17 Waseda Univ 応答曲面モデル構築装置及びプログラム
JP2016004525A (ja) 2014-06-19 2016-01-12 株式会社日立製作所 データ分析システム及びデータ分析方法
JP2017123088A (ja) 2016-01-08 2017-07-13 安川情報システム株式会社 決定木学習アルゴリズムを用いた予測プログラム、装置及び方法
JP2019087027A (ja) 2017-11-07 2019-06-06 株式会社東芝 需要予測装置、需要予測方法および需要予測プログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012092760A (ja) 2010-10-27 2012-05-17 Waseda Univ 応答曲面モデル構築装置及びプログラム
JP2016004525A (ja) 2014-06-19 2016-01-12 株式会社日立製作所 データ分析システム及びデータ分析方法
JP2017123088A (ja) 2016-01-08 2017-07-13 安川情報システム株式会社 決定木学習アルゴリズムを用いた予測プログラム、装置及び方法
JP2019087027A (ja) 2017-11-07 2019-06-06 株式会社東芝 需要予測装置、需要予測方法および需要予測プログラム

Also Published As

Publication number Publication date
JP2021093020A (ja) 2021-06-17

Similar Documents

Publication Publication Date Title
Terti et al. Toward probabilistic prediction of flash flood human impacts
Lin et al. Real-time traffic accidents post-impact prediction: Based on crowdsourcing data
Sun et al. DxNAT—Deep neural networks for explaining non-recurring traffic congestion
US20200242523A1 (en) Proactive spatiotemporal resource allocation and predictive visual analytics system
Nguyen et al. Automatic classification of traffic incident's severity using machine learning approaches
US20090312943A1 (en) System and Method for Weather Mapping to Road Segments
CN110428091A (zh) 基于数据分析的风险识别方法及相关设备
JP6802916B2 (ja) 需要予測装置
CN113570867B (zh) 一种城市交通状态预测方法、装置、设备及可读存储介质
Weng et al. Cluster-based lognormal distribution model for accident duration
JP2021182189A (ja) 事故予測方法、コンピュータプログラム、事故予測装置及び学習モデル生成方法
CN111444302A (zh) 基于用户分类的移动性预测方法、系统、装置
CN112651546A (zh) 一种公交线路优化方法以及系统
Zhang et al. Machine learning based real-time prediction of freeway crash risk using crowdsourced probe vehicle data
CN114596709B (zh) 数据处理方法、装置、设备以及存储介质
Yakar A multicriteria decision making–based methodology to identify accident-prone road sections
Iranmanesh et al. Identifying high crash risk segments in rural roads using ensemble decision tree-based models
Trirat et al. MG-TAR: multi-view graph convolutional networks for traffic accident risk prediction
Kalair et al. Dynamic and interpretable hazard-based models of traffic incident durations
KR102359902B1 (ko) 빅데이터 및 인공지능 기반 교차로 서비스수준 예측방법, 그리고 이를 포함하는 저장매체
CN112949784B (zh) 一种居民出行链模型构建方法及居民出行链获取方法
CN117455237A (zh) 一种基于多源数据的道路交通事故风险预测方法
Nicoletta et al. Bayesian spatio-temporal modelling and prediction of areal demands for ambulance services
JP7414502B2 (ja) 情報処理装置、情報処理方法およびプログラム
JP7490599B2 (ja) 情報処理装置、情報処理方法、および情報処理プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20221006

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230929

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231017

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231121

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231205

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231228

R150 Certificate of patent or registration of utility model

Ref document number: 7414502

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150