JP7135025B2 - 情報処理装置、情報処理方法およびプログラム - Google Patents

Description

本発明の実施形態は、情報処理装置、情報処理方法およびプログラムに関する。

統計および機械学習により推定されるモデル（回帰モデル、分類モデルなど）を用いて、品質特性の変動要因を解析する技術、および、電力需要を予測する技術が提案されている。このような技術では、環境が定常状態であることを仮定しているが、実際の多くの環境は非定常である。

データの非定常性に対応するために、モデルを更新する技術が提案されている。モデルを更新する技術としては、能動的アプローチ（active approach）および受動的アプローチ（passive approach）がある。能動的アプローチは、「いつ更新すべきか」を自動的に検知し、検知したタイミングでモデルを更新する方法である。受動的アプローチは、「いつ更新すべきか」を陽に検知せず、継続的に毎回モデルを更新する方法である。

特許第６６５０４６８号公報 特許第５０６０００６号公報

しかしながら、従来技術では、モデル更新時のロバスト性（安定性）および追従性（精度）を両立できない場合があった。

実施形態の情報処理装置は、受付部と、学習部と、を備える。受付部は、機械学習により推定されるモデルの１以上のパラメータと、第１入力データと、の入力を受け付ける。学習部は、第１入力データを学習データとして、パラメータの変化が小さいほどコストが小さくなるコスト関数を用いてモデルを学習する。

本実施形態の情報処理装置を含む情報処理システムのブロック図。 本実施形態における学習処理の示すフローチャート。 学習結果の出力方法の例を示す図。 学習結果の出力方法の例を示す図。 学習結果の出力方法の例を示す図。 学習結果の出力方法の例を示す図。 学習結果の出力方法の例を示す図。 学習結果の出力方法の例を示す図。 本実施形態にかかる装置のハードウェア構成図。

以下に添付図面を参照して、この発明にかかる情報処理装置の好適な実施形態を詳細に説明する。

上記のように、モデルの入力に用いるデータが非定常に変化する場合がある。データの非定常な変化はコンセプトドリフトとも呼ばれる。急な変化、および、緩やかな変化などの様々な非定常性が知られている。このような非定常性によって、時間の経過とともにデータの傾向が変化するため、モデルの推定精度および予測精度（モデル精度）は劣化する。

データの非定常性に対応するためには、モデルの更新が必要になる。モデルを更新する場合、「いつ更新すべきか」および「どのように更新するか」を決定する必要がある。「いつ更新すべきか」に基づいて更新技術を分類すると、上記のように、大きく能動的アプローチおよび受動的アプローチの２つがある。

能動的アプローチは、急な変化に追従しやすいメリットがある一方で、緩やかな変化に追従しづらいというデメリットがある。また、更新タイミングの検知が失敗（検出見逃し、誤検出）した場合に、モデル精度が大きく損なわれる。

受動的アプローチを用いれば、緩やかな変化に追従でき、また、モデルの精度が大きく損なわれることが少なくなる。一方、受動的アプローチでは、データの傾向が変わらない定常状態であっても、毎回モデルが更新されるため、モデルの保守運用の負荷が増大する場合がある。特に、モデルに入力される特徴量の間の相関が高い、入力される特徴量の種類が非常に多い、および、ノイズが多く含まれる、などの場合には、モデルが不安定に毎回大きく変動する。すなわち、モデルの更新がロバストでなくなる。

また、モデルの更新には、事前の確認および事後の評価などの保守運用作業が必要になるため、頻繁に更新されれば、その分の保守運用の負荷が高くなる。逆に、モデルの更新を安定化させようとすると、急な変化にモデルが追従しなくなる問題が生じうる。

そこで、以下の実施形態では、モデル更新時のロバスト性（安定性）および追従性（精度）を両立する方式を実現する。本実施形態は、受動的アプローチを採用して緩やかな変化に追従しつつ、データの傾向に大きな変化があった場合には追従し、かつ、データの傾向に変化がない場合にはモデルが更新されない方式である。「どのように更新するか」を工夫することで、「いつ更新すべきか」を自動的に検出して更新を行う。

本実施形態の情報処理装置は、例えば、工場およびプラントにおける品質管理を行うシステムに用いるモデルの学習および解析に適用できる。適用可能なシステムはこれらに限られるものではない。半導体工場および化学プラントでは、品質特性のばらつき、および、品質特性の変動を抑え、不良を低減することで、歩留を向上させることが重要である。品質特性のばらつきおよび変動の要因を解明するために、回帰モデルおよび分類モデルなどの、機械学習により推定されるモデルが用いられる。

図１は、本実施形態の情報処理装置を含む情報処理システムの構成の一例を示すブロック図である。図１に示すように、情報処理システムは、情報処理装置１００と、管理システム２００とが、ネットワーク３００を介して接続された構成となっている。

情報処理装置１００および管理システム２００それぞれは、例えばサーバ装置として構成することができる。情報処理装置１００および管理システム２００は、物理的に独立した複数の装置（システム）として実現されてもよいし、物理的に１つの装置内にそれぞれの機能が構成されてもよい。後者の場合、ネットワーク３００は備えらえなくてもよい。情報処理装置１００および管理システム２００の少なくとも一方は、クラウド環境上で構築されてもよい。

ネットワーク３００は、例えば、ＬＡＮ（ローカルエリアネットワーク）およびインターネットなどのネットワークである。ネットワーク３００は、有線ネットワークおよび無線ネットワークのいずれであってもよい。情報処理装置１００と、管理システム２００とは、ネットワーク３００を介することなく、コンポーネント間の直接的な有線接続または無線接続を用いてデータを送受信してもよい。

管理システム２００は、情報処理装置１００が処理するモデル、および、モデルの学習（更新）および解析などに用いられるデータを管理するシステムである。管理システム２００は、記憶部２２１と、通信制御部２０１と、モデル構成部２０２と、を備えている。

記憶部２２１は、管理システム２００で実行される各種処理で用いられる各種情報を記憶する。例えば記憶部２２１は、モデルのパラメータ、および、モデルの学習に用いる学習データなどを記憶する。記憶部２２１は、フラッシュメモリ、メモリカード、ＲＡＭ（Random Access Memory）、ＨＤＤ（Hard Disk Drive）、および、光ディスクなどの一般的に利用されているあらゆる記憶媒体により構成することができる。

モデルは、説明変数を入力して目的変数の推論結果を出力する。モデルは、例えば、線形回帰モデル、一般化線形モデル、一般化加法モデル、および、ニューラルネットワークなどである。モデルは、これらに限られるものではなく、パラメータを用いて表現されるモデルであればどのようなモデルであってもよい。

モデルは、目的変数および説明変数を含む学習データを用いて学習することにより推定される。目的変数は、例えば、品質特性、不良率、並びに、良品および不良品のいずれかを示す情報などである。説明変数は、その他のセンサ値、加工条件、および、制御値などである。

記憶部２２１は、複数のモデルのパラメータを記憶してもよい。例えば、記憶部２２１は、過去に更新された複数のモデルのパラメータを記憶してもよい。この場合、記憶部２２１は、更新日時、および、バージョンなどの識別情報と対応づけて各モデルを記憶してもよい。

通信制御部２０１は、情報処理装置１００などの外部装置との間の通信を制御する。例えば通信制御部２０１は、モデルに関する情報（パラメータなど）、および、学習データを情報処理装置１００に送信する。

記憶部２２１に複数のモデルのパラメータが記憶されている場合、通信制御部２０１は、ユーザ等により指定されたモデルのパラメータの要求を情報処理装置１００から受け付け、要求に対応するモデルのパラメータを情報処理装置１００に送信してもよい。

モデル構成部２０２は、更新前のモデルとして使用可能なモデルを構成する。例えばモデル構成部２０２は、学習データを用いた学習によりモデルを構成する。モデル構成部２０２は、ドメインに関する知識（ドメイン知識）に基づいてパラメータを定めることによりモデルを構成してもよい。例えばユーザ等によりドメイン知識に基づくモデルの使用が指定された場合、通信制御部２０１は、ドメイン知識に基づくモデルのパラメータの要求を情報処理装置１００から受け付け、要求に対応するモデルのパラメータを情報処理装置１００に送信してもよい。またモデル構成部２０２は、ユーザにドメイン知識の入力を要求し、ドメイン知識に応じてモデルを構成してもよい。またモデル構成部２０２は、学習データを用いた学習によりモデルを構成した後、ユーザが入力するドメイン知識に応じてモデルを修正することで、モデルを構成してもよい。

なお、モデルが事前に用意されている場合（記憶部２２１に記憶されている場合など）、および、ドメイン知識に基づくモデルを用いない場合は、管理システム２００は、モデル構成部２０２を備えなくてもよい。また、モデル構成部２０２を情報処理装置１００が備えるように構成してもよい。

上記各部（通信制御部２０１、モデル構成部２０２）は、例えば、１または複数のプロセッサにより実現される。例えば上記各部は、ＣＰＵ（Central Processing Unit）などのプロセッサにプログラムを実行させること、すなわちソフトウェアにより実現してもよい。上記各部は、専用のＩＣ（Integrated Circuit）などのプロセッサ、すなわちハードウェアにより実現してもよい。上記各部は、ソフトウェアおよびハードウェアを併用して実現してもよい。複数のプロセッサを用いる場合、各プロセッサは、各部のうち１つを実現してもよいし、各部のうち２以上を実現してもよい。

情報処理装置１００は、記憶部１２１と、入力デバイス１２２と、ディスプレイ１２３と、通信制御部１０１と、受付部１０２と、関数構成部１０３と、学習部１０４と、出力制御部１０５と、を備えている。

記憶部１２１は、情報処理装置１００で実行される各種処理で用いられる各種情報を記憶する。例えば記憶部１２１は、通信制御部１０１および受付部１０２を介して管理システム２００から取得された情報（学習データ、モデルのパラメータなど）、および、学習部１０４により学習された後のモデルのパラメータなどを記憶する。記憶部１２１は、フラッシュメモリ、メモリカード、ＲＡＭ、ＨＤＤ、および、光ディスクなどの一般的に利用されているあらゆる記憶媒体により構成することができる。

入力デバイス１２２は、ユーザなどにより情報を入力するためのデバイスである。入力デバイス１２２は、例えば、キーボードおよびマウスである。ディスプレイ１２３は、情報を出力する出力デバイスの一例であり、例えば液晶ディスプレイである。入力デバイス１２２およびディスプレイ１２３は、例えばタッチパネルのように一体化されてもよい。

通信制御部１０１は、管理システム２００などの外部装置との間の通信を制御する。例えば通信制御部１０１は、管理システム２００からモデルに関する情報（パラメータなど）、および、学習データなどを受信する。また通信制御部１０１は、更新前のモデルとして使用するモデルの要求、および、更新後のモデルなどを管理システム２００に送信する。

受付部１０２は、各種情報の入力を受け付ける。例えば受付部１０２は、通信制御部２０１および通信制御部１０１を介して管理システム２００から受信された、モデルのパラメータ、および、学習データ（第１入力データ）を受け付ける。管理システム２００から受け付けるモデルのパラメータは、例えば第１入力データと異なる学習データ（第２入力データ）により学習されたモデルのパラメータである。第１入力データと異なる学習データ（第２入力データ）は、例えば、第１入力データより前の時刻に得られた説明変数および目的変数を含む学習データである。

関数構成部１０３は、学習部１０４がモデルの学習に用いるコスト関数を構成する。関数構成部１０３は、パラメータの変化が小さいほどコストが小さくなるコスト関数を構成する。関数構成部１０３の処理の詳細は後述する。コストは、モデルの出力と正解との差を表す。

学習部１０４は、受付部１０２により受け付けられた学習データを用いて、モデルを学習する。管理システム２００が複数のモデルを記憶しているような場合には、学習部１０４は、複数のモデルのうち指定されたモデルを学習してもよい。学習部１０４による学習処理の詳細は後述する。

出力制御部１０５は、情報処理装置１００により処理される各種情報の出力を制御する。例えば出力制御部１０５は、学習部１０４による学習処理により更新された後のモデルのパラメータ、および、更新前のモデルのパラメータと更新後のパラメータとの差分、の少なくとも一方をディスプレイに出力（表示）する。出力制御部１０５による情報の出力形式はどのような形式であってもよいが、例えば、表形式（リスト形式）およびグラフ形式の少なくとも一方により出力することができる。

出力制御部１０５は、情報処理装置１００の外部の装置に情報を出力してもよい。例えば出力制御部１０５は、更新前のパラメータと更新後のパラメータとの差分を表示するための情報を、表示装置を備える外部の装置に送信してもよい。

出力制御部１０５が更新前のパラメータと更新後のパラメータとの差分などを出力することにより、例えば、目的変数（品質特性など）の変動要因を解析することが可能となる。出力制御部１０５が、モデルを使用して推論（電力需要の予測など）を実行する推論システムに更新後のパラメータを出力するように構成してもよい。これにより推論システムは、変化するデータに追従して更新されたモデルを用いて、より高精度に推論を実行可能となる。

上記各部（通信制御部１０１、受付部１０２、関数構成部１０３、学習部１０４、出力制御部１０５）は、例えば、１または複数のプロセッサにより実現される。例えば上記各部は、ＣＰＵなどのプロセッサにプログラムを実行させること、すなわちソフトウェアにより実現してもよい。上記各部は、専用のＩＣなどのプロセッサ、すなわちハードウェアにより実現してもよい。上記各部は、ソフトウェアおよびハードウェアを併用して実現してもよい。複数のプロセッサを用いる場合、各プロセッサは、各部のうち１つを実現してもよいし、各部のうち２以上を実現してもよい。

次に、関数構成部１０３によるコスト関数の構成方法、および、学習部１０４による学習処理の詳細について説明する。以下では、モデルとして線形回帰モデルを用いる場合を例に説明するが、他のモデルについても同様の手法を適用できる。また、以下では、説明変数をセンサ値データとし、目的変数を品質特性データとする例を説明する。

製造物ｉ＝１，・・・，ｎ（ｎは１以上の整数）に対して、品質特性データ（目的変数の一例）ｙ_ｉがあり、その他のセンサｊ＝１，・・・，ｐ（ｐは１以上の整数）についてセンサ値データ（説明変数の一例）ｘ_ｉｊがあるとする。ｎは製造物の個数に相当し、ｐはセンサの個数に相当する。このとき、以下の（１）式で表される線形回帰モデルを考える。

パラメータβ_０，β_１，_・・・，β_ｐは、線形回帰モデルの回帰係数と呼ばれる。また、各パラメータに各センサの標準偏差をそれぞれ乗じた値は影響度と呼ばれる。影響度は、各センサが品質特性に対して平均的にどの程度影響するかを表す。

なお、説明変数は、センサ値をそのまま利用してもよいし、センサ値に何らかの変換を加えた値を用いてもよい。変換は、例えば、べき乗（２乗、３乗等）、標準化（正規化）、および、複数のセンサ値を用いた演算（複数のセンサ値の乗算など）である。

センサの個数ｐ（特徴量の種類の数）が非常に大きい場合、スパースモデリングと呼ばれる技術がよく利用される。スパースモデリングは、少量の（スパースな）特徴量からモデルを学習し推論を行う技術である。スパースモデリングでは、パラメータがスパース性を有するようにモデルが学習される。スパース性を有するとは、ほとんどのパラメータの値がゼロとなることを意味する。スパース性を有するように学習されたパラメータを用いることにより、センサの個数が大きい場合であっても、値がゼロではないパラメータに対応するセンサのセンサ値のみがモデルを用いた推論に使用される。スパースモデリングでは、パラメータのスパース性を誘導するような正則化項であるスパース正則化項が用いられる場合がある。代表的なスパースモデリング手法であるＬａｓｓｏ（Least absolute shrinkage and selection operator）では、以下の（２）式で表される最適化問題を解くことで、パラメータβ_０，β_１，_・・・，β_ｐが推定される。

λ＞０は正則化パラメータと呼ばれ、交差検証などを用いて決定される。

スパースモデリングのメリットは、回帰係数β_ｊがゼロと推定されやすいため、少数の説明変数（センサ値データ）のみを用いたモデルが推定されることである。これにより、モデルの解釈性が容易になると同時に、センサの個数が増大した場合であっても高精度なモデルを推定することが可能となる。

このようなモデルで品質特性の振る舞いを各種センサ値で説明することができれば、各センサの品質特性への影響性を理解し、変動要因の特定、および、将来の品質特性の予測に利用することができる。

モデルをデータの傾向に追従させるために、例えば、定期的に（例えば毎日）データを更新し、モデルを作り直すことが行われる。

モデル更新に利用する製造物ｉ＝１，・・・，ｎ’（ｎ’は１以上の整数）の品質特性データ（目的変数）をｙ’_ｉとし、センサ値データ（説明変数）をｘ’_ｉｊとすると、（２）式と同様に、以下の（３）式のようにパラメータβ’_０，β’_１，_・・・，β’_ｐを推定することができる。

しかし、上述した通り、このような推定方法（パラメータの更新方法）では、データの傾向が変わらない場合であっても、モデル（パラメータ）が変動する場合がある。このため、事前の確認および事後の評価などの保守運用作業の負荷が増大する可能性がある。そこで、本実施形態では、関数構成部１０３は、以下の（４）式で表されるコスト関数を構成する。そして、学習部１０４は、（４）式で表されるコスト関数を用いてパラメータを推定することにより、モデルを更新（学習）する。

ただし、λ_１＞０、λ_２＞０は正則化パラメータであり、ハット記号「＾」が付されたβ_ｊは更新前のモデルの回帰係数（前回推定したモデルの回帰係数など）である。最初のΣの項は損失関数と呼ばれる。２番目と３番目のΣの項はスパース正則化項と呼ばれる。なお関数構成部１０３は、λ_１＝０として２番目のΣの項を含まないようにコスト関数を構成してもよい。

（４）式に示すように、コスト関数は、損失関数と、更新前のパラメータと更新後のパラメータとの差分を用いた正則化項とを含む。すなわち、本実施形態では、更新前の回帰係数（ハット記号「＾」が付されたβ）との差分ができるだけ小さくなるように更新後の回帰係数（ハット記号「＾」が付されたβ’）が推定される。これにより、データの傾向が変わらなければ更新前と同じモデルとなる。また、一部のセンサでデータの傾向に変化があれば一部のみモデルが変化する。さらに、センサ全体でデータの傾向に変化があればモデル全体が変化する。

すなわち、ロバスト性および追従性を維持し、かつ、モデル更新を少なくすることでモデルの保守運用を容易にしている。差分を用いた正則化項を含むため、モデルがノイズに大きく左右されることを回避可能となる。

（４）式では損失関数として二乗誤差（二乗損失）を用いているが、損失関数はこれに限られるものではない。例えば、損失関数は、絶対値損失、分位損失、フーバー損失、イプシロン感度損失、ロジスティック損失、指数損失、ヒンジ損失、および、平滑化ヒンジ損失のいずれか、または、これらのうち複数の組み合わせであってもよい。

また（４）式ではスパース正則化項として絶対値のＬ１ノルムを用いた定式化が用いられているが、スパース正則化項はこれに限られるものではない。スパース性を誘導する正則化項であればどのような正則化項がスパース正則化項として用いられてもよい。絶対値ではない差分を用いて定式化されるスパース正則化項が用いられてもよい。スパース正則化項は、ＳＣＡＤ（Smoothly Clipped Absolute Derivation）、ＭＣＰ（Minimax Concave Penalty）、Ｌｑノルム（０≦ｑ＜１）、Ｅｌａｓｔｉｃ Ｎｅｔ、Ｌ１／２ノルム、および、Ｌ１ノルムの２乗のうち少なくとも１つにより定式化されてもよい。

また（４）式では、更新前のモデルの回帰係数（ハット記号「＾」が付されたβ）がそのまま用いられているが、ドメイン知識により変更された回帰係数（ハット記号「＾」が付されたβ）が用いられてもよい。例えば、特定のセンサの回帰係数をゼロにするなどの変更を適用することができる。ドメイン知識を定式化に入れることで、ドメイン知識に沿ったモデル化を行うことができ、モデルの納得感が得られやすくなる。

また前回更新したモデルの代わりに、管理システム２００のモデル構成部２０２により構成されたモデルが用いられてもよい。例えば受付部１０２は、モデル構成部２０２によりドメインに関する知識に基づいて定められたモデルの入力を受け付ける。関数構成部１０３は、受け付けられたモデルのパラメータを更新前のパラメータとするように関数を構成する。

また、（４）式は、すべてのパラメータについての更新前後の差分を用いた正則化項を含むが、パラメータのうち一部についての差分を用いた正則化項が用いられてもよい。また、（４）式では、更新前のモデルが１つである場合を示しているが、更新前のモデルが複数あり、それぞれに対してスパース正則化項を構成し、コスト関数に加えてもよい。

学習部１０４は、関数構成部１０３により構成されたコスト関数を最適化するように、モデルのパラメータを更新する。学習部１０４による学習方式（最適化方式）は、どのような方式であってもよい。例えば、学習部１０４は、座標降下法、勾配降下法、近接勾配法、および、交互方向乗数法などの連続最適化を用いることができる。連続最適化は、連続的な値をとる連続変数に対する最適化である。これにより学習部１０４は、モデルに対する変化を連続最適化によりスパースに学習（パラメータがスパース性を有するように学習）することが可能となる。

学習部１０４は、入力デバイス１２２を用いてユーザ等により指定された情報に従い学習処理を実行してもよい。例えば受付部１０２は、入力デバイス１２２を用いてユーザ等により指定された以下のような情報を受け付けるように構成されてもよい。
・使用する損失関数
・使用する正則化項
・チューニングする正則化パラメータ
・正則化パラメータの範囲
・複数のモデルのうち、更新前のモデルとして使用するモデル

学習部１０４は、損失関数、スパース正則化項、正則化パラメータ、および、正則化パラメータの範囲のうち少なくとも一部が指定された場合は、指定された値を使用して学習を実行する。

チューニングする正則化パラメータとは、学習時に交差検証などを用いて値を決定（チューニング）する対象とする正則化パラメータである。例えば固定値（デフォルト値など）とする正則化パラメータについては、チューニングする正則化パラメータとして指定しないように構成することができる。

正則化パラメータの範囲とは、チューニングする正則化パラメータとして指定された正則化パラメータの取り得る値として許容される範囲である。学習部１０４は、この範囲内で最適な正則化パラメータの値を決定する。

次に、このように構成された本実施形態にかかる情報処理装置１００による学習処理について説明する。図２は、本実施形態における学習処理の一例を示すフローチャートである。

受付部１０２は、通信制御部１０１を介して、管理システム２００から送信された更新前のモデルのパラメータ、および、学習データを受け付ける（ステップＳ１０１）。関数構成部１０３は、損失関数および正則化項を含むコスト関数を、例えば（４）式のように構成する（ステップＳ１０２）。

学習部１０４は、入力デバイス１２２を介してユーザ等により指定された正則化パラメータ、および、正則化パラメータの範囲を設定してもよい（ステップＳ１０３）。この場合、学習部１０４は、設定された範囲内で正則化パラメータを決定するように学習処理を実行する。すなわち、学習部１０４は、関数構成部１０３により構成されたコスト関数に従い、正則化パラメータの範囲が設定された場合は設定された範囲において、モデルを学習する（ステップＳ１０４）。

出力制御部１０５は、モデルの学習結果を出力し（ステップＳ１０５）、学習処理を終了する。

図３～図８は、学習結果の出力方法の例を示す図である。図３は、更新されたパラメータを表形式で出力する画面の例である。図３に示すように、出力制御部１０５は、モデル化により選択されたセンサに対応する説明変数（図では「変数」）、回帰係数、および、影響度を含むリスト（表）を出力する。

出力する項目は図３に示す例に限られるものではない。例えば、各センサの説明、および、ｐ値などがさらにリストに含められてもよい。図３の例では、モデル化の結果として、多くの変数（センサ）の中から、変数１～９が選択されている。

図４は、影響度をグラフ形式で出力する画面の例である。なお、図３および図４は、学習結果として更新後のパラメータを可視化した例である。出力制御部１０５は、更新前のパラメータと更新後のパラメータとの差分（変化分）を出力してもよい。

図５は、差分を表形式で出力する画面の例である。図５に示すように、出力制御部１０５は、説明変数、回帰係数の変化、および、影響度の変化を含むリストを出力してもよい。図６は、影響度の差分をグラフ形式で出力する画面の例である。

図７は、変化があった変数を異なる表示態様で表示する画面の例である。図７では、網掛け部分が、変化がない変数であることを示している。変更する表示態様はこれに限られるものではない。例えば、グラフの形状、および、色などの表示態様を異ならせてもよい。

図８は、更新前のパラメータと更新後のパラメータとを比較可能に表示する画面の例である。

図５～図８のようにパラメータを可視化することで、モデルの保守運用作業では、更新前後の差分のみを確認すればよいことになる。すなわち、モデルのパラメータ（説明変数）が多くなる、または、変化のある変数が多くなる場合であっても、結果の確認および妥当性評価などの作業が容易になり、モデルの保守運用の負荷を軽減することが可能となる。

（他の適用例）
これまでは、工場およびプラントにおける品質管理を行うシステムを例に説明した。本実施形態は、例えば、電力需要を予測するシステムにも適用できる。この場合、例えば、日ごとの電力需要を目的変数とし、降水確率および日射量などを説明変数として、電力需要が予測される。このようなシステムでは、適切にモデルを更新しなければ予測精度が劣化する。本実施形態を用いることで、モデルをデータに適応的に追従させつつ、ロバストにモデルを更新することができる。

以上のように、本実施形態にかかる情報処理装置では、モデル更新時のロバスト性（安定性）および追従性（精度）を両立することが可能となる。また、本実施形態では、モデル更新時の確認および評価などの作業の負荷を軽減することが可能となる。

次に、本実施形態にかかる装置（管理システム、情報処理装置）のハードウェア構成について図９を用いて説明する。図９は、本実施形態にかかる装置のハードウェア構成例を示す説明図である。

本実施形態にかかる装置は、ＣＰＵ（Central Processing Unit）５１などの制御装置と、ＲＯＭ（Read Only Memory）５２やＲＡＭ（Random Access Memory）５３などの記憶装置と、ネットワークに接続して通信を行う通信Ｉ／Ｆ５４と、各部を接続するバス６１を備えている。

本実施形態にかかる装置で実行されるプログラムは、ＲＯＭ５２等に予め組み込まれて提供される。

本実施形態にかかる装置で実行されるプログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ－ＲＯＭ（Compact Disk Read Only Memory）、フレキシブルディスク（ＦＤ）、ＣＤ－Ｒ（Compact Disk Recordable）、ＤＶＤ（Digital Versatile Disk）等のコンピュータで読み取り可能な記録媒体に記録してコンピュータプログラムプロダクトとして提供されるように構成してもよい。

さらに、本実施形態にかかる装置で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、本実施形態にかかる装置で実行されるプログラムをインターネット等のネットワーク経由で提供または配布するように構成してもよい。

本実施形態にかかる装置で実行されるプログラムは、コンピュータを上述した装置の各部として機能させうる。このコンピュータは、ＣＰＵ５１がコンピュータ読取可能な記憶媒体からプログラムを主記憶装置上に読み出して実行することができる。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１００ 情報処理装置
１０１ 通信制御部
１０２ 受付部
１０３ 関数構成部
１０４ 学習部
１０５ 出力制御部
１２１ 記憶部
１２２ 入力デバイス
１２３ ディスプレイ
２００ 管理システム
２０１ 通信制御部
２０２ モデル構成部
２２１ 記憶部
３００ ネットワーク

Claims (14)

1. 機械学習により推定されるモデルの１以上のパラメータと、第１入力データと、の入力を受け付ける受付部と、
   前記第１入力データを学習データとして、前記パラメータの変化が小さいほどコストが小さくなるコスト関数を用いて前記モデルを学習する学習部と、
   更新後の前記パラメータ、および、更新前の前記パラメータと更新後の前記パラメータとの差分、の少なくとも一方を表示装置に表示する出力制御部と、を備え、
   前記コスト関数は、損失関数と、更新前の前記パラメータと更新後の前記パラメータとの差分を用いた正則化項と、を含み、
   前記正則化項は、前記差分に対するＬ１ノルム、ＳＣＡＤ（Smoothly Clipped Absolute Derivation）、ＭＣＰ（Minimax Concave Penalty）、Ｌｑノルム（０≦ｑ＜１）、Ｅｌａｓｔｉｃ Ｎｅｔ、Ｌ１／２ノルム、および、Ｌ１ノルムの２乗、のうち少なくとも１つにより定められる、
   情報処理装置。
2. 前記損失関数は、二乗損失、絶対値損失、分位損失、フーバー損失、イプシロン感度損失、ロジスティック損失、指数損失、ヒンジ損失、および、平滑化ヒンジ損失のうち少なくとも１つにより定められる、
   請求項１に記載の情報処理装置。
3. 前記受付部は、前記損失関数、前記正則化項、前記コスト関数に含まれるパラメータであってチューニングする正則化パラメータ、および、前記正則化パラメータの範囲の指定を受け付け、
   前記学習部は、指定された前記損失関数と、指定された前記正則化パラメータと、指定された前記正則化項と、を含む前記コスト関数を用いて、前記正則化パラメータが指定された範囲において、前記モデルを学習する、
   請求項１に記載の情報処理装置。
4. 前記受付部は、前記第１入力データと異なる第２入力データにより学習された前記モデルの前記パラメータの入力を受け付ける、
   請求項１～３のいずれか１項に記載の情報処理装置。
5. 前記受付部は、ドメインに関する知識に基づいて定められた前記パラメータの入力を受け付ける、
   請求項１～３のいずれか１項に記載の情報処理装置。
6. 更新後の前記パラメータ、および、更新前の前記パラメータと更新後の前記パラメータとの差分、の少なくとも一方を出力する出力制御部をさらに備える、
   請求項１～５のいずれか１項に記載の情報処理装置。
7. 前記出力制御部は、前記差分を表形式、および、グラフ形式の少なくとも一方により出力する、
   請求項６に記載の情報処理装置。
8. 前記受付部は、複数のモデルのうち使用するモデルの指定を受け付け、指定されたモデルの１以上のパラメータの入力を受け付ける、
   請求項１～７のいずれか１項に記載の情報処理装置。
9. 前記受付部は、複数のモデルそれぞれについて１以上のパラメータを受け付け、
   前記学習部は、前記パラメータのそれぞれとの変化が小さいほどコストが小さくなる前記コスト関数を用いる、
   請求項１～８のいずれか１項に記載の情報処理装置。
10. 前記正則化項は、１以上のパラメータのうち一部についての前記差分を用いる、
    請求項１に記載の情報処理装置。
11. 前記コスト関数は、複数の更新前の前記パラメータそれぞれと、更新後の前記パラメータと、の差分を用いた複数の前記正則化項を含む、
    請求項１に記載の情報処理装置。
12. 機械学習により推定されるモデルの１以上のパラメータと、第１入力データと、の入力を受け付ける受付部と、
    前記第１入力データを学習データとして、前記モデルに対する変化を、コスト関数の連続最適化によりスパースに学習する学習部と、
    更新後の前記パラメータ、および、更新前の前記パラメータと更新後の前記パラメータとの差分、の少なくとも一方を表示装置に表示する出力制御部と、を備え、
    前記コスト関数は、損失関数と、更新前の前記パラメータと更新後の前記パラメータとの差分を用いた正則化項と、を含み、
    前記正則化項は、前記差分に対するＬ１ノルム、ＳＣＡＤ（Smoothly Clipped Absolute Derivation）、ＭＣＰ（Minimax Concave Penalty）、Ｌｑノルム（０≦ｑ＜１）、Ｅｌａｓｔｉｃ Ｎｅｔ、Ｌ１／２ノルム、および、Ｌ１ノルムの２乗、のうち少なくとも１つにより定められる、
    情報処理装置。
13. 機械学習により推定されるモデルの１以上のパラメータと、第１入力データと、の入力を受け付ける受付ステップと、
    前記第１入力データを学習データとして、前記パラメータの変化が小さいほどコストが小さくなるコスト関数を用いて前記モデルを学習する学習ステップと、
    更新後の前記パラメータ、および、更新前の前記パラメータと更新後の前記パラメータとの差分、の少なくとも一方を表示装置に表示する出力制御ステップと、を含み、
    前記コスト関数は、損失関数と、更新前の前記パラメータと更新後の前記パラメータとの差分を用いた正則化項と、を含み、
    前記正則化項は、前記差分に対するＬ１ノルム、ＳＣＡＤ（Smoothly Clipped Absolute Derivation）、ＭＣＰ（Minimax Concave Penalty）、Ｌｑノルム（０≦ｑ＜１）、Ｅｌａｓｔｉｃ Ｎｅｔ、Ｌ１／２ノルム、および、Ｌ１ノルムの２乗、のうち少なくとも１つにより定められる、
    情報処理方法。
14. コンピュータに、
    機械学習により推定されるモデルの１以上のパラメータと、第１入力データと、の入力を受け付ける受付ステップと、
    前記第１入力データを学習データとして、前記パラメータの変化が小さいほどコストが小さくなるコスト関数を用いて前記モデルを学習する学習ステップと、
    更新後の前記パラメータ、および、更新前の前記パラメータと更新後の前記パラメータとの差分、の少なくとも一方を表示装置に表示する出力制御ステップと、を実行させ、
    前記コスト関数は、損失関数と、更新前の前記パラメータと更新後の前記パラメータとの差分を用いた正則化項と、を含み、
    前記正則化項は、前記差分に対するＬ１ノルム、ＳＣＡＤ（Smoothly Clipped Absolute Derivation）、ＭＣＰ（Minimax Concave Penalty）、Ｌｑノルム（０≦ｑ＜１）、Ｅｌａｓｔｉｃ Ｎｅｔ、Ｌ１／２ノルム、および、Ｌ１ノルムの２乗、のうち少なくとも１つにより定められる、
    プログラム。

Images