JP7242590B2 - 機械学習モデル圧縮システム、プルーニング方法及びプログラム - Google Patents

Description

本発明の実施形態は機械学習モデル圧縮システム、プルーニング方法及びプログラムに関する。

機械学習、特にディープラーニングの応用が、自動運転、製造工程監視及び疾病予測など様々な分野で進んでいる。こうした中、機械学習モデルの圧縮技術が注目されている。例えば自動運転では、車載向け画像認識プロセッサのように演算能力が低くメモリ資源の少ないエッジデバイスでのリアルタイム動作が必須である。そのため、演算能力が低くメモリ資源の少ないエッジデバイスでは、小規模なモデルが求められる。したがって、学習済みモデルの認識精度をなるべく維持したままモデルを圧縮する技術が必要とされている。

Ｐｒｕｎｉｎｇ Ｆｉｌｔｅｒｓ ｆｏｒ Ｅｆｆｉｃｉｅｎｔ ＣｏｎｖＮｅｔｓ ［Ｌｉ ２０１７］

しかしながら、従来の技術では、エッジやテクスチャといった簡単な形状を抽出する入力側のレイヤー付近に比べ、データセットに依存した複雑な特徴を抽出する出力側のレイヤー付近のチャネルを適切に選択してプルーニングすることが困難だった。

実施形態の機械学習モデル圧縮システムは、第１の評価部とソート部と削除部とを備える。第１の評価部は、学習済み機械学習モデルのレイヤーを出力側から入力側の順に選択し、選択されたレイヤーに含まれる複数の重みを評価する第１の評価値を、入力チャネル単位で算出する。ソート部は、前記入力チャネル単位で算出された前記第１の評価値を昇順または降順にソートする。削除部は、前記第１の評価値が小さい順に所定の数だけ前記第１の評価値を選択し、選択された前記第１の評価値の算出に使用された前記入力チャネルを削除する。

第１実施形態の機械学習モデル圧縮システムの機能構成の例を示す図。 第１実施形態のプルーニング部の機能構成の例を示す図。 第１実施形態のプルーニング処理の例を示すフローチャート。 第１実施形態のプルーニング処理を説明するための図。 第１実施形態の効果を説明するための図。 第２実施形態の機械学習モデル圧縮システムの機能構成の例を示す図。 第２実施形態の抽出制御部の機能構成の例を示す図。 第２実施形態の機械学習モデル圧縮方法の例を示すフローチャート。 第３実施形態の機械学習モデル圧縮システムの機能構成の例を示す図。 第３実施形態の機械学習モデル圧縮方法の例を示すフローチャート。 第１乃至第３実施形態の機械学習モデル圧縮システムに使用されるコンピュータのハードウェア構成の例を示す図。 第１乃至第３実施形態の機械学習モデル圧縮システムの装置構成の例を示す図。

以下に添付図面を参照して、機械学習モデル圧縮システム、プルーニング方法及びプログラムの実施形態を詳細に説明する。

（第１実施形態）
はじめに、第１実施形態の機械学習モデル圧縮システムの機能構成の例について説明する。

［機能構成の例］
図１は第１実施形態の機械学習モデル圧縮システム１０の機能構成の例を示す図である。第１実施形態の機械学習モデル圧縮システム１０は、プルーニング部１及び学習部２を備える。

プルーニング部１は、入力されたレイヤーごとのプルーニング率２０１に基づき、学習済み機械学習モデル２０２から重みをプルーニングする。なお、プルーニング率２０１の代わりに、レイヤーごとのチャネル数がプルーニング部１に入力されてもよい。プルーニング部１の処理の詳細は図２を用いて後述する。

学習部２は、プルーニングにより生成された圧縮モデル２０３を、データセット２０４で再学習し、再学習された圧縮モデル２０３を出力する。

図２は第１実施形態のプルーニング部１の機能構成の例を示す図である。第１実施形態のプルーニング部１は、第１の評価部１１、ソート部１２及び削除部１３を備える。

第１の評価部１１は、学習済み機械学習モデル２０２のレイヤーを出力側（出力レイヤー）から入力側（入力レイヤー）の順に選択し、選択されたレイヤーに含まれる複数の重みを評価する第１の評価値を、入力チャネル単位で算出する。第１の評価値の算出方法の詳細は図３及び図４を用いて後述する。

ソート部１２は、入力チャネル単位で算出された第１の評価値を昇順（又は降順）にソートする。

削除部１３は、第１の評価値が小さい順に所定の数だけ第１の評価値を選択し、選択された第１の評価値の算出に使用された入力チャネルを削除する。

［プルーニング処理の例］
図３は第１実施形態のプルーニング処理の例を示すフローチャートである。図４は第１実施形態のプルーニング処理を説明するための図である。図４において、ｉはレイヤー番号、ｃはチャネル数、ｗとｈはそれぞれ特徴マップの幅と高さを表す。ｉの値が小さいほど入力レイヤーに近く、ｉの値が大きいほど出力レイヤーに近いことを表す。Ｋｅｒｎｅｌ ｍａｔｒｉｘの列数ｎは入力チャネル数に、行数ｍは出力チャネル数に対応する。以下に、ｉ＋１番目のレイヤーからフィルタをプルーニングする手順を説明する。この処理は、出力レイヤーから入力レイヤーの順に行われる。

まず、第１の評価部１１が、Ｋｅｒｎｅｌ ｍａｔｒｉｘに含まれる各フィルタＦｍ，ｎ（ｍ＝１～ｃ_ｉ＋１，ｎ＝１～ｃ_ｉ＋２）について係数（重み）の絶対値和｜Κ｜を算出する（ステップＳ１０１）。例えば各フィルタＦｍ，ｎが３×３カーネルである場合、９つの係数の絶対値和が｜Κ｜となる。絶対値和｜Κ｜は、いわゆるＬ１ノルムである。なお、Ｌ１ノルムの代わりに、係数の二乗和であるＬ２ノルムや、係数の絶対値の最大値であるＬ∞ノルム（Ｍａｘノルム）などを用いてもよい。

次に、第１の評価部１１が、下記式（１）によって、入力チャネルごとに絶対値和｜Κ｜を、第１の評価値として求める（ステップＳ１０２）。

次に、ソート部１２が、絶対値和Ｓｍを昇順（又は降順）にソートする（ステップＳ１０２）。

次に、削除部１３が、絶対値和Ｓｍがより小さい入力チャネルと、当該入力チャネルに対応する特徴マップとを所定の数だけ削除し、次のレイヤーにおいて、削除された特徴マップに対応する出力チャネルも削除する（ステップＳ１０３）。図４の例は、４番目のチャネルｃ_４、及び、当該チャネルｃ_４に対応する特徴マップが削除される場合を示す。

次に、削除部１３が、全てのレイヤーのプルーニング処理が完了したかどうかを判定する（ステップＳ１０４）。全てのレイヤーのプルーニング処理が完了していない場合（ステップＳ１０４，Ｎｏ）、削除部１３が、ｉの値を１小さくし（ステップＳ１０５）、処理はステップＳ１０１に戻る。全てのレイヤーのプルーニング処理が完了すれば（ステップＳ１０４，Ｙｅｓ）、プルーニング処理は終了となる。

以上、説明したように、第１実施形態の機械学習モデル圧縮システム１０では、第１の評価部１１が、学習済み機械学習モデル２０２のレイヤーを出力側から入力側の順に選択し、選択されたレイヤーに含まれる複数の重みを評価する第１の評価値を、入力チャネル単位で算出する。ソート部１２は、入力チャネル単位で算出された第１の評価値を昇順（又は降順）にソートする。削除部１３は、第１の評価値が小さい順に所定の数だけ第１の評価値を選択し、選択された第１の評価値の算出に使用された入力チャネルを削除する。

これにより第１実施形態によれば、出力レイヤーから入力レイヤーの順にプルーニング処理を行うことで、データセット２０４に依存した複雑な特徴を抽出する出力レイヤー付近のチャネルを適切に選択することができ、プルーニング後のモデルを再学習する場合に、学習の収束を早めることが可能となる。

一般的に、プルーニング後のモデルは、認識性能を確保するため、対象とするデータセット２０４で再学習を行う。削除部１３は、再学習後の認識性能が、プルーニング前の認識性能と比較して許容範囲内の低下に収まるよう、ステップＳ１０３における所定の数を調整する。

図５は第１実施形態の効果を説明するための図である。図５は、ＣＩＦＡＲ－１０データセットで学習済みのＶＧＧ－１６ネットワークを、非特許文献１に記載の方法（図５点線）及び第１実施形態の方法（図５実線）でそれぞれプルーニングし、重みの数を約１／１０に削減した機械学習モデルを、ＣＩＦＡＲ－１０データセットで再学習した場合の学習曲線を示す。図５の横軸が学習時間、縦軸が認識性能である。第１実施形態のプルーニング方法でプルーニングした機械学習モデルの認識性能が、より早く収束していることが分かる。

また、第１実施形態によれば、生成したい圧縮モデル２０３の重みパラメータ数があらかじめおおよそ決まっている場合は、探索処理（詳細は第２実施形態で後述）を省くことにより、比較的短時間で所望の圧縮モデルを得ることができる。

（第２実施形態）
次に第２実施形態の機械学習モデル圧縮システムについて説明する。第２実施形態の説明では、第１実施形態と同様の説明については省略し、第１実施形態と異なる箇所について説明する。第２実施形態では、生成すべき圧縮モデル２０３の探索処理を実行する場合について説明する。

［機能構成の例］
図６は第１実施形態の機械学習モデル圧縮システム１０－２の機能構成の例を示す図である。第２実施形態の機械学習モデル圧縮システム１０－２は、選択部２１、抽出制御部２２、生成部２３、第２の評価部２４、及び、判定部２５を備える。

選択部２１は、所定の探索範囲に含まれる圧縮モデルの構造を決定するパラメータの選択処理を実行する。

抽出制御部２２は、学習済み機械学習モデルから圧縮モデルの重みを抽出する重み抽出処理を実行する。抽出制御部２２の処理の詳細は図７を用いて後述する。

生成部２３は、パラメータを使用して圧縮モデル２０３を生成し、抽出された重みを２０３圧縮モデルの少なくとも１つのレイヤーの重みの初期値として設定する圧縮モデル生成処理を実行する。

第２の評価部２４は、圧縮モデル２０３を所定の期間学習し、圧縮モデル２０３の認識性能を示す第２の評価値を算出する性能評価処理を実行する。

判定部２５は、所定の終了条件に基づいて、上述のパラメータの選択処理と、上述の重み抽出処理と、上述の圧縮モデル生成処理と、上述の性能評価処理とを繰り返すか否かを判定する。

図７は第２実施形態の抽出制御部２２の機能構成の例を示す図である。第２実施形態の抽出制御部２２は、第１の評価部１１、ソート部１２、削除部１３及び抽出部１４を備える。第１の評価部１１、ソート部１２及び削除部１３の説明は、第１実施形態と同様のため省略する。抽出部１４は、削除部１３によって削除された入力チャネルに対応する重みを削除することによって、学習済み機械学習モデルから圧縮モデルの重みを抽出する（削除されずに残った重みを抽出する）。

［機械学習モデル圧縮処理の例］
図８は第２実施形態の機械学習モデル圧縮方法の例を示すフローチャートである。はじめに、選択部２１は、探索範囲２１１に含まれる圧縮モデル２０３の構造を決定するパラメータとして、チャネル数（又はノード数）の情報を含むハイパーパラメータ２１２を選択する（ステップＳ２０１）。

なお、圧縮モデル２０３（圧縮モデル２０３のモデル構造を決定するハイパーパラメータ２１２）の具体的な選択方法は任意でよい。例えば、選択部２１は、ベイズ推定や遺伝的アルゴリズムを用いて、認識性能がより高くなると期待される圧縮モデル２０３を選択してもよい。また例えば、選択部２１は、ランダム探索やグリッド探索を用いて圧縮モデル２０３を選択してもよい。また例えば、選択部２１は、複数の選択方法を組み合わせて、より最適な圧縮モデル２０３を選択してもよい。

また、探索範囲２１１は機械学習モデル圧縮システム１０－２の内部で自動的に決定してもよい。例えば、学習済みの機械学習モデル２０２の学習に用いたデータセット２０４を、学習済みの機械学習モデル２０２に入力し、推論の結果得られたレイヤーごとの固有値を解析することによって、探索範囲２１１を自動的に決定してもよい。

次に、抽出部１４が、第１実施形態のプルーニング方法（図３参照）を用いて重みを削除することによって、学習済みの機械学習モデル２０２から、ハイパーパラメータ２１２に含まれるチャネル数（又はノード数）の情報に応じた数の重みパラメータ２１３を抽出する（ステップＳ２０２）。

次に、生成部２３が、ステップＳ２０１により選択されたハイパーパラメータ２１２が表す圧縮モデル２０３を生成し、ステップＳ２０２により抽出された重みパラメータ２１３を、圧縮モデル２０３の重みの初期値として設定する（ステップＳ２０３）。

次に、評価部２０５が、データセット２０４を用いて、圧縮モデル２０３を所定の期間学習させて、圧縮モデル２０３の認識性能を測定し、認識性能を示す値を第２の評価値２１４として出力する（ステップＳ２０４）。第２の評価値２１４は、例えばクラス分類タスクであればａｃｃｕｒａｃｙ、物体検出タスクであればｍＡＰなど、圧縮モデル２０３の認識性能を表す値である。

なお、探索時間を削減するため、評価部２０５が、圧縮モデル２０３の学習状況から、それほど高い認識性能が得られそうにないと判断した場合に学習を打ち切ってもよい。具体的には、評価部２０５は、例えば学習時間に応じた認識率の上昇率を評価し、当該上昇率が閾値以下の場合、学習を打ち切ってもよい。これにより圧縮モデル２０３の探索を効率化することができる。

また、評価部２０５は、機械学習モデル圧縮システム１０－２に入力された制約条件２１６に基づいて、ステップＳ２０４の処理の実行を判断してもよい。制約条件２１６とは、圧縮モデル２０３を動作させる場合に満たさなければならない制約の集合を示す。制約条件２１６は、例えば推論速度（処理時間）の上限、使用メモリ量の上限、及び、圧縮モデル２０３のバイナリサイズの上限などである。圧縮モデル２０３が制約条件２１６を満たさない場合は、ステップＳ２０４の処理を行わないことで、圧縮モデル２０３の探索を高速化することができる。

次に、判定部２０６は、あらかじめ設定された所定の終了条件に基づいて探索の終了を判定する（ステップＳ２０５）。所定の終了条件は、例えば第２の評価値２１４が評価閾値を超えた場合である。また例えば、所定の終了条件は、評価部２０５での評価回数（第２の評価値２１４の評価回数）が回数閾値を超えた場合である。また例えば、所定の終了条件は、圧縮モデル２０３の探索時間が時間閾値を超えた場合である。また例えば、所定の終了条件は、複数の終了条件を組み合わせてもよい。

判定部２０６は、あらかじめ設定された終了条件に応じて、ハイパーパラメータ２１２、当該ハイパーパラメータ２１２に対応する第２の評価値２１４、ループ回数及び探索経過時間などのうち、必要な情報を内部に保持しておく。

所定の終了条件を満たさない場合（ステップＳ２０５，Ｎｏ）、判定部２０６は、第２の評価値２１４を選択部２１に入力し、処理はステップＳ２０１に戻る。選択部２１は、判定部２０６から上述の第２の評価値２１４を受け付けると、次に処理される圧縮モデル２０３のモデル構造を決定するハイパーパラメータ２１２を選択する（ステップＳ２０１）。

一方、所定の終了条件を満たす場合（ステップＳ２０５，Ｙｅｓ）、判定部２０６は、例えば第２の評価値２１４が最も高かった圧縮モデル２０３のハイパーパラメータ２１２を、選択モデルパラメータ２１５として、評価部２０５に入力する。

評価部２０５は、学習済みの圧縮モデル２０３を出力する場合（ステップＳ２０６，Ｙｅｓ）、選択モデルパラメータ２１５で決定される圧縮モデル２０３を、データセット２０４を使用して十分に学習させ（ステップＳ２０７）、学習済みの圧縮モデル２０３として出力する。

なお、評価部２０５から出力される圧縮モデル２０３は未学習の圧縮モデルであってもよい（ステップＳ２０６，Ｎｏ）。また、評価部２０５から出力される情報は、例えば圧縮モデル２０３のチャネル数（又はノード数）の情報を含むハイパーパラメータであってもよい。また例えば、評価部２０５から出力される情報は、未学習の圧縮モデル２０３、学習済みの圧縮モデル２０３、及び、ハイパーパラメータの２つ以上の組み合わせであってもよい。

以上、説明したように、第２実施形態によれば、学習済み機械学習モデル２０２の重みの一部を圧縮モデル２０３の重みの初期値とすることで、学習の収束が早くなり、ステップＳ２０４の処理での学習期間を短くできるため、探索範囲２１１で認識精度を最大化する圧縮モデル２０３を効率的に探索することが可能となる。

（第３実施形態）
次に第３実施形態の機械学習モデル圧縮システムについて説明する。第３実施形態の説明では、第２実施形態と同様の説明については省略する。第３実施形態は、学習済み機械学習モデル２０２の重みを、圧縮モデル２０３の重みの初期値として利用するかどうかをレイヤーごとに選択できる部分が第２実施形態と異なる。

［機能構成の例］
図９は第３実施形態の機械学習モデル圧縮システム１０－３の機能構成の例を示す図である。第３実施形態の機械学習モデル圧縮システム１０－３は、選択部２１、抽出制御部２２、生成部２３、第２の評価部２４、及び、判定部２５を備える。

第３実施形態の抽出制御部２２は、抽出された重みを圧縮モデルの重みの初期値として設定するレイヤーを指定する入力（重み設定パラメータ２２１）を受け付け、指定されたレイヤーの重みを抽出する。重み設定パラメータ２２１は、例えばユーザによって設定される。

第３実施形態の生成部２３は、抽出された重みを圧縮モデルの重みの初期値として設定するレイヤーを指定する入力（重み設定パラメータ２２１）を受け付け、抽出制御部２２によって抽出された重みを、指定されたレイヤーの重みの初期値として設定する。

［機械学習モデル圧縮処理の例］
図１０は第３実施形態の機械学習モデル圧縮方法の例を示すフローチャートである。ステップＳ３０１の説明は、第２実施形態のステップＳ２０１と同じなので省略する。

抽出制御部２２は、上述の重み設定パラメータ２２１に基づいて、学習済み機械学習モデル２０２から重みを抽出するか否かを判定する（ステップＳ３０２）。

圧縮モデル２０３の少なくとも１つのレイヤーで、学習済み機械学習モデル２０２の重みを利用する場合（Ｓ３０２，Ｙｅｓ）、生成部２３は、重みパラメータ２１３を、重み設定パラメータ２２１で指定された圧縮モデル２０３のレイヤーの重みの初期値として設定する（ステップＳ２０３）。なお、重み設定パラメータ２２１で指定されなかった圧縮モデル２０３のレイヤーの重みの初期値は、ランダムな値でもよいし、所定の定数値でもよい。

圧縮モデル２０３の全てのレイヤーで、学習済み機械学習モデル２０２の重みを利用しない場合（Ｓ３０２，Ｎｏ）、処理はステップＳ３０４に進む。

ステップＳ３０４～ステップＳ３０８の説明は、第２実施形態のステップＳ２０３～ステップＳ２０７と同じなので省略する。

以上、説明したように、第３実施形態によれば、学習済み機械学習モデル２０２の重みを利用するかどうかを、レイヤーごとに指定できるため、学習済み機械学習モデル２０２の学習に用いたデータセットとは異なるデータセットにｆｉｎｅ ｔｕｎｉｎｇすることが可能となる。例えば、エッジやテクスチャといった、データセットに依存しない特徴を抽出する入力レイヤー付近のみ、学習済み機械学習モデル２０２の重みを利用することで、異なるデータセットに効率的にｆｉｎｅ ｔｕｎｉｎｇすることができる。

最後に、第１乃至第３実施形態の機械学習モデル圧縮システム１０～１０－３に使用されるコンピュータのハードウェア構成の例について説明する。

［ハードウェア構成の例］
図１１は第１乃至第３実施形態の機械学習モデル圧縮システム１０～１０－３に使用されるコンピュータのハードウェア構成の例を示す図である。

機械学習モデル圧縮システム１０～１０－３に使用されるコンピュータは、制御装置５０１、主記憶装置５０２、補助記憶装置５０３、表示装置５０４、入力装置５０５及び通信装置５０６を備える。制御装置５０１、主記憶装置５０２、補助記憶装置５０３、表示装置５０４、入力装置５０５及び通信装置５０６は、バス５１０を介して接続されている。

制御装置５０１は、補助記憶装置５０３から主記憶装置５０２に読み出されたプログラムを実行する。主記憶装置５０２は、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、及び、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等のメモリである。補助記憶装置５０３は、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）、及び、メモリカード等である。

表示装置５０４は表示情報を表示する。表示装置５０４は、例えば液晶ディスプレイ等である。入力装置５０５は、コンピュータを操作するためのインタフェースである。入力装置５０５は、例えばキーボードやマウス等である。コンピュータがスマートフォン及びタブレット型端末等のスマートデバイスの場合、表示装置５０４及び入力装置５０５は、例えばタッチパネルである。通信装置５０６は、他の装置と通信するためのインタフェースである。

コンピュータで実行されるプログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ－ＲＯＭ、メモリカード、ＣＤ－Ｒ及びＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）等のコンピュータで読み取り可能な記憶媒体に記録されてコンピュータ・プログラム・プロダクトとして提供される。

またコンピュータで実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。またコンピュータで実行されるプログラムをダウンロードさせずにインターネット等のネットワーク経由で提供するように構成してもよい。

またコンピュータで実行されるプログラムを、ＲＯＭ等に予め組み込んで提供するように構成してもよい。

コンピュータで実行されるプログラムは、上述の機械学習モデル圧縮システム１０～１０－３の機能構成（機能ブロック）のうち、プログラムによっても実現可能な機能ブロックを含むモジュール構成となっている。当該各機能ブロックは、実際のハードウェアとしては、制御装置５０１が記憶媒体からプログラムを読み出して実行することにより、上記各機能ブロックが主記憶装置５０２上にロードされる。すなわち上記各機能ブロックは主記憶装置５０２上に生成される。

なお上述した各機能ブロックの一部又は全部をソフトウェアにより実現せずに、ＩＣ（Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）等のハードウェアにより実現してもよい。

また複数のプロセッサを用いて各機能を実現する場合、各プロセッサは、各機能のうち１つを実現してもよいし、各機能のうち２つ以上を実現してもよい。

また機械学習モデル圧縮システム１０～１０－３を実現するコンピュータの動作形態は任意でよい。例えば、機械学習モデル圧縮システム１０～１０－３を１台のコンピュータにより実現してもよい。また例えば、機械学習モデル圧縮システム１０～１０－３を、ネットワーク上のクラウドシステムとして動作させてもよい。

［装置構成の例］
図１２は第１乃至第３実施形態の機械学習モデル圧縮システム１０～１０－３の装置構成の例を示す図である。図１０の例では、機械学習モデル圧縮システム１０～１０－３は、複数のクライアント装置１００ａ～１００ｚ、ネットワーク２００及びサーバ装置３００を備える。

クライアント装置１００ａ～１００ｚを区別する必要がない場合は、単にクライアント装置１００という。なお、機械学習モデル圧縮システム１０～１０－３内のクライアント装置１００の数は任意でよい。クライアント装置１００は、例えば、パソコン及びスマートフォンなどのコンピュータである。複数のクライアント装置１００ａ～１００ｚとサーバ装置３００とは、ネットワーク２００を介して互いに接続されている。ネットワーク２００の通信方式は、有線方式であっても無線方式であってもよく、また、両方を組み合わせてもよい。

例えば、機械学習モデル圧縮システム１０のプルーニング部１及び学習部２をサーバ装置３００により実現し、ネットワーク２００上のクラウドシステムとして動作させてもよい。例えば、クライアント装置１００が、機械学習モデル２０２及びデータセット２０４をサーバ装置３００へ送信してもよい。そして、サーバ装置３が、学習部２により再学習された圧縮モデル２０３をクライアント装置１００に送信してもよい。

また例えば、機械学習モデル圧縮システム１０－２及び１０－３の選択部２１、抽出制御部２２、生成部２３、第２の評価部２４、及び、判定部２５をサーバ装置３００により実現し、ネットワーク２００上のクラウドシステムとして動作させてもよい。例えば、クライアント装置１００が、機械学習モデル２０２及びデータセット２０４をサーバ装置３００へ送信してもよい。そして、サーバ装置３００が、探索部１０４により探索された圧縮モデル２０３をクライアント装置１００に送信してもよい。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１ プルーニング部
２ 学習部
１０ 機械学習モデル圧縮システム
１１ 第１の評価部
１２ ソート部
１３ 削除部
１４ 抽出部
２１ 選択部
２２ 抽出制御部
２３ 生成部
２４ 第２の評価部
２５ 判定部
１００ クライアント装置
２００ ネットワーク
３００ サーバ装置
５０１ 制御装置
５０２ 主記憶装置
５０３ 補助記憶装置
５０４ 表示装置
５０５ 入力装置
５０６ 通信装置
５１０ バス

Claims (7)

1. 学習済み機械学習モデルのレイヤーを出力側から入力側の順に選択し、選択されたレイヤーに含まれる複数の重みを評価する第１の評価値を、入力チャネル単位で算出する第１の評価部と、
   前記入力チャネル単位で算出された前記第１の評価値を昇順または降順にソートするソート部と、
   前記第１の評価値が小さい順に所定の数だけ前記第１の評価値を選択し、選択された前記第１の評価値の算出に使用された前記入力チャネルを削除する削除部と、
   を備える機械学習モデル圧縮システム。
2. 前記第１の評価値は、前記複数の重みのＬ１ノルムである、
   請求項１に記載の機械学習モデル圧縮システム。
3. 所定の探索範囲に含まれる圧縮モデルの構造を決定するパラメータの選択処理を実行する選択部と、
   前記削除部によって削除された前記入力チャネルに対応する重みを削除することによって、前記学習済み機械学習モデルから前記圧縮モデルの重みを抽出する重み抽出処理を実行する抽出部と、
   前記パラメータを使用して前記圧縮モデルを生成し、前記抽出された重みを前記圧縮モデルの少なくとも１つのレイヤーの重みの初期値として設定する圧縮モデル生成処理を実行する生成部と、
   前記圧縮モデルを所定の期間学習し、前記圧縮モデルの認識性能を示す第２の評価値を算出する性能評価処理を実行する第２の評価部と、
   所定の終了条件に基づいて、前記パラメータの選択処理と、前記重み抽出処理と、前記圧縮モデル生成処理と、前記性能評価処理とを繰り返すか否かを判定する判定部と、
   を更に備える請求項１又は２に記載の機械学習モデル圧縮システム。
4. 前記生成部は、前記抽出された重みを前記圧縮モデルの重みの初期値として設定するレイヤーを指定する入力を受け付け、前記抽出された重みを、指定されたレイヤーの重みの初期値として設定する、
   請求項３に記載の機械学習モデル圧縮システム。
5. 前記所定の終了条件は、前記第２の評価値が評価閾値を超えた場合、前記第２の評価値の評価回数が回数閾値を超えた場合、又は、前記圧縮モデルの探索時間が時間閾値を超えた場合である、
   請求項３又は４に記載の機械学習モデル圧縮システム。
6. 機械学習モデル圧縮システムが、学習済み機械学習モデルのレイヤーを出力側から入力側の順に選択し、選択されたレイヤーに含まれる複数の重みを評価する第１の評価値を、入力チャネル単位で算出するステップと、
   前記機械学習モデル圧縮システムが、前記入力チャネル単位で算出された前記第１の評価値を昇順または降順にソートするステップと、
   前記機械学習モデル圧縮システムが、前記第１の評価値が小さい順に所定の数だけ前記第１の評価値を選択し、選択された前記第１の評価値の算出に使用された前記入力チャネルを削除するステップと、
   を含むプルーニング方法。
7. コンピュータを、
   学習済み機械学習モデルのレイヤーを出力側から入力側の順に選択し、選択されたレイヤーに含まれる複数の重みを評価する第１の評価値を、入力チャネル単位で算出する第１の評価部と、
   前記入力チャネル単位で算出された前記第１の評価値を昇順または降順にソートするソート部と、
   前記第１の評価値が小さい順に所定の数だけ前記第１の評価値を選択し、選択された前記第１の評価値の算出に使用された前記入力チャネルを削除する削除部、
   として機能させるためのプログラム。

Images