JP7346267B2 - 情報処理装置、中継装置、システム、情報処理装置の制御方法、中継装置の制御方法およびプログラム - Google Patents

Description

本発明は、情報処理装置、中継装置、システム、情報処理装置の制御方法、中継装置の制御方法およびプログラムに関する。

画面上の画像データを圧縮してクライアント端末に送信する技術が、特許文献１に提案されている。特許文献１の技術では、サーバ端末が、画面上の複数の種別のグラフィカル・ユーザ・インタフェース（ＧＵＩ）部品を含む表示画像の少なくとも一部の領域の画像データを圧縮してクライアント端末に送信する。

特開２０１０－５５２８０号公報

例えば、エッジ端末（端末）が、サーバから取得した学習済みモデルを用いて、推論処理を行うケースを想定する。一般的に、エッジ端末は、ハードウェアリソースが豊富ではないため、多くの学習済みモデルを保持することが難しい。そこで、学習済みモデルの圧縮を行い、圧縮された学習済みモデルをエッジ端末に保持させることが考えられる。ただし、学習済みモデルの圧縮が行われると、学習済みモデルを用いた推論精度が低下するため、学習済みモデルの圧縮度合いは低いことが望ましい。一方、エッジ端末のハードウェアのリソース状態は動的に変化する。このため、エッジ端末のリソース状態の変化に応じて、学習済みモデルの圧縮度合いを制御することは難しく、適正な度合いで圧縮された学習済みモデルを用いることが難しく、推論精度の低下が生じることがある。

本発明は、端末のリソース状態が動的に変化しても、学習済みモデルによる推論精度の低下を抑制することを目的とする。

上記目的を達成するために、本発明の情報処理装置は、端末から学習済みモデルのリクエストともに前記端末のリソース状態を受信する受信手段と、前記リソース状態に応じた圧縮度合いで前記リクエストの対象となる学習済みモデルを圧縮する制御を行う制御手段と、圧縮された前記学習済みモデルを前記端末に送信する送信手段と、を備えることを特徴とする。

本発明によれば、端末のリソース状態が動的に変化しても、学習済みモデルによる推論精度の低下を抑制することができる。

本実施形態のシステムの構成例を示す図である。 情報処理装置の構成例の一例を示すブロック図である。 撮像装置の構成例の一例を示すブロック図である。 リソース状態と学習済みモデルの圧縮度合いとの対応関係を示すテーブルである。 学習済みモデルの管理の一例を示すテーブルである。 撮像装置の処理の流れを示すフローチャートである。 情報処理装置の処理の流れの一例を示すフローチャートである。 学習済みモデルの生成処理の一例を示すフローチャートである。 変形例のシステムの構成例を示す図である。

以下、本発明の各実施の形態について図面を参照しながら詳細に説明する。しかしながら、以下の各実施の形態に記載されている構成はあくまで例示に過ぎず、本発明の範囲は各実施の形態に記載されている構成によって限定されることはない。

以下、図面を参照して、本実施形態を説明する。図１は、本実施形態のシステム１００の構成例を示す図である。システム１００において、撮像装置１０１と情報処理装置１０２とは、ネットワーク１０６、１０７を介して接続されている。ネットワーク１０６、１０７は、有線通信または無線通信が可能なネットワークである。本実施形態では、エッジ端末（端末）として撮像装置１０１を適用しているが、エッジ端末としては、例えば、スマートフォンやタブレット端末等の任意の端末が適用されてもよい。情報処理装置１０２は、複数の学習済みモデル１０３を保持またはキャッシュ（保存）する。学習済みモデル１０３は、圧縮された学習済みモデル、または圧縮されていない学習済みモデル（オリジナルの学習済みモデル）である。情報処理装置１０２は、複数の学習済みモデル１０３のうちから任意の学習済みモデルを選択して、選択された学習済みモデルを圧縮する。そして、情報処理装置１０２は、選択された学習済みモデルを圧縮して、圧縮済み学習済みモデル１０５を生成する。圧縮済み学習済みモデル１０５は、図１では、学習済みモデルＡ’と表記される。情報処理装置１０２は、例えば、クラウドサーバ等である。

学習済みモデルは、任意の機械学習により得られるモデルである。学習済みモデルは、例えば、誤差逆伝搬法等によりパラメータが調整された学習済みのニューラルネットワークであってもよい。学習済みモデルは、ニューラルネットワーク以外のモデルであってもよい。例えば、学習済みモデルは、サポートベクターマシンにより学習されたモデルであってもよい。

撮像装置１０１は、ネットワーク１０６を介して、学習済みモデルのリクエストおよび自身のリソース状態を情報処理装置１０２に送信する。リソース状態は、例えば、撮像装置１０１のＣＰＵ使用率やメモリ使用率、筐体温度、バッテリー容量等、撮像装置１０１の処理状態に応じて動的に変化する撮像装置１０１の負荷を示す情報である。リソース状態は、ＣＰＵ使用率とメモリ使用率と筐体温度とバッテリー容量とを組み合わせた指標であってもよい。また、リソース状態は、撮像装置１０１の元々のメモリ容量や処理スペック等の性能や機能等を含んでもよい。

情報処理装置１０２は、撮像装置１０１から受信したリクエストおよびリソース状態から、リクエストの対象となる学習済みモデル１０４の圧縮度合いを決定する。リクエストの対象となる学習済みモデル１０４は、図１では、学習済みモデルＡ’と表記される。情報処理装置１０２は、撮像装置１０１からのリクエストおよびリソース状態に応じた圧縮度合いの学習済みモデルをキャッシュしている場合、ネットワーク１０７を介して、キャッシュしている学習済みモデルを撮像装置１０１に送信する。一方、情報処理装置１０２は、上記圧縮度合いの学習済みモデルをキャッシュしていない場合、リクエスト対象の学習済みモデルを、決定された圧縮度合いで圧縮する。そして、情報処理装置１０２は、圧縮済み学習済みモデル１０５の生成およびキャッシュを行う。また、情報処理装置１０２は、ネットワーク１０７を介して、生成された圧縮済み学習済みモデルを撮像装置１０１に送信する。ネットワーク１０６と１０７とは一体的なネットワークであってもよいし、別個なネットワークであってもよい。また、ネットワーク１０６および１０７は、無線ネットワークであってもよい。

以上のように、情報処理装置１０２は、撮像装置１０１のリソース状態から判定した圧縮度合いで学習済みモデルを圧縮する。撮像装置１０１のリソース状態は動的に変化するが、情報処理装置１０２は、撮像装置１０１からのリクエストおよびリソース状態に応じて、可能な限り低い圧縮度合いで学習済みモデルを圧縮する。そして、撮像装置１０１は、圧縮された学習済みモデルを用いて、推論を行うことができる。これにより、撮像装置１０１の本来の機能を阻害せずに、撮像装置１０１が推論を行う際の精度低下を抑制できる。

図２は、情報処理装置１０２の構成例の一例を示すブロック図である。情報処理装置１０２は、ＣＲＴディスプレイ２０１、ＶＲＡＭ２０２、ＢＭＵ２０３、キーボード２０４、ＰＤ２０５、ＣＰＵ２０６、ＲＯＭ２０７、ＲＡＭ２０８およびＨＤＤ２０９を有する。また、情報処理装置１０２は、フレキシブルディスク２１０、ネットワークＩ／Ｆ２１１およびバス２１２を有する。情報処理装置１０２の構成は、図２の例には限定されない。ＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）ディスプレイ（ＣＲＴディスプレイ２０１）には、アイコンやメッセージ、メニューその他のユーザインタフェース情報が表示される。これらのインタフェース情報は、情報処理装置１０２により管理される。

ＶＲＡＭ２０２には、ＣＲＴディスプレイ２０１に表示するための画像が描画される。ＶＲＡＭ２０２に生成された画像データは、所定の規定に従ってＣＲＴディスプレイ２０１に転送される。これにより、ＣＲＴディスプレイ２０１に画像が表示される。ＢＭＵ（ビットムーブユニット）２０３は、例えば、メモリ間（例えば、ＶＲＡＭ２０２と他のメモリとの間）のデータ転送や、メモリと各Ｉ／Ｏデバイス（例えば、ネットワークＩ／Ｆ２１１）との間のデータ転送を制御する。キーボード２０４は、文字等を入力するための各種キーを有する。ＰＤ（ポインティングデバイス）２０５は、例えば、ＣＲＴディスプレイ２０１に表示されたアイコンやメニューその他のコンテンツを指示またはオブジェクトのドラッグドロップ等の操作に用いられる。

ＣＰＵ２０６は、ＲＯＭ２０７、ＨＤＤ２０９またはフレキシブルディスク２１０に格納されたＯＳや後術するプログラム等の制御プログラムに基づいて、各デバイスを制御する。ＣＰＵ２０６は、制御手段に対応する。ＲＯＭ２０７は、各種制御プログラムやデータを保存する。ＲＡＭ２０８は、ＣＰＵ２０６のワーク領域、エラー処理時のデータの退避領域、制御プログラムのロード領域等を有する。ＣＰＵ２０６が、ＲＡＭ２０８にロードされた制御プログラムを実行することで、本実施形態の処理が実現されてもよい。ＨＤＤ２０９は、情報処理装置１０２内で実行される各制御プログラムや一時保管したデータ等のデータを格納する。上述した各学習済みモデルは、例えば、ＲＡＭ２０７やＨＤＤ２０９、ＣＰＵ２０６のキャッシュメモリ等にキャッシュされてもよい。

ネットワークＩ／Ｆ１１１は、ネットワーク１０６および１０７と接続されており、撮像装置１０１との間で通信を行う。ネットワークＩ／Ｆ１１１は、受信手段および送信手段に対応する。ネットワークＩ／Ｆ１１１は、他の情報処理装置やプリンタ等とネットワークを介して通信を行うこともできる。バス２１２は、アドレスバス、データバスおよびコントロールバスを含む。ＣＰＵ２０６に対する制御プログラムの提供は、ＲＯＭ２０７やＨＤＤ２０９、フレキシブルディスク２１０から行われてもよいし、ネットワークＩ／Ｆ２１１を介してネットワーク経由で他のサーバ等から行われてもよい。

次に、撮像装置１０１ついて説明する。図３は、撮像装置３００の構成例の一例を示すブロック図である。図３の撮像装置３００は、図１の撮像装置１０１である。撮像装置３００は、撮像機能を有する携帯端末であってもよい。撮像装置３００は、ズームレンズおよびフォーカスレンズを含む撮影レンズ３０１、絞り機能を備えるシャッター３０２、光学像を電気信号に変換するＣＣＤやＣＭＯＳ素子等で構成される撮像部３０３を含む。Ａ／Ｄ変換器３０４は、撮像部３０３から出力されるアナログ信号をデジタル信号に変換する。

バリア３０５は、撮影レンズ３０１等を覆うことにより、撮影レンズ３０１やシャッター３０２、撮像部３０３等を含む撮像系の汚れや破損を防止する。画像処理部３０６は、Ａ／Ｄ変換器３０４が出力した画像データまたはメモリ制御部３０７から取得した画像データに対して、所定の画像処理（画素補間、縮小といったリサイズ処理や色変換処理等）を施す。また、画像処理部３０６は、撮像された画像データを用いて所定の演算処理を行う。そして、システム制御部３０８は、演算結果に基づいて露光制御や測距制御等を行う。Ａ／Ｄ変換器３０４が出力する画像データは、画像処理部３０６およびメモリ制御部３０７を介して、またはメモリ制御部３０７のみを介してメモリ３０９に書き込まれる。

システム制御部３０８は撮像装置１０１全体を制御する。システム制御部３０８は不揮発性メモリ３１２に記憶されたプログラムを実行することで、撮像装置１０１の処理を実現する。メモリ３０９は、撮像部３０３により得られ、Ａ／Ｄ変換器３０４によりデジタルデータに変換された画像データや、表示部３１０に表示するための画像データを格納する。メモリ３０９は所定枚数の静止画像データや所定時間の動画像データ、音声データ等を格納するのに十分な記憶容量を有している。また、メモリ３０９は画像表示用のメモリ（ビデオメモリ）を兼ねている。

Ｄ／Ａ変換器３１１は、メモリ３０９に格納されている画像表示用の画像データをアナログ信号に変換して表示部３１０に供給する。これにより、メモリ３０９に書き込まれた表示用の画像データは、Ｄ／Ａ変換器３１１を介して表示部３１０に表示される。表示部３１０はＬＣＤ等の表示器上に、Ｄ／Ａ変換器３１１からのアナログ信号に応じた表示を行う。不揮発性メモリ３１２は電気的に消去および記録が可能なメモリであり、例えばＥＥＰＲＯＭ等が用いられる。不揮発性メモリ３１２には、システム制御部３０８の動作用の定数や後述する連携を行うプログラム等の制御プログラム等が記憶される。システムメモリ３１３は、例えばＲＡＭである。システムメモリ３１３には、システム制御部３０８の動作用の定数や変数、不揮発性メモリ３１２から読み出したプログラム等が展開される。

撮像装置３００は、モード切替スイッチ３１４、第１シャッタースイッチ３１５、第２シャッタースイッチ３１６および操作部３１７を含む。モード切替スイッチ３１４、第１シャッタースイッチ３１５、第２シャッタースイッチ３１６および操作部３１７は、システム制御部３０８に各種の動作指示を入力するための操作部である。モード切替スイッチ３１４は、システム制御部３０８の動作モードを静止画記録モードや動画記録モード、再生モード等の各種モードのうち何れかに切り替える。第１シャッタースイッチ３１５は、撮像装置１０１に設けられたシャッターボタンの操作途中、いわゆる半押し（撮影準備指示）でオンとなり第１シャッタースイッチ信号ＳＷ１を発生する。第２シャッタースイッチ３１６はシャッターボタンの操作完了、いわゆる全押し（撮影指示）でオンとなり、第２シャッタースイッチ信号ＳＷ２を発生する。システム制御部３０８は、第２シャッタースイッチ信号ＳＷ２の発生により、撮像部３０３からの信号読み出しから記録媒体３２５に画像データを書き込むまでの一連の撮影処理の動作を開始する。

操作部３１７の各操作部材は表示部３１０に表示される種々の機能アイコンが選択操作されること等により、場面ごとに適宜機能が割り当てられ、各種機能ボタンとして作用する。機能ボタンとしては、例えば、確認ボタンや終了ボタン、戻るボタン、画像送りボタン、ジャンプボタン、絞込みボタン、属性変更ボタン等がある。例えば、メニューボタンが押下されると各種の設定可能なメニュー画面が表示部３１０に表示される。ユーザは、表示部３１０に表示されたメニュー画面や、４方向ボタン、ＳＥＴボタン等を用いて、直感的に各種設定を行うことができる。

コントローラホイール３１８は、操作部３１７に含まれる回転操作可能な操作部材であり、方向ボタンと共に選択項目を指示するとき等に用いられる。システム制御部３０８はパルス信号に基づいて撮像装置１０１の各部を制御する。また、システム制御部３０８はパルス信号によってコントローラホイール３１８が回転操作された角度や回転数等を判定することができる。なお、コントローラホイール３１８は回転操作が検出できる操作部材であれば、任意の部材が用いられてもよい。コントローラリング３１９は、操作部３１７に含まれる回転操作部材である。コントローラリング３１９は、レンズ鏡筒周りで光軸を中心として回転する操作が可能である。例えば、コントローラリング３１９を操作することで回転量（操作量）に応じた電気的なパルス信号が発生する。システム制御部３０８はパルス信号に基づいて撮像装置１０１の各部を制御する。また、操作部３１７に含まれるコントローラリング３１９の機能切替ボタンが押下されると、コントローラリング３１９に割り当てる機能を変更可能なメニュー画面が表示部３１０に表示される。コントローラリング３１９およびコントローラホイール３１８は通常モード項目の選択や値の変更に用いられる。

電源スイッチ３２０は、撮像装置３００の電源オンと電源オフとを切り替えるスイッチである。電源制御部３２１は、電池検出回路やＤＣ－ＤＣコンバータ、通電するブロックを切り替えるスイッチ回路等により構成さる。電源制御部３２１は、電池の装着の有無や電池の種類、電池残量の検出等を行う。また、電源制御部３２１は検出結果およびシステム制御部３０８の指示に基づいてＤＣ－ＤＣコンバータを制御し、必要な電圧を必要な期間、記録媒体３２５を含む各部へ供給する。電源部３２２は、アルカリ電池やリチウム電池等の一次電池であってもよいし、ＮｉＣｄ電池やＮｉＭＨ電池、Ｌｉ電池等の二次電池であってもよいし、ＡＣアダプター等であってもよい。通信部３２３は、記録媒体３２５に記憶された画像を外部機器に送信する。インタフェース３２４は、記録媒体３２５を制御するインタフェースである。記録媒体３２５は、半導体メモリや磁気ディスク等から構成される。ネットワークＩ／Ｆ３２６は、システム制御部３０８により制御されることで、ネットワーク１０６および１０７を介して通信を行う。ネットワークＩ／Ｆ３２６は、リクエスト手段に対応する。ネットワーク１０６および１０７を介して、撮像装置３００は、情報処理装置１０２と通信を行うことができる。

次に、学習済みモデルの圧縮度合いの決定について説明する。図４は、撮像装置３００のＣＰＵ使用率と学習済みモデルの圧縮度合いとの対応関係を示すテーブルである。図４に示されるテーブルは、情報処理装置１０２により保持される。学習済みモデルの圧縮手法としては、例えば、量子化や枝刈り、重み共有、蒸留等の任意のモデル軽量化技術が適用できる。量子化は、パラメータのビット数を低減する手法である。枝刈りは、重要度が低いパラメータを削減する手法である。重み共有は、パラメータの重み係数を共有する手法である。

図４のテーブルには、項目４０１および４０２が含まれている。項目４０１は、撮像装置３００のリソース状態として、ＣＰＵ使用率を示す。項目４０１は、例えば、メモリ使用率等であってもよい。項目４０２は、ＣＰＵ使用率に対応して決定される学習済みモデルの圧縮度合いを示す。圧縮度合いが３２ｂｉｔの学習済みモデルが、オリジナルの学習済みモデルである。学習済みモデルの圧縮度合いが高くなるとビット数が少なくなり、圧縮率が高くなる。学習済みモデルの圧縮度合いが高くなると、学習済みモデルの容量が小さくなり、推論精度が低下する。ＣＰＵ使用率の各値は、学習済みモデルの圧縮度合いを決定する閾値を示す。例えば、ＣＰＵ使用率が６０％を超えた場合、撮像装置３００が使用可能な学習済みモデルは８ｂｉｔ以下のパラメータに量子化されたものになる。

図５は、学習済みモデルの管理の一例を示すテーブルである。図５に示されるテーブルは、情報処理装置１０２により保持される。情報処理装置１０２は、オリジナルの学習済みモデルを保持するとともに、圧縮された学習済みモデルも併せてキャッシュする。つまり、情報処理装置１０２は、同種類、且つ圧縮度合いがそれぞれ異なる学習済みモデルを管理することとなる。図５のテーブルにおいて、項目５０１は、情報処理装置１０２が管理している学習済みモデルが、どのような被写体の種類に対応しているかを表している。

例えば、項目５０１の「花」は、花の構図アシスト用の学習済みモデルに対応する。花の構図アシスト用の学習済みモデルは、被写体としての花を撮影する際に最適な構図を発見するための推論を行う学習済みモデルである。また、図５の例では、同種類の被写体として「人物」について圧縮度合いがそれぞれ異なる複数の学習済みモデルが管理されている。例えば、情報処理装置１０２は、画像から認識された被写体を入力とし、被写体を撮影する際の最適な構図を正解データとして、機械学習を行うことにより、被写体ごとの学習済みモデルを生成してもよい。

項目５０２は、被写体ごとの学習済みモデルの圧縮度合いを表す。項目５０３は、学習済みモデルのバージョンを表しており、学習済みモデルの更新状況を管理するために使用される。ここで、オリジナルの学習済みモデル自体が更新される際、同種類の圧縮度の違う学習済みモデルが一括で更新または破棄されてもよい。

次に、撮像装置３００の動作について説明する。図６は、撮像装置３００の処理の流れを示すフローチャートである。本実施形態では、撮像装置３００は、撮影を行う際に認識した被写体の種類に応じて構図アシスト用の学習済みモデルを適用する。本実施形態の構図アシスト機能はあくまでも一例であり、本実施形態の態様には限定されない。ステップＳ６０１において、撮像装置３００は、ユーザからの撮影開始の指示を受け付けて、撮影を開始する。システム制御部３０８は、電源スイッチ３２０の押下による撮像装置３０の起動、または第１シャッタースイッチ３１５の押下による第１シャッタースイッチ信号ＳＷ１の発生等に応じて、撮影開始の指示を受け付けたかを判定してもよい。

ステップＳ６０２において、システム制御部３０８は、ユーザが撮影中のライブビュー画像から被写体の認識を行う。被写体の認識は、被写体認識用の学習済みモデルを用いた推論により行われてもよいし、他の被写体認識手法が用いられてもよい。ステップＳ６０３において、システム制御部３０８は、認識被写体が変化したか、または撮像装置３００のリソース状態が変化したかを判定する。リソース状態は、例えば、撮像装置３００のＣＰＵやメモリ等の使用率である。システム制御部３０８は、例えば、リソース状態を示す情報を保持している。ここで、リソース状態の変化に関して、システム制御部３０８は、後述するステップＳ６０５にて保持される情報に基づいて、ステップＳ６０３の判定処理を行ってもよい。システム制御部３０８は、モード切替スイッチ３１４の押下による撮影モードの切り替え等、リソース状態が変化すると予想される処理が行われたかに基づいて、リソース状態が変化したかを判定してもよい。

システム制御部３０８は、認識被写体が変化したか、またはリソース状態が変化したと判定した場合、処理をステップＳ６０４に進める。ステップＳ６０４において、システム制御部３０８は、学習済みモデルを取得するリクエスト、および現在のリソース状態と前回のリクエスト送信時のリソース状態を、情報処理装置１０２に送信する制御を行う。ここでのリクエストは、認識した被写体を撮影するための構図アシスト用学習済みモデルである。ネットワークＩ／Ｆ３２６は、リクエストとともに、現在のリソース状態および前回のリクエスト送信時のリソース情報を、ネットワーク１０６を介して、情報処理装置１０２に送信する。ステップＳ６０５において、システム制御部３０８は、現在の撮像装置３００のリソース状態の情報を保持する。保持されたリソース状態の情報は、ステップＳ６０３においてリソース状態の変化を判定するために利用され得る。また、保持されたリソース状態の情報は、ステップＳ６０４において、次回のリクエストを送信するときの前回のリクエストを送信したときのリソース状態としても利用され得る。

ネットワークＩ／Ｆ３２６は、情報処理装置１０２から、ネットワーク１０７を介して、撮像装置３００のリソース状態に応じて圧縮された学習済みモデルを受信する。ステップＳ６０６において、システム制御部３０８は、情報処理装置１０２から受信した学習済みモデルを適用する。ステップＳ６０３において、システム制御部３０８は、認識被写体が変化しておらず、且つリソース状態が変化していないと判定した場合、処理をステップＳ６０７に進める。また、ステップＳ６０６の処理の後、システム制御部３０８は、処理をステップＳ６０７に進める。ステップＳ６０７において、システム制御部３０８は、撮像装置３００に適用されている学習済みモデルを用いて構図アシスト用の推論を実行する。

システム制御部３０８が、従前に適用されていた学習済みモデルまたは新たに適用された学習済みモデルに対して、ステップＳ６０２で認識した被写体を入力すると、認識された被写体に最適な構図が推論結果として得られる。ステップＳ６０８において、システム制御部３０８は、学習済みモデルを用いた推論結果に応じて、構図アシストを実行する。学習済みモデルを用いた推論は、例えば、ＧＰＵ（グラフィックス・プロセッシング・ユニット）等により行われてもよい。

ステップＳ６０９において、システム制御部３０８は、撮影を継続するかを判定する。ステップＳ６０９において、システム制御部３０８は、撮影を継続すると判定した場合、処理をステップＳ６０２に戻す。ステップＳ６０９において、システム制御部３０８は、撮影を継続しないと判定した場合、処理を終了させる。システム制御部３０８は、撮影を継続するかを、構図アシストの実行が完了してから一定時間経過したかを基準として判定してもよい。また、システム制御部３０８は、撮影を継続するかを、電源スイッチ３２０の押下により撮像装置３００が停止したか、もしくは第２シャッタースイッチ３１６の押下による第２シャッタースイッチ信号ＳＷ２が発生したか等を、基準として判定してもよい。

上述したように、撮像装置３００は、認識被写体に変化が生じた場合、またはリソース状態に変化が生じた場合、リソース状態の情報とともに学習済みモデルのリクエストを情報処理装置１０２に送信する。情報処理装置１０２は、撮像装置３００のリソース状態に応じた圧縮度合いで圧縮した学習済みモデルを撮像装置３００に送信する。そして、撮像装置３００は、適用する学習済みモデルを切り替える。これにより、撮像装置３００は、多種類の学習済みモデルを保持する必要がなくなり、リソース状態に応じた推論を行うことが可能となる。

次に、情報処理装置１０２の動作について説明する。図７は、情報処理装置１０２の処理の流れの一例を示すフローチャートである。ステップＳ７０１において、情報処理装置１０２のＣＰＵ２０６は、撮像装置３００が送信した学習済みモデルのリクエストとともに、撮像装置３００の現在のリソース状態および前回のリクエスト時のリソース状態を受信する。ステップＳ７０２において、ＣＰＵ２０６は、撮像装置３００の現在のリソース状態から、撮像装置３００に適用可能な限界の圧縮度合いを決定する。本実施形態では、ＣＰＵ２０６は、図４に示されるテーブルを参照して、撮像装置３００の現在のリソース状態（項目４０１）に対応する圧縮度合い（項目４０２）を決定する。なお、ＣＰＵ２０６は、リソース状態に応じた圧縮度合いを、任意の手法で決定してもよい。

ステップＳ７０３において、ＣＰＵ２０６は、ステップＳ７０２で決定された圧縮度合いの学習済みモデルが情報処理装置１０２にキャッシュされているかを判定する。ＣＰＵ２０６は、ステップＳ７０２で決定された圧縮度合いの学習済みモデルがキャッシュされていないと判定した場合、処理をステップＳ７０４に進める。ステップＳ７０４において、ＣＰＵ２０６は、ステップＳ７０２で決定された圧縮度合いの学習済みモデルを生成する。ステップＳ７０４における学習済みモデルの生成に関する詳細な処理については後述する。ここで、情報処理装置１０２に、生成する学習済みモデルと同種類、且つ圧縮度合いが所定度合い以上高い学習済みモデルをキャッシュされているとする。この場合、ＣＰＵ２０６は、ステップＳ７０３で決定された圧縮度合いの学習済みモデルを生成する前に、上記の学習済みモデルを撮像装置３００に送信する制御を行い、撮像装置３００に適用させてもよい。これにより、圧縮した学習済みモデル（構図アシスト用学習済みモデル）を生成するまでの待ち時間を削減することができる。

ステップＳ７０３において、ＣＰＵ２０６が、ステップＳ７０２で決定された圧縮度合いの学習済みモデルが情報処理装置１０２にキャッシュされていると判定した場合、ＣＰＵ２０６は、処理をステップＳ７０５に進める。ステップＳ７０５において、ＣＰＵ２０６は、対象の学習済みモデルを撮像装置３００に送信する制御を行う。対象の学習済みモデルは、ステップＳ７０４で生成される学習済みモデル、または情報処理装置１０２にキャッシュされていた学習済みモデルである。対象の学習済みモデルは、撮像装置３００のリソース状態に応じて圧縮された学習済みモデルである。対象の学習済みモデルは、情報処理装置１０２から、ネットワーク１０７を介して、撮像装置３００に送信される。

ステップＳ７０６において、ＣＰＵ２０６は、現在の撮像装置３００のリソース状態と前回リクエスト時のリソース状態（前回にリクエストが送信されたときの撮像装置３００のリソース状態）とを比較する。ステップＳ７０７において、ＣＰＵ２０６は、ステップＳ７０６の比較結果から、今後の撮像装置３００のリソース状態の変化を予測する。例えば、撮像装置３００の過去のリソース状態の変化の履歴から、リソース状態としてのＣＰＵ使用率が連続的に上昇している場合、撮像装置３００のＣＰＵ使用率が今後も上昇すると予想できる。また、撮像装置３００の前回のリクエスト時のＣＰＵ使用率が、大幅に上昇していた場合（所定量を超えて上昇していた場合）、撮像装置３００のＣＰＵ使用率が今後も上昇すると予想できる。ステップＳ７０７において、ＣＰＵ２０６は、現在、撮像装置３００に適用されている学習済みモデルの再圧縮が必要であると予測したかを判定する。ＣＰＵ２０６は、学習済みモデルの再圧縮が必要でないと予測した場合、処理は終了させる。

ＣＰＵ２０６は、学習済みモデルの再圧縮が必要であると予測した場合、処理をステップＳ７０８に進める。ステップＳ７０８において、ＣＰＵ２０６は、ステップＳ７０２で決定された圧縮度合いの学習済みモデルが、情報処理装置１０２にキャッシュされているかを判定する。ＣＰＵ２０６は、決定された圧縮度合いの学習済みモデルがキャッシュされていると判定した場合、処理は終了する。一方、ＣＰＵ２０６は、決定された圧縮度合いの学習済みモデルがキャッシュされていないと判定した場合、処理をステップＳ７０９に進める。ステップＳ７０９において、ＣＰＵ２０６は、ステップＳ７０４と同様に、学習済みモデルの生成を行う。生成された学習済みモデルは、キャッシュされる。そして、処理は、終了する。

上述したように、ＣＰＵ２０６は、撮像装置３００の現在のリソース状態と前回のリクエスト時の撮像装置３００のリソース状態とに基づいて、学習済みモデルの圧縮の必要性を予測する。ＣＰＵ２０６は、前回のリクエスト時よりも前の撮像装置３００のリソース状態を保持し、保持している各リソース状態に基づいて、学習済みモデルの圧縮の必要性を予測してよい。例えば、上述したように、ＣＰＵ使用率が連続的に上昇している場合、学習済みモデルの圧縮は必要であると予測される。従って、情報処理装置１０２は、後の撮像装置のリソース状態の変化の予測に合わせた構図アシスト用学習済みモデルを予め圧縮し、保持しておくことができる。また、情報処理装置１０２は、ステップＳ７０２において学習済みモデルの圧縮度合いを決定した後、リクエストされた学習済みモデル以外の学習済みモデルを、ステップＳ７０２で決定された圧縮度合いで圧縮し、キャッシュしてもよい。これにより、情報処理装置１０２は、リクエストされた被写体以外の構図アシスト用学習済みモデルを予め圧縮して保持しておくことができる。

次に、ステップＳ７０４およびステップＳ７０８の学習済みモデルの生成について説明する。図８は、学習済みモデルの生成処理の一例を示すフローチャートである。ステップＳ８０１において、ＣＰＵ２０６は、リクエストの対象となる圧縮度合いの学習済みモデルが、キャッシュされている学習済みモデルよりも高い圧縮が必要かを判定する。ステップＳ８０１において、ＣＰＵ２０６は、現在キャッシュされている学習済みモデルよりも高い度合いで学習済みモデルを圧縮する必要があると判定した場合、処理をステップＳ８０２に進める。ステップＳ８０２において、ＣＰＵ２０６は、現在、情報処理装置１０２にキャッシュされている圧縮済みの学習済みモデルを、ステップＳ７０２で決定された圧縮度合いで再圧縮する。これにより、再圧縮された学習済みモデルが生成される。

ステップＳ８０１にて、ＣＰＵ２０６は、現在キャッシュされている学習済みモデルよりも高い度合いで学習済みモデルを圧縮する必要がないと判定した場合、処理をステップＳ８０３に進める。ステップＳ８０３において、ＣＰＵ２０６は、圧縮されていないオリジナルの学習済みモデルを、ステップＳ７０２で決定された圧縮度合いで圧縮する。これにより、圧縮された学習済みモデルが生成される。ステップＳ８０４において、ＣＰＵ２０６は、ステップＳ８０２もしくはステップＳ８０３で生成された学習済みモデルをキャッシュする。以上により、ステップＳ７０４またはステップＳ７０９の処理は終了する。

以上、説明したように、情報処理装置１０２は、撮像装置３００から学習済みモデルのリクエストとともに、リソース状態を受信する。そして、情報処理装置１０２は、撮像装置３００のリソース状態に応じた圧縮度合いで、リクエストの対象となる学習済みモデルを圧縮し、圧縮された学習済みモデルを撮像装置３００に送信する。これにより、撮像装置３００のリソース状態が動的に変化しても、撮像装置３００は、動的な変化に対応した学習済みモデルを用いて推論を行うことができる。その結果、学習済みモデルによる推論精度が低下を抑制することができる。上述した実施形態では、学習済みモデルとして、被写体ごとの構図アシスト用の学習済みモデルが適用される例を説明したが、任意の学習済みモデルが適用されてもよい。例えば、本実施形態の学習済みモデルは、被写体を認識する学習済みモデル等であってもよい。

また、情報処理装置１０２は、撮像装置３００に送信する学習済みモデルの圧縮度合いを示す情報を、圧縮された学習済みモデルとともに送信してもよい。このとき、撮像装置３００のシステム制御部３０８は、現在のリソース状態とともに圧縮度合いを示す情報を表示部３１０に表示してもよい。例えば、表示部３１０には、現在のリソース状態としてＣＰＵ使用率が６５％であることを示す情報、および圧縮度合いを示す情報が８ｂｉｔであることを示す情報が表示されてもよい。これにより、撮像装置３００のユーザに対して、学習済みモデルの推論精度がどの程度であるかを提示できる。

次に、変形例について説明する。図９は、変形例におけるシステム９００の構成例を示す図である。システム９００において、撮像装置１０１と中継装置９０１とは、ネットワーク９０２、９０５を介して接続されている。中継装置９０１と情報処理装置１０２とは、ネットワーク９０３、９０４を介して接続されている。情報処理装置１０２は、複数のオリジナルの学習済みモデル１０３を保持している。中継装置９０１は、図７および図８の処理を実施する。中継装置９０１の構成は、図２の構成を採用することができる。中継装置９０１は、図８のステップＳ８０３において、ネットワーク９０３、９０４を介して、情報処理装置１０２からオリジナルの学習済みモデル１０４を取得する。そして、中継装置９０１は、図７のステップＳ７０２で決定された圧縮度合いで、取得したオリジナルの学習済みモデルを圧縮する。つまり、中継装置９０１が情報処理装置１０２の多くの処理を担い、情報処理装置１０２が行う通信は、中継装置９０１との間の通信（オリジナルの学習済みモデルに関する通信）のみになる。これにより、情報処理装置１０２の通信回数の低減を図ることができる。例えば、情報処理装置１０２が、上述したようにクラウドサーバである場合、クラウドサーバの処理負荷の軽減が図られる。なお、上述した、現在のリソース状態および圧縮度合いを示す情報は、中継装置９０１の画面に表示されてもよい。

以上、本発明の好ましい実施の形態について説明したが、本発明は上述した各実施の形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。本発明は、上述の各実施の形態の１以上の機能を実現するプログラムを、ネットワークや記憶媒体を介してシステムや装置に供給し、そのシステム又は装置のコンピュータの１つ以上のプロセッサーがプログラムを読み出して実行する処理でも実現可能である。また、本発明は、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００ システム
１０１ 撮像装置
１０２ 情報処理装置
２０６ ＣＰＵ
２１１ ネットワークＩ／Ｆ
３０８ システム制御部
３２６ ネットワークＩ／Ｆ
９０１ 中継装置

Claims (16)

1. 端末から学習済みモデルのリクエストともに前記端末のリソース状態を受信する受信手段と、
   前記リソース状態に応じた圧縮度合いで前記リクエストの対象となる学習済みモデルを圧縮する制御を行う制御手段と、
   圧縮された前記学習済みモデルを前記端末に送信する送信手段と、
   を備えることを特徴とする情報処理装置。
2. 前記制御手段は、圧縮された前記学習済みモデルをキャッシュすることを特徴とする請求項１に記載の情報処理装置。
3. 前記制御手段は、前記リソース状態に応じた圧縮度合いで圧縮された学習済みモデルがキャッシュされている場合、前記圧縮する制御を行うことなく、キャッシュされている前記学習済みモデルを送信させる制御を行うことを特徴とする請求項２に記載の情報処理装置。
4. 前記制御手段は、同種類、且つ圧縮度合いがそれぞれ異なる複数の学習済みモデルをキャッシュすることを特徴とする請求項１乃至３のうち何れか１項に記載の情報処理装置。
5. 前記端末は、撮像装置であり、
   前記受信手段は、前記撮像装置が認識する被写体が変化した場合、または前記撮像装置のリソース状態が変化した場合に、前記リクエストとともに前記リソース状態を受信することを特徴とする請求項１乃至４のうち何れか１項に記載の情報処理装置。
6. 前記制御手段は、前記リクエストの対象となる学習済みモデルと同種類且つ圧縮度合いが所定度合いより高い学習済みモデルがキャッシュされている場合、該所定度合いより高い学習済みモデルを、前記リクエストの対象となる学習済みモデルの送信よりも前に、前記端末に送信させる制御を行うことを特徴とする請求項１乃至５のうち何れか１項に記載の情報処理装置。
7. 前記制御手段は、前記リクエストとともに受信した前記端末のリソース状態と前回にリクエストが送信されたときの前記端末のリソース状態とに基づいて、前記端末のリソース状態を予測し、予測されたリソース状態に基づいて、前記圧縮された学習済みモデルを再圧縮するかを判定することを特徴とする請求項１乃至６のうち何れか１項に記載の情報処理装置。
8. 前記制御手段は、前記再圧縮をすると判定した場合、再圧縮された学習済みモデルをキャッシュすることを特徴とする請求項７に記載の情報処理装置。
9. 前記制御手段は、前記リクエストの対象となる学習済みモデルを圧縮する制御を行った場合、前記リクエストの対象となる学習済みモデル以外の学習済みモデルを、同じ圧縮度合いで圧縮する制御を行うことを特徴とする請求項１乃至８のうち何れか１項に記載の情報処理装置。
10. 前記学習済みモデルの圧縮は、パラメータの量子化により行われることを特徴とする請求項１乃至９のうち何れか１項に記載の情報処理装置。
11. 端末から学習済みモデルのリクエストともに前記端末のリソース状態を受信し、情報処理装置からオリジナルの学習済みモデルを受信する受信手段と、
    前記リソース状態に応じた圧縮度合いで、前記端末から受信した前記リクエストの対象であり且つ前記情報処理装置から受信したオリジナルの学習済みモデルを圧縮する制御を行う制御手段と、
    圧縮された前記学習済みモデルを前記端末に送信する送信手段と、
    を備えることを特徴とする中継装置。
12. 端末と、情報処理装置と、を備えるシステムであって、
    前記端末は、
    学習済みモデルのリクエストとともにリソース状態を前記情報処理装置に送信するリクエスト手段、を備え、
    前記情報処理装置は、
    前記リクエストおよび前記リソース状態を受信する受信手段と、
    前記リソース状態に応じた圧縮度合いで前記リクエストの対象となる学習済みモデルを圧縮する制御を行う制御手段と、
    圧縮された前記学習済みモデルを前記端末に送信する送信手段と、
    を備えることを特徴とするシステム。
13. 端末から学習済みモデルのリクエストともに前記端末のリソース状態を受信する工程と、
    前記リソース状態に応じた圧縮度合いで前記リクエストの対象となる学習済みモデルを圧縮する制御を行う工程と、
    圧縮された前記学習済みモデルを前記端末に送信する工程と、
    を備えることを特徴とする情報処理装置の制御方法。
14. 端末から学習済みモデルのリクエストともに前記端末のリソース状態を受信し、情報処理装置からオリジナルの学習済みモデルを受信する工程と、
    前記リソース状態に応じた圧縮度合いで、前記端末から受信した前記リクエストの対象であり且つ前記情報処理装置から受信したオリジナルの学習済みモデルを圧縮する制御を行う工程と、
    圧縮された前記学習済みモデルを前記端末に送信する工程と、
    を備えることを特徴とする中継装置の制御方法。
15. 請求項１乃至１０のうち何れか１項に記載の情報処理装置の各手段をコンピュータに実行させるためのプログラム。
16. 請求項１１に記載の中継装置の各手段をコンピュータに実行させるためのプログラム。

Images