JP7091521B2 - 情報処理装置、情報処理方法およびプログラム - Google Patents

Description

本発明の実施形態は、情報処理装置、情報処理方法およびプログラムに関する。

ニューラルネットワークは、入力層、隠れ層、および、出力層で構成される。隠れ層は、複数の層で実現されることが多い。ある隠れ層で計算された特徴量データは、次の隠れ層または出力層の入力となる。このとき、層間で隠れ層の演算結果である特徴量データの入出力が行われる。近年のニューラルネットワークは、隠れ層を何層も接続し、深いネットワークを構築することが多い。従って、層間で入出力される特徴量データのデータ量も膨大となる。そのようなニューラルネットワークを用いた推論を実行する推論装置では、特徴量データの転送でバンド幅が逼迫したり、特徴量データの保存に多くのメモリを必要としたりする。このため、特徴量データを削減することが求められる。

特開２０１６－０２９５６８号公報

ＹＨ． Ｃｈｅｎ，Ｔ． Ｋｒｉｓｈｎａ，Ｊ． Ｓ． Ｅｍｅｒ ａｎｄ Ｖ． Ｓｚｅ，"Ｅｙｅｒｉｓｓ： Ａｎ Ｅｎｅｒｇｙ－Ｅｆｆｉｃｉｅｎｔ Ｒｅｃｏｎｆｉｇｕｒａｂｌｅ Ａｃｃｅｌｅｒａｔｏｒ ｆｏｒ Ｄｅｅｐ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ"， ＩＥＥＥ Ｊｏｕｒｎａｌ ｏｆ Ｓｏｌｉｄ－Ｓｔａｔｅ Ｃｉｒｃｕｉｔｓ， Ｖｏｌ．５２， Ｎｏ．３，ｐｐ．１２７－１３８，２０１７．

本発明が解決しようとする課題は、特徴量データのデータ量を削減することができる情報処理装置を提供することである。

実施形態の情報処理装置は、演算部と、圧縮部と、を備える。演算部は、ニューラルネットワークの入力層、隠れ層、および、出力層の演算を実行する。圧縮部は、入力層、隠れ層、および、出力層のうち少なくとも一部の層の出力データを非可逆圧縮し、圧縮データを出力する。

第１の実施形態の推論装置のブロック図。 別の推論部を備える推論装置のブロック図。 処理部およびメモリを備える推論装置のブロック図。 第１の実施形態における推論処理のフローチャート。 第２の実施形態にかかる学習装置のブロック図。 第２の実施形態における学習処理のフローチャート。 第１または第２の実施形態にかかる装置のハードウェア構成図。

以下に添付図面を参照して、この発明にかかる情報処理装置の好適な実施形態を詳細に説明する。以下では、ニューラルネットワークを用いた推論を行う推論装置として情報処理装置を実現した例を説明する。

（第１の実施形態）
学習済みのニューラルネットワークの隠れ層の処理に用いる重みベクトルを量子化して、重みベクトルのデータ量を削減する技術が知られている。この技術では、隠れ層の演算結果である特徴量データは削減されない。第１の実施形態にかかる推論装置は、特徴量データを圧縮すること（量子化など）によりデータ量を削減する。

図１は、第１の実施形態の推論装置１００の構成の例を示すブロック図である。図１に示すように、推論装置１００は、推論部１１０と、メモリ１０１と、を備えている。推論部１１０は、伸張部１１１と、演算部１１２と、圧縮部１１３とを備えている。

上記各部（伸張部、演算部、圧縮部）は、例えば、１または複数のプロセッサにより実現される。例えば上記各部は、ＣＰＵ（Central Processing Unit）などのプロセッサにプログラムを実行させること、すなわちソフトウェアにより実現してもよい。上記各部は、専用のＩＣ（Integrated Circuit）などのプロセッサ、すなわちハードウェアにより実現してもよい。上記各部は、ソフトウェアおよびハードウェアを併用して実現してもよい。複数のプロセッサを用いる場合、各プロセッサは、各部のうち１つを実現してもよいし、各部のうち２以上を実現してもよい。

メモリ１０１は、例えば、推論装置１００による各種処理で用いられる各種データを一時的に記憶するためのメモリである。メモリ１０１は、ＳＲＡＭ（Static Random Access Memory）などの一般的に利用されているあらゆる記憶媒体により構成することができる。メモリ１０１は、物理的に１つの記憶媒体により実現してもよいし、物理的に異なる複数の記憶媒体により実現してもよい。メモリ１０１は、推論部１１０の各部（伸張部１１１、演算部１１２、圧縮部１１３）のうち少なくとも１つと同じハードウェア上に構成してもよい。

伸張部１１１は、圧縮データを伸張し、伸張データを出力する。ここで、圧縮データは非可逆圧縮されたデータである。

演算部１１２は、演算の対象として入力されたデータ（演算データ）に対して所定の演算を行い、演算結果である出力データを出力する。以下では、演算部１１２による出力データを特徴量データという場合がある。ここで、演算部１１２が行う所定の演算は、ニューラルネットワークの各層（入力層、隠れ層、出力層）の一部または全部を構成する演算である。例えば所定の演算は、畳み込み処理、活性化関数処理、プーリング処理（サブサンプリング処理）、アンプーリング処理（アップサンプリング処理）、および、正規化処理などである。また、ここに例示しない処理であってもよい。

圧縮部１１３は、ニューラルネットワークの入力層、隠れ層、および、出力層のうち少なくとも一部の層の特徴量データを圧縮し、圧縮データを出力する。ここで、圧縮部１１３の行う圧縮処理は、非可逆圧縮処理である。圧縮部１１３の行う非可逆圧縮処理は、特徴量データの特性に応じた任意の方式を用いてよい。

例えば、推論装置１００に入力された推論対象データが画像の場合、演算部１１２が出力する特徴量データは複数チャネルの画像データととらえることができる。従って、特徴量データをチャネルごとに２次元データとして分割し、２次元データをＪＰＥＧ（Joint Photographic Experts Group）のような画像圧縮方法を用いて非可逆圧縮してもよい。また例えば、推論装置１００に入力された推論対象データが音声の場合、演算部１１２が出力する特徴量データは複数チャネルの音声データととらえることができる。従って、特徴量データをチャネルごとに１次元データとして分割し、１次元データをＡＡＣ（Advanced Audio Coding）のような音声圧縮方法を用いて非可逆圧縮してもよい。また例えば、前述のような特性を用いずに単純に量子化して非可逆圧縮してもよいし、ここに例示しない非可逆圧縮方法で処理してもよい。

次に推論部１１０の動作の例を説明する。推論部１１０には、推論装置１００に入力された推論対象データ、特徴量データ、および、圧縮データの少なくとも１つが入力データとして入力される。推論対象データは、伸張部１１１が伸張できる方式で圧縮されていてもよい。

推論部１１０の入力データが非圧縮データの場合、入力データを、演算部１１２の演算データとする。推論部１１０の入力データが圧縮データの場合、入力データを伸張部１１１で伸張した伸張データを、演算部１１２の演算データとする。

演算部１１２は、入力される演算データに対して、所定の演算処理を行い、特徴量データを出力する。

推論部１１０の出力データを非圧縮データとする場合、特徴量データを、推論部１１０の出力データとする。推論部１１０の出力データを圧縮データとする場合、演算部１１２が出力する特徴量データを圧縮部１１３で圧縮した圧縮データを、推論部１１０の出力データとする。

推論部１１０は、例えば、実行する各層の演算ごとに、入力データが圧縮されているか、および、出力データを圧縮するかを予め定めておき、その規定に従って入力データが圧縮されているか、および、出力データを圧縮データとするかを判定する。例えば推論部１１０は、各層の演算で用いるパラメータとともに、圧縮するか否かを示す情報を取得し、この情報を参照して判定を実行してもよい。データのヘッダなどに圧縮するか否かを示す情報を含むようにして、推論部１１０がこの情報を参照して判定を実行してもよい。

演算部１１２が実行するすべての演算で入力データまたは出力データ（特徴量データ）を圧縮する必要はなく、少なくとも一部の演算で圧縮すればよい。例えば、ニューラルネットワークの各層のうち、圧縮の効果がより大きい層、および、後段の識別処理などに対する影響がより小さい層などを対象に圧縮を実行してもよい。

特徴量データを圧縮することで、特徴量データの転送のためのバンド幅をより小さくすることが可能となる。出力データは、メモリ１０１に記憶されてもよい。本実施形態では、特徴量データを圧縮可能であるため、メモリ１０１のサイズを小さくすることが可能となる。

図１に示すように、推論部１１０の出力データは、推論部１１０に再度入力されてもよい。例えば推論部１１０（演算部１１２）は、再度入力されたデータを演算データとして、実行済みの演算に対応する層の後段の層の演算をさらに実行する。なお出力データを演算データとして演算を繰り返さない場合は、推論部１１０の出力データを再度入力しなくてもよい。また、推論部１１０と同様の動作を行う別の推論部に入力されてもよい。図２は、別の推論部１１０ｂを備える推論装置１００ｂの構成例を示すブロック図である。推論部１１０ｂは、例えば推論部１１０に対応する層の後段の層の演算を行う。このような構成により、ニューラルネットワークにおける、Ｎ番目の隠れ層の出力が、（Ｎ＋１）番目の隠れ層の入力になるデータフローを実現できる。

また、推論部１１０の出力データは、推論部１１０とは別の処理を行う処理部やメモリ１０１と異なるメモリに入力されてもよい。図３は、このように構成された推論装置１００ｃの構成例を示すブロック図である。処理部１２０は、例えば推論部１１０が出力した特徴量データに基づいて、識別処理を行う。処理部１２０は、識別処理以外の処理を実行してもよい。メモリ１０２は、例えば、推論部１１０および処理部１２０を含む、推論装置１００ｃ内の各部により処理されるデータを記憶するためのメモリである。メモリ１０２は、例えばＤＲＡＭ（Dynamic Random Access Memory）などの一般的に利用されているあらゆる記憶媒体により構成することができる。

次に、このように構成された第１の実施形態にかかる推論装置１００による推論処理について図４を用いて説明する。図４は、第１の実施形態における推論処理の一例を示すフローチャートである。

まず、推論装置１００は、推論対象データの入力を受け付ける（ステップＳ１０１）。推論対象データは、推論部１１０の入力データとなる。推論部１１０は、入力データが圧縮データであるか非圧縮データであるかを判断する（ステップＳ１０２）。入力データが圧縮データの場合（ステップＳ１０２：Ｙｅｓ）、伸張部１１１は、圧縮された入力データを伸張し、伸張データを出力する（ステップＳ１０３）。

入力データが圧縮データの場合、演算部１１２は、伸張データを演算データとして演算を実行する（ステップＳ１０４）。入力データが非圧縮データの場合（ステップＳ１０２：Ｎｏ）、演算部１１２は、入力データを演算データとして演算を実行する（ステップＳ１０４）。演算部１１２は、演算の実行結果である特徴量データを出力する。

推論部１１０は、推論部１１０の出力データを、圧縮データとするか、非圧縮データとするかを判断する（ステップＳ１０５）。推論部１１０の出力データを圧縮データとする場合（ステップＳ１０５：Ｙｅｓ）、圧縮部１１３は特徴量データを圧縮し、圧縮データを出力する（ステップＳ１０６）。

推論部１１０の出力データを圧縮データとする場合、圧縮データが推論部１１０の出力データとして出力される。推論部１１０の出力データを非圧縮データとする場合（ステップＳ１０５：Ｎｏ）、圧縮されない特徴量データが推論部１１０の出力データとして出力される。

推論部１１０は、すべての演算を終了したか否かを判断する（ステップＳ１０７）。例えば推論部１１０は、ニューラルネットワークの各層のうち所定の層の演算をすべて終了したかを判断する。すべての演算を終了していない場合（ステップＳ１０７：Ｎｏ）、推論部１１０の出力データを再度推論部１１０に入力し、ステップＳ１０２から処理が繰り返される。

すべての演算が終了した場合（ステップＳ１０７：Ｙｅｓ）、推論部１１０の出力データを推論装置１００の推論結果として出力し（ステップＳ１０８）、推論処理を終了する。

このように、第１の実施形態にかかる推論装置では、推論処理の途中で生成される特徴量データが圧縮されていても、推論処理を実行することができる。また少なくとも一部の特徴量データを圧縮するため、特徴量データに係るデータ転送量の削減、および、メモリ領域の削減が可能となる。

（第２の実施形態）
第１の実施形態では、学習済みのニューラルネットワークを用いて推論処理を実行するとき（順伝播、および、フォワードパスともいう）に、特徴量データが圧縮（例えば、量子化）および伸張（例えば、逆量子化）される。このため、圧縮前の特徴量データと圧縮・伸張後の特徴量データとで、誤差（量子化誤差）が発生し、ニューラルネットワークの性能が低下する恐れがある。

第２の実施形態では、ニューラルネットワークの学習時にも特徴量データの圧縮および伸張を行う。第２の実施形態の推論装置は、このようにして学習されたニューラルネットワークを用いて推論処理を実行する。これにより、ニューラルネットワークの性能低下を抑制しつつ、特徴量データのデータ量を削減可能となる。

図５は、第２の実施形態にかかる推論装置１００－２を含む学習装置２００－２の構成の一例を示すブロック図である。図５に示すように、学習装置２００－２は、推論装置１００－２と、制御部１３０－２と、を備えている。推論装置１００－２は、推論部１１０－２と、メモリ１０１と、を備えている。推論部１１０－２は、伸張部１１１と、演算部１１２－２と、圧縮部１１３－２とを備えている。

第２の実施形態では、推論装置１００－２とともに、推論装置１００－２で用いるニューラルネットワークの学習を制御する制御部１３０－２を備えた学習装置２００－２が用いられる。装置構成は図５に示す例に限られない。例えば、推論装置１００－２の機能と学習装置１３０－２（制御部１３０－２）の機能をともに備える装置（情報処理装置）として構成してもよい。第２の実施形態の推論装置１００－２は、推論部１１０－２内の演算部１１２－２、および、圧縮部１１３－２の機能が第１の実施形態と異なっている。その他の構成および機能は、第１の実施形態にかかる推論装置１００のブロック図である図１と同様であるので、同一符号を付し、ここでの説明は省略する。

演算部１１２－２は、制御部１３０－２により演算のためのパラメータが制御される点が、第１の実施形態の演算部１１２と異なっている。圧縮部１１３－２は、制御部１３０－２により圧縮のためのパラメータが制御される点が、第１の実施形態の圧縮部１１３と異なっている。

制御部１３０－２は、推論装置１００－２による推論処理で用いられるニューラルネットワークの学習を制御する。例えば制御部１３０－２は、圧縮部１１３－２により出力データが圧縮された層については、圧縮データを出力として、ニューラルネットワークの学習を制御する。また制御部１３０－２は、演算部１１２－２および圧縮部１１３－２の制御に用いられるパラメータの学習を制御する。例えば制御部１３０－２は、演算部１１２－２と圧縮部１１３－２の制御に用いられるパラメータを更新する。

演算部１１２－２の制御に用いられるパラメータは、例えば、畳み込み処理を行う際に用いる畳み込み係数、および、正規化処理を行う際に用いるスケール量とシフト量などである。圧縮部１１３－２の制御に用いられるパラメータは、例えば、目標圧縮率、および、ＪＰＥＧ圧縮の圧縮効率を決定するクオリティーファクターなどである。パラメータはこれらに限られるものではない。

制御部１３０－２がパラメータを学習し更新する方法としてはどのような方法を適用してもよい。例えば、バッチ勾配降下法、確率的勾配降下法、および、ミニバッチ勾配降下法、などを用いた誤差逆伝播法を用いることができる。

なお、制御部１３０－２は、演算部１１２－２と圧縮部１１３－２の制御に用いられるパラメータのうち、どちらか一方だけを更新してもよい。また、ニューラルネットワークを構成する層の一部のパラメータのみを更新してもよい。

次に、このように構成された第２の実施形態にかかる学習装置２００－２による学習処理について図６を用いて説明する。図６は、第２の実施形態における学習処理の一例を示すフローチャートである。

学習装置２００－２は、学習データの入力を受け付ける（ステップＳ２０１）。学習データは、推論装置１００－２の入力データ、すなわち推論装置１００－２の推論対象データとなる。

ステップＳ２０２からステップＳ２０７までは、第１の実施形態にかかる推論装置１００におけるステップＳ１０２からステップＳ１０７までと同様の処理なので、その説明を省略する。すなわち、入力された学習データを推論対象データとして、図４と同様の推論処理が実行される。

ステップＳ２０７ですべての演算が終了したと判断された場合（ステップＳ２０７：Ｙｅｓ）、制御部１３０－２は、推論装置１００－２から出力された推論結果に基づいて、演算部１１２－２および圧縮部１１３－２の制御に用いられるパラメータを更新する（ステップＳ２０８）。

制御部１３０－２は、学習が終了したか否かを判断する（ステップＳ２０９）。例えば制御部１３０－２は、誤差が十分に小さくなったか否か、学習回数が閾値に達したか、および、すべての学習データに対する処理が完了したか、などにより学習の終了を判定する。

学習が終了していない場合（ステップＳ２０９：Ｎｏ）、学習装置２００－２に新たな学習データを入力し、処理が繰り返される。学習が終了した場合（ステップＳ２０９：Ｙｅｓ）、制御部１３０－２は、更新したパラメータを確定する。

以上のように、第２の実施形態によれば、推論装置１００－２を備える学習装置２００－２で学習されたニューラルネットワークを用いることができる。推論装置１００－２には、特徴量データを非可逆圧縮する機能が備わっている。学習装置２００－２は、特徴量データが非可逆圧縮されるニューラルネットワークを学習することができる。すなわち、推論装置１００－２が推論処理に用いるニューラルネットワークの構造と、学習装置が学習処理に用いるニューラルネットワークの構造とは同様である。

そのため、非可逆圧縮による特徴量データの変化を考慮して、ニューラルネットワークを構成する各層のパラメータを学習したり、特徴量データの変化が学習結果に影響しにくいように圧縮処理の圧縮効率を学習したりできる。従って、学習装置２００－２で学習されたニューラルネットワークは、非可逆圧縮によるニューラルネットワークの性能低下が抑制されている。学習されたニューラルネットワークを用いる推論装置１００－２は、非可逆圧縮による性能低下を抑制しつつ、特徴量データのデータ量を削減できる。

なお、第１および第２の実施形態は、各機能を備えたプログラム等で実装されてもよく、汎用ＣＰＵ等で実施されてもよい。また、学習装置２００－２のうち学習に関する機能（制御部１３０－２）を汎用ＣＰＵなどでプログラムにより実装し、推論装置１００－２を専用のハードウェア（専用のＩＣなど）で実装してもよい。

以上説明したとおり、第１および第２の実施形態によれば、特徴量データのデータ量を削減することができる。

次に、第１または第２の実施形態にかかる装置（推論装置、学習装置）のハードウェア構成について図７を用いて説明する。図７は、第１または第２の実施形態にかかる装置のハードウェア構成例を示す説明図である。

第１または第２の実施形態にかかる装置は、ＣＰＵ（Central Processing Unit）５１などの制御装置と、ＲＯＭ（Read Only Memory）５２やＲＡＭ（Random Access Memory）５３などの記憶装置と、ネットワークに接続して通信を行う通信Ｉ／Ｆ５４と、各部を接続するバス６１を備えている。

第１または第２の実施形態にかかる装置で実行されるプログラムは、ＲＯＭ５２等に予め組み込まれて提供される。

第１または第２の実施形態にかかる装置で実行されるプログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ－ＲＯＭ（Compact Disk Read Only Memory）、フレキシブルディスク（ＦＤ）、ＣＤ－Ｒ（Compact Disk Recordable）、ＤＶＤ（Digital Versatile Disk）等のコンピュータで読み取り可能な記録媒体に記録してコンピュータプログラムプロダクトとして提供されるように構成してもよい。

さらに、第１または第２の実施形態にかかる装置で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、第１または第２の実施形態にかかる装置で実行されるプログラムをインターネット等のネットワーク経由で提供または配布するように構成してもよい。

第１または第２の実施形態にかかる装置で実行されるプログラムは、コンピュータを上述した装置の各部として機能させうる。このコンピュータは、ＣＰＵ５１がコンピュータ読取可能な記憶媒体からプログラムを主記憶装置上に読み出して実行することができる。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

５１ ＣＰＵ
５２ ＲＯＭ
５３ ＲＡＭ
５４ 通信Ｉ／Ｆ
６１ バス
１００、１００－２ 推論装置
１０１、１０２ メモリ
１１０、１１０－２ 推論部
１１１ 伸張部
１１２、１１２－２ 演算部
１１３、１１３－２ 圧縮部
１２０ 処理部
１３０－２ 制御部
２００－２ 学習装置

Claims (9)

1. ニューラルネットワークの入力層、隠れ層、および、出力層の演算を実行する演算部と、
   前記入力層、前記隠れ層、および、前記出力層を含む複数の層ごとに定められた、圧縮するか否かを定める情報を参照し、圧縮することが定められた層の出力データを、前記出力データの特性に応じて定められる方式で非可逆圧縮し、圧縮データを出力する圧縮部と、を備え、
   前記圧縮部は、
   前記入力層に入力される推論対象データが画像の場合、前記出力データをチャネルごとに分割した２次元データを、ＪＰＥＧ（Joint Photographic Experts Group）を含む画像圧縮方法を用いて非可逆圧縮し、
   前記入力層に入力される推論対象データが音声の場合、前記出力データをチャネルごとに分割した１次元データを、ＡＡＣ（Advanced Audio Coding）を含む音声圧縮方法を用いて非可逆圧縮する、
   情報処理装置。
2. 前記圧縮部により出力データが圧縮された層については、前記圧縮データを出力として、前記ニューラルネットワークの学習を制御する制御部をさらに備える、
   請求項１に記載の情報処理装置。
3. 前記制御部は、前記演算部の制御に用いられるパラメータの学習を制御する、
   請求項２に記載の情報処理装置。
4. 前記制御部は、前記圧縮部の制御に用いられるパラメータの学習を制御する、
   請求項２に記載の情報処理装置。
5. 圧縮されたデータを伸張して伸張データを出力する伸張部をさらに備え、
   前記演算部は、入力データが圧縮されていない場合は前記入力データに対して前記演算を実行し、前記入力データが圧縮されている場合は前記伸張部によって前記入力データが伸張された前記伸張データに対して前記演算を実行する、
   請求項１から請求項４のいずれか１項に記載の情報処理装置。
6. 前記出力データを非圧縮とする場合は、前記出力データを対応する層の出力とし、
   前記出力データを圧縮とする場合は、前記出力データを前記圧縮部で圧縮した前記圧縮データを、対応する層の出力とする、
   請求項１から請求項５のいずれか１項に記載の情報処理装置。
7. 前記非可逆圧縮は、非可逆の画像圧縮、または、非可逆の音声圧縮である、
   請求項１から請求項６のいずれか１項に記載の情報処理装置。
8. ニューラルネットワークの入力層、隠れ層、および、出力層の演算を実行する演算ステップと、
   前記入力層、前記隠れ層、および、前記出力層を含む複数の層ごとに定められた、圧縮するか否かを定める情報を参照し、圧縮することが定められた層の出力データを、前記出力データの特性に応じて定められる方式で非可逆圧縮し、圧縮データを出力する圧縮ステップと、を含み、
   前記圧縮ステップは、
   前記入力層に入力される推論対象データが画像の場合、前記出力データをチャネルごとに分割した２次元データを、ＪＰＥＧ（Joint Photographic Experts Group）を含む画像圧縮方法を用いて非可逆圧縮し、
   前記入力層に入力される推論対象データが音声の場合、前記出力データをチャネルごとに分割した１次元データを、ＡＡＣ（Advanced Audio Coding）を含む音声圧縮方法を用いて非可逆圧縮する、
   情報処理方法。
9. コンピュータを、
   ニューラルネットワークの入力層、隠れ層、および、出力層の演算を実行する演算部と、
   前記入力層、前記隠れ層、および、前記出力層を含む複数の層ごとに定められた、圧縮するか否かを定める情報を参照し、圧縮することが定められた層の出力データを、前記出力データの特性に応じて定められる方式で非可逆圧縮し、圧縮データを出力する圧縮部と、として機能させ、
   前記圧縮部は、
   前記入力層に入力される推論対象データが画像の場合、前記出力データをチャネルごとに分割した２次元データを、ＪＰＥＧ（Joint Photographic Experts Group）を含む画像圧縮方法を用いて非可逆圧縮し、
   前記入力層に入力される推論対象データが音声の場合、前記出力データをチャネルごとに分割した１次元データを、ＡＡＣ（Advanced Audio Coding）を含む音声圧縮方法を用いて非可逆圧縮する、
   プログラム。
   

Images