JP2024026993A - 情報処理装置、情報処理方法 - Google Patents

Abstract

【課題】 異なるビット幅の重み係数を用いた積和演算を、より簡便な構成でもって実現させる技術を提供すること。【解決手段】 複数の階層の重み係数のうち第１階層の重み係数のビット幅がＮ（Ｎは２以上の整数）ビットである場合は該重み係数を出力し、該重み係数のビット幅がＮビットではない場合は、該重み係数を変換したＮビットの重み係数を出力する。該出力された重み係数と、第１階層における特徴画像と、の積和演算に基づいて、第２階層の特徴画像を生成する。【選択図】 図４

Description

本発明は、階層ごとの演算処理技術に関するものである。

畳み込みニューラルネットワーク（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ：ＣＮＮ）は、深層学習に用いられる手法として知られている。ＣＮＮでは、複数のレイヤ（階層）が階層的に接続されており、各階層の中に複数の特徴画像がある。

図２に、階層の数が４（レイヤ１～４）、各階層の中に特徴画像が４枚あるＣＮＮ（４層畳み込みニューラルネットワーク）の構成例を示す。図２において特徴画像（ｉ，ｊ）は、レイヤｉにおけるｊ枚目の特徴画像を表す。学習したフィルタ係数（重み係数）と特徴画像の画素（特徴データ）とを用いて畳み込み処理の結果を計算する。畳み込み処理は積和演算であり、複数の乗算と累積加算を含んでいる。図２における矢印は積和演算を意味する。

現階層における特徴画像は、前の階層における特徴画像と前の階層に対応する重み係数とを用いて計算する。現階層における１枚の特徴画像を計算するためには、前の階層における複数枚の特徴画像の情報が必要である。積和演算の計算式は、以下の（式１）に従う。

ここで、Ｏ_ｉ，ｊ（ｎ）は、現階層におけるｎ枚目の特徴画像中の位置（ｉ，ｊ）に対応する積和演算結果を表す変数である。この（式１）では、前の階層の中に特徴画像がＭ枚あり、ｍ枚目の特徴画像において位置（ｉ，ｊ）における特徴データをＩ_ｉ，ｊ（ｍ）と表している。重み係数（Ｃ_０，０（ｍ，ｎ）～Ｃ_{Ｘ－１，Ｙ－１}（ｍ，ｎ））は（Ｘ×Ｙ）個あり、特徴画像によって異なる（Ｘ，Ｙは共に奇数）。現階層におけるｎ枚目の特徴画像を算出するための積和演算回数は（Ｍ×Ｘ×Ｙ）回である。畳み込み演算を行った後に、ＣＮＮの構造に係る情報に基づき、積和演算結果Ｏ_ｉ，ｊ（ｎ）を用いて活性化処理やプーリング処理等の処理を行い、現階層における特徴画像を計算する。

ＣＮＮは、積和演算の回数が多いため、携帯端末や車載機器等の組み込みシステムに適用した場合、積和演算を効率的に行い、全体的な処理時間を短縮する必要がある。近年、階層によって、特徴画像、畳み込み処理結果、または重み係数のビット幅が異なるネットワーク構成が注目されている。データを量子化し、ビット幅を削減することで、演算コストまたは処理時間を削減することが可能である。非特許文献１、特許文献１、特許文献２では、異なるビット幅の特徴画像または重み係数を処理可能なハードウェア構成が提案されている。

米国特許出願公開第2020／111235 米国特許第10474430号明細書

Ankur Agrawal, et al., "9.1 A 7nm 4-Core AI Chip with 25.6TFLOPS Hybrid FP8 Training, 102.4TOPS INT4 Inference and Workload-Aware Throttling," IEEE International Solid- State Circuits Conference (ISSCC), 2021.

特徴データと重み係数とを実数で保持している従来のネットワークと比べて、特徴データまたは重み係数を量子化したネットワークの構造では、少ない演算コストで処理できるが、複数種類のビット幅の積和演算を行うためには、複数種類の演算器が必要である。

特許文献１に記載の手法では、異なるビット幅の特徴画像を共通の演算器で処理する。特徴画像のビット幅によって畳み込み処理の並列度が異なり、ビット幅が小さい重み係数の処理時間を削減できる。ただし、特許文献１に記載の手法では、重み係数のビット幅が異なるネットワーク構造を処理する場合、効率が低下することがある。

非特許文献１に記載の手法では、階層毎にビット幅が異なるＣＮＮを異なる種類の演算器で処理できる。実数データ専用の演算器と整数データ専用の演算器とを分けることで、整数データ処理の電力効率を向上させることができる。４ビット整数と２ビット整数の重み係数と特徴データを異なる演算コアで処理可能である。

特許文献２に記載の手法では、異なるビット幅の重み係数を異なる演算器で処理する。重み係数のビット幅に応じて畳み込み処理を行うため、処理時間と消費電力削減等のメリットがある。ただし、非特許文献１に記載の手法や特許文献２に記載の手法では、演算器の個数がビット幅の種類に比例するため、回路規模が増大する可能性がある。本発明では、異なるビット幅の重み係数を用いた積和演算を、より簡便な構成でもって実現させる技術を提供する。

本発明の一様態は、複数の階層の重み係数のうち第１階層の重み係数のビット幅がＮ（Ｎは２以上の整数）ビットである場合は該重み係数を出力し、該重み係数のビット幅がＮビットではない場合は、該重み係数を変換したＮビットの重み係数を出力する変換手段と、前記変換手段により出力された重み係数と、第１階層における特徴画像と、の積和演算に基づいて、第２階層の特徴画像を生成する演算手段とを備えることを特徴とする。

本発明の構成によれば、異なるビット幅の重み係数を用いた積和演算を、より簡便な構成でもって実現させることができる。

畳み込み処理部３０５の動作を示すフローチャート。 ＣＮＮ（４層畳み込みニューラルネットワーク）の構成例を示す図。 情報処理装置のハードウェア構成例を示すブロック図。 畳み込み処理部３０５の機能構成例を示すブロック図。 畳み込み処理部３０５の機能構成例を示すブロック図。 特徴画像の生成について説明する図。 変換部４０５の機能構成例を示すブロック図。

以下、添付図面を参照して実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

［第１の実施形態］
先ず、本実施形態に係る情報処理装置のハードウェア構成例について、図３のブロック図を用いて説明する。図３に例示するハードウェア構成例を有する情報処理装置には、例えば、ＰＣ（パーソナルコンピュータ）、スマートフォン、タブレット端末装置、などのコンピュータ装置が適用可能である。また、本実施形態に係る情報処理装置は、例えば、撮像装置や該撮像装置を搭載した装置などに組み込まれる組み込み機器として適用しても良い。

入力部３０１は、キーボード、マウス、タッチパネルなどのユーザインターフェースであり、ユーザが操作することで、各種の指示をＣＰＵ３０６に対して入力することができる。

保存部３０２は不揮発性メモリ装置であり、例えば、ハードディスク、フレキシブルディスク、ＣＤ－ＲＯＭ、ＣＤ－Ｒ、ＤＶＤ、メモリカード、ＣＦカード、スマートメディア、ＳＤカード、メモリスティック、ｘＤピクチャーカード、ＵＳＢメモリ等である。例えば、保存部３０２には、ＯＳ（オペレーティングシステム）、情報処理装置が行う処理として説明する各処理をＣＰＵ３０６に実行もしくは制御させるためのコンピュータプログラムやデータ、などが保存されている。

通信部３０３は、有線および／または無線のネットワークを介して外部装置との間のデータ通信を行う。表示部３０４は、液晶画面やタッチパネル画面を有し、ＣＰＵ３０６による処理結果を画像や文字などでもって表示することができる。なお、表示部３０４は、画像や文字を投影するプロジェクタなどの投影装置であっても良い。

畳み込み処理部３０５は、複数の階層を有するＣＮＮの各階層における演算（積和演算を含む演算）を行うことで、該ＣＮＮに対する入力に対応する出力（ＣＮＮの出力結果）を求める。例えば、畳み込み処理部３０５は、ＲＡＭ３０８に格納されている入力画像（例えば、動画像における各フレームの画像、定期的若しくは不定期的に撮像された静止画像）を入力したＣＮＮの各階層における演算を行って、該入力に対応する出力を求める。そして畳み込み処理部３０５は、求めたＣＮＮの出力結果をＲＡＭ３０８や保存部３０２に格納する。

そして、ＣＰＵ３０６は、畳み込み処理部３０５によってＲＡＭ３０８や保存部３０２に格納されたＣＮＮの出力結果に基づき、入力画像に対する画像処理や画像認識などの処理を行い、該処理の結果をＲＡＭ３０８や保存部３０２に格納する。なお、畳み込み処理部３０５が求めた出力結果や、ＣＰＵ３０６による処理の結果を、通信部３０３が外部装置に対して送信しても構わない。

また、ＣＰＵ３０６による画像処理や画像認識の結果は、表示部３０４に画像や文字として表示されても良いし、情報処理装置が音声出力機能を有する場合には、音声として出力するようにしても良い。

ＣＰＵ３０６は、ＲＯＭ３０７やＲＡＭ３０８に格納されているコンピュータプログラムやデータを用いて各種の処理を実行することで、情報処理装置が行う処理として説明する各種の処理を実行もしくは制御する。

ＲＯＭ３０７には、情報処理装置の設定データ、情報処理装置の起動に係るコンピュータプログラムやデータ、情報処理装置の基本動作に係るコンピュータプログラムやデータ、などが格納されている。

ＲＡＭ３０８は、保存部３０２やＲＯＭ３０７からロードされたコンピュータプログラムやデータを格納するためのエリア、通信部３０３により外部装置から受信したコンピュータプログラムやデータを格納するためのエリア、を有する。また、ＲＡＭ３０８は、ＣＰＵ３０６、畳み込み処理部３０５、画像処理部３０９のそれぞれが各種の処理を実行する際に用いるワークエリアを有する。このように、ＲＡＭ３０８は、各種のエリアを適宜提供することができる。

画像処理部３０９は、ＣＰＵ３０６からのコマンドを受け、保存部３０２に格納されている画像を読み出して画素値のレンジ調整を行い、該レンジ調整を行った画像をＲＡＭ３０８に書き込む。

入力部３０１、保存部３０２、通信部３０３、表示部３０４、畳み込み処理部３０５、ＣＰＵ３０６、ＲＯＭ３０７、ＲＡＭ３０８、画像処理部３０９は何れも、システムバス３１０に接続されている。

なお、図３に示したハードウェア構成は、本実施形態に係る情報処理装置に適用可能なハードウェア構成の一例であり、適宜変形／変更が可能である。例えば、図３では、情報処理装置は入力部３０１、保存部３０２、表示部３０４、畳み込み処理部３０５、画像処理部３０９の全てを有しているが、これらの１以上を情報処理装置の外部装置としても良く、その場合、外部装置との間のデータ通信は通信部３０３によって行われる。

また例えば、ＲＡＭ３０８が提供するエリアの一部を保存部３０２が提供しても構わない。また、ＲＡＭ３０８や保存部３０２が格納するものとして説明する情報の一部若しくは全部を外部装置に格納するようにしても良い。その場合、外部装置との間のデータ通信は通信部３０３によって行われる。

また、例えば、図３では、情報処理装置は１つのＣＰＵ（ＣＰＵ３０６）を有するものとしたが、複数のＣＰＵを有しても構わない。また、複数の装置が協調動作を行うことで、本実施形態に係る情報処理装置の機能を実現させても良い。

また、畳み込み処理部３０５や画像処理部３０９はハードウェアとして実装するようにしても良いし、コンピュータプログラムとして実装するようにしても良い。後者の場合、このコンピュータプログラムは保存部３０２に格納され、ＣＰＵ３０６が該コンピュータプログラムをＲＡＭ３０８に読み出して実行することで、畳み込み処理部３０５や画像処理部３０９の機能を実現させることになる。

本実施形態で用いるＣＮＮの構成例を図２に示す。図２のＣＮＮの詳細については上記の通りである。なお、ＣＮＮの構造に係る情報（構造情報）は、各階層の情報（階層間の接続関係、フィルタ構造、重み係数のビット幅、特徴画像のサイズ、ビット幅、枚数等）を含んでおり、保存部３０２等に保存されている。

図２のＣＮＮにおける階層の数は４（レイヤ１～４）であり、各階層の中に特徴画像が４枚ある。上記の通り、特徴画像（ｉ，ｊ）は、レイヤｉにおけるｊ枚目の特徴画像を表す。また、全ての階層で重み係数のビット幅は同じではなく、図２では、レイヤ１の重み係数のビット幅は８ビットであり、レイヤ２の重み係数のビット幅は１ビットであり、レイヤ３の重み係数のビット幅は１ビットである。特徴画像は複数の画素（特徴データ）を有する。

ここで、従来における、レイヤ２～４のそれぞれの特徴画像の計算（生成）について説明する。レイヤ１における特徴画像（１，１）、（１，２）、（１，３）、（１，４）は、例えば入力画像若しくは該入力画像の特徴画像である。

レイヤ１における特徴画像（１，１）、（１，２）、（１，３）、（１，４）と、８ビットの重み係数と、を用いて上記の（式１）に従った積和演算（畳み込み処理）を行う。そして、この積和演算の結果から、レイヤ２における特徴画像（２，１）、（２，２）、（２，３）、（２，４）を生成する。

そして、レイヤ２における特徴画像（２，１）、（２，２）、（２，３）、（２，４）と、１ビットの重み係数と、を用いて上記の（式１）に従った積和演算（畳み込み処理）を行う。そして、この積和演算の結果から、レイヤ３における特徴画像（３，１）、（３，２）、（３，３）、（３，４）を生成する。

そして、レイヤ３における特徴画像（３，１）、（３，２）、（３，３）、（３，４）と、１ビットの重み係数と、を用いて上記の（式１）に従った積和演算（畳み込み処理）を行う。そして、この積和演算の結果から、レイヤ４における特徴画像（４，１）、（４，２）、（４，３）、（４，４）を生成する。

例えば、図６に示す如く、レイヤ１における４枚の特徴画像６０１から同じ位置の特徴データを抽出する。そして、該特徴データを用いて畳み込み処理を行ってから活性化処理などの処理を行い、該処理の結果を、レイヤ２の特徴画像６０２において該位置における特徴データとして求める。

従来技術では、他の重み係数とビット幅が異なる重み係数が１以上存在する場合、重み係数のビット幅に応じて、複数種類の乗算器から積和演算を行う乗算器を選択するなど、処理が煩雑であった。また、従来技術では、他の重み係数とビット幅が異なる重み係数が１以上存在する場合、重み係数のビット幅に応じて複数種類の乗算器を予め用意しておく必要があり、その結果、回路規模の増大を招き、コスト面などで様々な問題があった。

これに対し、本実施形態では、重み係数のビット幅がＮ（Ｎは２以上の整数）ビットである場合は該重み係数を積和演算の対象とし、該重み係数のビット幅がＮビットではない場合は、該重み係数を変換したＮビットの重み係数を積和演算の対象とする。

上記の畳み込み処理部３０５の機能構成例を、図４のブロック図に示す。このような機能構成例を有する畳み込み処理部３０５の動作について、図１のフローチャートに従って説明する。

ステップＳ１０１では、制御部４０１は、保存部３０２に保存されている「レイヤ１における複数枚の特徴画像」、「構造情報」、「各階層に対応する重み係数」を読み出す。そして制御部４０１は、該読み出した「レイヤ１における複数枚の特徴画像」、「構造情報」、「各階層に対応する重み係数」を、保持部４０８に格納する。ここで、レイヤ１における特徴画像は、例えば入力画像若しくは該入力画像の特徴画像である。

そして、ＣＮＮの各階層について、ステップＳ１０２～Ｓ１１４の処理が行われる。本実施形態では、レイヤ１，レイヤ２，レイヤ３のそれぞれを対象レイヤとし、該対象レイヤについてステップＳ１０２～Ｓ１１４の処理が行われる。より具体的には、先ずレイヤ１についてステップＳ１０２～Ｓ１１４の処理が行われ、次にレイヤ２についてステップＳ１０２～Ｓ１１４の処理が行われ、最後にレイヤ３についてステップＳ１０２～Ｓ１１４の処理が行われる。

ステップＳ１０３では、制御部４０１は、構造情報から対象レイヤに対応する重み係数のビット幅を取得する。それぞれの階層における重み係数のビット幅は予め設定して構造情報に登録されている。重み係数のビット幅には様々な設定方法が適用可能である。

例えば、制御部４０１は、図２に示す如く、同じ階層における重み係数のビット幅を同じビット幅に設定しても良いし、出力特徴画像（対象レイヤの次のレイヤにおける特徴画像）ごとに異なるビット幅を設定しても良い。また、出力特徴画像が複数のグループに分かれている場合、制御部４０１は、グループ毎に重み係数のビット幅を設定し、グループ単位で並列処理を行うことで処理効率を向上させることも可能である。

そして、生成するそれぞれの出力特徴画像について、ステップＳ１０４～Ｓ１１３の処理が行われる。ステップＳ１０５では、制御部４０１は、累積加算部４０３に保持されている畳み込み処理結果を０に初期化する。そして、対象レイヤにおけるそれぞれの特徴画像について、ステップＳ１０６～Ｓ１１０の処理が行われる。

ステップＳ１０７では、制御部４０１は、対象レイヤにおける特徴画像（特徴データの集合）を保持部４０８から読み出し、該読み出した特徴画像を保持部４０２に格納（転送）する。さらに制御部４０１は、対象レイヤに対応する重み係数を保持部４０８から読み出し、該読み出した重み係数を保持部４０４に格納（転送）する。

ステップＳ１０８では、変換部４０５は制御部４０１からの制御信号を受け、ステップＳ１０７で保持部４０４に格納した重み係数のビット幅がＮ（Ｎは２以上の整数）ビットであるか否かを判断する。本実施形態ではＮ＝８とする。

そして、この判断の結果、ステップＳ１０７で保持部４０４に格納した重み係数のビット幅が８ビットではない場合、変換部４０５は、該重み係数を、ビット幅が８ビットの重み係数に変換する。ここで、ステップＳ１０７で保持部４０４に格納した重み係数のビット幅が１ビットであるケースについて説明する。

ステップＳ１０７で保持部４０４に格納した重み係数のビット幅が１ビットである場合、該重み係数の値は０または１であるため、負数を表現できない。値が０または１の重み係数を使用する場合、認識精度を向上させることが困難なため、値が－１または１の重み係数を使用することが多い。そこで、畳み込み処理を行う前に、変換部４０５は、１ビットの重み係数Ｃ_ｘ，ｙ（ｍ，ｎ）を以下の（式２）に従って重み係数Ｃ’_ｘ，ｙ（ｍ，ｎ）に変換する。

このような変換により、値が「０」の重み係数は値が「－１」の重み係数に変換され、値が「１」の重み係数は値が「１」の重み係数に変換される。そして変換部４０５は、（式２）に従って値を変換した重み係数を、ビット幅が８ビットの重み係数に変換する（ビット幅を８ビットに拡張する）。つまり、重み係数の値を２進数で表記した場合、以下の（式３）に示す変換を行ったことになる。

変換前の重み係数はビット幅が１ビットであり、符号ビットがついていない。変換後の重み係数はビット幅が８ビットであり、符号ビットがついている。重み係数は２の補数で表現されている。このような処理により、１ビットの重み係数から８ビットの重み係数が得られるので、変換部４０５は、該８ビットの重み係数を乗算部４０６に対して出力する。

一方、上記の判断の結果、ステップＳ１０７で保持部４０４に格納した重み係数のビット幅が８ビットである場合、変換部４０５は、該重み係数を乗算部４０６に対して出力する。

ここで、変換部４０５の機能構成例について、図７のブロック図を用いて説明する。変換部４０５に１ビットの重み係数Ｃ_ｘ，ｙ（ｍ，ｎ）が入力された場合、該１ビットの重み係数Ｃ_ｘ，ｙ（ｍ，ｎ）はインバータ回路７０１に入力される。インバータ回路７０１は、この変換前の１ビットの重み係数Ｃ_ｘ，ｙ（ｍ，ｎ）を、８ビットの重み係数Ｃ’_ｘ，ｙ（ｍ，ｎ）に変換する。変換後の８ビット（一般的にはＮビット）の重み係数の最下位ビットは常に１、残りの７ビット（一般的にはＮ－１ビット）は全て変換前の１ビットの重み係数に対して反転した値となっている。そしてインバータ回路７０１は、変換した８ビットの重み係数を選択部７０２に入力する。

一方、変換部４０５に８ビットの重み係数Ｃ_ｘ，ｙ（ｍ，ｎ）が入力された場合、該８ビットの重み係数Ｃ_ｘ，ｙ（ｍ，ｎ）を（インバータ回路７０１を介さずに）８ビットの重み係数Ｃ’_ｘ，ｙ（ｍ，ｎ）として選択部７０２に入力する。

選択部７０２は、インバータ回路７０１から重み係数を受け取った場合には、該重み係数を選択し、該選択した重み係数を乗算部４０６に対して出力する。一方、選択部７０２は、インバータ回路７０１を介さずに重み係数を受け取った場合には、該重み係数を選択し、該選択した重み係数を乗算部４０６に対して出力する。通常のビット拡張と異なり、１ビットの重み係数が０の場合は値を変換し、１の場合は値をそのまま出力するために、最下位ビットは入力信号を使わず１に固定する。このような変換部４０５の構成により、シンプルな回路で値の変換とビット幅の拡張を同時に実現できる。

ステップＳ１０９では、乗算部４０６および累積加算部４０３により、対象レイヤにおける特徴画像と、乗算部４０６が変換部４０５から取得した重み係数と、を用いて以下の（式４）に従った積和演算処理（畳み込み処理）を行う。

ここで、Ｏ_ｉ，ｊ（ｎ）は、対象レイヤの次のレイヤにおけるｎ枚目の特徴画像中の位置（ｉ，ｊ）に対応する積和演算結果を表す変数である。また、対象レイヤの中に特徴画像がＭ枚あり、ｍ枚目の特徴画像において位置（ｉ，ｊ）における特徴データをＩ_ｉ，ｊ（ｍ）と表している。（式４）は、対象レイヤにおける全ての特徴画像と重み係数との積和演算を示しており、ステップＳ１０９の処理を対象レイヤにおける全ての特徴画像について行うことで、（式４）の積和演算が実現される。

乗算部４０６は、対象レイヤにおける特徴画像と、乗算部４０６が変換部４０５から取得した重み係数と、の乗算処理を行い、累積加算部４０３は、乗算部４０６による乗算結果を累積加算する。

本実施形態によれば、変換前の重み係数が８ビットであっても１ビットであっても、８ビットの重み係数を用いた積和演算を行うので、共通の乗算部４０６および累積加算部４０３で処理可能である。乗算部４０６は符号ビットのついている重み係数を処理可能である。８ビットの重み係数と１ビットの重み係数を同じ並列度で処理する場合、演算器を追加する必要がない。

１ビットの重み係数の処理の並列度が増えた場合、乗算結果を累積する累積加算部４０３の回路が増大し、消費電力が大きくなる可能性がある。然るに、それほど高速化が必要でなく低消費電力を求められる機器では、１ビットの重み係数の処理の並列度を増やさない方が望ましい。本実施形態によれば、１ビットの重み係数の処理と８ビットの重み係数の処理の並列度を同じに保つことで、回路規模削減と省電力の効果が生まれる。

ステップＳ１１１では、処理部４０７は、制御部４０１からの制御信号を受け、１つの出力特徴画像について得られた、乗算部４０６および累積加算部４０３による畳み込み処理の結果に基づいて、以下の（式５）に従った活性化処理を行う。

ここで、ｆ（）は活性化関数であり、ｘは乗算部４０６および累積加算部４０３による畳み込み処理の結果である。この例では、活性化関数を、ReLU（Rectified Linear Unit）を用いて実現したが、ReLUに限らず、他の非線形関数や量子化関数を用いて実現しても良い。そして、処理部４０７は、上記の活性化処理の結果に基づいてプーリング処理を行って出力特徴画像を生成し、必要に応じて該出力特徴画像のサイズを調整する。ステップＳ１１２では、制御部４０１は、ステップＳ１１１で生成された出力特徴画像を、対象レイヤの次のレイヤにおける特徴画像として保持部４０８に格納する。

このように、本実施形態によれば、１ビットの重み係数を８ビットの重み係数に変換することで、ビット幅が異なる重み係数（１ビットまたは８ビット）を共通の演算部（乗算部と累積加算部）で処理することができ、回路規模を削減することが可能である。１ビットの重み係数の畳み込み処理を行う場合、１ビットの重み係数の乗算を加算と減算で代替する手法もあるが、８ビットの重み係数の乗算を処理するための８ビットの乗算部が既にあるため、新たに加算部を設けるより、ビット幅変換部と８ビットの乗算部を使用した方が回路規模は小さい。

［第２の実施形態］
以下では第１の実施形態との差分について説明し、以下で特に触れない限りは、第１の実施形態と同様であるものとする。本実施形態に係る畳み込み処理部３０５の機能構成例を、図５のブロック図に示す。図５において、図４に示した機能部と同じ機能部には同じ参照番号を付しており、該機能部に係る説明は省略する。

累積加算部５０２は累積加算部５０１よりも回路規模が小さく、処理速度が速い。累積加算部５０２を使用すると、累積加算部５０１を使用するよりも処理時間が短縮されるため、消費電力も削減される。

本実施形態に係る畳み込み処理部３０５の動作は、図１のフローチャートにおいて以下の点が第１の実施形態と異なる。ステップＳ１０９では、乗算部４０６は、対象レイヤにおける特徴画像と、乗算部４０６が変換部４０５から取得した重み係数と、の乗算処理を行う。そして、制御部４０１は、該重み係数が「インバータ回路７０１を介さずに乗算部４０６に入力された重み係数（元々ビット幅が８ビットの重み係数）」（重み係数Ａと称する）である場合、該乗算処理の結果を、累積加算部５０２に入力する。一方、制御部４０１は、該重み係数が「インバータ回路７０１により８ビットに変換された重み係数（元はビット幅が１ビットの重み係数）」（重み係数Ｂと称する）である場合、該乗算処理の結果を、累積加算部５０１に入力する。

特徴画像および重み係数のそれぞれのビット幅が８ビットの場合、該特徴画像と該重み係数との乗算結果は１６ビットとなる。ここで、重み係数が重み係数Ａに該当する場合、１６ビットの乗算結果が累積加算の対象となり、重み係数が重み係数Ｂに該当する場合、１６ビットの乗算結果のうちの９ビットが累積加算の対象となる。よって、重み係数Ａを用いた乗算処理の結果を、重み係数Ｂを用いた乗算処理の結果を累積加算する累積加算部５０１よりも高い能力（演算や電力の観点における能力）を有する累積加算部５０２に入力する。一方、重み係数Ｂを用いた乗算処理の結果を、重み係数Ａを用いた乗算処理の結果を累積加算する累積加算部５０２よりも低い能力（演算や電力の観点における能力）を有する累積加算部５０１に入力する。

累積加算部５０１および累積加算部５０２は何れも、乗算部４０６による乗算結果を累積加算する。このように本実施形態では、重み係数のビット幅（ビット幅を変換したのであれば変換前のビット幅）に応じて累積加算部を切り替えている。

選択部５０３は、累積加算部５０１が累積加算を行った場合には、該累積加算部５０１による累積加算の結果を取得（選択）し、該取得した累積加算の結果を処理部４０７に入力する。また選択部５０３は、累積加算部５０２が累積加算を行った場合には、該累積加算部５０２による累積加算の結果を取得（選択）し、該取得した累積加算の結果を処理部４０７に入力する。

このように、本実施形態によれば、共通の乗算部と複数の累積加算部を利用し、重み係数のビット幅に応じて累積加算部を選択することで、処理時間と消費電力を削減することができる。

［第３の実施形態］
上記の実施形態では、２次元の画像のＣＮＮに適用した例について説明したが、１次元の音声データまたは３次元以上の任意のデータのＣＮＮに適用しても良い。また、上記の実施形態では、画像処理を行うＣＮＮを例に取り説明したが、音声認識など、他の処理を行うＣＮＮにも上記の実施形態は適用可能である。

上記の実施形態では、ステップＳ１０８では、ビット幅が１ビットの重み係数の値を（式２）や（式３）で変換し、該変換した値を８ビットに拡張した。しかし、ビット幅が１ビットの重み係数の値を変換せずにビット幅を８ビットに拡張するようにしても良い。また、値を変換せずに８ビットの符号拡張をしても良い。つまり、変換部４０５は重み係数の値を変換する機能を有していなくても良い。

また、上記の実施形態では、ビット幅が１ビットの重み係数と、ビット幅が８ビットの重み係数と、を含むＣＮＮを用いたケースについて説明したが、任意のビット幅の重み係数を含むＣＮＮを用いたケースにも上記の実施形態は同様に適用可能である。また、任意のビット幅の重み係数の値を変換し、拡張しても良い。

また、上記の実施形態では、各階層におけるいずれかの重み係数のビット幅（例えば最大のビット幅）に拡張するケースについて説明したが、拡張するビット幅はいずれかの重み係数のビット幅に限らず、任意のビット幅であっても良い。また、上記の実施形態では、ＣＮＮを用いたケースについて説明したが、ＣＮＮ以外の任意の階層型ニューラルネットワークを用いても構わない。

また、上記の各実施形態で使用した数値、処理タイミング、処理順、処理の主体、データ（情報）の取得方法／送信先／送信元／格納場所などは、具体的な説明を行うために一例として挙げたもので、このような一例に限定することを意図したものではない。

また、以上説明した各実施形態の一部若しくは全部を適宜組み合わせて使用しても構わない。また、以上説明した各実施形態の一部若しくは全部を選択的に使用しても構わない。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

本明細書の発明は、以下の情報処理装置、情報処理方法、コンピュータプログラムを含む。

（項目１）
複数の階層の重み係数のうち第１階層の重み係数のビット幅がＮ（Ｎは２以上の整数）ビットである場合は該重み係数を出力し、該重み係数のビット幅がＮビットではない場合は、該重み係数を変換したＮビットの重み係数を出力する変換手段と、
前記変換手段により出力された重み係数と、第１階層における特徴画像と、の積和演算に基づいて、第２階層の特徴画像を生成する演算手段と
を備えることを特徴とする情報処理装置。

（項目２）
前記変換手段は、前記第１階層の重み係数のビット幅が１ビットである場合、最下位ビットが１、残りのＮ－１ビットが全て該重み係数に対して反転した値となっている重み係数を出力することを特徴とする項目１に記載の情報処理装置。

（項目３）
前記変換手段は、ビット幅がＮビットではない重み係数のビット幅をＮビットに拡張し、該拡張した重み係数を出力することを特徴とする項目１に記載の情報処理装置。

（項目４）
前記演算手段は、前記変換手段により出力された重み係数と、第１階層における特徴画像と、の積和演算の結果に対して活性化処理およびプーリング処理を行うことで前記第２階層の特徴画像を生成することを特徴とする項目１ないし３の何れか１項目に記載の情報処理装置。

（項目５）
前記演算手段は、
前記変換手段により出力された重み係数と、前記第１階層における特徴画像と、の乗算を行う乗算部と、
該乗算部による乗算の結果を累積加算する第１累積加算部と、
該乗算部による乗算の結果を累積加算する第２累積加算部と
を備え、
前記第２累積加算部は前記第１累積加算部よりも能力が高い
ことを特徴とする項目１ないし４の何れか１項目に記載の情報処理装置。

（項目６）
前記変換手段により出力された重み係数が前記変換により得られた重み係数である場合には、前記第１累積加算部により前記乗算部による乗算の結果を累積加算する、ことを特徴とする項目５に記載の情報処理装置。

（項目７）
前記変換手段により出力された重み係数が前記変換により得られた重み係数ではない場合には、前記第２累積加算部により前記乗算部による乗算の結果を累積加算する、ことを特徴とする項目５または６に記載の情報処理装置。

（項目８）
前記変換手段および前記演算手段は、前記複数の階層のそれぞれについて動作することを特徴とする項目１ないし７の何れか１項目に記載の情報処理装置。

（項目９）
前記複数の階層それぞれにおける重み係数のいずれかのビット幅はＮビットであることを特徴とする項目１ないし８の何れか１項目に記載の情報処理装置。

（項目１０）
情報処理装置が行う情報処理方法であって、
前記情報処理装置の変換手段が、複数の階層の重み係数のうち第１階層の重み係数のビット幅がＮ（Ｎは２以上の整数）ビットである場合は該重み係数を出力し、該重み係数のビット幅がＮビットではない場合は、該重み係数を変換したＮビットの重み係数を出力する変換工程と、
前記情報処理装置の演算手段が、前記変換工程で出力された重み係数と、第１階層における特徴画像と、の積和演算に基づいて、第２階層の特徴画像を生成する演算工程と
を備えることを特徴とする情報処理方法。

（項目１１）
コンピュータを、項目１ないし９の何れか１項目に記載の情報処理装置の各手段として機能させるためのコンピュータプログラム。

発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。

４０１：制御部 ４０２：保持部 ４０３：累積加算部 ４０４：保持部 ４０５：変換部 ４０６：乗算部 ４０７：処理部 ４０８：保持部

Claims (11)

1. 複数の階層の重み係数のうち第１階層の重み係数のビット幅がＮ（Ｎは２以上の整数）ビットである場合は該重み係数を出力し、該重み係数のビット幅がＮビットではない場合は、該重み係数を変換したＮビットの重み係数を出力する変換手段と、
   前記変換手段により出力された重み係数と、第１階層における特徴画像と、の積和演算に基づいて、第２階層の特徴画像を生成する演算手段と
   を備えることを特徴とする情報処理装置。
2. 前記変換手段は、前記第１階層の重み係数のビット幅が１ビットである場合、最下位ビットが１、残りのＮ－１ビットが全て該重み係数に対して反転した値となっている重み係数を出力することを特徴とする請求項１に記載の情報処理装置。
3. 前記変換手段は、ビット幅がＮビットではない重み係数のビット幅をＮビットに拡張し、該拡張した重み係数を出力することを特徴とする請求項１に記載の情報処理装置。
4. 前記演算手段は、前記変換手段により出力された重み係数と、第１階層における特徴画像と、の積和演算の結果に対して活性化処理およびプーリング処理を行うことで前記第２階層の特徴画像を生成することを特徴とする請求項１に記載の情報処理装置。
5. 前記演算手段は、
   前記変換手段により出力された重み係数と、前記第１階層における特徴画像と、の乗算を行う乗算部と、
   該乗算部による乗算の結果を累積加算する第１累積加算部と、
   該乗算部による乗算の結果を累積加算する第２累積加算部と
   を備え、
   前記第２累積加算部は前記第１累積加算部よりも能力が高い
   ことを特徴とする請求項１に記載の情報処理装置。
6. 前記変換手段により出力された重み係数が前記変換により得られた重み係数である場合には、前記第１累積加算部により前記乗算部による乗算の結果を累積加算する、ことを特徴とする請求項５に記載の情報処理装置。
7. 前記変換手段により出力された重み係数が前記変換により得られた重み係数ではない場合には、前記第２累積加算部により前記乗算部による乗算の結果を累積加算する、ことを特徴とする請求項５に記載の情報処理装置。
8. 前記変換手段および前記演算手段は、前記複数の階層のそれぞれについて動作することを特徴とする請求項１に記載の情報処理装置。
9. 前記複数の階層それぞれにおける重み係数のいずれかのビット幅はＮビットであることを特徴とする請求項１に記載の情報処理装置。
10. 情報処理装置が行う情報処理方法であって、
    前記情報処理装置の変換手段が、複数の階層の重み係数のうち第１階層の重み係数のビット幅がＮ（Ｎは２以上の整数）ビットである場合は該重み係数を出力し、該重み係数のビット幅がＮビットではない場合は、該重み係数を変換したＮビットの重み係数を出力する変換工程と、
    前記情報処理装置の演算手段が、前記変換工程で出力された重み係数と、第１階層における特徴画像と、の積和演算に基づいて、第２階層の特徴画像を生成する演算工程と
    を備えることを特徴とする情報処理方法。
11. コンピュータを、請求項１ないし９の何れか１項に記載の情報処理装置の各手段として機能させるためのコンピュータプログラム。

Images