JP7373387B2 - 情報処理装置 - Google Patents

Description

本発明は、ニューラルネットワークに関する演算を実行する情報処理装置に関する。

人工知能を自動車等の車両に搭載するための研究が進められている。例えば、特許文献１は、車両の走行状態に基づいて人工知能モデルを構成し、構成した人工知能モデルを用いた処理を実行する車両電子制御装置を開示している。特許文献１において、ニューラルネットワークが、人工知能モデルとして用いられる。

特開２０１８－１９００４５号公報

ニューラルネットワークの演算量は、ニューラルネットワークの規模に応じて増加する。車両電子制御装置等の情報処理装置が、比較的規模の大きいニューラルネットワークを用いた処理を実行する場合、情報処理装置の負荷が高くなる。情報処理装置の負荷が高くなった場合、情報処理装置がニューラルネットワークを用いた処理以外のその他の処理を実行できない虞がある。

ニューラルネットワークを用いた処理とその他の処理とを並行して実行するために、演算処理能力の高い情報処理装置を採用することが考えられる。しかし、演算処理能力の高い情報処理装置の採用は、コスト増加の要因となる。

上記問題点に鑑み、本発明は、_Hlk27417505演算処理能力を高めることなく、ニューラルネットワークを用いた処理とその他の処理とを並行して実行することが可能な情報処理装置を提供することを目的とする。

上記課題を解決するため、第１の発明は、情報処理装置であって、演算部と、演算対象選択部と、演算指示部とを備える。演算部は、複数の中間層を含むニューラルネットワークの演算と、ニューラルネットワークと異なる所定のプログラムの演算とを実行する。演算対象選択部は、ニューラルネットワークの構造と、複数の中間層の各々における演算量を示す演算量データと、演算部の負荷とに基づいて、複数の中間層のうち演算すべき中間層を選択する。演算指示部は、演算対象選択部により選択された中間層の演算を演算部に指示する。

第１の発明によれば、演算処理能力を高めることなく、ニューラルネットワークを用いた処理とその他の処理とを並行して実行することが可能なとなる。

第２の発明は、第１の発明であって、演算対象選択部は、ニューラルネットワークの演算により発生する演算部の負荷と、所定のプログラム演算により発生する演算部の負荷との合計が、予め設定された演算部の負荷の上限を超えないように、演算すべき中間層を選択する。

第２の発明によれば、ニューラルネットワークの演算時に演算部の負荷の上限を超えることが抑制されるため、ニューラルネットワークの演算が予定よりも長くなることを防ぐことができる。

第３の発明は、第１又は第２の発明であって、複数の中間層は、第１中間層と、第２中間層とを含む。第２中間層は、第１中間層の演算結果から独立している。演算対象選択部は、第１中間層の演算により発生する演算部の負荷と第２中間層の演算により発生する演算部の負荷と所定のプログラムの演算により発生する演算部の負荷との合計が演算部の負荷の上限を超えない場合、第１中間層及び第２中間層を演算すべき中間層として選択する。

第３の発明によれば、２つ以上の中間層の演算とその他の処理とを並行して実行できるため、ニューラルネットワークの演算完了を早めることができる。

第４の発明は、第１～第３の発明のいずれかであって、演算部は、第１中間層を含む第１ニューラルネットワークと、第２中間層を含む第２ニューラルネットワークとを演算する。演算対象選択部は、レイヤ特定部は、第１中間層の演算により発生する演算部の負荷と第２中間層の演算により発生する演算部の負荷と所定のプログラムの演算により発生する演算部の負荷との合計が演算部の負荷の上限を超えない場合、第１中間層及び第２中間層を演算すべき中間層として特定する。

第４の発明によれば、２つのニューラルネットワークと、その他の処理とを並行して実行することができる。

第５の発明は、複数の中間層を含むニューラルネットワークの演算と、ニューラルネットワークと異なる所定のプログラムの演算とを実行する演算部を備える情報処理装置の制御方法であって、ａ）ステップと、ｂ）ステップとを備える。ａ）ステップは、ニューラルネットワークの構造と、複数の中間層の各々における演算量を示す演算量データと、演算部の負荷とに基づいて、複数の中間層のうち演算すべき中間層を選択する。ｂ）ステップは、選択された中間層の演算を演算部に指示する。

第５の発明は、第１の発明に用いられる。

本発明は、演算処理能力を高めることなく、ニューラルネットワークを用いた処理とその他の処理とを並行して実行することが可能な情報処理装置を提供することができる。

本発明の第１の実施の形態に係る情報処理システムの構成を示す機能ブロック図である。 図１に示す情報処理装置のハードウェア構成を示す図である。 図１に示すニューラルネットワークの構成の一例を示す概略図である。 図１に示す演算量データ５２の一例を示す図である。 図３に示す畳み込み層の演算量の計算方法を説明する図である。 図１に示す情報処理装置の負荷のうち、ニューラルネットワークの演算により発生する負荷を除いた一般負荷の時間変化の一例を示すグラフである。 図１に示す情報処理装置の動作を示すフローチャートである。 本発明の第２の実施の形態に係る情報処理システムの構成を示す機能ブロック図である。 図８に示すニューラルネットワークの構成を示す概略図である。 図８に示す情報処理装置の負荷のうち、ニューラルネットワークの演算により発生する負荷を除いた一般負荷の時間変化の一例を示すグラフである。 ニューラルネットワークをブロック線図に変換する一例を示す図である。 ニューラルネットワークの構成の一例を示す図である。 図１２に示すニューラルネットワークを隣接行列として表した図である。 図１２に示すニューラルネットワークを変換したブロック図である。 ニューラルネットワークを変換したブロック線図の他の例である。 図１５に示すブロック線図をグラフ化した図である。 図１６に示された処理依存関係に基づく並列処理の割り当ての手順を示す図である。

以下、図面を参照し、本発明の実施の形態を詳しく説明する。図中同一又は相当部分には同一符号を付してその説明は繰り返さない。

［第１の実施の形態］
｛１．構成｝
｛１．１．情報処理システム１００の構成｝
図１は、本発明の一実施の形態に係る情報処理システム１００の構成を示す機能ブロック図である。図１を参照して、情報処理システム１００は、情報処理装置１と、記憶装置２とを備える。

情報処理装置１は、図示しない車両に搭載される電子制御装置（Electronic Control Unit）である。本実施の形態において、情報処理装置１は、画像認識装置である。情報処理装置１は、車両の前方を撮影した前方画像６１を車両に搭載されたカメラから取得し、歩行者をその取得した前方画像６１から検出する。前方画像６１は、動画像に含まれるフレームである。情報処理装置１は、歩行者の検出結果を示す結果データ６２を生成し、図示しないカーナビゲーション装置に出力する。

記憶装置２は、不揮発性の記憶装置であり、例えば、フラッシュメモリである。記憶装置２は、ニューラルネットワーク２０と、前処理プログラム４１と、結果出力プログラム４２と、制御プログラム４３と、演算量データ５２とを記憶する。

ニューラルネットワーク２０と、前処理プログラム４１と、結果出力プログラム４２とは、画像認識処理のためのプログラムであり、演算部１１により実行される。ニューラルネットワーク２０は、本実施の形態では、歩行者を検出するために用いられる。ニューラルネットワーク２０の構成については、後述する。演算量データ５２は、ニューラルネットワーク２０に含まれる複数の中間層の各々の演算量を記録する。

前処理プログラム４１は、前方画像６１をニューラルネットワーク２０に入力するために、前方画像６１のサイズを調整する等の前処理を実行する。結果出力プログラム４２は、ニューラルネットワーク２０の検出結果に基づいて、結果データ６２を生成する。制御プログラム４３は、情報処理装置１全体の制御に用いられ、画像認識処理に関する処理以外の処理を実行する。

｛１．２．情報処理装置１の構成｝
図１を参照して、情報処理装置１は、演算部１１と、演算対象選択部１２と、演算指示部１３とを備える。

演算部１１は、ニューラルネットワーク２０の演算と、前処理プログラム４１の演算と、結果出力プログラム４２の演算と、制御プログラム４３の演算とを実行する。

演算対象選択部１２は、ニューラルネットワーク２０の構造と、演算量データ５２とに基づいて、ニューラルネットワーク２０に含まれる複数の中間層のうち演算すべき中間層を選択する。

演算指示部１３は、演算対象選択部１２により選択された中間層の演算を演算部１１に指示する。

図２は、図１に示す情報処理装置１のハードウェア構成を示す図である。図２を参照して、情報処理装置１は、ＣＰＵ（Central Processing Unit）１０１と、ＲＡＭ（Random access memory）１０２と、ＲＯＭ（Read only memory）１０３と、入力部１０４と、出力部１０５とを備える。

ＣＰＵ１０１は、ＲＡＭ１０２にロードされたプログラムを実行することにより、情報処理装置１を制御する。ＣＰＵ１０１は、演算部１１として機能する。また、ＣＰＵ１０１は、制御プログラム４３を実行することにより、演算対象選択部１２及び演算指示部１３として機能する。

ＲＡＭ１０２は、情報処理装置１のメインメモリである。ＲＯＭ１０３は、情報処理装置１のＢＩＯＳ（Basic Input/Output System）を記憶する。

入力部１０４は、前方画像６１及び記憶装置２に記憶されたプログラム等を取得し、その取得したデータをＲＡＭ１０２に供給する。出力部１０５は、ＣＰＵ１０１による演算結果を情報処理装置１に接続された外部装置に供給する。演算結果は、例えば、歩行者の検出結果を示す結果データ６２である。

｛１．３．ニューラルネットワーク２０の構成｝
図３は、図１に示すニューラルネットワーク２０の構成を示す概略図である。図３を参照して、ニューラルネットワーク２０は、入力層２１と、畳み込み層２２、２３Ａ、２４Ａ及び２４Ｂと、プーリング層２３Ｂ及び２４Ｃと、全結合層２５及び２６と、出力層２７とを備える。図３において、ニューラルネットワーク２０が備えるノードの表示を省略している。

以下の説明において、畳み込み層２２、２３Ａ、２４Ａ及び２４Ｂと、プーリング層２３Ｂ及び２４Ｃと、全結合層２５及び２６とを総称して、「中間層２０Ａ」と記載する場合がある。

入力層２１は、前処理された前方画像６１の画素データを受け、その受けた前方画像６１の画素データを畳み込み層２２に供給する。

畳み込み層２２は、入力層２１から受けた画素データを畳み込み演算し、畳み込み演算の結果を畳み込み層２３Ａ及び２４Ａの各々に供給する。

畳み込み層２３Ａは、畳み込み層２２から受けた畳み込み演算の結果を、さらに畳み込み演算する。畳み込み層２３Ａは、畳み込み演算の結果をプーリング層２３Ｂに供給する。プーリング層２３Ｂは、畳み込み層２３Ａから受けた畳み込み演算の結果を統計的に処理し、その統計処理結果を全結合層２５に供給する。

畳み込み層２４Ａは、畳み込み層２２から受けた畳み込み演算の結果を、さらに畳み込み演算する。畳み込み層２４Ａは、畳み込み演算の結果を畳み込み層２４Ｂに供給する。畳み込み層２４Ｂは、畳み込み層２４Ａから受けた畳み込み演算の結果を、さらに畳み込み演算する。畳み込み層２４Ｂは、畳み込み演算の結果をプーリング層２４Ｃに供給する。プーリング層２４Ｃは、畳み込み層２４Ｂから受けた畳み込み演算の結果を統計的に処理し、その統計処理結果を全結合層２５に供給する。

全結合層２５は、プーリング層２３Ｂ及び２４Ｃの各々から統計処理結果を受け、その受けた統計処理結果を用いた演算を行う。全結合層２５は、演算結果を全結合層２６に供給する。全結合層２６は、全結合層２５から受けた演算結果をさらに演算し、その演算結果を出力層２７に供給する。

出力層２７は、結合層２７から受けた演算結果に基づいて、前方画像６１から歩行者が検出されたか否かを示す歩行者検出結果２８を出力する。歩行者検出結果２８は、結果データ６２の生成に用いられる。

｛１．４．ニューラルネットワーク２０における依存関係｝
ニューラルネットワーク２０において、中間層２０Ａ及び出力層２７の各々は、個別のプログラムである。つまり、演算部１１は、中間層２０Ａ及び出力層２７の各々を個別に演算することができる。中間層２０Ａに含まれる一の中間層の演算を開始するためには、一の中間層と依存関係にある全ての中間層の演算が終了している必要がある。

例えば、畳み込み層２４Ｂは、畳み込み層２２及び２４Ａと依存関係にある。従って、畳み込み層２２及び２４Ａの演算が終了していなければ、畳み込み層２４Ｂの演算を開始することができない。

ニューラルネットワーク２０における依存関係について詳しく説明する。中間層２０Ａは、上流に位置する中間層と依存関係にある。上流とは、ニューラルネットワーク２０に含まれる一の中間層から入力層２１を見た方向を示す。下流とは、一の中間層から出力層２７を見た方向を示す。

例えば、畳み込み層２２及び２３Ａは、プーリング層２３Ｂから見て上流に位置するため、プーリング層２３Ｂは、畳み込み層２２及び２３Ａに依存する。畳み込み層２４Ａ及び２４Ｂとプーリング層２４Ｃとは、プーリング層２３Ｂの上流に位置しないため、プーリング層２３Ｂは、畳み込み層２４Ａ及び２４Ｂ及びプーリング層２３Ｃに依存しない。

並列の位置関係にある２つの中間層は、互いに依存しない。具体的には、畳み込み層２３Ａ及びプーリング層２３Ｂの各々は、畳み込み層２４Ａ、２４Ｂ及びプーリング層２４Ｃに依存しない。逆に、畳み込み層２４Ａ、２４Ｂ及びプーリング層２４Ｃは、畳み込み層２３Ａ及びプーリング層２３Ｂに依存しない。

｛１．５．演算量データ５２｝
図４は、図１に示す演算量データ５２の一例を示す図である。図４を参照して、演算量データ５２は、ニューラルネットワーク２０に含まれる中間層２０Ａ及び出力層２７の各々の演算量を記録する。

演算量データ５２に記録される演算量の算出について説明する。図５は、ニューラルネットワーク２０に含まれる畳み込み層の演算量の計算方法を説明する図である。

図５を参照して、画像データ６６が畳み込み層に入力される場合、画像データ６６は、２次元の行列であり、画素値が行列の要素に相当する。この場合、入力データ６６の水平方向のサイズ及び垂直方向のサイズは、Ｉｒ及びＩｃである。

畳み込み層で用いられるフィルタ６７の水平方向のサイズ及び垂直方向のサイズは、Ｆｒ及びＦｃである。フィルタ６７は、少なくとも１つあればよい。フィルタ６７の数は、Ｆｎである。

畳み込み層における演算において、パディングデータが入力データの外周に付加される。入力データ６６にフィルタをかけるためである。パディングデータは、全て０である。パディングデータの上辺、下辺、右辺及び左辺サイズは、Ｐｔ、Ｐｂ、Ｐｌ、Ｐｒである。この結果、畳み込み層の演算量Ｎは、下記の式（１）により算出される。

式（１）において、Ｓｈは、フィルタ６７の水平方向のストライドであり、Ｓｖは、フィルタ６７の垂直方向のストライドである。

中間層が全結合層である場合、全結合層の演算量は、式（１）のＦｒ，Ｆｃ、Ｓｈ及びＳｖを１に設定し、Ｐｔ、Ｐｂ、Ｐｌ及びＰｒを０に設定することにより計算される。

プーリング層の演算量は、プーリング層で実行される統計処理の内容に応じて結締される。

入力層２１の演算量は、演算量データ５２に記録されない。前処理された前方画像６１の画素データは、入力層２１において実質的に変化しない。入力層２１が、前処理された前方画像６１の画素データを畳み込み層２２に単に受け渡すためであり、演算を行わないためである。

｛２．動作｝
図６は、図２に示すＣＰＵ１０１の負荷のうち一般負荷５５の時間変動の一例を示す図である。図６を参照して、一般負荷５５とは、ニューラルネットワーク２０の演算により発生する負荷を除いた負荷をＣＰＵ１０１の負荷から減算した数値である。一般負荷５５は、前処理プログラム４１と、結果出力プログラム４２と、制御プログラム４３との各々を実行することにより発生する負荷を含む。

以下、図６を参照しながら、情報処理装置１が、ＣＰＵ１０１の負荷に基づいて、演算対象の中間層を選択する処理を説明する。図６において、余裕負荷と、予想負荷と、合計予想負荷との大小関係を分かり易く示すために、余裕負荷と、予想負荷と、合計予想負荷とを負荷上限を基準に示している。余裕負荷と、予想負荷と、合計予想負荷については、後述する。

（時刻ｔ１１）
カメラから入力された前方画像６１の前処理が、時刻ｔ１１において完了する。情報処理装置１は、ニューラルネットワーク２０を用いた歩行者の検出処理を時刻ｔ１１から開始する。時刻ｔ１１において、演算対象選択部１２は、複数の中間層２０Ａの中から、畳み込み層２２を演算対象として選択する。

具体的には、演算対象選択部１２は、時刻ｔ１１において、演算可能な中間層２０Ａが畳み込み層２２であると判断する。前処理された前方画像６１が入力層２１を介して畳み込み層２２に入力されるためである。

演算対象選択部１２は、演算可能な畳み込み層２２の演算量を演算量データ５２から取得する。演算対象選択部１２は、取得した演算量に基づいて、畳み込み層２２の実行に伴って発生するＣＰＵ１０１の負荷を畳み込み層２２の予想負荷２２１として計算する。ＣＰＵ１０１の負荷は、ＣＰＵ１０１のクロック数やコア数等に基づいて計算され、周知の方法を用いることができる。

演算対象選択部１２は、時刻ｔ１１における一般負荷５５と予め設定された上限負荷とに基づいて、時刻ｔ１１における余裕負荷５５１を算出する。図６に示すように、上限負荷は、本実施の形態において９０％である。

演算対象選択部１２は、計算した予想負荷２２１を時刻ｔ１１における余裕負荷５５１１と比較する。計算した予想負荷２２１が時刻ｔ１１における余裕負荷５５１より以下である場合、演算対象選択部１２は、畳み込み層２２を演算対象として選択する。

演算指示部１３は、演算対象選択部１２により選択された畳み込み層２２の演算開始を演算部１１に指示する。演算部１１は、演算指示部１３の指示に応じて、畳み込み層２２の演算を開始する。

なお、時刻ｔ１１において、畳み込み層２２の予想負荷２２１が時刻ｔ１１における余裕負荷５５１よりも大きい場合、演算対象選択部１２は、時刻ｔ１１から所定の時間を経過するまで待機する。演算対象選択部１２は、畳み込み層２２の予想負荷２２１を所定の時間を経過した時点における余裕負荷と比較する。

（時刻ｔ１２）
図６を参照して、演算部１１が、畳み込み層２２の演算を時刻ｔ１２に完了する。演算対象選択部１２は、時刻ｔ１２において、演算対象の中間層を中間層２０Ａの中から新たに選択する。

畳み込み層２２の演算が完了したため、演算対象選択部１２は、畳み込み層２２に接続された畳み込み層２３Ａ及び２４Ａを演算可能な中間層として特定する。畳み込み層２３Ａ及び２４Ａが、演算の完了した畳み込み層２２の下流に位置し、かつ、畳み込み層２２に直接接続されているためである。

演算対象選択部１２は、演算量データ５２に記録された畳み込み層２３Ａの演算量に基づいて、畳み込み層２３Ａの予想負荷２３１Ａを計算する。演算対象選択部１２は、演算量データ５２に記録された畳み込み層２４Ａの演算量に基づいて、畳み込み層２４Ａの予想負荷２４１Ａを計算する。演算対象選択部１２は、計算した予想負荷２３１Ａ及び２４１Ａの合計を合計予想負荷５６２として計算する。

なお、図６は、予想負荷２３１Ａ及び２４１Ａが同じである例を示しているが、予想負荷２３１Ａ及び２４１Ｂは互いに異なっていてもよい。

演算対象選択部１２は、時刻ｔ１２におけるＣＰＵ１０１の一般負荷５５を取得し、取得した一般負荷５５に基づいて、時刻ｔ１２における余裕負荷５５２を計算する。

演算対象選択部１２は、計算した合計予想負荷５６２を時刻ｔ１２における余裕負荷５３２と比較する。図６に示す例では、合計予想負荷５６２が時刻ｔ１２における余裕負荷５５２よりも大きいため、演算対象選択部１２は、畳み込み層２３Ａ及び２４Ａの両者を並行して演算できないと判断する。

この場合、演算対象選択部１２は、予想負荷２３１Ａ及び２４１Ａの各々を余裕負荷５５２と比較する。予想負荷２３１Ａ及び２４１Ａの各々が余裕負荷５５２以下であるため、演算対象選択部１２は、畳み込み層２３Ａ及び２４Ａのいずれか一方を演算対象として選択する。

具体的には、演算対象選択部１２は、畳み込み層２３Ａ及び２４Ａの各々の下流に位置する中間層の数に基づいて、演算対象を選択する。図３に示す例では、畳み込み層２４Ａの下流に位置する中間層が、畳み込み層２３Ａの下流に位置する中間層よりも多いため、演算対象選択部１２は、畳み込み層２４Ａを演算対象として選択する。下流の中間層の数が多い畳み込み層２４Ａの演算を優先することにより、ニューラルネットワーク２０の演算終了時刻を早めることができるためである。演算指示部１３は、演算対象選択部１２により選択された畳み込み層２４Ａの演算を演算部１１に指示する。これにより、畳み込み層２４Ａの演算が時刻ｔ１２から開始される。あるいは、演算対象選択部１２は、畳み込み層２３Ａ及び２４Ａのうち、演算量の多い方を選択してもよい。

つまり、複数の中間層が演算可能であり、かつ、複数の中間層の合計予想負荷が余裕負荷より大きい場合、演算対象選択部１２は、これら複数の中間層の優先度に基づいて、演算対象の中間層を選択すればよい。

（時刻ｔ１３）
演算部１１が、畳み込み層２４Ａの演算を時刻ｔ１３に完了する。演算対象選択部１２は、時刻ｔ１３において、演算対象の中間層を中間層２０Ａの中から新たに選択する。

具体的には、演算対象選択部１２は、畳み込み層２４Ａが終了した時点で演算可能な中間層として、畳み込み層２３Ａ及び２４Ｂを特定する。演算対象選択部１２は、演算量データ５２に記録された畳み込み層２３Ａの演算量に基づいて、畳み込み層２３Ａの予想負荷２３１Ａを計算する。演算対象選択部１２は、演算量データ５２に記録された畳み込み層２４Ｂの演算量に基づいて、畳み込み層２４Ｂの予想負荷２４１Ｂを計算する。演算対象選択部１２は、計算した予想負荷２３１Ａと予想負荷２４１Ｂとの合計を合計予想負荷５６３として計算する。

なお、図６は、予想負荷２３１Ａ及び２４１Ｂが同じである例を示しているが、予想負荷２３１Ａ及び２４１Ｂは互いに異なっていてもよい。

演算対象選択部１２は、時刻ｔ１３におけるＣＰＵ１０１の一般負荷５５を取得し、取得した一般負荷５５に基づいて、時刻ｔ１３における余裕負荷５５３を計算する。

演算対象選択部１２は、計算した合計予想負荷５６３を時刻ｔ１３における余裕負荷５３３と比較する。図６に示す例では、合計予想負荷５６３が時刻ｔ１２における余裕負荷５３３以下である。演算対象選択部１２は、畳み込み層２３Ａ及び２４Ｂの両者を並行して演算できると判断し、畳み込み層２３Ａ及び２４Ｂを演算対象として選択する。

演算指示部１３は、演算対象選択部１２により選択された畳み込み層２３Ａ及び２４Ａの演算を演算部１１に指示する。これにより、畳み込み層２３Ａ及び２４Ｂの演算が時刻ｔ１３から開始される。

（時刻ｔ１４以降）
時刻ｔ１４において、畳み込み層２３Ａ及び２４Ｂの両者の演算が完了する。その後、情報処理装置１は、上記と同様の処理を実行することにより、時刻ｔ１４においてプーリング層２３Ｂを演算対象として選択し、時刻ｔ１５においてプーリング層２４Ｂを選択する。時刻ｔ１４及びｔ１５における演算対象の選択の詳細な説明を省略する。

時刻ｔ１５において、プーリング層２３Ｂの演算が完了している。しかし、演算対象選択部１２は、全結合層２５を演算可能な中間層として特定することができない。全結合層２５と依存関係にあるプーリング層２３Ｂ及び２４Ｃの両者の演算が完了していないためである。

従って、情報処理装置１は、時刻ｔ１５において、プーリング層２３Ｂの予想負荷２３１Ｂが時刻ｔ１５にける予想負荷以下であることを条件として、プーリング層２４Ｃの演算を開始する。

情報処理装置１は、全結合層２６の演算を終了した場合、出力層２７の演算を開始する。情報処理装置１は、出力層２７の予想負荷を全結合層２６の演算完了時における予想負荷と比較し、その比較結果に基づいて出力層２７の演算を開始するか否かを判断してもよい。

（フローチャート）
図７は、図１に示す情報処理装置１の動作を示すフローチャートである。図７を参照して、情報処理装置１は、前方画像６１が入力層２１に入力された場合、又は、演算対象選択部１２により選択された中間層の演算が完了した場合に、図７に示す処理を開始する。

演算対象選択部１２は、図７に示す処理を開始した時点における一般負荷５５を取得する（ステップＳ１１）。演算対象選択部１２は、ステップＳ１１で取得した一般負荷５５と、予め設定された上限負荷とに基づいて、余裕負荷を算出する（ステップＳ１２）。

演算対象選択部１２は、ニューラルネットワーク２０の構造に基づいて、中間層２０Ａのうち演算可能な中間層を特定する（ステップＳ１３）。具体的には、一の中間層の演算が完了した場合、演算対象選択部１２は、一の中間層の下流に接続された中間層を演算可能と判断する。前方画像６１が入力層２１に入力された場合、演算対象選択部１２は、入力層２１に接続された畳み込み層２２を演算可能と判断する。

演算対象選択部１２は、ステップＳ１３で特定した中間層の予想負荷を計算する（ステップＳ１４）。ステップＳ１４の後に、演算対象選択部１２は、ステップＳ１３で特定した中間層の数が２以上であるか否かを判断する（ステップＳ１５）。

ステップＳ１３で特定した中間層の数が１である場合（ステップＳ１５においてＮｏ）、演算対象選択部１２は、ステップＳ１４で計算した予想負荷をステップＳ１２で計算した余裕負荷と比較する（ステップＳ２０）。

予想負荷が余裕負荷以下である場合（ステップＳ２０においてＹｅｓ）、演算対象選択部１２は、ステップＳ１３で特定した中間層を演算対象に選択する（ステップＳ１８）。予想負荷が余裕負荷より大きい場合（ステップＳ２０においてＮｏ）、演算対象選択部１２は、所定時間が経過するまで待機し（ステップＳ２１）、ステップＳ１１に戻る。

ステップＳ１５の説明に戻る。ステップＳ１３で特定した中間層の数が２以上である場合（ステップＳ１５においてＹｅｓ）、演算対象選択部１２は、ステップＳ１４で計算した予想負荷の合計を合計予想負荷として計算する（ステップＳ１６）。演算対象選択部１２は、ステップＳ１６で計算した合計予想負荷をステップＳ１２で計算した余裕負荷と比較する（ステップＳ１７）。

合計予想負荷が余裕負荷以下である場合（ステップＳ１７においてＹｅｓ）、演算対象選択部１２は、ステップＳ１３で特定された全中間層を演算対象として選択する（ステップＳ１８）。合計予想負荷が余裕負荷よりも大きい場合（ステップＳ１７においてＮｏ）、演算対象選択部１２は、ステップＳ１２で特定された中間層の各々の優先度に基づいて、演算対象の中間層を選択する（ステップＳ１９）。

以上説明したように、本実施の形態に係る情報処理装置１は、ニューラルネットワーク２０の構造と、中間層２０Ａの各々の演算量と、演算部１１の負荷とに基づいて、演算対象の中間層を選択する。これにより、情報処理装置１は、演算処理能力の高いＣＰＵを備えなくても、ニューラルネットワークを用いた処理と、その他の処理とを並行して実行することが可能となる。

また、情報処理装置１は、演算可能な複数の中間層を特定した場合、複数の中間層の各々の予想負荷を取得し、取得した予想負荷と一般負荷５５との合計が余裕負荷を超えるか否かを判断する。取得した予想負荷と一般負荷５５との合計が余裕負荷を超えない場合、情報処理装置１は、特定した複数の中間層を演算対象として選択する。これにより、情報処理装置１は、複数の中間層の演算をその他の処理と並行して実行できるため、ニューラルネットワークの演算完了を早めることができる。

［第２の実施の形態］
［１．構成］
［１．１．情報処理装置１Ａの構成］
図８は、本発明の第２の実施の形態に係る情報処理システム１００Ａの構成を示す機能ブロック図である。図８を参照して、情報処理システム１００Ａは、情報処理装置１に代えて、情報処理装置１Ａを備える。情報処理装置１Ａは、歩行者だけでなく交通標識を前方画像６１から検出する。

情報処理装置１Ａは、演算部１１及び演算対象選択部１２に代えて、演算部１１Ａ及び演算対象選択部１２Ａを備える。演算部１１Ａは、記憶装置２に記憶されたニューラルネットワーク２０及び３０の演算を行う。演算対象選択部１２Ａは、ニューラルネットワーク２０及び３０の中間層の中から演算対象の中間層を選択する。

記憶装置２は、ニューラルネットワーク３０及び演算量データ５３をさらに記憶する。ニューラルネットワーク３０は、交通標識を前方画像６１から検出するために用いられる。演算量データ５３は、ニューラルネットワーク３０に含まれる中間層の各々の演算量を記録する。

以下、上記実施の形態と異なる点を中心に本実施の形態を説明する。上記実施の形態と本実施の形態とにおいて共通する構成及び動作については、その説明を省略する。

［１．２．ニューラルネットワーク３０の構成］
図９は、図８に示すニューラルネットワーク３０の構成を示す概略図である。図９を参照して、ニューラルネットワーク３０は、入力層３１と、畳み込み層３２及び３３と、プーリング層３４と、全結合層３５及び３６と、出力層３７とを備える。図９に示すニューラルネットワーク３０において、ノードの表示を省略している。

以下の説明において、畳み込み層３２及び３３と、プーリング層３４と、全結合層３５及び３６とを総称して、「中間層３０Ａ」と記載する場合がある。

入力層３１は、前処理された前方画像６１の画素データを受け、その受けた前方画像６１の画素データを畳み込み層３２に供給する。

畳み込み層３２は、入力層３１から受けた画素データを畳み込み演算し、畳み込み演算の結果を畳み込み層３３に供給する。畳み込み層３３は、畳み込み層３２から受けた畳み込み演算の結果を、さらに畳み込み演算する。畳み込み層３３は、畳み込み演算の結果をプーリング層３４に供給する。

プーリング層３４は、畳み込み層３３から受けた畳み込み演算の結果を統計的に処理し、その統計処理結果を全結合層３５に供給する。

全結合層３５は、プーリング層３４から統計処理結果を受け、その受けた統計処理結果を用いた演算を行う。全結合層３５は、演算結果を全結合層３６に供給する。全結合層３６は、全結合層３５から受けた演算結果をさらに演算し、その演算結果を出力層３７に供給する。

出力層３７は、結合層３６から受けた演算結果に基づいて、前方画像６１から検出された交通標識を示す標識検出結果３８を出力する。標識検出結果３８は、結果データ６２の生成に用いられる。

［２．動作］
情報処理装置１Ａは、前方画像６１の前処理が終了した場合、ニューラルネットワーク２０及び３０を用いて、歩行者及び交通標識を前処理された前方画像６１から検出する。

図１０は、図８に示す情報処理装置１Ａに搭載されたＣＰＵ１０１の一般負荷５７の時間変化の一例を示すグラフである。一般負荷５７は、ニューラルネットワーク２０及び３０の演算に伴う負荷を除いたＣＰＵ１０１の負荷に相当する。

（時刻ｔ２１）
図１０を参照して、前方画像６１の前処理が時刻ｔ２１において完了する。演算対象選択部１２Ａは、ニューラルネットワーク２０及び３０において演算可能な中間層として、畳み込み層２２及び３２を特定する。ニューラルネットワーク２０及び３０は、互いに独立しているためである。

演算対象選択部１２Ａは、畳み込み層２２の予想負荷２２１と畳み込み層３２の予想負荷３２１とを計算する。予想負荷３２１は、演算量データ５３に記録された畳み込み層３２の演算量に基づいて計算される。演算対象選択部１２Ａは、計算した予想負荷２２１及び３２１の合計を予想合計負荷６２１として計算する。

演算対象選択部１２Ａは、時刻ｔ２２における一般負荷５７を取得し、取得した一般負荷５７と負荷上限とに基づいて余裕負荷５７１を計算する。

演算対象選択部１２Ａは、予想合計負荷６２１が余裕負荷５７１以下であるため、畳み込み層２２及び３２の両者を演算対象として選択する。演算指示部１３は、演算対象選択部１２Ａにより選択された畳み込み層２２及び３２の演算を演算部１１に指示する。これにより、畳み込み層２２及び３２の演算が、時刻ｔ２２から開始される。

（時刻ｔ２２）
時刻ｔ２２において、畳み込み層２２及び３２の演算が完了する。畳み込み層２３Ａ及び２４Ａは、畳み込み層２２の下流に位置し、かつ、畳み込み層２２に接続する。畳み込み層３３は、畳み込み層３２の下流に位置し、かつ、畳み込み層３２に接続する。従って、演算対象選択部１２Ａは、演算可能な中間層として、畳み込み層２３Ａ、２４Ａ及び３３を選択する。

演算対象選択部１２Ａは、畳み込み層２３Ａの予想負荷２３１Ａと、畳み込み層２４Ａの予想負荷２４１Ａと、畳み込み層３３の予想負荷３３１とを計算する。演算対象選択部１２Ａは、計算した予想負荷２３１Ａ、２４１Ａ及び３３１Ａの合計を合計予想負荷６２２として計算する。

演算対象選択部１２Ａは、上限負荷と時刻ｔ２２における一般負荷５７とに基づいて、時刻ｔ２２における余裕負荷５７２を計算する。

合計予想負荷６２２が余裕負荷５７２よりも大きいため、演算対象選択部１２Ａは、時刻ｔ２２において特定した３つの中間層のうち、下流の中間層の数が最も多い畳み込み層２４Ａの予想負荷２４１Ａを余裕負荷５７２と比較する。予想負荷２４１Ａが余裕負荷５７２よりも小さいため、演算対象選択部１２Ａは、畳み込み層２４Ａを演算対象として選択する。演算指示部１３は、演算対象選択部１２Ａにより選択された畳み込み層２４Ａの演算を演算部１１Ａに指示する。これにより、畳み込み層２４Ａの演算が、時刻ｔ２２から開始される。

あるいは、演算対象選択部１２Ａは、時刻ｔ２２において特定した３つの中間層のうち２つの中間層の予想効果の合計を計算し、計算した合計を余裕負荷５７２と比較してもよい。計算した合計が余裕負荷５７２よりも小さい場合、これら２つの中間層を演算対象として選択する。演算対象として選択できる２つの中間層の組み合わせが複数存在する場合には、演算対象選択部１２Ａは、２つの中間層の演算量の合計が最も大きいか、又は、２つの中間層の下流に位置する層の合計の最も多い組み合わせを選択すればよい。

（時刻ｔ２２以後）
時刻ｔ２２以降においても、演算対象選択部１２Ａは、中間層の演算が完了するたびに、演算可能な中間層をニューラルネットワーク２０及び３０の各々から特定し、特定した中間層の予想負荷と余裕負荷とに基づいて、演算対象の中間層を選択する。

以上説明したように、情報処理装置１Ａは、ニューラルネットワーク２０及び３０の各々から演算可能な中間層を特定し、特定した中間層の各々の予想負荷を取得する。情報処理装置１Ａは、取得した予想負荷と一般負荷５７との合計が余裕負荷を超えるか否かを判断する。取得した予想負荷と一般負荷５７との合計が余裕負荷を超えない場合、情報処理装置１は、特定した全ての中間層を演算対象として選択する。これにより、情報処理装置１は、複数のニューラルネットワークの演算とその他の処理と並行して実行することができる。

［変形例］
（ニューラルネットワークとブロック線図との相互変換）
図１１は、ニューラルネットワークをブロック線図に変換する一例を示す図である。ニューラルネットワークは重み付き有向グラフである。一般的なブロック線図において、ブロックの値の重みとして捉えた場合、一般的なブロック線図は、重み付き有向グラフと考えることができる。つまり、図１１に示すように、ニューラルネットワークをブロック線図に変換することができる。

図１１に示す変換において、情報の喪失が発生しないため、ニューラルネットワークからブロック線図への変換は可逆である。つまり、ブロック線図からニューラルネットワークに変換することが可能である。

図１２は、ニューラルネットワークの一例を示す図である。図１３は、図１２に示すニューラルネットワークを隣接行列として表した図である。図１２を参照して、ｘは入力ノードであり、ｙは中間ノードであり、ｚは出力ノードである。ｗは重みであり、ｂは、バイアスである。ｃは、値として１を有する定数である。図１２に示すニューラルネットワークを重み付き有向グラフとして捉えた場合、図１２に示すニューラルネットワークを図１３に示す隣接行列として表現することができる。

図１３に示す隣接行列から重み付き有向グラフの行列式を作成する場合、行列式は、下記の式（２）及び（３）により表される。

式（１）及び（２）における、ｘ、ｙ、ｚ、ｗ及びｂをそれぞれＸ、Ｙ、Ｚ、Ｗ及びＢのようにベクトルで表現し、ｃ＝１を代入する。その結果、式（１）及び（２）を、式（３）及び（４）のように変形することができる。

図１４は、図１２に示すニューラルネットワークを変換したブロック線図である。図１４は、式（３）及び（４）をブロック線図で表現した図に相当する。

ブロック線図は、階層化によって制御構造を抽象化する機能を有する。通常、制御設計者は、ニューラルネットワーク等のＡＩ（artificial intelligence）モデルの内部構造に関心を持たない。従って、ＡＩモデルを複雑な機能を持つブロックとして扱うことにより、ニューラルネットワークを隠蔽することができる。ＡＩ開発者は、隠蔽されたニューラルネットワークだけに注目すれば、制御と関係なく開発を進めることができる。

さらに、ニューラルネットワークの構造を入力層、畳み込み層等の階層で抽象化することにより、さらにその下の階層を平易な数値演算の組み合わせに単純化することができる。下の階層は、マイクロコンピュータの実装技術者が並列化やメモリ配置などを工夫して高速化するために利用される。このことから、ニューラルネットワークをブロック線図に変換することは、車載用のマイクロコンピュータの実装のためだけでなく、開発プロセスを役割ごとに分離し、品質及び性能の保証範囲を明確にする効果も期待できる。

（並列化の対象の選定）
ＧＰＵ（Graphics Processing Unit）サーバを用いて設計及び学習したニューラルネットワークが、構造的にそれ以上演算を削減できないと仮定する。この場合、ニューラルネットワークをマイクロコンピュータに実装する時の課題を、如何にしてＣＰＩ（Clocks Per Instruction）を改善するかに絞り込むことができる。レイテンシの小さな命令やメモリアクセス等の様々な方法がＣＰＩの改善手法として知られている。しかし、ＣＰＩの改善に最も寄与するのは並列化である。そのため、ライブラリ開発に際しては、演算の依存関係をどこまでなくせるかを検討する必要がある。

演算のどの部分に依存関係があるかは、コードを生成する前のブロック線図の構造を有向グラフとみなすことにより明確に分かる。ニューラルネットワークをブロック線図に変換することで、グラフィカルに並列化を検討することができる。

図１５は、ニューラルネットワークを変換したブロック線図の他の例である。図１５に示すブロック線図において、矢印でつながるブロック同士は明確に依存関係があるため、分岐ごとに並列化の対象を選定する。

図１５において、横方向が時間、縦方向が並列数を示している。このため、図１５に示すブロック線図は、現時点における最大並列数、かつ、最短時間の処理を示している。ターゲットの並列数が十分であれば、図１５に示すブロック線図の構成のまま実装できる。ターゲットの並列数が十分でない場合、割り当てを検討する必要がある。そこで、分割した領域を有向グラフとして出力ノードから順に割り当てる。この結果、図１５に示すブロック線図が、図１６に示すようにグラフ化される。

図１７は、図１６に示された処理依存関係に基づく並列処理の割り当ての手順を示す図である。デュアルコアＣＰＵを開発ターゲットとした場合、並列数は２である。分かり易くするために、図１６に示すａ～ｋの全ての処理が、同様の処理時間であると仮定する。この場合、並列数×時系列の箱を用意してなるべく時系列が短くなるように処理を並べればよい。そのアルゴリズムは、以下の通りである。

手順１：各ノードが直接参照する他ノードの１つ手前となるように時系列方向に整理する。
手順２：各ノードを参照する全てのノード数である「被依存度」を求める。
手順３：非依存度の大きいノードから、空いている箱のうち、最も右に配置する。ただし、手順１で整理した位置よりも左に位置するように当該ノードを配置する。

（その他の変形例）
上記実施の形態において、情報処理装置１は、ニューラルネットワーク２０を互いに異なるプロセスＩＤ（IDentification）で実行してもよい。例えば、時刻ｔ（ｋ）に生成された前方画像６１から歩行者を検出する画像認識処理と、時刻ｔ（ｋ＋１）に生成された前方画像６１から歩行者を検出する画像認識処理とは、互いに独立している。時刻ｔ（ｋ＋１）は、時刻ｔ（ｋ）よりも後の時刻である。

この場合、演算対象選択部１２は、時刻ｔ（ｋ）に対応する画像認識処理と、時刻ｔ（ｋ＋１）に対応する画像認識処理とに対して異なるプロセスＩＤを割り当てる。この場合、演算対象選択部１２は、時刻ｔ（ｋ）に対応する画像認識処理で用いられるニューラルネットワーク２０と、時刻ｔ（ｋ＋１）に対応する画像認識処理で用いられるニューラルネットワーク２０との各々から演算可能な中間層を特定すればよい。演算可能な中間層を特定した後における演算対象選択部１２の動作は、上記と同様である。

上記実施の形態において、演算対象選択部１２が、演算可能な中間層の予想負荷を余裕負荷と比較する例を説明したが、これに限られない。演算対象選択部１２及び１２Ａは、ニューラルネットワークの構造と、中間層の演算量と、演算部１１及び１１Ａの負荷とに基づいて、演算対象の中間層を特定できれば、演算対象の中間層を選択する手順は、特に限定されない。

上記実施の形態における処理方法の実行順序は、上記実施の形態の記載に制限されるものではなく、発明の要旨を逸脱しない範囲で実行順序を入れ替えてもよい。

前述した方法をコンピュータに実行させるコンピュータプログラム及びそのプログラムを記録したコンピュータ読み取り可能な記録媒体は、本発明の範囲に含まれる。ここで、コンピュータ読み取り可能な記録媒体としては、例えば、フレキシブルディスク、ハードディスク、ＣＤ－ＲＯＭ、ＭＯ、ＤＶＤ、ＤＶＤ－ＲＯＭ、ＤＶＤ－ＲＡＭ、大容量ＤＶＤ、次世代ＤＶＤ、半導体メモリを挙げることができる。

以上、本発明の実施の形態を説明したが、上述した実施の形態は本発明を実施するための例示に過ぎない。よって、本発明は上述した実施の形態に限定されることなく、その趣旨を逸脱しない範囲内で上述した実施の形態を適宜変形して実施することが可能である。

１００，１００Ａ 情報処理システム
１，１Ａ 情報処理装置
１１，１１Ａ 演算部
１２，１２Ａ 演算対象選択部
１３ 演算指示部
２１，３１ 入力層
２２，２３Ａ，２４Ａ，２４Ｂ，３２，３３ 畳み込み層
２３Ｂ，２４Ｃ，３４ プーリング層
２５，２６，３５，３６ 全結合層
２７，３７ 出力層

Claims (5)

1. 複数の中間層を含むニューラルネットワークの演算と、前記ニューラルネットワークと異なる所定のプログラムの演算とを実行する演算部と、
   前記ニューラルネットワークの構造と、前記複数の中間層の各々における演算量を示す演算量データと、前記演算部の負荷とに基づいて、前記複数の中間層のうち演算すべき中間層を選択する演算対象選択部と、
   前記演算対象選択部により選択された中間層の演算を前記演算部に指示する演算指示部と、を備える情報処理装置。
2. 請求項１に記載の情報処理装置であって、
   前記演算対象選択部は、前記ニューラルネットワークの演算により発生する前記演算部の負荷と、前記所定のプログラムの演算により発生する前記演算部の負荷との合計が、予め設定された前記演算部の負荷の上限を超えないように、前記演算すべき中間層を選択する、情報処理装置。
3. 請求項１又は２に記載の情報処理装置であって、
   前記複数の中間層は、
   第１中間層と、
   前記第１中間層の演算結果から独立した第２中間層と、を含み、
   前記演算対象選択部は、前記第１中間層の演算により発生する前記演算部の負荷と前記第２中間層の演算により発生する前記演算部の負荷と前記所定のプログラムの演算により発生する前記演算部の負荷との合計が前記演算部の負荷の上限を超えない場合、前記第１中間層及び前記第２中間層を前記演算すべき中間層として選択する、情報処理装置。
4. 請求項１～３のいずれか１項に記載の情報処理装置であって、
   前記演算部は、第１中間層を含む第１ニューラルネットワークと、第２中間層を含む第２ニューラルネットワークとを演算し、
   前記演算対象選択部は、前記第１中間層の演算により発生する前記演算部の負荷と前記第２中間層の演算により発生する前記演算部の負荷と前記所定のプログラムの演算により発生する前記演算部の負荷との合計が前記演算部の負荷の上限を超えない場合、前記第１中間層及び前記第２中間層を前記演算すべき中間層として特定する、情報処理装置。
5. 複数の中間層を含むニューラルネットワークの演算と、前記ニューラルネットワークと異なるプログラムの演算とを実行する演算部を備える情報処理装置の制御方法であって、
   前記ニューラルネットワークの構造と、前記複数の中間層の各々における演算量を示す演算量データと、前記演算部の負荷とに基づいて、前記複数の中間層のうち演算すべき中間層を選択するステップと、
   前記選択された中間層の演算を前記演算部に指示するステップと、を備える情報処理装置の制御方法。