JP7337741B2 - 情報処理装置、車載制御装置 - Google Patents

Description

本発明は、情報処理装置と、これを用いた車載制御装置とに関する。

従来、カメラの撮影画像や各種センサの情報から車両の周囲状況を認識し、その認識結果に基づいて様々な運転支援を行う技術が広く利用されている。こうした車両の運転支援技術において、近年では複雑な周囲状況に対して高精度な認識結果を得るために、人間の大脳における神経細胞の働きをモデル化したニューラルネットワークを利用した演算を行うことが提案されている。

一般に、車両に搭載される情報処理装置（ＥＣＵ：Electronic Control Unit）においてニューラルネットワークを利用した演算を行うためには、車載バッテリからの供給電力を用いてＥＣＵが駆動するという制約条件から、低消費電力であることが求められる。そのため、例えば小規模ＦＰＧＡ（Field Programmable Gate Array）のように、内部メモリ容量が比較的小さい演算回路が用いられることが多い。

内部メモリ容量が小さい演算回路では、演算の途中で生じる中間データを内部メモリに格納しきれないことがある。このような場合、少なくとも中間データの一部を演算回路の外に設けられた外部記憶装置に格納しておき、次に演算回路で必要となったときに外部記憶装置から読み出す必要がある。しかしながら、演算回路と外部記憶装置の間のデータ転送速度は通常、内部メモリのデータ転送速度よりも遅い。そのため、処理速度が低下してしまうという問題が生じる。

上記の課題を解決する技術として、特許文献１が知られている。特許文献１には、ＤＲＡＭから読み出した入力特徴マップ、depthwise畳み込みカーネル、pointwise畳み込みカーネルに基づいて、depthwise畳み込み計算およびpointwise畳み込み計算を実行して、すべてのpointwise畳み込み出力チャネル上で第１の所定の数p個の点の出力特徴値を取得するステップと、上記の演算を繰り返して、すべてのpointwise畳み込み出力チャネル上ですべての点の出力特徴値を取得するステップとを含む、ニューラルネットワークにおける畳み込み計算方法が開示されている。これにより、中間結果を記憶するための記憶領域を減らすことができると記載されている。

特開２０１９－１０９８９５号公報

特許文献１の技術では、ニューラルネットワークにおける畳み込み計算を、depthwise畳み込み計算およびpointwise畳み込み計算という２つの畳み込み計算に分けて実行する。そのため、これらの畳み込み計算の間で中間結果を受け渡す際に情報の一部が失われてしまい、認識精度の劣化を引き起こすという課題がある。

本発明の一態様による情報処理装置は、複数の層からなるニューラルネットワークによるＤＮＮ演算を実行するものであって、前記ニューラルネットワークに入力される特徴マップを、第１の領域と、前記第１の領域とは異なる第２の領域と、を少なくとも含む複数の領域に分割する特徴マップ分割部と、前記ニューラルネットワークの各層に対応して設けられ、前記複数の領域のそれぞれについて、当該層に対応する演算処理を実行するＮＮ演算部と、前記ＮＮ演算部が実行した前記演算処理の結果を格納する内部記憶部と、前記ニューラルネットワークの所定の層に対応する前記ＮＮ演算部が前記複数の領域についてそれぞれ実行した前記演算処理の結果を統合し、前記特徴マップに対する前記演算処理の結果として出力して、前記情報処理装置の外部に設けられた外部記憶装置に格納する特徴マップ統合部と、を備え、前記特徴マップ分割部による前記特徴マップの分割数と、前記特徴マップ統合部が前記演算処理の結果を統合する前に前記ＮＮ演算部が前記演算処理を実行する前記ニューラルネットワークの層数とは、前記内部記憶部の記憶容量と、前記ＮＮ演算部による前記演算処理の合計演算量と、前記情報処理装置と前記外部記憶装置の間のデータ転送帯域と、前記ＮＮ演算部による前記演算処理の前後でのデータサイズの変化量と、のいずれか少なくとも一つに基づいて決定される。
本発明の他の一態様による情報処理装置は、複数の層からなるニューラルネットワークによるＤＮＮ演算を実行するものであって、分割後の各領域が互いに重複する冗長部をそれぞれ含むように、前記ニューラルネットワークに入力される特徴マップを複数の領域に分割する特徴マップ分割部と、前記ニューラルネットワークの各層に対応して設けられ、前記複数の領域のそれぞれについて所定の演算処理を実行するＮＮ演算部と、前記ＮＮ演算部が実行した前記演算処理の結果を格納する内部記憶部と、前記ニューラルネットワークの所定の層に対応する前記ＮＮ演算部が前記複数の領域についてそれぞれ実行した前記演算処理の結果を統合し、前記情報処理装置の外部に設けられた外部記憶装置に格納する特徴マップ統合部と、を備え、前記冗長部のサイズは、前記演算処理で用いられるフィルタのサイズおよびストライドに基づいて決定され、前記特徴マップ分割部による前記特徴マップの分割数と、前記特徴マップ統合部が前記演算処理の結果を統合する前に前記ＮＮ演算部が前記演算処理を実行する前記ニューラルネットワークの層数とは、前記内部記憶部の記憶容量と、前記ＮＮ演算部による前記演算処理の合計演算量と、前記情報処理装置と前記外部記憶装置の間のデータ転送帯域と、前記ＮＮ演算部による前記演算処理の前後でのデータサイズの変化量と、のいずれか少なくとも一つに基づいて決定される。
本発明による車載制御装置は、上記情報処理装置と、車両の行動計画を策定する行動計画策定部と、を備え、前記情報処理装置は、前記車両の周囲状況に関するセンサ情報に基づいて前記演算処理を実行し、前記行動計画策定部は、前記情報処理装置から出力される前記演算処理の結果に基づいて前記車両の行動計画を策定する。

本発明によれば、ニューラルネットワークを利用した演算を行う情報処理装置において、認識精度の劣化を生じることなく、処理速度の高速化を図ることができる。

本発明の一実施形態に係る車載制御装置の構成を示す図である。 本発明の一実施形態に係るＤＮＮ演算装置の構成を示す図である。 本発明の一実施形態に係る演算処理部の各ＮＮ演算部の機能ブロック図である。 本発明の一実施形態に係るＤＮＮ演算装置が行う演算処理の概要を示す図である。 特徴マップ分割部における冗長部の設定方法を説明する図である。 特徴マップの分割数および中間データの格納先を決定する処理の一例を示すフローチャートである。

図１は、本発明の一実施形態に係る車載制御装置の構成を示す図である。図１に示す車載制御装置１は、車両に搭載されて使用され、車両の周囲状況を検出するためのセンサとしてそれぞれ機能するカメラ２、ＬｉＤＡＲ（Light Detection and Ranging）３およびレーダ４と接続されている。車載制御装置１には、カメラ２が取得した車両周囲の撮影画像と、ＬｉＤＡＲ３およびレーダ４がそれぞれ取得した車両から周囲の物体までの距離情報とが入力される。なお、カメラ２、ＬｉＤＡＲ３およびレーダ４は、車両に複数ずつ搭載されており、これら複数のセンサがそれぞれ取得した撮影画像や距離情報が車載制御装置１に入力されるようにしてもよい。

車載制御装置１は、ＤＮＮ演算装置１０、センサフュージョン部１１、特徴マップ格納部１２、外部記憶装置１３および行動計画策定部１５の各機能ブロックを有する。ＤＮＮ演算装置１０、センサフュージョン部１１および行動計画策定部１５は、例えばＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）、ＦＰＧＡ（Field Programmable Gate Array）、ＡＳＩＣ（Application Specific Integrated Circuit）等の演算処理回路や、これらと組み合わせて利用される各種プログラムを用いてそれぞれ構成される。また、特徴マップ格納部１２および外部記憶装置１３は、ＲＡＭ（Random Access Memory）、ＨＤＤ（Hard Disk Drive）、フラッシュメモリ等の記憶装置を用いてそれぞれ構成される。なお、ＤＮＮ演算装置１０は、複数の層からなるニューラルネットワークによるＤＮＮ演算を実行することで車両の周囲状況を認識するための情報処理を行うものであり、本発明の一実施形態に係る情報処理装置に相当する。

カメラ２、ＬｉＤＡＲ３およびレーダ４からそれぞれ入力された撮影画像や距離情報は、車両の周囲状況に関する特徴を二次元平面上の各画素値で表現した特徴マップとして、特徴マップ格納部１２に格納される。なお、ＬｉＤＡＲ３およびレーダ４からそれぞれ入力される距離情報は、センサフュージョン部１１のセンサフュージョン処理によって統合されることで特徴マップに変換され、特徴マップ格納部１２に格納される。ただし、センサフュージョン処理は必ずしも実施しなくてもよい。また、他のセンサからの情報に基づく特徴マップをさらに特徴マップ格納部１２に格納してもよいし、撮影画像と距離情報の一方のみを特徴マップとして特徴マップ格納部１２に格納してもよい。

ＤＮＮ演算装置１０は、特徴マップ格納部１２から特徴マップ（撮影画像または距離情報）を読み出し、読み出した特徴マップに対してＤＮＮ（Deep Neural Network）演算を実行する。このＤＮＮ演算装置１０が行うＤＮＮ演算とは、人工知能の一形態に相当する演算処理であり、複数の層からなるニューラルネットワークの機能を演算処理で実現したものである。ＤＮＮ演算の実行に際して、ＤＮＮ演算装置１０は、外部記憶装置１３から必要な重み情報を取得する。外部記憶装置１３には、不図示のサーバにより予め計算され、ＤＮＮ演算装置１０がこれまでに実施したＤＮＮ演算の学習結果に基づいて更新された重み情報が、学習済みモデルとして格納されている。なお、ＤＮＮ演算装置１０の詳細については、後で説明する。

行動計画策定部１５は、ＤＮＮ演算装置１０によるＤＮＮ演算結果に基づいて車両の行動計画を策定し、行動計画情報を出力する。例えば、車両の運転者が行うブレーキ操作やハンドル操作を支援するための情報や、車両が自動運転を行うための情報を、行動計画情報として出力する。行動計画策定部１５から出力された行動計画情報は、車両内に設けられたディスプレイ上にその内容が表示されたり、車両に搭載された各種ＥＣＵ（Electronic Control Unit）に入力されて様々な車両制御に用いられたりする。なお、行動計画情報をサーバや他の車両に送信してもよい。

次に、ＤＮＮ演算装置１０について説明する。図２は、本発明の一実施形態に係るＤＮＮ演算装置１０の構成を示す図である。図２に示すように、ＤＮＮ演算装置１０は、特徴マップ分割部１０１、演算処理部１０２、特徴マップ統合部１０３および内部記憶部１０４を備えて構成される。

特徴マップ分割部１０１は、特徴マップ格納部１２から読み出されてＤＮＮ演算装置１０に入力される特徴マップを複数の領域に分割する。なお、特徴マップ分割部１０１による特徴マップの分割方法の詳細については後述する。

演算処理部１０２は、特徴マップ分割部１０１により特徴マップから分割された各領域に対して、前述のＤＮＮ演算を順次実行する。演算処理部１０２には、第１層ＮＮ演算部１０２－１から第Ｎ層ＮＮ演算部１０２－Ｎまで、Ｎ個のＮＮ演算部（ただし、Ｎは３以上の自然数）が層状に並べられている。すなわち、演算処理部１０２には、第１層ＮＮ演算部１０２－１、第２層ＮＮ演算部１０２－２、・・・、第ｋ層ＮＮ演算部１０２－ｋ、・・・、第Ｎ層ＮＮ演算部１０２－ＮからなるＮ層のニューラルネットワークが形成されている。演算処理部１０２は、ニューラルネットワークの各層に対応して設けられたこれらのＮＮ演算部に対して重みをそれぞれ設定してＤＮＮ演算を実行することで、特徴マップの各領域から車両の周囲状況の認識結果を示す演算結果を算出する。なお、図２に示したＮ層の各ＮＮ演算部のうち、最初の第１層ＮＮ演算部１０２－１は入力層に相当し、最後の第Ｎ層ＮＮ演算部１０２－Ｎは出力層に相当する。

演算処理部１０２における各層のＮＮ演算部による演算結果は、中間データとして内部記憶部１０４または外部記憶装置１３に格納され、次層のＮＮ演算部に引き渡される。すなわち、入力層を除いた各層のＮＮ演算部は、前層のＮＮ演算部による演算結果を表す中間データを内部記憶部１０４または外部記憶装置１３から読み出し、その演算結果を用いて、ニューラルネットワークの所定の層に対応する演算処理を実行する。

特徴マップ統合部１０３は、演算処理部１０２が各領域に対してＤＮＮ演算を順次実行することによって得られた各領域の演算結果を統合し、ＤＮＮ演算装置１０の演算結果として出力するとともに、外部記憶装置１３に格納する。これにより、ＤＮＮ演算装置１０に入力された特徴マップに対するＤＮＮ演算結果が得られ、行動計画策定部１５において車両の行動計画の策定に利用することができる。

図３は、本発明の一実施形態に係る演算処理部１０２の各ＮＮ演算部の機能ブロック図である。なお、演算処理部１０２において、第１層ＮＮ演算部１０２－１～第Ｎ層ＮＮ演算部１０２－Ｎは、いずれも同様の機能構成を有しているため、図３ではこれらを代表して、第ｋ層ＮＮ演算部１０２－ｋの機能ブロックを示している。以下では、この第ｋ層ＮＮ演算部１０２－ｋの機能ブロックを説明することで、本実施形態の演算処理部１０２を構成する全てのＮＮ演算部についての説明を行う。

第ｋ層ＮＮ演算部１０２－ｋは、畳み込み処理部１２１、活性化処理部１２２およびプーリング処理部１２３を有している。

第ｋ層ＮＮ演算部１０２－ｋに対する前層（第ｋ－１層）からの入力データは、畳み込み処理部１２１およびプーリング処理部１２３に入力される。なお、第１層ＮＮ演算部１０２－１の場合は、特徴マップ格納部１２から読み出されて特徴マップ分割部１０１により分割された特徴マップの各領域が、前層からの入力データとして畳み込み処理部１２１およびプーリング処理部１２３に入力される。

畳み込み処理部１２１は、外部記憶装置１３に学習済みモデルとして格納されている重み情報に基づき、ニューラルネットワークの第ｋ層に対応する畳み込み演算を行う。畳み込み処理部１２１で行われる畳み込み演算とは、重み情報に応じて設定した所定サイズのフィルタ（カーネル）を入力データ上で所定間隔ごとに移動させたときのフィルタの各位置について、フィルタ範囲内にある入力データの各画素と対応する各フィルタ要素との積を合計する演算処理のことである。なお、このときのフィルタの移動間隔は、ストライドと呼ばれる。

活性化処理部１２２は、畳み込み処理部１２１の演算結果を活性化するための活性化演算を実施する。ここでは、例えばＲｅＬＵ（Rectified Linear Unit）関数と呼ばれる活性化関数を用いて、活性化演算を行う。ＲｅＬＵ関数とは、０未満の入力値に対しては０を出力し、０以上の値に対しては入力値をそのまま出力する関数である。なお、ＲｅＬＵ関数以外を用いて活性化演算を行ってもよい。この活性化処理部１２２が行う活性化演算により、畳み込み処理部１２１の演算結果における各データ値のうち、次層（第ｋ＋１層）での演算に及ぼす影響が小さいデータ値は０へと変換される。

プーリング処理部１２３は、ニューラルネットワークの第ｋ層に対応するプーリング演算を行う。プーリング処理部１２３で行われるプーリング演算とは、所定サイズのフィルタを入力データ上で所定間隔ごとに移動させたときのフィルタの各位置について、フィルタ範囲内にある入力データの各画素の特徴を抽出する演算処理のことである。例えば、フィルタ範囲内の各画素の平均値を抽出する平均プーリングや、フィルタ範囲内の各画素の最大値を抽出する最大プーリング等のプーリング演算が知られている。なお、このときのフィルタの移動間隔も、畳み込み処理部１２１と同様にストライドと呼ばれる。

畳み込み処理部１２１が行った畳み込み演算によって算出され、その後に活性化処理部１２２によって活性化演算が行われた各データ値、または、プーリング処理部１２３が行ったプーリング演算によって算出された各データ値は、第ｋ層ＮＮ演算部１０２－ｋから出力され、次層の入力データとなる。ここで、各層のＮＮ演算部では通常、畳み込み演算またはプーリング演算のいずれか一方が行われる。演算処理部１０２のニューラルネットワークにおいて、畳み込み演算を行うＮＮ演算部が配置された層は「畳み込み層」とも呼ばれ、プーリング演算を行うＮＮ演算部が配置された層は「プーリング層」とも呼ばれる。なお、畳み込み層のＮＮ演算部にはプーリング処理部１２３を設けなくてもよく、プーリング層のＮＮ演算部には畳み込み処理部１２１と活性化処理部１２２を設けなくてもよい。あるいは、各層のＮＮ演算部が図３の構成を備えることで、畳み込み層とプーリング層を任意に切り替え可能としてもよい。

続いて、本実施形態のＤＮＮ演算装置１０の特徴について説明する。演算処理部１０２と外部記憶装置１３の間のデータ転送帯域は、ＤＮＮ演算装置１０に内蔵されている内部記憶部１０４と比べて、一般的に帯域幅が狭い。すなわち、演算処理部１０２と外部記憶装置１３の間のデータ転送速度は、内部記憶部１０４よりも遅い。したがって、ＤＮＮ演算装置１０が行うＤＮＮ演算を高速化するためには、各層のＮＮ演算部により演算された中間データを、外部記憶装置１３には格納せず、なるべく内部記憶部１０４に格納することが好ましい。しかしながら、ＤＮＮ演算装置１０に対するハードウェア上の制約等から、内部記憶部１０４として確保可能なメモリ容量は比較的小さく、そのため特徴マップのデータサイズによっては、各層のＮＮ演算部で得られた中間データの全てを内部記憶部１０４に格納できない場合がある。

そこで、本実施形態のＤＮＮ演算装置１０では、特徴マップ分割部１０１により特徴マップを複数の領域に分割し、分割された各領域について演算処理部１０２の各層のＮＮ演算部が順次演算処理を行う。これにより、特徴マップを分割せずにそのまま演算処理部１０２に入力した場合と比べて、各層のＮＮ演算部から出力される中間データのデータサイズを小さくし、内部記憶部１０４に格納できるようにする。そして、最後の出力層から出力される各領域の演算結果を、特徴マップ統合部１０３において統合することにより、特徴マップに対するＤＮＮ演算結果を得るようにしている。これにより、内部記憶部１０４のメモリ容量が小さくても、特徴マップに基づく認識精度の劣化を生じることなく、ＤＮＮ演算装置１０が行うＤＮＮ演算を高速化するようにしている。

図４は、本発明の一実施形態に係るＤＮＮ演算装置１０が行う演算処理の概要を示す図である。

ＤＮＮ演算装置１０に入力された特徴マップ３０は、まず特徴マップ分割部１０１において、複数の領域３１～３４に分割される。なお、図４ではＲ，Ｇ，Ｂの各画像データに対応する３種類の特徴マップ３０がそれぞれ４分割されることで、各特徴マップ３０に対して４つの領域３１～３４が生成される例を示しているが、特徴マップの数および分割数はこれに限定されるものではない。ここで、Ｍは各領域を識別するためのＩＤであり、領域３１～３４に対してＭ＝１からＭ＝４までのＩＤ値が順に設定される。

特徴マップ３０から分割された領域３１～３４には、冗長部４１～４４がそれぞれ含まれる。冗長部４１～４４は、隣接する領域同士では分割前の特徴マップ３０において同じ部分に対応している。例えば、領域３１に含まれる冗長部４１のうち右側の部分と、領域３２に含まれる冗長部４２のうち左側の部分とは、分割前の特徴マップ３０において同じ部分に対応しており、互いに同一の内容である。また、領域３１に含まれる冗長部４１のうち下側の部分と、領域３３に含まれる冗長部４３のうち上側の部分とは、分割前の特徴マップ３０において同じ部分に対応しており、互いに同一の内容である。すなわち、特徴マップ分割部１０１は、隣接する領域同士において互いに重複する冗長部４１～４４を含むように、特徴マップ３０を領域３１～３４に分割する。

なお、特徴マップ分割部１０１において設定する冗長部４１～４４の大きさは、演算処理部１０２においてＮＮ演算部１０２－１～１０２－Ｎがそれぞれ実行する畳み込み演算やプーリング演算において用いられるフィルタのサイズおよびストライドに基づいて決定される。この点については、後で図５を参照して説明する。

特徴マップ分割部１０１により特徴マップ３０から分割された領域３１～３４は、演算処理部１０２に入力される。演算処理部１０２では、領域３１～３４のそれぞれについてニューラルネットワークの各層に対応するＮＮ演算部１０２－１～１０２－Ｎを用いた演算処理を順次行うことで、特徴マップ３０を分割した領域ごとにＤＮＮ演算を実行する。すなわち、領域３１（Ｍ＝１）に対してＤＮＮ演算を実行し、その演算結果を示す出力データ５１を取得したら、次の領域３２（Ｍ＝２）に対してＤＮＮ演算を実行し、その演算結果を示す出力データ５２を取得する。こうした処理を領域３１～３４に対して順次行うことにより、領域３１～３４のそれぞれについて、ＤＮＮ演算結果に応じた出力データ５１～５４を取得することができる。

なお、演算処理部１０２におけるＤＮＮ演算の実行中、各層のＮＮ演算部で求められた中間データは、内部記憶部１０４において一時的に記憶され、次の層のＮＮ演算部の入力データとして利用される。このとき内部記憶部１０４に格納されるデータは、演算処理を行うニューラルネットワークの層ごとに書き換えられる。また、領域３１についてＤＮＮ演算を実行しているときに内部記憶部１０４に格納される中間データと、次の領域３２についてＤＮＮ演算を実行しているときに内部記憶部１０４に格納される中間データとは、互いに異なる内容である。領域３３，３４についても同様である。すなわち、領域３１～３４について各層のＮＮ演算部が実行した演算処理の結果は、それぞれ異なるタイミングで内部記憶部１０４に格納される。

演算処理部１０２におけるＤＮＮ演算が全て完了したら、領域３１～３４に対して得られた出力層からの出力データ５１～５４が特徴マップ統合部１０３に入力される。特徴マップ統合部１０３では、出力データ５１～５４を統合することで、分割前の特徴マップ３０に対するＤＮＮ演算結果を表す統合データ５０を生成する。具体的には、例えば図４に示すように、特徴マップ３０から領域３１～３４を分割したときの位置に合わせて、領域３１～３４に基づく出力データ５１～５４をそれぞれ並べて配置し、これらを合成することにより、統合データ５０を生成することができる。特徴マップ統合部１０３で生成された統合データ５０は、外部記憶装置１３に格納される。

なお、特徴マップ統合部１０３は、演算処理部１０２の出力層から出力される各領域の演算結果だけでなく、入力層と出力層の間に設けられた各中間層のうち、任意の中間層から出力される各領域の演算結果を統合してもよい。すなわち、特徴マップ統合部１０３は、ニューラルネットワークの第ｋ＋α層（αは任意の自然数）に対応するＮＮ演算部１０２－（ｋ＋α）が各領域について実行した演算処理の結果を統合することができる。さらにこのとき、外部記憶装置１３に格納された中間層での演算結果を特徴マップ分割部１０１に入力し、特徴マップ分割部１０１において特徴マップと同様に複数の領域に分割した後に、次の層のＮＮ演算部に入力して演算処理を行うようにしてもよい。この場合、特徴マップ統合部１０３により統合された中間層での演算結果は、外部記憶装置１３に一旦格納され、そこから次の層のＮＮ演算部、すなわちニューラルネットワークの第ｋ＋α＋１層に対応するＮＮ演算部１０２－（ｋ＋α＋１）に入力されて、当該層での演算処理に用いられる。

次に、特徴マップ分割部１０１における冗長部の設定方法について説明する。特徴マップ分割部１０１では、入力された特徴マップを複数の領域に分割する際に、各領域に対して前述のような冗長部を設定する。この冗長部は、演算処理部１０２においてＮＮ演算部１０２－１～１０２－Ｎがそれぞれの畳み込み演算やプーリング演算を正確に実行できるように、すなわち、分割前の特徴マップに対して実行した場合と同じ結果が得られるようにするためのものである。具体的には、各ＮＮ演算部において用いられるフィルタのサイズおよびストライドに基づき、以下のようにして冗長部を設定する。

図５は、特徴マップ分割部１０１における冗長部の設定方法を説明する図である。図５（ａ）は、入力層での演算処理において用いられるフィルタのサイズが３×３、ストライドが１であり、中間層での演算処理において用いられるフィルタのサイズが１×１、ストライドが１である場合の冗長部の設定例を示している。図５（ｂ）は、入力層での演算処理において用いられるフィルタのサイズが３×３、ストライドが１であり、中間層での演算処理において用いられるフィルタのサイズが３×３、ストライドが２である場合の冗長部の設定例を示している。なお、図５（ａ）、図５（ｂ）では、説明を簡単にするため、入力層と出力層の間に中間層を１つのみ有するＤＮＮ演算での冗長部の設定例をそれぞれ示している。２つ以上の中間層を有する場合についても、同様の方法により冗長部の設定を行うことができる。

特徴マップを分割した後の各領域に対して入力層の演算処理を正確に実行できるようにするためには、分割後の各領域の境界部分に対してフィルタを適用した際に、分割前と同じ演算結果が得られるようにする必要がある。入力層と出力層の間にある各中間層についても同様である。そこで特徴マップ分割部１０１では、入力層と各中間層の全てについてこうした条件が満たされるように、特徴マップを複数の領域に分割する際の冗長部の大きさを決定する。

図５（ａ）の例では、入力層の演算処理におけるフィルタのサイズが３×３、ストライドが１であるため、入力層の演算処理に対して２画素分の冗長部を設定する必要がある。一方、中間層の演算処理におけるフィルタのサイズが１×１、ストライドが１であるため、中間層の演算処理に対しては冗長部を設定する必要がない。したがって、図５（ａ）の入力層においてハッチングで示したように、特徴マップを分割した後の各領域の境界部分に対して、２画素分の幅で冗長部を設定すればよいことが分かる。なお、図５（ａ）では縦方向の冗長部の図示を省略しているが、縦方向に分割する場合も同様に、２画素分の幅で冗長部を設定すればよい。

図５（ｂ）の例では、入力層の演算処理におけるフィルタのサイズが３×３、ストライドが１であるため、図５（ａ）と同様に、入力層の演算処理に対して２画素分の冗長部を設定する必要がある。また、中間層の演算処理におけるフィルタのサイズが３×３、ストライドが２であるため、中間層の演算処理に対して１画素分の冗長部を設定する必要がある。したがって、図５（ｂ）の入力層においてハッチングで示したように、特徴マップを分割した後の各領域の境界部分に対して、入力層と中間層を合わせた３画素分の幅で冗長部を設定すればよいことが分かる。なお、図５（ｂ）では縦方向の冗長部の図示を省略しているが、縦方向に分割する場合も同様に、３画素分の幅で冗長部を設定すればよい。

以上説明したように、特徴マップ分割部１０１では、演算処理部１０２に入力される特徴マップを分割する際に、出力データ統合前の演算処理部１０２の各層において行われる演算処理で必要となる冗長部の画素数を累積して、分割後の各領域に対する冗長部の大きさを決定する。具体的には、例えば以下の式（１）により、特徴マップを分割する際の冗長部の幅Ｗを決定することができる。式（１）において、Ａ_ｋは第ｋ層のフィルタサイズを表し、Ｓ_ｋは第ｋ層のストライドを表す。また、Ｎは演算処理部１０２を構成するニューラルネットワークの層数、すなわちＮＮ演算部の個数を表す。

次に、特徴マップの分割数および中間データの格納先の決定方法について説明する。前述のように、演算処理部１０２における各層のＮＮ演算部による演算結果は、中間データとして内部記憶部１０４または外部記憶装置１３に格納される。本実施形態のＤＮＮ演算装置１０が行うＤＮＮ演算を高速化するためには、演算処理部１０２を構成する各層のＮＮ演算部により演算された中間データをなるべく内部記憶部１０４に格納できるように、内部記憶部１０４のメモリ容量を考慮して設定する必要がある。ただし、中間層の演算処理で用いられるフィルタのストライド数が２以上の場合は、演算後のデータサイズが削減される。そのため、内部記憶部１０４に対して必要となるメモリ容量を抑えるには、その前の層までに得られた出力データを統合することが好ましい。特徴マップ分割部１０１における特徴マップの分割数と、内部記憶部１０４と外部記憶装置１３のどちらを中間データの格納先とするかは、これらの条件を考慮して決定する必要がある。

図６は、特徴マップの分割数および中間データの格納先を決定する処理の一例を示すフローチャートである。なお、図６のフローチャートに示す処理は、ＤＮＮ演算装置１０において実施してもよいし、車載制御装置１内の他の部分において実施してもよい。あるいは、汎用コンピュータ等を用いて図６のフローチャートに示す処理を事前に実施することで、ＤＮＮ演算装置１０における特徴マップの分割数および中間データの格納先を予め決定しておき、その結果に基づいてＤＮＮ演算装置１０の仕様を決定してもよい。

ステップＳ１０では、処理対象とするＮＮ演算部１０２－ｋについて、初期値ｋ＝１を設定する。

ステップＳ２０では、現在の処理対象として選択中のＮＮ演算部１０２－ｋの次の層、すなわちｋ＋１層目にあるＮＮ演算部１０２－（ｋ＋１）のストライドが２以上であるか否かを判定する。ｋ＋１層目のストライドが２以上である場合、すなわちＮＮ演算部１０２－（ｋ＋１）の演算処理において用いられるフィルタの移動間隔が２画素以上である場合はステップＳ５０に進み、そうでない場合はステップＳ３０に進む。

ステップＳ３０では、現在の処理対象として選択中のＮＮ演算部１０２－ｋからの出力データサイズが、内部記憶部１０４のメモリ容量以下であるか否かを判定する。ＮＮ演算部１０２－ｋからの出力データサイズが内部記憶部１０４のメモリ容量以下である場合はステップＳ６０に進み、そうでない場合、すなわちＮＮ演算部１０２－ｋからの出力データサイズが内部記憶部１０４のメモリ容量を超えている場合はステップＳ４０に進む。なお、既に前層のＮＮ演算部１０２－（ｋ－１）までを処理対象として実行された後述のステップＳ４０の処理において、特徴マップの分割数を設定済みである場合は、分割後の特徴マップによるＮＮ演算部１０２－ｋからの出力データサイズを用いて、ステップＳ３０の判定を行うようにする。

ステップＳ４０では、特徴マップ分割部１０１において特徴マップを半分に分割するように決定する。ステップＳ４０を実行したら、特徴マップを分割した後の各領域のデータサイズに基づいて、ＮＮ演算部１０２－ｋからの出力データサイズを算出し、ステップＳ３０に戻る。これにより、特徴マップを複数の領域に分割したときのＮＮ演算部１０２－ｋからの出力データサイズが内部記憶部１０４のメモリ容量以下となるまで、特徴マップの分割数の設定値を増加させる。

ステップＳ２０からステップＳ５０に進んだ場合、ステップＳ５０では、現在の処理対象として選択中のＮＮ演算部１０２－ｋからの出力データの格納先を、外部記憶装置１３に決定する。ステップＳ５０の処理を実行したら、ステップＳ７０に進む。

ステップＳ３０からステップＳ６０に進んだ場合、ステップＳ６０では、現在の処理対象として選択中のＮＮ演算部１０２－ｋからの出力データの格納先を、内部記憶部１０４に決定する。ステップＳ６０の処理を実行したら、ステップＳ７０に進む。

ステップＳ７０では、ｋ＝Ｎ－１であるか否かを判定する。ｋ＝Ｎ－１である場合、すなわち、現在の処理対象として選択中のＮＮ演算部１０２－ｋが、出力層の直前にある中間層である場合（中間層の最終段である場合）は、図６のフローチャートに示す処理を終了する。一方、ｋ＝Ｎ－１ではない場合は、ステップＳ８０に進む。

ステップＳ８０では、ｋの値に１を加えることで、処理対象とするＮＮ演算部１０２－ｋを次の層に進める。ステップＳ８０の処理を実行したらステップＳ２０に戻り、前述の処理を繰り返す。これにより、演算処理部１０２を構成する各層のＮＮ演算部が、第１層ＮＮ演算部１０２－１から順に処理対象として選択され、特徴マップの分割数および中間データの格納先が決定される。

なお、以上説明した図６の処理による特徴マップの分割数および中間データの格納先の決定方法は、あくまで一例である。これ以外の方法で、特徴マップの分割数や中間データの格納先を決定してもよい。例えば、以下の各条件の少なくとも一つに基づいて、特徴マップの分割数と、特徴マップ統合部１０３が各領域の演算処理の結果を統合する前に各層のＮＮ演算部が演算処理を実行するニューラルネットワークの層数、すなわち、中間データを内部記憶部１０４に格納する演算処理部１０２のＮＮ演算部の層数とを、それぞれ決定することができる。
（条件１）内部記憶部１０４の記憶容量
（条件２）各層のＮＮ演算部による演算処理の合計演算量
（条件３）ＤＮＮ演算装置１０と外部記憶装置１３の間のデータ転送帯域
（条件４）各層のＮＮ演算部による演算処理の前後でのデータサイズの変化量

以上説明した本発明の一実施形態によれば、以下の作用効果を奏する。

（１）ＤＮＮ演算装置１０は、複数の層からなるニューラルネットワークによるＤＮＮ演算を実行する情報処理装置である。ＤＮＮ演算装置１０は、ニューラルネットワークに入力される特徴マップ３０における第１の領域（例えば領域３１）と、第１の領域とは異なる第２の領域（例えば領域３２）とのそれぞれについて、ニューラルネットワークの所定の層に対応する演算処理を実行する（演算処理部１０２のＮＮ演算部１０２－１～１０２－Ｎ）。そして、第１の領域に対する演算処理の結果と、第２の領域に対する演算処理の結果とを統合し、特徴マップ３０に対する演算処理の結果として出力する（特徴マップ統合部１０３）。このようにしたので、ニューラルネットワークを利用した演算を行う情報処理装置において、認識精度の劣化を生じることなく、処理速度の高速化を図ることができる。

（２）ＤＮＮ演算装置１０は、特徴マップ３０を第１の領域と第２の領域とに分割する特徴マップ分割部１０１を備える。このようにしたので、入力される特徴マップを適切に分割することができる。

（３）特徴マップ分割部１０１は、第１の領域と第２の領域とが互いに重複する冗長部（例えば領域３１，３２の冗長部４１，４２）をそれぞれ含むように、特徴マップ３０を第１の領域と第２の領域とに分割する。このようにしたので、分割後の各領域について、演算処理部１０２の各ＮＮ演算部１０２－１～１０２－Ｎがそれぞれの演算処理を正確に実行することができる。

（４）冗長部のサイズは、演算処理部１０２の各ＮＮ演算部１０２－１～１０２－Ｎが行う演算処理で用いられるフィルタのサイズおよびストライドに基づいて決定される。このようにしたので、分割後の各領域の境界部分に対してフィルタを適用した際に、分割前の特徴マップに対して実行した場合と同じ結果が得られるようにすることができる。

（５）ＤＮＮ演算装置１０は、ニューラルネットワークの各層に対応して設けられ、第１の領域および第２の領域のそれぞれについて演算処理を実行するＮＮ演算部１０２－１～１０２－Ｎと、内部記憶部１０４と、特徴マップ統合部１０３とを備える。内部記憶部１０４は、ニューラルネットワークの第ｋ層に対応するＮＮ演算部１０２－ｋが第１の領域について実行した演算処理の結果と、第ｋ層に対応するＮＮ演算部１０２－ｋが第２の領域について実行した演算処理の結果とを、異なるタイミングでそれぞれ格納する。特徴マップ統合部１０３は、ニューラルネットワークの第ｋ＋α層に対応するＮＮ演算部１０２－（ｋ＋α）が第１の領域について実行した演算処理の結果と、第ｋ＋α層に対応するＮＮ演算部１０２－（ｋ＋α）が第２の領域について実行した演算処理の結果とを統合することができる。このようにすれば、演算処理部１０２において入力層と出力層の間に設けられた各中間層のうち、任意の中間層から出力される各領域の演算結果を統合して、ＤＮＮ演算を行うことができる。

（６）特徴マップ統合部１０３により統合された演算処理の結果は、ＤＮＮ演算装置１０の外部に設けられた外部記憶装置１３に格納される。ニューラルネットワークの第ｋ＋α＋１層に対応するＮＮ演算部１０２－（ｋ＋α＋１）には、外部記憶装置１３に格納された演算処理の結果が入力されるようにしてもよい。このようにすれば、統合後の中間データを用いて残りの層の演算処理を実行できるため、ＤＮＮ演算装置１０全体でのＤＮＮ演算を継続することができる。

（７）第ｋ＋α＋１層に対応するＮＮ演算部１０２－（ｋ＋α＋１）は、ストライドが２以上の畳み込み処理またはプーリング処理を実行するものとしてもよい。このようにすれば、内部記憶部１０４に格納する場合は、内部記憶部１０４に対して必要となるメモリ容量を抑えることができるし、また外部記憶装置１３に格納する場合は、ＤＮＮ演算装置１０と外部記憶装置１３の間のデータ転送帯域に対してデータ転送容量を抑えることができる。

（８）ＤＮＮ演算装置１０は、特徴マップ３０を第１の領域および第２の領域を少なくとも含む複数の領域３１～３４に分割する特徴マップ分割部１０１と、ニューラルネットワークの各層に対応して設けられ、領域３１～３４のそれぞれについて演算処理を実行するＮＮ演算部１０２－１～１０２－Ｎと、ＮＮ演算部１０２－１～１０２－Ｎが実行した演算処理の結果を格納する内部記憶部１０４と、ニューラルネットワークの所定の層に対応するＮＮ演算部１０２－ｋが領域３１～３４についてそれぞれ実行した演算処理の結果を統合し、ＤＮＮ演算装置１０の外部に設けられた外部記憶装置１３に格納する特徴マップ統合部１０３と、を備える。特徴マップ分割部１０１による特徴マップ３０の分割数と、特徴マップ統合部１０３が演算処理の結果を統合する前にＮＮ演算部１０２－１～１０２－ｋが演算処理を実行するニューラルネットワークの層数とは、（条件１）内部記憶部１０４の記憶容量と、（条件２）各層のＮＮ演算部による演算処理の合計演算量と、（条件３）ＤＮＮ演算装置１０と外部記憶装置１３の間のデータ転送帯域と、（条件４）各層のＮＮ演算部による演算処理の前後でのデータサイズの変化量と、のいずれか少なくとも一つに基づいて決定される。このようにしたので、特徴マップ分割部１０１における特徴マップの分割数と、中間データを内部記憶部１０４に格納する演算処理部１０２のＮＮ演算部の層数とを、それぞれ適切に決定することができる。

（９）車載制御装置１は、ＤＮＮ演算装置１０と、車両の行動計画を策定する行動計画策定部１５とを備える。ＤＮＮ演算装置１０は、車両の周囲状況に関するセンサ情報を表す特徴マップに基づいてＤＮＮ演算を実行する。行動計画策定部１５は、ＤＮＮ演算装置１０から出力されるＤＮＮ演算の結果に基づいて車両の行動計画を策定する。このようにしたので、ＤＮＮ演算装置１０が行うＤＮＮ演算の結果を利用して、車両の行動計画を適切に策定することができる。

なお、以上説明した実施形態では、車両に搭載される車載制御装置１に含まれるＤＮＮ演算装置１０について、車両の周囲状況に関するセンサ情報に基づいてＤＮＮ演算を実行し、車両の周囲状況の認識を行うものを例として説明したが、本発明はこれに限定されない。複数の層からなるニューラルネットワークによるＤＮＮ演算を実行するものであれば、様々な情報処理装置について本発明を適用可能である。

以上説明した実施形態や各種変形例はあくまで一例であり、発明の特徴が損なわれない限り、本発明はこれらの内容に限定されるものではない。また、各実施形態や各種変形例は、単独で採用してもよいし、任意に組み合わせてもよい。さらに、上記では種々の実施形態や変形例を説明したが、本発明はこれらの内容に限定されるものではない。本発明の技術的思想の範囲内で考えられるその他の態様も本発明の範囲内に含まれる。

１：車載制御装置、２：カメラ、３：ＬｉＤＡＲ、４：レーダ、１０：ＤＮＮ演算装置、１１：センサフュージョン部、１２：特徴マップ格納部、１３：外部記憶装置、１５：行動計画策定部、１０１：特徴マップ分割部、１０２：演算処理部、１０３：特徴マップ統合部、１０４：内部記憶部、１２１：畳み込み処理部、１２２：活性化処理部、１２３：プーリング処理部

Claims (8)

1. 複数の層からなるニューラルネットワークによるＤＮＮ演算を実行する情報処理装置であって、
   前記ニューラルネットワークに入力される特徴マップを、第１の領域と、前記第１の領域とは異なる第２の領域と、を少なくとも含む複数の領域に分割する特徴マップ分割部と、
   前記ニューラルネットワークの各層に対応して設けられ、前記複数の領域のそれぞれについて、当該層に対応する演算処理を実行するＮＮ演算部と、
   前記ＮＮ演算部が実行した前記演算処理の結果を格納する内部記憶部と、
   前記ニューラルネットワークの所定の層に対応する前記ＮＮ演算部が前記複数の領域についてそれぞれ実行した前記演算処理の結果を統合し、前記特徴マップに対する前記演算処理の結果として出力して、前記情報処理装置の外部に設けられた外部記憶装置に格納する特徴マップ統合部と、を備え、
   前記特徴マップ分割部による前記特徴マップの分割数と、前記特徴マップ統合部が前記演算処理の結果を統合する前に前記ＮＮ演算部が前記演算処理を実行する前記ニューラルネットワークの層数とは、
   前記内部記憶部の記憶容量と、
   前記ＮＮ演算部による前記演算処理の合計演算量と、
   前記情報処理装置と前記外部記憶装置の間のデータ転送帯域と、
   前記ＮＮ演算部による前記演算処理の前後でのデータサイズの変化量と、のいずれか少なくとも一つに基づいて決定される情報処理装置。
2. 請求項１に記載の情報処理装置において、
   前記特徴マップ分割部は、前記第１の領域と前記第２の領域とが互いに重複する冗長部をそれぞれ含むように、前記特徴マップを前記第１の領域と前記第２の領域とに分割する情報処理装置。
3. 請求項２に記載の情報処理装置において、
   前記冗長部のサイズは、前記演算処理で用いられるフィルタのサイズおよびストライドに基づいて決定される情報処理装置。
4. 請求項１に記載の情報処理装置において、
   前記内部記憶部は、前記ニューラルネットワークの第ｋ層に対応する前記ＮＮ演算部が前記第１の領域について実行した前記演算処理の結果と、前記第ｋ層に対応する前記ＮＮ演算部が前記第２の領域について実行した前記演算処理の結果とを、異なるタイミングでそれぞれ格納し、
   前記特徴マップ統合部は、前記ニューラルネットワークの第ｋ＋α層に対応する前記ＮＮ演算部が前記第１の領域について実行した前記演算処理の結果と、前記第ｋ＋α層に対応する前記ＮＮ演算部が前記第２の領域について実行した前記演算処理の結果とを統合する情報処理装置。
5. 請求項４に記載の情報処理装置において、
   前記ニューラルネットワークの第ｋ＋α＋１層に対応する前記ＮＮ演算部には、前記外部記憶装置に格納された前記演算処理の結果が入力される情報処理装置。
6. 請求項５に記載の情報処理装置において、
   前記第ｋ＋α＋１層に対応する前記ＮＮ演算部は、ストライドが２以上の畳み込み処理またはプーリング処理を実行する情報処理装置。
7. 複数の層からなるニューラルネットワークによるＤＮＮ演算を実行する情報処理装置であって、
   分割後の各領域が互いに重複する冗長部をそれぞれ含むように、前記ニューラルネットワークに入力される特徴マップを複数の領域に分割する特徴マップ分割部と、
   前記ニューラルネットワークの各層に対応して設けられ、前記複数の領域のそれぞれについて所定の演算処理を実行するＮＮ演算部と、
   前記ＮＮ演算部が実行した前記演算処理の結果を格納する内部記憶部と、
   前記ニューラルネットワークの所定の層に対応する前記ＮＮ演算部が前記複数の領域についてそれぞれ実行した前記演算処理の結果を統合し、前記情報処理装置の外部に設けられた外部記憶装置に格納する特徴マップ統合部と、を備え、
   前記冗長部のサイズは、前記演算処理で用いられるフィルタのサイズおよびストライドに基づいて決定され、
   前記特徴マップ分割部による前記特徴マップの分割数と、前記特徴マップ統合部が前記演算処理の結果を統合する前に前記ＮＮ演算部が前記演算処理を実行する前記ニューラルネットワークの層数とは、
   前記内部記憶部の記憶容量と、
   前記ＮＮ演算部による前記演算処理の合計演算量と、
   前記情報処理装置と前記外部記憶装置の間のデータ転送帯域と、
   前記ＮＮ演算部による前記演算処理の前後でのデータサイズの変化量と、のいずれか少なくとも一つに基づいて決定される情報処理装置。
8. 請求項１から請求項７のいずれか一項に記載の情報処理装置と、
   車両の行動計画を策定する行動計画策定部と、を備え、
   前記情報処理装置は、前記車両の周囲状況に関するセンサ情報に基づいて前記演算処理を実行し、
   前記行動計画策定部は、前記情報処理装置から出力される前記演算処理の結果に基づいて前記車両の行動計画を策定する、車載制御装置。

Images