JP7316130B2

JP7316130B2 - 画像処理装置、画像処理装置の制御方法、プログラム

Info

Publication number: JP7316130B2
Application number: JP2019131395A
Authority: JP
Inventors: 政博有泉; ソクイチン
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2019-07-16
Filing date: 2019-07-16
Publication date: 2023-07-27
Anticipated expiration: 2039-07-16
Also published as: JP2021015569A; US20210019917A1; US11514614B2

Description

本発明は、画像処理装置、画像処理装置の制御方法、プログラムに関する。

近年、深層学習の進歩により、画像認識の精度が上がった。畳み込みニューラルネットワーク（Convolutional Neural Network：ＣＮＮ）は深層学習に用いられる手法として知られている。ＣＮＮの中に複数のレイヤがカスケードに接続されている。各レイヤの中に複数枚の特徴画像があり、学習したフィルタ係数と特徴画像の画素を用いてフィルタ処理の結果を計算する。フィルタ処理は積和演算であり、複数の乗算と累積加算を含んでいる。

レイヤの中の特徴画像（Ｏ（．））は前レイヤの中の特徴画像（Ｉ（．））と前レイヤに対応するフィルタ係数を用いて計算する。レイヤの中の1枚の特徴画像を計算するためには、前レイヤの中の複数枚の特徴画像の情報が必要である。畳み込み演算の計算式は以下の通りである。

前レイヤの中の特徴画像がＭ枚あり、第ｍ枚目の特徴画像はＩ（ｍ）である。フィルタ係数（Ｃ_１，１（ｍ，ｎ）～Ｃ_Ｘ，Ｙ（ｍ，ｎ））がＸ×Ｙ個あり、特徴画像によって異なる。レイヤ２の出力画素Ｏｉ，ｊ（ｎ）を算出するための積和演算回数はＭ×Ｘ×Ｙである。畳み込み演算をした後に、出力画素Ｏｉ，ｊ（ｎ）を用いて活性化処理やプーリング等の処理を行う。ＣＮＮは積和演算の回数が多いため、携帯端末や車載機器等の組み込みシステムに適用した場合、効率的なデータ処理装置が求められている。特許文献１では、ＣＮＮの各レイヤの積和演算を共通の演算器で処理する構成が提案されている。

画像認識の精度を上げるため、ＣＮＮネットワークの中間レイヤの特徴画像を利用する手法が提案されている。非特許文献１と非特許文献２では、各レイヤの特徴画像を用いて、サイドアウトプット（Ｓｉｄｅ－Ｏｕｔｐｕｔ）レイヤを生成する。サイドアウトプットレイヤの中の特徴画像はレイヤによってサイズが異なることが多いため、特徴画像をサンプリングすることにより、特徴画像のサイズを出力結果に合わせる。

ＣＮＮは各レイヤの中に多数の特徴画像が存在し、この特徴画像を格納するための大きなメモリが必要となる。携帯端末や車載機器等の組み込みシステムに適用する場合、メモリサイズの削減が求められる。

特開２０１６－９９７０７号公報

Saining Xie, Zhuowen Tu, "Holistically-Nested Edge Detection," in Proceedings of ICCV 2015. Hariharan B, Arbelaez P, Girshick R, Malik J.,"Object Instance Segmentation and Fine-Grained Localization Using Hypercolumns，" IEEE Transactions on Pattern Analysis and Machine Intelligence (Volume: 39,Issue: 4, April 1 2017)

特許文献１に記載の手法を従来のＣＮＮに適用した場合、共通の並列演算器を使用することにより、処理装置のコストを抑え、高速に処理することができる。ただし、複数の特徴画像を計算するためには、特徴画像をメモリに保存しておき、同じ特徴画像を何度も並列演算器に入力する必要がある。

また、非特許文献１及び２に記載のサイドアウト型のネットワークを適用しようとした場合、各レイヤの特徴画像とサイドアウトレイヤの特徴画像のサイズが異なる。よって、各レイヤの特徴画像サイズをサイドアウトレイヤの特徴画像サイズに合わせるようにサイズ変換を行う必要がある。また、サイズ変換後の特徴画像をメモリに保存しておき、並列演算器に複数回入力する場合、サイズ変換後の最大サイズの特徴画像を保存するメモリが必要となる。また、サイズ変換前の特徴画像をメモリに保存しておき、サイズ変換しながら並列演算器に複数回入力する場合、変換前の最大サイズの特徴画像を保存する必要がある。

更に、サイドアウト型ネットワークでは、サイズの拡大縮小のどちらもが発生し得る。したがって、サイズ変換前の特徴画像を保存する場合は縮小する前の最大サイズの特徴画像を、サイズ変換後の特徴画像を保存する場合は拡大した後の最大サイズの特徴画像を保存するための大きなメモリが必要になる。

そこで本発明は、画像サイズの変換を伴う画像処理において、画像を格納するためのメモリサイズの削減を可能とする技術を提供する。

上記課題を解決するための発明は、画像処理装置であって、
入力された画像の画像サイズを判定し、前記判定した画像サイズが第１のサイズより大きい場合には、当該入力された画像を第１のサイズに縮小処理をしてから第１のメモリに記憶するよう制御し、前記判定した画像サイズが前記第１のサイズ以下の場合には、当該入力された画像を前記縮小処理をせずに第１のメモリに記憶するよう制御する制御手段と、
前記第１のメモリに記憶された画像が前記第１のサイズより小さい場合には、拡大処理をしてから画像処理をし、前記第１のメモリに記憶された画像が前記第１のサイズの場合には、前記拡大処理をせずに前記画像処理をする第１の処理手段を有することを特徴とする。

本発明によれば、画像サイズの変換を伴う画像処理において、画像を格納するためのメモリサイズを削減できる。

実施形態に対応するデータ処理装置１００の構成の一例を示すブロック図。実施形態に対応するデータ処理部１０５の機能構成の一例を示すブロック図。実施形態に対応する画像処理の流れを説明するための図。実施形態に対応する処理の一例を示すフローチャート。実施形態に対応する処理対象レイヤの構造の一例を示す図。他の実施形態に対応するデータ処理部１０５の機能構成の一例を示す図。他の実施形態に対応する処理の一例を示すフローチャート。他の実施形態における処理順序を説明するための図。

以下、添付図面を参照して実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

［実施形態１］
以下では図面を参照しながら本発明の実施形態について詳細に説明する。

＜データ処理装置の構成例＞
図１は、実施形態に対応するデータ処理装置１００の一構成例を示すブロック図である。以下では、データ処理装置１００として入力画像を処理する画像処理装置について説明するが、処理対象は画像に限らず、音声であってもよいし、その他の任意のセンサにより取得されたデータであってもよい。

入力部１０１は、ユーザーからの指示や、データを入力する装置で、キーボード、マウス、ポインタ装置、ボタン等を含む。データ保存部１０２は画像データを保存し、例えば、ハードディスク、フレキシブルディスク、ＣＤ－ＲＯＭ、ＣＤ－ＲやＤＶＤ、メモリーカード、ＣＦカード、スマートメディア、ＳＤカード、メモリスティック、ｘＤピクチャーカード、ＵＳＢメモリ等で構成される。データ保存部１０２には画像データの他にも、プログラムやその他のデータを保存することも可能である。あるいは、後述するＲＡＭ１０８の一部をデータ保存部１０２として用いても良い。また、後述する通信部１０３により接続した外部機器の記憶装置を、通信部１０３を介して利用するように仮想的に構成しても良い。

通信部１０３は、機器間通信用のインタフェース（Ｉ／Ｆ）である。なお、図１では入力部１０１、データ保存部１０２、表示部１０４が全て１つの装置内に含まれるように示しているが、これらの部分が公知の通信方式による通信路で接続されて構成されてもよい。表示部１０４は、画像処理前、画像処理後の画像を表示、あるいはＧＵＩ等の画像を表示する。表示部１０４は、ＣＲＴや液晶ディスプレイ等で構成され、ケーブル等で接続された外部装置のディスプレイ装置を利用してもよい。更に、公知のタッチスクリーン装置のように、表示部１０４と入力部１０１が同一装置であっても良い。その場合には、タッチスクリーンによる入力を入力部１０１の入力として扱う。

データ処理部１０５は、後述する図４のフローチャートに従い、ＲＡＭ１０８に保存された画像処理の結果を用い、後述のデータ処理（Ｓ３０１－Ｓ３２６）を実施し、データ処理された結果をデータ保存部１０２（またはＲＡＭ１０８）に出力する。データ処理された結果に基づき、ＣＰＵ１０６が動画像（複数フレーム）についての画像処理または画像認識を行う。ＣＰＵ１０６により処理された画像処理または画像認識の結果は、ＲＡＭ１０８に保存される。データ処理部１０５は、例えば、専用ロジック回路やメモリを用いてハードウェア的に構成されてもよい。或いは、メモリに記憶されている処理プログラムをＣＰＵ等のコンピュータが実行することにより、ソフトウェア的に構成されてもよい。

ＣＰＵ１０６は本装置全体の動作を制御する制御部として機能する。ＲＯＭ１０７とＲＡＭ１０８は、ＣＰＵ１０６が実行する処理に必要なプログラム、データ、作業領域などをＣＰＵ１０６に提供する。後述する処理に必要なプログラムがデータ保存部１０２に格納されている場合や、ＲＯＭ１０７に格納されている場合、一旦ＲＡＭ１０８に書き込んでから実行する。また通信部１０３を経由してプログラムを受信する場合、データ保存部１０２に一旦記録した後にＲＡＭ１０８に書き込むか、通信部１０３からＲＡＭ１０８に直接に書き込んでから実行される。

画像処理部１０９は、ＣＰＵ１０６からのコマンドを受け、データ保存部１０２に書き込まれた画像データを読み出して画素値のレンジ調整を行い、その結果を再びＲＡＭ１０８に書き込む。

図１においては、ＣＰＵが１つ（ＣＰＵ１０６）だけである構成だが、これを複数設けるような構成にしても良い。また、データ処理部１０５をＣＰＵで構成しても良い。装置のシステム構成については、上記以外にも様々な構成要素が存在するが、本発明の主眼ではないのでその説明は省略する。

次に、図２を参照してデータ処理部１０５の機能構成を説明する。図２は、実施形態に対応するデータ処理部１０５の機能構成の一例を示す図である。データ処理部１０５は、第１のメモリ２０１、第１の積和演算部２０２、分岐処理部２０３、サンプリング処理部２０４、第２のメモリ２０５、第２の積和演算部２０６、サンプリングデータ制御部２０７、第３のメモリ２０８を有するように構成される。

第１のメモリ２０１は第１種類のデータ（画像）を保存するためのメモリであり、第２のメモリ２０５は第２種類のデータ（画像）を保存するためのメモリである。第１の積和演算部２０２は第１種類のデータに基づいて第１の積和演算結果を計算し、第２の積和演算部２０６は第１種類のデータと第２種類のデータに基づいて第２の積和演算結果を計算する。分岐処理部２０３は第１の積和演算結果をコピーし、２つに分けて出力する。サンプリング処理部２０４は第１の積和演算結果をサンプリングし、サンプリング結果を出力する。サンプリングデータ転送部２０７はサンプリング処理部２０４のサンプリング倍率に応じて第１の積和演算結果とサンプリング結果のデータ転送を制御する。第３のメモリは第１の積和演算結果またはサンプリング結果の一方を保存するためのメモリである。また、各処理部を制御するための図示しないデータ処理部１０５の全体制御部があり、各処理部は全体制御部のコマンドに基づいて動作する。

次に、図３を参照して処理対象ネットワークの構造について説明する。図３は、処理対象ネットワークの構造の例を示す図である。ネットワーク構造は、積和演算の計算量、特徴画像のサイズ、枚数、ビット数等の情報を含んでいる。図３（Ａ）は、一般的なサイドアウトネットワークの構造の一例を示す。ここでのレイヤ数は４（レイヤ０－３）であり、それぞれのレイヤ中に複数枚の特徴画像がある。

まず、レイヤ０－３の計算について説明する。レイヤ０では、特徴画像３０１とフィルタ係数を用いて積和演算を行い、レイヤ１の特徴画像３０２を生成する。特徴画像３０１は入力画像である。レイヤ１では、特徴画像３０２とフィルタ係数を用いて積和演算をし、レイヤ２の特徴画像３０３を生成する。レイヤ２では、特徴画像３０３とフィルタ係数を用いて積和演算をし、レイヤ３の特徴画像３０４を生成する。

ここで、サイドアウトレイヤの計算について説明する。サイドアウトレイヤでは、レイヤ１－３の特徴画像３０２－３０４をサンプリングし、出力結果３０８と同じサイズのサイドアウトレイヤの特徴画像３０５－３０７を生成し、メモリに保存する。その後に、サイドアウトレイヤの特徴画像３０５－３０７とフィルタ係数を用いて積和演算をし、出力結果３０８を計算する。

図３（Ｂ）は本実施形態に対応するデータ処理装置１００で処理する場合のサイドアウトネットワークの構造の一例を示す。図３（Ｂ）に示す構造においても、図３（Ａ）のサイドアウトネットワークと同等レベルの結果が得られる。

レイヤ０－３の計算について説明する。レイヤ０では、特徴画像３０１とフィルタ係数を用いて第１の積和演算部２０２が第１の積和演算をし、レイヤ１の特徴画像３０２を生成する。特徴画像３０１は入力画像である。レイヤ１では、特徴画像３０２とフィルタ係数を用いて第１の積和演算部２０２が第１の積和演算をし、レイヤ２の特徴画像３０３を生成する。特徴画像３０２をサンプリング処理部２０４がサンプリングし、出力結果３０８と同じサイズの特徴画像３０５を生成する。特徴画像３０５とフィルタ係数を用いて第２の積和演算部２０６が第２の積和演算をし、出力結果３０８を計算するための中間結果３０９を生成する。中間結果３０９は、レイヤ２の特徴画像として扱われ、第２のメモリ２０５に保存される。

レイヤ２では、特徴画像３０３とフィルタ係数を用いて第１の積和演算部２０２が第１の積和演算をし、レイヤ３の特徴画像３０４を生成する。特徴画像３０３をサンプリング処理部２０４がサンプリングし、出力結果３０８と同じサイズの特徴画像３０６を生成する。特徴画像３０６とフィルタ係数を用いて第２の積和演算部２０６が第２の積和演算をし、中間結果３０９に基づいて出力結果３０８を計算するための中間結果３１０を生成する。中間結果３１０は、レイヤ３の特徴画像として扱われ、第２のメモリ２０５に保存される。

レイヤ３では、特徴画像３０４をサンプリングし、出力結果３０８と同じサイズの特徴画像３０７を生成する。特徴画像３０７とフィルタ係数を用いて第２の積和演算部２０６が第２の積和演算をし、中間結果３１０に基づいて出力結果３０８を生成する。

このように中間結果３０９、３１０を計算することによって、出力結果３０８の計算を分割している。サイドアウトレイヤの特徴画像３０５、３０６は、中間結果３０９、３１０を計算した後にそれぞれ破棄することができ、一般的なサイドアウトネットワークを処理する場合よりもメモリコストが小さいので組み込みシステムでの実装に向いている。

本実施形態では、積和演算と並列に動作するサンプリングの処理機構を設けており、異なるレイヤのデータを並列に処理することができる。図３（Ｂ）の例では、最初にレイヤ１の特徴画像３０２とレイヤ２の中間結果３０９を並列に計算する。次にレイヤ２の特徴画像３０３とレイヤ３の中間結果３１０を並列に計算する。最後にレイヤ３の特徴画像３０４と出力結果３０８を並列に計算する。

本実施形態では、第２の積和演算部２０６によって、中間結果３０９を部分的に順次計算する。そのため、中間結果３０９を計算するためにはサンプリングした特徴画像３０５を複数回転送する必要がある。中間結果３１０、出力画像３０８の計算においても同様である。サンプリングした特徴画像を複数回転送する必要があるため、なんらかの形で特徴画像を保存しておく必要がある。本実施形態では、サンプリング倍率に応じて、サンプリング前、サンプリング後のどちらの特徴画像をメモリに保存するか切り替えることで、メモリコストを削減する。

次に、図４を参照して、データ処理装置１００が実行するデータ処理の流れを説明する。図４は、実施形態に対応するデータ処理の一例を示すフローチャートである。当該フローチャートに対応する処理はデータ処理部１０５により実行される。以下では、図２に示したデータ処理部１０５の構成と、図５に示した３つのレイヤ（レイヤ１－レイヤ３）で構成したネットワークの例に基づき、図４のフローチャートの各ステップにおける処理を説明する。

まず、Ｓ４０１では、データ処理部１０５内の全体制御部は第１種類のデータ（特徴画像）と第２種類のデータ（中間結果）の初期値をそれぞれ第１のメモリ２０１と第２のメモリ２０５とに保存する。図５の例では、第１種類のデータの解像度が１２０×１２０であり、第２種類のデータの解像度が６０×６０である。ＲＡＭ１０８に保存した画像データを初期値として使用しても良い。続くＳ４０２では、全体制御部はレイヤのループを開始し、最初のレイヤを処理する。続くＳ４０３では、全体制御部は第１のメモリ２０１から第１種類のデータを読み出し、第１の積和演算部２０２に入力する。続くＳ４０４では、第１種類のデータとフィルタ係数を用いて、第１の積和演算結果を第１の積和演算部２０２で計算し、分岐処理部２０３で１つの第１の積和演算結果を２つにコピーして出力する。続くＳ４０５では、全体制御部は分岐処理部２０３でコピーした第１の積和演算結果を第１種類のデータとして第１のメモリ２０１に保存する。

続くＳ４０６では、サンプリングデータ制御部２０７はサンプリング処理部２０４のサンプリング倍率を判定し、サンプリング倍率に応じて処理を分岐する。サンプリング倍率は、第１の積和演算結果、或いは、第１種類のデータの第１のサイズと、第２の種類のデータの第２のサイズとの関係で定まる。第１のサイズは、レイヤに応じて１２０×１２０、６０×６０、３０×３０のいずれかとなる一方、第２のサイズは６０×６０で一定である。レイヤ１は第１種類のデータサイズが１２０×１２０であるため、第２のサイズに変換するためのサンプリング倍率は０．５となる。レイヤ２は第１種類のデータサイズが６０×６０であるため、サンプリング倍率は１．０となる。レイヤ３は第１種類のデータサイズが３０×３０であるため、第２のサイズに変換するためのサンプリング倍率は２．０となる。

サンプリング倍率が１．０未満、すなわちダウンサンプリングである場合はＳ４０７―Ｓ４１４の処理を行う。サンプリング倍率が１．０未満の場合はサンプリングによってサイズが縮小されるため、サンプリング後のデータを第３のメモリ２０８に保存する。サンプリング倍率が１．０以上の場合、すなわちアップサンプリングである場合はＳ４１５－Ｓ４２２の処理を行う。サンプリング倍率が１．０以上の場合はサンプリングによって画像サイズが拡大されるか、あるいは同じサイズが維持されるため、サンプリング前のデータを第３のメモリ２０８に保存する。

本実施形態では、第１種類のデータのサイズが第２のサイズ以下の場合に、サンプリング倍率は１．０以上となり第１の積和演算結果はそのまま第３のメモリ２０８に記憶される。また、第１種類のデータのサイズが第２のサイズより大きい場合、サンプリング倍率は１．０未満となり第１の積和演算結果は第２のサイズに縮小されて第３のメモリ２０８に記憶されることになる。

このようにサンプリング倍率に応じて第３のメモリ２０８に保存するデータを変更することで、第３のメモリ２０８の容量を削減することができる。サンプリング前、あるいはサンプリング後、どちらか一方のデータを保存する場合、サンプリング前後の最大データサイズである１２０×１２０のデータを格納する必要がある。しかし、本実施形態では、サンプリング倍率に応じて、サンプリング前後で小さい方のデータを選択して保存するため、第３のメモリ２０８のメモリサイズは６０×６０のデータを格納するだけの容量で良い。

本実施形態では、レイヤ１はサンプリング倍率は０．５となり、Ｓ４０７－Ｓ４１４の処理を行う。レイヤ２はサンプリング倍率は１．０となり、Ｓ４１５－Ｓ４２２の処理を行う。レイヤ３はサンプリング倍率は２．０となり、Ｓ４１５－Ｓ４２２の処理を行う。

本実施形態の第２の積和演算部２０６では、サンプリングした特徴画像１枚の入力に対して中間結果（出力結果）１枚分の積和演算を並列に行う。図５のレイヤ１を処理する場合、特徴画像の１枚を第２の積和演算部に２回入力することになる。レイヤ２、レイヤ３においても同じ特徴画像を２回ずつ入力することになる。したがって、後述する第２の積和演算ループ、Ｓ４０９―Ｓ４１４、Ｓ４１６－Ｓ４２２では、レイヤ１、レイヤ２、レイヤ３いずれも２回ループすることになる。

次に、サンプリング処理部２０４のサンプリング倍率が１．０未満、すなわちダウンサンプリング（画像サイズの縮小）である場合のＳ４０７－Ｓ４１４の処理について説明する。まず、Ｓ４０７では、サンプリングデータ制御部２０７は分岐処理部２０３の出力である第１の積和演算結果をサンプリング処理部２０４に入力してダウンサンプリングする。Ｓ４０８では、サンプリングデータ制御部２０７はサンプリング処理部２０４でダウンサンプリングしたデータを第３のメモリ２０８に保存する。続くＳ４０９では、全体制御部およびサンプリングデータ制御部２０７は第２の積和演算ループを開始する。続くＳ４１０では、サンプリングデータ制御部２０７は第３のメモリ２０８からダウンサンプリングした後の第１の積和演算結果を読み出し、第２の積和演算部２０６に入力する。続くＳ４１１では、全体制御部は第２のメモリ２０５から第２種類のデータを読み出し、第２の積和演算部２０６に入力する。

続くＳ４１２では、第２の積和演算部２０６で第２の積和演算結果を計算する。ここでは、ダウンサンプリングした後の第１の積和演算結果とフィルタ係数とを用いて計算した積和演算結果と、第２種類のデータとの和を計算する。続くＳ４１３では、全体制御部は第２の積和演算結果を第２種類のデータとして第２のメモリ２０５に保存する。続くＳ４１４では、全体制御部およびサンプリングデータ制御部２０７は第２の積和演算ループの終了判定を行う。現ループにおけるレイヤの、第２の積和演算が全て終了した場合、第２の積和演算を終了する。そうでない場合、Ｓ４１０に戻り、第２の積和演算を継続する。

次に、サンプリング処理部２０４のサンプリング倍率が１．０以上、すなわちアップサンプリング（画像サイズの拡大）である場合のＳ４１５－Ｓ４２２の処理について説明する。まず、Ｓ４１５では、サンプリングデータ制御部２０７は分岐処理部２０３の出力である第１の積和演算結果を第３のメモリ２０８に保存する。続くＳ４１６は、全体制御部およびサンプリングデータ制御部２０７は第２の積和演算ループを開始する。続くＳ４１７では、サンプリングデータ制御部２０７は第３のメモリ２０８から第１の積和演算結果を読み出し、サンプリング処理部２０４に入力する。

続くＳ４１８では、サンプリング処理部２０４は第１の積和演算結果をアップサンプリングし、サンプリングデータ制御部２０７はアップサンプリングしたデータを第２の積和演算部２０６に入力する。続くＳ４１９では、全体制御部は第２のメモリ２０５から第２種類のデータを読み出し、第２の積和演算部２０６に入力する。続くＳ４２０では、第２の積和演算部２０６で第２の積和演算結果を計算する。第２の積和演算結果は、アップサンプリングした後の第１の積和演算結果とフィルタ係数を用いて計算した積和演算結果と、第２種類のデータとの和である。続くＳ４２１では、全体制御部は第２の積和演算結果を第２種類のデータとして第２のメモリ２０５に保存する。続くＳ４２２では、全体制御部およびサンプリングデータ制御部２０７は第２の積和演算ループの終了判定を行う。現ループにおけるレイヤの、第２の積和演算が全て完了した場合、第２の積和演算を終了する。そうでない場合、Ｓ４１７に戻り、第２の積和演算を継続する。

以上により、第２の積和演算が終了すると、処理はＳ４２３に進む。Ｓ４２３では、全体制御部は第１種類のデータを第１のメモリ２０１から、第２種類のデータを第２のメモリ２０５からそれぞれ読み出し、ＲＡＭ１０８に保存する。続くＳ４２４では、ＣＰＵ１０６は、ＲＡＭ１０８から第１種類のデータと第２種類のデータを読み出し、活性化処理とプーリング処理との後処理を行う。続くＳ４２５では、ＣＰＵ１０６は活性化処理及びプーリング処理の後処理結果をデータ処理部１０５に転送し、データ処理部１０５の全体制御部は第１と第２種類のデータの処理結果をそれぞれ第１のメモリ２０１と第２のメモリ２０５に保存する。Ｓ４２６では、全体制御部はレイヤのループの終了判定をする。処理レイヤが最後のレイヤになった場合、データ並列処理を終了する。そうでない場合、Ｓ４０３に戻り、次のレイヤの処理を開始する。

次に、サンプリング処理部２０４における処理について説明する。本実施形態では式２に基づいてアップサンプリングを行う。
Ａ_i,j ＝B_[i/r],[j/r] ・・・（式２）

サンプリング前の特徴画像をＢ、サンプリング後の特徴画像をＡとする。Ｂ_i,jはサンプリング前の特徴画像の水平位置ｉ、垂直位置ｊの画素値を示す。Ａ_i,jはサンプリング後の特徴画像の水平位置ｉ、垂直位置ｊの画素値を示す。ｒはサンプリング倍率を示す整数であり、アップサンプリング時はｒ＞＝１．０である。[x]はxの小数点以下の値を切り捨てた整数値を示す。式２によれば、サンプリング後の特徴画像は、サンプリング前の特徴画像の画素を水平・垂直方向にｒ×ｒ回繰り返した特徴画像となる。

本実施形態では式３に基づいてダウンサンプリングを行う。
Ａ_i,j ＝B_r'i+k,r'j+l ・・・（式３）
ここで、ｋ、ｌはサンプリング位置の水平・垂直方向のオフセットを示す。ｒ'はサンプリング倍率の逆数を示す整数であり、ｒ'＝（１／ｒ）で計算される。式３によれば、サンプリング後の特徴画像は、サンプリング前の特徴画像の位置（ｋ，ｌ）を始点として間隔ｒ'で水平・垂直方向にサンプリングした特徴画像となる。

式２、式３に基づくサンプリング処理方法の場合、サンプリング処理のためにメモリを使用する必要は無く、サンプリング前の特徴画像、またはサンプリング後の特徴画像を保存する第３のメモリだけで良い。

以上のように、本実施形態によれば、各レイヤにおいて繰り返し行われる第２の積和演算処理のためにデータを記憶するメモリにつき、メモリコストを削減が可能となる。

［実施形態２］
上記の実施形態１ではダウンサンプリング時に補間処理を行うことなく単純にサンプリングする例を示したが、サンプリング時に補間処理を行っても良い。そこで本実施形態ではダウンサンプリング時に水平方向に平均値補間を施す例を示す。本実施形態では下記の式４に基づいてダウンサンプリングを行う。ダウンサンプリング以外の処理、および構成は実施例１と同様である。

式４によれば、サンプリング後の特徴画像は、サンプリング前の特徴画像に対して水平方向にタップ数ｒ'の平均値補間を施し、垂直位置ｌを始点として垂直方向に間隔ｒ'でサンプリングした特徴画像となる。サンプリング処理部への入力がラスタ順である場合、本実施形態のように水平方向の平均値補間を伴うダウンサンプリングを行ったとしても、入力されるデータの累積加算を取れば良いので、サンプリング処理自体にメモリを使う必要は無い。

よって、本実施形態においては、実施形態１におけるメモリコスト削減の効果を維持しつつ、ダウンサンプリングにおいて補間処理を行うことで処理精度を高めることができる。

［実施形態３］
実施形態２ではダウンサンプリング処理において水平方向に平均値補間する例を示したが、本実施形態では水平・垂直方向に平均値補間を施すダウンサンプリング処理を用いた例を示す。データ処理装置１００の構成は実施形態１と同一であるので記載を省略する。

図６は、本実施形態に対応するデータ処理部１０５の構成例を示す。本実施形態では、ダウンサンプリング処理時に垂直方向に平均値補間を施すため、ダウンサンプリング後の水平方向サイズ×補間タップ数ｒ'のサイズの第4のメモリ６０１を使用する。図５に示すレイヤ１，２，３を処理する場合、幅６０の特徴画像を、補間タップ数２のライン数だけ持てば良いので、第４のメモリのサイズは６０×２＝１２０となる。その他の構成は図２に示したものと同様であるので、対応するブロックには同一の参照番号を付している。

図７を参照して、本実施形態におけるデータ処理装置１００におけるダウンサンプリング処理の流れを説明する。当該処理は、実施形態１の図４のフローチャートにおけるＳ４０７とＳ４０８を、Ｓ７０１からＳ７０８で置き換えたものとして実施することができる。

まず、Ｓ７０１において、サンプリングデータ制御部２０７は第１の積和演算結果のサンプリングのラインのループを開始する。続くＳ７０２では、サンプリングデータ制御部２０７は第１の積和演算結果をサンプリング処理部２０４に入力し、サンプリング処理部２０４は第１の積和演算結果を水平方向に平均値補間してサンプリングする。続くＳ７０３では、サンプリングデータ制御部２０７は水平方向の平均値補間結果を第４のメモリ６０１に保存する。第４のメモリ６０１にｒ'ライン分の平均値補間結果が保存されている場合、最も古いラインのデータを上書きする。

続くＳ７０４では、サンプリングデータ制御部２０７は第４のメモリにｒ'ライン分のデータが格納されているかどうかを判定する。ｒ'ライン分のデータが格納されている場合は、後述するＳ７０５－Ｓ７０７を実行する。ｒ'ライン分のデータが格納されていない場合は、Ｓ７０８を実行する。Ｓ７０５では、サンプリングデータ制御部２０７は水平方向の平均補間結果ｒ'ライン分を第４のメモリから読み出し、サンプリング処理部２０４に入力する。続くＳ７０６では、サンプリング処理部２０４は水平方向にサンプリングされたデータを、垂直方向に平均値補間してサンプリングする。続くＳ７０７では、サンプリングデータ制御部２０７は水平・垂直方向に平均値補間しサンプリングしたデータを、第３のメモリ２０８に保存する。続くＳ７０８では、サンプリングデータ制御部２０７は全てのラインのサンプリングの終了判定を行う。終了していた場合は、第１の積和演算結果をサンプリングし第３のメモリ２０８に保存する処理を終了する。そうでない場合は、Ｓ７０２に戻り処理を継続する。

Ｓ７０２では、式５に基づいて水平方向のダウンサンプリングを行う。Ａ'は水平方向にサンプリングした特徴画像を示している。

Ｓ７０６では、式６に基づいて垂直方向のダウンサンプリングを行う。

式５、式６によれば、サンプリング後の特徴画像は、サンプリング前の特徴画像をｒ'×ｒ'画素ずつ平均した特徴画像となる。

本実施形態では水平方向にダウンサンプリングしたデータを第４のメモリ６０１に保存したが、第３のメモリに保存しても良い。第４のメモリの代わりに第３のメモリを使用する場合、データ処理部１０５の構成は実施形態１、実施形態２と同様に図２で示した構成となる。このとき、第３のメモリのサイズは、実施形態１で示した第３のメモリのサイズに、本実施形態の第４のメモリのサイズを加えたものとなる。

上述の実施形態では、アップサンプリング時のサンプリング倍率ｒを整数、ダウンサンプリング時のサンプリング倍率の逆数ｒ'を整数としていたが、整数倍率のサンプリングに限られるものではない。下記の式7のように任意の正数倍率ｒでサンプリングすることも可能である。式７によれば、サンプリング後の特徴画像は、サンプリング前の特徴画像を正数倍率ｒで最近傍補間した特徴画像となる。
Ａ_i,j ＝B_{[i/r+0.5],[j/r+0.5]} ・・・（式７）
また、上述の実施形態において、サンプリング方法は限定されるものではない。ダウンサンプリング・アップサンプリング処理時にバイリニア補間、バイキュービック補間、Ｌａｎｃｚｏｓ補間など、種々の補間処理を施しても良い。

以上の本実施形態においては、実施形態１におけるメモリコスト削減の効果を維持しつつ、ダウンサンプリングにおいて水平、垂直方向に平均値補間処理を行うことで処理精度を更に高めることができる。

また、上述の実施形態では各レイヤの特徴画像全体を一度に処理する例を示したが、特徴画像を分割して処理しても良い。図５のネットワークを処理する際に、各レイヤの特徴画像を３０×３０を１つの処理単位として分割し、図８に示す部分特徴画像８０１～８２１の順番に処理することも可能である。図８の処理順序によれば、部分特徴画像８０５を計算した後は、部分特徴画像８０１～８０４を保持する必要が無いため、特徴画像を保存するメモリサイズを、特徴画像全体を一度に処理する場合よりも少なくすることができる。

発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。

（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１０１：入力部、１０２：データ保存部、１０３：通信部、１０４：表示部、１０５：データ処理部、１０６：CPU、１０７：ROM、１０８：RAM、１０９：画像処理部

Claims

画像処理装置であって、
入力された画像の画像サイズを判定し、前記判定した画像サイズが第１のサイズより大きい場合には、当該入力された画像を第１のサイズに縮小処理をしてから第１のメモリに記憶するよう制御し、前記判定した画像サイズが前記第１のサイズ以下の場合には、当該入力された画像を前記縮小処理をせずに第１のメモリに記憶するよう制御する制御手段と、
前記第１のメモリに記憶された画像が前記第１のサイズより小さい場合には、拡大処理をしてから画像処理をし、前記第１のメモリに記憶された画像が前記第１のサイズの場合には、前記拡大処理をせずに前記画像処理をする第１の処理手段を有することを特徴とする画像処理装置。
前記第１の処理手段は、前記第１のメモリに記憶された画像と、第２のメモリに記憶された画像とを処理して、処理結果を前記第２のメモリに記憶し、
前記第２のメモリに記憶された画像は、前記第１のサイズを有することを特徴とする請求項１に記載の画像処理装置。
前記第１の処理手段は、前記第１のメモリに記憶された画像に対する処理を、前記第１のメモリから該画像を繰り返し読み出して行うことを特徴とする請求項２に記載の画像処理装置。
第３のメモリに記憶された画像を処理する第２の処理手段を更に備え、
前記入力された画像は、第２の処理手段により処理された画像であることを特徴とする請求項２または３に記載の画像処理装置。
前記第２の処理手段は処理結果を前記第３のメモリに記憶し、
前記画像処理装置は、
前記第２のメモリに記憶された前記第１の処理手段の処理結果と、前記第３のメモリに記憶された前記第２の処理手段の処理結果とに対し、活性化処理及びプーリング処理を行う後処理手段を更に備え、
前記後処理手段によるそれぞれの後処理結果が、前記第２のメモリ及び前記第３のメモリのうちの対応するメモリに記憶され、
前記第２の処理手段は、前記第３のメモリに記憶された後処理結果を処理し、
前記制御手段は、前記第２の処理手段により処理された前記後処理結果を前記入力された画像とする、ことを特徴とする請求項４に記載の画像処理装置。
前記第１の処理手段、及び、前記第２の処理手段は、積和演算を実行することを特徴とする請求項５に記載の画像処理装置。
前記積和演算は、畳み込みニューラルネットワークの畳み込み演算であることを特徴とする請求項６に記載の画像処理装置。
画像サイズを変換する変換手段を更に備え、
前記制御手段は、
前記入力された画像の前記画像サイズが前記第１のサイズより大きい場合に、前記変換手段に前記入力された画像を前記第１のサイズに縮小させ、
前記第１のメモリに記憶された画像が前記第１のサイズより小さい場合、前記第１のメモリに記憶された画像を前記第１のサイズに拡大させて、前記第１の処理手段に提供する
ことを特徴とする、請求項１から７のいずれか１項に記載の画像処理装置。
前記変換手段は、ダウンサンプリングにより前記画像サイズを縮小することを特徴とする請求項８に記載の画像処理装置。
前記変換手段は、水平方向の補間処理を伴うダウンサンプリングにより前記画像サイズを縮小することを特徴とする請求項９に記載の画像処理装置。
前記変換手段は、水平方向及び垂直方向の平均値補間処理を伴うダウンサンプリングにより画像サイズを縮小することを特徴とする請求項９に記載の画像処理装置。
画像処理装置の制御方法であって、
制御手段が、入力された画像の画像サイズを判定し、前記判定した画像サイズが第１のサイズより大きい場合は、当該入力された画像を第１のサイズに縮小処理をしてから第１のメモリに記憶するよう制御し、前記判定した画像サイズが前記第１のサイズ以下の場合には、当該入力された画像を前記縮小処理をせずに第１のメモリに記憶するよう制御する制御工程と、
第１の処理手段が、前記第１のメモリに記憶された画像が前記第１のサイズより小さい場合には、拡大処理をしてから画像処理をし、前記第１のメモリに記憶された画像が前記第１のサイズの場合には、前記拡大処理をせずに前記画像処理をする第１の処理工程と、
を含むことを特徴とする画像処理装置の制御方法。
コンピュータを請求項１から１１のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。