JP7031511B2 - 信号処理装置、畳み込みニューラルネットワーク、信号処理方法及び信号処理プログラム - Google Patents

Description

本発明は、信号処理装置、畳み込みニューラルネットワーク、信号処理方法及び信号処理プログラムに関する。

今日において、上下左右斜め等の全方位の情報を取得して出力又は記録する装置が知られている。方向を単位ベクトルで表現すれば、このような全方位の情報（信号）は、単位球面上に値を割り当てた信号（単位球面から信号値の集合への写像：球面信号）と見なすことができる。球面信号に対するフィルタ処理は、ノイズ除去及び特徴抽出等の用途の他、畳み込みニューラルネットワークの構成要素等の幅広い用途がある。

しかし、球面信号等に対してフィルタ処理を施す従来の信号処理装置は、近似精度が低いうえ、計算量も多くなる問題があった。

本発明は、上述の課題に鑑みてなされたものであり、少ない計算量及び高い近似精度で球面信号等のフィルタ処理を可能とする信号処理装置、畳み込みニューラルネットワーク、信号処理方法及び信号処理プログラムの提供を目的とする。

上述した課題を解決し、目的を達成するために、本発明は、球面上の点に値が割り当てられた球面信号に対してフィルタ処理を行う信号処理装置であって、球面信号を極座標の１つの軸方向について、球面上の距離を反映して伸縮し、複数の部分信号に分解する軸分解処理を行う軸分解部と、前記部分信号に対してフィルタ処理を行うフィルタ処理部と、フィルタ処理された部分信号を、球面上の距離を反映して伸縮して統合する軸統合処理を行う軸統合部と、を有する。

本発明によれば、少ない計算量で、高い近似精度のフィルタ処理を可能とすることができるという効果を奏する。

図１は、正距円筒形式を説明するための図である。 図２は、第１の実施の形態の信号処理装置の構成図である。 図３は、第１の実施の形態の信号処理装置の信号処理の流れを示すフローチャートである。 図４は、第１の実施の形態の信号処理装置における軸分解処理を説明するための図である。 図５は、軸分解処理、平面フィルタ処理及び軸統合処理の流れを模式的に示した図である。 図６は、第２の実施の形態の信号処理装置における、インテグラルイメージの計算の仕方を説明するための図である。 図７は、第２の実施の形態の信号処理装置における軸分解処理を説明するための図である。 図８は、第２の実施の形態の変形例となる信号処理装置のマルチスケールのフィルタ処理を説明するための図である。 図９は、第３の実施の形態の信号処理装置の構成図である。 図１０は、第３の実施の形態の信号処理装置の信号処理の流れを示すフローチャートである。 図１１は、第３の実施の形態の信号処理装置における、フィルタの垂直分解処理及び水平分解処理を説明するための図である。 図１２は、第３の実施の形態の信号処理装置における、水平フィルタ及び垂直フィルタを用いた信号処理の流れを示す模式図である。 図１３は、フィルタの行列Ｇを、複数の垂直方向フィルタ及び水平方向フィルタに分解した例を示す図である。 図１４は、第４の実施の形態の信号処理装置における、３次の単位球面に対する一連の処理の流れを示す模式図である。 図１５は、第５の実施の形態の信号処理装置の構成図である。

以下、一例ではあるが、全天球画像処理（全天球カメラ装置）、音場処理、気象解析又は天体物理学等の方向性を持った信号の処理及び解析等に用いることが可能な実施の形態の信号処理装置の説明をする。

（第１の実施の形態）
（概要）
上下左右斜め等の全方向の情報（信号）は、各方向を単位ベクトルで表現すると、単位球面上に値を割り当てた信号（単位球面から信号値の集合への写像）と見なすことができる。以下、各方向の信号を「球面信号」という。離散的な球面信号のフィルタ処理は、信号とフィルタのカーネルの畳み込み（或いは相関）演算である。正方格子上の信号値のフィルタ処理であれば、フィルタを１グリッドずつずらして畳み込み演算を行えば良い。しかし、２次以上の球面にそのようなグリッドを構成することは大変困難である。

すなわち、外接する正多面体との接点に信号点を取ることで、球面上に回転不変なグリッドを構成する。しかし、例えば３次元空間の正多面体は２０面体までしか存在しないため、２次球面では３次元回転に不変な２１点以上のグリッドは構成不可能である。このため、球面上でフィルタ処理を行うには、信号値又はフィルタカーネルを補間するか、或いはこれらに代わる近似処理が必要となる。

また、信号値又はフィルタカーネルの補間処理は計算量が多くなる。例えば、信号点数が「Ｎ個」、フィルタサイズが「Ｍ」の場合、最高でＮＭ個の点を補間処理で形成することとなる。これは、信号点数が少ない場合、又は、フィルタサイズが小さい場合以外は、実用的ではないことを意味する。

ここで、特許文献１（特許第５７３４３２７号公報）、特許文献２（特許第６０６７９３４号公報）、非特許文献１（T.C.Cohen,et al.,「Spherical CNNs」.arXiv:1801.10130,2018.）又は非特許文献２（C.Esteves,et al.,「3D object classification and retrieval with Spherical CNNs.」arXiv:1711.06721,2017）に、実用的な計算量の近似演算手法が開示されている。特許文献１、特許文献２、非特許文献１及び非特許文献２には、一般化されたフーリエ変換処理である球面調和関数及びウィグナー関数を用いたスペクトル領域でのフィルタ処理が開示されている。

このフィルタ処理では、信号点を球面上で極力等密度となるように配置したうえで、スペクトル領域で信号値及びフィルタカーネルを近似表現してフィルタ演算（乗算）を行う。しかし、スペクトル領域への信号値の変換は、一般化高速フーリエ変換を用いた場合でも、信号点数Ｎに対して計算量はＯ（Ｎ ｌｏｇ Ｎ）となる。なお、「Ｏ」は、ランダウの漸近記法のオー（又はオミクロン）を示す。空間領域でフィルタ処理を行う場合は、カーネルサイズをＭとしてＯ（ＮＭ）であるため、カーネルサイズが小さい時は計算効率が悪い。また、一度スペクトル領域に変換することから、処理対象の信号値と同程度の量のメモリが必要となる。このようなことから、球面調和関数及びウィグナー関数を用いたスペクトル領域でのフィルタ処理は、信号点数の大きい球面信号のフィルタ処理に適用することは適当ではない。

一方、特許文献３（特開２０１７－２０７９６０号公報）、及び、非特許文献３（W.Boomsma,et al.,「Spherical convolutions and their application in molecular modelling」,Advances in Neural Information Processing Systems,2017.）では、球面信号を平面（正方格子）に射影して、平面上で代替して行うフィルタ処理が開示されている。

この平面上で代替して行うフィルタ処理の場合、平面射影した後は信号点の補間処理は必要ないため、畳み込みニューラルネットワークのように多段的にフィルタ処理を行う場合には計算効率が良い。しかし、球面フィルタ処理の近似精度を高めるために射影平面の数を増やすと計算量が増加する。また、射影平面のオーバーラップ部分での処理結果にアーティファクトが生じる。さらに、射影平面以上に大きいフィルタの適用は困難である。

また、非特許文献４（Y.C.Su,et al.,「Learning spherical convolution for fast features from 360 imagery」,Advances in Neural Information Processing Systems,2017.）には、図１に示すように、球面信号を極座標で等間隔にサンプリングする「正距円筒形式（球の表面を円筒に広げた図法）」に変換し、その上でフィルタ処理を行う方法が開示されている。なお、図１（ａ）及び図１（ｂ）に示す例は、ｚ軸と球の中心Ｏを通る動径ｖがなす角度を第１の角度θ（０≦θ≦πの範囲）、ｚ軸に垂直な平面のｘ軸と、この平面への動径ｖの射影がなす角度を第２の角度－φ（０≦φ＜２π）とし、球の表面の信号点Ｐを、球の表面を円筒に広げた正距円筒に対して投影（信号点Ｐ´）した例である。

正距円筒形式の場合、高緯度となるほど水平方向に画像が拡大されるため、拡大率に合わせてフィルタのカーネルを変形する必要がある。このため、高緯度となるほど、大きいサイズのフィルタ処理を、多くの点の信号に対して行うこととなるため、計算効率が悪い。

このように、上述の球面信号に対するフィルタ処理は、いずれも計算量が大きく、大きなカーネルでのフィルタ処理が困難となり、また、アーティファクトが発生する問題もある。

第１の実施の形態の信号処理装置は、球面フィルタ処理を特定軸方向の平面フィルタ処理に還元する。これにより、少ない計算量で、アーティファクトを発生させることなく、フィルタサイズの制限を受けずに、高い近似精度で球面フィルタ処理を実現している。

（信号処理装置の構成）
図２に、第１の実施の形態の信号処理装置の構成図を示す。この図２に示すように、信号処理装置は、信号処理部１（信号処理装置の一例）及び記憶部２を有している。また、信号処理部１は、信号取得部１１、軸分解部１２、平面フィルタ処理部１３（フィルタ処理部の一例）、軸統合部１４及び出力部１５を有している。記憶部２としては、例えばＲＡＭ（Random Access Memory）又はＲＯＭ（Read Only Memory）等の半導体記憶装置、ＨＤＤ（Hard Disk Drive）、又は、光記憶媒体等を用いることができる。信号取得部１１～出力部１５は、ハードウェア又はソフトウェアで実現できる。ソフトウェアで実現する場合、例えば記憶部２に記憶されている信号処理プログラムを、信号処理部が読み出し、ＲＡＭ等に信号取得部１１～出力部１５を展開して実行する。

なお、信号取得部１１～出力部１５のうち、一部をソフトウェアで実現し、他の部分を、例えばＩＣ（Integrated Circuit）等のハードウェアで実現してもよい。また、信号取得部１１～出力部１５の各処理は、信号処理プログラム単体で実行しても良いし、他のプログラムに一部の処理を実行させてもよい。或いは、信号取得部１１～出力部１５の各処理は、他のプログラムを介して間接的に実行させても良い。

また、信号処理プログラムは、インストール可能な形式または実行可能な形式のファイルでＣＤ－ＲＯＭ、フレキシブルディスク（ＦＤ）などのコンピュータ装置で読み取り可能な記録媒体に記録して提供してもよい。また、ＣＤ－Ｒ、ＤＶＤ（Digital Versatile Disk）、ブルーレイディスク（登録商標）、半導体メモリなどのコンピュータ装置で読み取り可能な記録媒体に記録して提供してもよい。また、インターネット等のネットワーク経由でインストールするかたちで提供してもよいし、機器内のＲＯＭ等に予め組み込んで提供してもよい。

（信号処理動作）
図３は、第１の実施の形態の信号処理装置の信号処理の流れを示すフローチャートである。この図３のフローチャートを用いて、入力された正距円筒形式（図１）の球面信号に対してフィルタ処理を行う例を説明する。まず、ステップＳ１では、信号取得部１１が記憶部２から処理対象の球面信号（図５（ａ））を取得する。この時、球面信号は、図１（ｂ）に示すように、正距円筒形式での正方格子グリッド上の値で表現されているものとする。図１の例は、図１（ａ）に示す球面信号「Ｐ」が、図１（ｂ）に示す正距円筒形式での正方格子グリッド上の値「Ｐ´」で表現された例を示している。

ステップＳ２では、軸分解部１２が、ステップＳ１で取得された球面信号を垂直（θ）方向に伸縮処理及び分解処理（図５（ｂ））する。具体的には、軸分解部１２は、まず、図４（ａ）に示すように球面信号の水平方向の信号点数をＮ_ｗ、フィルタのカーネルの垂直方向のサイズをＭ_ｈとし、球面信号の各行を中心としてＭ_ｈ×Ｎ_ｗのサイズの部分信号を抽出する。そして、軸分解部１２は、図４（ｂ）に示すように、抽出した部分信号を、図１（ａ）に示す座標系のθ（ｚ軸と球の中心Ｏを通る動径ｖがなす第１の角度θ（０≦θ≦πの範囲）））に対して、ｓｉｎθの割合で水平方向を縮小処理する。この縮小処理には、例えば最近傍補間処理、線形補間処理、バイキュービック補間処理等を用いることができる。

これにより、幾何学的な歪みを補正することができる。なお、厳密に言えば、カーネル幅で拡張した部分には、僅かな歪みが存在する。しかし、カーネル幅が小さければ、高い近似精度を得ることができる。また、カーネルが信号からはみ出る場合は、ゼロパディング（ゼロフィル）で対応してもよい。

ステップＳ３では、平面フィルタ処理部１３が、軸分解した部分信号に対して、平面フィルタ処理（図５（ｃ））を施す。これは球面フィルタ処理の近似となっている。なお、部分信号の左右端は、巡回接続していると見なしてフィルタ処理を行うことが望ましい。この処理によって、球面信号の各行に対して、１×Ｎ_ｗのサイズの部分信号が得られる。

ステップＳ４では、軸統合部１４が、平面フィルタ処理された部分信号を伸縮して統合し、元の正距離円筒形式の信号に戻し、縮小比率の逆の１／ｓｉｎθで拡大して統合処理（図５（ｄ））して出力する（図５（ｅ））。

（第１の実施の形態の効果）
第１の実施の形態の信号処理装置は、正距円筒形式の球面信号に対して少ない計算量でフィルタ処理を行うことができる。入力信号形式としては、説明上の便宜上、一例として正距円筒形式を示したが、軸分解処理及び軸統合処理の際に、極座標を反映すれば良いので任意の球面信号の表現形式を用いてもよい。

また、垂直方向に入力信号を軸分解処理する際に、図１（ａ）に示した極座標θに応じてリサイズすることで、球面上の距離を反映させることができる。このため、カーネルを変形処理することなく、一様にフィルタ処理を行うことができる。カーネルの変形処理を不用とすることができるため、非特許文献４（Y.C.Su,et al.,「Learning spherical convolution for fast features from 360 imagery」,Advances in Neural Information Processing Systems,2017.）のように、実際よりも大きなサイズでのフィルタ処理を不要とすることができ、計算量を削減することができる。

なお、カーネルの変形処理の代わりにリサイズ処理が必要となるが、線形補間処理で行えば、１行あたり高々Ｎ_ｗＭ_ｈｓｉｎθ回ずつの加算と除算で実現できるため、総合的に少ない計算量とすることができる。

また、特許文献１（特許第５７３４３２７号公報）、特許文献２（特許第６０６７９３４号公報）、非特許文献１（T.C.Cohen,et al.,「Spherical CNNs.」arXiv:1801.10130,2018.）及び非特許文献２（C.Esteves,et al.,「3D object classification and retrieval with Spherical CNNs.」arXiv:1711.06721,2017.）で開示されている一般化されたフーリエ変換を使う方式では、信号点数Ｎ、カーネルサイズＭに対して計算量はＯ（Ｎ ｌｏｇ Ｎ）となる。

これに対して、第１の実施の形態の信号処理装置の場合、信号点数Ｎ、カーネルサイズＭに対して計算量はＯ（ＮＭ）であり、カーネルが小さい時にフーリエ変換処理を行う方式よりも計算量を削減することができる。

また、特許文献３（特開２０１７－２０７９６０号公報）又は非特許文献３（W.Boomsma,et al.,「Spherical convolutions and their application in molecular modelling」,Advances in Neural Information Processing Systems,2017.）のような平面射影を行う方式に対しては、計算量の優劣は平面の分割数及び分割した平面のオーバーラップ率に依存する。しかし、第１の実施の形態の信号処理装置は、平面射影のオーバーラップ部分でのアーティファクトが発生する不都合を防止でき、また、射影した平面以上のサイズのフィルタ処理が困難となる不都合を防止できる。

このような効果をまとめると、第１の実施の形態の信号処理装置は、球面フィルタ処理を、少ない計算量で、アーティファクトの発生なく、フィルタサイズの制限なく、高い近似精度で実現することができる。

（第２の実施の形態）
次に、第２の実施の形態の信号処理装置の説明をする。この第２の実施の形態の信号処理装置は、球面信号に対してフィルタ処理を行う際に、インテグラルイメージを内包し、大きいサイズのフィルタに対しても計算量の削減を可能とした例である。なお、この第２の実施の形態と上述の第１の実施の形態とでは、図２に示した軸分解部１２における、図３のフローチャートのステップＳ２の軸分解処理が異なる。このため、以下、両者の差異の説明のみ行い、重複説明は省略する。

この第２の実施の形態の信号処理装置の場合、図３のフローチャートのステップＳ２となると、軸分解部１２が、ステップＳ１で取得した球面信号を垂直（θ）方向に伸縮し、分解する。この際、軸分解部１２は、まず、処理対象の正距円筒形式の球面信号に対して、非特許文献５（P.Viola and M.Jones,「Rapid object detection using a boosted cascade of simple features」,in IEEE Computer Society Conference on Computer Vision and Pattern Recognition, 2001,vol.1.）にも開示されているインテグラルイメージを作成する。このインテグラルイメージを用いる手法は、図６に示す正方格子上の信号に対して、原点（０，０）から位置（ｉ，ｊ）までの累積和をメモリに格納し、その値を用いて任意のボックスフィルタを高速に実現する手法である。

具体的には、軸分解部１２は、非負整数座標（ｉ，ｊ）の信号値をｆ（ｉ，ｊ）として、以下の（１）式に示す漸化式を計算してインテグラルイメージＦを求める。

なお、（１）式のインテグラルイメージＦのいずれかの引数が負になる場合、インテグラルイメージＦの値は「０」とする。このように計算されたインテグラルイメージＦ（ｉ，ｊ）には原点（０，０）から位置（ｉ，ｊ）までの信号値ｆ（ｉ，ｊ）の和が記録される。従って、図６に示す位置（ｉ１，ｊ１）及び位置（ｉ０，ｊ０）に囲まれた矩形領域の信号値ｆの和を求めるには、以下の（２）式の右辺を計算すれば良い。

インテグラルイメージＦの算出に必要となる計算回数は、（１）式に基づいてＮ個の信号点に対して行う加算の演算が３Ｎ回と、（２）式に基づいて行う、特定の矩形領域の信号値の和の加減算の演算が３回となる。この演算は信号値の和を求める矩形領域の面積に依存性が無いため、特に、大きい領域の信号値の和を求める際に計算効率が良い。

軸分解部１２は、ステップＳ２において、このようなインテグラルイメージＦを、正距円筒形式の球面信号に対して作成する。そして、軸分解部１２は、インテグラルイメージＦを用いて、垂直（θ）方向への伸縮処理及び分解処理を行う。座標θの行では、その行を中心にフィルタのカーネルの垂直方向のサイズＭ_ｈ個の行を対象とする。対象行をそれぞれ１／ｓｉｎθに比例する水平幅（四捨五入等で整数値に丸める）で分解し、分解領域内において信号点の和を算出する。

図７（ａ）及び図７（ｂ）に示す例は、座標θｉの行を中心としたフィルタのカーネルの垂直方向のサイズＭ_ｈ個の対象行を、それぞれＮ_ｗ／ｓｉｎθ_ｉに比例する水平幅（四捨五入等で整数値に丸める）で分解し、分解領域内において信号点の和を算出した例である。

同様に、図７（ｃ）及び図７（ｄ）に示す例は、座標θ_ｉ＋１の行を中心としたフィルタのカーネルの垂直方向のサイズＭ_ｈ個の対象行を、それぞれＮ_ｗ／ｓｉｎθ_ｉ＋１に比例する水平幅（四捨五入等で整数値に丸める）で分解し、分解領域内において信号点の和を算出した例である。

水平分解幅は、１／ｓｉｎθに依存するため、θの値が変わると、図７（ｂ）及び図７（ｄ）を見比べて分かるように、分解幅が変わる。インテグラルイメージを用いることで、分解幅に依存することなく、一定の計算量で和を計算できるため、計算量を削減することができる。このように球面信号を軸分解した後は、上述の第１の実施の形態と同様のフィルタ処理が行われる。

なお、上述の例では、信号値の和を取る矩形の高さは１であるから、実際には垂直方向にインテグラルイメージを作成する必要はない。行毎に水平方向の１次元のインテグラルイメージ（ライン）を作成すればよい。すなわち、位置（ｉ，ｊ）の信号値をｆ（ｉ，ｊ）として、以下の漸化式（（３）式）を計算してインテグラルイメージＦを求める。

また、位置（ｉ，ｊ１）、位置（ｉ，ｊ０）に囲まれた領域の信号値ｆの和を求めるには、以下の（４）式の右辺を計算すれば良い。

なお、信号の垂直解像度に対して低い解像度でフィルタ処理を行う場合は、上述の（１）式の形式で水平及び垂直の２次元のインテグラルイメージを用いて、フィルタの解像度に合わせて軸分解信号を生成してもよい。このような手法を用いることで、空間的に広いフィルタ処理も、少ない計算量で可能とすることができる。

（第２の実施の形態の効果）
第２の実施の形態の信号処理装置は、正距円筒形式の球面信号に対して少ない計算量でフィルタ処理を行うことができる。特に、インテグラルイメージを用いて軸分解を行う際の計算量を削減することができ、また、大きいカーネルサイズのフィルタ処理も少ない計算量で可能とすることができる。

（第２の実施の形態の第１の変形例）
次に、第２の実施の形態の第１の変形例を説明する。インテグラルイメージとしては、以下の（５）式の漸化式で生成されるインテグラルイメージを用いることもできる。

このとき、αのべき乗列に対する畳み込みを、以下の（６）式の右辺の計算で実現できる（特許文献４（特開２０１６－１０３０８９号公報）参照）。

ここで、α＝ｅｘｐ（√－１ω）とすると、角周波数ωの信号との畳み込みが可能となる。なお、位相は、更にαを乗算処理することで調整可能である。または、インテグラルイメージＦを二次元ベクトル、αを実コンパニオン行列として、以下の（７）式及び（８）式の演算を行っても、角周波数ωのカーネルとの畳み込みが可能である。

この方式において、Ｆ（ｉ，ｊ）の第二要素は、Ｆ（ｉ，ｊ－１）の第一要素と等しくなることから、Ｆに複素数を用いる前者の方式よりもメモリ使用量を半減できる。このようなべき乗型のインテグラルイメージを使えば、単純に信号値の和を取るボックスフィルタではなく、三角関数型のフィルタ係数を実現できる。例えば、軸分解で和を取る矩形の中心に三角関数の極大値が来るようにフィルタ係数を設計すれば、ガウシアンフィルタのような重みつきの平滑化効果を生むことができる。

なお、垂直方向座標θに応じて水平方向拡大率が変わることから、上述のωを１／ｓｉｎθに比例させることが望ましい。また、特許文献４（特開２０１６－１０３０８９号公報）のようにシンク関数（ｓｉｎｃ関数）を複数の三角関数の和で近似し、複数のべき乗型のインテグラルイメージを用いてｓｉｎｃ関数に基づくリサイジングを実現することができる。以上のようなべき乗型のインテグラルイメージに基づく軸分解を用いれば、精度の高いリサイジングを高速に実現でき、結果として高精度のフィルタ処理を少ない計算量で実現することができる。

（第２の実施の形態の第２の変形例）
インテグラルイメージを用いることで、マルチスケールのフィルタ処理を高速化することができる。例えば、画像信号において、カメラの近くで撮影された物体と遠くで撮影された物体は、大きさが違うが相似形である等のように、信号の中にスケールの異なる相似形の信号が含まれていることがある。そのような信号に対して、マルチスケールのフィルタ処理を施す応用が存在する。

例えば、図８（ａ）に示すように、縦×横が３×３のフィルタ係数のフィルタを、複数のスケールで適用することを考える。図８（ｂ）～図８（ｄ）及び図８（ｅ）～図８（ｇ）に示すように、正距円筒形式上で異なる解像度で軸分解により3行を取り出す際、ひとつのインテグラルイメージから上述の手法で計算を行えば、計算量を低減することができる。この例では、フィルタ係数はスケール間で共有したが、スケールに応じてフィルタ係数を変更してもよい。

（第３の実施の形態）
次に、第３の実施の形態の信号処理装置の説明をする。この第３の実施の形態の信号処理装置は、入力された球面信号に対して、フィルタのカーネルを水平及び垂直方向に分解して、フィルタ処理を施す例である（フィルタのカーネル分解）。

図９は、第３の実施の形態の信号処理装置の構成図である。第３の実施の形態の信号処理装置の場合、図２と見比べてわかるように、平面フィルタ処理部１３の代りに、軸統合部１４の前段に水平フィルタ処理部２１を有すると共に、軸統合部１４の後段に垂直フィルタ処理部２２を有する。

また、図１０は、第３の実施の形態の信号処理装置の信号処理の流れを示すフローチャートである。第３の実施の形態の信号処理装置の場合、図３と見比べて分かるように、ステップＳ３の平面フィルタ処理の代りに、ステップＳ４の軸統合処理の前処理として、ステップＳ１１の水平フィルタ処理を有する。また、ステップＳ３の平面フィルタ処理の代りに、ステップＳ４の軸統合処理の後処理として、ステップＳ１２の垂直フィルタ処理を有する。

なお、上述の第１の実施の形態と第３の実施の形態とでは、この点のみが異なる。このため、以下、両者の差異の説明のみ行い、重複説明は省略する。

図１０のフローチャートにおいて、ステップＳ２では、軸分解部１２が入力信号を水平方向に分解することとしたが、第３の実施の形態の軸分解部１２は、入力信号を、垂直方向のカーネルサイズＭ_ｈ＝１として分解する。

次に、ステップＳ１１において、水平フィルタ処理部２１が、上述のように分解された部分信号に、水平方向のフィルタ（カーネルサイズが１×Ｍ_ｗ）を適用する。フィルタのカーネルは、例えば二次元のＭ_ｈ×Ｍ_ｗ行列Ｇで与えられているとき、以下の（９）式に示すフロベニウスノルムの二乗を最小化するように求めた垂直方向フィルタｈ（Ｍ_ｈ次元ベクトル）及び水平方向フィルタｗ（Ｍ_ｗ次元ベクトル）に、事前に分解しておく。

（９）式に示すフロベニウスノルムの二乗を最小化する垂直方向フィルタｈ及び水平方向フィルタｗは、それぞれＧＧ^ＴとＧ^ＴＧの最大固有値αの固有ベクトルｅ_ｈ，ｅ_ｗの定数倍として得られる。比例定数は、ＧＧ^ＴとＧ^ＴＧの最大固有λの平方根であり、垂直方向フィルタｈ及び水平方向フィルタｗをそれぞれ何倍にするかの不定性がある。一例ではあるが、「ｈ＝λ^１／４ｅ_ｈ，ｗ＝λ^１／４ｅ_ｗ」とすることができる。

図１１（ａ）及び図１１（ｂ）に、３×３のフィルタの２つの分解例を示す。図１１（ａ）に示す例は、水平方向にそれぞれ３つずつ並べられたフィルタ係数「－１、－２、－１」、「０、０、０」及び「１、２、１」を垂直方向に積層するかたちで形成された３×３の行列Ｇのフィルタを、上述の（９）式に基づいて垂直方向フィルタｈ及び水平方向フィルタｗに分解した例である。この例の場合、垂直方向フィルタｈは、「－１．３１６１、０、１．３１６１」として算出され、水平方向フィルタｗ^Ｔは、「０．７５９８、１．５１９７、０．７５９８」として算出された例である。なお、この場合の分解誤差は、「０．０」である。

図１１（ｂ）に示す例は、水平方向にそれぞれ３つずつ並べられたフィルタ係数「１、２、０」、「－１、４、１」及び「１、３、１」を垂直方向に積層するかたちで形成された３×３の行列Ｇのフィルタを、上述の（９）式に基づいて垂直方向フィルタｈ及び水平方向フィルタｗに分解した例である。この例の場合、垂直方向フィルタｈは、「０．８３９６、１．７３５１、１．３５２４」として算出され、水平方向フィルタｗ^Ｔは、「０．０８２４、２．２８６４、０．５５６９」として算出された例である。なお、この場合の分解誤差は、「３．２５９１」である。

図９のフローチャートのステップＳ１１では、水平フィルタ処理部２１が、このようにして得られた水平方向フィルタｗを部分信号に適用する。

次に、図９のフローチャートのステップＳ１２では、垂直フィルタ処理部２２が、軸統合処理された信号に、垂直方向フィルタｈを適用する。なお、正距円筒形式の垂直方向には幾何学的な歪みはないため、部分信号の軸統合処理後に垂直方向フィルタｈをそのまま適用しても誤差は発生しない。

図１２は、第３の実施の形態の信号処理装置の信号処理の流れを模式的に示す図である。この図１２に示すように、まず、軸分解部１２が、正距円筒形式の入力信号（球面信号：図１２（ａ））を、垂直（θ）方向に伸縮処理及び分解処理する（図１２（ｂ））。水平フィルタ処理部２１は、分解処理された部分信号に水平方向フィルタｗを適用して水平フィルタ処理を行う。

軸統合部１４は、水平フィルタ処理された部分信号を伸縮して統合し、元の正距離円筒形式の信号に戻すことで、統合信号を形成する。垂直フィルタ処理部２２は、統合信号に垂直方向フィルタｈを適用して垂直フィルタ処理（図１２（ｈ））を施して出力する（図１２（ｇ））。

（第３の実施の形態の効果）
このような第３の実施の形態の信号処理装置は、フィルタのカーネルを水平方向及び垂直方向に１次元分解して用いる。これにより、図１０のフローチャートのステップＳ２における軸分解処理を、１次元の信号への分解処理とすることができ、計算量の低減を図ることができる。また、フィルタのカーネルを水平方向及び垂直方向に１次元分解して用いることで、部分信号に幾何学的な歪みが発生する不都合を防止できる。

また、（９）式を用いて説明したように、フロベニウスノルムの二乗を最小化するように、フィルタの行列Ｇを垂直方向フィルタｈ及び水平方向フィルタｗに分解することで、二次元フィルタの近似誤差を極力低減することができる。なお、カーネル分解の基準は、（９）式以外であっても、Ｌ１ノルム（各次元の値の絶対値の和）を使ってロバスト化するなど、一般的な誤差関数を用いてもよい。

また、画像信号におけるＲＧＢ（赤緑青）のように、複数のチャンネルを持つ信号に対するフィルタ処理については、「水平方向とチャンネル方向を合わせて一軸」、「垂直方向を一軸」、「水平方向を一軸」、又は「チャンネル方向と垂直方向を合わせて一軸」として、フィルタカーネルの行列Ｇを構成し、上述と同様の方法で軸分解を行えば良い。

また、図１３に示すようにフィルタの行列Ｇを、複数の垂直方向フィルタ及び水平方向フィルタに分解してもよい。この場合、ＧＧ^Ｔ及びＧ^ＴＧの固有値を大きい順に所定個数取得し、その固有ベクトルをフィルタ係数とすれば良い。この図１３の例は、フィルタの行列Ｇを、ＲＧＢ（赤緑青）の各画像信号に対応させて垂直方向フィルタｈ_１，ｈ_２，ｈ_３、及び、水平方向フィルタｗ_１ ^Ｔ，ｗ_２ ^Ｔ，ｗ_３ ^Ｔに分解した例である。この例の場合、ｈ_１ｗ_１ ^Ｔ＋ｈ_２ｗ_２ ^Ｔの分解誤差は０．２７２３であるが、ｈ_１ｗ_１ ^Ｔ＋ｈ_２ｗ_２ ^Ｔ＋ｈ_３ｗ_３ ^Ｔとすることで、分解誤差を０．０とすることができる。

このようにフィルタの行列Ｇを、複数の垂直方向フィルタ及び水平方向フィルタに分解することで、複数のチャンネルの信号に対するフィルタ処理を可能とすることができ、また、フィルタの分解誤差も低減することができる。

（第３の実施の形態の効果）
このように第３の実施の形態の信号処理装置は、フィルタを１次元分解することで、部分信号を１次元信号とすることができる。また、幾何学的な歪みの発生を防止でき、また、計算回数を低減できるため、高い近似精度で高速な球面フィルタ処理を可能とすることができる。特に、フィルタサイズが大きいほど、このような効果が顕著となる。

（第４の実施の形態）
次に、第４の実施の形態の信号処理装置の説明をする。第１～第３の実施の形態の信号処理装置は、２次球面上の球面信号の信号処理を行う例であった。これに対して、第４の実施の形態の信号処理装置は、入力されたp次の球面信号に対して、フィルタ処理を施す例である。

ｐ次単位球面Ｓ^ｐとは、以下の（１０）式で示されるｐ＋１次元のユークリッド空間における単位球面である。

ｐ次球面信号ｆは、ｐ次単位球面Ｓ^ｐから信号値の集合Ｙへの写像である。集合Ｙは、多くの場合、実数或いは複素数の集合である。第４の実施の形態の信号処理装置では、離散的な球面信号である、ｐ次単位球面Ｓ^ｐ上の有限個の点に対して割り当てられている信号値に基づく信号処理を行う。球面信号の表現形式としては、一例として、Ｓ^２の正距円筒形式をＳ^ｐに拡張した形式を用いる。そのために、まず、Ｓ^ｐ上の点ｘをｐ個の角度変数θｉ｛ｉ＝１，２，・・・，ｐ｝を用いて、Ｓ^ｐ上の点の極座標表示を以下の（１１）式のように表現する。

ただし、θ_ｉ∈［０ ２π］（ｉ＜ｐ）、θ_ｐ∈［０ π］である。この角度変数θ_ｉを等間隔に分解し、p次元の正方格子上の信号とする。この球面信号の形式をｐ次単位球面Ｓ^ｐの正距円筒形式と呼ぶことにする。

ここで、（１１）式をθ_ｉで偏微分してＬ２ノルム（各次元の値を２乗した和）を取ると、以下の（１２）式のようになる。

これは、正距円筒形式において、θ_ｉ方向では、長さが上式の比率で変化することを示している。

第３の実施の形態の信号処理装置における、p次球面信号に対する処理例を説明する。第３の実施の形態の信号処理装置の構成としては、図２に示した第１の実施の形態の信号処理装置と同様であるが、軸分解部１２、平面フィルタ処理部１３及び軸統合部１４が異なる動作を示す。

すなわち、軸分解部１２は、ｐ次単位球面Ｓ^ｐの正距円筒形式のｐ個の軸に沿ってp次球面信号を分解する。まず、軸分解部１２は、θ_ｐの方向でp次球面信号を分解する。そして分解したp次球面信号を、｜ｓｉｎθ_ｐ｜の比率で縮小する。次に、軸分解部１２は、θ_ｐ－１の方向でp次球面信号を分解し、分解した信号を、｜ｓｉｎθ_ｐ－１｜の比率で縮小する。軸分解部１２は、このように軸を順次選択して分解し、これをθ_２軸の分解まで繰り返す。この分解により、上述の（１２）式の球面上と正距円筒形式での長さの比率（＝幾何学的な歪み）を補正できる。

なお、信号の分解は、θ_ｉ軸であれば、θ_ｉ軸方向のフィルタのカーネルサイズの幅を持たせて分解する。カーネルサイズが１でなければ重複領域が存在し、その領域で僅かな歪みが発生するが、カーネル幅が小さければ高い近似精度を得ることができる。

次に、平面フィルタ処理部１３は、上述のように分解された部分信号に対してp次元のカーネルのフィルタを適用する。軸統合部１４は、軸分解部１２とは逆の処理で、θ_ｉ軸に対して信号を統合して｜１／ｓｉｎθ_ｉ｜倍に拡大する処理を、元のp次元まで繰り返す。

（３次単位球面の処理例）
図１４は、３次（ｐ＝３）の単位球面に対する一連の処理の流れを示す模式図である。軸分解部１２は、図１４（ａ）に示す３次単位球面Ｓ^３の正距円筒形式の３個の軸θ_１～θ_３に沿って３次球面信号を分解する。まず、軸分解部１２は、θ_３の方向で３次球面信号を分解する。そして、軸分解部１２は、分解した３次球面信号を、図１４（ｂ）に示すように｜ｓｉｎθ_３｜の比率で縮小する。

次に、軸分解部１２は、図１４（ｃ）に示すようにθ_２方向（＝θ_３－１方向）で３次球面信号を分解し、分解した信号を、｜ｓｉｎθ_２｜の比率で縮小する。軸分解部１２は、このように軸を順次選択して分解し、これをθ_２軸の分解まで繰り返す。上述のように、この分解処理により、（１２）式の球面上と正距円筒形式での長さの比率（＝幾何学的な歪み）を補正できる。

次に、図１４（ｄ）に示すように平面フィルタ処理部１３は、上述のように分解された部分信号に対して３次元のカーネルのフィルタを適用してフィルタ処理を行う。軸統合部１４は、軸分解部１２とは逆の処理で、図１４（ｅ）に示すように、θ_２軸に対して信号を統合して｜１／ｓｉｎθ_２｜倍に拡大する処理を、元の３次元まで繰り返す（θ_３方向で｜１／ｓｉｎθ_３｜の比率で拡大及び統合）。

（第４の実施の形態の効果）
このような第４の実施の形態の信号処理装置は、ｐ次の球面信号のフィルタ処理を少ない計算量、及び、高い近似精度で実現することができる。なお、上述の第１の実施の形態に基づいて、この第４の実施の形態を行ったが、第２の実施の形態で説明したインテグラルイメージ処理も単位球面Ｓ^ｐに適用可能である。第２の実施の形態で説明したインテグラルイメージ処理を単位球面Ｓ^ｐに適用する場合、ｐ次元のインテグラルイメージへの拡張が必要となる。これは（１）式の代わりに、以下の漸化式である（１３）式に基づいてインテグラルイメージを作成すれば良い。

また、第３の実施の形態で説明したフィルタ分解処理も単位球面Ｓ^ｐに適用可能である。第３の実施の形態で説明したフィルタ分解処理も単位球面Ｓ^ｐに適用する場合、例えば、ｐ階テンソルのＣＰ分解アルゴリズム等を用いて、ｐ次元のフィルタをｐ個の１次元フィルタに分解する。そして、最終的に分解された信号に対して、θ_ｉ方向のフィルタ処理を行い、その後、θ_ｉ軸に統合する度にθ_ｉ方向の１次元フィルタを適用する。

（第５の実施の形態）
次に、第５の実施の形態の信号処理装置の説明をする。この第５の実施の形態の信号処理装置は、入力された正距円筒形式の球面信号に対する多段階の球面フィルタ処理を、畳み込みニューラルネットワークの畳み込み層として用いる例である。

（第５の実施の形態の構成）
図１５に、第５の実施の形態の信号処理部１の構成図を示す。この図１５に示すように、第５の実施の形態の信号処理部１は、上述の信号取得部１１と共に、球面フィルタ部３１、活性化関数適用部３２、出力部３３及び学習部３４を有する。

信号取得部１１は、記憶部２等から処理対象となる球面信号を取得する。球面フィルタ部３１は、第１の実施の形態～第４の実施の形態で説明した、いずれかの球面フィルタ処理を行う。活性化関数適用部３２は、球面フィルタ部３１の処理結果に活性化関数を適用する。活性化関数としては、例えばシグモイド関数、双曲線関数、ＲｅＬＵ（Rectified Linear Unit：ランプ関数）等、ニューラルネットワークで一般的に用いられる活性化関数を用いることができる。

球面フィルタ処理と活性化関数の適用は特定回数繰り返す。これにより、単体の球面フィルタ処理では実現困難な非線形の変換処理を行うことができる。なお、例えばプーリング層又は正規化層等のように、一般的にニューラルネットワークで用いられる層を追加してもよい。

出力部３３は、ニューラルネットワークで処理された信号を出力する。学習部３４は、入力信号と出力信号の複数の組に対して特定の損失関数を最小化するように、ニューラルネットワークのパラメータを調整する。このパラメータには、球面フィルタのフィルタ係数が含まれており、例えば確率的勾配降下法等の、一般的なニューラルネットワークの学習法を用いて値を求めることができる。

（第５の実施の形態の効果）
このように、第５の実施の形態の信号処理装置は、球面フィルタ処理を用いた球面信号用のニューラルネットワークを実現することができる。

（実施の形態の効果のまとめ）
上述の各実施の形態の効果を、以下に示す。

まず、極座標の１つの軸方向について、球面上の距離を反映して伸縮し、複数の部分信号に分解する軸分解し、フィルタ処理を行う。これにより、球面信号に対するフィルタ処理を、少ない計算量、かつ、高い近似精度で実現できる。また、フィルタサイズの制限を受けることなく演算を行うことがき、また、アーティファクトの発生も抑制することができる。

また、分解する方向に対して対応するフィルタのカーネルの幅を持たせて分解することで、処理の簡略性を保ったまま、球面上のフィルタ処理を高い近似精度で実現することができる。

また、インテグラルイメージを用いて球面上の距離を反映した伸縮を行うことで、伸縮処理の高速化を行うことができる。

また、フィルタのカーネルを極座標の各軸方向に沿って１次元分解し、軸統合処理の後に、統合した軸方向の１次元フィルタを適用する。これにより、部分信号のメモリ使用量ｗを低減できる。また、局所的な信号の幾何変形の影響をフィルタ処理が受けなくなるため、少ない計算量で近似精度の高い球面フィルタ処理を行うことができる。

また、ｐ次元の球面信号に対して軸分解ステップと軸統合ステップをｐ－１回ずつ順次繰り返すことで、ｐ次元の球面信号に対するフィルタ処理を少ない計算量かつ高い近似精度で実現することができる。

また、球面信号フィルタ処理を、畳み込みニューラルネットワークの畳み込み層として用いることで、球面信号を入力とする畳み込みニューラルネットワークを少ない計算量かつ高い近似精度で実現することができる。

最後に、上述の各実施の形態は、一例として提示したものであり、本発明の範囲を限定することは意図していない。これら新規な実施の形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことも可能である。また、各実施の形態及び各実施の形態の変形は、発明の範囲や要旨に含まれると共に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。

例えば、本発明は、情報処理技術分野における通常の知識を有した技術者であれば、ＡＳＩＣ（Application Specific Integrated Circuits）や、従来の回路モジュールを接続して構成した装置によって実施することが可能である。

また、上述の各実施の形態に記載された各機能は、それぞれ一又は複数の処理回路（Circuit）によって実現することが可能である。なお、「処理回路」とは、ソフトウェアによって各機能を実行するようプログラムされたプロセッサ、各機能を実行するよう設計されたＡＳＩＣ、及び、回路モジュール等のハードウェアを含むものである。

１ 信号処理装置
２ 記憶部
１１ 信号取得部
１２ 軸分解部
１３ 平面フィルタ処理部
１４ 軸統合部
１５ 出力部
２１ 水平フィルタ処理部
２２ 垂直フィルタ処理部
３１ 球面フィルタ部
３２ 活性化関数適用部
３３ 出力部
３４ 学習部

特許第５７３４３２７号公報 特許第６０６７９３４号公報 特開２０１７－２０７９６０号公報 特開２０１６－１０３０８９号公報

T.C.Cohen,et al.,「Spherical CNNs.」arXiv:1801.10130,2018. C.Esteves,et al.,「3D object classification and retrieval with Spherical CNNs.」arXiv:1711.06721,2017. W.Boomsma,et al.,「Spherical convolutions and their application in molecular modelling」,Advances in Neural Information Processing Systems,2017. Y.C.Su,et al.,「Learning spherical convolution for fast features from 360 imagery」,Advances in Neural Information Processing Systems,2017. P.Viola and M.Jones,「Rapid object detection using a boosted cascade of simple features」,in IEEE Computer Society Conference on Computer Vision and Pattern Recognition,2001,vol.1.

Claims (8)

1. 球面上の点に値が割り当てられた球面信号に対してフィルタ処理を行う信号処理装置であって、
   球面信号を極座標の１つの軸方向について、球面上の距離を反映して伸縮し、複数の部分信号に分解する軸分解処理を行う軸分解部と、
   前記部分信号に対してフィルタ処理を行うフィルタ処理部と、
   フィルタ処理された前記部分信号を、球面上の距離を反映して伸縮して統合する軸統合処理を行う軸統合部と、
   を有することを特徴とする信号処理装置。
2. 前記軸分解部は、分解する方向に対して対応するフィルタのカーネルの幅を持たせて分解すること
   を特徴とする請求項１に記載の信号処理装置。
3. 前記軸分解部は、インテグラルイメージを用いて球面上の距離を反映した伸縮を行うこと
   を特徴とする請求項１に記載の信号処理装置。
4. フィルタのカーネルを極座標の各軸方向に沿って１次元分解し、前記軸統合部の後段に、統合した軸方向の１次元フィルタを適用する１次元フィルタ処理部を更に備えること
   を特徴とする請求項１に記載の信号処理装置。
5. 前記軸分解部、前記フィルタ処理部及び前記軸統合部は、ｐ次元（ｐは任意の自然数）の超球面上の点に値の割り当てられた球面信号に対して、前記軸分解処理、前記フィルタ処理及び前記軸統合処理をｐ－１回ずつ順次繰り返すこと
   を特徴とする請求項１から請求項４のうち、いずれか一項に記載の信号処理装置。
6. 請求項１から請求項５のうち、いずれか一項に記載の信号処理装置を畳み込み層として用いたこと
   を特徴とする畳み込みニューラルネットワーク。
7. 球面上の点に値が割り当てられた球面信号に対してフィルタ処理を行う信号処理装置の信号処理方法であって、
   軸分解部が、球面信号を極座標の１つの軸方向について、球面上の距離を反映して伸縮し、複数の部分信号に分解する軸分解処理を行う軸分解ステップと、
   フィルタ処理部が、前記部分信号に対してフィルタ処理を行うフィルタ処理ステップと、
   軸統合部が、フィルタ処理された前記部分信号を、球面上の距離を反映して伸縮して統合する軸統合処理を行う軸統合ステップと、
   を有することを特徴とする信号処理方法。
8. コンピュータに、球面上の点に値が割り当てられた球面信号に対してフィルタ処理を行わせるための信号処理プログラムであって、
   前記コンピュータを、
   球面信号を極座標の１つの軸方向について、球面上の距離を反映して伸縮し、複数の部分信号に分解する軸分解処理を行う軸分解部と、
   前記部分信号に対してフィルタ処理を行うフィルタ処理部と、
   フィルタ処理された前記部分信号を、球面上の距離を反映して伸縮して統合する軸統合処理を行う軸統合部として機能させること、
   を特徴とする信号処理プログラム。

Images