JPWO2019021369A1 - データ解析装置 - Google Patents

Abstract

データ解析部（１１−１）〜（１１−Ｎ）のそれぞれから出力される解析結果をグループ分けする解析結果分類部（１２）を設け、統合解析部（１３）が、解析結果分類部（１２）により同一のグループに分けられた１つ以上の解析結果を入力して、１つ以上の解析結果を再解析するグループ単位の複数の第１ニューラルネットワークと、複数の第１ニューラルネットワークのそれぞれの出力である再解析結果を入力して、複数の再解析結果を再解析する第２ニューラルネットワークとを有する。

Description

この発明は、データを解析するデータ解析装置に関するものである。

監視カメラにより撮影された映像の監視は、幅広く実用化されており、社会における安全安心の実現に大きく貢献している。
近年では、人が映像を見ることによって監視するだけでなく、映像を解析することで、不審物又は不審者を検知してアラートを出力する機能、あるいは、映像を解析することで、ある特定の事象が起きていることを検知し、検知した事象の記録を行う機能を備えるデータ解析装置が開発されている。

以下の特許文献１には、カメラから出力された撮影データを解析して、撮影データの解析結果を得るデータ解析装置が開示されている。
このデータ解析装置は、互いに異なるカメラから出力された撮影データが示す映像を解析して、映像内に存在している物体を検出する複数の検出部と、複数の検出部の検出結果を統合し、統合した検出結果から物体を追跡する統合追跡部とを備えている。
データ解析装置が備えている複数の検出部は、例えば、物体を学習しているニューラルネットワークを有する識別器を使用している。この識別器は、カメラの映像を示す撮影データをニューラルネットワークに入力することで、ニューラルネットワークから物体の検出結果を得ている。

特開２０１６−７１８３０号公報

従来のデータ解析装置は、複数の検出部の検出結果を統合する統合追跡部を備えているため、統合追跡部を備えていない場合よりも、物体の追跡精度を高めることができる。
しかし、統合追跡部は、あくまでも、複数の検出部の検出結果を統合するものであって、複数の検出部が有しているニューラルネットワークを統合するものではない。このため、物体の検出可能な領域は、複数のカメラの撮影範囲内に限られる。
仮に、複数の検出部が有しているニューラルネットワークを統合することが可能であるとすれば、それぞれのカメラで検出に至る過程の解析情報を統合することにより、或るカメラの撮影範囲と、或るカメラの撮影範囲との間の領域に存在している物体についても、検出できる可能性がある。
しかし、複数の検出部が有しているニューラルネットワークを単に統合する場合、あまり関連性がないカメラの撮影データを入力するニューラルネットワーク同士の統合も行われるため、ニューラルネットワークの規模が極めて大きくなるうえ、不要な情報が入力されることで検出精度が劣化する可能性がある。
規模が極めて大きいニューラルネットワークは、学習時に決定しなければならない重みの数が膨大である。このため、膨大な学習データと学習時間を要することになる。また、膨大な学習時間を費やしても、適正な重みを獲得できない事態が頻発して、物体の検出精度が劣化してしまうことがある。
したがって、複数の検出部が有しているニューラルネットワークを統合することが可能であるとしても、カメラから出力された撮影データの解析結果に誤りが生じてしまうことがあるという課題があった。

この発明は上記のような課題を解決するためになされたもので、データの解析結果に誤りが生じる状況を抑えることができるデータ解析装置を得ることを目的とする。

この発明に係るデータ解析装置は、互いに異なる複数のセンサのうち、いずれか１つ以上のセンサにより観測されたデータを解析して、データの解析結果を出力する複数のデータ解析部と、複数のデータ解析部のそれぞれから出力される解析結果をグループ分けする解析結果分類部とを設け、統合解析部が、解析結果分類部により同一のグループに分けられた１つ以上の解析結果を入力して、１つ以上の解析結果を再解析するグループ単位の複数の第１ニューラルネットワークと、複数の第１ニューラルネットワークのそれぞれの出力である再解析結果を入力して、複数の再解析結果を再解析する第２ニューラルネットワークとを有するようにしたものである。

この発明によれば、複数のデータ解析部のそれぞれから出力される解析結果をグループ分けする解析結果分類部を設け、統合解析部が、解析結果分類部により同一のグループに分けられた１つ以上の解析結果を入力して、１つ以上の解析結果を再解析するグループ単位の複数の第１ニューラルネットワークと、複数の第１ニューラルネットワークのそれぞれの出力である再解析結果を入力して、複数の再解析結果を再解析する第２ニューラルネットワークとを有するように構成したので、データの解析結果に誤りが生じる状況を抑えることができる効果がある。

この発明の実施の形態１によるデータ解析装置が適用される解析システムを示す構成図である。 この発明の実施の形態１によるデータ解析装置を示す構成図である。 この発明の実施の形態１によるデータ解析装置を示すハードウェア構成図である。 データ解析装置がソフトウェア又はファームウェアなどで実現される場合のコンピュータのハードウェア構成図である。 道路の周辺に存在している構造物などに設置されている７台のカメラ１−１〜１−７の撮影範囲の一例を示す説明図である。 ニューラルネットワークが有する最小単位の構造を示す説明図である。 ディープニューラルネットワークの構造を示す説明図である。 データ解析部１１−ｎの処理内容を示すフローチャートである。 図５のように７台のカメラ１−１〜１−７が設置されている場合の解析結果のグループ分け例を示す説明図である。 解析結果分類部１２の処理内容を示すフローチャートである。 統合解析部１３により構築されるニューラルネットワークのモデルの一例を示す説明図である。 データ解析部１１−１〜１１−Ｎの解析結果ｙ_１１−１〜ｙ_１１−Ｎを再解析するニューラルネットワークのモデルを示す説明図である。 この発明の実施の形態２によるデータ解析装置を示す構成図である。 この発明の実施の形態２によるデータ解析装置を示すハードウェア構成図である。

以下、この発明をより詳細に説明するために、この発明を実施するための形態について、添付の図面に従って説明する。

実施の形態１．
図１は、この発明の実施の形態１によるデータ解析装置が適用される解析システムを示す構成図である。
図１において、カメラ１−１〜１−Ｎは、例えば、道路の周辺に存在している構造物に設置されており、道路などを撮影して、道路などの映像を示す撮影データを出力するセンサである。Ｎは、２以上の整数である。
この実施の形態１では、センサがカメラである例を説明するが、センサは、観測データを出力するものであれば、カメラに限るものではなく、例えば、センサが振動計又は温度計であってもよい。センサが振動計であれば、観測データとして振動データが出力され、センサが温度計であれば、観測データとして温度データが出力される。

ネットワーク２は、例えば、インターネットで実現され、カメラ１−１〜１−Ｎと、データ解析装置３と、表示装置４とを接続している。
ただし、ネットワーク２は、カメラ１−１〜１−Ｎと、データ解析装置３と、表示装置４とを有線又は無線で接続することができればよく、インターネットに限るものではない。
したがって、ネットワーク２は、例えば、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）であってもよい。また、カメラ１−１〜１−Ｎと、データ解析装置３と、表示装置４とが直接接続されていれば、ネットワーク２が設けられていなくてもよい。

データ解析装置３は、ネットワーク２と接続されており、カメラ１−１〜１−Ｎから出力された撮影データを解析し、撮影データの解析結果を表示装置４に出力する装置である。
表示装置４は、ネットワーク２と接続されており、データ解析装置３から出力された撮影データの解析結果を表示する装置である。
また、表示装置４は、カメラ１−１〜１−Ｎから出力された撮影データが示す映像を表示する。
なお、表示装置４がスピーカを備えている場合、スピーカを用いて、データ解析装置３から出力された撮影データの解析結果を音で出力するようにしてもよい。

図２は、この発明の実施の形態１によるデータ解析装置３を示す構成図である。図３は、この発明の実施の形態１によるデータ解析装置３を示すハードウェア構成図である。
図２及び図３において、データ解析部１１−１〜１１−Ｎは、カメラ１−１〜１−Ｎと一対一で対応付けられている。
データ解析部１１−ｎ（ｎ＝１，２，・・・，Ｎ）は、例えば図３に示すデータ解析回路２１で実現される。
データ解析部１１−ｎは、カメラ１−ｎから出力された撮影データを取得し、取得した撮影データを解析して、撮影データの解析結果を統合解析部１３に出力する処理を実施する。データ解析回路２１は、カメラ１−ｎから出力された撮影データを取得するためのネットワークインタフェースなどを備えている。
この実施の形態１では、データ解析部１１−１〜１１−Ｎと、カメラ１−１〜１−Ｎとが一対一で対応付けられている例を説明するが、データ解析部１１−ｎが、複数のカメラと対応付けられており、複数のカメラから出力された撮影データを解析するようにしてもよい。

解析結果分類部１２は、例えば図３に示す解析結果分類回路２２で実現される。
解析結果分類部１２は、データ解析部１１−１〜１１−Ｎのそれぞれから出力される解析結果のグループ分けを実施する。
統合解析部１３は、例えば図３に示す統合解析回路２３で実現される。
統合解析部１３は、解析結果分類部１２により同一のグループに分けられた１つ以上の解析結果を入力して、１つ以上の解析結果を再解析するグループ単位の複数の第１ニューラルネットワークを有している。
また、統合解析部１３は、複数の第１ニューラルネットワークのそれぞれの出力である再解析結果を入力して、複数の再解析結果を再解析する第２ニューラルネットワークを有している。
第２ニューラルネットワークの出力が、データ解析装置３により得られる最終的な解析結果である。

図２では、データ解析装置３の構成要素であるデータ解析部１１−１〜１１−Ｎ、解析結果分類部１２及び統合解析部１３のそれぞれが、図３に示すような専用のハードウェアで実現されるものを想定している。即ち、データ解析回路２１、解析結果分類回路２２及び統合解析回路２３で実現されるものを想定している。
データ解析回路２１、解析結果分類回路２２及び統合解析回路２３は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ−Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、または、これらを組み合わせたものが該当する。

データ解析装置３の構成要素は、専用のハードウェアで実現されるものに限るものではなく、データ解析装置３がソフトウェア、ファームウェア、または、ソフトウェアとファームウェアとの組み合わせで実現されるものであってもよい。
ソフトウェア又はファームウェアはプログラムとして、コンピュータのメモリに格納される。コンピュータは、プログラムを実行するハードウェアを意味し、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、中央処理装置、処理装置、演算装置、マイクロプロセッサ、マイクロコンピュータ、プロセッサ、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）が該当する。

図４は、データ解析装置３がソフトウェア又はファームウェアなどで実現される場合のコンピュータのハードウェア構成図である。
データ解析装置３がソフトウェア又はファームウェアなどで実現される場合、データ解析部１１−１〜１１−Ｎ、解析結果分類部１２及び統合解析部１３の処理手順をコンピュータに実行させるためのプログラムをメモリ３１に格納し、コンピュータのプロセッサ３２がメモリ３１に格納されているプログラムを実行するようにすればよい。
また、図３では、データ解析装置３の構成要素のそれぞれが専用のハードウェアで実現される例を示し、図４では、データ解析装置３がソフトウェアやファームウェアなどで実現される例を示しているが、データ解析装置３における一部の構成要素が専用のハードウェアで実現され、残りの構成要素がソフトウェアやファームウェアなどで実現されるものであってもよい。

次に動作について説明する。
この実施の形態１では、複数のセンサがカメラ１−１〜１−Ｎである例を説明する。
図５は、道路の周辺に存在している構造物などに設置されている７台のカメラ１−１〜１−７の撮影範囲の一例を示す説明図である。
カメラ１−１〜１−７の撮影範囲は、破線で囲まれている領域であり、１−１ａは、カメラ１−１の撮影範囲、１−２ａは、カメラ１−２の撮影範囲、１−３ａは、カメラ１−３の撮影範囲である。
また、１−４ａは、カメラ１−４の撮影範囲、１−５ａは、カメラ１−５の撮影範囲、１−６ａは、カメラ１−６の撮影範囲、１−７ａは、カメラ１−７の撮影範囲である。
図中、実線は、道路を表している。

カメラ１−１〜１−Ｎは、道路などを撮影し、ネットワーク２を介して、道路などの映像を示す撮影データをデータ解析装置３に出力する。
データ解析装置３のデータ解析部１１−ｎ（ｎ＝１，２，・・・，Ｎ）は、カメラ１−ｎから出力された撮影データを取得し、取得した撮影データを解析して、撮影データの解析結果を統合解析部１３に出力する。
データ解析部１１−ｎによる撮影データの解析手法として、例えば、多層のニューラルネットワークであるディープニューラルネットワークに基づく手法が考えられる。

ニューラルネットワークは、例えば、図６に示すような構造を最小単位とするネットワークである。
図６において、ｘ_０，ｘ_１，・・・，ｘ_Ｄは、ニューラルネットワークに入力されるデータである。
ｗ_０，ｗ_１，・・・，ｗ_Ｄは、データｘ_０，ｘ_１，・・・，ｘ_Ｄに対する重みであり、例えば、学習用のデータを用いて事前に決定される。
ｙは、ニューラルネットワークから出力されるデータの解析結果である。

ディープニューラルネットワークは、図６に示す構造が多層に組み合わせれた構造を有するニューラルネットワークであり、様々な問題に対して高い解析精度を有することが知られている。
図７に示すディープニューラルネットワークは、データｘ_０，ｘ_１，・・・，ｘ_Ｄが入力されると、以下の式（１）に示すような演算を実施し、データの解析結果ｙを出力する。

式（１）において、ｘ_０は、常に１である。ｆは、ステップ関数、シグモイド関数、ランプ関数などの活性化関数である。
ｙは、活性化関数の演算結果であるｙ_１，・・・，ｙ_Ｍを有するデータの解析結果である。

図８は、データ解析部１１−ｎの処理内容を示すフローチャートである。
以下、図８を参照しながら、データ解析部１１−ｎの処理内容を具体的に説明する。
まず、データ解析部１１−ｎは、カメラ１−ｎから出力された撮影データｘ_０，ｘ_１，・・・，ｘ_Ｄを取得する（図８のステップＳＴ１）。
撮影データｘ_０，ｘ_１，・・・，ｘ_Ｄは、例えば、カメラ１−ｎの映像を構成する画素の値が該当する。
撮影データｘ_０，ｘ_１，・・・，ｘ_Ｄが図７に示すディープニューラルネットワークに入力されることで、ディープニューラルネットワークから、カメラ１−ｎの映像の特徴を表す特徴ベクトル、あるいは、映像に所定の事象が含まれている確率を示す確率ベクトルを示す解析結果ｙ_１，ｙ_２，・・・，ｙ_Ｍが得られる。
所定の事象の種類として、様々な種類が考えられ、アプリケーションに応じて適切な事象が選択される。例えば、図１に示す解析システムが、道路の監視を目的とする場合、道路の渋滞、道路の封鎖などの事象が含まれる。

ここで、図７に示すようなディープニューラルネットワークの構造として、様々なモデルが存在するため、どのようなモデルを使用するかは事前に決定しておく必要がある。
また、撮影データｘ_０，ｘ_１，・・・，ｘ_Ｄに対する重みｗ_０，ｗ_１，・・・，ｗ_Ｄについても、事前に決定しておく必要がある。

次に、データ解析部１１−ｎは、事前に決定されている重みのうち、図７に示すディープニューラルネットワークの演算対象層に適用される重みｗ_０，ｗ_１，・・・，ｗ_Ｄと、撮影データｘ_０，ｘ_１，・・・，ｘ_Ｄとを、事前に決定されているモデルに定義されている活性化関数ｆ（・）に入力する（図８のステップＳＴ２）。
この段階では、図７に示すディープニューラルネットワークの演算対象層は、最下位層であり、図７において、最も左側の層である。
データ解析部１１−ｎは、重みｗ_０，ｗ_１，・・・，ｗ_Ｄと、撮影データｘ_０，ｘ_１，・・・，ｘ_Ｄとを入力した活性化関数ｆ（・）を演算し、活性化関数ｆ（・）の演算結果ｙ_１，ｙ_２，・・・，ｙ_Ｍを演算対象層の次の層の入力データとして出力する（図８のステップＳＴ３）。
この段階では、演算対象層の次の層は、演算対象層よりも１つ上位の層である。演算対象層が最下位層であれば、演算対象層の次の層は、図７において、左から２番目の層である。

データ解析部１１−ｎは、演算対象層の次の層が最上位層であるか否かを判定する（図８のステップＳＴ４）。
図７に示すディープニューラルネットワークの最上位層は、図７において、最も右側の層である。
データ解析部１１−ｎは、次の層が最上位層でなければ（図８のステップＳＴ４：ＮＯの場合）、次の層を演算対象層に設定する（図８のステップＳＴ５）。
データ解析部１１−ｎは、事前に決定されている重みのうち、ステップＳＴ５の処理で設定した演算対象層に適用される重みｗ_０，ｗ_１，・・・，ｗ_Ｄと、ステップＳＴ３の処理で出力した演算対象層の入力データとを活性化関数ｆ（・）に入力する（図８のステップＳＴ２）。
データ解析部１１−ｎは、演算対象層に適用される重みｗ_０，ｗ_１，・・・，ｗ_Ｄと、演算対象層の入力データとを入力した活性化関数ｆ（・）を演算し、活性化関数ｆ（・）の演算結果ｙ_１，ｙ_２，・・・，ｙ_Ｍを演算対象層の次の層の入力データとして出力する（図８のステップＳＴ３）。
データ解析部１１−ｎは、演算対象層の次の層が最上位層でなければ（図８のステップＳＴ４：ＮＯの場合）、演算対象層の次の層が最上位層になるまで、ステップＳＴ５，ＳＴ２，ＳＴ３の処理を繰り返し実施する。

データ解析部１１−ｎは、演算対象層の次の層が最上位層であれば（図８のステップＳＴ４：ＹＥＳの場合）、演算対象層における活性化関数ｆ（・）の演算結果ｙ_１，ｙ_２，・・・，ｙ_Ｍを、ディープニューラルネットワークの解析結果として、統合解析部１３に出力する（図８のステップＳＴ６）。

解析結果分類部１２は、データ解析部１１−１〜１１−Ｎのそれぞれから出力される解析結果のグループ分けを実施する。
カメラ１−１〜１−Ｎの撮影範囲における道路渋滞等の事象の発生は、カメラ１−１〜１−Ｎから出力された撮影データｘ_０，ｘ_１，・・・，ｘ_Ｄを解析することで、検知することができる。
また、２つのカメラの撮影範囲の間の領域における事象の発生は、２つのカメラから出力された撮影データの解析結果をニューラルネットワークに入力して、２つの解析結果を再解析することで、検知できることがある。しかし、２つのカメラの撮影範囲の間で、車両等が行き来可能な道路が存在しない場合、２つのカメラの撮影範囲の間の領域において、道路渋滞等の事象が発生することはない。
したがって、車両等が行き来可能な道路が存在しない場合、２つのカメラから出力された撮影データの解析結果をニューラルネットワークに入力して、２つの解析結果を再解析することは、事象の発生を検知する上で意味がない。
一方、車両等が行き来可能な道路が存在する場合、２つのカメラから出力された撮影データの解析結果をニューラルネットワークに入力して、２つの解析結果を再解析することは、事象の発生を検知する上で有用である。
また、２つのカメラの撮影範囲の間に重なりがある場合、２つのカメラの撮影範囲における交通状況は、互いに関連している可能性が高い。このため、２つのカメラから出力された撮影データの解析結果をニューラルネットワークに入力して、２つの解析結果を再解析することは、事象の発生を検知する上で有用である。

７台のカメラ１−１〜１−７が設置されている図５の例では、カメラ１−１の撮影範囲１−１ａと、カメラ１−２の撮影範囲１−２ａとは、重なりが有る。このため、データ解析部１１−１，１１−２の解析結果をニューラルネットワークに入力して、２つの解析結果を再解析することは、事象の発生を検知する上で有用である。
また、カメラ１−２の撮影範囲１−２ａと、カメラ１−３の撮影範囲１−３ａ及びカメラ１−４の撮影範囲１−４ａとは、重なりが無いが、行き来可能な道路が存在している。
このため、データ解析部１１−２，１１−３，１１−４の解析結果をニューラルネットワークに入力して、３つの解析結果を再解析することは、事象の発生を検知する上で有用である。

また、カメラ１−５の撮影範囲１−５ａと、カメラ１−６の撮影範囲１−６ａ及びカメラ１−７の撮影範囲１−７ａとは、重なりが無いが、行き来可能な道路が存在している。このため、データ解析部１１−５，１１−６，１１−７の解析結果をニューラルネットワークに入力して、３つの解析結果を再解析することは、事象の発生を検知する上で有用である。

図９は、図５のように７台のカメラ１−１〜１−７が設置されている場合の解析結果のグループ分け例を示す説明図である。
図９では、７台のカメラ１−１〜１−７のそれぞれをノードで表している。
また、図９では、互いの撮影範囲に重なりが有るカメラ同士、あるいは、互いの撮影範囲の間に行き来可能な道路が存在しているカメラ同士をエッジで結んでいるノード接続グラフを表している。
ノード接続グラフ（１）は、カメラ１−１〜１−４に対応するデータ解析部１１−１〜１１−４の解析結果を同一のグループに分類する旨を示し、ノード接続グラフ（２）は、カメラ１−５〜１−７に対応するデータ解析部１１−５〜１１−７の解析結果を同一のグループに分類する旨を示している。

図１０は、解析結果分類部１２の処理内容を示すフローチャートである。
以下、図１０を参照しながら、解析結果分類部１２の処理内容を具体的に説明する。
まず、解析結果分類部１２は、カメラ１−１〜１−Ｎの撮影範囲をそれぞれ算出する（図１０のステップＳＴ１１）。
カメラ１−ｎ（ｎ＝１，２，・・・，Ｎ）の撮影範囲は、カメラ１−ｎの属性情報及び設置情報を参照することで算出することが可能である。

カメラ１−ｎの属性情報であるカメラパラメータは、一般的にはカメラ１−ｎの内部パラメータα_ｘ，α_ｙ，γ，ｕ_０，ｖ_０と呼ばれるパラメータであり、以下の式（２）に示すような行列で表される。

α_ｘ＝ｆ・ｍ_ｘ、α_ｙ＝ｆ・ｍ_ｙであり、ｍ_ｘ及びｍ_ｙは、画素と距離の関係を表すスケールファクタ、ｆは、焦点距離である。
また、γは、カメラの製造過程で生じるｘ軸とｙ軸のひずみを表すパラメータであり、通常は０であるため問題ない。
ｕ_０及びｖ_０は、主点と呼ばれ、画像平面とカメラの主軸が交わる点である。ｕ_０及びｖ_０は、通常は画像中心とほぼ一致する。
なお、カメラ１−ｎの内部パラメータα_ｘ，α_ｙ，γ，ｕ_０，ｖ_０は、カメラ１−ｎの撮影範囲を正確に算出するために必要な情報の一例であり、内部パラメータα_ｘ，α_ｙ，γ，ｕ_０，ｖ_０以外の属性情報を用いて、カメラ１−ｎの撮影範囲を算出するようにしてもよい。

カメラ１−ｎの設置情報は、カメラ１−ｎが設置されている位置、高さ及び角度を示す情報である。カメラ１−ｎが設置されている位置を示す情報は、例えば、カメラ１−ｎが設置されている緯度経度を示す情報である。
カメラ１−ｎが設置されている高さを示す情報は、例えば、カメラ１−ｎが設置されている高度を示す情報である。
カメラ１−ｎが設置されている角度を示す情報は、カメラ１−ｎのレンズが向いている方向である方位角及び地面に対する俯角などを示す情報である。
なお、カメラ１−ｎの設置情報は、カメラ１−１の撮影範囲を正確に算出するために必要な情報の一例であり、設置情報以外の情報を用いて、カメラ１−１の撮影範囲を算出するようにしてもよい。

この実施の形態１では、カメラ１−ｎの属性情報と設置情報を用いて、カメラ１−ｎの撮影範囲を算出することを想定しているが、道路及び建物の情報のほか、地面の起伏の情報などを含む地図情報を用いれば、カメラ１−ｎの撮影範囲を更に正確に算出することができる。
この実施の形態１では、カメラ１−ｎの撮影範囲を算出する処理自体は、公知の技術であるため、算出処理の詳細は省略する。

次に、解析結果分類部１２は、カメラ１−１〜１−Ｎのそれぞれをノード接続グラフのノードに設定する（図１０のステップＳＴ１２）。
次に、解析結果分類部１２は、カメラを識別する変数ｉを１に初期化してから（図１０のステップＳＴ１３）、カメラを識別する変数ｊにｉ＋１を代入する（図１０のステップＳＴ１４）。

解析結果分類部１２は、カメラ１−１〜１−Ｎの中のカメラ１−ｉとカメラ１−ｊに着目し、カメラ１−ｉの撮影範囲と、カメラ１−ｊの撮影範囲とに重なりが有るか否かを判定する（図１０のステップＳＴ１５）。
解析結果分類部１２は、カメラ１−ｉの撮影範囲と、カメラ１−ｊの撮影範囲とに重なりが無いと判定すると（図１０のステップＳＴ１５：ＮＯの場合）、地図情報を参照して、カメラ１−ｉの撮影範囲と、カメラ１−ｊの撮影範囲との間に行き来可能な道路が存在しているか否かを判定する（図１０のステップＳＴ１６）。

解析結果分類部１２は、カメラ１−ｉの撮影範囲と、カメラ１−ｊの撮影範囲とに重なりが有ると判定した場合（図１０のステップＳＴ１５：ＹＥＳの場合）、カメラ１−ｉに対応するノードと、カメラ１−ｊに対応するノードとをエッジで接続する（図１０のステップＳＴ１７）。
また、解析結果分類部１２は、カメラ１−ｉの撮影範囲と、カメラ１−ｊの撮影範囲との間に行き来可能な道路が存在していると判定した場合（図１０のステップＳＴ１６：ＹＥＳの場合）、カメラ１−ｉに対応するノードと、カメラ１−ｊに対応するノードとをエッジで接続する（図１０のステップＳＴ１７）。
解析結果分類部１２は、カメラ１−ｉの撮影範囲と、カメラ１−ｊの撮影範囲とに重なりが無く（図１０のステップＳＴ１５：ＮＯの場合）、かつ、行き来可能な道路が存在していないと判定した場合（図１０のステップＳＴ１６：ＮＯの場合）、カメラ１−ｉに対応するノードと、カメラ１−ｊに対応するノードとをエッジで接続する処理を行わない。

次に、解析結果分類部１２は、変数ｊと、設置されているカメラ１−１〜１−Ｎの台数であるＮとを比較し（図１０のステップＳＴ１８）、変数ｊがＮ未満であれば（ステップＳＴ１８：ＹＥＳの場合）、変数ｊに１を加算し（図１０のステップＳＴ１９）、ステップＳＴ１５の処理に戻る。これにより、ステップＳＴ１５〜ＳＴ１８の処理が繰り返される。

解析結果分類部１２は、変数ｊがＮと一致すれば（ステップＳＴ１８：ＮＯの場合）、変数ｉと、（Ｎ−１）とを比較し（図１０のステップＳＴ２０）、変数ｉが（Ｎ−１）未満であれば（ステップＳＴ２０：ＹＥＳの場合）、変数ｉに１を加算し（図１０のステップＳＴ２１）、ステップＳＴ１４の処理に戻る。これにより、ステップＳＴ１４〜ＳＴ２０の処理が繰り返される。

解析結果分類部１２は、変数ｉが（Ｎ−１）と一致すれば（ステップＳＴ２０：ＮＯの場合）、エッジで接続されているノードを示すノード接続グラフを統合解析部１３に出力する（図１０のステップＳＴ２２）。
例えば、７台のカメラ１−１〜１−７が図５のように設置されている場合、解析結果分類部１２から、図９に示すようなノード接続グラフ（１）及びノード接続グラフ（２）のそれぞれが統合解析部１３に出力される。

ここでは、解析結果分類部１２が、エッジで接続されているノードを示すノード接続グラフを統合解析部１３に出力する例を示している。
解析結果分類部１２から出力されるノード接続グラフは、エッジに重みが付加されておらず、エッジの向きも限定されていない無向グラフであるが、エッジに重みが付加されていてもよいし、エッジの向きが限定されていてもよい。
エッジへの重みとしては、例えば、カメラ間の距離、あるいは、カメラ間の撮影範囲の重なり度合いを利用することができる。

具体的には、カメラ１−ｉに対応するノードとカメラ１−ｊに対応するノードとを接続するエッジの重みＥ_ｉｊは、以下の式（３）のように定義することができる。

式（３）において、Ｄは、カメラ１−ｉとカメラ１−ｊとの距離である。
Ａ_ｉは、カメラ１−ｉの撮影範囲の面積、Ａ_ｊは、カメラ１−ｊの撮影範囲の面積である。
Ａ_ｉｊは、カメラ１−ｉの撮影範囲とカメラ１−ｊの撮影範囲とが重なっている領域の面積である。
ａ，ｂは、定数であり、ａ＋ｂ＝１である。例えば、ａ＝ｂ＝０．５が考えられる。
エッジの向きとしては、例えば、２つのノード間を接続するエッジに対応する道路が一方通行であれば、通行が可能な方向をエッジの向きとする態様が考えられる。

統合解析部１３は、解析結果分類部１２により生成されたノード接続グラフを参照して、解析結果分類部１２により同一のグループに分けられた１つ以上の解析結果を入力して、１つ以上の解析結果を再解析するグループ単位の複数の第１ニューラルネットワークのモデルを構築する。
例えば、解析結果分類部１２によって、図９に示すような２つのノード接続グラフ（１）（２）が生成されている場合、統合解析部１３は、図１１に示すような第１ニューラルネットワークのモデル（１）（２）を構築する。図１１に示すニューラルネットワークについても、ディープニューラルネットワークである。

図１１は、統合解析部１３により構築されるニューラルネットワークのモデルの一例を示す説明図である。
図１１の例では、説明の簡単化のため、各々のデータ解析部１１−ｎ（ｎ＝１，２，・・・，Ｎ）から出力される解析結果をｙ_１１−ｎで表している。ｙ_１１−ｎは、スカラ値のような表現であるが、実際にはベクトルである。
図１１の例では、統合解析部１３は、ノード接続グラフ（１）に従ってデータ解析部１１−１〜１１−４の解析結果ｙ_１１−１〜ｙ_１１−４を入力して、解析結果ｙ_１１−１〜ｙ_１１−４を再解析する第１ニューラルネットワークのモデル（１）を構築している。
また、統合解析部１３は、ノード接続グラフ（２）に従ってデータ解析部１１−５〜１１−７の解析結果ｙ_１１−５〜ｙ_１１−７を入力して、解析結果ｙ_１１−５〜ｙ_１１−７を再解析する第１ニューラルネットワークのモデル（２）を構築している。
さらに、統合解析部１３は、２つの第１ニューラルネットワークの再解析結果を入力して、複数の再解析結果を再解析する第２ニューラルネットワークのモデルを構築している。

次に、統合解析部１３は、データ解析部１１−１〜１１−Ｎのそれぞれから出力される解析結果ｙ_１１−１〜ｙ_１１−Ｎを、解析結果ｙ_１１−１〜ｙ_１１−Ｎが属するグループ単位の第１ニューラルネットワークにそれぞれ入力し、複数の第１ニューラルネットワークの出力結果ｚ_１，ｚ_２，・・・，ｚ_Ｍを得る。
図１１の例では、統合解析部１３は、データ解析部１１−１〜１１−４の解析結果ｙ_１１−１〜ｙ_１１−４を第１ニューラルネットワークのモデル（１）に入力し、第１ニューラルネットワークのモデル（１）の再解析結果を得る。
また、統合解析部１３は、データ解析部１１−５〜１１−７の解析結果ｙ_１１−５〜ｙ_１１−７を第１ニューラルネットワークのモデル（２）に入力し、第１ニューラルネットワークのモデル（２）の再解析結果を得る。
統合解析部１３は、第１ニューラルネットワークのモデル（１）の再解析結果と、第１ニューラルネットワークのモデル（２）の再解析結果とを第２ニューラルネットワークのモデルに入力する。
この結果、最終的な解析結果ｚ_１，ｚ_２，・・・，ｚ_Ｍとして、第２ニューラルネットワークのモデルの出力が得られる。

統合解析部１３から出力される解析結果ｚ_１，ｚ_２，・・・，ｚ_Ｍは、カメラ１−１〜１−Ｎの映像の特徴を表す特徴ベクトル、あるいは、映像に所定の事象が含まれている確率を示す確率ベクトルなどである。
この解析結果ｚ_１，ｚ_２，・・・，ｚ_Ｍには、例えば、カメラ１−２の撮影範囲１−２ａと、カメラ１−３，１−４の撮影範囲１−３ａ，１−４ａとの間の領域における特徴ベクトル、あるいは、確率ベクトルが含まれている。

この実施の形態１では、統合解析部１３が、解析結果分類部１２により同一のグループに分けられた１つ以上の解析結果を第１ニューラルネットワークに入力して、１つ以上の解析結果を再解析している。また、統合解析部１３が、複数の第１ニューラルネットワークのそれぞれの出力である再解析結果を第２ニューラルネットワークに入力して、複数の再解析結果を再解析している。
これにより、第２ニューラルネットワークから最終的な解析結果ｚ_１，ｚ_２，・・・，ｚ_Ｍが得られるが、解析結果ｙ_１１−１〜ｙ_１１−Ｎを図１２に示すようなニューラルネットワークに入力して、解析結果ｙ_１１−１〜ｙ_１１−Ｎを再解析することでも、解析結果を得ることができる。
しかし、解析結果ｙ_１１−１〜ｙ_１１−Ｎを図１２に示すようなニューラルネットワークに入力する場合、以下に示す問題を生じる。

図１２は、データ解析部１１−１〜１１−Ｎの解析結果ｙ_１１−１〜ｙ_１１−Ｎを再解析するニューラルネットワークのモデルを示す説明図である。
図１２に示すニューラルネットワークのモデルは、あまり関連性がない解析結果同士の間でも演算が行われるため、図１１に示すニューラルネットワークのモデルよりも、規模が大きなモデルになる。
規模が極端に巨大なニューラルネットワークは、学習時に決定しなければならない重みの数が膨大である。このため、膨大な学習データと学習時間を要することになる。また、膨大な学習時間を費やしても、適正な重みを獲得できない事態が頻発する問題を生じる。
仮に、適正な重みを獲得できても、膨大な回数の演算が行われるため、解析結果ｙ_１１−１〜ｙ_１１−Ｎがニューラルネットワークに入力されてから、ニューラルネットワークから解析結果ｚ_１，ｚ_２，・・・，ｚ_Ｍが得られるまでに、多大な時間を要する問題を生じる。

以上で明らかなように、この実施の形態１によれば、データ解析部１１−１〜１１−Ｎのそれぞれから出力される解析結果をグループ分けする解析結果分類部１２を設け、統合解析部１３が、解析結果分類部１２により同一のグループに分けられた１つ以上の解析結果を入力して、１つ以上の解析結果を再解析するグループ単位の複数の第１ニューラルネットワークと、複数の第１ニューラルネットワークのそれぞれの出力である再解析結果を入力して、複数の再解析結果を再解析する第２ニューラルネットワークとを有するように構成したので、データの解析結果に誤りが生じる状況を抑えることができる効果を奏する。

この実施の形態１では、複数の第１のニューラルネットワークの結果を再解析する第２のニューラルネットワークを設けている例を示しているが、これは一例に過ぎず、第１及び第２のニューラルネットワークだけで構成されるものに限るものではない。
このため、例えば、第３及び第４のニューラルネットワークを更に備えるなど、より多くのニューラルネットワークを備える構成であってもよい。

実施の形態２．
上記実施の形態１では、データ解析装置３が、複数のセンサにより観測されたデータを解析する例を示している。
この実施の形態２では、データ解析装置３が、入力データに含まれている複数のデータのそれぞれを抽出し、抽出した各々のデータを解析する例を説明する。

図１３は、この発明の実施の形態２によるデータ解析装置３を示す構成図である。
図１４は、この発明の実施の形態２によるデータ解析装置３を示すハードウェア構成図である。
図１３及び図１４において、図２及び図３と同一符号は同一または相当部分を示すので説明を省略する。
データ抽出部４０は、例えば、図１４に示すデータ抽出回路５０で実現される。
データ抽出部４０は、センサにより観測されたデータから、解析対象の複数のデータをそれぞれ抽出し、抽出したデータのそれぞれをデータ解析部１１−１〜１１−Ｎに出力する処理を実施する。

次に動作について説明する。
この実施の形態２では、センサがカメラであり、カメラにより撮影されたデータがデータ解析装置３に与えられる例を説明する。
データ抽出部４０は、カメラから出力された撮影データを受けると、撮影データから、解析対象の複数のデータをそれぞれ抽出する。

例えば、データ抽出部４０は、カメラの撮影データが示す映像に含まれている物体の検出処理を実施して、映像に含まれている物体の形状及び色をそれぞれ検出する。物体の検出処理自体は、公知の技術であるため詳細な説明を省略する。
また、データ抽出部４０は、映像に含まれている物体の時間的な変化を監視して、物体の動きを検出する。
データ抽出部４０は、解析対象のデータとして、例えば、物体の形状を示す形状データをデータ解析部１１−１に出力し、物体の色を示す色データをデータ解析部１１−２に出力し、物体の動きを示す動きデータをデータ解析部１１−３に出力する。
ここでは、データ抽出部４０が、解析対象のデータとして、形状データ、色データ及び動きデータのそれぞれをデータ解析部１１−１〜１１−３に出力する例を示しているが、これは一例であり、解析対象のデータとして、他のデータを出力するようにしてもよい。
他のデータとして、例えば、物体の速度を示す速度データ、あるいは、物体の温度を示す温度データが考えられる。
また、ここでは、データ抽出部４０が、解析対象のデータとして、３つのデータを出力する例を示しているが、解析対象のデータの数は２つ以上であればよい。

データ解析部１１−ｎ（ｎ＝１，２，・・・，Ｎ）は、データ抽出部４０から解析対象のデータを取得すると、上記実施の形態１と同様に、取得したデータを解析して、データの解析結果を統合解析部１３に出力する。

解析結果分類部１２は、上記実施の形態１と同様に、データ解析部１１−１〜１１−Ｎのそれぞれから出力される解析結果のグループ分けを実施する。
ただし、上記実施の形態１では、解析結果分類部１２が、複数のセンサの属性情報、設置情報及び地図情報を参照して、解析結果のグループ分けを実施しているが、この実施の形態２では、解析結果分類部１２が、事前に与えられる知識に基づいて、解析結果のグループ分けを実施する。
以下、解析結果分類部１２による解析結果のグループ分け処理を具体的に説明する。

この実施の形態２では、データ解析装置３が、道路の交通標識を検知する例を説明する。
この実施の形態２では、データ抽出部４０から、解析対象のデータとして、形状データ、色データ及び動きデータのそれぞれがデータ解析部１１−１〜１１−３に出力されるものとする。

交通標識における形状と色の組み合わせは、事前に知られており、交通標識の形状と色は、関係性が深いため、形状データの解析結果と、色データの解析結果との同一のグループに含めることは、交通標識を検知する上で有用である。
交通標識は、所定の場所に設置されており、一般的には移動することがない。このため、動きデータの解析結果が停止している旨を示していれば、交通標識である可能性があるが、動きデータの解析結果が動いている旨を示していれば、交通標識である可能性は極めて低い。よって、交通標識を検知する上で、動きデータの解析結果を用いることは有用である。
しかし、交通標識の動きは、交通標識の形状及び色との関係性が薄いため、動きデータの解析結果を、形状データの解析結果及び色データの解析結果を含むグループに含めることは、交通標識を検知する上で有用でない。

したがって、事前に与えられる知識として、例えば、「形状データの解析結果と、色データの解析結果とを同一のグループに含め、動きデータの解析結果を形状データの解析結果及び色データの解析結果を含むグループに含めない」という知識が与えられる。
この知識の例では、解析結果分類部１２は、形状データの解析結果と、色データの解析結果とを同一のグループに含め、動きデータの解析結果を形状データの解析結果及び色データの解析結果を含むグループに含めないようにする。

統合解析部１３は、上記実施の形態１と同様に、解析結果分類部１２により同一のグループに分けられた１つ以上の解析結果を入力して、１つ以上の解析結果を再解析するグループ単位の複数の第１ニューラルネットワークを有している。
また、統合解析部１３は、上記実施の形態１と同様に、複数の第１ニューラルネットワークのそれぞれの出力である再解析結果を入力して、複数の再解析結果を再解析する第２ニューラルネットワークを有している。
第２ニューラルネットワークの出力が、上記実施の形態１と同様に、データ解析装置３により得られる最終的な解析結果である。

以上で明らかなように、この実施の形態２によれば、センサにより観測されたデータから、解析対象の複数のデータをそれぞれ抽出するデータ抽出部４０を備えるように構成したので、センサにより観測されたデータの中に、解析対象のデータが複数含まれている場合でも、上記実施の形態１と同様に、データの解析結果に誤りが生じる状況を抑えることができる効果を奏する。

なお、本願発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。

この発明は、データを解析するデータ解析装置に適している。

１−１〜１−Ｎ カメラ、１−１ａ〜１−７ａ 撮影範囲、２ ネットワーク、３ データ解析装置、４ 表示装置、１１−１〜１１−Ｎ データ解析部、１２ 解析結果分類部、１３ 統合解析部、２１ データ解析回路、２２ 解析結果分類回路、２３ 統合解析回路、３１ メモリ、３２ プロセッサ、４０ データ抽出部、５０ データ抽出回路。

この発明に係るデータ解析装置は、互いに異なる複数のセンサのうち、いずれか１つ以上のセンサにより観測されたデータを解析して、データの解析結果を出力する複数のデータ解析部と、複数のデータ解析部のそれぞれから出力される解析結果をグループ分けする解析結果分類部と、解析結果分類部により同一のグループに分けられた１つ以上の解析結果を入力して、１つ以上の解析結果を再解析するグループ単位の複数の第１ニューラルネットワークと、複数の第１ニューラルネットワークのそれぞれの出力である再解析結果を入力して、複数の再解析結果を再解析する第２ニューラルネットワークとを有する統合解析部とを備え、複数のセンサのそれぞれがカメラであり、解析結果分類部が、複数のセンサの属性情報及び設置情報を参照して、複数のカメラの撮影範囲をそれぞれ算出し、複数のカメラの中で、互いの撮影範囲に重なりが有る各々のカメラに対応するデータ解析部の解析結果を同一のグループに分類し、地図情報を参照して、複数のカメラのそれぞれの撮影範囲の間において、行き来可能な道路が存在しているか否かをそれぞれ判定し、互いの撮影範囲に重なりが無くても、互いの撮影範囲の間に行き来可能な道路が存在している各々のカメラに対応するデータ解析部の解析結果を同一のグループに分類するようにしたものである。

Claims (5)

1. 互いに異なる複数のセンサのうち、いずれか１つ以上のセンサにより観測されたデータを解析して、前記データの解析結果を出力する複数のデータ解析部と、
   前記複数のデータ解析部のそれぞれから出力される解析結果をグループ分けする解析結果分類部と、
   前記解析結果分類部により同一のグループに分けられた１つ以上の解析結果を入力して、前記１つ以上の解析結果を再解析するグループ単位の複数の第１ニューラルネットワークと、前記複数の第１ニューラルネットワークのそれぞれの出力である再解析結果を入力して、複数の再解析結果を再解析する第２ニューラルネットワークとを有する統合解析部と
   を備えたデータ解析装置。
2. 前記データ解析部は、いずれか１つ以上のセンサにより観測されたデータを入力して、前記データの解析結果を出力するニューラルネットワークを備えていることを特徴とする請求項１記載のデータ解析装置。
3. 前記複数のセンサのそれぞれがカメラであり、
   前記解析結果分類部は、
   前記複数のセンサの属性情報及び設置情報を参照して、前記複数のカメラの撮影範囲をそれぞれ算出し、前記複数のカメラの中で、互いの撮影範囲に重なりが有る各々のカメラに対応するデータ解析部の解析結果を同一のグループに分類し、
   地図情報を参照して、前記複数のカメラのそれぞれの撮影範囲の間において、行き来可能な道路が存在しているか否かをそれぞれ判定し、互いの撮影範囲に重なりが無くても、互いの撮影範囲の間に行き来可能な道路が存在している各々のカメラに対応するデータ解析部の解析結果を同一のグループに分類することを特徴とする請求項１記載のデータ解析装置。
4. 前記解析結果分類部は、各々のカメラをノードとして、互いの撮影範囲に重なりが有るカメラ同士、あるいは、互いの撮影範囲の間に行き来可能な道路が存在しているカメラ同士をエッジで結んでいるノード接続グラフを生成し、
   前記統合解析部は、前記解析結果分類部により生成されたノード接続グラフを参照して、前記複数の第１ニューラルネットワークを構築することを特徴とする請求項３記載のデータ解析装置。
5. センサにより観測されたデータから、解析対象の複数のデータをそれぞれ抽出するデータ抽出部と、
   前記データ抽出部により抽出された複数のデータのうち、いずれか１つ以上のデータを解析して、前記データの解析結果を出力する複数のデータ解析部と、
   前記複数のデータ解析部のそれぞれから出力される解析結果をグループ分けする解析結果分類部と、
   前記解析結果分類部により同一のグループに分けられた１つ以上の解析結果を入力して、前記１つ以上の解析結果を再解析するグループ単位の複数の第１ニューラルネットワークと、前記複数の第１ニューラルネットワークのそれぞれの出力である再解析結果を入力して、複数の再解析結果を再解析する第２ニューラルネットワークとを有する統合解析部と
   を備えたデータ解析装置。

Images