JP6678706B2 - 種別判定プログラム、種別判定装置及び種別判定方法 - Google Patents

Description

本発明は、入力画像に含まれる物体に係る画素数が少ない場合に、該物体の種別を迅速かつ正確に判定することができる種別判定プログラム、種別判定装置及び種別判定方法に関する。

従来、車両のテストコースでは、外柵を越えてテストコース内に侵入する動物等を検知する必要がある。テストコース内に侵入した動物等と、テストコースを走行する試験車両とが衝突するトラブルを防止するためである。このため、車両のテストコースには、テストコース内を監視するための複数の監視カメラが設けられる。そして、監視員は、監視カメラにより撮像された映像を視認し、異常の検知を行う。

ところが、このような監視員による目視チェックを採用したならば、監視員による監視漏れが起きる可能性がある。このため、監視を自動化する場合には、テンプレートマッチング等の画像処理技術や、深層学習等の機械学習（特許文献１、特許文献２を参照）を用いて動物を学習し、入力画像に動物が含まれているか否かが判定される。

特開２０１５−２１０８２４号公報 特開２０１７−１８７９５４号公報

しかし、上記のテンプレートマッチングにより動物の存在を検知するためには、入力画像内に動物の姿が十分に含まれていなければならない。同様に、機械学習を用いて動物の存在を検知する場合にも、入力画像内に動物の姿が十分に含まれていなければならない。

ところが、監視カメラで撮像した実際の画像には、動物の姿が十分に含まれていない場合が多い。テストコースに設置できる監視カメラの台数には制限があり、遠距離からテストコースを撮影せざるを得ない場合が多いからである。その結果、入力画像に含まれる動物の画素数が少ない場合には、テンプレートマッチング又は機械学習を用いたとしても動物を検知できないという問題が生ずる。

これらのことから、入力画像に含まれる物体に係る画素数が少ない場合に、いかにして該物体の種別を迅速かつ正確に判定するかが重要な課題となっている。なお、この課題は、テストコースだけの課題ではなく、警備地域や各種施設の場合にも同様に生ずる課題である。

本発明は、上記従来技術の問題点（課題）を解決するためになされたものであって、入力画像に含まれる物体に係る画素数が少ない場合に、該物体の種別を迅速かつ正確に判定することができる種別判定プログラム、種別判定装置及び種別判定方法を提供することを目的とする。

上記の課題を解決するため、本発明は、所定の撮像装置により撮像された画像に含まれる物体を検知する検知手順と、前記検知手順により検知された物体を形成する画素の移動ベクトルと所定の尤度に基づいて、物体を含む矩形領域を特定し、特定した矩形領域の移動履歴に係る情報を移動履歴情報として取得する移動履歴情報取得手順と、少なくとも前記移動履歴情報に基づいて、前記検知手順により検知された物体の種別を判定する種別判定手順とをコンピュータに実行させることを特徴とする。

また、本発明は、上記の発明において、前記検知手順は、複数の画像間の画素の移動ベクトルに基づいて、前記所定の撮像装置により撮像された画像に含まれる物体を検知することを特徴とする。

また、本発明は、上記の発明において、前記種別判定手順は、教師データをなす物体の移動履歴情報及び該物体の種別を所定の多層ニューラルネットワークに適用した学習済モデルに基づいて、前記検知手順により検知された物体の種別を判定することを特徴とする。

また、本発明は、上記の発明において、前記種別判定手順は、前記移動履歴情報に含まれる所定の時間ごとの前記矩形領域の水平方向の移動量及び垂直方向の移動量を前記学習済モデルに入力し、該学習済モデルから出力される種別毎の確率に基づいて、前記検知手順により検知された物体の種別を判定することを特徴とする。

また、本発明は、上記の発明において、前記種別判定手順は、前記移動履歴情報に含まれる所定の時間ごとの前記矩形領域の幅、前記矩形領域の高さ、前記矩形領域の水平方向の移動量、前記矩形領域の垂直方向の移動量、前記矩形領域との幅差及び前記矩形領域との高さ差を前記学習済モデルに入力し、該学習済モデルから出力される種別毎の確率に基づいて、前記検知手順により検知された物体の種別を判定することを特徴とする。

また、本発明は、上記の発明において、前記種別判定手順は、前記移動履歴情報に含まれる所定の時間ごとの前記矩形領域の幅、前記矩形領域の高さ、前記矩形領域の水平方向の移動量、前記矩形領域の垂直方向の移動量、前記矩形領域との幅差及び前記矩形領域との高さ差と、前記矩形領域の部分画像とを前記学習済モデルに入力し、該学習済モデルから出力される種別毎の確率に基づいて、前記検知手順により検知された物体の種別を判定することを特徴とする。

また、本発明は、上記の発明において、前記種別判定手順は、前記移動履歴情報に含まれる所定の時間ごとの前記矩形領域の水平方向の移動量及び垂直方向の移動量を画像化したパラメータ画像を前記学習済モデルに入力し、該学習済モデルから出力される種別毎の確率に基づいて、前記検知手順により検知された物体の種別を判定することを特徴とする。

また、本発明は、上記の発明において、前記種別判定手順は、前記移動履歴情報に含まれる所定の時間ごとの前記矩形領域の水平方向の移動量及び垂直方向の移動量を画像化したパラメータ画像と、前記矩形領域の部分画像とを前記学習済モデルに入力し、該学習済モデルから出力される種別毎の確率に基づいて、前記検知手順により検知された物体の種別を判定することを特徴とする。

また、本発明は、上記の発明において、前記学習済モデルは、少なくとも動物、人又は車両に係る移動履歴情報が入力された場合に、前記物体が動物、人又は車両である確率を出力することを特徴とする。

また、本発明は、上記の発明において、前記種別判定手順により前記物体の種別が動物であると判定されたならば、所定の警報灯による警報を発するよう制御し、該物体の種別が人又は車両であると判定されたならば、前記所定の警報灯による警報を発しないよう制御する警報制御手順をさらにコンピュータに実行させることを特徴とする。

また、本発明は、所定の撮像装置により撮像された画像に含まれる物体を検知する検知部と、前記検知部により検知された物体を形成する画素の移動ベクトルと所定の尤度に基づいて、物体を含む矩形領域を特定し、特定した矩形領域の移動履歴に係る情報を移動履歴情報として取得する移動履歴情報取得部と、少なくとも前記移動履歴情報に基づいて、前記検知部により検知された物体の種別を判定する種別判定部とを備えたことを特徴とする。

また、本発明は、所定の撮像装置により撮像された画像に含まれる物体を検知する検知工程と、前記検知工程により検知された物体を形成する画素の移動ベクトルと所定の尤度に基づいて、物体を含む矩形領域を特定し、特定した矩形領域の移動履歴に係る情報を移動履歴情報として取得する移動履歴情報取得工程と、少なくとも前記移動履歴情報に基づいて、前記検知工程により検知された物体の種別を判定する種別判定工程とを含んだことを特徴とする。

本発明によれば、入力画像に含まれる物体に係る画素数が少ない場合であっても、物体の種別を迅速かつ正確に判定することが可能となる。

図１は、本実施例１に係る種別判定プログラムの概要を説明するための説明図である。 図２は、図１に示した入力画像の一例を示す図である。 図３は、車両の走行試験を行うテストコースに設置された警報システムのシステム構成を示す図である。 図４は、図３に示した警報制御装置の構成を示す機能ブロック図である。 図５は、図４に示した種別判定部による学習済モデルを用いた種別判定の一例を示す図である。 図６は、学習データとしての移動履歴情報の一例を示す図である。 図７は、図５に示した学習済モデルの層構造の一例を示す図である。 図８は、図４に示した警報制御装置の処理手順を示すフローチャートである。 図９は、図８のステップＳ１０２に示した物体検知及び移動履歴情報の取得に関する処理手順を示すフローチャートである。 図１０は、本実施例２に係る学習済モデルを用いた種別判定の一例を示す図である。 図１１は、図１０に示した学習済モデルの層構造の一例を示す図である。 図１２は、本実施例３に係る学習済モデルを用いた種別判定の一例を示す図である。 図１３は、図１２に示したパラメータ画像を説明するための説明図である。 図１４は、学習済モデルを用いた種別判定の変形例を示す図である。 図１５は、図４に示した警報制御装置のハードウエア構成の一例を示す図である。

以下、添付図面を参照して、本実施例に係る種別判定プログラム、種別判定装置及び種別判定方法について説明する。本実施例では、車両の走行試験を行うテストコースに本発明を適用した場合について示すこととする。以下では、プログラムからなるＣＮＮ（Convolutional Neural Network）の学習済モデルを用いる場合を中心に説明する。

＜種別判定プログラムの概要＞
まず、本実施例１に係る種別判定プログラムの概要について説明する。図１は、本実施例１に係る種別判定プログラムの概要を説明するための説明図であり、図２は、図１に示した入力画像Ａの一例を示す図である。

図１に示す種別判定プログラムは、警報制御装置４０にインストールされるプログラムである。その詳細な説明は後述するが、警報制御装置４０は、監視カメラ１０から複数の画像を受け付けたならば、各画像から物体が存在する領域を切り出して入力画像Ａとし、この入力画像Ａに含まれる物体Ａ１の種別を判定する装置である。

ここで、図２に示す物体Ａ２のように、この物体Ａ２を形成する画素数が多く、該物体Ａ２が車両であることが明らかである場合には、既存のテンプレートマッチング等の画像処理又は機械学習を用いて物体Ａ２の種別を判定することができる。これに対して、図２に示す物体Ａ１のように、この物体Ａ１を形成する画素数が少なく、該物体Ａ１の種別が明らかでない場合には、既存のテンプレートマッチング等の画像処理又は機械学習を用いて物体Ａ２の種別を判定することが難しい。

このため、本実施例１に係る種別判定プログラムでは、監視カメラ１０から受け付けた各画像に含まれる物体Ａ１の移動履歴情報Ｂを学習済モデル５０に入力する。そして、この学習済モデル５０から出力される物体Ａ１の種別毎の確率（動物である確率、車両である確率、人である確率）と所定の閾値に基づいて、物体Ａ１の種別を判定する。これにより、物体Ａ１を形成する画素数が少ない場合であっても、物体Ａ１の種別を判定することができる。

次に、図１に示す種別判定プログラムの具体的な処理内容について説明する。図１に示すように、この種別判定プログラムは、監視カメラ１０から受け付けた各画像に含まれる物体Ａ１をそれぞれ検知したならば、この物体Ａ１を含む部分画像をそれぞれ入力画像Ａとし、各入力画像Ａに含まれる物体Ａ１を検知する（Ｓ１１）。具体的には、複数の入力画像Ａ間の画素の移動ベクトルを用いて各入力画像Ａに含まれる物体Ａ１を検知する。

そして、該物体Ａ１の移動履歴情報Ｂを取得する（Ｓ１２）。具体的には、検知された物体Ａ１を形成する画素の移動ベクトルと所定の尤度に基づいて、物体Ａ１を含む矩形領域を特定し、特定した矩形領域の移動履歴に係る情報を移動履歴情報Ｂとして取得する。なお、この移動履歴情報Ｂには、所定の時間ごとの矩形領域の幅、矩形領域の高さ、矩形領域の水平方向の移動量、矩形領域の垂直方向の移動量、形領域との幅差及び形領域との高さ差が含まれる。

その後、この移動履歴情報Ｂを学習済モデル５０に入力したならば（Ｓ１３）、物体の種別毎の確率が学習済モデル５０から出力される（Ｓ１４）。この学習済モデル５０は、教師データをなす物体の移動履歴情報及び該物体の種別を所定の多層ニューラルネットワーク（ＣＮＮ）に適用して深層学習を行った学習済モデルである。ここでは、この学習済モデル５０がプログラムである場合を示すが、ＦＰＧＡ（Field-Programmable Gate Array）等のロジック回路で構成することもできる。

この学習済モデル５０は、移動履歴情報Ｂが入力されたことを条件として、物体の種別毎の確率を出力する。例えば、図１に図示したように、物体の種別が「車両」である確率「０．１（１０％）」、物体の種別が「人」である確率「０．１（１０％）」、物体の種別が「動物」である確率「０．８（８０％）」が出力される。

種別判定プログラムは、この物体の種別毎の確率に基づいて、入力画像Ａに含まれる物体Ａ１の種別を判定する（Ｓ１５）。例えば、物体の種別毎の確率のいずれか一つが、所定の閾値（例えば、０．８（８０％））を超えたならば、閾値を超えた確率に対応する種別を物体の種別であると判定する。

このように、本実施例１に係る種別判定プログラムは、監視カメラにより撮像された画像に含まれる物体Ａ１を検知し、検知された物体Ａ１を追跡して該物体Ａ１の移動履歴情報Ｂを取得し、移動履歴情報Ｂに基づいて検知された物体の種別を判定する処理をコンピュータに実行させるプログラムである。

なお、この種別判定プログラムは、物体Ａ１の種別が「動物」であると判定されたならば、所定の警報灯による警報を発するよう制御し、該物体Ａ１の種別が「人」又は「車両」であると判定されたならば、所定の警報灯による警報を発しないよう制御する。これにより、テストコース内に動物が侵入した場合に、試験車両の走行テストを中止させ、試験車両と動物の衝突事故を回避することができる。

＜警報システムの構成＞
次に、車両の走行試験を行うテストコースＴに設置された警報システムのシステム構成について説明する。図３は、車両の走行試験を行うテストコースＴに設置された警報システムのシステム構成を示す図である。同図に示すように、この警報システムは、監視カメラ１０と、警報灯２０と、スピーカ３０とを、それぞれ警報制御装置４０と通信可能に接続した構成となる。ここでは、各装置間を無線により接続した場合を示している。なお、上記の種別判定プログラムは、警報制御装置４０にインストールされる。

監視カメラ１０は、テストコースＴの外部からテストコースＴに侵入する物体Ａ１の画像を撮像する撮像装置であり、テストコースＴの外柵周辺に一定間隔（例えば、数百ｍごと）で配設されている。この監視カメラ１０は、無線ＬＡＮ（Local Area Network）等のＩＰネットワークを介して、警報制御装置４０に画像を送信する。なお、ここでは監視カメラ１０から警報制御装置４０に対して画像を送信する場合を示したが、監視カメラ１０から警報制御装置４０に対して動画像を送信することもできる。動画像を送信する場合には、警報制御装置４０が、動画像からフレーム毎に画像を切り出す処理を行うことになる。

警報灯２０は、試験車両を運転するドライバー及びテストコースＴの監視を行う監視員等に対して、テストコースＴでの異常発生を視覚的に報知するための表示デバイスである。この警報灯２０は、テストコースＴを走行する試験車両のドライバーが視認できるように、一定間隔（例えば、数百ｍごと）で配設され、警報制御装置４０により表示制御される。例えば、試験車両の走行試験を行っている間は警報灯２０を緑色表示し、走行試験を中止すべき事象が発生したならば警報灯２０を赤色点滅させる。このため、例えば試験車両のドライバーが、走行路を走行している状況で警報灯２０の赤色点滅を視認したならば、直ちに試験中止と判断して所定の位置に移動する。

スピーカ３０は、試験車両を運転するドライバー及びテストコースＴの監視を行う監視員等に対して、テストコースＴでの試験状況を音響的に報知するための報知デバイスである。走行試験を中止すべき事象が発生したならば、警報制御装置４０の指示に応じて所定の警報音を出力する。このため、例えば試験車両のドライバーが、走行路を走行している状況で警報音を確認したならば、直ちに試験中止と判断して所定の位置に移動する。

警報制御装置４０は、一種のコンピュータであり、図１を用いて説明した種別判定プログラムをインストールすることにより、本発明に係る種別判定処理を行う。具体的には、画像に含まれる物体Ａ１の種別を判定し、この物体Ａ１の種別が「動物」であると判定した場合に、警報灯２０の表示制御及びスピーカ３０からの警報音の出力制御により試験車両のドライバー等に警報を行う。なお、物体Ａ１の種別が「人」又は「車両」であると判定した場合には、警報灯２０の表示制御及びスピーカ３０からの警報音の出力制御は行わない。なお、かかる警報制御装置４０に関する詳細な説明については後述する。

＜警報制御装置４０の構成＞
次に、図３に示した警報制御装置４０の構成について説明する。図４は、図３に示した警報制御装置４０の構成を示す機能ブロック図である。同図に示すように、この警報制御装置４０は、入力部４１、表示部４２、通信インターフェース部（以下、単に「通信Ｉ／Ｆ部」と言う）４３、記憶部４４及び制御部４５を有する。

入力部４１は、キーボード又はマウス等の入力デバイスであり、表示部４２は、液晶パネル又はディスプレイ装置等の表示デバイスである。通信Ｉ／Ｆ部４３は、無線ＬＡＮ等を介して監視カメラ１０、警報灯２０及びスピーカ３０と通信するためのインターフェース部である。

記憶部４４は、不揮発性メモリ又はハードディスク装置等の記憶デバイスであり、学習データ４４ａ及び移動履歴情報４４ｂ等を記憶する。学習データ４４ａは、ＣＮＮが教師有り学習を行う場合に用いる学習用の画像データである。移動履歴情報４４ｂは、物体Ａ１の移動履歴を示す情報である。

制御部４５は、警報制御装置４０の全体制御を行う制御部であり、検知部４５ａと、移動履歴情報取得部４５ｂと、種別判定部４５ｃと、警報指示部４５ｄとを有する。なお、その詳細な説明は後述するが、警報制御装置４０のＣＰＵ（Central Processing Unit）が、本発明に係る種別判定プログラムを不揮発性メモリ等から主記憶装置であるＲＡＭ（Random Access Memory）上にロードして実行することにより、検知部４５ａ、移動履歴情報取得部４５ｂ、種別判定部４５ｃ及び警報指示部４５ｄに対応するプロセスが形成される。

検知部４５ａは、連続する複数のフレームの画像間の画素の移動ベクトルに基づいて、監視カメラ１０により撮像された画像に含まれる物体Ａ１を検知する処理部である。具体的には、複数の画像で動きのある画素が存在するならば、動きのある画素に基づいて物体Ａ１を検知する。なお、画素の移動ベクトルとは、物体Ａ１の同じ箇所を示す画素間のベクトル（例えば、オプティカルフロー）である。

移動履歴情報取得部４５ｂは、検知部４５ａにより検知された物体Ａ１を形成する画素の移動ベクトルと所定の尤度に基づいて、物体Ａ１を含む矩形領域を特定し、特定した矩形領域の移動履歴に係る情報を移動履歴情報として取得する処理部である。具体的には、画像を形成する画素ごとにオプティカルフローと尤度を算出し、オプティカルフローに基づき過去の物体抽出結果を移動させて動きのある画素を抽出し、パーティクルとしての矩形領域を画像上に配置し、矩形領域内の物体抽出結果位置のオプティカルフローに基づいて矩形領域を移動させ、矩形領域内外の物体抽出結果に基づいて矩形領域ごとに算出した尤度を用いてリサンプリングさせたパーティクルフィルタを用いて物体Ａ１を検知し、矩形領域内外の物体抽出結果位置の色のヒストグラムに基づいて矩形領域ごとに算出した尤度を用いてリサンプリングさせたパーティカルフィルタを用いて物体Ａ１を追跡して移動履歴情報Ｂを取得する。具体的な処理については、特願２０１８−０４６５８２号と同様のものとなる。

種別判定部４５ｃは、検知部４５ａにより検知された物体Ａ１の種別を判定する処理部であり、ＣＮＮの学習済モデル５０を用いて物体Ａ１の種別毎の確率を出力する。そして、物体Ａ１の種別毎の確率のうち、所定の閾値（例えば、８０％）を超える確率が存在する場合に、該確率に対応する種別が物体Ａ１の種別であると判定する。このＣＮＮには、オープンソース製品として提供される「ｃａｆｆｅ」、「ＴｅｎｓｏｒＦｌｏｗ」、「Ｃｈａｉｎｅｒ」、「ＣＮＴＫ」などを用いることができる。

警報指示部４５ｄは、物体Ａ１の種別が「動物」であると判定された場合に、警報灯２０及びスピーカ３０に対して警報指示を行う処理部である。物体Ａ１の種別が「車両」又は「人」であると判定された場合には、警報灯２０及びスピーカ３０に対する警報指示を行わない。警報灯２０には、あらかじめ警告指示のデータパターンに対応付けて警告灯の表示態様が記憶されており、警報指示部４５ｄの警告指示に含まれるデータパターンに対応する表示態様で表示を行う。同様に、スピーカ３０には、あらかじめ警告指示のデータパターンに対応付けて出力音のパターンが記憶されており、警報指示部４５ｄの警告指示に含まれるデータパターンに対応する出力音を出力する。スピーカ３０は、警報指示部４５ｄから出力される警告指示に含まれる出力音を出力することもできる。

ここで、上記のＣＮＮの学習済モデル５０を用いた種別判定についてさらに説明する。図５は、図４に示した種別判定部４５ｃによる学習済モデル５０を用いた種別判定の一例を示す図である。図６は、学習データとしての移動履歴情報の一例を示す図である。図７は、図５に示した学習済モデル５０の層構造の一例を示す図である。

ＣＮＮに教師有り学習を行わせる場合には、図６に示した学習データとしての移動履歴情報と正解データをＣＮＮに付与し、バックプロパゲーション等により教師有り学習を行わせる。なお、バックプロパゲーションは深層学習に関する周知技術であるため、ここではその説明を省略する。例えば、ＣＮＮに「動物」を学習させる場合には、ＣＮＮに図６（ａ）に示す移動履歴情報を入力し、正解データ（Ｐ１，Ｐ２，Ｐ３）＝（１，０，０）を付与し、バックプロパゲーションを行わせる。また、ＣＮＮに「車両」を学習させる場合には、ＣＮＮに図６（ｂ）に示す移動履歴情報を入力し、正解データ（Ｐ１，Ｐ２，Ｐ３）＝（０，１，０）を付与し、バックプロパゲーションを行わせる。さらに、ＣＮＮに「人」を学習させる場合には、ＣＮＮに図６（ｃ）に示す移動履歴情報を入力し、正解データ（Ｐ１，Ｐ２，Ｐ３）＝（０，０，１）を付与し、バックプロパゲーションを行わせる。このようにして、学習済モデル５０のニューロン間のパスの重み等のパラメータが決定される。

ここで、図６（ａ）〜図６（ｃ）に示した各移動履歴情報は、それぞれ所定の時間ごとの矩形領域の幅（第１行目）、矩形領域の高さ（第２行目）、矩形領域の水平方向の移動量（第３行目）、矩形領域の垂直方向の移動量（第４行目）、前矩形領域との幅差（第５行目）及び前矩形領域との高さ差（第６行目）からなる。なお、所定の時間ごとの矩形領域の水平方向の移動量（第３行目）及び垂直方向の移動量（第４行目）のみを入力することもできる。また、ここでは学習データとしての移動履歴情報の一例を示したが、物体Ａ１の種別判定を行う場合にも、同様の構造を有する移動履歴情報が学習済モデル５０に入力される。

次に、学習済モデル５０の層構造について説明する。図７に示す学習済モデル５０は、コンボリューション層（Convolution）５１、コンボリューション層（Convolution）５２、アベレージプーリング層（Average Pooling）５３、コンボリューション層（Convolution）５４、アベレージプーリング層（Average Pooling）５５、全結合層（Fully Connect）５６、全結合層（Fully Connect）５７及び出力層（Softmax）５８を有する。

コンボリューション層５１，５２，５４は、局所的な特徴を抽出するために、前層で近くにあるノードにフィルタを畳み込んで特徴マップを生成する。アベレージプーリング層５３，５５は、局所的な特徴をまとめあげるために、前層であるコンボリューション層から出力された特徴マップをさらに縮小して新たな特徴マップとする。このように、ＣＮＮの隠れ層は、コンボリューション層とアベレージプーリング層により形成される。全結合層５６，５７は、特徴部分が取り出された特徴マップを一つのノードに結合し、所定の活性化関数によって変換された値を出力する。この活性化関数には、周知技術であるＲｅＬＵ（Rectified Linear Unit）等を用いることができる。出力層５８は、全結合層５７からの出力（特徴変数）を元に、ソフトマックス関数を用いて確率に変換し、それぞれ正しく分類される確率を出力する。なお、オーバーフィッティングを避けるためにドロップアウト層を追加することもできる。なお、ＣＮＮの基本構造は公知技術であるため、ここではその詳細な説明を省略する。

＜警報制御装置４０の処理手順＞
次に、図４に示した警報制御装置４０の処理手順について説明する。図８は、図４に示した警報制御装置４０の処理手順を示すフローチャートである。同図に示すように、警報制御装置４０は、監視カメラ１０から複数の画像を受信する（ステップＳ１０１）。かかる複数の画像は、時系列的に連続するフレームの画像である。なお、監視カメラ１０から動画を入力し、動画から各フレームに対応する画像を切り出しても良い。

その後、警報制御装置４０は、複数の画像を用いた物体検知及び移動履歴情報の取得を行い（ステップＳ１０２）、各画像内の物体Ａ１の種別判定を行う（ステップＳ１０３）。この種別判定において、移動履歴情報Ｂを学習済モデル５０に入力したならば、学習済モデル５０は、物体Ａ１の種別が「動物」である確率Ｐ１、物体Ａ１の種別が「車両」である確率Ｐ２、物体Ａ１の種別が「人」である確率Ｐ３が出力される。ここで、いずれか一つの確率が所定の閾値（例えば、「０．８」）を超える場合に、該確率に対応する種別が物体Ａ１の種別と判定される。

その後、警報制御装置４０は、物体Ａ１の種別が「動物」であると判定されたならば（ステップＳ１０４；Ｙｅｓ）、警報灯２０及びスピーカ３０に対して警報指示を行う（ステップＳ１０５）。これに対して、物体Ａ１の種別が「動物」でないと判定されたならば（ステップＳ１０４；Ｎｏ）、警報灯２０及びスピーカ３０に対して警報指示を行わない。なお、ここでは説明の便宜上、物体Ａ１の種別が「動物」ではない場合に警報指示を行わないこととしたが、物体Ａ１の種別が「車両」又は「人」であると判定された場合に警報指示を行わず、物体Ａ１の種別が「ＵＮＫＮＯＷＮ（不明）」と判定された場合に警報指示を行うこともできる。

次に、図８のステップＳ１０２に示した物体検知及び移動履歴情報の取得に関する手順について説明する。図９は、図８のステップＳ１０２に示した物体検知及び移動履歴情報の取得に関する手順を示すフローチャートである。

図９に示すように、警報制御装置４０は、画像の画素毎にオプティカルフローと尤度を算出し（ステップＳ２０１）、オプティカルフローに基づいて動きのある画素を抽出する（ステップＳ２０２）。その後、画像上にパーティクルとしての矩形を配置し（ステップＳ２０３）、オプティカルフローに基づいて矩形を移動させる（ステップＳ２０４）。その後、矩形の中心の移動ベクトルの履歴を移動履歴情報４４ｂとして記憶部４４に記憶する（ステップＳ２０５）。これにより、移動履歴情報４４ｂを学習済モデル５０に入力して種別判定を行うことができる。

上述してきたように、本実施例１では、監視カメラ１０により撮像された画像に含まれる物体Ａ１を検知し、検知した物体Ａ１を追跡して該物体Ａ１の移動履歴情報Ｂを取得し、少なくとも移動履歴情報Ｂに基づいて物体Ａ１の種別を判定するよう構成したので、画像に含まれる物体Ａ１を形成する画素数が少ない場合であっても、物体Ａ１の移動履歴情報Ｂを活用しつつ該物体Ａ１の種別を判定することができる。

ところで、上記の実施例１では、学習済モデル５０を用いて種別判定を行う際に、物体Ａ１の移動履歴情報Ｂのみを学習済モデル５０に入力する場合を示したが、本発明はこれに限定されるものではない。本実施例２では、物体Ａ１の移動履歴情報Ｂと物体Ａ１を含む入力画像Ａを学習済モデル６０に入力して種別判定を行う場合について説明する。なお、システム構成及び警報制御装置の構成については、実施例１とほぼ同様であるため、ここではその説明を省略する。

図１０は、本実施例２に係る学習済モデル６０を用いた種別判定の一例を示す図である。図１０に示すように、本実施例２では、物体Ａ１の移動履歴情報Ｂと物体の画像Ｃを学習済モデル６０に入力する。この画像Ｃは、図２に示した物体Ａ１を含む入力画像Ａ等の画像であることが望ましい。なお、移動履歴情報Ｂは、図６を用いて説明したデータ列である。

図１１は、図１０に示した学習済モデル６０の層構造の一例を示す図である。図１１に示すように、学習済モデル６０は、画像Ｃを処理するために、コンボリューション層（Convolution）６１ａ、コンボリューション層（Convolution）６１ｂ、マックスプーリング層（Max Pooling）６１ｃ、コンボリューション層（Convolution）６１ｄ、マックスプーリング層（Max Pooling）６１ｅ及び全結合層（Fully Connect）６１ｆを有する。

また、移動履歴情報Ｂを処理するために、コンボリューション層（Convolution）６２ａ、コンボリューション層（Convolution）６２ｂ、アベレージプーリング層（Average Pooling）６２ｃ、コンボリューション層（Convolution）６２ｄ、アベレージプーリング層（Average Pooling）６２ｅ及び全結合層（Fully Connect）６２ｆを有する。さらに、全結合層（Fully Connect）６３、全結合層（Fully Connect）６４、出力層（Softmax）６５を有する。なお、各層の説明については省略する。

このように、この学習済モデル６０は、物体Ａ１を含む画像Ｃと物体Ａ１の移動履歴情報Ｂとが入力されたならば、物体Ａ１の種別が「動物」である確率Ｐ１、物体Ａ１の種別が「車両」である確率Ｐ２、物体Ａ１の種別が「人」である確率Ｐ３を出力する。

このように、本実施例２では、物体Ａ１を含む画像Ｃと物体Ａ１の移動履歴情報Ｂとを学習済モデル６０に入力して、物体Ａ１の種別毎の確率を出力するよう構成したので、物体Ａ１の画像の特徴及び移動履歴の特徴の両面から物体Ａ１の種別を精度良く判定することができる。

ところで、上記の実施例１では、図６に示した移動履歴情報Ｂを学習済モデル５０に入力する場合を示したが、ＣＮＮを用いた深層学習は画像との親和性が高いため、この移動履歴情報Ｂを一種のパラメータ画像として取り扱うこともできる。

図１２は、本実施例３に係る学習済モデル７０を用いた種別判定の一例を示す図である。図１２に示すように、本実施例３では、物体Ａ１の移動履歴情報Ｂから生成されるパラメータ画像Ｄを学習済モデル７０に入力する。そして、学習済モデル７０は、物体Ａ１の種別が「動物」である確率Ｐ１、物体Ａ１の種別が「車両」である確率Ｐ２、物体Ａ１の種別が「人」である確率Ｐ３を出力する。なお、学習済モデル７０の層構造は、図７に示した学習済モデル５０と同一のものとすることができる。

図１３は、図１２に示したパラメータ画像Ｄを説明するための説明図である。図１３（ａ）に示すように、パラメータ画像Ｄは、横軸を時間とし、縦軸のプラス側をｘ移動距離とし、縦軸のマイナス側をｙ移動距離とした疑似画像である。

図１３（ｂ）は車両のパラメータ画像であり、図１３（ｃ）は動物のパラメータ画像であり、図１３（ｄ）は人のパラメータ画像である。図１３（ｃ）に示す動物のパラメータ画像は、車両のパラメータ画像又は人のパラメータ画像に比べてｘ移動距離及びｙ移動距離が大きい。このため、このパラメータ画像を学習済モデル７０に入力すると、物体Ａ１が動物である確率を精度良く求めることができる。

なお、図１４に示すように、物体Ａ１の移動履歴情報Ｂから生成されるパラメータ画像Ｄと物体Ａ１を含む画像Ｃとを学習済モデル８０に入力して、学習済モデル７０から、物体Ａ１の種別が「動物」である確率Ｐ１、物体Ａ１の種別が「車両」である確率Ｐ２、物体Ａ１の種別が「人」である確率Ｐ３を出力することもできる。学習済モデル８０の層構造は、図１１に示した学習済モデル６０と同一のものとすることができる。

＜ハードウエアとの関係＞
次に、本実施例１〜３に係る警報制御装置４０と、コンピュータの主たるハードウエア構成の対応関係について説明する。図１５は、ハードウエア構成の一例を示す図である。

一般的なコンピュータは、ＣＰＵ９１、ＲＯＭ（Read Only Memory）９２、ＲＡＭ９３及び不揮発性メモリ９４などがバス９５により接続された構成となる。不揮発性メモリ９４の代わりにハードディスク装置が設けられていても良い。説明の便宜上、基本的なハードウエア構成のみを示している。

ここで、ＲＯＭ９２又は不揮発性メモリ９４には、オペレーティングシステム（Operating System；以下、単に「ＯＳ」と言う）の起動に必要となるプログラム等が記憶されており、ＣＰＵ９１は、電源投入時にＲＯＭ９２又は不揮発性メモリ９４からＯＳのプログラムをリードして実行する。

一方、ＯＳ上で実行される各種のアプリケーションプログラムは、不揮発性メモリ９４に記憶されており、ＣＰＵ９１がＲＡＭ９３を主メモリとして利用しつつアプリケーションプログラムを実行することにより、アプリケーションに対応するプロセスが実行される。

そして、本実施例１〜３に係る警報制御装置４０の種別判定プログラムについても、他のアプリケーションプログラムと同様に不揮発性メモリ９４等に記憶され、ＣＰＵ９１が、この種別判定プログラムをロードして実行することになる。実施例１〜３に係る警報制御装置４０の場合には、図４に示した検知部４５ａ、移動履歴情報取得部４５ｂ、種別判定部４５ｃ、警報指示部４５ｄに対応するルーチンを含む種別判定プログラムが不揮発性メモリ９４等に記憶される。ＣＰＵ９１により種別判定プログラムがロード実行されることにより、検知部４５ａ、移動履歴情報取得部４５ｂ、種別判定部４５ｃ、警報指示部４５ｄに対応するプロセスが生成される。なお、学習データ４４ａ及び設定データ等は、あらかじめ不揮発性メモリ９４に記憶される。

また、上記の各実施例１〜３では、スタンドアロンとしての装置上で動作実行する場合を示したが、本発明はこれに限定されるものではなく、クラウドのエッジサーバ装置において実現する場合に適用することもできる。また、複数台のコンピュータによる分散処理する場合に適用することもできる。

さらに、上記の各実施例１〜３では、深層学習の学習済モデルを用いる場合を示したが、本発明はこれに限定されるものではなく、深層学習以外の機械学習の学習済モデルを用いることもできる。また、各実施例１〜３では、プログラムとしての学習済モデルを用いた場合を示したが、本発明はこれに限定されるものではなく、ＦＰＧＡ等のハードウエア回路で実現することもできる。

また、上記の各実施例１〜３では、動物を警報対象とする場合を示したが、本発明はこれに限定されるものではなく、テストコースへの進入が許可されていない不審者、不審物、ドローン等の各種の物体を警報対象とする場合に適用することもできる。

なお、上記の実施例１〜３で図示した各構成は機能概略的なものであり、必ずしも物理的に図示の構成をされていることを要しない。すなわち、各装置の分散・統合の形態は図示のものに限られず、その全部又は一部を各種の負荷や使用状況などに応じて、任意の単位で機能的又は物理的に分散・統合して構成することができる。

本発明の種別判定プログラム、種別判定装置及び種別判定方法は、入力画像に含まれる物体に係る画素数が少ない状況下で、該物体の種別を迅速かつ正確に判定する場合に有用である。

Ａ 入力画像
Ａ１ 物体
Ａ２ 物体
Ｂ 移動履歴情報
Ｃ 画像
Ｄ パラメータ画像
１０ 監視カメラ
２０ 警報灯
３０ スピーカ
４０ 警報制御装置
４１ 入力部
４２ 表示部
４３ 通信Ｉ／Ｆ部
４４ 記憶部
４４ａ 学習データ
４４ｂ 移動履歴情報
４５ 制御部
４５ａ 検知部
４５ｂ 移動履歴情報取得部
４５ｃ 種別判定部
４５ｄ 警報処理部
５０，６０，７０，８０ 学習済モデル
９１ ＣＰＵ
９２ ＲＯＭ
９３ ＲＡＭ
９４ 不揮発性メモリ
９５ バス

Claims (12)

1. 所定の撮像装置により撮像された画像に含まれる物体を検知する検知手順と、
   前記検知手順により検知された物体を形成する画素の移動ベクトルと所定の尤度に基づいて、物体を含む矩形領域を特定し、特定した矩形領域の移動履歴に係る情報を移動履歴情報として取得する移動履歴情報取得手順と、
   少なくとも前記移動履歴情報に基づいて、前記検知手順により検知された物体の種別を判定する種別判定手順と
   をコンピュータに実行させることを特徴とする種別判定プログラム。
2. 前記検知手順は、
   複数の画像間の画素の移動ベクトルに基づいて、前記所定の撮像装置により撮像された画像に含まれる物体を検知することを特徴とする請求項１に記載の種別判定プログラム。
3. 前記種別判定手順は、
   教師データをなす物体の移動履歴情報及び該物体の種別を所定の多層ニューラルネットワークに適用した学習済モデルに基づいて、前記検知手順により検知された物体の種別を判定することを特徴とする請求項１に記載の種別判定プログラム。
4. 前記種別判定手順は、
   前記移動履歴情報に含まれる所定の時間ごとの前記矩形領域の水平方向の移動量及び垂直方向の移動量を前記学習済モデルに入力し、該学習済モデルから出力される種別毎の確率に基づいて、前記検知手順により検知された物体の種別を判定することを特徴とする請求項３に記載の種別判定プログラム。
5. 前記種別判定手順は、
   前記移動履歴情報に含まれる所定の時間ごとの前記矩形領域の幅、前記矩形領域の高さ、前記矩形領域の水平方向の移動量、前記矩形領域の垂直方向の移動量、前記矩形領域との幅差及び前記矩形領域との高さ差を前記学習済モデルに入力し、該学習済モデルから出力される種別毎の確率に基づいて、前記検知手順により検知された物体の種別を判定することを特徴とする請求項３に記載の種別判定プログラム。
6. 前記種別判定手順は、
   前記移動履歴情報に含まれる所定の時間ごとの前記矩形領域の幅、前記矩形領域の高さ、前記矩形領域の水平方向の移動量、前記矩形領域の垂直方向の移動量、前記矩形領域との幅差及び前記矩形領域との高さ差と、前記矩形領域の部分画像とを前記学習済モデルに入力し、該学習済モデルから出力される種別毎の確率に基づいて、前記検知手順により検知された物体の種別を判定することを特徴とする請求項３に記載の種別判定プログラム。
7. 前記種別判定手順は、
   前記移動履歴情報に含まれる所定の時間ごとの前記矩形領域の水平方向の移動量及び垂直方向の移動量を画像化したパラメータ画像を前記学習済モデルに入力し、該学習済モデルから出力される種別毎の確率に基づいて、前記検知手順により検知された物体の種別を判定することを特徴とする請求項３に記載の種別判定プログラム。
8. 前記種別判定手順は、
   前記移動履歴情報に含まれる所定の時間ごとの前記矩形領域の水平方向の移動量及び垂直方向の移動量を画像化したパラメータ画像と、前記矩形領域の部分画像とを前記学習済モデルに入力し、該学習済モデルから出力される種別毎の確率に基づいて、前記検知手順により検知された物体の種別を判定することを特徴とする請求項３に記載の種別判定プログラム。
9. 前記学習済モデルは、
   少なくとも動物、人又は車両に係る移動履歴情報が入力された場合に、前記物体が動物、人又は車両である確率を出力することを特徴とする請求項３乃至８のいずれか一つに記載の種別判定プログラム。
10. 前記種別判定手順により前記物体の種別が動物であると判定されたならば、所定の警報灯による警報を発するよう制御し、該物体の種別が人又は車両であると判定されたならば、前記所定の警報灯による警報を発しないよう制御する警報制御手順をさらにコンピュータに実行させることを特徴とする請求項９に記載の種別判定プログラム。
11. 所定の撮像装置により撮像された画像に含まれる物体を検知する検知部と、
    前記検知部により検知された物体を形成する画素の移動ベクトルと所定の尤度に基づいて、物体を含む矩形領域を特定し、特定した矩形領域の移動履歴に係る情報を移動履歴情報として取得する移動履歴情報取得部と、
    少なくとも前記移動履歴情報に基づいて、前記検知部により検知された物体の種別を判定する種別判定部と
    を備えたことを特徴とする種別判定装置。
12. 所定の撮像装置により撮像された画像に含まれる物体を検知する検知工程と、
    前記検知工程により検知された物体を形成する画素の移動ベクトルと所定の尤度に基づいて、物体を含む矩形領域を特定し、特定した矩形領域の移動履歴に係る情報を移動履歴情報として取得する移動履歴情報取得工程と、
    少なくとも前記移動履歴情報に基づいて、前記検知工程により検知された物体の種別を判定する種別判定工程と
    を含んだことを特徴とする種別判定方法。

Images