JP6877501B2 - 滞留検知装置、滞留検知方法及び滞留検知プログラム - Google Patents

Description

この発明は、撮影装置で撮影することによって得られた撮影画像データから、対象物が滞留していることを検知する技術に関する。

撮影領域を撮影装置によって撮影することにより得られた撮影画像データと、背景画像データとの違いを、画素毎の色情報で比較し、違いが一定以上ある領域に対象物がいると検知する技術がある。

特許文献１には、被写体としての確信度という概念を用いて、立ち止まっている人物と、置去物とを区別することが記載されている。

特開２０１５−１６５４３３号公報

撮影画像データと背景画像データとの違いを用いて対象物を検知する場合には、日照変化といった撮影画像データに変化を生じさせる変化事象の影響で、検知精度が低下してしまうという課題がある。特許文献１に記載された技術を用いても、変化事象の影響を取り除くことはできない。
この発明は、日照変化といった変化事象の影響を抑えて、撮影画像データから精度よく対象物の滞留を検知可能にすることを目的とする。

この発明に係る滞留検知装置は、
撮影領域を撮影装置によって撮影することにより得られた複数のフレームの撮影画像データそれぞれを対象として、画像データから対象物を検出する検出モデルを用いて対象の撮影画像データに含まれる対象物を検出する対象物検出部と、
前記対象の撮影画像データにおいて前記対象物検出部によって検出された対象物がいる対象物領域を特定する対象物領域特定部と、
前記複数のフレームの撮影画像データのうち基準数以上の撮影画像データを対象として前記対象物領域特定部によって前記対象物領域として特定された領域を、対象物が滞留している滞留領域として検知する滞留検知部と
を備える。

前記対象物領域特定部は、検出された対象物がいる領域のうち中央部に近い一部の領域だけを前記対象物領域として特定する。

前記対象物領域特定部は、前記対象の撮影画像データについて、前記対象物領域の画素を１とし、前記対象物領域以外の領域の画素を０とした２値の画像データを対象物領域情報として生成し、
前記滞留検知部は、前記複数のフレームの撮影画像データそれぞれを対象として生成された前記対象物領域情報である画像データについて、同じ位置についての画素毎に値を積算して積算画像データを生成し、前記積算画像データにおいて前記基準数以上の値となった領域を前記滞留領域として検知する。

前記滞留検知装置は、さらに、
前記複数のフレームの撮影画像データの後のフレームの撮影画像データである後画像データにおける前記対象物領域を対象領域として、前記後画像データにおける前記対象領域が前記滞留検知部によって検知された前記滞留領域と基準割合以上に重複している場合に、前記後画像データを前記対象領域についてのテンプレートとして抽出するテンプレート抽出部と、
前記後画像データの基準時間後に取得されるフレームの撮影画像データにおける前記対象領域の画像データが、前記テンプレート抽出部によって抽出された前記テンプレートにおける前記対象領域の画像データと類似すると判定された場合に、前記対象領域に対象物が滞留していると判定する滞留判定部と
を備える。

前記滞留判定部は、前記後画像データの後のフレームの撮影画像データにおける前記対象領域の画像データが、前記撮影領域に対象物がいない状態で前記撮影領域を前記撮影装置によって撮影することにより得られた背景画像データにおける前記対象領域の画像データと類似する場合に、前記対象領域に対象物がいないと判定する。

前記滞留判定部は、前記対象領域に対象物がいないと判定した場合には、前記対象領域についての前記テンプレートを除外し、前記基準時間後に取得されるフレームの撮影画像データにおける前記対象領域の画像データが、除外されていないテンプレートにおける前記対象領域の画像データと類似すると判定された場合に、前記対象領域に対象物が滞留していると判定する。

この発明に係る滞留検知方法は、
対象物検出部が、撮影領域を撮影装置によって撮影することにより得られた複数のフレームの撮影画像データそれぞれを対象として、画像データから対象物を検出する検出モデルを用いて対象の撮影画像データに含まれる対象物を検出し、
対象物領域特定部が、前記対象の撮影画像データにおいて検出された対象物がいる対象物領域を特定し、
滞留検知部が、前記複数のフレームの撮影画像データのうち基準数以上の撮影画像データを対象として前記対象物領域として特定された領域を、対象物が滞留している滞留領域として検知する。

この発明に係る滞留検知プログラムは、
撮影領域を撮影装置によって撮影することにより得られた複数のフレームの撮影画像データそれぞれを対象として、画像データから対象物を検出する検出モデルを用いて対象の撮影画像データに含まれる対象物を検出する対象物検出処理と、
前記対象の撮影画像データにおいて前記対象物検出処理によって検出された対象物がいる対象物領域を特定する対象物領域特定処理と、
前記複数のフレームの撮影画像データのうち基準数以上の撮影画像データを対象として前記対象物領域特定処理によって前記対象物領域として特定された領域を、対象物が滞留している滞留領域として検知する滞留検知処理と
を行う滞留検知装置としてコンピュータを機能させる。

この発明では、複数のフレームの撮影画像データそれぞれを対象として、検出モデルを用いて対象の撮影画像データに含まれる対象物が検出される。そして、基準数以上の撮影画像データを対象として対象物領域として特定された領域が、対象物が滞留している滞留領域として検知される。撮影画像データと背景画像データとの違いを用いて対象物を検知していないため、日照変化といった変化事象の影響を抑えて、撮影画像データから精度よく対象物の滞留を検知可能にすることが可能である。

実施の形態１に係る滞留検知装置１０の構成図。 実施の形態１に係る滞留検知装置１０の動作を示すフローチャート。 実施の形態１に係る矩形領域５１の説明図。 実施の形態１に係る対象物領域５２の説明図。 実施の形態１に係る対象物領域画像データ５３の説明図。 実施の形態１に係る積算画像データ５４の説明図。 変形例１に係る滞留検知装置１０の構成図。 実施の形態２に係る滞留検知装置１０の構成図。 実施の形態２に係る滞留検知装置１０の動作を示すフローチャート。

実施の形態１．
＊＊＊構成の説明＊＊＊
図１を参照して、実施の形態１に係る滞留検知装置１０の構成を説明する。滞留検知装置１０は、対象物の滞留を検知する。対象物には、人、物、動物、乗り物等を含む。また図面の一部では、対象物を人として図示している。
滞留検知装置１０は、コンピュータである。
滞留検知装置１０は、プロセッサ１１と、メモリ１２と、ストレージ１３と、通信インタフェース１４とのハードウェアを備える。プロセッサ１１は、信号線を介して他のハードウェアと接続され、これら他のハードウェアを制御する。

プロセッサ１１は、プロセッシングを行うＩＣ（Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）である。プロセッサ１１は、具体例としては、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）である。

メモリ１２は、データを一時的に記憶する記憶装置である。メモリ１２は、具体例としては、ＳＲＡＭ（Ｓｔａｔｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）である。

ストレージ１３は、データを保管する記憶装置である。ストレージ１３は、具体例としては、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）である。また、ストレージ１３は、ＳＤ（登録商標，Ｓｅｃｕｒｅ Ｄｉｇｉｔａｌ）メモリカード、ＣＦ（ＣｏｍｐａｃｔＦｌａｓｈ，登録商標）、ＮＡＮＤフラッシュ、フレキシブルディスク、光ディスク、コンパクトディスク、ブルーレイ（登録商標）ディスク、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）といった可搬記録媒体であってもよい。

通信インタフェース１４は、外部の装置と通信するためのインタフェースである。通信インタフェース１４は、具体例としては、Ｅｔｈｅｒｎｅｔ（登録商標）、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）、ＨＤＭＩ（登録商標，Ｈｉｇｈ−Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）のポートである。

滞留検知装置１０は、通信インタフェース１４を介して、監視カメラといった撮影装置４１と接続されている。

滞留検知装置１０は、機能構成要素として、画像取得部２１と、対象物検出部２２と、対象物領域特定部２３と、滞留検知部２４とを備える。滞留検知装置１０の各機能構成要素の機能はソフトウェアにより実現される。
ストレージ１３には、滞留検知装置１０の各機能構成要素の機能を実現するプログラムが格納されている。このプログラムは、プロセッサ１１によりメモリ１２に読み込まれ、プロセッサ１１によって実行される。これにより、滞留検知装置１０の各機能構成要素の機能が実現される。

図１では、プロセッサ１１は、１つだけ示されていた。しかし、プロセッサ１１は、複数であってもよく、複数のプロセッサ１１が、各機能を実現するプログラムを連携して実行してもよい。

＊＊＊動作の説明＊＊＊
図２から図６を参照して、実施の形態１に係る滞留検知装置１０の動作を説明する。
実施の形態１に係る滞留検知装置１０の動作手順は、実施の形態１に係る滞留検知方法に相当する。また、実施の形態１に係る滞留検知装置１０の動作を実現するプログラムは、実施の形態１に係る滞留検知プログラムに相当する。

（図２のステップＳ１１：画像取得処理）
画像取得部２１は、通信インタフェース１４を介して、撮影領域を撮影装置４１によって撮影することにより得られた最新のフレームの撮影画像データを取得する。画像取得部２１は、最新のフレームの撮影画像データをメモリ１２に書き込む。

（図２のステップＳ１２：対象物検出処理）
対象物検出部２２は、ステップＳ１１で取得された撮影画像データを対象として、画像データから対象物を検出する検出モデルを用いて対象の撮影画像データに含まれる対象物を検出する。
具体的には、対象物検出部２２は、対象の撮影画像データをメモリ１２から読み出す。対象物検出部２２は、機械学習又はディープラーニング等の、画像データから対象物を検出する検出モデルに対して、対象の撮影画像データを入力として与える。これにより、対象物検出部２２は、対象の撮影画像データに含まれる対象物を検出する。検出モデルは、ＡＣＦ（Ａｇｇｒｅｇａｔｅ Ｃｈａｎｎｅｌ Ｆｅａｔｕｒｅ）及びＳＳＤ（Ｓｉｎｇｌｅ Ｓｈｏｔ ｍｕｌｔｉｂｏｘ Ｄｅｔｅｃｔｏｒ）といった既存のアルゴリズムを用いて学習したモデルである。あるいは、既存のアルゴリズムによらず学習したモデルでもよい。また実施の形態１に合わせて学習したモデルでもよいし、事前に学習した既存のモデルでもよい。対象物検出部２２は、検出された対象物毎に、撮影画像データにおける対象物の位置を示す位置情報をメモリ１２に書き込む。

（図２のステップＳ１３：対象物領域特定処理）
対象物領域特定部２３は、ステップＳ１１で取得された撮影画像データを対象として、対象の撮影画像データにおいてステップＳ１２で検出された対象物がいる対象物領域５２を特定する。
具体的には、対象物領域特定部２３は、ステップＳ１２で書き込まれた位置情報をメモリ１２から読み出す。対象物領域特定部２３は、図３に示すように、対象の撮影画像データにおいてステップＳ１２で検出された対象物を囲む矩形領域５１を特定する。ここでは、対象物領域特定部２３は、位置情報が示す位置のうち、左端の点と右端の点と上端の点と下端の点とを特定する。そして、対象物領域特定部２３は、左端の点と右端の点と上端の点と下端の点と４辺が通り、縦の辺が垂直であり、横の辺が水平である矩形領域５１を特定する。
対象物領域特定部２３は、図４に示すように、検出された対象物を囲む矩形領域５１のうち中央部に近い一部の領域だけを対象物領域５２として特定してもよい。ここでは、対象物領域特定部２３は、矩形領域５１を縦横の比率を維持した状態で縮小し、重心が矩形領域５１の重心と重なるように配置することにより、対象物領域５２を特定する。矩形領域５１から対象物領域５２への縮小率は任意に設定可能だが、矩形領域５１に対する対象物の領域が小さいほど、対象物領域５２を縮小することで、対象物領域５２内の対象物の領域を大きくすることができる。結果として、矩形領域５１における対象外領域の影響を少なくすることができる。
そして、対象物領域特定部２３は、図５に示すように、対象の撮影画像データのうち、対象物領域５２の画素を１とし、他の領域の画素を０とした画像データを、対象の撮影画像データについての対象物領域画像データ５３として生成する。対象物領域特定部２３は、対象物領域画像データ５３をメモリ１２に書き込む。

（図２のステップＳ１４：滞留検知処理）
滞留検知部２４は、過去の複数のフレームの撮影画像データのうち基準数以上の撮影画像データを対象として対象物領域５２として特定された領域を、対象物が滞留している滞留領域５５として検知する。
具体的には、滞留検知部２４は、過去Ｎフレームの撮影画像データについてステップ１３で生成された対象物領域画像データ５３をメモリ１２から読み出す。過去Ｎフレームの撮影画像データは、直近Ｎ個のフレームの撮影画像データである。Ｎは、対象物がどの程度の時間同じ位置に滞在している場合に滞留とみなすかと、フレームレートといった情報に基づき、事前に設定される値である。
滞留検知部２４は、図６に示すように、読み出された全ての対象物領域画像データ５３について、同じ位置についての画素毎に値を積算して積算画像データ５４を生成する。つまり、滞留検知部２４は、過去Ｎフレームの撮影画像データについての対象物領域画像データ５３を、同じ位置についての画素の値を足し合わせることにより、積算画像データ５４を生成する。滞留検知部２４は、積算画像データ５４のうち、基準数以上の値の領域を滞留領域５５として特定する。

（図２のステップＳ１５：滞留発報処理）
滞留検知部２４は、滞留領域５５に対象物が滞留していると判定し、通信インタフェース１４を介して通知を送信する。滞留検知部２４は、滞留領域５５が特定されなかった場合には、対象物が滞留していないことを通知してもよい。

ステップＳ１５の後、再びステップＳ１１に処理が戻され、新たなフレームの撮影画像データに基づき処理が実行される。

＊＊＊実施の形態１の効果＊＊＊
以上のように、実施の形態１に係る滞留検知装置１０は、複数のフレームの撮影画像データそれぞれを対象として、検出モデルを用いて対象の撮影画像データに含まれる対象物を検出する。そして、滞留検知装置１０は、基準数以上の撮影画像データを対象として対象物領域５２として特定された領域を、対象物が滞留している滞留領域５５として検知する。撮影画像データと背景画像データとの違いを用いて対象物を検知していないため、日照変化といった変化事象の影響を抑えて、撮影画像データから精度よく対象物の滞留を検知可能にすることが可能である。

また、滞留検知装置１０は、検出された対象物を囲む矩形領域５１のうち中央部に近い一部の領域だけを対象物領域５２とする。これにより、対象物が密集している場所でも、隣接する対象物同士をある程度区別した上で滞留しているか否かを判定することが可能である。

＊＊＊他の構成＊＊＊
＜変形例１＞
実施の形態１では、各機能構成要素がソフトウェアで実現された。しかし、変形例１として、各機能構成要素はハードウェアで実現されてもよい。この変形例１について、実施の形態１と異なる点を説明する。

図７を参照して、変形例１に係る滞留検知装置１０の構成を説明する。
各機能構成要素がハードウェアで実現される場合には、滞留検知装置１０は、プロセッサ１１とメモリ１２とストレージ１３とに代えて、電子回路１５を備える。電子回路１５は、各機能構成要素と、メモリ１２と、ストレージ１３との機能とを実現する専用の回路である。

電子回路１５としては、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ロジックＩＣ、ＧＡ（Ｇａｔｅ Ａｒｒａｙ）、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ−Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）が想定される。
各機能構成要素を１つの電子回路１５で実現してもよいし、各機能構成要素を複数の電子回路１５に分散させて実現してもよい。

＜変形例２＞
変形例２として、一部の各機能構成要素がハードウェアで実現され、他の各機能構成要素がソフトウェアで実現されてもよい。

プロセッサ１１とメモリ１２とストレージ１３と電子回路１５とを処理回路という。つまり、各機能構成要素の機能は、処理回路により実現される。

実施の形態２．
実施の形態２は、滞留領域５５に基づきテンプレートを生成し、その後のフレームの撮影画像データとテンプレートを比較して、滞留領域５５付近に対象物が滞留しているか否かを判定する点が実施の形態１と異なる。実施の形態２では、この異なる点を説明し、同一の点については説明を省略する。

＊＊＊構成の説明＊＊＊
図８を参照して、実施の形態２に係る滞留検知装置１０の構成を説明する。
滞留検知装置１０は、機能構成要素として、テンプレート抽出部２５と、滞留判定部２６とを備える点が図１に示す滞留検知装置１０と異なる。また、ストレージ１３が画像記憶部３１の機能を実現する点が図１に示す滞留検知装置１０と異なる。
画像記憶部３１には、背景画像データが記憶される。背景画像データは、撮影装置４１の撮影領域に対象物がいない状態で撮影領域を撮影装置４１によって撮影することにより得られた画像データである。

＊＊＊動作の説明＊＊＊
図９を参照して、実施の形態２に係る滞留検知装置１０の動作を説明する。
実施の形態２に係る滞留検知装置１０の動作手順は、実施の形態２に係る滞留検知方法に相当する。また、実施の形態２に係る滞留検知装置１０の動作を実現するプログラムは、実施の形態２に係る滞留検知プログラムに相当する。

図９のステップＳ２１からステップＳ２４の処理は、図２のステップＳ１１からステップＳ１４の処理と同じである。

（図９のステップＳ２５：領域判定処理）
テンプレート抽出部２５は、ステップＳ２１で取得された最新の撮影画像データについてステップＳ２３で特定された対象物領域５２と、過去に検知されたいずれかの滞留領域５５とが基準割合以上に重複するか否かを判定する。
テンプレート抽出部２５は、基準割合以上に重複する場合には、処理をステップＳ２６に進める。一方、テンプレート抽出部２５は、基準割合以上に重複しない場合には、処理をステップＳ２７に進める。

（図９のステップＳ２６：候補追加処理）
テンプレート抽出部２５は、ステップＳ２２で特定された対象物領域５１を新たな候補領域として追加する。そして、テンプレート抽出部２５は、ステップＳ２１で取得された最新の撮影画像データを、追加した候補領域についてのテンプレートとして抽出する。

滞留判定部２６は、ステップＳ２７からステップＳ３０の処理を各候補領域を対象として実行する。ステップＳ２７からステップＳ３０の処理を滞留判定処理と呼ぶ。

（図９のステップＳ２７：類似判定処理）
滞留判定部２６は、対象の候補領域について、ステップＳ２１で取得された撮影画像データと、背景画像データとが類似するか否かを判定する。また、滞留判定部２６は、対象の候補領域について、ステップＳ２１で取得された撮影画像データと、対象の候補領域についてのテンプレートとが類似するか否かを判定する。
具体的には、滞留判定部２６は、撮影画像データ及び背景画像データの候補領域を対象として、グレースケールの画像データに変換した上で、エッジ検出を行いエッジ特徴を抽出する。そして、滞留判定部２６は、撮影画像データのエッジ特徴と、背景画像データのエッジ特徴との相関値を計算する。滞留判定部２６は、相関値が閾値以上の場合に、撮影画像データと背景画像データとが類似すると判定する。
滞留判定部２６は、撮影画像データ及びテンプレートの候補領域を対象として、輝度値のヒストグラムを生成する。そして、滞留判定部２６は、撮影画像データのヒストグラムと、テンプレートのヒストグラムとの重複率を計算する。滞留判定部２６は、重複率が閾値以上の場合に、撮影画像データとテンプレートとが類似すると判定する。
なお、撮影画像データと背景画像データとが類似するか否かを判定するのは、候補領域に対象物がいなくなったか否かを判定するためである。対象物がいなくなれば、撮影画像データと背景画像データとは非常に類似した状態になり、エッジ特徴の相関値が高くなる。そのため、エッジ特徴を用いた類否判定が用いられる。これに対して、撮影画像データとテンプレートとが類似するか否かを判定するのは、候補領域に同じ対象物がいるか否かを判定するためである。同じ対象物がいるとしても、若干移動した場合及び体勢を変えた場合には、エッジ特徴の相関値が低くなってしまう。そのため、エッジ特徴を用いた類否判定は用いられず、輝度を用いた類否判定が用いられる。

滞留判定部２６は、撮影画像データと背景画像データとが類似すると判定された場合には、処理をステップＳ２８に進める。また、滞留判定部２６は、撮影画像データとテンプレートとが類似すると判定された場合には、処理をステップＳ２９に進める。また、滞留判定部２６は、撮影画像データが背景画像データ及びテンプレートのどちらとも類似しないと判定された場合には、対象の置去候補についての処理を終了する。

（図９のステップＳ２８：候補除外処理）
滞留判定部２６は、対象の候補領域を候補領域から除外する。つまり、対象の候補領域について、撮影画像データと背景画像データとが類似するということは、対象の候補領域には対象物がいなくなったことを意味するため、滞留判定部２６は、対象の候補領域を候補領域から除外する。

（図９のステップＳ２９：時間判定処理）
滞留判定部２６は、対象の候補領域が追加されてから基準期間以上経過したか否かを判定する。基準期間は、対象物がどの程度の時間同じ位置に滞在している場合に滞留とみなすかに応じて決定される期間である。
滞留判定部２６は、基準期間以上経過した場合には、処理をステップＳ３０に進める。一方、滞留判定部２６は、基準期間以上経過していない場合には、対象の候補領域についての処理を終了する。

（図９のステップＳ３０：滞留発報処理）
滞留判定部２６は、対象の候補領域に対象物が滞留していると判定し、通信インタフェース１４を介して通知を送信する。

＊＊＊実施の形態２の効果＊＊＊
以上のように、実施の形態２に係る滞留検知装置１０は、検知された滞留領域の画像データをテンプレートとして、その後のフレームの画像データと比較をして、滞留領域に対象物が滞留しているか否かを判定する。そして、滞留検知装置１０は、滞留領域が検知されてから基準期間以上経過しても変化しない場合にのみ対象物が滞留していると判定する。これにより、対象物が移動している領域に対象物が滞留していると判定され難くなる。

＊＊＊他の構成＊＊＊
＜変形例３＞
実施の形態２で説明した方法では、新たなフレームの撮影画像データが取得された場合に、同じ候補領域について新たなテンプレートが抽出される可能性がある。つまり、候補領域にいる対象物が移動しなかった場合には、次のフレームの撮影画像データが、その候補領域についての新たなテンプレートとして抽出されてしまう。その結果、１つの候補領域について多数のテンプレートが抽出される可能性がある。
そこで、テンプレート抽出部２５は、候補領域については、滞留領域５５から除外してもよい。候補領域を滞留領域５５から除外することにより、候補領域がステップＳ２５の処理における比較対象から外れるため、候補領域について新たなテンプレートが抽出されることがなくなる。

＜変形例４＞
ステップＳ２２では、１つの対象物の対象物が誤って複数の対象物として検出される可能性がある。例えば、上半身と下半身とで別々に対象物として検出される可能性がある。その結果、１つの対象物の対象物について、複数の候補領域が生成有れる可能性がある。
そこで、テンプレート抽出部２５は、近接する候補領域を１つの候補領域に統合してもよい。具体的には、テンプレート抽出部２５は、２つの候補領域間の距離が閾値より短い場合と、２つの候補領域の重複率が閾値よりも高い場合と、２つの候補領域が同じ滞留領域５５に基づき特定された場合とには、２つの候補領域を１つの候補領域に統合してもよい。

＜変形例５＞
実施の形態２では、新たなフレームの撮影画像データが背景画像データ及びテンプレートのどちらとも類似しない場合には、候補領域に残しておいた。つまり、オクルージョンが発生して、新たなフレームの撮影画像データがテンプレートと類似しない場合であっても、置去候補に残しておいた。
しかし、一定数以上連続したフレームの撮影画像データがテンプレートと類似しない場合には、候補領域から除外してもよい。あるいは、第１数のフレームのうち、第１数よりも少ない第２数のフレームの撮影画像データがテンプレートと類似しない場合には、候補領域から除外してもよい。

以上、この発明の実施の形態及び変形例について説明した。これらの実施の形態及び変形例のうち、いくつかを組み合わせて実施してもよい。また、いずれか１つ又はいくつかを部分的に実施してもよい。なお、この発明は、以上の実施の形態及び変形例に限定されるものではなく、必要に応じて種々の変更が可能である。

１０ 滞留検知装置、１１ プロセッサ、１２ メモリ、１３ ストレージ、１４ 通信インタフェース、１５ 電子回路、２１ 画像取得部、２２ 対象物検出部、２３ 対象物領域特定部、２４ 滞留検知部、２５ テンプレート抽出部、２６ 滞留判定部、３１ 画像記憶部、４１ 撮影装置、５１ 矩形領域、５２ 対象物領域、５３ 対象物領域画像データ、５４ 積算画像データ、５５ 滞留領域。

Claims (9)

1. 撮影領域を撮影装置によって撮影することにより得られた複数のフレームの撮影画像データそれぞれを対象として、画像データから対象物を検出する検出モデルを用いて対象の撮影画像データに含まれる対象物を検出する対象物検出部と、
   前記対象の撮影画像データにおいて前記対象物検出部によって検出された対象物がいる対象物領域を特定する対象物領域特定部と、
   前記複数のフレームの撮影画像データのうち基準数以上の撮影画像データを対象として前記対象物領域特定部によって前記対象物領域として特定された領域を、対象物が滞留している滞留領域として検知する滞留検知部と、
   前記複数のフレームの撮影画像データの後のフレームの撮影画像データである後画像データにおける前記対象物領域を候補領域として、前記後画像データにおける前記候補領域が前記滞留検知部によって検知された前記滞留領域と基準割合以上に重複している場合に、前記後画像データを前記候補領域についてのテンプレートとして抽出するテンプレート抽出部と、
   前記後画像データの基準時間後に取得されるフレームの撮影画像データにおける前記候補領域の画像データが、前記テンプレート抽出部によって抽出された前記テンプレートにおける前記候補領域の画像データと類似すると判定された場合に、前記候補領域に対象物が滞留していると判定する滞留判定部と
   を備える滞留検知装置。
2. 前記対象物領域特定部は、前記対象の撮影画像データについて、前記対象物領域の画素を１とし、前記対象物領域以外の領域の画素を０とした２値の画像データを対象物領域画像データとして生成し、
   前記滞留検知部は、前記複数のフレームの撮影画像データそれぞれを対象として生成された前記対象物領域画像データである画像データについて、同じ位置についての画素毎に値を積算して積算画像データを生成し、前記積算画像データにおいて前記基準数以上の値となった領域を前記滞留領域として検知する
   請求項１に記載の滞留検知装置。
3. 前記滞留判定部は、前記後画像データの後のフレームの撮影画像データにおける前記候補領域の画像データが、前記撮影領域に対象物がいない状態で前記撮影領域を前記撮影装置によって撮影することにより得られた背景画像データにおける前記候補領域の画像データと類似する場合に、前記候補領域に対象物がいないと判定する
   請求項１又は２に記載の滞留検知装置。
4. 前記滞留判定部は、前記候補領域に対象物がいないと判定した場合には、前記候補領域についての前記テンプレートを除外し、前記基準時間後に取得されるフレームの撮影画像データにおける前記候補領域の画像データが、除外されていないテンプレートにおける前記候補領域の画像データと類似すると判定された場合に、前記候補領域に対象物が滞留していると判定する
   請求項３に記載の滞留検知装置。
5. 前記テンプレート抽出部は、前記後画像データから複数の候補領域が特定されたとき、前記複数の候補領域の間の距離が閾値より短い場合と、前記複数の候補領域の重複率が閾値より高い場合と、前記複数の候補領域が同じ滞留領域により特定された場合との少なくともいずれかの場合に、前記複数の候補領域を１つの候補領域に統合するテンプレートと
   して抽出する
   請求項１から４までのいずれか１項に記載の滞留検知装置。
6. 前記滞留判定部は、前記後画像データの後に取得されるフレームの撮影画像データにおける前記候補領域の画像データの一定数が、前記テンプレート抽出部によって抽出された前記テンプレートにおける前記候補領域の画像データと類似しないと判定された場合に、前記撮影画像データにおける前記候補領域から除外する
   請求項１から５までのいずれか１項に記載の滞留検知装置。
7. 前記対象物領域特定部は、検出された対象物がいる領域のうち中央部に近い一部の領域だけを前記対象物領域として特定する
   請求項１から６までのいずれか１項に記載の滞留検知装置。
8. 対象物検出部が、撮影領域を撮影装置によって撮影することにより得られた複数のフレームの撮影画像データそれぞれを対象として、画像データから対象物を検出する検出モデルを用いて対象の撮影画像データに含まれる対象物を検出し、
   対象物領域特定部が、前記対象の撮影画像データにおいて検出された対象物がいる対象物領域を特定し、
   滞留検知部が、前記複数のフレームの撮影画像データのうち基準数以上の撮影画像データを対象として前記対象物領域として特定された領域を、対象物が滞留している滞留領域として検知し、
   テンプレート抽出部が、前記複数のフレームの撮影画像データの後のフレームの撮影画像データである後画像データにおける前記対象物領域を候補領域として、前記後画像データにおける前記候補領域が前記滞留領域と基準割合以上に重複している場合に、前記後画像データを前記候補領域についてのテンプレートとして抽出し、
   滞留判定部が、前記後画像データの基準時間後に取得されるフレームの撮影画像データにおける前記候補領域の画像データが、前記テンプレートにおける前記候補領域の画像データと類似すると判定された場合に、前記候補領域に対象物が滞留していると判定する滞留検知方法。
9. 撮影領域を撮影装置によって撮影することにより得られた複数のフレームの撮影画像データそれぞれを対象として、画像データから対象物を検出する検出モデルを用いて対象の撮影画像データに含まれる対象物を検出する対象物検出処理と、
   前記対象の撮影画像データにおいて前記対象物検出処理によって検出された対象物がいる対象物領域を特定する対象物領域特定処理と、
   前記複数のフレームの撮影画像データのうち基準数以上の撮影画像データを対象として前記対象物領域特定処理によって前記対象物領域として特定された領域を、対象物が滞留している滞留領域として検知する滞留検知処理と、
   前記複数のフレームの撮影画像データの後のフレームの撮影画像データである後画像データにおける前記対象物領域を候補領域として、前記後画像データにおける前記候補領域が前記滞留検知処理によって検知された前記滞留領域と基準割合以上に重複している場合に、前記後画像データを前記候補領域についてのテンプレートとして抽出するテンプレート抽出処理と、
   前記後画像データの基準時間後に取得されるフレームの撮影画像データにおける前記候補領域の画像データが、前記テンプレート抽出処理によって抽出された前記テンプレートにおける前記候補領域の画像データと類似すると判定された場合に、前記候補領域に対象物が滞留していると判定する滞留判定処理と
   を行う滞留検知装置としてコンピュータを機能させる滞留検知プログラム。

Images