JP6945517B2 - 置去物検知装置、置去物検知方法及び置去物検知プログラム - Google Patents
置去物検知装置、置去物検知方法及び置去物検知プログラム Download PDFInfo
- Publication number
- JP6945517B2 JP6945517B2 JP2018234041A JP2018234041A JP6945517B2 JP 6945517 B2 JP6945517 B2 JP 6945517B2 JP 2018234041 A JP2018234041 A JP 2018234041A JP 2018234041 A JP2018234041 A JP 2018234041A JP 6945517 B2 JP6945517 B2 JP 6945517B2
- Authority
- JP
- Japan
- Prior art keywords
- image data
- area
- leftover
- captured image
- frames
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims description 123
- 235000021190 leftovers Nutrition 0.000 title description 105
- 238000000034 method Methods 0.000 claims description 86
- 230000008569 process Effects 0.000 claims description 81
- 238000000605 extraction Methods 0.000 claims description 16
- 239000000284 extract Substances 0.000 claims description 8
- 238000002679 ablation Methods 0.000 claims description 3
- 230000008685 targeting Effects 0.000 claims description 3
- 230000004048 modification Effects 0.000 description 17
- 238000012986 modification Methods 0.000 description 17
- 230000006870 function Effects 0.000 description 10
- 238000004891 communication Methods 0.000 description 7
- 238000003708 edge detection Methods 0.000 description 7
- 238000006243 chemical reaction Methods 0.000 description 6
- 230000010354 integration Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 4
- 238000009499 grossing Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 230000008021 deposition Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007717 exclusion Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Description
この発明は、移動している物体を置去物として誤検知することの防止を目的とする。
撮影領域を撮影装置によって撮影することにより得られた複数のフレームの撮影画像データそれぞれを対象として、対象の撮影画像データと、前記撮影領域に置き去られた物体である置去物がない状態で前記撮影領域を前記撮影装置によって撮影することにより得られた背景画像データとの間の差分がある領域を示す背景差分情報を計算する背景差分計算部と、
前記複数のフレームの撮影画像データのうち基準数以上の撮影画像データを対象として計算された前記背景差分情報が差分が有ることを示す領域を、前記置去物がある置去領域として検知する置去物検知部と
を備える。
前記置去物検知部は、前記複数のフレームの撮影画像データそれぞれを対象として計算された前記背景差分情報である画像データについて、同じ位置についての画素毎に値を積算して積算画像データを生成し、前記積算画像データにおいて前記基準数以上の値となった領域を前記置去領域として検知する。
前記対象の撮影画像データと、前記対象の撮影画像データの前のフレームの撮影画像データとの間の差分がある領域を示すフレーム差分情報を計算するフレーム差分計算部
を備え、
前記置去物検知部は、前記基準数以上の撮影画像データを対象として計算された前記背景差分情報が差分が有ることを示す領域のうち、制限数以上の撮影画像データを対象として計算された前記フレーム差分情報が差分が無いことを示す領域を、前記置去領域として検知する。
前記対象の撮影画像データと、前記対象の撮影画像データの前のフレームの撮影画像データとの間の差分がある領域の画素を0とし、差分がない領域の画素を1とした2値の画像データをフレーム差分情報として計算するフレーム差分計算部
を備え、
前記置去物検知部は、前記複数のフレームの撮影画像データそれぞれを対象として計算された前記背景差分情報である画像データ及び前記フレーム差分情報である画像データについて、同じ位置についての画素毎に値を積算して積算画像データを生成し、前記積算画像データにおいて前記基準数よりも多い第2基準数以上の値となった領域を前記置去領域として検知する。
前記複数のフレームの撮影画像データのうち、前記置去物検知部によって検知された前記置去領域について前記背景画像データとの間に差分が有る撮影画像データをテンプレートとして抽出するテンプレート抽出部と、
前記複数のフレームの撮影画像データの後に、さらに基準期間以上経過した後のフレームの撮影画像データにおける前記置去領域の画像データが、前記テンプレートにおける前記置去領域の画像データと類似する場合に、前記置去領域に前記置去物があると判定する置去物判定部と
を備える。
置去物検知装置の背景差分計算部が、撮影領域を撮影装置によって撮影することにより得られた複数のフレームの撮影画像データそれぞれを対象として、対象の撮影画像データと、前記撮影領域に置き去られた物体である置去物がない状態で前記撮影領域を前記撮影装置によって撮影することにより得られた背景画像データとの間の差分がある領域を示す背景差分情報を計算し、
前記置去物検知装置の置去物検知部が、前記複数のフレームの撮影画像データのうち基準数以上の撮影画像データを対象として計算された前記背景差分情報が差分が有ることを示す領域を、前記置去物がある置去領域として検知する。
背景差分計算部が、撮影領域を撮影装置によって撮影することにより得られた複数のフレームの撮影画像データそれぞれを対象として、対象の撮影画像データと、前記撮影領域に置き去られた物体である置去物がない状態で前記撮影領域を前記撮影装置によって撮影することにより得られた背景画像データとの間の差分がある領域を示す背景差分情報を計算する背景差分計算処理と、
置去物検知部が、前記複数のフレームの撮影画像データのうち基準数以上の撮影画像データを対象として前記背景差分計算処理によって計算された前記背景差分情報が差分が有ることを示す領域を、前記置去物がある置去領域として検知する置去物検知処理と
を行う置去物検知方法としてコンピュータを機能させる。
***構成の説明***
図1を参照して、実施の形態1に係る置去物検知装置10の構成を説明する。
置去物検知装置10は、コンピュータである。
置去物検知装置10は、プロセッサ11と、メモリ12と、ストレージ13と、通信インタフェース14とのハードウェアを備える。プロセッサ11は、信号線を介して他のハードウェアと接続され、これら他のハードウェアを制御する。
ストレージ13には、置去物検知装置10の各機能構成要素の機能を実現するプログラムが格納されている。このプログラムは、プロセッサ11によりメモリ12に読み込まれ、プロセッサ11によって実行される。これにより、置去物検知装置10の各機能構成要素の機能が実現される。
図2から図6を参照して、実施の形態1に係る置去物検知装置10の動作を説明する。
実施の形態1に係る置去物検知装置10の動作は、実施の形態1に係る置去物検知方法に相当する。また、実施の形態1に係る置去物検知装置10の動作は、実施の形態1に係る置去物検知プログラムの処理に相当する。
(ステップS11:画像取得処理)
画像取得部21は、通信インタフェース14を介して、撮影領域を撮影装置41によって撮影することにより得られた最新のフレームの撮影画像データを取得する。画像取得部21は、最新のフレームの撮影画像データをメモリ12に書き込む。
背景差分計算部22は、ステップS11で取得された撮影画像データと、画像記憶部31に記憶された背景画像データとの間の差分がある領域を示す背景差分情報を計算する。背景差分計算部22は、撮影画像データと対応付けて背景差分情報をメモリ12に書き込む。
背景差分情報は、撮影画像データと背景画像データとの間におけるテクスチャの性質を定量的に表したテクスチャ特徴において差分がある領域を示す。テクスチャの性質とは、テクスチャの粗さと、方向性と、規則性と、粒状であるか線状であるかといったことである。実施の形態1では、テクスチャ特徴は、エッジ検出によって抽出されるエッジ特徴である。
置去物検知部23は、過去の複数のフレームの撮影画像データのうち基準数以上の撮影画像データを対象としてステップS12で計算された背景差分情報が差分が有ることを示す領域を、置去物がある置去領域として検知する。
基準数は、検知漏れと誤検知との関係と、過去の複数のフレームを何フレームとするかといった情報から事前に決定される値である。
(ステップS121:マスク処理)
背景差分計算部22は、ステップS11で取得された撮影画像データについて、置去物が存在し得ない領域をマスクして、以下の処理の対象外の領域とする。背景差分計算部22は、画像記憶部31に記憶された背景画像データについても、同様に置去物が存在し得ない領域をマスクして、以下の処理の対象外の領域とする。
置去物が存在し得ない領域とは、具体例としては、空と、看板又は柱がある領域と等である。置去物が存在し得ない領域を処理の対象外とすることにより、以下の処理の処理量を削減することができる。以下のステップS122からステップS125の処理では、撮影画像データ及び背景画像データのうち、マスクされていない領域についてのみ処理が行われる。
背景差分計算部22は、カラーの画像データである撮影画像データをグレースケールの画像データに変換する。背景差分計算部22は、同様に、カラーの画像データである背景画像データをグレースケールの画像データに変換する。
背景差分計算部22は、ステップS122でグレースケールの画像データに変換された撮影画像データについてエッジ検出処理を行いエッジ特徴を抽出する。背景差分計算部22は、背景画像データについても、同様にエッジ検出処理を行いエッジ特徴を抽出する。
エッジ検出処理は、既存の手法が用いられる。
背景差分計算部22は、ステップS123で撮影画像データから抽出されたエッジ特徴を表す画像データに対して、膨張処理を実行し、その後平滑化処理を実行し、その後オープニング処理を実行し、その後クロージング処理を実行する。背景差分計算部22は、ステップS123で背景画像データから抽出されたエッジ特徴を表す画像データに対しても、同様に、膨張処理を実行し、その後平滑化処理を実行し、その後オープニング処理を実行し、その後クロージング処理を実行する。
膨張処理と、オープニング処理と、クロージング処理とは、モルフォロジー変換の処理である。平滑化処理は、画像の輝度値を滑らかにする処理であり、例えば移動平均フィルタ又はガウシアンフィルタを用いて実行される処理である。
背景差分計算部22は、ステップS124で変換された後の撮影画像データと背景画像データとの差分がある領域を示す背景差分情報を計算する。具体的には、背景差分計算部22は、撮影画像データと背景画像データとの間で、差分がある領域の画素を1とし、差分が無い領域の画素を0とした2値の画像データを背景差分情報として計算する。
背景差分計算部22は、計算された背景差分情報を、ステップS11で取得された撮影画像データについての背景差分情報としてメモリ12に書き込む。
(ステップS131:差分情報取得処理)
置去物検知部23は、過去Nフレームの撮影画像データについての背景差分情報をメモリ12から読み出す。Nは、2以上の整数である。過去Nフレームの撮影画像データは、直近N個のフレームの撮影画像データである。
ここでは、上述した通り、背景差分情報は、撮影画像データと背景画像データとの間で、差分がある領域の画素を1とし、差分が無い領域の画素を0とした2値の画像データである。
置去物検知部23は、ステップS131で読み出された全ての背景差分情報の画像データについて、置去物が存在し得ない領域をマスクして、以下の処理の対象外の領域とする。
以下のステップS133からステップS136の処理では、背景差分情報の画像データのうち、マスクされていない領域についてのみ処理が行われる。
置去物検知部23は、ステップS131で読み出された全ての背景差分情報の画像データについて、同じ位置についての画素毎に値を積算して積算画像データを生成する。つまり、置去物検知部23は、過去Nフレームの撮影画像データについての背景差分情報を、同じ位置についての画素の値を足し合わせることにより、積算画像データを生成する。
つまり、鞄51は、背景差分情報Xと背景差分情報Yと背景差分情報Zとの全てに示されているため、鞄51の領域の画素の値は3になる。人52は、背景差分情報Yにのみ示されているため、人52の領域の画素の値は1になる。その他の領域の画素の値は0になる。人52が背景差分情報Yにのみ示されているのは、人52が移動することにより、一時的に撮影装置41の撮影領域に入ったためである。
置去物検知部23は、ステップS133で生成された積算画像データにおいて基準数以上の値となった画素を1とし、基準数未満の値となった画素を0とすることにより、積算画像データを2値の画像データに変換する。
図5の(B)に示す積算画像データについて、基準数を3として2値の画像データに変換すると、図6に示すようになる。つまり、3つの背景差分情報の画像データで示されていた鞄51については、2値の画像データでは画素の値が1になる。これに対して、1つの背景差分情報の画像データでしか示されていなかった人52については、積算画像データにおける画素の値が1であるため、2値の画像データでは画素の値が0になってしまう。
置去物検知部23は、ステップS134で変換された積算画像データについて、膨張処理を実行する。膨張処理は、モルフォロジー変換の処理である。
本来1つの置去領域として検知されるべきものが、撮影画像データが鮮明でなかったこと等の影響により2つの領域に分かれてしまうことがある。膨張処理を実行することにより、このように2つの領域に分かれてしまったものが1つの領域にまとまる可能性がある。
置去物検知部23は、ステップS135で膨張処理が実行された後の積算画像データから、画素の値が1の領域を置去物がある置去領域として検知する。
図6の積算画像データの場合には、鞄51の領域が置去領域として検知される。
以上のように、実施の形態1に係る置去物検知装置10は、過去Nフレームの撮影画像データのうち、基準数以上の撮影画像データを対象として計算された背景差分情報が差分が有ることを示す領域を、置去物がある置去領域として検知する。これにより、移動している物体がある領域は、置去領域とならない可能性が高くなる。したがって、移動している物体を置去物として誤検知することをある程度防止可能である。
<変形例1>
実施の形態1で説明した方法では、置去物としてあり得ないサイズの置去領域が検知される可能性がある。そこで、置去物検知部23は、置去物としてあり得ないサイズの置去領域を除外するため、制限サイズを設定してもよい。そして、置去物検知部23は、基準数以上の撮影画像データを対象として計算された背景差分情報が差分が有ることを示す領域が制限サイズ内である場合に、置去領域として検知してもよい。
例えば、図7に示すように、撮影画像データを上下方向の位置に応じて上側領域と中間領域と下側領域との3つの領域に分け、上側領域と中間領域と下側領域とのそれぞれについて別々に制限サイズが設定される。上側領域は、撮影装置41から離れた領域であるため、大きい置去物があるとは考えられない。そこで、上側領域は、ある程度のサイズ以下の領域だけが置去領域として検知されるように、制限サイズが設定される。また、下側領域は、撮影装置41に近い領域であるため、小さい置去物があるとは考えられない。そこで、下側領域は、ある程度のサイズ以上の領域だけが置去領域として検知されるように、制限サイズが設定される。また、中間領域は、中くらいの置去物だけがあると考えられる。そこで、中間領域は、あるサイズより大きく、あるサイズよりも小さい領域だけが置去領域として検知されるように、制限サイズが設定される。
なお撮影画像データの領域の区切りは図7に示したように、直線に等分に区切るだけでなく、撮影装置41が撮影する撮影領域に応じて、不等分に曲線による区切りでもよい。また上下方向ではなく左右方向で区切りでもよい。領域の区切り数も任意に設定可能である。つまり撮影画像データに応じて、任意の位置での制限サイズを設定することができる。
実施の形態1では、各機能構成要素がソフトウェアで実現された。しかし、変形例2として、各機能構成要素はハードウェアで実現されてもよい。この変形例2について、実施の形態1と異なる点を説明する。
各機能構成要素がハードウェアで実現される場合には、置去物検知装置10は、プロセッサ11とメモリ12とストレージ13とに代えて、電子回路15を備える。電子回路15は、各機能構成要素と、メモリ12と、ストレージ13との機能とを実現する専用の回路である。
各機能構成要素を1つの電子回路15で実現してもよいし、各機能構成要素を複数の電子回路15に分散させて実現してもよい。
変形例3として、一部の各機能構成要素がハードウェアで実現され、他の各機能構成要素がソフトウェアで実現されてもよい。
実施の形態2は、フレーム間の差分であるフレーム差分情報を用いて置去領域を検知する点が実施の形態1と異なる。実施の形態2は、この異なる点を説明し、同一の点については説明を省略する。
図9を参照して、実施の形態2に係る置去物検知装置10の構成を説明する。
置去物検知装置10は、フレーム差分計算部24を備える点が図1に示す実施の形態1に係る置去物検知装置10と異なる。
図10から図15を参照して、実施の形態2に係る置去物検知装置10の動作を説明する。
実施の形態2に係る置去物検知装置10の動作は、実施の形態2に係る置去物検知方法に相当する。また、実施の形態2に係る置去物検知装置10の動作は、実施の形態2に係る置去物検知プログラムの処理に相当する。
ステップS21からステップS22の処理は、図2のステップS11からステップS12の処理と同じである。
フレーム差分計算部24は、ステップS21で取得された撮影画像データと、ステップS21で取得された撮影画像データの前のフレームの撮影画像データとの間の差分がある領域を示すフレーム差分情報を計算する。
置去物検知部23は、過去の複数のフレームの撮影画像データのうち基準数以上の撮影画像データを対象としてステップS23で計算された背景差分情報が差分が有ることを示す領域を特定する。置去物検知部23は、特定された領域のうち、制限数以上の撮影画像データを対象としてステップS23で計算されたフレーム差分情報が差分が無いことを示す領域を、置去領域として検知する。
制限数は、検知漏れと誤検知との関係と、過去の複数のフレームを何フレームとするかといった情報から事前に決定される値である。
ステップS231からステップS234の処理は、原則として図3のステップS121からステップS124の処理と同じである。但し、図3のステップS121からステップS124の処理では、背景差分計算部22が、ステップS11で取得された撮影画像データと背景画像データとを対象として処理を行った。これに対して、ステップS231からステップS234の処理では、フレーム差分計算部24が、ステップS21で取得された撮影画像データと、ステップS21で取得された撮影画像データの前のフレームの撮影画像データとを対象として処理を行う。
フレーム差分計算部24は、ステップS234で変換された後の撮影画像データと、前のフレームの撮影画像データとの差分がある領域を示すフレーム差分情報を計算する。具体的には、フレーム差分計算部24は、撮影画像データと前のフレームの撮影画像データとの間で、差分がある領域の画素を0とし、差分が無い領域の画素を1とした2値の画像データを背景差分情報として計算する。ここで、背景差分情報とフレーム差分情報とでは、差分がある領域の画素と、差分が無い領域の画素との値が逆になっている。
フレーム差分計算部24は、計算されたフレーム差分情報を、ステップS21で取得された撮影画像データについてのフレーム差分情報としてメモリ12に書き込む。
(ステップS241:差分情報取得処理)
置去物検知部23は、過去Nフレームの撮影画像データについての背景差分情報及びフレーム差分情報をメモリ12から読み出す。Nは、2以上の整数である。過去Nフレームの撮影画像データは、直近N個のフレームの撮影画像データである。
ここでは、上述した通り、背景差分情報は、撮影画像データと背景画像データとの間で、差分がある領域の画素を1とし、差分が無い領域の画素を0とした2値の画像データである。また、フレーム差分情報は、撮影画像データと前のフレームの撮影画像データとの間で、差分がある領域の画素を0とし、差分が無い領域の画素を1とした2値の画像データである。
置去物検知部23は、ステップS241で読み出された全ての背景差分情報及びフレーム差分情報の画像データについて、置去物が存在し得ない領域をマスクして、以下の処理の対象外の領域とする。
以下のステップS243からステップS246の処理では、背景差分情報及びフレーム差分情報の画像データのうち、マスクされていない領域についてのみ処理が行われる。
置去物検知部23は、実施の形態1と同様に、ステップS241で読み出された全ての背景差分情報の画像データについて、同じ位置についての画素毎に値を積算して背景積算画像データを生成する。また、置去物検知部23は、ステップS241で読み出された全てのフレーム差分情報の画像データについて、同じ位置についての画素毎に値を積算してフレーム積算画像データを生成する。
つまり、鞄53及び物体54は、背景差分情報Xと背景差分情報Yと背景差分情報Zとの全てに示されているため、鞄53及び物体54の領域の画素の値は3になる。その他の領域の画素の値は0になる。
また、図14の(A)に示すように、フレーム差分情報X’とフレーム差分情報Y’とフレーム差分情報Z’との3つのフレーム差分情報の画像データがあるとする。この場合には、フレーム差分情報X’とフレーム差分情報Y’とフレーム差分情報Z’とについて、同じ位置を表す画素の値を足し合わせることにより、図14の(B)に示すように、フレーム積算画像データが生成される。
つまり、領域55は、背景差分情報Xと背景差分情報Yと背景差分情報Zとの全てに前のフレームとの差分があったため、領域55の画素の値は0になり、その他の領域の画素の値は3になる。
置去物検知部23は、ステップS243で生成された背景積算画像データにおいて基準数以上の値となり、かつ、フレーム積算画像データにおいて制限数以上の値となった画素を1とし、他の画素を0とした2値の積算画像データを生成する。
図13の(B)に示す背景積算画像データ及び図14の(B)に示すフレーム積算画像データについて、基準数及び制限数を3として2値の積算画像データを生成すると、図15に示すようになる。つまり、3つの背景差分情報の画像データで示されていた鞄53については、積算画像データでは画素の値が1になる。これに対して、物体54については、3つの背景差分情報の画像データで示されているものの、フレーム積算画像データの画像データにおける領域55と重なる位置にあるため、積算画像データでは画素の値が0になる。
置去物検知部23は、ステップS244で生成された積算画像データについて、膨張処理を実行する。膨張処理は、モルフォロジー変換の処理である。
置去物検知部23は、ステップS245で膨張処理が実行された後の積算画像データから、画素の値が1の領域を置去物がある置去領域として検知する。
図15の積算画像データの場合には、鞄53の領域が置去領域として検知される。
以上のように、実施の形態2に係る置去物検知装置10は、背景差分情報だけでなく、フレーム差分情報も用いて、置去領域を検知する。フレーム差分情報では、移動する物体がある領域が特定される。そのため、フレーム差分情報を用いることにより、移動する物体があった領域を置去領域として検知され難くすることが可能である。
<変形例4>
実施の形態2では、図12のステップS243で、置去物検知部23は、背景差分情報の画像データを積算した背景積算画像データと、フレーム差分情報の画像データを積算したフレーム積算画像データとを生成した。しかし、置去物検知部23は、背景差分情報の画像データと、フレーム差分情報の画像データとの両方を積算して、1つの積算画像データを生成してもよい。
この場合には、置去物検知部23は、ステップS241で読み出された全ての背景差分情報の画像データ及びフレーム差分情報の画像データについて、同じ位置についての画素毎に値を積算して積算画像データを生成する。つまり、置去物検知部23は、過去Nフレームの撮影画像データについての背景差分情報及びフレーム差分情報を、同じ位置についての画素の値を足し合わせることにより、積算画像データを生成する。
つまり、3つの背景差分情報の画像データで示されており、かつ、領域55と重ならない鞄53については、画素の値が6になる。また、物体54については、3つの背景差分情報の画像データで示されているものの、領域55と重なるため、画素の値が3になる。鞄53及び物体54以外の領域については、領域55と重ならない部分の画素の値が3になり、領域55と重なる部分の画素の値が0になる。
図16に示す積算画像データについて、第2基準数を6として2値の画像データに変換すると、図17に示すようになる。つまり、鞄53については、2値の画像データでは画素の値が1になる。これに対して、物体54については、2値の画像データでは画素の値が0になる。
実施の形態3では、検知された置去領域の画像データをテンプレートとして、その後のフレームの画像データと比較をして、置去領域に置去物があるか否かを判定する点が実施の形態1,2と異なる。実施の形態3では、この異なる点を説明し、同一の点については説明を省略する。
ここでは、実施の形態1に機能を追加した例を説明する。しかし、実施の形態2に対しても同様に機能を追加することが可能である。
図18を参照して、実施の形態3に係る置去物検知装置10の構成を説明する。
置去物検知装置10は、テンプレート抽出部25と置去物判定部26とを備える点が図1に示す実施の形態1に係る置去物検知装置10と異なる。
図19を参照して、実施の形態3に係る置去物検知装置10の動作を説明する。
実施の形態3に係る置去物検知装置10の動作は、実施の形態3に係る置去物検知方法に相当する。また、実施の形態3に係る置去物検知装置10の動作は、実施の形態3に係る置去物検知プログラムの処理に相当する。
テンプレート抽出部25は、ステップS33で検知された置去領域が新規の置去領域であるか否かを判定する。
テンプレート抽出部25は、新規の置去領域である場合には、処理をステップS35に進める。一方、テンプレート抽出部25は、新規の置去領域でない場合には、処理をステップS36に進める。
テンプレート抽出部25は、ステップS33で検知された置去領域を置去候補に追加する。そして、テンプレート抽出部25は、ステップS33で対象とした過去複数のフレームの撮影画像データのうち、ステップS33で検知された置去領域について背景差分情報が差分が有ることを示す撮影画像データを、置去候補についてのテンプレートとして抽出する。
実施の形態3では、テンプレート抽出部25は、ステップS31で取得された撮影画像データをテンプレートとして抽出する。ここで、ステップS31で取得された撮影画像データが取得されたことにより新規に置去領域が検知されたので、ステップS31で取得された撮影画像データについての背景差分情報は、置去領域について差分が有ることを示す。
置去物判定部26は、対象の置去候補が示す領域について、ステップS31で取得された撮影画像データと、背景画像データとが類似するか否かを判定する。また、置去物判定部26は、対象の置去候補が示す領域について、ステップS31で取得された撮影画像データと、対象の置去候補についてのテンプレートとが類似するか否かを判定する。
具体的には、置去物判定部26は、撮影画像データ及び背景画像データの置去候補が示す領域を対象として、グレースケールの画像データに変換した上で、エッジ検出を行いエッジ特徴を抽出する。そして、置去物判定部26は、撮影画像データのエッジ特徴と、背景画像データのエッジ特徴との相関値を計算する。置去物判定部26は、相関値が閾値以上の場合に、撮影画像データと背景画像データとが類似すると判定する。
同様に、置去物判定部26は、撮影画像データ及びテンプレートの置去候補が示す領域を対象として、グレースケールの画像データに変換した上で、エッジ検出を行いエッジ特徴を抽出する。そして、置去物判定部26は、撮影画像データのエッジ特徴と、テンプレートのエッジ特徴との相関値を計算する。置去物判定部26は、相関値が閾値以上の場合に、撮影画像データとテンプレートとが類似すると判定する。
置去物判定部26は、対象の置去候補が示す領域を置去候補から除外する。つまり、対象の置去候補が示す領域について、撮影画像データと背景画像データとが類似するということは、対象の置去候補が示す領域には置去物がなくなったことを意味するため、置去物判定部26は、対象の置去候補が示す領域を置去候補から除外する。
置去物判定部26は、対象の置去候補が追加されてから基準期間以上経過したか否かを判定する。基準期間は、物が置かれてからどの程度経過した場合に置き去りとして扱うかに応じて決定される期間である。
置去物判定部26は、基準期間以上経過した場合には、処理をステップS39に進める。一方、置去物判定部26は、基準期間以上経過していない場合には、対象の置去候補についての処理を終了する。
置去物判定部26は、対象の置去候補が示す領域に置去物があると判定し、通信インタフェース14を介して通知を送信する。
以上のように、実施の形態3に係る置去物検知装置10は、検知された置去領域の画像データをテンプレートとして、その後のフレームの画像データと比較をして、置去領域に置去物があるか否かを判定する。そして、置去物検知装置10は、置去領域が検知されてから基準期間以上経過しても変化しない場合にのみ置去物があると判定する。これにより、移動する物体があった領域に置去物があると判定され難くなる。
<変形例5>
実施の形態3では、新たなフレームの撮影画像データが背景画像データ及びテンプレートのどちらとも類似しない場合には、置去候補に残しておいた。つまり、オクルージョンが発生して、新たなフレームの撮影画像データがテンプレートと類似しない場合であっても、置去候補に残しておいた。
しかし、一定数以上連続したフレームの撮影画像データがテンプレートと類似しない場合には、置去候補から除外してもよい。
Claims (10)
- 撮影領域を撮影装置によって撮影することにより得られた複数のフレームの撮影画像データそれぞれを対象として、対象の撮影画像データと、前記撮影領域に置き去られた物体である置去物がない状態で前記撮影領域を前記撮影装置によって撮影することにより得られた背景画像データとの間の差分がある領域を示す背景差分情報を計算する背景差分計算部と、
2以上の整数Nを用いて、前記複数のフレームにおける過去Nフレームの撮影画像データを対象として計算された前記背景差分情報のうち、前記過去Nフレームに含まれるフレーム数N未満である基準数以上の前記背景差分情報で差分が有ることが示された領域を、前記置去物がある置去領域として検知する置去物検知部と、
前記置去物検知部によって検知された前記置去領域を置去候補に追加し、前記複数のフレームの撮影画像データのうち、前記置去領域について前記背景画像データとの間に差分が有る撮影画像データを、追加された前記置去候補についてのテンプレートとして抽出するテンプレート抽出部と、
新たにフレームが取得される度に各置去候補を対象候補として置去物があるか否かを判定する置去物判定部であり、前記複数のフレームの撮影画像データの後に取得されるフレームであって、前記対象候補について前記置去物検知部によって置去領域として検知されてから基準期間経過する前に取得されるフレームである対象フレームの撮影画像データにおける前記対象候補の領域の画像データが、前記背景画像データにおける前記対象候補の領域の画像データと類似している場合には、前記対象候補を置去候補から除外し、前記複数のフレームの撮影画像データの後に取得されるフレームであって、前記対象候補について前記置去物検知部によって前記置去領域として検知されてから基準期間以上経過した後に取得されるフレームの撮影画像データにおける前記対象候補の領域の画像データが、前記テンプレートにおける前記対象候補の領域の画像データと類似する場合には、前記対象候補の領域に前記置去物があると判定する置去物判定部と
を備える置去物検知装置。 - 前記置去物判定部は、前記対象フレームの撮影画像データにおける前記対象候補の領域の画像データが、前記テンプレートにおける前記対象候補の領域の画像データ及び前記背景画像データにおける前記対象候補の領域の画像データのどちらとも類似しないと判定される状態が、判定数以上連続する対象フレームについて継続する場合には、前記対象候補を置去候補から除外する
請求項1に記載の置去物検知装置。 - 前記基準期間は、物が置かれてからどの程度経過した場合に置去りとして扱うかに応じて決定される期間である
請求項1又は2に記載の置去物検知装置。 - 前記背景差分計算部は、前記対象の撮影画像データと前記背景画像データとの間の差分がある領域の画素を1とし、差分がない領域の画素を0とした2値の画像データを前記背景差分情報として計算し、
前記置去物検知部は、前記複数のフレームの撮影画像データそれぞれを対象として計算された前記背景差分情報である画像データについて、同じ位置についての画素毎に値を積算して積算画像データを生成し、前記積算画像データにおいて前記基準数以上の値となった領域を前記置去領域として検知する
請求項1から3までのいずれか1項に記載の置去物検知装置。 - 前記置去物検知装置は、さらに、
前記対象の撮影画像データと、前記対象の撮影画像データの前のフレームの撮影画像データとの間の差分がある領域を示すフレーム差分情報を計算するフレーム差分計算部
を備え、
前記置去物検知部は、前記基準数以上の撮影画像データを対象として計算された前記背景差分情報が差分が有ることを示す領域のうち、制限数以上の撮影画像データを対象として計算された前記フレーム差分情報が差分が無いことを示す領域を、前記置去領域として検知する
請求項1から3までのいずれか1項に記載の置去物検知装置。 - 前記置去物検知装置は、さらに、
前記対象の撮影画像データと、前記対象の撮影画像データの前のフレームの撮影画像データとの間の差分がある領域の画素を0とし、差分がない領域の画素を1とした2値の画像データをフレーム差分情報として計算するフレーム差分計算部
を備え、
前記置去物検知部は、前記複数のフレームの撮影画像データそれぞれを対象として計算された前記背景差分情報である画像データ及び前記フレーム差分情報である画像データについて、同じ位置についての画素毎に値を積算して積算画像データを生成し、前記積算画像データにおいて前記基準数よりも多い第2基準数以上の値となった領域を前記置去領域として検知する
請求項4に記載の置去物検知装置。 - 前記背景差分情報は、前記対象の撮影画像データと前記背景画像データとの間におけるテクスチャの性質を定量的に表したテクスチャ特徴において差分がある領域を示す
請求項1から6までのいずれか1項に記載の置去物検知装置。 - 前記置去物検知部は、基準数以上の撮影画像データを対象として計算された前記背景差分情報が差分が有ることを示す領域が、撮影画像データの位置に応じて設定された制限サイズ内である場合に、前記置去領域として検知する
請求項1から7までのいずれか1項に記載の置去物検知装置。 - 置去物検知装置の背景差分計算部が、撮影領域を撮影装置によって撮影することにより得られた複数のフレームの撮影画像データそれぞれを対象として、対象の撮影画像データと、前記撮影領域に置き去られた物体である置去物がない状態で前記撮影領域を前記撮影装置によって撮影することにより得られた背景画像データとの間の差分がある領域を示す背景差分情報を計算し、
前記置去物検知装置の置去物検知部が、2以上の整数Nを用いて、前記複数のフレームにおける過去Nフレームの撮影画像データを対象として計算された前記背景差分情報のうち、前記過去Nフレームに含まれるフレーム数N未満である基準数以上の前記背景差分情報で差分が有ることが示された領域を、前記置去物がある置去領域として検知し、
前記置去物検知装置のテンプレート抽出部が、検知された前記置去領域を置去候補に追加し、前記複数のフレームの撮影画像データのうち、前記置去領域について前記背景画像データとの間に差分が有る撮影画像データを、追加された前記置去候補についてのテンプレートとして抽出し、
前記置去物検知装置の置去物判定部が、新たにフレームが取得される度に各置去候補を対象候補として、前記複数のフレームの撮影画像データの後に取得されるフレームであって、前記対象候補について置去領域として検知されてから基準期間経過する前に取得されるフレームである対象フレームの撮影画像データにおける前記対象候補の領域の画像データが、前記背景画像データにおける前記対象候補の領域の画像データと類似している場合には、前記対象候補を置去候補から除外し、前記複数のフレームの撮影画像データの後に取得されるフレームであって、前記対象候補について置去領域として検知されてから基準期間以上経過した後に取得されるフレームの撮影画像データにおける前記対象候補の領域の画像データが、前記テンプレートにおける前記対象候補の領域の画像データと類似する場合には、前記対象候補の領域に前記置去物があると判定する置去物検知方法。 - 撮影領域を撮影装置によって撮影することにより得られた複数のフレームの撮影画像データそれぞれを対象として、対象の撮影画像データと、前記撮影領域に置き去られた物体である置去物がない状態で前記撮影領域を前記撮影装置によって撮影することにより得られた背景画像データとの間の差分がある領域を示す背景差分情報を計算する背景差分計算処理と、
2以上の整数Nを用いて、前記複数のフレームにおける過去Nフレームの撮影画像データを対象として計算された前記背景差分情報のうち、前記過去Nフレームに含まれるフレーム数N未満である基準数以上の前記背景差分情報で差分が有ることが示された領域を、前記置去物がある置去領域として検知する置去物検知処理と、
前記置去物検知処理によって検知された前記置去領域を置去候補に追加し、前記複数のフレームの撮影画像データのうち、前記置去領域について前記背景画像データとの間に差分が有る撮影画像データを、追加された前記置去候補についてのテンプレートとして抽出するテンプレート抽出処理と、
新たにフレームが取得される度に各置去候補を対象候補として置去物があるか否かを判定する置去物判定処理であり、前記複数のフレームの撮影画像データの後に取得されるフレームであって、前記対象候補について前記置去物検知処理によって置去領域として検知されてから基準期間経過する前に取得されるフレームである対象フレームの撮影画像データにおける前記対象候補の領域の画像データが、前記背景画像データにおける前記対象候補の領域の画像データと類似している場合には、前記対象候補を置去候補から除外し、前記複数のフレームの撮影画像データの後に取得されるフレームであって、前記対象候補について前記置去物検知処理によって置去領域として検知されてから基準期間以上経過した後に取得されるフレームの撮影画像データにおける前記対象候補の領域の画像データが、前記テンプレートにおける前記対象候補の領域の画像データと類似する場合には、前記対象候補の領域に前記置去物があると判定する置去物判定処理と
を行う置去物検知装置としてコンピュータを機能させる置去物検知プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018234041A JP6945517B2 (ja) | 2018-12-14 | 2018-12-14 | 置去物検知装置、置去物検知方法及び置去物検知プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018234041A JP6945517B2 (ja) | 2018-12-14 | 2018-12-14 | 置去物検知装置、置去物検知方法及び置去物検知プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020095554A JP2020095554A (ja) | 2020-06-18 |
JP6945517B2 true JP6945517B2 (ja) | 2021-10-06 |
Family
ID=71085619
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018234041A Active JP6945517B2 (ja) | 2018-12-14 | 2018-12-14 | 置去物検知装置、置去物検知方法及び置去物検知プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6945517B2 (ja) |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH05205175A (ja) * | 1992-01-24 | 1993-08-13 | Hitachi Ltd | 物体検出装置 |
JP5464489B2 (ja) * | 2010-03-31 | 2014-04-09 | サクサ株式会社 | 置き去り又は持ち去り判定装置 |
JP2013065151A (ja) * | 2011-09-16 | 2013-04-11 | Sony Corp | 画像処理装置、画像処理方法、および、プログラム |
JP5832910B2 (ja) * | 2012-01-26 | 2015-12-16 | セコム株式会社 | 画像監視装置 |
-
2018
- 2018-12-14 JP JP2018234041A patent/JP6945517B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2020095554A (ja) | 2020-06-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7916944B2 (en) | System and method for feature level foreground segmentation | |
Hu et al. | Moving object detection and tracking from video captured by moving camera | |
US9773322B2 (en) | Image processing apparatus and image processing method which learn dictionary | |
US11657514B2 (en) | Image processing apparatus, image processing method, and storage medium | |
JP6525545B2 (ja) | 情報処理装置、情報処理方法及びコンピュータプログラム | |
Wang | Real-time moving vehicle detection with cast shadow removal in video based on conditional random field | |
CN110008795B (zh) | 图像目标追踪方法及其系统与计算机可读取记录介质 | |
Chien et al. | Video object segmentation and tracking framework with improved threshold decision and diffusion distance | |
US20200250803A1 (en) | Method for detecting and tracking target object, target object tracking apparatus, and computer-program product | |
TW201810186A (zh) | 用於更新背景模型之方法及裝置 | |
JP2004227160A (ja) | 侵入物体検出装置 | |
JP6188592B2 (ja) | 物体検出装置、物体検出方法、および物体検出プログラム | |
JP2018029237A5 (ja) | ||
US20200099854A1 (en) | Image capturing apparatus and image recording method | |
WO2017193679A1 (zh) | 自动检测单车是否倒地的方法 | |
Verma et al. | Analysis of moving object detection and tracking in video surveillance system | |
WO2018058573A1 (zh) | 对象检测方法、对象检测装置以及电子设备 | |
JP2018142828A (ja) | 付着物検出装置および付着物検出方法 | |
US20210089818A1 (en) | Deposit detection device and deposit detection method | |
TWI517100B (zh) | 移動物體追蹤方法及電子裝置 | |
JP6945517B2 (ja) | 置去物検知装置、置去物検知方法及び置去物検知プログラム | |
Wang et al. | Efficient visual tracking by probabilistic fusion of multiple cues | |
JP2018133042A (ja) | 放置物検出装置 | |
Abdusalomov et al. | Review on various widely used shadow detection methods to identify a shadow from images | |
JP6877501B2 (ja) | 滞留検知装置、滞留検知方法及び滞留検知プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20181214 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20191224 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200121 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200207 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20200707 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200904 |
|
C60 | Trial request (containing other claim documents, opposition documents) |
Free format text: JAPANESE INTERMEDIATE CODE: C60 Effective date: 20200904 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20200915 |
|
C21 | Notice of transfer of a case for reconsideration by examiners before appeal proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C21 Effective date: 20200929 |
|
A912 | Re-examination (zenchi) completed and case transferred to appeal board |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20201113 |
|
C211 | Notice of termination of reconsideration by examiners before appeal proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C211 Effective date: 20201117 |
|
C22 | Notice of designation (change) of administrative judge |
Free format text: JAPANESE INTERMEDIATE CODE: C22 Effective date: 20210420 |
|
C13 | Notice of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: C13 Effective date: 20210525 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210716 |
|
C30 | Protocol of an oral hearing |
Free format text: JAPANESE INTERMEDIATE CODE: C30 Effective date: 20210730 |
|
C23 | Notice of termination of proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C23 Effective date: 20210817 |
|
C03 | Trial/appeal decision taken |
Free format text: JAPANESE INTERMEDIATE CODE: C03 Effective date: 20210914 |
|
C30A | Notification sent |
Free format text: JAPANESE INTERMEDIATE CODE: C3012 Effective date: 20210914 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210914 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6945517 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |