JP6945517B2 - 置去物検知装置、置去物検知方法及び置去物検知プログラム - Google Patents

置去物検知装置、置去物検知方法及び置去物検知プログラム Download PDF

Info

Publication number
JP6945517B2
JP6945517B2 JP2018234041A JP2018234041A JP6945517B2 JP 6945517 B2 JP6945517 B2 JP 6945517B2 JP 2018234041 A JP2018234041 A JP 2018234041A JP 2018234041 A JP2018234041 A JP 2018234041A JP 6945517 B2 JP6945517 B2 JP 6945517B2
Authority
JP
Japan
Prior art keywords
image data
area
leftover
captured image
frames
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018234041A
Other languages
English (en)
Other versions
JP2020095554A (ja
Inventor
紘和 阿部
紘和 阿部
尭理 中尾
尭理 中尾
周平 北島
周平 北島
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Information Systems Corp
Original Assignee
Mitsubishi Electric Information Systems Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Information Systems Corp filed Critical Mitsubishi Electric Information Systems Corp
Priority to JP2018234041A priority Critical patent/JP6945517B2/ja
Publication of JP2020095554A publication Critical patent/JP2020095554A/ja
Application granted granted Critical
Publication of JP6945517B2 publication Critical patent/JP6945517B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

この発明は、撮影装置で撮影することによって得られた撮影画像データから、置き去られた物体である置去物を検知する技術に関する。
撮影領域を撮影装置によって撮影することにより得られた撮影画像データと、背景画像データとの違いを、画素毎の色情報で比較し、違いが一定以上ある領域に置去物がある領域として検知する技術がある。
特許文献1には、被写体としての確信度という概念を用いて、立ち止まっている人物と、置去物とを区別することが記載されている。
特開2015−165433号公報
従来の技術では、移動している物体を置去物として誤検知してしまう可能性があった。特許文献1に記載された技術を用いることにより、人といった特定の対象物については、置去物と区別することができるものの、特定の対象物以外については、依然として、移動している物体を置去物として誤検知してしまう可能性がある。
この発明は、移動している物体を置去物として誤検知することの防止を目的とする。
この発明に係る置去物検知装置は、
撮影領域を撮影装置によって撮影することにより得られた複数のフレームの撮影画像データそれぞれを対象として、対象の撮影画像データと、前記撮影領域に置き去られた物体である置去物がない状態で前記撮影領域を前記撮影装置によって撮影することにより得られた背景画像データとの間の差分がある領域を示す背景差分情報を計算する背景差分計算部と、
前記複数のフレームの撮影画像データのうち基準数以上の撮影画像データを対象として計算された前記背景差分情報が差分が有ることを示す領域を、前記置去物がある置去領域として検知する置去物検知部と
を備える。
前記背景差分計算部は、前記対象の撮影画像データと前記背景画像データとの間の差分がある領域の画素を1とし、差分がない領域の画素を0とした2値の画像データを前記背景差分情報として計算し、
前記置去物検知部は、前記複数のフレームの撮影画像データそれぞれを対象として計算された前記背景差分情報である画像データについて、同じ位置についての画素毎に値を積算して積算画像データを生成し、前記積算画像データにおいて前記基準数以上の値となった領域を前記置去領域として検知する。
前記置去物検知装置は、さらに、
前記対象の撮影画像データと、前記対象の撮影画像データの前のフレームの撮影画像データとの間の差分がある領域を示すフレーム差分情報を計算するフレーム差分計算部
を備え、
前記置去物検知部は、前記基準数以上の撮影画像データを対象として計算された前記背景差分情報が差分が有ることを示す領域のうち、制限数以上の撮影画像データを対象として計算された前記フレーム差分情報が差分が無いことを示す領域を、前記置去領域として検知する。
前記置去物検知装置は、さらに、
前記対象の撮影画像データと、前記対象の撮影画像データの前のフレームの撮影画像データとの間の差分がある領域の画素を0とし、差分がない領域の画素を1とした2値の画像データをフレーム差分情報として計算するフレーム差分計算部
を備え、
前記置去物検知部は、前記複数のフレームの撮影画像データそれぞれを対象として計算された前記背景差分情報である画像データ及び前記フレーム差分情報である画像データについて、同じ位置についての画素毎に値を積算して積算画像データを生成し、前記積算画像データにおいて前記基準数よりも多い第2基準数以上の値となった領域を前記置去領域として検知する。
前記置去物検知装置は、さらに、
前記複数のフレームの撮影画像データのうち、前記置去物検知部によって検知された前記置去領域について前記背景画像データとの間に差分が有る撮影画像データをテンプレートとして抽出するテンプレート抽出部と、
前記複数のフレームの撮影画像データの後に、さらに基準期間以上経過した後のフレームの撮影画像データにおける前記置去領域の画像データが、前記テンプレートにおける前記置去領域の画像データと類似する場合に、前記置去領域に前記置去物があると判定する置去物判定部と
を備える。
前記置去物判定部は、前記基準期間以上経過した後のフレームの撮影画像データにおける前記置去領域の画像データが、前記テンプレート抽出部によって抽出された前記テンプレートにおける前記置去領域の画像データと類似し、かつ、前記複数のフレームの撮影画像データの後のフレームから、前記置去領域の画像データが前記テンプレートと類似する撮影画像データよりも前のフレームまでのフレームの撮影画像データにおける前記置去領域の画像データが前記背景画像データにおける前記置去領域の画像データと類似しない場合に、前記置去領域に前記置去物があると判定する。
前記背景差分情報は、前記対象の撮影画像データと前記背景画像データとの間におけるテクスチャの性質を定量的に表したテクスチャ特徴において差分がある領域を示す。
前記置去物検知部は、基準数以上の撮影画像データを対象として計算された前記背景差分情報が差分が有ることを示す領域が、撮影画像データの上下方向の位置に応じて設定された制限サイズ内である場合に、前記置去領域として検知する。
この発明に係る置去物検知方法は、
置去物検知装置の背景差分計算部が、撮影領域を撮影装置によって撮影することにより得られた複数のフレームの撮影画像データそれぞれを対象として、対象の撮影画像データと、前記撮影領域に置き去られた物体である置去物がない状態で前記撮影領域を前記撮影装置によって撮影することにより得られた背景画像データとの間の差分がある領域を示す背景差分情報を計算し、
前記置去物検知装置の置去物検知部が、前記複数のフレームの撮影画像データのうち基準数以上の撮影画像データを対象として計算された前記背景差分情報が差分が有ることを示す領域を、前記置去物がある置去領域として検知する。
この発明に係る置去物検知プログラムは、
背景差分計算部が、撮影領域を撮影装置によって撮影することにより得られた複数のフレームの撮影画像データそれぞれを対象として、対象の撮影画像データと、前記撮影領域に置き去られた物体である置去物がない状態で前記撮影領域を前記撮影装置によって撮影することにより得られた背景画像データとの間の差分がある領域を示す背景差分情報を計算する背景差分計算処理と、
置去物検知部が、前記複数のフレームの撮影画像データのうち基準数以上の撮影画像データを対象として前記背景差分計算処理によって計算された前記背景差分情報が差分が有ることを示す領域を、前記置去物がある置去領域として検知する置去物検知処理と
を行う置去物検知方法としてコンピュータを機能させる。
この発明では、基準数以上の撮影画像データを対象として計算された背景差分情報が差分が有ることを示す領域を、置去物がある置去領域として検知する。これにより、移動している物体がある領域は、置去領域とならない可能性が高くなる。したがって、移動している物体を置去物として誤検知することをある程度防止可能である。
実施の形態1に係る置去物検知装置10の構成図。 実施の形態1に係る置去物検知装置10の全体的な処理のフローチャート。 実施の形態1に係る背景差分計算処理のフローチャート。 実施の形態1に係る置去物検知処理のフローチャート。 実施の形態1に係る積算処理の説明図。 実施の形態1に係る2値化処理の説明図。 変形例1に係る制限サイズの説明図。 変形例2に係る置去物検知装置10の構成図。 実施の形態2に係る置去物検知装置10の構成図。 実施の形態2に係る置去物検知装置10の全体的な処理のフローチャート。 実施の形態2に係るフレーム差分計算処理のフローチャート。 実施の形態2に係る置去物検知処理のフローチャート。 実施の形態2に係る積算処理の説明図。 実施の形態2に係る積算処理の説明図。 実施の形態2に係る2値化処理の説明図。 変形例4に係る積算処理の説明図。 変形例4に係る2値化処理の説明図。 実施の形態3に係る置去物検知装置10の構成図。 実施の形態3に係る置去物検知装置10の全体的な処理のフローチャート。
実施の形態1.
***構成の説明***
図1を参照して、実施の形態1に係る置去物検知装置10の構成を説明する。
置去物検知装置10は、コンピュータである。
置去物検知装置10は、プロセッサ11と、メモリ12と、ストレージ13と、通信インタフェース14とのハードウェアを備える。プロセッサ11は、信号線を介して他のハードウェアと接続され、これら他のハードウェアを制御する。
プロセッサ11は、プロセッシングを行うIC(Integrated Circuit)である。プロセッサ11は、具体例としては、CPU(Central Processing Unit)、DSP(Digital Signal Processor)、GPU(Graphics Processing Unit)である。
メモリ12は、データを一時的に記憶する記憶装置である。メモリ12は、具体例としては、SRAM(Static Random Access Memory)、DRAM(Dynamic Random Access Memory)である。
ストレージ13は、データを保管する記憶装置である。ストレージ13は、具体例としては、HDD(Hard Disk Drive)である。また、ストレージ13は、SD(登録商標,Secure Digital)メモリカード、CF(CompactFlash,登録商標)、NANDフラッシュ、フレキシブルディスク、光ディスク、コンパクトディスク、ブルーレイ(登録商標)ディスク、DVD(Digital Versatile Disk)といった可搬記録媒体であってもよい。
通信インタフェース14は、外部の装置と通信するためのインタフェースである。通信インタフェース14は、具体例としては、Ethernet(登録商標)、USB(Universal Serial Bus)、HDMI(登録商標,High−Definition Multimedia Interface)のポートである。
置去物検知装置10は、通信インタフェース14を介して、監視カメラといった撮影装置41と接続されている。
置去物検知装置10は、機能構成要素として、画像取得部21と、背景差分計算部22と、置去物検知部23とを備える。置去物検知装置10の各機能構成要素の機能はソフトウェアにより実現される。
ストレージ13には、置去物検知装置10の各機能構成要素の機能を実現するプログラムが格納されている。このプログラムは、プロセッサ11によりメモリ12に読み込まれ、プロセッサ11によって実行される。これにより、置去物検知装置10の各機能構成要素の機能が実現される。
また、ストレージ13は、画像記憶部31の機能を実現する。画像記憶部31には、背景画像データが記憶される。背景画像データは、撮影装置41の撮影領域に置き去られた物体である置去物がない状態で撮影領域を撮影装置41によって撮影することにより得られた画像データである。
図1では、プロセッサ11は、1つだけ示されていた。しかし、プロセッサ11は、複数であってもよく、複数のプロセッサ11が、各機能を実現するプログラムを連携して実行してもよい。
***動作の説明***
図2から図6を参照して、実施の形態1に係る置去物検知装置10の動作を説明する。
実施の形態1に係る置去物検知装置10の動作は、実施の形態1に係る置去物検知方法に相当する。また、実施の形態1に係る置去物検知装置10の動作は、実施の形態1に係る置去物検知プログラムの処理に相当する。
図2を参照して、実施の形態1に係る置去物検知装置10の全体的な処理を説明する。
(ステップS11:画像取得処理)
画像取得部21は、通信インタフェース14を介して、撮影領域を撮影装置41によって撮影することにより得られた最新のフレームの撮影画像データを取得する。画像取得部21は、最新のフレームの撮影画像データをメモリ12に書き込む。
(ステップS12:背景差分計算処理)
背景差分計算部22は、ステップS11で取得された撮影画像データと、画像記憶部31に記憶された背景画像データとの間の差分がある領域を示す背景差分情報を計算する。背景差分計算部22は、撮影画像データと対応付けて背景差分情報をメモリ12に書き込む。
背景差分情報は、撮影画像データと背景画像データとの間におけるテクスチャの性質を定量的に表したテクスチャ特徴において差分がある領域を示す。テクスチャの性質とは、テクスチャの粗さと、方向性と、規則性と、粒状であるか線状であるかといったことである。実施の形態1では、テクスチャ特徴は、エッジ検出によって抽出されるエッジ特徴である。
(ステップS13:置去物検知処理)
置去物検知部23は、過去の複数のフレームの撮影画像データのうち基準数以上の撮影画像データを対象としてステップS12で計算された背景差分情報が差分が有ることを示す領域を、置去物がある置去領域として検知する。
基準数は、検知漏れと誤検知との関係と、過去の複数のフレームを何フレームとするかといった情報から事前に決定される値である。
ステップS13の後、再びステップS11に処理が戻され、新たなフレームの撮影画像データに基づき処理が実行される。
図3を参照して、実施の形態1に係る背景差分計算処理(図2のステップS12)を説明する。
(ステップS121:マスク処理)
背景差分計算部22は、ステップS11で取得された撮影画像データについて、置去物が存在し得ない領域をマスクして、以下の処理の対象外の領域とする。背景差分計算部22は、画像記憶部31に記憶された背景画像データについても、同様に置去物が存在し得ない領域をマスクして、以下の処理の対象外の領域とする。
置去物が存在し得ない領域とは、具体例としては、空と、看板又は柱がある領域と等である。置去物が存在し得ない領域を処理の対象外とすることにより、以下の処理の処理量を削減することができる。以下のステップS122からステップS125の処理では、撮影画像データ及び背景画像データのうち、マスクされていない領域についてのみ処理が行われる。
(ステップS122:グレー変換処理)
背景差分計算部22は、カラーの画像データである撮影画像データをグレースケールの画像データに変換する。背景差分計算部22は、同様に、カラーの画像データである背景画像データをグレースケールの画像データに変換する。
(ステップS123:エッジ検出処理)
背景差分計算部22は、ステップS122でグレースケールの画像データに変換された撮影画像データについてエッジ検出処理を行いエッジ特徴を抽出する。背景差分計算部22は、背景画像データについても、同様にエッジ検出処理を行いエッジ特徴を抽出する。
エッジ検出処理は、既存の手法が用いられる。
(ステップS124:画像変換処理)
背景差分計算部22は、ステップS123で撮影画像データから抽出されたエッジ特徴を表す画像データに対して、膨張処理を実行し、その後平滑化処理を実行し、その後オープニング処理を実行し、その後クロージング処理を実行する。背景差分計算部22は、ステップS123で背景画像データから抽出されたエッジ特徴を表す画像データに対しても、同様に、膨張処理を実行し、その後平滑化処理を実行し、その後オープニング処理を実行し、その後クロージング処理を実行する。
膨張処理と、オープニング処理と、クロージング処理とは、モルフォロジー変換の処理である。平滑化処理は、画像の輝度値を滑らかにする処理であり、例えば移動平均フィルタ又はガウシアンフィルタを用いて実行される処理である。
(ステップS125:差分計算処理)
背景差分計算部22は、ステップS124で変換された後の撮影画像データと背景画像データとの差分がある領域を示す背景差分情報を計算する。具体的には、背景差分計算部22は、撮影画像データと背景画像データとの間で、差分がある領域の画素を1とし、差分が無い領域の画素を0とした2値の画像データを背景差分情報として計算する。
背景差分計算部22は、計算された背景差分情報を、ステップS11で取得された撮影画像データについての背景差分情報としてメモリ12に書き込む。
なお、背景画像データについては、ステップS121からステップS124までの処理は、1度実行してしまえば、その後は背景画像データが更新されるまで省略してもよい。
図4を参照して、実施の形態1に係る置去物検知処理(図2のステップS13)を説明する。
(ステップS131:差分情報取得処理)
置去物検知部23は、過去Nフレームの撮影画像データについての背景差分情報をメモリ12から読み出す。Nは、2以上の整数である。過去Nフレームの撮影画像データは、直近N個のフレームの撮影画像データである。
ここでは、上述した通り、背景差分情報は、撮影画像データと背景画像データとの間で、差分がある領域の画素を1とし、差分が無い領域の画素を0とした2値の画像データである。
(ステップS132:マスク処理)
置去物検知部23は、ステップS131で読み出された全ての背景差分情報の画像データについて、置去物が存在し得ない領域をマスクして、以下の処理の対象外の領域とする。
以下のステップS133からステップS136の処理では、背景差分情報の画像データのうち、マスクされていない領域についてのみ処理が行われる。
(ステップS133:積算処理)
置去物検知部23は、ステップS131で読み出された全ての背景差分情報の画像データについて、同じ位置についての画素毎に値を積算して積算画像データを生成する。つまり、置去物検知部23は、過去Nフレームの撮影画像データについての背景差分情報を、同じ位置についての画素の値を足し合わせることにより、積算画像データを生成する。
図5の(A)に示すように、背景差分情報Xと背景差分情報Yと背景差分情報Zとの3つの背景差分情報の画像データがあるとする。この場合には、背景差分情報Xと背景差分情報Yと背景差分情報Zとについて、同じ位置を表す画素の値を足し合わせることにより、図5の(B)に示すように、積算画像データが生成される。
つまり、鞄51は、背景差分情報Xと背景差分情報Yと背景差分情報Zとの全てに示されているため、鞄51の領域の画素の値は3になる。人52は、背景差分情報Yにのみ示されているため、人52の領域の画素の値は1になる。その他の領域の画素の値は0になる。人52が背景差分情報Yにのみ示されているのは、人52が移動することにより、一時的に撮影装置41の撮影領域に入ったためである。
(ステップS134:2値化処理)
置去物検知部23は、ステップS133で生成された積算画像データにおいて基準数以上の値となった画素を1とし、基準数未満の値となった画素を0とすることにより、積算画像データを2値の画像データに変換する。
図5の(B)に示す積算画像データについて、基準数を3として2値の画像データに変換すると、図6に示すようになる。つまり、3つの背景差分情報の画像データで示されていた鞄51については、2値の画像データでは画素の値が1になる。これに対して、1つの背景差分情報の画像データでしか示されていなかった人52については、積算画像データにおける画素の値が1であるため、2値の画像データでは画素の値が0になってしまう。
(ステップS135:膨張処理)
置去物検知部23は、ステップS134で変換された積算画像データについて、膨張処理を実行する。膨張処理は、モルフォロジー変換の処理である。
本来1つの置去領域として検知されるべきものが、撮影画像データが鮮明でなかったこと等の影響により2つの領域に分かれてしまうことがある。膨張処理を実行することにより、このように2つの領域に分かれてしまったものが1つの領域にまとまる可能性がある。
(ステップS136:置去領域検知処理)
置去物検知部23は、ステップS135で膨張処理が実行された後の積算画像データから、画素の値が1の領域を置去物がある置去領域として検知する。
図6の積算画像データの場合には、鞄51の領域が置去領域として検知される。
***実施の形態1の効果***
以上のように、実施の形態1に係る置去物検知装置10は、過去Nフレームの撮影画像データのうち、基準数以上の撮影画像データを対象として計算された背景差分情報が差分が有ることを示す領域を、置去物がある置去領域として検知する。これにより、移動している物体がある領域は、置去領域とならない可能性が高くなる。したがって、移動している物体を置去物として誤検知することをある程度防止可能である。
***他の構成***
<変形例1>
実施の形態1で説明した方法では、置去物としてあり得ないサイズの置去領域が検知される可能性がある。そこで、置去物検知部23は、置去物としてあり得ないサイズの置去領域を除外するため、制限サイズを設定してもよい。そして、置去物検知部23は、基準数以上の撮影画像データを対象として計算された背景差分情報が差分が有ることを示す領域が制限サイズ内である場合に、置去領域として検知してもよい。
一般的に撮影装置41である監視カメラ等は、空間の上部から角度を持って空間を撮影するため、撮影画像データは、上側ほど撮影装置41から離れた奥の領域を表しており、下側ほど撮影装置41に近い手前の領域を表している。そのため、制限サイズは、撮影画像データの上下方向の位置に応じて異なるサイズが設定される。
例えば、図7に示すように、撮影画像データを上下方向の位置に応じて上側領域と中間領域と下側領域との3つの領域に分け、上側領域と中間領域と下側領域とのそれぞれについて別々に制限サイズが設定される。上側領域は、撮影装置41から離れた領域であるため、大きい置去物があるとは考えられない。そこで、上側領域は、ある程度のサイズ以下の領域だけが置去領域として検知されるように、制限サイズが設定される。また、下側領域は、撮影装置41に近い領域であるため、小さい置去物があるとは考えられない。そこで、下側領域は、ある程度のサイズ以上の領域だけが置去領域として検知されるように、制限サイズが設定される。また、中間領域は、中くらいの置去物だけがあると考えられる。そこで、中間領域は、あるサイズより大きく、あるサイズよりも小さい領域だけが置去領域として検知されるように、制限サイズが設定される。
なお撮影画像データの領域の区切りは図7に示したように、直線に等分に区切るだけでなく、撮影装置41が撮影する撮影領域に応じて、不等分に曲線による区切りでもよい。また上下方向ではなく左右方向で区切りでもよい。領域の区切り数も任意に設定可能である。つまり撮影画像データに応じて、任意の位置での制限サイズを設定することができる。
<変形例2>
実施の形態1では、各機能構成要素がソフトウェアで実現された。しかし、変形例2として、各機能構成要素はハードウェアで実現されてもよい。この変形例2について、実施の形態1と異なる点を説明する。
図8を参照して、変形例2に係る置去物検知装置10の構成を説明する。
各機能構成要素がハードウェアで実現される場合には、置去物検知装置10は、プロセッサ11とメモリ12とストレージ13とに代えて、電子回路15を備える。電子回路15は、各機能構成要素と、メモリ12と、ストレージ13との機能とを実現する専用の回路である。
電子回路15としては、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ロジックIC、GA(Gate Array)、ASIC(Application Specific Integrated Circuit)、FPGA(Field−Programmable Gate Array)が想定される。
各機能構成要素を1つの電子回路15で実現してもよいし、各機能構成要素を複数の電子回路15に分散させて実現してもよい。
<変形例3>
変形例3として、一部の各機能構成要素がハードウェアで実現され、他の各機能構成要素がソフトウェアで実現されてもよい。
プロセッサ11とメモリ12とストレージ13と電子回路15とを処理回路という。つまり、各機能構成要素の機能は、処理回路により実現される。
実施の形態2.
実施の形態2は、フレーム間の差分であるフレーム差分情報を用いて置去領域を検知する点が実施の形態1と異なる。実施の形態2は、この異なる点を説明し、同一の点については説明を省略する。
***構成の説明***
図9を参照して、実施の形態2に係る置去物検知装置10の構成を説明する。
置去物検知装置10は、フレーム差分計算部24を備える点が図1に示す実施の形態1に係る置去物検知装置10と異なる。
***動作の説明***
図10から図15を参照して、実施の形態2に係る置去物検知装置10の動作を説明する。
実施の形態2に係る置去物検知装置10の動作は、実施の形態2に係る置去物検知方法に相当する。また、実施の形態2に係る置去物検知装置10の動作は、実施の形態2に係る置去物検知プログラムの処理に相当する。
図10を参照して、実施の形態2に係る置去物検知装置10の全体的な処理を説明する。
ステップS21からステップS22の処理は、図2のステップS11からステップS12の処理と同じである。
(ステップS23:フレーム差分計算処理)
フレーム差分計算部24は、ステップS21で取得された撮影画像データと、ステップS21で取得された撮影画像データの前のフレームの撮影画像データとの間の差分がある領域を示すフレーム差分情報を計算する。
(ステップS24:置去物検知処理)
置去物検知部23は、過去の複数のフレームの撮影画像データのうち基準数以上の撮影画像データを対象としてステップS23で計算された背景差分情報が差分が有ることを示す領域を特定する。置去物検知部23は、特定された領域のうち、制限数以上の撮影画像データを対象としてステップS23で計算されたフレーム差分情報が差分が無いことを示す領域を、置去領域として検知する。
制限数は、検知漏れと誤検知との関係と、過去の複数のフレームを何フレームとするかといった情報から事前に決定される値である。
ステップS24の後、再びステップS21に処理が戻され、新たなフレームの撮影画像データに基づき処理が実行される。
図11を参照して、実施の形態2に係るフレーム差分計算処理(図10のステップS23)を説明する。
ステップS231からステップS234の処理は、原則として図3のステップS121からステップS124の処理と同じである。但し、図3のステップS121からステップS124の処理では、背景差分計算部22が、ステップS11で取得された撮影画像データと背景画像データとを対象として処理を行った。これに対して、ステップS231からステップS234の処理では、フレーム差分計算部24が、ステップS21で取得された撮影画像データと、ステップS21で取得された撮影画像データの前のフレームの撮影画像データとを対象として処理を行う。
(ステップS235:差分計算処理)
フレーム差分計算部24は、ステップS234で変換された後の撮影画像データと、前のフレームの撮影画像データとの差分がある領域を示すフレーム差分情報を計算する。具体的には、フレーム差分計算部24は、撮影画像データと前のフレームの撮影画像データとの間で、差分がある領域の画素を0とし、差分が無い領域の画素を1とした2値の画像データを背景差分情報として計算する。ここで、背景差分情報とフレーム差分情報とでは、差分がある領域の画素と、差分が無い領域の画素との値が逆になっている。
フレーム差分計算部24は、計算されたフレーム差分情報を、ステップS21で取得された撮影画像データについてのフレーム差分情報としてメモリ12に書き込む。
図12を参照して、実施の形態2に係る置去物検知処理(図10のステップS24)を説明する。
(ステップS241:差分情報取得処理)
置去物検知部23は、過去Nフレームの撮影画像データについての背景差分情報及びフレーム差分情報をメモリ12から読み出す。Nは、2以上の整数である。過去Nフレームの撮影画像データは、直近N個のフレームの撮影画像データである。
ここでは、上述した通り、背景差分情報は、撮影画像データと背景画像データとの間で、差分がある領域の画素を1とし、差分が無い領域の画素を0とした2値の画像データである。また、フレーム差分情報は、撮影画像データと前のフレームの撮影画像データとの間で、差分がある領域の画素を0とし、差分が無い領域の画素を1とした2値の画像データである。
(ステップS242:マスク処理)
置去物検知部23は、ステップS241で読み出された全ての背景差分情報及びフレーム差分情報の画像データについて、置去物が存在し得ない領域をマスクして、以下の処理の対象外の領域とする。
以下のステップS243からステップS246の処理では、背景差分情報及びフレーム差分情報の画像データのうち、マスクされていない領域についてのみ処理が行われる。
(ステップS243:積算処理)
置去物検知部23は、実施の形態1と同様に、ステップS241で読み出された全ての背景差分情報の画像データについて、同じ位置についての画素毎に値を積算して背景積算画像データを生成する。また、置去物検知部23は、ステップS241で読み出された全てのフレーム差分情報の画像データについて、同じ位置についての画素毎に値を積算してフレーム積算画像データを生成する。
図13の(A)に示すように、背景差分情報Xと背景差分情報Yと背景差分情報Zとの3つの背景差分情報の画像データがあるとする。この場合には、背景差分情報Xと背景差分情報Yと背景差分情報Zとについて、同じ位置を表す画素の値を足し合わせることにより、図13の(B)に示すように、積算画像データが生成される。
つまり、鞄53及び物体54は、背景差分情報Xと背景差分情報Yと背景差分情報Zとの全てに示されているため、鞄53及び物体54の領域の画素の値は3になる。その他の領域の画素の値は0になる。
また、図14の(A)に示すように、フレーム差分情報X’とフレーム差分情報Y’とフレーム差分情報Z’との3つのフレーム差分情報の画像データがあるとする。この場合には、フレーム差分情報X’とフレーム差分情報Y’とフレーム差分情報Z’とについて、同じ位置を表す画素の値を足し合わせることにより、図14の(B)に示すように、フレーム積算画像データが生成される。
つまり、領域55は、背景差分情報Xと背景差分情報Yと背景差分情報Zとの全てに前のフレームとの差分があったため、領域55の画素の値は0になり、その他の領域の画素の値は3になる。
(ステップS244:2値化処理)
置去物検知部23は、ステップS243で生成された背景積算画像データにおいて基準数以上の値となり、かつ、フレーム積算画像データにおいて制限数以上の値となった画素を1とし、他の画素を0とした2値の積算画像データを生成する。
図13の(B)に示す背景積算画像データ及び図14の(B)に示すフレーム積算画像データについて、基準数及び制限数を3として2値の積算画像データを生成すると、図15に示すようになる。つまり、3つの背景差分情報の画像データで示されていた鞄53については、積算画像データでは画素の値が1になる。これに対して、物体54については、3つの背景差分情報の画像データで示されているものの、フレーム積算画像データの画像データにおける領域55と重なる位置にあるため、積算画像データでは画素の値が0になる。
(ステップS245:膨張処理)
置去物検知部23は、ステップS244で生成された積算画像データについて、膨張処理を実行する。膨張処理は、モルフォロジー変換の処理である。
(ステップS246:置去領域検知処理)
置去物検知部23は、ステップS245で膨張処理が実行された後の積算画像データから、画素の値が1の領域を置去物がある置去領域として検知する。
図15の積算画像データの場合には、鞄53の領域が置去領域として検知される。
***実施の形態2の効果***
以上のように、実施の形態2に係る置去物検知装置10は、背景差分情報だけでなく、フレーム差分情報も用いて、置去領域を検知する。フレーム差分情報では、移動する物体がある領域が特定される。そのため、フレーム差分情報を用いることにより、移動する物体があった領域を置去領域として検知され難くすることが可能である。
***他の構成***
<変形例4>
実施の形態2では、図12のステップS243で、置去物検知部23は、背景差分情報の画像データを積算した背景積算画像データと、フレーム差分情報の画像データを積算したフレーム積算画像データとを生成した。しかし、置去物検知部23は、背景差分情報の画像データと、フレーム差分情報の画像データとの両方を積算して、1つの積算画像データを生成してもよい。
この場合には、置去物検知部23は、ステップS241で読み出された全ての背景差分情報の画像データ及びフレーム差分情報の画像データについて、同じ位置についての画素毎に値を積算して積算画像データを生成する。つまり、置去物検知部23は、過去Nフレームの撮影画像データについての背景差分情報及びフレーム差分情報を、同じ位置についての画素の値を足し合わせることにより、積算画像データを生成する。
図13の(A)に示すように、背景差分情報Xと背景差分情報Yと背景差分情報Zとの3つの背景差分情報の画像データがあり、図14の(A)に示すように、フレーム差分情報X’とフレーム差分情報Y’とフレーム差分情報Z’との3つのフレーム差分情報の画像データがあるとする。この場合には、背景差分情報Xと背景差分情報Yと背景差分情報Zとフレーム差分情報X’とフレーム差分情報Y’とフレーム差分情報Z’とについて、同じ位置を表す画素の値を足し合わせることにより、図16に示すように、積算画像データが生成される。
つまり、3つの背景差分情報の画像データで示されており、かつ、領域55と重ならない鞄53については、画素の値が6になる。また、物体54については、3つの背景差分情報の画像データで示されているものの、領域55と重なるため、画素の値が3になる。鞄53及び物体54以外の領域については、領域55と重ならない部分の画素の値が3になり、領域55と重なる部分の画素の値が0になる。
背景差分情報の画像データと、フレーム差分情報の画像データとの両方を積算して、1つの積算画像データが生成された場合には、ステップS244で置去物検知部23は、ステップS243で生成された積算画像データにおいて、基準数よりも多い第2基準数以上の値となった画素を1とし、第2基準数未満の値となった画素を0とすることにより、積算画像データを2値の画像データに変換する。
図16に示す積算画像データについて、第2基準数を6として2値の画像データに変換すると、図17に示すようになる。つまり、鞄53については、2値の画像データでは画素の値が1になる。これに対して、物体54については、2値の画像データでは画素の値が0になる。
実施の形態3.
実施の形態3では、検知された置去領域の画像データをテンプレートとして、その後のフレームの画像データと比較をして、置去領域に置去物があるか否かを判定する点が実施の形態1,2と異なる。実施の形態3では、この異なる点を説明し、同一の点については説明を省略する。
ここでは、実施の形態1に機能を追加した例を説明する。しかし、実施の形態2に対しても同様に機能を追加することが可能である。
***構成の説明***
図18を参照して、実施の形態3に係る置去物検知装置10の構成を説明する。
置去物検知装置10は、テンプレート抽出部25と置去物判定部26とを備える点が図1に示す実施の形態1に係る置去物検知装置10と異なる。
***動作の説明***
図19を参照して、実施の形態3に係る置去物検知装置10の動作を説明する。
実施の形態3に係る置去物検知装置10の動作は、実施の形態3に係る置去物検知方法に相当する。また、実施の形態3に係る置去物検知装置10の動作は、実施の形態3に係る置去物検知プログラムの処理に相当する。
ステップS31からステップS33の処理は、図2のステップS11からステップS13の処理と同じである。
(ステップS34:領域判定処理)
テンプレート抽出部25は、ステップS33で検知された置去領域が新規の置去領域であるか否かを判定する。
テンプレート抽出部25は、新規の置去領域である場合には、処理をステップS35に進める。一方、テンプレート抽出部25は、新規の置去領域でない場合には、処理をステップS36に進める。
(ステップS35:候補追加処理)
テンプレート抽出部25は、ステップS33で検知された置去領域を置去候補に追加する。そして、テンプレート抽出部25は、ステップS33で対象とした過去複数のフレームの撮影画像データのうち、ステップS33で検知された置去領域について背景差分情報が差分が有ることを示す撮影画像データを、置去候補についてのテンプレートとして抽出する。
実施の形態3では、テンプレート抽出部25は、ステップS31で取得された撮影画像データをテンプレートとして抽出する。ここで、ステップS31で取得された撮影画像データが取得されたことにより新規に置去領域が検知されたので、ステップS31で取得された撮影画像データについての背景差分情報は、置去領域について差分が有ることを示す。
置去物判定部26は、ステップS36からステップS39の処理を各置去候補を対象として実行する。ステップS36からステップS39の処理を置去物判定処理と呼ぶ。
(ステップS36:類似判定処理)
置去物判定部26は、対象の置去候補が示す領域について、ステップS31で取得された撮影画像データと、背景画像データとが類似するか否かを判定する。また、置去物判定部26は、対象の置去候補が示す領域について、ステップS31で取得された撮影画像データと、対象の置去候補についてのテンプレートとが類似するか否かを判定する。
具体的には、置去物判定部26は、撮影画像データ及び背景画像データの置去候補が示す領域を対象として、グレースケールの画像データに変換した上で、エッジ検出を行いエッジ特徴を抽出する。そして、置去物判定部26は、撮影画像データのエッジ特徴と、背景画像データのエッジ特徴との相関値を計算する。置去物判定部26は、相関値が閾値以上の場合に、撮影画像データと背景画像データとが類似すると判定する。
同様に、置去物判定部26は、撮影画像データ及びテンプレートの置去候補が示す領域を対象として、グレースケールの画像データに変換した上で、エッジ検出を行いエッジ特徴を抽出する。そして、置去物判定部26は、撮影画像データのエッジ特徴と、テンプレートのエッジ特徴との相関値を計算する。置去物判定部26は、相関値が閾値以上の場合に、撮影画像データとテンプレートとが類似すると判定する。
置去物判定部26は、撮影画像データと背景画像データとが類似すると判定された場合には、処理をステップS37に進める。また、置去物判定部26は、撮影画像データとテンプレートとが類似すると判定された場合には、処理をステップS38に進める。また、置去物判定部26は、撮影画像データが背景画像データ及びテンプレートのどちらとも類似しないと判定された場合には、対象の置去候補についての処理を終了する。
(ステップS37:候補除外処理)
置去物判定部26は、対象の置去候補が示す領域を置去候補から除外する。つまり、対象の置去候補が示す領域について、撮影画像データと背景画像データとが類似するということは、対象の置去候補が示す領域には置去物がなくなったことを意味するため、置去物判定部26は、対象の置去候補が示す領域を置去候補から除外する。
(ステップS38:時間判定処理)
置去物判定部26は、対象の置去候補が追加されてから基準期間以上経過したか否かを判定する。基準期間は、物が置かれてからどの程度経過した場合に置き去りとして扱うかに応じて決定される期間である。
置去物判定部26は、基準期間以上経過した場合には、処理をステップS39に進める。一方、置去物判定部26は、基準期間以上経過していない場合には、対象の置去候補についての処理を終了する。
(ステップS39:置去発報処理)
置去物判定部26は、対象の置去候補が示す領域に置去物があると判定し、通信インタフェース14を介して通知を送信する。
***実施の形態3の効果***
以上のように、実施の形態3に係る置去物検知装置10は、検知された置去領域の画像データをテンプレートとして、その後のフレームの画像データと比較をして、置去領域に置去物があるか否かを判定する。そして、置去物検知装置10は、置去領域が検知されてから基準期間以上経過しても変化しない場合にのみ置去物があると判定する。これにより、移動する物体があった領域に置去物があると判定され難くなる。
また、実施の形態3に係る置去物検知装置10は、新たなフレームの撮影画像データが背景画像データと類似する場合にのみ置去候補から除外し、新たなフレームの撮影画像データが背景画像データ及びテンプレートのどちらとも類似しない場合には、置去候補に残しておく。これにより、置去候補となった領域にオクルージョンがあったとしても、置去物がないと判定してしまう検知漏れが発生しない。
***他の構成***
<変形例5>
実施の形態3では、新たなフレームの撮影画像データが背景画像データ及びテンプレートのどちらとも類似しない場合には、置去候補に残しておいた。つまり、オクルージョンが発生して、新たなフレームの撮影画像データがテンプレートと類似しない場合であっても、置去候補に残しておいた。
しかし、一定数以上連続したフレームの撮影画像データがテンプレートと類似しない場合には、置去候補から除外してもよい。
以上、この発明の実施の形態及び変形例について説明した。これらの実施の形態及び変形例のうち、いくつかを組み合わせて実施してもよい。また、いずれか1つ又はいくつかを部分的に実施してもよい。なお、この発明は、以上の実施の形態及び変形例に限定されるものではなく、必要に応じて種々の変更が可能である。
10 置去物検知装置、11 プロセッサ、12 メモリ、13 ストレージ、14 通信インタフェース、15 電子回路、21 画像取得部、22 背景差分計算部、23 置去物検知部、24 フレーム差分計算部、25 テンプレート抽出部、26 置去物判定部、31 画像記憶部、41 撮影装置、51 鞄、52 人、53 鞄、54 物体、55 領域。

Claims (10)

  1. 撮影領域を撮影装置によって撮影することにより得られた複数のフレームの撮影画像データそれぞれを対象として、対象の撮影画像データと、前記撮影領域に置き去られた物体である置去物がない状態で前記撮影領域を前記撮影装置によって撮影することにより得られた背景画像データとの間の差分がある領域を示す背景差分情報を計算する背景差分計算部と、
    2以上の整数Nを用いて、前記複数のフレームにおける過去Nフレームの撮影画像データを対象として計算された前記背景差分情報のうち、前記過去Nフレームに含まれるフレーム数N未満である基準数以上の前記背景差分情報で差分が有ることが示された領域を、前記置去物がある置去領域として検知する置去物検知部と、
    前記置去物検知部によって検知された前記置去領域を置去候補に追加し、前記複数のフレームの撮影画像データのうち、前記置去領域について前記背景画像データとの間に差分が有る撮影画像データを、追加された前記置去候補についてのテンプレートとして抽出するテンプレート抽出部と、
    新たにフレームが取得される度に各置去候補を対象候補として置去物があるか否かを判定する置去物判定部であり前記複数のフレームの撮影画像データの後に取得されるフレームであって、前記対象候補について前記置去物検知部によって置去領域として検知されてから基準期間経過する前に取得されるフレームである対象フレームの撮影画像データにおける前記対象候補の領域の画像データが、前記背景画像データにおける前記対象候補の領域の画像データと類似している場合には、前記対象候補を置去候補から除外し、前記複数のフレームの撮影画像データの後に取得されるフレームであって、前記対象候補について前記置去物検知部によって前記置去領域として検知されてから基準期間以上経過した後に取得されるフレームの撮影画像データにおける前記対象候補の領域の画像データが、前記テンプレートにおける前記対象候補の領域の画像データと類似する場合には、前記対象候補の領域に前記置去物があると判定する置去物判定部と
    を備える置去物検知装置。
  2. 前記置去物判定部は、前記対象フレームの撮影画像データにおける前記対象候補の領域の画像データが、前記テンプレートにおける前記対象候補の領域の画像データ及び前記背景画像データにおける前記対象候補の領域の画像データのどちらとも類似しないと判定される状態が、判定数以上連続する対象フレームについて継続する場合には、前記対象候補を置去候補から除外する
    請求項1に記載の置去物検知装置。
  3. 前記基準期間は、物が置かれてからどの程度経過した場合に置去りとして扱うかに応じて決定される期間である
    請求項1又は2に記載の置去物検知装置。
  4. 前記背景差分計算部は、前記対象の撮影画像データと前記背景画像データとの間の差分がある領域の画素を1とし、差分がない領域の画素を0とした2値の画像データを前記背景差分情報として計算し、
    前記置去物検知部は、前記複数のフレームの撮影画像データそれぞれを対象として計算された前記背景差分情報である画像データについて、同じ位置についての画素毎に値を積算して積算画像データを生成し、前記積算画像データにおいて前記基準数以上の値となった領域を前記置去領域として検知する
    請求項1から3までのいずれか1項に記載の置去物検知装置。
  5. 前記置去物検知装置は、さらに、
    前記対象の撮影画像データと、前記対象の撮影画像データの前のフレームの撮影画像データとの間の差分がある領域を示すフレーム差分情報を計算するフレーム差分計算部
    を備え、
    前記置去物検知部は、前記基準数以上の撮影画像データを対象として計算された前記背景差分情報が差分が有ることを示す領域のうち、制限数以上の撮影画像データを対象として計算された前記フレーム差分情報が差分が無いことを示す領域を、前記置去領域として検知する
    請求項1から3までのいずれか1項に記載の置去物検知装置。
  6. 前記置去物検知装置は、さらに、
    前記対象の撮影画像データと、前記対象の撮影画像データの前のフレームの撮影画像データとの間の差分がある領域の画素を0とし、差分がない領域の画素を1とした2値の画像データをフレーム差分情報として計算するフレーム差分計算部
    を備え、
    前記置去物検知部は、前記複数のフレームの撮影画像データそれぞれを対象として計算された前記背景差分情報である画像データ及び前記フレーム差分情報である画像データについて、同じ位置についての画素毎に値を積算して積算画像データを生成し、前記積算画像データにおいて前記基準数よりも多い第2基準数以上の値となった領域を前記置去領域として検知する
    請求項4に記載の置去物検知装置。
  7. 前記背景差分情報は、前記対象の撮影画像データと前記背景画像データとの間におけるテクスチャの性質を定量的に表したテクスチャ特徴において差分がある領域を示す
    請求項1から6までのいずれか1項に記載の置去物検知装置。
  8. 前記置去物検知部は、基準数以上の撮影画像データを対象として計算された前記背景差分情報が差分が有ることを示す領域が、撮影画像データの位置に応じて設定された制限サイズ内である場合に、前記置去領域として検知する
    請求項1から7までのいずれか1項に記載の置去物検知装置。
  9. 置去物検知装置の背景差分計算部が、撮影領域を撮影装置によって撮影することにより得られた複数のフレームの撮影画像データそれぞれを対象として、対象の撮影画像データと、前記撮影領域に置き去られた物体である置去物がない状態で前記撮影領域を前記撮影装置によって撮影することにより得られた背景画像データとの間の差分がある領域を示す背景差分情報を計算し、
    前記置去物検知装置の置去物検知部が、2以上の整数Nを用いて、前記複数のフレームにおける過去Nフレームの撮影画像データを対象として計算された前記背景差分情報のうち、前記過去Nフレームに含まれるフレーム数N未満である基準数以上の前記背景差分情報で差分が有ることが示された領域を、前記置去物がある置去領域として検知し、
    前記置去物検知装置のテンプレート抽出部が、検知された前記置去領域を置去候補に追加し、前記複数のフレームの撮影画像データのうち、前記置去領域について前記背景画像データとの間に差分が有る撮影画像データを、追加された前記置去候補についてのテンプレートとして抽出し、
    前記置去物検知装置の置去物判定部が、新たにフレームが取得される度に各置去候補を対象候補として、前記複数のフレームの撮影画像データの後に取得されるフレームであって、前記対象候補について置去領域として検知されてから基準期間経過する前に取得されるフレームである対象フレームの撮影画像データにおける前記対象候補の領域の画像データが、前記背景画像データにおける前記対象候補の領域の画像データと類似している場合には、前記対象候補を置去候補から除外し、前記複数のフレームの撮影画像データの後に取得されるフレームであって、前記対象候補について置去領域として検知されてから基準期間以上経過した後に取得されるフレームの撮影画像データにおける前記対象候補の領域の画像データが、前記テンプレートにおける前記対象候補の領域の画像データと類似する場合には、前記対象候補の領域に前記置去物があると判定する置去物検知方法。
  10. 撮影領域を撮影装置によって撮影することにより得られた複数のフレームの撮影画像データそれぞれを対象として、対象の撮影画像データと、前記撮影領域に置き去られた物体である置去物がない状態で前記撮影領域を前記撮影装置によって撮影することにより得られた背景画像データとの間の差分がある領域を示す背景差分情報を計算する背景差分計算処理と、
    2以上の整数Nを用いて、前記複数のフレームにおける過去Nフレームの撮影画像データを対象として計算された前記背景差分情報のうち、前記過去Nフレームに含まれるフレーム数N未満である基準数以上の前記背景差分情報で差分が有ることが示された領域を、前記置去物がある置去領域として検知する置去物検知処理と、
    前記置去物検知処理によって検知された前記置去領域を置去候補に追加し、前記複数のフレームの撮影画像データのうち、前記置去領域について前記背景画像データとの間に差分が有る撮影画像データを、追加された前記置去候補についてのテンプレートとして抽出するテンプレート抽出処理と、
    新たにフレームが取得される度に各置去候補を対象候補として置去物があるか否かを判定する置去物判定処理であり、前記複数のフレームの撮影画像データの後に取得されるフレームであって、前記対象候補について前記置去物検知処理によって置去領域として検知されてから基準期間経過する前に取得されるフレームである対象フレームの撮影画像データにおける前記対象候補の領域の画像データが、前記背景画像データにおける前記対象候補の領域の画像データと類似している場合には、前記対象候補を置去候補から除外し、前記複数のフレームの撮影画像データの後に取得されるフレームであって、前記対象候補について前記置去物検知処理によって置去領域として検知されてから基準期間以上経過した後に取得されるフレームの撮影画像データにおける前記対象候補の領域の画像データが、前記テンプレートにおける前記対象候補の領域の画像データと類似する場合には、前記対象候補の領域に前記置去物があると判定する置去物判定処理と
    を行う置去物検知装置としてコンピュータを機能させる置去物検知プログラム。
JP2018234041A 2018-12-14 2018-12-14 置去物検知装置、置去物検知方法及び置去物検知プログラム Active JP6945517B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2018234041A JP6945517B2 (ja) 2018-12-14 2018-12-14 置去物検知装置、置去物検知方法及び置去物検知プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018234041A JP6945517B2 (ja) 2018-12-14 2018-12-14 置去物検知装置、置去物検知方法及び置去物検知プログラム

Publications (2)

Publication Number Publication Date
JP2020095554A JP2020095554A (ja) 2020-06-18
JP6945517B2 true JP6945517B2 (ja) 2021-10-06

Family

ID=71085619

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018234041A Active JP6945517B2 (ja) 2018-12-14 2018-12-14 置去物検知装置、置去物検知方法及び置去物検知プログラム

Country Status (1)

Country Link
JP (1) JP6945517B2 (ja)

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05205175A (ja) * 1992-01-24 1993-08-13 Hitachi Ltd 物体検出装置
JP5464489B2 (ja) * 2010-03-31 2014-04-09 サクサ株式会社 置き去り又は持ち去り判定装置
JP2013065151A (ja) * 2011-09-16 2013-04-11 Sony Corp 画像処理装置、画像処理方法、および、プログラム
JP5832910B2 (ja) * 2012-01-26 2015-12-16 セコム株式会社 画像監視装置

Also Published As

Publication number Publication date
JP2020095554A (ja) 2020-06-18

Similar Documents

Publication Publication Date Title
US7916944B2 (en) System and method for feature level foreground segmentation
Hu et al. Moving object detection and tracking from video captured by moving camera
US9773322B2 (en) Image processing apparatus and image processing method which learn dictionary
US11657514B2 (en) Image processing apparatus, image processing method, and storage medium
JP6525545B2 (ja) 情報処理装置、情報処理方法及びコンピュータプログラム
Wang Real-time moving vehicle detection with cast shadow removal in video based on conditional random field
CN110008795B (zh) 图像目标追踪方法及其系统与计算机可读取记录介质
Chien et al. Video object segmentation and tracking framework with improved threshold decision and diffusion distance
US20200250803A1 (en) Method for detecting and tracking target object, target object tracking apparatus, and computer-program product
TW201810186A (zh) 用於更新背景模型之方法及裝置
JP2004227160A (ja) 侵入物体検出装置
JP6188592B2 (ja) 物体検出装置、物体検出方法、および物体検出プログラム
JP2018029237A5 (ja)
US20200099854A1 (en) Image capturing apparatus and image recording method
WO2017193679A1 (zh) 自动检测单车是否倒地的方法
Verma et al. Analysis of moving object detection and tracking in video surveillance system
WO2018058573A1 (zh) 对象检测方法、对象检测装置以及电子设备
JP2018142828A (ja) 付着物検出装置および付着物検出方法
US20210089818A1 (en) Deposit detection device and deposit detection method
TWI517100B (zh) 移動物體追蹤方法及電子裝置
JP6945517B2 (ja) 置去物検知装置、置去物検知方法及び置去物検知プログラム
Wang et al. Efficient visual tracking by probabilistic fusion of multiple cues
JP2018133042A (ja) 放置物検出装置
Abdusalomov et al. Review on various widely used shadow detection methods to identify a shadow from images
JP6877501B2 (ja) 滞留検知装置、滞留検知方法及び滞留検知プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20181214

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20191224

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200121

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200207

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20200707

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200904

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20200904

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20200915

C21 Notice of transfer of a case for reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C21

Effective date: 20200929

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20201113

C211 Notice of termination of reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C211

Effective date: 20201117

C22 Notice of designation (change) of administrative judge

Free format text: JAPANESE INTERMEDIATE CODE: C22

Effective date: 20210420

C13 Notice of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: C13

Effective date: 20210525

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210716

C30 Protocol of an oral hearing

Free format text: JAPANESE INTERMEDIATE CODE: C30

Effective date: 20210730

C23 Notice of termination of proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C23

Effective date: 20210817

C03 Trial/appeal decision taken

Free format text: JAPANESE INTERMEDIATE CODE: C03

Effective date: 20210914

C30A Notification sent

Free format text: JAPANESE INTERMEDIATE CODE: C3012

Effective date: 20210914

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210914

R150 Certificate of patent or registration of utility model

Ref document number: 6945517

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250