JP6998922B2 - Notification judgment device, notification judgment method and notification judgment program - Google Patents

Notification judgment device, notification judgment method and notification judgment program Download PDF

Info

Publication number
JP6998922B2
JP6998922B2 JP2019166140A JP2019166140A JP6998922B2 JP 6998922 B2 JP6998922 B2 JP 6998922B2 JP 2019166140 A JP2019166140 A JP 2019166140A JP 2019166140 A JP2019166140 A JP 2019166140A JP 6998922 B2 JP6998922 B2 JP 6998922B2
Authority
JP
Japan
Prior art keywords
image data
target
false
notification
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019166140A
Other languages
Japanese (ja)
Other versions
JP2021044728A (en
Inventor
尭理 中尾
紘和 阿部
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Information Systems Corp
Original Assignee
Mitsubishi Electric Information Systems Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Information Systems Corp filed Critical Mitsubishi Electric Information Systems Corp
Priority to JP2019166140A priority Critical patent/JP6998922B2/en
Publication of JP2021044728A publication Critical patent/JP2021044728A/en
Application granted granted Critical
Publication of JP6998922B2 publication Critical patent/JP6998922B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

この発明は、検出処理により対象物が検出されたことを通知するか否かを判定する技術に関する。 The present invention relates to a technique for determining whether or not to notify that an object has been detected by a detection process.

撮影装置によって撮影領域が撮影され得られた画像データから対象物を検出し、対象物が検出された場合に管理者等へ通知を行う技術がある。特許文献1には、撮影装置によって撮影領域が撮影され得られた画像データと、背景画像データとを比較することにより対象物を検出することが記載されている。 There is a technique of detecting an object from the image data obtained by photographing the imaged area by the photographing device and notifying the administrator or the like when the object is detected. Patent Document 1 describes that an object is detected by comparing the image data obtained by photographing the imaged area by the photographing apparatus with the background image data.

特開2018-133042号公報JP-A-2018-133042

画像データから対象物を検出する場合には、日照変化と影といった要因により、検出処理のロジックだけでは誤検出を防止することが難しいケースがある。誤検出された場合に、管理者等へ通知をしてしまうと、不要な確認作業等が発生してしまう。
特許文献1に記載されたように、背景画像データとの比較により対象物を検出する場合には、要因毎に背景画像データを用意しておくことも考えられる。しかし、背景画像データは、人等が映り込まないタイミングで取得する必要がある。そのため、現実には、背景画像データは夜間といった特定のタイミングでしか取得することができず、要因毎に背景画像データを用意しておくことは困難である。
この発明では、誤検出された場合における通知を減らすことを目的とする。
When an object is detected from image data, it may be difficult to prevent erroneous detection only by the detection processing logic due to factors such as sunshine change and shadow. If the administrator or the like is notified when an erroneous detection is made, unnecessary confirmation work or the like will occur.
As described in Patent Document 1, when the object is detected by comparison with the background image data, it is conceivable to prepare the background image data for each factor. However, it is necessary to acquire the background image data at a timing when people or the like are not reflected. Therefore, in reality, the background image data can be acquired only at a specific timing such as at night, and it is difficult to prepare the background image data for each factor.
It is an object of the present invention to reduce the notification in case of false detection.

この発明に係る通知判定装置は、
対象物が検出された画像データである対象画像データにおける前記対象物がある対象領域と、過去に誤通知であると判定された誤検知物が検出された画像データである誤検知画像データにおける前記誤検知物がある誤検知領域との重複率を計算する重複計算部と、
前記対象画像データにおける前記対象領域の部分画像データである対象部分データと、前記誤検知画像データにおける前記誤検知領域の部分画像データである誤検知部分データとの類似度を計算する類似度計算部と、
前記重複計算部によって計算された前記重複率と、前記類似度計算部によって計算された前記類似度とに基づき、前記対象物が検出されたことを通知するか否かを判定する判定部と
を備える。
The notification determination device according to the present invention is
The target area in the target image data in which the object is detected, and the false detection image data in which the false detection object determined to be false notification in the past is detected. The overlap calculation unit that calculates the overlap rate with the false detection area where there is a false positive object,
Similarity calculation unit for calculating the similarity between the target partial data which is the partial image data of the target area in the target image data and the false positive partial data which is the partial image data of the false detection area in the false detection image data. When,
Based on the duplication rate calculated by the duplication calculation unit and the similarity calculated by the similarity calculation unit, a determination unit for determining whether or not to notify that the object has been detected is provided. Be prepared.

前記判定部は、前記重複率が基準率以上であり、かつ、前記類似度が基準度合以上である場合には、通知しないと判定する。 The determination unit determines that the notification is not given when the overlap rate is equal to or higher than the reference rate and the similarity is equal to or higher than the reference degree.

前記類似度計算部は、前記重複率が基準率以上である場合に、前記対象部分データと前記誤検知部分データとの類似度を計算する。 The similarity calculation unit calculates the similarity between the target partial data and the false positive partial data when the overlap rate is equal to or higher than the reference rate.

前記重複計算部は、複数の誤検知物それぞれを対象の誤検知物として、前記対象領域と、前記対象の誤検知物が検出された誤検知画像データにおける前記誤検知物がある誤検知領域との重複率を計算し、
前記類似度計算部は、前記複数の誤検知物それぞれが検出された誤検知画像データのうち、前記重複率が基準率以上である誤検知画像データにおける誤検知部分データと、対象部分データとの類似度を計算する。
The duplication calculation unit sets each of the plurality of false positive objects as the target false positive objects, and includes the target area and the false positive area where the false positive objects are present in the false positive image data in which the false positive objects of the target are detected. Calculate the duplication rate of
The similarity calculation unit includes false detection partial data and target partial data in false positive image data in which the overlap rate is equal to or higher than the reference rate among false positive image data in which each of the plurality of false positive objects is detected. Calculate the similarity.

前記対象画像データは、撮影装置によって撮影領域を撮影することにより得られた画像データであり、
前記通知判定装置は、さらに、
前記対象画像データと、前記撮影領域に前記対象物がない状態で前記撮影領域を撮影することにより得られた背景画像データとを比較することにより、前記対象画像データから前記対象物を検出する検出部
を備える。
The target image data is image data obtained by shooting a shooting area with a shooting device.
The notification determination device further
Detection to detect the object from the target image data by comparing the target image data with the background image data obtained by photographing the imaged area in a state where the object is not present in the imaged area. It has a part.

この発明に係る通知判定方法は、
重複計算部が、対象物が検出された画像データである対象画像データにおける前記対象物がある対象領域と、過去に誤通知であると判定された誤検知物が検出された画像データである誤検知画像データにおける前記誤検知物がある誤検知領域との重複率を計算し、
類似度計算部が、前記対象画像データにおける前記対象領域の部分画像データである対象部分データと、前記誤検知画像データにおける前記誤検知領域の部分画像データである誤検知部分データとの類似度を計算し、
判定部が、前記重複率と前記類似度とに基づき、前記対象物が検出されたことを通知するか否かを判定する。
The notification determination method according to the present invention is
The duplicate calculation unit is erroneous image data in which the target area in the target image data, which is the image data in which the object is detected, and the false detection object determined to be erroneous notification in the past are detected. The overlap rate of the false positive object in the detected image data with the false positive area is calculated, and the overlap rate is calculated.
The similarity calculation unit determines the degree of similarity between the target partial data, which is the partial image data of the target region in the target image data, and the false positive partial data, which is the partial image data of the false detection region in the false detection image data. Calculate and
The determination unit determines whether or not to notify that the object has been detected based on the overlap rate and the similarity.

この発明に係る通知判定プログラムは、
対象物が検出された画像データである対象画像データにおける前記対象物がある対象領域と、過去に誤通知であると判定された誤検知物が検出された画像データである誤検知画像データにおける前記誤検知物がある誤検知領域との重複率を計算する重複計算処理と、
前記対象画像データにおける前記対象領域の部分画像データである対象部分データと、前記誤検知画像データにおける前記誤検知領域の部分画像データである誤検知部分データとの類似度を計算する類似度計算処理と、
前記重複計算処理によって計算された前記重複率と、前記類似度計算処理によって計算された前記類似度とに基づき、前記対象物が検出されたことを通知するか否かを判定する判定処理と
を行う通知判定装置としてコンピュータを機能させる。
The notification determination program according to the present invention is
The target area in the target image data in which the object is detected, and the false detection image data in which the false detection object determined to be false notification in the past is detected. Duplicate calculation processing that calculates the overlap rate with the false detection area where there is a false positive object,
Similarity calculation process for calculating the similarity between the target partial data which is the partial image data of the target area in the target image data and the false positive partial data which is the partial image data of the false detection area in the false detection image data. When,
Based on the duplication rate calculated by the duplication calculation process and the similarity calculated by the similarity calculation process, a determination process for determining whether or not to notify that the object has been detected is performed. Make the computer function as a notification judgment device.

この発明では、過去に誤通知であると判定された誤検知物が検出された画像データである誤検知画像データを用いて、対象物が検出されたことを通知するか否かを判定する。これにより、検出処理のロジックだけでは誤検出を防止することが難しく、何度も誤検出されてしまうようなケースについては、通知を行わないようにすることが可能である。 In the present invention, it is determined whether or not to notify that the object has been detected by using the false detection image data which is the image data in which the false positive object determined to be false notification in the past is detected. As a result, it is difficult to prevent erroneous detection only by the logic of the detection process, and it is possible to prevent notification in cases where erroneous detection occurs many times.

実施の形態1に係る通知判定装置10の構成図。The block diagram of the notification determination apparatus 10 which concerns on Embodiment 1. FIG. 実施の形態1に係る通知判定装置10の処理の流れを示すフローチャート。The flowchart which shows the process flow of the notification determination apparatus 10 which concerns on Embodiment 1. 実施の形態1に係る誤検知データ記憶部31に記憶されたデータを示す図。The figure which shows the data stored in the false positive data storage unit 31 which concerns on Embodiment 1. FIG. 実施の形態1に係る通知判定装置10の処理の具体例の説明図。An explanatory diagram of a specific example of processing of the notification determination device 10 according to the first embodiment. 実施の形態1に係る通知判定装置10の処理の具体例の説明図。An explanatory diagram of a specific example of processing of the notification determination device 10 according to the first embodiment. 実施の形態1に係るステップS12で対象画像データから対象物を検出する処理のフローチャート。The flowchart of the process of detecting an object from the object image data in step S12 which concerns on Embodiment 1. FIG. 変形例3に係る通知判定装置10の構成図。The block diagram of the notification determination apparatus 10 which concerns on modification 3. FIG.

実施の形態1.
***構成の説明***
図1を参照して、実施の形態1に係る通知判定装置10の構成を説明する。
通知判定装置10は、コンピュータである。
通知判定装置10は、プロセッサ11と、メモリ12と、ストレージ13と、通信インタフェース14とのハードウェアを備える。プロセッサ11は、信号線を介して他のハードウェアと接続され、これら他のハードウェアを制御する。
Embodiment 1.
*** Explanation of configuration ***
The configuration of the notification determination device 10 according to the first embodiment will be described with reference to FIG.
The notification determination device 10 is a computer.
The notification determination device 10 includes hardware for a processor 11, a memory 12, a storage 13, and a communication interface 14. The processor 11 is connected to other hardware via a signal line and controls these other hardware.

プロセッサ11は、プロセッシングを行うIC(Integrated Circuit)である。プロセッサ11は、具体例としては、CPU(Central Processing Unit)、DSP(Digital Signal Processor)、GPU(Graphics Processing Unit)である。 The processor 11 is an IC (Integrated Circuit) that performs processing. Specific examples of the processor 11 are a CPU (Central Processing Unit), a DSP (Digital Signal Processor), and a GPU (Graphics Processing Unit).

メモリ12は、データを一時的に記憶する記憶装置である。メモリ12は、具体例としては、SRAM(Static Random Access Memory)、DRAM(Dynamic Random Access Memory)である。 The memory 12 is a storage device that temporarily stores data. As a specific example, the memory 12 is a SRAM (Static Random Access Memory) or a DRAM (Dynamic Random Access Memory).

ストレージ13は、データを保管する記憶装置である。ストレージ13は、具体例としては、HDD(Hard Disk Drive)である。また、ストレージ13は、SD(登録商標,Secure Digital)メモリカード、CF(CompactFlash,登録商標)、NANDフラッシュ、フレキシブルディスク、光ディスク、コンパクトディスク、ブルーレイ(登録商標)ディスク、DVD(Digital Versatile Disk)といった可搬記録媒体であってもよい。 The storage 13 is a storage device for storing data. As a specific example, the storage 13 is an HDD (Hard Disk Drive). The storage 13 includes SD (registered trademark, Secure Digital) memory card, CF (CompactFlash, registered trademark), NAND flash, flexible disk, optical disk, compact disk, Blu-ray (registered trademark) disk, DVD (Digital Versaille Disk), and the like. It may be a portable recording medium.

通信インタフェース14は、外部の装置と通信するためのインタフェースである。通信インタフェース14は、具体例としては、Ethernet(登録商標)、USB(Universal Serial Bus)、HDMI(登録商標,High-Definition Multimedia Interface)のポートである。 The communication interface 14 is an interface for communicating with an external device. As a specific example, the communication interface 14 is a port of Ethernet (registered trademark), USB (Universal Serial Bus), HDMI (registered trademark, High-Definition Multimedia Interface).

通知判定装置10は、通信インタフェース14を介して、監視カメラといった撮影装置41と接続されている。 The notification determination device 10 is connected to a photographing device 41 such as a surveillance camera via a communication interface 14.

通知判定装置10は、機能構成要素として、画像取得部21と、検出部22と、重複計算部23と、類似度計算部24と、判定部25と、通知部26とを備える。通知判定装置10の各機能構成要素の機能はソフトウェアにより実現される。
ストレージ13には、通知判定装置10の各機能構成要素の機能を実現するプログラムが格納されている。このプログラムは、プロセッサ11によりメモリ12に読み込まれ、プロセッサ11によって実行される。これにより、通知判定装置10の各機能構成要素の機能が実現される。
The notification determination device 10 includes an image acquisition unit 21, a detection unit 22, an overlap calculation unit 23, a similarity calculation unit 24, a determination unit 25, and a notification unit 26 as functional components. The functions of each functional component of the notification determination device 10 are realized by software.
The storage 13 stores a program that realizes the functions of each functional component of the notification determination device 10. This program is read into the memory 12 by the processor 11 and executed by the processor 11. As a result, the functions of each functional component of the notification determination device 10 are realized.

また、ストレージ13は、誤検知データ記憶部31を実現する。 Further, the storage 13 realizes a false positive data storage unit 31.

図1では、プロセッサ11は、1つだけ示されていた。しかし、プロセッサ11は、複数であってもよく、複数のプロセッサ11が、各機能を実現するプログラムを連携して実行してもよい。 In FIG. 1, only one processor 11 is shown. However, the number of processors 11 may be plural, and the plurality of processors 11 may execute programs that realize each function in cooperation with each other.

***動作の説明***
図2から図6を参照して、実施の形態1に係る通知判定装置10の動作を説明する。
実施の形態1に係る通知判定装置10の動作手順は、実施の形態1に係る通知判定方法に相当する。また、実施の形態1に係る通知判定装置10の動作を実現するプログラムは、実施の形態1に係る通知判定プログラムに相当する。
*** Explanation of operation ***
The operation of the notification determination device 10 according to the first embodiment will be described with reference to FIGS. 2 to 6.
The operation procedure of the notification determination device 10 according to the first embodiment corresponds to the notification determination method according to the first embodiment. Further, the program that realizes the operation of the notification determination device 10 according to the first embodiment corresponds to the notification determination program according to the first embodiment.

図2を参照して、実施の形態1に係る通知判定装置10の処理の流れを説明する。
図2に示す処理の前提として、図3に示すように、過去に誤通知であると判定された誤検知物が検出された画像データである誤検知画像データと、誤検知画像データにおける誤検知物がある誤検知領域の座標とが誤検知データとして、誤検知データ記憶部31に記憶されている。
With reference to FIG. 2, the processing flow of the notification determination device 10 according to the first embodiment will be described.
As a premise of the processing shown in FIG. 2, as shown in FIG. 3, false detection image data which is image data in which a false positive object determined to be false notification in the past is detected, and false detection in false positive image data. The coordinates of the false positive area where the object is located are stored in the false positive data storage unit 31 as false positive data.

(ステップS11:画像取得処理)
画像取得部21は、通信インタフェース14を介して、撮影領域を撮影装置41によって撮影することにより得られた最新のフレームの画像データを対象画像データとして取得する。画像取得部21は、対象画像データをメモリ12に書き込む。
(Step S11: Image acquisition process)
The image acquisition unit 21 acquires the image data of the latest frame obtained by photographing the photographing area by the photographing apparatus 41 as the target image data via the communication interface 14. The image acquisition unit 21 writes the target image data to the memory 12.

(ステップS12:検出処理)
検出部22は、ステップS11で取得された対象画像データをメモリ12から読み出す。検出部22は、対象画像データから対象物を検出する。対象物は、具体例としては、一定時間以上置いてある物である置去物と、一定時間以上留まっている人である滞留人とである。検出部22は、対象物が検出された場合には、対象画像データにおける対象物がある対象領域の座標を特定する。
対象画像データから対象物を検出する処理としては、対象画像データと背景画像データとの差分を取り、類似する差分が一定時間以上同じ位置に現れ続けているか否かを判定する処理を用いることができる。
(Step S12: Detection process)
The detection unit 22 reads the target image data acquired in step S11 from the memory 12. The detection unit 22 detects an object from the target image data. Specific examples of the objects are a leftover object that has been left for a certain period of time or longer, and a resident person who has stayed for a certain period of time or longer. When the object is detected, the detection unit 22 specifies the coordinates of the target area where the object is located in the target image data.
As a process of detecting an object from the target image data, it is possible to use a process of taking a difference between the target image data and the background image data and determining whether or not a similar difference continues to appear at the same position for a certain period of time or longer. can.

(ステップS13:検出判定処理)
検出部22は、ステップS12で対象物が検出された場合には、検出された各対象物を通知候補としてメモリ12に書き込んだ上で、処理をステップS14に進める。一方、検出部22は、ステップS12で対象物が検出されなかった場合には、処理をステップS11に戻す。
(Step S13: Detection determination process)
When an object is detected in step S12, the detection unit 22 writes each detected object into the memory 12 as a notification candidate, and then proceeds to the process in step S14. On the other hand, if the object is not detected in step S12, the detection unit 22 returns the process to step S11.

ステップS14からステップS19の処理が、ステップS13で検出された各対象物を処理対象として実行される。また、ステップS14からステップS18の処理が、誤検知データ記憶部31に記憶された各誤通知データを処理対象として実行される。 The processing of steps S14 to S19 is executed with each object detected in step S13 as the processing target. Further, the processes of steps S14 to S18 are executed for each erroneous notification data stored in the erroneous detection data storage unit 31 as a processing target.

(ステップS14:重複計算処理)
重複計算部23は、対象画像データにおける処理対象の対象物がある対象領域と、処理対象の誤通知データに含まれる誤検知画像データにおける誤検知物がある誤検知領域との重複率を計算する。
具体的には、重複計算部23は、誤検知データ記憶部31から処理対象の誤通知データに含まれる誤検知領域の座標を読み出す。重複計算部23は、ステップS12で特定された対象領域の座標と、誤検知データ記憶部31から読み出された誤検知領域の座標とから、対象領域と誤検知領域との重複率を計算する。ここでは、重複計算部23は、対象領域に対して誤検知領域が重複する割合を重複率として計算する。
(Step S14: Duplicate calculation process)
The duplication calculation unit 23 calculates the overlap rate between the target area having the object to be processed in the target image data and the false detection area having the false detection object in the false notification image data included in the false notification data of the processing target. ..
Specifically, the duplication calculation unit 23 reads out the coordinates of the erroneous detection area included in the erroneous notification data to be processed from the erroneous detection data storage unit 31. The overlap calculation unit 23 calculates the overlap rate between the target area and the false detection area from the coordinates of the target area specified in step S12 and the coordinates of the false detection area read from the false detection data storage unit 31. .. Here, the duplication calculation unit 23 calculates the ratio of the false detection area overlapping with the target area as the duplication rate.

(ステップS15:重複判定処理)
判定部25は、ステップS14で計算された重複率が基準率以上である場合には、処理をステップS16に進める。一方、判定部25は、ステップS14で計算された重複率が基準率未満である場合には、処理対象の誤通知データについての処理を終了する。
(Step S15: Duplicate determination process)
If the overlap rate calculated in step S14 is equal to or greater than the reference rate, the determination unit 25 advances the process to step S16. On the other hand, when the duplication rate calculated in step S14 is less than the reference rate, the determination unit 25 ends the processing for the erroneous notification data to be processed.

(ステップS16:類似度計算処理)
類似度計算部24は、対象画像データにおける処理対象の対象物がある対象領域の部分画像データである対象部分データと、処理対象の誤通知データに含まれる誤検知画像データにおける誤検知領域の部分画像データである誤検知部分データとの類似度を計算する。
具体的には、類似度計算部24は、誤検知データ記憶部31から処理対象の誤通知データに含まれる誤検知画像データ及び誤検知領域の座標を読み出す。類似度計算部24は、誤検知画像データから誤検知領域の座標が示す領域の部分画像データを誤検知部分データとして切り出す。そして、類似度計算部24は、対象部分データと、誤検知部分データとの類似度を計算する。
(Step S16: Similarity calculation process)
The similarity calculation unit 24 is a portion of the target partial data which is the partial image data of the target area where the object to be processed in the target image data is present, and the portion of the false detection area in the false detection image data included in the false notification data of the processing target. The degree of similarity with the false positive partial data, which is image data, is calculated.
Specifically, the similarity calculation unit 24 reads out the erroneous detection image data included in the erroneous notification data to be processed and the coordinates of the erroneous detection area from the erroneous detection data storage unit 31. The similarity calculation unit 24 cuts out the partial image data of the region indicated by the coordinates of the false detection region as the false detection partial data from the false detection image data. Then, the similarity calculation unit 24 calculates the similarity between the target partial data and the false positive partial data.

この際、例えば、類似度計算部24は、対象部分データと、誤検知部分データとのエッジ差分を計算することにより、類似度を計算する。つまり、類似度計算部24は、対象部分データ及び誤検知部分データそれぞれを対象として、エッジ検出処理を行いエッジ特徴を抽出する。エッジ検出処理は既存の方式を用いればよい。そして、類似度計算部24は、対象部分データから抽出されたエッジ特徴を表す画像データと、誤検知部分データから抽出されたエッジ特徴を表す画像データとの間で差分がない画素を特定する。そして、類似度計算部24は、対象部分データの画素数に対する差分がない画素の割合を類似度とする。
なお、類似度計算部24は、エッジ特徴を表す画像データに対して、膨張処理と、平滑化処理と、オープニング処理と、クロージング処理とを行った上で、画素毎に差分の有無を判定してもよい。膨張処理と、オープニング処理と、クロージング処理とは、モルフォロジー変換の処理である。平滑化処理は、画像の輝度値を滑らかにする処理であり、例えば移動平均フィルタ又はガウシアンフィルタを用いて実行される処理である。
At this time, for example, the similarity calculation unit 24 calculates the similarity by calculating the edge difference between the target partial data and the false positive partial data. That is, the similarity calculation unit 24 performs edge detection processing on each of the target portion data and the false detection portion data to extract edge features. The existing method may be used for the edge detection process. Then, the similarity calculation unit 24 identifies pixels having no difference between the image data representing the edge features extracted from the target partial data and the image data representing the edge features extracted from the false positive partial data. Then, the similarity calculation unit 24 sets the ratio of pixels having no difference to the number of pixels of the target partial data as the similarity.
The similarity calculation unit 24 performs expansion processing, smoothing processing, opening processing, and closing processing on the image data representing the edge characteristics, and then determines whether or not there is a difference for each pixel. You may. The expansion process, the opening process, and the closing process are morphology conversion processes. The smoothing process is a process for smoothing the luminance value of an image, and is a process executed by using, for example, a moving average filter or a Gaussian filter.

(ステップS17:類似判定処理)
判定部25は、ステップS16で計算された類似度が基準度合以上である場合には、処理をステップS18に進める。一方、判定部25は、ステップS16で計算された類似度が基準度合未満である場合には、処理対象の誤通知データについての処理を終了する。
(Step S17: Similarity determination process)
If the similarity calculated in step S16 is equal to or higher than the reference degree, the determination unit 25 advances the process to step S18. On the other hand, when the similarity calculated in step S16 is less than the reference degree, the determination unit 25 ends the processing for the erroneous notification data to be processed.

(ステップS18:候補削除処理)
通知部26は、処理対象の対象物を通知候補から除外する。
つまり、判定部25は、重複率が基準率以上であり、かつ、類似度が基準度合以上である場合には、通知しないと判定する。そして、通知しないと判定されると、通知部26は、処理対象の対象物を通知候補から除外する。これにより、処理対象の対象物について通知がされなくなる。また処理していない対象物があれば、次の対象物についての処理が実行される。
(Step S18: Candidate deletion process)
The notification unit 26 excludes the object to be processed from the notification candidates.
That is, the determination unit 25 determines that the notification is not given when the overlap rate is equal to or higher than the reference rate and the similarity is equal to or higher than the reference degree. Then, if it is determined not to notify, the notification unit 26 excludes the object to be processed from the notification candidates. As a result, the object to be processed is not notified. If there is an object that has not been processed, processing for the next object is executed.

(ステップS19:通知処理)
通知部26は、通知候補の対象物についての通知を行う。
つまり、判定部25は、通知候補の対象物について、誤検知データ記憶部31に記憶された全ての誤通知データとの比較で、重複率が基準率未満である場合と、類似度が基準度合未満である場合との少なくともいずれかの場合には、通知すると判定する。また処理していない対象物があれば、次の対象物についての処理が実行される。
(Step S19: Notification processing)
The notification unit 26 notifies the object of the notification candidate.
That is, the determination unit 25 compares the object of the notification candidate with all the erroneous notification data stored in the erroneous detection data storage unit 31, and the degree of similarity is the degree of reference when the duplication rate is less than the reference rate. In at least one of the cases where it is less than, it is determined that the notification is made. If there is an object that has not been processed, processing for the next object is executed.

ステップS19で通知がされた場合には、管理者等によって通知が誤りであるか否かが判定される。通知が誤りであるとは、検出された対象物が対象物ではない誤った物であるという意味である。
通知が誤りであると判定されると、通知部26は、ステップS11で取得された対象画像データを誤検知画像データとし、ステップS12で対象物が検出された領域の座標を誤検知物がある誤検知領域の座標として誤検知データ記憶部31に書き込む。
When the notification is given in step S19, the administrator or the like determines whether or not the notification is incorrect. An erroneous notification means that the detected object is not an object but an erroneous object.
When it is determined that the notification is erroneous, the notification unit 26 uses the target image data acquired in step S11 as false detection image data, and the coordinates of the area where the target object is detected in step S12 are false detection objects. It is written in the false positive data storage unit 31 as the coordinates of the false positive region.

図4及び図5を参照して、実施の形態1に係る通知判定装置10の処理の具体例を説明する。
誤検知データ記憶部31には、誤検知画像データ51と、誤検知領域52の座標とを含む誤通知データが記憶されているとする。つまり、柱71の根本部分にできた影72が対象物として誤通知され、そのときの画像データが誤検知画像データ51であり、柱71の根本部分にできた影72の領域が誤検知領域52である。
A specific example of the processing of the notification determination device 10 according to the first embodiment will be described with reference to FIGS. 4 and 5.
It is assumed that the erroneous detection data storage unit 31 stores erroneous notification data including the erroneous detection image data 51 and the coordinates of the erroneous detection area 52. That is, the shadow 72 formed at the root of the pillar 71 is erroneously notified as an object, the image data at that time is the false detection image data 51, and the region of the shadow 72 formed at the root of the pillar 71 is the false detection region. 52.

図4に示すように、ステップS11で対象画像データ61Xが取得され、ステップS12で対象画像データ61Xと背景画像データ62との差分が計算され、対象物63Xが特定されたとする。すると、ステップS13では対象物63Xが特定されたため、処理がステップS14に進められる。ステップS14からステップS15では、対象物63Xがある対象領域と誤検知領域52とは概ね同じ位置であり、重複率が基準率以上となるため、処理がステップS16に進められる。ステップS16からステップS17では、対象画像データ61Xにおける対象領域の部分画像データである対象部分データと、誤検知画像データ51における誤検知領域52の部分画像データである誤検知部分データとは類似しておらず、類似率が基準度合未満となるため、ステップS18の処理がスキップされる。そして、ステップS19で、対象物63Xについて通知される。 As shown in FIG. 4, it is assumed that the target image data 61X is acquired in step S11, the difference between the target image data 61X and the background image data 62 is calculated in step S12, and the target object 63X is specified. Then, since the object 63X is specified in step S13, the process proceeds to step S14. In steps S14 to S15, the target area where the object 63X is located and the false detection area 52 are substantially at the same position, and the overlap rate is equal to or higher than the reference rate, so that the process proceeds to step S16. In steps S16 to S17, the target partial data which is the partial image data of the target region in the target image data 61X and the false positive partial data which is the partial image data of the false positive region 52 in the false positive image data 51 are similar. Since the similarity rate is less than the reference degree, the process of step S18 is skipped. Then, in step S19, the object 63X is notified.

図5に示すように、ステップS11で対象画像データ61Yが取得され、ステップS12で対象画像データ61Yと背景画像データ62との差分が計算され、対象物63Yが特定されたとする。すると、ステップS13では対象物63Yが特定されたため、処理がステップS14に進められる。ステップS14からステップS15では、対象物63Yがある対象領域と誤検知領域52とは概ね同じ位置であり、重複率が基準率以上となるため、処理がステップS16に進められる。ステップS16からステップS17では、対象画像データ61Yにおける対象領域の部分画像データである対象部分データと、誤検知画像データ51における誤検知領域52の部分画像データである誤検知部分データとは類似しており、類似率が基準度合以上となるため、処理がステップS18に進められる。そして、ステップS18で、対象物63Yについて通知候補から除外される。 As shown in FIG. 5, it is assumed that the target image data 61Y is acquired in step S11, the difference between the target image data 61Y and the background image data 62 is calculated in step S12, and the target object 63Y is specified. Then, since the object 63Y is specified in step S13, the process proceeds to step S14. In steps S14 to S15, the target area where the object 63Y is located and the false detection area 52 are substantially at the same position, and the overlap rate is equal to or higher than the reference rate, so that the process proceeds to step S16. In steps S16 to S17, the target partial data which is the partial image data of the target region in the target image data 61Y and the false positive partial data which is the partial image data of the false positive region 52 in the false positive image data 51 are similar. Since the similarity rate is equal to or higher than the reference degree, the process proceeds to step S18. Then, in step S18, the object 63Y is excluded from the notification candidates.

図6を参照して、実施の形態1に係るステップS12で対象画像データから対象物を検出する処理について説明する。
(ステップS21:画像取得処理)
検出部22は、対象画像データをメモリ12から読み出す。
With reference to FIG. 6, a process of detecting an object from the target image data in step S12 according to the first embodiment will be described.
(Step S21: Image acquisition process)
The detection unit 22 reads the target image data from the memory 12.

(ステップS22:背景差分計算処理)
検出部22は、ステップS21で取得された対象画像データと、背景画像データとの間の差分がある領域を示す背景差分情報を計算する。
背景差分情報は、対象画像データと背景画像データとの間におけるテクスチャの性質を定量的に表したテクスチャ特徴において差分がある領域を示す。テクスチャの性質とは、テクスチャの粗さと、方向性と、規則性と、粒状であるか線状であるかといったことである。実施の形態1では、テクスチャ特徴は、エッジ検出によって抽出されるエッジ特徴である。
(Step S22: Background subtraction calculation process)
The detection unit 22 calculates background difference information indicating a region having a difference between the target image data acquired in step S21 and the background image data.
The background subtraction information indicates a region where there is a difference in the texture features that quantitatively represent the properties of the texture between the target image data and the background image data. The properties of the texture are the roughness of the texture, the directionality, the regularity, and whether it is granular or linear. In the first embodiment, the texture feature is an edge feature extracted by edge detection.

(ステップS23:対象物検知処理)
検出部22は、過去の複数のフレームの画像データのうち基準数以上の画像データを対象画像データとしてステップS22で計算された背景差分情報が差分が有ることを示す領域を、対象物がある対象領域として検知する。
基準数は、検知漏れと誤検知との関係と、過去の複数のフレームを何フレームとするかといった情報から事前に決定される値である。
(Step S23: Object detection process)
The detection unit 22 sets an object having an object in a region indicating that the background difference information calculated in step S22 has a difference by using image data equal to or larger than the reference number among the image data of a plurality of past frames as the target image data. Detect as an area.
The reference number is a value that is determined in advance from information such as the relationship between detection omission and false positives and the number of frames in the past.

(ステップS24:領域判定処理)
検出部22は、ステップS23で検知された対象領域が新規の対象領域であるか否かを判定する。
検出部22は、新規の対象領域である場合には、処理をステップS25に進める。一方、検出部22は、新規の対象領域でない場合には、処理をステップS26に進める。
(Step S24: Area determination process)
The detection unit 22 determines whether or not the target area detected in step S23 is a new target area.
If the detection unit 22 is a new target area, the detection unit 22 advances the process to step S25. On the other hand, if the detection unit 22 is not a new target area, the detection unit 22 proceeds to step S26.

(ステップS25:候補追加処理)
検出部22は、ステップS23で検知された対象領域を対象候補に追加する。そして、検出部22は、ステップS23で対象とした過去複数のフレームの対象画像データのうち、ステップS23で検知された対象領域について背景差分情報が差分が有ることを示す対象画像データを、対象候補についてのテンプレートとして抽出する。
実施の形態1では、検出部22は、ステップS21で取得された対象画像データをテンプレートとして抽出する。ここで、ステップS21で取得された対象画像データが取得されたことにより新規に対象領域が検知されたので、ステップS21で取得された対象画像データについての背景差分情報は、対象領域について差分が有ることを示す。
(Step S25: Candidate addition process)
The detection unit 22 adds the target area detected in step S23 to the target candidate. Then, the detection unit 22 selects the target image data indicating that the background difference information has a difference in the target area detected in step S23 among the target image data of the past plurality of frames targeted in step S23. Extract as a template for.
In the first embodiment, the detection unit 22 extracts the target image data acquired in step S21 as a template. Here, since the target area is newly detected by acquiring the target image data acquired in step S21, the background difference information about the target image data acquired in step S21 has a difference with respect to the target area. Show that.

ステップS26からステップS29の処理が、各対象候補を対象として実行される。 The processing of steps S26 to S29 is executed for each target candidate.

(ステップS26:類似判定処理)
検出部22は、対象の対象候補が示す領域について、ステップS21で取得された対象画像データと、背景画像データとが類似するか否かを判定する。また、検出部22は、対象の対象候補が示す領域について、ステップS21で取得された対象画像データと、対象の対象候補についてのテンプレートとが類似するか否かを判定する。
具体的には、検出部22は、対象画像データ及び背景画像データの対象候補が示す領域を対象として、グレースケールの画像データに変換した上で、エッジ検出を行いエッジ特徴を抽出する。そして、検出部22は、対象画像データのエッジ特徴と、背景画像データのエッジ特徴との相関値を計算する。検出部22は、相関値が閾値以上の場合に、対象画像データと背景画像データとが類似すると判定する。
同様に、検出部22は、対象画像データ及びテンプレートの対象候補が示す領域を対象として、グレースケールの画像データに変換した上で、エッジ検出を行いエッジ特徴を抽出する。そして、検出部22は、対象画像データのエッジ特徴と、テンプレートのエッジ特徴との相関値を計算する。検出部22は、相関値が閾値以上の場合に、対象画像データとテンプレートとが類似すると判定する。
(Step S26: Similarity determination process)
The detection unit 22 determines whether or not the target image data acquired in step S21 and the background image data are similar to the region indicated by the target candidate. Further, the detection unit 22 determines whether or not the target image data acquired in step S21 and the template for the target target candidate are similar to the region indicated by the target target candidate.
Specifically, the detection unit 22 converts the area indicated by the target candidate of the target image data and the background image data into grayscale image data, performs edge detection, and extracts edge features. Then, the detection unit 22 calculates the correlation value between the edge feature of the target image data and the edge feature of the background image data. When the correlation value is equal to or greater than the threshold value, the detection unit 22 determines that the target image data and the background image data are similar.
Similarly, the detection unit 22 converts the target image data and the region indicated by the target candidate of the template into grayscale image data, performs edge detection, and extracts edge features. Then, the detection unit 22 calculates the correlation value between the edge feature of the target image data and the edge feature of the template. The detection unit 22 determines that the target image data and the template are similar when the correlation value is equal to or greater than the threshold value.

検出部22は、対象画像データと背景画像データとが類似すると判定された場合には、処理をステップS27に進める。また、検出部22は、対象画像データとテンプレートとが類似すると判定された場合には、処理をステップS28に進める。また、検出部22は、対象画像データが背景画像データ及びテンプレートのどちらとも類似しないと判定された場合には、対象の対象候補についての処理を終了する。 When the detection unit 22 determines that the target image data and the background image data are similar, the detection unit 22 proceeds to the process in step S27. If the detection unit 22 determines that the target image data and the template are similar, the detection unit 22 proceeds to step S28. Further, when it is determined that the target image data is not similar to either the background image data or the template, the detection unit 22 ends the processing for the target target candidate.

(ステップS27:候補除外処理)
検出部22は、対象の対象候補が示す領域を対象候補から除外する。つまり、対象の対象候補が示す領域について、対象画像データと背景画像データとが類似するということは、対象の対象候補が示す領域には対象物がなくなったことを意味するため、検出部22は、対象の対象候補が示す領域を対象候補から除外する。
(Step S27: Candidate exclusion process)
The detection unit 22 excludes the area indicated by the target candidate from the target candidate. That is, the fact that the target image data and the background image data are similar in the area indicated by the target target candidate means that there is no object in the area indicated by the target target candidate, so that the detection unit 22 may use the detection unit 22. , Exclude the area indicated by the target candidate from the target candidate.

(ステップS28:時間判定処理)
検出部22は、対象の対象候補が追加されてから基準期間以上経過したか否かを判定する。基準期間は、物が置かれてからどの程度経過した場合に置き去りとして扱うかに応じて決定される期間である。
検出部22は、基準期間以上経過した場合には、処理をステップS29に進める。一方、検出部22は、基準期間以上経過していない場合には、対象の対象候補についての処理を終了する。
(Step S28: Time determination process)
The detection unit 22 determines whether or not a reference period or more has elapsed since the target candidate was added. The reference period is a period determined according to how long it has passed since the item was placed to be treated as a leftover item.
When the reference period or more has elapsed, the detection unit 22 advances the process to step S29. On the other hand, if the reference period or more has not elapsed, the detection unit 22 ends the processing for the target candidate.

(ステップS29:対象物特定処理)
検出部22は、対象の対象候補が示す領域に対象物があると特定する。ここで特定された対象物がステップS12で検出された対象物になる。
(Step S29: Object identification process)
The detection unit 22 identifies that the object is in the region indicated by the target candidate. The object specified here becomes the object detected in step S12.

***実施の形態1の効果***
以上のように、実施の形態1に係る通知判定装置10は、過去に誤通知であると判定された誤検知物が検出された画像データである誤検知画像データを用いて、対象物が検出されたことを通知するか否かを判定する。これにより、検出処理のロジックだけでは誤検出を防止することが難しく、何度も誤検出されてしまうようなケースについては、通知を行わないようにすることが可能である。
例えば、ある位置に出現する影については通知したいが、別の位置に出現する影については通知したくないといった場合がある。この場合には、ロジックで対応することは困難であるが、実施の形態1に係る通知判定装置10であれば容易に対応可能である。
*** Effect of Embodiment 1 ***
As described above, the notification determination device 10 according to the first embodiment detects an object by using false detection image data which is image data in which a false detection object determined to be false notification in the past is detected. It is determined whether or not to notify that the data has been sent. As a result, it is difficult to prevent erroneous detection only by the logic of the detection process, and it is possible to prevent notification in cases where erroneous detection occurs many times.
For example, there are cases where you want to be notified of shadows that appear at one position, but you do not want to be notified of shadows that appear at another position. In this case, it is difficult to deal with it by logic, but it can be easily dealt with by the notification determination device 10 according to the first embodiment.

特に、実施の形態1に係る通知判定装置10は、対象物がある対象領域と誤検知物がある誤検知領域との重複率が基準率以上であり、かつ、対象領域の部分画像データである対象部分データと誤検知領域の部分画像データである誤検知部分データとの類似度が基準度合以上である場合には、通知しないと判定する。これにより、日照変化と影といった要因により恒常的に発生してしまう誤検知については、通知を行わないようにすることが可能である。 In particular, in the notification determination device 10 according to the first embodiment, the overlap rate between the target area with the object and the false detection area with the false detection object is equal to or higher than the reference rate, and the notification determination device 10 is partial image data of the target area. If the degree of similarity between the target partial data and the false positive partial data, which is the partial image data of the false detection area, is equal to or higher than the reference degree, it is determined that the notification is not performed. This makes it possible not to notify false detections that constantly occur due to factors such as changes in sunshine and shadows.

実施の形態1に係る通知判定装置10は、誤検知データ記憶部31に複数の誤通知データを記憶しておくことが可能である。時間帯又は天気といった要因によって誤検知する傾向が異なるが、各傾向に対応した誤通知データを誤検知データ記憶部31に記憶しておくことにより、各傾向における誤検知について、通知しないようにすることが可能である。 The notification determination device 10 according to the first embodiment can store a plurality of erroneous notification data in the erroneous detection data storage unit 31. The tendency of false detection differs depending on factors such as time zone or weather, but by storing false notification data corresponding to each tendency in the false detection data storage unit 31, false detection in each tendency is not notified. It is possible.

実施の形態1に係る通知判定装置10は、対象物がある対象領域と誤検知物がある誤検知領域との重複率が基準率以上である場合にのみ、対象部分データと誤検知部分データとの類似度を計算する。重複率の計算に比べ、処理負荷が高い類似度の計算の実行回数を抑えることにより、全体としての処理負荷を抑えることが可能である。 The notification determination device 10 according to the first embodiment includes the target partial data and the false positive partial data only when the overlap rate between the target area containing the object and the false detection area containing the false detection object is equal to or higher than the reference rate. Calculate the similarity of. It is possible to reduce the processing load as a whole by suppressing the number of executions of the calculation of similarity, which has a higher processing load than the calculation of the duplication rate.

***他の構成***
<変形例1>
実施の形態1では、類似度計算部24は、エッジ差分を用いて類似度を計算した。しかし、エッジ差分に限らず、色差分といった他の差分方式を用いて類似度を計算してもよい。
*** Other configurations ***
<Modification 1>
In the first embodiment, the similarity calculation unit 24 calculates the similarity using the edge difference. However, the similarity may be calculated using not only the edge difference but also another difference method such as a color difference.

<変形例2>
実施の形態1では、類似度計算部24は、エッジ差分を用いて類似度を計算した。エッジ差分では、相関のピーク値により画像データ間のずれ量を計算可能である。そこで、類似度計算部24は、対象部分データと誤検知部分データと間のずれ量が閾値以上である場合に、ずれ量だけ一方の画像データをずらした上で、類似度を計算し直してもよい。これにより、高精度に類似度を計算可能になる。
<Modification 2>
In the first embodiment, the similarity calculation unit 24 calculates the similarity using the edge difference. In the edge difference, the amount of deviation between image data can be calculated from the peak value of the correlation. Therefore, when the deviation amount between the target portion data and the false positive portion data is equal to or greater than the threshold value, the similarity calculation unit 24 shifts one of the image data by the deviation amount and recalculates the similarity. May be good. This makes it possible to calculate the similarity with high accuracy.

<変形例3>
実施の形態1では、各機能構成要素がソフトウェアで実現された。しかし、変形例3として、各機能構成要素はハードウェアで実現されてもよい。この変形例3について、実施の形態1と異なる点を説明する。
<Modification 3>
In the first embodiment, each functional component is realized by software. However, as a modification 3, each functional component may be realized by hardware. The difference between the third modification and the first embodiment will be described.

図7を参照して、変形例3に係る通知判定装置10の構成を説明する。
各機能構成要素がハードウェアで実現される場合には、通知判定装置10は、プロセッサ11とメモリ12とストレージ13とに代えて、電子回路15を備える。電子回路15は、各機能構成要素と、メモリ12と、ストレージ13との機能とを実現する専用の回路である。
The configuration of the notification determination device 10 according to the modification 3 will be described with reference to FIG. 7.
When each functional component is realized by hardware, the notification determination device 10 includes an electronic circuit 15 in place of the processor 11, the memory 12, and the storage 13. The electronic circuit 15 is a dedicated circuit that realizes the functions of each functional component, the memory 12, and the storage 13.

電子回路15としては、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ロジックIC、GA(Gate Array)、ASIC(Application Specific Integrated Circuit)、FPGA(Field-Programmable Gate Array)が想定される。
各機能構成要素を1つの電子回路15で実現してもよいし、各機能構成要素を複数の電子回路15に分散させて実現してもよい。
Examples of the electronic circuit 15 include a single circuit, a composite circuit, a programmed processor, a parallel programmed processor, a logic IC, a GA (Gate Array), an ASIC (Application Specific Integrated Circuit), and an FPGA (Field-Programmable Gate Array). is assumed.
Each functional component may be realized by one electronic circuit 15, or each functional component may be distributed and realized by a plurality of electronic circuits 15.

<変形例4>
変形例4として、一部の各機能構成要素がハードウェアで実現され、他の各機能構成要素がソフトウェアで実現されてもよい。
<Modification example 4>
As a modification 4, some functional components may be realized by hardware, and other functional components may be realized by software.

プロセッサ11とメモリ12とストレージ13と電子回路15とを処理回路という。つまり、各機能構成要素の機能は、処理回路により実現される。 The processor 11, the memory 12, the storage 13, and the electronic circuit 15 are referred to as a processing circuit. That is, the function of each functional component is realized by the processing circuit.

10 通知判定装置、11 プロセッサ、12 メモリ、13 ストレージ、14 通信インタフェース、15 電子回路、21 画像取得部、22 検出部、23 重複計算部、24 類似度計算部、25 判定部、26 通知部、31 誤検知データ記憶部、41 撮影装置、51 誤検知画像データ、52 誤検知領域、61 対象画像データ、62 背景画像データ、63 対象物、71 柱、72 影。 10 Notification Judgment Device, 11 Processor, 12 Memory, 13 Storage, 14 Communication Interface, 15 Electronic Circuit, 21 Image Acquisition Unit, 22 Detection Unit, 23 Duplicate Calculation Unit, 24 Similarity Calculation Unit, 25 Judgment Unit, 26 Notification Unit, 31 False positive data storage unit, 41 Imaging device, 51 False positive image data, 52 False positive area, 61 Target image data, 62 Background image data, 63 Target, 71 Pillars, 72 Shadows.

Claims (7)

対象物が検出された画像データである対象画像データにおける前記対象物がある対象領域と、誤検知データ記憶部に記憶された誤検知画像データであって、過去に誤通知であると判定された誤検知物が検出された画像データである誤検知画像データにおける前記誤検知物がある誤検知領域との重複率を計算する重複計算部と、
前記対象画像データにおける前記対象領域の部分画像データである対象部分データと、前記誤検知画像データにおける前記誤検知領域の部分画像データである誤検知部分データとの類似度を計算する類似度計算部と、
前記重複計算部によって計算された前記重複率と、前記類似度計算部によって計算された前記類似度とに基づき、前記対象物が検出されたことを通知するか否かを判定する判定部と、
前記判定部によって通知すると判定された場合に、前記対象物について通知するとともに、通知した結果、通知が誤りであるとされた場合に、前記対象画像データを前記誤検知画像データとして前記誤検知データ記憶部に追加する通知部と
を備える通知判定装置。
The target area in the target image data in which the target is detected and the false detection image data stored in the false detection data storage unit, which are determined to be false notifications in the past. A duplicate calculation unit that calculates the overlap rate of the false positive image data, which is the image data in which the false positive is detected, with the false positive area where the false positive is found.
Similarity calculation unit for calculating the similarity between the target partial data which is the partial image data of the target area in the target image data and the false positive partial data which is the partial image data of the false detection area in the false detection image data. When,
Based on the duplication rate calculated by the duplication calculation unit and the similarity calculated by the similarity calculation unit, a determination unit for determining whether or not to notify that the object has been detected, and a determination unit.
When it is determined by the determination unit to notify the object, and as a result of the notification, if the notification is found to be erroneous, the target image data is used as the false detection image data and the false detection data is used. A notification determination device including a notification unit to be added to the storage unit.
前記判定部は、前記重複率が基準率以上であり、かつ、前記類似度が基準度合以上である場合には、通知しないと判定する
請求項1に記載の通知判定装置。
The notification determination device according to claim 1, wherein the determination unit determines not to notify when the overlap rate is equal to or higher than the reference rate and the similarity is equal to or higher than the reference degree.
前記類似度計算部は、前記重複率が基準率以上である場合に、前記対象部分データと前記誤検知部分データとの類似度を計算する
請求項2に記載の通知判定装置。
The notification determination device according to claim 2, wherein the similarity calculation unit calculates the similarity between the target partial data and the false positive partial data when the overlap rate is equal to or higher than the reference rate.
前記重複計算部は、複数の誤検知物それぞれを対象の誤検知物として、前記対象領域と、前記対象の誤検知物が検出された誤検知画像データにおける前記誤検知物がある誤検知領域との重複率を計算し、
前記類似度計算部は、前記複数の誤検知物それぞれが検出された誤検知画像データのうち、前記重複率が基準率以上である誤検知画像データにおける誤検知部分データと、前記対象部分データとの類似度を計算する
請求項1から3までのいずれか1項に記載の通知判定装置。
The duplication calculation unit sets each of the plurality of false positive objects as the target false positive objects, and includes the target area and the false positive area where the false positive objects are present in the false positive image data in which the false positive objects of the target are detected. Calculate the duplication rate of
The similarity calculation unit includes false detection partial data in false positive image data in which the overlap rate is equal to or higher than the reference rate among false positive image data in which each of the plurality of false positive objects is detected, and the target partial data. The notification determination device according to any one of claims 1 to 3, wherein the similarity is calculated.
前記対象画像データは、撮影装置によって撮影領域を撮影することにより得られた画像データであり、
前記通知判定装置は、さらに、
前記対象画像データと、前記撮影領域に前記対象物がない状態で前記撮影領域を撮影することにより得られた背景画像データとを比較することにより、前記対象画像データから前記対象物を検出する検出部
を備える請求項1から4までのいずれか1項に記載の通知判定装置。
The target image data is image data obtained by shooting a shooting area with a shooting device.
The notification determination device further
Detection to detect the object from the target image data by comparing the target image data with the background image data obtained by photographing the imaged area in a state where the object is not present in the imaged area. The notification determination device according to any one of claims 1 to 4, further comprising a unit.
重複計算部が、対象物が検出された画像データである対象画像データにおける前記対象物がある対象領域と、誤検知データ記憶部に記憶された誤検知画像データであって、過去に誤通知であると判定された誤検知物が検出された画像データである誤検知画像データにおける前記誤検知物がある誤検知領域との重複率を計算し、
類似度計算部が、前記対象画像データにおける前記対象領域の部分画像データである対象部分データと、前記誤検知画像データにおける前記誤検知領域の部分画像データである誤検知部分データとの類似度を計算し、
判定部が、前記重複率と前記類似度とに基づき、前記対象物が検出されたことを通知するか否かを判定し、
通知すると判定された場合に、前記対象物について通知するとともに、通知した結果、通知が誤りであるとされた場合に、前記対象画像データを前記誤検知画像データとして前記誤検知データ記憶部に追加する通知判定方法。
The duplicate calculation unit is the target area in the target image data, which is the image data in which the object is detected, and the false detection image data stored in the false detection data storage unit. The overlap rate of the false positive object with the false positive area in the false positive image data, which is the image data in which the false positive object determined to be present is detected, is calculated.
The similarity calculation unit determines the degree of similarity between the target partial data, which is the partial image data of the target region in the target image data, and the false positive partial data, which is the partial image data of the false detection region in the false detection image data. Calculate and
The determination unit determines whether or not to notify that the object has been detected based on the overlap rate and the similarity.
When it is determined to notify, the object is notified, and when the notification is found to be erroneous as a result of the notification, the target image data is added to the false detection data storage unit as the false detection image data. Notification judgment method to be performed.
対象物が検出された画像データである対象画像データにおける前記対象物がある対象領域と、誤検知データ記憶部に記憶された誤検知画像データであって、過去に誤通知であると判定された誤検知物が検出された画像データである誤検知画像データにおける前記誤検知物がある誤検知領域との重複率を計算する重複計算処理と、
前記対象画像データにおける前記対象領域の部分画像データである対象部分データと、前記誤検知画像データにおける前記誤検知領域の部分画像データである誤検知部分データとの類似度を計算する類似度計算処理と、
前記重複計算処理によって計算された前記重複率と、前記類似度計算処理によって計算された前記類似度とに基づき、前記対象物が検出されたことを通知するか否かを判定する判定処理と、
前記判定処理によって通知すると判定された場合に、前記対象物について通知するとともに、通知した結果、通知が誤りであるとされた場合に、前記対象画像データを前記誤検知画像データとして前記誤検知データ記憶部に追加する通知処理と
を行う通知判定装置としてコンピュータを機能させる通知判定プログラム。
The target area in the target image data in which the target is detected and the false detection image data stored in the false detection data storage unit, which are determined to be false notifications in the past. Duplicate calculation processing for calculating the overlap rate of the false detection object with the false detection area in the false detection image data, which is the image data in which the false detection object is detected, and
Similarity calculation process for calculating the similarity between the target partial data which is the partial image data of the target area in the target image data and the false positive partial data which is the partial image data of the false detection area in the false detection image data. When,
A determination process for determining whether or not to notify that the object has been detected based on the duplication rate calculated by the duplication calculation process and the similarity calculated by the similarity calculation process.
When it is determined to be notified by the determination process, the object is notified, and when the notification is found to be erroneous as a result of the notification, the target image data is used as the false detection image data and the false detection data is used. A notification judgment program that makes a computer function as a notification judgment device that performs notification processing to be added to the storage unit.
JP2019166140A 2019-09-12 2019-09-12 Notification judgment device, notification judgment method and notification judgment program Active JP6998922B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019166140A JP6998922B2 (en) 2019-09-12 2019-09-12 Notification judgment device, notification judgment method and notification judgment program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019166140A JP6998922B2 (en) 2019-09-12 2019-09-12 Notification judgment device, notification judgment method and notification judgment program

Publications (2)

Publication Number Publication Date
JP2021044728A JP2021044728A (en) 2021-03-18
JP6998922B2 true JP6998922B2 (en) 2022-01-18

Family

ID=74862582

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019166140A Active JP6998922B2 (en) 2019-09-12 2019-09-12 Notification judgment device, notification judgment method and notification judgment program

Country Status (1)

Country Link
JP (1) JP6998922B2 (en)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001155263A (en) 1999-11-29 2001-06-08 Hitachi Kokusai Electric Inc Picture processing system for detecting intruding object
JP2018133042A (en) 2017-02-17 2018-08-23 セコム株式会社 Left object detector

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4220322B2 (en) * 2003-07-18 2009-02-04 株式会社日立製作所 Intruder monitoring method and apparatus
JP2014027442A (en) * 2012-07-26 2014-02-06 Sony Corp Image processing device, image processing method, and program
JP6654789B2 (en) * 2016-11-11 2020-02-26 Kddi株式会社 Apparatus, program, and method for tracking object considering multiple candidates at change points

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001155263A (en) 1999-11-29 2001-06-08 Hitachi Kokusai Electric Inc Picture processing system for detecting intruding object
JP2018133042A (en) 2017-02-17 2018-08-23 セコム株式会社 Left object detector

Also Published As

Publication number Publication date
JP2021044728A (en) 2021-03-18

Similar Documents

Publication Publication Date Title
US9317772B2 (en) Method for improving tracking using dynamic background compensation with centroid compensation
US10417773B2 (en) Method and apparatus for detecting object in moving image and storage medium storing program thereof
US8718324B2 (en) Method, apparatus and computer program product for providing object tracking using template switching and feature adaptation
WO2018099136A1 (en) Method and device for denoising image with low illumination, and storage medium
US20160004935A1 (en) Image processing apparatus and image processing method which learn dictionary
US9542735B2 (en) Method and device to compose an image by eliminating one or more moving objects
US10713793B2 (en) Image processing apparatus, image processing method, and recording medium
TW201501080A (en) Method and system for object detection and tracking
WO2018058573A1 (en) Object detection method, object detection apparatus and electronic device
JP6998922B2 (en) Notification judgment device, notification judgment method and notification judgment program
US11238309B2 (en) Selecting keypoints in images using descriptor scores
CN108334811B (en) Face image processing method and device
KR102002533B1 (en) Method for detecting pedestrian from video, and apparatus for performing the same
Abdusalomov et al. Review on various widely used shadow detection methods to identify a shadow from images
Mustafah et al. Face detection system design for real time high resolution smart camera
CN114219938A (en) Region-of-interest acquisition method
KR20180125278A (en) Apparatus and method for detecting pedestrian
JP7004460B2 (en) Image processing device, image processing method and image processing program
JP6945517B2 (en) Leftovers detection device, leftovers detection method and leftovers detection program
JP6877501B2 (en) Retention detection device, retention detection method and retention detection program
KR20130057585A (en) Apparatus and method for detecting scene change of stereo-scopic image
Malavika et al. Moving object detection and velocity estimation using MATLAB
JP4253265B2 (en) Shadow detection apparatus, shadow detection method and shadow detection program, image processing apparatus using shadow detection apparatus, image processing method using shadow detection method, and image processing program using shadow detection program
JP2017016592A (en) Main subject detection device, main subject detection method and program
JP2020102212A (en) Smoke detection method and apparatus

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190912

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20201110

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201218

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210608

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210708

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20211207

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20211221

R150 Certificate of patent or registration of utility model

Ref document number: 6998922

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150