WO2020250296A1 - 画像処理装置、画像処理方法及びプログラム - Google Patents

画像処理装置、画像処理方法及びプログラム Download PDF

Info

Publication number
WO2020250296A1
WO2020250296A1 PCT/JP2019/023047 JP2019023047W WO2020250296A1 WO 2020250296 A1 WO2020250296 A1 WO 2020250296A1 JP 2019023047 W JP2019023047 W JP 2019023047W WO 2020250296 A1 WO2020250296 A1 WO 2020250296A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
reference image
shooting data
image processing
comparison
Prior art date
Application number
PCT/JP2019/023047
Other languages
English (en)
French (fr)
Inventor
康次 長谷川
横田　守真
光貴 岩村
由梨 濱田
悠介 中田
幸典 遠藤
Original Assignee
三菱電機ビルテクノサービス株式会社
三菱電機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 三菱電機ビルテクノサービス株式会社, 三菱電機株式会社 filed Critical 三菱電機ビルテクノサービス株式会社
Priority to JP2021525437A priority Critical patent/JP6977200B2/ja
Priority to PCT/JP2019/023047 priority patent/WO2020250296A1/ja
Publication of WO2020250296A1 publication Critical patent/WO2020250296A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules

Definitions

  • the present invention relates to an image processing apparatus, an image processing method and a program, particularly an index indicating the degree of stain on the lens of the imaging apparatus.
  • Patent Document 1 when the difference between images that are continuous in time series exceeds a preset threshold value, it is determined that the lens is dirty.
  • Japanese Unexamined Patent Publication No. 2013-191072 Japanese Unexamined Patent Publication No. 2011-124830 Japanese Unexamined Patent Publication No. 2014-13449 Japanese Unexamined Patent Publication No. 2013-46221 Japanese Unexamined Patent Publication No. 2001-52185
  • An object of the present invention is to provide an index that clearly indicates the degree of stain on the lens of the image pickup device from the photographed data taken by the image pickup device.
  • the image processing apparatus is a reference image that is captured by an imaging device having a fixed imaging range and acquires as a reference image the imaging data that is determined to have no defect as the imaging data.
  • the acquisition means, the comparative image acquisition means for acquiring a plurality of captured data captured by the imaging device within a predetermined time as comparison images with the reference image, and the reference image and the plurality of comparison images, respectively. It has an extraction means for extracting the difference and a calculation means for calculating the average value of the differences between the plurality of comparative images as a stain index value.
  • a reference image generation means that generates an average of the shooting data taken during the constant movement as the reference image.
  • the imaging device has a determination means for determining the presence or absence of stains on the imaging device according to the comparison result between the stain index value and a preset threshold value.
  • the image processing method is a reference image in which shooting data taken by an imaging device having a fixed shooting range and which is determined to have no defect as the shooting data is acquired as a reference image.
  • the program according to the present invention is a reference for acquiring as a reference image shooting data taken by a computer by an imaging device having a fixed shooting range and which is determined to have no defects as shooting data.
  • Image acquisition means comparative image acquisition means for acquiring a plurality of captured data captured by the imaging device within a predetermined time as comparison images with the reference image, differences between the reference image and each of the plurality of comparison images.
  • the purpose is to function as an extraction means for extracting the data, and a calculation means for calculating the average value of the differences between the plurality of comparative images as a stain index value.
  • the present invention it is possible to provide an index that clearly indicates the degree of stain on the lens of the imaging device from the imaging data captured by the imaging device.
  • FIG. 5 is a conceptual diagram showing a comparison process between a reference image and each comparison image in the first embodiment. It is a figure which shows the image generated by the average value of the difference of all the comparative images in Embodiment 1.
  • FIG. It is a block block diagram which shows the image processing apparatus in Embodiment 2.
  • FIG. 1 is a block configuration diagram showing an embodiment of an image processing device according to the present invention.
  • the image processing device 10 in the present embodiment can be realized by a general-purpose hardware configuration that has existed in the past, such as a PC (Personal Computer). That is, the image processing device 10 is configured by connecting a storage means such as a CPU, ROM, RAM, hard disk drive (HDD), a user interface, and a communication means with a network interface to an internal bus.
  • the user interface has an input means such as a mouse and a keyboard, and a display means such as a display.
  • the image processing device 10 in the present embodiment includes an image database (DB) 11, a comparative image acquisition unit 12, an image processing unit 13, and a stain determination unit 14.
  • DB image database
  • the components not used in the description of the present embodiment are omitted from the drawings.
  • the image database 11 stores shooting data acquired from a monitoring system (not shown) that monitors the facility. Multiple cameras (not shown) are scattered throughout the facility.
  • a camera is an imaging device that generates shooting data by shooting a predetermined range.
  • the camera in the present embodiment is a so-called fixed point camera having a fixed shooting range.
  • the comparison image acquisition unit 12 acquires a plurality of captured data captured by the camera within a predetermined time as comparison images with the reference image.
  • the image processing unit 13 acquires the captured data as the reference image, which is determined to have no defects as the captured data by the camera. Further, the image processing unit 13 calculates the stain index value based on the reference image and the plurality of comparative images acquired by the comparative image acquisition unit 12.
  • the stain determination unit 14 determines whether or not the lens of the camera is dirty according to the comparison result between the stain index value calculated by the image processing unit 13 and the preset threshold value.
  • the image processing device 10 is provided with an image database 11 that stores the shooting data acquired from the monitoring system, but the comparison image acquisition unit 12 and the image processing unit 13 respectively provide the comparison image and the comparison image from the monitoring system. It may be configured to directly acquire the reference image.
  • the shooting data will be shot and generated to be used for some purpose.
  • the photographing data is generated by the camera photographing a predetermined range for the purpose of monitoring the facility. Therefore, the shooting data that cannot be used for the purpose can be said to be shooting data having a defect as the shooting data.
  • shooting data defective as shooting data does not mean shooting data that cannot be used as shooting data, but shooting data that cannot be used to achieve the purpose.
  • shooting data defective as shooting data means that the entire shooting range is not clearly shot because the lens of the camera is dirty. Therefore, it refers to shooting data for which the purpose of monitoring cannot be fully achieved.
  • shooting data without defects as shooting data means shooting data other than shooting data with defects as shooting data.
  • defective shooting data as shooting data will be referred to as "defective shooting data”
  • shooting data that is not defective shooting data that is, shooting data without defects as shooting data
  • defect-free shooting data I will decide.
  • the shooting data is classified into either defective shooting data or non-defective shooting data.
  • the "defective shooting data" can be said to be shooting data in which the entire shooting range of the camera is not normally shot.
  • the entire shooting range may be shot, but it cannot be said to be shot normally unless it can be used for surveillance purposes.
  • Dirt includes dirt that remains attached to the lens unless it is removed, and dirt that is peeled off for some reason.
  • flying objects such as plastic shopping bags, may get entangled in the camera, or insects may stop on the lens and block the lens, which causes defects even if the image is taken in a state where it cannot be taken normally. Will be generated.
  • the entire shooting range of the camera is not normally shot (a factor that generates shooting data with defects)
  • dirt or the like directly adheres to the lens of the camera.
  • the transparent plate (glass) on the front surface (the surface facing the lens) of the box becomes dirty or cloudy, defective shooting data is generated.
  • the dirt on the camera lens is not limitedly interpreted as the dirt on the camera lens itself, but the above-mentioned dirt on the front surface of the box is also included in the category of dirt on the camera lens.
  • a camera has an optical system (lens, etc.) for forming an image, but dirt is reflected in the shooting data taken by an imaging device that does not have a lens, similar to the dirt on the lens of a camera. If so, it shall be included in the concept of "dirt on the camera lens".
  • the description will be made on the assumption that the lens is dirty as a situation in which defective shooting data is generated.
  • the expression "adhesion of dirt” includes all factors that cause the generation of defective shooting data such as fogging of the lens, adhesion of water droplets, and entanglement of flying objects.
  • the term "dirt” simply means dirt adhering to the lens of the camera.
  • Each component 12 to 14 in the image processing device 10 is realized by a cooperative operation of a computer forming the image processing device 10 and a program running on a CPU mounted on the computer. Further, the image database 11 is realized by the HDD mounted on the image processing device 10. Alternatively, RAM or an external storage means may be used via the network.
  • the program used in the present embodiment can be provided not only by communication means but also by storing it in a computer-readable recording medium such as a CD-ROM or a USB memory.
  • Programs provided from communication means and recording media are installed in a computer, and various processes are realized by sequentially executing the programs by the CPU of the computer.
  • the camera generates, for example, 30 frame images per second according to the specifications.
  • the continuously generated frame images are reproduced as a moving image by being reproduced continuously.
  • the shooting data in the present embodiment corresponds to a frame image. It is assumed that the shooting data to be the reference image and the comparison image among the shooting data taken by the camera are stored in advance in the image database 11. Identification information (camera ID) of the camera used for shooting is added to the shooting data.
  • the image processing device 10 is characterized by providing a stain index value as a useful index value for detecting the presence or absence of stains on the lens of the camera based on the shooting data.
  • a stain index value as a useful index value for detecting the presence or absence of stains on the lens of the camera based on the shooting data.
  • the process of calculating the stain index value will be described with reference to the flowchart shown in FIG.
  • the surveillance system includes a plurality of cameras, the same processing may be applied to the shooting data obtained from each camera, so here, one camera will be focused on.
  • the comparative image acquisition unit 12 acquires a plurality of captured data captured by the camera within a predetermined time from the image database 11 as comparative images (step 111).
  • the image processing unit 13 acquires a reference image that can be identified from the camera ID added to the comparison image from the image database 11 (step 112).
  • the image processing unit 13 compares the reference image with the comparison image and extracts the difference. Therefore, in order to appropriately extract the difference and improve the accuracy of the stain index value calculated based on the extracted difference, it is preferable to adopt the photographed data taken in the same environment as the comparative image as the reference image.
  • the shooting data taken at the same weather is acquired by referring to the shooting date and time, which is one of the attribute information of the comparison image, and referring to the same time zone, time zone, weather information, etc. as the comparison image.
  • the reference image needs to be defect-free shooting data
  • a supervisor or the like prepares a candidate for shooting data as a reference image in advance and registers it in the image database 11, and the image processing unit 13 , It is preferable to refer to the shooting date and time of the comparison image from the candidates and perform processing so as to acquire the shooting data shot in the same or similar environment as the comparison image as the reference image.
  • the image processing unit 13 extracts one unprocessed comparison image from the plurality of comparison images acquired from the comparison image acquisition unit 12 (step 113). Subsequently, the image processing unit 13 compares the reference image with the extracted comparison image and extracts the difference (step 114). More specifically, the image processing unit 13 calculates the difference between the pixel values of the pixels at the same positions of the reference image and the comparison image. The image processing unit 13 performs a process of calculating this difference for each pixel, and calculates an average value of the calculated differences of each pixel. The average value of this difference is the difference between the comparison image and the reference image (step 115).
  • the image processing unit 13 uses the average value of the differences between the reference images of all the comparative images as the stain index value. Calculate (step 117).
  • FIG. 3 is a conceptual diagram showing a comparison process between the reference image and each comparison image.
  • No stains are detected in the first comparative image 20a of the comparative images 20 composed of a plurality of captured data, but the stains 21 are reflected in the lower left side of the images in the comparative images 20b to 20d.
  • the stain 21 is a stain that does not come off once it adheres to the lens, it is reflected in the comparison image 20b or the comparison image 20 between the front and the last comparison image 20d.
  • the moving body (person) 22 is reflected in the comparative image 20c. That is, the moving body 22 may be reflected in the comparative images 20 before and after the comparative image 20c.
  • the image processing unit 13 extracts the difference from the reference image 23 for each comparison image 20 including the comparison images 20a to 20d.
  • the difference between the reference image 23 and the comparative image 20a in which the stain 21 is not detected is a relatively small value. As illustrated in FIG. 3, when the shooting range is outdoors, the difference can be extracted due to natural phenomena such as the influence of wind and sunlight. On the other hand, the difference between the reference image 23 and the comparative images 20b to 20d in which the stain 21 is detected is a relatively large value. The difference of the comparative image 20c in which the moving body 22 is reflected in addition to the dirt 21 is a value larger than the difference of the comparative images 20b and 20d.
  • the series of comparative images 20 it depends on the time when the dirt 21 adheres to the lens and the length of time that the moving body 22 is reflected, but basically, the dirt 21 does not come off once it adheres to the lens. It is considered that the image is reflected in the series of comparative images 20 for a relatively longer time than the moving body 22. Since the stain index value is the average value of the differences of all the comparative images 20, it is considered that the influence of the stain 21 on the stain index value is relatively large regardless of whether the number of the comparative images 20 is large or small. That is, the dirt 21 is a factor that leads the dirt index value to a large value.
  • the moving body 22 causes a large stain index value like the stain 21, but the reflection time is considered to be relatively short with respect to the stain 21. Since the stain index value is the average value of the differences of all the comparative images 20, the influence of the moving body 22 on the stain index value becomes relatively small as the number of the comparative images 20 increases. That is, it is considered that the moving body 22 is unlikely to be a factor that leads the dirt index value to a larger value than the dirt 21.
  • FIG. 4 is a diagram showing an image generated by the average value of the differences of all the comparative images 20.
  • An image corresponding to the dirt 21 appears in the lower left of this image, but the image corresponding to the moving body 22 becomes invisible on the image by obtaining the average value of the differences of all the comparative images 20. .. That is, it is possible to reduce the possibility that the moving body 22 is erroneously determined to be dirty.
  • the difference between the reference image and each comparison image is extracted, and the average value of the difference between the extracted comparison images is used as the stain index value, that is, the index value for detecting stain. did.
  • the characteristic stain index value in the present embodiment is an index value that is less susceptible to the influence of moving objects and more susceptible to stains that cannot be peeled off.
  • the dirt determination unit 14 determines whether or not the camera lens is dirty according to the comparison result between the dirt index value and the preset threshold value. A value for determining that the lens is dirty is set in the threshold value. As a result, the dirt determination unit 14 determines that the camera lens is dirty when the dirt index value exceeds the threshold value. On the other hand, when the dirt index value is equal to or less than the threshold value, it is determined that the camera lens is not so dirty that the monitoring purpose cannot be achieved.
  • the dirt determination unit 14 detects dirt on the lens of the camera as described above.
  • the threshold value used for determining the detection of dirt may be appropriately changed depending on the camera installation position, time zone, time zone, and the like.
  • FIG. 5 is a block configuration diagram showing an image processing device according to the present embodiment.
  • the image processing apparatus 10 in the present embodiment has a configuration in which the reference image generation unit 15 is added to the configuration of the first embodiment.
  • the reference image generation unit 15 When there is an object that performs a certain movement within the shooting range of the camera, the reference image generation unit 15 generates the average of the shooting data shot during the constant movement as the reference image.
  • the reference image generation unit 15 is realized by a cooperative operation of a computer forming the image processing device 10 and a program operated by a CPU mounted on the computer.
  • the hardware configuration of the image processing device 10 and the configuration of the monitoring system may be the same as those in the first embodiment.
  • the image processing unit 13 is basically as described in the first embodiment, although it may be affected by natural phenomena such as time and sunlight.
  • One shooting data having no defect may be selected as the reference image as the shooting data.
  • the elevator door corresponds to the above-mentioned moving object because it opens and closes constantly.
  • the image processing unit 13 compares the reference image with each comparison image and extracts the difference.
  • the shooting data of the door when the door is fully closed is used as a reference. It is assumed that it was adopted as an image. Then, if the door reflected in the comparison image is in the fully closed state, there is no problem, but if it is in the open state, the difference is extracted in the image of the door part although it is not dirty. That is, there is a possibility that the dirt determination unit 14 mistakenly determines that dirt has been detected.
  • the shooting data of the moving range of the object for example, the average of a plurality of shooting data obtained by shooting while the elevator door is in the fully closed state to the fully open state is generated as a reference image. It is characterized by doing so. More specifically, the reference image generation unit 15 calculates the average value of each pixel value of the pixels at the same position of each of the plurality of shooting data, and one shooting in which the calculated average value is used as the pixel value of each pixel. Generate the data as a reference image.
  • the stain index value calculation process in the present embodiment is basically the same as that in the first embodiment, and the process may be performed according to the flowchart shown in FIG. However, in step 112, the image processing unit 13 acquires the reference image from the image database 11 from the reference image generation unit 15.
  • the elevator door illustrated above performs a certain operation of fully opening from the fully closed state and then returning to the fully closed state by moving in the opposite direction to the fully opened state.
  • the reference image generation unit 15 may generate a reference image based on a plurality of shooting data obtained by shooting while the elevator door is in the fully closed state to the fully open state. , It is not necessary to use the captured data during the return from the fully open state to the original fully closed state to generate the reference image.
  • a constant movement for example, in the case of an object that moves in only one direction such as a rotational movement and returns to the original state, a plurality of shooting data obtained by shooting from the start of the movement to the return to the original position It is necessary to generate a reference image based on this. As described above, it is necessary to appropriately select the shooting data used for generating the reference image depending on the content of the operation.
  • the timing of opening and closing the elevator doors usually depends on the passengers of the elevator. That is, although the operation itself is constant, the timing of operation is irregular (irregular). In this case, as described above, it is preferable to generate a reference image by calculating the average of a plurality of shooting data that are shot and generated while moving.
  • each of the plurality of captured data may be used as a reference image, and the reference image may be switched according to the moving cycle of the object. That is, the reference image generation unit 15 may pass the reference image to the image processing unit 13 in correspondence with the movement of the object. Alternatively, the image processing unit 13 may acquire a plurality of reference images from the reference image generation unit 15, correspond to the movement of an object in the series of comparison images, and switch the reference image used for comparison with the comparison image. ..
  • the lights in the car may turn off automatically if there are no passengers.
  • the lighting state of the illumination can be determined by analyzing the brightness of the comparative image.
  • reference images for lighting and extinguishing may be prepared respectively, and the reference image may be switched between lighting and extinguishing according to the illuminance in the car.
  • one of the reference images for example, the shooting data taken at the time of lighting is adopted as the reference image, and among the comparison images acquired from the comparison image acquisition unit 12, the comparison image taken at the time of turning off is a comparison image to be compared with the reference image. It may be excluded from.
  • a stain index value is obtained as an index value indicating the degree of stain on the lens of the camera, and the stain determination unit 14 detects the stain by comparing the stain index value with the threshold value.
  • the dirt index value for the purpose of detecting dirt is an example and may be used for other purposes.
  • the image processing device 10 may provide the stain index value to the observer. Even if the cameras are cleaned regularly, the observer will recognize the degree of dirt on the lens of each camera by referring to the provided dirt index value, and for cameras with a high degree of dirt. It is possible to formulate an appropriate cleaning schedule, such as carrying out cleaning work as soon as possible. Further, the image processing device 10 may provide the observer with the transition of the dirt index value and use it for the maintenance management of the camera.
  • the shooting data shot for the purpose of monitoring has been described as the processing target, but dirt may be detected from the shooting data shot for other purposes.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Studio Devices (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

画像処理装置１０は、撮像装置により撮影された撮影データから、撮像装置のレンズの汚れの程度を明確にする指標を提供する。画像処理装置１０は、定点カメラにより撮影された複数の比較画像を取得する比較画像取得部１２と、撮影データとして欠陥のないことが判別されている基準画像と各比較画像とを比較して、各比較画像の基準画像との差分を算出し、その算出した全ての比較画像の差分の平均値を汚れ指標値として算出する画像処理部１３と、を有する。

Description

画像処理装置、画像処理方法及びプログラム
　本発明は、画像処理装置、画像処理方法及びプログラム、特に撮像装置のレンズの汚れの程度を示す指標に関する。
　防犯等の目的で監視を行うために数多くのカメラがビルなどの施設に設置される。ビル監視システムにおける監視員は、カメラによる撮影データを視聴することになるが、カメラのレンズが汚れていたり、曇っていたりすると、所定の撮影範囲全体を監視することができなくなり、監視業務に支障を来すことになりかねない。
　従来では、撮影した画像の時系列的変化を抽出することでカメラのレンズの汚れを検出する技術が種々提案されている。例えば、特許文献１では、時系列的に連続する画像間の差分が予め設定された閾値を超えた場合をレンズの汚れと判定している。
特開２０１３－１９１０７２号公報 特開２０１１－１２４８３０号公報 特開２０１４－１３４４９号公報 特開２０１３－４６２２１号公報 特開２００１－５２１８５号公報
　従来のように、時系列的に連続する画像間の差分を指標値とし、その指標値を閾値と比較することによってカメラのレンズの汚れを検出しようとすると、時間的に徐々に蓄積されているような汚れ、すなわち閾値にまで達していない差分が継続することによって付着していく汚れを検出できないおそれがある。また、カメラの撮影範囲内を通過した移動体を汚れと誤判定してしまう可能性がある。
　このように、閾値と比較する指標の取り方によっては、カメラのレンズの汚れを正確に検出できない可能性があった。
　本発明は、撮像装置により撮影された撮影データから、撮像装置のレンズの汚れの程度を明確に示す指標を提供することを目的とする。
　本発明に係る画像処理装置は、撮影範囲が固定されている撮像装置により撮影された撮影データであって、撮影データとして欠陥のないことが判別されている撮影データを基準画像として取得する基準画像取得手段と、所定の時間内に前記撮像装置により撮影された複数の撮影データをそれぞれ前記基準画像との比較画像として取得する比較画像取得手段と、前記基準画像と前記複数の比較画像それぞれとの差分を抽出する抽出手段と、前記複数の比較画像の差分の平均値を汚れ指標値として算出する算出手段と、を有するものである。
　また、前記撮影範囲内に一定の動作を行う物体が存在する場合、一定の動作を行う間に撮影された撮影データの平均を前記基準画像として生成する基準画像生成手段を有するものである。
　また、前記汚れ指標値と予め設定された閾値との比較結果に応じて前記撮像装置の汚れの有無を判定する判定手段を有するものである。
　本発明に係る画像処理方法は、撮影範囲が固定されている撮像装置により撮影された撮影データであって、撮影データとして欠陥のないことが判別されている撮影データを基準画像として取得する基準画像取得ステップと、所定の時間内に前記撮像装置により撮影された複数の撮影データをそれぞれ前記基準画像との比較画像として取得する比較画像取得ステップと、前記基準画像と前記複数の比較画像それぞれとの差分を抽出する抽出ステップと、前記複数の比較画像の差分の平均値を汚れ指標値として算出する算出ステップと、を含むものである。
　本発明に係るプログラムは、コンピュータを、撮影範囲が固定されている撮像装置により撮影された撮影データであって、撮影データとして欠陥のないことが判別されている撮影データを基準画像として取得する基準画像取得手段、所定の時間内に前記撮像装置により撮影された複数の撮影データをそれぞれ前記基準画像との比較画像として取得する比較画像取得手段、前記基準画像と前記複数の比較画像それぞれとの差分を抽出する抽出手段、前記複数の比較画像の差分の平均値を汚れ指標値として算出する算出手段、として機能させるためのものである。
　本発明によれば、撮像装置により撮影された撮影データから、撮像装置のレンズの汚れの程度を明確に示す指標を提供することができる。
　また、撮像装置の撮影範囲内に一定の動作を行う物体が存在する場合でも、比較画像との比較に適した基準画像を生成することができる。
実施の形態１における画像処理装置を示すブロック構成図である。 実施の形態１における指標値算出処理を示すフローチャートである。 実施の形態１において基準画像と各比較画像との比較処理を示す概念図である。 実施の形態１において全ての比較画像の差分の平均値により生成される画像を示す図である。 実施の形態２における画像処理装置を示すブロック構成図である。
　以下、図面に基づいて、本発明の好適な実施の形態について説明する。
実施の形態１．
　図１は、本発明に係る画像処理装置の一実施の形態を示すブロック構成図である。本実施の形態における画像処理装置１０は、ＰＣ（Ｐｅｒｓｏｎａｌ　Ｃｏｍｐｕｔｅｒ）等、従前から存在する汎用的なハードウェア構成で実現できる。すなわち、画像処理装置１０は、ＣＰＵ、ＲＯＭ、ＲＡＭ、ハードディスクドライブ（ＨＤＤ）等の記憶手段、ユーザインタフェース、またネットワークインタフェースとの通信手段を内部バスに接続して構成される。ユーザインタフェースは、マウスやキーボード等の入力手段、ディスプレイ等の表示手段を有する。
　本実施の形態における画像処理装置１０は、図１に示すように、画像データベース（ＤＢ）１１、比較画像取得部１２、画像処理部１３及び汚れ判定部１４を有している。なお、本実施の形態の説明に用いない構成要素については、図から省略している。
　画像データベース１１には、施設の監視を行う監視システム（図示せず）から取得した撮影データが記憶される。施設には、複数台のカメラ（図示せず）が散在配置されている。カメラは、所定の範囲を撮影することで撮影データを生成する撮像装置である。本実施の形態におけるカメラは、撮影範囲が固定されている、いわゆる定点カメラである。
　比較画像取得部１２は、所定の時間内にカメラにより撮影された複数の撮影データをそれぞれ基準画像との比較画像として取得する。画像処理部１３は、カメラによる撮影データとして欠陥のないことが判別されている撮影データを基準画像として取得する。また、画像処理部１３は、基準画像と比較画像取得部１２により取得された複数の比較画像に基づき汚れ指標値を算出する。汚れ判定部１４は、画像処理部１３により算出された汚れ指標値と予め設定された閾値との比較結果に応じてカメラのレンズ汚れの有無を判定する。
　なお、本実施の形態では、監視システムから取得した撮影データを記憶する画像データベース１１を画像処理装置１０に設けているが、比較画像取得部１２及び画像処理部１３が監視システムからそれぞれ比較画像及び基準画像を直接取得するように構成してもよい。
　ここで、基準画像として採用する「撮影データとして欠陥のない撮影データ」について説明するが、そのために、「撮影データとして欠陥のある撮影データ」について説明する。
　撮影データは、何らかの目的で利用されるために撮影され生成されることになる。本実施の形態の場合、撮影データは、施設の監視の目的でカメラが所定の範囲を撮影することで生成される。従って、目的のために利用できない撮影データは、撮影データとして欠陥のある撮影データということができる。このように、「撮影データとして欠陥のある撮影データ」は、撮影データとして利用できない撮影データではなく、目的の達成のために利用できない撮影データを指している。本実施の形態のように、監視システムで利用するカメラの場合、「撮影データとして欠陥のある撮影データ」というのは、カメラのレンズが汚れていることにより撮影範囲全体が明確に撮影されていないため監視の目的が十分に達成できない撮影データのことをいう。
　「撮影データとして欠陥のある撮影データ」を上記のように定義すると、「撮影データとして欠陥のない撮影データ」というのは、撮影データとして欠陥のある撮影データ以外の撮影データのことをいう。
　以降の説明では、撮影データとして欠陥のある撮影データを「欠陥有り撮影データ」と称し、欠陥有り撮影データでない撮影データ、すなわち、撮影データとして欠陥のない撮影データを「欠陥無し撮影データ」と称することにする。撮影データは、欠陥有り撮影データと欠陥無し撮影データのいずれかに分類される。
　前述したように、「欠陥有り撮影データ」は、カメラの撮影範囲全体が正常に撮影されていない撮影データと言うことができる。例えば、カメラのレンズに汚れが付着した場合、あるいは、カメラのレンズが曇ったり、水滴が付いたりする場合などである。レンズが曇っていても撮影範囲全体が撮影されるかもしれないが、それは、監視の目的に利用できなければ正常に撮影されているとは言えない。汚れには、レンズに付着したら取り除かなければ付着したままの汚れと、何らかの要因により剥がれる汚れもある。また、飛翔物、例えばレジ袋等がカメラに絡まったり、虫等がレンズに止まったりしてレンズを塞いでしまい、これにより正常に撮影できていない状態で撮影された場合も欠陥有り撮影データが生成される。
　また、カメラの撮影範囲全体が正常に撮影されていない要因（欠陥有り撮影データが生成される要因）として、カメラのレンズに汚れ等が直接付着した場合とは限らない。例えば、カメラが箱内に装着され、箱の前面（レンズと対向する面）の透明板（ガラス）が汚れたり、曇ったりする場合も欠陥有り撮影データが生成されることになる。このように、カメラのレンズの汚れというのは、カメラのレンズ自体の汚れと限定的に解釈するのではなく、前述した箱の前面の汚れなどもカメラのレンズの汚れの範疇に含まれる。また、カメラというのは、像を結ぶための光学系（レンズ等）を持っているが、レンズを持たない撮像装置によって撮影された撮影データに、カメラのレンズ汚れと同様に汚れが映り込んでいる場合も「カメラのレンズの汚れ」という概念に含まれるものとする。
　なお、本実施の形態では、特に断らない限り、欠陥有り撮影データが生成される状況としてレンズに汚れが付着している場合を想定して説明する。換言すると、「汚れの付着」という表現には、レンズの曇りや水滴の付着、更に飛翔物の絡まりなど欠陥有り撮影データの生成の要因となる全てが含まれるものとする。また、以降の説明において、単に「汚れ」という場合は、カメラのレンズに付着した汚れのことを意味する。
　画像処理装置１０における各構成要素１２～１４は、画像処理装置１０を形成するコンピュータと、コンピュータに搭載されたＣＰＵで動作するプログラムとの協調動作により実現される。また、画像データベース１１は、画像処理装置１０に搭載されたＨＤＤにて実現される。あるいは、ＲＡＭ又は外部にある記憶手段をネットワーク経由で利用してもよい。
　また、本実施の形態で用いるプログラムは、通信手段により提供することはもちろん、ＣＤ－ＲＯＭやＵＳＢメモリ等のコンピュータ読み取り可能な記録媒体に格納して提供することも可能である。通信手段や記録媒体から提供されたプログラムはコンピュータにインストールされ、コンピュータのＣＰＵがプログラムを順次実行することで各種処理が実現される。
　次に、本実施の形態における動作について説明する。
　カメラは、仕様に従い、例えば１秒間に３０フレーム画像を生成する。連続して生成されたフレーム画像は、連続して再生されることで動画像として再生される。本実施の形態における撮影データは、フレーム画像に相当する。カメラによる撮影データのうち基準画像及び比較画像の対象となる撮影データは、画像データベース１１に事前に蓄積されているものとする。撮影データには、撮影に使用されたカメラの識別情報（カメラＩＤ）が付加されている。
　本実施の形態における画像処理装置１０は、撮影データに基づきカメラのレンズの汚れの有無の検出に有用な指標値として汚れ指標値を提供することを特徴とする。以下、この汚れ指標値を算出する処理について図２に示すフローチャートを用いて説明する。なお、監視システムは、複数台のカメラを備えているが、各カメラから得られた撮影データに対して同様の処理を施せばよいので、ここでは、１台のカメラに注目して説明する。
　まず、比較画像取得部１２は、所定時間内にカメラにより撮影された複数の撮影データを画像データベース１１から比較画像として取得する（ステップ１１１）。
　続いて、画像処理部１３は、比較画像に付加されているカメラＩＤから特定できる基準画像を画像データベース１１から取得する（ステップ１１２）。
　ところで、詳細は後述するように、画像処理部１３は、基準画像を比較画像と比較して差分を抽出する。従って、差分を適切に抽出し、その抽出した差分に基づき算出する汚れ指標値の精度を向上させるためには、比較画像と同一環境で撮影された撮影データを基準画像として採用するのが好ましい。例えば、比較画像の属性情報の１つである撮影日時を参照して、比較画像と同じ時節、時間帯、また気象情報等を参照して同じ天気のときに撮影された撮影データを取得する。なお、基準画像は、欠陥無し撮影データである必要があることから、監視員等が基準画像となる撮影データの候補を事前に用意して画像データベース１１に登録しておき、画像処理部１３は、その候補の中から比較画像の撮影日時等を参照して、比較画像と同一又は類似した環境で撮影された撮影データを基準画像として取得するよう処理するのが好ましい。
　続いて、画像処理部１３は、比較画像取得部１２から取得した複数の比較画像の中から未処理の比較画像を１つ抽出する（ステップ１１３）。続いて、画像処理部１３は、基準画像と、抽出した比較画像とを比較して差分を抽出する（ステップ１１４）。より詳細には、画像処理部１３は、基準画像と比較画像の同じ位置の画素の各画素値の差分を算出する。画像処理部１３は、この差分を算出する処理を画素毎に行い、算出した各画素の差分の平均値を算出する。この差分の平均値が当該比較画像の基準画像との差分となる（ステップ１１５）。
　以上、比較画像に対して実施した処理を、未処理の比較画像が存在すれば（ステップ１１６でＮ）、その未処理の比較画像に対して繰り返し行う。
　そして、全ての比較画像に対して上記ステップ１１３～１１５の処理を行うと（ステップ１１６でＹ）、画像処理部１３は、全ての比較画像の基準画像との差分の平均値を汚れ指標値として算出する（ステップ１１７）。
　図３は、基準画像と各比較画像との比較処理を示す概念図である。複数の撮影データから構成される比較画像２０のうち先頭の比較画像２０ａには、汚れが検出されていないが、比較画像２０ｂ～２０ｄには、画像の左下側に汚れ２１が映り込んでいる。汚れ２１は、いったんレンズに付着した後は剥がれることのない汚れだとすると、比較画像２０ｂ若しくはその前から最後の比較画像２０ｄまでの間の比較画像２０に映り込んでいる。更に、比較画像２０ｃには、移動体（人）２２が映り込んでいる。つまり、移動体２２は、比較画像２０ｃの前後の比較画像２０にも映り込んでいる可能性がある。画像処理部１３は、ステップ１１４を繰り返すことで、比較画像２０ａ～２０ｄを含む比較画像２０毎に基準画像２３との差分を抽出することになる。
　基準画像２３と汚れ２１が検出されていない比較画像２０ａとの差分は、相対的に小さい値となる。図３に例示したように撮影範囲が屋外の場合、風や太陽光の影響等の自然現象が要因となって差分が抽出されうる。一方、基準画像２３と汚れ２１が検出されている比較画像２０ｂ～２０ｄとの差分は、相対的に大きい値となる。汚れ２１に加えて移動体２２が映り込んでいる比較画像２０ｃの差分は、比較画像２０ｂ，２０ｄの差分より大きい値となる。
　一連の比較画像２０の中で、汚れ２１がレンズに付着した時点や移動体２２が映り込んでいる時間長に依存するが、基本的には、汚れ２１は、いったんレンズに付着すると剥がれないため、移動体２２より相対的に長い時間、一連の比較画像２０の中に映り込んでいると考えられる。汚れ指標値は、全ての比較画像２０の差分の平均値なので、比較画像２０の数が多くても少なくても汚れ２１が汚れ指標値に与える影響は相対的に大きいと考えられる。つまり、汚れ２１は、汚れ指標値を大きい値に導く要因となる。
　一方、移動体２２は、汚れ２１と同様に汚れ指標値を大きい値に導く要因となるが、映り込んでいる時間は、汚れ２１に対して相対的に短いと考えられる。汚れ指標値は、全ての比較画像２０の差分の平均値なので、移動体２２は、比較画像２０の数が多くなればなるほど、汚れ指標値に与える影響は相対的に小さくなる。つまり、移動体２２は、汚れ２１と比較して汚れ指標値を大きい値に導く要因とはなりにくいと考えられる。
　図４は、全ての比較画像２０の差分の平均値により生成される画像を示す図である。この画像の左下には、汚れ２１に対応する画像が現れてくるが、移動体２２に対応する画像は、全ての比較画像２０の差分の平均値を得ることで画像上では視認できない程度となる。すなわち、移動体２２を汚れと誤って判定される可能性を低くすることができる。
　以上説明したように、本実施の形態においては、基準画像と各比較画像との差分を抽出し、その抽出した各比較画像の差分の平均値を汚れ指標値、すなわち汚れの検出の指標値とした。前述したように、本実施の形態において特徴的な汚れ指標値は、移動体の影響を受けにくくし、かつ剥がれない汚れの影響を受けやすくなる指標値である。
　汚れ判定部１４は、汚れ指標値と予め設定された閾値との比較結果に応じてカメラのレンズの汚れの有無を判定する。閾値には、レンズが汚れていると判断するための値が設定される。これにより、汚れ判定部１４は、汚れ指標値が閾値を超えた場合、カメラのレンズが汚れていると判定する。一方、汚れ指標値が閾値以下の場合、カメラのレンズは監視目的を達成できないほど汚れていないと判定する。汚れ判定部１４は、以上のようにして、カメラのレンズの汚れを検出する。なお、汚れの検出の判定に用いる閾値は、カメラの設置位置、時節、時間帯等によって適宜変更してもよい。
実施の形態２．
　図５は、本実施の形態における画像処理装置を示すブロック構成図である。実施の形態１と同じ構成要素には、同じ符号を付け説明を省略する。図５に示すように、本実施の形態における画像処理装置１０は、実施の形態１の構成に、基準画像生成部１５を追加した構成を有している。基準画像生成部１５は、カメラの撮影範囲内に一定の動作を行う物体が存在する場合、一定の動作を行う間に撮影された撮影データの平均を基準画像として生成する。基準画像生成部１５は、画像処理装置１０を形成するコンピュータと、コンピュータに搭載されたＣＰＵで動作するプログラムとの協調動作により実現される。なお、その他、画像処理装置１０のハードウェア構成や監視システムの構成は、実施の形態１と同じでよい。
　ところで、本実施の形態におけるカメラは、定点カメラであることから撮影範囲は固定されている。従って、レンズに汚れが付着していない場合、時節や太陽光等の自然現象の影響は受ける可能性はあるものの、基本的には実施の形態１で説明したように、画像処理部１３は、撮影データとして欠陥のない１つの撮影データを基準画像として選択すればよい。
　ただ、撮影範囲の中に、移動体を除き、被写体として動きを伴う物体が存在する場合、１つの撮影データを基準画像として採用すればよいとは言い切れない。例えば、カメラがエレベーターの中に設置されており、そのカメラの撮影範囲に扉が入っているとする。この場合、エレベーターの扉は、一定の開閉動作することから前述した動く物体に相当する。
　実施の形態１において説明したように、画像処理部１３は、基準画像と各比較画像との比較を行って差分を抽出するが、ここで、全閉状態であるときの扉の撮影データが基準画像として採用されたとする。そうすると、比較画像に映り込む扉が全閉状態であれば問題ないが、開いている状態であれば、汚れではないものの扉の部分の画像に差分が抽出されてしまう。つまり、汚れ判定部１４が誤って汚れを検出したと判定してしまう可能性が生じてくる。
　そこで、本実施の形態においては、物体の動く範囲の撮影データ、例えば、エレベーターの扉が全閉状態から全開状態になる間の撮影により得られた複数の撮影データの平均を基準画像として生成するようにしたことを特徴としている。より詳細には、基準画像生成部１５は、複数の撮影データそれぞれの同じ位置の画素の各画素値の平均値を算出し、その算出した各平均値を各画素の画素値とする１つの撮影データを基準画像として生成する。
　本実施の形態における汚れ指標値算出処理は、基本的には実施の形態１と同様で、図２に示すフローチャートに従って処理を実施すればよい。但し、ステップ１１２において、画像処理部１３は、画像データベース１１から基準画像を取得していたところを、基準画像生成部１５から取得することになる。
　本実施の形態によれば、カメラの撮影範囲内に一定の動作を行う物体が存在する場合でも、その物体の動作を誤ってレンズの汚れと検出しにくくなる。
　ところで、上記例示したエレベーターの扉は、全閉状態から全開し、そして全開するときと逆の動きをして全閉状態に戻るという一定の動作を行う。このような往復運動によるスライド動作の場合、基準画像生成部１５は、エレベーターの扉が全閉状態から全開状態になる間の撮影により得られた複数の撮影データに基づき基準画像を生成すればよく、全開状態から元の全閉状態に戻る間の撮影データを基準画像の生成に使用しなくてもよい。一定の動作として、例えば回転運動等一方向のみに動作して元の状態に戻る物体の場合、動作を開始してから元の位置に戻るまでの間の撮影により得られた複数の撮影データに基づき基準画像を生成する必要がある。このように、動作の内容によって、基準画像の生成に用いる撮影データを適宜選択する必要がある。
　また、エレベーターの扉が開閉するタイミングは、通常、エレベーターの乗客次第である。つまり、動作自体は一定であるものの、動作するタイミングは、不定期（不規則）である。この場合は、上記のように、動く間に撮影されて生成された複数の撮影データの平均を求めることによって基準画像を生成することが好ましい。
　物体の動くタイミング及び動作の内容が既知の場合、物体の動作中に複数回撮影し、複数の撮影データを生成しておく。そして、複数の撮影データをそれぞれ基準画像とし、物体の動く周期に合わせて基準画像を切り替えるようにしてもよい。すなわち、基準画像生成部１５は、物体の動きに対応させて基準画像を画像処理部１３に渡すようにすればよい。あるいは、画像処理部１３は、基準画像生成部１５から複数の基準画像を取得し、一連の比較画像の中の物体の動きに対応させて、比較画像との比較に用いる基準画像を切り替えればよい。
　また、カメラがエレベーターのかごの中に設置されている場合、乗客がいなければ、かご内の照明は自動的に消灯する場合がある。なお、照明の点灯状態は、比較画像の輝度を解析すれば判定できる。この場合、点灯時用と消灯時用の基準画像をそれぞれ用意しておき、かご内の照度に対応させて基準画像を点灯時用と消灯時用に切り替えるようにしてもよい。あるいは、一方の基準画像、例えば点灯時に撮影された撮影データを基準画像として採用し、比較画像取得部１２から取得した比較画像のうち消灯時に撮影された比較画像は、基準画像と比較する比較画像から除外するようにしてもよい。
　なお、上記各実施の形態においては、カメラのレンズの汚れの程度を示す指標値として汚れ指標値を求め、汚れ判定部１４により、汚れ指標値と閾値との比較によって汚れを検出する場合を例にして説明した。ただ、汚れ指標値を汚れの検出目的で使用することは一例であって他の目的で利用してもよい。例えば、汚れ判定部１４がレンズは汚れていないと判定した場合でも、画像処理装置１０は、汚れ指標値を監視員に提供するようにしてもよい。カメラの清掃を定期的に行っている場合でも、監視員は、提供された汚れ指標値を参照することによって、各カメラのレンズの汚れの程度を認識し、汚れの程度の高いカメラに対しては早急に清掃作業を実施するなどのように適切な清掃スケジュールを立案することが可能となる。また、画像処理装置１０は、汚れ指標値の遷移を監視員に提供して、カメラの保守管理に利用させるようにしてもよい。
　また、上記各実施の形態においては、監視目的で撮影された撮影データを処理対象として説明したが、他の目的で撮影された撮影データから汚れを検出するようにしてもよい。
　１０　画像処理装置、１１　画像データベース、１２　比較画像取得部、１３　画像処理部、１４　汚れ判定部、１５　基準画像生成部。
 

Claims (5)

  1. 　撮影範囲が固定されている撮像装置により撮影された撮影データであって、撮影データとして欠陥のないことが判別されている撮影データを基準画像として取得する基準画像取得手段と、
    　所定の時間内に前記撮像装置により撮影された複数の撮影データをそれぞれ前記基準画像との比較画像として取得する比較画像取得手段と、
    　前記基準画像と前記複数の比較画像それぞれとの差分を抽出する抽出手段と、
    　前記複数の比較画像の差分の平均値を汚れ指標値として算出する算出手段と、
    　を有することを特徴とする画像処理装置。
  2. 　前記撮影範囲内に一定の動作を行う物体が存在する場合、一定の動作を行う間に撮影された撮影データの平均を前記基準画像として生成する基準画像生成手段を有することを特徴とする請求項１に記載の画像処理装置。
  3. 　前記汚れ指標値と予め設定された閾値との比較結果に応じて前記撮像装置の汚れの有無を判定する判定手段を有することを特徴とする請求項１又は２に記載の画像処理装置。
  4. 　撮影範囲が固定されている撮像装置により撮影された撮影データであって、撮影データとして欠陥のないことが判別されている撮影データを基準画像として取得する基準画像取得ステップと、
    　所定の時間内に前記撮像装置により撮影された複数の撮影データをそれぞれ前記基準画像との比較画像として取得する比較画像取得ステップと、
    　前記基準画像と前記複数の比較画像それぞれとの差分を抽出する抽出ステップと、
    　前記複数の比較画像の差分の平均値を汚れ指標値として算出する算出ステップと、
    　を含むことを特徴とする画像処理方法。
  5. 　コンピュータを、
    　撮影範囲が固定されている撮像装置により撮影された撮影データであって、撮影データとして欠陥のないことが判別されている撮影データを基準画像として取得する基準画像取得手段、
    　所定の時間内に前記撮像装置により撮影された複数の撮影データをそれぞれ前記基準画像との比較画像として取得する比較画像取得手段、
    　前記基準画像と前記複数の比較画像それぞれとの差分を抽出する抽出手段、
    　前記複数の比較画像の差分の平均値を汚れ指標値として算出する算出手段、
    　として機能させるためのプログラム。
     
PCT/JP2019/023047 2019-06-11 2019-06-11 画像処理装置、画像処理方法及びプログラム WO2020250296A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2021525437A JP6977200B2 (ja) 2019-06-11 2019-06-11 画像処理装置、画像処理方法及びプログラム
PCT/JP2019/023047 WO2020250296A1 (ja) 2019-06-11 2019-06-11 画像処理装置、画像処理方法及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2019/023047 WO2020250296A1 (ja) 2019-06-11 2019-06-11 画像処理装置、画像処理方法及びプログラム

Publications (1)

Publication Number Publication Date
WO2020250296A1 true WO2020250296A1 (ja) 2020-12-17

Family

ID=73781669

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/023047 WO2020250296A1 (ja) 2019-06-11 2019-06-11 画像処理装置、画像処理方法及びプログラム

Country Status (2)

Country Link
JP (1) JP6977200B2 (ja)
WO (1) WO2020250296A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023079593A1 (ja) * 2021-11-02 2023-05-11 三菱電機ビルソリューションズ株式会社 汚れ判定装置、汚れ判定方法、および汚れ判定プログラム

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011068440A (ja) * 2009-09-24 2011-04-07 Toshiba Elevator Co Ltd エレベータ監視装置、エレベータ監視方法及びエレベータ遠隔監視システム
JP2018107665A (ja) * 2016-12-27 2018-07-05 グローリー株式会社 撮像装置、汚れ検知システム、及び、汚れ検知方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011068440A (ja) * 2009-09-24 2011-04-07 Toshiba Elevator Co Ltd エレベータ監視装置、エレベータ監視方法及びエレベータ遠隔監視システム
JP2018107665A (ja) * 2016-12-27 2018-07-05 グローリー株式会社 撮像装置、汚れ検知システム、及び、汚れ検知方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023079593A1 (ja) * 2021-11-02 2023-05-11 三菱電機ビルソリューションズ株式会社 汚れ判定装置、汚れ判定方法、および汚れ判定プログラム
JP7455284B2 (ja) 2021-11-02 2024-03-25 三菱電機ビルソリューションズ株式会社 汚れ判定装置

Also Published As

Publication number Publication date
JPWO2020250296A1 (ja) 2021-10-14
JP6977200B2 (ja) 2021-12-08

Similar Documents

Publication Publication Date Title
KR101869442B1 (ko) 화재 감지 장치 및 방법
Wang Real-time moving vehicle detection with cast shadow removal in video based on conditional random field
Li et al. Foreground object detection in changing background based on color co-occurrence statistics
AU2008200967B2 (en) Spatio-activity based mode matching
CN108399359B (zh) 一种视频序列下实时火灾检测预警方法
EP2549759A1 (en) Method and system for facilitating color balance synchronization between a plurality of video cameras as well as method and system for obtaining object tracking between two or more video cameras
Chen et al. Indoor and outdoor people detection and shadow suppression by exploiting HSV color information
KR101062225B1 (ko) 감시 카메라를 이용한 지능형 영상 검색 방법 및 시스템
CN108230607B (zh) 一种基于区域特征分析的图像火灾探测方法
KR101224494B1 (ko) 촬영 대상의 명도 및 채도 변화에 강건한 영상 기반 연기 검출 방법
JP6616906B1 (ja) 欠陥のある撮影データの検知装置及び検知システム
CN110544271A (zh) 抛物动作检测方法及相关装置
Lin et al. Real-time active tampering detection of surveillance camera and implementation on digital signal processor
JP6977200B2 (ja) 画像処理装置、画像処理方法及びプログラム
Jeong et al. Probabilistic method to determine human subjects for low-resolution thermal imaging sensor
Hardas et al. Moving object detection using background subtraction shadow removal and post processing
Tao et al. Real-time detection and tracking of moving object
JP2019124986A (ja) 障害検知システム
Wang et al. A new approach for real-time detection of abandoned and stolen objects
Sexton et al. Suppression of shadows for improved object discrimination
Frejlichowski et al. Extraction of the foreground regions by means of the adaptive background modelling based on various colour components for a visual surveillance system
Kim et al. Statistical pattern based real-time smoke detection using DWT energy
Branca et al. Cast shadow removing in foreground segmentation
abd el Azeem Marzouk Modified background subtraction algorithm for motion detection in surveillance systems
KR101648562B1 (ko) 이동 물체 탐지 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19933111

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021525437

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19933111

Country of ref document: EP

Kind code of ref document: A1