WO2016021147A1 - 画像から移動体の滞留を検出するための画像処理システム、画像処理方法及び記録媒体 - Google Patents

画像から移動体の滞留を検出するための画像処理システム、画像処理方法及び記録媒体 Download PDF

Info

Publication number
WO2016021147A1
WO2016021147A1 PCT/JP2015/003780 JP2015003780W WO2016021147A1 WO 2016021147 A1 WO2016021147 A1 WO 2016021147A1 JP 2015003780 W JP2015003780 W JP 2015003780W WO 2016021147 A1 WO2016021147 A1 WO 2016021147A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
area
image frame
time
region
Prior art date
Application number
PCT/JP2015/003780
Other languages
English (en)
French (fr)
Inventor
有紀江 森口
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to US15/501,673 priority Critical patent/US10262421B2/en
Priority to JP2016539829A priority patent/JP6652057B2/ja
Publication of WO2016021147A1 publication Critical patent/WO2016021147A1/ja
Priority to US16/277,190 priority patent/US10776931B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/215—Motion-based segmentation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/188—Capturing isolated or intermittent images triggered by the occurrence of a predetermined event, e.g. an object reaching a predetermined position
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance

Definitions

  • Some embodiments according to the present invention relate to an image processing system, an image processing method, and a recording medium.
  • Patent Document 1 In recent years, for example, in video surveillance, it has been considered to specify an object left behind or a person who stays for a certain period of time (for example, see Patent Document 1).
  • Patent Document 1 a motion in a scene is analyzed on a plurality of time scales, and a long-term background model and a short-term background model are compared.
  • the pixels belonging to the mainly stationary background portion, the dynamic foreground portion of the scene, and the left object that has been stationary for a certain period of time are distinguished.
  • Patent Documents 2-6 also disclose related technologies.
  • Some aspects of the present invention have been made in view of the above-described problems, and an object thereof is to provide an image processing system, an image processing method, and a recording medium for suitably detecting staying.
  • the image processing system includes a first image generated from each image frame photographed within a first time width from the processing time, and a second longer than the first time width from the processing time.
  • Determination means for determining whether or not the image is a staying area in the image frame at the processing time based on a second image generated from each image frame photographed within the time width of the image frame;
  • generating means for generating reliability information related to determination as to whether or not each area is a staying area.
  • the image processing method includes a first image generated from each image frame captured within a first time width from the processing time, and a second longer than the first time width from the processing time. On the basis of the second image generated from each image frame photographed within the time width of the image, it is determined whether or not it is a staying area in the image frame at the processing time, and each image frame in the processing target image frame For the area, the reliability information relating to the determination of whether or not the area is the staying area is generated.
  • the computer-readable non-transitory recording medium includes a first image generated from each image frame captured within a first time width from a processing time, and the first time from the processing time.
  • “part”, “means”, “apparatus”, and “system” do not simply mean physical means, but “part”, “means”, “apparatus”, “system”. This includes the case where the functions possessed by "are realized by software. Further, even if the functions of one “unit”, “means”, “apparatus”, and “system” are realized by two or more physical means or devices, two or more “parts” or “means”, The functions of “device” and “system” may be realized by a single physical means or device.
  • FIG. 1 is a functional block diagram illustrating a schematic configuration of an image processing system according to a first embodiment. It is a figure which shows the specific example of the production
  • the image processing system is for detecting staying of a moving body from an image taken by, for example, a monitoring camera.
  • the moving body that the image processing system detects staying can include, for example, a person, an animal, a car, or the like that moves by itself, or an abandoned object left by a person.
  • the description will mainly focus on the case where the stay of a person is detected.
  • the following method is conceivable as a method for detecting a staying moving body.
  • a background image is created by averaging a large number of captured images taken over a long period of time (hereinafter also referred to as a long time window). Then, by comparing this background image with a background image obtained by averaging each photographed image photographed in a shorter period (hereinafter also referred to as a short time window) than that, a long period of time is obtained. It is to extract the reflected object.
  • an average image (background image) is generated from captured images within a certain period of time, in this image, for example, the influence of a moving body (including a person) that is immediately out of frame is suppressed to a low level. This makes it easier to extract stagnant objects.
  • an image that is generated based on a plurality of images and is suppressed from being affected by a moving object is referred to as a background image.
  • the reliability of the stay detection is calculated for each region in the image. Therefore, for example, it is possible to suppress erroneous detection of stagnation by a method of excluding a portion with low reliability from a stagnation determination target.
  • FIG. 1 is a block diagram showing a system configuration of the image processing system 100.
  • the image processing system 100 includes an image input unit 110, a foreground / background separation unit 120, a stay region extraction unit 130, a reliability calculation unit 140, an image storage unit 150, a stay possibility determination unit 160, and an output unit. 170.
  • the image input unit 110 receives input of time-series frame images included in video input from a photographing apparatus such as a monitoring camera (not shown). Each frame image is an image having a different shooting time. Alternatively, the image input unit 110 may receive a frame image obtained by decoding video data stored in an HDD (Hard Disk Drive) or a VCR (Video Cassette Recorder) (not shown).
  • a photographing apparatus such as a monitoring camera
  • Each frame image is an image having a different shooting time.
  • the image input unit 110 may receive a frame image obtained by decoding video data stored in an HDD (Hard Disk Drive) or a VCR (Video Cassette Recorder) (not shown).
  • HDD Hard Disk Drive
  • VCR Video Cassette Recorder
  • the foreground / background separation unit 120 sequentially separates the foreground region and the background region from the input image input from the image input unit 110 using, for example, a background difference method or an optical flow.
  • the foreground area is a moving area in the image
  • the background area is a non-moving (still) area (hereinafter also referred to as a still area).
  • the presence / absence of motion can be determined, for example, based on whether the motion exceeds a threshold value.
  • the threshold value used for determining the presence or absence of movement can be changed according to the type of the staying moving body that is the detection target.
  • an area where there is no movement in the image may be set as a background area, and the other area may be set as a foreground area.
  • the amount of change is smaller than a predetermined threshold even if some change in appearance in the image due to slight shaking, posture change, or shape change occurs.
  • the background area is assumed to be substantially stationary, and the other area may be the foreground area.
  • the other area is an area where the amount of change exceeds a threshold value. That is, the background area does not indicate only an area where there is no movement, but an area where the amount of movement is smaller than a threshold value.
  • the image frame to be processed is compared with the previous image frame in units of macroblocks, and then the movement is performed. Identify blocks with More specifically, for example, it can be specified by examining where a macroblock similar to each macroblock (a set of pixels) in the processing target image frame is located in the immediately preceding image frame (block matching) or the like. .
  • the background subtraction method compare whether the difference between the background image acquired in advance and the image of the processing target exceeds the threshold for each pixel or each set of pixels such as a macroblock. By doing so, the foreground area and the background area can be separated.
  • the stay area extraction unit 130 generates a plurality of background images from image frames included in a plurality of time windows, and determines the stay area by comparing these background images.
  • the stay area extraction unit 130 generates a background image for each of a plurality of time windows from each image frame in which only the background area is extracted.
  • These background images are, for example, the average value, the median value, or the mode value of the pixel values of each pixel in the image frame with respect to the still area of each image frame captured within the past certain period from the processing target time. Can be generated by obtaining the above.
  • the image processing system compares the two, extracts pixels whose difference exceeds the threshold value, and forms a pixel region constituted by those pixels. Can be specified as a staying region where the moving body stays.
  • a background image of the time window may be generated.
  • FIG. 3 shows a specific example of the functional configuration of the stay area extraction unit 130.
  • the stay region extraction unit 130 includes a background image generation unit 131, a background image comparison unit 133, and a stay region determination unit 135.
  • the background image generation unit 131 includes a background region (an image of a still region) extracted by the foreground / background separation unit 120 and an image frame captured in a plurality of predetermined time windows stored in the image storage unit 150.
  • a background image is generated using the background region according to.
  • the background image generation unit 131 calculates the average value, median value, or mode value of the pixel values for the time window obtained at each pixel position related to the background region of each image frame, thereby obtaining the background image. Can be generated.
  • images related to the background area of each input image which are sequentially extracted by the foreground / background separation unit 120, are stored for a predetermined time.
  • the background image comparison unit 133 compares the background images generated by the background image generation unit 131 for each time window. More specifically, the background image comparison unit 133 compares the background image generated from the longest time window with the background image generated from the shorter time window, so that the moving body is stationary for a certain time. The staying area can be detected.
  • the background image generated from the longest time window is a background image that is assumed to be composed of a true background that does not include a moving object.
  • the background image comparison unit 133 can also generate a background image with a plurality of time window backgrounds, thereby classifying and detecting according to the stationary time length.
  • a background image comparison method by the background image comparison unit 133 for example, a method using an absolute value of a pixel value difference between background images, or a pixel in a rectangular area while scanning a rectangular area of a small size on the image.
  • a method for calculating the correlation of values is conceivable.
  • a background image comparison method by the background image comparison unit 133 for example, a method of calculating a histogram distance of pixel values in a rectangular area may be considered. For a method using a rectangular area, for example, a certain size such as a macro block may be set.
  • the camera parameter is used to consider the size of the moving object to be detected on the image frame, and a different size for each location on the image frame. It may be set.
  • the setting of a different size for each location on the image frame means, for example, that the image area in which the front is reflected has a larger rectangular area, and the image area in which the rear is reflected has a smaller rectangular area.
  • the staying area determination unit 135 identifies a pixel having a difference that exceeds a threshold, and determines a pixel area including such pixels as a staying area. At this time, if the characteristics such as the size and shape of the object to be detected are known, the staying area determination unit 135 may determine by excluding the pixel area that does not match the characteristics.
  • the reliability calculation unit 140 calculates the reliability related to stay detection for each region (including the case of pixels) of the image frame to be processed.
  • the reliability may be calculated for each time window used to generate a plurality of background images.
  • the reliability calculation unit 140 may calculate the background pixel acquisition rate for each time window and then calculate the reliability by combining them. More specifically, for example, when the background pixel acquisition rate is low in all time windows for which reliability is calculated, the background pixel is considered to be an area where it is difficult to obtain the background pixel. The degree can be set low.
  • the reliability calculation unit 140 may calculate the reliability using environmental changes. Specifically, a case will be described in which input of environmental information such as day of the week (whether weekend or weekday), time, place, weather, and the like, which cause the background to change, will be described. In this case, the reliability calculation unit 140 may calculate the reliability statically or in combination with the background pixel acquisition rate according to the environmental conditions obtained from such environmental information.
  • the stay possibility determination unit 160 determines whether each region is based on the result of stay determination for each region (including a pixel) by the stay region extraction unit 130 and the reliability of each region by the reliability calculation unit 140. It is determined whether or not it is staying or the possibility of staying. For example, it is conceivable that the stay possibility determination unit 160 does not output the result of stay detection (excluding the determination target) for an area whose reliability is lower than a threshold value. In this case, the stay possibility determination unit 160 may output the stay area / non-stay area detection result, which is the stay determination result by the stay area extraction unit 130, for an area having a reliability higher than the threshold.
  • the stay possibility determination unit 160 can also specify the area in such a case as an area with a possibility of stay.
  • the stay possibility determination unit 160 may specify that the processing target area is also likely to stay.
  • the output unit 170 displays the determination results determined by the stagnation possibility determination unit 160 as a region where stagnation occurs, a region where stagnation does not occur, and a region where stagnation may occur, for example, a display device And output to other information processing devices.
  • Each processing step to be described later can be executed in any order or in parallel as long as there is no contradiction in processing contents, and other steps can be added between the processing steps. good. Further, a step described as a single step for convenience can be executed by being divided into a plurality of steps, and a step described as being divided into a plurality of steps for convenience can be executed as one step.
  • the image input unit 110 receives an input of an image frame obtained by decoding, for example, a video captured by a video camera or video data recorded with the video (S401).
  • the foreground / background separation unit 120 separates the image frame input from the image input unit 110 into a stationary background region and a foreground region where movement has occurred (S403).
  • the generated image of the background area is stored in the image storage unit 150, for example.
  • the background image generation unit 131 generates a background image by using the background region specified by the foreground / background separation unit 120 among the images photographed within the preset time window (S405). At this time, the background image generation unit 131 generates a background image for a plurality of time windows in accordance with the residence time of the moving object from which the residence is extracted.
  • the background image comparison unit 133 compares the background images of the respective time windows generated by the background image generation unit 131 (S407), and the stay region determination unit 135 identifies regions where the difference is equal to or greater than the threshold value as the stay region. (S409).
  • the reliability calculation unit 140 reads the background area of each image frame included in the time window for reliability calculation from the image storage unit 150 (S501).
  • the background area of each image frame is specified by the foreground / background separator 120 as described above.
  • the reliability calculation unit 140 calculates, for each pixel, a ratio (background pixel acquisition rate) in which a background region can be acquired in each image frame included in the time window (S503).
  • the reliability calculation unit 140 outputs the background pixel acquisition rate as the reliability to the stay possibility determination unit 160 (S505).
  • the stay possibility determination unit 160 determines whether or not it is a stay region shown in FIG. 6 for each pixel or pixel set (hereinafter, the pixel or pixel set is collectively referred to as a region).
  • the stay possibility determination unit 160 determines whether or not a region (processing target region) that is a target of stay determination has been determined as a stay region by the stay region extraction unit 130 (S601). If it is determined as a staying area (YES in S601), the staying possibility determination unit 160 determines whether the reliability of the determination as the staying area calculated by the reliability calculation unit 140 is higher than a threshold value. It is determined whether or not (S603). If the reliability is higher than the threshold (YES in S603), the stay possibility determination unit 160 determines that the area is staying (S605).
  • the stay possibility determination unit 160 determines that the stay area is determined to be a stay area by the stay area extraction unit 130. As a result, the reliability is low, and it is excluded from the target of stay determination (S607).
  • the staying possibility determination unit 160 performs the same process as in S603. That is, the stay possibility determination unit 106 determines whether or not the reliability of the determination as the stay region calculated by the reliability calculation unit 140 is higher than the threshold (S609). If the reliability is higher than the threshold (YES in S609), the stay possibility determination unit 160 determines that the area is not staying (S611).
  • the stay possibility determination unit 160 determines whether the spatial vicinity area or the temporal vicinity area of the processing target area is determined as staying. It discriminate
  • the image processing system 100 includes a processor 701, a memory 703, a storage device 705, an input interface (I / F) 707, a data I / F 709, a communication I / F 711, and a display device 713.
  • a processor 701 a memory 703, a storage device 705, an input interface (I / F) 707, a data I / F 709, a communication I / F 711, and a display device 713.
  • the processor 701 controls various processes in the image processing system 100 by executing a program stored in the memory 703. For example, the processing related to the image input unit 110, the foreground / background separation unit 120, the stay region extraction unit 130, the reliability calculation unit 140, the stay possibility determination unit 160, and the output unit 170 described in FIG. It can be realized as a program that is temporarily stored and operates mainly on the processor 701.
  • the memory 703 is a storage medium such as a RAM (Random Access Memory).
  • the memory 703 temporarily stores a program code of a program executed by the processor 701 and data necessary for executing the program. For example, a stack area necessary for program execution is secured in the storage area of the memory 703.
  • the storage device 705 is a non-volatile storage medium such as a hard disk or a flash memory.
  • the storage device 705 implements an operating system, an image input unit 110, a foreground / background separation unit 120, a stay region extraction unit 130, a reliability calculation unit 140, a stay possibility determination unit 160, and an output unit 170.
  • a program and various data including the image storage unit 150 are stored.
  • Programs and data stored in the storage device 705 are referred to by the processor 701 by being loaded into the memory 703 as necessary.
  • the input I / F 707 is a device for receiving input from the user. Specific examples of the input I / F 707 include a keyboard, a mouse, and a touch panel. The input I / F 707 may be connected to the image processing system 100 via an interface such as a USB (Universal Serial Bus), for example.
  • USB Universal Serial Bus
  • the data I / F 709 is a device for inputting data from the outside of the image processing system 100.
  • Specific examples of the data I / F 709 include a drive device for reading data stored in various storage media.
  • the data I / F 709 may be provided outside the image processing system 100. In that case, the data I / F 709 is connected to the image processing system 100 via an interface such as a USB.
  • the communication I / F 711 is a device for performing data communication with an external device of the image processing system 100, for example, a video camera or the like by wire or wireless. It is also conceivable that the communication I / F 711 is provided outside the image processing system 100. In that case, the communication I / F 711 is connected to the image processing system 100 via an interface such as a USB.
  • the display device 713 is a device for displaying various information. Specific examples of the display device 713 include a liquid crystal display and an organic EL (Electro-Luminescence) display.
  • the display device 713 may be provided outside the image processing system 100. In that case, the display device 713 is connected to the image processing system 100 via, for example, a display cable.
  • the image processing system 100 performs the stay determination and calculates the reliability of the stay determination. In this way, if reliability is utilized for stay determination, for example, it is possible to reduce false detection of stay or to compensate for missing or interrupted stay areas, thereby improving stay detection accuracy. Can do.
  • FIG. 8 is a block diagram illustrating a functional configuration of the image processing system 800. As illustrated in FIG. 8, the image processing system 800 includes a determination unit 810 and a generation unit 820.
  • the determination unit 810 is generated from a first image generated from each image frame captured within the first time width from the processing time and each image frame captured within the second time width from the processing time. Whether or not it is a staying area in the image frame at the processing time.
  • the first time width is, for example, the short-term time window described in FIG. 2, and the second time width is the long-term time width.
  • the first time width and the second time width are different time widths.
  • the first image and the second image are background images in their respective time widths, for example.
  • the generation unit 820 generates reliability information regarding the determination of whether each area in the image frame to be processed is a stay area.
  • An image processing system comprising: generating means for generating reliability information related to determination as to whether or not.
  • the generating means obtains the reliability information based on a ratio that a corresponding area of each image frame photographed within the first time width is a stationary area for each area in the image frame to be processed.
  • Appendix 3 The image processing system according to appendix 1 or appendix 2, wherein the generation unit generates the reliability information according to environmental conditions.
  • Appendix 4 Any one of appendix 1 to appendix 3, further comprising means for changing whether or not each region in the image frame to be processed is the staying region based on the reliability information.
  • the reliability information is generated for each area in the image frame to be processed based on a ratio that a corresponding area of each image frame photographed within the first time width is a static area.
  • the image processing method as described.
  • Appendix 8 The image processing method according to appendix 6 or appendix 7, wherein the reliability information is generated according to environmental conditions.
  • Appendix 9 Any one of appendix 6 to appendix 8, further comprising means for changing whether or not each region in the image frame to be processed is a staying region based on the reliability information.
  • the reliability information is generated for each region in the image frame to be processed based on a ratio that a corresponding region of each image frame captured within the first time width is a static region. The program described.
  • Appendix 13 The program according to appendix 11 or appendix 12, wherein the reliability information is generated according to environmental conditions.
  • Appendix 14 Any one of appendix 11 to appendix 13, further comprising means for changing whether or not each region in the image frame to be processed is a determination target as to whether or not it is the staying region based on the reliability information.
  • SYMBOLS 100 Image processing system 110: Image input part 120: Foreground / background separation part 130: Stay area extraction part 131: Background image generation part 133: Background image comparison part 135: Stay area determination part 140: Reliability calculation part 150: Image Storage unit 160: Residence possibility determination unit 170: Output unit 701: Processor 703: Memory 705: Storage device 707: Input interface 709: Data interface 711: Communication interface 713: Display device 800: Image processing system 810: Determination unit 820: Generator

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

滞留を好適に検出する。画像処理システムは、処理時刻から第１の時間幅内に撮影された各画像フレームから生成される第１の画像と、処理時刻から第１の時間幅よりも長い第２の時間幅内に撮影された各画像フレームから生成される第２の画像とに基づいて、処理時刻の画像フレームにおける滞留領域であるか否かを判定する滞留領域抽出部と、処理対象の画像フレーム中の各領域について、滞留領域であるか否かの判定に関する信頼度情報を生成する信頼度算出部とを備える。

Description

画像から移動体の滞留を検出するための画像処理システム、画像処理方法及び記録媒体
　本発明に係るいくつかの態様は、画像処理システム、画像処理方法及び記録媒体に関する。
　近年、例えばビデオ監視などにおいて、置き去りにされた物体や一定時間以上滞留する人物を特定することが考えられている（例えば、特許文献１参照）。特許文献１では、シーン中の動きを複数の時間スケールで解析し、長期背景モデル及び短期背景モデルを比較する。これにより、シーンの主に静止した背景部分と、動的な前景部分と、或る時間に亘って静止している置き去り物体とにそれぞれ属する画素を区別している。
　その他、特許文献２－６も、関連技術を開示している。
特許第５０５８０１０号公報 国際公開第２００９／１２５５６９号 特開２０１３－０６５１５１号公報 特開２０１２－２１２２３８号公報 特開２０１０－０１５４６９号公報 特開２００９－２３０７５９号公報
　特許文献１記載の手法では、密な移動体の流れ（例えば人流）が発生する場合には、当該移動体の流れが背景に溶け込む。長期背景モデルと短期背景モデルとでは移動体の流れの背景への溶け込み方が異なるため、それらがノイズとなり、長期背景モデルと短期背景モデルとを比較したとしても、好適に置き去り物体を検出することは困難である。
　本発明のいくつかの態様は前述の課題に鑑みてなされたものであり、滞留を好適に検出するための画像処理システム、画像処理方法及び記録媒体を提供することを目的の１つとする。
　本発明に係る画像処理システムは、処理時刻から第１の時間幅内に撮影された各画像フレームから生成される第１の画像と、前記処理時刻から前記第１の時間幅よりも長い第２の時間幅内に撮影された各画像フレームから生成される第２の画像とに基づいて、前記処理時刻の画像フレームにおける滞留領域であるか否かを判定する判定手段と、処理対象の画像フレーム中の各領域について、前記滞留領域であるか否かの判定に関する信頼度情報を生成する生成手段とを備える。
　本発明に係る画像処理方法は、処理時刻から第１の時間幅内に撮影された各画像フレームから生成される第１の画像と、前記処理時刻から前記第１の時間幅よりも長い第２の時間幅内に撮影された各画像フレームから生成される第２の画像とに基づいて、前記処理時刻の画像フレームにおける滞留領域であるか否かを判定し、処理対象の画像フレーム中の各領域について、前記滞留領域であるか否かの判定に関する信頼度情報を生成する。
　本発明に係るコンピュータ読み取り可能な非一時的記録媒体は、処理時刻から第１の時間幅内に撮影された各画像フレームから生成される第１の画像と、前記処理時刻から前記第１の時間幅よりも長い第２の時間幅内に撮影された各画像フレームから生成される第２の画像とに基づいて、前記処理時刻の画像フレームにおける滞留領域であるか否かを判定する処理と、処理対象の画像フレーム中の各領域について、前記滞留領域であるか否かの判定に関する信頼度情報を生成する処理とをコンピュータに実行させるプログラムを記録する。
　なお、本発明において、「部」や「手段」、「装置」、「システム」とは、単に物理的手段を意味するものではなく、その「部」や「手段」、「装置」、「システム」が有する機能をソフトウェアによって実現する場合も含む。また、１つの「部」や「手段」、「装置」、「システム」が有する機能が２つ以上の物理的手段や装置により実現されても、２つ以上の「部」や「手段」、「装置」、「システム」の機能が１つの物理的手段や装置により実現されても良い。
　本発明によれば、滞留を好適に検出するための画像処理システム、画像処理方法及びプログラムを提供することができる。
第１実施形態に係る画像処理システムの概略構成を示す機能ブロック図である。 背景画像の生成方法の具体例を示す図である。 滞留領域抽出部の概略構成の具体例を示す機能ブロック図である。 図１に示す画像処理システムの処理の流れを示すフローチャートである。 図１に示す画像処理システムの処理の流れを示すフローチャートである。 図１に示す画像処理システムの処理の流れを示すフローチャートである。 図１に示す画像処理システムを実装可能なハードウェアの構成を示すブロック図である。 第２実施形態に係る画像処理システムの概略構成を示す機能ブロック図である。
　以下に本発明の実施形態を説明する。以下の説明及び参照する図面の記載において、同一又は類似の構成には、それぞれ同一又は類似の符号が付されている。
　（１　第１実施形態）
　図１乃至図７は、第１実施形態を説明するための図である。以下、これらの図を参照しながら、以下の流れに沿って本実施形態を説明する。まず、「１．１」で本実施形態における滞留判定方法の概要を説明する。その後、「１．２」で本実施形態に係る画像処理システムの機能構成の概要を、「１．３」で処理の流れを説明する。「１．４」では本画像処理システムを実現可能なハードウェア構成の具体例を示す。最後に「１．５」以降で、本実施形態に係る効果などを説明する。
　（１．１　概要）
　本実施形態に係る画像処理システムは、例えば監視カメラなどで撮影される画像から、移動体の滞留を検出するためのものである。本画像処理システムが滞留を検出する移動体には、例えば自身で移動する人物や動物、車等のほか、人物が放置した放置物等を含むことができる。ここでは主に、人物の滞留を検出する場合を中心に説明する。
　滞留する移動体を検出する手法としては、例えば、以下の手法が考えられる。その手法とは、まず、長期間（以下、長期時間窓ともいう。）に撮影された多数の撮影画像を平均化等することにより背景画像を作る。そして、この背景画像と、それよりも短い短期間（以下、短期時間窓ともいう。）に撮影された各撮影画像を平均化等した背景画像と比較することにより、当該短期間内に、長く映る物体を抽出することである。このように、一定期間内の撮影画像から平均的な画像（背景画像）を生成すれば、この画像では、例えばすぐにフレームアウトするような移動体（人物を含む）等の影響を低く抑えることができるため、滞留物体を抽出しやすくなる。なお、本実施形態では、複数の画像を元に生成されることにより、移動体の影響が低く抑えられた画像を背景画像と呼ぶ。
　しかしながら、このような手法では、移動体の移動、例えば人流が常に発生するような場合には、撮影画像を平均化等したとしても、人流の影響が大きく残ってしまう。そのため、当該人流の背景への溶けこみ具合が長期時間窓の画像と短期時間窓とで変わってしまい、結果として静止物の検出漏れや誤検出が発生しやすくなる。
　そこで本実施形態に係る画像処理システムでは、画像内の各領域に対して、滞留検出の信頼度を算出する。これにより、例えば信頼度の低い部分は滞留判定の対象外とする等の手法により、滞留の誤検出を抑制することが可能となる。
　（１．２　システム概要）
　以下、図１を参照しながら、本実施形態に係る画像処理システム１００のシステム構成を説明する。図１は、画像処理システム１００のシステム構成を示すブロック図である。
　画像処理システム１００は、画像入力部１１０と、前景・背景分離部１２０と、滞留領域抽出部１３０と、信頼度算出部１４０と、画像記憶部１５０と、滞留可能性判定部１６０と、出力部１７０とを含む。
　画像入力部１１０は、図示しない監視カメラなどである撮影装置から入力される映像に含まれる時系列のフレーム画像の入力を受ける。各フレーム画像は、それぞれ撮影時刻の異なる画像である。若しくは、画像入力部１１０は、図示しないＨＤＤ（Ｈａｒｄ　Ｄｉｓｋ　Ｄｒｉｖｅ）やＶＣＲ（Ｖｉｄｅｏ　Ｃａｓｓｅｔｔｅ　Ｒｅｃｏｒｄｅｒ）に記憶された映像データを復号して得られるフレーム画像の入力を受けても良い。
　前景・背景分離部１２０は、例えば背景差分法やオプティカルフロー等を用いて、画像入力部１１０から入力された入力画像に対して、順次前景領域と背景領域とを分離する。
ここで、前景領域は画像内の動きのある領域であり、背景領域は動きのない（静止している）領域（以下、静止領域ともいう。）である。動きの有無の判定は、例えば、動きが閾値を超えているか否かにより判別することができる。動きの有無の判定に用いる閾値は、検出対象である滞留移動体の種別により変えることもできる。具体的には、例えば、放置されたスーツケースなどの剛体を検出対象とする場合には、画像内でまったく動きがない領域を背景領域とし、それ以外を前景領域とすれば良い。一方、人物や袋などの非剛体を検出対象とする場合には、多少の揺れや姿勢変動、形状変化による画像内での見えの変化が生じても、変化量が所定の閾値よりも小さい場合には実質的に静止しているものとして背景領域とし、それ以外を前景領域とすれば良い。このそれ以外の領域とは、変化量が閾値を上回っている領域のことである。つまり、背景領域とは、全く動きのない領域のみを指すものではなく、動きの量が閾値よりも小さい領域をいう。
　動きのある前景領域と、静止している背景領域とを分ける際にオプティカルフローを使用する手法では、例えば、処理対象の画像フレームを、マクロブロック単位で前の画像フレームと比較した上で、動きのあるブロックを特定する。より具体的には、例えば、処理対象の画像フレームの各マクロブロック（画素の集合）と類似するマクロブロックが、直前の画像フレームのどこにあるかを調べる（ブロックマッチング）等により特定することができる。
　背景差分法を用いる場合には、事前に取得しておいた背景画像と処理対象との画像との差分が閾値を超えているか否かを、画素毎、若しくはマクロブロックなどの画素集合毎に比較することにより、前景領域と背景領域とを分けることができる。
　滞留領域抽出部１３０は、複数の時間窓に含まれる画像フレームから複数の背景画像を生成し、これらの背景画像を比較することにより滞留領域を判定する。
　以下、図２を参照しながら、滞留領域抽出部１３０による滞留領域判定手法の具体例を説明する。図２に示すように、例えば、滞留領域抽出部１３０は、背景領域のみを抽出した各画像フレームから、複数の時間窓に対してそれぞれ背景画像を生成する。これらの背景画像は、例えば、処理対象時刻から過去一定期間内に撮影された各画像フレームの静止領域に対して、画素値の平均値、中央値または最頻値等を画像フレーム内の各画素に対して求めることにより生成することができる。背景画像を短期時間窓と長期時間窓とのそれぞれに対して生成すれば、画像処理システムは両者を比較した上で、差異が閾値を超える画素を抽出し、それらの画素により構成される画素領域を移動体の滞留する滞留領域として特定することができる。
　なお、図２の例では、短期時間窓の背景画像と長期時間窓との背景画像の２つの背景画像しか示していないが、検出対象の滞留する移動体の滞留時間に応じて、３以上の時間窓の背景画像を生成してもよい。
　図３に、滞留領域抽出部１３０の機能構成の具体例を示す。図３の例では、滞留領域抽出部１３０は、背景画像生成部１３１、背景画像比較部１３３、滞留領域判定部１３５を含む。
　背景画像生成部１３１は、前景・背景分離部１２０で抽出した背景領域（静止領域の画像）と、画像記憶部１５０に記憶されている、定められた複数の時間窓内に撮影された画像フレームに係る背景領域とを用いて、背景画像を生成する。この際、背景画像生成部１３１は、各画像フレームの背景領域に係る各画素位置で得られた時間窓分の画素値の平均値、中央値、または最頻値を算出することにより、背景画像を生成することができる。
　画像記憶部１５０には、前景・背景分離部１２０で逐次抽出される、各入力画像の背景領域に係る画像を所定時間分記憶する。
　背景画像比較部１３３は、背景画像生成部１３１が各時間窓に対して生成した背景画像同士を比較する。より具体的には、背景画像比較部１３３は、最も長い時間窓から生成した背景画像と、それよりも短い時間窓から生成した背景画像とを比較することにより、移動体が一定時間静止している滞留領域を検出することができる。この、最も長い時間窓から生成した背景画像は、移動体を含まない真の背景により構成されていると想定される背景画像のことである。このとき、背景画像比較部１３３は、複数の時間窓の背景で背景画像を生成することにより、静止時間長に応じて分類して検出することもできる。
　背景画像比較部１３３による背景画像の比較方法としては、例えば、背景画像間の画素値の差の絶対値を用いる方法や、画像上で小さいサイズの矩形領域を走査しながら、矩形領域内の画素値の相関を算出する方法が考えられる。また、背景画像比較部１３３による背景画像の比較方法としては、例えば、矩形領域内の画素値のヒストグラム距離を算出する方法等も考えられる。矩形領域を用いる手法に関しては、例えば、マクロブロックなどの一定のサイズを設定してもよい。また、矩形領域を用いる手法に関しては、カメラパラメータを用いて、検出対象の移動体が画像フレーム上でどのような大きさで見えるかを考慮した上で、画像フレーム上の場所ごとに異なるサイズを設定してもよい。この画像フレーム上の場所ごとに異なるサイズを設定とは、例えば、前方が映っている画像領域は矩形領域を大きく、後方が映っている画像領域は矩形領域を小さくするなどである。
　滞留領域判定部１３５は、背景画像比較部１３３による比較の結果、例えば閾値を超える差異があった画素を特定した上で、このような画素で構成される画素領域を滞留領域として判定する。この際、検出対象である物体の大きさや形状などの特徴が既知であれば、滞留領域判定部１３５は、その特徴に合致しない画素領域を除外して判定するようにしても良い。
　図１に戻り、信頼度算出部１４０は、処理対象の画像フレームのうちの各領域（画素である場合も含む）に対し、滞留検出に関する信頼度を算出する。信頼度の算出方法は種々考えられる。例えば、前述の背景画像を生成する際に使用される時間窓に含まれる各画像フレームのそれぞれについて、前景・背景分離部１２０により背景と判定された割合を画素毎或いはマクロブロックなどの画素集合ごとに算出し、これを当該時間窓の信頼度として用いることが考えられる。以下、背景と判定された割合を、背景画素の取得率ともいう。これにより、移動体の流れが常に発生するような背景の変化が激しい領域では背景画素の取得率が下がるため、背景画像から好適に滞留を検出することは難しい。よってこのような領域については、信頼度算出部１４０は、信頼度が低いものとして設定することができる。なお、信頼度は、複数の背景画像をそれぞれ生成するために使用される時間窓毎に算出するようにしても良い。
　また、信頼度算出部１４０は、背景画素の取得率を時間窓毎に算出した上で、それらを併せて信頼度を算出するようにしても良い。より具体的には、例えば信頼度を算出した全ての時間窓で背景画素の取得率が低い場合には、常に背景画素が得られにくい領域だと考えられるため、信頼度算出部１４０は、信頼度を低く設定することができる。
　信頼度算出部１４０は環境変化を用いて信頼度を算出してもよい。具体的には、背景が変化する要因となる、例えば曜日（週末か平日か等）、時間、場所、天候等の環境情報の入力を受けた場合について説明する。この場合、信頼度算出部１４０は、このような環境情報により得られる環境条件に応じて静的に、或いは背景画素の取得率と併せて、信頼度を算出するようにしても良い。
　滞留可能性判定部１６０は、滞留領域抽出部１３０による各領域（画素である場合も含む。）に対する滞留判定の結果、及び、信頼度算出部１４０による各領域に対する信頼度に基づき、各領域が滞留しているか否か、若しくは滞留している可能性を判定する。滞留可能性判定部１６０は、例えば、信頼度が閾値よりも低い領域については、滞留検出の結果を出力しない（判定対象外とする）ことが考えられる。この場合、信頼度が閾値よりも高い領域については、滞留可能性判定部１６０は、滞留領域抽出部１３０による滞留判定結果である滞留領域／非滞留領域の検出結果を出力すれば良い。
　或いは、信頼度が閾値よりも低い場合であっても、短期時間窓の信頼度のみが低く、長期時間窓等の他の時間窓の信頼度が高い場合には、滞留する移動体が短期的に他の移動体の陰に隠れている等の状況が推測される。そのため、滞留可能性判定部１６０は、このような場合の領域を、滞留の可能性のある領域として特定することもできる。
　また、上記判定処理の対象の領域（処理対象領域）の信頼度が低い場合であっても、当該処理対象領域の空間的に近傍の領域、若しくは近接する画像フレームの対応する領域（時間的に近接する領域）において滞留が検出されている場合について説明する。この場合、滞留可能性判定部１６０は、当該処理対象領域も滞留の可能性があるものとして特定してもよい。
　出力部１７０は、滞留可能性判定部１６０により滞留が発生している領域、滞留が発生していない領域、滞留が発生している可能性のある領域として判定された判定結果を、例えば表示装置や記憶媒体、他の情報処理装置へと出力する。
　（１．３　処理の流れ）
　以下、画像処理システム１００の処理の流れを、図４乃至図６を参照しながら説明する。
　なお、後述の各処理ステップは、処理内容に矛盾を生じない範囲で、任意に順番を変更して若しくは並列に実行することができ、また、各処理ステップ間に他のステップを追加しても良い。更に、便宜上１つのステップとして記載されているステップは複数のステップに分けて実行することもでき、便宜上複数に分けて記載されているステップを１ステップとして実行することもできる。
　（１．３．１　滞留領域抽出部１３０による滞留領域の特定に至る処理の流れ）
　まず、図４を参照しながら、滞留領域抽出部１３０による滞留領域特定に至る処理の流れを説明する。
　画像入力部１１０は、例えばビデオカメラで撮影された映像や、当該映像が記録された映像データを復号して得られる画像フレームの入力を受ける（Ｓ４０１）。
　前景・背景分離部１２０は、画像入力部１１０から入力された画像フレームの内、静止している背景領域と、移動が生じている前景領域とに分離する（Ｓ４０３）。生成された背景領域の画像は、例えば画像記憶部１５０に記憶される。
　背景画像生成部１３１は、予め設定した時間窓内に撮影された各画像のうちの、前景・背景分離部１２０により特定された背景領域を使用して、背景画像を生成する（Ｓ４０５）。このとき背景画像生成部１３１は、滞留を抽出する移動体の滞留時間に応じて、複数の時間窓に対して背景画像を生成する。
　背景画像比較部１３３は、背景画像生成部１３１が生成した、各時間窓の背景画像をそれぞれ比較し（Ｓ４０７）、滞留領域判定部１３５は、その差異が閾値以上である領域を滞留領域として特定する（Ｓ４０９）。
　（１．３．２　信頼度算出に係る処理の流れ）
　次に、図５を参照しながら、信頼度算出部１４０による信頼度算出の処理の流れを説明する。なおここでは、信頼度算出部１４０が、環境条件には依存せずに、背景画素取得率に基づいて信頼度を生成する場合について説明する。
　信頼度算出部１４０は、画像記憶部１５０から、信頼度算出対象の時間窓に含まれる各画像フレームの背景領域を読み込む（Ｓ５０１）。各画像フレームの背景領域は、前述のとおり、前景・背景分離部１２０により特定されたものである。
　信頼度算出部１４０は、画素毎に、時間窓に含まれる各画像フレームの内、背景領域が取得できた割合（背景画素の取得率）を算出する（Ｓ５０３）。信頼度算出部１４０は、当該背景画素の取得率を信頼度として滞留可能性判定部１６０へと出力する（Ｓ５０５）。
　（１．３．３　滞留可能性判定に係る処理の流れ）
　図６を参照しながら、滞留可能性判定部１６０による滞留判定の方法を説明する。
　滞留可能性判定部１６０は、各画素又は画素集合毎（以下、画素又は画素集合を総称して領域と呼ぶ。）に、図６に示す滞留領域であるか否かの判定を行う。
　まず、滞留可能性判定部１６０は、滞留判定の対象となる領域（処理対象領域）が、滞留領域抽出部１３０により滞留領域として判定されたか否かを判別する（Ｓ６０１）。もし滞留領域として判定されていた場合には（Ｓ６０１のＹＥＳ）、滞留可能性判定部１６０は、信頼度算出部１４０により算出された、当該滞留領域としての判定の信頼度が閾値よりも高いか否かを判別する（Ｓ６０３）。もし信頼度が閾値よりも高い場合には（Ｓ６０３のＹＥＳ）、滞留可能性判定部１６０は、当該領域は滞留であると判別する（Ｓ６０５）。
　Ｓ６０３において、処理対象領域の信頼度が閾値以下の場合には（Ｓ６０３のＮＯ）、滞留可能性判定部１６０は、たとえ滞留領域抽出部１３０により滞留領域であると判別されていたとしても当該判別結果は信頼度が低いものとして、滞留判定の対象外とする（Ｓ６０７）。
　また、Ｓ６０１において、処理対象領域が滞留領域ではないと判定されている場合（Ｓ６０１のＮＯ）、滞留可能性判定部１６０は、Ｓ６０３と同様の処理を行う。つまり、滞留可能性判定部１０６は、信頼度算出部１４０により算出された、当該滞留領域としての判定の信頼度が閾値よりも高いか否かを判別する（Ｓ６０９）。もし信頼度が閾値よりも高い場合には（Ｓ６０９のＹＥＳ）、滞留可能性判定部１６０は、当該領域は非滞留であると判別する（Ｓ６１１）。
　一方、信頼度が閾値以下の場合（Ｓ６０９のＮＯ）、滞留可能性判定部１６０は、処理対象の領域の空間的な近傍領域、或いは時間的な近傍領域が滞留として判定されているか否かを判別する（Ｓ６１３）。この時間的な近傍領域とは、時間的に近接する画像フレーム中の、処理対象領域と位置が対応する領域のことである。もし時間的又は空間的な近傍領域が滞留として判定されている場合には（Ｓ６１３のＹＥＳ）、滞留可能性判定部１６０は、当該領域は滞留可能性があるものとして滞留領域や非滞留領域とは区別して出力することができる（Ｓ６１５）。もし時間的又は空間的な近傍領域に滞留があると判定されていない場合には（Ｓ６１３のＮＯ）、滞留可能性判定部１６０は、当該領域を判定対象外とする（Ｓ６１７）。
　（１．４　ハードウェア構成）
　以下、図７を参照しながら、上述してきた画像処理システム１００をコンピュータにより実現する場合のハードウェア構成の一例を説明する。なお前述の通り、画像処理システム１００の機能は、複数の情報処理装置により実現することも可能である。
　図７に示すように、画像処理システム１００は、プロセッサ７０１、メモリ７０３、記憶装置７０５、入力インタフェース（Ｉ／Ｆ）７０７、データＩ／Ｆ７０９、通信Ｉ／Ｆ７１１、及び表示装置７１３を含む。
　プロセッサ７０１は、メモリ７０３に記憶されているプログラムを実行することにより画像処理システム１００における様々な処理を制御する。例えば、図１で説明した画像入力部１１０、前景・背景分離部１２０、滞留領域抽出部１３０、信頼度算出部１４０、滞留可能性判定部１６０、及び出力部１７０に係る処理は、メモリ７０３に一時記憶された上で主にプロセッサ７０１上で動作するプログラムとして実現可能である。
　メモリ７０３は、例えばＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）等の記憶媒体である。メモリ７０３は、プロセッサ７０１によって実行されるプログラムのプログラムコードや、プログラムの実行時に必要となるデータを一時的に記憶する。例えば、メモリ７０３の記憶領域には、プログラム実行時に必要となるスタック領域が確保される。
　記憶装置７０５は、例えばハードディスクやフラッシュメモリ等の不揮発性の記憶媒体である。記憶装置７０５は、オペレーティングシステムや、画像入力部１１０、前景・背景分離部１２０、滞留領域抽出部１３０、信頼度算出部１４０、滞留可能性判定部１６０、及び出力部１７０を実現するための各種プログラムや、画像記憶部１５０を含む各種データ等を記憶する。記憶装置７０５に記憶されているプログラムやデータは、必要に応じてメモリ７０３にロードされることにより、プロセッサ７０１から参照される。
　入力Ｉ／Ｆ７０７は、ユーザからの入力を受け付けるためのデバイスである。入力Ｉ／Ｆ７０７の具体例としては、キーボードやマウス、タッチパネル等が挙げられる。入力Ｉ／Ｆ７０７は、例えばＵＳＢ（Ｕｎｉｖｅｒｓａｌ　Ｓｅｒｉａｌ　Ｂｕｓ）等のインタフェースを介して画像処理システム１００に接続されても良い。
　データＩ／Ｆ７０９は、画像処理システム１００の外部からデータを入力するためのデバイスである。データＩ／Ｆ７０９の具体例としては、各種記憶媒体に記憶されているデータを読み取るためのドライブ装置等がある。データＩ／Ｆ７０９は、画像処理システム１００の外部に設けられることも考えられる。その場合、データＩ／Ｆ７０９は、例えばＵＳＢ等のインタフェースを介して画像処理システム１００へと接続される。
　通信Ｉ／Ｆ７１１は、画像処理システム１００の外部の装置、例えばビデオカメラ等との間で有線又は無線によりデータ通信するためのデバイスである。通信Ｉ／Ｆ７１１は画像処理システム１００の外部に設けられることも考えられる。その場合、通信Ｉ／Ｆ７１１は、例えばＵＳＢ等のインタフェースを介して画像処理システム１００に接続される。
　表示装置７１３は、各種情報を表示するためのデバイスである。表示装置７１３の具体例としては、例えば液晶ディスプレイや有機ＥＬ（Ｅｌｅｃｔｒｏ－Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイ等が挙げられる。表示装置７１３は、画像処理システム１００の外部に設けられても良い。その場合、表示装置７１３は、例えばディスプレイケーブル等を介して画像処理システム１００に接続される。
　（１．５　本実施形態に係る効果）
　以上説明したように、本実施形態に係る画像処理システム１００は、滞留判定を行うと共に、当該滞留判定の信頼度を算出する。これにより、信頼度を滞留判定に活用すれば、例えば、滞留の誤検知を低減したり、滞留領域の欠損や途切れを補完したりすることができるようになるため、滞留検出精度を改善することができる。
　更に、このような滞留検出結果を用いて、セキュリティ用途として、不審者（うろつき、たむろ、待ちぶせ、寝込みなど）や不審物を検出できる。また、マーケティング用途として、棚ごとの顧客の滞留情報（滞留時間、頻度等）を収集することができる。
　（２　第２実施形態）
　以下、第２実施形態を、図８を参照しながら説明する。図８は、画像処理システム８００の機能構成を示すブロック図である。図８に示すように、画像処理システム８００は、判定部８１０と、生成部８２０とを含む。
　判定部８１０は、処理時刻から第１の時間幅内に撮影された各画像フレームから生成される第１の画像と、処理時刻から第２の時間幅内に撮影された各画像フレームから生成される第２の画像とに基づいて、処理時刻の画像フレームにおける滞留領域であるか否かを判定する。ここで、第１の時間幅は、例えば、図２において説明した短期時間窓であり、第２の時間幅は、長期時間幅である。このように、第１の時間幅と第２の時間幅とは異なる時間幅である。また、第１の画像および第２の画像は、例えば、夫々の時間幅における背景画像である。
　生成部８２０は、処理対象の画像フレーム中の各領域について、滞留領域であるか否かの判定に関する信頼度情報を生成する。
　このように実装することで、本実施形態に係る画像処理システム８００によれば、滞留を好適に検出することを可能とする。
　（３　付記事項）
　なお、前述の実施形態の構成は、組み合わせたり或いは一部の構成部分を入れ替えたりしてもよい。また、本発明の構成は前述の実施形態のみに限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変更を加えてもよい。
　なお、前述の各実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。また、本発明のプログラムは、上述の各実施形態で説明した各動作を、コンピュータに実行させるプログラムであれば良い。
　（付記１）
　処理時刻から第１の時間幅内に撮影された各画像フレームから生成される第１の画像と、前記処理時刻から前記第１の時間幅よりも長い第２の時間幅内に撮影された各画像フレームから生成される第２の画像とに基づいて、前記処理時刻の画像フレームにおける滞留領域であるか否かを判定する判定手段と、処理対象の画像フレーム中の各領域について、前記滞留領域であるか否かの判定に関する信頼度情報を生成する生成手段とを備える画像処理システム。
　（付記２）
　前記生成手段は、前記処理対象の画像フレーム中の各領域について、前記第１の時間幅内に撮影された各画像フレームの対応する領域が静止領域である割合に基づいて、前記信頼度情報を生成する、付記１記載の画像処理システム。
　（付記３）
　前記生成手段は、前記信頼度情報を環境条件に応じて生成する、付記１又は付記２記載の画像処理システム。
　（付記４）
　前記信頼度情報に基づいて、前記処理対象の画像フレーム中の各領域について、前記滞留領域であるか否かの判定対象とするか否かを変える手段を更に備える付記１乃至付記３のいずれか１項記載の画像処理システム。
　（付記５）
　処理対象領域の前記信頼度情報が閾値を下回っている場合であって、当該処理対象領域の空間的な近傍領域、若しくは前記処理時刻の画像フレームに時間的に近接する画像フレームの対応する領域が前記滞留領域である場合に、当該処理対象の領域を滞留の可能性のある領域として判定する手段を更に備える付記４記載の画像処理システム。
　（付記６）
　処理時刻から第１の時間幅内に撮影された各画像フレームから生成される第１の画像と、前記処理時刻から前記第１の時間幅よりも長い第２の時間幅内に撮影された各画像フレームから生成される第２の画像とに基づいて、前記処理時刻の画像フレームにおける滞留領域であるか否かを判定するステップと、処理対象の画像フレーム中の各領域について、前記滞留領域であるか否かの判定に関する信頼度情報を生成するステップとを情報処理システムが行う画像処理方法。
　（付記７）
　前記処理対象の画像フレーム中の各領域について、前記第１の時間幅内に撮影された各画像フレームの対応する領域が静止領域である割合に基づいて、前記信頼度情報を生成する、付記７記載の画像処理方法。
　（付記８）
　前記信頼度情報を環境条件に応じて生成する、付記６又は付記７記載の画像処理方法。
　（付記９）
　前記信頼度情報に基づいて、前記処理対象の画像フレーム中の各領域について、前記滞留領域であるか否かの判定対象とするか否かを変える手段を更に備える付記６乃至付記８のいずれか１項記載の画像処理方法。
　（付記１０）
　処理対象領域の前記信頼度情報が閾値を下回っている場合であって、当該処理対象領域の空間的な近傍領域、若しくは前記処理時刻の画像フレームに時間的に近接する画像フレームの対応する領域が前記滞留領域である場合に、当該処理対象の領域を滞留の可能性のある領域として判定するステップを更に備える付記９記載の画像処理方法。
　（付記１１）
　処理時刻から第１の時間幅内に撮影された各画像フレームから生成される第１の画像と、前記処理時刻から前記第１の時間幅よりも長い第２の時間幅内に撮影された各画像フレームから生成される第２の画像とに基づいて、前記処理時刻の画像フレームにおける滞留領域であるか否かを判定する処理と、処理対象の画像フレーム中の各領域について、前記滞留領域であるか否かの判定に関する信頼度情報を生成する処理とをコンピュータに実行させるプログラム。
　（付記１２）
　前記処理対象の画像フレーム中の各領域について、前記第１の時間幅内に撮影された各画像フレームの対応する領域が静止領域である割合に基づいて、前記信頼度情報を生成する、付記１１記載のプログラム。
　（付記１３）
　前記信頼度情報を環境条件に応じて生成する、付記１１又は付記１２記載のプログラム。
　（付記１４）
　前記信頼度情報に基づいて、前記処理対象の画像フレーム中の各領域について、前記滞留領域であるか否かの判定対象とするか否かを変える手段を更に備える付記１１乃至付記１３のいずれか１項記載のプログラム。
　（付記１５）
　処理対象領域の前記信頼度情報が閾値を下回っている場合であって、当該処理対象領域の空間的な近傍領域、若しくは前記処理時刻の画像フレームに時間的に近接する画像フレームの対応する領域が前記滞留領域である場合に、当該処理対象の領域を滞留の可能性のある領域として判定する処理を更にコンピュータに実行させる付記１４記載のプログラム。
　この出願は、２０１４年８月４日に出願された日本出願特願２０１４－１５９０４５を基礎とする優先権を主張し、その開示の全てをここに取り込む。
１００　：画像処理システム
１１０　：画像入力部
１２０　：前景・背景分離部
１３０　：滞留領域抽出部
１３１　：背景画像生成部
１３３　：背景画像比較部
１３５　：滞留領域判定部
１４０　：信頼度算出部
１５０　：画像記憶部
１６０　：滞留可能性判定部
１７０　：出力部
７０１　：プロセッサ
７０３　：メモリ
７０５　：記憶装置
７０７　：入力インタフェース
７０９　：データインタフェース
７１１　：通信インタフェース
７１３　：表示装置
８００　：画像処理システム
８１０　：判定部
８２０　：生成部

Claims (7)

  1. 　処理時刻から第１の時間幅内に撮影された各画像フレームから生成される第１の画像と、前記処理時刻から前記第１の時間幅よりも長い第２の時間幅内に撮影された各画像フレームから生成される第２の画像とに基づいて、前記処理時刻の画像フレームにおける滞留領域であるか否かを判定する判定手段と、
    　処理対象の画像フレーム中の各領域について、前記滞留領域であるか否かの判定に関する信頼度情報を生成する生成手段と
    を備える画像処理システム。
  2. 　前記生成手段は、前記処理対象の画像フレーム中の各領域について、前記第１の時間幅内に撮影された各画像フレームの対応する領域が静止領域である割合に基づいて、前記信頼度情報を生成する、
    請求項１記載の画像処理システム。
  3. 　前記生成手段は、前記信頼度情報を環境条件に応じて生成する、
    請求項１又は請求項２記載の画像処理システム。
  4. 　前記信頼度情報に基づいて、前記処理対象の画像フレーム中の各領域について、前記滞留領域であるか否かの判定対象とするか否かを変える手段
    を更に備える請求項１乃至請求項３のいずれか１項記載の画像処理システム。
  5. 　処理対象領域の前記信頼度情報が閾値を下回っている場合であって、当該処理対象領域の空間的な近傍領域、若しくは前記処理時刻の画像フレームに時間的に近接する画像フレームの対応する領域が前記滞留領域である場合に、当該処理対象の領域を滞留の可能性のある領域として判定する手段
    を更に備える請求項４記載の画像処理システム。
  6. 　処理時刻から第１の時間幅内に撮影された各画像フレームから生成される第１の画像と、前記処理時刻から前記第１の時間幅よりも長い第２の時間幅内に撮影された各画像フレームから生成される第２の画像とに基づいて、前記処理時刻の画像フレームにおける滞留領域であるか否かを判定し、
    　処理対象の画像フレーム中の各領域について、前記滞留領域であるか否かの判定に関する信頼度情報を生成する、画像処理方法。
  7. 　処理時刻から第１の時間幅内に撮影された各画像フレームから生成される第１の画像と、前記処理時刻から前記第１の時間幅よりも長い第２の時間幅内に撮影された各画像フレームから生成される第２の画像とに基づいて、前記処理時刻の画像フレームにおける滞留領域であるか否かを判定する処理と、
    　処理対象の画像フレーム中の各領域について、前記滞留領域であるか否かの判定に関する信頼度情報を生成する処理と、
    をコンピュータに実行させるプログラムを記録するコンピュータ読み取り可能な非一時的記録媒体。
PCT/JP2015/003780 2014-08-04 2015-07-28 画像から移動体の滞留を検出するための画像処理システム、画像処理方法及び記録媒体 WO2016021147A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US15/501,673 US10262421B2 (en) 2014-08-04 2015-07-28 Image processing system for detecting stationary state of moving object from image, image processing method, and recording medium
JP2016539829A JP6652057B2 (ja) 2014-08-04 2015-07-28 画像から移動体の滞留を検出するための画像処理システム、画像処理方法及びプログラム
US16/277,190 US10776931B2 (en) 2014-08-04 2019-02-15 Image processing system for detecting stationary state of moving object from image, image processing method, and recording medium

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2014159045 2014-08-04
JP2014-159045 2014-08-04

Related Child Applications (2)

Application Number Title Priority Date Filing Date
US15/501,673 A-371-Of-International US10262421B2 (en) 2014-08-04 2015-07-28 Image processing system for detecting stationary state of moving object from image, image processing method, and recording medium
US16/277,190 Continuation US10776931B2 (en) 2014-08-04 2019-02-15 Image processing system for detecting stationary state of moving object from image, image processing method, and recording medium

Publications (1)

Publication Number Publication Date
WO2016021147A1 true WO2016021147A1 (ja) 2016-02-11

Family

ID=55263443

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2015/003780 WO2016021147A1 (ja) 2014-08-04 2015-07-28 画像から移動体の滞留を検出するための画像処理システム、画像処理方法及び記録媒体

Country Status (3)

Country Link
US (2) US10262421B2 (ja)
JP (1) JP6652057B2 (ja)
WO (1) WO2016021147A1 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019201275A (ja) * 2018-05-15 2019-11-21 国際航業株式会社 監視システム
JP2020106889A (ja) * 2018-12-26 2020-07-09 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
US10853949B2 (en) 2016-09-28 2020-12-01 Hitachi Kokusai Electric Inc. Image processing device
US10878581B2 (en) 2016-12-14 2020-12-29 Nec Corporation Movement detection for an image information processing apparatus, control method, and program
WO2023053410A1 (ja) * 2021-09-30 2023-04-06 日本電気株式会社 情報処理システム、情報処理方法、及び情報処理装置
JP7571893B2 (ja) 2021-09-30 2024-10-23 日本電気株式会社 情報処理システム、情報処理方法、及び情報処理装置

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9460522B2 (en) 2014-10-29 2016-10-04 Behavioral Recognition Systems, Inc. Incremental update for background model thresholds
CN106611512B (zh) * 2015-10-23 2020-02-07 杭州海康威视数字技术股份有限公司 前车起步的处理方法、装置和系统
JP6700831B2 (ja) * 2016-02-12 2020-05-27 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法、及びプログラム
JP6909960B2 (ja) * 2017-03-31 2021-07-28 パナソニックＩｐマネジメント株式会社 検知装置、検知方法及び検知プログラム
JP7169752B2 (ja) * 2018-03-22 2022-11-11 キヤノン株式会社 監視装置、監視システム、制御方法、及びプログラム

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009026223A (ja) * 2007-07-23 2009-02-05 Toyota Central R&D Labs Inc 物体検出装置及びプログラム
JP2010015469A (ja) * 2008-07-04 2010-01-21 Nippon Telegr & Teleph Corp <Ntt> 静止領域検出方法とその装置、プログラム及び記録媒体
JP2012173987A (ja) * 2011-02-22 2012-09-10 Dainippon Printing Co Ltd 日照変化領域検出装置および移動物体検出装置
JP2012191547A (ja) * 2011-03-14 2012-10-04 Omron Corp オブジェクト検知装置、およびオブジェクト検知プログラム
JP2013033317A (ja) * 2011-08-01 2013-02-14 Sony Corp 画像処理装置、画像処理方法、及び、プログラム

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8134613B2 (en) * 2001-04-10 2012-03-13 Sony Corporation Image processing apparatus and method, and image pickup apparatus
US20020168091A1 (en) * 2001-05-11 2002-11-14 Miroslav Trajkovic Motion detection via image alignment
JP4596227B2 (ja) * 2001-06-27 2010-12-08 ソニー株式会社 通信装置および方法、通信システム、記録媒体、並びにプログラム
JP4840630B2 (ja) * 2001-06-27 2011-12-21 ソニー株式会社 画像処理装置および方法、記録媒体、並びにプログラム
AUPR899401A0 (en) * 2001-11-21 2001-12-13 Cea Technologies Pty Limited Method and apparatus for non-motion detection
US7574038B1 (en) * 2005-03-31 2009-08-11 Adobe Systems Incorporated Method and apparatus for determining the background of an image sequence
US7783118B2 (en) * 2006-07-13 2010-08-24 Seiko Epson Corporation Method and apparatus for determining motion in images
US7813528B2 (en) 2007-04-05 2010-10-12 Mitsubishi Electric Research Laboratories, Inc. Method for detecting objects left-behind in a scene
US8107678B2 (en) 2008-03-24 2012-01-31 International Business Machines Corporation Detection of abandoned and removed objects in a video stream
US8311281B2 (en) 2008-04-09 2012-11-13 Nec Corporation Object detection apparatus
JP5758165B2 (ja) 2011-03-30 2015-08-05 セコム株式会社 物品検出装置および静止人物検出装置
US20130018882A1 (en) * 2011-07-13 2013-01-17 Brad Martin Listermann Method and System for Sharing Life Experience Information
JP2013065151A (ja) 2011-09-16 2013-04-11 Sony Corp 画像処理装置、画像処理方法、および、プログラム
US10311595B2 (en) * 2013-11-19 2019-06-04 Canon Kabushiki Kaisha Image processing device and its control method, imaging apparatus, and storage medium
EP2899692B1 (en) * 2014-01-28 2019-09-04 Honda Research Institute Europe GmbH Method, system, imaging device, movable device and program product for detecting static elements in video and image sources
US20180048817A1 (en) * 2016-08-15 2018-02-15 Qualcomm Incorporated Systems and methods for reduced power consumption via multi-stage static region detection

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009026223A (ja) * 2007-07-23 2009-02-05 Toyota Central R&D Labs Inc 物体検出装置及びプログラム
JP2010015469A (ja) * 2008-07-04 2010-01-21 Nippon Telegr & Teleph Corp <Ntt> 静止領域検出方法とその装置、プログラム及び記録媒体
JP2012173987A (ja) * 2011-02-22 2012-09-10 Dainippon Printing Co Ltd 日照変化領域検出装置および移動物体検出装置
JP2012191547A (ja) * 2011-03-14 2012-10-04 Omron Corp オブジェクト検知装置、およびオブジェクト検知プログラム
JP2013033317A (ja) * 2011-08-01 2013-02-14 Sony Corp 画像処理装置、画像処理方法、及び、プログラム

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10853949B2 (en) 2016-09-28 2020-12-01 Hitachi Kokusai Electric Inc. Image processing device
US10878581B2 (en) 2016-12-14 2020-12-29 Nec Corporation Movement detection for an image information processing apparatus, control method, and program
JP2019201275A (ja) * 2018-05-15 2019-11-21 国際航業株式会社 監視システム
JP6995013B2 (ja) 2018-05-15 2022-01-14 国際航業株式会社 監視システム
JP2020106889A (ja) * 2018-12-26 2020-07-09 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
JP7327936B2 (ja) 2018-12-26 2023-08-16 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
WO2023053410A1 (ja) * 2021-09-30 2023-04-06 日本電気株式会社 情報処理システム、情報処理方法、及び情報処理装置
JP7571893B2 (ja) 2021-09-30 2024-10-23 日本電気株式会社 情報処理システム、情報処理方法、及び情報処理装置

Also Published As

Publication number Publication date
US20170228876A1 (en) 2017-08-10
JP6652057B2 (ja) 2020-02-19
JPWO2016021147A1 (ja) 2017-05-18
US10262421B2 (en) 2019-04-16
US20190180450A1 (en) 2019-06-13
US10776931B2 (en) 2020-09-15

Similar Documents

Publication Publication Date Title
WO2016021147A1 (ja) 画像から移動体の滞留を検出するための画像処理システム、画像処理方法及び記録媒体
JP6741130B2 (ja) 情報処理システム、情報処理方法及びプログラム
JP6436077B2 (ja) 画像処理システム、画像処理方法及びプログラム
KR100677913B1 (ko) 다중 센서 비디오 신호의 융합에 의한 이동 객체 추적 장치
JP6525545B2 (ja) 情報処理装置、情報処理方法及びコンピュータプログラム
JP6414066B2 (ja) 画像処理システム、画像処理方法及びプログラム
US10713798B2 (en) Low-complexity motion detection based on image edges
JP7131599B2 (ja) 情報処理システム、情報処理方法及びプログラム
US20180121739A1 (en) Setting apparatus, output method, and non-transitory computer-readable storage medium
US20160117832A1 (en) Method and apparatus for separating foreground image, and computer-readable recording medium
US9589192B2 (en) Information processing system, information processing method, and program
US20150146006A1 (en) Display control apparatus and display control method
JP6638723B2 (ja) 画像解析装置、画像解析方法、及び、画像解析プログラム
JP6652051B2 (ja) 検出システム、検出方法及びプログラム
KR101537559B1 (ko) 객체 검출 장치, 차량용 객체 검출 장치 및 이들의 방법
JP6991045B2 (ja) 画像処理装置、画像処理装置の制御方法
JPWO2018179119A1 (ja) 映像解析装置、映像解析方法およびプログラム
JP6939065B2 (ja) 画像認識用コンピュータプログラム、画像認識装置及び画像認識方法
JP6780639B2 (ja) 画像解析装置、画像解析方法、及び、画像解析プログラム
KR20150047937A (ko) 비디오 영상에서 사람과 배경을 분리하기 위한 방법, 장치 및 컴퓨터 판독 가능한 기록 매체
KR102589150B1 (ko) 누적 차영상을 이용한 원거리 객체 검지 시스템
JP6308612B2 (ja) 画像処理装置、画像処理方法、および画像処理プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15830696

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2016539829

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 15830696

Country of ref document: EP

Kind code of ref document: A1