WO2024105951A1 - 監視カメラシステム、マスク補正方法、及び、プログラム - Google Patents

監視カメラシステム、マスク補正方法、及び、プログラム Download PDF

Info

Publication number
WO2024105951A1
WO2024105951A1 PCT/JP2023/029946 JP2023029946W WO2024105951A1 WO 2024105951 A1 WO2024105951 A1 WO 2024105951A1 JP 2023029946 W JP2023029946 W JP 2023029946W WO 2024105951 A1 WO2024105951 A1 WO 2024105951A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
surveillance camera
captured
amount
mask
Prior art date
Application number
PCT/JP2023/029946
Other languages
English (en)
French (fr)
Inventor
笑辰 張
Original Assignee
コニカミノルタ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by コニカミノルタ株式会社 filed Critical コニカミノルタ株式会社
Publication of WO2024105951A1 publication Critical patent/WO2024105951A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Definitions

  • the present invention relates to a surveillance camera system, a mask correction method, and a program.
  • Patent Document 1 relates to a technology for changing the shooting direction of the surveillance camera by driving the camera platform.
  • Patent Document 1 describes how "when registering a preset, an image of that position (registered position image) is stored in memory along with pan/tilt position information, and the image captured at the moved position when reproducing the preset and the registered position image are image-processed to detect the amount of deviation, and the camera platform is driven and controlled in a direction that reduces the deviation, thereby improving the stillness accuracy when reproducing the preset.”
  • a surveillance camera system may set a mask on that area and monitor the area by excluding it from the monitoring target.
  • a part of an image captured by a surveillance camera is designated as a mask area in advance, and image processing (e.g., object recognition processing) is performed on the area other than the mask area to detect the appearance or change of an object in the monitoring target.
  • image processing e.g., object recognition processing
  • a gas refining plant is assumed to be the monitoring target, and a surveillance camera system is used to monitor gas that unexpectedly leaks from the gas refining plant into the atmosphere (hereinafter referred to as "leakage gas").
  • the surveillance camera system sets a mask on a part of the monitoring target (e.g., the area where the vent gas is released) and monitors the area where the mask is set by excluding it from the monitoring target.
  • a mask set is not limited to monitoring gas leaks in gas refining plants, but is used in various cases.
  • Patent Document 1 has the problem that the imaging angle of view (monitoring angle of view) may shift when operated for a long period of time, and in that case, the area to be excluded from monitoring may not match the area in which the mask is set.
  • the support function may deteriorate, and the position repeatability (i.e., the ability to direct the shooting direction of the surveillance camera toward the monitored object) may deteriorate. This may cause the shooting angle (monitoring angle) of the surveillance camera system to shift.
  • the orientation may change, for example, when the support part is exposed to a strong wind. This may cause the shooting angle (monitoring angle) of the surveillance camera system to shift.
  • the mask set in the surveillance camera system to exclude areas not suitable for monitoring from the monitored object shifts.
  • the surveillance camera system monitors areas not suitable for monitoring, and may mistakenly detect items not suitable for monitoring (e.g., vent gas) as items to be monitored (e.g., leaking gas), and may issue a false alarm (false report) to the monitor.
  • items not suitable for monitoring e.g., vent gas
  • a false alarm false report
  • the accuracy of the report may decrease.
  • the area that should be monitored is hidden by the misaligned mask, it may not be possible to detect the item that should be monitored, or it may take a long time to detect it. As a result, this may also reduce the accuracy of the alarm.
  • the present invention has been made in consideration of the problems with the conventional technology described above, and the object of the present invention is to provide a surveillance camera system, a mask correction method, and a program that can appropriately correct a mask even if the shooting angle of view (monitoring angle of view) is shifted.
  • a surveillance camera system including a surveillance camera and a control unit that performs processing based on an image captured by the surveillance camera, the control unit pre-recording a reference image captured at a preset shooting position and a mask corresponding to the reference image, calculating the amount of deviation of the captured image from the reference image based on the image captured by the surveillance camera and the reference image, and correcting the mask in accordance with the amount of deviation.
  • the surveillance camera includes a visible camera that captures visible images and an infrared camera that captures infrared images
  • the control unit prerecords a reference visible image at a shooting position corresponding to the visible image, a reference infrared image at a shooting position corresponding to the infrared image, and either or both of a visible mask corresponding to the reference visible image and an infrared mask corresponding to the reference infrared image, calculates a visible image shift amount from the captured visible image captured by the visible camera and the reference visible image, calculates an infrared image shift amount from the captured infrared image captured by the infrared camera and the reference infrared image, and performs either or both of a correction of the visible mask according to the visible image shift amount and a correction of the infrared mask according to the infrared image shift amount.
  • a surveillance camera system including a surveillance camera, a support unit having a pan-tilt mechanism, and a control unit that performs processing based on an image captured by the surveillance camera and controls the support unit, wherein the control unit pre-records a reference image captured at a previously set shooting position and a mask corresponding to the reference image for each of one or more preset positions, and when switching preset positions, calculates the amount of deviation of the captured image from the image captured by the surveillance camera and the reference image, controls the pan-tilt mechanism of the support unit in a direction that reduces the amount of deviation, and corrects the mask by the remaining amount of deviation that cannot be corrected by the pan-tilt mechanism of the support unit.
  • the surveillance camera system further comprising: a visible camera for capturing visible images; and an infrared camera for capturing infrared images; and the control unit prerecords, for each of one or more preset positions, a reference visible image at a capture position corresponding to the visible image, a reference infrared image at a capture position corresponding to the infrared image, and either or both of a visible mask corresponding to the reference visible image and an infrared mask corresponding to the reference infrared image; when switching preset positions, calculates a visible image shift amount from the captured visible image captured by the visible camera and the reference visible image, and calculates an infrared image shift amount from the captured infrared image captured by the infrared camera and the reference infrared image; controls the pan-tilt mechanism of the support unit in a direction that reduces the shift amount based on the visible image shift amount and the infrared image shift amount; and corrects either or both of the visible mask and the infrare
  • control unit controls the pan-tilt mechanism of the support unit in a direction that reduces the amount of misalignment based on an average value of the amount of visible image misalignment and the amount of infrared image misalignment.
  • the surveillance camera system described in (4) above is characterized in that the control unit controls the pan-tilt mechanism of the support unit in a direction that reduces the amount of misalignment based on either the visible image misalignment amount or the infrared image misalignment amount, whichever is more reliable.
  • control unit controls the pan-tilt mechanism of the support unit in a direction to reduce the amount of shift based on the amount of visible image shift when the time period is a daytime period or the shooting position is brighter than a predetermined threshold, and controls the pan-tilt mechanism of the support unit in a direction to reduce the amount of shift based on the amount of infrared image shift when the time period is not sunny or the shooting position is darker than a predetermined threshold.
  • a mask correction method for correcting a mask corresponding to a reference image of a shooting position captured by a surveillance camera comprising: calculating an amount of deviation of the captured image from the reference image based on the captured image captured by the surveillance camera and the reference image; and correcting the mask according to the amount of deviation.
  • a program for causing a computer to correct a mask corresponding to a reference image of a shooting position captured by a surveillance camera the program causing the computer to calculate the amount of deviation of the captured image from the reference image based on the captured image captured by the surveillance camera and the reference image, and correct the mask according to the amount of deviation.
  • a mask correction method for correcting a mask corresponding to a reference image of a shooting position captured at one or more preset positions by a surveillance camera supported on a support part having a pan-tilt mechanism comprising the steps of: calculating, when switching preset positions, an amount of deviation of the captured image from the reference image based on the captured image captured by the surveillance camera and the reference image; controlling the pan-tilt mechanism of the support part in a direction that reduces the amount of deviation; and correcting the mask by the remaining amount of deviation that cannot be corrected by the pan-tilt mechanism of the support part.
  • a program for causing a computer to correct a mask corresponding to a reference image of a shooting position captured at one or more preset positions by a surveillance camera supported on a support part having a pan-tilt mechanism the program causing the computer to calculate, when switching preset positions, an amount of deviation of the captured image from the reference image based on the captured image captured by the surveillance camera and the reference image, control the pan-tilt mechanism of the support part in a direction that reduces the amount of deviation, and correct the mask by the remaining amount of deviation that cannot be corrected by the pan-tilt mechanism of the support part.
  • the mask can be appropriately corrected even if the shooting angle of view (monitoring angle of view) is shifted.
  • FIG. 1 is a block diagram of a surveillance camera system according to a first embodiment.
  • 1 is an external perspective view of a surveillance camera used in a surveillance camera system according to a first embodiment.
  • 5 is a flowchart showing a pre-operation of the surveillance camera system according to the first embodiment.
  • 5 is a flowchart showing an operation during monitoring of the surveillance camera system according to the first embodiment.
  • 1 is an explanatory diagram (1) of an operation during monitoring of the surveillance camera system according to the first embodiment;
  • FIG. FIG. 13 is an explanatory diagram (2) of the operation during monitoring of the surveillance camera system according to the first embodiment.
  • FIG. 11 is an explanatory diagram (3) of the operation during surveillance of the surveillance camera system according to the first embodiment.
  • FIG. 4 is an explanatory diagram (4) of the operation during monitoring of the surveillance camera system according to the first embodiment.
  • FIG. 5 is an explanatory diagram (5) of the operation during surveillance of the surveillance camera system according to the first embodiment.
  • FIG. 11 is a block diagram of a surveillance camera system according to a second embodiment. 10 is a flowchart showing an operation during monitoring of the surveillance camera system according to the second embodiment.
  • FIG. 11 is an explanatory diagram (1) of the operation during monitoring of the surveillance camera system according to the second embodiment.
  • FIG. 11 is an explanatory diagram (2) of the operation during monitoring of the surveillance camera system according to the second embodiment.
  • FIG. 11 is a block diagram of a surveillance camera system according to a third embodiment.
  • FIG. 13 is a flowchart showing a pre-operation of the surveillance camera system according to the third embodiment.
  • 13 is a flowchart showing an operation during monitoring of the surveillance camera system according to the third embodiment.
  • FIG. 11 is an explanatory diagram (1) of the operation during monitoring of the surveillance camera system according to the third embodiment.
  • FIG. 13 is an explanatory diagram (2) of the operation during monitoring of the surveillance camera system according to the third embodiment.
  • 13 is a flowchart showing the operation of a first modified example during monitoring of the monitoring camera system according to the third embodiment.
  • 13 is a flowchart showing the operation of a second modified example during monitoring of the monitoring camera system according to the third embodiment.
  • Fig. 1 is a block diagram of the surveillance camera system 100 according to the first embodiment.
  • Fig. 2 is an external perspective view of a surveillance camera 10 used in the surveillance camera system 100.
  • a gas refining plant is the subject of surveillance, and gas (leakage gas) that unexpectedly leaks from the gas refining plant into the atmosphere is monitored by the surveillance camera system 100.
  • the surveillance camera system 100 is not limited to such applications, and can be applied to surveillance of various things in various surveillance subjects.
  • the surveillance camera system 100 includes a surveillance camera 10, a control unit 20, and an output unit 30.
  • the surveillance camera 10 has a visible camera 11 that captures visible images.
  • the visible camera 11 has a lens 11a, a filter 11b, an image sensor 11c, and a signal processing unit 11d.
  • the lens 11a collects light onto the image sensor 11c while passing it through the filter 11b.
  • the filter 11b At that time, the filter 11b attenuates components with frequencies higher than the cutoff frequency and infrared rays.
  • the image sensor 11c converts the collected light into an electrical signal.
  • the signal processing unit 11d outputs the electrical signal to the control unit 20.
  • the visible camera 11 collects light onto the image sensor 11c via the lens 11a while attenuating components with frequencies higher than the cutoff frequency and infrared rays via the filter 11b, forms an image of the surroundings on the image sensor 11c, converts the light collected by the image sensor 11c into an electrical signal, and outputs the electrical signal to the control unit 20.
  • the surveillance camera 10 outputs a signal (hereinafter referred to as a "captured image signal”) representing the captured image (hereinafter referred to as a "captured image”) to the control unit 20.
  • the control unit 20 is composed of a server, a personal computer, or the like.
  • the control unit 20 includes a CPU (Central Processing Unit) (not shown) and a storage unit (not shown) such as a RAM (Random Access Memory) or a ROM (Read Only Memory).
  • the CPU executes a control program stored in the ROM using the RAM to realize the functions of the gas signal generating unit 21, the camera control unit 22, and the like.
  • the gas signal generating unit 21 is a component having a function of detecting leaked gas from an image captured by the surveillance camera 10 based on a captured image signal output from the surveillance camera 10, and a function of generating a signal indicating the presence of leaked gas (hereinafter referred to as a "gas signal") and outputting it to the output unit 30 when leaked gas is detected.
  • the gas signal is described as including the position of the leaked gas and an image of the leaked gas.
  • the gas signal generating unit 21 also has a function of outputting the captured image signal output from the surveillance camera 10 to the output unit 30.
  • the camera control unit 22 is a component that controls the operation of the surveillance camera 10.
  • the control unit 20 is described as having a gas signal generating unit 21.
  • the gas signal generating unit 21 can be changed to another component according to the purpose.
  • the output unit 30 is composed of a monitor that displays images and an alarm that issues an alarm to a monitor.
  • the output unit 30 displays the image captured by the surveillance camera 10 on the monitor based on the captured image signal output from the control unit 20.
  • the output unit 30 displays an image of the leaking gas on the monitor by overlaying it on the captured image based on the gas signal.
  • the output unit 30 also issues an alarm from the alarm based on the gas signal.
  • the image of the leaking gas is an image in which the leaking gas is highlighted by processing such as coloring to make the leaking gas easier to see.
  • FIG. 2 shows the appearance of the surveillance camera 10 used in the surveillance camera system 100.
  • the surveillance camera 10 is supported by a camera platform 13 (support).
  • the surveillance camera 10 may be attached directly to a building wall or a pillar without using the camera platform 13.
  • the camera platform 13 has a pan-tilt function, and can adjust the shooting angle of view (monitoring angle of view) of the surveillance camera 10.
  • the operation when the pan-tilt function of the camera platform 13 is not used is described, and the operation when the pan-tilt function of the camera platform 13 is used is described in embodiment 2.
  • the surveillance camera 10 is configured to include a visible camera 11 and an infrared camera 12.
  • the operation when the infrared camera 12 is not used will be described.
  • the operation when the infrared camera 12 is used will be described in embodiment 3 and onwards.
  • the shooting magnification of the visible camera 11 will be described as being fixed.
  • the shooting magnification of the visible camera 11 may be made changeable.
  • the surveillance camera 10 can be configured to include only the visible camera 11 without the infrared camera 12.
  • the surveillance camera 10 can be configured to include only the infrared camera 12 without the visible camera 11.
  • Fig. 3 is a flowchart showing the pre-operation of the surveillance camera system 100.
  • Fig. 4 is a flowchart showing the operation of the surveillance camera system 100 during monitoring.
  • Figs. 5A to 5E are explanatory diagrams of the operation of the surveillance camera system 100 during monitoring, respectively.
  • the description will be made on the assumption that a deviation in the shooting angle of view (monitoring angle of view) occurs in the surveillance camera 10 supported by a fixed support unit without a pan-tilt function.
  • the processing shown in Figs. 3 and 4 will be described as being mainly performed by the camera control unit 22 (see Fig. 1) of the control unit 20.
  • the control unit 20 of the surveillance camera system 100 first registers the reference image 50 (see FIG. 5A) of the shooting position in the storage unit (not shown) as a preliminary operation (step S10).
  • the control unit 20 sets a mask 70 (see FIG. 5A) corresponding to the reference image 50 (see FIG. 5A) and registers information about the mask in the storage unit (not shown) (step S20).
  • the registration of the reference image 50 is performed in advance by the control unit 20 acquiring a captured image from the surveillance camera 10 and registering the captured image in the storage unit (not shown) as the reference image 50 of the shooting position.
  • the registration of the mask 70 (see FIG. 5A) is also performed in advance by the control unit 20 accepting settings of the shape, size, etc. of the mask 70 by a person (not shown) or by the control unit 20 spontaneously setting the shape, size, etc. of the mask 70 in advance.
  • FIG. 5A shows an example of the reference image 50 and mask 70 registered at this time.
  • a gas refining plant is set as the monitored object 40, and the area of the reference image 50 is set for the monitored object 40.
  • a mask 70 is set for the area of the monitored object 40 that is not to be monitored.
  • the surveillance camera system 100 starts monitoring leaked gas at the gas refining plant, which is the monitoring target 40.
  • the surveillance camera system 100 as a monitoring operation, first, the surveillance camera 10 captures an image corresponding to an area of the reference image 50 (step S110), and outputs a signal (captured image signal) representing the captured image (captured image) to the control unit 20.
  • the capture is performed periodically or irregularly at intervals.
  • FIG. 5B shows an example of the captured image 60 and mask 70 captured at this time.
  • the shooting direction of the surveillance camera 10 has shifted due to some factor, resulting in a shift in the shooting angle of view (monitoring angle of view) from the reference image position P50 to the captured image position P60.
  • the position of the mask 70 has shifted from mask position P70 to mask position P70a.
  • control unit 20 calculates the amount of deviation of the captured image 60 from the reference image 50 based on the reference image 50 registered in advance in step S10 of FIG. 3 and the captured image 60 captured in step S110 of FIG. 4 (step S120).
  • FIG. 5C shows an example of the calculation of the amount of deviation performed at this time.
  • the control unit 20 cuts out a template image 51 that serves as a positional reference for calculating the amount of deviation from the reference image 50, and matches the template image 51 with a corresponding area image 61 in the captured image 60 to calculate the captured image deviation amount D60.
  • the corresponding area image 61 means an image of a part included in the captured image 60 that corresponds to the template image 51.
  • the captured image deviation amount D60 means the amount of deviation of the captured image 60 from the reference image 50.
  • the control unit 20 corrects the mask 70 based on the captured image shift amount D60 (step S130).
  • the correction of the mask 70 is described as a process of shifting (moving) the mask position.
  • the correction of the mask 70 may be performed by changing (deforming) the shape of the mask 70 in addition to or instead of the process of shifting the mask position.
  • the control unit 20 may change (deform) the shape of the mask 70 to match the distortion of the object.
  • FIGS. 5D and 5E show an example of correction of the mask 70.
  • the control unit 20 corrects the position of the mask 70 by the captured image shift amount D60 in the direction from mask position P70a to mask position P70b (see arrow A11) so as to eliminate the shift in the position of the mask 70.
  • the control unit 20 moves the position of the mask 70 to mask position P70b.
  • step S140 the control unit 20 registers the captured image 60 in the storage unit (not shown) as the new reference image 50 (step S140).
  • the control unit 20 updates and registers the captured image 60 used to correct the mask 70 as the new reference image 50.
  • the processing of step S140 is not essential and may not be performed.
  • the control unit 20 sets the mask 70 on the area of the monitored object 40 that is to be excluded from monitoring in order to avoid false alarms, i.e., to prevent unnecessary alarms from being issued, for locations that constantly emit excess gas (including water vapor) (see Fig. 5A).
  • the surveillance camera system 100 starts monitoring the monitored object 40 (here, a gas refining plant). Then, after a while, if the shooting direction of the surveillance camera 10 shifts due to some factor (see FIG. 5B), the control unit 20 calculates the captured image shift amount D60 in step S120 of FIG. 4 (see FIG. 5C).
  • the captured image shift amount D60 is calculated, for example, by a template matching method. However, the calculation of the captured image shift amount D60 is not limited to the template matching method, and may be a method that uses a general image alignment algorithm such as corresponding point search or RIPOC.
  • step S130 of FIG. 4 the control unit 20 moves the mask 70 by +23 pixels in the X direction and +13 pixels in the Y direction by performing image processing on the captured image 60 in order to eliminate the position shift of the mask 70 (see FIGS. 5D and 5E). Note that if a tilt occurs in the rotational direction based on the optical axis of the surveillance camera 10, the mask 70 may be rotated to match the tilt by performing image processing on the captured image 60.
  • the surveillance camera system 100 monitors the target using both the visible camera 11 and the infrared camera 12, it also processes the infrared image in the same way as the visible image. That is, in this case, the surveillance camera system 100 pre-records in a storage unit (not shown) a reference infrared image of the shooting position corresponding to the infrared image and an infrared mask corresponding to the reference infrared image. The surveillance camera system 100 then calculates the amount of infrared image shift from the infrared image captured by the infrared camera 12 and the reference infrared image, and corrects the infrared mask according to the amount of infrared image shift.
  • a surveillance camera system 100 includes a surveillance camera 10 and a control unit 20 that performs processing based on a captured image 60 captured by the surveillance camera 10.
  • the control unit 20 records in advance in a storage unit (not shown) a reference image 50 captured at a preset shooting position and a mask 70 corresponding to the reference image 50, calculates the amount of deviation (captured image deviation amount D60) of the captured image 60 relative to the reference image 50 from the captured image 60 captured by the surveillance camera 10 and the reference image 50, and corrects the mask 70 according to the amount of deviation.
  • the surveillance camera system 100 can appropriately correct the mask 70 set on the surveillance object even if the shooting angle of view (surveillance angle of view) is shifted.
  • the mask correction method according to this embodiment 1 is a mask correction method for correcting a mask 70 corresponding to a reference image 50 at a shooting position captured by a surveillance camera 10, and calculates the amount of deviation of the captured image 60 from the reference image 50 (captured image deviation amount D60) from the captured image 60 captured by the surveillance camera 10 and the reference image 50, and corrects the mask 70 according to the amount of deviation.
  • the above mask correction method can be realized by the following program. That is, the program according to this embodiment 1 is a program for causing a computer (control unit 20 in this embodiment) to correct a mask 70 corresponding to a reference image 50 at a shooting position captured by a surveillance camera 10, and causes the computer to calculate the amount of shift of the captured image 60 from the reference image 50 (captured image shift amount D60) based on the captured image 60 captured by the surveillance camera 10 and the reference image 50, and correct the mask 70 according to the amount of shift.
  • the program according to this embodiment 1 is a program for causing a computer (control unit 20 in this embodiment) to correct a mask 70 corresponding to a reference image 50 at a shooting position captured by a surveillance camera 10, and causes the computer to calculate the amount of shift of the captured image 60 from the reference image 50 (captured image shift amount D60) based on the captured image 60 captured by the surveillance camera 10 and the reference image 50, and correct the mask 70 according to the amount of shift.
  • the surveillance camera system 100 (see FIG. 1) according to the first embodiment described above is configured to correct the mask 70 only by image processing when the surveillance camera 10 is supported by a fixed support section that does not have a pan-tilt function.
  • the second embodiment provides a surveillance camera system 100A in which the surveillance camera 10 is supported by a support section (platform head 13) that has a pan-tilt function, and the mask 70 is corrected using the pan-tilt function of the support section (platform head 13) and image processing.
  • FIG. 6 is a block diagram of the surveillance camera system 100A according to the second embodiment.
  • a surveillance camera system 100A according to the second embodiment differs from the surveillance camera system 100 according to the first embodiment (see FIG. 1) in the following points.
  • (1) Equipped with a camera platform 13 having a pan-tilt function.
  • the control unit 20 has a camera control unit 22 a instead of the camera control unit 22 .
  • the control unit 20 has a camera platform drive control unit 23 .
  • the tripod head 13 is a support that supports the surveillance camera 10.
  • the tripod head 13 has a pan-tilt function and can adjust the shooting angle of view (monitoring angle of view) of the surveillance camera 10.
  • the tripod head 13 has a motor 13a, an encoder 13b, and a signal processing unit 13c.
  • the motor 13a is a drive source that drives the encoder 13b.
  • the encoder 13b is a means for changing the shooting direction (orientation) of the surveillance camera 10 and adjusts the shooting angle of view (monitoring angle of view) of the surveillance camera 10.
  • the motor 13a and the encoder 13b constitute a pan-tilt mechanism.
  • the signal processing unit 13c is a component that transmits and receives signals to and from the control unit 20, drives the pan-tilt mechanism (motor 13a and encoder 13b) based on a control signal from the control unit 20, and notifies the control unit 20 that it has been driven.
  • the camera control unit 22a differs from the camera control unit 22 (see FIG. 1) in that it performs a "mask correction” process (step S130 in FIG. 7) after the "head drive” process (step S125 in FIG. 7).
  • the tripod head drive control unit 23 is a component that controls the drive of the tripod head 13.
  • the tripod head drive control unit 23 drives the tripod head 13 to roughly adjust the shooting angle of view (monitoring angle of view) of the surveillance camera 10.
  • the camera control unit 22a finely corrects the mask 70 to eliminate the amount of misalignment that cannot be fully adjusted by the adjustment by the tripod head drive control unit 23.
  • the surveillance camera system 100A can also correct the mask 70 by the camera control unit 22a without driving the tripod head 13 by the tripod head drive control unit 23. In this case, the operation of the surveillance camera system 100A is the same as that of the surveillance camera system 100 according to the first embodiment described above.
  • Figure 7 is a flowchart showing the operation of the surveillance camera system 100A during surveillance.
  • Figures 8 and 9 are each explanatory diagrams of the operation of the surveillance camera system 100A during surveillance.
  • the operation of the surveillance camera system 100A according to this embodiment 2 differs from the operation of the surveillance camera system 100 according to the embodiment 1 (see FIG. 4) in that during surveillance, a "camera head drive” process (step S125) is executed between the "shift amount calculation” process (step S120) and the “mask correction” process (step S130).
  • one or more shooting positions are preset in the control unit 20 in advance by a person who sets up the system (not shown). This allows the surveillance camera system 100A to monitor multiple monitoring targets.
  • a reference image 50 is registered in the control unit 20 for each preset position in advance by the operation of the person who sets up the system (not shown) or by a function of the control unit 20.
  • the control unit 20 of the surveillance camera system 100A starts monitoring the monitoring target 40 (here, a gas refining plant), it executes the pan-tilt function of the camera platform 13 to change the shooting direction (orientation) of the surveillance camera 10 in sequence and switch between preset positions.
  • the surveillance camera system 100A captures an image with the surveillance camera 10 (step S110).
  • the control unit 20 calculates the amount of deviation (captured image deviation D60 (see FIG. 5C)) from the captured image 60 captured by the surveillance camera 10 and the reference image 50 (step S120).
  • the control unit 20 controls the driving of the camera platform 13 to eliminate the amount of deviation (step S125), and roughly adjusts the shooting angle of view (monitoring angle of view) of the surveillance camera 10.
  • the control unit 20 finely corrects the mask 70 to eliminate the amount of deviation remaining due to the driving of the camera platform 13 (step S130).
  • control unit 20 registers the captured image 60 as a new reference image 50 in the storage unit (not shown) (step S140).
  • the position where the deviation is eliminated may also be registered as a new preset position. Additionally, the amount of deviation calculated at a particular preset position may be used for processing at other preset positions.
  • the control unit 20 of the surveillance camera system 100A according to the second embodiment sets the mask 70 on the monitored object 40 in order to avoid the occurrence of false alarms in areas that constantly emit some excess gas (including water vapor) (see FIG. 5A).
  • the surveillance camera system 100A starts monitoring the monitored object 40 (here, a gas refining plant). Then, after a while, if the shooting direction of the surveillance camera 10 shifts due to some factor (see FIG. 5B), the control unit 20 calculates the captured image shift amount D60 in step S120 of FIG. 7 (see FIG. 5C).
  • the captured image shift amount D60 is calculated, for example, by a template matching method.
  • an image shift amount D60 (see FIG. 5C) of -23 pixels in the X direction and -13 pixels in the Y direction occurs for an image size of 640 pixels in the X direction and 512 pixels in the Y direction.
  • the position of the mask 70 shifts from the reference image 50 by the image shift amount D60 (see FIG. 5C).
  • the control unit 20 drives and controls the pan head 13 according to the shift amount to roughly adjust the shooting angle of the surveillance camera 10 (monitoring angle of view).
  • the resolution of the pan head 13 is equivalent to 10 pixels.
  • the control unit 20 controls the pan head 13 to move the shooting direction of the surveillance camera 10 by +23 pixels in the X direction and +13 pixels in the Y direction.
  • the surveillance camera system 100A can only move the shooting direction of the surveillance camera 10 by +20 pixels in the X direction and +10 pixels in the Y direction. Therefore, in this case, after driving the pan head 13, a captured image shift amount D60 (see FIG. 5B) of -3 pixels in the X direction and -3 pixels in the Y direction remains.
  • Figure 8 shows the state of the captured image that changes due to the control of the camera-to-camera head 13.
  • Figure 8 shows a comparison of the position of the template image 51 of the reference image 50, the position of the corresponding area image 61a of the captured image 60a captured before the camera-to-camera head 13 was driven, and the position of the corresponding area image 61b of the captured image 60b captured after the camera-to-camera head 13 was driven.
  • the corresponding area image 61a of the captured image 60a captured before the camera-to-camera head 13 was driven is shifted by -23 pixels in the X direction and -13 pixels in the Y direction with respect to the template image 51 of the reference image 50.
  • the corresponding area image 61b of the captured image 60b captured after the camera-to-camera head 13 was driven has a smaller shift from the template image 51 of the reference image 50 than the corresponding area image 61a of the captured image 60a, but still has a shift of -3 pixels in the X direction and -3 pixels in the Y direction.
  • the mask 70 is displaced from the reference image 50 by an amount that cannot be completely corrected by the pan-tilt mechanism (motor 13a and encoder 13b) of the camera head 13.
  • step S130 of FIG. 7 in order to eliminate the remaining misalignment that cannot be corrected by the pan-tilt mechanism (motor 13a and encoder 13b) of the camera head 13, that is, to eliminate the remaining misalignment in the shooting direction of the surveillance camera 10, the control unit 20 corrects the mask 70 by performing image processing on the captured image 60b so as to eliminate the remaining misalignment.
  • Figure 9 shows the state of the mask 70 moving due to driving the pan head 13 and image processing of the captured image 60b.
  • the control unit 20 corrects the position of the mask 70 from mask position P70a to mask position P71b (see arrow A21) by driving the pan head 13. Then, the control unit 20 corrects the position of the mask 70 from mask position P71b to mask position P71c (see arrow A22) by image processing of the captured image 60b (see Figure 8).
  • the control unit 20 of the surveillance camera system 100A according to the second embodiment pre-records a reference image 50 captured at a previously set shooting position for each of one or more preset positions and a mask 70 corresponding to the reference image 50. After that, the control unit 20 calculates the amount of deviation of the captured image 60 from the reference image 50 (captured image deviation amount D60 (see FIG. 5C )) from the captured image 60 captured by the surveillance camera 10 when switching the preset position and the reference image 50.
  • control unit 20 controls the pan-tilt mechanism (motor 13a and encoder 13b) of the support unit (platform 13) in a direction that reduces the amount of deviation, and corrects the mask 70 by the remaining amount of deviation that cannot be corrected by the pan-tilt mechanism of the support unit.
  • Such a surveillance camera system 100A according to the second embodiment controls the pan-tilt mechanism (motor 13a and encoder 13b) of the support section (platform head 13) to roughly adjust the shooting angle of view (monitoring angle of view) of the surveillance camera 10, and corrects the mask 70 by the remaining amount of deviation that cannot be corrected by the pan-tilt mechanism of the support section.
  • the surveillance camera system 100A according to the second embodiment can appropriately correct the mask 70 set for the monitored object even if the shooting angle of view (monitoring angle of view) is shifted.
  • the surveillance camera system 100A according to the second embodiment can minimize the effects of distortion of the captured image 60 by moving the platform 13 before moving the mask position.
  • the mask correction method according to this embodiment 2 is a mask correction method for correcting a mask corresponding to a reference image of a shooting position captured for each of one or more preset positions by a surveillance camera 10 supported by a support section (platform 13) having a pan-tilt mechanism (motor 13a and encoder 13b).
  • the mask correction method according to this embodiment 2 calculates the amount of deviation of the captured image 60 from the reference image 50 (captured image deviation amount D60 (see FIG. 5C)) from the captured image 60 captured by the surveillance camera 10 when switching the preset position and the reference image 50.
  • control unit 20 controls the pan-tilt mechanism (motor 13a and encoder 13b) of the support section (platform 13) in a direction that reduces the amount of deviation, and corrects the mask 70 by the remaining amount of deviation that cannot be corrected by the pan-tilt mechanism of the support section.
  • the above mask correction method can be realized by the following program. That is, the program according to this embodiment 2 is a program for causing a computer (control unit 20) to correct a mask corresponding to a reference image of a shooting position captured at one or more preset positions by a surveillance camera 10 supported by a support unit (platform 13) having a pan-tilt mechanism (motor 13a and encoder 13b).
  • the program according to this embodiment 2 causes the computer to calculate the amount of deviation of the captured image 60 from the reference image 50 (captured image deviation amount D60 (see FIG. 5C)) from the captured image 60 captured by the surveillance camera 10 when switching the preset position and the reference image 50.
  • the program according to this embodiment 2 causes the computer (control unit 20) to control the pan-tilt mechanism (motor 13a and encoder 13b) of the support unit (platform 13) in a direction that reduces the amount of deviation, and corrects the mask 70 by the remaining amount of deviation that cannot be corrected by the pan-tilt mechanism of the support unit.
  • the surveillance camera system 100A (see FIG. 6 ) according to the second embodiment described above is configured to correct the mask 70 using the captured visible image 60S captured by the visible camera 11.
  • the third embodiment provides a surveillance camera system 100B that corrects the mask 70 using not only the captured visible image 60S captured by the visible camera 11 but also the captured infrared image 60R captured by the infrared camera 12.
  • FIG. 10 is a block diagram of the surveillance camera system 100B according to the third embodiment.
  • the surveillance camera system 100B according to the third embodiment differs from the surveillance camera system 100A according to the second embodiment (see FIG. 6) in the following points.
  • the surveillance camera 10 is equipped with an infrared camera 12.
  • the control unit 20 has a camera control unit 22b instead of the camera control unit 22a.
  • the surveillance camera 10 has an infrared camera 12 that captures infrared images.
  • the infrared camera 12 has a lens 12a, a filter 12b, an image sensor 12c, and a signal processing unit 12d.
  • the lens 12a collects light onto the image sensor 12c while passing it through the filter 12b.
  • the filter 12b At that time, the filter 12b attenuates light other than infrared light.
  • the image sensor 12c converts the collected light into an electrical signal.
  • the signal processing unit 12d outputs the electrical signal to the control unit 20.
  • the control unit 20 attenuates light other than infrared light with the filter 12b, collects light onto the image sensor 12c with the lens 12a, forms an image of the surroundings on the image sensor 12c, converts the light collected by the image sensor 12c into an electrical signal, and outputs the electrical signal to the control unit 20.
  • the surveillance camera 10 outputs a signal (hereinafter referred to as a "captured infrared image signal") representing the captured infrared image (hereinafter referred to as a “captured infrared image”) to the control unit 20.
  • Figure 11A is a flowchart showing the pre-operation of the surveillance camera system 100B.
  • Figure 11B is a flowchart showing the operation of the surveillance camera system 100B during surveillance.
  • Figures 12 and 13 are each explanatory diagrams of the operation of the surveillance camera system 100B during surveillance.
  • the control unit 20 of the surveillance camera system 100B first registers the respective reference images of the visible and infrared (reference visible image 50S (see FIG. 12) and reference infrared image 50R (see FIG. 13)) in the storage unit (not shown) for each preset position as a preliminary operation (step S10a).
  • the control unit 20 registers information on the masks 70S, 70R (not shown) corresponding to the respective reference images of the visible and infrared for each preset position in the storage unit (not shown) (step S20).
  • surveillance camera system 100B as an operation during surveillance, first, for each preset position, that is, each time the preset position is switched, a visible image (captured visible image 60S (see Figure 12)) and an infrared image (captured infrared image 60R (see Figure 13)) are captured at each preset position (step S110a). Then, surveillance camera 10 outputs a signal (captured visible image signal) representing captured visible image 60S (see Figure 12) and a signal (captured visible image signal) representing captured infrared image 60R (see Figure 13) to control unit 20.
  • control unit 20 calculates the amount of deviation between the captured images (captured visible image 60S (see FIG. 12) and captured infrared image 60R (see FIG. 13)) and the respective reference images (reference visible image 50S (see FIG. 12) and reference infrared image 50R (see FIG. 13)) (step S120a).
  • FIG. 12 shows an example of the calculation of the amount of shift (captured visible image shift amount D60S) of the captured image (captured visible image 60S) relative to the visible reference image (reference visible image 50S) performed at this time.
  • FIG. 13 shows an example of the calculation of the amount of shift (captured infrared image shift amount D60R) of the captured image (captured infrared image 60R) relative to the infrared reference image (reference infrared image 50R) performed at this time.
  • the control unit 20 cuts out a template image 51S that serves as a positional reference for calculating the amount of deviation from the reference visible image 50S, matches the template image 51S with a corresponding area image 61S in the captured visible image 60S, and calculates the amount of deviation (captured visible image deviation amount D60S).
  • the control unit 20 cuts out a template image 51R that serves as a positional reference for calculating the amount of deviation from the reference infrared image 50R, and matches the template image 51R with a corresponding area image 61R in the captured infrared image 60R to calculate the amount of deviation (captured infrared image deviation amount D60R).
  • control unit 20 calculates the average value of the shift between visible and infrared (the captured visible image shift amount D60S (see FIG. 12) and the captured infrared image shift amount D60R (see FIG. 13)), and uses the calculated average value of the shift between visible and infrared as an index of the drive amount of the camera platform 13 (step S121a).
  • the control unit 20 controls the driving of the pan head 13 by an amount sufficient to eliminate the calculated average amount of deviation between visible and infrared (step S125), and roughly adjusts the shooting angle of view (monitoring angle of view) of the surveillance camera 10.
  • step S125 the control unit 20 finely corrects the masks 70S and 70R (not shown) for the visible and infrared rays so as to eliminate the amount of deviation remaining from the driving of the pan head 13 (step S130).
  • the control unit 20 registers the captured visible and infrared images (captured visible image 60S (see FIG. 12) and captured infrared image 60R (see FIG. 13)) in the storage unit (not shown) as new reference images for the visible and infrared rays (reference visible image 50S (see FIG. 12) and reference infrared image 50R (see FIG. 13)) (step S140a).
  • the control unit 20 calculates a value of -23 pixels in the X direction and -13 pixels in the Y direction as the average value of the visible and infrared misalignment (captured visible image misalignment D60S (see FIG. 12) and captured infrared image misalignment D60R (see FIG. 13)).
  • the control unit 20 then drives and controls the pan head 13 to eliminate the calculated average value of the visible and infrared misalignment, and roughly adjusts the shooting angle of view (monitoring angle of view) of the surveillance camera 10. After this, the control unit 20 finely corrects the visible and infrared masks 70S, 70R (not shown) to eliminate any misalignment remaining from the drive of the pan head 13.
  • the control unit 20 of the surveillance camera system 100B according to the third embodiment pre-records, for each of one or more preset positions, a reference visible image 50S at a shooting position corresponding to a visible image, a reference infrared image 50R at a shooting position corresponding to an infrared image, and either or both of a visible mask (mask 70S (not shown)) corresponding to the reference visible image 50S and an infrared mask (mask 70R (not shown)) corresponding to the reference infrared image 50R.
  • control unit 20 calculates a captured visible image shift amount D60S from the captured visible image 60S and the reference visible image 50S captured by the visible camera 11, and calculates a captured infrared image shift amount D60R from the captured infrared image 60R and the reference infrared image 50R captured by the infrared camera 12.
  • the control unit 20 controls the pan-tilt mechanism (motor 13a and encoder 13b) of the support unit (head 13) in the direction to reduce the shift amount, and corrects either the visible mask (mask 70S (not shown)) or the infrared mask (mask 70R (not shown)) for the remaining shift amount that cannot be completely corrected by the pan-tilt mechanism of the support unit, or both.
  • the surveillance camera system 100B according to the third embodiment can appropriately correct either or both of the masks 70S, 70R (not shown) set on the monitored object even if the shooting angle of view (monitoring angle of view) is shifted.
  • the surveillance camera system 100B according to the third embodiment uses not only the captured visible image 60S but also the captured infrared image 60R to correct either or both of the masks 70S, 70R (not shown).
  • the surveillance camera system 100B according to the third embodiment can improve the calculation accuracy because it uses values acquired by multiple cameras to calculate the amount of shift.
  • the present invention is not necessarily limited to having all of the components described.
  • the present invention allows for certain components to be added to other components, or for some components to be changed to other components.
  • the present invention allows for some components to be deleted.
  • FIG. 14 is a flowchart showing the operation of the first modified example during monitoring by the surveillance camera system 100B according to the third embodiment.
  • the first modified example differs from the process shown in FIG. 11B in the following respects.
  • (1) The processing of step S105 is performed before step S110a.
  • Step S121b is performed instead of step S121a.
  • the control unit 20 of the surveillance camera system 100B determines, in step S105 before step S110a, which of the captured visible image 60S and the captured infrared image 60R to use in calculating the amount of deviation based on the time of day, etc.
  • the time of shooting is daytime (however, this may also be the case when the brightness of the subject being shot is equal to or higher than an arbitrarily set threshold)
  • the captured visible image 60S is described as an image with a high reliability (similarity).
  • step S105 when the time of shooting is nighttime (however, this may also be the case when the brightness of the subject being shot is lower than an arbitrarily set threshold), the captured infrared image 60R is described as an image with a high reliability (similarity). Therefore, in step S105, when the time of shooting is daytime, the control unit 20 determines the captured visible image 60S, which is an image with a high reliability (similarity), as the image to use in calculating the amount of deviation. Furthermore, if the image was captured during the nighttime hours, the control unit 20 determines that the captured infrared image 60R, which is an image with a high degree of reliability (similarity), is the image to be used to calculate the amount of misalignment.
  • step S121b the control unit 20 of the surveillance camera system 100B adopts the displacement amount of the highly reliable image as an index of the driving amount of the camera platform 13 based on the decision made in step S105.
  • the control unit 20 adopts the displacement amount of the captured visible image 60S shown in FIG. 12 (captured visible image displacement amount D60S) as an index of the driving amount of the camera platform 13.
  • the control unit 20 adopts the displacement amount of the captured infrared image 60R shown in FIG. 13 (captured infrared image displacement amount D60R) as an index of the driving amount of the camera platform 13.
  • step S125 the control unit 20 drives and controls the pan head 13 to eliminate the shooting visible image shift amount D60S (see FIG. 12), thereby roughly adjusting the shooting angle of view (monitoring angle of view) of the surveillance camera 10.
  • step S130 the control unit 20 finely corrects the visible mask 70S (not shown) to eliminate the amount of shift remaining after driving the pan head 13.
  • step S125 the control unit 20 drives and controls the pan head 13 to eliminate the shooting infrared image shift amount D60R (see FIG. 13), thereby roughly adjusting the shooting angle of view (monitoring angle of view) of the surveillance camera 10.
  • step S130 the control unit 20 finely corrects the infrared mask 70R (not shown) to eliminate the amount of shift remaining after driving the pan head 13.
  • the amount of misalignment calculated from the visible image or the amount of misalignment calculated from the infrared image, whichever has the higher reliability is used.
  • the reliability indicates how closely the captured image matches the reference image.
  • the result calculated from the visible image is a misalignment of -22 pixels in the X direction and -14 pixels in the Y direction, with a reliability of 0.7.
  • the result calculated from the infrared image is a misalignment of -24 pixels in the X direction and -12 pixels in the Y direction, with a reliability of 0.9.
  • the amount of misalignment calculated from the infrared image with a reliability of 0.9 is used.
  • the first variant uses highly reliable values to calculate the amount of deviation, making it possible to reduce the effects of disturbances such as reflections and passersby.
  • Fig. 15 is a flowchart showing the operation of a second modified example during monitoring by the surveillance camera system 100B according to the third embodiment.
  • the second modified example differs from the process shown in FIG. 11B in the following respects.
  • the process of step S105 is performed before step S110a.
  • the same process as that of the surveillance camera system 100A according to the second embodiment shown in FIG. 7 is performed.
  • the amount of deviation calculated from the visible image or the amount of deviation calculated from the infrared image is switched depending on the time of day. For example, the amount of deviation calculated from the visible image is used from 06:00 to 18:00, and the amount of deviation calculated from the infrared image is used from 18:00 to 06:00. Time periods can be monitored using a timer (not shown). Also, instead of time periods, the image used to calculate the amount of deviation can be changed to either the visible image or the infrared image depending on the brightness (illuminance) of the shooting position.
  • the second variant can improve calculation accuracy by using visible images during the day when there is sufficient visible light, and infrared images at night when there is a shortage of visible light.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Studio Devices (AREA)

Abstract

監視カメラシステム（１００）は、監視カメラ（１０）と、監視カメラで撮影した撮影画像に基づく処理を行う制御部（２０）と、を備える。制御部は、事前に設定された撮影位置で撮影した基準画像（５０）と基準画像に対応するマスク（７０）とを予め記録しておき、監視カメラで撮影した撮影画像（６０）と基準画像とから基準画像に対する撮影画像のズレ量（撮影画像ズレ量（Ｄ６０））を計算し、ズレ量に応じてマスクを補正する。

Description

監視カメラシステム、マスク補正方法、及び、プログラム
　本発明は、監視カメラシステム、マスク補正方法、及び、プログラムに関する。
　従来、建物の壁面や支柱等に配置された監視カメラで任意の場所を監視する監視カメラシステムが広く普及している。そして、この種の監視カメラシステムの中には、パンチルト機能を有する雲台で監視カメラを支持して任意の場所を監視するものがある（例えば、特許文献１参照）。特許文献１は、雲台を駆動して監視カメラの撮影方向を変更する技術に関するものである。特許文献１には、「プリセット登録時にパン／チルトの位置情報とともに当該位置の画像（登録位置画像）をメモリに記憶し、プリセット再現時に移動した位置で取り込んだ画像と登録位置画像を画像処理してズレ量を検出し、当該ズレを低減する方向に雲台を駆動制御することによりプリセット再現時の静止精度を向上させる」ことが記載されている。
　ところで、監視カメラシステムは、監視対象の一部に監視に適さない領域が含まれる場合に、その領域にマスクを設定し、その領域を監視対象から除外して監視することがある。具体的には、監視カメラが撮影した画像の一部の領域を予めマスク領域として指定し、当該マスク領域以外の領域に対して画像処理（例えば、物体認識処理）を行うことで監視対象の物体の出現や変化を検出する。ここでは、一例として、監視対象をガス精製プラントとし、ガス精製プラントから予期せずに大気に漏れ出るガス（以下、「漏出ガス」と称する）を監視カメラシステムで監視する場合を想定して説明する。ガス精製プラントでは、任意の場所から一部の余剰なガスや水蒸気をベントガスとして大気に意図的に放出する。監視カメラシステムは、そのベントガスを漏出ガスとして誤検知しないようにすることが望まれる。そこで、監視カメラシステムは、監視対象の一部（例えば、ベントガスが放出される領域）にマスクを設定し、マスクを設定した領域を監視対象から除外して監視する。このようなマスクを設定する監視は、ガス精製プラントでのガス漏れの監視に限らず、様々なケースで行われる。
特開２００３－９８５７６号公報
　しかしながら、特許文献１に開示された従来技術は、長期間稼働させると、撮影画角（監視画角）がズレる場合があり、その場合に、監視対象から除外したい領域と、マスクを設定した領域とがズレることがある、という課題がある。
　例えば、前記したパンチルト機能を有する雲台は、長期間稼働させると、支持機能が劣化して、位置再現性（つまり、監視カメラの撮影方向を監視対象に向ける性能）が悪くなることがある。これにより、監視カメラシステムは、撮影画角（監視画角）がズレる場合がある。また、パンチルト機能を持たない支持部で監視カメラを支持して任意の場所を監視する場合であっても、例えば、支持部が強風に曝されることによって向きが変わることがある。これにより、監視カメラシステムは、撮影画角（監視画角）がズレる場合がある。撮影画角（監視画角）がズレた場合に、監視カメラシステムは、監視に適さない領域を監視対象から除外するために設定したマスクがズレてしまう。これにより、監視カメラシステムは、監視に適さない領域に対しても監視を行うため、監視に適さない物品（例えば、ベントガス）を監視すべき物品（例えば、漏出ガス）として誤って検出してしまい、誤った警報（誤報）を監視者に発してしまう可能性がある。その結果、発報精度が低下する可能性がある。また、本来監視すべき領域がズレたマスクによって隠れるため、監視すべき物品を検出できなかったり、検出に時間を要したりする可能性がある。その結果、これによっても、発報精度が低下する可能性がある。
　本発明は上記従来技術の有する問題点に鑑みてなされたものであり、本発明の目的は、撮影画角（監視画角）がズレた場合であってもマスクを好適に補正する監視カメラシステム、マスク補正方法、及び、プログラムを提供することにある。
　本発明の上記課題は、下記の手段により解決される。
　（１）監視カメラと、前記監視カメラで撮影した撮影画像に基づく処理を行う制御部と、を備える監視カメラシステムにおいて、前記制御部は、事前に設定された撮影位置で撮影した基準画像と前記基準画像に対応するマスクとを予め記録しておき、前記監視カメラで撮影した撮影画像と前記基準画像とから前記基準画像に対する前記撮影画像のズレ量を計算し、前記ズレ量に応じて前記マスクを補正する、ことを特徴とする監視カメラシステム。
　（２）前記監視カメラとして、可視画像を撮影する可視カメラと、赤外画像を撮影する赤外線カメラと、を備え、前記制御部は、前記可視画像に対応する撮影位置の基準可視画像と、前記赤外画像に対応する撮影位置の基準赤外画像と、前記基準可視画像に対応する可視用マスクと前記基準赤外画像に対応する赤外用マスクとのいずれか一方又は双方を予め記録しておき、前記可視カメラで撮影した撮影可視画像と前記基準可視画像とから可視画像ズレ量を計算し、前記赤外線カメラで撮影した撮影赤外画像と前記基準赤外画像とから赤外画像ズレ量を計算し、前記可視画像ズレ量に応じた前記可視用マスクの補正と前記赤外画像ズレ量に応じた前記赤外用マスクの補正とのいずれか一方又は双方を行う、ことを特徴とする上記（１）に記載の監視カメラシステム。
　（３）監視カメラと、パンチルト機構を有する支持部と、前記監視カメラで撮影した撮影画像に基づく処理を行うとともに前記支持部を制御する制御部と、を備える監視カメラシステムにおいて、前記制御部は、１乃至複数のプリセット位置毎に、事前に設定された撮影位置で撮影した基準画像と前記基準画像に対応するマスクとを予め記録しておき、プリセット位置切り替え時に、前記監視カメラで撮影した撮影画像と前記基準画像とから前記基準画像に対する前記撮影画像のズレ量を計算し、前記ズレ量が低減する方向に前記支持部のパンチルト機構を制御し、前記支持部のパンチルト機構で補正しきれない残りのズレ量分、前記マスクを補正する、ことを特徴とする監視カメラシステム。
　（４）前記監視カメラとして、可視画像を撮影する可視カメラと、赤外画像を撮影する赤外線カメラと、を備え、前記制御部は、１乃至複数のプリセット位置毎に、前記可視画像に対応する撮影位置の基準可視画像と、前記赤外画像に対応する撮影位置の基準赤外画像と、前記基準可視画像に対応する可視用マスクと前記基準赤外画像に対応する赤外用マスクとのいずれか一方又は双方を予め記録しておき、プリセット位置切り替え時に、前記可視カメラで撮影した撮影可視画像と前記基準可視画像とから可視画像ズレ量を計算するとともに前記赤外線カメラで撮影した撮影赤外画像と前記基準赤外画像とから赤外画像ズレ量を計算し、前記可視画像ズレ量と前記赤外画像ズレ量とに基づいて、ズレ量が低減する方向に前記支持部のパンチルト機構を制御し、前記支持部のパンチルト機構で補正しきれない残りのズレ量分、前記可視用マスクの補正と前記赤外用マスクの補正とのいずれか一方又は双方を行う、ことを特徴とする上記（３）に記載の監視カメラシステム。
　（５）前記制御部は、前記可視画像ズレ量と前記赤外画像ズレ量との平均値に基づいて、ズレ量が低減する方向に前記支持部のパンチルト機構を制御する、ことを特徴とする上記（４）に記載の監視カメラシステム。
　（６）前記制御部は、前記可視画像ズレ量と前記赤外画像ズレ量のうち、信頼度の高い方に基づいて、ズレ量が低減する方向に前記支持部のパンチルト機構を制御する、ことを特徴とする上記（４）に記載の監視カメラシステム。
　（７）前記制御部は、時間帯が日が出ている時間帯である場合又は撮影位置が所定の閾値以上に明るい場合に、前記可視画像ズレ量に基づいて、ズレ量が低減する方向に前記支持部のパンチルト機構を制御し、一方、時間帯が日が出ていない時間帯である場合又は撮影位置が所定の閾値よりも暗い場合に、前記赤外画像ズレ量に基づいて、ズレ量が低減する方向に前記支持部のパンチルト機構を制御する、ことを特徴とする上記（４）に記載の監視カメラシステム。
　（８）監視カメラで撮影される撮影位置の基準画像に対応するマスクを補正するマスク補正方法であって、前記監視カメラで撮影した撮影画像と前記基準画像とから前記基準画像に対する前記撮影画像のズレ量を計算し、前記ズレ量に応じて前記マスクを補正する、ことを特徴とするマスク補正方法。
　（９）コンピュータに、監視カメラで撮影される撮影位置の基準画像に対応するマスクを補正させるためのプログラムであって、前記コンピュータに、前記監視カメラで撮影した撮影画像と前記基準画像とから前記基準画像に対する前記撮影画像のズレ量を計算させ、前記ズレ量に応じて前記マスクを補正させる、プログラム。
　（１０）パンチルト機構を有する支持部に支持された監視カメラで１乃至複数のプリセット位置毎に撮影される撮影位置の基準画像に対応するマスクを補正するマスク補正方法であって、プリセット位置切り替え時に、前記監視カメラで撮影した撮影画像と前記基準画像とから前記基準画像に対する前記撮影画像のズレ量を計算し、前記ズレ量が低減する方向に前記支持部のパンチルト機構を制御し、前記支持部のパンチルト機構で補正しきれない残りのズレ量分、前記マスクを補正する、ことを特徴とするマスク補正方法。
　（１１）コンピュータに、パンチルト機構を有する支持部に支持された監視カメラで１乃至複数のプリセット位置毎に撮影される撮影位置の基準画像に対応するマスクを補正させるためのプログラムであって、前記コンピュータに、プリセット位置切り替え時に、前記監視カメラで撮影した撮影画像と前記基準画像とから前記基準画像に対する前記撮影画像のズレ量を計算させ、前記ズレ量が低減する方向に前記支持部のパンチルト機構を制御させ、前記支持部のパンチルト機構で補正しきれない残りのズレ量分、前記マスクを補正させる、プログラム。
　本発明によれば、撮影画角（監視画角）がズレた場合であってもマスクを好適に補正することができる。
実施形態１に係る監視カメラシステムのブロック図である。 実施形態１に係る監視カメラシステムに用いる監視カメラの外観斜視図である。 実施形態１に係る監視カメラシステムの事前の動作を示すフローチャートである。 実施形態１に係る監視カメラシステムの監視時の動作を示すフローチャートである。 実施形態１に係る監視カメラシステムの監視時の動作説明図（１）である。 実施形態１に係る監視カメラシステムの監視時の動作説明図（２）である。 実施形態１に係る監視カメラシステムの監視時の動作説明図（３）である。 実施形態１に係る監視カメラシステムの監視時の動作説明図（４）である。 実施形態１に係る監視カメラシステムの監視時の動作説明図（５）である。 実施形態２に係る監視カメラシステムのブロック図である。 実施形態２に係る監視カメラシステムの監視時の動作を示すフローチャートである。 実施形態２に係る監視カメラシステムの監視時の動作説明図（１）である。 実施形態２に係る監視カメラシステムの監視時の動作説明図（２）である。 実施形態３に係る監視カメラシステムのブロック図である。 実施形態３に係る監視カメラシステムの事前の動作を示すフローチャートである。 実施形態３に係る監視カメラシステムの監視時の動作を示すフローチャートである。 実施形態３に係る監視カメラシステムの監視時の動作説明図（１）である。 実施形態３に係る監視カメラシステムの監視時の動作説明図（２）である。 実施形態３に係る監視カメラシステムの監視時の第１変形例の動作を示すフローチャートである。 実施形態３に係る監視カメラシステムの監視時の第２変形例の動作を示すフローチャートである。
　以下、図面を参照して、本発明の実施の形態について詳細に説明する。なお、各図は、本発明を十分に理解できる程度に、概略的に示しているに過ぎない。よって、本発明は、図示例のみに限定されるものではない。また、各図において、共通する構成要素や同様な構成要素については、同一の符号を付し、それらの重複する説明を省略する。
　［実施形態１］
　＜監視カメラシステムの構成＞
　以下、図１及び図２を参照して、本実施形態１に係る監視カメラシステム１００の構成について説明する。図１は、本実施形態１に係る監視カメラシステム１００のブロック図である。図２は、監視カメラシステム１００に用いる監視カメラ１０の外観斜視図である。ここでは、一例として、監視対象をガス精製プラントとし、ガス精製プラントから予期せずに大気に漏れ出るガス（漏出ガス）を監視カメラシステム１００で監視する場合を想定して説明する。ただし、監視カメラシステム１００は、このような用途に限らず、様々な監視対象における様々なものの監視に適用することができる。
　図１に示すように、監視カメラシステム１００は、監視カメラ１０と、制御部２０と、出力部３０と、を備えている。
　監視カメラ１０は、可視画像を撮影する可視カメラ１１を有している。可視カメラ１１は、レンズ１１ａと、フィルタ１１ｂと、撮像素子１１ｃと、信号処理部１１ｄと、を有している。レンズ１１ａは、フィルタ１１ｂを通過させながら光を撮像素子１１ｃに集める。その際に、フィルタ１１ｂは、遮断周波数より高い周波数の成分や赤外線を逓減させる。撮像素子１１ｃは、集められた光を電気信号に変換する。信号処理部１１ｄは、電気信号を制御部２０に出力する。係る構成において、可視カメラ１１は、フィルタ１１ｂで遮断周波数より高い周波数の成分や赤外線を逓減させながら、レンズ１１ａで光を撮像素子１１ｃに集めて、撮像素子１１ｃ上に周囲の画像を結像させ、撮像素子１１ｃで集められた光を電気信号に変換して、電気信号を制御部２０に出力する。これにより、監視カメラ１０は、撮影した画像（以下、「撮影画像」と称する）を表す信号（以下、「撮影画像信号」と称する）を制御部２０に出力する。
　制御部２０は、サーバやパーソナルコンピュータ等で構成される。制御部２０は、図示せぬＣＰＵ（Central Processing Unit）と、ＲＡＭ（Random Access Memory）やＲＯＭ（Read Only Memory）等の記憶部（図示せず）とを備えている。ＣＰＵは、ＲＯＭに格納された制御プログラムをＲＡＭを使用して実行することにより、ガス信号生成部２１、カメラ制御部２２等の各機能を実現する。ガス信号生成部２１は、監視カメラ１０から出力される撮影画像信号に基づいて、監視カメラ１０で撮影された撮影画像から漏出ガスを検出する機能と、漏出ガスを検出した場合に、漏出ガスの存在を表す信号（以下、「ガス信号」と称する）を生成して出力部３０に出力する機能と、を有する構成要素である。ここでは、ガス信号が漏出ガスの位置や漏出ガスの画像を含んでいるものとして説明する。また、ガス信号生成部２１は、監視カメラ１０から出力される撮影画像信号を出力部３０に出力する機能も有する。カメラ制御部２２は、監視カメラ１０の動作を制御する構成要素である。
　なお、本実施形態では、監視カメラシステム１００をガス精製プラントでのガス漏れの監視に用いることを想定しているため、制御部２０がガス信号生成部２１を有するものとして説明している。しかしながら、監視カメラシステム１００を別の用途に用いる場合に、ガス信号生成部２１は、用途に合わせて別の構成要素に変更することができる。
　出力部３０は、画像を表示するモニタや、警報を監視者に発する警報機等で構成される。出力部３０は、制御部２０から出力される撮影画像信号に基づいて、監視カメラ１０で撮影された撮影画像をモニタに表示する。また、制御部２０からガス信号生成部２１で生成されたガス信号が出力部３０に出力された場合に、出力部３０は、ガス信号に基づいて、撮影画像上に漏出ガスの画像を重ねてモニタに表示する。また、出力部３０は、ガス信号に基づいて、警報機から警報を発する。なお、漏出ガスの画像は、漏出ガスを見易くするために、着色等の処理を施して漏出ガスを強調表示した画像である。
　図２に、監視カメラシステム１００に用いる監視カメラ１０の外観を示す。図２に示す例では、監視カメラ１０は、雲台１３（支持部）に支持されている。ただし、監視カメラ１０は、雲台１３を用いずに、建物の壁面や支柱等に直接取り付けるようにしてもよい。雲台１３は、パンチルト機能を有しており、監視カメラ１０の撮影画角（監視画角）を調整することができる。本実施形態１では、雲台１３のパンチルト機能を用いない場合の動作について説明し、雲台１３のパンチルト機能を用いる場合の動作については、実施形態２で説明する。
　また、図２に示す例では、監視カメラ１０は、可視カメラ１１と、赤外線カメラ１２と、を有する構成になっている。ただし、本実施形態１では、赤外線カメラ１２を使用しない場合の動作について説明する。なお、赤外線カメラ１２を使用する場合の動作については、実施形態３以降で説明する。本実施形態では、可視カメラ１１の撮影倍率は固定になっているものとして説明する。ただし、可視カメラ１１の撮影倍率を変更できるようにしてもよい。また、可視画像だけで監視対象を十分に監視できる場合に、監視カメラ１０は、赤外線カメラ１２を有さずに、可視カメラ１１のみを有する構成にすることができる。逆に、赤外画像だけで監視対象を十分に監視できる場合に、監視カメラ１０は、可視カメラ１１を有さずに、赤外線カメラ１２のみを有する構成にすることができる。
　＜監視カメラシステムの動作＞
　以下、図３、図４、及び、図５Ａから図５Ｅを参照して、監視カメラシステム１００の動作について説明する。図３は、監視カメラシステム１００の事前の動作を示すフローチャートである。図４は、監視カメラシステム１００の監視時の動作を示すフローチャートである。図５Ａから図５Ｅは、それぞれ、監視カメラシステム１００の監視時の動作説明図である。ここでは、パンチルト機能を持たない固定型の支持部に支持された監視カメラ１０に撮影画角（監視画角）のズレが発生した場合を想定して説明する。また、図３及び図４に示す処理は、主に制御部２０のカメラ制御部２２（図１参照）によって行われるものとして説明する。
　図３に示すように、監視カメラシステム１００の制御部２０は、事前の動作として、まず、撮影位置の基準画像５０（図５Ａ参照）を記憶部（図示せず）に登録する（ステップＳ１０）。次に、制御部２０は、監視に適さない領域を監視対象から除外するために、基準画像５０（図５Ａ参照）に対応するマスク７０（図５Ａ参照）を設定してマスクに関する情報を記憶部（図示せず）に登録する（ステップＳ２０）。基準画像５０（図５Ａ参照）の登録は、事前に、制御部２０が監視カメラ１０から撮影画像を取得してその撮影画像を撮影位置の基準画像５０として記憶部（図示せず）に登録することで行われる。また、マスク７０（図５Ａ参照）の登録は、事前に、設定者（図示せず）によるマスク７０の形状や大きさ等の設定を制御部２０が受け付けたり、事前に、マスク７０の形状や大きさ等の設定を制御部２０が自発的に実行することで行われる。
　図５Ａは、このとき登録された基準画像５０とマスク７０の一例を示している。図５Ａに示す例では、ガス精製プラントを監視対象４０とし、監視対象４０に対して、基準画像５０の領域が設定されている。また、監視対象４０に対して、監視対象外となる領域にマスク７０が設定されている。
　この後、監視カメラシステム１００が監視対象４０であるガス精製プラントでの漏出ガスの監視を開始したとする。この場合に、図４に示すように、監視カメラシステム１００では、監視時の動作として、まず、監視カメラ１０が基準画像５０の領域に対応する画像を撮影して（ステップＳ１１０）、撮影した画像（撮影画像）を表す信号（撮影画像信号）を制御部２０に出力する。撮影は、時間を開けて定期的に、又は、不定期で、行われる。
　図５Ｂは、このとき撮影された撮影画像６０とマスク７０の一例を示している。図５Ｂに示す例では、何らかの要因により、監視カメラ１０の撮影方向がズレてしまい、その結果、基準画像位置Ｐ５０から撮影画像位置Ｐ６０への撮影画角（監視画角）のズレが発生している。また、マスク位置Ｐ７０からマスク位置Ｐ７０ａへのマスク７０の位置のズレが発生している。
　図４に戻り、ステップＳ１１０の後、制御部２０は、図３のステップＳ１０で事前に登録した基準画像５０と図４のステップＳ１１０で撮影された撮影画像６０とに基づいて、基準画像５０に対する撮影画像６０のズレ量を計算する（ステップＳ１２０）。
　図５Ｃは、このとき行われるズレ量の計算の一例を示している。図５Ｃに示す例では、制御部２０は、基準画像５０からのズレ量を計算するための位置の基準となるテンプレート画像５１を切り出し、テンプレート画像５１と撮影画像６０の中の対応領域画像６１とをマッチングして、撮影画像ズレ量Ｄ６０を算出している。ここで、対応領域画像６１は、撮影画像６０に含まれる、テンプレート画像５１に対応する部位の画像を意味している。また、撮影画像ズレ量Ｄ６０は、基準画像５０に対する撮影画像６０のズレ量を意味している。
　図４に戻り、ステップＳ１２０の後、制御部２０は、撮影画像ズレ量Ｄ６０に基づいて、マスク７０を補正する（ステップＳ１３０）。ここでは、マスク７０の補正は、マスク位置をズラす処理（移動させる処理）を行うものとして説明する。ただし。マスク７０の補正は、マスク位置をズラす処理に加え、又は、マスク位置をズラす処理に代えて、マスク７０の形状を変化（変形）する処理を行うようにしてもよい。つまり、撮影画角（監視画角）がズレると、撮影画像６０に映る物体が歪むため、制御部２０は、その物体の歪みに合わせて、マスク７０の形状を変化（変形）するようにしてもよい。
　図５Ｄと図５Ｅは、マスク７０の補正の一例を示している。図５Ｄに示す例では、制御部２０は、マスク７０の位置のズレを解消するように、マスク位置Ｐ７０ａからマスク位置Ｐ７０ｂの方向（矢印Ａ１１参照）へ撮影画像ズレ量Ｄ６０分だけマスク７０の位置を補正している。図５Ｅに示す例では、制御部２０は、マスク位置Ｐ７０ｂにマスク７０の位置を移動させている。
　図４に戻り、ステップＳ１３０の後、制御部２０は、撮影画像６０を新しい基準画像５０として記憶部（図示せず）に登録する（ステップＳ１４０）。つまり、制御部２０は、マスク７０の補正（設定）時に、マスク７０の補正に用いた撮影画像６０を新しい基準画像５０として更新登録する。ただし、ステップＳ１４０の処理は、必須のものではなく、行わないようにしてもよい。
　ここで、図５Ａから図５Ｅを参照して、マスク７０の補正の詳細について説明する。事前の動作として、制御部２０は、一部の余剰なガス（水蒸気を含む）を恒常的に放出している箇所に対して、誤報の発生を避けるために、つまり、不要な発報を出さないために、監視対象４０に対して監視を除外する領域にマスク７０を設定する（図５Ａ参照）。
　この後、監視カメラシステム１００は、監視対象４０（ここでは、ガス精製プラント）の監視動作を開始する。そして、しばらくした後、何らかの要因により、監視カメラ１０の撮影方向がズレる（図５Ｂ参照）と、図４のステップＳ１２０において、制御部２０は、撮影画像ズレ量Ｄ６０を計算する（図５Ｃ参照）。撮影画像ズレ量Ｄ６０の計算は、例えば、テンプレートマッチング手法によって行われる。ただし、撮影画像ズレ量Ｄ６０の計算は、テンプレートマッチング手法に限らず、対応点探索、ＲＩＰＯＣ等の一般的な画像間の位置合わせアルゴリズムを使う手法であってもよい。
　ここで、例えば、Ｘ方向が６４０ピクセルでＹ方向が５１２ピクセルの画像サイズに対して、Ｘ方向に－２３ピクセル、Ｙ方向に－１３ピクセル分の撮影画像ズレ量Ｄ６０が発生したと仮定する。マスク７０は、基準画像５０に対して撮影画像ズレ量Ｄ６０分だけ位置がズレる。この場合に、図４のステップＳ１３０において、制御部２０は、マスク７０の位置ズレを解消するために、Ｘ方向に＋２３ピクセル、Ｙ方向に＋１３ピクセル分、撮影画像６０に対する画像処理によりマスク７０を移動させる（図５Ｄ及び図５Ｅ参照）。なお、監視カメラ１０の光軸を基準とした回転方向の傾きが発生した場合、撮影画像６０に対する画像処理により当該傾きに合わせてマスク７０を回転させてもよい。
　なお、監視カメラシステム１００は、可視カメラ１１と赤外線カメラ１２の両方を用いて監視対象を監視する場合に、可視画像と同様の処理を赤外画像に対しても行う。すなわち、この場合に、監視カメラシステム１００は、赤外画像に対応する撮影位置の基準赤外画像と基準赤外画像に対応する赤外用マスクとを記憶部（図示せず）に予め記録する。そして、監視カメラシステム１００は、赤外線カメラ１２で撮影した撮影赤外画像と基準赤外画像とから赤外画像ズレ量を計算し、赤外画像ズレ量に応じて赤外用マスクを補正するとよい。
　＜実施形態１に係る監視カメラシステムの主な特徴＞
　図１に示すように、本実施形態１に係る監視カメラシステム１００は、監視カメラ１０と、監視カメラ１０で撮影した撮影画像６０に基づく処理を行う制御部２０と、を備える。図５Ａから図５Ｅ（特に図５Ｃ）に示すように、制御部２０は、事前に設定された撮影位置で撮影した基準画像５０と基準画像５０に対応するマスク７０とを予め記憶部（図示せず）に記録しておき、監視カメラ１０で撮影した撮影画像６０と基準画像５０とから基準画像５０に対する撮影画像６０のズレ量（撮影画像ズレ量Ｄ６０）を計算し、ズレ量に応じてマスク７０を補正する。
　このような本実施形態１に係る監視カメラシステム１００は、撮影画角（監視画角）がズレた場合であっても監視対象に設定されたマスク７０を好適に補正することができる。
　本実施形態１では、以下のようなマスク補正方法を実現することができる。すなわち、本実施形態１に係るマスク補正方法は、監視カメラ１０で撮影される撮影位置の基準画像５０に対応するマスク７０を補正するマスク補正方法であって、監視カメラ１０で撮影した撮影画像６０と基準画像５０とから基準画像５０に対する撮影画像６０のズレ量（撮影画像ズレ量Ｄ６０）を計算し、ズレ量に応じてマスク７０を補正する。
　また、本実施形態１では、以下のようなプログラムによって上記のマスク補正方法を実現することができる。すなわち、本実施形態１に係るプログラムは、コンピュータ（本実施形態では制御部２０）に、監視カメラ１０で撮影される撮影位置の基準画像５０に対応するマスク７０を補正させるためのプログラムであって、コンピュータに、監視カメラ１０で撮影した撮影画像６０と基準画像５０とから基準画像５０に対する撮影画像６０のズレ量（撮影画像ズレ量Ｄ６０）を計算させ、ズレ量に応じてマスク７０を補正させる。
　［実施形態２］
　前記した実施形態１に係る監視カメラシステム１００（図１参照）は、監視カメラ１０がパンチルト機能を持たない固定型の支持部に支持されている場合において、画像処理のみでマスク７０を補正する構成になっている。これに対し、本実施形態２では、監視カメラ１０がパンチルト機能を有する支持部（雲台１３）に支持されており、支持部（雲台１３）のパンチルト機能と画像処理とを用いてマスク７０を補正する監視カメラシステム１００Ａを提供する。
　以下、図６を参照して、本実施形態２に係る監視カメラシステム１００Ａの構成について説明する。本実施形態２では、前記した実施形態１と相違する点について説明する。図６は、本実施形態２に係る監視カメラシステム１００Ａのブロック図である。
　図６に示すように、本実施形態２に係る監視カメラシステム１００Ａは、実施形態１に係る監視カメラシステム１００（図１参照）と比較すると、以下の点で相違する。
　（１）パンチルト機能を有する雲台１３を備える点。
　（２）制御部２０が、カメラ制御部２２の代わりに、カメラ制御部２２ａを有する点。
　（３）制御部２０が雲台駆動制御部２３を有する点。
　前記（１）の相違点について、雲台１３は、監視カメラ１０を支持する支持部である。雲台１３は、パンチルト機能を有しており、監視カメラ１０の撮影画角（監視画角）を調整することができる。雲台１３は、モータ１３ａと、エンコーダ１３ｂと、信号処理部１３ｃと、を有する。モータ１３ａは、エンコーダ１３ｂを駆動する駆動源である。エンコーダ１３ｂは、監視カメラ１０の撮影方向（向き）を変更する手段であり、監視カメラ１０の撮影画角（監視画角）を調整する。モータ１３ａとエンコーダ１３ｂは、パンチルト機構を構成する。信号処理部１３ｃは、制御部２０との間で信号を送受信する構成要素であり、制御部２０からの制御信号に基づいてパンチルト機構（モータ１３ａとエンコーダ１３ｂ）を駆動し、駆動したことを制御部２０に通知する。
　前記（２）の相違点について、カメラ制御部２２ａは、カメラ制御部２２（図１参照）と比較すると、「雲台駆動」処理（図７のステップＳ１２５）後に、「マスク補正」処理（図７のステップＳ１３０）を行う点で相違する。
　前記（３）の相違点について、雲台駆動制御部２３は、雲台１３の駆動を制御する構成要素である。雲台駆動制御部２３は、雲台１３を駆動させて、監視カメラ１０の撮影画角（監視画角）を大まかに調整する。カメラ制御部２２ａは、雲台駆動制御部２３による調整で調整しきれないズレ量の分を解消するように、マスク７０を微細に補正する。なお、監視カメラシステム１００Ａは、雲台駆動制御部２３で雲台１３を駆動させることなく、カメラ制御部２２ａでマスク７０を補正することもできる。この場合、監視カメラシステム１００Ａの動作は、前記した実施形態１に係る監視カメラシステム１００と同様の動作になる。
　以下、図７、図８、及び、図９を参照して、監視カメラシステム１００Ａの動作について説明する。図７は、監視カメラシステム１００Ａの監視時の動作を示すフローチャートである。図８及び図９は、それぞれ、監視カメラシステム１００Ａの監視時の動作説明図である。
　図７に示すように、本実施形態２に係る監視カメラシステム１００Ａの動作は、実施形態１に係る監視カメラシステム１００の動作（図４参照）と比較すると、監視時の動作に、「ズレ量計算」処理（ステップＳ１２０）と「マスク補正」処理（ステップＳ１３０）との間で、「雲台駆動」処理（ステップＳ１２５）を実行する点で相違する。
　監視カメラシステム１００Ａでは、事前に、設定者（図示せず）によって１乃至複数の撮影位置が制御部２０にプリセット登録される。これにより、監視カメラシステム１００Ａでは、複数の監視対象を監視することができる。また、事前に、設定者（図示せず）の操作によって、又は、制御部２０の機能によって、プリセット位置毎に基準画像５０が制御部２０に登録される。監視カメラシステム１００Ａの制御部２０は、監視対象４０（ここでは、ガス精製プラント）の監視動作を開始すると、雲台１３のパンチルト機能を実行して監視カメラ１０の撮影方向（向き）を順々に変更してプリセット位置を切り替えていく。
　そのプリセット位置を切り替え時に、図７に示すように、監視カメラシステム１００Ａは、監視カメラ１０で画像を撮影する（ステップＳ１１０）。ステップＳ１１０の後、制御部２０は、監視カメラ１０で撮影した撮影画像６０と基準画像５０とからズレ量（撮影画像ズレ量Ｄ６０（図５Ｃ参照））を計算する（ステップＳ１２０）。ステップＳ１２０の後、制御部２０は、ズレ量を解消するように雲台１３を駆動制御して（ステップＳ１２５）、監視カメラ１０の撮影画角（監視画角）を大まかに調整する。ステップＳ１２５の後、制御部２０は、雲台１３の駆動で残ったズレ量の分を解消するように、マスク７０を微細に補正する（ステップＳ１３０）。ステップＳ１３０の後、制御部２０は、撮影画像６０を新しい基準画像５０として記憶部（図示せず）に登録する（ステップＳ１４０）。また、ズレを解消した位置を新たなプリセット位置として登録してもよい。また、特定のプリセット位置で算出したずれ量を、他のプリセット位置での処理に用いてもよい。
　ここで、本実施形態２に係る監視カメラシステム１００Ａにおけるマスク７０の補正の詳細について説明する。事前の動作として、本実施形態２に係る監視カメラシステム１００Ａの制御部２０は、一部の余剰なガス（水蒸気を含む）を恒常的に放出している箇所に対して、誤報の発生を避けるために、監視対象４０に対してマスク７０を設定する（図５Ａ参照）。
　この後、監視カメラシステム１００Ａは、監視対象４０（ここでは、ガス精製プラント）の監視動作を開始する。そして、しばらくした後、何らかの要因により、監視カメラ１０の撮影方向がズレる（図５Ｂ参照）と、図７のステップＳ１２０において、制御部２０は、撮影画像ズレ量Ｄ６０を計算する（図５Ｃ参照）。撮影画像ズレ量Ｄ６０の計算は、例えば、テンプレートマッチング手法によって行われる。
　ここで、例えば、Ｘ方向が６４０ピクセルでＹ方向が５１２ピクセルの画像サイズに対して、Ｘ方向に－２３ピクセル、Ｙ方向に－１３ピクセル分の撮影画像ズレ量Ｄ６０（図５Ｃ参照）が発生したと仮定する。マスク７０は、基準画像５０に対して撮影画像ズレ量Ｄ６０分（図５Ｃ参照）だけ位置がズレる。この場合に、図７のステップＳ１２５において、制御部２０は、撮影画像ズレ量Ｄ６０（図５Ｃ参照）を解消するために、つまり、監視カメラ１０の撮影方向のズレを解消するために、ズレ量に応じて雲台１３を駆動制御して、監視カメラ１０の撮影画角（監視画角）を大まかに調整する。ここで、雲台１３の分解能を１０ピクセル相当と仮定する。制御部２０は、Ｘ方向に＋２３ピクセル、Ｙ方向に＋１３ピクセル分、監視カメラ１０の撮影方向を移動させるように、雲台１３を制御する。しかしながら、雲台１３の分解能が１０ピクセル相当であるため、監視カメラシステム１００Ａは、Ｘ方向に＋２０ピクセル、Ｙ方向に＋１０ピクセル分しか、監視カメラ１０の撮影方向を移動できない。したがって、この場合に、雲台１３の駆動後に、Ｘ方向に－３ピクセル、Ｙ方向に－３ピクセル分の撮影画像ズレ量Ｄ６０（図５Ｂ参照）が残る。
　図８は、雲台１３の制御によって変化する撮影画像の状態を示している。図８は、基準画像５０のテンプレート画像５１の位置と、雲台１３の駆動前に撮影された撮影画像６０ａの対応領域画像６１ａの位置と、雲台１３の駆動後に撮影された撮影画像６０ｂの対応領域画像６１ｂの位置とを比較して示している。雲台１３の駆動前に撮影された撮影画像６０ａの対応領域画像６１ａは、基準画像５０のテンプレート画像５１に対して、Ｘ方向に－２３ピクセル、Ｙ方向に－１３ピクセル分のズレが発生している。一方、雲台１３の駆動後に撮影された撮影画像６０ｂの対応領域画像６１ｂは、撮影画像６０ａの対応領域画像６１ａよりも基準画像５０のテンプレート画像５１に対するズレ量が小さくなっているものの、依然として、Ｘ方向に－３ピクセル、Ｙ方向に－３ピクセル分のズレが残っている。そのため、マスク７０は、基準画像５０に対して、雲台１３のパンチルト機構（モータ１３ａ及びエンコーダ１３ｂ）で補正しきれないズレ量分だけ位置がズレる。
　そこで、図７のステップＳ１３０において、制御部２０は、雲台１３のパンチルト機構（モータ１３ａ及びエンコーダ１３ｂ）で補正しきれない残りのズレ量を解消するために、つまり、監視カメラ１０の撮影方向の残りのズレを解消するために、残りのズレ量の分を解消するように撮影画像６０ｂに対する画像処理によりマスク７０を補正する。
　図９は、雲台１３の駆動と撮影画像６０ｂに対する画像処理により移動するマスク７０の態を示している。図９に示す例では、制御部２０は、雲台１３を駆動することにより、マスク位置Ｐ７０ａからマスク位置Ｐ７１ｂの方向（矢印Ａ２１参照）へマスク７０の位置を補正している。そして、制御部２０は、撮影画像６０ｂ（図８参照）に対する画像処理により、マスク位置Ｐ７１ｂからマスク位置Ｐ７１ｃの方向（矢印Ａ２２参照）へマスク７０の位置を補正している。
　＜実施形態２に係る監視カメラシステムの主な特徴＞
　本実施形態２に係る監視カメラシステム１００Ａの制御部２０は、１乃至複数のプリセット位置毎に事前に設定された撮影位置で撮影した基準画像５０と基準画像５０に対応するマスク７０とを予め記録しておく。この後、制御部２０は、プリセット位置切り替え時に監視カメラ１０で撮影した撮影画像６０と基準画像５０とから基準画像５０に対する撮影画像６０のズレ量（撮影画像ズレ量Ｄ６０（図５Ｃ参照））を計算する。そして、制御部２０は、ズレ量が低減する方向に支持部（雲台１３）のパンチルト機構（モータ１３ａ及びエンコーダ１３ｂ）を制御し、支持部のパンチルト機構で補正しきれない残りのズレ量分、マスク７０を補正する。
　このような本実施形態２に係る監視カメラシステム１００Ａは、支持部（雲台１３）のパンチルト機構（モータ１３ａ及びエンコーダ１３ｂ）を制御することで、監視カメラ１０の撮影画角（監視画角）を大まかに調整し、支持部のパンチルト機構で補正しきれない残りのズレ量分、マスク７０を補正する。このような本実施形態２に係る監視カメラシステム１００Ａは、実施形態１に係る監視カメラシステム１００と同様に、撮影画角（監視画角）がズレた場合であっても監視対象に設定されたマスク７０を好適に補正することができる。しかも、本実施形態２に係る監視カメラシステム１００Ａは、マスク位置を移動させる前に雲台１３を動かすことで、撮影画像６０の歪みによる影響を最小に納めることができる。
　本実施形態２では、以下のようなマスク補正方法を実現することができる。すなわち、本実施形態２に係るマスク補正方法は、パンチルト機構（モータ１３ａ及びエンコーダ１３ｂ）を有する支持部（雲台１３）に支持された監視カメラ１０で１乃至複数のプリセット位置毎に撮影される撮影位置の基準画像に対応するマスクを補正するマスク補正方法である。本実施形態２に係るマスク補正方法は、プリセット位置切り替え時に監視カメラ１０で撮影した撮影画像６０と基準画像５０とから基準画像５０に対する撮影画像６０のズレ量（撮影画像ズレ量Ｄ６０（図５Ｃ参照））を計算する。そして、制御部２０は、ズレ量が低減する方向に支持部（雲台１３）のパンチルト機構（モータ１３ａ及びエンコーダ１３ｂ）を制御し、支持部のパンチルト機構で補正しきれない残りのズレ量分、マスク７０を補正する。
　また、本実施形態２では、以下のようなプログラムによって上記のマスク補正方法を実現することができる。すなわち、本実施形態２に係るプログラムは、コンピュータ（制御部２０）に、パンチルト機構（モータ１３ａ及びエンコーダ１３ｂ）を有する支持部（雲台１３）に支持された監視カメラ１０で１乃至複数のプリセット位置毎に撮影される撮影位置の基準画像に対応するマスクを補正させるためのプログラムである。本実施形態２に係るプログラムは、コンピュータに、プリセット位置切り替え時に監視カメラ１０で撮影した撮影画像６０と基準画像５０とから基準画像５０に対する撮影画像６０のズレ量（撮影画像ズレ量Ｄ６０（図５Ｃ参照））を計算させる。そして、本実施形態２に係るプログラムは、コンピュータ（制御部２０）に、ズレ量が低減する方向に支持部（雲台１３）のパンチルト機構（モータ１３ａ及びエンコーダ１３ｂ）を制御させ、支持部のパンチルト機構で補正しきれない残りのズレ量分、マスク７０を補正させる。
　［実施形態３］
　前記した実施形態２に係る監視カメラシステム１００Ａ（図６参照）は、可視カメラ１１で撮影された撮影可視画像６０Ｓを用いて、マスク７０を補正する構成になっている。これに対し、本実施形態３では、可視カメラ１１で撮影された撮影可視画像６０Ｓだけでなく、赤外線カメラ１２で撮影された撮影赤外画像６０Ｒも用いて、マスク７０を補正する監視カメラシステム１００Ｂを提供する。
　以下、図１０を参照して、本実施形態３に係る監視カメラシステム１００Ｂの構成について説明する。本実施形態３では、前記した実施形態２と相違する点について説明する。図１０は、本実施形態３に係る監視カメラシステム１００Ｂのブロック図である。
　図１０に示すように、本実施形態３に係る監視カメラシステム１００Ｂは、実施形態２に係る監視カメラシステム１００Ａ（図６参照）と比較すると、以下の点で相違する。
　（１）監視カメラ１０が赤外線カメラ１２を備える点。
　（２）制御部２０が、カメラ制御部２２ａの代わりに、カメラ制御部２２ｂを有する点。
　前記（１）の相違点について、監視カメラ１０は、赤外画像を撮影する赤外線カメラ１２を有している。赤外線カメラ１２は、レンズ１２ａと、フィルタ１２ｂと、撮像素子１２ｃと、信号処理部１２ｄと、を有している。レンズ１２ａは、フィルタ１２ｂを通過させながら光を撮像素子１２ｃに集める。その際に、フィルタ１２ｂは、赤外線以外の光を逓減させる。撮像素子１２ｃは、集められた光を電気信号に変換する。信号処理部１２ｄは、電気信号を制御部２０に出力する。係る構成において、制御部２０は、フィルタ１２ｂで赤外線以外の光を逓減させながら、レンズ１２ａで光を撮像素子１２ｃに集めて、撮像素子１２ｃ上に周囲の画像を結像させ、撮像素子１２ｃで集められた光を電気信号に変換して、電気信号を制御部２０に出力する。これにより、監視カメラ１０は、撮影した赤外画像（以下、「撮影赤外画像」と称する）を表す信号（以下、「撮影赤外画像信号」と称する）を制御部２０に出力する。
　以下、図１１Ａ、図１１Ｂ、図１２、及び、図１３を参照して、監視カメラシステム１００Ｂの動作について説明する。図１１Ａは、監視カメラシステム１００Ｂの事前の動作を示すフローチャートである。図１１Ｂは、監視カメラシステム１００Ｂの監視時の動作を示すフローチャートである。図１２及び図１３は、それぞれ、監視カメラシステム１００Ｂの監視時の動作説明図である。
　図１１Ａに示すように、監視カメラシステム１００Ｂの制御部２０は、事前の動作として、まず、プリセット位置毎に、可視と赤外のそれぞれの基準画像（基準可視画像５０Ｓ（図１２参照）と基準赤外画像５０Ｒ（図１３参照））を記憶部（図示せず）に登録する（ステップＳ１０ａ）。次に、制御部２０は、監視に適さない領域を監視対象から除外するために、プリセット位置毎に、可視と赤外のそれぞれの基準画像に対応するマスク７０Ｓ，７０Ｒ（図示せず）に関する情報を記憶部（図示せず）に登録する（ステップＳ２０）。基準画像（基準可視画像５０Ｓ（図１２参照）と基準赤外画像５０Ｒ（図１３参照））の登録とマスク７０Ｓ，７０Ｒ（図示せず）の登録は、実施形態１と同様の処理で行われる。なお、本実施形態では、可視と赤外のマスク７０Ｓ，７０Ｒ（図示せず）が登録されるものとして説明するが、運用に応じていずれか一方のマスクのみが登録されるようにしてもよい。この場合に、マスクの補正は登録されているマスクに対して行われる。
　図１１Ｂに示すように、監視カメラシステム１００Ｂでは、監視時の動作として、まず、プリセット位置毎に、つまり、プリセット位置を切り替える毎に、各プリセット位置で可視画像（撮影可視画像６０Ｓ（図１２参照））と赤外画像（撮影赤外画像６０Ｒ（図１３参照））を撮影する（ステップＳ１１０ａ）。そして監視カメラ１０は、撮影可視画像６０Ｓ（図１２参照）を表す信号（撮影可視画像信号）と撮影赤外画像６０Ｒ（図１３参照）を表す信号（撮影可視画像信号）とを制御部２０に出力する。
　ステップＳ１１０ａの後、制御部２０は、可視と赤外のそれぞれの基準画像（基準可視画像５０Ｓ（図１２参照）と基準赤外画像５０Ｒ（図１３参照））に対する撮影画像（撮影可視画像６０Ｓ（図１２参照）と撮影赤外画像６０Ｒ（図１３参照））のズレ量を計算する（ステップＳ１２０ａ）。
　図１２は、このとき行われる可視の基準画像（基準可視画像５０Ｓ）に対する撮影画像（撮影可視画像６０Ｓ）のズレ量（撮影可視画像ズレ量Ｄ６０Ｓ）の計算の一例を示している。また、図１３は、このとき行われる赤外の基準画像（基準赤外画像５０Ｒ）に対する撮影画像（撮影赤外画像６０Ｒ）のズレ量（撮影赤外画像ズレ量Ｄ６０Ｒ）の計算の一例を示している。
　図１２に示す例では、制御部２０は、基準可視画像５０Ｓからのズレ量を計算するための位置の基準となるテンプレート画像５１Ｓを切り出し、テンプレート画像５１Ｓと撮影可視画像６０Ｓの中の対応領域画像６１Ｓとをマッチングして、ズレ量（撮影可視画像ズレ量Ｄ６０Ｓ）を算出している。
　また、図１３に示す例では、制御部２０は、基準赤外画像５０Ｒからのズレ量を計算するための位置の基準となるテンプレート画像５１Ｒを切り出し、テンプレート画像５１Ｒと撮影赤外画像６０Ｒの中の対応領域画像６１Ｒとをマッチングして、ズレ量（撮影赤外画像ズレ量Ｄ６０Ｒ）を算出している。
　ステップＳ１２０ａの後、本実施形態では、制御部２０は、可視と赤外のズレ量（撮影可視画像ズレ量Ｄ６０Ｓ（図１２参照）と撮影赤外画像ズレ量Ｄ６０Ｒ（図１３参照））の平均値を計算し、計算した可視と赤外のズレ量の平均値を雲台１３の駆動量の指標として採用する（ステップＳ１２１ａ）。
　ステップＳ１２１ａの後、制御部２０は、計算した可視と赤外のズレ量の平均値を解消する分だけ雲台１３を駆動制御して（ステップＳ１２５）、監視カメラ１０の撮影画角（監視画角）を大まかに調整する。ステップＳ１２５の後、制御部２０は、雲台１３の駆動で残ったズレ量の分を解消するように、可視と赤外のそれぞれのマスク７０Ｓ，７０Ｒ（図示せず）を微細に補正する（ステップＳ１３０）。ステップＳ１３０の後、制御部２０は、可視と赤外の撮影画像（撮影可視画像６０Ｓ（図１２参照）と撮影赤外画像６０Ｒ（図１３参照））を可視と赤外の新しい基準画像（基準可視画像５０Ｓ（図１２参照）と基準赤外画像５０Ｒ（図１３参照））として記憶部（図示せず）に登録する（ステップＳ１４０ａ）。
　ここで、例えば、図１２に示す可視の撮影画像（撮影可視画像６０Ｓ）において、Ｘ方向が６４０ピクセルでＹ方向が５１２ピクセルの画像サイズに対して、Ｘ方向に－２２ピクセル、Ｙ方向に－１４ピクセル分の撮影可視画像ズレ量Ｄ６０Ｓが発生したと仮定する。また、例えば、図１３に示す赤外の撮影画像（撮影赤外画像６０Ｒ）において、Ｘ方向が６４０ピクセルでＹ方向が５１２ピクセルの画像サイズに対して、Ｘ方向に－２４ピクセル、Ｙ方向に－１２ピクセル分の撮影赤外画像ズレ量Ｄ６０Ｒが発生したと仮定する。
　この場合に、制御部２０は、可視と赤外のズレ量（撮影可視画像ズレ量Ｄ６０Ｓ（図１２参照）と撮影赤外画像ズレ量Ｄ６０Ｒ（図１３参照））の平均値として、Ｘ方向に－２３ピクセル、Ｙ方向に－１３ピクセル分の値を計算する。そして、制御部２０は、計算した可視と赤外のズレ量の平均値を解消するように雲台１３を駆動制御して監視カメラ１０の撮影画角（監視画角）を大まかに調整する。この後、制御部２０は、雲台１３の駆動で残ったズレ量の分を解消するように、可視と赤外のそれぞれのマスク７０Ｓ，７０Ｒ（図示せず）を微細に補正する。
　＜実施形態３に係る監視カメラシステムの主な特徴＞
　本実施形態３に係る監視カメラシステム１００Ｂの制御部２０は、１乃至複数のプリセット位置毎に、可視画像に対応する撮影位置の基準可視画像５０Ｓと、赤外画像に対応する撮影位置の基準赤外画像５０Ｒと、基準可視画像５０Ｓに対応する可視用マスク（マスク７０Ｓ（図示せず））と基準赤外画像５０Ｒに対応する赤外用マスク（マスク７０Ｒ（図示せず））とのいずれか一方又は双方を予め記録しておく。この後、制御部２０は、プリセット位置切り替え時に、可視カメラ１１で撮影した撮影可視画像６０Ｓと基準可視画像５０Ｓとから撮影可視画像ズレ量Ｄ６０Ｓを計算するとともに赤外線カメラ１２で撮影した撮影赤外画像６０Ｒと基準赤外画像５０Ｒとから撮影赤外画像ズレ量Ｄ６０Ｒを計算する。そして、制御部２０は、撮影可視画像ズレ量Ｄ６０Ｓと撮影赤外画像ズレ量Ｄ６０Ｒとに基づいて、ズレ量が低減する方向に支持部（雲台１３）のパンチルト機構（モータ１３ａ及びエンコーダ１３ｂ）を制御し、支持部のパンチルト機構で補正しきれない残りのズレ量分、可視用マスク（マスク７０Ｓ（図示せず））の補正と赤外用マスク（マスク７０Ｒ（図示せず））の補正とのいずれか一方又は双方を行う。
　このような本実施形態３に係る監視カメラシステム１００Ｂは、他の実施形態に係る監視カメラシステム１００，１００Ａと同様に、撮影画角（監視画角）がズレた場合であっても監視対象に設定されたマスク７０Ｓ，７０Ｒ（図示せず）のいずれか一方又は双方を好適に補正することができる。しかも、本実施形態３に係る監視カメラシステム１００Ｂは、撮影可視画像６０Ｓだけでなく、撮影赤外画像６０Ｒも用いて、マスク７０Ｓ，７０Ｒ（図示せず）のいずれか一方又は双方を補正する。このような本実施形態３に係る監視カメラシステム１００Ｂは、複数のカメラで取得された値をズレ量の計算に用いるため、計算精度を向上させることができる。
　なお、本発明は、前記した実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲で種々の変更や変形を行うことができる。
　例えば、前記した実施形態は、本発明の要旨を分かり易く説明するために詳細に説明したものである。そのため、本発明は、必ずしも説明した全ての構成要素を備えるものに限定されるものではない。また、本発明は、ある構成要素に他の構成要素を追加したり、一部の構成要素を他の構成要素に変更したりすることができる。また、本発明は、一部の構成要素を削除することもできる。
　［第１変形例］
　前記した実施形態３に係る監視カメラシステム１００Ｂは、反射光や通行人等の予期しないものが可視カメラ１１で撮影された撮影可視画像６０Ｓに映ったり、予期しない温度変化が発生してその影響で赤外線カメラ１２で撮影された撮影赤外画像６０Ｒに変化が発生したりする可能性がある。これにより、計算精度が低下してしまう可能性がある。そこで、計算精度が低下しないように、ズレ量の計算を行う際に、撮影可視画像６０Ｓと撮影赤外画像６０Ｒのうち、信頼度（類似度）の高い画像を用いるとよい。
　このような処理は、例えば、図１１Ｂに示す処理を、図１４に示す処理のように変更することで実現できる。図１４は、実施形態３に係る監視カメラシステム１００Ｂの監視時の第１変形例の動作を示すフローチャートである。
　図１４に示すように、第１変形例では、図１１Ｂに示す処理と比較すると、以下の点で相違する。
　（１）ステップＳ１１０ａの前にステップＳ１０５の処理を行う点。
　（２）ステップＳ１２１ａの代わりに、ステップＳ１２１ｂの処理を行う点。
　前記（１）の相違点について、監視カメラシステム１００Ｂの制御部２０は、監視時において、ステップＳ１１０ａの前に、ステップＳ１０５において、撮影可視画像６０Ｓと撮影赤外画像６０Ｒのうち、時刻等に基づくズレ量の計算に用いる画像の決定を行う。ここでは、撮影の時間帯が昼の時間帯である場合に（ただし、撮影対象の明るさが任意に定めた閾値以上である場合であってもよい）、信頼度（類似度）の高い画像が撮影可視画像６０Ｓであるものとして説明する。また、撮影の時間帯が夜の時間帯である場合に（ただし、撮影対象の明るさが任意に定めた閾値よりも低い場合であってもよい）、信頼度（類似度）の高い画像が撮影赤外画像６０Ｒであるものとして説明する。したがって、ステップＳ１０５では、撮影の時間帯が昼の時間帯である場合に、制御部２０は、信頼度（類似度）の高い画像である撮影可視画像６０Ｓをズレ量の計算に用いる画像として決定する。また、撮影の時間帯が夜の時間帯である場合に、制御部２０は、信頼度（類似度）の高い画像である撮影赤外画像６０Ｒをズレ量の計算に用いる画像として決定する。
　前記（２）の相違点について、監視カメラシステム１００Ｂの制御部２０は、ステップＳ１２１ｂにおいて、ステップＳ１０５で行われた決定に基づいて、信頼度の高い画像のズレ量を雲台１３の駆動量の指標として採用する。例えば、撮影の時間帯が昼の時間帯である場合に、制御部２０は、図１２に示す撮影可視画像６０Ｓのズレ量（撮影可視画像ズレ量Ｄ６０Ｓ）を雲台１３の駆動量の指標として採用する。また、撮影の時間帯が夜の時間帯である場合に、制御部２０は、図１３に示す撮影赤外画像６０Ｒのズレ量（撮影赤外画像ズレ量Ｄ６０Ｒ）を雲台１３の駆動量の指標として採用する。
　その結果、例えば、撮影の時間帯が昼の時間帯である場合に、ステップＳ１２５において、制御部２０は、撮影可視画像ズレ量Ｄ６０Ｓ（図１２参照）を解消するように雲台１３を駆動制御して監視カメラ１０の撮影画角（監視画角）を大まかに調整する。そして、ステップＳ１３０において、制御部２０は、雲台１３の駆動で残ったズレ量の分を解消するように、可視のマスク７０Ｓ（図示せず）を微細に補正する。また、例えば、撮影の時間帯が夜の時間帯である場合に、ステップＳ１２５において、制御部２０は、撮影赤外画像ズレ量Ｄ６０Ｒ（図１３参照）を解消するように雲台１３を駆動制御して監視カメラ１０の撮影画角（監視画角）を大まかに調整する。そして、ステップＳ１３０において、制御部２０は、雲台１３の駆動で残ったズレ量の分を解消するように、赤外のマスク７０Ｒ（図示せず）を微細に補正する。
　第１変形例では、可視画像から計算したズレ量と、赤外画像から計算したズレ量のうち、信頼度が高い方の値を使用する。信頼度は、撮影画像と基準画像とがどれくらい一致しているかを表している。例えば、可視画像から計算した結果は、Ｘ方向に－２２ピクセル、Ｙ方向に－１４ピクセル分ズレ、信頼度０．７とする。赤外画像から計算した結果は、Ｘ方向に－２４ピクセル、Ｙ方向に－１２ピクセル分ズレ、信頼度０．９とする。ここで、信頼度０．９の赤外画像から計算したズレ量を使用する。
　第１変形例は、ズレ量の計算に、信頼度の高い値を使用することで、反射や通行人などの外乱の影響を低減することができる。
　［第２変形例］
　また、例えば、ズレ量の計算で、撮影可視画像６０Ｓと撮影赤外画像６０Ｒのうち、信頼度（類似度）の高い画像を用いる場合に、図１１Ｂに示す処理を、図１５に示す処理のように変更してもよい。図１５は、実施形態３に係る監視カメラシステム１００Ｂの監視時の第２変形例の動作を示すフローチャートである。
　図１５に示すように、第２変形例では、図１１Ｂに示す処理と比較すると、以下の点で相違する。
　（１）図１４に示す第１変形例と同様に、ステップＳ１１０ａの前にステップＳ１０５の処理を行う点。
　（２）ステップＳ１０５の処理の後は、図７に示す実施形態２に係る監視カメラシステム１００Ａと同様の処理を行う点。
　第２変形例では、時刻によって可視画像から計算したズレ量を使用するか、赤外画像から計算したズレ量を使用するか切り替える。例えば、０６：００～１８：００は可視画像から計算したズレ量、１８：００～０６：００は赤外画像から計算したズレ量を使用する。時間帯の監視は図示せぬタイマを用いて行うとよい。また、時間帯の代わりに、撮影位置の明かるさ（照度）に応じて、ズレ量計算画像として、可視画像と赤外画像とのいずれかに変更するようにしてもよい。
　第２変形例は、可視光が十分ある昼間は可視画像、可視光が不足している夜間は赤外画像を使用することで、計算精度を高めることができる。
　１０　　監視カメラ
　１１　　可視カメラ
　１１ａ　　レンズ
　１１ｂ　　フィルタ
　１１ｃ　　撮像素子
　１１ｄ　　信号処理部
　１２　　赤外線カメラ
　１２ａ　　レンズ
　１２ｂ　　フィルタ
　１２ｃ　　撮像素子
　１２ｄ　　信号処理部
　１３　　雲台（支持部）
　１３ａ　　モータ（パンチルト機構）
　１３ｂ　　エンコーダ（パンチルト機構）
　１３ｃ　　信号処理部
　２０　　制御部
　２１　　ガス信号生成部
　２２，２２ａ，２２ｂ　　カメラ制御部
　２３　　雲台駆動制御部
　３０　　出力部
　４０　　監視対象
　５０　　基準画像
　５０Ｒ　　基準赤外画像
　５０Ｓ　　基準可視画像
　５１，５１Ｒ，５１Ｓ　　テンプレート画像
　６０，６０ａ，６０ｂ　　撮影画像
　６０Ｒ　　撮影赤外画像
　６０Ｓ　　撮影可視画像
　６１，６１Ｒ，６１Ｓ　　対応領域画像
　７０　　マスク
　１００，１００Ａ，１００Ｂ　　監視カメラシステム
　Ｄ６０　　撮影画像ズレ量（ズレ量）
　Ｄ６０Ｒ　　撮影赤外画像ズレ量（ズレ量）
　Ｄ６０Ｓ　　撮影可視画像ズレ量（ズレ量）
　Ｐ５０　　基準画像位置
　Ｐ６０　　撮影画像位置
　Ｐ７０，Ｐ７０ａ，Ｐ７０ｂ，Ｐ７１ｂ，Ｐ７１ｃ　　マスク位置

Claims (11)

  1. 　監視カメラと、前記監視カメラで撮影した撮影画像に基づく処理を行う制御部と、を備える監視カメラシステムにおいて、
    　前記制御部は、事前に設定された撮影位置で撮影した基準画像と前記基準画像に対応するマスクとを予め記録しておき、前記監視カメラで撮影した撮影画像と前記基準画像とから前記基準画像に対する前記撮影画像のズレ量を計算し、前記ズレ量に応じて前記マスクを補正する、
    ことを特徴とする監視カメラシステム。
  2. 　前記監視カメラとして、可視画像を撮影する可視カメラと、赤外画像を撮影する赤外線カメラと、を備え、
    　前記制御部は、
    　前記可視画像に対応する撮影位置の基準可視画像と、前記赤外画像に対応する撮影位置の基準赤外画像と、前記基準可視画像に対応する可視用マスクと前記基準赤外画像に対応する赤外用マスクとのいずれか一方又は双方を予め記録しておき、
    　前記可視カメラで撮影した撮影可視画像と前記基準可視画像とから可視画像ズレ量を計算し、前記赤外線カメラで撮影した撮影赤外画像と前記基準赤外画像とから赤外画像ズレ量を計算し、前記可視画像ズレ量に応じた前記可視用マスクの補正と前記赤外画像ズレ量に応じた前記赤外用マスクの補正とのいずれか一方又は双方を行う、
    ことを特徴とする請求項１に記載の監視カメラシステム。
  3. 　監視カメラと、パンチルト機構を有する支持部と、前記監視カメラで撮影した撮影画像に基づく処理を行うとともに前記支持部を制御する制御部と、を備える監視カメラシステムにおいて、
    　前記制御部は、１乃至複数のプリセット位置毎に、事前に設定された撮影位置で撮影した基準画像と前記基準画像に対応するマスクとを予め記録しておき、プリセット位置切り替え時に、前記監視カメラで撮影した撮影画像と前記基準画像とから前記基準画像に対する前記撮影画像のズレ量を計算し、前記ズレ量が低減する方向に前記支持部のパンチルト機構を制御し、前記支持部のパンチルト機構で補正しきれない残りのズレ量分、前記マスクを補正する、
    ことを特徴とする監視カメラシステム。
  4. 　前記監視カメラとして、可視画像を撮影する可視カメラと、赤外画像を撮影する赤外線カメラと、を備え、
    　前記制御部は、
    　１乃至複数のプリセット位置毎に、前記可視画像に対応する撮影位置の基準可視画像と、前記赤外画像に対応する撮影位置の基準赤外画像と、前記基準可視画像に対応する可視用マスクと前記基準赤外画像に対応する赤外用マスクとのいずれか一方又は双方を予め記録しておき、
    　プリセット位置切り替え時に、前記可視カメラで撮影した撮影可視画像と前記基準可視画像とから可視画像ズレ量を計算するとともに前記赤外線カメラで撮影した撮影赤外画像と前記基準赤外画像とから赤外画像ズレ量を計算し、前記可視画像ズレ量と前記赤外画像ズレ量とに基づいて、ズレ量が低減する方向に前記支持部のパンチルト機構を制御し、前記支持部のパンチルト機構で補正しきれない残りのズレ量分、前記可視用マスクの補正と前記赤外用マスクの補正とのいずれか一方又は双方を行う、
    ことを特徴とする請求項３に記載の監視カメラシステム。
  5. 　前記制御部は、前記可視画像ズレ量と前記赤外画像ズレ量との平均値に基づいて、ズレ量が低減する方向に前記支持部のパンチルト機構を制御する、
    ことを特徴とする請求項４に記載の監視カメラシステム。
  6. 　前記制御部は、前記可視画像ズレ量と前記赤外画像ズレ量のうち、信頼度の高い方に基づいて、ズレ量が低減する方向に前記支持部のパンチルト機構を制御する、
    ことを特徴とする請求項４に記載の監視カメラシステム。
  7. 　前記制御部は、時間帯が日が出ている時間帯である場合又は撮影位置が所定の閾値以上に明るい場合に、前記可視画像ズレ量に基づいて、ズレ量が低減する方向に前記支持部のパンチルト機構を制御し、一方、時間帯が日が出ていない時間帯である場合又は撮影位置が所定の閾値よりも暗い場合に、前記赤外画像ズレ量に基づいて、ズレ量が低減する方向に前記支持部のパンチルト機構を制御する、
    ことを特徴とする請求項４に記載の監視カメラシステム。
  8. 　監視カメラで撮影される撮影位置の基準画像に対応するマスクを補正するマスク補正方法であって、
    　前記監視カメラで撮影した撮影画像と前記基準画像とから前記基準画像に対する前記撮影画像のズレ量を計算し、前記ズレ量に応じて前記マスクを補正する、
    ことを特徴とするマスク補正方法。
  9. 　コンピュータに、監視カメラで撮影される撮影位置の基準画像に対応するマスクを補正させるためのプログラムであって、
    　前記コンピュータに、
    　前記監視カメラで撮影した撮影画像と前記基準画像とから前記基準画像に対する前記撮影画像のズレ量を計算させ、前記ズレ量に応じて前記マスクを補正させる、プログラム。
  10. 　パンチルト機構を有する支持部に支持された監視カメラで１乃至複数のプリセット位置毎に撮影される撮影位置の基準画像に対応するマスクを補正するマスク補正方法であって、
    　プリセット位置切り替え時に、前記監視カメラで撮影した撮影画像と前記基準画像とから前記基準画像に対する前記撮影画像のズレ量を計算し、前記ズレ量が低減する方向に前記支持部のパンチルト機構を制御し、前記支持部のパンチルト機構で補正しきれない残りのズレ量分、前記マスクを補正する、
    ことを特徴とするマスク補正方法。
  11. 　コンピュータに、パンチルト機構を有する支持部に支持された監視カメラで１乃至複数のプリセット位置毎に撮影される撮影位置の基準画像に対応するマスクを補正させるためのプログラムであって、
    　前記コンピュータに、
    　プリセット位置切り替え時に、前記監視カメラで撮影した撮影画像と前記基準画像とから前記基準画像に対する前記撮影画像のズレ量を計算させ、前記ズレ量が低減する方向に前記支持部のパンチルト機構を制御させ、前記支持部のパンチルト機構で補正しきれない残りのズレ量分、前記マスクを補正させる、プログラム。
PCT/JP2023/029946 2022-11-15 2023-08-21 監視カメラシステム、マスク補正方法、及び、プログラム WO2024105951A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022182335 2022-11-15
JP2022-182335 2022-11-15

Publications (1)

Publication Number Publication Date
WO2024105951A1 true WO2024105951A1 (ja) 2024-05-23

Family

ID=91084261

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/029946 WO2024105951A1 (ja) 2022-11-15 2023-08-21 監視カメラシステム、マスク補正方法、及び、プログラム

Country Status (1)

Country Link
WO (1) WO2024105951A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005135014A (ja) * 2003-10-28 2005-05-26 Hitachi Kokusai Electric Inc 物体検出装置
WO2009050906A1 (ja) * 2007-10-17 2009-04-23 Hitachi Kokusai Electric Inc. 物体検知装置
WO2019171777A1 (ja) * 2018-03-08 2019-09-12 コニカミノルタ株式会社 プラント監視システムのシミュレーション装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005135014A (ja) * 2003-10-28 2005-05-26 Hitachi Kokusai Electric Inc 物体検出装置
WO2009050906A1 (ja) * 2007-10-17 2009-04-23 Hitachi Kokusai Electric Inc. 物体検知装置
WO2019171777A1 (ja) * 2018-03-08 2019-09-12 コニカミノルタ株式会社 プラント監視システムのシミュレーション装置

Similar Documents

Publication Publication Date Title
EP1914682B1 (en) Image processing system and method for improving repeatability
US8120661B2 (en) Image stabilizer
CN1825194B (zh) 投影仪和处理行决定方法
US20090295935A1 (en) Electronic camera and control program of same
US20090040321A1 (en) Digital camera system
US20040179100A1 (en) Imaging device and a monitoring system
US20060087562A1 (en) Image capturing apparatus
US20060017817A1 (en) Image pick-up apparatus and image restoration method
JPH11261868A (ja) 魚眼レンズカメラ装置及びその画像歪み補正方法及び画像抽出方法
JP2002074339A (ja) 車載撮像装置
KR100228613B1 (ko) 시선검출장치를 구비한 촬상장치 및 조정장치
EP2200272B1 (en) Autofocus system
JP4702050B2 (ja) 画像投影装置、画像投影装置の投影画像補正方法及びプログラム
JP4009163B2 (ja) 物体検知装置、物体検知方法および物体検知プログラム
WO2024105951A1 (ja) 監視カメラシステム、マスク補正方法、及び、プログラム
JPH0275284A (ja) 撮像装置及びぶれ補正装置
KR102482341B1 (ko) 차량 단속영역좌표 자동 보정 시스템
JP7130041B2 (ja) 撮像装置
JP5585117B2 (ja) マルチディスプレイシステム、マルチディスプレイ調整方法およびプログラム
JP2007049266A (ja) 画像撮像装置
CN114979600B (zh) 激光投影设备及投影图像的校正方法
CN1848919B (zh) 用于控制隐避掩模显示的方法和设备
JPH06105339A (ja) 立体カメラ装置
CN111860428B (zh) 一种人脸识别系统及方法
JPH063577A (ja) フォーカス調整装置およびその方法