WO2018159121A1 - 動体監視装置、サーバ装置、および動体監視システム - Google Patents

動体監視装置、サーバ装置、および動体監視システム Download PDF

Info

Publication number
WO2018159121A1
WO2018159121A1 PCT/JP2018/001107 JP2018001107W WO2018159121A1 WO 2018159121 A1 WO2018159121 A1 WO 2018159121A1 JP 2018001107 W JP2018001107 W JP 2018001107W WO 2018159121 A1 WO2018159121 A1 WO 2018159121A1
Authority
WO
WIPO (PCT)
Prior art keywords
color
image
monochrome
unit
camera
Prior art date
Application number
PCT/JP2018/001107
Other languages
English (en)
French (fr)
Inventor
章吾 田中
田部井　憲治
Original Assignee
パナソニックＩｐマネジメント株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニックＩｐマネジメント株式会社 filed Critical パナソニックＩｐマネジメント株式会社
Priority to US16/486,353 priority Critical patent/US10825158B2/en
Publication of WO2018159121A1 publication Critical patent/WO2018159121A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H04N1/465—Conversion of monochrome to colour
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/13—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with multiple sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0117—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving conversion of the spatial resolution of the incoming video signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/646—Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance

Definitions

  • a moving object monitoring apparatus that outputs an image of a monitoring area where a moving object to be monitored appears, and a color image and a monochrome image obtained by capturing the monitoring area in the moving object monitoring apparatus are received from the moving object monitoring apparatus via a network.
  • the present invention relates to a server device that performs monitoring, and a moving body monitoring system that transmits an image of a monitoring area taken from the moving body monitoring device to the server device via a network.
  • Surveillance systems that monitor the status of moving objects such as persons to be monitored by installing a camera that captures the surveillance area are widely used.
  • a camera that irradiates the subject with infrared light and photographs the subject may be used so that the monitoring can be continued even at night.
  • the present disclosure provides a moving object monitoring apparatus that can output a color image with excellent visibility of a moving object by faithfully reproducing the color of the moving object even when shooting in a state where there is not enough ambient light such as at night. It is a main object to provide a server device and a moving object monitoring system.
  • the moving object monitoring apparatus is a moving object monitoring apparatus that combines a color image and a monochrome image obtained by capturing a monitoring area where a moving object to be monitored appears and outputs a composite image, and captures the monitoring area with ambient light.
  • a color camera a monochrome camera that captures a monitoring area with infrared light, a color image signal output from the color camera, a signal processing unit that processes a monochrome image signal output from the monochrome camera, and ambient light
  • a storage unit that stores registration information generated based on a color image and a monochrome image captured in a sufficiently existing state, and a subject that appears in each of the color image and the monochrome image captured in a state where there is not enough ambient light
  • An alignment unit for aligning the image positions based on the alignment information and an aligned It acquires color information from over image and an image combining unit that performs color conversion to color to a monochrome image, a configuration including using the color information.
  • the server device of the present disclosure is a server device that receives a color image and a monochrome image obtained by capturing a monitoring area where a moving object to be monitored appears in the moving object monitoring device via the network.
  • the monitoring device there is sufficient ambient light and a communication unit that receives a color image captured by a color camera that captures a monitoring area with ambient light and a monochrome image captured by a monochrome camera that captures a monitoring area with infrared light.
  • a storage unit for storing registration information generated based on a color image and a monochrome image captured in a state where the image is captured, and an image of a subject captured in each of the color image and the monochrome image captured in a state where there is not enough ambient light
  • An alignment unit that performs alignment based on the alignment information; Acquires color information from the location registration already color image, an image combining unit that performs color conversion to color to a monochrome image, a configuration including using the color information.
  • the moving body monitoring system transmits a color image and a monochrome image obtained by capturing a monitoring area where a moving body to be monitored appears in the moving body monitoring device to the server device via the network.
  • the moving body monitoring device is a color camera that captures a monitoring area with ambient light, a monochrome camera that captures a monitoring area with infrared light, a color image signal output from the color camera, and an output from the monochrome camera.
  • a signal processing unit for processing a monochrome image signal a storage unit for storing registration information generated based on a color image and a monochrome image captured in a sufficiently ambient light environment, and sufficient ambient light The position of the subject image in the color image and monochrome image taken without An alignment unit that performs alignment based on the alignment information, an image synthesis unit that obtains color information from the aligned color image, and performs color conversion that colors the monochrome image using the color information; And a communication unit that transmits the combined image acquired by the image combining unit to the server device.
  • the image is captured without sufficient ambient light such as at night. Since the color image and the monochrome image thus aligned are aligned, the alignment can be performed with high accuracy. Color information is obtained from a color image that has been accurately aligned, and the color information is used to color a monochrome image, so that the color of the moving object is faithfully reproduced and the color of the moving object is excellent in visibility. Can be output.
  • FIG. 1 is an overall configuration diagram of a moving object monitoring system according to the present embodiment.
  • FIG. 2 is an explanatory diagram showing a shooting situation by the camera device 1.
  • FIG. 3 is a block diagram illustrating a schematic configuration of the camera device 1.
  • FIG. 4 is a functional block diagram illustrating a schematic configuration of the signal processing unit 21.
  • FIG. 5 is an explanatory diagram showing a procedure for resolution conversion performed by the resolution converter 54.
  • FIG. 6A is an explanatory diagram showing a histogram before resolution conversion.
  • FIG. 6B is an explanatory diagram showing a histogram after resolution conversion.
  • FIG. 7 is an explanatory diagram showing processing modes set by the signal processing control unit 53.
  • FIG. 8 is a flowchart showing a procedure of processing performed by the signal processing control unit 53.
  • FIG. 8 is a flowchart showing a procedure of processing performed by the signal processing control unit 53.
  • FIG. 10A is an explanatory diagram illustrating an original image to be subjected to gradation correction performed by the gradation color tone correction unit 55.
  • FIG. 10B is an explanatory diagram showing a case where a large gain is uniformly given by the gradation color tone correction unit 55.
  • FIG. 10C is an explanatory diagram illustrating a case where a small gain is uniformly given by the gradation color tone correction unit 55.
  • FIG. 10D is an explanatory diagram illustrating a case where the gradation correction of the present embodiment performed by the gradation color correction unit 55 is performed.
  • FIG. 10A is an explanatory diagram illustrating an original image to be subjected to gradation correction performed by the gradation color tone correction unit 55.
  • FIG. 10B is an explanatory diagram showing a case where a large gain is uniformly given by the gradation color tone correction unit 55.
  • FIG. 10C is an explanatory diagram illustrating a case where a small gain is uniformly given by the
  • FIG. 11 is a block diagram of a main part relating to processing performed by the alignment information generation unit 23, the alignment unit 24, and the image composition unit 25.
  • FIG. 12 is an explanatory diagram showing an overview of processing performed by the alignment information generation unit 23, the alignment unit 24, and the image synthesis unit 25.
  • FIG. 13 is a flowchart showing a calibration processing procedure.
  • FIG. 14 is an explanatory diagram showing a situation of image matching.
  • FIG. 15 is a flowchart showing a processing procedure during operation.
  • FIG. 16A is an explanatory diagram illustrating a shooting situation of moving objects having different shapes.
  • FIG. 16B is an explanatory diagram illustrating a shooting situation of moving objects having different shapes.
  • FIG. 17 is a flowchart showing a processing procedure during operation in the second embodiment.
  • FIG. 18 is an explanatory diagram showing a schematic configuration of the camera device 1 and the server device 2 according to the third embodiment.
  • FIG. 19 is an explanatory diagram showing a schematic configuration of the camera device 1
  • a first invention made to solve the above-described problem is a moving object monitoring apparatus that outputs a composite image by combining a color image and a monochrome image obtained by photographing a monitoring area where a moving object to be monitored appears.
  • Color camera that captures a surveillance area with light
  • monochrome camera that captures a surveillance area with infrared light
  • a color image signal output from a color camera and a signal that processes a monochrome image signal output from a monochrome camera
  • a processing unit a storage unit for storing alignment information generated based on a color image and a monochrome image captured in a state where there is sufficient ambient light, a color image captured in a state where there is not sufficient ambient light
  • An alignment unit that performs alignment to match the positions of the subject images in the monochrome images based on the alignment information Acquires color information from the alignment already color image, an image combining unit that performs color conversion to color to a monochrome image, a configuration including using the color information.
  • the image was captured without sufficient ambient light as at night. Since color images and monochrome images are aligned, alignment can be performed with high accuracy. Color information is obtained from a color image that has been accurately aligned, and the color information is used to color a monochrome image, so that the color of the moving object is faithfully reproduced and the color of the moving object is excellent in visibility. Can be output.
  • the storage unit stores a plurality of pieces of alignment information for each type of moving object having a different shape
  • the alignment unit detects the moving object from the monochrome image and determines the type of the moving object. The alignment is performed based on the alignment information corresponding to the type of the moving object.
  • the color image and the monochrome image can be accurately aligned according to the shape of the moving object.
  • the third invention further includes an alignment information generation unit that generates alignment information, and the storage unit displays the alignment information generated by the alignment information generation unit together with information on processing conditions of the signal processing unit. It is configured to store as calibration information.
  • the color image and the monochrome image can be properly aligned by performing the process of generating the alignment information as calibration at an appropriate timing during the installation of the apparatus or during operation.
  • the signal processing unit adds a signal value for each of a plurality of adjacent pixels in the color image to reduce the number of pixels of the color image, and the imaging environment of the monitoring area.
  • a signal processing control unit for controlling the operation of the resolution conversion unit.
  • the actual color information of the subject is included in the signal value of each pixel. Therefore, the actual color of the subject can be clearly obtained by adding the signal values of a plurality of pixels.
  • the appearing color image can be output.
  • the operation of the resolution conversion unit is controlled based on the shooting environment in the monitoring area, an appropriate color image can be output regardless of the shooting environment. Further, the color conversion in which the actual color of the subject appears clearly is obtained by the resolution conversion, and the color information of the moving object that appeared at night can be obtained from the color image with high accuracy.
  • a server device for receiving a color image and a monochrome image obtained by capturing a monitoring area where a moving object to be monitored appears in the moving object monitoring device from the moving object monitoring device via a network.
  • a communication unit that receives a color image captured by a color camera that captures a monitoring area with ambient light, and a monochrome image captured by a monochrome camera that captures a monitoring area with infrared light, and sufficient ambient light
  • a storage unit that stores registration information generated based on a color image and a monochrome image captured in a certain state, and a subject image that is captured in each of the color image and the monochrome image captured in a state where there is not enough ambient light
  • Alignment unit that performs alignment based on alignment information and alignment already from the color image to obtain the color information
  • an image combining unit that performs color conversion to color to a monochrome image, a configuration including using the color information.
  • the color of the moving object is faithfully reproduced and a color image with excellent visibility of the moving object is output. be able to.
  • the sixth invention is a moving object monitoring system that transmits a color image and a monochrome image obtained by capturing a monitoring area where a moving object to be monitored appears in the moving object monitoring device to the server device via the network.
  • the moving object monitoring apparatus outputs a color camera that captures a monitoring area with ambient light, a monochrome camera that captures a monitoring area with infrared light, a color image signal output from the color camera, and a monochrome camera.
  • a signal processing unit that processes a signal of a monochrome image, a storage unit that stores registration information generated based on a color image and a monochrome image that are captured in a state where there is sufficient ambient light, and there is not enough ambient light To match the position of the subject image in the color and monochrome images
  • An alignment unit that performs color conversion based on the alignment information, color information from the color image that has been aligned, and color conversion of the monochrome image using the color information, and the image
  • a communication unit that transmits the combined image acquired by the combining unit to the server device.
  • the color of the moving object is faithfully reproduced and a color image with excellent visibility of the moving object is output. be able to.
  • the server device includes an alignment information generation unit that generates alignment information, and a communication unit that transmits the alignment information to the moving object monitoring device.
  • the storage unit is updated according to the received alignment information.
  • the user can remotely update the alignment information used in the moving object monitoring apparatus.
  • FIG. 1 is an overall configuration diagram of the moving object monitoring system according to the first embodiment.
  • the moving object monitoring system includes a camera device 1 (moving object monitoring device), a server device 2 (image storage device), and a browsing device 3.
  • the camera device 1, the server device 2, and the browsing device 3 are connected via a network.
  • the camera device 1 captures a monitoring area set in a facility, a road, or the like, and outputs a captured image that shows a moving object such as a person existing in the monitoring area.
  • the server device 2 stores the captured images acquired from the camera device 1.
  • the browsing device 3 is a PC, a tablet terminal, a smartphone, or the like, and by accessing the server device 2, the user can browse the captured images stored in the server device 2.
  • FIG. 2 is an explanatory diagram showing a shooting situation by the camera device 1.
  • the camera device 1 includes a color camera 11 and a monochrome camera 12.
  • the color camera 11 and the monochrome camera 12 photograph a subject existing in the monitoring area, that is, a moving object such as a person, a building, a site of a facility, a road, and the like.
  • the color camera 11 includes an infrared light cut filter, captures a subject in color with visible light, and outputs a color image.
  • the monochrome camera 12 includes a visible light cut filter, captures a subject in monochrome with infrared light, and outputs a monochrome image. Note that when photographing with the monochrome camera 12, the infrared light projector 13 (see FIG. 3) irradiates the subject with near infrared light.
  • the actual color of the subject can be clearly seen even when the image is captured in a state where there is not enough ambient light. A high-quality color image that appears can be generated.
  • image composition is performed to synthesize a color image and a monochrome image that are taken in a state where there is not enough ambient light.
  • color information is acquired from a color image, and a process for coloring a monochrome image using the color information is performed.
  • a high-definition monochrome image is obtained by photographing with near-infrared light. By coloring the monochrome image using color information acquired from the color image, the color of the moving object is high-definition and faithful. It is possible to generate a color image that is reproduced at night.
  • the color camera 11 and the monochrome camera 12 have parallax, and due to the influence of this parallax, the position of the subject appearing in the color image and the monochrome image is shifted. Therefore, when the color image and the monochrome image are synthesized as they are, the background color is changed. Problems such as appearing in the moving object region or the moving object color appearing in the background region occur.
  • alignment processing for matching the position of the subject between the color image and the monochrome image is performed.
  • FIG. 2 shows an example in which the monitoring area is outdoors, the monitoring area may be indoors. In this case, the brightness of the ambient light in the monitoring area is changed by turning on / off the lighting fixtures in addition to the sunshine.
  • FIG. 3 is a block diagram illustrating a schematic configuration of the camera device 1.
  • the camera device 1 includes an infrared light projector 13, a communication unit 14, a control unit 15, and a storage unit 16 in addition to the color camera 11 and the monochrome camera 12.
  • the infrared light projector 13 projects near-infrared light onto the subject when the monochrome camera 12 captures the subject.
  • the communication unit 14 communicates with the server device 2 via a network.
  • the composite image generated by the control unit 15 is transmitted to the server device 2.
  • the processed color image and monochrome image generated by the control unit 15 may be transmitted to the server device 2.
  • shooting information relating to the installation location, camera attributes, shooting time, shooting conditions, etc. is added to the image as attribute information and transmitted.
  • the camera attributes relate to color and monochrome, identification information (MAC address, etc.) of the camera device 1 and the like.
  • the shooting conditions relate to exposure time, gain, and the like.
  • character recognition processing may be performed on a monochrome image to acquire character information in the monochrome image, and the character information may be added to the image and transmitted.
  • the storage unit 16 stores a color image, a monochrome image, a composite image, and the like generated by the control unit 15.
  • the storage unit 16 stores a program executed by the control unit 15. Further, the storage unit 16 functions as a calibration memory, and performs calibration related to imaging conditions of the color camera 11 and the monochrome camera 12 and signal processing conditions for color image and monochrome image signals performed by the control unit 15. Information (setting values of various parameters, etc.) is stored.
  • the control unit 15 includes a signal processing unit 21, an LED control unit 22, a registration information generation unit 23, a registration unit 24, and an image composition unit 25.
  • the control unit 15 includes a processor, and each unit of the control unit 15 is realized by executing a program stored in the storage unit 16.
  • the signal processing unit 21 processes image signals output from the color camera 11 and the monochrome camera 12, respectively.
  • the LED control unit 22 controls the LED that is the light source of the infrared light projector 13.
  • FIG. 4 is a functional block diagram illustrating a schematic configuration of the signal processing unit 21.
  • the signal processing unit 21 includes a synchronization signal generation unit 31, a monochrome signal processing unit 32, and a color signal processing unit 33.
  • the synchronization signal generation unit 31 generates a synchronization signal for synchronizing the color camera 11 and the monochrome camera 12. With this synchronization signal, the color camera 11 and the monochrome camera 12 can photograph the subject at the same timing.
  • the monochrome signal processing unit 32 includes a camera interface 41, a gradation correction unit 42, and a gamma correction 43.
  • an image signal of a monochrome image output from the monochrome camera 12 is input.
  • the gradation correction unit 42 performs gradation correction on the image signal of the monochrome image input to the camera interface 41.
  • the gamma correction unit 56 performs gamma correction on the image signal output from the gradation correction unit 42 to correct the gradation of the image to the optimum characteristic according to the characteristics of the display device.
  • the color signal processing unit 33 includes a camera interface 51, a signal level detection unit 52, a signal processing control unit 53, a resolution conversion unit 54, a tone tone correction unit 55, a gamma correction unit 56, and a Y component generation.
  • an image signal of a color image output from the color camera 11 is input.
  • the signal level detection unit 52 detects the signal level based on the image signal of the color image input to the camera interface 51. This signal level represents the brightness of the entire image that is the imaging environment of the monitoring area, that is, the brightness of the ambient light in the monitoring area, and is detected based on the maximum value of luminance and the distribution status (histogram). .
  • the signal processing control unit 53 refers to the signal level acquired by the signal level detection unit 52 and sets the degree of resolution conversion (reduction rate) performed by the resolution conversion unit 54. Further, the signal processing control unit 53 sets the degree of reduction (reduction ratio) performed by the averaging reduction part 59 according to the degree of resolution conversion. Note that the degree of resolution conversion includes the case where the resolution conversion unit 54 is stopped and resolution conversion is not performed, and the degree of averaging reduction is the case where the operation of the averaging reduction unit 59 is paused. The case where averaging reduction is not performed is also included.
  • the degree of resolution conversion (reduction ratio) performed by the resolution converter 54 is set based on the signal level acquired by the signal level detector 52 as the imaging environment of the monitoring area.
  • the unit 52 may be omitted, and a control table for setting the degree of resolution conversion for each night time zone (1 or more) may be held according to daytime and nighttime settings determined for each day. . Further, instead of the signal level detection unit 52, an illuminance sensor or the like may be provided, and the shooting environment may be determined based on the sensor output.
  • the resolution conversion unit 54 performs resolution conversion to reduce the number of pixels by integrating signal values of a plurality of adjacent pixels with respect to a color image image signal input to the camera interface 51.
  • the gradation color tone correction unit 55 performs gradation correction and color tone correction on the image signal of the color image output from the resolution conversion unit 54.
  • gradation correction for example, gain adjustment for brightening the image is performed.
  • color tone correction for example, white balance correction that suppresses the influence of the hue of the ambient light is performed.
  • the gamma correction unit 56 performs gamma correction on the image signal output from the tone color tone correction unit 55 to correct the tone of the image to an optimum characteristic according to the characteristics of the display device.
  • the Y component generation unit 57 generates a Y component image signal (luminance signal) from the image signal output from the gamma correction unit 56.
  • the UV component generation unit 58 generates U component and V component image signals (color difference signals) from the image signal output from the gamma correction unit 56.
  • the averaging reduction unit 59 averages the signal values of a predetermined number of pixels with respect to the image signals output from the Y component generation unit 57 and the UV component generation unit 58, respectively, thereby making the color image a predetermined size. Process to reduce.
  • FIG. 5 is an explanatory diagram showing a procedure for resolution conversion.
  • 6A and 6B are explanatory diagrams showing histograms before and after resolution conversion.
  • pixels of each color of R, B, and G are arranged in a Bayer pattern.
  • the resolution conversion unit 54 adds the signal values of a predetermined number of adjacent pixels for pixels of the same color, and the total value is 1 as shown in FIG. The signal value of one pixel.
  • FIG. 5 shows R, the same applies to B and G.
  • the signal value is biased to a dark range before the resolution conversion as shown in FIG. 6A, whereas the signal value after the resolution conversion is shown in FIG. 6B. Will be spread over a wide area.
  • resolution conversion is performed to reduce the number of pixels of a color image by adding signal values of a plurality of pixels.
  • the actual color information of the subject is included in the signal value of each pixel. It is possible to output a color image in which the actual color of the image clearly appears.
  • the moving object can be easily identified. For example, in the case of a person, the color of clothes clearly appears, and in the case of a vehicle, the color of the vehicle body appears clearly, thereby avoiding misidentification of the moving object.
  • the color image generated by the camera device 1 is transmitted to the server device 2 via the network, it is desired to reduce the data amount of the color image for the purpose of reducing the communication load.
  • the present embodiment by performing resolution conversion, the number of pixels in the color image is reduced, so that the data amount of the color image can be reduced. Further, compression processing may be performed on a color image that has undergone resolution conversion, and in this case, compression noise is greatly reduced compared to when compression processing is performed without performing resolution conversion. be able to.
  • FIG. 7 is an explanatory diagram showing processing modes set by the signal processing control unit 53.
  • FIG. 8 is a flowchart showing a procedure of processing performed by the signal processing control unit 53.
  • the signal level acquired by the signal level detection unit 52 is compared with a plurality of threshold values, and the degree of resolution conversion performed by the resolution conversion unit 54 is stepwise based on the comparison result. change.
  • three levels are set as the degree of resolution conversion according to signal processing based on the signal level. Thereby, appropriate resolution conversion can be performed so that the signal value of each pixel is not saturated.
  • the first processing mode is performed when the day is bright.
  • the level of resolution conversion is minimized, and the reduction rate of resolution conversion is 1, that is, resolution conversion is not performed.
  • the second processing mode is performed when the sky is dim at sunset or sunrise.
  • the resolution conversion level is intermediate and the resolution conversion reduction rate is 1/4. That is, the resolution conversion is performed to make the resolution 1/4 by adding the signal values of a total of 4 pixels of 2 ⁇ 2.
  • the third processing mode is performed when the night is dark.
  • the resolution conversion level is maximized and the resolution conversion reduction ratio is 1/16. That is, resolution conversion is performed so that the resolution is 1/16 by adding the signal values of a total of 16 pixels of 4 ⁇ 4.
  • the signal processing control unit 53 averages and reduces the unit 59 according to the degree of resolution conversion so that a color image of the same size is finally obtained regardless of the degree of resolution conversion performed by the resolution conversion unit 54. Sets the degree of averaging reduction performed in.
  • the reduction rate of resolution conversion is 1 in the first processing mode
  • the level of averaging reduction is maximized, and the reduction rate of averaging reduction is 1/16.
  • the resolution conversion reduction rate is 1/4 in the second processing mode
  • the level of average reduction is intermediate, and the reduction rate of average reduction is 1/4.
  • the reduction rate of resolution conversion is 1/16 in the third processing mode
  • the level of average reduction is minimum, and the reduction rate of average reduction is 1. That is, averaging reduction is not performed. Thereby, a color image reduced to 1/16 in the same manner in all processing modes is obtained.
  • the signal level L acquired by the signal level detection unit 52 is compared with two threshold values a and b (a ⁇ b), and the signal level L is set to the threshold value a. It is determined whether or not the signal level L is less than the threshold value b (ST102). As a result, the level of resolution conversion and averaging reduction is determined for each of the three processing modes.
  • the first processing mode is set, and the resolution conversion level is set to the minimum (ST103).
  • the level of averaging reduction is set to the maximum (ST104).
  • the second processing mode is set.
  • the resolution conversion level is set to the middle (ST105), and the averaging reduction level is set to the middle (ST106).
  • the third processing mode is set, and the resolution conversion level is set to the maximum (ST107). ), The level of averaging reduction is set to the minimum (ST108).
  • the case is divided into three cases (first to third processing modes) according to the signal level, but the case is divided into two cases or four or more cases. It may be.
  • the resolution conversion reduction ratios are set to 1, 1/4 and 1/16, the resolution conversion is performed so that the resolution is 1/16 by adding the signal values of a total of 64 pixels of 8 ⁇ 8.
  • resolution conversion with various reduction ratios is possible.
  • FIG. 9 is a flowchart showing a procedure of white balance correction.
  • the tone color tone correction unit 55 performs white balance correction on the image signal of the color image output from the resolution conversion unit 54.
  • the color tone is corrected by regarding the brightest (high luminance) area as white. For this reason, in an image in which a light such as a streetlight or a vehicle headlight is captured at night, the light area is the brightest, and thus the color tone is corrected by regarding this area as white. At this time, if the light of the light is not white, a color cast that causes the overall color of the image to shift occurs.
  • white balance correction is performed by excluding the light area.
  • a predetermined threshold value (ST201). This threshold value distinguishes between nighttime and daytime.
  • the signal level is lower than the threshold value (Yes in ST201), that is, at night, the light area in the color image is detected, and the pixels included in the light area are totaled. Exclude from the target (ST202).
  • the signal values of each pixel to be aggregated are summed for each RGB color, and the total value (RSUM, GSUM, BSUM) of each color is calculated (ST203).
  • the output value (Rout, Gout, Bout) of each color is calculated by multiplying the input value (Rin, Gin, Bin) of each color by the gain of each color based on the total value of each color (ST204). At this time, correction based on G is performed.
  • the signal level is equal to or higher than the threshold value (No in ST201), that is, in the daytime, the total value of each color is calculated for all the pixels in the color image (ST203). The output value of each color is calculated (ST204).
  • 10A, 10B, 10C, and 10D are explanatory diagrams illustrating the state of gradation correction performed by the gradation color tone correction unit 55.
  • FIG. 10A, 10B, 10C, and 10D are explanatory diagrams illustrating the state of gradation correction performed by the gradation color tone correction unit 55.
  • the tone color tone correction unit 55 performs tone correction (gain adjustment) that adds a gain to the image signal of the color image output from the resolution conversion unit 54 to brighten the color image.
  • FIGS. 10A to 10D are night color images in which streetlights are reflected. As shown in FIG. 10A, the original image is entirely dark and the subject is difficult to see.
  • gradation correction optimized for each region is performed. That is, a large gain is given to a dark area far from the light, and a small gain is given to a bright area near the light.
  • the subject can be easily seen in the region away from the light, and the halation is reduced, so that the subject can be easily seen in the region near the light. In this way, by giving different gains depending on the region, it is possible to obtain an optimal image that is not affected by halation.
  • FIG. 11 is a block diagram of a main part relating to processing performed by the alignment information generation unit 23, the alignment unit 24, and the image composition unit 25.
  • FIG. 12 is an explanatory diagram showing an overview of processing performed by the alignment information generation unit 23, the alignment unit 24, and the image synthesis unit 25.
  • the registration information generation unit 23 performs the registration in the registration unit 24 based on the monochrome image output from the monochrome signal processing unit 32 and the color image output from the color signal processing unit 33.
  • a transformation matrix (positioning information) used for geometric transformation (positioning) is generated (see FIG. 12).
  • image matching is performed between a monochrome image and a color image, a plurality of feature points corresponding to the monochrome image and the color image are acquired, and a transformation matrix is estimated using the feature points.
  • the processing of the alignment information generation unit 23 is performed as a calibration before operation, and a color image and a monochrome image captured simultaneously by the color camera 11 and the monochrome camera 12 in a state where there is sufficient ambient light as in the daytime. It is done using.
  • the relative positional relationship between the color camera 11 and the monochrome camera 12 changes according to the installation conditions. Even if the color camera 11 and the monochrome camera 12 are accommodated in the same housing so that the positional relationship between the color camera 11 and the monochrome camera 12 does not change, the shooting conditions, For example, the shooting distance from the color camera 11 and the monochrome camera 12 to the position where the moving object appears differs. Therefore, a conversion matrix (positioning information) is acquired for each camera device 1 as calibration before operation.
  • a color image taken in a state where there is not enough ambient light such as at night is dark, unclear and noisy.
  • image matching with a monochrome image is appropriately performed. I can't. For this reason, a transformation matrix is acquired using a color image and a monochrome image captured in a state where there is sufficient ambient light as in the daytime.
  • a color image captured with visible light and a monochrome image captured with near-infrared light may have different luminance gradients, so use a technique that is robust against luminance gradients such as the phase correlation method. Perform image matching.
  • the conversion matrix generated by the alignment information generation unit 23 is stored in the storage unit 16 as calibration data.
  • the alignment unit 24 uses a conversion matrix (alignment information) acquired by the alignment information generation unit 23 during operation to perform geometric conversion, for example, projection, on the color image output from the color signal processing unit 33. Conversion is performed (see FIG. 12). Thereby, the position of the image of the subject appearing in the color image can be matched with the monochrome image.
  • conversion matrix alignment information
  • the image composition unit 25 synthesizes the aligned color image output from the alignment unit 24 and the monochrome image output from the monochrome signal processing unit 32 to generate a composite image (see FIG. 12).
  • color conversion is performed in which color information is acquired from a color image that has been aligned and a monochrome image is colored using the color information.
  • a known image composition technique may be used for this image composition.
  • FIG. 13 is a flowchart showing a calibration processing procedure.
  • FIG. 14 is an explanatory diagram showing a situation of image matching.
  • this calibration is performed as an initial setting when the camera apparatus 1 is installed. Further, since the relative positional relationship between the color camera 11 and the monochrome camera 12 changes due to the influence of vibration, strong wind, etc., it may be performed periodically during operation.
  • the alignment information generation unit 23 first acquires a color image and a monochrome image photographed in the daytime (ST301).
  • image matching is performed between the color image and the monochrome image (ST302).
  • image matching a plurality of feature points corresponding to monochrome images and color images are acquired (see FIG. 14).
  • a transformation matrix used in geometric transformation is estimated using the acquired feature points (ST303). Specifically, a transformation matrix H as shown in the following equation is obtained.
  • projective transformation is performed as geometric transformation.
  • the color image subjected to the geometric transformation and the monochrome image are compared, and it is determined whether or not the position of the subject matches (ST305).
  • the acquired conversion matrix is stored in the storage unit 16.
  • the positions of the subjects do not match (No in ST305)
  • another color image and a monochrome image are acquired, and the above process is repeated.
  • geometric transformation parameters may be finely adjusted by a user operation input according to the determination result of the position of the subject.
  • FIG. 15 is a flowchart showing a processing procedure during operation.
  • the alignment unit 24 acquires a color image and a monochrome image taken at night (ST401).
  • geometric transformation is performed on the color image using the transformation matrix obtained by calibration (ST402).
  • the image composition unit 25 synthesizes the color image and the monochrome image that have undergone the geometric transformation (ST403).
  • FIG. 16A and FIG. 16B are explanatory diagrams showing the shooting situation of moving objects having different shapes.
  • the distance from the color camera 11 and the monochrome camera to the surface of the moving object changes.
  • the moving body is a passenger car with a bonnet and when the moving body is a one-box car without a bonnet as shown in FIG. 16B, the moving body is in the same position.
  • the distance L from the color camera 11 and the monochrome camera 12 to the surface of the moving object is different.
  • a plurality of transformation matrices are created for each type of moving object having a different shape, and the type of moving object is determined during operation to correspond to the type of moving object.
  • a geometric transformation is performed using a transformation matrix.
  • the type of moving object may be determined using a high-definition monochrome image.
  • the moving object in order to obtain a conversion matrix for each type of moving object, the moving object is actually arranged in a monitoring area or an appropriate place under the same shooting conditions as the monitoring area, and the moving object is placed in the color camera 11 and the monochrome camera.
  • the conversion matrix may be acquired based on the obtained color image and monochrome image.
  • FIG. 17 is a flowchart showing a processing procedure during operation.
  • the alignment unit 24 acquires a color image and a monochrome image taken at night (ST501). Then, a moving object is detected from the monochrome image (ST502).
  • the type of the detected moving object is discriminated and a conversion matrix corresponding to the type of moving object is selected.
  • a conversion matrix corresponding to the type of moving object is selected.
  • ST503 to ST508 it is sequentially determined whether or not it corresponds to the moving object types A to F (ST503 to ST508), and a conversion matrix corresponding to the moving object types A to F is selected (ST509 to ST514). If none of these apply, a general-purpose transformation matrix is selected (ST515).
  • the image synthesizing unit 25 synthesizes the color image and the monochrome image that have been subjected to the geometric transformation (ST517).
  • FIG. 18 is an explanatory diagram showing a schematic configuration of the camera device 1 and the server device 2 according to the third embodiment.
  • the server apparatus 2 performs the processing for generating the alignment information.
  • the server device 2 includes a communication unit 61, a control unit 62, and a storage unit 63.
  • the communication unit 61 communicates with the camera device 1 via a network.
  • an image transmission request relating to a color image and a monochrome image used for generating alignment information is transmitted to the camera device 1, and the color transmitted from the camera device 1 in response to the image transmission request.
  • the alignment information generated by the control unit 62 is transmitted to the camera device 1.
  • a composite image periodically transmitted from the camera device 1 is received during operation.
  • the storage unit 63 stores the color image and monochrome image received by the communication unit 61, the alignment information generated by the control unit 62, and the like.
  • the storage unit 63 stores a program executed by the control unit 62.
  • the control unit 62 includes an image transmission request unit 71 and an alignment information generation unit 72.
  • the control unit 62 includes a processor, and each unit of the control unit 62 is realized by executing a program stored in the storage unit 63.
  • the image transmission request unit 71 instructs the camera device 1 to simultaneously take a color image and a monochrome image in a state where there is sufficient ambient light as in the daytime, and to transmit the color image and the monochrome image.
  • An image transmission request is transmitted from the communication unit 61.
  • the alignment information generation unit 72 When the communication unit 61 receives the color image and the monochrome image transmitted from the camera device 1 in response to the image transmission request, the alignment information generation unit 72 performs alignment of the camera device 1 based on the color image and the monochrome image. Alignment information (transformation matrix) used for alignment (geometric transformation) performed by the unit 24 is generated. The alignment information generated by the alignment information generation unit 72 is transmitted from the communication unit 61 to the camera device 1.
  • the camera device 1 When the camera device 1 receives the image transmission request transmitted from the server device 2, the camera device 1 captures a color image and a monochrome image and transmits them to the server device 2. In addition, when the camera apparatus 1 receives the alignment information transmitted from the server apparatus 2, the camera apparatus 1 performs an update process of the storage unit 16 according to the received alignment information.
  • the initial setting and updating of the alignment information used in the camera device 1 can be performed by the user by remote operation.
  • the registration information is generated by the server device 2 that stores the image transmitted from the camera device 1, but the device that stores the image and the device that generates the alignment information are: It may be provided separately.
  • FIG. 19 is an explanatory diagram showing a schematic configuration of the camera device 1 and the server device 2 according to the fourth embodiment.
  • the alignment between the color image and the monochrome image and the image synthesis of the color image and the monochrome image are performed by the camera device 1.
  • the alignment and the image are performed.
  • the composition may be performed by the server device 2.
  • the control unit 62 of the server device 2 includes an alignment unit 73 and an image composition unit 74.
  • the alignment unit 73 performs geometric conversion on the color image transmitted from the camera device 1 using the conversion matrix (alignment information) acquired by the alignment information generation unit 72.
  • the image composition unit 74 combines the aligned color image output from the alignment unit 73 and the monochrome image transmitted from the camera device 1 to generate a composite image.
  • the processing performed by the alignment unit 73 and the image composition unit 74 is the same as that of the alignment unit 24 and the image composition unit 25 of the camera device 1 in the above embodiment.
  • the embodiment has been described as an example of the technique disclosed in the present application.
  • the technology in the present disclosure is not limited to this, and can be applied to embodiments in which changes, replacements, additions, omissions, and the like have been performed.
  • the moving object to be monitored is mainly a person
  • the moving object to be monitored is not limited to a person, and may be an animal or a vehicle.
  • the control is performed based on the signal level representing the brightness of the ambient light.
  • the brightness of the ambient light changes regularly due to the change in the daylight hours according to the season and time. Therefore, it is possible to control based on time information.
  • the control based on the signal level can be performed with higher accuracy.
  • various image processing such as resolution conversion is performed by the camera device.
  • all or part of the image processing may be performed by the server device.
  • the resolution conversion and the averaging reduction processing reduce the communication load by reducing the amount of image data, it is desirable to perform the processing by the camera device.
  • the moving object monitoring device, the server device, and the moving object monitoring system according to the present disclosure are excellent in visibility of moving objects by faithfully reproducing the color of moving objects even when shooting in a state where there is not enough ambient light such as at night.
  • a moving object monitoring device that has an effect of outputting a color image and outputs an image obtained by photographing a monitoring area where a moving object to be monitored appears, a color image and a monochrome image obtained by photographing the monitoring area in the moving object monitoring device,
  • the present invention is useful as a server device that receives a moving object monitoring device via a network, and a moving object monitoring system that transmits an image of a monitoring area from the moving object monitoring device to the server device via the network.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Computer Graphics (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

夜間のように環境光が十分にない状態で撮影した場合でも、動体の色が忠実に再現されて動体の視認性に優れたカラー画像を出力できるようにする。環境光で撮影するカラーカメラ（１１）と、赤外光で撮影するモノクロカメラ（１２）と、カラーカメラから出力されるカラー画像の信号、およびモノクロカメラから出力されるモノクロ画像の信号を処理する信号処理部（２１）と、環境光が十分にある状態で撮影されたカラー画像およびモノクロ画像から生成された位置合わせ情報を記憶する記憶部（１６）と、環境光が十分にない状態で撮影されたカラー画像およびモノクロ画像に写る被写体の位置を一致させる位置合わせを、位置合わせ情報に基づいて行う位置合わせ部（２４）と、位置合わせ済みのカラー画像から色情報を取得して、その色情報を用いてモノクロ画像に色付けする色変換を行う画像合成部（２５）と、を備えたものとする。

Description

動体監視装置、サーバ装置、および動体監視システム
　本開示は、監視対象となる動体が出現する監視エリアを撮影した画像を出力する動体監視装置、動体監視装置において監視エリアを撮影したカラー画像およびモノクロ画像を、動体監視装置からネットワークを介して受信するサーバ装置、および監視エリアを撮影した画像を動体監視装置からネットワークを介してサーバ装置に送信する動体監視システムに関するものである。
　監視エリアを撮影するカメラを設置して、監視対象となる人物などの動体の状況を監視する監視システムが広く普及している。このような監視システムでは、夜間でも監視を継続できるように、被写体に赤外光を照射して被写体を撮影するカメラを用いる場合がある。
　このような赤外光による撮影では、鮮明な画像を得ることができる反面、モノクロ画像となるため、被写体を識別しにくいといった問題がある。このため、夜間に撮影された画像でも、被写体の識別性を向上させることができる技術が望まれる。
　このような要望に対して、従来、可視光により被写体をカラーで撮影するとともに、赤外光により被写体をモノクロで撮影して、可視光による撮影画像を背景画像として、この背景画像上に、赤外光による撮影画像から切り出された人物の画像を重ね合わせる技術が知られている（特許文献１参照）。
特開２００９－０１０６７５号公報
　しかしながら、この従来技術では、夜間に撮影された画像の視認性を全体的に向上させることはできるが、肝心な動体の色再現は考慮されていない。すなわち、動体の画像が赤外光による撮影画像から切り出されたものであるため、動体の色を判別できない。特に、赤外光による撮影画像では、輝度が反転した状態で写り、例えば人物の青色の服が白色に写ることから、監視対象となる動体の誤認が発生する。このため、動体の監視の用途では全く使用に耐えないものであった。
　そこで、本開示は、夜間のように環境光が十分にない状態で撮影した場合でも、動体の色が忠実に再現されて動体の視認性に優れたカラー画像を出力することができる動体監視装置、サーバ装置、および動体監視システムを提供することを主な目的とする。
　本開示の動体監視装置は、監視対象となる動体が出現する監視エリアを撮影したカラー画像およびモノクロ画像を合成して合成画像を出力する動体監視装置であって、環境光により監視エリアを撮影するカラーカメラと、赤外光により監視エリアを撮影するモノクロカメラと、カラーカメラから出力されるカラー画像の信号、およびモノクロカメラから出力されるモノクロ画像の信号を処理する信号処理部と、環境光が十分にある状態で撮影されたカラー画像およびモノクロ画像に基づいて生成された位置合わせ情報を記憶する記憶部と、環境光が十分にない状態で撮影されたカラー画像およびモノクロ画像にそれぞれ写る被写体の像の位置を一致させる位置合わせを、位置合わせ情報に基づいて行う位置合わせ部と、位置合わせ済みのカラー画像から色情報を取得して、その色情報を用いてモノクロ画像に色付けする色変換を行う画像合成部と、を備えた構成とする。
　また、本開示のサーバ装置は、動体監視装置において監視対象となる動体が出現する監視エリアを撮影したカラー画像およびモノクロ画像を、動体監視装置からネットワークを介して受信するサーバ装置であって、動体監視装置において、環境光により監視エリアを撮影するカラーカメラにより撮影されたカラー画像、および赤外光により監視エリアを撮影するモノクロカメラにより撮影されたモノクロ画像を受信する通信部と、環境光が十分にある状態で撮影されたカラー画像およびモノクロ画像に基づいて生成された位置合わせ情報を記憶する記憶部と、環境光が十分にない状態で撮影されたカラー画像およびモノクロ画像にそれぞれ写る被写体の像の位置を一致させる位置合わせを、位置合わせ情報に基づいて行う位置合わせ部と、位置合わせ済みのカラー画像から色情報を取得して、その色情報を用いてモノクロ画像に色付けする色変換を行う画像合成部と、を備えた構成とする。
　また、本開示の動体監視システムは、動体監視装置において監視対象となる動体が出現する監視エリアを撮影したカラー画像およびモノクロ画像を、動体監視装置からネットワークを介してサーバ装置に送信する動体監視システムであって、動体監視装置は、環境光により監視エリアを撮影するカラーカメラと、赤外光により監視エリアを撮影するモノクロカメラと、カラーカメラから出力されるカラー画像の信号、およびモノクロカメラから出力されるモノクロ画像の信号を処理する信号処理部と、環境光が十分にある状態で撮影されたカラー画像およびモノクロ画像に基づいて生成された位置合わせ情報を記憶する記憶部と、環境光が十分にない状態で撮影されたカラー画像およびモノクロ画像にそれぞれ写る被写体の像の位置を一致させる位置合わせを、位置合わせ情報に基づいて行う位置合わせ部と、位置合わせ済みのカラー画像から色情報を取得して、その色情報を用いてモノクロ画像に色付けする色変換を行う画像合成部と、この画像合成部で取得した合成画像をサーバ装置に送信する通信部と、を備えた構成とする。
　本開示によれば、昼間のように環境光が十分にある状態で撮像されたカラー画像およびモノクロ画像から生成された位置合わせ情報に基づいて、夜間のように環境光が十分にない状態で撮影されたカラー画像およびモノクロ画像の位置合わせを行うため、位置合わせを精度よく行うことができる。そして、精度よく位置合わせされたカラー画像から色情報を取得して、その色情報を用いてモノクロ画像に色付けすることで、動体の色が忠実に再現されて動体の視認性に優れたカラー画像を出力することができる。
図１は、本実施形態に係る動体監視システムの全体構成図である。 図２は、カメラ装置１による撮影状況を示す説明図である。 図３は、カメラ装置１の概略構成を示すブロック図である。 図４は、信号処理部２１の概略構成を示す機能ブロック図である。 図５は、解像度変換部５４で行われる解像度変換の要領を示す説明図である。 図６Ａは、解像度変換前のヒストグラムを示す説明図である。 図６Ｂは、解像度変換後のヒストグラムを示す説明図である。 図７は、信号処理制御部５３で設定される処理モードを示す説明図である。 図８は、信号処理制御部５３で行われる処理の手順を示すフロー図である。 図９は、階調色調補正部５５で行われるホワイトバランス補正の手順を示すフロー図である。 図１０Ａは、階調色調補正部５５で行われる階調補正対象の元画像を示す説明図である。 図１０Ｂは、階調色調補正部５５で均一に大きなゲインを与えた場合を示す説明図である。 図１０Ｃは、階調色調補正部５５で均一に小さなゲインを与えた場合を示す説明図である。 図１０Ｄは、階調色調補正部５５で行われる本実施形態の階調補正を行った場合を示す説明図である。 図１１は、位置合わせ情報生成部２３、位置合わせ部２４および画像合成部２５で行われる処理に係る要部のブロック図である。 図１２は、位置合わせ情報生成部２３、位置合わせ部２４および画像合成部２５で行われる処理の概要を示す説明図である。 図１３は、キャリブレーションの処理手順を示すフロー図である。 図１４は、画像マッチングの状況を示す説明図である。 図１５は、運用時の処理手順を示すフロー図である。 図１６Ａは、形状が異なる動体の撮影状況を示す説明図である。 図１６Ｂは、形状が異なる動体の撮影状況を示す説明図である。 図１７は、第２実施形態における運用時の処理手順を示すフロー図である。 図１８は、第３実施形態に係るカメラ装置１およびサーバ装置２の概略構成を示す説明図である。 図１９は、第４実施形態に係るカメラ装置１およびサーバ装置２の概略構成を示す説明図である。
　前記課題を解決するためになされた第１の発明は、監視対象となる動体が出現する監視エリアを撮影したカラー画像およびモノクロ画像を合成して合成画像を出力する動体監視装置であって、環境光により監視エリアを撮影するカラーカメラと、赤外光により監視エリアを撮影するモノクロカメラと、カラーカメラから出力されるカラー画像の信号、およびモノクロカメラから出力されるモノクロ画像の信号を処理する信号処理部と、環境光が十分にある状態で撮影されたカラー画像およびモノクロ画像に基づいて生成された位置合わせ情報を記憶する記憶部と、環境光が十分にない状態で撮影されたカラー画像およびモノクロ画像にそれぞれ写る被写体の像の位置を一致させる位置合わせを、位置合わせ情報に基づいて行う位置合わせ部と、位置合わせ済みのカラー画像から色情報を取得して、その色情報を用いてモノクロ画像に色付けする色変換を行う画像合成部と、を備えた構成とする。
　これによると、昼間のように環境光が十分にある状態で撮像されたカラー画像およびモノクロ画像から生成された位置合わせ情報に基づいて、夜間のように環境光が十分にない状態で撮影されたカラー画像およびモノクロ画像の位置合わせを行うため、位置合わせを精度よく行うことができる。そして、精度よく位置合わせされたカラー画像から色情報を取得して、その色情報を用いてモノクロ画像に色付けすることで、動体の色が忠実に再現されて動体の視認性に優れたカラー画像を出力することができる。
　また、第２の発明は、記憶部は、形状が異なる動体の種類別に複数の位置合わせ情報を記憶し、位置合わせ部は、モノクロ画像から動体を検出するとともに、その動体の種類を判別して、その動体の種類に応じた位置合わせ情報に基づいて、位置合わせを行う構成とする。
　これによると、動体の形状に応じて、カラー画像とモノクロ画像との位置合わせを精度よく行うことができる。
　また、第３の発明は、さらに、位置合わせ情報を生成する位置合わせ情報生成部を備え、記憶部は、位置合わせ情報生成部で生成した位置合わせ情報を、信号処理部の処理条件に関する情報とともにキャリブレーション情報として記憶する構成とする。
　これによると、装置設置時や運用途中の適宜なタイミングで、位置合わせ情報を生成する処理をキャリブレーションとして実施することで、カラー画像およびモノクロ画像の位置合わせを適切に行うことができる。
　また、第４の発明は、信号処理部は、カラー画像において近接する複数の画素ごとの信号値を加算して、カラー画像の画素数を削減する解像度変換部と、監視エリアの撮影環境に基づいて、解像度変換部の動作を制御する信号処理制御部と、を有する構成とする。
　これによると、僅かでも環境光がある状況では、各画素の信号値に被写体の実際の色情報が含まれるため、複数の画素の信号値を加算することで、被写体の実際の色が明瞭に現れたカラー画像を出力することができる。また、監視エリアの撮影環境に基づいて解像度変換部の動作を制御するため、撮影環境に関係なく、適切なカラー画像を出力することができる。また、解像度変換により、被写体の実際の色が明瞭に現れたカラー画像が得られ、このカラー画像から、夜間に出現した動体の色情報を精度よく取得することができる。
　また、第５の発明は、動体監視装置において監視対象となる動体が出現する監視エリアを撮影したカラー画像およびモノクロ画像を、動体監視装置からネットワークを介して受信するサーバ装置であって、動体監視装置において、環境光により監視エリアを撮影するカラーカメラにより撮影されたカラー画像、および赤外光により監視エリアを撮影するモノクロカメラにより撮影されたモノクロ画像を受信する通信部と、環境光が十分にある状態で撮影されたカラー画像およびモノクロ画像に基づいて生成された位置合わせ情報を記憶する記憶部と、環境光が十分にない状態で撮影されたカラー画像およびモノクロ画像にそれぞれ写る被写体の像の位置を一致させる位置合わせを、位置合わせ情報に基づいて行う位置合わせ部と、位置合わせ済みのカラー画像から色情報を取得して、その色情報を用いてモノクロ画像に色付けする色変換を行う画像合成部と、を備えた構成とする。
　これによると、第１の発明と同様に、夜間のように環境光が十分にない状態で撮影した場合でも、動体の色が忠実に再現されて動体の視認性に優れたカラー画像を出力することができる。
　また、第６の発明は、動体監視装置において監視対象となる動体が出現する監視エリアを撮影したカラー画像およびモノクロ画像を、動体監視装置からネットワークを介してサーバ装置に送信する動体監視システムであって、動体監視装置は、環境光により監視エリアを撮影するカラーカメラと、赤外光により監視エリアを撮影するモノクロカメラと、カラーカメラから出力されるカラー画像の信号、およびモノクロカメラから出力されるモノクロ画像の信号を処理する信号処理部と、環境光が十分にある状態で撮影されたカラー画像およびモノクロ画像に基づいて生成された位置合わせ情報を記憶する記憶部と、環境光が十分にない状態で撮影されたカラー画像およびモノクロ画像にそれぞれ写る被写体の像の位置を一致させる位置合わせを、位置合わせ情報に基づいて行う位置合わせ部と、位置合わせ済みのカラー画像から色情報を取得して、その色情報を用いてモノクロ画像に色付けする色変換を行う画像合成部と、この画像合成部で取得した合成画像をサーバ装置に送信する通信部と、を備えた構成とする。
　これによると、第１の発明と同様に、夜間のように環境光が十分にない状態で撮影した場合でも、動体の色が忠実に再現されて動体の視認性に優れたカラー画像を出力することができる。
　また、第７の発明は、サーバ装置は、位置合わせ情報を生成する位置合わせ情報生成部と、位置合わせ情報を動体監視装置に送信する通信部と、を備え、動体監視装置は、サーバ装置から受信した位置合わせ情報にしたがって記憶部の更新処理を行う構成とする。
　これによると、動体監視装置で用いられる位置合わせ情報の更新を、ユーザが遠隔操作で行うことができる。
　以下、実施の形態を、図面を参照しながら説明する。
　（第１実施形態）
　図１は、第１実施形態に係る動体監視システムの全体構成図である。
　動体監視システムは、カメラ装置１（動体監視装置）と、サーバ装置２（画像蓄積装置）と、閲覧装置３と、を備えている。カメラ装置１とサーバ装置２と閲覧装置３とはネットワークを介して接続されている。
　カメラ装置１は、施設や道路などに設定された監視エリアを撮影し、監視エリアに存在する人物などの動体が写る撮影画像を出力する。サーバ装置２は、カメラ装置１から取得した撮影画像を蓄積する。閲覧装置３は、ＰＣやタブレット端末やスマートフォンなどであり、サーバ装置２にアクセスすることで、サーバ装置２に蓄積された撮影画像をユーザが閲覧することができる。
　次に、カメラ装置１について説明する。図２は、カメラ装置１による撮影状況を示す説明図である。
　カメラ装置１は、カラーカメラ１１と、モノクロカメラ１２と、を備えている。このカラーカメラ１１およびモノクロカメラ１２により、監視エリアに存在する被写体、すなわち、人物などの動体、建物、施設の敷地、道路などが撮影される。
　カラーカメラ１１は、赤外光カットフィルタを備え、可視光により被写体をカラーで撮影して、カラー画像を出力する。モノクロカメラ１２は、可視光カットフィルタを備え、赤外光により被写体をモノクロで撮影して、モノクロ画像を出力する。なお、モノクロカメラ１２で撮影する際には、赤外光投光器１３（図３参照）により被写体に近赤外光が照射される。
　ここで、夜間や、日の入りまたは日の出の時間帯で、環境光が十分にない状態において、カラーカメラ１１による撮影を行うと、撮影されたカラー画像では、被写体となる動体や背景が暗く写り、特に動体の色、例えば人物の服の色や車体の色を判別しにくいという問題がある。また、モノクロカメラ１２により近赤外光により撮影したモノクロ画像では、輝度が反転した状態で写り、例えば人物の青色の服が白色に写るというという問題がある。このため、動体の誤認が発生する。
　そこで、本実施形態では、カラーカメラ１１から出力されるカラー画像の信号に対して信号処理を行うことで、環境光が十分にない状態で撮影された場合でも、被写体の実際の色が明瞭に現れた高画質なカラー画像を生成することができるようにしている。
　さらに、本実施形態では、環境光が十分にない状態で撮影されたカラー画像およびモノクロ画像を合成する画像合成を行うようにしている。この画像合成では、カラー画像から色情報を取得し、その色情報を用いてモノクロ画像に色付けする処理が行われる。本実施形態では、近赤外光による撮影により、高精細なモノクロ画像が得られ、このモノクロ画像に、カラー画像から取得した色情報を用いて色付けすることにより、高精細で動体の色を忠実に再現した夜間のカラー画像を生成することができる。
　このとき、カラーカメラ１１およびモノクロカメラ１２には視差があり、この視差の影響で、カラー画像およびモノクロ画像に写る被写体の位置がずれるため、カラー画像およびモノクロ画像をそのまま合成すると、背景の色が動体の領域に現れたり、動体の色が背景の領域に現れたりする不具合が発生する。
　そこで、本実施形態では、カラー画像とモノクロ画像との間で被写体の位置を一致させる位置合わせの処理を行うようにしている。
　なお、図２では、屋外を監視エリアとした例を示しているが、屋内を監視エリアとしてもよい。この場合、日照の他に照明器具の点灯・消灯により監視エリアの環境光の明るさが変化する。
　次に、カメラ装置１の概略構成について説明する。図３は、カメラ装置１の概略構成を示すブロック図である。
　カメラ装置１は、カラーカメラ１１およびモノクロカメラ１２の他に、赤外光投光器１３と、通信部１４と、制御部１５と、記憶部１６と、を備えている。
　赤外光投光器１３は、モノクロカメラ１２で被写体を撮影する際に、被写体に近赤外光を投光する。
　通信部１４は、ネットワークを介してサーバ装置２との間で通信を行う。本実施形態では、制御部１５で生成した合成画像をサーバ装置２に送信する。なお、制御部１５で生成した処理済みのカラー画像およびモノクロ画像をサーバ装置２に送信するようにしてもよい。
　このとき、設置場所、カメラ属性、撮影時刻、撮影条件などに関する撮影情報を、属性情報として画像に付加して送信する。なお、カメラ属性は、カラーおよびモノクロの別や、カメラ装置１の識別情報（ＭＡＣアドレスなど）などに関するものである。また、撮影条件は、露光時間やゲインなどに関するものである。
　なお、モノクロ画像に対して文字認識処理を行って、モノクロ画像内の文字情報を取得して、その文字情報を画像に付加して送信するようにしてもよい。
　記憶部１６は、制御部１５で生成したカラー画像、モノクロ画像、および合成画像などを記憶する。また、記憶部１６は、制御部１５で実行されるプログラムを記憶する。また、記憶部１６は、キャリブレーションメモリとして機能し、カラーカメラ１１およびモノクロカメラ１２の撮像条件や、制御部１５で行われるカラー画像およびモノクロ画像の画信号に対する信号処理の処理条件などに関するキャリブレーション情報（各種パラメータの設定値など）を記憶する。
　制御部１５は、信号処理部２１と、ＬＥＤ制御部２２と、位置合わせ情報生成部２３と、位置合わせ部２４と、画像合成部２５と、を備えている。この制御部１５は、プロセッサで構成され、制御部１５の各部は、記憶部１６に記憶されたプログラムを実行することで実現される。
　信号処理部２１は、カラーカメラ１１およびモノクロカメラ１２からそれぞれ出力される画信号を処理する。
　ＬＥＤ制御部２２は、赤外光投光器１３の光源となるＬＥＤを制御する。
　次に、信号処理部２１について説明する。図４は、信号処理部２１の概略構成を示す機能ブロック図である。
　信号処理部２１は、同期信号生成部３１と、モノクロ信号処理部３２と、カラー信号処理部３３と、を備えている。
　同期信号生成部３１は、カラーカメラ１１およびモノクロカメラ１２を同期させる同期信号を生成する。この同期信号により、カラーカメラ１１およびモノクロカメラ１２は同一のタイミングで被写体を撮影することができる。
　モノクロ信号処理部３２は、カメラインタフェイス４１と、階調補正部４２と、ガンマ補正４３と、を備えている。
　カメラインタフェイス４１では、モノクロカメラ１２から出力されるモノクロ画像の画信号が入力される。
　階調補正部４２は、カメラインタフェイス４１に入力されたモノクロ画像の画信号に対して階調補正を行う。
　ガンマ補正部５６は、階調補正部４２から出力される画信号に対して、表示装置の特性に応じて画像の階調を最適な特性に補正するガンマ補正を行う。
　カラー信号処理部３３は、カメラインタフェイス５１と、信号レベル検出部５２と、信号処理制御部５３と、解像度変換部５４と、階調色調補正部５５と、ガンマ補正部５６と、Ｙ成分生成部５７と、ＵＶ成分生成部５８と、平均化縮小部５９と、を備えている。
　カメラインタフェイス５１では、カラーカメラ１１から出力されるカラー画像の画信号が入力される。
　信号レベル検出部５２は、カメラインタフェイス５１に入力されたカラー画像の画信号に基づいて、信号レベルを検出する。この信号レベルは、監視エリアの撮影環境である画像全体の明るさ、すなわち、監視エリアの環境光の明るさを表すものであり、輝度の最大値や分布状況（ヒストグラム）に基づいて検出される。
　信号処理制御部５３は、信号レベル検出部５２で取得した信号レベルを参照して、解像度変換部５４で行われる解像度変換の度合（縮小率）を設定する。また、信号処理制御部５３は、解像度変換の度合に応じて、平均化縮小部５９で行われる平均化縮小の度合（縮小率）を設定する。なお、解像度変換の度合には、解像度変換部５４の動作を休止して解像度変換を行わない場合も含まれ、また、平均化縮小の度合には、平均化縮小部５９の動作を休止して平均化縮小を行わない場合も含まれる。ここでは、監視エリアの撮影環境として、信号レベル検出部５２で取得した信号レベルに基づいて、解像度変換部５４で行われる解像度変換の度合（縮小率）を設定するようにしたが、信号レベル検出部５２を省略し、日ごとに定められた昼時間、夜時間の設定にしたがい、夜時間の時間帯（１以上）ごとに解像度変換の度合を設定する制御テーブルを保持するようにしてもよい。また、信号レベル検出部５２に代えて、照度センサ等を設け、そのセンサ出力に基づいて、撮影環境を判別するようにしてもよい。
　解像度変換部５４は、カメラインタフェイス５１に入力されたカラー画像の画信号に対して、近接する複数の画素の信号値を統合して画素数を削減する解像度変換を行う。
　階調色調補正部５５は、解像度変換部５４から出力されるカラー画像の画信号に対して階調補正および色調補正を行う。階調補正としては、例えば、画像を明るくするゲイン調整が行われる。色調補正としては、例えば、環境光の色合いの影響を抑えるホワイトバランス補正が行われる。
　ガンマ補正部５６は、階調色調補正部５５から出力される画信号に対して、表示装置の特性に応じて画像の階調を最適な特性に補正するガンマ補正を行う。
　Ｙ成分生成部５７は、ガンマ補正部５６から出力される画信号から、Ｙ成分の画信号（輝度信号）を生成する。ＵＶ成分生成部５８は、ガンマ補正部５６から出力される画信号から、Ｕ成分およびＶ成分の画信号（色差信号）を生成する。
　平均化縮小部５９は、Ｙ成分生成部５７およびＵＶ成分生成部５８からそれぞれ出力される画信号に対して、所定数の画素の信号値を平均化することにより、カラー画像を所定のサイズに縮小する処理を行う。
　次に、解像度変換部５４で行われる解像度変換について説明する。図５は、解像度変換の要領を示す説明図である。図６Ａ、図６Ｂは、解像度変換前後のヒストグラムを示す説明図である。
　カラーカメラ１１の撮影素子では、図５に示すように、Ｒ，Ｂ，Ｇの各色の画素がベイヤーパターンで配列されている。
　解像度変換部５４では、図５に示すように、同一の色の画素を対象にして、近接する所定数の画素の信号値を加算して、その合計値を、図５に示すように、１つの画素の信号値とする。
　図５に示す例では、４×４の合計１６個の画素の信号値を加算している。これにより、撮影感度が１６倍になる。また、解像度が１／１６に低下して、データ量が１／１６に削減される。
　なお、図５では、Ｒについて示すが、Ｂ，Ｇについても同様である。
　このような解像度変換を行うことにより、図６Ａに示すように、解像度変換前では、信号値が暗い範囲に偏っているのに対して、図６Ｂに示すように、解像度変換後では、信号値が広い範囲に広がった状態になる。
　このように本実施形態では、複数の画素の信号値を加算することでカラー画像の画素数を削減する解像度変換が行われる。これにより、街灯や建物の照明などにより、僅かでも環境光がある状況では、各画素の信号値に被写体の実際の色情報が含まれるため、複数の画素の信号値を加算することで、被写体の実際の色が明瞭に現れたカラー画像を出力することができる。特に動体の判別が容易になり、例えば人物の場合には服の色が明瞭に現れ、車両の場合には車体の色を明瞭に現れ、動体の誤認を避けることができる。
　ところで、カメラ装置１で生成したカラー画像を、ネットワークを介してサーバ装置２に送信するため、通信負荷を軽減する目的でカラー画像のデータ量を削減することが望まれる。
　ここで、ＪＰＥＧなどの圧縮処理を行うことが考えられるが、夜間のように環境光が十分にない状態で撮影されたカラー画像に対して圧縮処理を行うと、昼間のように環境光が十分にある状態で撮影されたカラー画像で生じなかった圧縮ノイズが顕著に表れ、画質が大幅に低下する。
　一方、本実施形態では、解像度変換を行うことで、カラー画像の画素数が減少するため、カラー画像のデータ量を削減することができる。また、解像度変換を行ったカラー画像に対してさらに圧縮処理を行うようにしてもよく、この場合、解像度変換を行わないまま圧縮処理を行った場合に比較して、圧縮ノイズを大幅に低減することができる。
　次に、信号処理制御部５３で行われる処理について説明する。図７は、信号処理制御部５３で設定される処理モードを示す説明図である。図８は、信号処理制御部５３で行われる処理の手順を示すフロー図である。
　信号処理制御部５３では、信号レベル検出部５２で取得した信号レベルを複数のしきい値と比較して、その比較結果に基づいて、解像度変換部５４で行われる解像度変換の度合を段階的に変更する。
　図７に示す例では、信号レベルに基づいて、３つの処理モードに場合分けして、解像度変換の度合として、３つのレベル（最小、中間、最大）が設定される。これにより、各画素の信号値が飽和しないように、適切な解像度変換を行うことができる。
　第１の処理モードは、昼間の明るい状態である場合に実施されるものである。この第１の処理モードでは、解像度変換のレベルは最小となり、解像度変換の縮小率を１、すなわち、解像度変換を行わない。
　第２の処理モードは、日の入りまたは日の出の時間帯で薄暗い状態である場合に実施されるものである。この第２の処理モードでは、解像度変換のレベルは中間となり、解像度変換の縮小率を１／４とする。すなわち、２×２の合計４個の画素の信号値を加算することで、解像度を１／４とする解像度変換を行う。
　第３の処理モードは、夜間の暗い状態である場合に実施されるものである。この第３の処理モードでは、解像度変換のレベルは最大となり、解像度変換の縮小率を１／１６とする。すなわち、４×４の合計１６個の画素の信号値を加算することで、解像度を１／１６とする解像度変換を行う。
　また、信号処理制御部５３では、解像度変換部５４で行われる解像度変換の度合に関係なく最終的に同一サイズのカラー画像が得られるように、解像度変換の度合に応じて、平均化縮小部５９で行われる平均化縮小の度合を設定する。
　すなわち、第１の処理モードで解像度変換の縮小率が１の場合には、平均化縮小のレベルは最大となり、平均化縮小の縮小率を１／１６とする。また、第２の処理モードで解像度変換の縮小率が１／４の場合には、平均化縮小のレベルは中間となり、平均化縮小の縮小率を１／４とする。また、第３の処理モードで解像度変換の縮小率が１／１６の場合には、平均化縮小のレベルは最小となり、平均化縮小の縮小率を１とする。すなわち、平均化縮小を行わない。これにより、全ての処理モードで同様に１／１６に縮小されたカラー画像が得られる。
　具体的には、図８に示すように、信号レベル検出部５２で取得した信号レベルＬを２つのしきい値ａ，ｂ（ａ＜ｂ）と比較して、信号レベルＬがしきい値ａ未満であるか否かの判定（ＳＴ１０１）と、信号レベルＬがしきい値ｂ未満であるか否かの判定（ＳＴ１０２）と、を行う。これにより、３つの処理モードに場合分けして、解像度変換および平均化縮小のレベルが決定される。
　すなわち、信号レベルＬがしきい値ｂ以上である場合（ＳＴ１０２でＮｏ）、すなわち、昼間の明るい状態である場合には、第１の処理モードとなり、解像度変換のレベルを最小に設定し（ＳＴ１０３）、平均化縮小のレベルを最大に設定する（ＳＴ１０４）。
　また、信号レベルＬがしきい値ａ以上で且つしきい値ｂ未満である場合（ＳＴ１０２でＹｅｓ）、すなわち、日の入りまたは日の出の時間帯で薄暗い状態である場合には、第２の処理モードとなり、解像度変換のレベルを中間に設定し（ＳＴ１０５）、平均化縮小のレベルを中間に設定する（ＳＴ１０６）。
　また、信号レベルＬがしきい値ａ未満である場合（ＳＴ１０１でＹｅｓ）、すなわち、夜間の暗い状態である場合には、第３の処理モードとなり、解像度変換のレベルを最大に設定し（ＳＴ１０７）、平均化縮小のレベルを最小に設定する（ＳＴ１０８）。
　なお、図７および図８に示す例では、信号レベルに応じて３通り（第１～第３の処理モード）に場合分けするようにしたが、２通り、または４通り以上に場合分けするようにしてもよい。また、解像度変換の縮小率を１，１／４、１／１６としたが、８×８の合計６４個の画素の信号値を加算することで、解像度を１／１６とする解像度変換を行うなど、種々の縮小率の解像度変換が可能である。
　次に、階調色調補正部５５で行われるホワイトバランス補正について説明する。図９は、ホワイトバランス補正の手順を示すフロー図である。
　階調色調補正部５５では、解像度変換部５４から出力されるカラー画像の画信号に対してホワイトバランス補正が行われる。ホワイトバランス補正では、最も明るい（輝度が高い）領域を白色とみなして、色調を補正する。このため、夜間でライト、例えば街灯や車両のヘッドライトが写る画像では、ライトの領域が最も明るくなるため、この領域を白色とみなして色調を補正する。このとき、ライトの光が白色でない場合、画像の色が全体的にずれる色かぶりが発生する。
　そこで、本実施形態では、ライトの領域を除外してホワイトバランス補正を行う。
　具体的には、まず、信号レベル検出部５２で取得した信号レベルが所定のしきい値未満であるか否かを判定する（ＳＴ２０１）。このしきい値は、夜間と昼間とを識別するものとなる。
　ここで、信号レベルがしきい値未満である場合（ＳＴ２０１でＹｅｓ）、すなわち、夜間である場合には、カラー画像内のライトの領域を検出して、そのライトの領域に含まれる画素を集計対象から除外する（ＳＴ２０２）。
　次に、集計対象となる各画素の信号値をＲＧＢの色ごとに合計して、各色の合計値（RSUM、GSUM、BSUM）を算出する（ＳＴ２０３）。そして、各色の合計値に基づく各色のゲインを、各色の入力値（Rin、Gin、Bin）に乗算して、各色の出力値（Rout、Gout、Bout）を算出する（ＳＴ２０４）。このとき、Ｇを基準にした補正が行われる。
　一方、信号レベルがしきい値以上である場合（ＳＴ２０１でＮｏ）、すなわち、昼間である場合には、カラー画像内の全ての画素を集計対象として、各色の合計値を算出し（ＳＴ２０３）、各色の出力値を算出する（ＳＴ２０４）。
　次に、階調色調補正部５５で行われる階調補正について説明する。図１０Ａ、図１０Ｂ、図１０Ｃ、図１０Ｄは、階調色調補正部５５で行われる階調補正の状況を示す説明図である。
　階調色調補正部５５では、解像度変換部５４から出力されるカラー画像の画信号に対してゲインを付加して、カラー画像を明るくする階調補正（ゲイン調整）が行われる。
　図１０Ａ～図１０Ｄに示す例は、街灯のライトが写る夜間のカラー画像であり、図１０Ａに示すように、元画像は全体的に暗く被写体が見えにくい。
　ここで、元画像の画信号に対して均一に大きなゲインを与えると、図１０Ｂに示すように、画像全体が明るくなり、ライトから離れた領域では被写体が見えやすくなるが、ハレーションが顕著になるため、ライトの近くの領域では被写体が逆に見えにくくなる。
　一方、元画像の画信号に対して均一に小さなゲインを与えると、図１０Ｃに示すように、ハレーションは低減するが、画像全体がわずかに明るくなるだけで、被写体が見えにくい状態はあまり改善されない。
　そこで、本実施形態では、領域に応じて最適化された階調補正を行う。すなわち、ライトから離れた暗い領域には大きなゲインを与え、ライトの近くの明るい領域では小さいゲインを与える。
　これにより、図１０Ｄに示すように、ライトから離れた領域では被写体が見えやすくなり、また、ハレーションが低減するため、ライトの近くの領域でも被写体が見えやすくなる。このように、領域に応じて異なるゲインを与えることで、ハレーションの影響を受けない最適な画像を取得することができる。
　次に、位置合わせ情報生成部２３、位置合わせ部２４および画像合成部２５で行われる処理について説明する。図１１は、位置合わせ情報生成部２３、位置合わせ部２４および画像合成部２５で行われる処理に係る要部のブロック図である。図１２は、位置合わせ情報生成部２３、位置合わせ部２４および画像合成部２５で行われる処理の概要を示す説明図である。
　図１１に示すように、位置合わせ情報生成部２３は、モノクロ信号処理部３２から出力されるモノクロ画像と、カラー信号処理部３３から出力されるカラー画像とに基づいて、位置合わせ部２４で行われる幾何学的変換（位置合わせ）に用いられる変換行列（位置合わせ情報）を生成する（図１２参照）。本実施形態では、モノクロ画像とカラー画像との間で画像マッチングを行って、モノクロ画像およびカラー画像同士で対応する複数の特徴点を取得し、この特徴点を用いて変換行列を推定する。
　この位置合わせ情報生成部２３の処理は、運用前のキャリブレーションとして実施され、昼間のように環境光が十分にある状態で、カラーカメラ１１およびモノクロカメラ１２により同時に撮影されたカラー画像およびモノクロ画像を用いて行われる。
　ここで、カラーカメラ１１およびモノクロカメラ１２を別体の単眼カメラとすると、設置条件に応じて、カラーカメラ１１とモノクロカメラ１２との相対的な位置関係が変化する。また、カラーカメラ１１およびモノクロカメラ１２を同一の筐体に収容するなどして、カラーカメラ１１およびモノクロカメラ１２の位置関係が変化しないように構成しても、設置される場所ごとに撮影条件、例えば、カラーカメラ１１およびモノクロカメラ１２から動体が出現する位置までの撮影距離などが異なる。このため、運用前のキャリブレーションとして、カメラ装置１ごとに変換行列（位置合わせ情報）を取得する。
　また、夜間のように環境光が十分にない状態で撮影されたカラー画像は、暗くて不鮮明で且つノイズが多く、このようなカラー画像では、モノクロ画像との間での画像マッチングを適切に行うことができない。このため、昼間のように環境光が十分にある状態で撮像されたカラー画像およびモノクロ画像を用いて、変換行列を取得する。
　なお、可視光で撮影されたカラー画像と、近赤外光で撮影されたモノクロ画像とでは、輝度勾配が異なる場合があるため、位相相関法などの輝度勾配に対してロバストな手法を用いて画像マッチングを行う。
　この位置合わせ情報生成部２３で生成した変換行列は、キャリブレーションデータとして記憶部１６に記憶される。
　位置合わせ部２４は、運用時に、位置合わせ情報生成部２３で取得した変換行列（位置合わせ情報）を用いて、カラー信号処理部３３から出力されるカラー画像に対して幾何学的変換、例えば射影変換を実施する（図１２参照）。これにより、カラー画像に現れる被写体の像の位置を、モノクロ画像と一致させることができる。
　画像合成部２５は、位置合わせ部２４から出力される位置合わせ済みのカラー画像と、モノクロ信号処理部３２から出力されるモノクロ画像を合成して合成画像を生成する（図１２参照）。この画像合成では、位置合わせ済みのカラー画像から色情報を取得して、その色情報を用いてモノクロ画像に色付けを行う色変換が行われる。なお、この画像合成には、公知の画像合成技術を用いればよい。
　次に、キャリブレーションについて説明する。図１３は、キャリブレーションの処理手順を示すフロー図である。図１４は、画像マッチングの状況を示す説明図である。
　なお、このキャリブレーションは、カメラ装置１の設置時に初期設定として行われる。また、振動や強風などの影響で、カラーカメラ１１とモノクロカメラ１２との相対的な位置関係が変化するため、運用中に定期的に行うようにしてもよい。
　図１３に示すように、キャリブレーションでは、位置合わせ情報生成部２３において、まず、昼間に撮影されたカラー画像およびモノクロ画像を取得する（ＳＴ３０１）。
　次に、カラー画像とモノクロ画像との間で画像マッチングを行う（ＳＴ３０２）。この画像マッチングでは、モノクロ画像およびカラー画像同士で対応する複数の特徴点を取得する（図１４参照）。
　次に、取得した特徴点を用いて、幾何学的変換で用いられる変換行列を推定する（ＳＴ３０３）。具体的には、次式のような変換行列Ｈを求める。なお、ここでは、幾何学的変換として射影変換を行うようにしている。
Figure JPOXMLDOC01-appb-M000001
　Ｓ：スケール（拡大、縮小）、θ：回転、Ｔｘ，Ｔｙ：平行移動量
　次に、取得した変換行列を用いて、カラー画像に対して幾何学的変換を行う（ＳＴ３０４）。このとき、次式のように、カラー画像の座標（ｘ，ｙ）が座標（ｘ’，ｙ’）に変換される。
Figure JPOXMLDOC01-appb-M000002
　なお、この式は、運用時の幾何学的変換でも同様に用いられる。
　次に、幾何学的変換が行われたカラー画像とモノクロ画像とを比較して、被写体の位置が一致しているか否かを判定する（ＳＴ３０５）。ここで、被写体の位置が一致している場合には（ＳＴ３０５でＹｅｓ）、取得した変換行列を記憶部１６に記憶する。一方、被写体の位置が一致していない場合には（ＳＴ３０５でＮｏ）、別のカラー画像およびモノクロ画像を取得して、前記の処理を繰り返す。
　なお、被写体の位置の判定結果に応じて、ユーザの操作入力により、幾何学的変換のパラメータを微調整することができるようにしてもよい。
　次に、運用時の処理について説明する。図１５は、運用時の処理手順を示すフロー図である。
　運用時には、まず、位置合わせ部２４において、夜間に撮影されたカラー画像およびモノクロ画像を取得する（ＳＴ４０１）。次に、キャリブレーションで取得した変換行列を用いて、カラー画像に対して幾何学的変換を実施する（ＳＴ４０２）。次に、画像合成部２５において、幾何学的変換が実施されたカラー画像とモノクロ画像とを合成する（ＳＴ４０３）。
　（第２実施形態）
　次に、第２実施形態について説明する。なお、ここで特に言及しない点は前記の実施形態と同様である。図１６Ａ、図１６Ｂは、形状が異なる動体の撮影状況を示す説明図である。
　動体の形状が異なると、カラーカメラ１１およびモノクロカメラから動体の面までの距離が変化する。例えば、図１６Ａに示すように、動体がボンネットのある乗用車である場合と、図１６Ｂに示すように、動体がボンネットのないワンボックスカーである場合とでは、動体が同一の位置にある状態でも、カラーカメラ１１およびモノクロカメラ１２から動体の面までの距離Ｌが異なる。
　このように動体の形状に応じて、カラーカメラ１１およびモノクロカメラから動体の面までの距離Ｌが変化すると、カラーカメラ１１およびモノクロカメラ１２間の視差の影響による動体の像のずれ方が変化する。
　そこで、本実施形態では、キャリブレーションにおいて、形状が異なる動体の種類ごとに複数の変換行列（位置合わせ情報）を作成しておき、運用時に、動体の種類を判別して、動体の種類に対応する変換行列を用いて、幾何学的変換を実施する。ここで、動体の種類の判別は、高精細なモノクロ画像を用いて行うとよい。
　また、動体の種類ごとの変換行列を取得するには、監視エリア、または監視エリアと同一の撮影条件となる適宜な場所に、実際に動体を配置して、その動体をカラーカメラ１１およびモノクロカメラで撮影し、得られたカラー画像およびモノクロ画像に基づいて、変換行列を取得すればよい。また、動体の代わりにマーカーを配置するようにしてもよい。
　次に、第２実施形態における運用時の処理手順について説明する。図１７は、運用時の処理手順を示すフロー図である。
　運用時には、まず、位置合わせ部２４において、夜間に撮影されたカラー画像およびモノクロ画像を取得する（ＳＴ５０１）。そして、モノクロ画像から動体を検出する（ＳＴ５０２）。
　次に、検出された動体の種類を判別して、動体の種類に応じた変換行列を選択する。図１７に示す例では、動体の種類Ａ～Ｆに該当するか否かの判定を順次行い（ＳＴ５０３～ＳＴ５０８）、動体の種類Ａ～Ｆに応じた変換行列を選択する（ＳＴ５０９～ＳＴ５１４）。いずれにも該当しない場合には、汎用の変換行列を選択する（ＳＴ５１５）。
　次に、選択された変換行列を用いて、カラー画像に対して幾何学的変換を実施する（ＳＴ５１６）。次に、画像合成部２５において、幾何学的変換が実施されたカラー画像とモノクロ画像とを合成する（ＳＴ５１７）。
　（第３実施形態）
　次に、第３実施形態について説明する。なお、ここで特に言及しない点は前記の実施形態と同様である。図１８は、第３実施形態に係るカメラ装置１およびサーバ装置２の概略構成を示す説明図である。
　前記の実施形態では、キャリブレーションにおいて、カラー画像およびモノクロ画像にそれぞれ写る被写体の像の位置を一致させる位置合わせ（幾何学的変換）に用いられる位置合わせ情報（変換行列）を生成する処理を、カメラ装置１で行うようにしたが、本実施形態では、位置合わせ情報を生成する処理をサーバ装置２で行うようにしている。
　サーバ装置２は、通信部６１と、制御部６２と、記憶部６３と、を備えている。
　通信部６１は、ネットワークを介してカメラ装置１との間で通信を行う。本実施形態では、キャリブレーションの際に、位置合わせ情報の生成に用いられるカラー画像およびモノクロ画像に関する画像送信要求をカメラ装置１に送信し、画像送信要求に応じてカメラ装置１から送信されるカラー画像およびモノクロ画像を受信する。また、制御部６２で生成した位置合わせ情報をカメラ装置１に送信する。また、運用時に、カメラ装置１から定期的に送信される合成画像を受信する。
　記憶部６３は、通信部６１で受信したカラー画像およびモノクロ画像や、制御部６２で生成した位置合わせ情報などを記憶する。また、記憶部６３は、制御部６２で実行されるプログラムを記憶する。
　制御部６２は、画像送信要求部７１と、位置合わせ情報生成部７２と、を備えている。この制御部６２は、プロセッサで構成され、制御部６２の各部は、記憶部６３に記憶されたプログラムを実行することで実現される。
　画像送信要求部７１は、カメラ装置１に対して、昼間のように環境光が十分にある状態でカラー画像およびモノクロ画像を同時に撮影して、そのカラー画像およびモノクロ画像を送信するように指示する画像送信要求を通信部６１から送信させる。
　位置合わせ情報生成部７２は、画像送信要求に応じてカメラ装置１から送信されるカラー画像およびモノクロ画像を通信部６１で受信すると、そのカラー画像およびモノクロ画像に基づいて、カメラ装置１の位置合わせ部２４で行われる位置合わせ（幾何学的変換）に用いられる位置合わせ情報（変換行列）を生成する。この位置合わせ情報生成部７２で生成した位置合わせ情報は通信部６１からカメラ装置１に送信される。
　カメラ装置１は、サーバ装置２から送信される画像送信要求を受信すると、カラー画像およびモノクロ画像を撮影してサーバ装置２に送信する。また、カメラ装置１は、サーバ装置２から送信される位置合わせ情報を受信すると、受信した位置合わせ情報にしたがって記憶部１６の更新処理を行う。
　これにより、カメラ装置１で用いられる位置合わせ情報の初期設定および更新を、ユーザが遠隔操作で行うことができる。
　なお、本実施形態では、カメラ装置１から送信される画像を蓄積するサーバ装置２で位置合わせ情報を生成するようにしたが、画像を蓄積する装置と、位置合わせ情報を生成する装置と、を別に設けるようにしてもよい。
　（第４実施形態）
　次に、第４実施形態について説明する。なお、ここで特に言及しない点は前記の実施形態と同様である。図１９は、第４実施形態に係るカメラ装置１およびサーバ装置２の概略構成を示す説明図である。
　前記の実施形態では、カラー画像とモノクロ画像との間での位置合わせや、カラー画像とモノクロ画像との画像合成を、カメラ装置１で行うようにしたが、本実施形態では、位置合わせや画像合成をサーバ装置２で行うようにしてもよい。
　すなわち、サーバ装置２の制御部６２は、位置合わせ部７３と、画像合成部７４と、を備えている。位置合わせ部７３は、位置合わせ情報生成部７２で取得した変換行列（位置合わせ情報）を用いて、カメラ装置１から送信されるカラー画像に対して幾何学的変換を実施する。画像合成部７４は、位置合わせ部７３から出力される位置合わせ済みのカラー画像と、カメラ装置１から送信されるモノクロ画像を合成して合成画像を生成する。この位置合わせ部７３および画像合成部７４で行われる処理は、前記の実施形態におけるカメラ装置１の位置合わせ部２４および画像合成部２５と同様である。
　以上のように、本出願において開示する技術の例示として、実施形態を説明した。しかしながら、本開示における技術は、これに限定されず、変更、置き換え、付加、省略などを行った実施形態にも適用できる。また、上記の実施形態で説明した各構成要素を組み合わせて、新たな実施形態とすることも可能である。
　例えば、前記の実施形態では、監視対象となる動体を主に人物とした例について説明したが、監視対象となる動体は人物に限定されるものではなく、動物や車両などでもよい。
　また、前記の実施形態では、環境光の明るさを表す信号レベルに基づいて制御を行うようにしたが、季節や時刻に応じた日照時間の変化により、環境光の明るさが規則的に変化するため、時間情報に基づいて制御することも可能である。ただし、環境光の明るさは天気に応じて変化するため、信号レベルに基づいた制御の方が、精度の高い制御を行うことができる。
　また、前記の実施形態では、解像度変換などの種々の画像処理（信号処理）をカメラ装置で行うようにしたが、これらの画像処理の全部あるいは一部をサーバ装置で行うようにしてもよい。もっとも、解像度変換や平均化縮小の処理は、画像のデータ量を削減して通信負荷を軽減するものであるため、カメラ装置で行うことが望ましい。
　本開示に係る動体監視装置、サーバ装置、および動体監視システムは、夜間のように環境光が十分にない状態で撮影した場合でも、動体の色が忠実に再現されて動体の視認性に優れたカラー画像を出力することができる効果を有し、監視対象となる動体が出現する監視エリアを撮影した画像を出力する動体監視装置、動体監視装置において監視エリアを撮影したカラー画像およびモノクロ画像を、動体監視装置からネットワークを介して受信するサーバ装置、および監視エリアを撮影した画像を動体監視装置からネットワークを介してサーバ装置に送信する動体監視システムなどとして有用である。
１　カメラ装置（動体監視装置）
２　サーバ装置（画像蓄積装置）
１１　カラーカメラ
１２　モノクロカメラ
１４　通信部
１５　制御部
１６　記憶部
２１　信号処理部
２３　位置合わせ情報生成部
２４　位置合わせ部
２５　画像合成部
５３　信号処理制御部
５４　解像度変換部
６１　通信部
６３　記憶部
７２　位置合わせ情報生成部
７３　位置合わせ部
７４　画像合成部

Claims (7)

  1. 　監視対象となる動体が出現する監視エリアを撮影したカラー画像およびモノクロ画像を合成して合成画像を出力する動体監視装置であって、
    　環境光により前記監視エリアを撮影するカラーカメラと、
    　赤外光により前記監視エリアを撮影するモノクロカメラと、
    　前記カラーカメラから出力されるカラー画像の信号、および前記モノクロカメラから出力されるモノクロ画像の信号を処理する信号処理部と、
    　環境光が十分にある状態で撮影された前記カラー画像および前記モノクロ画像に基づいて生成された位置合わせ情報を記憶する記憶部と、
    　環境光が十分にない状態で撮影された前記カラー画像および前記モノクロ画像にそれぞれ写る被写体の像の位置を一致させる位置合わせを、前記位置合わせ情報に基づいて行う位置合わせ部と、
    　位置合わせ済みの前記カラー画像から色情報を取得して、その色情報を用いて前記モノクロ画像に色付けする色変換を行う画像合成部と、を備えたことを特徴とする動体監視装置。
  2. 　前記記憶部は、形状が異なる動体の種類別に複数の前記位置合わせ情報を記憶し、
    　前記位置合わせ部は、前記モノクロ画像から動体を検出するとともに、その動体の種類を判別して、その動体の種類に応じた前記位置合わせ情報に基づいて、位置合わせを行うことを特徴とする請求項１に記載の動体監視装置。
  3. 　さらに、前記位置合わせ情報を生成する位置合わせ情報生成部を備え、
    　前記記憶部は、前記位置合わせ情報生成部で生成した前記位置合わせ情報を、前記信号処理部の処理条件に関する情報とともにキャリブレーション情報として記憶することを特徴とする請求項１または請求項２のいずれかに記載の動体監視装置。
  4. 　前記信号処理部は、
    　前記カラー画像において近接する複数の画素ごとの信号値を加算して、前記カラー画像の画素数を削減する解像度変換部と、
    　前記監視エリアの撮影環境に基づいて、前記解像度変換部の動作を制御する信号処理制御部と、を有することを特徴とする請求項１から請求項３のいずれかに記載の動体監視装置。
  5. 　動体監視装置において監視対象となる動体が出現する監視エリアを撮影したカラー画像およびモノクロ画像を、前記動体監視装置からネットワークを介して受信するサーバ装置であって、
    　前記動体監視装置において、環境光により前記監視エリアを撮影するカラーカメラにより撮影されたカラー画像、および赤外光により前記監視エリアを撮影するモノクロカメラにより撮影されたモノクロ画像を受信する通信部と、
    　環境光が十分にある状態で撮影された前記カラー画像および前記モノクロ画像に基づいて生成された位置合わせ情報を記憶する記憶部と、
    　環境光が十分にない状態で撮影された前記カラー画像および前記モノクロ画像にそれぞれ写る被写体の像の位置を一致させる位置合わせを、前記位置合わせ情報に基づいて行う位置合わせ部と、
    　位置合わせ済みの前記カラー画像から色情報を取得して、その色情報を用いて前記モノクロ画像に色付けする色変換を行う画像合成部と、を備えたことを特徴とするサーバ装置。
  6. 　動体監視装置において監視対象となる動体が出現する監視エリアを撮影したカラー画像およびモノクロ画像を、前記動体監視装置からネットワークを介してサーバ装置に送信する動体監視システムであって、
    　前記動体監視装置は、
    　環境光により前記監視エリアを撮影するカラーカメラと、
    　赤外光により前記監視エリアを撮影するモノクロカメラと、
    　前記カラーカメラから出力されるカラー画像の信号、および前記モノクロカメラから出力されるモノクロ画像の信号を処理する信号処理部と、
    　環境光が十分にある状態で撮影された前記カラー画像および前記モノクロ画像に基づいて生成された位置合わせ情報を記憶する記憶部と、
    　環境光が十分にない状態で撮影された前記カラー画像および前記モノクロ画像にそれぞれ写る被写体の像の位置を一致させる位置合わせを、前記位置合わせ情報に基づいて行う位置合わせ部と、
    　位置合わせ済みの前記カラー画像から色情報を取得して、その色情報を用いて前記モノクロ画像に色付けする色変換を行う画像合成部と、
    　この画像合成部で取得した合成画像を前記サーバ装置に送信する通信部と、を備えたことを特徴とする動体監視システム。
  7. 　前記サーバ装置は、
    　前記位置合わせ情報を生成する位置合わせ情報生成部と、
    　前記位置合わせ情報を前記動体監視装置に送信する通信部と、を備え、
    　前記動体監視装置は、前記サーバ装置から受信した前記位置合わせ情報にしたがって前記記憶部の更新処理を行うことを特徴とする請求項６に記載の動体監視システム。
PCT/JP2018/001107 2017-02-28 2018-01-17 動体監視装置、サーバ装置、および動体監視システム WO2018159121A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US16/486,353 US10825158B2 (en) 2017-02-28 2018-01-17 Moving object monitoring device, server device, and moving object monitoring system

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017-036882 2017-02-28
JP2017036882A JP6341396B1 (ja) 2017-02-28 2017-02-28 動体監視装置、サーバ装置、および動体監視システム

Publications (1)

Publication Number Publication Date
WO2018159121A1 true WO2018159121A1 (ja) 2018-09-07

Family

ID=62555853

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/001107 WO2018159121A1 (ja) 2017-02-28 2018-01-17 動体監視装置、サーバ装置、および動体監視システム

Country Status (3)

Country Link
US (1) US10825158B2 (ja)
JP (1) JP6341396B1 (ja)
WO (1) WO2018159121A1 (ja)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210118175A1 (en) * 2018-04-26 2021-04-22 Telefonaktiebolaget Lm Ericsson (Publ) Object Tracking and Detection in Augmented Reality Applications
WO2019225681A1 (ja) * 2018-05-23 2019-11-28 パナソニックＩｐマネジメント株式会社 校正装置および校正方法
US10816979B2 (en) * 2018-08-24 2020-10-27 Baidu Usa Llc Image data acquisition logic of an autonomous driving vehicle for capturing image data using cameras
JP7412920B2 (ja) * 2019-08-08 2024-01-15 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
US11508077B2 (en) * 2020-05-18 2022-11-22 Samsung Electronics Co., Ltd. Method and apparatus with moving object detection
US11620759B2 (en) * 2020-07-24 2023-04-04 Apple Inc. Systems and methods for machine learning enhanced image registration
CN114257707A (zh) * 2020-09-21 2022-03-29 安霸国际有限合伙企业 具有彩色夜间模式的智能ip摄像头
US11430132B1 (en) * 2021-08-19 2022-08-30 Unity Technologies Sf Replacing moving objects with background information in a video scene
JP2023106862A (ja) 2022-01-21 2023-08-02 株式会社リコー 撮像装置、撮像方法、プログラム、および撮像システム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005286577A (ja) * 2004-03-29 2005-10-13 Fuji Photo Film Co Ltd 撮像装置、表示方法、および車両
JP2008233398A (ja) * 2007-03-19 2008-10-02 Honda Motor Co Ltd 表示装置
JP2013247492A (ja) * 2012-05-25 2013-12-09 Konica Minolta Inc 物体検出装置
JP2015103906A (ja) * 2013-11-22 2015-06-04 株式会社リコー 画像処理装置、撮像システム、画像処理方法およびプログラム

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7834905B2 (en) * 2002-06-18 2010-11-16 Bayerische Motoren Werke Aktiengesellschaft Method and system for visualizing the environment of a vehicle with a distance-dependent merging of an infrared and a visual image
JP2005167497A (ja) 2003-12-01 2005-06-23 Canon Inc 撮像装置、良質画像獲得方法、及びプログラム
JP4872829B2 (ja) 2007-06-28 2012-02-08 ソニー株式会社 撮像装置
JP2012008924A (ja) 2010-06-28 2012-01-12 Mitsubishi Electric Corp ナンバー読取装置
US20140071245A1 (en) * 2012-09-10 2014-03-13 Nvidia Corporation System and method for enhanced stereo imaging
JP6015946B2 (ja) 2013-03-29 2016-10-26 マツダ株式会社 車両用撮像装置
US9443335B2 (en) * 2013-09-18 2016-09-13 Blackberry Limited Using narrow field of view monochrome camera for producing a zoomed image
US9245196B2 (en) 2014-05-09 2016-01-26 Mitsubishi Electric Research Laboratories, Inc. Method and system for tracking people in indoor environments using a visible light camera and a low-frame-rate infrared sensor

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005286577A (ja) * 2004-03-29 2005-10-13 Fuji Photo Film Co Ltd 撮像装置、表示方法、および車両
JP2008233398A (ja) * 2007-03-19 2008-10-02 Honda Motor Co Ltd 表示装置
JP2013247492A (ja) * 2012-05-25 2013-12-09 Konica Minolta Inc 物体検出装置
JP2015103906A (ja) * 2013-11-22 2015-06-04 株式会社リコー 画像処理装置、撮像システム、画像処理方法およびプログラム

Also Published As

Publication number Publication date
US10825158B2 (en) 2020-11-03
JP2018142895A (ja) 2018-09-13
US20190385291A1 (en) 2019-12-19
JP6341396B1 (ja) 2018-06-13

Similar Documents

Publication Publication Date Title
JP6341396B1 (ja) 動体監視装置、サーバ装置、および動体監視システム
CN108419023B (zh) 一种生成高动态范围图像的方法以及相关设备
US8994845B2 (en) System and method of adjusting a camera based on image data
JP4543514B2 (ja) 電子カメラ
US10325354B2 (en) Depth assisted auto white balance
JP5253000B2 (ja) 撮像装置
US7394488B2 (en) System and method for dual white balance compensation of images
CN105208281A (zh) 一种夜景拍摄方法及装置
JP2016019080A (ja) 画像処理装置、その制御方法、および制御プログラム
US10469723B2 (en) Photography lighting control
JP5804857B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP6381404B2 (ja) 画像処理装置及び方法、及び撮像装置
US10574876B2 (en) Photography environment control
JP2012235377A (ja) 画像処理装置、画像処理方法及びプログラム
US20200228770A1 (en) Lens rolloff assisted auto white balance
JP6583839B2 (ja) 動体監視装置、サーバ装置、および動体監視システム
WO2018146945A1 (ja) 動体監視装置および動体監視システム
JP2020102666A (ja) 画像処理装置、撮像装置、画像処理方法、及びプログラム
JP2003333616A (ja) ホワイトバランス調整方法及び撮像装置及びプログラム及び記憶媒体
JP5854716B2 (ja) 画像処理装置、画像処理方法及びプログラム
WO2018105097A1 (ja) 画像合成装置、画像合成方法、及び画像合成プログラム
JP2018157444A (ja) 画像表示装置、画像表示装置の画像調整方法、及び画像調整プログラム
EP2658245B1 (en) System and method of adjusting camera image data
JP2010250140A (ja) 映像信号処理装置及び映像信号処理プログラム
WO2022032666A1 (zh) 处理图像的方法和相关装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18761743

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18761743

Country of ref document: EP

Kind code of ref document: A1