WO2005125208A1 - 監視装置および車両周辺監視装置 - Google Patents

監視装置および車両周辺監視装置 Download PDF

Info

Publication number
WO2005125208A1
WO2005125208A1 PCT/JP2005/009771 JP2005009771W WO2005125208A1 WO 2005125208 A1 WO2005125208 A1 WO 2005125208A1 JP 2005009771 W JP2005009771 W JP 2005009771W WO 2005125208 A1 WO2005125208 A1 WO 2005125208A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
moving object
parameter
monitoring device
detection
Prior art date
Application number
PCT/JP2005/009771
Other languages
English (en)
French (fr)
Inventor
Kunio Nobori
Masaki Sato
Kazufumi Mizusawa
Hirofumi Ishii
Original Assignee
Matsushita Electric Industrial Co., Ltd.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co., Ltd. filed Critical Matsushita Electric Industrial Co., Ltd.
Priority to EP05743841A priority Critical patent/EP1641268A4/en
Priority to JP2005518942A priority patent/JP3833241B2/ja
Priority to EP10154118.3A priority patent/EP2182730B1/en
Publication of WO2005125208A1 publication Critical patent/WO2005125208A1/ja
Priority to US11/326,922 priority patent/US7512251B2/en
Priority to US12/267,829 priority patent/US7693303B2/en
Priority to US12/704,738 priority patent/US7916899B2/en

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/302—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing combining image information with GPS information or vehicle data, e.g. vehicle speed, gyro, steering angle data
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/607—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/802—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying vehicle exterior blind spot views
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/806—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for aiding parking
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8086—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for vehicle path indication

Definitions

  • the present invention relates to image recognition for detecting a moving object in an image, and more particularly, to a technique for realizing both generation of a composite image according to a shooting situation and detection of a moving object in the image. It is about.
  • Conventional technologies for a peripheral monitoring device include a technology for detecting a moving object or an obstacle that hinders driving from an image around the vehicle taken by a camera mounted on the vehicle, and a surrounding condition of the vehicle. There is a technology for displaying an image as an image including a moving object or an obstacle.
  • a moving object approaching the vehicle is detected from an image taken around the vehicle using an optical flow, which is a temporal movement in the image.
  • an optical flow which is a temporal movement in the image.
  • a technique for detecting a moving object or an obstacle from an image of the periphery of a vehicle and detecting a moving object or an obstacle from a viewpoint different from an image captured approximately There is one that generates and displays a composite image viewed from the side.
  • Patent Documents 3 to 5 See, for example, Patent Documents 3 to 5).
  • a road surface region and an obstacle region other than the road surface are obtained from an input image obtained by photographing the periphery of a vehicle as shown in FIG. 16 (b).
  • the road surface area is subjected to a process of transforming it into an image looking down from the upward force, and the obstacle region is enlarged and reduced to an appropriate size, and superimposed and synthesized. Is displayed.
  • Patent Document 1 Japanese Patent No. 3011566
  • Patent Document 2 Japanese Patent Application Laid-Open No. 2004-56763
  • Patent Document 3 JP-A-07-186833
  • Patent Document 4 Japanese Patent Application Laid-Open No. 06-333200
  • Patent Document 5 JP-A-11-78692
  • the problem of the calculation load can be said to be a relatively small problem when a process with a large calculation load is used for moving object detection. This is a particularly serious problem when processing with a small computational load is assumed, such as the generation of a file.
  • the present invention provides a monitoring apparatus that receives camera images captured by a plurality of cameras as inputs and generates a composite image indicating the state of a monitoring area and detects a moving object with a small calculation.
  • An object of the present invention is to make it executable by a load and to easily detect a moving object or the like in the shooting range of a plurality of cameras.
  • the present invention relates to a monitoring device that receives camera images captured by a plurality of cameras as inputs.
  • An image synthesizing unit for synthesizing a camera image and generating a synthetic image indicating a situation of a monitoring area; And a moving object detection unit that detects a moving object region in which a moving object is presumed to exist in the generated composite image.
  • the detection of the moving object area is performed in the synthesized image indicating the state of the monitoring area synthesized from the camera image. For this reason, the detection result is calculated based on the pixel coordinate values of the composite image, and coordinate display is not required when displaying the detection result, so that the calculation load is small.
  • moving images are detected after combining camera images captured by multiple cameras into a single composite image, moving objects that span the shooting range of multiple cameras and objects near camera boundaries can be easily detected. Can be detected.
  • the monitoring device stores a plurality of image compositing parameters representing a correspondence relationship between a camera image and a composite image, and a plurality of detection parameters defining a specification of moving object detection.
  • a parameter selection unit that selects one from a plurality of image synthesis parameters and a plurality of detection parameters stored in the parameter storage unit, respectively, wherein the image synthesis unit selects the parameter.
  • the moving object detection unit operates according to the image synthesis parameter selected by the unit, and the moving object detection unit operates according to the detection parameter selected by the parameter selection unit.
  • FIG. 1 is a block diagram showing a configuration of a vehicle periphery monitoring device according to each embodiment of the present invention.
  • FIG. 2 (a) is an example of camera installation and shooting conditions in each embodiment
  • FIGS. 2 (b) and 2 (c) are examples of images of the camera shown in FIG. 2 (a).
  • FIG. 3 is a diagram showing an example of image composition parameters in the first embodiment of the present invention.
  • FIG. 4 is an example of a composite image having a different composition.
  • FIG. 5 is an example of a parameter selection rule according to the first embodiment of the present invention.
  • FIG. 6 (a) is an example of an area division in moving object detection
  • FIG. 6 (b) is an example of a composite display image displaying a moving object area.
  • FIG. 7 is an example of a combined display image according to a first operation example in the first embodiment of the present invention.
  • FIG. 8 is an example of a composite display image according to the second operation example in the first embodiment of the present invention.
  • FIG. 9 is an example of a parameter selection rule according to the second embodiment of the present invention.
  • FIG. 10 is an example of a composite display image according to an operation example in the second embodiment of the present invention.
  • FIG. 11 is a view for explaining an example of the image synthesis parameters according to the third embodiment of the present invention.
  • FIG. 12 is a diagram for explaining another example of the image synthesis parameter according to the third embodiment of the present invention.
  • FIG. 13 is a diagram illustrating an example of a combined display image according to the fourth embodiment of the present invention.
  • FIG. 14 is a diagram illustrating an example of a combined display image according to the fourth embodiment of the present invention.
  • FIG. 15 is a configuration diagram when the monitoring device of the present invention is configured using a computer.
  • FIG. 16 is a diagram showing an example of a configuration and an image of a peripheral monitoring device according to a conventional technology.
  • an image combining device that combines the camera images to generate a combined image indicating the state of the monitoring area.
  • a moving object detection unit that detects a moving object area in which a moving object is presumed to be present in the composite image.
  • a parameter for storing a plurality of image synthesis parameters representing a correspondence relationship between a camera image and a composite image, and a plurality of detection parameters for defining moving object detection specifications A storage unit, and a parameter selection unit that selects one from a plurality of image synthesis parameters and a plurality of detection parameters stored in the parameter storage unit, wherein the image synthesis unit is selected by the parameter selection unit.
  • the monitoring apparatus according to the first aspect, wherein the monitoring apparatus operates in accordance with the image synthesis parameters thus set, and wherein the migration detecting unit operates in accordance with the detection parameters selected by the parameter selecting unit.
  • the plurality of cameras are installed on a moving body, and the parameter selection unit performs the parameter selection according to the situation of the moving body according to the second aspect. provide.
  • the monitoring apparatus according to the third aspect, wherein the parameter selection unit performs parameter selection in consideration of a detection result by the moving object detection unit.
  • the parameter selection unit performs the parameter selection in consideration of the currently selected image combining parameter.
  • the parameter selecting section determines whether or not the selected image combining parameter corresponds to the portion corresponding to the moving object area.
  • a fourth aspect of the present invention provides a monitoring apparatus in which a change is made to refer to only one field of a camera image and output.
  • the parameter selection unit performs the change on the moving object area and also on a portion corresponding to the surrounding area. You.
  • the parameter selection unit selects a detection parameter defining stop of detection of a moving object when the moving object is moving.
  • the parameter selection unit according to the second aspect, wherein, when the selection of the image synthesizing parameter is changed, the detection parameter that defines stopping the detection of the moving object for a predetermined time is selected.
  • the parameter selection unit stops changing the image synthesis parameter for a predetermined time when the selection of the image synthesis parameter is changed.
  • the moving object detection unit calculates a statistic of a pixel value for each of the small regions that are obtained by dividing the synthesized image, and determines a small change in the statistic over time that exceeds a predetermined value.
  • the monitoring device which specifies an area as the moving object area, is provided.
  • the plurality of image synthesis parameters include a weight assigned to each pixel value of a camera image used for image synthesis, and the image synthesis unit is included in the image synthesis parameters.
  • An eleventh aspect of the present invention provides a monitoring apparatus that weights each pixel value by using the obtained weight and generates a composite image.
  • the weight assigned to each pixel value is relatively determined by the necessity of moving object detection in the composite image.
  • a monitoring device according to a twelfth aspect is provided which is set to have a relatively large value in a high region.
  • the weight given to each pixel value is a temporal change in the statistic of the pixel value when the same subject moves.
  • the weight assigned to each pixel value is set to be relatively small in an area where a subject of the same size is relatively large in the composite image. Provide equipment.
  • At least one of the plurality of image compositing parameters stored in the parameter storage unit assumes that the subject in the camera image exists on a road surface plane, and Provided is a monitoring device according to a second aspect, which is for generating a composite image obtained by photographing a plane with a virtual viewpoint.
  • a vehicle periphery monitoring device that monitors the periphery of the vehicle using camera images captured by a plurality of cameras installed in the vehicle, a plurality of camera images and a composite image
  • a parameter storage unit that stores an image synthesis parameter representing a correspondence relationship between the plurality of image synthesis parameters stored in the parameter storage unit according to a situation of the vehicle; and a parameter selection unit that selects one from a plurality of image synthesis parameters stored in the parameter storage unit.
  • An image synthesizing unit that synthesizes the camera images in accordance with the image synthesizing parameter selected by the parameter selecting unit to generate a synthetic image indicating a situation around the vehicle; and estimates that a moving object exists in the synthetic image.
  • a moving object detection unit for detecting a moving object area to be detected.
  • FIG. 1 is a block diagram showing a configuration of a vehicle periphery monitoring device as a monitoring device according to a first embodiment of the present invention.
  • reference numeral 101 denotes a camera that captures a moving image and outputs a video signal
  • 102 denotes an AZD variable that digitally converts the video signal
  • 103 denotes a frame that temporarily stores the digitally processed image data. Memory. It is assumed that the camera 101 is installed on the vehicle body so as to photograph the periphery of the vehicle as a moving body.
  • the frame memory 103 continuously stores image data output from the AZD translator 102, and simultaneously reads arbitrary pixel data of the image stored immediately before in response to a read request from the image synthesizing unit 104. Is possible.
  • Reference numeral 104 denotes an image combining unit that combines the camera images read from the frame memory 103 to generate a combined image indicating the state of the monitoring area including the periphery of the vehicle, and 105 denotes a combined image output from the image combining unit 104. Detects a moving object area where a moving object is presumed to exist. Moving object detection unit. When detecting the moving object area, the moving object detection unit 105 superimposes the graphics on the corresponding area on the composite image and outputs the resultant as a composite display image.
  • Reference numeral 106 denotes a DZA conversion for converting the composite display image output from the moving object detection unit 105 into a video signal, and 107 denotes a display for displaying the video signal. It is assumed that the display 107 is installed at a place where the driver of the vehicle can observe.
  • 110 is a parameter storage unit that stores a plurality of image synthesis parameters and a plurality of detection parameters
  • 109 is a parameter storage unit that selects one from the plurality of image synthesis parameters stored in the parameter storage unit 110 and performs a plurality of detections.
  • This is a parameter selection part that selects one from the parameters.
  • the image synthesizing parameter is a parameter indicating the correspondence between the camera image and the synthetic image, and is used for image synthesis in the image synthesizing unit 104.
  • the detection parameter is a parameter that specifies the specification of moving object detection, such as a threshold value for detecting a moving object, and is used by the moving object detection unit 105 to detect a moving object.
  • the image synthesizing unit 104 reads the camera image from the frame memory 103 and synthesizes the images according to the image synthesizing parameters selected by the parameter selecting unit 109, and the moving object detecting unit 105 is selected by the parameter selecting unit 109.
  • the moving object detection operation is performed according to the detection parameter.
  • Reference numeral 108 denotes a vehicle condition detection unit that detects the condition of the vehicle.
  • the outputs of sensors such as a vehicle speed sensor and a steering angle sensor that detect the speed and the moving direction of the vehicle, and an induction key
  • One or more of the states of switches operated by the user such as a shift lever and a blinker, are input and output to the parameter selection unit 109 as vehicle conditions.
  • the parameter selection unit 109 performs parameter selection according to the vehicle status output from the vehicle status detection unit 108. As described later, at the time of parameter selection, the detection result by the moving object detection unit 105 or the currently selected image synthesis parameter may be tasted.
  • FIG. 2 (a) shows an example of camera installation and shooting conditions.
  • the four cameras 1 to 4 are installed on the vehicle body so as to photograph the area around the vehicle 1.
  • the cameras 1 to 4 in FIG. 2 correspond to the plurality of cameras 101 in FIG. 1, and the components other than the camera 101 in FIG. Camera 1 and Camera 2 are installed so that the rear of the vehicle can be photographed over a wide area.
  • FIGS. 2B and 2C are examples of images taken by camera 1 and camera 2, respectively.
  • the camera 1 shows another vehicle 2 traveling behind the host vehicle 1. Images such as those shown in FIGS. 2B and 2C are digitized and stored in the frame memory 103.
  • FIG. 3 is a diagram showing an example of the image synthesis parameters stored in the parameter storage unit 110.
  • FIG. 3 (d) When the composite image of FIG. 3 (c) is generated from the input images of FIGS. 3 (a) and 3 (b) (the same as FIGS. 2 (b) and 2 (c)), as shown in FIG. Image composition parameters are used.
  • the image composition parameters in FIG. 3 (d) are expressed as a two-dimensional array corresponding to each pixel of the composite image on a one-to-one basis. Each element of the two-dimensional array is configured by a camera number, a pixel coordinate (here, an X coordinate and a Y coordinate) of an input image, and a weight for a pixel value.
  • a pixel coordinate here, an X coordinate and a Y coordinate
  • FIG. 4 is an example of a composite image generated from a camera image in the shooting situation of FIG. 2A according to image composition parameters.
  • (a) is a composite image (composition A) displaying the entire periphery of the vehicle 1 in a wide range
  • (b) is a composite image displaying the rear of the vehicle 1 (composition B)
  • (c) is a composite image.
  • a composite image (composition C) displaying the front of the vehicle 1 and a composite image (composition D) displaying the vicinity of the rear of the vehicle 1 are shown.
  • a composite image having a different composition can be generated from the same camera image by using different image composition parameters.
  • FIG. 4 a plurality of images photographed from different camera positions are used to separate A composite image such as a single image captured from the viewpoint is generated.
  • the image composition parameters for generating such a composite image may be obtained as follows, for example. In other words, assuming that the road surface is a single plane and that the subjects in the camera images captured by the multiple cameras are all on the same plane, the positional relationship between the multiple cameras and the road surface is known. , The correspondence between the camera image and the composite image is calculated. As a result, it is possible to obtain an image combining parameter for generating a combined image as shown in FIG.
  • FIG. 5 is an example of a parameter selection rule in the parameter selection unit 109.
  • the composite image parameters A, B, C, and D corresponding to the compositions A to D are stored in advance in the parameter storage unit 110 as the image composite parameters. It is assumed that In addition, it is assumed that “operation” for executing moving object detection and “stop” for stopping moving object detection are stored in advance in the parameter storage unit 110 as detection parameters.
  • vehicle condition detecting section 108 outputs the vehicle speed and the state of the shift lever as the vehicle condition. That is, the parameter selection unit 109 selects an image synthesis parameter and a detection parameter according to FIG. 5 according to the vehicle speed and the state of the shift lever. For example, when the vehicle speed is “stop” and the shift lever state is “P” (parking) or “N” (neutral), “A” is used as the image synthesis parameter and “operation” is used as the detection parameter. Are selected respectively.
  • the image synthesizing unit 104 inputs the image synthesizing parameters selected by the parameter selecting unit 109, sequentially reads out camera images corresponding to each element of the image synthesizing parameters from the frame memory 103, and generates a synthetic image. . This operation is repeatedly performed every 1Z30 seconds, and the generated composite images are sequentially output.
  • the moving object detection unit 105 inputs the detection parameters selected by the parameter selection unit 109, and when the detection parameter power S is “operation”, inputs the synthesized image output from the image synthesis unit 104 every 1Z30 seconds. Then, the moving object area in the composite image is detected.
  • the moving object detection unit 105 detects the moving object based on the time change of the statistic of the pixel value. Do. Here, it is assumed that the average value of the luminance is used as the statistic of the pixel value. Then, an area in which the temporal change of the average value of the luminance is large is detected as a moving object area.
  • the moving object detection unit 105 divides the synthesized image into small areas, calculates an average value of luminance for each of the divided small areas, and temporarily stores the average value. Then, for each small area, the immediately preceding composite image (here, 1Z30 seconds ago) is compared with the average luminance value, and when the difference is larger than a predetermined threshold, the small area is a moving object area. Judge that there is. Then, the graphics are superimposed and synthesized at the position of the moving object area on the synthesized image and output as a synthesized display image. The moving object detection unit 105 repeatedly executes such an operation every 1Z30 seconds.
  • FIG. 6 (a) shows an example of the area division in the moving object detection.
  • the small area includes eight blocks in the horizontal direction (horizontal direction in the figure) and six blocks in the vertical direction (vertical direction in the figure), for a total of 48 blocks.
  • the composite image is divided into two parts.
  • Fig. 6 (b) is an example of a composite display image, in which graphics of wavy lines surrounding the area are superimposed on a small area (lower left in the figure) detected as a moving object area.
  • the composite display image output from moving object detection unit 105 is converted into a video signal by DZA conversion 106, and displayed on display 107.
  • the parameter selection unit 109 selects “A” as the image synthesis parameter and “operation” as the detection parameter according to FIG.
  • the image synthesizing unit 104 generates a synthesized image of the composition A (FIG. 4A) according to the image synthesizing parameter A, and the moving object detecting unit 105 detects a moving object according to the detection parameter.
  • the moving object detecting unit 105 determines that the temporal change of the average luminance value is a predetermined value.
  • a small area exceeding the value is detected as a moving object area, and a composite display image as shown in Fig. 7 (a) is output. Further, as the other vehicle 2 moves forward, a composite display image as shown in FIGS. 7B and 7C is output.
  • the driver moves the shift lever.
  • the parameter selection unit 109 changes the selection of the image composition parameter from “A” to “B” according to FIG.
  • the composition ability of the composite image generated by the image composition unit 104 is changed from composition A to composition B.
  • the moving object detection unit 105 detects a moving object in the composite image of the composition B.
  • a composite display image as shown in FIGS. 8B and 8C is output.
  • the situation around the vehicle is easy to grasp, and the moving object area is emphasized by graphics. For this reason, there is an advantage that the driver can easily grasp the existence of a moving object having a high possibility of collision or the like, compared to a case where the original camera image is directly observed.
  • the camera image In a composite image generated assuming that the subject exists on the road surface plane and assuming that the road surface plane has been photographed from a virtual viewpoint, at least even if the plurality of camera images with different photographing positions are used, at least the subject is photographed.
  • the part in contact with the road surface does not exist or disappear. Therefore, when detecting a moving object around the vehicle using such a composite image, even if the moving object straddles the boundary of the shooting range of the camera, it may be detected or disappeared twice. There is no advantage.
  • a vehicle speed and a shift lever state are used as vehicle conditions, and parameter selection is performed according to a rule as shown in Fig. 5.
  • the vehicle conditions are not limited to those shown here.
  • the vehicle status used for selecting a parameter may be any information as long as it is related to an image synthesis parameter or a detection parameter.
  • the vehicle periphery monitoring device is configured as shown in FIG. 1 similarly to the first embodiment.
  • the difference from the first embodiment is that in the first embodiment, the parameter selection is performed according to the vehicle situation, whereas in the present embodiment, the moving object detection unit 105 Parameter selection in consideration of the detection result of the above and the currently selected image synthesis parameter.
  • Each component other than the name selection unit 109 performs the same operation as in the first embodiment.
  • FIG. 9 is an example of a parameter selection rule in the present embodiment.
  • the evaluation area in the “moving object detection status for each evaluation area” refers to an area defined to reflect the result of moving object detection in parameter selection.
  • FIG. 9B shows an example of the setting of the evaluation area.
  • the small area of 48 blocks described in the first embodiment is grouped into four medium areas (evaluation areas 1 to 4).
  • the detection result is replaced with the presence or absence of detection in each evaluation area shown in FIG. 9 (b). For example, when any one of the 12 blocks of small areas corresponding to “evaluation area 1” is determined to be a moving object area, it is expressed as being detected in evaluation area 1.
  • the evaluation area setting is not limited to the one shown in FIG. 9 (b), and the number of evaluation areas is not limited to four. For example, each small area may be used as it is as an evaluation area.
  • the parameter selection unit 109 selects “A” as the image synthesis parameter and “stop” as the detection parameter.
  • the image combining unit 104 outputs the combined image of the composition A (FIG. 4A), and the moving object detecting unit 105 does not execute the moving object detection.
  • the parameter selection unit 109 performs image synthesis in accordance with the selection rule of FIG. 9A. Leave the parameter as “A” and select “Operation” as the detection parameter.
  • the moving object detection unit 105 detects a small area corresponding to the other vehicle 2 as a moving object region, and generates a composite image as shown in FIG. Output the display image.
  • information on the evaluation area to which the detected moving object area belongs here, evaluation areas 1 and 2) is output to the parameter selector 109 as a detection result.
  • the parameter selection unit 109 receives the detection result from the moving object detection unit 105, and receives information indicating that a moving object has been detected in the evaluation area 1, the own vehicle is “stopped”, and the shift lever is “P”. "B" is newly selected as an image composition parameter from the information described above and output. The detection parameter remains “Operation”.
  • the image composition unit 104 outputs a composite image of the composition B (FIG. 4B) according to the image composition parameter B, and the moving object detection unit 105 detects a moving object in the composite image of the composition B. At this time, a small area corresponding to the other vehicle 2 is detected as a moving object area, and a combined display image as shown in FIG.
  • the evaluation area 1 is output to the parameter selection unit 109 as a detection result.
  • the parameter selection unit 109 determines that a moving object has been detected in the evaluation area 1. And information of “Stop” for the vehicle and “R” for the shift lever, select and output a new “D” as an image composition parameter. The detection parameter remains “operation”.
  • the image synthesizing unit 104 outputs a composite image of the composition D (FIG. 4 (d)) according to the image synthesizing parameter D, and the animal migration detecting unit 105 detects a moving object in the composite image of the composition D. As a result, a composite display image as shown in FIG. 10 (c) is output.
  • Such processing of selecting the next image synthesis parameter in consideration of the detection result of the moving object detection and the current image synthesis parameter is performed when the moving object area on the synthesized image is located near the own vehicle 1.
  • the following image composition parameters can be selected according to where the moving object is detected around the own vehicle 1, and a composite display suitable for both the vehicle situation and the surrounding moving object situation can be selected. Images can be presented.
  • parameters are selected in accordance with a combination of the vehicle situation, the moving object detection result, and the current image composition parameter. Therefore, a more appropriate parameter is selected according to the situation around the vehicle. Forces that enable display of composite images and detection of moving objects In the moving object detection process and the detection result display process in the moving object detection unit 105, new computational loads such as coordinate transformation and parameter changes occur. T
  • the moving object detection result and the current image synthesis parameters are added as criteria for selecting a parameter. Also, it is possible to present a synthesized display image more suitable for the situation of a moving object around the vehicle.
  • the rule for executing parameter selection according to the rule as shown in FIG. 9A is not limited to the rule shown here. Any selection rules! /.
  • the vehicle periphery monitoring device is configured as shown in FIG. 1 similarly to the first embodiment.
  • the difference from the first embodiment is that in the first embodiment, the weights of the respective elements in the image composition parameters are all uniform, whereas in the present embodiment, at least one of the plurality of image composition parameters is used.
  • One is that the accuracy of moving object detection in a composite image is controlled by setting the weight value.
  • the operation of each component is the same as in the first or second embodiment.
  • the composite image in FIG. 11 (a) is the same as the composition A in FIG. 4 (a). That is, the image composition parameters used in the image composition here are the same as the image composition parameter A with respect to the camera number and the coordinate value of the camera image.
  • the value of the weight is not uniform, and is different from the image composition parameter A in that a different value is set as the weight depending on the region of the composite image.
  • 1.0 is set as the weight for the central part of the composite image
  • 0.7 is set for the peripheral part of the composite image.
  • the image combining unit 104 When the image combining parameter of FIG. 11 (b) is selected by the parameter selector 109, the image combining unit 104 generates a combined image as shown in FIG. 11 (c).
  • the composition In Fig. 11 (c), the composition is the same as in Fig. 11 (a), but the brightness at the center with a weight of 1.0 remains the same and the brightness at the periphery with a weight of 0.7 is relatively dark. I'm familiar.
  • the moving object detection unit 105 detects a moving object using the synthetic image as shown in FIG. 11C and the time change of the luminance as an evaluation criterion, the luminance is low in the peripheral part where the luminance is dark. Since the time change is relatively small, the sensitivity of moving object detection is lower than that at the center. In other words, by changing the value of the weight in the image composition parameter, the detection sensitivity in moving object detection can be changed for each area of the composite image. For example, as shown in Fig. 11 (a), a composite image is suitable for displaying a wide range as shown in Fig. 11 (a) .If moving objects can be detected only around the vehicle 1 in the center, Fig.
  • the weight assigned to each pixel value is set to a relatively large value in a region in the composite image where the need for moving object detection is relatively high. It is set so that
  • the composite image in FIG. 12 (a) is based on the composition E as viewed obliquely from behind the vehicle in the situation of FIG. 2 (a).
  • the size of the same subject may be different depending on the position on the composite image.
  • the size reflected in the image changes depending on the positional relationship with the own vehicle 1, i.e., the position on the composite image. The closer the image is, the larger the image is.
  • the detection sensitivity differs depending on the position of the same moving object in the combined image. That is, the detection sensitivity increases as the position is larger, and the detection sensitivity decreases as the position is smaller. Therefore, the detection sensitivity of the moving object detection is not uniform.
  • the composite image is changed according to the difference in size when the subject is reflected in the composite image. What is necessary is just to change the value of the parameter weight. That is, the weight given to each pixel value may be set to be a relatively small value in a region where a subject of the same size appears relatively large in the composite image.
  • FIG. 12B shows an example of setting such weights.
  • the weight is set higher in the region where the object is smaller, ie, the upper region in FIG. 12 (a), and the weight is set smaller in the region where the object is larger, ie, the lower region. ing.
  • a temporal change in the statistic of the pixel value when the same subject moves does not depend on the position where the subject appears in the composite image.
  • the weight assigned to each pixel value of the image composition parameter is set so that it is constant. It is a good place to set.
  • the accuracy of moving object detection can be controlled by setting the weight value in the image composition parameter, and thus the processing load on the image composition unit and the moving object detection unit It is possible to adjust the detection sensitivity of moving object detection for each area of the synthesized image without increasing the number of moving objects.
  • the image synthesis parameters are changed so that a part corresponding to the moving object area refers to only one field of the camera image. I do. As a result, the image quality of the image of the moving object area can be further improved.
  • the vehicle periphery monitoring device is configured as shown in Fig. 1, similarly to the first embodiment.
  • the camera 101 performs interlace imaging
  • the frame memory 103 stores an interlace image.
  • the parameter selection unit 109 receives the vehicle status output from the vehicle status detection unit 108 and the detection result output from the moving object detection unit 105, and selects an image synthesis parameter and a detection parameter according to a predetermined selection rule. Select.
  • the operation of the other components is the same as in the above-described embodiment.
  • the parameter selection unit 109 changes and outputs a part of the coordinate values of the camera image for the selected image synthesis parameter. I do. Specifically, the camera image coordinate value of each element corresponding to the position of the detected moving object area is read from the selected image combining parameter, and the Y coordinate value thereof is read. (Vertical direction coordinate values) so that they are all odd numbers and output.
  • the image synthesizing unit 104 generates a synthesized image according to the image synthesizing parameters thus changed.
  • FIG. 13 (a) is an example of an input image for one frame captured by the camera 1 for interlaced imaging in the situation of FIG. 2 (a).
  • the diagram on the right side of FIG. 13A is an enlarged view of the edge portion of the other vehicle 2 that is moving.
  • interlaced imaging imaging is performed at different timings for each field. Therefore, when observed as an image of one frame (two fields), the moving object in the image has a comb-like displacement as shown in the right figure of FIG. 13 (a). An accompanying image is obtained.
  • FIG. 13 (b) is an example of the composite image of the above-described composition E generated using the frame image of FIG. 13 (a) as it is.
  • 13B is an enlarged view of the edge portion of the other vehicle 2, and is an image in which the comb-like displacement in the frame image has been deformed.
  • Such an image when observed as a moving image, causes image quality deterioration such as a flickering feeling and a grainy feeling.
  • FIG. 13 (c) is an example of a synthesized image generated according to the image synthesis parameters thus changed.
  • image synthesis is performed using only the odd-numbered fields of the camera image. Therefore, the image quality due to the comb-like displacement shown in FIG. No reduction has occurred, and a good composite image has been obtained.
  • the present embodiment when a moving object area is detected, only one field of the camera image is referred to for a portion corresponding to the moving object area for the selected image composition parameter.
  • the image quality due to the comb-like shift in the composite image. Reduction can be suppressed.
  • the image composition parameters are changed so that the Y coordinate values of the camera image are all odd numbers.
  • image synthesis is performed using only the even-numbered fields of the camera image.
  • the image compositing parameters are changed for a portion corresponding to the moving object area, and the changed image compositing parameters are used.
  • the image compositing parameters are used.
  • FIG. 14A shows an example of such processing.
  • the image synthesis parameters are changed so that the image synthesis using only one field of the camera image is performed for the area AR including the moving object area and the surrounding area.
  • the area AR for example, a range of about one block of the moving object area and its surrounding small area may be set.
  • the number of cameras is four, and the installation position and the photographing range are as shown in FIG. It is not limited.
  • the plurality of cameras and the periphery monitoring device do not limit the form of a power vehicle that is installed in a vehicle, particularly a four-wheeled passenger car. Further, the present invention can be applied to moving objects other than vehicles, such as robots.
  • the present invention is also applicable to uses other than monitoring the periphery of a moving object.
  • image synthesis and moving object detection may be performed using a camera fixed at a store or the like.
  • the image synthesis parameter is selected according to the vehicle situation, but may be fixed, or may be automatically changed over time, for example.
  • the time change of the average value of the luminance is used for detecting the moving object, but the evaluation index for detecting the moving object is limited to the luminance average. Any value may be used as long as it is a statistic of a pixel value other than the above. For example, the variance of a specific color component of RGB may be used.
  • the number of blocks in the small area is not limited to 48 blocks.
  • the moving object when the selection of the image synthesis parameter is changed, the moving object may not be detected for a predetermined time after the change.
  • the parameter selection unit 109 changes the selection of the image composition parameter
  • the parameter selection unit 109 selects a detection parameter that specifies that the detection of a moving object is stopped for a predetermined time.
  • the moving object is not detected immediately after the composition or the like of the composite image is changed, so that a malfunction in the detection of the moving object due to the change of the composite image can be avoided.
  • the image synthesis parameter when the selection of the image synthesis parameter is changed, the image synthesis parameter may not be changed for a predetermined time after the change. For example, when the parameter selection unit 109 changes the selection of the image composition parameter, the change of the image composition parameter is stopped for a predetermined period. As a result, the image composition parameter does not change frequently, so that it is possible to prevent a decrease in the visibility of the display image that occurs when the image synthesis parameter frequently changes.
  • the detection parameter is only two types of information, "operation” and "stop", but the detection parameter is not limited to this.
  • moving object detection requires various parameters, and a plurality of detection parameters including these parameters may be stored according to the composition of a composite image. Further, for example, a threshold value set for each small area may be stored as a detection parameter.
  • each component may be realized by individual hardware, or may be housed in a single IC or the like. Also, each component may be realized by software executed by a computer (CPU 201, ROM 202, RAM 203, etc.) using a computer having an image input / output function as shown in FIG.
  • the present invention generation of a composite image according to a shooting situation and detection of a moving object in the image can be performed together, so that the present invention is useful, for example, as an in-vehicle peripheral monitoring device or a security monitoring device. is there.
  • it is useful as a monitoring device that presents, as an image, an area where a moving object exists, from images captured by a plurality of cameras.
  • the power of images captured by a plurality of cameras can also be applied to applications such as detecting moving objects.

Description

明 細 書
監視装置および車両周辺監視装置
技術分野
[0001] 本発明は、画像中の移動物を検出する画像認識に関するものであり、特に、撮影 状況に応じた合成画像の生成と、画像中の移動物検出とを、併せて実現する技術に 関するものである。
背景技術
[0002] 従来の周辺監視装置のための技術として、車両に設置されたカメラで撮影した車両 周辺の画像から、運転の支障となる移動物や障害物を検出する技術、および、車両 の周辺状況を移動物や障害物を含む画像として表示する技術があった。
[0003] 車両周辺監視のための移動物検出技術の例としては、車両の周辺を撮影した画像 から、画像中の時間的な動きであるオプティカルフローを用いて、車両に接近する移 動物を検出するものがあった (例えば特許文献 1および 2参照)。例えば特許文献 1 では、車両後方に向けて設置したカメラの映像を入力として、画像を水平方向に分 割した複数の領域を設定し、それぞれの領域内で、所定の閾値以上の大きさを持ち 、かつ、接近物を仮定したときの画像上の動きと同一の方向を持つオプティカルフロ 一を抽出して、このオプティカルフローに基づいて、接近物を判別する。
[0004] また、車両の周辺状況を画像として表示する技術の例としては、車両の周辺を撮影 した画像から移動物や障害物を検出した上で、近似的に撮影された画像とは異なる 視点から見た合成画像を生成して表示するものがあった。（例えば特許文献 3〜5参 照)。例えば特許文献 3では、図 16 (a)のような構成の装置を用いて、図 16 (b)のよう な車両周辺を撮影した入力画像から、路面の領域と路面以外の障害物の領域を分 離したのち、路面領域については上方力 見下ろした画像となるよう変形する処理を 、障害物の領域は適当な大きさに拡大縮小する処理を、それぞれ施して重畳合成し 、図 16 (c)のような合成画像を表示する。
特許文献 1 :特許第 3011566号公報
特許文献 2：特開 2004— 56763号公報 特許文献 3 :特開平 07— 186833号公報
特許文献 4：特開平 06 - 333200号公報
特許文献 5：特開平 11― 78692号公報
発明の開示
発明が解決しょうとする課題
[0005] ところが、上述したような従来の移動物や障害物を検出する技術、および、車両の 周辺状況を表示する技術では、次のような問題があった。
[0006] 第 1に、カメラ画像を入力として移動物等の検出を行う場合、検出された移動物領 域は、入力画像の画素座標値を基準に算出される。このため、検出された移動物領 域を入力画像とは異なる合成画像に表示する場合、検出された移動物の画素座標 値を合成画像上の画素座標値に変換する必要が生じる。この結果、座標変換などの 計算負荷が大きくなつてしまう。
[0007] この計算負荷の問題は、移動物検出のために計算負荷の大きな処理を用いる場合 は、相対的に小さな問題といえるが、輝度変化を用いた移動物検出やテーブルを用 いた合成画像の生成など、計算負荷の小さい処理を前提とした場合は、特に大きな 問題となる。
[0008] 第 2に、従来の移動物等を検出する技術では、 1個の入力画像に対して検出処理 を行っている。このため、複数のカメラで撮影された複数の動画像を入力として移動 物等の検出処理を行う場合には、カメラの撮影範囲の境界付近に存在する物体や、 複数のカメラの撮影範囲にまたがって移動する物体などを検出することが、困難にな る。
[0009] 前記の問題に鑑み、本発明は、複数のカメラによって撮影されたカメラ画像を入力 とする監視装置において、監視領域の状況を示す合成画像の生成と移動物の検出 とを、小さい計算負荷によって実行可能にし、かつ、複数のカメラの撮影範囲にまた 力 ¾ような移動物なども、容易に検出可能にすることを課題とする。
課題を解決するための手段
[0010] 本発明は、複数のカメラによって撮影されたカメラ画像を入力とする監視装置として
、カメラ画像を合成して、監視領域の状況を示す合成画像を生成する画像合成部と 、生成された合成画像において、移動物が存在すると推定される移動物領域を検出 する移動物検出部とを備えたものである。
[0011] この発明〖こよると、移動物領域の検出は、カメラ画像カゝら合成された、監視領域の 状況を示す合成画像において、行われる。このため、検出結果は、合成画像の画素 座標値を基準に算出され、検出結果を表示する際にも座標変換などが不要となるこ とから、計算負荷が小さくてすむ。さらに、複数のカメラによって撮影されたカメラ画像 を 1つの合成画像にまとめた上で、移動物検出を行うので、複数のカメラの撮影範囲 にまたがった移動物や、カメラ境界付近の物体が、容易に検出可能になる。
[0012] そして、前記本発明に係る監視装置は、複数の、カメラ画像と合成画像との対応関 係を表す画像合成パラメタと、複数の、移動物検出の仕様を規定する検出パラメタと を記憶するパラメタ記憶部と、前記パラメタ記憶部に記憶された複数の画像合成パラ メタと複数の検出パラメタとからそれぞれ 1つを選択するパラメタ選択部とを備え、前 記画像合成部は、前記パラメタ選択部によって選択された画像合成パラメタに従って 動作するものであり、前記移動物検出部は、前記パラメタ選択部によって選択された 検出パラメタに従って動作するものであるのが好ましい。
[0013] これにより、様々な状況に応じた合成画像を生成することができ、また、生成された 合成画像において、様々な状況に応じた移動物検出を実行することが可能になる。 発明の効果
[0014] 本発明によると、計算負荷が小さぐ複数カメラの撮影範囲にまたがる移動物等の 検出が容易に可能な監視装置を、実現することができる。
図面の簡単な説明
[0015] [図 1]図 1は本発明の各実施形態に係る車両周辺監視装置の構成を示すブロック図 である。
[図 2]図 2 (a)は各実施形態におけるカメラ設置および撮影状況、図 2 (b) , (c)は図 2 (a)に示されたカメラの画像の例である。
[図 3]図 3は本発明の第 1の実施形態における画像合成パラメタの例を示す図である [図 4]図 4は構図が異なる合成画像の例である。 [図 5]図 5は本発明の第 1の実施形態におけるパラメタ選択ルールの一例である。
[図 6]図 6 (a)は移動物検出における領域区分の一例、図 6 (b)は移動物領域が表示 された合成表示画像の例である。
圆 7]図 7は本発明の第 1の実施形態における第 1の動作例による合成表示画像の 例である。
圆 8]図 8は本発明の第 1の実施形態における第 2の動作例による合成表示画像の 例である。
[図 9]図 9は本発明の第 2の実施形態におけるパラメタ選択ルールの一例である。
[図 10]図 10は本発明の第 2の実施形態における動作例による合成表示画像の例で ある。
圆 11]図 11は本発明の第 3の実施形態における画像合成パラメタの一例を説明する ための図である。
圆 12]図 12は本発明の第 3の実施形態における画像合成パラメタの他の例を説明 するための図である。
圆 13]図 13は本発明の第 4の実施形態における合成表示画像の例を示す図である 圆 14]図 14は本発明の第 4の実施形態における合成表示画像の例を示す図である 圆 15]図 15は本発明の監視装置をコンピュータを用いて構成した場合の構成図であ る。
[図 16]図 16は従来技術による周辺監視装置の構成および画像の例を示す図である 符号の説明
101 カメラ
102 AZD変^^
103 フレームメモリ
104 画像合成部
105 移動物検出部 106 DZA変
107 ディスプレイ
108 車両状況検出部
109 パラメタ選択部
110 パラメタ記憶部
発明を実施するための最良の形態
[0017] 本発明の第 1態様では、複数のカメラによって撮影されたカメラ画像を入力とする監 視装置として、前記カメラ画像を合成して監視領域の状況を示す合成画像を生成す る画像合成部と、前記合成画像において、移動物が存在すると推定される移動物領 域を検出する移動物検出部とを備えたものを提供する。
[0018] 本発明の第 2態様では、複数の、カメラ画像と合成画像との対応関係を表す画像合 成パラメタと、複数の、移動物検出の仕様を規定する検出パラメタとを記憶するパラメ タ記憶部と、前記パラメタ記憶部に記憶された複数の画像合成パラメタと複数の検出 パラメタとから、それぞれ 1つを選択するパラメタ選択部とを備え、前記画像合成部は 、前記パラメタ選択部によって選択された画像合成パラメタに従って動作し、前記移 動物検出部は、前記パラメタ選択部によって選択された検出パラメタに従って動作す る第 1態様の監視装置を提供する。
[0019] 本発明の第 3態様では、前記複数のカメラは移動体に設置されており、前記パラメ タ選択部は、前記移動体の状況に応じてパラメタ選択を行う第 2態様の監視装置を 提供する。
[0020] 本発明の第 4態様では、前記パラメタ選択部は、前記移動物検出部による検出結 果を加味してパラメタ選択を行う第 3態様の監視装置を提供する。
[0021] 本発明の第 5態様では、前記パラメタ選択部は、現在選択されて!ヽる画像合成パラ メタを加味して、ノ メタ選択を行う第 4態様の監視装置を提供する。
[0022] 本発明の第 6態様では、前記パラメタ選択部は、前記移動物検出部によって移動 物領域が検出されているとき、選択した画像合成パラメタについて、当該移動物領域 に対応する部分に対してカメラ画像の一方のフィールドのみを参照するように変更を 行い、出力する第 4態様の監視装置を提供する。 [0023] 本発明の第 7態様では、前記パラメタ選択部は、前記変更を、当該移動物領域に カロえて、その周辺領域に対応する部分に対しても行う第 6態様の監視装置を提供す る。
[0024] 本発明の第 8態様では、前記パラメタ選択部は、前記移動体が移動しているとき、 移動物検出の停止を規定した検出パラメタを選択する第 3態様の監視装置を提供す る。
[0025] 本発明の第 9態様では、前記パラメタ選択部は、画像合成パラメタの選択を変更し たとき、移動物検出を所定時間停止することを規定した検出パラメタを選択する第 2 態様の監視装置を提供する。
[0026] 本発明の第 10態様では、前記パラメタ選択部は、画像合成パラメタの選択を変更 したとき、画像合成パラメタの変更を所定時間停止する第 2態様の監視装置を提供 する。
[0027] 本発明の第 11態様では、前記移動物検出部は、合成画像を区分した小領域毎に 、画素値の統計量を算出し、当該統計量の時間変化が所定値を超えた小領域を、 前記移動物領域として特定するものである第 1態様の監視装置を提供する。
[0028] 本発明の第 12態様では、前記複数の画像合成パラメタは、画像合成に用いるカメ ラ画像の各画素値に付された重みを含み、前記画像合成部は、画像合成パラメタに 含まれた重みを用いて各画素値に重み付けを行 ヽ、合成画像を生成する第 11態様 の監視装置を提供する。
[0029] 本発明の第 13態様では、前記複数の画像合成パラメタのうち少なくとも 1つにおい て、各画素値に付された重みは、合成画像中の、移動物検出の必要性が相対的に 高い領域において、相対的に大きな値になるように、設定されている第 12態様の監 視装置を提供する。
[0030] 本発明の第 14態様では、前記複数の画像合成パラメタのうち少なくとも 1つにおい て、各画素値に付された重みは、同一被写体が移動した場合における画素値の統 計量の時間変化が、合成画像中で、一定になるように、設定されている第 12態様の 監視装置を提供する。
[0031] 本発明の第 15態様では、前記複数の画像合成パラメタのうち少なくとも 1つにおい て、各画素値に付された重みは、合成画像中の、同一サイズの被写体が相対的に大 きく映る領域において、相対的に小さな値になるように、設定されている第 14態様の 監視装置を提供する。
[0032] 本発明の第 16態様では、前記パラメタ記憶部が記憶する複数の画像合成パラメタ のうち少なくとも 1つは、カメラ画像中の被写体は路面平面上に存在するものと仮定し 、かつ、路面平面を仮想視点力 撮影した合成画像を生成するためのものである第 2 態様の監視装置を提供する。
[0033] 本発明の第 17態様では、車両に設置された複数のカメラによって撮影されたカメラ 画像を用いて前記車両の周辺を監視する車両周辺監視装置として、複数の、カメラ 画像と合成画像との対応関係を表す画像合成パラメタを記憶するパラメタ記憶部と、 前記車両の状況に応じて、前記パラメタ記憶部に記憶された複数の画像合成パラメ タから 1つを選択するパラメタ選択部と、前記パラメタ選択部によって選択された画像 合成パラメタに従って、前記カメラ画像を合成して、前記車両の周囲の状況を示す合 成画像を生成する画像合成部と、前記合成画像において、移動物が存在すると推定 される移動物領域を検出する移動物検出部とを備えたものを提供する。
[0034] 以下、本発明の実施の形態について、図面を参照して説明する。
[0035] (第 1の実施形態）
図 1は本発明の第 1の実施形態に係る監視装置としての車両周辺監視装置の構成 を示すブロック図である。図 1において、 101は動画像を撮影して映像信号を出力す るカメラ、 102は映像信号をデジタルィ匕する AZD変^^、 103はデジタルィ匕された 画像データを一時的に記憶するフレームメモリである。カメラ 101は、移動体としての 車両の周辺を撮影するように車体に設置されているものとする。フレームメモリ 103は 、 AZD変翻102から出力される画像データを連続して記憶すると同時に、画像合 成部 104からの読み出し要求に応じて、直前に記憶された画像の任意の画素データ を読み出すことが可能である。
[0036] 104はフレームメモリ 103から読み出したカメラ画像を合成して、車両周辺を含む監 視領域の状況を示す合成画像を生成する画像合成部、 105は画像合成部 104から 出力された合成画像において、移動物が存在すると推定される移動物領域を検出す る移動物検出部である。移動物検出部 105は、移動物領域を検出したとき、対応す る合成画像上の領域にグラフィックスを重畳して合成表示画像として出力する。 106 は移動物検出部 105から出力された合成表示画像を映像信号に変換する DZA変 翻であり、 107は映像信号を表示するディスプレイである。ディスプレイ 107は、車 両の運転者が観測できる場所に設置されているものとする。
[0037] また、 110は複数の画像合成パラメタおよび複数の検出パラメタを記憶するパラメタ 記憶部、 109はパラメタ記憶部 110に記憶された複数の画像合成パラメタから 1つを 選択するとともに、複数の検出ノ メタから 1つを選択するパラメタ選択部である。ここ で、画像合成パラメタは、カメラ画像と合成画像との対応関係を表すパラメタであって 、画像合成部 104における画像合成に用いられる。また、検出パラメタは、移動物を 検出する際のしきい値など移動物検出の仕様を規定するパラメタであって、移動物 検出部 105における移動物検出に用いられる。すなわち、画像合成部 104はパラメ タ選択部 109によって選択された画像合成パラメタに従って、フレームメモリ 103から カメラ画像を読み出し、画像合成を行い、移動物検出部 105はパラメタ選択部 109に よって選択された検出パラメタに従って、移動物検出の動作を行う。
[0038] 108は車両の状況を検出する車両状況検出部であって、例えば、車両の速度や移 動方向などを検出する車速センサや舵角センサなどのセンサ類の出力や、イダ-ッ シヨンキー、シフトレバー、ウィンカーなどのユーザーが操作するスィッチ類の状態の うち、いずれか 1つまたは複数を入力とし、車両状況としてパラメタ選択部 109に出力 する。パラメタ選択部 109は車両状況検出部 108から出力された車両状況に応じて 、ノ メタ選択を行う。なお、後述するように、パラメタ選択の際に、移動体検出部 10 5による検出結果や、現在選択されている画像合成パラメタを、カロ味してもよい。
[0039] 以上のように構成された車両周辺監視装置の動作について、図 2〜図 8を用いて 説明する。
[0040] カメラ 101は車両周辺を撮影して映像信号を出力し、 AZD変翻102は映像信 号をデジタルィ匕して画像として出力し、フレームメモリ 103はデジタルィ匕された画像を 一時的に記憶する。フレームメモリ 103の画像の記憶および更新は、カメラ 101から 出力される映像信号に同期して連続的に行われる。 [0041] 図 2 (a)はカメラ設置および撮影状況の例である。 4台のカメラ 1〜4は、自車両 1の 周辺を撮影するように車体に設置されている。図 2のカメラ 1〜4は、図 1の複数のカメ ラ 101に対応し、図 1のカメラ 101以外の構成要素は、自車両 1の車両内に設置され ている。カメラ 1およびカメラ 2は、車両後方を広い範囲で撮影できるように設置されて いる。図 2 (b)および (c)はそれぞれ、カメラ 1およびカメラ 2によって撮影された画像 の例である。図 2 (b)に示すように、カメラ 1によって自車両 1後方を走行する他車両 2 が映されている。フレームメモリ 103には、図 2 (b) , (c)のような画像がデジタル化さ れて記憶される。
[0042] 図 3はパラメタ記憶部 110に記憶された画像合成パラメタの一例を示す図である。
すなわち、図 3 (a) , (b)の入力画像（図 2 (b) , (c)と同一）から図 3 (c)の合成画像を 生成する場合に、図 3 (d)のような画像合成パラメタが用いられる。図 3 (d)の画像合 成パラメタは、合成画像の各画素に 1対 1に対応した 2次元配列として表現されてい る。 2次元配列の各要素は、入力画像のカメラ番号、画素座標（ここでは X座標、 Y座 標）および画素値に対する重みによって構成されている。図 3の例では、画像合成パ ラメタの座標 (xo, yo)に、「カメラ番号 = 1、座標 (Xil, Yil)、重み 1. 0」という情報が 格納されている。これは、合成画像の座標 (xo, yo)の画素値には、カメラ 1の画像の 座標 (Xil, Yil)の画素値を 1. 0倍した値を与える、ということを表している。このような 合成画像パラメタを用いることによって、複数のカメラ画像と合成画像との画素の対 応関係を記述することができる。なお、本実施形態では、各画像合成パラメタにおい て、重みは 1. 0で均一であるものとする。
[0043] 図 4は図 2 (a)の撮影状況におけるカメラ画像から、画像合成パラメタに従って生成 した合成画像の例である。同図中、（a)は自車両 1の全周囲を広い範囲で表示した 合成画像 (構図 A)、（b)は自車両 1の後方を表示した合成画像 (構図 B)、（c)は自 車両 1の前方を表示した合成画像 (構図 C)、 (d)は自車両 1の後方の近傍を表示し た合成画像 (構図 D)である。図 4に示すように、同一のカメラ画像から、互いに異なる 画像合成パラメタを用いることによって、構図が異なる合成画像を生成することができ る。
[0044] また、図 4では、異なるカメラ位置カゝら撮影された複数の画像を用いて、あた力ゝも別 の視点カゝら撮影された 1枚の画像のような合成画像が生成されている。このような合 成画像を生成するための画像合成パラメタは、例えば次のようにして求めればよい。 すなわち、路面が 1つの平面であり、かつ、複数のカメラで撮影されたカメラ画像中の 被写体が全て同一平面上に存在するものと仮定し、複数のカメラと路面との位置関 係が既知として、カメラ画像と合成画像との対応関係を計算する。これによつて、図 4 のような合成画像を生成するための画像合成パラメタを求めることができる。
[0045] なお、画像合成パラメタの構成や算出方法、画像合成方法に関しては、例えば、国 際公開第 00Z64175号パンフレットなどに詳しく記載されているため、ここでは詳細 な説明を省く。
[0046] 図 5はパラメタ選択部 109におけるパラメタ選択ルールの一例である。ここでは、画 像合成パラメタとして、構図 A〜D (図 4 (a)〜 (d) )にそれぞれ対応する合成画像パラ メタ A, B, C, Dが、ノ ラメタ記憶部 110に予め記憶されているものとする。また、検出 パラメタとして、移動物検出を実行する「動作」と、移動物検出を停止する「停止」とが 、ノ ラメタ記憶部 110に予め記憶されて 、るものとする。
[0047] またここでは、車両状況検出部 108は、車両速度とシフトレバーの状態とを車両状 況として出力する。すなわち、パラメタ選択部 109は、車両速度とシフトレバーの状態 に応じて、図 5に従って画像合成パラメタおよび検出パラメタを選択する。例えば、車 両速度が「停止」であり、シフトレバーの状態が「P」（パーキング)または「N」（ニュート ラル)であるとき、画像合成パラメタとして「A」が、検出パラメタとして「動作」が、それ ぞれ選択される。
[0048] 画像合成部 104は、パラメタ選択部 109によって選択された画像合成パラメタを入 力し、画像合成パラメタの各要素に対応するカメラ画像をフレームメモリ 103から順次 読み出して、合成画像を生成する。この動作は 1Z30秒ごとに繰り返し実行され、生 成された合成画像が順次出力される。移動物検出部 105は、パラメタ選択部 109〖こ よって選択された検出パラメタを入力し、検出パラメタ力 S「動作」であるとき、画像合成 部 104から出力された合成画像を 1Z30秒ごとに入力して、合成画像中の移動物領 域を検出する。
[0049] 移動物検出部 105は、画素値の統計量の時間変化を基にして、移動物の検出を 行う。ここでは、画素値の統計量として、輝度の平均値を用いるものとする。そして、 輝度の平均値の時間変化が大きい領域を、移動物領域として検出する。
[0050] すなわち、移動物検出部 105は、合成画像を小領域に区分し、区分した小領域毎 に輝度の平均値を算出し、一時的に記憶する。そして、各小領域毎に、直前 (ここで は 1Z30秒前)の合成画像と輝度平均値を比較し、その差が所定のしきい値よりも大 きいとき、その小領域は移動物領域であると判断する。そして、合成画像上の移動物 領域の位置にグラフィックスを重畳合成して、合成表示画像として出力する。移動物 検出部 105は、このような動作を 1Z30秒ごとに繰り返し実行する。
[0051] 図 6 (a)は移動物検出における領域区分の一例であり、水平方向（図では横方向） に 8ブロック、垂直方向（図では縦方向）に 6ブロック、計 48ブロックの小領域に合成 画像が分割されている。図 6 (b)は合成表示画像の例であり、移動物領域として検出 された小領域（図中左下）に対して、領域を囲う波線のグラフィックスが重畳されてい る。
[0052] 移動物検出部 105から出力された合成表示画像は、 DZA変翻106によって映 像信号に変換され、ディスプレイ 107に表示される。
[0053] <第 1の動作例 >
いま、図 2 (a)の状況において、自車両 1は「停止」しており、シフトレバーは「P」であ るとする。このとき、パラメタ選択部 109は、図 5に従って、画像合成パラメタとして「A」 を選択し、検出パラメタとして「動作」を選択する。画像合成部 104は、画像合成パラ メタ Aに従って、構図 A (図 4 (a) )の合成画像を生成し、移動物検出部 105は検出パ ラメタに従って、移動物検出を行う。
[0054] ここで、他車両 2が移動して ヽる場合、合成画像の他車両 2の領域にぉ ヽて輝度が 変化するので、移動物検出部 105は、輝度平均値の時間変化が所定値を越えた小 領域を移動物領域として検出し、図 7 (a)のような合成表示画像を出力する。さらに、 他車両 2が前方に移動していくにつれて、図 7 (b) , (c)のような合成表示画像が出力 される。
[0055] <第 2の動作例 >
いま、図 8 (a)のような合成表示画像が表示された状態で、運転者がシフトレバーを 操作して「P」から「R」（リバース）に変更したとする。すると、パラメタ選択部 109は、図 5に従って、画像合成パラメタの選択を「A」から「B」に変更する。これにより、画像合 成部 104によって生成される合成画像の構図力 構図 Aから構図 Bに変更される。ま た、移動物検出部 105は、構図 Bの合成画像において移動物検出を行う。このとき、 他車両 2が前方に移動していくにつれて、図 8 (b) , (c)のような合成表示画像が出力 される。
[0056] 上述した本実施形態に係る車両周辺監視装置では、移動物検出を合成画像に対 して行って!/、るため、検出された小領域位置の座標変換などの処理が不要である。 また、複数カメラの画像を合成した後に検出処理を行っているため、図 8 (b)のような カメラの撮影範囲の境界付近における移動物検出においても特別な処理が不要で あり、移動物検出を容易に実現することができる。
[0057] さらに、図 7および図 8のような合成表示画像では、車両周辺の状況が把握しやす い上に、移動物領域がグラフィックスによって強調されている。このため、運転者から すると、元のカメラ画像をそのまま観察する場合に比べて、衝突などの可能性が高い 移動物の存在を容易に把握できる、 t 、う利点がある。
[0058] 以上のように本実施形態によると、複数のカメラ画像から合成画像を生成した後に 、この合成画像を用いて移動物検出を行うので、検出結果の座標変換や、各カメラ 画像における検出結果の統合といった複雑な処理が不要となり、計算負荷を小さく できるとともに、カメラの撮影範囲の境界にまたがるような移動物でも容易に検出でき る。
[0059] また、特に車両周辺を監視する用途では、車両周辺のできるだけ広い視野範囲が 映り、かつ、車両近傍が映っている画像が望ましい。このような画像を撮影するため には、例えば図 2のように、複数のカメラを車両の異なる位置に設置する必要がある。 位置が異なる複数のカメラで撮影された画像を用い、かつ、被写体の位置が未知とし て 1つの合成画像を生成した場合、一般的には、被写体が二重に映った合成画像や 、被写体が映っていない合成画像が生成されることがある。し力しながら、車両周辺 を監視する用途では、利用者が監視すべき移動物や障害物は、通常は路面上に存 在し、路面平面より下や空中に存在することは稀である。したがって、カメラ画像中の 被写体は路面平面上に存在するものと仮定し、かつ、仮想視点から路面平面を撮影 したと仮定して生成した合成画像では、撮影位置の異なる複数のカメラ画像を用いた 場合でも、少なくとも被写体が路面に接する部分は、二重に存在したり消えたりはし ない。このため、このような合成画像を用いて車両周辺の移動物を検出する場合、力 メラの撮影範囲の境界にまたがるような移動物であっても、二重に検出されたり、消え たりすることはない、という利点がある。
[0060] なお、本実施形態では、車両状況として車両速度およびシフトレバーの状態を用い て、図 5のようなルールに従ってパラメタ選択を実行するものとした力 パラメタ選択の ルールや、パラメタ選択に用いる車両状況は、ここで示したものに限られるものでは ない。例えば、ノ メタ選択に用いる車両状況は、画像合成パラメタや検出パラメタと 関連するものであれば、どのような情報であってもよ 、。
[0061] (第 2の実施形態）
本発明の第 2の実施形態に係る車両周辺監視装置は、第 1の実施形態と同様に、 図 1のように構成される。第 1の実施形態と異なるのは、第 1の実施形態では、パラメ タ選択を車両状況に応じて行っていたのに対して、本実施形態では、車両状況に加 えて、移動物検出部 105による検出結果、および、現在選択されている画像合成パ ラメタを加味して、パラメタ選択を行う点である。ノ メタ選択部 109以外の各構成要 素は、第 1の実施形態と同様の動作を行う。
[0062] 図 9は本実施形態におけるパラメタ選択ルールの一例である。図 9 (a)にお 、て、「 評価領域毎の移動物検出状況」における評価領域とは、移動物検出の結果をパラメ タ選択に反映させるために定めた領域のことをいう。図 9 (b)は評価領域の設定の一 例であり、第 1の実施形態で説明した 48ブロックの小領域を、 4個の中領域 (評価領 域 1〜4)にまとめている。移動物領域が検出されたとき、その検出結果は、図 9 (b)に 示す各評価領域における検出の有無に置き換えられる。例えば、「評価領域 1」に対 応する 12ブロックの小領域のいずれかが移動物領域と判定されたとき、評価領域 1 において検出された、と表現する。
[0063] 図 9 (b)に示す評価領域の設定では、自車両の前方と後方とを分けており、また、 自車両の近傍と遠方とを分けている。これは、移動物が前方にあるか後方にあるかに よって適切な構図が異なること、また、移動物が遠方にあるときは広範囲が表示され る構図に変更するのが好ましいと考えられること、などに基づいている。もちろん、評 価領域の設定は、図 9 (b)に示すものに限られるものではなぐ評価領域の個数も 4 に限られるものではない。例えば、各小領域を、そのまま評価領域として用いてもか まわない。
[0064] <動作例 >
まず、図 2 (a)の状況において、他車両 2はまだカメラの撮影範囲外に存在するもの とする。動作開始後の初期状態において、パラメタ選択部 109は、画像合成パラメタ として「A」、検出パラメタとして「停止」を選択する。このとき、画像合成部 104は、構 図 A (図 4 (a) )の合成画像を出力し、移動物検出部 105は、移動物検出を実行しな い。
[0065] 次に、自車両 1は「停止」しており、シフトレバーは「P」、移動物検出は未実施なの で、パラメタ選択部 109は図 9 (a)の選択ルールに従って、画像合成パラメタは「A」 のままとし、検出パラメタとして「動作」を選択する。ここで、他車両 2が接近し、移動し ているものとすると、移動物検出部 105は、他車両 2に対応する小領域を移動物領域 として検出し、図 10 (a)のような合成表示画像を出力する。またこれとともに、検出し た移動物領域が属する評価領域の情報 (ここでは評価領域 1, 2)が、検出結果として ノ ラメタ選択部 109に出力される。
[0066] 次にパラメタ選択部 109は、移動物検出部 105から検出結果を受けて、評価領域 1 において移動物が検出されたという情報と、自車両は「停止」、シフトレバーは「P」と いう情報から、画像合成パラメタとして新たに「B」を選択して出力する。検出パラメタ は「動作」のままである。画像合成部 104は画像合成パラメタ Bに従って、構図 B (図 4 (b) )の合成画像を出力し、移動物検出部 105は構図 Bの合成画像において、移動 物検出を行う。このとき、他車両 2に対応する小領域が移動物領域として検出され、 図 10 (b)のような合成表示画像が出力される。またこれともに、評価領域 1が、検出 結果としてパラメタ選択部 109に出力される。
[0067] ここで、運転者の操作によって、シフトレバーが「P」から「R」（リバース）に変更され たとする。このとき、パラメタ選択部 109は、評価領域 1において移動物が検出された という情報と、自車両は「停止」、シフトレバーは「R」という情報から、画像合成パラメタ として新たに「D」を選択して出力する。検出パラメタは「動作」のままである。画像合 成部 104は画像合成パラメタ Dに従って、構図 D (図 4 (d) )の合成画像を出力し、移 動物検出部 105は構図 Dの合成画像において、移動物検出を行う。この結果、図 10 (c)のような合成表示画像が出力される。
[0068] このような、移動物検出の検出結果と現在の画像合成パラメタとを加味して、次の 画像合成パラメタを選択する処理は、合成画像上の移動物領域が、自車両 1周辺の どの位置に相当するかを加味して、次の画像合成パラメタを選択していることを意味 する。すなわち、自車両 1の周囲のどの位置で移動物が検出されたかに応じて、次の 画像合成パラメタを選択することができ、車両状況と周辺の移動物の状況との両方に 適した合成表示画像の提示が可能になる。
[0069] 例えば、移動物である他車両 2が自車両 1の後方に存在するとき、図 10 (b)のような 構図 Bの合成表示画像は、図 10 (a)のような構図 Aの合成表示画像に比べて、他車 両 2を確認するのに適していると言える。また、シフトレバーが「R」、すなわち運転者 が自車両 1を後退させる可能性があり、かつ自車両 1後方に移動物が存在する状況 においては、図 10 (c)のような構図 Dの合成表示画像は、図 10 (b)のような構図 Bの 合成表示画像に比べて、自車両 1後方の他車両 2を確認するのに適して ヽると言え る。以上のことから、本実施形態では、第 1の実施形態に比べて、安全な運転のため により有効な合成画像の提供が可能である。
[0070] さらに、本実施形態では、車両状況、移動物検出結果、および現在の画像合成パ ラメタの組み合わせに応じてパラメタ選択を行って 、るため、車両周辺の状況に応じ て、より適切な合成画像の表示と移動物検出とを可能にしている力 移動物検出部 1 05における移動物検出処理や、検出結果の表示処理においては、座標変換やパラ メタ変更などの新たな計算負荷は生じて 、な 、。
[0071] 以上のように本実施形態によると、第 1の実施形態と同様の効果に加えて、ノ ラメタ 選択の基準として、移動物検出結果や現在の画像合成パラメタを加えたので、車両 状況および車両周辺の移動物の状況により適した合成表示画像の提示が可能にな る。 [0072] なお、本実施形態にぉ 、て、図 9 (a)のようなルールに従ってパラメタ選択を実行す るものとした力 パラメタ選択のルールは、ここで示したものに限られるものではなぐ どのような選択ルールであってもよ！/、。
[0073] (第 3の実施形態）
本発明の第 3の実施形態に係る車両周辺監視装置は、第 1の実施形態と同様に、 図 1のように構成される。第 1の実施形態と異なるのは、第 1の実施形態では、画像合 成パラメタにおける各要素の重みは全て均一であつたのに対して、本実施形態では 、複数の画像合成パラメタのうち少なくとも 1つにおいて、重みの値の設定により、合 成画像における移動物検出の精度を制御している点である。各構成要素の動作は、 第 1または第 2の実施形態と同様である。
[0074] 図 11を用いて、本実施形態における画像合成パラメタの例を説明する。図 11 (a) の合成画像は、図 4 (a)の構図 Aと同じである。すなわち、ここでの画像合成に用いら れる画像合成パラメタは、カメラ番号およびカメラ画像の座標値に関しては、画像合 成パラメタ Aと同一である。ただし、図 11 (b)に示すように、重みの値は均一ではなく 、合成画像の領域によって異なる値が重みとして設定されている点が、画像合成パラ メタ Aと異なる。図 11 (b)の例では、合成画像の中央部については重みとして 1. 0が 設定されており、合成画像の周辺部については重みとして 0. 7が設定されている。
[0075] 図 11 (b)の画像合成パラメタがノラメタ選択部 109によって選択された場合、画像 合成部 104は、図 11 (c)のような合成画像を生成する。図 11 (c)では、構図は図 11 ( a)と同じだが、重みが 1. 0である中央部の輝度はそのままで、重みが 0. 7である周 辺部の輝度は相対的に暗くなつている。
[0076] ここで、移動物検出部 105が図 11 (c)のような合成画像を用いて、輝度の時間変化 を評価基準として移動物検出を行った場合、輝度が暗い周辺部では、輝度の時間変 ィ匕も相対的に小さくなるため、中央部に比べて、移動物検出の感度が落ちる。言い 換えると、画像合成パラメタにおける重みの値を変えることによって、移動物検出に おける検出感度を、合成画像の領域ごとに変えることができる。例えば、合成画像と しては図 11 (a)のように広範囲の表示が適当である力 移動物検出は中央部の自車 両 1の周辺だけで良いような場合、図 11 (b)のような画像合成パラメタを選択すれば よぐ移動物検出の処理自体は何ら変更する必要がない。すなわち、図 11 (b)の合 成画像パラメタでは、各画素値に付された重みが、合成画像中の、移動物検出の必 要性が相対的に高い領域において、相対的に大きな値になるように、設定されてい る。
[0077] また図 12を用いて、本実施形態における画像合成パラメタの他の例を説明する。
図 12 (a)の合成画像は、図 2 (a)の状況において、車両後方を斜めに見下ろすような 構図 Eによるものである。このように、路面を斜め力も見下ろすような構図の場合、同 じ被写体であっても、合成画像上の位置によってその大きさが異なって映る場合があ る。図 12 (a)の合成画像では、同じ被写体 (例えば他車両 2)であっても、自車両 1と の位置関係すなわち合成画像上での位置によって画像に映るサイズが変わり、自車 両 1に近いほど大きく映り、自車両 1から離れるほど小さく映ることになる。
[0078] このような合成画像を用いて、輝度の時間変化を評価基準として移動物検出を行つ た場合、同じ移動物であっても、合成画像に映る位置によって検出感度が異なって しまう。すなわち、大きく映る位置ほど検出感度が高くなり、小さく映る位置ほど検出 感度が低くなる。このため、移動物検出の検出感度が均一にならない。
[0079] そこで、合成画像上の位置の違いによる検出感度の差をなくし、検出感度をより均 一にしたい場合は、被写体が合成画像に映るときの大きさの違いに応じて、合成画 像パラメタの重みの値を変えればよい。すなわち、各画素値に付された重みを、合成 画像中の、同一サイズの被写体が相対的に大きく映る領域において、相対的に小さ な値になるように、設定すればよい。
[0080] 図 12 (b)はこのような重みの設定例である。図 12 (b)では、図 12 (a)において被写 体が小さく映る領域すなわち上方の領域ほど、重みは大きく設定されており、被写体 が大きく映る領域すなわち下方の領域ほど、重みは小さく設定されている。このように 重みを設定することによって、合成画像中の位置の違いによる移動体検出の検出感 度の差を小さくし、検出感度をより均一にすることができる。
[0081] また、検出感度を均一にするための他の方法としては、同一被写体が移動した場 合における画素値の統計量の時間変化が、合成画像中で、その被写体が映る位置 に依らないで、一定になるように、画像合成パラメタの各画素値に付された重みを設 定するちのとしてちよい。
[0082] 具体的には例えば、まず、重みが全て「1」である画像合成パラメタを用いて合成し た合成画像にぉ 、て、同一被写体が移動した場合における各小領域毎の統計量の 時間変化量 (例えば、画素値の平均値の時間変化量)を算出する。そして、算出した 値の逆数に比例する値を、その小領域の重みの値として新たに定める。このような重 みを設定することによって、合成画像中の被写体の大きさの違いだけでなぐ被写体 の見えの違いや、入力画像ごとの輝度の差、入力画像中の周辺減光による輝度の 差、などに起因する移動体検出の検出感度の差を小さくし、検出感度をより均一に することができる。
[0083] 以上のように本実施形態によると、画像合成パラメタにおける重みの値の設定によ つて、移動物検出の精度を制御することができるので、画像合成部や移動物検出部 における処理負荷を増加させることなぐ合成画像の領域ごとに移動物検出の検出 感度を調整することができる。
[0084] (第 4の実施形態）
本発明の第 4の実施形態では、移動物領域が検出されているとき、画像合成パラメ タについて、この移動物領域に対応する部分に対してカメラ画像の一方のフィールド のみを参照するように変更を行う。これによつて、移動物領域の画像の画質をより向 上させることができる。
[0085] 本実施形態に係る車両周辺監視装置は、第 1の実施形態と同様に、図 1のように構 成される。ここで、カメラ 101はインターレース撮像を行い、フレームメモリ 103にはィ ンターレース画像が記憶されるものとする。またパラメタ選択部 109は、車両状況検 出手段 108から出力された車両状況、および移動物検出部 105から出力された検出 結果を入力し、所定の選択ルールに従い、画像合成パラメタおよび検出パラメタを選 択する。他の構成要素の動作は、上述した実施形態と同様である。
[0086] 本実施形態では、パラメタ選択部 109は、移動物検出部 105によって移動物領域 が検出されているとき、選択した画像合成パラメタについて、カメラ画像の座標値の 一部を変更して出力する。具体的には、選択した画像合成パラメタから、検出された 移動物領域の位置に対応する各要素のカメラ画像座標値を読み出し、その Y座標値 (垂直方向座標値)を、全て奇数になるように変更して出力する。画像合成部 104は 、このようにして変更された画像合成パラメタに従い、合成画像を生成する。
[0087] この結果、画像合成の際には、移動物領域では奇数フィールドのカメラ画像のみが 用いられ、移動物が検出されな力つた領域では両フィールドのカメラ画像が用いられ る。したがって、移動物領域では、カメラ画像の奇数フィールドのみを用いた画像合 成がなされるので、櫛状のずれによる画質低下は生じない。一方、移動物が検出さ れな力つた領域では、カメラ画像の両方のフィールドを用いた画像合成がなされて ヽ るため、一方のフィールドのみを用いた場合に比べて、解像度が高くなる。
[0088] 図 13を用いて、本実施形態による効果を説明する。図 13 (a)は、図 2 (a)の状況に おいて、インターレース撮像するカメラ 1によって撮像された 1フレーム分の入力画像 の例である。図 13 (a)の右側の図は、移動している他車両 2のエッジ部分を拡大した 図である。インターレース撮像では、フィールドごとに異なるタイミングで撮像するため 、 1フレーム（2フィールド）の画像として観察した場合、画像中の移動物は図 13 (a)の 右図のように、櫛状のずれを伴う画像となる。
[0089] 図 13 (b)は図 13 (a)のフレーム画像をそのまま用いて生成した、上述の構図 Eの合 成画像の例である。また図 13 (b)の右側の図は、他車両 2のエッジ部分を拡大した 図であり、フレーム画像における櫛状のずれが変形された画像となっている。このよう な画像は、特に動画像として観測した場合には、ちらつき感ゃざらつき感などの画質 低下を起こすことになる。
[0090] 一方、本実施形態では、移動物領域に対応する部分につ!、ては片方のフィールド のみを用いるように、画像合成パラメタを変更する。図 13 (c)はこのように変更された 画像合成パラメタに従って生成された合成画像の例である。すなわち、破線で囲まれ た移動物領域につ!ヽては、カメラ画像の奇数フィールドのみを用いた画像合成がな されており、したがって、図 13 (b)のような櫛状のずれによる画質低下が生じておらず 、良好な合成画像が得られている。
[0091] 以上のように本実施形態によると、移動物領域が検出されたとき、選択した画像合 成パラメタについて、移動物領域に対応する部分に対してカメラ画像の一方のフィー ルドのみを参照するように変更を行うので、合成画像において櫛状のずれによる画質 低下を抑えることができる。
[0092] なお、本実施形態では、カメラ画像の Y座標値が全て奇数になるように、画像合成 ノ ラメタを変更するものとしたが、もちろん、全て偶数になるように変更してもよぐこの 場合は、移動物領域については、カメラ画像の偶数フィールドのみを用いた画像合 成がなされる。
[0093] また、本実施形態では、移動物領域が検出された後に、その移動物領域に対応す る部分に対して画像合成パラメタの変更を行 ヽ、この変更後の画像合成パラメタを用 いて、合成画像を生成する。このため、例えば移動物の速度が速い場合、移動物領 域を検出して画像合成パラメタの変更が行われる前に、図 13 (b)のような画質低下を 伴う合成画像が出力されてしまう可能性がある。
[0094] この問題は、移動物領域だけでなぐその周辺領域に関しても、画像合成パラメタ を変更することによって、解決できる。図 14 (a)はこのような処理の例を示す図である 。図 14 (a)では、移動物領域とその周辺領域を含む領域 ARについて、カメラ画像の 一方のフィールドのみを用いた画像合成が行われるように、画像合成パラメタを変更 する。これにより、例えば他車両 2が合成画像中でさらに移動して、図 14 (b)のような 状態になった場合でも、画質低下の無い合成画像を表示することができる。領域 AR としては例えば、移動物領域とその周囲の小領域 1ブロック分程度の範囲を設定す ればよい。
[0095] なお、本発明の各実施形態では、カメラは 4台であり、その設置位置および撮影範 囲は図 2に示すようなものとした力 カメラの台数、設置位置および撮影範囲はこれに 限定されるものではない。
[0096] なお、本発明の各実施形態では、複数のカメラおよび周辺監視装置は、車両、特 に 4輪の乗用車に設置されるものとした力 車両の形態を制限するものではない。ま た、車両以外の移動体、例えばロボットなどにも適用可能である。
[0097] また、移動体の周辺監視以外の用途でも、本発明は適用可能である。例えば、店 舗などに固定されたカメラを利用して、画像合成および移動物検出を行うようにしても よい。また、画像合成パラメタは車両状況に応じて選択するものとしたが、固定されて いてもよいし、また例えば、時間経過とともに自動的に変更するようにしてもよい。 [0098] なお、本発明の各実施形態では、移動物検出のために、輝度の平均値の時間変 化を用いるものとしたが、移動物検出のための評価指標は輝度平均に限定されるも のではなぐ画素値の統計量であればどのような値を用いてもよい。例えば、 RGBの うち特定の色成分の分散を用いてもよい。また、小領域のブロック数も、 48ブロックに 限定するものではない。
[0099] なお、本発明の各実施形態において、画像合成パラメタの選択を変更したとき、変 更後の所定時間は、移動物検出を行わないようにしてもよい。例えば、パラメタ選択 部 109が、画像合成パラメタの選択を変更したとき、移動物検出を所定時間停止す ることを規定した検出パラメタを選択するようにする。これにより、合成画像の構図等 が変更された直後には移動物検出がなされなくなるので、合成画像の変更に起因す る移動物検出の誤動作を未然に回避することができる。
[0100] なお、本発明の各実施形態において、画像合成パラメタの選択を変更したとき、変 更後の所定時間は画像合成パラメタの変更を行わないようにしてもよい。例えば、パ ラメタ選択部 109が、画像合成パラメタの選択を変更したとき、画像合成パラメタの変 更を所定期間停止するようにする。これにより、画像合成パラメタが頻繁に切り替わる ことがなくなるので、頻繁に切り替わったときに生じる表示画像の視認性の低下を未 然に防ぐことができる。
[0101] なお、本発明の各実施形態では、検出パラメタは「動作」「停止」の 2種類の情報の みであるとしたが、これに限定されるものではない。一般に、移動物検出は様々なパ ラメタを必要とするため、これらを含む検出ノ ラメタを合成画像の構図に応じて複数 記憶しておいてもよい。また例えば、小領域毎に設定したしきい値を検出パラメタとし て記憶しておいてもよい。
[0102] なお、本発明の各実施形態において、各構成要素は、個別のハードウェアによって 実現してもよいし、単一の IC等に収めるようにしてもよい。また、図 15のような画像の 入出力機能を有するコンピュータを用いて、各構成要素を、コンピュータ (CPU201 、 ROM202、 RAM203など）によって実行されるソフトウェアによって実現してもよい
産業上の利用可能性 本発明では、撮影状況に応じた合成画像の生成と画像中の移動物検出とを、併せ て実行可能であるので、例えば、車載用の周辺監視装置や、セキュリティ用の監視 装置等として有用である。特に、複数のカメラで撮影された画像から、移動物が存在 する領域を画像で提示する監視装置として有用である。また複数のカメラで撮影され た画像力も移動物を検出する等の用途にも応用できる。

Claims

請求の範囲
[1] 複数のカメラによって撮影されたカメラ画像を入力とする監視装置であって、
前記カメラ画像を合成して、監視領域の状況を示す合成画像を生成する画像合成 部と、
前記合成画像にお！ヽて、移動物が存在すると推定される移動物領域を検出する移 動物検出部とを備えた
監視装置。
[2] 請求項 1において
複数の、カメラ画像と合成画像との対応関係を表す画像合成パラメタと、複数の、 移動物検出の仕様を規定する検出パラメタとを記憶するパラメタ記憶部と、
前記パラメタ記憶部に記憶された複数の画像合成パラメタと複数の検出パラメタと から、それぞれ 1つを選択するパラメタ選択部とを備え、
前記画像合成部は、前記パラメタ選択部によって選択された画像合成パラメタに従 つて、動作するものであり、
前記移動物検出部は、前記パラメタ選択部によって選択された検出パラメタに従つ て、動作するものである
ことを特徴とする監視装置。
[3] 請求項 2において、
前記複数のカメラは、移動体に設置されており、
前記パラメタ選択部は、前記移動体の状況に応じて、パラメタ選択を行うものである ことを特徴とする監視装置。
[4] 請求項 3において、
前記パラメタ選択部は、前記移動物検出部による検出結果を加味して、パラメタ選 択を行うものである
ことを特徴とする監視装置。
[5] 請求項 4において、
前記パラメタ選択部は、現在選択されている画像合成パラメタを加味して、ノ メタ 選択を行うものである ことを特徴とする監視装置。
[6] 請求項 4において、
前記パラメタ選択部は、前記移動物検出部によって移動物領域が検出されている とき、選択した画像合成パラメタについて、当該移動物領域に対応する部分に対して カメラ画像の一方のフィールドのみを参照するように変更を行 、、出力する ことを特徴とする監視装置。
[7] 請求項 6において、
前記パラメタ選択部は、前記変更を、当該移動物領域に加えて、その周辺領域に 対応する部分に対しても、行う
ことを特徴とする監視装置。
[8] 請求項 3において、
前記パラメタ選択部は、前記移動体が移動しているとき、移動物検出の停止を規定 した検出ノ ラメタを選択する
ことを特徴とする監視装置。
[9] 請求項 2において、
前記パラメタ選択部は、画像合成パラメタの選択を変更したとき、移動物検出を所 定時間停止することを規定した検出パラメタを選択する
ことを特徴とする監視装置。
[10] 請求項 2において、
前記パラメタ選択部は、画像合成パラメタの選択を変更したとき、画像合成パラメタ の変更を所定時間停止する
ことを特徴とする監視装置。
[11] 請求項 1において、
前記移動物検出部は、合成画像を区分した小領域毎に、画素値の統計量を算出 し、当該統計量の時間変化が所定値を超えた小領域を、前記移動物領域として特定 するものである
ことを特徴とする監視装置。
[12] 請求項 11において、 前記複数の画像合成パラメタは、画像合成に用いるカメラ画像の各画素値に付さ れた重みを含み、
前記画像合成部は、画像合成パラメタに含まれた重みを用いて、各画素値に重み 付けを行い、合成画像を生成するものである
ことを特徴とする監視装置。
[13] 請求項 12において、
前記複数の画像合成パラメタのうち少なくとも 1つにおいて、各画素値に付された 重みは、合成画像中の、移動物検出の必要性が相対的に高い領域において、相対 的に大きな値になるように、設定されている
ことを特徴とする監視装置。
[14] 請求項 12において、
前記複数の画像合成パラメタのうち少なくとも 1つにおいて、各画素値に付された 重みは、同一被写体が移動した場合における画素値の統計量の時間変化が、合成 画像中で、一定になるように、設定されている
ことを特徴とする監視装置。
[15] 請求項 14において、
前記複数の画像合成パラメタのうち少なくとも 1つにおいて、各画素値に付された 重みは、合成画像中の、同一サイズの被写体が相対的に大きく映る領域において、 相対的に小さな値になるように、設定されて 、る
ことを特徴とする監視装置。
[16] 請求項 2において、
前記パラメタ記憶部が記憶する複数の画像合成パラメタのうち少なくとも 1つは、力 メラ画像中の被写体は路面平面上に存在するものと仮定し、かつ、路面平面を仮想 視点から撮影した合成画像を生成するためのものである
ことを特徴とする監視装置。
[17] 車両に設置された複数のカメラによって撮影されたカメラ画像を用いて、前記車両 の周辺を監視する車両周辺監視装置であって、
複数の、カメラ画像と合成画像との対応関係を表す画像合成パラメタを、記憶する パラメタ記憶部と、
前記車両の状況に応じて、前記パラメタ記憶部に記憶された複数の画像合成パラ メタから 1つを選択するパラメタ選択部と、
前記パラメタ選択部によって選択された画像合成パラメタに従って、前記カメラ画像 を合成して、前記車両の周囲の状況を示す合成画像を生成する画像合成部と、 前記合成画像にお！ヽて、移動物が存在すると推定される移動物領域を検出する移 動物検出部とを備えた
車両周辺監視装置。
PCT/JP2005/009771 2004-06-15 2005-05-27 監視装置および車両周辺監視装置 WO2005125208A1 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
EP05743841A EP1641268A4 (en) 2004-06-15 2005-05-27 MONITOR AND DEVICE FOR MONITORING THE VEHICLE ENVIRONMENT
JP2005518942A JP3833241B2 (ja) 2004-06-15 2005-05-27 監視装置
EP10154118.3A EP2182730B1 (en) 2004-06-15 2005-05-27 Monitor and vehicle periphery monitor
US11/326,922 US7512251B2 (en) 2004-06-15 2006-01-06 Monitoring system and vehicle surrounding monitoring system
US12/267,829 US7693303B2 (en) 2004-06-15 2008-11-10 Monitoring system and vehicle surrounding monitoring system
US12/704,738 US7916899B2 (en) 2004-06-15 2010-02-12 Monitoring system and vehicle surrounding monitoring system

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2004176812 2004-06-15
JP2004-176812 2004-06-15
JP2005005151 2005-01-12
JP2005-005151 2005-01-12

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US11/326,922 Continuation US7512251B2 (en) 2004-06-15 2006-01-06 Monitoring system and vehicle surrounding monitoring system

Publications (1)

Publication Number Publication Date
WO2005125208A1 true WO2005125208A1 (ja) 2005-12-29

Family

ID=35510129

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2005/009771 WO2005125208A1 (ja) 2004-06-15 2005-05-27 監視装置および車両周辺監視装置

Country Status (4)

Country Link
US (3) US7512251B2 (ja)
EP (2) EP2182730B1 (ja)
JP (1) JP3833241B2 (ja)
WO (1) WO2005125208A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008087706A1 (ja) * 2007-01-16 2008-07-24 Pioneer Corporation 車両用表示装置、車両用表示方法及び車両用表示プログラム
JP2009111946A (ja) * 2007-11-01 2009-05-21 Alpine Electronics Inc 車両周囲画像提供装置
JP2011002884A (ja) * 2009-06-16 2011-01-06 Nissan Motor Co Ltd 車両用画像表示装置及び俯瞰画像の表示方法
JP2011030140A (ja) * 2009-07-29 2011-02-10 Hitachi Automotive Systems Ltd 外界認識装置

Families Citing this family (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2891934B1 (fr) * 2005-10-12 2008-01-18 Valeo Electronique Sys Liaison Dispositif de traitement de donnees video pour un vehicule automobile
JP4816140B2 (ja) * 2006-02-28 2011-11-16 ソニー株式会社 画像処理システムおよび方法、画像処理装置および方法、撮像装置および方法、プログラム記録媒体、並びにプログラム
JP4812510B2 (ja) * 2006-05-17 2011-11-09 アルパイン株式会社 車両周辺画像生成装置および撮像装置の測光調整方法
US20090245580A1 (en) * 2006-07-21 2009-10-01 Darryl Greig Modifying parameters of an object detector based on detection information
WO2008044589A1 (en) * 2006-10-11 2008-04-17 Panasonic Corporation Video display apparatus and video display method
US7809164B2 (en) * 2007-01-10 2010-10-05 Mavs Lab. Inc. Methods and systems for identifying events for a vehicle
JP4325705B2 (ja) * 2007-06-15 2009-09-02 株式会社デンソー 表示システム及びプログラム
JP2009017462A (ja) 2007-07-09 2009-01-22 Sanyo Electric Co Ltd 運転支援システム及び車両
JP4864835B2 (ja) * 2007-08-21 2012-02-01 Ｋｄｄｉ株式会社 色補正装置、方法及びプログラム
US8218007B2 (en) 2007-09-23 2012-07-10 Volkswagen Ag Camera system for a vehicle and method for controlling a camera system
JP4952627B2 (ja) * 2008-03-21 2012-06-13 富士通株式会社 画像処理装置、画像処理方法および画像処理プログラム
EP2254091B1 (en) * 2009-05-19 2020-03-25 Veoneer Sweden AB Vision system and method for a motor vehicle
WO2011113444A1 (en) * 2010-03-15 2011-09-22 Panasonic Corporation Method and apparatus for trajectory estimation, and method for segmentation
US8260539B2 (en) 2010-05-12 2012-09-04 GM Global Technology Operations LLC Object and vehicle detection and tracking using 3-D laser rangefinder
JP5113881B2 (ja) 2010-06-03 2013-01-09 株式会社デンソー 車両周辺監視装置
US8395659B2 (en) 2010-08-26 2013-03-12 Honda Motor Co., Ltd. Moving obstacle detection using images
JP5812598B2 (ja) * 2010-12-06 2015-11-17 富士通テン株式会社 物体検出装置
US20120229641A1 (en) * 2011-03-10 2012-09-13 Nissan North America, Inc. Vehicle monitoring system
US20120229642A1 (en) * 2011-03-10 2012-09-13 Nissan North America, Inc. Vehicle monitoring system
US20120249342A1 (en) * 2011-03-31 2012-10-04 Koehrsen Craig L Machine display system
FR2982552B1 (fr) * 2011-11-10 2014-06-27 Denso Corp Dispositif de surveillance perimetrique de vehicule
WO2013094115A1 (ja) * 2011-12-19 2013-06-27 日本電気株式会社 時刻同期情報算出装置、時刻同期情報算出方法および時刻同期情報算出プログラム
JP5821610B2 (ja) * 2011-12-20 2015-11-24 富士通株式会社 情報処理装置、情報処理方法及びプログラム
JP5230828B1 (ja) * 2012-02-09 2013-07-10 株式会社小松製作所 作業車両用周辺監視システム及び作業車両
JP5792091B2 (ja) * 2012-02-16 2015-10-07 富士通テン株式会社 物体検出装置及び物体検出方法
DE102013002283A1 (de) * 2013-02-08 2014-08-14 Volkswagen Ag Verfahren und Vorrichtung zum Vorwärtseinparken eines Kraftfahrzeugs in eine Querparklücke
TWI504240B (zh) * 2013-05-31 2015-10-11 Vatics Inc 視訊處理方法、視訊顯示方法以及視訊處理裝置
CN105722716B (zh) * 2013-11-18 2018-05-15 罗伯特·博世有限公司 内部显示系统和方法
EP3007099B1 (en) * 2014-10-10 2022-12-07 Continental Autonomous Mobility Germany GmbH Image recognition system for a vehicle and corresponding method
EP3059722A1 (en) * 2015-02-20 2016-08-24 Airbus Group India Private Limited Management of aircraft in-cabin activities occuring during turnaround using video analytics
JP6746892B2 (ja) * 2015-09-30 2020-08-26 ヤマハ株式会社 画像処理装置、画像処理方法およびプログラム
US10338589B2 (en) * 2016-03-25 2019-07-02 Panasonic Intellectual Property Corporation Of America Controller, driving control method, and non-transitory computer-readable recording medium storing a program
JP2019103067A (ja) * 2017-12-06 2019-06-24 キヤノン株式会社 情報処理装置、記憶装置、画像処理装置、画像処理システム、制御方法、及びプログラム
US11375126B2 (en) * 2019-11-29 2022-06-28 Canon Kabushiki Kaisha Imaging apparatus, information processing apparatus, operation method, information processing method, and storage medium

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0891122A (ja) * 1994-09-27 1996-04-09 Nippon Soken Inc 車両用視認補助装置
JP2001251608A (ja) * 2000-03-07 2001-09-14 Nec Eng Ltd 遠隔監視用カメラシステム
JP2001283358A (ja) * 2000-03-28 2001-10-12 Sanyo Electric Co Ltd 空間内異常検出装置及び空間内異常検出方法
JP2002027448A (ja) * 2000-04-28 2002-01-25 Matsushita Electric Ind Co Ltd 画像処理装置および監視システム

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
NL8105801A (nl) 1981-12-23 1983-07-18 Philips Nv Recursief digitaal filter.
US7243945B2 (en) * 1992-05-05 2007-07-17 Automotive Technologies International, Inc. Weight measuring systems and methods for vehicles
JP3011566B2 (ja) 1993-02-26 2000-02-21 三菱電機株式会社 接近車監視装置
US6498620B2 (en) * 1993-02-26 2002-12-24 Donnelly Corporation Vision system for a vehicle including an image capture device and a display system having a long focal length
JP3354626B2 (ja) * 1993-05-19 2002-12-09 名古屋電機工業株式会社 移動体検出方法
JPH06333200A (ja) 1993-05-21 1994-12-02 Toshiba Corp 車載用監視システム
US6553130B1 (en) * 1993-08-11 2003-04-22 Jerome H. Lemelson Motor vehicle warning and control system and method
JP3381351B2 (ja) 1993-12-24 2003-02-24 日産自動車株式会社 車両用周囲状況表示装置
US6327381B1 (en) * 1994-12-29 2001-12-04 Worldscape, Llc Image transformation and synthesis methods
JP3711705B2 (ja) * 1996-10-15 2005-11-02 いすゞ自動車株式会社 車両後方視界支援装置
US6067367A (en) * 1996-10-31 2000-05-23 Yamatake-Honeywell Co., Ltd. Moving direction measuring device and tracking apparatus
JP3321386B2 (ja) 1997-06-27 2002-09-03 株式会社ハゴロモ Ｃｄケース等の収納容器
JPH1178692A (ja) 1997-09-03 1999-03-23 Nissan Motor Co Ltd 車両用映像提示装置
US6396535B1 (en) * 1999-02-16 2002-05-28 Mitsubishi Electric Research Laboratories, Inc. Situation awareness system
EP1179958B1 (en) * 1999-04-16 2012-08-08 Panasonic Corporation Image processing device and monitoring system
DE60009114T2 (de) * 1999-09-20 2004-08-05 Matsushita Electric Industrial Co. Ltd. Vorrichtung zur unterstützung von kraftfahrzeugführern
KR100343836B1 (ko) * 2000-06-27 2002-07-20 이성환 파노라마 영상 감시 시스템 및 그 제어방법
WO2002037856A1 (en) * 2000-11-06 2002-05-10 Dynapel Systems, Inc. Surveillance video camera enhancement system
JP3886376B2 (ja) * 2001-12-26 2007-02-28 株式会社デンソー 車両周辺監視システム
JP3999025B2 (ja) * 2002-04-12 2007-10-31 本田技研工業株式会社 警報表示装置
JP3776094B2 (ja) 2002-05-09 2006-05-17 松下電器産業株式会社 監視装置、監視方法および監視用プログラム
JP2004030018A (ja) * 2002-06-24 2004-01-29 Nissan Motor Co Ltd 車両用障害物検出装置
JP3788400B2 (ja) * 2002-07-19 2006-06-21 住友電気工業株式会社 画像処理装置、画像処理方法及び車両監視システム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0891122A (ja) * 1994-09-27 1996-04-09 Nippon Soken Inc 車両用視認補助装置
JP2001251608A (ja) * 2000-03-07 2001-09-14 Nec Eng Ltd 遠隔監視用カメラシステム
JP2001283358A (ja) * 2000-03-28 2001-10-12 Sanyo Electric Co Ltd 空間内異常検出装置及び空間内異常検出方法
JP2002027448A (ja) * 2000-04-28 2002-01-25 Matsushita Electric Ind Co Ltd 画像処理装置および監視システム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP1641268A4 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008087706A1 (ja) * 2007-01-16 2008-07-24 Pioneer Corporation 車両用表示装置、車両用表示方法及び車両用表示プログラム
JPWO2008087706A1 (ja) * 2007-01-16 2010-05-06 パイオニア株式会社 車両用表示装置、車両用表示方法及び車両用表示プログラム
JP2009111946A (ja) * 2007-11-01 2009-05-21 Alpine Electronics Inc 車両周囲画像提供装置
JP2011002884A (ja) * 2009-06-16 2011-01-06 Nissan Motor Co Ltd 車両用画像表示装置及び俯瞰画像の表示方法
JP2011030140A (ja) * 2009-07-29 2011-02-10 Hitachi Automotive Systems Ltd 外界認識装置

Also Published As

Publication number Publication date
US7916899B2 (en) 2011-03-29
EP2182730A2 (en) 2010-05-05
EP1641268A1 (en) 2006-03-29
EP2182730B1 (en) 2020-05-20
US7693303B2 (en) 2010-04-06
US7512251B2 (en) 2009-03-31
US20100141764A1 (en) 2010-06-10
EP1641268A4 (en) 2006-07-05
US20090067677A1 (en) 2009-03-12
JP3833241B2 (ja) 2006-10-11
US20060115124A1 (en) 2006-06-01
EP2182730A3 (en) 2015-04-01
JPWO2005125208A1 (ja) 2008-04-17

Similar Documents

Publication Publication Date Title
WO2005125208A1 (ja) 監視装置および車両周辺監視装置
US8305204B2 (en) Vehicle surrounding confirmation apparatus
JP4765649B2 (ja) 車両用映像処理装置、車両周囲監視システム並びに映像処理方法
WO2014068856A1 (ja) 画像生成装置、および画像生成プログラム製品
WO2017022496A1 (ja) 運転者に支援画像を提示する装置及びその方法
JP2008017311A (ja) 車両用映像表示装置及び車両周囲映像の表示方法
WO2017154833A1 (ja) 情報処理装置及びプログラム
JP2011071932A (ja) 車両周辺監視装置
JP5500392B2 (ja) 車両周辺監視装置
JPWO2018042976A1 (ja) 画像生成装置、画像生成方法、記録媒体、および画像表示システム
EP3793191A1 (en) Image processing device, moving machine, and method, and program
JP2006254318A (ja) 車載用カメラ及び車載用監視装置並びに前方道路領域撮像方法
JP5073461B2 (ja) 車両周辺監視システム
JP3084208B2 (ja) 画像処理装置
JP4713033B2 (ja) 車両周辺環境表示装置
JP6054738B2 (ja) カメラモジュール、カメラシステムおよび画像表示方法
JP5245471B2 (ja) 撮像装置、並びに、画像処理装置および方法
JP4799236B2 (ja) 車載表示システム
JP5157845B2 (ja) 視認支援装置
JP2019156235A (ja) 表示制御装置、撮像装置、カメラモニタリングシステムおよびコンピュータプログラム
JP6455193B2 (ja) 電子ミラーシステム及び画像表示制御プログラム
JP5717405B2 (ja) 検知装置、及び、検知方法
JP2024007203A (ja) カメラシステムおよびその制御方法、プログラム
JP5765575B2 (ja) 撮影領域明示装置
JP2012109789A (ja) 検知装置、及び、検知方法

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 2005518942

Country of ref document: JP

REEP Request for entry into the european phase

Ref document number: 2005743841

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2005743841

Country of ref document: EP

AK Designated states

Kind code of ref document: A1

Designated state(s): AE AG AL AM AT AU AZ BA BB BG BR BW BY BZ CA CH CN CO CR CU CZ DE DK DM DZ EC EE EG ES FI GB GD GE GH GM HR HU ID IL IN IS JP KE KG KM KP KR KZ LC LK LR LS LT LU LV MA MD MG MK MN MW MX MZ NA NG NI NO NZ OM PG PH PL PT RO RU SC SD SE SG SK SL SM SY TJ TM TN TR TT TZ UA UG US UZ VC VN YU ZA ZM ZW

AL Designated countries for regional patents

Kind code of ref document: A1

Designated state(s): BW GH GM KE LS MW MZ NA SD SL SZ TZ UG ZM ZW AM AZ BY KG KZ MD RU TJ TM AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IS IT LT LU MC NL PL PT RO SE SI SK TR BF BJ CF CG CI CM GA GN GQ GW ML MR NE SN TD TG

WWE Wipo information: entry into national phase

Ref document number: 11326922

Country of ref document: US

121 Ep: the epo has been informed by wipo that ep was designated in this application
WWP Wipo information: published in national office

Ref document number: 2005743841

Country of ref document: EP

WWP Wipo information: published in national office

Ref document number: 11326922

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

WWW Wipo information: withdrawn in national office

Ref document number: DE