WO2006087993A1 - 周辺監視装置および周辺監視方法 - Google Patents

周辺監視装置および周辺監視方法 Download PDF

Info

Publication number
WO2006087993A1
WO2006087993A1 PCT/JP2006/302478 JP2006302478W WO2006087993A1 WO 2006087993 A1 WO2006087993 A1 WO 2006087993A1 JP 2006302478 W JP2006302478 W JP 2006302478W WO 2006087993 A1 WO2006087993 A1 WO 2006087993A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
parameter
coordinate conversion
camera
acquisition unit
Prior art date
Application number
PCT/JP2006/302478
Other languages
English (en)
French (fr)
Inventor
Kunio Nobori
Masaki Sato
Original Assignee
Matsushita Electric Industrial Co., Ltd.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co., Ltd. filed Critical Matsushita Electric Industrial Co., Ltd.
Priority to EP06713620.0A priority Critical patent/EP1850595B1/en
Priority to JP2006519031A priority patent/JP3968375B2/ja
Publication of WO2006087993A1 publication Critical patent/WO2006087993A1/ja
Priority to US11/541,684 priority patent/US8139114B2/en

Links

Classifications

    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00—Registering or indicating the working of vehicles
    • G07C5/08—Registering or indicating performance data other than driving, working, idle, or waiting time, with or without registering driving, working, idle or waiting time
    • G07C5/0841—Registering performance data
    • G07C5/0875—Registering performance data using magnetic data carriers
    • G07C5/0891—Video recorder in combination with video camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/102—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using 360 degree surveillance camera system
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/301—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing combining image information with other obstacle sensor information, e.g. using RADAR/LIDAR/SONAR sensors for estimating risk of collision
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/304—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images
    • B60R2300/305—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images merging camera image with lines or icons
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/40—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the details of the power supply or the coupling to vehicle components
    • B60R2300/402—Image calibration
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/607—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/806—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for aiding parking

Definitions

  • the present invention relates to a peripheral monitoring device that generates a peripheral image using an image captured by a camera.
  • an image captured by a camera is deformed, and a combined image such as a force captured by a virtual viewpoint force or a combined image obtained by combining images captured by a plurality of cameras.
  • a peripheral monitoring device that uses image synthesis technology.
  • a periphery monitor that captures the periphery of a vehicle with a plurality of cameras, synthesizes the captured image, and synthesizes an image of the periphery of the vehicle viewed from above.
  • An apparatus is disclosed (for example, see Patent Documents 1 to 3).
  • FIG. 1 is a diagram illustrating a configuration diagram of a conventional periphery monitoring device described in Patent Document 2 and an example of a composite image.
  • the image memories 7-1 to 7-8 temporarily store the images captured by the camera, and the address counter 13-1 and the vertical address lookup table.
  • (LUT) 13-2, horizontal address LUT13-3 and memory selector LUT13-4 are combined to generate the image coordinates of the captured image corresponding to each pixel of the composite image, that is, the address in the image memory.
  • Use 5 to read the image memory image.
  • this perimeter monitoring device it is possible to generate a composite image as if the applied force was also imaged by the upward force of the vehicle, as shown in Fig.
  • the peripheral monitoring device configured by the above-described lookup table calculates the correspondence between the coordinates of the captured image and the synthesized image in advance and stores them in the lookup table. Since the images can be combined by referring to the table, there is an advantage that the calculation load at the time of execution is small! / And! /.
  • the camera position at the time of creating the lookup table is the “reference camera position”
  • the image synthesis parameter such as the lookup table generated based on the reference camera position
  • the reference camera An image synthesized using the captured image at the position and the reference image synthesis parameter is called a “reference synthesized image”.
  • Patent Document 1 JP-A-58-110334
  • Patent Document 2 JP-A-11-78692
  • Patent Document 3 Japanese Patent No. 3286306
  • Non-patent literature 1 An Elhcient and Accurate and amera Calibration Technique for 3D Machinine ision ", Roger Y. Tsai, Proceedings of IEEE Conference on Computer Vision a nd Pattern Recognition, Miami Beach, FL, 198b, pages 364—374.
  • the present invention has been made in view of the above circumstances, and when a camera position shift occurs with respect to a reference camera position used for parameter calculation for image composition such as a look-up table.
  • Another object of the present invention is to provide a periphery monitoring device and a periphery monitoring method capable of reducing distortion on a display image caused by a camera position shift. Means for solving the problem
  • a periphery monitoring apparatus is a periphery monitoring apparatus that generates a periphery image using a captured image captured by a camera, and is information relating to a positional change of the camera.
  • a misregistration information acquisition unit that acquires misregistration information
  • a coordinate conversion parameter acquisition unit that acquires a coordinate conversion parameter for correcting distortion of the peripheral image due to the position change based on the position shift information acquired by a displacement information acquisition unit
  • the captured image An image synthesis parameter acquisition unit for acquiring a reference image synthesis parameter including image coordinate information indicating a pixel position on the captured image corresponding to each pixel of the peripheral image for generating the peripheral image using
  • the image coordinates included in the reference image synthesis parameter acquired by the image synthesis image acquisition unit are coordinate-converted using the coordinate conversion parameter acquired by the coordinate conversion parameter acquisition unit, and used as a converted image synthesis parameter.
  • FIG. 1 is a diagram illustrating an example of a periphery monitoring device according to a conventional technique.
  • FIG. 2 is a block diagram showing a configuration of a periphery monitoring apparatus in Embodiment 1 of the present invention.
  • FIG. 3 is a diagram showing an example of an imaging situation in the first embodiment of the present invention.
  • FIG. 4 is a flowchart showing the operation of the periphery monitoring device in Embodiment 1 of the present invention.
  • FIG. 5 is a diagram showing an example of a captured image in the first embodiment of the present invention.
  • FIG. 6 is a diagram showing an example of a coordinate system in the first embodiment of the present invention.
  • FIG. 7 is a diagram showing an example of reference image synthesis parameters in Embodiment 1 of the present invention.
  • FIG. 8 is a diagram showing an example of a composite image in the first embodiment of the present invention.
  • FIG. 9 is a diagram showing an example of a figure superimposed and synthesized by the figure synthesis unit in the first embodiment of the present invention.
  • FIG. 10 is a diagram showing an example of a selection method in the image composition parameter selection unit in the first embodiment of the present invention.
  • FIG. 11 is a diagram showing an example of corresponding points used for calculation of coordinate transformation parameters in Embodiment 1 of the present invention.
  • FIG. 12 is a diagram showing an example of coordinate conversion parameters in the first embodiment of the present invention.
  • FIG. 13 is a diagram showing an example of a generated image in the course of operation in the first embodiment of the present invention.
  • FIG. 14 is a diagram showing an example of a captured image when the camera position is shifted in the first embodiment of the present invention.
  • FIG. 15 is a diagram showing an example of a composite image when the camera position is shifted in the first embodiment of the present invention.
  • FIG. 16 is a diagram showing an example of a difference in a composite image depending on the presence / absence of coordinate conversion in Embodiment 1 of the present invention.
  • FIG. 17 is a diagram showing an example of a usage situation when using the reference graphic in the first embodiment of the present invention.
  • FIG. 18 is a diagram showing an example of a captured image in the case of using the reference graphic according to Embodiment 1 of the present invention.
  • FIG. 19 is a diagram showing an example of a captured image in the case of performing a composite image recording process in the first embodiment of the present invention.
  • FIG. 20 is a block diagram showing a configuration of a periphery monitoring device in Embodiment 2 of the present invention.
  • FIG. 21 is a diagram showing an example of a composite image when affine transformation is used for coordinate transformation in Embodiment 2 of the present invention.
  • FIG. 22 is a diagram showing an example of a composite image when the camera position is shifted in the second embodiment of the present invention.
  • FIG. 23 is a diagram showing an example of a composite image on which a figure is superimposed according to the second embodiment of the present invention.
  • FIG. 24 is a diagram showing an example of a composite image using a plurality of cameras according to Embodiment 2 of the present invention.
  • FIG. 25 is a diagram showing an example of a composite image when the captured image in the third embodiment of the present invention has lens distortion.
  • FIG. 26 is a graph showing a position error on a composite image when an image with lens distortion in the third embodiment of the present invention is coordinate-transformed.
  • FIG. 27 is a block diagram showing a configuration when the periphery monitoring device according to the present invention is configured by a computer.
  • a perimeter monitoring apparatus is a perimeter monitoring apparatus that generates a peripheral image using a captured image captured by a camera, and relates to a positional variation of the camera. In order to correct the distortion of the peripheral image due to the position variation based on the positional deviation information acquisition unit that acquires positional deviation information that is information to be acquired and the positional deviation information acquired by the positional deviation information acquisition unit.
  • a coordinate transformation parameter obtaining unit for obtaining a coordinate transformation parameter of the image, and an image coordinate indicating a pixel position on the captured image corresponding to each pixel of the peripheral image for generating the peripheral image using the captured image
  • An image synthesis parameter acquisition unit that acquires a reference image synthesis parameter including information, and an image coordinate included in the reference image synthesis parameter acquired by the image synthesis parameter acquisition unit is acquired by the coordinate conversion parameter acquisition unit.
  • a coordinate conversion unit that performs coordinate conversion using the coordinate conversion parameter that has been generated and outputs the converted image composition parameter; and Using conversion image synthesis parameter, characterized in that it comprises an image synthesizing section for generating and outputting the peripheral image.
  • the periphery monitoring device further includes a figure composition unit that superimposes and outputs a figure on the surrounding image generated by the image composition unit, and the coordinate conversion parameter acquisition unit includes the positional deviation.
  • the coordinate conversion parameter may be acquired based on the positional deviation information acquired by the information acquisition unit and the graphic superimposed and synthesized by the graphic synthesis unit.
  • the image synthesis parameter acquisition unit includes at least one reference image synthesis parameter stored in advance, and at least one reference image synthesis parameter.
  • the coordinate conversion parameter acquisition unit is based on the positional deviation information acquired by the positional deviation information acquisition unit and the reference image synthesis parameter selected by the image synthesis parameter selection unit.
  • the coordinate conversion parameter may be acquired.
  • the coordinate conversion is performed according to the reference image synthesis parameter used for generating the peripheral image, that is, according to the composition of the peripheral image.
  • the reference image synthesis parameter used for generating the peripheral image that is, according to the composition of the peripheral image.
  • the reference image synthesis parameter includes information on image coordinates of a plurality of the captured images for generating the peripheral image using a plurality of the captured images captured by a plurality of cameras
  • the misregistration information acquisition unit acquires a plurality of misregistration information, which is information relating to positional fluctuations of the plurality of cameras
  • the coordinate conversion parameter acquisition unit acquires a plurality of misregistration information acquisition units.
  • a plurality of the coordinate conversion parameters are acquired based on the positional deviation information of the image, and the coordinate conversion unit converts the image coordinates included in the reference image combination parameter acquired by the image combination parameter acquisition unit to the coordinate conversion Coordinate conversion is performed using the plurality of coordinate conversion parameters acquired by the parameter acquisition unit, and the converted image synthesis parameter is output.
  • said coordinate transformation parameter of the plurality of obtained by the coordinate transformation parameter acquiring unit relative to the captured image it may also be generating the surrounding image ⁇ .
  • the coordinate conversion is performed according to the reference image synthesis parameter used for generating the peripheral image, that is, according to the composition of the peripheral image.
  • the reference image synthesis parameter used for generating the peripheral image that is, according to the composition of the peripheral image.
  • the image synthesis parameter acquisition unit may acquire the reference image synthesis parameter including information on image coordinates outside the range of the captured image.
  • the image coordinates included in the reference image composition parameter are outside the range of the captured image, the image coordinates obtained by coordinate conversion of the image coordinates are within the range of the captured image. As a result, it is within the range of the captured image included in the converted image composition parameter
  • the image coordinates can be increased, that is, the effective pixels on the peripheral image can be increased.
  • the present invention can be realized as a peripheral monitoring method that can be realized as such a peripheral monitoring device, and has a characteristic unit included in the peripheral monitoring device such as NAGKO as a step. It can also be realized as a program that causes a computer to execute steps. Needless to say, such a program can be distributed via a recording medium such as a CD-ROM or a transmission medium such as the Internet.
  • FIG. 2 is a block diagram showing the configuration of the periphery monitoring apparatus according to Embodiment 1 of the present invention.
  • the periphery monitoring device is a device that is mounted on a moving body such as an automobile, for example, and generates a composite image (peripheral image) by transforming the captured image captured by the camera, as shown in FIG. Camera 101, A / D shelf 102, frame memory 103, image composition unit 104, figure composition unit 105, DZA converter 106, display 107, displacement information acquisition unit 108, moving object state detection unit 109, coordinate transformation A parameter acquisition unit 120, a coordinate conversion unit 112, and an image composition normal meta acquisition unit 121 are provided.
  • the camera 101 captures the periphery and outputs a moving image.
  • the AZD conversion 102 digitally converts a moving image that is an analog signal.
  • the frame memory 103 temporarily holds the digitalized moving image. Note that at least one camera 101, A / D converter 102, and frame memory 103 may be provided.
  • the frame memory 103 is a so-called double buffer frame memory that continuously reads moving images output from the camera 101 and simultaneously holds at least one frame of image data. Further, the frame memory 103 is configured to be able to read arbitrary pixel data of the held image for one frame in response to a read request from the image composition unit 104.
  • the positional deviation information acquisition unit 108 receives the positional deviation amount of each camera by a user's switch operation, and outputs the received positional deviation amount of each camera as camera positional deviation information.
  • the amount of positional deviation of each camera is received from the user.
  • the present invention is not limited to this.
  • the displacement amount of each camera is detected by a sensor or the like, and the detected displacement amount of each camera is output as camera displacement information. You don't mind.
  • the moving body state detection unit 109 detects the vehicle speed, the shift lever, and the rudder angle, and outputs them as a moving body state.
  • the vehicle speed, shift lever, and rudder angle are detected.
  • the present invention is not limited to this.
  • the moving body state detection unit 109 includes switches operated by a user such as an idling key, a shift lever, and a blinker, or sensors such as a vehicle speed sensor and a steering angle sensor that detect a vehicle speed and a moving direction. Any one or a plurality of detection results may be output as the moving object state.
  • the coordinate conversion parameter acquisition unit 120 includes a coordinate conversion parameter selection unit 110 and a coordinate conversion parameter storage unit 111.
  • the coordinate conversion parameter storage unit 111 preferentially stores a plurality of coordinate conversion parameters.
  • the coordinate transformation parameter selection unit 110 selects and outputs one of the plurality of coordinate transformation parameters stored in the coordinate transformation parameter storage unit 111 according to the camera position deviation information.
  • the image composition parameter acquisition unit 121 includes an image composition parameter selection unit 113 and an image composition parameter storage unit 114.
  • the image composition parameter storage unit 114 preliminarily stores at least one reference image composition parameter and at least one graphic parameter.
  • the image composition parameter selection unit 113 selects and outputs one of the reference image composition parameters and the graphic parameters stored in the image composition parameter storage unit 114 according to the moving body state.
  • the coordinate transformation unit 112 uses the coordinate transformation parameters output from the coordinate transformation parameter selection unit 110 to use the image coordinates of the captured image included in the reference image synthesis parameter outputted from the image synthesis parameter selection unit 113. Coordinates are converted and output as a converted image composition parameter.
  • the image composition unit 104 sequentially reads out images from the frame memory 103 in accordance with the converted image composition parameters output from the coordinate conversion unit 112, and generates and outputs a composite image.
  • the figure composition unit 105 superimposes a figure corresponding to the figure parameter output from the image composition parameter selection unit 113 on the composite image output from the image composition unit 104, and outputs the result as a composite image with a figure.
  • the DZA conversion 106 converts the composite image with a figure into an analog signal.
  • the display 107 displays the combined image with a figure converted into an analog signal.
  • the periphery monitoring device is mounted on the vehicle A, and there are three cameras 101.
  • Figure 3 shows an example of installation in this case.
  • a plurality of cameras 101 in FIG. 2 correspond to the cameras 101a to 101c (cameras 1 to 3) in FIG. 3, and each power camera is installed in the vehicle so as to image the periphery of the vehicle.
  • the display 107 is installed at a position that can be seen by the driver in the vehicle, and the other processing units are installed inside the vehicle. It should be noted that the number of cameras 101 and their installation positions are not limited to those shown in FIG. 3, and the installation positions of the respective processing units are not limited in the same manner.
  • FIG. 4 is a flowchart showing the operation flow of the periphery monitoring device.
  • the camera 101 captures an image of the periphery of the vehicle and outputs a video signal.
  • the AZD conversion 102 outputs an image obtained by digitizing the video signal.
  • the frame memory 103 temporarily stores the digitized image. (Step S101). Images in the frame memory 103 are stored and updated continuously in synchronization with the video signal output from the camera 101.
  • FIG. 5 is a diagram showing an example of images taken by the cameras 101a to 101c in the imaging state of FIG. 3, where (a) the camera 101a is rearward, (b) the camera 101b is leftward (c) the camera It is a figure which shows the example of the image imaged by right side force by 101c.
  • the frame memory 103 the image shown in FIG. 5 is digitized and stored.
  • the positional deviation information acquisition unit 108 acquires the positional deviation of each camera and outputs it as camera positional deviation information (step S 102).
  • step S 102 a specific example of the positional deviation of the camera will be described.
  • FIG. 6 is a diagram showing the arrangement of the camera coordinate system (Xe, Ye, Ze), the vehicle coordinate system (Xc, Yc, Zc), and the world coordinate system (Xw, Yw, Zw). Since the camera is fixed to the vehicle, the position of the subject and the camera around the vehicle is the position of the vehicle coordinate system relative to the world coordinate system and the vehicle coordinates. It is determined by two positional relationships with the position of the camera coordinate system with respect to the system, and the former is called the vehicle posture and the latter is called the camera installation position.
  • the camera position deviation is the difference between the reference position when the vehicle posture when the reference image composition parameter is generated and the camera installation position are used as the reference position. Caused by misalignment.
  • the camera position deviation is E
  • the vehicle attitude deviation is Ec
  • the camera installation position deviation is Ee
  • Camera installation position deviation Ee can be expressed by six parameters (ex, ey, ez, ewx, ewy, ewz) of three-dimensional translation and rotation, and k-th camera installation position deviation Eek Is expressed as (exk, eyk, ezk, ewxk, ewyk, ewzk).
  • the vehicle is free to move in the XZ plane (road surface) and rotate around the Y axis with respect to the world coordinate system, and the vehicle attitude deviation Ec is expressed by three parameters: (eye, e wxc, ewzc) .
  • the positional deviations Ek of k cameras are collectively referred to as camera positional deviation information.
  • the camera position deviation E is represented by only one parameter of the Y-axis rotation deviation (ewy) of the camera coordinate system with respect to the vehicle coordinate system. Suppose.
  • the moving body state detection unit 109 detects the vehicle speed, the shift lever, and the rudder angle, and outputs them as a moving body state (step S103).
  • the moving body state detection unit 109 outputs “the vehicle is stopped, the shift lever is reverse (R), and the steering angle is neutral” as the moving body state.
  • FIG. 7 is a diagram for explaining the reference image composition parameters stored in the image composition parameter storage unit 114. (a) a captured image, (b) a composite image, and (c) a composite image from the captured image. It is a figure which shows the example of the reference
  • each element of the two-dimensional array is composed of the camera number and pixel coordinates (X coordinate and Y coordinate in the present embodiment) of the captured image corresponding to the pixel of the composite image.
  • FIG. 8 is a diagram illustrating an example of a plurality of synthesized images generated using a plurality of reference image synthesis parameters.
  • a composite image generated using each reference image composite parameter when the captured image shown in FIG. 5 is captured in the imaging state of FIG. 3 is shown. Even for the same captured image, a composite image with a different composition can be generated by using the reference image composition parameters having different camera numbers and captured image coordinate values.
  • Fig. 8 (a) shows an example of a composite image generated with the reference image composition parameter 1.
  • the reference image composition parameter 1 is the correspondence between the captured image of the camera 101a and the composite image of the composition viewed from above the vehicle. Represents.
  • FIG. 8 is a diagram illustrating an example of a plurality of synthesized images generated using a plurality of reference image synthesis parameters.
  • a composite image generated using each reference image composite parameter when the captured image shown in FIG. 5 is captured in the imaging state of FIG. 3 is shown. Even for the same captured image, a composite image with a different
  • FIG. 8B is an example of a composite image generated with the standard composite image parameter 2
  • the standard composite image model 2 represents a correspondence relationship between the captured image of the camera 101a and the composite image having the same composition.
  • Fig. 8 (c) is an example of a composite image generated using the reference image composition parameter 3.
  • the reference image composition parameter 3 is a captured image of the cameras 101a to 101c and a wide range on the side and rear of the vehicle. Represents the correspondence relationship with the composite image of the composition as viewed from above the vehicle. Since the method for creating the reference image composition parameter is described in detail in Patent Document 3 and the like described above, detailed description thereof is omitted here.
  • FIG. 9 is a diagram showing an example of a figure synthesized using a figure parameter. It is assumed that the graphic parameter is stored as an image file having the same size as the synthesized image.
  • Figure parameter 1 to synthesize the figure shown in Fig. 9 (a) is the reference image synthesis parameter 1 and the parameters shown in Figs. 9 (b) to (d).
  • the figure parameters 2-1 to 2-3 for synthesizing the figure correspond to the reference image composition parameter 2
  • the figure parameter 3 for composition of the figure shown in Fig. 9 (e) corresponds to the reference image composition parameter 3, respectively.
  • Each broken line in FIG. 9 is a figure showing a specific distance determined based on the own vehicle. For example, the broken line in Figs.
  • the figure synthesized by the figure parameter includes information that serves as a reference for the distance and position from the host vehicle. Such a figure can be obtained by associating the position on the road surface or the position on the captured image with the position on the composite image when creating the reference image composition parameter described above. It can be generated.
  • FIG. 10 is a diagram illustrating an example of a method for selecting a reference image composition parameter in the image composition parameter selection unit 113.
  • the image composition parameter selection unit 113 selects a reference image composition parameter and a graphic parameter according to the combination of the vehicle speed, the shift lever, and the steering angle that are input as the moving body state. For example, when “the car is moving and the shift lever is R and the rudder angle is neutral”, “reference image composition parameter 2, graphic parameter 2-2” is selected.
  • the image composition parameter selection unit 113 uses the reference image composition parameter 1 and the figure. Select and output NORAMETAL 1 respectively.
  • the coordinate conversion parameter selection unit 110 selects and outputs one of a plurality of coordinate conversion parameters stored in the coordinate conversion parameter storage unit 111 according to the camera position deviation information (Ste S 105).
  • the coordinate transformation unit 112 uses the coordinate transformation parameters output from the coordinate transformation parameter selection unit 110 to calculate the image coordinates of the captured image included in the reference image synthesis parameters output from the image synthesis parameter selection unit 113.
  • the coordinates are transformed and output as a transformed image composition parameter (step S106).
  • the coordinate transformation performed by the coordinate transformation unit 112 is projective transformation
  • the coordinate transformation parameter stored in the coordinate transformation parameter storage unit 111 is related to the projection transformation for each camera. Assume a set of numbers.
  • the coordinate conversion unit 112 performs coordinate conversion by projective conversion using the following (Equation 1).
  • Equation 1 the eight coefficients (a, b, c, d, e, f, g, h) of the projective transformation are called coordinate transformation parameters.
  • (Xi, yi) is the image coordinates of the captured image included in the reference image composition parameter
  • (xi, yi ') is the image coordinates of the captured image included in the converted image composition parameter.
  • the coordinate conversion parameters stored in the coordinate conversion parameter storage unit 111 are a plurality of coordinate conversion parameters P corresponding to the camera position shift E and the camera number k.
  • the coordinate transformation P is dependent on camera position deviation E and camera number k, and is expressed as P (E, k).
  • the camera position deviation E is only the camera installation position deviation ewy, and the value is assumed to take 21 levels in increments of -10 degrees to +10 degrees. 21 coordinate transformation parameters corresponding to each angle shall be calculated and stored in advance for each camera number.
  • the coordinate conversion parameter P (E, k) is calculated by using all of the possible image displacement forces of the camera and the captured image of the camera position as a reference. Can be calculated.
  • the relationship between the image coordinates of the corresponding points can be expressed by (Equation 1). What can be done is described in "Image Understanding" (by Kenichi Kanaya, Morikita Publishing) and is widely known. Therefore, for example, when a large portion of the captured image is occupied by the road surface plane, the image with the camera position shift can be converted to an image with no camera position shift by projective conversion of the image with the camera position shift. .
  • the coordinate conversion parameter selection unit 110 selects and outputs a coordinate conversion parameter from the coordinate conversion parameter storage unit 111 according to the camera position shift E for each camera in the camera position shift information.
  • FIG. 12 is a diagram showing an example of the coordinate transformation normal meta P (E, k) corresponding to the camera number k and the positional deviation E of the camera.
  • the coordinate conversion unit 112 inputs the reference image composition parameter and the coordinate conversion parameter for each camera, and the camera number and the image coordinates (xi, yi) of the captured image, which are the elements of the reference image composition parameter.
  • (xi ', yi') is calculated by the coordinate transformation of (Equation 1) using the coordinate transformation parameter corresponding to the camera number.
  • the coordinate conversion unit 112 outputs a converted image composition parameter obtained by replacing each image coordinate (xi, 1) of the captured image in the reference image composition parameter with the calculated image coordinate (yi,).
  • the image composition unit 104 sequentially reads captured images corresponding to each element of the transformed image composition parameter from the frame memory 103 using the transformed image composition parameter generated by the coordinate transformation selection unit 112. And output as a composite image (step S107).
  • the same conversion image synthesis parameter as the reference image synthesis parameter 1 is used.
  • the composite image shown in FIG. 8A is output.
  • the figure compositing unit 105 superimposes and draws a figure according to the figure parameter selected by the image composition / nominal selection unit 113 on the composite image generated by the image composition unit 104 (step S108). ).
  • the figure parameter 1 is selected by the image synthesis parameter selection unit 113, the figure in FIG. 9A is superimposed on the synthesized image and output as a synthesized image with a figure.
  • the DZA conversion 106 converts the composite display image output from the moving object detection unit 105 into a video signal and outputs it, and the display 107 displays the video signal (step S109).
  • FIG. 13 is a diagram illustrating an example of an image generated by the operation in the initial state.
  • Fig. 13 (a) is a captured image captured by the camera 101a
  • Fig. 13 (b) is an example of a composite image output from the image composition unit 104
  • Fig. 13 (c) is from the figure composition unit 105.
  • This is an example of a composite image with a figure that is output and displayed on the display 107.
  • FIG. 14 is a diagram illustrating an example of a captured image in a case where a positional shift has occurred in the camera 101a.
  • Fig. 14 (a) is a captured image when there is no deviation
  • Fig. 14 (b) is a captured image when the installation position of the camera is shifted by 5 degrees due to rotation in the right direction around the vertical axis. It is an example.
  • FIG. 15 is a diagram illustrating an example of a combined image with a graphic generated by the above-described operation in the initial state with FIG. 14 as a captured image.
  • Fig. 15 (a) is a composite image with figures when the captured image is shown in Fig. 14 (a), and Fig.
  • FIG. 15 (b) is a composite image with figures when the captured image is shown in Fig. 14 (b). .
  • the subject in the captured image changes its position in the composite image due to the camera position shift, while the position of the figure changes.
  • the obstacle (cube) B position force against the broken line is different in Fig. 15 (a) and Fig. 15 (b). Therefore, the correction described below
  • the purpose of the state processing is to generate an image that is the same as or closer to that in FIG. 15A even when the captured image in FIG.
  • Fig. 16 (a) is an example of a captured image in the case where the camera installation position is shifted by 5 degrees by rotating clockwise about the vertical axis, and Fig. 16 (b) does not perform coordinate conversion.
  • Figure 16 (c) shows a composite image with figures when coordinates are converted.
  • the position deviation information acquisition unit 108 receives the camera position deviation Ek.
  • the camera installation position deviation ewyk is input in the range of -10 degrees to +10 degrees in increments of 1 degree, and the switch operation is stopped when the captured image and the composite image are the best match.
  • the switch operation is stopped when the captured image and the composite image are the best match.
  • a synthesized image is generated using the transformed image synthesis parameter that has undergone coordinate transformation in response to a camera position shift according to a user instruction. Even when a captured image having a positional deviation is used, there is an effect that the deviation between the subject of the composite image and the figure can be reduced. In addition, according to the first embodiment, even when the camera is misaligned, recalculation of the reference image composition parameter, the converted image composition parameter, the graphic parameter, etc. is unnecessary, and the calculation at the time of execution is performed. There is also an effect that the load is small.
  • FIG. 17 (a) is an example of an image captured by the camera 1 in the shooting state of FIG.
  • Fig. 18 (b) shows an example of the same figure as the figure on the road surface of Fig. 17 being synthesized by the figure composition unit 105, and if there is no camera displacement, the synthesized figure (shown with a broken line) ) Matches the figure on the road surface of the photographed image.
  • the figure on the road surface and the synthesized figure are shifted as shown in Fig. 18 (c). Can be easily grasped to the right, and as a result, the user can easily select the camera position deviation E.
  • the figure composition unit 105 performs a process of recording the composite image input from the image composition unit 104 in response to a user operation in addition to the process described above, The process of superposing and combining the combined image on the combined image input from the image combining unit 104 and outputting the combined image may be performed selectively. Then, for example, immediately after purchasing the vehicle, the user records a composite image such as that shown in FIG.
  • the camera position deviation E is configured only by ewy, which is one of the camera position deviations, for the sake of simplicity, and is input by the user.
  • Force assumed Camera installation position deviation Ee 6 parameters (ex, ey, ez, ewx, ewy, e wz) and vehicle attitude deviation Ec 3 parameters (eye, ewxc, ewzc) Combinations may be used.
  • the vehicle attitude deviation Ec detects the vehicle attitude. It may be acquired by a detection unit that combines an acceleration sensor or an angular acceleration sensor.
  • the user can input an arbitrary camera position shift E to the position shift information acquisition unit 108, and observe the composite image to obtain the optimum camera position shift.
  • Force to set E It is not limited to this method.
  • the camera position deviation may be calculated by performing camera calibration and the value may be input.
  • the coordinate conversion parameter acquisition unit 120 includes a coordinate conversion parameter selection unit 110 and a coordinate conversion parameter storage unit 111, and the coordinate conversion parameter selection unit 110 responds to the camera position deviation information.
  • the force for selecting one of the plurality of coordinate transformation parameters stored in the coordinate transformation parameter storage unit 111 is not limited to this.
  • the coordinate conversion parameter acquisition unit 120 may generate a coordinate conversion parameter based on the camera position deviation information.
  • the coordinate conversion unit 112 uses projective transformation in the first embodiment, the coordinate conversion method is not limited to the projective transformation, and the camera position deviation is corrected. Any transformation can be used as long as it is an effective coordinate transformation.
  • FIG. 20 is a block diagram showing the configuration of the periphery monitoring apparatus according to Embodiment 2 of the present invention.
  • This embodiment differs from the first embodiment in that the content of the coordinate transformation parameter P stored in the coordinate transformation parameter storage unit 212, the coordinate transformation parameter selection unit 211, and the coordinate transformation unit. This is the operation of 201.
  • the coordinate conversion unit 201 uses the following (Equation 2) to perform imaging using the affine transformation and include the imaging included in the reference image synthesis parameter output from the image synthesis parameter selection unit 221.
  • the image coordinates of the image image are subjected to coordinate conversion using the coordinate conversion parameters output from the coordinate conversion parameter selection unit 212, and output as converted image synthesis parameters.
  • the coordinate transformation parameter is composed of the six coefficients (a, b, c, d, e, f) in (Equation 2).
  • the coordinate transformation parameters stored in the coordinate transformation parameter storage unit 212 are calculated in advance according to the camera positional deviation E, the reference image composition parameter number q, the figure parameter number!:, And the camera number k.
  • the coordinate conversion parameter selection unit 211 includes the position shift E and the camera number k of each camera included in the camera position deviation information, and the reference image composition parameter number p selected by the image composition parameter selection unit 221. And the coordinate transformation parameter P (E, q, r, k) corresponding to the figure parameter number r is selected and output.
  • the reference image composition parameter number p and the figure parameter number r are obtained by the selection method shown in FIG. 10 based on the moving body state input from the moving body state detection unit 109.
  • the coordinate transformation parameter P (E, q, r, k)
  • the coordinate transformation parameter is calculated from a plurality of corresponding point coordinates between the captured image and the captured image of a certain positional deviation E without any positional displacement. Is calculated.
  • the difference from Embodiment 1 is that coordinate conversion parameters are calculated using different corresponding points according to camera number k, reference image composition parameter number p, and figure parameter number r.
  • the corresponding point of “X mark” and the corresponding point of “ ⁇ mark” are points on the captured image corresponding to the graphic parameter 2-2 and the graphic normal 2-1, respectively. Since graphic parameter 2-1 and graphic parameter 2-2 are selected by the selection method shown in FIG. 10, the coordinate conversion parameter calculated using the corresponding points of “X” is “camera misalignment E”. This is the coordinate transformation parameter P (E, 2, 2- 2, 1) for the standard image composition parameter 2, figure normal meta 2-2, camera 1 ”, and was calculated using the corresponding points of“ ⁇ ”. The coordinate conversion parameter is assumed to be the coordinate conversion parameter P (E, 2, 2- 2, 1) in the case of “camera displacement E, reference image synthesis normal 2, graphic parameter 2-1, camera 1”. .
  • FIGS. 21 (c) and 21 (d) show a composite image generated by performing coordinate conversion using the above-described two coordinate conversion parameters using the captured image with the camera position deviation of FIG. 21 (b). It is an example. Affine conversion is a force that can completely correct the misalignment of the captured image only when the camera misalignment is rotation about the Z axis of the camera. On the other hand, misalignment remains. The effect of this misalignment can be expected to be small at the position of the corresponding point used when calculating the above-mentioned coordinate transformation parameters. In other words, in the composite images in Figs. 21 (c) and 21 (d), there is a shift in the composite image due to the camera position shift at the corresponding point of the "X" and the corresponding point of the " ⁇ ". It becomes a little ⁇ image!
  • Fig. 22 shows the image of Fig. 2, where the moving object state is "Vehicle speed is moving, shift lever is R, rudder angle is neutral", and the camera position deviation E input from the user is the initial value ewyk
  • Fig. 22 (a) is a composite image with figures when there is no camera position shift
  • Fig. 22 (b) is a composite image with figures when there is a camera position shift
  • FIG. 23 (a) shows a case where a suitable camera position deviation E is input by the user's operation as in the first embodiment, that is, the above-described coordinate conversion parameter P (E, 2, 2-2).
  • the coordinate conversion parameter acquisition unit 210 generates a coordinate conversion parameter in accordance with the figure superimposed and synthesized by the figure synthesis unit 105, thereby superimposing and synthesizing the synthesized image. Since the reference image composition parameter is coordinate-converted according to the figure to be displayed, it is possible to display an image with little deviation between the figure and the composite image.
  • the coordinate conversion unit 201 performs coordinate conversion using affine transformation, but the camera position shift is not limited to affine transformation. Any transformation can be used as long as it has a coordinate transformation effect. For example, even when projective transformation is used, if the captured image captured by the camera includes lens distortion, or if the camera misalignment includes a parallel movement component, the position in the coordinate-converted composite image Deviation remains. At this time, the positional deviation on the composite image becomes small at the position of the corresponding point used for the calculation of the coordinate transformation normal. Therefore, as in the second embodiment, the coordinate transformation parameter corresponding to the figure is used. Thus, it is possible to generate a composite image that is less affected by misalignment on the composite image.
  • the configuration and operation are the same as those in the second embodiment.
  • the camera 101 is a camera that outputs an image including lens distortion, and its lens distortion. This is the point of using the camera 101 with a lens distortion that minimizes the positional error after coordinate conversion in the range of the camera position deviation determined in advance and the range of the reference image synthesis parameter. .
  • FIG. 25 is a diagram showing an example of a captured image with lens distortion and an example of a composite image generated by the same operation as in the second embodiment.
  • Figure 25 (a) shows that camera 101 produces an image with lens distortion.
  • FIG. 25 (b) shows an example of a captured image when the position of the camera is shifted.
  • a plurality of camera position shifts obtained in the range of the captured image and the possible camera position shift E without any camera position shift. From the image, a coordinate transformation parameter is determined in advance, and a coordinate transformation is performed using this parameter to generate a composite image as shown in Fig. 25 (c).
  • Fig. 26 is a diagram showing the correspondence between the average error and lens distortion kl when an image with lens distortion is transformed.
  • A When affine transformation is used,
  • b When projection transformation is used, It is. This is because for a captured image with a second-order lens distortion kl, a coordinate transformation parameter is calculated based on the corresponding point of the captured image corresponding to the broken line of the graphic parameter 2-2 in the reference image composition parameter 2.
  • the average error of misregistration with the reference position on the broken line of figure parameter 2-2 is calculated.
  • a composite image generated by one or more predetermined reference image composite parameters and one or more coordinate conversion parameters determined in advance By using a captured image with a lens distortion parameter that minimizes the error in the image, it is possible to generate a composite image with a smaller positional displacement of the composite image. There are fruits.
  • the reference image composition parameter is composed of the image coordinate values of the captured image corresponding to the image coordinates of the composite image, but the image coordinate values outside the range of the captured image. May be set. Even if the reference image composition parameter includes image coordinate values that are outside the range of the captured image, the converted image composition parameter converted by the coordinate conversion unit is replaced with a coordinate value within the captured image range. Therefore, there is an effect that the range of the image displayed as a composite image may be widened.
  • one image coordinate of the composite image is obtained in the vicinity of the camera boundary on the composite image. It is configured to refer to two or more captured image coordinates, and the coordinate conversion unit outputs it as a converted image composition parameter that leaves one of the image coordinates within the captured image range after the coordinate conversion. You may do that. At this time, if there is a case where the range of the image displayed as the composite image is widened, there is an effect.
  • the moving body state detection unit 108 and the image composition parameter selection unit 113 use the vehicle speed, the shift lever, and the steering angle as the moving body state. Any information may be used as long as it is a moving object state that has a corresponding relationship with the composition of the composite image without limiting the type or parameter selection method.
  • the position information of a vehicle acquired by a GPS (Global Positioning System) device also acquires the road situation, estimates the vehicle posture based on the road situation, and sets the reference image synthesis parameter and the coordinate conversion parameter according to the vehicle posture. You may choose.
  • the image composition parameter selection unit 113 selects the reference image composition parameter by the selection method of FIG. 10, but any selection method is not limited to the selection method. It may be.
  • each embodiment there are three cameras, and their installation positions and imaging ranges are as shown in Fig. 3. However, the number of cameras, installation positions, and imaging ranges are limited to this range. It is not fixed.
  • the vehicle in which a plurality of cameras and the periphery monitoring device are installed has been described as a four-wheeled passenger car, but this does not limit the form of the vehicle. It may be a moving body such as a wheel or a three-wheeled vehicle or a robot. Furthermore, the place where the plurality of cameras and the periphery monitoring device are installed is not limited to a moving body, and may be installed fixedly at a station or a building, for example. In addition, a plurality of cameras and perimeter monitoring devices may be installed at different locations where the camera and the perimeter monitoring device need not be installed at the same moving body or location.
  • each processing unit may be included in a single IC or the like described as being realized by individual hardware.
  • each processing unit may be realized by software executed by a computer (CPU 1004, ROM 1005, RAM 1006, etc.). Similar effects can be obtained.
  • the periphery monitoring device can correct distortion in a display image caused by a camera position shift, and assists in the operation of a moving object such as driving a vehicle or remotely operating a robot. It is useful as a surrounding monitoring device. In particular, it is useful as a perimeter monitoring device that presents a composite of images taken from a virtual viewpoint using images taken by a plurality of cameras. It can also be applied to monitoring devices for security purposes and image composition devices for video creation.

Abstract

　カメラの位置ずれがある場合に、カメラの位置ずれに伴って生じる表示画像中の歪みを低減することができる周辺監視装置および周辺監視方法を提供する。周辺監視装置は、各カメラの位置ずれ量を取得してカメラ位置ずれ情報として出力する位置ずれ情報取得部（１０８）、車両速度、シフトレバー、舵角を検出し、移動体状態として出力する移動体状態検出部（１０９）、カメラ位置ずれ情報に応じて座標変換パラメタを選択する座標変換パラメタ選択部（１１０）、移動体状態に応じて基準画像合成パラメタおよび図形パラメタを選択する画像合成パラメタ選択部（１１３）、基準画像合成パラメタに含まれる撮像画像の画像座標を座標変換パラメタを用いて座標変換し、変換画像合成パラメタとして出力する座標変換部（１１２）、および、変換画像合成パラメタに応じて合成画像を生成して出力する画像合成部（１０４）を備える。                                                                                 

Description

明 細 書
周辺監視装置および周辺監視方法
技術分野
[0001] 本発明は、カメラで撮像された画像を用いて周辺画像を生成する周辺監視装置に 関するものである。
背景技術
[0002] 従来、カメラで撮像した画像を変形加工し、あたカゝも仮想的な視点力ゝら撮像された 力のような合成画像や、複数のカメラで撮像した画像を接合した合成画像を生成する 画像合成技術を用いた周辺監視装置がある。
[0003] このような周辺監視装置の例として、複数台のカメラによって車両周辺を撮像し、撮 像された画像を変形加工して自車両周辺を上方カゝら見た画像を合成する周辺監視 装置が開示されている (例えば、特許文献 1〜3参照)。
[0004] 図 1は、特許文献 2に記載された従来の周辺監視装置の構成図と合成画像の例を 示す図である。図 1 (a)に示す従来の周辺監視装置では、画像メモリ 7— 1〜7— 8は カメラで撮像された撮像画像を一時的に記憶し、アドレスカウンター 13— 1、垂直アド レスルックアップテーブル（LUT) 13- 2,水平アドレス LUT13— 3、メモリセレクタ用 LUT13— 4の組み合わせによって、合成画像の各画素に対応する撮像画像の画像 座標、すなわち画像メモリ中のアドレスを生成し、メモリセレクタ 13— 5によって画像メ モリの画像を読み出す。この周辺監視装置を用いると、複数のカメラで撮像された画 像から、図 1 (b)のようにあた力も車両の上方力 撮像したかのような合成画像を生成 することができる。このような周辺監視装置を用いて車両周辺を観察した場合、運転 席からは直接見ることができない死角領域を画面上で確認することができるので、周 辺物との衝突の防止や、運転操作を容易にできるという利点がある。特に、上記した ルックアップテーブルによって構成した周辺監視装置は、撮像画像と合成画像との 座標の対応関係をあらカゝじめ計算してルックアップテーブルに記憶しておき、実行時 にはルックアップテーブルの参照によって画像を合成できるため、実行時の計算負 荷が小さ!/、と!/、う利点がある。 [0005] し力しながら、前記従来の構成では、設計上のカメラ取り付け位置を基準にルックァ ップテーブルを作成した後に車両へのカメラ取り付け位置に設計値との誤差が生じ た場合や、カメラ取り付け後に測定されたカメラ位置を基準としてルックアップテープ ルを作成した後に車両へのカメラの取り付け位置や車両の姿勢が変動した場合、ル ックアップテーブル作成時のカメラ位置とはカメラの位置（向きも含む）がずれた撮像 画像が入力されることとなる。その結果、合成画像中の路面や他車両などの周辺物 の位置が、ルックアップテーブル作成時の合成画像に対して位置がずれたり、合成 画像のカメラ間の接合部が不連続になるなどのように、合成画像が歪むと ヽぅ課題が ある。特に、周辺物の位置がずれた合成画像に、自車両の位置や距離の基準となる 図形を重畳した場合、周辺物と自車両との位置関係を誤解してしまう可能性があるた め好ましくない。以降の説明のため、ルックアップテーブル作成時のカメラ位置を「基 準カメラ位置」、基準カメラ位置に基づいて生成されたルックアップテーブルなどの画 像合成パラメタを「基準画像合成パラメタ」、基準カメラ位置での撮像画像と基準画像 合成パラメタとを用いて合成された画像を「基準合成画像」と呼ぶ。
[0006] このようなカメラの位置ずれによる合成画像の歪みを補正する方法として、カメラ取 り付け後のカメラの位置や内部パラメタなどを計測する、いわゆるカメラ'キヤリブレー シヨン方法が知られている。（例えば非特許文献 1参照)。
[0007] カメラの取り付け位置の変動があった場合でも、このカメラ'キャリブレーション方法 を用いてカメラの取り付け位置を計測し、ルックアップテーブルを再計算することで、 基準合成画像との位置ずれがほとんど無い合成画像を合成することが可能になる。 特許文献 1：特開昭 58— 110334号公報
特許文献 2：特開平 11― 78692号公報
特許文献 3：特許第 3286306号公報
非特干文献 1： An Elhcient and Accurateし amera Calibration Technique for 3D Mac hine ision", Roger Y. Tsai, Proceedings of IEEE Conference on Computer Vision a nd Pattern Recognition, Miami Beach, FL, 198b, pages 364—374.
発明の開示
発明が解決しょうとする課題 [0008] し力しながら、カメラ'キャリブレーションのためには、大きさが既知の被写体が必要 である上、カメラ位置を算出するための計算やルックアップテーブルの再計算のため の計算負荷が大き 、と 、う別の課題がある。
[0009] 例えば、車両の組み立て工場においてカメラを車両に取り付ける際、同じ車種の車 両であってもオプション装備の有無による車両重量の差や、タイヤのサイズの違 、な どによっても車高や車両の傾きが変わる。そのため、同一車種で共通の基準カメラ位 置とルックアップテーブルを用いた場合、カメラが車両に設計通りに取り付けられたと しても、周辺物に対するカメラの位置にずれが発生する。このため、 1台ずつ例えば カメラ ·キャリブレーション等の方法によってずれを調整しなければならないので、この 調整に時間を要することになる。
[0010] また、車両の姿勢変動をセンサなどで計測した上で、ルックアップテーブルを再計 算するという別の方法も考えられるが、同様に計算負荷が大きいという別の課題があ る。特に、ルックアップテーブルを用いて構成した従来の周辺監視装置は、実行時の 計算負荷が小さいことが利点であるため、補正のために計算負荷が大きくなることは その利点を損なう。
[0011] また、カメラの位置ずれによる合成画像の歪みを補正する別の方法としては、カメラ の位置ずれ量に応じたルックアップテーブルを複数用意しておき、実行時に複数の ルックアップテーブルから選択すると 、う方法も考えられるが、ルックアップテーブル を記憶するためのメモリ量が膨大になるという別の課題がある。さらには、補正の方法 によっては、合成画像での誤差が大きくなるという別の課題もある。
[0012] そこで、本発明は上記の事情に鑑みてなされたものであり、ルックアップテーブルな どの画像合成のためのパラメタ算出に用いた基準カメラ位置に対して、カメラの位置 ずれが発生した場合に、カメラの位置ずれに伴って生じる表示画像上の歪みを低減 することができる周辺監視装置および周辺監視方法を提供することを目的とする。 課題を解決するための手段
[0013] 上記目的を達成するため、本発明に係る周辺監視装置は、カメラによって撮像され た撮像画像を用いて周辺画像を生成する周辺監視装置であって、前記カメラの位置 変動に関する情報である位置ずれ情報を取得する位置ずれ情報取得部と、前記位 置ずれ情報取得部によって取得された前記位置ずれ情報に基づいて、前記位置変 動に伴う前記周辺画像の歪みを補正するための座標変換パラメタを取得する座標変 換パラメタ取得部と、前記撮像画像を用いて前記周辺画像を生成するための、前記 周辺画像の各画素に対応する前記撮像画像上の画素位置を示す画像座標の情報 を含む基準画像合成パラメタを取得する画像合成パラメタ取得部と、前記画像合成 ノ メタ取得部によって取得された前記基準画像合成パラメタに含まれる画像座標を 、前記座標変換パラメタ取得部によって取得された前記座標変換パラメタを用いて座 標変換し、変換画像合成パラメタとして出力する座標変換部と、前記撮像画像に対し て前記変換画像合成パラメタを用いて、前記周辺画像を生成して出力する画像合成 部とを備えることを特徴とする。
発明の効果
[0014] 本発明に係る周辺監視装置および周辺監視方法によれば、カメラの位置ずれがあ る撮像画像を用いた場合であっても、カメラの位置ずれに伴って生じる周辺画像上 の歪みを簡単に低減することができる。
図面の簡単な説明
[0015] [図 1]図 1は、従来の技術による周辺監視装置の例を示す図である。
[図 2]図 2は、本発明の実施の形態 1における周辺監視装置の構成を示すブロック図 である。
[図 3]図 3は、本発明の実施の形態 1における撮像状況の例を示す図である。
[図 4]図 4は、本発明の実施の形態 1における周辺監視装置の動作を示すフローチヤ ートである。
[図 5]図 5は、本発明の実施の形態 1における撮像画像の例を示す図である。
[図 6]図 6は、本発明の実施の形態 1における座標系の例を示す図である。
[図 7]図 7は、本発明の実施の形態 1における基準画像合成パラメタの例を示す図で ある。
[図 8]図 8は、本発明の実施の形態 1における合成画像の例を示す図である。
[図 9]図 9は、本発明の実施の形態 1における図形合成部で重畳合成される図形の 例を示す図である。 [図 10]図 10は、本発明の実施の形態 1における画像合成パラメタ選択部での選択方 法の例を示す図である。
[図 11]図 11は、本発明の実施の形態 1における座標変換パラメタの算出に用いる対 応点の例を示す図である。
[図 12]図 12は、本発明の実施の形態 1における座標変換パラメタの例を示す図であ る。
[図 13]図 13は、本発明の実施の形態 1における動作の過程で生成画像の例を示す 図である。
[図 14]図 14は、本発明の実施の形態 1におけるカメラ位置がずれた場合の撮像画像 の例を示す図である。
[図 15]図 15は、本発明の実施の形態 1におけるカメラ位置がずれた場合の合成画像 の例を示す図である。
[図 16]図 16は、本発明の実施の形態 1における座標変換の有無による合成画像の 違 、を示す例を示す図である。
[図 17]図 17は、本発明の実施の形態 1における基準図形を用いる場合の使用状況 の例を示す図である。
[図 18]図 18は、本発明の実施の形態 1における基準図形を用いる場合の撮像画像 の例を示す図である。
[図 19]図 19は、本発明の実施の形態 1における合成画像の記録処理を行う場合の 撮像画像の例を示す図である。
[図 20]図 20は、本発明の実施の形態 2における周辺監視装置の構成を示すブロック 図である。
[図 21]図 21は、本発明の実施の形態 2における座標変換にァフィン変換を用いた場 合の合成画像の例を示す図である。
[図 22]図 22は、本発明の実施の形態 2におけるカメラ位置がずれた場合の合成画像 の例を示す図である。
[図 23]図 23は、本発明の実施の形態 2における図形を重畳した合成画像の例を示 す図である。 [図 24]図 24は、本発明の実施の形態 2における複数カメラを用いた合成画像の例を 示す図である。
[図 25]図 25は、本発明の実施の形態 3における撮像画像がレンズ歪みつきの場合の 合成画像の例を示す図である。
[図 26]図 26は、本発明の実施の形態 3におけるレンズ歪みつき画像を座標変換した 場合の合成画像上での位置誤差を示すグラフである。
[図 27]図 27は、本発明に係る周辺監視装置をコンピュータにより構成した場合の構 成を示すブロック図である。
符号の説明
101 カメラ
102 A/D (アナログ ·デジタル変換器)
103 フレームメモリ
104 画像合成部
105 図形合成部
106 D/A (デジタル ·アナログ変換器)
107 ディスプレイ
108 位置ずれ情報取得部
109 移動体状態検出部
110、 211 座標変換パラメタ選択部
111、 212 座標変換パラメタ記憶部
112、 201 座標変換部
113 画像合成パラメタ選択部
114 画像合成パラメタ記憶部
120、 210 座標変換パラメタ取得部
121 画像合成パラメタ取得部
発明を実施するための最良の形態
本発明の実施の形態に係る周辺監視装置は、カメラによって撮像された撮像画像 を用いて周辺画像を生成する周辺監視装置であって、前記カメラの位置変動に関す る情報である位置ずれ情報を取得する位置ずれ情報取得部と、前記位置ずれ情報 取得部によって取得された前記位置ずれ情報に基づいて、前記位置変動に伴う前 記周辺画像の歪みを補正するための座標変換パラメタを取得する座標変換パラメタ 取得部と、前記撮像画像を用いて前記周辺画像を生成するための、前記周辺画像 の各画素に対応する前記撮像画像上の画素位置を示す画像座標の情報を含む基 準画像合成パラメタを取得する画像合成パラメタ取得部と、前記画像合成パラメタ取 得部によって取得された前記基準画像合成パラメタに含まれる画像座標を、前記座 標変換パラメタ取得部によって取得された前記座標変換パラメタを用いて座標変換 し、変換画像合成パラメタとして出力する座標変換部と、前記撮像画像に対して前記 変換画像合成パラメタを用いて、前記周辺画像を生成して出力する画像合成部とを 備えることを特徴とする。
[0018] これによつて、カメラの位置ずれがある撮像画像を用いた場合であっても、カメラの 位置ずれに伴って生じる周辺画像上の歪みを簡単に低減することができる。また、こ れによって、周辺画像の生成に用いる基準画像合成パラメタは、位置ずれ情報に基 づ 、て座標変換されるので、カメラの位置ずれがある撮像画像を用いた場合であつ ても、カメラの位置ずれに伴って生じる周辺画像上の歪みを低減することができる。ま た、カメラの位置ずれ量に応じた基準画像合成パラメタのテーブルを複数用意して おく必要がないので、メモリ量が膨大になることを防ぐことができる。
[0019] また、前記周辺監視装置は、さらに、前記画像合成部によって生成された前記周辺 画像に図形を重畳合成して出力する図形合成部を備え、前記座標変換パラメタ取得 部は、前記位置ずれ情報取得部によって取得された前記位置ずれ情報、および前 記図形合成部によって重畳合成される前記図形に基づいて、前記座標変換パラメタ を取得してもよい。
[0020] これによつて、周辺画像に重畳合成される図形に応じて座標変換を行うことができ、 図形と周辺画像のずれを少なくすることができる。
[0021] また、前記画像合成パラメタ取得部は、少なくとも 1つの基準画像合成パラメタをあ らカゝじめ記憶している画像合成パラメタ記憶部と、少なくとも 1つの前記基準画像合 成パラメタから 1つの基準画像合成パラメタを選択する画像合成パラメタ選択部とを 備えてもよい。
[0022] ここで、前記座標変換パラメタ取得部は、前記位置ずれ情報取得部によって取得さ れた前記位置ずれ情報、および前記画像合成パラメタ選択部によって選択された前 記基準画像合成パラメタに基づいて、前記座標変換パラメタを取得してもよい。
[0023] これによつて、周辺画像の生成に用いる基準画像合成パラメタに応じて、すなわち 周辺画像の構図に応じて座標変換されるので、カメラの位置ずれがある撮像画像を 用いた場合であっても、カメラの位置ずれに伴って生じる周辺画像上の歪みを低減 することができる。
[0024] また、前記基準画像合成パラメタは、複数のカメラによって撮像された複数の前記 撮像画像を用いて前記周辺画像を生成するための、複数の前記撮像画像の画像座 標の情報を含み、前記位置ずれ情報取得部は、複数の前記カメラの位置変動に関 する情報である複数の位置ずれ情報を取得し、前記座標変換パラメタ取得部は、前 記位置ずれ情報取得部によって取得された複数の前記位置ずれ情報に基づいて、 複数の前記座標変換パラメタを取得し、前記座標変換部は、前記画像合成パラメタ 取得部によって取得された前記基準画像合成パラメタに含まれる画像座標を、前記 座標変換パラメタ取得部によって取得された複数の前記座標変換パラメタを用いて 座標変換し、前記変換画像合成パラメタとして出力し、前記画像合成部は、複数の 前記撮像画像に対して前記座標変換パラメタ取得部によって取得された複数の前記 座標変換パラメタを用いて、前記周辺画像を生成してもよ ヽ。
[0025] これによつて、周辺画像の生成に用いる基準画像合成パラメタに応じて、すなわち 周辺画像の構図に応じて座標変換されるので、カメラの位置ずれがある撮像画像を 用いた場合であっても、周辺画像上での複数の撮像画像のずれを少なくすることが できる。
[0026] また、前記画像合成パラメタ取得部は、前記撮像画像の範囲外の画像座標の情報 を含む前記基準画像合成パラメタを取得してもよ ヽ。
[0027] これによつて、基準画像合成パラメタに含まれる画像座標が撮像画像の範囲外で あっても、その画像座標を座標変換して得た画像座標は撮像画像の範囲内になる場 合があるため、結果として変換画像合成パラメタに含まれる撮像画像の範囲内である 画像座標を増やす、すなわち周辺画像上の有効な画素を増やすことができる。
[0028] なお、本発明は、このような周辺監視装置として実現することができるだけでなぐこ のような周辺監視装置が備える特徴的な部をステップとする周辺監視方法として実現 したり、それらのステップをコンピュータに実行させるプログラムとして実現したりするこ ともできる。そして、そのようなプログラムは、 CD—ROM等の記録媒体やインターネ ット等の伝送媒体を介して配信することができるのは言うまでもない。
[0029] 以下、本発明の各実施の形態について、それぞれ図面を参照しながら説明する。
[0030] (実施の形態 1)
図 2は本発明の実施の形態 1に係る周辺監視装置の構成を示すブロック図である。
[0031] 周辺監視装置は、例えば自動車等の移動体に搭載され、カメラで撮像された撮像 画像を変形加工して合成画像 (周辺画像)を生成するための装置であり、図 2に示す ようにカメラ 101、 A/D変棚 102、フレームメモリ 103、画像合成部 104、図形合 成部 105、 DZA変換器 106、ディスプレイ 107、位置ずれ情報取得部 108、移動体 状態検出部 109、座標変換パラメタ取得部 120、座標変換部 112、および画像合成 ノ ラメタ取得部 121を備えている。
[0032] カメラ 101は周辺を撮像して動画像を出力する。 AZD変翻102はアナログ信号 である動画像をデジタルィ匕する。フレームメモリ 103はデジタルィ匕された動画像を一 時的に保持する。なお、カメラ 101、 A/D変 «102、およびフレームメモリ 103は 、少なくとも 1つ以上あればよい。また、フレームメモリ 103は、カメラ 101から出力され る動画像を連続して読み込むと同時に、少なくとも 1フレーム以上の画像データを一 時的に保持する、いわゆるダブルバッファ構成のフレームメモリである。また、フレー ムメモリ 103は、画像合成部 104からの読み出し要求に応じて、保持された 1フレー ム分の画像の任意の画素データの読み出しが可能なように構成されて 、る。
[0033] 位置ずれ情報取得部 108では、各カメラの位置ずれ量をユーザーのスィッチ操作 によって受け付け、受け付けられた各カメラの位置ずれ量をカメラ位置ずれ情報とし て出力する。なお、本実施の形態 1では、各カメラの位置ずれ量をユーザーより受け 付けているが、これに限られるものではない。例えば、センサ等によって各カメラの位 置ずれ量を検出し、検出された各カメラの位置ずれ量をカメラ位置ずれ情報として出 力しても構わない。
[0034] 移動体状態検出部 109は、車両速度、シフトレバー、舵角を検出し、移動体状態と して出力する。なお、本実施の形態 1では、車両速度、シフトレバー、舵角を検出して いるが、これに限られるものではない。例えば、移動体状態検出部 109は、イダ-ッ シヨンキー、シフトレバー、ウィンカーなどのユーザーが操作するスィッチ類、または、 車両の速度、移動方向を検出する車速センサや舵角センサなどのセンサ類のうち、 いずれか 1つ、または複数の検出結果を、移動体状態として出力すればよい。
[0035] 座標変換パラメタ取得部 120は、座標変換パラメタ選択部 110、および座標変換パ ラメタ記憶部 111を備えている。座標変換パラメタ記憶部 111は、複数の座標変換パ ラメタをあら力じめ記憶している。座標変換パラメタ選択部 110は、カメラ位置ずれ情 報に応じて、座標変換パラメタ記憶部 111に記憶された複数の座標変換パラメタの 中から 1つを選択して出力する。
[0036] 画像合成パラメタ取得部 121は、画像合成パラメタ選択部 113、および画像合成パ ラメタ記憶部 114を備えて 、る。画像合成パラメタ記憶部 114は少なくとも 1つ以上の 基準画像合成パラメタと、少なくとも 1つ以上の図形パラメタをあら力じめ記憶している 。画像合成パラメタ選択部 113は、移動体状態に応じて画像合成パラメタ記憶部 11 4に記憶された基準画像合成パラメタおよび図形パラメタの中から 1つを選択して出 力する。
[0037] 座標変換部 112は、画像合成パラメタ選択部 113から出力された基準画像合成パ ラメタに含まれる撮像画像の画像座標を、座標変換パラメタ選択部 110から出力され た座標変換パラメタを用いて座標変換し、変換画像合成パラメタとして出力する。
[0038] 画像合成部 104は、座標変換部 112から出力された変換画像合成パラメタに応じ て、フレームメモリ 103から画像を順次読み出して、合成画像を生成して出力する。 図形合成部 105は、画像合成部 104から出力された合成画像に画像合成パラメタ選 択部 113から出力された図形パラメタに応じた図形を重畳し、図形付き合成画像とし て出力する。 DZA変翻106は、図形付き合成画像をアナログ信号に変換する。 ディスプレイ 107は、アナログ信号に変換された図形付き合成画像を表示する。
[0039] 本実施の形態 1では、周辺監視装置が車両 Aに搭載され、カメラ 101は 3台である 場合について説明する。図 3はこの場合の設置例を示す図である。図 2における複数 のカメラ 101は、図 3におけるカメラ 101a〜101c (カメラ 1〜3)に対応しており、各力 メラは車両の周辺を撮像するように車両に設置されている。また、ディスプレイ 107は 、車両内の運転者から見える位置に、その他の処理部は車両の内部に、それぞれ設 置されているものとする。なお、カメラ 101の台数およびその設置位置については、 図 3に限定するものではな 、し、各処理部につ 、ても同様にその設置位置を限定す るものではない。
[0040] 上記のように構成された周辺監視装置について、以下、その動作を説明する。図 4 は周辺監視装置の動作の流れを示すフローチャートである。
[0041] まず、初期状態として、カメラの位置ずれが無!、場合の周辺監視装置の動作を説 明した上で、補正状態として、カメラの位置ずれが生じた場合の周辺監視装置の動 作を説明する。
[0042] カメラ 101は車両周辺を撮像して映像信号を出力し、 AZD変翻102は映像信 号をデジタルィ匕した画像出力し、フレームメモリ 103はデジタルィ匕された画像を一時 的に記憶する (ステップ S101)。フレームメモリ 103の画像の記憶、更新は、カメラ 10 1から出力される映像信号に同期して連続的に行う。
[0043] カメラ 101a〜101cの 3台のカメラは、図 3に示すようにそれぞれ車両の後側面、左 側面、右側面にそれぞれ後方、左側方、右側方を撮像するように車両に設置されて いる。また、図 3では、車両の右斜め後方の車両後端から約 3mの位置に、立方体の 障害物 Bが置かれている。図 5は、図 3の撮像状況においてカメラ 101a〜101cで撮 像された画像の例を示す図であり、（a)カメラ 101aで後方が、（b)カメラ 101bで左側 方力 （c)カメラ 101cで右側方力 撮像された画像の例を示す図である。フレームメ モリ 103〖こは、図 5に示す画像がデジタル化されて記憶される。
[0044] 位置ずれ情報取得部 108は、各カメラの位置ずれを取得し、カメラ位置ずれ情報と して出力する (ステップ S 102)。以下、カメラの位置ずれの具体例を説明する。
[0045] 図 6は、カメラ座標系（Xe, Ye, Ze)、車両座標系（Xc, Yc, Zc)、世界座標系（Xw , Yw, Zw)の配置を示す図である。カメラは車両に固定されていることから、車両周 辺の被写体とカメラの位置は、世界座標系に対する車両座標系の位置と、車両座標 系に対するカメラ座標系の位置との 2つの位置関係で決まり、前者を車両の姿勢、後 者をカメラの設置位置と呼ぶものとする。また、カメラの位置ずれは、基準画像合成パ ラメタを生成した際の車両姿勢とカメラの設置位置とを基準位置とした場合の、基準 位置との差であり、車両の姿勢ずれとカメラの設置位置ずれとによって生じる。カメラ 位置ずれを E、車両の姿勢ずれを Ec、カメラの設置位置ずれを Eeとし、それぞれを 3 次元の回転と平行移動である 4 X 4の行列で表した場合、 E = Ee X Ecの関係式が成 り立つ。
[0046] カメラの設置位置ずれ Eeは、 3次元の並行移動と回転の 6つのパラメタ（ex, ey, ez , ewx, ewy, ewz)で表すことができ、 k番目のカメラの設置位置ずれ Eekは、 (exk, eyk, ezk, ewxk, ewyk, ewzk)と表す。車両は世界座標系に対して XZ平面（路面 )での移動と Y軸中心の回転は自由であるものとし、車両の姿勢ずれ Ecは、 (eye, e wxc, ewzc)の 3つのパラメタで表す。 k台分のカメラの位置ずれ Ekをまとめてカメラ 位置ずれ情報と呼ぶものとする。
[0047] なお、本実施の形態 1では、説明を簡単にするために、カメラの位置ずれ Eは車両 座標系に対するカメラ座標系の Y軸回転のずれ (ewy)の 1パラメタのみで表されるも のとする。
[0048] このように、位置ずれ情報取得部 108は、各カメラの位置ずれの値をユーザーのス イッチ操作によって受け付け、入力された k台分力メラの位置ずれ Ekをカメラ位置ず れ情報として出力する。初期状態では、ユーザーのスィッチ操作は無いものとし、初 期値としてカメラの位置ずれ量 ewyk=0を出力するものとする。
[0049] 移動体状態検出部 109は、車両速度、シフトレバー、舵角を検出し、移動体状態と して出力する (ステップ S 103)。ここでは、移動体状態検出部 109は、「車両は停止、 シフトレバーはリバース (R)、舵角は中立」を移動体状態として出力するものとする。
[0050] 次に、画像合成パラメタ選択部 113は、移動体状態検出部 109より出力された移動 体状態に応じて、画像合成パラメタ記憶部 114に記憶された基準画像合成パラメタ および図形パラメタの中から 1つを選択して出力する (ステップ S 104)。以下、画像合 成パラメタ記憶部 114に記憶されて ヽる各パラメタと、画像合成パラメタ選択部 113 の動作にっ 、て詳しく説明する。 [0051] 図 7は、画像合成パラメタ記憶部 114に記憶された基準画像合成パラメタについて 説明するための図あり、（a)撮像画像、（b)合成画像、（c)撮像画像から合成画像を 生成する場合の基準画像合成パラメタ、の例を示す図である。図 7 (c)の基準画像合 成パラメタは、合成画像の各画素に 1対 1に対応した 2次元配列として表現することが できる。 2次元配列の各要素は、合成画像の画素に対応する、撮像画像のカメラ番 号、画素座標 (本実施の形態では X座標、 Y座標）で構成される。図 7の例では、基 準画像合成パラメタの座標 ( xo, yo )には、「カメラ番号 = 1、座標 ( xi, yi )」という 情報が格納されている。これは合成画像の座標（ xo, yo )の画素は、カメラ 1の撮 像画像の（xi, yi )、 の画素を用いることを示している。この図 7に示すような構造の 標準合成画像パラメタを用いることで、合成画像と複数の撮像画像との対応関係を 記述することができる。
[0052] 図 8は、複数の基準画像合成パラメタを用いて生成される複数の合成画像の例を 示す図である。ここでは、図 3の撮像状況において図 5に示す撮像画像が撮像された 場合に、各基準画像合成パラメタを用いて生成した合成画像を示している。同一の 撮像画像に対しても、カメラ番号および撮像画像座標値の異なる基準画像合成パラ メタを用いることで、構図の異なる合成画像を生成することができる。図 8 (a)は、基準 画像合成パラメタ 1で生成される合成画像の例であり、基準画像合成パラメタ 1はカメ ラ 101aの撮像画像と車両の上方から見た構図の合成画像との対応関係を表す。図 8 (b)は、標準合成画像パラメタ 2で生成される合成画像の例であり、標準合成画像 ノ メタ 2は、カメラ 101aの撮像画像と同じ構図の合成画像との対応関係を表す。図 8 (c)は、基準画像合成パラメタ 3を用いて生成される合成画像の例であり、基準画像 合成パラメタ 3は、カメラ 101a〜101cの撮像画像と、車両の側方と後方の広い範囲 を車両の上方から見た構図の合成画像との対応関係を表す。基準画像合成パラメタ を作成する方法については、前述した特許文献 3などに詳しく記載されているため、 ここでは詳細の説明を省く。
[0053] 図 9は、図形パラメタを用いて合成される図形の例を示す図である。図形パラメタは 、合成画像と同一サイズの画像ファイルとして記憶されているものとする。図 9 (a)に 示す図形を合成する図形パラメタ 1は基準画像合成パラメタ 1と、図 9 (b)〜 (d)に示 す図形を合成する図形パラメタ 2—1〜2— 3は基準画像合成パラメタ 2と、図 9 (e)に 示す図形を合成する図形パラメタ 3は基準画像合成パラメタ 3と、それぞれ対応して いる。また、図 9中の各破線は、自車両を基準にしたあら力じめ定められた特定の距 離を示す図形である。例えば、図 9 (a) (c)における破線は、自車両の幅の延長線と 自車両後方 3mの距離の直線とで囲まれる領域の境界であり、図 9 (b) (d)における 破線は、ある舵角における予測進路上の車両の幅と進行方向に 3m移動した直線と で囲まれる領域の境界を示す図形である。したがって、図形パラメタによって合成さ れる図形は、自車両との距離や位置の基準となる情報を含むこととなる。このような図 形は、前述した基準画像合成パラメタを作成する際に、路面平面上での位置、また は撮像画像上での位置と、合成画像上での位置とを対応付けることであらカゝじめ生 成することができる。
[0054] 図 10は、画像合成パラメタ選択部 113における基準画像合成パラメタの選択方法 の例を示す図である。画像合成パラメタ選択部 113は、図 10に示すように移動体状 態として入力される、車両速度、シフトレバー、舵角の組み合わせに応じて、基準画 像合成パラメタと図形パラメタをそれぞれ選択する。例えば、「車が移動しており、シ フトレバーは R、舵角が中立」である時、「基準画像合成パラメタ 2、図形パラメタ 2— 2 」カ選択されることとなる。
[0055] ここで、移動体状態は「車両は停止、シフトレバーはリバース (R)、舵角は中立」で あることから、このとき画像合成パラメタ選択部 113は、基準画像合成パラメタ 1と図形 ノ ラメタ 1をそれぞれ選択して出力する。
[0056] 次に、座標変換パラメタ選択部 110は、カメラ位置ずれ情報に応じて、座標変換パ ラメタ記憶部 111に記憶された複数の座標変換パラメタの中から 1つを選択して出力 する (ステップ S 105)。次に、座標変換部 112は、画像合成パラメタ選択部 113から 出力された基準画像合成パラメタに含まれる撮像画像の画像座標を、座標変換パラ メタ選択部 110から出力された座標変換パラメタを用いて座標変換し、変換画像合 成パラメタとして出力する (ステップ S106)。
[0057] 本実施の形態 1では、座標変換部 112で行う座標変換は射影変換であり、座標変 換パラメタ記憶部 111に記憶される座標変換パラメタは、カメラごとの射影変換の係 数の組であるものとする。
[0058] 以下、座標変換パラメタの具体例と、座標変換パラメタ選択部 110、座標変換部 11
2の動作にっ 、て詳しく説明する。
[0059] 座標変換部 112は、次に示す (式 1)を用いて射影変換によって座標変換を行う。
[0060] [数 1]
Figure imgf000017_0001
…… （式 1 )
, dxt + ev, + j
yt = ~■——― ~~―
gx, + yl + 1
[0061] (式 1)において、射影変換の 8個の係数 (a, b, c, d, e, f, g, h)を座標変換パラメタ と呼ぶ。（ xi, yi )は、基準画像合成パラメタに含まれる撮像画像の画像座標であり 、（xi，， yi' )は、変換画像合成パラメタに含まれる撮像画像の画像座標である。
[0062] 座標変換パラメタ記憶部 111で記憶されて ヽる座標変換パラメタとは、カメラ位置ず れ Eとカメラ番号 kの値に対応した複数の座標変換パラメタ Pのことである。座標変換 ノ メタ Pは、カメラ位置ずれ Eとカメラ番号 kに依存するため、 P (E, k)と表す。本実 施の形態では、カメラの位置ずれ Eはカメラの設置位置ずれ ewyのみであり、その値 は、—10度〜 + 10度の範囲を 1度刻みに 21段階の値をとるものとして、各角度に対 応する 21個の座標変換パラメタを、各カメラ番号ごとにあらかじめ計算して記憶して おくものとする。
[0063] 以下、 k番目のカメラのカメラ位置ずれ Eに応じた座標変換パラメタ P (E, k)を計算 する方法の例を説明する。ここで、基準となるカメラ位置で撮像された撮像画像が図 11 (a)であり、カメラ位置ずれが Eである場合の撮像画像が図 11 (b)であるとする。そ して、カメラの位置ずれのない撮像画像上の点の画像座標を (xi, yi)、位置ずれの ある撮像画像上の画像座標を（xi，， yi' )とし、それぞれの画像座標の間に（式 1) の関係があるとする。このとき画像上の 4点以上の対応点を与えることで、（式 1)にお いて 2乗誤差最小となるように座標変換パラメタを算出することができる。このような 4 点以上の対応点力 射影変換のパラメタを算出する方法については、広く知られた 方法であるので、詳細の説明は省略する。以上のことから、基準となるカメラ位置の 撮像画像に対して、あり得る全てのカメラの位置ずれ力 ¾の撮像画像とを用いて、座 標変換パラメタ P (E, k)をあら力じめ計算しておくことができる。ここでカメラの位置ず れ Eが回転のみである場合、または、画像中の被写体が一つの平面上に存在する場 合、対応する点の画像座標の関係は、（式 1)で表すことができることは、「画像理解」 (金谷健一著、森北出版)などに記載され、広く知られている。したがって、例えば撮 像画像中多くが路面平面で占められているような場合、カメラ位置ずれのある画像を 射影変換することで、路面についてはカメラ位置ずれがない場合の画像に変換する ことができる。
[0064] 座標変換パラメタ選択部 110では、カメラ位置ずれ情報におけるカメラごとのカメラ 位置ずれ Eに応じて、座標変換パラメタ記憶部 111から座標変換パラメタを選択して 出力するものとする。図 12は、カメラ番号 kとカメラの位置ずれ Eに対応する座標変換 ノ ラメタ P (E, k)の例を示す図である。初期状態では、カメラ位置ずれ情報は全ての カメラにおいて ewy=0であることから、これに対応する座標変換パラメタ P (E, とし て、 (a, b, c, d, e, f, g, h) = (1, 0, 0, 0, 1, 0, 0, 0)力選択される。
[0065] 次に、座標変換部 112は、基準画像合成パラメタとカメラごとの座標変換パラメタを 入力し、基準画像合成パラメタの各要素である、カメラ番号と撮像画像の画像座標（ xi, yi )に対して、カメラ番号に対応した座標変換パラメタを用いた (式 1)の座標変 換によって（xi'， yi' )を算出する。そして、座標変換部 112は、基準画像合成パラ メタ中の撮像画像の各画像座標（xi, 1 )を、算出した画像座標（ yi，）によつ て置き換えた変換画像合成パラメタを出力する。
[0066] 初期状態では、座標変換パラメタ P (E, k)は（a, b, c, d, e, f, g, h) = (1, 0, 0, 0, 1, 0, 0, 0)であることから、出力される変換画像合成パラメタは、基準画像合成 ノ ラメタ 1と同じものが出力されることとなる。
[0067] 次に、画像合成部 104は、座標変換選択部 112で生成された変換画像合成パラメ タを用いて、変換画像合成パラメタの各要素に対応する撮像画像をフレームメモリ 10 3から順次読み出し、合成画像として出力する (ステップ S107)。
[0068] 初期状態では、変換画像合成パラメタとして、基準画像合成パラメタ 1と同じものが 出力されるため、撮像画像が例えば図 5の場合、図 8 (a)の合成画像が出力される。
[0069] 次に、図形合成部 105は、画像合成部 104で生成された合成画像上に、画像合成 ノ メタ選択部 113で選択された図形パラメタに応じた図形を重畳描画する (ステツ プ S108)。ここでは、画像合成パラメタ選択部 113によって図形パラメタ 1が選択され ているので、図 9 (a)の図形が合成画像に重畳され、図形つき合成画像として出力さ れる。
[0070] DZA変翻106は、移動物検出部 105から出力された合成表示画像を映像信号 に変換して出力し、ディスプレイ 107は、映像信号を表示する (ステップ S 109)。
[0071] 上記した各処理部の動作により、初期状態における図形つき合成画像が生成され て、ディスプレイ 107に表示されることとなる。
[0072] 図 13は、初期状態における動作により生成される画像の例を示す図である。図 13 ( a)はカメラ 101aによって撮像された撮像画像であり、図 13 (b)は画像合成部 104よ り出力される合成画像の例であり、図 13 (c)は図形合成部 105から出力され、デイス プレイ 107に表示される図形つき合成画像の例である。図 13 (c)の図形つき合成画 像を運転者が観察した場合、位置の参照となる破線が重畳されているために、破線 と障害物の位置関係を容易に把握することが可能になる。
[0073] 次に、補正状態として、初期状態力 カメラの位置ずれが生じた場合の例について 説明する。
[0074] 図 14は、カメラ 101aに位置ずれが生じた場合の撮像画像の例を示す図である。図 14 (a)は、ずれの無い場合の撮像画像であり、図 14 (b)は、カメラの設置位置が垂 直軸を中心とした右方向への回転で 5度ずれた場合の撮像画像の例である。図 15 は、図 14を撮像画像として、前述した初期状態の動作によって生成される図形つき 合成画像の例を示す図である。図 15 (a)は、撮像画像が図 14 (a)の場合の図形つき 合成画像であり、図 15 (b)は、撮像画像が図 14 (b)の場合の図形つき合成画像であ る。図 15 (a)と図 15 (b)に示すように、撮像画像中の被写体はカメラの位置ずれによ り合成画像中での位置が変化しているのに対して、図形の位置は変化しないため、 図形と被写体の位置関係にずれが生じている。例えば、破線に対する障害物（立方 体) B位置力 図 15 (a)と図 15 (b)では異なっている。そこで、以降に説明する補正 状態の処理では、カメラの位置ずれがある図 14 (b)の撮像画像が入力された場合で も、図 15 (a)と同じ、またはより近い画像を生成することを目的とする。
[0075] 次に、補正状態での各処理部の動作について説明する。
[0076] 本実施の形態 1では、ユーザーがカメラ位置ずれを補正することを目的として、本 周辺監視装置へ情報を入力する場合の例を説明する。
[0077] 図 16 (a)は、カメラの設置位置が垂直軸を中心とした右方向への回転で 5度ずれた 場合の撮像画像の例であり、図 16 (b)は、座標変換しない場合の図形つき合成画像 であり、図 16 (c)は、座標変換した場合の図形つき合成画像である。
[0078] 上述したように、カメラに位置ずれが生じた場合、図 16 (a)の撮像画像が入力され 、図 16 (b)の図形つき合成画像が生成されてディスプレイ 107に表示される（図 16 ( a)と図 14 (b)、図 16 (b)と図 15 (b)はそれぞれ同じ画像)。
[0079] ここで、ユーザーのスィッチ操作によって、任意のカメラ位置ずれ Ekが入力され、 位置ずれ情報取得部 108が、カメラの位置ずれ Ekを受け付けるものとする。例えば、 カメラの設置位置ずれ ewykとして、― 10度〜 + 10度の範囲を 1度刻みに順次入力 してゆき、撮像状況と合成画像が最も一致した場合にスィッチ操作を止めるものとす る。このとき、ユーザーが設定したカメラの位置ずれと、実際のカメラ位置ずれが等し い場合、図 16このようになる。
[0080] 以上のように本実施の形態 1によれば、ユーザーの指示によってカメラの位置ずれ に対応して座標変換された変換画像合成パラメタを用いて合成画像が生成されるた め、カメラの位置ずれがある撮像画像を用いた場合であっても、合成画像の被写体と 図形のずれを低減することができるという効果がある。また、本実施の形態 1によれば 、カメラの位置ずれが発生した場合であっても、基準画像合成パラメタ、変換画像合 成パラメタ、図形パラメタなどの再計算が不要であり、実行時の計算負荷が小さいと いう効果もある。
[0081] なお、本実施の形態 1の説明において、ユーザーは、図 3のシーンにおいて図 16 のような画像を観察しながら、カメラ位置ずれ Eを入力するものとした。しかしながら、 図 3のような車両からの相対位置の基準となる図形や物体などの無いシーンにおい て、カメラの位置ずれ Eをユーザーが選択するのは困難な場合がある。そこで、例え ば図 17 (a)のような、カメラ位置ずれの基準となる簡単な図形を路面上に描画してお き、図 17 (b)のように図形上の特定の位置に車両を駐車したうえで画像を観測するこ とで、位置ずれ Eを容易にユーザーが指定することが可能になる。例えば、図 18 (a) は、カメラの位置ずれの無い場合に、図 17 (b)の撮影状況においてカメラ 1で撮像さ れる画像の例である。図 18 (b)は、図 17の路面上の図形と同じ図形を図形合成部 1 05によって合成した場合の例であり、カメラの位置ずれが無い場合は、合成された図 形 (破線で示す）は撮影画像の路面上の図形と一致する。これに対して、カメラの位 置ずれがある場合は図 18 (c)のような路面上の図形と合成された図形とがずれた画 像となり、この画像をユーザーが観測することで、カメラが右向きにずれている事を容 易に把握することができ、その結果、カメラ位置ずれ Eをユーザーが選択することが 容易になる。
[0082] し力しながら、上述した手法では、例えばユーザーは車両の購入者であり、車両購 入後に発生したカメラの位置ずれを補正する場合に、図 17 (a)のような位置ずれ補 正用の図形が必要であるという課題が発生する。そこで、位置ずれ補正用の図形を 用いる代わりに、図形合成部 105は、前述した処理に加えて、ユーザーからの操作 に応じて、画像合成部 104から入力した合成画像を記録する処理と、記録された合 成画像を画像合成部 104から入力した合成画像に重畳合成して出力する処理を、 選択的に行うとしても良い。そして、ユーザーは例えば車両を購入直後に、駐車場な どで例えば図 19 (a)のような合成画像を図形合成部 105に記録しておく。その後、力 メラの位置ずれが発生した場合は、図 19 (b)のような合成画像が生成されることにな る。このような場合に、図形合成部 105に記録された合成画像を、図 19 (b)の合成画 像に重畳合成して図 19 (c)のような画像を表示することで、ユーザーのカメラ位置ず れ Eの選択が容易になる。
[0083] また、本実施の形態 1において、カメラ位置ずれ Eは、説明を簡単にするためにカメ ラの設置位置ずれのうちの 1つのパラメタである ewyのみで構成され、ユーザーが入 力するものとした力 カメラ設置位置ずれ Eeの 6パラメタ（ex, ey, ez, ewx, ewy, e wz)と、車両の姿勢ずれ Ecの 3パラメタ（eye, ewxc, ewzc)の全て、またはいずれか の組み合わせを用いても良い。さらに、車両の姿勢ずれ Ecは、車両の姿勢を検出す る加速度センサや角加速度センサなどを組み合わせた検出部などによって取得する ちのとしてちよい。
[0084] また、本実施の形態 1にお!/、て、ユーザーは任意のカメラ位置ずれ Eを位置ずれ情 報取得部 108へ入力しながら、合成画像を観測することで最適なカメラ位置ずれ Eを 設定するものとした力 この方法に限定するものではない。例えば、カメラ'キヤリブレ ーシヨンを行うことでカメラ位置ずれを算出し、その値を入力するとしても良い。
[0085] また、本実施の形態 1では、座標変換パラメタ取得部 120は、座標変換パラメタ選 択部 110および座標変換パラメタ記憶部 111を備え、座標変換パラメタ選択部 110 力 カメラ位置ずれ情報に応じて、座標変換パラメタ記憶部 111に記憶された複数の 座標変換パラメタの中から 1つを選択するとしている力 これに限られるものではない 。例えば、座標変換パラメタ取得部 120が、カメラ位置ずれ情報に基づいて座標変 換パラメタを生成しても構わな 、。
[0086] また、本実施の形態 1にお!/、て、座標変換部 112は射影変換を用いるものとしたが 、座標変換の方法を射影変換に限定するものではなぐカメラ位置ずれを補正する 効果のある座標変換であれば、どのような変換を用いても良 、。
[0087] (実施の形態 2)
図 20は本発明の実施の形態 2に係る周辺監視装置の構成を示すブロック図である
[0088] 本実施の形態にぉ 、て、実施の形態 1と異なる点は、座標変換パラメタ記憶部 212 に記憶されている座標変換パラメタ Pの内容と、座標変換パラメタ選択部 211および 座標変換部 201の動作である。
[0089] 以下、各部の動作を説明する。
[0090] 本実施の形態 2の座標変換部 201は、次に示す (式 2)を用いてァフィン変換によつ て、画像合成パラメタ選択部 221から出力された基準画像合成パラメタに含まれる撮 像画像の画像座標を、座標変換パラメタ選択部 212から出力された座標変換パラメ タを用いて座標変換し、変換画像合成パラメタとして出力する。
[0091] [数 2] x = axi + b_y, + c
(式 2 )
ァ f '= + e + ,
[0092] (式 2)における 6つの係数 (a, b, c, d, e, f)で座標変換パラメタが構成される。
[0093] 座標変換パラメタ記憶部 212に記憶されている座標変換パラメタは、カメラの位置 ずれ E、基準画像合成パラメタの番号 q、図形パラメタの番号!:、カメラ番号 kに応じて 、あらかじめ算出された座標変換パラメタ P (E, q, r, k)である。
[0094] 座標変換パラメタ選択部 211は、カメラ位置ずれ情報に含まれる各カメラの位置ず れ Eとカメラ番号 k、および、画像合成パラメタ選択部 221で選択された基準画像合 成パラメタの番号 pと図形パラメタの番号 rに応じた座標変換パラメタ P (E, q, r, k)を 選択して出力する。基準画像合成パラメタの番号 pおよび図形パラメタの番号 rは、移 動体状態検出部 109から入力された移動体状態に基づいて、図 10に示した選択方 法によって得るものとする。
[0095] 以下、座標変換パラメタ P (E, q, r, k)を算出する方法の例について説明する。実 施の形態 1において射影変換での座標変換パラメタを求めた方法と同様に、位置ず れのな 、撮像画像とある位置ずれ Eの撮像画像との複数の対応点座標から、座標変 換パラメタを算出する。実施の形態 1と異なる点は、カメラ番号 k、基準画像合成パラ メタの番号 p、図形パラメタの番号 rに応じて、異なる対応点を用いて座標変換パラメ タを算出する点、である。
[0096] 基準となるカメラ位置で撮像された撮像画像が図 21 (a)であり、カメラ位置ずれ力 ¾ である場合の撮像画像が図 21 (b)であるとする。そして、カメラの位置ずれのない撮 像画像上の点の画像座標を (xi, yi)、位置ずれのある撮像画像上の画像座標を（ xi ' , yi' )とし、それぞれの画像座標の間に (式 2)の関係があるとする。このとき画像 上の 3点以上の対応点を与えることで、（式 2)において 2乗誤差最小となるように座標 変換パラメタを算出することができる。
[0097] 図 21 (a) (b)中の「 X印」および「〇印」は、それぞれ 4点の対応点の組を示しており 、図 9 (c)に示す図形を合成する図形パラメタ 2— 2と、図 9 (b)に示す図形を合成す る図形パラメタ 2— 1とにおける、合成画像の破線上にある撮像画像上の点として与 える。そして、各対応点の組ごとに座標変換パラメタを算出する。
[0098] ここで「X印」の対応点と「〇印」の対応点とは、それぞれ図形パラメタ 2— 2と図形 ノ ラメタ 2—1とに対応する撮像画像上の点である。また、図形パラメタ 2—1、図形パ ラメタ 2- 2は、図 10の選択方法によって選択されることから、「X印」の対応点を用い て算出した座標変換パラメタは、「カメラ位置ずれ E、基準画像合成パラメタ 2、図形 ノ ラメタ 2— 2、カメラ 1」の場合の座標変換パラメタ P (E, 2, 2- 2, 1)であり、「〇印」 の対応点を用いて算出した座標変換パラメタは、「カメラ位置ずれ E、基準画像合成 ノ ラメタ 2、図形パラメタ 2—1、カメラ 1」の場合の座標変換パラメタ P (E, 2, 2- 2, 1 )であるものとする。
[0099] 図 21 (c) (d)は、図 21 (b)のカメラ位置ずれがある撮像画像を用いて、上記の 2つ の座標変換パラメタを用いて座標変換して生成した合成画像の例である。ァフィン変 換では、カメラの位置ずれがカメラの Z軸中心の回転である場合に限り、撮像画像の ずれを完全に補正することができる力 それ以外の回転や平行移動を含むカメラ位 置ずれに対しては、位置ずれが残ってしまう。この位置ずれの影響は、前述した座標 変換パラメタの算出の際に用いた対応点の位置では小さくなることが期待できる。つ まり、図 21 (c) (d)の合成画像では、それぞれ「X印」の対応点と「〇印」の対応点の 位置にお 、て、カメラ位置ずれに起因する合成画像のずれが少な ヽ画像となって!/ヽ る。
[0100] 上記の方法によって生成した座標変換パラメタを用い、上記した座標変換パラメタ 選択部 211、座標変換部 201、および各処理部の動作によって生成される画像の例 を示す。
[0101] 図 22は、図 2の撮像状況において、移動体状態が「車両速度は移動、シフトレバー は R、舵角は中立」、ユーザーからのカメラ位置ずれ Eの入力が初期値である ewyk =0の図形つき合成画像の例である。図 22 (a)は、カメラの位置ずれがない場合の 図形つき合成画像であり、図 22 (b)は、カメラの位置ずれがある場合の図形つき合 成画像である。図 23 (a)は、実施の形態 1と同様なユーザーの操作により好適なカメ ラ位置ずれ Eが入力された場合、すなわち前述した座標変換パラメタ P (E, 2, 2- 2 , 1)によって座標変換された、図形つき合成画像の例である。図 22 (b)では、被写 体 (特に障害物）と図形との位置関係がずれているのに対して、図 23 (a)ではずれが 低減されている。さらに、ユーザーの操作により、移動体状態が「車両速度は移動、 シフトレバーは R、舵角は右」となった場合、図形合成部 105では図形パラメタ 2、座 標変換部 112では座標変換パラメタ P (E, 2, 2- 1, 1)がそれぞれ用いられ、図 23( b)の図形つき合成画像が生成される。
[0102] 前述したように座標変換部 201でァフィン変換を用いる場合、座標変換パラメタを 算出する際に用いた対応点の近傍の誤差が小さくなる。すなわち、図 23 (a) (b)の図 形つき合成画像では、それぞれ図形中の破線の位置にぉ 、て座標変換後の位置ず れが最も小さくなる合成画像が生成されることとなる。このような合成画像をユーザー が観測した場合、例えば、合成画像中の障害物と位置基準となる破線ゃ自車両の図 形などのように、位置関係が重要となる箇所において位置ずれが少ないため、より正 確な位置関係の把握が可能になる。
[0103] 以上のように本実施の形態 2によれば、座標変換パラメタ取得部 210は図形合成部 105で重畳合成される図形に応じて座標変換パラメタを生成することで、合成画像に 重畳合成される図形に応じて基準画像合成パラメタが座標変換されるため、図形と 合成画像のずれの少な 、画像を表示することができると!/、う効果がある。
[0104] また、本実施の形態 2では、座標変換部 201はァフィン変換を用いて座標変換を行 うため、射影変換を用いた場合に比べて計算負荷が小さいという効果もある。
[0105] なお、本実施の形態 2において、図形パラメタに応じて異なる座標変換パラメタを用 いる場合について説明したが、カメラの位置ずれ、基準画像合成パラメタ、図形パラ メタ、カメラ番号の組み合わせであれば、どのような組み合わせであってもよぐ基準 画像合成パラメタに応じて異なる座標変換パラメタを用いるとしても良い。例えば、図 8(a)に示す合成画像を生成する標準合成画像パラメタ 1と図 8 (b)に示す合成画像 を生成する基準画像合成パラメタ 2では、同じカメラ 1の撮像画像を用いた合成画像 であっても、画像合成として用いる撮像画像の範囲が異なる。そのため、例えば、座 標変換パラメタを求める際に撮像画像の範囲に応じて対応点を与えることで、基準画 像合成パラメタの構図に応じた位置ずれが小さ！、合成画像の生成が可能になると ヽ う効果がある。
[0106] また、図 8 (c)に示す合成画像を生成する基準画像合成パラメタ 3のように、 3つの 撮像画像を合成した構図では、 1つのカメラで位置ずれが起こると、図 24 (a)のような 合成画像におけるカメラ境界部 Dが不連続となった違和感のある画像となる。そこで 、複数の撮像画像を接続した構図の基準画像合成パラメタに対応する座標変換パラ メタを算出する際には、カメラ境界部 Dでの位置ずれが小さくなるように、すなわち、 座標変換パラメタの算出に用いる対応点として、合成画像のカメラ境界部 Dに対応す る撮像画像の位置に対応点与えるものとする。このようにして求めた座標変換パラメ タを用いると、図 24 (b)のようにカメラ境界部 Dでの位置ずれが小さ 、合成画像を生 成でき、ユーザーにとってより違和感の少ない合成画像の生成が可能になるという効 果がある。
[0107] なお、本実施の形態 2において、座標変換部 201はァフィン変換を用いて座標変 換を行うものとしたが、座標変換の方法をァフィン変換に限定するものではなぐカメ ラ位置ずれを補正する効果のある座標変換であれば、どのような変換を用いても良 い。例えば、射影変換を用いる場合であっても、カメラで撮像される撮像画像にレン ズ歪みを含む場合や、カメラの位置ずれに平行移動成分を含む場合は、座標変換し た合成画像での位置ずれが残る。このとき、合成画像上での位置ずれは、座標変換 ノ ラメタの算出に用いる対応点の位置において小さくなるため、本実施の形態 2と同 様に、図形に応じた座標変換パラメタを用いることで、合成画像上の位置ずれの影 響が少な ヽ合成画像を生成することが可能となる。
[0108] (実施の形態 3)
本実施の形態 3において、その構成、動作は実施の形態 2と同じであり、実施の形 態 2と異なる点は、カメラ 101はレンズ歪を含む画像を出力するカメラであり、そのレン ズ歪みの量は、あら力じめ定められたカメラ位置ずれの範囲と、基準画像合成パラメ タの範囲における、座標変換後の位置誤差が最小となるようなレンズ歪みのカメラ 10 1を用いる点である。
[0109] 図 25は、レンズ歪みつき撮像画像の例と、実施の形態 2と同様の動作により生成し た合成画像の例を示す図である。図 25 (a)は、カメラ 101がレンズ歪みつき画像を出 力する場合の撮像画像の例であり、図 25 (b)は、カメラの位置がずれた場合の撮像 画像の例である。本実施の形態 3では、実施の形態 2と同様に、カメラの位置ずれの な 、撮像画像と、とりうるカメラの位置ずれ Eの範囲にぉ 、て得られる複数のカメラ位 置ずれのある撮像画像から、あら力じめ座標変換パラメタを求めておき、これを用い て座標変換を行うことで、図 25 (c)のような合成画像を生成する。
[0110] このとき、座標変換パラメタの算出の際に用いる、カメラ位置ずれ、基準画像合成パ ラメタ、図形パラメタ、カメラ番号が全て同じ条件において、レンズ歪みの程度が変わ ると、座標変換後の合成画像の位置ずれの量も変わるということが、本発明の発明者 の実験により確認された。図 26は、レンズ歪みつき画像を座標変換した場合の平均 誤差とレンズ歪み klとの対応関係を示す図であり、（a)ァフィン変換を用いた場合、 ( b)射影変換を用いた場合、である。これは、 2次のレンズ歪み klを持つ撮像画像に 対して、基準画像合成パラメタ 2における図形パラメタ 2— 2の破線上に対応する撮像 画像の対応点を基準に座標変換パラメタを算出し、座標変換後の合成画像につい て、図形パラメタ 2— 2の破線上を基準位置とした位置ずれの平均誤差を算出したも のである。
[0111] 図 26に示すように、射影変換の場合では、レンズ歪みの増加にともなって平均誤 差が大きくなるのに対して、ァフィン変換の場合は、レンズ歪み係数が 0. 4〜0. 5で 、平均誤差が最小となっている。つまり、図 26の算出条件となった、レンズ位置ずれ 、基準画像合成パラメタ、図形パラメタ、カメラ番号においては、レンズ歪み係数が 0 . 4〜0. 5のカメラを用いると、座標変換後の合成画像上での位置ずれの平均が最も 小さくなることを示している。したがって、とり得るカメラ位置ずれの範囲において、同 様な計算によって算出した合成画像の位置ずれの平均が最小となるようなレンズ歪 を算出し、そのレンズ歪みのカメラを用いるものとすることで、合成画像の位置ずれが より小さ 、合成画像を生成することができると 、う効果がある。
[0112] 以上のように本実施の形態 3によれば、あらかじめ定められた 1つ以上の基準画像 合成パラメタと、あら力じめ定められた 1つ以上の座標変換パラメタによって生成され る合成画像における誤差が、最も小さくなるレンズ歪パラメタを持つ撮像画像を用い ることで、合成画像の位置ずれがより小さい合成画像を生成することができるという効 果がある。
[0113] なお、各実施の形態において、基準画像合成パラメタは、合成画像の画像座標に 対応する撮像画像の画像座標値で構成されるものとしたが、撮像画像の範囲外の画 像座標値を設定するとしても良い。基準画像合成パラメタにおいて、撮像画像の範 囲外の画像座標値が含まれる場合であっても、座標変換部で座標変換された変換 画像合成パラメタにおいては、撮像画像の範囲内の座標値に置き換えられ、合成画 像として表示される画像の範囲が広がる場合があるという効果がある。
[0114] また同様に、図 8 (c)のように複数の撮像画像を用いる基準画像合成パラメタにお いて、合成画像上でカメラ境界部の近傍では、合成画像の 1つの画像座標に対して 、 2つ以上の撮像画像座標を参照するように構成し、座標変換部では、座標変換後 の画像座標が撮像画像の範囲であるどちらか一方の画像座標を残した変換画像合 成パラメタとして出力するとしても良い。このとき、合成画像として表示される画像の範 囲が広がる場合があると 、う効果がある。
[0115] また、各実施の形態において、移動体状態検出部 108および画像合成パラメタ選 択部 113は、移動体状態として車両速度、シフトレバー、および、舵角を用いるとした 力 移動体状態の種類やパラメタの選択方法を限定するものではなぐ合成画像の 構図と対応関係がある移動体状態であれば、どのような情報を用いてもよい。例えば 、 GPS (Global Positioning System)装置により取得された車両の位置情報力も道路 状況を取得し、この道路状況に基づいて車両姿勢を推定し、この車両姿勢に応じて 基準画像合成パラメタおよび座標変換パラメタを選択しても構わない。
[0116] また、各実施の形態において、画像合成パラメタ選択部 113は、図 10の選択方法 により基準画像合成パラメタを選択するものとしたが、選択方法を限定するものでは なぐどのような選択方法であってもよい。
[0117] また、各実施の形態において、カメラは 3台であり、その設置位置および撮像範囲 は、図 3に示すようなものとしたが、カメラ台数、設置位置、撮像範囲をこの範囲に限 定するものではない。
[0118] また、各実施の形態において、複数のカメラおよび周辺監視装置が設置される車 両は、 4輪の乗用車であるとして説明したが、車両の形態を制限するものではなぐ 2 輪や 3輪の車両やロボットなどの移動体であっても良い。さらに、複数のカメラおよび 周辺監視装置を設置する場所は、移動体に限られるものではなぐ例えば駅やビル 等に固定されて設置しても構わない。また、複数のカメラおよび周辺監視装置は、同 じ移動体や場所に設置する必要はなぐカメラと周辺監視装置とを別の場所に設置し ても構わない。
[0119] また、本発明の実施の形態では、個別の処理部は個別のハードウェアによって実 現されるものとして説明した力 1つの ICなどに収まっているものであっても良いし、 図 27のような画像の入出力部を備えたコンピュータを用いて、各処理部はコンビユー タ（CPU1004,ROM1005,RAM1006など）で実行されるソフトウェアによって実現 するものとしても良ぐ本発明の実施の形態と同様の効果を得ることができる。
産業上の利用可能性
[0120] 本発明に係る周辺監視装置は、カメラの位置ずれに伴って生じる表示画像中の歪 みを補正することができ、車両の運転やロボットの遠隔操作など、移動体の操作の補 助となる周辺監視装置として有用である。特に、複数のカメラで撮像した画像を用い て仮想的な視点から撮像された画像を合成した提示する周辺監視装置として有用で ある。またセキュリティを目的とした監視装置や、映像作成を目的とした画像合成装 置などにも応用できる。

Claims

請求の範囲
[1] カメラによって撮像された撮像画像を用いて周辺画像を生成する周辺監視装置で あって、
前記カメラの位置変動に関する情報である位置ずれ情報を取得する位置ずれ情報 取得部と、
前記位置ずれ情報取得部によって取得された前記位置ずれ情報に基づいて、前 記位置変動に伴う前記周辺画像の歪みを補正するための座標変換パラメタを取得 する座標変換パラメタ取得部と、
前記撮像画像を用いて前記周辺画像を生成するための、前記周辺画像の各画素 に対応する前記撮像画像上の画素位置を示す画像座標の情報を含む基準画像合 成パラメタを取得する画像合成パラメタ取得部と、
前記画像合成パラメタ取得部によって取得された前記基準画像合成パラメタに含 まれる画像座標を、前記座標変換パラメタ取得部によって取得された前記座標変換 ノ メタを用いて座標変換し、変換画像合成パラメタとして出力する座標変換部と、 前記撮像画像に対して前記変換画像合成パラメタを用いて、前記周辺画像を生成 して出力する画像合成部と
を備えることを特徴とする周辺監視装置。
[2] 前記座標変換パラメタ取得部は、
少なくとも 1つの座標変換パラメタをあらかじめ記憶している座標変換パラメタ記憶 部と、
前記位置ずれ情報取得部によって取得された前記位置ずれ情報に基づいて、少 なくとも 1つの前記座標変換パラメタから 1つの座標変換パラメタを選択する座標変換 ノ ラメタ選択部とを備える
ことを特徴とする請求項 1記載の周辺監視装置。
[3] 前記座標変換パラメタ取得部は、前記位置ずれ情報取得部によって取得された前 記位置ずれ情報に基づ！/ヽて、前記座標変換パラメタを生成する
ことを特徴とする請求項 1記載の周辺監視装置。
[4] 前記周辺監視装置は、さらに、 前記画像合成部によって生成された前記周辺画像に図形を重畳合成して出力す る図形合成部を備え、
前記座標変換パラメタ取得部は、前記位置ずれ情報取得部によって取得された前 記位置ずれ情報、および前記図形合成部によって重畳合成される前記図形に基づ いて、前記座標変換パラメタを取得する
ことを特徴とする請求項 1記載の周辺監視装置。
[5] 前記座標変換パラメタ取得部は、前記図形合成部によって重畳合成される前記図 形の所定の位置にぉ 、て、座標変換後の周辺画像の位置誤差が最小となる座標変 換パラメタを取得する
ことを特徴とする請求項 4記載の周辺監視装置。
[6] 前記画像合成パラメタ取得部は、
少なくとも 1つの基準画像合成パラメタをあらかじめ記憶している画像合成パラメタ 少なくとも 1つの前記基準画像合成パラメタから 1つの基準画像合成パラメタを選択 する画像合成パラメタ選択手段とを備える
ことを特徴とする請求項 1記載の周辺監視装置。
[7] 前記周辺監視装置は、さらに、
前記周辺監視装置を搭載する移動体の姿勢に関する情報を含む移動体の状態を 検出する状態検出部を備え、
前記画像合成パラメタ選択部は、前記状態検出部によって検出された前記移動体 の状態に基づいて 1つの前記基準画像合成パラメタを選択する
ことを特徴とする請求項 6記載の周辺監視装置。
[8] 前記座標変換パラメタ取得部は、前記位置ずれ情報取得部によって取得された前 記位置ずれ情報、および前記画像合成パラメタ選択部によって選択された前記基準 画像合成パラメタに基づいて、前記座標変換パラメタを取得する
ことを特徴とする請求項 6記載の周辺監視装置。
[9] 前記基準画像合成パラメタは、前記周辺画像に対応する前記撮像画像の一部分 の画像座標の情報を含み、 前記座標変換パラメタ取得部は、前記撮像画像の一部分の所定の位置にぉ ヽて、 座標変換後の周辺画像の位置誤差が最小となる座標変換パラメタを取得する ことを特徴とする請求項 1記載の周辺監視装置。
[10] 前記基準画像合成パラメタは、複数のカメラによって撮像された複数の前記撮像画 像を用いて前記周辺画像を生成するための、複数の前記撮像画像の画像座標の情 報を含み、
前記位置ずれ情報取得部は、複数の前記カメラの位置変動に関する情報である複 数の位置ずれ情報を取得し、
前記座標変換パラメタ取得部は、前記位置ずれ情報取得部によって取得された複 数の前記位置ずれ情報に基づ！/ヽて、複数の前記座標変換パラメタを取得し、 前記座標変換部は、前記画像合成パラメタ取得部によって取得された前記基準画 像合成パラメタに含まれる画像座標を、前記座標変換パラメタ取得部によって取得さ れた複数の前記座標変換パラメタを用いて座標変換し、前記変換画像合成パラメタ として出力し、
前記画像合成部は、複数の前記撮像画像に対して前記座標変換パラメタ取得部 によって取得された複数の前記座標変換パラメタを用いて、前記周辺画像を生成す る
ことを特徴とする請求項 1記載の周辺監視装置。
[11] 前記基準画像合成パラメタは、前記周辺画像の各画素に対応する、複数の撮像画 像の中から撮像画像を特定する情報および当該撮像画像上の画素位置を示す画像 座標の情報を含む
ことを特徴とする請求項 10記載の周辺監視装置。
[12] 前記座標変換パラメタ取得部は、前記基準画像合成パラメタに含まれる複数の撮 像画像の境界位置にぉ ヽて、座標変換後の周辺画像の位置誤差が最小となる座標 変換パラメタを取得する
ことを特徴とする請求項 10記載の周辺監視装置。
[13] 前記画像合成パラメタ取得部は、前記撮像画像の範囲外の画像座標の情報を含 む前記基準画像合成パラメタを取得する ことを特徴とする請求項 1記載の周辺監視装置。
[14] 前記画像合成パラメタ取得部は、前記周辺画像の 1画素に対して前記撮像画像上 の 2画素以上の画素位置を示す画像座標の情報を含む前記基準画像合成パラメタ を取得し、
前記座標変換部は、前記画像合成パラメタ取得部によって取得された前記基準画 像合成パラメタに含まれる画像座標を、前記座標変換パラメタ取得部によって取得さ れた前記座標変換パラメタを用いて座標変換した後に、一つの画素を選択し、前記 変換画像合成パラメタとして出力する
ことを特徴とする請求項 1記載の周辺監視装置。
[15] 前記撮像画像は、レンズ歪を含む画像であり、
前記画像合成部は、あら力じめ定められた 1つ以上の前記基準画像合成パラメタと 、あら力じめ定められた 1つ以上の前記座標変換パラメタによって生成される前記周 辺画像における誤差力 最も小さくなるレンズ歪パラメタを持つ前記撮像画像を用い て、前記周辺画像を生成する
ことを特徴とする請求項 1記載の周辺監視装置。
[16] 前記周辺監視装置は、さらに、
前記周辺監視装置を搭載する移動体の姿勢に関する情報を含む移動体の状態を 検出する状態検出部を備え、
前記座標変換パラメタ取得部は、前記位置ずれ情報取得部によって取得された前 記位置ずれ情報、および前記状態検出部によって検出された前記移動体の状態に 基づいて、前記座標変換パラメタを取得する
ことを特徴とする請求項 1記載の周辺監視装置。
[17] 前記周辺監視装置は、さらに、
ユーザー力 補正量を受け付ける受付部を備え、
前記位置ずれ情報取得部は、前記受付部によって受け付けられた前記補正量を 前記位置ずれ情報として取得する
ことを特徴とする請求項 1記載の周辺監視装置。
[18] 前記周辺監視装置は、さらに、 前記カメラの位置ずれ量を検出する位置ずれ量検出部を備え、
前記位置ずれ情報取得部は、前記位置ずれ量検出部によって検出された前記位 置ずれ量を前記位置ずれ情報として取得する
ことを特徴とする請求項 1記載の周辺監視装置。
[19] カメラによって撮像された撮像画像を用いて周辺画像を生成する周辺監視方法で あって、
前記カメラの位置変動に関する情報である位置ずれ情報を取得する位置ずれ情報 取得ステップと、
前記位置ずれ情報取得ステップによって取得された前記位置ずれ情報に基づい て、前記位置変動に伴う前記周辺画像の歪みを補正するための座標変換パラメタを 取得する座標変換パラメタ取得ステップと、
前記撮像画像を用いて前記周辺画像を生成するための、前記周辺画像の各画素 に対応する前記撮像画像上の画素位置を示す画像座標の情報を含む基準画像合 成パラメタを取得する画像合成パラメタ取得ステップと、
前記画像合成パラメタ取得ステップによって取得された前記基準画像合成パラメタ に含まれる画像座標を、前記座標変換パラメタ取得ステップによって取得された前記 座標変換パラメタを用いて座標変換し、変換画像合成パラメタとして出力する座標変 換ステップと、
前記撮像画像に対して前記変換画像合成パラメタを用いて、前記周辺画像を生成 して出力する画像合成ステップと
を含むことを特徴とする周辺監視方法。
[20] カメラによって撮像された撮像画像を用いて周辺画像を生成するためのプログラム であって、
前記カメラの位置変動に関する情報である位置ずれ情報を取得する位置ずれ情報 取得ステップと、
前記位置ずれ情報取得ステップによって取得された前記位置ずれ情報に基づい て、前記位置変動に伴う前記周辺画像の歪みを補正するための座標変換パラメタを 取得する座標変換パラメタ取得ステップと、 前記撮像画像を用いて前記周辺画像を生成するための、前記周辺画像の各画素 に対応する前記撮像画像上の画素位置を示す画像座標の情報を含む基準画像合 成パラメタを取得する画像合成パラメタ取得ステップと、
前記画像合成パラメタ取得ステップによって取得された前記基準画像合成パラメタ に含まれる画像座標を、前記座標変換パラメタ取得ステップによって取得された前記 座標変換パラメタを用いて座標変換し、変換画像合成パラメタとして出力する座標変 換ステップと、
前記撮像画像に対して前記変換画像合成パラメタを用いて、前記周辺画像を生成 して出力する画像合成ステップとをコンピュータに実行させる
ことを特徴とするプログラム。
PCT/JP2006/302478 2005-02-15 2006-02-13 周辺監視装置および周辺監視方法 WO2006087993A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP06713620.0A EP1850595B1 (en) 2005-02-15 2006-02-13 Periphery supervising device, and periphery supervising method
JP2006519031A JP3968375B2 (ja) 2005-02-15 2006-02-13 周辺監視装置および周辺監視方法
US11/541,684 US8139114B2 (en) 2005-02-15 2006-10-03 Surroundings monitoring apparatus and surroundings monitoring method for reducing distortion caused by camera position displacement

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2005-038295 2005-02-15
JP2005038295 2005-02-15

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US11/541,684 Continuation US8139114B2 (en) 2005-02-15 2006-10-03 Surroundings monitoring apparatus and surroundings monitoring method for reducing distortion caused by camera position displacement

Publications (1)

Publication Number Publication Date
WO2006087993A1 true WO2006087993A1 (ja) 2006-08-24

Family

ID=36916399

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2006/302478 WO2006087993A1 (ja) 2005-02-15 2006-02-13 周辺監視装置および周辺監視方法

Country Status (5)

Country Link
US (1) US8139114B2 (ja)
EP (1) EP1850595B1 (ja)
JP (1) JP3968375B2 (ja)
CN (1) CN100566406C (ja)
WO (1) WO2006087993A1 (ja)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008152424A (ja) * 2006-12-15 2008-07-03 Alpine Electronics Inc 画像表示装置
JP2008172535A (ja) * 2007-01-11 2008-07-24 Sanyo Electric Co Ltd 運転支援システム、画像処理装置及びずれ検出方法
JP2009253571A (ja) * 2008-04-04 2009-10-29 Clarion Co Ltd 車両用モニタ映像生成装置
JP2010128951A (ja) * 2008-11-28 2010-06-10 Fujitsu Ltd 画像処理装置、画像処理方法及びコンピュータプログラム
JP2013020308A (ja) * 2011-07-07 2013-01-31 Clarion Co Ltd 車両周囲画像撮像システム
JP2013186245A (ja) * 2012-03-07 2013-09-19 Denso Corp 車両周辺監視装置
JP2014506048A (ja) * 2010-12-23 2014-03-06 アルカテル−ルーセント カメラ計画および位置決めのための統合された方法
CN104020751A (zh) * 2014-06-23 2014-09-03 河海大学常州校区 基于物联网的校园安全监测系统及方法
WO2015194124A1 (ja) * 2014-06-18 2015-12-23 株式会社デンソー 運転支援装置、運転支援方法、画像補正装置、画像補正方法
JP2018160848A (ja) * 2017-03-23 2018-10-11 日産自動車株式会社 表示装置の制御方法および表示装置

Families Citing this family (43)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101008917B1 (ko) * 2006-09-14 2011-01-17 후지쯔 가부시끼가이샤 화상 처리 방법 및 장치와 그 프로그램을 기록한 기록 매체
US7961945B2 (en) * 2007-02-13 2011-06-14 Technische Universität München System and method for on-the-fly segmentations for image deformations
JP5298507B2 (ja) * 2007-11-12 2013-09-25 セイコーエプソン株式会社 画像表示装置及び画像表示方法
JP4874280B2 (ja) * 2008-03-19 2012-02-15 三洋電機株式会社 画像処理装置及び方法、運転支援システム、車両
JP5222597B2 (ja) * 2008-03-19 2013-06-26 三洋電機株式会社 画像処理装置及び方法、運転支援システム、車両
JP4555876B2 (ja) * 2008-05-30 2010-10-06 株式会社日本自動車部品総合研究所 車載カメラのキャリブレーション方法
DE102008034594B4 (de) * 2008-07-25 2021-06-24 Bayerische Motoren Werke Aktiengesellschaft Verfahren sowie Informationssystem zur Information eines Insassen eines Fahrzeuges
ITBO20080506A1 (it) * 2008-08-05 2010-02-06 Spal Automotive Srl Sistema di visualizzazione per veicoli.
US9279882B2 (en) * 2008-09-19 2016-03-08 Caterpillar Inc. Machine sensor calibration system
JP5068779B2 (ja) * 2009-02-27 2012-11-07 現代自動車株式会社 車両周囲俯瞰画像表示装置及び方法
JP5168601B2 (ja) * 2010-03-31 2013-03-21 アイシン・エィ・ダブリュ株式会社 自車位置認識システム
JP5444139B2 (ja) * 2010-06-29 2014-03-19 クラリオン株式会社 画像のキャリブレーション方法および装置
DE112010005737B4 (de) * 2010-07-14 2015-09-17 Mitsubishi Electric Corporation Bildsynthesevorrichtung
CN102438153B (zh) * 2010-09-29 2015-11-25 华为终端有限公司 多摄像机图像校正方法和设备
US9900522B2 (en) * 2010-12-01 2018-02-20 Magna Electronics Inc. System and method of establishing a multi-camera image using pixel remapping
EP2511137B1 (en) * 2011-04-14 2019-03-27 Harman Becker Automotive Systems GmbH Vehicle Surround View System
US10793067B2 (en) 2011-07-26 2020-10-06 Magna Electronics Inc. Imaging system for vehicle
US9466215B2 (en) * 2012-03-26 2016-10-11 Robert Bosch Gmbh Multi-surface model-based tracking
CN104169965B (zh) 2012-04-02 2018-07-03 英特尔公司 用于多拍摄装置系统中图像变形参数的运行时调整的系统、方法和计算机程序产品
CN102653260B (zh) * 2012-05-09 2014-08-13 邝君 汽车定点定位引导系统
CN104520508B (zh) * 2012-11-08 2017-06-30 住友重机械工业株式会社 铺装机械用图像生成装置以及铺装机械用操作支援系统
JP6153318B2 (ja) * 2012-11-30 2017-06-28 キヤノン株式会社 画像処理装置、画像処理方法、画像処理プログラム、および、記憶媒体
JP6048189B2 (ja) * 2013-02-08 2016-12-21 株式会社リコー 投影システム、画像生成プログラム、情報処理装置及び画像生成方法
EP2804144A1 (en) * 2013-05-16 2014-11-19 SMR Patents S.à.r.l. Method and device for processing input image data
KR102092625B1 (ko) * 2013-10-15 2020-04-14 현대모비스 주식회사 차량 상태 경보 방법 및 이를 위한 장치
US9426365B2 (en) * 2013-11-01 2016-08-23 The Lightco Inc. Image stabilization related methods and apparatus
US9986173B2 (en) * 2014-05-16 2018-05-29 GM Global Technology Operations LLC Surround-view camera system (VPM) online calibration
US9940694B2 (en) * 2014-05-23 2018-04-10 Synopsys, Inc. Resolution enhancement techniques based on holographic imaging technology
KR102268641B1 (ko) * 2014-07-10 2021-06-23 현대모비스 주식회사 어라운드 뷰 시스템 및 그 동작방법
KR101566912B1 (ko) * 2014-08-04 2015-11-13 현대모비스 주식회사 Avm 장치 및 방법
KR102227850B1 (ko) * 2014-10-29 2021-03-15 현대모비스 주식회사 차량용 후방 카메라의 영상 보정 방법
CN104385987B (zh) * 2014-11-14 2017-01-11 东风汽车有限公司 一种汽车监控方法及系统
CN104442569B (zh) * 2014-11-14 2016-11-02 东风汽车有限公司 一种汽车监控影像生成方法及系统
US10127463B2 (en) 2014-11-21 2018-11-13 Magna Electronics Inc. Vehicle vision system with multiple cameras
JP2016225865A (ja) * 2015-06-01 2016-12-28 東芝アルパイン・オートモティブテクノロジー株式会社 俯瞰画像生成装置
JP6413974B2 (ja) * 2015-08-05 2018-10-31 株式会社デンソー キャリブレーション装置、キャリブレーション方法、及びプログラム
US10187590B2 (en) 2015-10-27 2019-01-22 Magna Electronics Inc. Multi-camera vehicle vision system with image gap fill
JP6091586B1 (ja) * 2015-11-12 2017-03-08 三菱電機株式会社 車両用画像処理装置および車両用画像処理システム
WO2018008085A1 (ja) * 2016-07-05 2018-01-11 三菱電機株式会社 認知領域推定装置、認知領域推定方法および認知領域推定プログラム
WO2019034916A1 (en) * 2017-08-17 2019-02-21 Harman International Industries, Incorporated SYSTEM AND METHOD FOR PRESENTING AND CONTROLLING VIRTUAL CAMERA IMAGE FOR A VEHICLE
JP2019102907A (ja) * 2017-11-30 2019-06-24 キヤノン株式会社 設定装置、設定方法、及びプログラム
JP2019180016A (ja) 2018-03-30 2019-10-17 パナソニックＩｐマネジメント株式会社 画像合成装置、画像合成方法及びプログラム
JP2021002790A (ja) * 2019-06-24 2021-01-07 株式会社デンソーテン カメラパラメータ設定装置、カメラパラメータ設定方法、及びカメラパラメータ設定プログラム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2000007373A1 (fr) * 1998-07-31 2000-02-10 Matsushita Electric Industrial Co., Ltd. Procede et appareil d'affichage d'images
WO2000064175A1 (fr) * 1999-04-16 2000-10-26 Matsushita Electric Industrial Co., Ltd. Dispositif de traitement d'images et systeme de surveillance
JP2004258266A (ja) * 2003-02-25 2004-09-16 Olympus Corp ステレオアダプタ及びそれを用いた距離画像入力装置

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS58110334A (ja) 1981-12-23 1983-06-30 Hino Motors Ltd 路面視界表示装置
JPH1178692A (ja) 1997-09-03 1999-03-23 Nissan Motor Co Ltd 車両用映像提示装置
JP2002135765A (ja) 1998-07-31 2002-05-10 Matsushita Electric Ind Co Ltd カメラキャリブレーション指示装置及びカメラキャリブレーション装置
JP3445197B2 (ja) 1998-10-08 2003-09-08 松下電器産業株式会社 運転操作補助装置
US7277123B1 (en) 1998-10-08 2007-10-02 Matsushita Electric Industrial Co., Ltd. Driving-operation assist and recording medium
US6734896B2 (en) * 2000-04-28 2004-05-11 Matsushita Electric Industrial Co., Ltd. Image processor and monitoring system
JP4512293B2 (ja) * 2001-06-18 2010-07-28 パナソニック株式会社 監視システムおよび監視方法
JP2003346189A (ja) 2002-05-24 2003-12-05 Nissan Motor Co Ltd 車両用映像表示装置
JP4161363B2 (ja) 2002-07-31 2008-10-08 カシオ計算機株式会社 接触検知装置及びその検知方法並びに該接触検知装置を適用した画像読取装置
TWI289926B (en) * 2002-07-31 2007-11-11 Casio Computer Co Ltd Image reading apparatus and its driving method

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2000007373A1 (fr) * 1998-07-31 2000-02-10 Matsushita Electric Industrial Co., Ltd. Procede et appareil d'affichage d'images
WO2000064175A1 (fr) * 1999-04-16 2000-10-26 Matsushita Electric Industrial Co., Ltd. Dispositif de traitement d'images et systeme de surveillance
JP2004258266A (ja) * 2003-02-25 2004-09-16 Olympus Corp ステレオアダプタ及びそれを用いた距離画像入力装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP1850595A4 *

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8760515B2 (en) 2006-12-15 2014-06-24 Alpine Electronics, Inc. Image display apparatus with mapping based on passenger detection
JP2008152424A (ja) * 2006-12-15 2008-07-03 Alpine Electronics Inc 画像表示装置
JP2008172535A (ja) * 2007-01-11 2008-07-24 Sanyo Electric Co Ltd 運転支援システム、画像処理装置及びずれ検出方法
JP2009253571A (ja) * 2008-04-04 2009-10-29 Clarion Co Ltd 車両用モニタ映像生成装置
JP2010128951A (ja) * 2008-11-28 2010-06-10 Fujitsu Ltd 画像処理装置、画像処理方法及びコンピュータプログラム
US8319618B2 (en) 2008-11-28 2012-11-27 Fujitsu Limited Image processing apparatus, image processing method, and recording medium
JP2014506048A (ja) * 2010-12-23 2014-03-06 アルカテル−ルーセント カメラ計画および位置決めのための統合された方法
JP2013020308A (ja) * 2011-07-07 2013-01-31 Clarion Co Ltd 車両周囲画像撮像システム
JP2013186245A (ja) * 2012-03-07 2013-09-19 Denso Corp 車両周辺監視装置
WO2015194124A1 (ja) * 2014-06-18 2015-12-23 株式会社デンソー 運転支援装置、運転支援方法、画像補正装置、画像補正方法
JP2016004448A (ja) * 2014-06-18 2016-01-12 株式会社デンソー 運転支援装置、運転支援方法、画像補正装置、画像補正方法
CN104020751A (zh) * 2014-06-23 2014-09-03 河海大学常州校区 基于物联网的校园安全监测系统及方法
CN104020751B (zh) * 2014-06-23 2016-08-24 河海大学常州校区 基于物联网的校园安全监测方法
JP2018160848A (ja) * 2017-03-23 2018-10-11 日産自動車株式会社 表示装置の制御方法および表示装置

Also Published As

Publication number Publication date
CN1943236A (zh) 2007-04-04
JPWO2006087993A1 (ja) 2008-07-03
CN100566406C (zh) 2009-12-02
JP3968375B2 (ja) 2007-08-29
EP1850595A1 (en) 2007-10-31
EP1850595B1 (en) 2016-07-13
US20070041659A1 (en) 2007-02-22
US8139114B2 (en) 2012-03-20
EP1850595A4 (en) 2014-08-06

Similar Documents

Publication Publication Date Title
JP3968375B2 (ja) 周辺監視装置および周辺監視方法
JP7245295B2 (ja) 車両・被牽引車両コンビの周辺シーンを表示するための方法、並びに、装置
JP5561566B2 (ja) 運転支援装置
JP5379913B2 (ja) 駐車支援装置、駐車支援システム、および駐車支援カメラユニット
JP6603094B2 (ja) キャリブレーション装置、キャリブレーション方法、及び、キャリブレーションプログラム
US11628882B2 (en) Cruise-assist image generation device, cruise-assist image generation method, in-vehicle camera and equipment-control assist image generation device
JP4861034B2 (ja) 車載カメラのキャリブレーションシステム
JP4596978B2 (ja) 運転支援システム
JP5072576B2 (ja) 画像表示方法および画像表示装置
JP4636346B2 (ja) 車載カメラの校正装置、方法、及びプログラム
JP4903194B2 (ja) 車載用カメラユニット、車両外部ディスプレイ方法及びドライビングコリドーマーカー生成システム
JP5523730B2 (ja) 車載周辺画像表示装置
WO2001058164A1 (fr) Ecran de proximite pour vehicule automobile
JP4643860B2 (ja) 車両用視覚支援装置及び支援方法
CN111559314B (zh) 深度与图像信息融合的3d增强全景环视系统及实现方法
JP2010103730A (ja) 車載カメラのキャリブレーション装置およびキャリブレーション方法
CN105472317B (zh) 周边监视装置及周边监视系统
JP2009253571A (ja) 車両用モニタ映像生成装置
CN111798375A (zh) 环视图像拼接方法、系统、装置、存储介质和搅拌车
JP2007158695A (ja) 車載画像処理装置
JP6768554B2 (ja) キャリブレーション装置
WO2010007960A1 (ja) 車載用カメラの視点変換映像システム及び視点変換映像取得方法
JP2002293196A (ja) 車載カメラの画像表示方法及びその装置
JP7196920B2 (ja) 運転支援装置および運転支援方法、プログラム
JP4814752B2 (ja) 表示制御装置

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 2006519031

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 200680000094.6

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application
REEP Request for entry into the european phase

Ref document number: 2006713620

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2006713620

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE

WWP Wipo information: published in national office

Ref document number: 2006713620

Country of ref document: EP