WO2011090163A1 - パラメータ決定装置、パラメータ決定システム、パラメータ決定方法、及び記録媒体 - Google Patents

パラメータ決定装置、パラメータ決定システム、パラメータ決定方法、及び記録媒体 Download PDF

Info

Publication number
WO2011090163A1
WO2011090163A1 PCT/JP2011/051100 JP2011051100W WO2011090163A1 WO 2011090163 A1 WO2011090163 A1 WO 2011090163A1 JP 2011051100 W JP2011051100 W JP 2011051100W WO 2011090163 A1 WO2011090163 A1 WO 2011090163A1
Authority
WO
WIPO (PCT)
Prior art keywords
vehicle
image
parameter determination
parameter
composite image
Prior art date
Application number
PCT/JP2011/051100
Other languages
English (en)
French (fr)
Inventor
史晃 坂東
Original Assignee
富士通テン株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士通テン株式会社 filed Critical 富士通テン株式会社
Priority to US13/574,711 priority Critical patent/US8947533B2/en
Publication of WO2011090163A1 publication Critical patent/WO2011090163A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G06V10/245—Aligning, centring, orientation detection or correction of the image by locating a pattern; Special marks for positioning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Definitions

  • the present invention relates to a technique for determining installation parameters related to the installation of a plurality of in-vehicle cameras mounted on a vehicle.
  • an image display device that is mounted on a vehicle such as an automobile and displays an image obtained by photographing the periphery of the vehicle with an in-vehicle camera on a display in the vehicle interior is known.
  • the driver can grasp the situation around the vehicle almost in real time.
  • Patent Document 1 discloses an installation parameter (for example, roll angle, It is disclosed that a tilt angle, a pan angle, etc.) are determined and an image to be displayed is processed using the installation parameters.
  • the calibration process displays an image obtained by an in-vehicle camera with a marker having a predetermined shape arranged outside the vehicle, and the position of the marker image included in the image is displayed by the user (image display). Executed by designation by the worker who installs the device).
  • the calibration process is executed for each of the plurality of vehicle-mounted cameras, and installation parameters are determined for each vehicle-mounted camera. Then, a plurality of images are synthesized using the installation parameters for each on-vehicle camera to generate a synthesized image. Therefore, the quality of the generated composite image is affected by the accuracy of determining the installation parameters of each of the plurality of in-vehicle cameras.
  • the present invention has been made in view of the above problems, and an object thereof is to provide a technique capable of determining an appropriate installation parameter in terms of quality of a generated composite image.
  • a parameter determination device mounted on a vehicle Image acquisition means for acquiring a plurality of camera images photographed by a plurality of cameras provided in the vehicle;
  • Parameter specifying means for specifying installation parameters of the plurality of cameras based on the acquired plurality of camera images;
  • a composite image generating means for generating a composite image showing the periphery of the vehicle viewed from a predetermined virtual viewpoint;
  • a validity determination means for comparing the composite image with a reference image indicating the periphery of the vehicle viewed from a predetermined position to determine the validity of the specified installation parameter;
  • a parameter determining device comprising:
  • a brightness adjustment unit that adjusts the average brightness of the composite image so as to substantially match the average brightness of the reference image before the validity determination unit compares the composite image with the reference image; (1) thru
  • the validity determining means automatically determines the validity of the installation parameter when the installation parameter is specified, according to any one of (1) to (6) Parameter determination device.
  • the parameter determination device according to any one of (1) to (7), further including a storage unit that stores the reference image.
  • a parameter determination system An external camera that is arranged outside the vehicle and photographs the periphery of the vehicle viewed from a predetermined position as a reference image; A plurality of cameras provided in the vehicle; A parameter determination device mounted on a vehicle, Image acquisition means for acquiring a plurality of camera images taken by the plurality of cameras; Parameter specifying means for specifying installation parameters of the plurality of cameras based on the acquired plurality of camera images; Based on the acquired plurality of camera images and the specified installation parameters, a composite image generating means for generating a composite image showing the periphery of the vehicle viewed from a predetermined virtual viewpoint; Comprising a validity determination means for comparing the composite image with the reference image to determine the validity of the specified installation parameter; A parameter determination system comprising:
  • a parameter determination method Acquiring a plurality of camera images taken by a plurality of cameras provided in the vehicle; Identification of installation parameters of the plurality of cameras based on the acquired plurality of camera images; Based on the acquired plurality of camera images and the specified installation parameters, generation of a composite image showing a state around the vehicle viewed from a predetermined virtual viewpoint; Comparing the composite image with a reference image showing the periphery of the vehicle viewed from a predetermined position, and determining the validity of the specified installation parameter;
  • a parameter determination method comprising:
  • the composite image and the reference image can be accurately compared.
  • an appropriate installation parameter can be determined from the viewpoint of quality of the composite image showing the entire periphery of the vehicle.
  • FIG. 1 is a diagram showing an outline of a parameter determination system.
  • FIG. 2 is a block diagram illustrating a configuration of the image display apparatus.
  • FIG. 3 is a diagram illustrating a position where the in-vehicle camera is installed in the vehicle.
  • FIG. 4 is a diagram for explaining a method of generating a composite image.
  • FIG. 5 is a diagram illustrating transition of operation modes of the image display apparatus.
  • FIG. 6 is a diagram showing a flow of processing related to the calibration processing.
  • FIG. 7 is a diagram illustrating a state in which the vehicle is arranged.
  • FIG. 8 is a diagram illustrating an example of a reference image.
  • FIG. 9 is a diagram illustrating a display example of the display in the calibration process.
  • FIG. 1 is a diagram showing an outline of a parameter determination system.
  • FIG. 2 is a block diagram illustrating a configuration of the image display apparatus.
  • FIG. 3 is a diagram illustrating a position where the in-ve
  • FIG. 10 is a diagram illustrating an example of a composite image.
  • FIG. 11 is a diagram illustrating an example of a composite image.
  • FIG. 12 is a diagram showing a comparison between a composite image and a reference image.
  • FIG. 13 is a diagram illustrating a state in which the vehicle is arranged.
  • FIG. 14 is a diagram illustrating an example of a reference image.
  • FIG. 15 is a diagram illustrating an example of a composite image.
  • FIG. 1 is a diagram showing an overview of a parameter determination system 100 according to the present embodiment.
  • the parameter determination system 100 executes a calibration process to determine installation parameters relating to installation of an in-vehicle camera mounted on a vehicle (automobile in this embodiment) 9.
  • the parameter determination system 100 includes a reference image acquisition device 2 disposed outside the vehicle 9 and an image display device 1 mounted on the vehicle 9.
  • the reference image acquisition device 2 is fixedly arranged in a work place where the image display device 1 is installed in the vehicle 9 in a vehicle factory or a vehicle maintenance shop.
  • the reference image acquisition device 2 includes one vehicle-side camera 21 (external camera in the present invention) that captures images from the outside of the vehicle 9 and a recording unit 22 that records an image obtained by the vehicle-side camera 21. While the vehicle outside camera 21 is disposed immediately above the vehicle 9, the recording unit 22 is disposed at a position where an operator who installs the image display device 1 can easily work.
  • the camera 21 outside the vehicle and the recording unit 22 are connected to each other via a cable or the like.
  • the outside camera 21 captures the vehicle 9 and the surroundings of the vehicle 9 with the optical axis 21 a directed in the vertical direction from directly above the vehicle 9. Thereby, the image which shows the mode of the surroundings of the vehicle 9 and the vehicle 9 is acquired.
  • the acquired image is transmitted to the recording unit 22 and is recorded in the memory card MC which is a portable recording medium in the recording unit 22.
  • the image thus recorded becomes a reference image used for determining whether or not the calibration process in the image display device 1 has been correctly performed, and is delivered to the image display device 1 via the memory card MC.
  • the image display device 1 has a function of photographing the periphery of the vehicle 9 to generate an image and displaying it on the display.
  • the image display device 1 is installed at an appropriate position in a vehicle compartment such as an instrument panel of the vehicle 9 so that a display screen can be visually recognized by a driver. By browsing the display screen of the image display device 1, the driver of the vehicle 9 can grasp the state around the vehicle 9 in almost real time.
  • the image display device 1 also functions as a navigation device and can provide navigation guidance to the driver of the vehicle 9.
  • the image display device 1 also functions as a parameter determination device that executes a calibration process for determining an installation parameter related to the installation of the in-vehicle camera mounted on the vehicle 9.
  • the image display device 1 uses the reference image delivered from the reference image acquisition device 2 for determining whether or not the calibration process has been performed correctly (hereinafter also referred to as “calibration determination”).
  • FIG. 2 is a block diagram mainly showing the configuration of the image display apparatus 1.
  • the image display device 1 includes an imaging unit 5 that captures the periphery of the vehicle 9, a composite image generation unit 32 that processes an image acquired by the imaging unit 5, and a navigation unit 31 that implements a navigation function. And a display 33 for displaying various types of information and an operation unit 34 for receiving user operations.
  • the photographing unit 5 includes a front camera 51, a back camera 52, and a side camera 53 that are in-vehicle cameras 50.
  • Each of these in-vehicle cameras 50 includes an image sensor such as a CCD or a CMOS, and acquires an image electronically.
  • FIG. 3 is a diagram showing a position where the in-vehicle camera 50 is installed in the vehicle 9.
  • the front camera 51 is provided in the vicinity of the license plate mounting position at the front end of the vehicle 9, and its optical axis 51 a is directed in the straight traveling direction of the vehicle 9.
  • the back camera 52 is provided in the vicinity of the license plate mounting position at the rear end of the vehicle 9, and its optical axis 52 a is directed in the direction opposite to the straight traveling direction of the vehicle 9.
  • the side cameras 53 are provided on the left and right door mirrors 93, respectively, and the optical axis 53 a is directed to the outside along the left-right direction of the vehicle 9.
  • a fish-eye lens or the like is adopted as a lens of these in-vehicle cameras 50, and each in-vehicle camera 50 has an angle of view ⁇ of 180 degrees or more. For this reason, by using the four in-vehicle cameras 50, it is possible to capture the entire periphery of the vehicle 9. In addition, the left front, right front, left rear, and right rear regions of the vehicle 9 can be captured by two of the four in-vehicle cameras 50.
  • the composite image generation unit 32 is configured as a hardware circuit capable of various image processing.
  • the composite image generation unit 32 functions as an image acquisition unit and a composite image generation unit of the present invention, and based on a plurality of images (camera images in the present invention) acquired by a plurality of in-vehicle cameras 50 of the photographing unit 5 A composite image showing the surroundings of the vehicle as seen from the virtual viewpoint is generated.
  • a method in which the composite image generation unit 32 generates a composite image viewed from a virtual viewpoint will be described later.
  • the navigation unit 31 is configured as a dedicated board that outputs various information for navigation guidance. Specifically, the navigation unit 31 outputs a map image corresponding to the current position of the vehicle 9 and, when a destination is set, sets a route to the destination and provides guidance information corresponding to the route. Output.
  • the display 33 includes a liquid crystal panel and displays a composite image generated by the composite image generation unit 32, a map image provided from the navigation unit 31, and the like.
  • the display 33 has a touch panel function and can accept various operations from the user.
  • the operation unit 34 includes a plurality of physical buttons and accepts various operations from the user.
  • the image display device 1 includes a signal input unit 35, a card reading unit 36, and a nonvolatile memory 40.
  • the signal input unit 35 inputs signals from various devices outside the image display device 1 provided in the vehicle 9. Specifically, the signal input unit 35 inputs signals indicating various information from the shift sensor 91, the vehicle speed sensor 92, and the like. From the shift sensor 91, the operation position of the shift lever of the transmission of the vehicle 9, ie, “P (parking)”, “D (forward)”, “N (neutral)”, “R (reverse)”, etc. The shift position is input. From the vehicle speed sensor 92, the traveling speed (km / h) of the vehicle 9 at that time is input.
  • the card reading unit 36 reads a memory card MC that is a portable recording medium.
  • the card reading unit 36 includes a card slot in which the memory card MC can be attached and detached, and reads data recorded on the memory card MC installed in the card slot.
  • the memory card MC is configured by a flash memory or the like capable of storing various data, and the image display device 1 can use various data stored in the memory card MC.
  • non-volatile memory 40 is configured by a flash memory or the like that can maintain the stored contents even when the power is turned off.
  • the non-volatile memory 40 stores an installation parameter 41, a reference image 42, and a program 49.
  • the installation parameter 41 indicates information related to the installation of each of the four in-vehicle cameras 50 on the vehicle 9. Specifically, the installation parameter 41 includes a roll angle, a tilt angle, a pan angle, and the like for each in-vehicle camera 50. The installation parameter 41 is determined in the calibration process, and is used when the composite image generation unit 32 generates a composite image.
  • the reference image 42 is used in calibration determination.
  • the reference image 42 is acquired by reading the memory card MC recorded by the reference image acquisition device 2 with the card reading unit 36.
  • the program 49 is firmware for the image display device 1.
  • the program 49 can be updated by reading the memory card MC storing a new program by the card reading unit 36.
  • the image display device 1 includes a control unit 10 for controlling each unit described above.
  • the control unit 10 is configured as a computer including a CPU, a RAM, a ROM, and the like.
  • Various control functions of the control unit 10 are realized by the CPU performing arithmetic processing according to the program 49 stored in the nonvolatile memory 40.
  • a mode switching unit 11, an image control unit 12, a calibration unit 13, and a process determination unit 14 shown in the drawing show some of the functions of the control unit 10 realized in this way.
  • the mode switching unit 11 switches the operation mode of the image display device 1.
  • the image display device 1 has a navigation mode for performing navigation guidance and an image display mode showing the surroundings of the vehicle 9, and these two modes are usually controlled by the mode switching unit 11 according to predetermined conditions. Can be switched.
  • the image control unit 12 controls a composite image generation process executed by the composite image generation unit 32. For example, when generating a composite image, the image control unit 12 reads the installation parameter 41 from the nonvolatile memory 40 and transmits the installation parameter 41 to the composite image generation unit 32.
  • the calibration unit 13 functions as parameter specifying means of the present invention, and performs a calibration process for specifying installation parameters relating to the installation of the four in-vehicle cameras 50.
  • the process determination unit 14 performs calibration determination. That is, the process determination unit 14 functions as a validity determination unit of the present invention, and determines the validity of the installation parameter 41 specified by the calibration process. Details of the functions of these control units 100 will be described later.
  • FIG. 4 is a diagram for explaining a method of generating a composite image.
  • the front camera 51, the back camera 52, and the side camera 53 of the photographing unit 5 are simultaneously photographed, four images P1 to P4 respectively showing the front, rear, left side, and right side of the vehicle 9 are acquired. . That is, the four images P1 to P4 acquired by the photographing unit 5 include information indicating the entire periphery of the vehicle 9 at the time of photographing.
  • each pixel of the four images P1 to P4 is projected onto a three-dimensional curved surface SP in a virtual three-dimensional space.
  • the three-dimensional curved surface SP has, for example, a substantially hemispherical shape (a bowl shape), and a center portion (a bottom portion of the bowl) is determined as a position where the vehicle 9 exists.
  • the position of each pixel included in the images P1 to P4 and the position of each pixel of the solid curved surface SP have a correspondence relationship. Therefore, the value of each pixel of the three-dimensional curved surface SP is determined based on this correspondence and the value of each pixel included in the images P1 to P4.
  • the correspondence between the positions of the pixels of the images P1 to P4 and the positions of the pixels of the three-dimensional curved surface SP varies depending on the installation parameters 41 (roll angle, tilt angle, pan angle, etc.) of the four in-vehicle cameras 50. For this reason, the default correspondence relationship used as a reference is corrected by using the installation parameter 41 stored in the nonvolatile memory 40, and this corrected correspondence relationship is used for projection onto the solid curved surface SP.
  • a vehicle image 90 which is a polygon model indicating the three-dimensional shape of the vehicle 9 is virtually constructed.
  • the configured vehicle image 90 is arranged at a substantially hemispherical center portion defined as the position of the vehicle 9 in the three-dimensional space in which the three-dimensional curved surface SP is set.
  • the virtual viewpoint VP is set by the image control unit 12 of the control unit 10 for the three-dimensional space where the solid curved surface SP exists.
  • the virtual viewpoint VP is defined by the viewpoint position and the visual field direction, and is set to an arbitrary visual field position corresponding to the periphery of the vehicle 9 in this three-dimensional space toward an arbitrary visual field direction.
  • a necessary area on the three-dimensional curved surface SP is cut out as an image.
  • the relationship between the virtual viewpoint VP and a necessary area in the three-dimensional curved surface SP is determined in advance, and is stored in advance in the nonvolatile memory 40 or the like as table data.
  • rendering is performed with respect to the vehicle image 90 composed of polygons according to the set virtual viewpoint VP, and the resulting two-dimensional vehicle image 90 is superimposed on the clipped image. Thereby, the composite image which shows the mode of the vehicle 9 seen from arbitrary virtual viewpoints and the vehicle 9 is produced
  • the vehicle 9 and the vehicle 9 A composite image CP1 showing the surrounding situation is generated. Also, as shown in the figure, when the virtual viewpoint VP2 in which the viewpoint position is the left rear of the vehicle 9 and the visual field direction is substantially in front of the vehicle 9 is set, the entire periphery is viewed from the left rear of the vehicle 9. In addition, a composite image CP2 showing the vehicle 9 and the surroundings of the vehicle 9 is generated.
  • FIG. 5 is a diagram illustrating the transition of the operation mode of the image display apparatus 1.
  • a screen including the map image NP used for navigation guidance is displayed on the display 33.
  • the image display mode M ⁇ b> 2 a screen including the composite image CP showing the state around the vehicle 9 is displayed on the display 33.
  • Navigation mode M1 and image display mode M2 are switched by mode switching unit 11 according to predetermined conditions based on signals from shift sensor 91, vehicle speed sensor 92, and the like.
  • the mode is switched to the image display mode M2, and a screen including a composite image showing the state behind the vehicle 9 is displayed.
  • the mode is switched to the image display mode M2, and the state of the vehicle 9 in front and side is displayed.
  • a screen including the composite image shown is displayed.
  • the mode switching unit 11 shifts the operation mode to the calibration mode M3 for performing the calibration process.
  • FIG. 6 is a diagram showing a flow of processing related to the calibration processing in the parameter determination system 100.
  • a reference image is acquired by the reference image acquisition device 2 (steps S1 and S2).
  • calibration processing steps S11 to S16
  • calibration determination steps S16 to S22
  • the calibration process steps S11 to S16 is executed under the control of the calibration unit 13
  • the calibration determination steps S16 to S22 is executed under the control of the process determination unit 14.
  • the operation mode of the image display device 1 is set to the calibration mode M3. Further, as shown in FIG. 7, the vehicle 9 to be subjected to the calibration process is arranged in a predetermined work place, and four markers 8 are arranged around the vehicle 9. Each of the four markers 8 is disposed in four areas (that is, the left front, right front, left rear, and right rear areas of the vehicle 9) that are captured by the two in-vehicle cameras 50 in an overlapping manner. Each marker 8 is composed of a flat plate, and the surface shape is a regular triangle. In addition, the vehicle exterior camera 21 of the reference image acquisition device 2 is disposed directly above the center position with respect to both the left and right sides and the front and rear sides of the vehicle 9 with its optical axis directed directly below.
  • an area including the actual vehicle 9 and the surrounding marker 8 is taken as a subject, and one of the outside cameras 21 of the reference image acquisition device 2 is photographed (step S1). Thereby, an image RP as shown in FIG. 8 is acquired.
  • This image RP includes an image 90 of the vehicle 9 (vehicle image) and an image 80 of the marker 8 (marker image).
  • This image RP is transmitted to the recording unit 22, and is recorded on the memory card MC in the recording unit 22 as a reference image (step S2).
  • the memory card MC is taken out from the reference image acquisition device 2 and inserted into the card slot of the image display device 1. Then, in the image display device 1, the reference image RP recorded in the memory card MC is read out and recorded in the nonvolatile memory 40 (step S11 in FIG. 6).
  • step S12 photographing is performed almost simultaneously with the four in-vehicle cameras 50 of the vehicle 9, and an image is acquired in each of the in-vehicle cameras 50.
  • FIG. 9 is a diagram showing a display example of the display 33 in this case.
  • the attention image P acquired by the in-vehicle camera 50 is displayed on the display 33.
  • two marker images 80 are included near both left and right ends.
  • One of the displayed six point indices M is selected by the cursor, and the point index M being selected can be moved on the screen by touching the command button C indicating the up / down / left / right directions. Further, it is possible to switch the point index M to be selected by touching the command button C labeled “point switching”.
  • a user (such as a worker who performs work related to the calibration process) touches these command buttons C to move all the point indexes M to the positions of the vertices of the marker image 80.
  • the command button C labeled “point switching” the positions of the six point indicators M indicating the positions of the marker images 80 are received by the calibration unit 13 (step S14).
  • the calibration unit 13 performs a predetermined calculation based on the determined positions of the six point indexes M, and specifies the installation parameters of the in-vehicle camera that has acquired the attention image P.
  • the roll angle is specified based on the height difference between the point index M on the left side of the screen and the point index M on the right side of the screen
  • the tilt angle is specified based on the vertical position of the screen of the point index M
  • the point index M The pan angle is specified based on the left and right positions of the screen (step S15).
  • the specified installation parameter is recorded in the nonvolatile memory 40.
  • step S16 it is determined whether calibration processing has been performed for all the in-vehicle cameras 50 (that is, whether installation parameters have been specified) (step S16). If there is an unprocessed in-vehicle camera 50, the process returns to step S13 again, and another image is selected as the target image. And the installation parameter of the vehicle-mounted camera which acquired the attention image is specified similarly to the above. Such processing is repeated, and finally the installation parameters of all the four in-vehicle cameras 50 are specified.
  • the four images obtained by the four in-vehicle cameras 50 and the derived installation parameters are used by the composite image generation unit 32.
  • a composite image showing the surroundings of the vehicle 9 viewed from the virtual viewpoint is generated (step S17).
  • the viewpoint position of the virtual viewpoint is set immediately above the center position with respect to both the left and right and front and rear in the vehicle 9, and the viewpoint direction is directed directly below. That is, the positional relationship of the outside camera 21 with respect to the actual vehicle 9 and the positional relationship of the virtual viewpoint with respect to the vehicle 9 (the vehicle image 90 of the three-dimensional curved surface SP) are set to be the same.
  • FIG. 10 is a diagram showing a composite image CP generated when the calibration process is ideally performed.
  • FIG. 11 is a diagram illustrating an example of the composite image CP generated when the calibration process is not accurately performed.
  • the composite image CP includes a marker image 80 as well as the vehicle image 90.
  • the composite image CP is configured by images acquired by the front camera 51 in the front area A1 of the vehicle image 90, the back camera 52 in the rear area A2 of the vehicle image 90, and the side camera A in the side area A3 of the vehicle image 90, respectively. Is done. Therefore, in the left front, right front, left rear, and right rear regions of the vehicle 9, there are connection portions between the images. And the marker image 80 exists in the connection part of these images.
  • the marker image 80 expressed in the composite image CP is an equilateral triangle.
  • the marker image 80 expressed in the composite image CP is divided at the connection portion between the images, and has an irregular shape.
  • the process determination unit 14 compares the generated composite image CP with the reference image RP, and determines that the calibration process is not accurately performed if they are significantly different. That is, it is determined that the specified installation parameter is not valid.
  • the process determination unit 14 functions as the brightness adjustment unit of the present invention, and the average brightness of the composite image CP and the reference image RP is compared before the comparison between the composite image CP and the reference image RP. Adjustments are made so as to substantially match (step S18). Specifically, the average brightness of the composite image CP and the average brightness of the reference image RP are derived, respectively. Then, a value obtained by dividing the average luminance of the reference image RP by the average luminance of the composite image CP is derived as a coefficient, and each coefficient of the composite image CP is multiplied by this coefficient. As a result, the average brightness of the composite image CP and the reference image RP approximately match.
  • the parameter to be adjusted is not limited to the luminance, and saturation, hue, and these may be appropriately combined. Lightness may be used as a reference instead of luminance.
  • the composite image CP and the reference image RP are compared (step S19).
  • Various known image comparison methods can be employed for this comparison.
  • the mean square error (MSE / Mean Square Error) is derived by the following equation (1).
  • M is the number of pixels in the horizontal direction
  • M ′ is the number of pixels in the vertical direction
  • y (i, j) is the pixel value of the coordinates (i, j) of the composite image CP
  • s (i, j) is the reference image.
  • the pixel values of the coordinates (i, j) of RP are shown. That is, the mean square error (MSE) is derived by taking a difference between pixels having the same coordinates in the composite image CP and the reference image RP and averaging the squares of the differences.
  • MSE mean square error
  • the difference square error is a numerical value indicating the degree of difference between the composite image CP and the reference image RP.
  • the difference square error is larger, the synthesized image CP and the reference image RP are different, and the synthesized image CP becomes unsuitable for showing the situation around the vehicle.
  • the difference square error that is the comparison result between the composite image CP and the reference image RP is smaller than a predetermined threshold value, it is determined that the calibration process has been accurately performed and specified. It is determined that the installation parameters are appropriate. Conversely, if the difference square error is equal to or greater than a predetermined threshold, it is determined that the calibration process has not been performed correctly, and it is determined that the specified installation parameter is not valid.
  • step S20 If it is determined that the installation parameter is appropriate (Yes in step S20), this installation parameter is determined to be used for the subsequent generation of the composite image and recorded in the nonvolatile memory 40 (step S21). .
  • step S20 if it is determined that the installation parameters are not valid (Yes in step S20), a message indicating that the calibration process is to be re-executed is displayed on the display 33 (step S22). And a process returns to step S12, a calibration process is re-executed, and an installation parameter is specified again based on a user's operation. Such processing is repeated until it is determined that the installation parameters are appropriate. For this reason, it is possible to reliably determine an appropriate installation parameter in terms of quality of the composite image.
  • the installation parameters for each of the plurality of in-vehicle cameras 50 are specified in the calibration process based on the user's operation.
  • a composite image CP showing the state of the periphery of the vehicle 9 viewed from a predetermined virtual viewpoint is generated.
  • the generated composite image CP is compared with a reference image RP that shows the surroundings of the vehicle 9 as viewed from a predetermined position, and the validity of the installation parameter is determined based on the comparison result.
  • the validity of the installation parameter is determined by comparing the generated composite image CP with the reference image RP, an appropriate installation parameter can be determined from the viewpoint of the quality of the generated composite image.
  • the vehicle 9 is arranged at a predetermined position in the work place.
  • a pattern 7 is shown around the vehicle 9, and this pattern 7 surrounds the entire periphery of the vehicle 9.
  • the same processing as that described in the above embodiment is executed.
  • FIG. 14 is a diagram illustrating an example of the reference image RP acquired in this case.
  • the reference image RP includes an image of the pattern 7 (pattern image 70) along with the vehicle image 90 and the marker image 80.
  • FIG. 15 is a diagram illustrating an example of the composite image CP generated when the calibration process is not accurately performed.
  • the composite image CP also includes the pattern image 70 together with the vehicle image 90 and the marker image 80.
  • the reference image RP is obtained by actually photographing the vehicle 9 with the outside camera 21.
  • a reference image including a vehicle image and a marker image may be stored in advance in the nonvolatile memory 40 or the like so that actual shooting is not performed.
  • a reference image a picture created with CG or the like can be used instead of a real map. According to this, the reference image acquisition device 2 is not necessary, and an appropriate installation parameter can be determined with a simpler configuration.
  • the reference image RP can be obtained by actually photographing the vehicle 9 as in the above-described embodiment in that an appropriate installation parameter can be determined even if the positional relationship between the vehicle 9 and the marker 8 is not somewhat accurate. desirable.
  • the outside camera 21 is arranged directly above the vehicle 9, and the viewpoint position of the virtual viewpoint is also set directly above the vehicle 9.
  • the position of the outside camera 21 or the virtual viewpoint with respect to the vehicle 9 may be a position such as the front or rear of the vehicle 9. That is, the positional relationship of the outside camera 21 with respect to the actual vehicle 9 and the positional relationship of the virtual viewpoint with respect to the vehicle 9 (the vehicle image 90 of the three-dimensional curved surface SP) may be made the same.
  • the viewpoint of determining an installation parameter that can appropriately generate a composite image showing the entire periphery of the vehicle 9 it is desirable that the position of the outside camera 21 or the virtual viewpoint is directly above the vehicle 9.
  • the average brightness of the composite image CP and the reference image RP is adjusted to be approximately the same before the comparison between the composite image CP and the reference image RP.
  • the size and position of the subject image in the composite image CP and the reference image RP may be adjusted so as to substantially match. This may be adjusted based on the position and size of the vehicle image 90 included in both the composite image CP and the reference image RP. In this way, the composite image CP and the reference image RP can be compared more accurately.
  • the entire region in the image is compared.
  • the peripheral region excluding the vehicle image 90 or the marker image 80 is displayed.
  • the comparison may be performed using only the left front, right front, left rear, and right rear regions of the existing vehicle image 90.

Abstract

　車両に搭載されるパラメータ決定装置は、画像取得手段と、パラメータ特定手段と、合成画像生成手段と、妥当性判定手段とを備える。画像取得手段は、前記車両に設けられた複数のカメラにより撮影された複数のカメラ画像を取得する。パラメータ特定手段は、前記取得された複数のカメラ画像に基づいて、前記複数のカメラの設置パラメータを特定する。合成画像生成手段は、前記取得された複数のカメラ画像と前記特定された設置パラメータとに基づいて、所定の仮想視点からみた前記車両の周辺を示す合成画像を生成する。妥当性判定手段は、前記合成画像と、所定の位置から見た前記車両の周辺を示す基準画像とを比較して前記特定された設置パラメータの妥当性を判定する。

Description

パラメータ決定装置、パラメータ決定システム、パラメータ決定方法、及び記録媒体
　本発明は、車両に搭載された複数の車載カメラの設置に関する設置パラメータを決定する技術に関する。
　従来より、自動車などの車両に搭載され、車載カメラで車両の周辺を撮影して得られた画像を車室内のディスプレイに表示する画像表示装置が知られている。この画像表示装置を利用することにより、ドライバは車両の周辺の様子をほぼリアルタイムに把握することができる。
　画像表示装置の車載カメラを車両に設置する場合においては、車両に対する車載カメラの設置上のわずかな誤差に起因して、表示される画像に含まれる被写体像の位置については設計上の位置に対しずれが生じる。この問題に対処するため、例えば日本国特許出願公開２００７－２６１４６３号公報（特許文献１）には、キャリブレーション処理を実行することで、車載カメラの実際の設置に関する設置パラメータ（例えば、ロール角、チルト角、パン角など）を決定し、当該設置パラメータを用いて表示する画像に処理を施すことが開示されている。
　一般に、キャリブレーション処理は、所定形状のマーカを車両の外部に配置した状態で車載カメラが撮影して得られた画像を表示させ、その画像中に含まれるマーカの像の位置をユーザ（画像表示装置を設置する作業員等）が指定することで実行される。
　ところで、近年では、複数の車載カメラで車両の周辺を撮影して得られる複数の画像を利用して、車両の直上や後方などの任意の仮想視点からみた車両の周辺の様子を示す合成画像を生成してディスプレイに表示する画像表示装置が提案されている。例えば日本国特許掲載３２８６３０６号公報（特許文献２）に開示されているこのような画像表示装置では、車両の周囲の全体を示す画像をディスプレイに表示させることも可能である。
　このように合成画像の生成のために複数の車載カメラを用いる場合においても、キャリブレーション処理は、複数の車載カメラのそれぞれに関して実行され、車載カメラごとに設置パラメータが決定される。そして、この車載カメラごとの設置パラメータを用いて複数の画像が合成されて合成画像が生成される。したがって、生成される合成画像の良否は、複数の車載カメラのそれぞれの設置パラメータの決定の精度に影響を受ける。
　しかしながら、従来、キャリブレーション処理が正確になされたか否かの判定基準（すなわち、設置パラメータの妥当性の判定基準）が存在せず、生成される合成画像の良否という観点から適切な設置パラメータが決定されていなかった。その結果、車両の周辺の様子を示すのに適さない合成画像が生成される可能性があった。
　本発明は、上記課題に鑑みてなされたものであり、生成される合成画像の良否という観点において適切な設置パラメータを決定できる技術を提供することを目的とする。
　上記課題を解決するため、本発明によれば、以下に列挙するものが提供され得る。
　（１）：車両に搭載されるパラメータ決定装置であって、
  前記車両に設けられた複数のカメラにより撮影された複数のカメラ画像を取得する画像取得手段と、
　前記取得された複数のカメラ画像に基づいて、前記複数のカメラの設置パラメータを特定するパラメータ特定手段と、
　前記取得された複数のカメラ画像と前記特定された設置パラメータとに基づいて、所定の仮想視点からみた前記車両の周辺を示す合成画像を生成する合成画像生成手段と、
　前記合成画像と、所定の位置から見た前記車両の周辺を示す基準画像とを比較して前記特定された設置パラメータの妥当性を判定する妥当性判定手段と、
を備えることを特徴とするパラメータ決定装置。
　（２）：前記基準画像は、前記車両の外部に配置された外部カメラにより撮影された、実際の前記車両の周辺の画像であることを特徴とする（１）に記載のパラメータ決定装置。
　（３）：前記所定の仮想視点および前記所定の位置の各々は、前記車両の直上であることを特徴とする（１）または（２）に記載のパラメータ決定装置。
　（４）：前記妥当性判定手段が前記合成画像と前記基準画像を比較する前に、前記合成画像の平均明度を前記基準画像の平均明度に略一致するように調整する明度調整手段をさらに備えることを特徴とする（１）ないし（３）のいずれかに記載のパラメータ決定装置。
　（５）：前記合成画像および前記基準画像の各々において前記車両の周辺に模様が含まれていることを特徴とする（１）ないし（４）のいずれかに記載のパラメータ決定装置。
　（６）：前記模様は、前記車両全体を囲むことを特徴とする（５）に記載のパラメータ決定装置。
　（７）：前記妥当性判定手段は、前記設置パラメータが特定されると、自動的に前記設置パラメータの妥当性を判定することを特徴とする（１）ないし（６）のいずれかに記載のパラメータ決定装置。
　（８）：前記基準画像を記憶する記憶手段をさらに備えることを特徴とする（１）ないし（７）のいずれかに記載のパラメータ決定装置。
　（９）：パラメータ決定システムであって、
　車両の外部に配置され、基準画像として所定の位置から見た前記車両の周辺を撮影する外部カメラと、
　前記車両に設けられた複数のカメラと、
　車両に搭載されるパラメータ決定装置であって、
  　前記複数のカメラにより撮影された複数のカメラ画像を取得する画像取得手段と、
　　前記取得された複数のカメラ画像に基づいて、前記複数のカメラの設置パラメータを特定するパラメータ特定手段と、
　　前記取得された複数のカメラ画像と前記特定された設置パラメータとに基づいて、所定の仮想視点からみた前記車両の周辺を示す合成画像を生成する合成画像生成手段と、
　　前記合成画像と、前記基準画像とを比較して前記特定された設置パラメータの妥当性を判定する妥当性判定手段とを備えるものと、
を備えることを特徴とするパラメータ決定システム。
　（１０）：前記車両の周辺に配置される模様をさらに備えることを特徴とする（９）に記載のパラメータ決定システム。
　（１１）：前記模様は、前記車両全体を囲むように配置されることを特徴とする（１０）に記載のパラメータ決定システム。
　（１２）：パラメータ決定方法であって、
　車両に設けられた複数のカメラにより撮影された複数のカメラ画像の取得と、
　前記取得した複数のカメラ画像に基づく、前記複数のカメラの設置パラメータの特定と、
　前記取得された複数のカメラ画像と前記特定された設置パラメータとに基づく、所定の仮想視点からみた前記車両の周辺の様子を示す合成画像の生成と、
　前記合成画像と、所定の位置から見た前記車両の周辺を示す基準画像とを比較して前記特定された設置パラメータの妥当性の判定と、
を備えることを特徴とするパラメータ決定方法。
　（１３）：前記車両の周辺に模様が配置されるような所定の位置への前記車両の設置と、
　前記車両の外部に配置された外部カメラによる、前記基準画像としての、前記車両の周辺の実際の画像の撮影とをさらに備えることを特徴とする（１０）に記載のパラメータ決定方法。
　（１４）：（１２）または（１３）に記載のパラメータ決定方法をコンピュータに実行させるコンピュータ読み取り可能なプログラムが記録された記録媒体。
　上記（１）ないし（１４）の構成によれば、生成された合成画像を基準画像と比較することにより設置パラメータの妥当性を判定することから、生成される合成画像の良否という観点において適切な設置パラメータを決定できる。
　また、特に（２）の構成によれば、外部カメラで実際の車両の周辺を撮影することで基準画像が取得されるため、車両やマーカ等を厳密に配置しなくても、適切な設置パラメータを決定できる。
　また、特に（３）の構成によれば、車両の周囲全体を示す合成画像を適切に生成可能な設置パラメータを決定できる。
　また、特に（４）の構成によれば、合成画像と基準画像との比較を正確に行うことができる。
　また、特に（５）、（１０）および（１３）の構成によれば、合成画像と基準画像との比較を正確に行うことができる。
　また、特に（６）および（１１）の構成によれば、車両の周囲全体を示す合成画像の良否という観点において適切な設置パラメータを決定できる。
　また、特に（７）の構成によれば、設置パラメータを特定すると自動的に判定が行われるため、ユーザがわずらわしい操作を必要としない。
図１は、パラメータ決定システムの概要を示す図である。 図２は、画像表示装置の構成を示すブロック図である。 図３は、車載カメラが車両に設置される位置を示す図である。 図４は、合成画像を生成する手法を説明するための図である。 図５は、画像表示装置の動作モードの遷移を示す図である。 図６は、キャリブレーション処理に関連する処理の流れを示す図である。 図７は、車両が配置される様子を示す図である。 図８は、基準画像の一例を示す図である。 図９は、キャリブレーション処理でのディスプレイの表示例を示す図である。 図１０は、合成画像の一例を示す図である。 図１１は、合成画像の一例を示す図である。 図１２は、合成画像と基準画像との比較を示す図である。 図１３は、車両が配置される様子を示す図である。 図１４は、基準画像の一例を示す図である。 図１５は、合成画像の一例を示す図である。
　以下、添付の図面を参照しつつ本発明の実施の形態について詳細に説明する。
　＜１．構成＞
　図１は、本実施の形態に係るパラメータ決定システム１００の概要を示す図である。パラメータ決定システム１００は、キャリブレーション処理を実行して、車両（本実施の形態では自動車）９に搭載される車載カメラの設置に関する設置パラメータを決定するものである。パラメータ決定システム１００は、車両９の外部に配置される基準画像取得装置２と、車両９に搭載される画像表示装置１とを備えている。
　基準画像取得装置２は、車両工場や車両整備場などにおける、車両９に画像表示装置１を設置する作業場に固定的に配置される。基準画像取得装置２は、車両９の外部から撮影を行う一つの車外カメラ２１（本発明における外部カメラ）と、車外カメラ２１で得られた画像を記録する記録部２２とを備えている。車外カメラ２１は車両９の直上に配置される一方で、記録部２２は画像表示装置１を設置する作業員が作業しやすい位置に配置される。車外カメラ２１と記録部２２とは、ケーブルなどで通信可能に接続されている。
　車外カメラ２１は、車両９の直上から鉛直方向に光軸２１ａを向けた状態で、車両９及び車両９の周辺を撮影する。これにより、車両９及び車両９の周辺の様子を示す画像が取得される。取得された画像は記録部２２に送信され、記録部２２において可搬性の記録媒体であるメモリカードＭＣに記録される。このようにして記録された画像は、画像表示装置１でのキャリブレーション処理が正確になされたか否かの判定に用いる基準画像となり、メモリカードＭＣを介して画像表示装置１に受け渡される。
　画像表示装置１は、車両９の周辺を撮影して画像を生成してディスプレイに表示する機能を有している。画像表示装置１は、ディスプレイの画面がドライバから視認可能なように、車両９のインストルメントパネルなどの車室内の適位置に設置される。この画像表示装置１のディスプレイの画面を閲覧することにより、車両９のドライバは当該車両９の周辺の様子をほぼリアルタイムに把握できる。また、画像表示装置１は、ナビゲーション装置としても機能し、車両９のドライバに対しナビゲーション案内を行うことが可能である。
　さらに、画像表示装置１は、車両９に搭載された車載カメラの設置に関する設置パラメータを決定するキャリブレーション処理を実行するパラメータ決定装置としても機能する。画像表示装置１は、このキャリブレーション処理が正確になされたか否かの判定（以下、「キャリブレーション判定」ともいう。）に、基準画像取得装置２から受け渡された基準画像を利用する。
　図２は、画像表示装置１の構成を主に示すブロック図である。図に示すように、画像表示装置１は、車両９の周辺を撮影する撮影部５と、撮影部５で取得された画像を処理する合成画像生成部３２と、ナビゲーション機能を実現するナビゲーション部３１と、各種情報を表示するディスプレイ３３と、ユーザ操作を受け付ける操作部３４とを備えている。
　撮影部５は、車載カメラ５０であるフロントカメラ５１、バックカメラ５２及びサイドカメラ５３を備えている。これらの車載カメラ５０はそれぞれ、ＣＣＤやＣＭＯＳなどの撮像素子を備えており電子的に画像を取得する。
　図３は、車載カメラ５０が車両９に設置される位置を示す図である。図３に示すように、フロントカメラ５１は、車両９の前端にあるナンバープレート取付位置の近傍に設けられ、その光軸５１ａは車両９の直進方向に向けられている。バックカメラ５２は、車両９の後端にあるナンバープレート取付位置の近傍に設けられ、その光軸５２ａは車両９の直進方向の逆方向に向けられている。また、サイドカメラ５３は、左右のドアミラー９３にそれぞれ設けられており、その光軸５３ａは車両９の左右方向に沿って外部に向けられている。
　これらの車載カメラ５０のレンズとしては魚眼レンズなどが採用されており、各車載カメラ５０は１８０度以上の画角αを有している。このため、４つの車載カメラ５０を利用することで、車両９の全周囲の撮影が可能となっている。また、車両９の左前方、右前方、左後方、及び、右後方の各領域は、４つの車載カメラ５０のうちの２つの車載カメラ５０によって重複して撮影することが可能となっている。
　図２に戻り、合成画像生成部３２は、各種の画像処理が可能なハードウェア回路として構成されている。合成画像生成部３２は本発明の画像取得手段および合成画像生成手段として機能し、撮影部５の複数の車載カメラ５０で取得された複数の画像（本発明におけるカメラ画像）に基づいて、任意の仮想視点からみた車両の周辺の様子を示す合成画像を生成する。合成画像生成部３２が、仮想視点からみた合成画像を生成する手法については後述する。
　ナビゲーション部３１は、ナビゲーション案内のための各種情報を出力する専用の基板として構成される。具体的には、ナビゲーション部３１は、車両９の現在位置に応じた地図画像を出力するとともに、目的地が設定された場合は目的地までのルートを設定して当該ルートに応じた案内情報を出力する。
　ディスプレイ３３は、液晶パネルなどを備えて構成され、合成画像生成部３２で生成された合成画像や、ナビゲーション部３１から提供される地図画像などを表示する。ディスプレイ３３は、タッチパネル機能を有しており、ユーザから各種操作を受け付けることが可能となっている。また、操作部３４は、物理的な複数のボタンで構成され、ユーザから各種操作を受け付ける。
　また、画像表示装置１は、信号入力部３５、カード読取部３６、及び、不揮発性メモリ４０を備えている。
　信号入力部３５は、車両９に設けられた画像表示装置１の外部の各種装置からの信号を入力する。具体的には、信号入力部３５は、シフトセンサ９１及び車速度センサ９２などから、各種情報を示す信号を入力する。シフトセンサ９１からは、車両９の変速装置のシフトレバーの操作の位置、すなわち、”Ｐ（駐車）”，”Ｄ（前進）”，”Ｎ（中立）”，”Ｒ（後退）”などのシフトポジションが入力される。車速度センサ９２からは、その時点の車両９の走行速度（ｋｍ／ｈ）が入力される。
　カード読取部３６は、可搬性の記録媒体であるメモリカードＭＣの読み取りを行う。カード読取部３６は、メモリカードＭＣの着脱が可能なカードスロットを備えており、そのカードスロットに装着されたメモリカードＭＣに記録されたデータを読み取る。メモリカードＭＣは、種々のデータを記憶可能なフラッシュメモリなどで構成されており、画像表示装置１はメモリカードＭＣに記憶された種々のデータを利用できる。
　また、不揮発性メモリ４０は、電源オフ時においても記憶内容を維持可能なフラッシュメモリなどで構成されている。不揮発性メモリ４０には、設置パラメータ４１、基準画像４２、及び、プログラム４９が記憶されている。
　設置パラメータ４１は、４つの車載カメラ５０それぞれの車両９への設置に関する情報を示すものである。具体的には、設置パラメータ４１には、車載カメラ５０ごとのロール角、チルト角、パン角などが含まれている。この設置パラメータ４１は、キャリブレーション処理において決定され、合成画像生成部３２が合成画像を生成する際に利用される。
　基準画像４２は、キャリブレーション判定において利用される。基準画像４２は、基準画像取得装置２で記録されたメモリカードＭＣをカード読取部３６で読み取ることで取得される。
　プログラム４９は、画像表示装置１のファームウェアである。このプログラム４９は、新たなプログラムが記憶されたメモリカードＭＣをカード読取部３６で読み出すことで更新可能となっている。
　また、画像表示装置１は、上述した各部を制御するための制御部１０を備えている。制御部１０は、ＣＰＵ、ＲＡＭ及びＲＯＭなどを備えたコンピュータとして構成される。制御部１０の各種の制御機能は、不揮発性メモリ４０に記憶されたプログラム４９に従ってＣＰＵが演算処理を行うことで実現される。図中に示す、モード切替部１１、画像制御部１２、キャリブレーション部１３、及び、処理判定部１４は、このようにして実現される制御部１０の機能のうちの一部を示している。
　モード切替部１１は、画像表示装置１の動作モードを切り替えるものである。画像表示装置１は、ナビゲーション案内を行うためのナビゲーションモードと、車両９の周辺の様子を示す画像表示モードとを有しており、通常は所定の条件によりこれら２つのモードがモード切替部１１により切り替えられる。
　画像制御部１２は、合成画像生成部３２によって実行される合成画像の生成処理を制御するものである。画像制御部１２は、例えば、合成画像を生成する際に、設置パラメータ４１を不揮発性メモリ４０から読み出して合成画像生成部３２に送信する。
　キャリブレーション部１３は本発明のパラメータ特定手段として機能し、４つの車載カメラ５０の設置に関する設置パラメータを特定するキャリブレーション処理を行うものである。また、処理判定部１４は、キャリブレーション判定を行うものである。すなわち、処理判定部１４は本発明の妥当性判定手段として機能し、キャリブレーション処理で特定された設置パラメータ４１の妥当性の判定を行う。これらの制御部１００の機能の詳細については後述する。
　＜２．合成画像の生成＞
　次に、合成画像生成部３２が、撮影部５で得られた複数の画像に基づいて任意の仮想視点からみた車両９の周辺の様子を示す合成画像を生成する手法について説明する。合成画像を生成する際には、不揮発性メモリ４０に予め記憶された設置パラメータ４１が利用される。図４は、合成画像を生成する手法を説明するための図である。
　撮影部５のフロントカメラ５１、バックカメラ５２及びサイドカメラ５３で同時に撮影が行われると、車両９の前方、後方、左側方、及び、右側方をそれぞれ示す４つの画像Ｐ１～Ｐ４が取得される。すなわち、撮影部５で取得される４つの画像Ｐ１～Ｐ４には、撮影時点の車両９の全周囲を示す情報が含まれていることになる。
　次に、４つの画像Ｐ１～Ｐ４の各画素が、仮想的な三次元空間における立体曲面ＳＰに投影される。立体曲面ＳＰは、例えば略半球状（お椀形状）をしており、その中心部分（お椀の底部分）が車両９が存在する位置として定められている。画像Ｐ１～Ｐ４に含まれる各画素の位置と、この立体曲面ＳＰの各画素の位置とは対応関係がある。このため、立体曲面ＳＰの各画素の値は、この対応関係と画像Ｐ１～Ｐ４に含まれる各画素の値とに基づいて決定される。
　画像Ｐ１～Ｐ４の各画素の位置と立体曲面ＳＰの各画素の位置との対応関係は、４つの車載カメラ５０の設置パラメータ４１（ロール角、チルト角、パン角等）によって変化する。このため、不揮発性メモリ４０に記憶された設置パラメータ４１が用いられて基準となるデフォルトの対応関係が修正され、この修正された対応関係が立体曲面ＳＰへの投影に利用される。
　また、不揮発性メモリ４０などに予め記憶された車体の形状やサイズを示すポリゴンデータが用いられ、車両９の三次元形状を示すポリゴンモデルである車両像９０が仮想的に構成される。構成された車両像９０は、立体曲面ＳＰが設定される三次元空間において、車両９の位置と定められた略半球状の中心部分に配置される。
　さらに、立体曲面ＳＰが存在する三次元空間に対して、制御部１０の画像制御部１２により仮想視点ＶＰが設定される。仮想視点ＶＰは、視点位置と視野方向とで規定され、この三次元空間における車両９の周辺に相当する任意の視点位置に任意の視野方向に向けて設定される。
　そして、設定された仮想視点ＶＰに応じて、立体曲面ＳＰにおける必要な領域が画像として切り出される。仮想視点ＶＰと、立体曲面ＳＰにおける必要な領域との関係は予め定められており、テーブルデータとして不揮発性メモリ４０等に予め記憶されている。一方で、設定された仮想視点ＶＰに応じてポリゴンで構成された車両像９０に関してレンダリングがなされ、その結果となる二次元の車両像９０が、切り出された画像に対して重畳される。これにより、任意の仮想視点からみた車両９及びその車両９の周辺の様子を示す合成画像が生成されることになる。
　例えば、視点位置が車両９の略中央の直上で、視野方向が略直下方向とした仮想視点ＶＰ１を設定した場合は、車両９の略直上から車両９を見下ろすように、車両９及び車両９の周辺の様子を示す合成画像ＣＰ１が生成される。また、図中に示すように、視点位置が車両９の左後方で、視野方向が車両９における略前方とした仮想視点ＶＰ２を設定した場合は、車両９の左後方からその周辺全体を見渡すように、車両９及び車両９の周辺の様子を示す合成画像ＣＰ２が生成される。
　なお、実際に合成画像を生成する場合においては、立体曲面ＳＰの全ての画素の値を決定する必要はなく、設定された仮想視点ＶＰに対応して必要となる領域の画素の値のみを画像Ｐ１～Ｐ４に基づいて決定することで、処理速度を向上できる。
　＜３．モード切替＞
　前述のように、画像表示装置１は、ナビゲーションモードと画像表示モードとを動作モードとして有している。図５は、画像表示装置１の動作モードの遷移を示す図である。
　ナビゲーションモードＭ１においては、ナビゲーション案内に用いる地図画像ＮＰを含む画面がディスプレイ３３に表示される。一方、画像表示モードＭ２では、車両９の周辺の様子を示す合成画像ＣＰが含まれる画面がディスプレイ３３に表示される。
　ナビゲーションモードＭ１と画像表示モードＭ２とは、シフトセンサ９１及び車速度センサ９２などの信号に基づき、所定の条件に従ってモード切替部１１により切り替えられる。例えば、ナビゲーションモードＭ１において、シフトレバーが”Ｒ（後退）”となった場合は、画像表示モードＭ２に切り替えられ、車両９の後方の様子を示す合成画像が含まれる画面が表示される。また、ナビゲーションモードＭ１において、前進時に走行速度（ｋｍ／ｈ）が所定速度（例えば１０ｋｍ／ｈ）以下となった場合は、画像表示モードＭ２に切り替えられ、車両９の前方及び側方の様子を示す合成画像が含まれる画面が表示される。
　さらに、画像表示モードＭ２において所定の操作部３４に所定の操作がなされると、モード切替部１１は、キャリブレーション処理を行うためのキャリブレーションモードＭ３に動作モードを移行する。
　＜４．キャリブレーション処理＞
　図６は、パラメータ決定システム１００におけるキャリブレーション処理に関連する処理の流れを示す図である。この処理においては、まず、基準画像取得装置２において基準画像が取得される（ステップＳ１，Ｓ２）。その後、画像表示装置１においてキャリブレーション処理（ステップＳ１１～Ｓ１６）と、キャリブレーション判定（ステップＳ１６～Ｓ２２）とが実行されるようになっている。キャリブレーション処理（ステップＳ１１～Ｓ１６）はキャリブレーション部１３の制御により実行され、キャリブレーション判定（ステップＳ１６～Ｓ２２）は処理判定部１４の制御により実行される。
　この処理の開始時点においては、画像表示装置１の動作モードはキャリブレーションモードＭ３とされている。また、図７に示すように、キャリブレーション処理の対象となる車両９は所定の作業場に配置され、車両９の周囲には４つのマーカ８が配置される。４つのマーカ８はそれぞれ、２つの車載カメラ５０によって重複して撮影される４つの領域（すなわち、車両９の左前方、右前方、左後方、及び、右後方の各領域）に配置される。各マーカ８は、平面状のプレートで構成され、表面形状は正三角形となっている。また、車両９における左右及び前後の双方に関して中央となる位置の直上に、基準画像取得装置２の車外カメラ２１がその光軸を直下に向けた状態で配置される。
　まず、図７に示す状態で、実際の車両９及びその周辺のマーカ８を含む領域を被写体として、基準画像取得装置２の一つの車外カメラ２１において撮影がなされる（ステップＳ１）。これにより、図８に示すような画像ＲＰが取得される。この画像ＲＰには、車両９の像（車両像）９０及びマーカ８の像（マーカ像）８０が含まれている。この画像ＲＰは、記録部２２に送信され、基準画像として記録部２２においてメモリカードＭＣに記録される（ステップＳ２）。
　次に、メモリカードＭＣが基準画像取得装置２から取り出され、画像表示装置１のカードスロットに装着される。そして、画像表示装置１において、メモリカードＭＣに記録された基準画像ＲＰが読み出され、不揮発性メモリ４０に記録される（図６のステップＳ１１）。
　次に、車両９の４つの車載カメラ５０においてほぼ同時に撮影がなされ、それぞれの車載カメラ５０において画像が取得される（ステップＳ１２）。
　次に、取得された４つの画像のうちの一つがキャリブレーション処理の対象となる注目画像として選択され、キャリブレーション処理を行うためにディスプレイ３３に表示される（ステップＳ１３）。図９は、この場合のディスプレイ３３の表示例を示す図である。図に示すように、ディスプレイ３３には、車載カメラ５０で取得された注目画像Ｐが表示されている。この注目画像Ｐにおいては、左右の両端付近に２つのマーカ像８０が含まれている。
　また、画面上には、ユーザが操作可能な複数のコマンドボタンＣと、マーカ像８０の位置を指定するための複数のポイント指標Ｍとが表示される。ポイント指標Ｍは、２つの三角形のマーカ像８０の頂点の位置をそれぞれ指定するものであるため、６（＝２×３）個のポイント指標Ｍが表示される。
　表示された６つのポイント指標Ｍのうち一つはカーソルで選択され、選択中のポイント指標Ｍは上下左右の方向を示すコマンドボタンＣに触れることによって画面上を移動できる。また、「ポイント切替」と表記されたコマンドボタンＣに触れることで、選択するポイント指標Ｍを切り替えることが可能である。ユーザ（キャリブレーション処理に係る作業を行う作業員等）は、これらのコマンドボタンＣに触れることで、すべてのポイント指標Ｍをマーカ像８０の頂点の位置に移動させる。そして、ユーザが「ポイント切替」と表記されたコマンドボタンＣに触れると、マーカ像８０の位置を示す６つのポイント指標Ｍの位置が、キャリブレーション部１３に受け付けられる（ステップＳ１４）。なお適宜の画像認識技術を用いてマーカ像８０の頂点を検出し、６つのポイント指標Ｍを自動的に各頂点に移動させる構成としてもよい。またポイント指標Ｍを各頂点に自動的に移動させた後に、ユーザがポイント指標Ｍの少なくとも一つの位置を必要に応じて手動で移動させる構成としてもよい。
　次に、キャリブレーション部１３は、決定された６つのポイント指標Ｍの位置に基づいて、所定の演算を行って、当該注目画像Ｐを取得した車載カメラの設置パラメータを特定する。例えば、画面左側のポイント指標Ｍと画面右側のポイント指標Ｍとの高さの差に基づいてロール角を特定し、ポイント指標Ｍの画面の上下位置に基づいてチルト角を特定し、ポイント指標Ｍの画面の左右位置に基づいてパン角を特定する（ステップＳ１５）。特定した設置パラメータは、不揮発性メモリ４０に記録される。
　次に、全ての車載カメラ５０についてキャリブレーション処理を行ったか（すなわち、設置パラメータを特定したか）が判定される（ステップＳ１６）。未処理の車載カメラ５０がある場合は、再度、処理はステップＳ１３に戻り、別の画像が注目画像として選択される。そして、上記同様にして、注目画像を取得した車載カメラの設置パラメータが特定される。このような処理が繰り返され、最終的に、４つの車載カメラ５０全ての設置パラメータが特定される。
　全ての車載カメラ５０の設置パラメータが特定されると、それに応答して、４つの車載カメラ５０で得られた４つの画像と、導出された設置パラメータとが利用されて、合成画像生成部３２により仮想視点からみた車両９の周辺の様子を示す合成画像が生成される（ステップＳ１７）。この際、仮想視点の視点位置は、車両９における左右及び前後の双方に関して中央となる位置の直上に設定され、視点方向は直下に向けられる。すなわち、実際の車両９に対する車外カメラ２１の位置関係と、車両９（立体曲面ＳＰの車両像９０）に対する仮想視点の位置関係とは、同一となるように設定される。
　図１０は、キャリブレーション処理が理想的になされた場合に生成される合成画像ＣＰを示す図である。一方、図１１は、キャリブレーション処理が正確になされなかった場合に生成される合成画像ＣＰの一例を示す図である。この合成画像ＣＰにおいては、車両像９０とともに、マーカ像８０も含まれている。
　合成画像ＣＰは、車両像９０の前方領域Ａ１はフロントカメラ５１、車両像９０の後方領域Ａ２はバックカメラ５２、車両像９０の側方領域Ａ３はサイドカメラ５３のそれぞれで取得された画像によって構成される。したがって、車両９の左前方、右前方、左後方、及び、右後方の各領域においては、画像同士の接続部分が存在している。そして、この画像同士の接続部分において、マーカ像８０が存在することになる。
　キャリブレーション処理が理想的になされた場合は、図１０に示すように、合成画像ＣＰに表現されるマーカ像８０は正三角形となる。一方で、キャリブレーション処理が正確になされなかった場合は、図１１に示すように、合成画像ＣＰに表現されるマーカ像８０は画像同士の接続部分で分断され、いびつな形状となる。
　図１０の合成画像ＣＰは図８に示す基準画像ＲＰとほぼ同様の内容となるが、図１１の合成画像ＣＰは図８に示す基準画像ＲＰとは大きく異なっている。このため、図１２に示すように、処理判定部１４は、生成された合成画像ＣＰと基準画像ＲＰとを比較し、大きく異なっていれば、キャリブレーション処理が正確になされていないと判定する。すなわち、特定された設置パラメータは妥当でないと判定することになる。
　この判定にあたっては、まず処理判定部１４が本発明の明るさ調整手段として機能し、合成画像ＣＰと基準画像ＲＰとの比較前に、合成画像ＣＰと基準画像ＲＰとの平均的な明るさが略一致するように調整がなされる（ステップＳ１８）。具体的には、合成画像ＣＰの平均輝度、及び、基準画像ＲＰの平均輝度がそれぞれ導出される。そして、基準画像ＲＰの平均輝度を合成画像ＣＰの平均輝度で除算した値が係数として導出され、この係数が合成画像ＣＰの各画素に乗算される。これにより、合成画像ＣＰと基準画像ＲＰとの平均的な明るさがおよそ一致することになる。このような、明るさの調整を行うことで、合成画像ＣＰと基準画像ＲＰとの比較を正確に行うことができる。合成画像ＣＰと基準画像ＲＰの平均的な明るさを一致させることが可能であれば、調整対象とするパラメータは輝度に限られず、彩度や色相、およびこれらを適宜組み合わせてもよい。輝度の代わりに明度を基準としてもよい。
　次に、合成画像ＣＰと基準画像ＲＰとの比較がなされる（ステップＳ１９）。この比較には周知の各種の画像比較手法を採用可能である。本実施の形態では、次の数１により、平均二乗誤差（ＭＳＥ／Mean Square Error）を導出する。
Figure JPOXMLDOC01-appb-M000001
 　ここで、Ｍは横方向の画素数、Ｍ’は縦方向の画素数、ｙ（ｉ，ｊ）は合成画像ＣＰの座標（ｉ，ｊ）の画素値、ｓ（ｉ，ｊ）は基準画像ＲＰの座標（ｉ，ｊ）の画素値をそれぞれ示している。すなわち、平均二乗誤差（ＭＳＥ）は、合成画像ＣＰと基準画像ＲＰとにおいて、同一座標の画素間での差分をとり、その差分の二乗を平均することで導出される。
　したがって、差分二乗誤差は、合成画像ＣＰと基準画像ＲＰとの相違の程度を示す数値となる。差分二乗誤差が、小さいほど合成画像ＣＰと基準画像ＲＰとが近似し、合成画像ＣＰは車両９の周辺の様子を良好に示すものとなる。逆に、差分二乗誤差大きいほど合成画像ＣＰと基準画像ＲＰとは相違し、合成画像ＣＰは車両の周辺の様子を示すのに適さないものとなる。
　このため、本実施の形態では、この合成画像ＣＰと基準画像ＲＰとの比較結果となる差分二乗誤差が所定の閾値よりも小さい場合は、キャリブレーション処理が正確になされたと判断し、特定された設置パラメータは妥当であると判定する。逆に、差分二乗誤差が所定の閾値以上となる場合は、キャリブレーション処理が正確になされなかったと判断し、特定された設置パラメータは妥当でないと判定する。
　設置パラメータを妥当であると判定した場合は（ステップＳ２０にてＹｅｓ）、この設置パラメータが以降の合成画像の生成に用いるためのものとして確定され、不揮発性メモリ４０に記録される（ステップＳ２１）。
　一方、設置パラメータを妥当でないと判定した場合は（ステップＳ２０にてＹｅｓ）、キャリブレーション処理を再実行することを示すメッセージがディスプレイ３３に表示される（ステップＳ２２）。そして、処理は、ステップＳ１２に戻り、キャリブレーション処理が再実行され、ユーザの操作に基づいて設置パラメータが再び特定される。このような処理は、設置パラメータが妥当と判断されるまで繰り返される。このため、合成画像の良否という観点において適切な設置パラメータを確実に決定することができることになる。
　以上のように、本実施の形態の画像表示装置１においては、キャリブレーション処理において、ユーザの操作に基づいて、複数の車載カメラ５０のそれぞれに関する設置パラメータが特定される。この設置パラメータと、複数の車載カメラ５０で得られる複数の画像とを利用して、所定の仮想視点からみた車両９の周辺の様子を示す合成画像ＣＰが生成される。そして、生成された合成画像ＣＰと、所定の位置からみた車両９の周辺の様子を示す基準画像ＲＰとを比較し、その比較結果に基づいて設置パラメータの妥当性が判定される。このように、生成された合成画像ＣＰを基準画像ＲＰと比較することにより設置パラメータの妥当性を判定することから、生成される合成画像の良否という観点において適切な設置パラメータを決定できる。
　また、キャリブレーション処理がなされて設定パラメータが特定されると、それに応答して自動的に、設置パラメータの妥当性が判定される。このため、ユーザの操作を伴わずに設置パラメータの妥当性が判定されることから、設置パラメータの妥当性判定のために、ユーザのわずらわしい操作を必要としない。また、妥当性判定がなされないままの設置パラメータがその後の処理に用いられることも防止される。
　＜５．他の実施の形態＞
　以上、本発明の実施の形態について説明してきたが、この発明は上記実施の形態に限定されるものではなく様々な変形が可能である。以下では、このような他の実施の形態について説明する。上記実施の形態で説明した形態及び以下で説明する形態を含む全ての形態は、適宜に組み合わせ可能である。
　　＜５－１．模様＞
　上記実施の形態では、キャリブレーション処理において複数の画像を複数の車載カメラ５０で取得する際には、車両９の周囲に４つのマーカ８のみを配置していた。これに対して、図１３に示すように、マーカ８以外に、床面に所定の模様７が示された作業場に車両９を配置するようにしてもよい。
　この場合において、車両９は作業場の予め定められた位置に配置される。その状態において、車両９の周辺には模様７が示され、この模様７は車両９の周囲全体を囲むことになる。そして、この状態で、上記実施の形態で説明した処理と同様の処理が実行される。
　図１４は、この場合に取得される基準画像ＲＰの一例を示す図である。基準画像ＲＰにおいては、車両像９０及びマーカ像８０とともに、模様７の像（模様像７０）も含まれている。また、図１５は、キャリブレーション処理が正確になされなかった場合に生成された合成画像ＣＰの一例を示す図である。この合成画像ＣＰにおいても、車両像９０及びマーカ像８０とともに模様像７０が含まれている。
　図１４と図１５とを比較してわかるように、キャリブレーション処理が正確になされなかった場合は、マーカ像８０のみならず模様像７０においても、合成画像ＣＰと基準画像ＲＰとで差が生じる。つまり、合成画像ＣＰと基準画像ＲＰとにおけるマーカ像８０の相違は画像同士の接続部分のみとなるが、模様像７０の相違は車両像９０の周囲全体で生じる。このため、合成画像ＣＰと基準画像ＲＰとを比較した場合に、それらの相違の程度をより大きく示すことができる。このため、マーカ８のみを配置する場合よりも、合成画像ＣＰと基準画像ＲＰとの比較を正確に行うことが可能となる。また、模様７が車両９の周囲全体を囲むようになっていることから、車両９の周囲全体を示す合成画像の良否という観点において適切な設置パラメータを決定できる。
　　＜５－２．基準画像＞
　上記実施の形態では、車外カメラ２１で実際に車両９を撮影することで基準画像ＲＰを取得するようにしていた。これに対して、不揮発性メモリ４０などに車両像とマーカ像を含む基準画像を予め記憶しておき、実際の撮影を行わないようにしてもよい。この場合は、基準画像としては、実写像ではなくＣＧ等で作成したピクチャーなどを用いることも可能である。これによれば、基準画像取得装置２が不要になり、より簡易な構成で適切な設置パラメータを決定できる。
　ただし、この場合は、キャリブレーション処理を行う際の車両９とマーカ８との位置関係を正確に配置する必要がある。車両９とマーカ８との位置関係が多少正確でなくとも適切な設置パラメータを決定できるといった点では、上記実施の形態のように実際に車両９を撮影することで基準画像ＲＰを取得することが望ましい。
　　＜５－３．その他変形例＞
　上記実施の形態では、車外カメラ２１は車両９の直上に配置され、仮想視点の視点位置も車両９の直上に設定されていた。これに対して、車外カメラ２１や仮想視点の車両９に対する位置は、車両９の前方や後方などの位置であってもよい。つまりは、実際の車両９に対する車外カメラ２１の位置関係と、車両９（立体曲面ＳＰの車両像９０）に対する仮想視点の位置関係とが同一となるようにすればよい。ただし、車両９の周囲全体を示す合成画像を適切に生成可能な設置パラメータを決定するという観点からは、車外カメラ２１や仮想視点の位置は車両９の直上とすることが望ましい。
　また、上記実施の形態では、合成画像ＣＰと基準画像ＲＰとの比較前に合成画像ＣＰと基準画像ＲＰとの平均的な明るさが略一致するように調整していた。これに対して、さらに、合成画像ＣＰと基準画像ＲＰとの比較前に、合成画像ＣＰと基準画像ＲＰとにおける被写体像の大きさや位置が略一致するように調整するようにしてもよい。これは、合成画像ＣＰと基準画像ＲＰとの双方に含まれる車両像９０の位置やサイズを基準として、調整すればよい。このようにすれば、合成画像ＣＰと基準画像ＲＰとの比較をより正確に行うことができる。
　また、上記実施の形態では、合成画像ＣＰと基準画像ＲＰとを比較する際に、画像中の領域全体に関して比較を行っていたが、車両像９０を除いた周辺領域のみや、マーカ像８０が存在する車両像９０の左前方、右前方、左後方及び右後方の領域のみを用いて比較を行うようにしてもよい。
　また、上記実施の形態では、プログラムに従ったＣＰＵの演算処理によってソフトウェア的に各種の機能が実現されると説明したが、これら機能のうちの一部は電気的なハードウェア回路により実現されてもよい。また逆に、ハードウェア回路によって実現されるとした機能のうちの一部は、ソフトウェア的に実現されてもよい。
　本出願は、２０１０年１月２２日に提出された日本特許出願２０１０－０１２２１３に基づくものであり、その内容はここに参照として取り込まれる。

Claims (14)

  1. 　車両に搭載されるパラメータ決定装置であって、
      前記車両に設けられた複数のカメラにより撮影された複数のカメラ画像を取得する画像取得手段と、
    　前記取得された複数のカメラ画像に基づいて、前記複数のカメラの設置パラメータを特定するパラメータ特定手段と、
    　前記取得された複数のカメラ画像と前記特定された設置パラメータとに基づいて、所定の仮想視点からみた前記車両の周辺を示す合成画像を生成する合成画像生成手段と、
    　前記合成画像と、所定の位置からみた前記車両の周辺を示す基準画像とを比較して前記特定された設置パラメータの妥当性を判定する妥当性判定手段とを備えることを特徴とするパラメータ決定装置。
  2. 　請求項１に記載のパラメータ決定装置において、
    　前記基準画像は、前記車両の外部に配置された外部カメラにより撮影された、実際の前記車両の周辺の画像であることを特徴とするパラメータ決定装置。
  3. 　請求項１または２に記載のパラメータ決定装置において、
    　前記所定の仮想視点および前記所定の位置の各々は、前記車両の直上であることを特徴とするパラメータ決定装置。
  4. 　請求項１ないし３のいずれか１項に記載のパラメータ決定装置において、
    　前記妥当性判定手段が前記合成画像と前記基準画像を比較する前に、前記合成画像の平均的な明るさを前記基準画像の平均的な明るさに略一致するように調整する明るさ調整手段をさらに備えることを特徴とするパラメータ決定装置。
  5. 　請求項１ないし４のいずれか１項に記載のパラメータ決定装置において、
    　前記合成画像および前記基準画像の各々において前記車両の周辺に模様が含まれていることを特徴とするパラメータ決定装置。
  6. 　請求項５に記載のパラメータ決定装置において、
    　前記模様は、前記車両全体を囲むことを特徴とするパラメータ決定装置。
  7. 　請求項１ないし６のいずれか１項に記載のパラメータ決定装置において、
    　前記妥当性判定手段は、前記設置パラメータが特定されると、自動的に前記設置パラメータの妥当性を判定することを特徴とするパラメータ決定装置。
  8. 　請求項１ないし７のいずれか１項に記載のパラメータ決定装置において、
    　前記基準画像を記憶する記憶手段をさらに備えることを特徴とするパラメータ決定装置。
  9. 　パラメータ決定システムであって、
    　車両の外部に配置され、基準画像として所定の位置から見た前記車両の周辺を撮影する外部カメラと、
    　前記車両に設けられた複数のカメラと、
    　車両に搭載されるパラメータ決定装置であって、
      　前記複数のカメラにより撮影された複数のカメラ画像を取得する画像取得手段と、
    　　前記取得された複数のカメラ画像に基づいて、前記複数のカメラの設置パラメータを特定するパラメータ特定手段と、
    　　前記取得された複数のカメラ画像と前記特定された設置パラメータとに基づいて、所定の仮想視点からみた前記車両の周辺を示す合成画像を生成する合成画像生成手段と、
    　　前記合成画像と、前記基準画像とを比較して前記特定された設置パラメータの妥当性を判定する妥当性判定手段とを備えるものと、を備えることを特徴とするパラメータ決定システム。
  10. 　請求項９に記載のパラメータ決定システムにおいて、
    　前記車両の周辺に配置される模様をさらに備えることを特徴とするパラメータ決定システム。
  11. 　請求項１０に記載のパラメータ決定システムにおいて、
    　前記模様は、前記車両全体を囲むように配置されることを特徴とするパラメータ決定システム。
  12. 　パラメータ決定方法であって、
    　車両に設けられた複数のカメラにより撮影された複数のカメラ画像の取得と、
    　前記取得した複数のカメラ画像に基づく、前記複数のカメラの設置パラメータの特定と、
    　前記取得された複数のカメラ画像と前記特定された設置パラメータとに基づく、所定の仮想視点からみた前記車両の周辺の様子を示す合成画像の生成と、
    　前記合成画像と、所定の位置からみた前記車両の周辺を示す基準画像とを比較して前記特定された設置パラメータの妥当性の判定と、
    を備えることを特徴とするパラメータ決定方法。
  13. 　請求項１２に記載のパラメータ決定方法において、
    　前記車両の周辺に模様が配置されるような所定の位置への前記車両の設置と、
    　前記車両の外部に配置された外部カメラによる、前記基準画像としての、前記車両の周辺の実際の画像の撮影とをさらに備えることを特徴とするパラメータ決定方法。
  14. 　請求項１２または１３に記載のパラメータ決定方法をコンピュータに実行させるコンピュータ読み取り可能なプログラムが記録された記録媒体。
PCT/JP2011/051100 2010-01-22 2011-01-21 パラメータ決定装置、パラメータ決定システム、パラメータ決定方法、及び記録媒体 WO2011090163A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US13/574,711 US8947533B2 (en) 2010-01-22 2011-01-21 Parameter determining device, parameter determining system, parameter determining method, and recording medium

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2010-012213 2010-01-22
JP2010012213A JP5341789B2 (ja) 2010-01-22 2010-01-22 パラメータ取得装置、パラメータ取得システム、パラメータ取得方法、及び、プログラム

Publications (1)

Publication Number Publication Date
WO2011090163A1 true WO2011090163A1 (ja) 2011-07-28

Family

ID=44306963

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2011/051100 WO2011090163A1 (ja) 2010-01-22 2011-01-21 パラメータ決定装置、パラメータ決定システム、パラメータ決定方法、及び記録媒体

Country Status (3)

Country Link
US (1) US8947533B2 (ja)
JP (1) JP5341789B2 (ja)
WO (1) WO2011090163A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104956668A (zh) * 2013-01-30 2015-09-30 富士通天株式会社 图像处理装置以及图像处理方法
CN108702439A (zh) * 2016-02-29 2018-10-23 索尼公司 信息处理设备、方法、程序和多摄像机系统
CN111316324A (zh) * 2019-03-30 2020-06-19 深圳市大疆创新科技有限公司 一种自动驾驶模拟系统、方法、设备及存储介质
US20230342839A1 (en) * 2012-11-30 2023-10-26 Bwi Acquisition, Llc Vehicle imaging and inspection system

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9041807B2 (en) * 2010-01-29 2015-05-26 Fujitsu Ten Limited Image processing device and image processing method
EP2554434B1 (en) * 2011-08-05 2014-05-21 Harman Becker Automotive Systems GmbH Vehicle surround view system
US9491451B2 (en) * 2011-11-15 2016-11-08 Magna Electronics Inc. Calibration system and method for vehicular surround vision system
JP2014127834A (ja) * 2012-12-26 2014-07-07 Clarion Co Ltd 車載カメラ用キャリブレーションシステム
US20150156391A1 (en) * 2013-12-04 2015-06-04 Chung-Shan Institute Of Science And Technology, Armaments Bureau, M.N.D Vehicle image correction system and method thereof
US10442355B2 (en) * 2014-09-17 2019-10-15 Intel Corporation Object visualization in bowl-shaped imaging systems
JP6446329B2 (ja) * 2015-06-03 2018-12-26 株式会社日立製作所 カメラのキャリブレーション装置、カメラシステム及び、カメラのキャリブレーション方法
US10176554B2 (en) * 2015-10-05 2019-01-08 Google Llc Camera calibration using synthetic images
JP6493368B2 (ja) * 2016-11-25 2019-04-03 トヨタ自動車株式会社 車両用表示装置
CN107133988B (zh) * 2017-06-06 2020-06-02 科大讯飞股份有限公司 车载全景环视系统中摄像头的标定方法及标定系统
WO2019038901A1 (ja) * 2017-08-25 2019-02-28 株式会社ソシオネクスト 補正装置、補正プログラム及び記録媒体
JP7046567B2 (ja) * 2017-11-13 2022-04-04 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
DE102017220282A1 (de) * 2017-11-14 2019-05-16 Robert Bosch Gmbh Testverfahren für ein Kamerasystem, ein Steuergerät des Kamerasystems, das Kamerasystem und ein Fahrzeug mit diesem Kamerasystem
CN113973201B (zh) * 2020-07-24 2023-07-11 华为技术有限公司 拍摄设备的架设评价方法及装置
CN113206994B (zh) * 2021-03-30 2023-03-28 华为技术有限公司 摄像机自动工勘方法、装置、电子设备、芯片及存储介质
GB2605425A (en) * 2021-03-31 2022-10-05 Continental Automotive Gmbh Vehicular camera calibration system and method

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2000007373A1 (fr) * 1998-07-31 2000-02-10 Matsushita Electric Industrial Co., Ltd. Procede et appareil d'affichage d'images
JP2007261463A (ja) * 2006-03-29 2007-10-11 Clarion Co Ltd 車載カメラのキャリブレーションシステム
JP2008172535A (ja) * 2007-01-11 2008-07-24 Sanyo Electric Co Ltd 運転支援システム、画像処理装置及びずれ検出方法
JP2009288152A (ja) * 2008-05-30 2009-12-10 Nippon Soken Inc 車載カメラのキャリブレーション方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3632563B2 (ja) * 1999-10-19 2005-03-23 株式会社豊田自動織機 映像位置関係補正装置、該映像位置関係補正装置を備えた操舵支援装置、及び映像位置関係補正方法
JP3297040B1 (ja) 2001-04-24 2002-07-02 松下電器産業株式会社 車載カメラの画像合成表示方法及びその装置
JP4196841B2 (ja) 2004-01-30 2008-12-17 株式会社豊田自動織機 映像位置関係補正装置、該映像位置関係補正装置を備えた操舵支援装置、及び映像位置関係補正方法
JP4907883B2 (ja) * 2005-03-09 2012-04-04 株式会社東芝 車両周辺画像表示装置および車両周辺画像表示方法
JP4681432B2 (ja) * 2005-11-28 2011-05-11 アルパイン株式会社 車載周辺画像表示装置
JP2008187564A (ja) * 2007-01-31 2008-08-14 Sanyo Electric Co Ltd カメラ校正装置及び方法並びに車両
JP4863922B2 (ja) * 2007-04-18 2012-01-25 三洋電機株式会社 運転支援システム並びに車両
JP5173551B2 (ja) 2008-04-23 2013-04-03 アルパイン株式会社 車両周辺監視装置およびこれに適用されるカメラ取り付け位置・姿勢情報の設定修正方法
JP2009267606A (ja) 2008-04-23 2009-11-12 Toshiba Corp 演算器
KR101023275B1 (ko) * 2009-04-06 2011-03-18 삼성전기주식회사 차량용 카메라 시스템의 캘리브레이션 방법 및 장치, 차량용 카메라 시스템의 각도상 오정렬을 판단하는 방법 및 이를 수행하는 전자 제어 유닛

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2000007373A1 (fr) * 1998-07-31 2000-02-10 Matsushita Electric Industrial Co., Ltd. Procede et appareil d'affichage d'images
JP2007261463A (ja) * 2006-03-29 2007-10-11 Clarion Co Ltd 車載カメラのキャリブレーションシステム
JP2008172535A (ja) * 2007-01-11 2008-07-24 Sanyo Electric Co Ltd 運転支援システム、画像処理装置及びずれ検出方法
JP2009288152A (ja) * 2008-05-30 2009-12-10 Nippon Soken Inc 車載カメラのキャリブレーション方法

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230342839A1 (en) * 2012-11-30 2023-10-26 Bwi Acquisition, Llc Vehicle imaging and inspection system
US11954727B1 (en) 2012-11-30 2024-04-09 Bwi Acquisition, Llc Vehicle imaging and inspection system
CN104956668A (zh) * 2013-01-30 2015-09-30 富士通天株式会社 图像处理装置以及图像处理方法
CN108702439A (zh) * 2016-02-29 2018-10-23 索尼公司 信息处理设备、方法、程序和多摄像机系统
EP3425897A4 (en) * 2016-02-29 2019-05-22 Sony Corporation INFORMATION PROCESSING DEVICE, METHOD, PROGRAM AND MULTICAMERA SYSTEM
CN108702439B (zh) * 2016-02-29 2020-10-09 索尼公司 信息处理设备、方法、计算机可读介质和多摄像机系统
US11165945B2 (en) 2016-02-29 2021-11-02 Sony Corporation Information processing device, method, and multi-camera system
CN111316324A (zh) * 2019-03-30 2020-06-19 深圳市大疆创新科技有限公司 一种自动驾驶模拟系统、方法、设备及存储介质

Also Published As

Publication number Publication date
JP5341789B2 (ja) 2013-11-13
JP2011151666A (ja) 2011-08-04
US20120293659A1 (en) 2012-11-22
US8947533B2 (en) 2015-02-03

Similar Documents

Publication Publication Date Title
WO2011090163A1 (ja) パラメータ決定装置、パラメータ決定システム、パラメータ決定方法、及び記録媒体
JP5302227B2 (ja) 画像処理装置、画像処理システム、および、画像処理方法
JP5087051B2 (ja) 画像生成装置及び画像表示システム
JP6099333B2 (ja) 画像生成装置、画像表示システム、パラメータ取得装置、画像生成方法及びパラメータ取得方法
JP2011182236A (ja) カメラキャリブレーション装置
JP5697512B2 (ja) 画像生成装置、画像表示システム及び画像表示装置
JP6614754B2 (ja) 車両上に配置された全方向カメラからの全方向画像をレクティリニア画像に変換する方法
JP6151535B2 (ja) パラメータ取得装置、パラメータ取得方法及びプログラム
US9162621B2 (en) Parking support apparatus
JPWO2015045568A1 (ja) 予測進路提示装置及び予測進路提示方法
JP2012076551A (ja) 駐車支援装置、駐車支援方法、及び、駐車支援システム
KR102124298B1 (ko) 후방 교차 교통-퀵 룩스
JP7000383B2 (ja) 画像処理装置および画像処理方法
JP5479639B2 (ja) 画像処理装置、画像処理システム、および、画像処理方法
JP2012046124A (ja) 画像表示システム、画像処理装置、および、画像表示方法
JP5677168B2 (ja) 画像表示システム、画像生成装置及び画像生成方法
US20220222947A1 (en) Method for generating an image of vehicle surroundings, and apparatus for generating an image of vehicle surroundings
JP6855254B2 (ja) 画像処理装置、画像処理システム、及び、画像処理方法
JP5466743B2 (ja) 画像生成装置及び画像表示システム
JP2016141303A (ja) 視界支援装置
JP5643028B2 (ja) 画像表示システム、画像処理装置、および、画像処理方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 11734769

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 13574711

Country of ref document: US

122 Ep: pct application non-entry in european phase

Ref document number: 11734769

Country of ref document: EP

Kind code of ref document: A1