WO2019053929A1 - 車両用装置、キャリブレーション結果判定システム、および、キャリブレーション結果判定方法、ならびに、プログラム - Google Patents

車両用装置、キャリブレーション結果判定システム、および、キャリブレーション結果判定方法、ならびに、プログラム Download PDF

Info

Publication number
WO2019053929A1
WO2019053929A1 PCT/JP2018/011473 JP2018011473W WO2019053929A1 WO 2019053929 A1 WO2019053929 A1 WO 2019053929A1 JP 2018011473 W JP2018011473 W JP 2018011473W WO 2019053929 A1 WO2019053929 A1 WO 2019053929A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
vehicle
flux pattern
light emission
superimposed
Prior art date
Application number
PCT/JP2018/011473
Other languages
English (en)
French (fr)
Inventor
亮行 永井
貴之 荒瀬
Original Assignee
株式会社Ｊｖｃケンウッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社Ｊｖｃケンウッド filed Critical 株式会社Ｊｖｃケンウッド
Priority to EP18856233.4A priority Critical patent/EP3654280B1/en
Priority to CN201880051609.8A priority patent/CN111052179B/zh
Publication of WO2019053929A1 publication Critical patent/WO2019053929A1/ja
Priority to US16/787,078 priority patent/US10861192B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4038—Scaling the whole image or part thereof for image mosaicing, i.e. plane images composed of plane sub-images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/304—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/607—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Definitions

  • the present invention relates to a device for a vehicle, a calibration result determination system, a calibration result determination method, and a program.
  • a camera for capturing the surroundings is mounted on the vehicle so that the driver can accurately check the blind spot from the driver and the hard-to-see place for safe driving of the vehicle such as a car, and the driver can receive the captured image
  • a technology for processing and displaying for easy viewing is used. Initially, a camera for monitoring the rear of the vehicle, a camera for monitoring the front of the vehicle, and a camera for monitoring the side direction are mounted on the vehicle, and the images obtained by these cameras assist the driver. The display has been done.
  • a view conversion process and a synthesis process are performed on the images captured by the four cameras, so that an image as viewed from above the vehicle is generated.
  • the device that generates overhead video in order to convert video captured by the four cameras into video that looks like viewed from above the vehicle, the position of the virtual camera above the vehicle is fixed, and the actual camera The parameters used to transform the image are determined, assuming that the position of x is determined.
  • calibration is performed on camera parameters for generation of an overhead image by setting markers and calibration charts at designated locations and evaluating the imaging results. Specifically, for example, the same as in the case where a predetermined pattern precisely set at a predetermined position is photographed by four cameras and an actually photographed image is photographed by a camera as designed.
  • the camera parameters are calibrated to be
  • each camera is drawn in a state in which a white line is drawn (or a gum tape is drawn) at a predetermined position around the vehicle after a predetermined calibration using a marker or a calibration chart.
  • the overhead image including the white line (or the line by gum tape: the same part will be omitted hereinafter) captured by is generated and displayed, and displayed as a normal image without distortion or deviation of the white line on the displayed image Are confirmed.
  • the white line 91 or 92 of the displayed bird's-eye view image is distorted as shown in FIG. If the image boundaries 93 to 96 of the composite portion are deviated, the calibration is not correctly performed, and it is necessary to adjust the camera parameters again.
  • Patent Document 1 it is necessary that at least a predetermined number of linear structures be photographed by each camera at the time of calibration, for example, it is assumed that a white line of a road is photographed during traveling. There is. That is, at the time of inspection at the dealer, even if it is intended to apply the technology described in Patent Document 1 as described above, a white structure is drawn by drawing a white line at a predetermined position around the vehicle or stretching a gum tape as before. It is necessary to configure or move the inspection vehicle to a place where a straight line structure such as a white line exists in advance at a position where the camera can pick up an image.
  • the confirmation operation of the overhead view image after the calibration using the marker, the calibration chart or the like is performed visually, so the confirmation result is unstable. Furthermore, since a linear structure for confirming the overhead view image is actually prepared by manually drawing a white line or putting a gum tape each time, the linear structure in the overhead view image after calibration is The ease of recognition itself may vary.
  • the present invention solves the above-mentioned subject, namely, the device for vehicles which can carry out confirmation of the calibration result of the camera parameter used when generating a bird's-eye view image easily, calibration result judgment It is an object to provide a system, a calibration result determination method, and a program.
  • one side of the device for vehicles of the present invention is an image acquisition part which acquires a picture picturized with a camera which picturizes a circumference of vehicles, and a ground or a floor of a predetermined position to vehicles.
  • a light emission control unit that controls light emission of a light flux pattern by a light emitting device that emits a light flux pattern emitted to a surface, and a light flux pattern whose light emission is controlled by the light emission control unit using an image acquired by a video acquisition unit
  • An image processing unit that generates a bird's-eye view image, a superimposed image generation unit that generates a superimposed image at a position corresponding to a light flux pattern included in the overhead image generated by the image processing unit, and a superimposed image generation unit
  • the camera parameters for generating the overhead view video can be accurately determined by detecting the overlapping portion between the line and the light flux pattern. Characterized in that it comprises a determining image determining process unit whether or not it is calibration.
  • one aspect of the calibration result determination system irradiates the vehicle apparatus of the present invention described above, a camera for imaging the periphery of the vehicle, and the ground or floor at a predetermined position with respect to the vehicle And a light emitting device for emitting the luminous flux pattern.
  • one aspect of the calibration result determination method is light emission control for controlling light emission of a light flux pattern by a light emitting device that emits a light flux pattern to be irradiated on the ground or floor at a predetermined position with respect to a vehicle.
  • the image generation step of generating an overhead image including a light flux pattern whose light emission is controlled by the processing of the light emission control step using the steps and the image captured by the camera that captures the surroundings of the vehicle; and the processing of the image generation step In the overhead image on which the superimposed image generated by the processing of the superimposed image generation step of generating the superimposed image and the processing of the superimposed image generation step is superimposed on the position corresponding to the light flux pattern included in the generated overhead image.
  • the camera parameters for generating the overhead view image are positive by detecting the overlap between the lens and the luminous flux pattern Characterized in that it comprises an image determining step of determining whether it is calibrated.
  • one aspect of the program according to the present invention includes a light emission control step of controlling light emission of a light flux pattern by a light emitting device that emits a light flux pattern irradiated to the ground or floor at a predetermined position with respect to the vehicle.
  • Camera parameters for generating the overhead image by accurately detecting To execute a process characterized in the computer in that it comprises an image determination step of determining whether it is.
  • FIG. 14 is a diagram for describing display of a light flux pattern image 61, a superimposed image 62, and an overlapping portion 63.
  • FIG. 14 is a diagram for describing display of a light flux pattern image 61, a superimposed image 62, and an overlapping portion 63.
  • FIG. 14 is a diagram for describing display of a light flux pattern image 61, a superimposed image 62, and an overlapping portion 63.
  • FIG. 14 is a diagram for describing display of a light flux pattern image 61, a superimposed image 62, and an overlapping portion 63.
  • FIG. 14 is a diagram for describing display of a light flux pattern image 61, a superimposed image 62, and an overlapping portion 63.
  • FIG. 14 is a diagram for describing display of a light flux pattern image 61, a superimposed image 62, and an overlapping portion 63. It is a figure for demonstrating the image
  • FIG. 1 is a functional block diagram showing a functional configuration of a calibration result determination system including an on-vehicle apparatus according to an embodiment of the present invention.
  • the determination system of the calibration result includes the cameras 11-1 to 11-4, the display device 12, the sensor 13, the light emitting devices 14-1 to 14-4, the control device 15, and the on-vehicle device 16. It is mounted on one.
  • the on-vehicle device 16 corresponds to a vehicle device.
  • the determination system of the calibration result is used to generate and display an image around the vehicle 1 for assisting the driver, a bird's-eye view image obtained by composition processing, and the like provided in the vehicle 1 conventionally. It is possible to use many of each component in common.
  • Each of the cameras 11-1 to 11-4 is, for example, a camera monitoring the rear of the vehicle 1, a camera monitoring the front of the vehicle 1, and a camera monitoring the direction of both sides of the vehicle 1.
  • Each of the cameras 11-1 to 11-4 is attached to a predetermined position of the vehicle 1 based on known design information negotiated in advance so that an image of the entire periphery of the vehicle 1 can be captured. Take pictures of the surrounding area. It is preferable that each of the cameras 11-1 to 11-4 have super wide angle (for example, 180 degrees) and high resolution (for example, one million pixels or more).
  • An image obtained by the cameras 11-1 to 11-4 is subjected to image processing by an on-vehicle device 16 described later, and a display for assisting the driver is performed on the display device 12.
  • the images obtained by the cameras 11-1 to 11-4 are subjected to image processing by the on-vehicle device 16, and the respective images of the front, rear and side of the vehicle 1 are displayed on the display device 12 By this, it is possible to assist to confirm the part that will be the driver's blind spot.
  • the in-vehicle device 16 performs image processing such as viewpoint conversion processing and composition processing on the video captured by each of the cameras 11-1 to 11-4, thereby generating a bird's-eye view video and displaying it.
  • the device 12 can be simulated.
  • the cameras 11-1 to 11-4 will be collectively referred to as the camera 11 if it is not necessary to distinguish the cameras 11-1 to 11-4.
  • the display device 12 is configured of, for example, a liquid crystal display or the like, and generated by the on-vehicle device 16 described later, in front of, behind, and on the side of the vehicle 1 serving as an aid for confirming the part Display each video, overhead video, etc. together with messages as necessary. Further, the display device 12 receives and displays the supply of the determination result as to whether or not the calibration has been correctly performed, which is obtained by the processing of the on-vehicle apparatus 16 described later.
  • the sensor 13 includes a sensor 13 that detects the brightness around the vehicle 1 and supplies the detection result to the on-vehicle device 16.
  • the sensor 13 may include or be used to detect information necessary for other operations (not shown) of the vehicle 1.
  • the sensor 13 may also be used as a sensor for auto light as the sensor 13 for detecting the brightness around the vehicle 1, for example.
  • the light emitting devices 14-1 to 14-4 are installed at positions outside the vehicle 1 such that at least the ground (floor surface) on both side surfaces of the vehicle 1 can be irradiated with a linear light beam pattern parallel to the side surface of the vehicle 1 Be done.
  • a part of the light emitting devices 14-1 to 14-4 may be installed in the lower part of the door mirror 41 on both sides of the vehicle 1, for example, as shown in FIG. it can.
  • the light emitting devices 14-1 to 14-4 irradiate the line-like light beam pattern 42 on the ground parallel to the side surface of the vehicle 1 based on the control of the on-vehicle device 16.
  • the light emitting devices 14-1 to 14-4 may be provided at least on both side surfaces of the vehicle 1.
  • the light emitting devices 14-1 to 14-4 may be provided either on the front or the rear of the vehicle 1, or on both of them, and also on the ground either on the front or the rear of the vehicle 1, or on both grounds. It is preferable to irradiate a linear light beam pattern 42 parallel to 1.
  • the color of the luminous flux pattern 42 emitted by the light emitting devices 14-1 to 14-4 is a complementary color or a color close to the complementary color of the ground, and the color and the luminance (color temperature etc.) Controlled by
  • the light emitting devices 14-1 to 14-4 will be collectively referred to as the light emitting device 14.
  • the luminous flux pattern 42 emitted by the light emitting device 14 exists across the boundary at least at all the boundary portions (for example, the positions corresponding to the respective rectangles ⁇ -1 to ⁇ -4 in FIG. 3).
  • the shape may be any shape as long as the luminous flux pattern 42 is irradiated so as to include a straight line.
  • the light beam pattern 42 may be configured by, for example, a plurality of figures such as straight lines and rectangles.
  • the straight lines b-1 and b-2 may be straight lines c-1 to c-4 which exist across the boundary line at all the boundary portions.
  • the control device 15 controls the operation of each part (which may include each part not shown) of the vehicle 1.
  • the control device 15 executes necessary processing such as control of the opening / closing operation of the door mirror 41 based on the control from the in-vehicle device 16.
  • the in-vehicle device 16 includes an image acquisition unit 21, an operation input unit 22, a control unit 23, an image processing unit 24, a light emission control unit 25, a superimposed image generation unit 26, an image determination processing unit 27, and a display control unit 28. It is configured.
  • the on-vehicle device 16 may be configured to include, for example, various known display systems, car navigation systems, car audio systems, and the like.
  • the image acquisition unit 21 acquires an image captured by the camera 11 and supplies the image to the image processing unit 24.
  • the operation input unit 22 includes, for example, a touch panel, a button, a key, or a receiving unit that receives a signal from a remote controller, acquires a user's operation input, and supplies the operation input to the control unit 23.
  • the control unit 23 controls the operation of the in-vehicle apparatus 16 based on the user's operation input supplied from the operation input unit 22. For example, the control unit 23 performs image processing by the image processing unit 24 described later, light emission control of the light emitting device 14 by the light emission control unit 25, generation of a superimposed image by the superimposed image generation unit 26, and composition of the superimposed image by the image processing unit 24. And control processing such as determination processing as to whether or not calibration by the image determination processing unit 27 is correctly performed. The details of the confirmation process of the calibration result will be described later with reference to the flowchart of FIG.
  • the control unit 23 controls a process necessary for a known calibration for calibrating a camera parameter at the time of overhead image generation. Specifically, a predetermined marker or calibration chart precisely placed at a predetermined position is photographed, and the image actually photographed is the same as when photographed by the camera 11 as designed. Then, based on the user's operation input supplied from the operation input unit 22, the control unit 23 calibrates the camera parameters used at the time of generation of the overhead view image by the image processing unit 24.
  • the image processing unit 24 uses the known distortion function based on the control of the control unit 23, based on the control of the control unit 23, the image captured by each of the cameras 11 and supplied from the video acquisition unit 21 and captured at super wide angle and high resolution. By performing processing to remove distortion of the image, etc., for example, images of the front, rear, and side of the vehicle 1 serving as an aid for confirming the part that will be the driver's blind spot are generated.
  • the image processing unit 24 is designed for a known camera attachment using all the images of the front, rear, and both side surfaces of the vehicle 1 captured at super wide angle and high resolution supplied from the image acquisition unit 21. Based on values and the like, viewpoint conversion processing is performed on a video viewed from a virtual overhead viewpoint, and these are composited, etc.
  • Such viewpoint conversion processing and composition processing correspond to the image from the virtual overhead viewpoint which is the luminance value of a specific pixel of the image captured by each camera 11 using a known camera geometric conversion formula. This is realized by known techniques such as assigning to specific pixels.
  • the image processing unit 24 executes known processing necessary for the calibration based on the control of the control unit 23.
  • the image processing unit 24 performs viewpoint conversion processing, synthesis processing, and the like on the image supplied from the video acquisition unit 21 based on the control of the control unit 23. Create an eyebrow video. Then, the image processing unit 24 supplies the generated overhead view video to the light emission control unit 25 and the superimposed image generation unit 26, and superimposes the superimposed image generated by the superimposed image generation unit 26 described later on the overhead view video. , And supplies the image determination processing unit 27 and the display control unit 28.
  • the light emission control unit 25 controls the color and the luminance of the luminous flux pattern 42 emitted by the light emitting device 14 based on the control of the control unit 23.
  • the light emission control unit 25 receives supply of a control signal instructing light emission from the control unit 23, acquires the combined overhead view image from the image processing unit 24, and The color of the surrounding ground (floor surface) is detected, and the light emitting device 14 is made to emit light with a color complementary to the color or as close to the color as possible.
  • the light emission control unit 25 determines the light emission intensity based on the information on the brightness around the vehicle 1 supplied from the sensor 13 or the luminance information on the overhead image supplied from the image processing unit 24. Control. In this case, it is preferable to control the light emission intensity of the light flux pattern 42 based on the luminance information in the vicinity of the video image boundary of the combined overhead view video. As a result, it is possible to prevent the light flux pattern 42 from becoming difficult to recognize on the combined overhead image due to the light emission intensity being too weak or too strong.
  • the light emission control unit 25 may use the vehicle for the process of determining whether the calibration is correctly performed, for example, the light emitting device 14 is installed under the door mirror 41 on both sides described with reference to FIG.
  • the control device 15 is controlled to operate each part of the vehicle 1 (for example, the door mirror 41), and the light flux pattern 42 is moved to the predetermined position as described using FIG. Irradiate.
  • the light emission control unit 25 acquires the combined overhead view image from the image processing unit 24 even during irradiation of the light flux pattern 42 by the light emitting device 14 and irradiates the ground (floor surface) around the vehicle 1 It is determined whether the luminous flux pattern 42 is easy to recognize with respect to the ground (floor surface), and the color and luminance of the luminous flux pattern 42 are controlled based on the determination result.
  • the superimposed image generation unit 26 has a predetermined width when the camera parameters for generating the overhead-view image are properly calibrated with respect to the light flux pattern 42 as described with reference to FIG. 3 emitted by the light emitting device 14
  • a superimposed image 62 is generated which is composed of straight lines or rectangles which overlap each other and deviate by a predetermined width.
  • the color and transmittance of the straight line or rectangle making up the superimposed image 62 are superimposed in a state where the superimposed image 62 is superimposed on the image 61 of the light flux pattern included in the overhead image.
  • the overlap portion 63 is set to be easily identified. As a specific example, when the color of the luminous flux pattern 42 is red, the overlapping portion 63 is displayed in purple by setting the color of the superimposed image 62 to be blue having a certain degree of transparency, so that identification is easy. Become.
  • the overlapping portion 62 When the degree of transmission of the superimposed image 62 is too low or not transparent, as shown in FIG. 5, the overlapping portion 62 also overlaps the portion 61 of the luminous flux pattern to be recognized as the overlapping portion 63, Only the superimposed image 62 can be recognized.
  • the degree of transmission of the superimposed image 62 is too high, as shown in FIG. 6, also in the portion where the superimposed image 62 overlaps the image 61 of the luminous flux pattern to be recognized as the overlapping portion 63 Only 61 can be recognized.
  • the overlapping image generation unit 26 controls the overlapping portion 63 where the light flux pattern image 61 and the overlapping image 62 overlap with each other as described with reference to FIG.
  • the degree of transparency of the superimposed image 62 is controlled so that it can be clearly recognized as a color mixture with the color 62.
  • the superimposed image generation unit 26 controls the light emission control unit 25 to control the light emission of the light flux pattern 42.
  • the details are inquired, and the color and transparency of the superimposed image 62 are determined based on the result.
  • the image determination processing unit 27 acquires from the image processing unit 24 a video on which the superimposed image 62 generated by the superimposed image generation unit 26 is superimposed, and the image 61 of the luminous flux pattern and the superimposed image 62 It is determined by image recognition of the overlapping portion 63 whether the calibration has been correctly performed.
  • the overlapping portion 63 where the light beam pattern image 61 and the superimposed image 62 overlap is the light beam pattern image 61 as described with reference to FIG. 4. It has a color mixture of the color and the color of the superimposed image 62, and is clearly recognized as a region of a predetermined width which is predetermined by the design value.
  • the width of the overlapping portion 63 where the light beam pattern image 61 and the superimposed image 62 overlap Is no longer constant.
  • FIG. 7 when calibration is not correctly performed and a shift occurs in the image, as shown in FIG.
  • the overlapping portion 63 of the portion corresponding to the boundary of the image synthesis shown by the rectangle ⁇ in FIG. 3 will be described.
  • the image 61 of the luminous flux pattern is not displayed correctly and continuously at the boundary of the image synthesis.
  • the width of the overlapping portion 63 above the display screen with respect to the boundary portion is narrower than the theoretical value, it is recognized that the image of the corresponding portion is deviated.
  • the image determination processing unit 27 supplies the determination results to the display control unit 28.
  • the judgment result by the image judgment processing unit 27 may be highlighting of a portion where the width of the overlapping portion 63 is different from the theoretical value due to the occurrence of deviation or distortion in the overhead image, an error message by text, theory Any of numerical data indicating deviation from a value may be included.
  • the deviation or distortion is a certain value or more, specifically, for example, when there is a portion where the width of the overlapping portion 63 differs by a predetermined pixel or more from the theoretical value . An alarm may be generated, or the use of the overhead image may be discontinued.
  • the display control unit 28 generates a display screen by combining a plurality of images and images supplied from the image processing unit 24 as necessary, adding necessary messages, and the like, and supplies the display screen to the display device 12 for display Control.
  • the display control unit 28 determines whether the calibration supplied from the image determination processing unit 27 is correctly performed based on the control of the control unit 23 or not. If the calibration is not correctly performed, the determination result indicating which portion the shift or distortion is generated is supplied to the display device 12 to be displayed along with the overhead image in a state in which the superimposed image 62 is superimposed. .
  • the on-vehicle device 16 includes the image acquisition unit 21 that acquires an image captured by the camera 11 and the light emitting device 14 that emits the light flux pattern 42 to the ground or floor of the vehicle 1 at a predetermined position.
  • An image processing unit that generates a bird's eye image including a light flux pattern 42 whose light emission is controlled by the light emission control unit 25 using the light emission control unit 25 that controls light emission of the light flux pattern 42 and the image acquired by the image acquisition unit 21 24 and the superimposed image generation unit 26 that generates the superimposed image 62 for the position corresponding to the light beam pattern image 61 included in the overhead image generated by the image processing unit 24, and the superimposed image generation unit 26
  • the overhead image is detected by detecting the overlapping portion 63 between the superimposed image 62 and the light beam pattern image 61.
  • an image determination processing unit 27 that determines whether a camera parameter to be generated is correctly calibrated, for example, a marker, a calibration chart, or the like is used when inspecting a dealer or the like. After performing a predetermined calibration, without performing a complicated operation such as drawing a white line at a predetermined position around the vehicle 1 (or putting a gum tape), the luminous flux pattern 42 irradiated to the predetermined position and the image 61 of the luminous flux pattern The processing on the overhead-view image including can easily and accurately check the calibration result.
  • the above-described configuration is provided in the conventional vehicle 1 such as each component used to generate an image around the vehicle 1 for assisting the driver, a bird's-eye view image obtained by the combination processing, and the like. Since many of the mechanisms can be used in common, it can be realized at low cost.
  • step S1 the control unit 23 determines whether the confirmation process of the calibration result is instructed from the operation input unit 22. If it is determined in step S1 that confirmation processing of the calibration result is not instructed, the processing of step S1 is repeated until it is determined that confirmation processing of the calibration result is instructed.
  • step S2 the control unit 23 controls the image processing unit 24, the light emission control unit 25, the superimposed image generation unit 26, the image determination processing unit 27, Then, it instructs the display control unit 28 to start the confirmation process of the calibration result.
  • the image processing unit 24 subjects the video acquired by the video acquisition unit 21 to viewpoint conversion processing to a video viewed from a virtual viewpoint, and performs synthesis processing on them, etc. It generates and supplies it to the light emission control unit 25 and the superimposed image generation unit 26.
  • the light emission control unit 25 determines the color and luminance of the light flux pattern 42 based on either the information on the brightness of the periphery supplied from the sensor 13 or the overhead image supplied from the image processing unit 24 or both. Calculate
  • step S3 the light emission control unit 25 irradiates the light beam pattern 42 as described with reference to FIGS. 2 and 3 to the ground (floor surface) based on the calculation result in the process of step S2. Then, the image processing unit 24 generates a bird's eye view image including the image 61 of the luminous flux pattern. At this time, the light emission control unit 25 determines whether the calibration is correctly performed, for example, the light emitting device 14 is installed under the door mirrors 41 on both sides described with reference to FIG. When the operation of each part of the vehicle 1 is required, the control device 15 is controlled to operate each part of the vehicle 1 to irradiate the luminous flux pattern 42 to a predetermined position.
  • step S4 the light emission control unit 25 can sufficiently recognize the light flux pattern image 61 in the captured image based on the overhead image including the light flux pattern image 61 supplied from the image processing unit 24. Determine if it is or not. If it is determined in step S4 that the light flux pattern image 61 of the captured image is not sufficiently recognizable, the process returns to step S2, and the subsequent processing is repeated.
  • step S4 If it is determined in step S4 that the image 61 of the luminous flux pattern of the captured image is sufficiently recognizable, then in step S5, the superimposed image generation unit 26 is based on the overhead image supplied from the image processing unit 24. Then, the color and the degree of transmission of the superimposed image 62 are calculated from the image 61 of the light flux pattern thus captured, as described with reference to FIGS. 4 to 6, for example.
  • step S6 the superimposed image generation unit 26 generates the superimposed image 62 based on the calculation result in the process of step S5, and supplies the superimposed image 62 to the image processing unit 24.
  • the image processing unit 24 superimposes the superimposed image 62 on the generated overhead view video, and supplies the superimposed image 62 to the image determination processing unit 27 and the display control unit 28.
  • step S7 the image determination processing unit 27 recognizes the overlapping portion 63 in which the light flux pattern image 61 and the superimposed image 62 overlap.
  • step S ⁇ b> 8 the image determination processing unit 27 determines whether the calibration result is correct based on the width and the shape of the overlapping portion 63 in which the image recognition is performed.
  • step S9 the image determination processing unit 27 supplies the display control unit 28 with information for notifying that the calibration is correctly performed.
  • the display control unit 28 generates a message, an image, and the like for notifying that the calibration has been correctly performed, and supplies the same to the display device 12 together with the overhead view image, and the process is ended.
  • step S10 the image determination processing unit 27 supplies the display control unit 28 with information for notifying a portion where an error occurs in the calibration.
  • the display control unit 28 generates a warning message for notifying that the calibration has not been properly performed, an image indicating a portion where distortion or deviation has occurred, and the like, and supplies this to the display device 12 together with the overhead image. The display is made and the process is ended.
  • the calibration result determination method executed by the on-vehicle device 16 controls the light emission by the process of the light emission control step using the light emission control step of controlling the light emission of the light flux pattern 42 and the image captured by the camera 11 A superimposed image for generating a superimposed image 62 at a position corresponding to the light beam pattern image 61 included in the overhead image generated by the processing of the image generation step of generating the overhead image including the light flux pattern 42 and the image generation step
  • the overhead image is generated by detecting the overlapping portion 63 between the superimposed image 62 and the light beam pattern image 61 Image to determine whether the camera parameters for the camera are correctly calibrated Since the processing of the fixed step is included, for example, at the time of inspection of a dealer etc., after a predetermined calibration using a marker, a calibration chart or the like, a white line is drawn at a predetermined position around the vehicle 1 (or The calibration
  • the color and intensity of the luminous flux pattern 42 used for confirmation of the calibration result are set based on the color of the ground or floor and the brightness of the periphery, as a linear structure used for calibration. There is no need to use different materials to make up the white lines, etc. depending on the surrounding brightness and the color of the ground or floor.
  • the determination as to whether the calibration result is correct or not is not performed by visual observation but by image processing, and the color and transmittance of the superimposed image 62 used for the determination are for the color and intensity of the image 61 of the luminous flux pattern. Since the overlapping portion 63 is set so as to be clearly determined, it is possible to obtain a highly reliable determination result as compared with the conventional observation of a bird's-eye view image.
  • the series of processes described above can be performed by hardware or software.
  • various functions may be executed by installing a computer in which programs constituting the software are incorporated in dedicated hardware or various programs.
  • the program is installed from a program storage medium, for example, on a general-purpose personal computer or the like.
  • the program executed by the computer may be a program that performs processing in chronological order according to the order described in this specification, in parallel, or when necessary, such as when a call is made. It may be a program to be processed.

Abstract

俯瞰映像の生成に用いられるカメラパラメータのキャリブレーション結果の確認を容易に正確に行う。　車載装置１６は、カメラ１１から車両１の周囲の映像を取得する映像取得部２１と、車両１に対して所定の位置の地面または床面に光束パターンを照射する発光装置１４による光束パターンの発光を制御する発光制御部２５と、映像取得部２１により取得された映像を用いて、光束パターンを含む俯瞰映像を生成する画像処理部２４と、俯瞰映像に含まれる光束パターンに対応する位置に対して、重畳画像を生成する重畳画像生成部２６と、重畳画像が重畳された俯瞰映像において、ラインと光束パターンの画像との重複部分を検出することにより、俯瞰映像を生成するためのカメラパラメータが正確にキャリブレーションされているか否かを判定する画像判定処理部２７とを含む。

Description

車両用装置、キャリブレーション結果判定システム、および、キャリブレーション結果判定方法、ならびに、プログラム
　本発明は、車両用装置、キャリブレーション結果判定システム、および、キャリブレーション結果判定方法、ならびに、プログラムに関する。
　自動車等の車両の運転の安全のため、運転者からの死角や見えにくい場所の確認を正確に行えるように、車両に周囲を撮像するためのカメラを搭載し、撮像された画像を運転者に見やすいように処理して表示させる技術が用いられている。当初、車両の後方をモニタリングするカメラが、続いて、車両の前方をモニタリングするカメラ、側面方向をモニタリングするカメラが車両に搭載され、それらのカメラにより得られる映像により、運転者を補助するための表示が行われてきた。
　そして、近年、４か所（前方、後方、および、両側面）に設置された超広角（例えば、180度）・高解像度（例えば、100万画素以上）のカメラから得た画像情報に対して画像処理を施すことにより、車両上方から見下ろしたような俯瞰映像を生成して擬似表示させる技術が広く用いられている。このような技術は、例えば、車庫入れや縦列駐車等を行う場合に運転者から死角となる箇所や見えにくい個所の確認を正確に行えるようにするためのものである。
　俯瞰映像を生成して疑似表示させる装置では、４か所のカメラにより撮像された映像に対して、視点変換処理および合成処理を施すことにより、車両上空から見たような映像が生成される。俯瞰映像を生成する装置において、４か所のカメラにより撮像された映像を、車両上空から見たような映像に変換するためには、車両上空の仮想カメラの位置が決まっているとともに、実カメラの位置が確定していることを前提として、画像を変換するために用いられるパラメータが決定される。しかし、実際には、４か所のカメラを全く誤差なく取り付けることは非常に困難であり、カメラ個々のパラメータも、厳密に設計値通りであるとは限らない。したがって、この視点変換処理と合成処理を正しく実行させるためには、カメラの設置向きや画角の調整だけではなく、俯瞰映像を生成する装置における画像変換時の歪み等を修正するためのキャリブレーション（校正）が必要となる。
　従来、車両の積載状態が変化する状況下でもキャリブレーションを実施できるとともに、例えば白線に対する車両の平行性を利用することなく、全てのカメラパラメータを精緻に推定してキャリブレーションを実施することができる技術がある（例えば、特許文献１）。
特開2016-070814号公報
　一般的には、指定の場所にマーカーやキャリブレーションチャートなどを設置し撮像した結果を評価することにより、俯瞰映像の生成のためのカメラパラメータに対するキャリブレーションが行われる。具体的には、例えば、予め決められた位置に精密に設置された所定のパターンを４か所のカメラで撮影し、実際に撮影された映像が、設計値どおりのカメラで撮影した場合と同一となるように、カメラパラメータが校正される。
　俯瞰映像への変換において一番重要となるのは、合成画像において各カメラの画像の境界部分に歪みが発生しないことであり、これは、例えば、図１１に示されるように、車両８１から１ｍ離れた場所に存在する白線９１および９２が、合成された俯瞰映像における各カメラの映像境界９３～９６付近において、ずれや歪みがなく正しく連続することと、白線９１および９２が、車両８１から平行に１ｍ離れているとユーザから認識できることである。
　したがって、例えば、ディーラー等における検査においては、マーカーやキャリブレーションチャートなどを用いた所定のキャリブレーションの後、車両周囲の所定の位置に白線を引く（またはガムテープを張る）などした状態において、各カメラで撮像した白線（またはガムテープによるライン：以下、同様の部分は省略する）を含む俯瞰映像を生成、表示させ、表示された映像上で、白線の歪みやズレがない正常な画像として表示されていることが確認される。例えば、車両の両側面に、車両と平行に白線が引かれている状態で俯瞰映像が表示された場合、図１１に示されるように、表示された俯瞰映像の白線９１または９２がゆがんでいたり、合成部分の映像境界９３～９６においてずれていた場合、キャリブレーションが正しく行われていないため、再度、カメラパラメータを調整する必要がある。
　このように、ディーラー等における検査において、キャリブレーションの後の確認作業のたびに白線等を車両と平行となるように所定位置に引くのは、非常に作業工数がかかる。また、カメラに撮像可能な位置に白線があらかじめ存在する場所で、キャリブレーション後の俯瞰映像の確認を行うことは、白線と車両の位置関係が一定となるように車両を停車させる必要があり、非常に困難である。
　上述した特許文献１においては、キャリブレーション時に、各カメラに所定数以上の直線的構造物が撮影されている必要があり、例えば、走行中においては道路の白線が撮影されることが想定されている。すなわち、ディーラーにおける点検時においては、上述した特許文献１に記載の技術を適用しようとしても、従来通り、車両周囲の所定の位置に白線を引いたり、ガムテープを張るなどして直線的構造物を構成するか、または、カメラに撮像可能な位置に白線等の直線構造物があらかじめ存在する場所に点検車両を移動させる必要がある。
　また、ディーラーにおける点検時においては、周囲の明るさや地面または床の色によって、キャリブレーションに用いる直線構造物としての白線等を認識しにくくなる可能性があり、その場合、異なる色のテープをあらかじめ用意しておくなどの手間がかかってしまう恐れがある。
　さらに、ディーラー等における検査においては、マーカーやキャリブレーションチャートなどを用いたキャリブレーションの後の俯瞰映像の確認作業は、目視で行われているため、その確認結果が安定しない。さらに、俯瞰映像を確認するための直線構造物も、実際には、毎回手作業で白線を引いたり、ガムテープを張ることなどにより用意されているため、キャリブレーション後の俯瞰映像における直線構造物の認識のしやすさ自体にばらつきが生じてしまう。
　そこで、本発明は、上記課題を解決すること、すなわち、俯瞰映像を生成する場合に用いられるカメラパラメータのキャリブレーション結果の確認を容易に正確に行うことができる、車両用装置、キャリブレーション結果判定システム、および、キャリブレーション結果判定方法、ならびに、プログラムを提供することを目的とする。
　上記課題を解決するために、本発明の車両用装置の一側面は、車両の周囲を撮像するカメラにより撮像された映像を取得する映像取得部と、車両に対して所定の位置の地面または床面に照射される光束パターンを発光する発光装置による光束パターンの発光を制御する発光制御部と、映像取得部により取得された映像を用いて、発光制御部により発光が制御された光束パターンを含む俯瞰映像を生成する画像処理部と、画像処理部により生成される俯瞰映像に含まれる光束パターンに対応する位置に対して、重畳画像を生成する重畳画像生成部と、重畳画像生成部により生成された重畳画像が重畳された俯瞰映像において、ラインと光束パターンとの重複部分を検出することにより、俯瞰映像を生成するためのカメラパラメータが正確にキャリブレーションされているか否かを判定する画像判定処理部とを含むことを特徴とする。
　また、本発明に記載のキャリブレーション結果判定システムの一側面は、上述した本発明の車両用装置と、車両の周囲を撮像するカメラと、車両に対して所定の位置の地面または床面に照射される光束パターンを発光する発光装置とを備えることを特徴とする。
　また、本発明に記載のキャリブレーション結果判定方法の一側面は、車両に対して所定の位置の地面または床面に照射される光束パターンを発光する発光装置による光束パターンの発光を制御する発光制御ステップと、車両の周囲を撮像するカメラにより撮像された映像を用いて、発光制御ステップの処理により発光が制御された光束パターンを含む俯瞰映像を生成する画像生成ステップと、画像生成ステップの処理により生成された俯瞰映像に含まれる光束パターンに対応する位置に対して、重畳画像を生成する重畳画像生成ステップと、重畳画像生成ステップの処理により生成された重畳画像が重畳された俯瞰映像において、ラインと光束パターンとの重複部分を検出することにより、俯瞰映像を生成するためのカメラパラメータが正確にキャリブレーションされているか否かを判定する画像判定ステップとを含むことを特徴とする。
　また、本発明に記載のプログラムの一側面は、車両に対して所定の位置の地面または床面に照射される光束パターンを発光する発光装置による光束パターンの発光を制御する発光制御ステップと、車両の周囲を撮像するカメラにより撮像された映像を用いて、発光制御ステップの処理により発光が制御された光束パターンを含む俯瞰映像を生成する画像生成ステップと、画像生成ステップの処理により生成された俯瞰映像に含まれる光束パターンに対応する位置に対して、重畳画像を生成する重畳画像生成ステップと、重畳画像生成ステップの処理により生成された重畳画像が重畳された俯瞰映像において、ラインと光束パターンとの重複部分を検出することにより、俯瞰映像を生成するためのカメラパラメータが正確にキャリブレーションされているか否かを判定する画像判定ステップとを含むことを特徴とする処理をコンピュータに実行させる。
　本発明によれば、俯瞰映像を生成する場合に用いられるカメラパラメータのキャリブレーション結果の確認を容易に正確に行うことができる。
キャリブレーション結果の判定システムの機能構成を示す図である。 光束パターン４２について説明するための図である。 光束パターン４２について説明するための図である。 光束パターンの画像６１、重畳画像６２、および、重複部分６３の表示について説明するための図である。 光束パターンの画像６１、重畳画像６２、および、重複部分６３の表示について説明するための図である。 光束パターンの画像６１、重畳画像６２、および、重複部分６３の表示について説明するための図である。 光束パターンの画像６１、重畳画像６２、および、重複部分６３の表示について説明するための図である。 光束パターンの画像６１、重畳画像６２、および、重複部分６３の表示について説明するための図である。 俯瞰映像の合成境界付近の映像について説明するための図である。 キャリブレーション結果の確認処理について説明するためのフローチャートである。 俯瞰映像について説明するための図である。
　以下、本発明の一実施の形態の情報送受信システムについて、図１～図１０を参照しながら説明する。
　図１は、本発明の一実施例である車載装置を含む、キャリブレーション結果の判定システムの機能構成を示す機能ブロック図である。
　キャリブレーション結果の判定システムは、カメラ１１－１～１１－４、表示装置１２、センサ１３、発光装置１４－１～１４－４、制御装置１５、および、車載装置１６を含んで構成され、車両１に搭載されている。車載装置１６は、車両用装置に対応する。キャリブレーション結果の判定システムは、従来車両１に設けられている、運転者を補助するための車両１周辺の映像や合成処理によって得られる俯瞰映像などを生成して表示させるために用いられている各構成要素の多くを共通して利用することが可能である。
　カメラ１１－１～１１－４のそれぞれは、例えば、車両１の後方をモニタリングするカメラ、車両１の前方をモニタリングするカメラ、ならびに、車両１の両側面方向をモニタリングするカメラである。カメラ１１－１～１１－４のそれぞれは、車両１の全周囲の映像を撮像可能なように、事前に取り決められる既知の設計情報に基づいて、車両１の所定の位置に取り付けられ、車両１周辺の映像を撮像する。カメラ１１－１～１１－４のそれぞれは、超広角（例えば、180度）・高解像度（例えば、100万画素以上）であると好適である。カメラ１１－１～１１－４により得られる映像は、後述する車載装置１６により画像処理が施され、表示装置１２において、運転者を補助するための表示が行われる。具体的には、カメラ１１－１～１１－４により得られる映像は、車載装置１６により画像処理が施され、車両１の前方、後方、側面のそれぞれの映像が、表示装置１２に表示されることによって、運転者の死角となる部分を確認するための補助を行うことができる。さらに、カメラ１１－１～１１－４のそれぞれにより撮像された映像に対して、車載装置１６により視点変換処理や合成処理などの画像処理が施されることにより、俯瞰映像が生成されて、表示装置１２に擬似表示させることができる。これ以降、カメラ１１－１～１１－４を特に区別する必要のない場合、カメラ１１－１～１１－４をカメラ１１と総称する。
　表示装置１２は、例えば、液晶ディスプレイなどで構成されており、後述する車載装置１６により生成された、運転者の死角となる部分を確認するための補助となる車両１の前方、後方、側面のそれぞれの映像や俯瞰映像などを、必要に応じて、メッセージとともに表示する。また、表示装置１２は、後述する車載装置１６の処理により得られる、キャリブレーションが正しく行われたか否かの判定結果の供給を受け、表示する。
　センサ１３は車両１周辺の明るさを検出するセンサ１３を含んで構成され、検出結果を、車載装置１６に供給する。センサ１３は、車両１の図示しないその他の動作に必要な情報を検出するものを含んでいるか、または兼用されてもよい。センサ１３は、例えば、車両１周辺の明るさを検出するセンサ１３として、オートライト用のセンサを兼用してもよい。
　発光装置１４－１～１４－４は、車両１外部の、少なくとも車両１両側面の地面（床面）に車両１側面と平行にライン状の光束パターンを照射することができるような位置に設置される。具体的な例として、発光装置１４－１～１４－４の一部は、例えば、図２に示されるように、車両１の両側のドアミラー４１下部に組み込まれて設置されるものとすることができる。発光装置１４－１～１４－４は、車載装置１６の制御に基づいて、車両１側面と平行となる地面上にライン状の光束パターン４２を照射する。発光装置１４－１～１４－４は、少なくとも車両１の両側面に備えられていればよい。しかしながら、発光装置１４－１～１４－４は、車両１の前方または後方のいずれか、または、両方にも設けられ、車両１の前方または後方のいずれか、または両方の地面上にも、車両１と平行となるライン状の光束パターン４２を照射することが好適である。発光装置１４－１～１４－４が発光する光束パターン４２の色は、地面の補色または補色に近い色であり、色や輝度（色温度等）は、車載装置１６の後述する発光制御部２５により制御される。これ以降、発光装置１４－１～１４－４のそれぞれを特に区別する必要がない場合、発光装置１４－１～１４－４を発光装置１４と総称する。
　図３を用いて、光束パターン４２の照射例について説明する。キャリブレーションが正しく行われたか否かの判定において最も重要なのは俯瞰映像の合成の境界付近の映像である。したがって、発光装置１４により発光される光束パターン４２は、少なくとも、境界部分（例えば、図３中の矩形α－１～α－４のそれぞれに対応する位置）の全てにおいて、境界線をまたがって存在する直線を含むように光束パターン４２が照射されていれば、その形状はどのようなものであってもよい。光束パターン４２は、例えば、複数の直線や矩形等の図形により構成されていてもよい。すなわち、光束パターン４２は、例えば、図３に示されるように、車両１周辺に車両１と一定の幅を有する矩形ａであっても、車両１側面と平行に、車両長以上の長さを有する直線ｂ－１およびｂ－２であっても、境界部分の全てにおいて境界線をまたがって存在する直線ｃ－１～ｃ－４であってもよい。
　図１に戻り、制御装置１５は、車両１の各部（図示しない各部も含んでいてもよい）の動作を制御するものである。発光装置１４が、例えば、図２を用いて説明した両側のドアミラー４１下部に設置されている場合など、キャリブレーションが正しく行われているか否かの判定の処理に車両１の各部の動作が必要となる場合、制御装置１５は、車載装置１６からの制御に基づいて、ドアミラー４１の開閉動作の制御などの必要な処理を実行する。
　車載装置１６は、映像取得部２１、操作入力部２２、制御部２３、画像処理部２４、発光制御部２５、重畳画像生成部２６、画像判定処理部２７、および、表示制御部２８を含んで構成されている。車載装置１６は、これ以外にも、例えば、既知の各種表示システム、カーナビゲーションシステム、または、カーオーディオシステム等を含んで構成されていてもよい。
　映像取得部２１は、カメラ１１により撮像された映像を取得し、画像処理部２４に供給する。
　操作入力部２２は、例えば、タッチパネル、ボタン、キー、または、リモートコントローラからの信号を受信する受信部などで構成されており、ユーザの操作入力を取得して、制御部２３に供給する。
　制御部２３は、操作入力部２２から供給されたユーザの操作入力に基づいて車載装置１６の動作を制御するものである。制御部２３は、例えば、後述する画像処理部２４による画像処理、発光制御部２５による発光装置１４の発光制御、重畳画像生成部２６による重畳画像の生成およびその重畳画像の画像処理部２４による合成、ならびに、画像判定処理部２７によるキャリブレーションが正しく行われているか否かの判定処理などを制御する。キャリブレーション結果の確認処理の詳細については図１０のフローチャートを参照して後述する。
　また、制御部２３は、操作入力部２２から供給されたユーザの操作入力に基づいて、俯瞰映像生成時のカメラパラメータを校正する既知のキャリブレーションに必要な処理を制御する。具体的には、予め決められた位置に精密に設置された所定のマーカーやキャリブレーションチャートが撮影され、実際に撮影された映像が、設計値どおりのカメラ１１で撮影した場合と同一となるように、操作入力部２２から供給されたユーザの操作入力に基づいて、制御部２３によって、画像処理部２４による俯瞰映像の生成時に用いられるカメラパラメータが校正される。
　画像処理部２４は、カメラ１１のそれぞれにおいて撮像され、映像取得部２１から供給された、超広角・高解像度で撮像された映像を、制御部２３の制御に基づいて、既知の歪み関数を用いて映像の歪みを除去する処理などを施すことにより、例えば、運転者の死角となる部分を確認するための補助となる車両１の前方、後方、側面のそれぞれの画像を生成する。また、画像処理部２４は、映像取得部２１から供給された、超広角・高解像度で撮像された、車両１の前方・後方・両側面の全ての映像を用いて、既知のカメラ取り付けに関する設計値などに基づいて、仮想の俯瞰視点から見た映像に視点変換処理し、それらを合成処理することなどにより、車両１上空から地面を見下ろしたような映像である俯瞰映像を生成する。このような視点変換処理および合成処理は、既知のカメラの幾何変換式を使って、それぞれのカメラ１１によって撮影された映像の特定の画素の輝度値を、仮想される俯瞰視点からの映像の対応する特定の画素に割り当てるなどの既知の技術によって実現される。
　そして、画像処理部２４は、俯瞰映像の生成のための各パラメータのキャリブレーションが行われる場合、制御部２３の制御に基づいて、キャリブレーションに必要な既知の処理を実行する。
　また、画像処理部２４は、キャリブレーション結果の確認処理が行われる場合、制御部２３の制御に基づいて、映像取得部２１から供給された画像に対して、視点変換処理や合成処理などを施して俯瞰映像を生成する。そして、画像処理部２４は、生成した俯瞰映像を、発光制御部２５および重畳画像生成部２６に供給するとともに、後述する重畳画像生成部２６により生成される重畳画像を、俯瞰映像に重畳して、画像判定処理部２７および表示制御部２８に供給する。
　発光制御部２５は、制御部２３の制御に基づいて、発光装置１４が発光する光束パターン４２の色や輝度を制御する。発光制御部２５は、キャリブレーション結果の確認処理が行われる場合、制御部２３から発光を指令する制御信号の供給を受け、画像処理部２４から、合成された俯瞰映像を取得して、車両１周辺の地面（床面）の色を検出し、その色に対して補色、または、補色にできるだけ近い色で発光装置１４を発光させる。これにより、地面（床面）に照射される光束パターン４２は、俯瞰映像上で認識しやすいものとなるため、後述するキャリブレーションの結果の確認処理における光束パターン４２の認識が安定したものとなる。また、発光制御部２５は、センサ１３から供給された車両１周辺の明るさの情報に基づいて、または、画像処理部２４から供給された俯瞰映像の輝度情報に基づいて、発光の強さを制御する。この場合、合成された俯瞰映像の映像境界付近の輝度情報に基づいて、光束パターン４２の発光強度を制御すると好適である。これにより、発光強度が弱すぎたり強すぎることにより、合成された俯瞰映像上で光束パターン４２が認識しにくくなることを防止することが可能である。
　また、発光制御部２５は、発光装置１４が、例えば、図２を用いて説明した両側のドアミラー４１下部に設置されている等、キャリブレーションが正しく行われているか否かの判定の処理に車両１の各部の動作が必要となる場合、制御装置１５を制御し、車両１の各部（例えば、ドアミラー４１）を動作させ、光束パターン４２を、図３を用いて説明したような所定の位置へ照射させる。
　また、発光制御部２５は、発光装置１４による光束パターン４２の照射中においても、画像処理部２４から、合成された俯瞰映像を取得して、車両１周辺の地面（床面）に照射された光束パターン４２が地面（床面）に対して認識しやすいものであるか否かを判断し、その判断結果に基づいて、光束パターン４２の色および輝度を制御する。
　重畳画像生成部２６は、発光装置１４により発光される、図３を用いて説明したような光束パターン４２に対して、俯瞰映像生成のためのカメラパラメータが正しくキャリブレーションされている場合に所定幅だけ重なるとともに所定幅だけずれる直線または矩形により構成される重畳画像６２を生成する。重畳画像６２を構成する直線または矩形の色および透過度は、例えば、図４に示されるように、俯瞰映像に含まれる光束パターンの画像６１に対して重畳画像６２が重畳された状態において重なった重複部分６３が識別しやすくなるように設定される。具体的な例としては、光束パターン４２の色が赤である場合、重畳画像６２の色をある程度透過度を有する青とすることにより、重複部分６３が紫色に表示されるため、識別が容易となる。
　なお、重畳画像６２の透過度が低すぎたり、透過性を有しない場合、図５に示されるように、重複部分６３として認識するべき光束パターンの画像６１と重畳画像６２とが重なる個所も、重畳画像６２のみしか認識することができなくなる。これに対して、重畳画像６２の透過度が高すぎる場合、図６に示されるように、重複部分６３として認識するべき光束パターンの画像６１と重畳画像６２とが重なる個所も、光束パターンの画像６１のみしか認識することができなくなる。このようなことを避けるため、重畳画像生成部２６は、光束パターンの画像６１と重畳画像６２とが重なる重複部分６３は、図４を用いて説明したように、光束パターンの画像６１と重畳画像６２との色の混色として明確に認識可能なように、重畳画像６２の透過度を制御する。
　上述したように、光束パターン４２の色は、地面（または床面）の色や周囲の明るさによって変更されるため、重畳画像生成部２６は、発光制御部２５に光束パターン４２の発光制御の詳細を問い合わせ、その結果に基づいて、重畳画像６２の色および透過度を決定する。
　図１に戻り、画像判定処理部２７は、重畳画像生成部２６により生成された重畳画像６２が重畳された映像を、画像処理部２４から取得し、光束パターンの画像６１と重畳画像６２とが重なる重複部分６３を画像認識することによりキャリブレーションが正しく行われたか否かを判定する。
　具体的には、例えば、キャリブレーションが正しく行われていた場合、光束パターンの画像６１と重畳画像６２とが重なる重複部分６３は、図４を用いて説明したように、光束パターンの画像６１の色と重畳画像６２との色の混色を有し、設計値によりあらかじめ定められる所定幅の領域として明確に認識される。それに対して、キャリブレーションが正しく行われておらず、画像に歪みが生じている場合には、図７に示されるように、光束パターンの画像６１と重畳画像６２とが重なる重複部分６３の幅は一定ではなくなる。また、キャリブレーションが正しく行われておらず、画像にずれが生じている場合には、図８に示されるように、光束パターンの画像６１と重畳画像６２とが重なる重複部分６３が存在しなくなるか、または、存在しても、重複部分６３の幅の理論値(設計値によりあらかじめ定められる所定のドット数)よりも細くなったり、あるいは、理論値よりも太くなってしまう。
　図９を参照して、図３の矩形αで示した画像合成の境界に対応する部分の重複部分６３について説明する。図９においては、画像合成の境界において、光束パターンの画像６１が正しく連続して表示されていない。そして、境界部分に対して表示画面上方の重複部分６３の幅が理論値よりも狭いことにより、対応する部分の映像にずれが生じていることが認識される。また、境界部分に対して表示画面下方側の重複部分６３の幅が一定ではないことにより、対応する部分の映像に歪みが生じていることが認識される。画像判定処理部２７は、それらの判定結果を表示制御部２８に供給する。画像判定処理部２７による判定結果は、俯瞰映像にずれやゆがみが発生していることにより重複部分６３の幅が理論値と異なっている部分の強調表示でもよいし、テキストによるエラーメッセージや、理論値との乖離を示す数値データなどのいずれを含んでいてもよい。また、俯瞰映像のキャリブレーション結果の確認において、ずれやゆがみが一定以上である場合、具体的には、例えば、重複部分６３の幅が理論値よりも所定画素以上異なる箇所がある場合などには、警報を発生したり、俯瞰映像の使用を中止させるものとしてもよい。
　表示制御部２８は、画像処理部２４から供給される映像や画像を必要に応じて複数合成したり、必要なメッセージなどを加えて、表示画面を生成し、表示装置１２に供給し、その表示を制御する。また、表示制御部２８は、キャリブレーション結果の確認処理が行われる場合、制御部２３の制御に基づいて、画像判定処理部２７から供給された、キャリブレーションが正しく行われているか否か、また、キャリブレーションが正しく行われていない場合は、どの部分にずれやゆがみが生じているかを示す判定結果を、重畳画像６２が重畳された状態の俯瞰映像とともに、表示装置１２に供給して表示させる。
　すなわち、車載装置１６は、カメラ１１により撮像された映像を取得する映像取得部２１と、車両１に対して所定の位置の地面または床面に対して、光束パターン４２を照射する発光装置１４による光束パターン４２の発光を制御する発光制御部２５と、映像取得部２１により取得された映像を用いて、発光制御部２５により発光が制御された光束パターン４２を含む俯瞰映像を生成する画像処理部２４と、画像処理部２４により生成される俯瞰映像に含まれる光束パターンの画像６１に対応する位置に対して、重畳画像６２を生成する重畳画像生成部２６と、重畳画像生成部２６により生成された重畳画像６２が重畳された俯瞰映像において、重畳画像６２と光束パターンの画像６１との重複部分６３を検出することにより、俯瞰映像を生成するためのカメラパラメータが正確にキャリブレーションされているか否かを判定する画像判定処理部２７とを含む構成を有することにより、例えば、ディーラーなどの検査時に、マーカーやキャリブレーションチャートなどを用いた所定のキャリブレーションの後、車両１周囲の所定の位置に白線を引く（またはガムテープを張る）などの煩雑な作業を行うことなく、所定位置に照射される光束パターン４２と、光束パターンの画像６１を含む俯瞰映像に対する処理によって、キャリブレーション結果の確認を容易に正確に行うことができる。
　また、上述した構成は、運転者を補助するための車両１周辺の映像や合成処理によって得られる俯瞰映像などを生成するために用いられている各構成要素など、従来車両１に設けられている機構の多くを共通して利用することが可能であるため、低コストで実現することが可能である。
　次に、図１０のフローチャートを参照して、キャリブレーション結果の確認処理について説明する。
　ステップＳ１において、制御部２３は、操作入力部２２より、キャリブレーション結果の確認処理が指令されたか否かを判断する。ステップＳ１において、キャリブレーション結果の確認処理が指令されていないと判断された場合、キャリブレーション結果の確認処理が指令されたと判断されるまで、ステップＳ１の処理が繰り返される。
　ステップＳ１において、キャリブレーション結果の確認処理が指令されたと判断された場合、ステップＳ２において、制御部２３は、画像処理部２４、発光制御部２５、重畳画像生成部２６、画像判定処理部２７、および、表示制御部２８に、キャリブレーション結果の確認処理の開始を指令する。画像処理部２４は、映像取得部２１により取得された映像に対して、仮想の俯瞰視点から見た映像への視点変換処理を施し、それらに対して合成処理を施すことなどにより、俯瞰映像を生成し、発光制御部２５および重畳画像生成部２６に供給する。発光制御部２５は、センサ１３から供給された周辺の明るさの情報、または、画像処理部２４から供給された俯瞰映像のいずれか、または、両方に基づいて、光束パターン４２の色および輝度を演算する。
　ステップＳ３において、発光制御部２５は、ステップＳ２の処理における演算結果に基づいて、図２および図３を用いて説明したような光束パターン４２を地面（床面）に照射する。そして、画像処理部２４は、光束パターンの画像６１を含む俯瞰映像を生成する。この時、発光制御部２５は、発光装置１４が、例えば、図２を用いて説明した両側のドアミラー４１下部に設置されている等、キャリブレーションが正しく行われているか否かの判定の処理に車両１の各部の動作が必要となる場合、制御装置１５を制御して、車両１の各部を動作させ、光束パターン４２を所定の位置へ照射させる。
　ステップＳ４において、発光制御部２５は、画像処理部２４から供給された、光束パターンの画像６１を含む俯瞰映像に基づいて、撮像された画像において、光束パターンの画像６１は十分に認識可能であるか否かを判断する。ステップＳ４において、撮像された画像の光束パターンの画像６１は十分に認識可能ではないと判断された場合、処理はステップＳ２に戻り、それ以降の処理が繰り返される。
　ステップＳ４において、撮像された画像の光束パターンの画像６１は十分に認識可能であると判断された場合、ステップＳ５において、重畳画像生成部２６は、画像処理部２４から供給された俯瞰映像に基づいて、撮像された光束パターンの画像６１から、例えば、図４～図６を用いて説明したように、重畳画像６２の色および透過度を演算する。
　ステップＳ６において、重畳画像生成部２６は、ステップＳ５の処理における演算結果に基づいて、重畳画像６２を生成し、画像処理部２４に供給する。画像処理部２４は、生成した俯瞰映像に重畳画像６２を重畳し、画像判定処理部２７および表示制御部２８に供給する。
　ステップＳ７において、画像判定処理部２７は、図７および図８を用いて説明したようにして、光束パターンの画像６１と、重畳画像６２とが重なる重複部分６３を画像認識する。
　ステップＳ８において、画像判定処理部２７は、画像認識された重複部分６３の幅や形状に基づいて、キャリブレーション結果は正しいか否かを判断する。
　ステップＳ８において、キャリブレーション結果は正しいと判断された場合、ステップＳ９において、画像判定処理部２７は、正しくキャリブレーションされていることを通知するための情報を表示制御部２８に供給する。表示制御部２８は、正しくキャリブレーションされていることを通知するためのメッセージや画像などを生成して、俯瞰映像とともに表示装置１２に供給して表示させ、処理が終了される。
　ステップＳ８において、キャリブレーション結果は正しくないと判断された場合、ステップＳ１０において、画像判定処理部２７は、キャリブレーションに誤差が発生している部分を通知する情報を表示制御部２８に供給する。表示制御部２８は、正しくキャリブレーションされていないことを通知するための警告メッセージや、歪みやずれが発生している箇所を示す画像などを生成して、俯瞰映像とともに表示装置１２に供給して表示させ、処理が終了される。
　すなわち、車載装置１６が実行するキャリブレーション結果判定方法は、光束パターン４２の発光を制御する発光制御ステップと、カメラ１１により撮像された映像を用いて、発光制御ステップの処理により発光が制御された光束パターン４２を含む俯瞰映像を生成する画像生成ステップと、画像生成ステップの処理により生成された俯瞰映像に含まれる光束パターンの画像６１に対応する位置に対して、重畳画像６２を生成する重畳画像生成ステップと、重畳画像生成ステップの処理により生成された重畳画像６２が重畳された俯瞰映像において、重畳画像６２と光束パターンの画像６１との重複部分６３を検出することにより、俯瞰映像を生成するためのカメラパラメータが正確にキャリブレーションされているか否かを判定する画像判定ステップの処理を含んでいるので、例えば、ディーラーなどの検査時に、マーカーやキャリブレーションチャートなどを用いた所定のキャリブレーションの後、車両１周囲の所定の位置に白線を引く（またはガムテープを張る）などの煩雑な作業を行うことなくキャリブレーション結果を確認することができる。
　また、キャリブレーション結果の確認に用いられる光束パターン４２の色および強さは、地面や床面の色および周辺の明るさに基づいて設定されるので、これにより、キャリブレーションに用いる直線構造物としての白線等を構成するための資材を、周囲の明るさや地面または床の色によって使い分けるなどの手間がなくなる。さらに、キャリブレーション結果は正しいか否かの判定は、目視ではなく、画像処理によって実行され、判定に用いる重畳画像６２の色および透過度は、光束パターンの画像６１の色および強さに対して、重複部分６３が明確に判定可能なように設定されるので、従来の俯瞰画像の目視と比較して、信頼度の高い判定結果を得ることが可能となる。
　また、その車両１の利用者が、俯瞰映像に違和感を持った場合、簡単な処理で、俯瞰映像の生成のためのカメラパラメータのキャリブレーションの状態を確認することが可能であるので、正しくキャリブレーションされていない状態の俯瞰映像を利用し続けることを避けたり、キャリブレーションのためにディーラーに持ち込む必要があるか否かを容易に判断することが可能となる。
　上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。
　なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
　また、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
　１…車両、　１１－１～１１－４…カメラ、　１２…表示装置、　１３…センサ、　１４－１～１４－４…発光装置、　１５…制御装置、　１６…車載装置、　２１…映像取得部、　２２…操作入力部、　２３…制御部、　２４…画像処理部、　２５…発光制御部、　２６…重畳画像生成部、　２７…画像判定処理部、　２８…表示制御部、　４１…ドアミラー、　４２…光束パターン、　６１…光束パターンの画像、　６２…重畳画像、　６３…重複部分

Claims (8)

  1. 　車両の周囲を撮像するカメラにより撮像された映像を取得する映像取得部と、
    　前記車両に対して所定の位置の地面または床面に照射される光束パターンを発光する発光装置による前記光束パターンの発光を制御する発光制御部と、
    　前記映像取得部により取得された前記映像を用いて、前記発光制御部により発光が制御された前記光束パターンを含む俯瞰映像を生成する画像処理部と、
    　前記画像処理部により生成される前記俯瞰映像に含まれる前記光束パターンに対応する位置に対して、重畳画像を生成する重畳画像生成部と、
    　前記重畳画像生成部により生成された前記重畳画像が重畳された前記俯瞰映像において、前記重畳画像と前記光束パターンとの重複部分を検出することにより、前記俯瞰映像を生成するためのカメラパラメータが正確にキャリブレーションされているか否かを判定する画像判定処理部と
    　を有することを特徴とする車両用装置。
  2. 　請求項１に記載の車両用装置において、
    　前記発光制御部は、前記画像処理部により生成された前記俯瞰映像に基づいて、前記光束パターンの発光の色が、前記地面または前記床面の色と補色または補色に近い色となるように制御する
    　ことを特徴とする車両用装置。
  3. 　請求項１または２に記載の車両用装置において、
    　前記発光制御部は、前記画像処理部により生成された前記俯瞰映像に基づいて、前記光束パターンの発光の強さを制御する
    　ことを特徴とする車両用装置。
  4. 　請求項１または２に記載の車両用装置において、
    　前記発光制御部は、前記車両周辺の明るさの情報を取得し、前記明るさの情報に基づいて、前記光束パターンの発光の強さを制御する
    　ことを特徴とする車両用装置。
  5. 　請求項１から４のいずれかに記載の車両用装置において、
    　前記重畳画像生成部は、前記画像処理部により生成された前記俯瞰映像に含まれる前記光束パターンの色に基づいて、前記重畳画像を構成する前記重畳画像の色および透過度を決定する
    　ことを特徴とする車両用装置。
  6. 　請求項１から５のいずれかに記載の車両用装置と、
    　車両の周囲を撮像するカメラと、
    　前記車両に対して所定の位置の地面または床面に照射される光束パターンを発光する発光装置とを備える
    　ことを特徴とするキャリブレーション結果判定システム。
  7. 　車両における俯瞰映像のカメラパラメータのキャリブレーション結果を判定するキャリブレーション結果判定方法であって、
    　前記車両に対して所定の位置の地面または床面に照射される光束パターンを発光する発光装置による前記光束パターンの発光を制御する発光制御ステップと、
    　前記車両の周囲を撮像するカメラにより撮像された前記映像を用いて、前記発光制御ステップの処理により発光が制御された前記光束パターンを含む俯瞰映像を生成する画像生成ステップと、
    　前記画像生成ステップの処理により生成された前記俯瞰映像に含まれる前記光束パターンに対応する位置に対して、重畳画像を生成する重畳画像生成ステップと、
    　前記重畳画像生成ステップの処理により生成された前記重畳画像が重畳された前記俯瞰映像において、前記ラインと前記光束パターンとの重複部分を検出することにより、前記俯瞰映像を生成するためのカメラパラメータが正確にキャリブレーションされているか否かを判定する画像判定ステップと
    　を含むことを特徴とするキャリブレーション結果判定方法。
  8. 　車両に搭載されるコンピュータに、
    　前記車両に対して所定の位置の地面または床面に照射される光束パターンを発光する発光装置による前記光束パターンの発光を制御する発光制御ステップと、
    　前記車両の周囲を撮像するカメラにより撮像された映像を用いて、前記発光制御ステップの処理により発光が制御された前記光束パターンを含む俯瞰映像を生成する画像生成ステップと、
    　前記画像生成ステップの処理により生成された前記俯瞰映像に含まれる前記光束パターンに対応する位置に対して、重畳画像を生成する重畳画像生成ステップと、
    　前記重畳画像生成ステップの処理により生成された前記重畳画像が重畳された前記俯瞰映像において、前記ラインと前記光束パターンとの重複部分を検出することにより、前記俯瞰映像を生成するためのカメラパラメータが正確にキャリブレーションされているか否かを判定する画像判定ステップと
    　を含む処理を実行させるためのプログラム。
PCT/JP2018/011473 2017-09-12 2018-03-22 車両用装置、キャリブレーション結果判定システム、および、キャリブレーション結果判定方法、ならびに、プログラム WO2019053929A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP18856233.4A EP3654280B1 (en) 2017-09-12 2018-03-22 Vehicle device, calibration result determination system, calibration result determination method, and program
CN201880051609.8A CN111052179B (zh) 2017-09-12 2018-03-22 车辆用装置、校准结果判定系统、校准结果判定方法以及存储有程序的计算机可读存储介质
US16/787,078 US10861192B2 (en) 2017-09-12 2020-02-11 Vehicle device, calibration result determination method, and non-transitory storage medium

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017175195A JP6897442B2 (ja) 2017-09-12 2017-09-12 車両用装置、キャリブレーション結果判定システム、および、キャリブレーション結果判定方法、ならびに、プログラム
JP2017-175195 2017-09-12

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US16/787,078 Continuation US10861192B2 (en) 2017-09-12 2020-02-11 Vehicle device, calibration result determination method, and non-transitory storage medium

Publications (1)

Publication Number Publication Date
WO2019053929A1 true WO2019053929A1 (ja) 2019-03-21

Family

ID=65722529

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/011473 WO2019053929A1 (ja) 2017-09-12 2018-03-22 車両用装置、キャリブレーション結果判定システム、および、キャリブレーション結果判定方法、ならびに、プログラム

Country Status (5)

Country Link
US (1) US10861192B2 (ja)
EP (1) EP3654280B1 (ja)
JP (1) JP6897442B2 (ja)
CN (1) CN111052179B (ja)
WO (1) WO2019053929A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021123457A1 (en) * 2019-12-20 2021-06-24 Valeo Vision Method for aiding the manoeuvring of an automotive vehicle and automotive lighting device

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6958163B2 (ja) * 2017-09-20 2021-11-02 株式会社アイシン 表示制御装置
CN112257711B (zh) * 2020-10-26 2021-04-09 哈尔滨市科佳通用机电股份有限公司 一种铁路货车地板破损故障检测方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015119225A (ja) * 2013-12-16 2015-06-25 ソニー株式会社 画像処理装置、および画像処理方法、並びにプログラム
WO2015129280A1 (ja) * 2014-02-26 2015-09-03 京セラ株式会社 画像処理装置および画像処理方法
JP2016070814A (ja) 2014-09-30 2016-05-09 クラリオン株式会社 カメラキャリブレーション装置及びカメラキャリブレーションシステム

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7697053B2 (en) * 2006-11-02 2010-04-13 Eastman Kodak Company Integrated display having multiple capture devices
US7714923B2 (en) * 2006-11-02 2010-05-11 Eastman Kodak Company Integrated display and capture apparatus
US20080106591A1 (en) * 2006-11-02 2008-05-08 Border John N Two way communication system
US7808540B2 (en) * 2007-01-09 2010-10-05 Eastman Kodak Company Image capture and integrated display apparatus
JP4356763B2 (ja) * 2007-01-30 2009-11-04 トヨタ自動車株式会社 操作装置
JP4852555B2 (ja) * 2008-01-11 2012-01-11 株式会社コナミデジタルエンタテインメント 画像処理装置、画像処理方法、ならびに、プログラム
JP5206095B2 (ja) * 2008-04-25 2013-06-12 ソニー株式会社 構図判定装置、構図判定方法、プログラム
US9126525B2 (en) * 2009-02-27 2015-09-08 Magna Electronics Inc. Alert system for vehicle
US8463035B2 (en) * 2009-05-28 2013-06-11 Gentex Corporation Digital image processing for calculating a missing color value
EP2539197B1 (en) * 2010-02-26 2020-12-16 Gentex Corporation Automatic vehicle equipment monitoring, warning, and control system
JP5682788B2 (ja) * 2011-09-27 2015-03-11 アイシン精機株式会社 車両周辺監視装置
WO2013074604A2 (en) * 2011-11-15 2013-05-23 Magna Electronics, Inc. Calibration system and method for vehicular surround vision system
JP5861776B2 (ja) * 2012-05-08 2016-02-16 トヨタ自動車株式会社 俯瞰画像表示装置
JP6200689B2 (ja) * 2013-05-17 2017-09-20 京セラ株式会社 較正処理装置、カメラ較正装置、およびカメラ較正方法
US9800794B2 (en) * 2013-06-03 2017-10-24 Magna Electronics Inc. Vehicle vision system with enhanced low light capabilities
US9733728B2 (en) * 2014-03-03 2017-08-15 Seiko Epson Corporation Position detecting device and position detecting method

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015119225A (ja) * 2013-12-16 2015-06-25 ソニー株式会社 画像処理装置、および画像処理方法、並びにプログラム
WO2015129280A1 (ja) * 2014-02-26 2015-09-03 京セラ株式会社 画像処理装置および画像処理方法
JP2016070814A (ja) 2014-09-30 2016-05-09 クラリオン株式会社 カメラキャリブレーション装置及びカメラキャリブレーションシステム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021123457A1 (en) * 2019-12-20 2021-06-24 Valeo Vision Method for aiding the manoeuvring of an automotive vehicle and automotive lighting device
FR3105542A1 (fr) * 2019-12-20 2021-06-25 Valeo Vision Procédé d'aide à la manoeuvre d'un véhicule automobile et dispositif d'éclairage automobile

Also Published As

Publication number Publication date
EP3654280A4 (en) 2020-08-05
EP3654280B1 (en) 2021-07-14
CN111052179A (zh) 2020-04-21
US20200175722A1 (en) 2020-06-04
JP2019053361A (ja) 2019-04-04
CN111052179B (zh) 2023-10-24
JP6897442B2 (ja) 2021-06-30
EP3654280A1 (en) 2020-05-20
US10861192B2 (en) 2020-12-08

Similar Documents

Publication Publication Date Title
JP5339124B2 (ja) 車載カメラの校正装置
EP3368373B1 (en) Filling in surround view areas blocked by mirrors or other vehicle parts
JP4861034B2 (ja) 車載カメラのキャリブレーションシステム
US8947533B2 (en) Parameter determining device, parameter determining system, parameter determining method, and recording medium
EP2476587B1 (en) Vehicle surrounding monitor apparatus
JP2008530667A (ja) 赤外画像と可視画像との融合により車両の周辺を可視化するための方法および装置
EP2476588B1 (en) Vehicle surrounding monitor apparatus
JP2007104538A (ja) 車両用死角映像表示装置
JP2008077628A (ja) 画像処理装置並びに車両周辺視界支援装置及び方法
WO2019053929A1 (ja) 車両用装置、キャリブレーション結果判定システム、および、キャリブレーション結果判定方法、ならびに、プログラム
KR101547415B1 (ko) 상용차량 주위 근접부의 모니터링
CN110796711B (zh) 全景系统标定方法、装置、计算机可读存储介质及车辆
JP2007150658A (ja) 車載周辺画像表示装置
JP4867709B2 (ja) 表示歪み測定装置及び表示歪み測定方法
KR20160050439A (ko) 차량용 후방 카메라의 영상 보정 방법
JP2008037118A (ja) 車両用表示装置
JP2006303583A (ja) 車体外部表示装置及び車両外部表示装置の初期化方法
JP6855254B2 (ja) 画像処理装置、画像処理システム、及び、画像処理方法
JP6624383B2 (ja) キャリブレーション装置及び車載カメラシステム
CN114022450A (zh) 一种用于车辆全景环视测试的拼接效果判断方法
JP2005039599A (ja) 車両周辺監視装置
JP2007049392A (ja) 画像表示システム及び画像表示方法
JP2021118435A (ja) 画像処理装置及び画像処理方法
JP2014021543A (ja) 車両用視界支援装置および車両用視界支援プログラム
KR101797718B1 (ko) 차량용 스테레오 카메라와 avm의 통합 관리 시스템 및 관리 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18856233

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2018856233

Country of ref document: EP

Effective date: 20200212

NENP Non-entry into the national phase

Ref country code: DE