WO2017056484A1 - 画像処理装置、ステレオカメラ装置、車両及び画像処理方法 - Google Patents

画像処理装置、ステレオカメラ装置、車両及び画像処理方法 Download PDF

Info

Publication number
WO2017056484A1
WO2017056484A1 PCT/JP2016/004355 JP2016004355W WO2017056484A1 WO 2017056484 A1 WO2017056484 A1 WO 2017056484A1 JP 2016004355 W JP2016004355 W JP 2016004355W WO 2017056484 A1 WO2017056484 A1 WO 2017056484A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
camera
edge
image processing
frames
Prior art date
Application number
PCT/JP2016/004355
Other languages
English (en)
French (fr)
Inventor
直人 大原
修身 井上
Original Assignee
京セラ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 京セラ株式会社 filed Critical 京セラ株式会社
Priority to US15/763,309 priority Critical patent/US10558867B2/en
Priority to EP16850663.2A priority patent/EP3358295B1/en
Priority to JP2017542747A priority patent/JPWO2017056484A1/ja
Publication of WO2017056484A1 publication Critical patent/WO2017056484A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/174—Segmentation; Edge detection involving the use of two or more images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/536—Depth or shape recovery from perspective effects, e.g. by using vanishing points
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/107—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using stereoscopic cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/40—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the details of the power supply or the coupling to vehicle components
    • B60R2300/402—Image calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking

Definitions

  • the present disclosure relates to an image processing device, a stereo camera device, a vehicle, and an image calibration method.
  • stereo camera device that measures the distance to a subject using a plurality of cameras in a vehicle such as an automobile.
  • the distance correction apparatus described in Patent Document 1 calculates intersections (vanishing points) of vanishing lines obtained by extending two straight lines of the right image (reference image) and the left image (reference image), respectively.
  • the calibration error is determined so that the parallax d is zero.
  • the image processing apparatus includes an input unit and a controller.
  • the input unit obtains an image including a plurality of frames from the camera.
  • the controller detects an edge corresponding to at least one of two or more straight lines parallel to each other in the subject of the camera from each of the images of the plurality of frames acquired by the input unit.
  • the controller evaluates the detected edge and selects a frame to be used.
  • the controller calculates calibration data of an image acquired from the camera based on the approximate straight line of the edges obtained from a plurality of selected frames.
  • the stereo camera device of the present disclosure includes a stereo camera and an image processing device.
  • the image processing apparatus includes an input unit and a controller.
  • the input unit acquires an image including a plurality of frames from the stereo camera.
  • the controller detects an edge corresponding to at least one of two or more straight lines parallel to each other in the subject of the camera from each of the images of the plurality of frames acquired by the input unit.
  • the controller evaluates the detected edge and selects a frame to be used.
  • the controller calculates calibration data of an image acquired from the camera based on the approximate straight line of the edges obtained from a plurality of selected frames.
  • the vehicle of the present disclosure includes a stereo camera and an image processing device.
  • the image processing apparatus includes an input unit and a controller.
  • the input unit acquires an image including a plurality of frames from the stereo camera.
  • the controller detects an edge corresponding to at least one of two or more straight lines parallel to each other in the subject of the camera from each of the images of the plurality of frames acquired by the input unit.
  • the controller evaluates the detected edge and selects a frame to be used.
  • the controller calculates calibration data of an image acquired from the camera based on the approximate straight line of the edges obtained from a plurality of selected frames.
  • the image processing method includes an input unit acquiring a video including a plurality of frames from a camera.
  • the controller detects an edge corresponding to at least one of two or more straight lines parallel to each other in the subject of the camera from each of the images of the plurality of frames acquired by the input unit. including.
  • the image processing method includes the controller evaluating the detected edge and selecting a frame to be used.
  • the image processing method includes the controller calculating calibration data of a video acquired from the camera based on the approximate straight line of the edge obtained from a plurality of selected frames.
  • FIG. 1 is a diagram schematically illustrating a vehicle equipped with a stereo camera device that travels on a road.
  • FIG. 2 is a block diagram illustrating a schematic configuration of a stereo camera device according to one of a plurality of embodiments.
  • FIG. 3 is a diagram illustrating an example of an image acquired by the input unit.
  • FIG. 4 is a diagram illustrating an example of a binary image converted by the edge detection unit illustrated in FIG. 2, and FIG. 4A illustrates an example of a binary image in which the number of edges equal to or greater than a predetermined threshold is detected.
  • FIG. 4B is a diagram illustrating an example of a binary image in which the number of edges less than a predetermined threshold is detected.
  • FIG. 1 is a diagram schematically illustrating a vehicle equipped with a stereo camera device that travels on a road.
  • FIG. 2 is a block diagram illustrating a schematic configuration of a stereo camera device according to one of a plurality of embodiments.
  • FIG. 3 is
  • FIG. 5 is a diagram showing a set of edges in the region of interest detected by the edge detection unit shown in FIG. 2, and FIG. 5 (a) is detected from an image obtained by imaging a hill having two division lines.
  • 5B is a diagram showing a set of edges detected from an image obtained by imaging a flat road having two parallel lane markings
  • FIG. ) Is a diagram showing a set of edges detected from an image obtained by imaging a curved road having two lane markings.
  • FIG. 6 is a diagram illustrating an example of a histogram of image feature amounts.
  • FIG. 7 is a flowchart showing a procedure of image calibration performed by the image processing apparatus.
  • FIG. 8 is a flowchart illustrating a detailed procedure of determination processing performed by the determination unit.
  • the image can be calibrated more accurately.
  • the traveling direction (upward in the figure) of the vehicle 1 is the Z direction
  • the vehicle width direction (rightward in the figure) of the vehicle 1 is the X direction
  • the height direction which is the direction (the direction orthogonal to the paper surface), being the Y direction.
  • the “vehicle” in the present disclosure includes, but is not limited to, an automobile, a railway vehicle, an industrial vehicle, and a living vehicle.
  • the vehicle may include an airplane traveling on a runway.
  • the automobile includes, but is not limited to, a passenger car, a truck, a bus, a two-wheeled vehicle, a trolley bus, and the like, and may include other vehicles that travel on the road.
  • Rail vehicles include, but are not limited to, locomotives, freight cars, passenger cars, trams, guided railroads, ropeways, cable cars, linear motor cars, and monorails, and may include other vehicles that travel along the track.
  • Industrial vehicles include industrial vehicles for agriculture and construction.
  • Industrial vehicles include but are not limited to forklifts and golf carts.
  • Industrial vehicles for agriculture include, but are not limited to, tractors, tillers, transplanters, binders, combines, and lawn mowers.
  • Industrial vehicles for construction include, but are not limited to, bulldozers, scrapers, excavators, crane trucks, dump trucks, and road rollers.
  • Living vehicles include, but are not limited to, bicycles, wheelchairs, baby carriages, wheelbarrows, and electric standing two-wheelers.
  • Vehicle power engines include, but are not limited to, internal combustion engines including diesel engines, gasoline engines, and hydrogen engines, and electrical engines including motors. Vehicles include those that travel by human power.
  • the vehicle classification is not limited to the above.
  • the automobile may include an industrial vehicle capable of traveling on a road, and the same vehicle may be included in a plurality of classifications.
  • the stereo camera device 10 includes a stereo camera 11 configured to include two cameras, a first camera 11 a and a second camera 11 b, and an image processing device 12 electrically connected to the stereo camera 11.
  • a “stereo camera” is a plurality of cameras having parallax and cooperating with each other.
  • the stereo camera includes at least two cameras. In a stereo camera, it is possible to image a target from a plurality of directions by cooperating a plurality of cameras.
  • Stereo cameras include those capable of simultaneously imaging a target by cooperating a plurality of cameras. “Simultaneous” shooting is not limited to the exact same time.
  • the imaging time reference includes an imaging start time, an imaging end time, a captured image data transmission time, and a time at which the counterpart device receives the image data.
  • the stereo camera may be a device in which a plurality of cameras are included in one housing.
  • the stereo camera may be a device including two or more cameras which are independent from each other and located apart from each other.
  • the stereo camera is not limited to a plurality of cameras independent of each other.
  • a camera having an optical mechanism that guides light incident on two distant locations to one light receiving element can be adopted as a stereo camera.
  • the stereo camera device 10 two cameras, a first camera 11a and a second camera 11b, which are independent from each other are arranged.
  • a plurality of images obtained by capturing the same subject from different viewpoints may be referred to as “stereo images”.
  • the first camera 11a and the second camera 11b include individual image sensors.
  • the individual imaging device includes a CCD image sensor (Charge-Coupled Device Device Image Sensor) and a CMOS image sensor (Complementary MOS Image Sensor).
  • the first camera 11a and the second camera 11b may include a lens mechanism.
  • the optical axes of the first camera 11a and the second camera 11b face the direction in which the same object can be imaged.
  • the first camera 11a and the second camera 11b have different optical axes.
  • the first camera 11a and the second camera 11b have their optical axes and positions determined so that at least the same object is included in the captured image.
  • the optical axes of the first camera 11a and the second camera 11b are directed to be parallel to each other. This parallelism is not limited to strict parallelism, but allows assembly deviations, mounting deviations, and deviations over time.
  • the optical axes of the first camera 11a and the second camera 11b are not limited to being parallel but may be in different directions.
  • the first camera 11a and the second camera 11b are fixed with respect to the vehicle body of the vehicle 1 so that a change in position and orientation with respect to the vehicle 1 is reduced. Even if the first camera 11 a and the second camera 11 b are fixed, the position and the orientation may change with respect to the vehicle 1.
  • the optical axes of the first camera 11a and the second camera 11b face the front of the vehicle 1 (Z direction).
  • the stereo camera device 10 can image various subjects drawn on the road surface 13 during traveling, such as lane markings 14a to 14d such as road boundary lines and road center lines, leading vehicles, and obstacles.
  • the optical axes of the first camera 11a and the second camera 11b are inclined toward the road surface 13 from the Z direction.
  • the optical axes of the first camera 11a and the second camera 11b may be directed in the Z direction, and may be inclined toward the sky side from the Z direction.
  • the directions of the optical axes of the first camera 11a and the second camera 11b are appropriately changed according to the application.
  • the first camera 11a and the second camera 11b are located away from each other in the direction intersecting the optical axis.
  • the first camera 11 a and the second camera 11 b are located along the vehicle width direction (X direction) of the vehicle 1.
  • the first camera 11a is located on the left side of the second camera 11b when facing forward, and the second camera 11a is located on the right side of the first camera 11a when facing forward. Due to the difference in position between the first camera 11a and the second camera 11b, the positions of the subjects corresponding to each other in the two images captured by the cameras 11a and 11b are different.
  • the image output from the first camera 11a and the image output from the second camera 11b are stereo images captured from different viewpoints.
  • the baseline length direction in the present embodiment is the X direction.
  • the optical axes of the first camera 61 and the second camera 62 are fixed to the front side of the vehicle 1 toward the front of the vehicle 1 (Z direction). In one of the embodiments, the first camera 61 and the second camera 62 can image the outside of the vehicle 1 via the windshield of the vehicle 1. In a plurality of embodiments, the first camera 61 and the second camera 62 may be fixed to any of the front bumper, fender grille, side fender, light module, and bonnet of the vehicle 1.
  • the positions of the first camera 11a and the second camera 11b are not limited to this, and in another one of the embodiments, the first camera 11a and the second camera 11b are arranged in the vertical direction (Y Direction) or an oblique direction in the XY plane. In that case, the images output from the first camera 11a and the second camera 11b are stereo images having parallax in the vertical direction or the diagonal direction, respectively.
  • the direction in which the X direction of the three-dimensional coordinate space is projected is the x direction and the three dimensions.
  • the direction in which the Y direction of the coordinate space is projected is taken as the y direction.
  • an image output from the first camera 11a is used as a standard image
  • an image output from the second camera 11b is used as a reference image.
  • the stereo camera device 10 calculates the parallax of the reference image with respect to the standard image.
  • the first camera 11a and the second camera 11b may have the same specifications.
  • the first camera 11a and the second camera 11b may have different specifications.
  • a reference image may be captured by the second camera 11b and a reference image may be captured by the first camera 11a.
  • the first camera 11a and the second camera 11b each output a captured image as digital data to an image processing device 12 provided in the vehicle 1.
  • the image processing device 12 can perform various processes on each of the reference image output from the first camera 11a and the reference image output from the second camera 11b.
  • the image processing apparatus 12 may transmit / receive information to / from other information processing apparatuses in the vehicle 1 via a network such as CAN (Controller Area Network).
  • FIG. 2 is a block diagram showing a schematic configuration of the stereo camera device 10 according to the present embodiment.
  • the stereo camera device 10 includes the stereo camera 11 and the image processing device 12.
  • the image processing apparatus 12 includes an input unit 15, a control unit 16 as a controller, and a calibration data memory 17.
  • the input unit 15 is an input interface for inputting image data to the image processing apparatus 12.
  • the input unit 15 can employ a physical connector and a wireless communication device.
  • the physical connector includes an electrical connector that supports transmission using an electrical signal, an optical connector that supports transmission using an optical signal, and an electromagnetic connector that supports transmission using electromagnetic waves.
  • the electrical connector includes a connector conforming to IEC60603, a connector conforming to the USB standard, and a connector corresponding to the RCA terminal.
  • the electrical connector includes a connector corresponding to the S terminal specified in EIAJ CP-1211A and a connector corresponding to the D terminal specified in EIAJ RC-5237.
  • the electrical connector includes a connector conforming to the HDMI (registered trademark) standard and a connector corresponding to a coaxial cable including BNC.
  • the optical connector includes various connectors conforming to IEC 61754.
  • the wireless communication device includes a wireless communication device that complies with each standard including Bluetooth (registered trademark) and IEEE802.11.
  • the input unit 15 receives a standard image and a reference image as shown in FIG. 3 from each of the first camera 11a and the second camera 11b (hereinafter, arbitrary images of the standard image and the reference image are simply “images”). Image data) is input.
  • the input unit 15 delivers the input image data to the control unit 16.
  • the input to the input unit 15 includes a signal input via a wired cable and a signal input via a wireless connection.
  • the input unit 15 may correspond to the imaging signal transmission method of the stereo camera 11.
  • the control unit 16 is a part that executes various arithmetic processes of the image processing apparatus 12.
  • the control unit 16 includes one or a plurality of processors.
  • the control unit 16 or the processor may include one or a plurality of memories that store programs for various processes and information being calculated.
  • the memory includes volatile memory and nonvolatile memory.
  • the memory includes a memory independent of the processor and a built-in memory of the processor.
  • the processor includes a general-purpose processor that reads a specific program and executes a specific function, and a dedicated processor specialized for a specific process.
  • the dedicated processor includes an application specific IC (ASIC; Application Specific Circuit).
  • the processor includes a programmable logic device (PLD).
  • PLD includes FPGA (Field-ProgrammablemGate Array).
  • the control unit 16 may be one of SoC (System-on-a-Chip) and SiP (System-In-a-Package) in which one or a plurality of processors cooperate.
  • the calibration data memory 17 includes a rewritable memory for storing calibration data calculated by the calibration data calculation unit 21.
  • a flash memory or a magnetoresistive memory (MRAM (Magnetoresistive) Random Access Memory) can be used.
  • MRAM Magnetoresistive memory
  • a nonvolatile memory such as a ferroelectric memory (FeRAM (Ferroelectric Random Access) Memory) can be used.
  • control unit 16 includes an edge detection unit 18, a determination unit 19, an image feature amount calculation unit 20, a calibration data calculation unit 21, an image calibration unit 22, and a parallax calculation unit 23.
  • Each functional block may be a hardware module or a software module.
  • the control unit 16 can execute an operation that can be performed by each functional block.
  • the control unit 16 may execute all operations of each functional block.
  • the operation performed by each functional block may be rephrased as the operation performed by the control unit 16.
  • the process performed by the control unit 16 using any one of the functional blocks may be executed by the control unit 16 itself.
  • the edge detection unit 18 detects at least one edge from the image acquired by the input unit 15. For example, when the difference in pixel value between a certain pixel and a nearby pixel is equal to or greater than a predetermined value, the edge detection unit 18 detects the certain pixel or between the certain pixel and the nearby pixel as an edge. .
  • the edge detection unit 18 detects an edge from within a region of interest (Region of Interest: ROI) in the image.
  • ROI region of interest
  • the region of interest is empirically expected that two or more straight lines included in the subject of the camera appear in the image output from the plurality of cameras of the stereo camera device attached to the vehicle 1. It is an area.
  • the region of interest is preset.
  • Examples of the two or more straight lines included in the camera subject include a partition line 14c or 14d as indicated by a dotted line in FIG. “Parallel” with respect to two or more straight lines here is not limited to strict parallelism, but allows deviation within a predetermined range.
  • a pixel value difference between a pixel corresponding to the lane markings 14c and 14d on the image and a pixel corresponding to a road close to the lane markings 14c and 14d is predetermined. More than the value. Pixels corresponding to the end portions of the partition lines 14c and 14d are detected as edges by the edge detection unit 18.
  • the control unit 16 can identify portions corresponding to the partition lines 14c and 14d by detecting an edge from the image.
  • the edge detection unit 18 converts the image acquired by the input unit 15 into a grayscale image.
  • the edge detection unit 18 may enhance the edge of the image in the region of interest of the grayscale image by using a Canny method or the like, and convert the image into an inverted binary image as shown in FIG. Although the image shown in FIG. 4 is an inverted binary image, it may be a binary image.
  • the edge detection unit 18 specifies position coordinates representing the position of each detected edge in the image space.
  • the determination unit 19 evaluates whether the edge detected by the edge detection unit 18 is usable as calibration data. By this evaluation, a frame used as calibration data is selected from a plurality of frames captured by the stereo camera 11.
  • the determination unit 19 includes functional blocks such as a pixel number determination unit 24, a curve determination unit 25, and a straight line determination unit 26.
  • the control unit 16 may include one or more processors dedicated to the determination unit 19 separately from the processor that controls the whole.
  • the one or more processors dedicated to the determination unit 19 may include an ASIC.
  • the determination unit 19 may perform determination processing for each of a plurality of frames in parallel.
  • the pixel number determination unit 24 calculates the number of pixels of the edge detected by the edge detection unit 18, and determines whether or not the calculated number of pixels of the edge is equal to or greater than a predetermined threshold value. For example, the pixel number determination unit 24 determines that the number of pixels at the edge of a binary image as shown in FIG. The pixel number determination unit 24 determines, for example, that a binary image as illustrated in FIG. 4B has an edge pixel number less than a predetermined threshold.
  • the predetermined threshold value is a value that can be considered that a set of edge pixels is a line when the number of edge pixels is equal to or greater than this value.
  • the predetermined threshold is, for example, 40% of the number of vertical pixels of the region of interest when the edge of the binary image is thinned with a line width of 1 pixel.
  • the predetermined threshold value is not limited to 40%, and other values can be set.
  • the image for which the number of pixels at the edge is determined to be greater than or equal to a predetermined threshold by the pixel number determination unit 24 is subject to processing by the curve determination unit 25 described below.
  • the curve determination unit 25 calculates an approximate curve of the edge based on the position of the detected edge in the image space when the number of pixels of the edge detected by the edge detection unit 18 is equal to or greater than a predetermined threshold value. Specifically, the curve determination unit 25 fits the coordinates of each edge to a quadratic function represented by Expression (1) that represents an approximate curve in the image space represented by the x direction and the y direction. The secondary coefficient a shown in 1) is calculated.
  • the curve determination unit 25 determines whether or not the calculated absolute value of the second-order coefficient a is less than a predetermined threshold value.
  • the predetermined threshold is a value set in advance when the approximate line formed by the set of edges can be regarded as a straight line when the second-order coefficient is less than this value.
  • FIG. 5B is a diagram showing a set of edges detected from an image obtained by imaging a flat road having two parallel division lines.
  • the coordinates are taken in pixel units with the upper left point as the origin, the horizontal axis as the x axis, and the vertical axis as the y axis.
  • each figure shows a quadratic function calculated by fitting the right edge set out of the two detected edge sets.
  • the predetermined threshold value of the absolute value of the coefficient a is, for example, 0.010 in an image obtained by imaging a slope having two lane markings 14a and 14b.
  • a quadratic coefficient a of a quadratic function obtained by fitting the coordinates of the edge The absolute value of is 0.143.
  • the curve determination unit 25 determines that the coefficient a is equal to or greater than a predetermined threshold value. Further, in an image obtained by imaging a flat road having two parallel dividing lines as shown in FIG.
  • the absolute value of the second-order coefficient a is 0.005.
  • the curve determination unit 25 determines that the quadratic coefficient a is less than a predetermined threshold.
  • the absolute value of the second-order coefficient a is 0.876.
  • the curve determination unit 25 determines that the coefficient a is equal to or greater than a predetermined threshold value.
  • the image determined by the curve determination unit 25 that the absolute value of the secondary coefficient a is less than a predetermined threshold is subject to processing by the straight line determination unit 26 described next.
  • the straight line determination unit 26 determines, in the image space of the edge detected by the edge detection unit 18, an image for which the absolute value of the quadratic coefficient a of the approximate curve is determined to be less than a predetermined threshold by the curve determination unit 25.
  • the mean square error of the approximate straight line is calculated based on the position coordinates.
  • the straight line determination unit 26 fits the coordinates of each edge detected by the edge detection unit 18 to the linear function shown in the equation (2) representing the approximate straight line, thereby expressing the equation (2).
  • Calculate a first-order coefficient d and a constant e. y dx + e (2)
  • the straight line determination unit 26 calculates the mean square error of the coordinates of each edge for the linear function representing the calculated approximate straight line. Then, the straight line determination unit 26 determines whether or not the calculated mean square error is less than a predetermined threshold value.
  • the image for which the mean square error is determined to be less than the predetermined threshold by the straight line determination unit 26 is evaluated as usable for calculating calibration data.
  • the image feature amount calculation unit 20 calculates the image feature amount based on the information representing the approximate line output by the determination unit 19 when it is determined that the approximate line of the edge is a straight line.
  • the image feature amount is an amount that characterizes an image, and is, for example, a position coordinate in an image space of a vanishing point that is an intersection of two lane markings captured in the image illustrated in FIG.
  • the image feature amount may be, for example, a lane marking intersection angle ⁇ formed by two lane markings.
  • the image feature amount may be a lane line distance L that is a distance between two lane lines at a predetermined y coordinate.
  • the calibration data calculation unit 21 calculates calibration data for calibrating the reference image with respect to the reference image based on the statistical values of the plurality of image feature amounts calculated by the image feature amount calculation unit 20, and the calibration data Store in the memory 17. This calibration data is used for calibration in the image calibration unit 22 described later.
  • Statistic value is a value obtained by statistically processing a plurality of image feature quantities.
  • the statistical value is a value calculated by arbitrary statistical processing such as a mode value, median value, and average value of image feature amounts.
  • the calibration data calculation unit 21 generates a histogram of a plurality of image feature amounts, and calculates calibration data based on the mode value.
  • the histogram of image feature values may be the image feature value itself on the horizontal axis and the number of appearances for each image feature value on the vertical axis. As shown in FIG. 6, the histogram of the image feature amount takes a predetermined range of the image feature amount on the horizontal axis and takes the number of appearances of the image feature amount (the x coordinate of the vanishing point in the example of FIG. 6) in that range. It may be a thing.
  • the calibration data calculation unit 21 generates a histogram of the position coordinates of the vanishing point that is the intersection of two approximate lines respectively output from the reference image of the plurality of frames by the image feature amount calculation unit 20.
  • the statistical value is calculated as the position coordinate of the first vanishing point.
  • the number of frames on which the statistical value is based can be set to 10,000 frames, for example.
  • the calibration data calculation unit 21 calculates calibration data, the statistical values of the x-coordinate and y-coordinate of each vanishing point are used as the position coordinates of the first vanishing point.
  • the calibration data calculation unit 21 uses the first vanishing point statistical value of the vanishing point position coordinate that is the intersection of the two approximate lines respectively output from the reference image of the plurality of frames by the image feature amount calculation unit 20.
  • the position coordinates of the second vanishing point are calculated by the same method as the above coordinates.
  • the calibration data calculation unit 21 uses the statistical value of the vanishing point in each frame as the first vanishing point as described above. For example, the calibration data calculation unit 21 may calculate two approximate straight lines based on the edges of the lane markings 14c and 14d that are determined to be usable in different frames, and set the intersection point thereof as the first vanishing point. For example, the calibration data calculation unit 21 may calculate two approximate lines based on the edges of the lane markings 14c and 14d determined to be usable in different frames, and may set the intersection point as the second vanishing point. The calibration data calculation unit 21 calculates a first vanishing point and / or a second vanishing point from different frames, thereby using a frame in which it is determined that only one edge of the lane markings 14c and 14d can be used. can do.
  • the calibration data calculation unit 21 calculates calibration data for calibrating the reference image with respect to the reference image so that the position coordinates of the first vanishing point and the position coordinates of the second vanishing point coincide.
  • the calibration data calculation unit 21 uses the statistical value of the lane marking intersection angle ⁇ of the two approximate lines output from the reference image of the plurality of frames by the image feature quantity calculation unit 20 as the first lane marking intersection angle ⁇ 1. It may be calculated. In this case, the calibration data calculation unit 21 uses the statistical value of the lane marking intersection angle ⁇ of the two approximate lines respectively output from the reference images of the plurality of frames by the image feature quantity calculation unit 20 as the second lane marking intersection angle ⁇ 2. Calculate as The calibration data calculation unit 21 then calibrates the calibration angle for calibrating the angle of view of the reference image with respect to the base image so that the first lane marking intersection angle ⁇ 1 and the second lane marking intersection angle ⁇ 2 coincide. Is calculated.
  • the calibration data calculation unit 21 calculates a statistical value of the lane line distance L of the two approximate lines respectively output from the reference image of the plurality of frames by the image feature amount calculation unit 20 as the first lane line distance L1. May be. In this case, the calibration data calculation unit 21 calculates the statistical value of the lane line distance L of the two approximate lines respectively output from the reference images of the plurality of frames by the image feature amount calculation unit 20 as the second lane line distance L2. To do. Then, the calibration data calculation unit 21 calculates calibration data for calibrating the angle of view of the reference image with respect to the reference image so that the first lane line distance L1 and the second lane line distance L2 coincide. To do.
  • the image calibration unit 22 calibrates the reference image with respect to the reference image based on the calibration data calculated by the calibration data calculation unit 21 and accumulated in the calibration data memory 17. This calibration is to electronically calibrate the displacement between the first camera and the second camera over time or due to external vibration or shock by converting the image in the image calibration unit. As a result, the image calibration unit 22 creates a parallel equivalence state in the reference image and the standard image.
  • the parallax calculation unit 23 uses the standard image and the reference image calibrated by the image calibration unit 22.
  • the parallax calculation unit 23 divides the reference image into a plurality of regions.
  • the parallax calculation unit 23 matches each of the divided plural areas with the reference image.
  • the parallax calculation unit 23 calculates the distance between the two regions that are matched between the base image and the reference image based on the difference in coordinates in the left-right direction.
  • the parallax calculation unit 23 uses the two captured images as a standard image and a reference image, respectively, and divides the reference image into blocks (small regions) in the vertical and horizontal directions.
  • the parallax calculation unit 23 sequentially sorts the blocks of the reference image in the base line length direction (direction connecting the optical centers of the two cameras of the stereo camera) with a constant pitch (for example, one pixel at a time). ) Shift to match.
  • the matching is performed by comparing the luminance or color pattern between the pixel of the block of the reference image and the corresponding pixel of the standard image.
  • the parallax calculation unit 23 identifies an object existing at the position by detecting a portion where a region having the same distance is fixed.
  • the parallax calculation unit 23 identifies the distance to the identified object from the distance of the area where the object is identified.
  • the objects identified by the parallax calculation unit 23 include obstacles.
  • the obstacle includes at least one of a human, a vehicle, a road sign, a building, and a plant.
  • the parallax calculation unit 23 associates the identified object with the distance image.
  • the parallax calculation unit 23 outputs information including at least one of the distance image, the identified object, and the distance to the object via the output unit 27.
  • the parallax calculation unit 23 executes processing in real time.
  • the distance obtained by the parallax calculation unit 23 is used for warning to the driver for collision avoidance together with distance information obtained from other sensors such as laser radar and millimeter wave radar as necessary. Further, the distance obtained by the parallax calculation unit 23 is used for driving support including accelerator or brake control for auto-cruise control as necessary.
  • the parallax calculation unit 23 can include a parallel processing arithmetic circuit dedicated to stereo image processing as the parallax calculation circuit in order to perform one-dimensional matching between the standard image and the reference image at high speed.
  • the input unit 15 acquires images from the first camera 11a and the second camera 11b, respectively (step S11).
  • step S12 When an image is acquired by the input unit 15 in step S11, it is determined whether or not it is time to calculate calibration data (step S12).
  • the edge detection unit 18 detects an edge from the region of interest of the acquired image (step S13).
  • the determination unit 19 When an edge is detected in step S13, the determination unit 19 performs a determination process based on the detected edge (step S14).
  • the timing for calculating the calibration data is, for example, when a user inputs an instruction to calculate the calibration data, when the vehicle 1 performs a predetermined operation, or when a predetermined time has elapsed since the previous calculation. , Etc. are predetermined timings.
  • the edge detection and determination processing may be performed for all the frames of images acquired by the input unit 15 within a predetermined time, or frames at a certain interval among a plurality of frames of images acquired by the input unit 15. You may do this for the image.
  • the edge detection and determination processing may be performed at predetermined time intervals, or the next processing may be started after the previous determination processing is completed.
  • the edge detection unit 18 detects an edge from the region of interest of the image, and detects the number of pixels of the edge (step S141).
  • step S141 the pixel number determination unit 24 of the determination unit 19 determines whether or not the number of edge pixels is equal to or greater than a predetermined threshold (step S142).
  • step S142 If it is determined in step S142 that the number of pixels of the edge is greater than or equal to a predetermined threshold, the curve determination unit 25 calculates an approximate curve based on the position of the detected edge in the image space (step S143). .
  • the curve determination unit 25 determines whether or not the absolute value of the quadratic coefficient a of the quadratic function representing the approximate curve is less than a predetermined threshold (step S144). .
  • step S144 If it is determined in step S144 that the absolute value of the secondary coefficient a is less than the predetermined threshold value, the straight line determination unit 26 approximates based on the position of the edge detected by the edge detection unit 18 in the image space. Calculate a straight line. The straight line determination unit 26 calculates a mean square error for the linear function representing the calculated approximate straight line (step S145).
  • step S145 the straight line determination unit 26 determines whether or not the calculated mean square error is less than a predetermined threshold (step S146).
  • step S142 When it is determined in step S142 that the number of pixels of the edge is less than the predetermined threshold, the determination unit 19 evaluates that the image cannot be used to calculate calibration data (step S147).
  • step S144 When it is determined in step S144 that the absolute value of the secondary coefficient a is equal to or greater than a predetermined threshold, the determination unit 19 evaluates that the image is unusable for calculation of calibration data (step S147).
  • step S146 When it is determined in step S146 that the mean square error is greater than or equal to a predetermined threshold, the determination unit 19 evaluates that the image is unusable for calculation of calibration data (step S147).
  • the determination unit 19 evaluates that the image subjected to each determination can be used for calculation of calibration data (step S148).
  • the first requirement is that the number of pixels of the detected edge is greater than or equal to a predetermined threshold.
  • the second requirement is that the absolute value of the secondary coefficient a is less than a predetermined threshold value.
  • the third requirement is that the mean square error is less than a predetermined threshold.
  • the image feature amount calculation unit 20 uses the plurality of images evaluated as usable. Each of the image feature amounts is calculated (step S16).
  • the image feature amount calculation unit 20 calculates calibration data from the statistical value of the image feature amount and stores it in the calibration data memory 17 (step S17).
  • step S ⁇ b> 11 If it is determined in step S ⁇ b> 11 that an image is acquired by the input unit 15 and it is not time to calculate calibration data in step S ⁇ b> 12, the image calibration unit 22 uses the reference data based on the calibration data stored in the calibration data memory 17. The reference image is calibrated with respect to (step S18).
  • the parallax calculation unit 23 uses the standard image and the reference image calibrated by the image calibration unit 22, and the parallax with the standard image in each region of the reference image. Is calculated (step S19).
  • step S19 When the parallax is calculated in step S19 and the parallax calculation is not finished, the process returns to step S11, and the input unit 15 acquires a new reference image and reference image. For the acquired standard image and reference image, the calibration of the image in step S18 and the calculation of the parallax in step S19 are repeated.
  • step S20 the processing of the image processing device 12 ends.
  • the end of the parallax calculation is based on predetermined requirements such as when the user inputs an instruction to end, when an end instruction is transmitted from another device, or when a predetermined time elapses. Made when you meet.
  • the image is calibrated in step S18 and the parallax is calculated in step S19.
  • the image calibration in step S18 and the parallax calculation in step S19 may be performed in parallel with steps S13 to S17. In that case, the calibration data currently stored in the calibration data memory 17 is used for the calibration of the image.
  • the image processing apparatus 12 detects an edge from each of a plurality of frame images, and outputs two approximate lines from each image of each frame based on the detected edges. Therefore, when there are lane markings that are not regarded as straight lines, such as curved lane markings 14c and 14d, in the image processing apparatus 12, only the straight lines excluding the curved lane markings 14c and 14d are included. Can be output.
  • the image processing apparatus 12 can determine the image feature amount from the sorted images of a plurality of frames, and thereby can calibrate the image with higher accuracy than when calibrating without sorting. .
  • the image processing device 12 outputs an approximate straight line based on an edge when it is determined that the number of pixels of the edge is equal to or greater than a predetermined threshold.
  • the image processing device 12 can reduce the possibility of calibrating the image based on a low-precision approximate line based on edges with a small number of pixels, and therefore the image processing device 12 calibrates the image with high accuracy. It becomes possible to do.
  • the image processing device 12 when the quadratic function representing the approximate curve is calculated based on the edge and it is determined that the absolute value of the quadratic coefficient is less than the predetermined threshold, the image processing device 12 Output a straight line. Therefore, the image processing device 12 can reduce the possibility of calibrating the image based on the edge of the distribution approximated by a curve. Therefore, the image processing device 12 can calibrate the image with high accuracy.
  • the image processing apparatus 12 when it is determined that the least square error of the approximated straight line of the edge is less than the predetermined threshold, the image processing apparatus 12 outputs the approximated straight line of the edge. Therefore, the image processing apparatus 12 can reduce the possibility of calibrating an image based on a straight line constituted by edges distributed with low detection accuracy. Therefore, the image processing device 12 can calibrate the image with high accuracy.
  • the image acquired by the input unit 15 includes an image in which two or more lane markings parallel to each other are imaged in the three-dimensional coordinate space.
  • the image processing apparatus 12 may perform image processing based on an image in which two or more partition lines parallel to each other are captured in the three-dimensional coordinate space.
  • the lane markings include those stipulated by treaties, agreements, laws and regulations.
  • the lane marking includes, for example, those stipulated by the Road Traffic Act of Japan. Since the image processing apparatus 12 uses a lane marking as defined by a treaty, agreement, law, or rule, the image processing apparatus 12 can easily acquire an image in which the lane marking is captured.
  • the curve determination unit 25 determines the absolute value of the quadratic coefficient a of the approximate curve. Is less than a predetermined threshold value.
  • the straight line determination unit 26 determines whether the mean square error is less than the predetermined threshold.
  • the determination unit 19 may omit determination by any one or two of the pixel number determination unit 24, the curve determination unit 25, and the straight line determination unit 26. In this case, the determination unit 19 evaluates that an image that satisfies the conditions in other determinations can be used as calibration data. Thereby, it is possible to reduce the processing load related to the determination by the image processing apparatus 12.
  • the determination unit 19 may change the order of determination by the pixel number determination unit 24, the curve determination unit 25, and the straight line determination unit 26.
  • the calibration data calculation unit 21 refers to the reference image based on the statistical values of the plurality of image feature amounts calculated from the reference image and the reference image of the plurality of frames captured by the stereo camera 11. Calibration data for calibrating the image is calculated.
  • the calibration data calculation unit 21 may calculate calibration data based on a selected frame among a plurality of frames captured by the monocular camera 11a. In this case, the calibration data calculation unit 21 calculates calibration data using an image feature amount that is a predetermined reference, based on an approximate line of edges obtained from a selected frame of an image related to the monocular camera 11a. To do.
  • the calibration data calculation unit 21 determines in advance the reference coordinates of the vanishing point of an image captured by a monocular camera that images the front of the vehicle 1, detects the vanishing point change by the camera according to the present disclosure, Calibration accuracy can be increased so that the vanishing point coordinates coincide with the reference coordinates.
  • the image feature amount calculation unit 20 obtains a vanishing point for each frame of the base image and the reference image. Then, the image feature amount calculation unit 20 calculates the first vanishing point and the second vanishing point from the vanishing point statistical value (mode) obtained for each frame, but is not limited thereto. . For example, in each frame, the image feature amount calculation unit 20 replaces the vanishing point coordinate data with respect to each of the base image and the reference image, and calculates the parameter d of the equation (2) calculated by the straight line determination unit 26 of a plurality of frames. , E.
  • the image feature amount calculation unit 20 obtains the two partition lines 14c and 14d represented by Expression (4) using the statistical values d s and e s of the accumulated parameters d and e, respectively.
  • y d s x + e s (4)
  • the curve determination unit 25 calculates a quadratic function representing the approximate curve of the edge and determines whether or not the absolute value of the quadratic coefficient is less than a predetermined threshold. is not. For example, the curve determination unit 25 calculates a higher-order function (for example, a cubic function, a quartic function, etc.) than the quadratic representing the approximate curve, and whether or not the quadratic or higher coefficient is less than a predetermined threshold value. May be determined.
  • a higher-order function for example, a cubic function, a quartic function, etc.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Mechanical Engineering (AREA)
  • Electromagnetism (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)
  • Image Processing (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

画像処理装置１２は、カメラ１１ａによって撮像された画像を取得する入力部１５と、入力部１５によって取得された複数フレームの画像それぞれから、カメラ１１ａの被写体に含まれる互いに平行な２本以上の直線の少なくとも１本に対応するエッジを検出し、検出されたエッジを評価して使用するフレームを選別し、複数の選別されたフレームから得られるエッジの画素の近似直線に基づいて、カメラ１１ａの較正データを算出するコントローラ１６と、を備える。

Description

画像処理装置、ステレオカメラ装置、車両及び画像処理方法 関連出願の相互参照
　本出願は、２０１５年９月２８日出願の日本国特許出願２０１５－１９０４４９の優先権を主張するものであり、当該出願の開示全体を、ここに参照のために取り込む。
　本開示は、画像処理装置、ステレオカメラ装置、車両及び画像較正方法に関する。
　自動車等の車両に、複数のカメラを用いて被写体までの距離を測定するステレオカメラ装置がある。
　被検出物までの距離を正確に算出するには、ステレオカメラを構成する２台のカメラの相対的な位置がずれていないことが前提である。ところが、ステレオカメラの取付け精度が低かったり、ステレオカメラの取付け後に外部からの振動及び衝撃、並びに経時変化によってその位置が変化したりすることによって、２台のカメラの相対的な位置がずれてしまうことがある。
　そこで、ステレオカメラの位置のずれに起因した画像のずれを、基準画像及び参照画像に撮像された白線等の区画線に基づいて較正する方法が知られている（例えば、特許文献１参照）。基準画像及び参照画像にそれぞれ撮像されている路面上の２本の白線それぞれを延長した延長線の交点である消失点に対応する３次元座標空間上での点は、３次元座標空間上においてステレオカメラから無限遠にある。すなわち、２台のカメラが正確な位置で取り付けられている場合、基準画像での消失点と、参照画像での消失点との視差ｄは０である。そのため、特許文献１に記載の距離補正装置は、右の画像（基準画像）及び左の画像（参照画像）のそれぞれ２本の直線を延長した消線の交点（消失点）を算出し、それらの視差ｄを０とするように較正誤差を決定している。
特表２００８－５０９６１９号公報
　本開示の画像処理装置は、入力部とコントローラとを備える。前記入力部は、カメラにから複数のフレームを含む映像を取得する。前記コントローラは、前記入力部によって取得された前記複数フレームの前記画像それぞれから、前記カメラの被写体において互いに平行な２本以上の直線の少なくとも１本に対応するエッジを検出する。前記コントローラは、前記検出された前記エッジを評価して使用するフレームを選別する。前記コントローラは、複数の選別された前記フレームから得られる前記エッジの近似直線に基づいて、前記カメラから取得する映像の較正データを算出する。
　本開示のステレオカメラ装置は、ステレオカメラと画像処理装置とを備える。前記画像処理装置は、入力部とコントローラとを含む。前記入力部は、前記ステレオカメラから複数のフレームを含む映像を取得する。前記コントローラは、前記入力部によって取得された前記複数フレームの前記画像それぞれから、前記カメラの被写体において互いに平行な２本以上の直線の少なくとも１本に対応するエッジを検出する。前記コントローラは、前記検出された前記エッジを評価して使用するフレームを選別する。前記コントローラは、複数の選別された前記フレームから得られる前記エッジの近似直線に基づいて、前記カメラから取得する映像の較正データを算出する。
　本開示の車両は、ステレオカメラと画像処理装置とを備える。前記画像処理装置は入力部とコントローラとを含む。前記入力部は、前記ステレオカメラから複数のフレームを含む映像を取得する。前記コントローラは、前記入力部によって取得された前記複数フレームの前記画像それぞれから、前記カメラの被写体において互いに平行な２本以上の直線の少なくとも１本に対応するエッジを検出する。前記コントローラは、前記検出された前記エッジを評価して使用するフレームを選別する。前記コントローラは、複数の選別された前記フレームから得られる前記エッジの近似直線に基づいて、前記カメラから取得する映像の較正データを算出する。
　本開示の画像処理方法は、入力部が、カメラから複数のフレームを含む映像を取得することを含む。前記画像処理方法は、コントローラが、前記入力部によって取得された前記複数フレームの前記画像それぞれから、前記カメラの被写体において互いに平行な２本以上の直線の少なくとも１本に対応するエッジを検出することを含む。前記画像処理方法は、前記コントローラが、前記検出された前記エッジを評価して使用するフレームを選別することを含む。前記画像処理方法は、前記コントローラが、複数の選別された前記フレームから得られる前記エッジの近似直線に基づいて、前記カメラから取得する映像の較正データを算出することを含む。
図１は、道路上を走行するステレオカメラ装置を搭載した車両を簡略化して示す図である。 図２は、複数の実施形態の一つに係るステレオカメラ装置の概略構成を示すブロック図である。 図３は、入力部によって取得された画像の例を示す図である。 図４は、図２に示すエッジ検出部によって変換された２値画像の例を示す図であり、図４（ａ）は、所定の閾値以上の数のエッジが検出される２値画像の例を示す図、図４（ｂ）は、所定の閾値未満の数のエッジが検出される２値画像の例を示す図である。 図５は、図２に示すエッジ検出部によって検出された関心領域内のエッジの集合を示す図であり、図５（ａ）は、２本の区画線を有する坂道を撮像した画像から検出されたエッジの集合を示す図であり、図５（ｂ）は、平行な２本の区画線を有する平坦な道を撮像した画像から検出されたエッジの集合を示す図であり、図５（ｃ）は、２本の区画線を有するカーブしている道を撮像した画像から検出されたエッジの集合を示す図である。 図６は、画像特徴量のヒストグラムの例を示す図である。 図７は、画像処理装置が行う画像較正の手順を示すフローチャートである。 図８は、判定部が行う判定処理の詳細な手順を示すフローチャートである。
　上述のような従来技術の方法では、複数フレームの画像のうち、撮像された白線等の区画線が部分的に消えていることにより区画線が正確に検出されない画像があった場合、それらの区画線に基づいて算出した消失点は正確でない場合がある。そのため、正確に画像を較正することができないおそれがある。また、複数フレームの画像のうち、２本の区画線が直線でない画像があった場合には、それらの区画線に基づいて算出した消失点は無限遠にはない。そのため、それらの消失点の視差ｄを０とするようにしても正確に画像を較正することができないおそれがある。
　本開示によれば、画像をより正確に較正することができる。
　以下、本開示の実施の形態について、図面を参照して説明する。
　図１に示す３次元座標空間において、車両１の進行方向（図において上方向）をＺ方向、車両１の車幅方向（図において右方向）をＸ方向とし、Ｘ方向及びＺ方向に直交する方向（紙面に直交する方向）である高さ方向をＹ方向として、説明がされる。ここで、本開示における「車両」は、自動車、鉄道車両、産業車両、及び生活車両を含むが、これに限られない。例えば、車両は、滑走路を走行する飛行機を含んでよい。自動車は、乗用車、トラック、バス、二輪車、及びトロリーバス等を含むがこれに限られず、道路上を走行する他の車両を含んでよい。軌道車両は、機関車、貨車、客車、路面電車、案内軌道鉄道、ロープウエー、ケーブルカー、リニアモーターカー、及びモノレールを含むがこれに限られず、軌道に沿って進む他の車両を含んでよい。産業車両は、農業及び建設向けの産業車両を含む。産業車両には、フォークリフト、及びゴルフカートを含むがこれに限られない。農業向けの産業車両は、トラクター、耕耘機、移植機、バインダー、コンバイン、及び芝刈り機を含むが、これに限られない。建設向けの産業車両は、ブルドーザー、スクレーバー、ショベルカー、クレーン車、ダンプカー、及びロードローラを含むが、これに限られない。生活車両は、自転車、車いす、乳母車、手押し車、及び電動立ち乗り２輪車を含むが、これに限られない。車両の動力機関は、ディーゼル機関、ガソリン機関、及び水素機関を含む内燃機関、並びにモーターを含む電気機関を含むが、これに限られない。車両は、人力で走行するものを含む。なお、車両の分類は、上述に限られない。例えば、自動車は、道路を走行可能な産業車両を含んでよく、複数の分類に同じ車両が含まれてよい。
　ステレオカメラ装置１０は、第１のカメラ１１ａ及び第２のカメラ１１ｂの２つのカメラを含んで構成されるステレオカメラ１１と、ステレオカメラ１１に電気的に接続された画像処理装置１２とを備える。「ステレオカメラ」とは、互いに視差を有し、互いに協働する複数のカメラである。ステレオカメラは、少なくとも２つ以上のカメラを含む。ステレオカメラでは、複数のカメラを協働させて、複数の方向から対象を撮像することが可能である。ステレオカメラには、複数のカメラを協働させて対象を同時に撮像することができるものが含まれる。撮影の「同時」は、完全な同じ時刻に限られない。例えば、（ｉ）複数のカメラが同時刻に撮像すること、（ｉｉ）複数のカメラが同じ信号に基づいて撮像すること、及び（ｉｉｉ）複数のカメラが各々の内部時計において同時刻に撮像することは、本開示における「同時」に撮影するに含まれる。撮像の時間基準には、撮像の開始時刻、撮像の終了時刻、撮像した画像データの送信時刻、及び画像データを相手機器が受信した時刻が含まれる。ステレオカメラは、１つの筐体に複数のカメラが含まれる機器であってよい。ステレオカメラは互いに独立し、且つ互いに離れて位置する２台以上のカメラを含む機器であってよい。ステレオカメラは、互いに独立した複数のカメラに限られない。本開示では、例えば、離れた２箇所に入射される光を１つの受光素子に導く光学機構を有するカメラをステレオカメラとして採用できる。ステレオカメラ装置１０においては、互いに独立する第１のカメラ１１ａ及び第２のカメラ１１ｂの２台が並んでいる。本開示では、同じ被写体を異なる視点から撮像した複数の画像を「ステレオ画像」と呼ぶことがある。
　第１のカメラ１１ａ及び第２のカメラ１１ｂは、個体撮像素子を含む。個体撮像素子は、ＣＣＤイメージセンサ（Charge-Coupled Device Image Sensor）、及びＣＭＯＳイメージセンサ（Complementary MOS Image Sensor）を含む。第１のカメラ１１ａ及び第２のカメラ１１ｂは、レンズ機構を含んでよい。
　第１のカメラ１１ａ及び第２のカメラ１１ｂの光軸は、同じ対象物を撮像可能な方向を向いている。第１のカメラ１１ａ及び第２のカメラ１１ｂは、互いの光軸が異なる。第１のカメラ１１ａ及び第２のカメラ１１ｂは、撮像した画像に少なくとも同じ対象物が含まれるように、光軸及び位置が定められる。第１のカメラ１１ａ及び第２のカメラ１１ｂの光軸は、互いに平行になるように向けられる。この平行は、厳密な平行に限られず、組み立てのずれ、取付けのずれ、及びこれらの経時によるずれを許容する。第１のカメラ１１ａ及び第２のカメラ１１ｂの光軸は、平行に限られず、互いに異なる方向でよい。
　第１のカメラ１１ａ及び第２のカメラ１１ｂは、車両１に対する位置及び向きの変化が少なくなるように、車両１の車体に対して固定される。第１のカメラ１１ａ及び第２のカメラ１１ｂは、固定されていても、車両１に対して位置及び向きが変化する場合がある。第１のカメラ１１ａ及び第２のカメラ１１ｂの光軸は、車両１の前方（Ｚ方向）を向いている。
　ステレオカメラ装置１０は、走行中に路面１３に描かれた、たとえば、車道境界線、車道中央線等の区画線１４ａ～１４ｄ、先行車両、障害物等の種々の被写体を撮像することができる。第１のカメラ１１ａ及び第２のカメラ１１ｂの光軸は、Ｚ方向から路面１３側に傾いている。第１のカメラ１１ａ及び第２のカメラ１１ｂの光軸は、Ｚ方向を向いていてよく、Ｚ方向から空側に傾いていてよい。第１のカメラ１１ａ及び第２のカメラ１１ｂの光軸の向きは、用途に応じて適宜変更される。
　第１のカメラ１１ａ及び第２のカメラ１１ｂは、光軸に交わる方向において離れて位置している。複数の実施形態のうちの１つにおいて、第１のカメラ１１ａ及び第２のカメラ１１ｂは、車両１の車幅方向（Ｘ方向）に沿って位置している。第１のカメラ１１ａは、前方を向いたときに第２のカメラ１１ｂの左側に位置し、第２のカメラ１１ａは、前方を向いたときに第１のカメラ１１ａの右側に位置する。第１のカメラ１１ａと第２のカメラ１１ｂとの位置の違いにより、各カメラ１１ａ，１１ｂで撮像した２つの画像において、互いに対応する被写体の位置は、異なる。第１のカメラ１１ａから出力される画像と、第２のカメラ１１ｂから出力される画像とは、異なる視点から撮像したステレオ画像となる。車幅方向（Ｘ方向）に横並びに離間して配置される。第１のカメラ１１ａと第２のカメラ１１ｂとの光学中心を結んだ距離を「基線長」と呼び、その方向を「基線長方向」と呼ぶ。したがって、本実施の形態における基線長方向は、Ｘ方向となる。
　複数の実施形態のうちの１つにおいて、第１カメラ６１及び第２カメラ６２光軸は、車両１の前方（Ｚ方向）に向けて、車両１の前側に固定されている。複数の実施形態のうちの１つにおいて、第１カメラ６１及び第２カメラ６２は、車両１のウインドシールドを介して車両１の外部を撮像できる。複数の実施形態において、第１カメラ６１及び第２カメラ６２は、車両１のフロントバンパー、フェンダーグリル、サイドフェンダー、ライトモジュール、及びボンネットのいずれかに固定されていてよい。第１のカメラ１１ａと第２のカメラ１１ｂとの位置はこれに限られず、複数の実施形態のうちの他の１つにおいて、第１のカメラ１１ａ及び第２のカメラ１１ｂは、上下方向（Ｙ方向）又はＸＹ平面内の斜め方向に沿って位置してよい。 その場合、第１のカメラ１１ａ及び第２のカメラ１１ｂから出力される画像は、それぞれ上下方向又は斜め方向に視差を有するステレオ画像となる。
　以降の説明においては、第１のカメラ１１ａから出力される画像、及び第２のカメラ１１ｂから出力される画像の画像空間において、３次元座標空間のＸ方向を投影した方向をｘ方向、３次元座標空間のＹ方向を投影した方向をｙ方向とする。
　本実施の形態では、第１のカメラ１１ａにより出力された画像を基準画像とし、第２のカメラ１１ｂにより出力された画像を参照画像とする。ステレオカメラ装置１０は、基準画像に対する参照画像の視差を算出する。第１のカメラ１１ａと第２のカメラ１１ｂとしては、同一の仕様のものを用いてよい。第１のカメラ１１ａと第２のカメラ１１ｂとしては、異なる仕様のものを用いてよい。第２のカメラ１１ｂにより基準画像を撮像し、第１のカメラ１１ａにより参照画像を撮像することとしてよい。
　第１のカメラ１１ａ及び第２のカメラ１１ｂは、それぞれ撮像した画像をデジタルデータとして、車両１内に設けられた画像処理装置１２に出力する。画像処理装置１２は、第１のカメラ１１ａから出力される基準画像及び第２のカメラ１１ｂから出力される参照画像の各々に対して、種々の処理を行うことができる。画像処理装置１２は、車両１内の他の情報処理装置とＣＡＮ（Controller Area Network）等のネットワークを介して、情報を送受信してよい。
　図２は、本実施の形態に係るステレオカメラ装置１０の概略構成を示すブロック図である。前述のように、ステレオカメラ装置１０は、ステレオカメラ１１と画像処理装置１２とを備える。画像処理装置１２は、入力部１５と、コントローラとしての制御部１６と、較正データメモリ１７とを含んで構成されている。
　入力部１５は、画像処理装置１２へ画像データを入力する入力インタフェースである。入力部１５は、物理コネクタ、及び無線通信機が採用できる。物理コネクタは、電気信号による伝送に対応した電気コネクタ、光信号による伝送に対応した光コネクタ、及び電磁波による伝送に対応した電磁コネクタが含まれる。電気コネクタは、ＩＥＣ６０６０３に準拠するコネクタ、ＵＳＢ規格に準拠するコネクタ、ＲＣＡ端子に対応するコネクタを含む。電気コネクタは、EIAJ CP-1211Aに規定されるＳ端子に対応するコネクタ、EIAJ ＲC-5237に規定されるＤ端子に対応するコネクタを含む。電気コネクタは、ＨＤＭＩ（登録商標）規格に準拠するコネクタ、及びＢＮＣを含む同軸ケーブルに対応するコネクタを含む。光コネクタは、IEC 61754に準拠する種々のコネクタを含む。無線通信機は、Bluetooth（登録商標）、及びIEEE802.11を含む各規格に準拠する無線通信機を含む。無線通信機は、少なくとも１つのアンテナを含む。
　入力部１５には、第１のカメラ１１ａ及び第２のカメラ１１ｂそれぞれから、図３に示すような基準画像及び参照画像（以降、基準画像及び参照画像のうちの任意の画像を単に「画像」という）の画像データが入力される。入力部１５は入力された画像データを制御部１６に引き渡す。入力部１５への入力は、有線ケーブルを介した信号入力、及び無線接続を介した信号入力を含む。入力部１５は、ステレオカメラ１１の撮像信号の伝送方式に対応してよい。
　制御部１６は、画像処理装置１２の種々の演算処理を実行する部分である。制御部１６は、一つまたは複数のプロセッサを含む。制御部１６もしくはプロセッサは、種々の処理のためのプログラム及び演算中の情報を記憶する１または複数のメモリを含んでよい。メモリは、揮発性メモリ及び不揮発性メモリが含まれる。メモリは、プロセッサと独立しているメモリ、及びプロセッサの内蔵メモリが含まれる。プロセッサには、特定のプログラムを読み込ませて特定の機能を実行する汎用のプロセッサ、特定の処理に特化した専用のプロセッサが含まれる。専用のプロセッサには、特定用途向けＩＣ（ＡＳＩＣ；Application Specific Integrated Circuit）が含まれる。プロセッサには、プログラマブルロジックデバイス（ＰＬＤ；Programmable Logic Device）が含まれる。ＰＬＤには、ＦＰＧＡ（Field-Programmable Gate Array）が含まれる。制御部１６は、一つまたは複数のプロセッサが協働するＳｏＣ（System-on-a-Chip）、及びＳｉＰ（System In a Package）のいずれかであってよい。
　較正データメモリ１７は、較正データ算出部２１によって算出された較正データを記憶するための書き換え可能なメモリを含む。較正データメモリ１７は、例えば、フラッシュメモリ、磁気抵抗メモリ（ＭＲＡＭ（Magnetoresistive Random Access Memory））を用いることができる。較正データメモリ１７は、例えば、強誘電体メモリ（ＦｅＲＡＭ（Ferroelectric Random Access Memory））などの不揮発性メモリ等を用いることができる。
　複数の実施形態の１つにおける制御部１６の各構成要素が説明される。複数の実施形態のうちの１つにおいて、制御部１６は、エッジ検出部１８、判定部１９、画像特徴量算出部２０、較正データ算出部２１、画像較正部２２、及び視差算出部２３を含む。各機能ブロックは、ハードウエアモジュールであってよく、ソフトウエアモジュールであってよい。制御部１６は、各機能ブロックが行える動作を実行できる。制御部１６は、各機能ブロックの全ての動作を実行してよい。各機能ブロックが行う動作は、制御部１６が行う動作として言い換えてよい。制御部１６が各機能ブロックのいずれかを使役して行う処理は、制御部１６が自ら実行してよい。
　エッジ検出部１８は、入力部１５によって取得された画像から少なくとも１本のエッヂを検出する。例えば、エッヂ検出部１８は、ある画素が近くの画素との画素値の差が所定の値以上であると、当該ある画素、若しくは当該ある画素と当該近くの画素との間をエッヂとして検出する。エッヂ検出部１８は、画像における関心領域（Region of Interest : ROI）内からエッヂを検出する。ここで、関心領域とは、車両１に取り付けられたステレオカメラ装置の複数のカメラが出力した画像において、カメラの被写体に含まれる互いに平行な２本以上の直線が映ることが経験的に見込まれる領域である。関心領域は、予め設定される。カメラの被写体に含まれる互いに平行な２本以上の直線としては、例えば、図３の点線内で示されるような区画線１４ｃまたは１４ｄが挙げられる。ここでの２本以上の直線についての「平行」は、厳密な平行に限られず、所定の範囲内のずれを許容する。
　道路上の区画線１４ｃ，１４ｄが撮像されている画像において、画像上の区画線１４ｃ，１４ｄに相当する画素と区画線１４ｃ，１４ｄに近い道路に相当する画素とは画素値の差が所定の値以上となる。区画線１４ｃ，１４ｄの端部に相当する画素は、エッヂ検出部１８によってエッジとして検出される。制御部１６は、画像からエッジを検出することによって、区画線１４ｃ，１４ｄに相当する部分を特定できる。
　エッジ検出部１８は、入力部１５によって取得された画像をグレースケール画像に変換する。エッヂ検出部１８は、キャニー法等を用いることによって、グレースケール画像の関心領域内の画像のエッジを強調して、図４に示すような反転２値画像に変換してよい。図４に示される画像は反転２値画像となっているが、２値画像であってよい。エッヂ検出部１８は、検出された各エッジの画像空間内の位置を表す位置座標を特定する。
　判定部１９は、エッジ検出部１８で検出したエッジが較正データとして使用可能であるか否かを評価する。この評価によって、ステレオカメラ１１によって撮像された複数のフレームの画像のうち、較正データとして使用するフレームが選別される。判定部１９は、画素数判定部２４、曲線判定部２５、直線判定部２６等の機能ブロックを含んで構成される。
　制御部１６は、全体を制御するプロセッサとは別に、判定部１９専用の１または複数のプロセッサを含んでよい。判定部１９専用の１または複数のプロセッサは、ＡＳＩＣを含んでよい。判定部１９は、複数フレームのそれぞれについての判定処理を並列に行ってよい。
　判定部１９の各構成要素が説明される。
　画素数判定部２４は、エッジ検出部１８によって検出されたエッジの画素数を算出し、算出されたエッジの画素数が所定の閾値以上であるか否かを判定する。画素数判定部２４は、例えば、図４（ａ）に例として示すような２値画像を、エッジの画素数が所定の閾値以上であると判定される。画素数判定部２４は、例えば、図４（ｂ）に例として示すような２値画像を、エッジの画素数が所定の閾値未満であると判定する。ここで、所定の閾値とは、エッジの画素数がこの値以上である場合に、エッジの画素の集合が線であるとみなせる値である。所定の閾値は、例えば、２値画像のエッジが線幅１画素で細線化した場合、関心領域の縦の画素数の、例えば４０％である。所定の閾値は、４０％に限られず、他の値を設定することも可能である。
　画素数判定部２４によってエッジの画素数が所定の閾値以上であると判定された画像は、次に説明する曲線判定部２５による処理の対象となる。
　曲線判定部２５は、エッジ検出部１８によって検出されたエッジの画素数が所定の閾値以上である場合、検出されたエッジの画像空間内での位置に基づいてエッヂの近似曲線を算出する。具体的には、曲線判定部２５は、ｘ方向、ｙ方向で表される画像空間において近似曲線を表す式（１）に示される二次関数に各エッジの座標をフィッティングさせることによって、式（１）に示される２次の係数ａを算出する。
　ｙ＝ａｘ2＋ｂｘ＋ｃ　　　　　　　　　　　　　　　　　　　　　（１）
　曲線判定部２５は、算出された２次の係数ａの絶対値が所定の閾値未満であるか否かを判定する。ここで、所定の閾値とは、２次の係数がこの値未満である場合にエッジの集合によって形成される近似線が直線であるとみなせる値であり、予め設定される値である。
　図５を用いて曲線判定部２５による演算例が説明される。図５（ａ）は、２本の区画線を有する坂道（勾配Ｒ＝１００ｍ）を撮像した画像から検出されたエッジの集合を示す図である。図５（ｂ）は、平行な２本の区画線を有する平坦な道を撮像した画像から検出されたエッジの集合を示す図である。図５（ｃ）は、２本の区画線を有するカーブしている道（右カーブＲ＝４０ｍ）を撮像した画像から検出されたエッジの集合を示す図である。図５（ａ）～図５（ｃ）は、左上の点を原点とし、横軸をｘ軸、縦軸をｙ軸として画素単位で座標をとっている。各図の下は、検出された２つのエッジの集合のうち、右側のエッジの集合をフィッティングして算出した２次関数を示している。２本の区画線１４ａ、１４ｂを有する坂道を撮像した画像において係数ａの絶対値の所定の閾値が例えば０．０１０であるとする。この場合、図５（ａ）に例として示すように、平行な２本の区画線を有する坂道を撮像した画像では、エッジの座標をフィッティングして得られた２次関数の２次の係数ａの絶対値は０．１４３である。曲線判定部２５は、係数ａが所定の閾値以上であると判定する。また、図５（ｂ）に例として示すような、平行な２本の区画線を有する平坦な道を撮像した画像では、２次の係数ａの絶対値は０．００５である。曲線判定部２５、２次の係数ａが所定の閾値未満であると判定する。また、図５（ｃ）に例と示すような、平行な２本の区画線を有するカーブしている道を撮像した画像では、２次の係数ａの絶対値は０．８７６である。曲線判定部２５は、係数ａが所定の閾値以上であると判定する。
　曲線判定部２５によって２次の係数ａの絶対値が所定の閾値未満であると判定された画像は、次に説明する直線判定部２６による処理の対象となる。
　直線判定部２６は、曲線判定部２５によって近似曲線の２次の係数ａの絶対値が所定の閾値未満であると判定された画像について、エッジ検出部１８によって検出されたエッジの画像空間内での位置座標に基づいて近似直線の平均二乗誤差を算出する。具体的には、直線判定部２６は、近似直線を表す式（２）に示される一次関数に、エッジ検出部１８によって検出された各エッジの座標をフィッティングさせることによって、式（２）に示される一次の係数ｄ及び定数ｅを算出する。
　ｙ＝ｄｘ＋ｅ　　　　　　　　　　　　　　　　　　　　（２）
　直線判定部２６は、算出された近似直線を表す一次関数についての各エッジの座標の平均二乗誤差を算出する。そして、直線判定部２６は、算出された平均二乗誤差が所定の閾値未満であるか否かを判定する。
　直線判定部２６によって平均二乗誤差が所定の閾値未満であると判定された画像は、較正データ算出のために使用可能であると評価される。
　画像特徴量算出部２０は、エッジの近似線が直線であると判定された場合に判定部１９によって出力された近似直線を表す情報に基づいて画像特徴量を算出する。画像特徴量とは、画像を特徴付ける量であり、例えば、図３に例を示した画像に撮像されている２本の区画線の交点である消失点の画像空間での位置座標である。画像特徴量は、例えば２本の区画線のなす区画線交差角度θであってもよい。画像特徴量は、所定のｙ座標での２本の区画線の間の距離である区画線距離Ｌ等であってもよい。
　較正データ算出部２１は、画像特徴量算出部２０によって算出された複数の画像特徴量の統計値に基づいて、基準画像に対して参照画像を較正するための較正データを算出して、較正データメモリ１７に格納する。この較正データは、後述する画像較正部２２での較正に使用される。
　統計値とは、複数の画像特徴量を統計的に処理した値である。統計値は、例えば、画像特徴量の最頻値、中央値、平均値等の任意の統計的な処理によって算出される値である。例えば、較正データ算出部２１は、複数の画像特徴量のヒストグラムを生成して、その最頻値に基づいて較正データを算出する。画像特徴量のヒストグラムは、横軸に画像特徴量そのもの、縦軸に画像特徴量ごとの出現数をとったものでもよい。画像特徴量のヒストグラムは、図６に示すように、画像特徴量の所定の範囲を横軸にとり、その範囲の画像特徴量（図６の例では消失点のｘ座標）の出現数をとったものでもよい。
　具体的には、較正データ算出部２１は、画像特徴量算出部２０によって複数フレームの基準画像からそれぞれ出力された２本の近似直線の交点である消失点の位置座標のヒストグラムを生成し、その統計値を第１の消失点の位置座標として算出する。ここで統計値の基となるフレーム数は、例えば、１００００フレームとすることができる。較正データ算出部２１が較正データを算出する場合、各消失点のｘ座標及びｙ座標の統計値を第１の消失点の位置座標とする。また、較正データ算出部２１は、画像特徴量算出部２０によって複数フレームの参照画像からそれぞれ出力された２本の近似直線の交点である消失点の位置座標の統計値を、第１の消失点の座標と同様の方法により、第２の消失点の位置座標として算出する。
　較正データ算出部２１は、上記のように各フレームにおける消失点の統計値を第１の消失点としている。較正データ算出部２１は、例えば、異なるフレームにおいて使用可能と判定された区画線１４ｃ及び１４ｄのエッジに基づく２本の近似直線を算出し、それらの交点を第１の消失点としてよい。較正データ算出部２１は、例えば、異なるフレームにおいて使用可能と判定された区画線１４ｃ及び１４ｄのエッヂに基づく２本の近似直線を算出し、それらの交点を第２の消失点としてよい。較正データ算出部２１は、異なるフレームから第１の消失点及び第２の消失点の少なくとも一方を算出することで、区画線１４ｃ、１４ｄのいずれか一方のエッヂしか使用可能と判定されないフレームを利用することができる。
　較正データ算出部２１は、第１の消失点の位置座標と第２の消失点の位置座標とが一致するように基準画像に対して参照画像を較正するための較正データを算出する。
　また、較正データ算出部２１は、画像特徴量算出部２０によって複数フレームの基準画像からそれぞれ出力された２本の近似直線の区画線交差角度θの統計値を第１の区画線交差角度θ１として算出してもよい。この場合、較正データ算出部２１は、画像特徴量算出部２０によって複数フレームの参照画像からそれぞれ出力された２本の近似直線の区画線交差角度θの統計値を第２の区画線交差角度θ２として算出する。そして、較正データ算出部２１は、第１の区画線交差角度θ１と第２の区画線交差角度θ２とが一致するように、基準画像に対して参照画像の画角を較正するための較正データを算出する。
　また、較正データ算出部２１は、画像特徴量算出部２０によって複数フレームの基準画像からそれぞれ出力された２本の近似直線の区画線距離Ｌの統計値を第１の区画線距離Ｌ１として算出してもよい。この場合、較正データ算出部２１は、画像特徴量算出部２０によって複数フレームの参照画像からそれぞれ出力された２本の近似直線の区画線距離Ｌの統計値を第２の区画線距離Ｌ２として算出する。そして、較正データ算出部２１は、第１の区画線距離Ｌ１と第２の区画線距離Ｌ２とが一致するように、基準画像に対して参照画像の画角を較正するための較正データを算出する。
　画像較正部２２は、較正データ算出部２１によって算出されて較正データメモリ１７に蓄積された較正データに基づいて、基準画像に対する参照画像の較正を行う。この較正とは、経時的あるいは外部からの振動や衝撃等による第１のカメラ及び第２のカメラ間のずれを、画像較正部内での画像の変換により電子的に較正するものである。これにより、画像較正部２２は、参照画像及び基準画像において平行等位の状態を作る。
　視差算出部２３は、画像較正部２２で較正された基準画像及び参照画像を用いる。視差算出部２３は、参照画像を複数の領域に分割する。視差算出部２３は、分割した複数領域の各々と基準画像とをマッチングさせる。視差算出部２３は、基準画像と参照画像とでマッチングした２つの領域の左右方向における座標の違いに基づいて、当該領域の距離を算出する。
　具体的には、視差算出部２３は、撮像した２つの画像をそれぞれ、基準画像及び参照画像とし、参照画像を縦横それぞれブロック（小領域）に区分する。視差算出部２３は、区分された参照画像のブロックを、基準画像に対して基線長方向（ステレオカメラの２台のカメラの光学中心を結ぶ方向）に、順次等ピッチで（例えば、１ピクセルずつ）シフトしてマッチングを行う。マッチングは、参照画像のブロックの画素と、基準画像の対応する画素との輝度または色のパターンを比較することにより行われる。例えば、視差算出部２３は、輝度を比較する場合、双方の対応する各画素間の輝度の差の絶対値の合計が最小となるシフト量を探索して、このときのシフト量を視差として決定する。このようなマッチング処理において、視差算出部２３は、専用のハードウェア回路により実行することができる。視差算出部２３は、このようにして得られた視差ｄと２台のカメラの基線長ｂ及びカメラの焦点距離ｆから、三角測量の原理により、ブロックに撮像された被検出物までの距離Ｚを式（３）で算出することができる。
　　　　　　Ｚ＝ｂ・ｆ／ｄ　　　　　　　　　　　　　　（３）
　視差算出部２３は、距離が等しい領域が固まっている部分を検出することにより、当該位置に存在する物体を識別する。視差算出部２３は、物体を識別した領域の距離から、識別した物体までの距離を識別する。視差算出部２３が識別する物体には、障害物が含まれる。障害物には、人間、車両、道路標識、建築物、及び植物の少なくとも１つが含まれる。複数の実施形態の１つにおいて、視差算出部２３は、識別した物体と距離画像とを関連付ける。視差算出部２３は、距離画像、識別した物体、及び当該物体までの距離の少なくとも１つを含む情報を、出力部２７を介して出力する。複数の実施形態の１つにおいて、視差算出部２３は、リアルタイムで処理を実行する。
　視差算出部２３によって得られた距離は、必要に応じ、レーザーレーダー、ミリ波レーダー等他のセンサーから得られる距離情報とともに、衝突回避のためのドライバへの警告に活用される。また、視差算出部２３によって得られた距離は、必要に応じ、オートクルーズコントロールのためのアクセル又はブレーキの制御を含む運転支援に活用される。
　視差算出部２３は、基準画像と参照画像との一次元マッチングを高速で行うために、視差算出回路として、ステレオ画像処理専用の並列処理演算回路を備えることができる。
　以下に、図７及び図８のフローチャートを用いて、画像処理装置１２の画像処理方法が説明される。
　図７に示すように、入力部１５が、第１のカメラ１１ａ及び第２のカメラ１１ｂからそれぞれ画像を取得する（ステップＳ１１）。
　ステップＳ１１で入力部１５によって画像が取得されると、較正データを算出するタイミングであるか否か判定される（ステップＳ１２）。
　ステップＳ１２で較正データを算出するタイミングであると判定されると、エッジ検出部１８が、取得された画像の関心領域からエッジを検出する（ステップＳ１３）。
　ステップＳ１３でエッジが検出されると、判定部１９は、検出されたエッジに基づいて判定処理を行う（ステップＳ１４）。較正データを算出するタイミングは、例えば、利用者によって較正データの算出を指示するための入力がなされたとき、車両１が所定の動作を行ったとき、前回の算出から所定の時間が経過したとき、等のあらかじめ定められたタイミングである。
　エッジの検出及び判定の処理は、所定の時間内に入力部１５によって取得された全てのフレームの画像について行ってよいし、入力部１５によって取得された複数フレームの画像のうち一定の間隔のフレームの画像について行ってよい。エッジの検出及び判定の処理は、所定の時間間隔で行ってよいし、前の判定処理が完了してから次の処理を開始してもよい。
　図８を参照して判定処理の詳細が説明される。図８に示すように、エッジ検出部１８が画像の関心領域からエッジを検出し、エッジの画素数を検出する（ステップＳ１４１）。
　ステップＳ１４１でエッジの画素数が検出されると、判定部１９の画素数判定部２４が、エッジの画素数が所定の閾値以上であるか否かを判定する（ステップＳ１４２）。
　ステップＳ１４２で、エッジの画素数が所定の閾値以上であると判定されると、曲線判定部２５が、検出されたエッジの画像空間内での位置に基づいて近似曲線を算出する（ステップＳ１４３）。
　ステップＳ１４３で近似曲線が算出されると、曲線判定部２５は、近似曲線を表す二次関数の２次の係数ａの絶対値が所定の閾値未満であるか否かを判定する（ステップＳ１４４）。
　ステップＳ１４４で２次の係数ａの絶対値が所定の閾値未満であると判定されると、直線判定部２６が、エッジ検出部１８によって検出されたエッジの画像空間内での位置に基づいて近似直線を算出する。直線判定部２６が、算出された近似直線を表す一次関数についての平均二乗誤差を算出する（ステップＳ１４５）。
　ステップＳ１４５で平均二乗誤差が算出されると、直線判定部２６は、算出された平均二乗誤差が所定の閾値未満であるか否かを判定する（ステップＳ１４６）。
　ステップＳ１４２でエッジの画素数が所定の閾値未満であると判定された場合、判定部１９は、画像が較正データの算出に使用不可であると評価する（ステップＳ１４７）。ステップＳ１４４で２次の係数ａの絶対値が所定の閾値以上であると判定された場合、判定部１９は、画像が較正データの算出に使用不可であると評価する（ステップＳ１４７）。ステップＳ１４６で平均二乗誤差が所定の閾値以上であると判定された場合、判定部１９は、画像が較正データの算出に使用不可であると評価する（ステップＳ１４７）。
　判定部１９は、第１～第３の要件を満たす場合に、各判定の対象となった画像は較正データの算出に使用可能であると評価する（ステップＳ１４８）。第１の要件は、検出されたエッジの画素数が所定の閾値以上であるということである。第２の要件は、２次の係数ａの絶対値が所定の閾値未満であるということである。第３の要件は、平均二乗誤差が所定の閾値未満であるということである。
　図７に戻って、ステップＳ１５で判定部１９によって画像が較正データの算出に使用可能であると評価された場合、画像特徴量算出部２０は、使用可能であると評価された複数の画像からそれぞれ画像特徴量を算出する（ステップＳ１６）。
　ステップＳ１６で画像特徴量が算出されると、画像特徴量算出部２０は、画像特徴量の統計値から較正データを算出して、較正データメモリ１７に記憶する（ステップＳ１７）。
　ステップＳ１１で入力部１５によって画像が取得され、ステップＳ１２で較正データを算出するタイミングでないと判定された場合、画像較正部２２は較正データメモリ１７に記憶されている較正データに基づいて、基準画像に対して参照画像を較正する（ステップＳ１８）。
　ステップＳ１８で、基準画像に対する参照画像の位置が較正されると、視差算出部２３は、画像較正部２２で較正された基準画像及び参照画像を用い、参照画像の各領域における基準画像との視差を算出する（ステップＳ１９）。
　ステップＳ１９で視差が算出され、視差の算出を終了しない場合、ステップＳ１１に戻って、入力部１５が、新たな基準画像及び参照画像を取得する。取得された基準画像及び参照画像について、ステップＳ１８での画像の較正、ステップＳ１９での視差の算出が繰り返される。
　ステップＳ２０で視差の算出が終了する場合、画像処理装置１２の処理は終了する。視差の算出の終了は、利用者によって終了を指示する入力がされたとき、他の装置から終了の指示が送信されたとき、所定の時間が経過したとき等、あらかじめ定められた所定の要件を満たしたときになされる。なお、図７では、ステップＳ１３～Ｓ１７により較正データを記憶した後、ステップＳ１８での画像の較正、ステップＳ１９での視差の算出を行うとしたが、この限りではない。例えば、ステップＳ１８での画像の較正及びステップＳ１９での視差の算出は、ステップＳ１３～Ｓ１７と並行して行われてもよい。その場合は、画像の較正にはその時点で較正データメモリ１７に記憶されている較正データが使用される。
　上述の形態によれば、画像処理装置１２は、複数フレームの画像それぞれからエッジを検出し、検出されたエッジに基づいて各フレームの画像それぞれから２本の近似直線を出力する。そのため、画像処理装置１２は、複数フレームの画像にカーブしている区画線１４ｃ、１４ｄのように直線と見なされない区画線がある場合、カーブしている区画線１４ｃ、１４ｄを除いた直線のみを出力することができる。
　したがって、入力部１５によって取得した複数フレームの画像に、カーブしていたり、部分的に消えていたりするような区画線１４ｃ、１４ｄが撮像されている画像が含まれている場合、そのような画像は較正データの算出から排除される。そのため判定部１９は、直線性の高い区画線１４ｃ、１４ｄが撮像されている画像に基づいて画像を較正することになる。したがって、画像処理装置１２は、選別した複数フレームの画像から画像特徴量を決定することができ、これにより選別せずに校正をする場合に比べて高い精度で画像を較正することが可能となる。
　上述の形態によれば、画像処理装置１２は、エッジの画素数が所定の閾値以上であると判定された場合にエッジに基づいて近似直線を出力する。そのため、画像処理装置１２は、少ない画素数のエッジに基づく低い精度の近似直線に基づいて画像を較正する可能性を低減することができる、したがって、画像処理装置１２は、高い精度で画像を較正することが可能となる。
　上述の形態によれば、エッジに基づいて近似曲線を表す二次関数を算出し、２次の係数の絶対値が所定の閾値未満であると判定された場合に、画像処理装置１２は、近似直線を出力する。そのため、画像処理装置１２は、曲線で近似されるような分布のエッジに基づいて画像を較正する可能性を低減することができる。したがって、画像処理装置１２は、高い精度で画像を較正することが可能となる。
　上述の形態によれば、エッジの近似直線の最小二乗誤差が所定の閾値未満であると判定された場合に、画像処理装置１２は、エッジの近似直線を出力する。そのため、画像処理装置１２は、検出精度が低くばらついて分布しているエッジにより構成される直線に基づいて画像を較正する可能性を低減することができる。したがって、画像処理装置１２は、高い精度で画像を較正することが可能となる。
　上述の形態によれば、入力部１５によって取得される画像は、３次元座標空間において互いに平行な２本以上の区画線が撮像されている画像を含む。画像処理装置１２は、３次元座標空間において互いに平行な２本以上の区画線が撮像されている画像に基づいて画像処理を行ってよい。区画線は、条約、協定、法律、規則などにより定められているものを含む。区画線には、例えば、日本国の道路交通法により定められているものを含む。画像処理装置１２は、条約、協定、法律、規則などにより定められたものを区画線とすることで、画像処理装置１２は、区画線が撮像されている画像を取得しやすくなる。
　上述の形態では、画像処理装置１２は、画素数判定部２４によってエッジの画素数が所定の閾値以上であると判定された場合、曲線判定部２５が近似曲線の２次の係数ａの絶対値が所定の閾値未満であるか否かを判定する。２次の係数ａの絶対値が所定の閾値未満であると判定された場合に、直線判定部２６は、平均二乗誤差が所定の閾値未満であるか否かを判定する。判定部１９は、画素数判定部２４、曲線判定部２５、及び直線判定部２６のいずれか１つ又は２つによる判定を省略してよい。この場合、判定部１９は、他の判定において条件を満たしている画像を、較正データとして使用可能であると評価する。これによって、画像処理装置１２による判定に係る処理の負荷を軽減することができる。判定部１９は、画素数判定部２４、曲線判定部２５、及び直線判定部２６による判定の順序を変更してよい。
　上述の形態では、較正データ算出部２１は、ステレオカメラ１１によって撮像された複数フレームの基準画像及び参照画像それぞれから算出された複数の画像特徴量の統計値に基づいて、基準画像に対して参照画像を較正するための較正データを算出する。較正データ算出部２１は、単眼のカメラ１１ａによって撮像された複数フレームの画像のうちの選別されたフレームに基づいて較正データを算出してもよい。この場合、較正データ算出部２１は、単眼のカメラ１１ａに係る画像の選別されたフレームから得られるエッジの近似直線に基づいて、あらかじめ定められた基準となる画像特徴量を用いて較正データを算出する。例えば、較正データ算出部２１は、車両１の前方を撮像する単眼のカメラが撮像する画像の消失点の基準座標を予め決定しておき、本開示により当該カメラによる消失点の変化を検出し、消失点の座標が基準座標と一致するように較正の精度を高めることができる。
　上述の形態では、画像特徴量算出部２０は、基準画像及び参照画像のフレームごとに消失点を求める。そして、画像特徴量算出部２０は、フレームごとに求められた消失点の統計値（最頻値）から第１の消失点及び第２の消失点を算出しているが、これに限られない。例えば、画像特徴量算出部２０は、各フレームにおいて、基準画像及び参照画像のそれぞれについて、消失点の座標データに代えて、複数のフレームの直線判定部２６で算出した式（２）のパラメータｄ，ｅを蓄積する。そして、画像特徴量算出部２０は、蓄積された複数のパラメータｄ，ｅのそれぞれ統計値ｄs，ｅsを用いて式（４）で表される２本の区画線１４ｃ、１４ｄを求める。そして、画像特徴量算出部２０は、統計値ｄs，ｅsを用いて表された２本の区画線１４ｃ、１４ｄの直線の交わる位置を第１の消失点、第２の消失点とすることができる。
　ｙ＝ｄsｘ＋ｅs　　　　　　　　　　　　　　　　　　　　　　（４）
　上述の形態では、曲線判定部２５は、エッジの近似曲線を表す二次関数を算出し、２次の係数の絶対値が所定の閾値未満であるか否かを判定しているが、この限りではない。例えば、曲線判定部２５は、近似曲線を表す二次よりも高次の関数（例えば、三次関数、四次関数等）を算出し、二次以上の係数が所定の閾値未満であるか否かを判定してもよい。
　１　　　車両
　１０　　ステレオカメラ装置
　１１　　ステレオカメラ
　１１ａ　第１のカメラ
　１１ｂ　第２のカメラ
　１２　　画像処理装置
　１３　　路面
　１４ａ，１４ｂ　　３次元座標空間の区画線
　１４ｃ，１４ｄ　　画像空間の区画線
　１５　　入力部
　１６　　制御部
　１７　　較正データメモリ
　１８　　エッジ検出部
　１９　　判定部
　２０　　画像特徴量算出部
　２１　　較正データ算出部
　２２　　画像較正部
　２３　　視差算出部
　２４　　画素数判定部
　２５　　曲線判定部
　２６　　直線判定部
　２７　　出力部
 

Claims (13)

  1. 　カメラから複数のフレームを含む映像を取得する入力部と、
    　前記入力部によって取得された前記複数フレームのそれぞれから、前記カメラの被写体において互いに平行な２本以上の直線の少なくとも１本に対応するエッジを検出し、検出された前記エッジを評価して使用するフレームを選別し、複数の選別された前記フレームから得られる前記エッジの近似直線に基づいて、前記カメラから取得する映像の較正データを算出するコントローラと、
    を備えた画像処理装置。
  2. 　前記コントローラは、前記フレームの関心領域から検出したエッヂを、被写体において互いに平行な２本以上の直線の少なくとも１本に対応するエッヂとして検出する請求項１に記載の画像処理装置。
  3. 　前記コントローラは、検出された前記エッジの画素数が所定の閾値以上であるか否かを判定し、前記エッジの画素数が所定の閾値以上であると判定された場合に、前記使用するフレームとして選別する請求項１又は２に記載の画像処理装置。
  4. 　前記コントローラは、前記エッジの近似曲線を表す二次以上の関数を算出し、前記二次以上の関数の少なくとも２次の係数の絶対値が所定の閾値未満であるか否かを判定し、前記２次の係数の絶対値が所定の閾値未満であると判定された場合に、前記使用するフレームとして選別する請求項１乃至３のいずれか一項に記載の画像処理装置。
  5. 　前記コントローラは、前記エッジの近似直線の最小二乗誤差を算出し、前記最小二乗誤差が所定の閾値未満であるか否かを判定し、前記最小二乗誤差が所定の閾値未満であると判定された場合に、前記使用するフレームとして選別する請求項１乃至４のいずれか一項に記載の画像処理装置。
  6. 　前記映像は、３次元座標空間において路面上の互いに平行な２本以上の区画線が撮像されている画像であり、前記エッジは前記区画線の端部に対応する請求項１乃至５のいずれか一項に記載の画像処理装置。
  7. 　前記コントローラは、少なくとも２本の直線に対応するエッジを検出し、前記複数の選別された前記フレームから得られる少なくとも２本の前記エッジの近似直線に基づいて、画像特徴量を算出し、複数のフレームの画像特徴量に統計的な処理をすることにより、前記カメラの較正データを算出する請求項１乃至６に記載の画像処理装置。
  8. 　前記画像特徴量は、２本の前記エッジの近似直線から得られる消失点の座標である請求項７に記載の画像処理装置。
  9. 　前記コントローラは、前記統計的な処理として、前記複数のフレームの画像特徴量のヒストグラムを生成し、前記画像特徴量の最頻値を算出する請求項７又は８に記載の画像処理装置。
  10. 　前記入力部は、ステレオカメラによって撮像された基準画像及び参照画像を取得し、
    　前記コントローラは、前記基準画像及び前記参照画像それぞれから得られる前記エッジの近似直線に基づいて、前記基準画像に対して前記参照画像を較正する較正データを算出する請求項１乃至９のいずれか一項に記載の画像処理装置。
  11. 　ステレオカメラと、
    　前記ステレオカメラから複数のフレームを含む映像を取得する入力部、及び前記入力部によって取得された前記複数フレームのそれぞれから、前記ステレオカメラの被写体において互いに平行な２本以上の直線の少なくとも１本に対応するエッジを検出し、検出された前記エッジを評価して使用するフレームを選別し、複数の選別された前記フレームから得られる前記エッジの近似直線に基づいて、前記ステレオカメラから取得する映像の較正データを算出するコントローラと、を含む画像処理装置と、
    を備えたステレオカメラ装置。
  12. 　ステレオカメラと、
    　前記ステレオカメラから複数のフレームを含む映像を取得する入力部、及び前記入力部によって取得された前記複数フレームのそれぞれから、前記ステレオカメラの被写体において互いに平行な２本以上の直線の少なくとも１本に対応するエッジを検出し、前記検出された前記エッジを評価して使用するフレームを選別し、複数の選別された前記フレームから得られる前記エッジの近似直線に基づいて、前記ステレオカメラから取得する映像の較正データを算出するコントローラと、を有する画像処理装置と、
    を含むステレオカメラ装置を備えた車両。
  13. 　入力部が、カメラから複数のフレームを含む映像を取得し、
    　コントローラが、前記入力部によって取得された前記複数フレームの前記画像それぞれから、前記カメラの被写体において互いに平行な２本以上の直線の少なくとも１本に対応するエッジを検出し、
    　前記コントローラが、前記検出された前記エッジを評価して使用するフレームを選別し、
    　前記コントローラが、複数の選別された前記フレームから得られる前記エッジの近似直線に基づいて、前記カメラから取得する映像の較正データを算出する、
    画像処理方法。
     
PCT/JP2016/004355 2015-09-28 2016-09-27 画像処理装置、ステレオカメラ装置、車両及び画像処理方法 WO2017056484A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US15/763,309 US10558867B2 (en) 2015-09-28 2016-09-27 Image processing apparatus, stereo camera apparatus, vehicle, and image processing method
EP16850663.2A EP3358295B1 (en) 2015-09-28 2016-09-27 Image processing device, stereo camera device, vehicle, and image processing method
JP2017542747A JPWO2017056484A1 (ja) 2015-09-28 2016-09-27 画像処理装置、ステレオカメラ装置、車両及び画像処理方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015190449 2015-09-28
JP2015-190449 2015-09-28

Publications (1)

Publication Number Publication Date
WO2017056484A1 true WO2017056484A1 (ja) 2017-04-06

Family

ID=58422901

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/004355 WO2017056484A1 (ja) 2015-09-28 2016-09-27 画像処理装置、ステレオカメラ装置、車両及び画像処理方法

Country Status (4)

Country Link
US (1) US10558867B2 (ja)
EP (1) EP3358295B1 (ja)
JP (1) JPWO2017056484A1 (ja)
WO (1) WO2017056484A1 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019164667A (ja) * 2018-03-20 2019-09-26 株式会社東芝 画像処理装置、運転支援システム、及び画像処理方法
JP2020066421A (ja) * 2018-10-23 2020-04-30 ザ・ボーイング・カンパニーＴｈｅ Ｂｏｅｉｎｇ Ｃｏｍｐａｎｙ 離陸時の航空機と滑走路中心線との位置合わせ
TWI705011B (zh) * 2019-03-12 2020-09-21 緯創資通股份有限公司 車載鏡頭偏移檢測方法與車載鏡頭偏移檢測系統
WO2020263498A1 (en) * 2019-06-25 2020-12-30 Snap Inc. Vanishing point stereoscopic image correction
KR102388054B1 (ko) * 2020-12-17 2022-04-21 (주)우신특장 공사차량 충돌방지시스템
WO2023249126A1 (ja) * 2022-06-24 2023-12-28 日立Astemo株式会社 画像処理装置および画像処理方法

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10645268B2 (en) * 2016-03-09 2020-05-05 Huawei Technologies Co., Ltd. Image processing method and apparatus of terminal, and terminal
CN109564098B (zh) * 2016-07-26 2020-07-14 日产自动车株式会社 自身位置推定方法及自身位置推定装置
JP6779365B2 (ja) * 2017-03-30 2020-11-04 三菱電機株式会社 物体検出装置及び車両
WO2020014683A1 (en) * 2018-07-13 2020-01-16 Kache.AI Systems and methods for autonomous object detection and vehicle following
CN109240572B (zh) * 2018-07-20 2021-01-05 华为技术有限公司 一种获取图片的方法、对图片进行处理的方法及装置
JP7211047B2 (ja) * 2018-12-04 2023-01-24 株式会社アイシン 路面検出装置および路面検出プログラム
DE102019202299B4 (de) * 2019-02-20 2020-12-31 Zf Friedrichshafen Ag Verfahren zur Online-Kalibrierung und Kalibriereinrichtung
US10922877B2 (en) 2019-07-01 2021-02-16 Samsung Electronics Co., Ltd. Higher-order function networks for learning composable three-dimensional (3D) object and operating method thereof
JP7344032B2 (ja) * 2019-07-19 2023-09-13 株式会社Subaru 画像処理装置
US10827116B1 (en) * 2019-08-26 2020-11-03 Juan Ramon Terven Self calibration system for moving cameras

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04102178A (ja) * 1990-08-22 1992-04-03 Hitachi Ltd 物体モデル入力装置
JP2003083742A (ja) * 2001-09-13 2003-03-19 Fuji Heavy Ind Ltd 監視システムの距離補正装置および距離補正方法
JP2008509619A (ja) * 2004-08-11 2008-03-27 ルノー・エス・アー・エス ステレオビジョン装置の自動較正方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10260724A (ja) * 1997-03-19 1998-09-29 Yaskawa Electric Corp 通路環境の地図生成方法
JP4573977B2 (ja) 1999-09-22 2010-11-04 富士重工業株式会社 監視システムの距離補正装置、および監視システムの消失点補正装置
JP3797949B2 (ja) * 2002-03-28 2006-07-19 株式会社東芝 画像処理装置及びその方法
JP2005267396A (ja) * 2004-03-19 2005-09-29 Toyota Motor Corp 画像処理装置
JP5554579B2 (ja) * 2010-01-26 2014-07-23 富士通株式会社 車線検出プログラム及び車線検出装置
JP6371185B2 (ja) * 2014-09-30 2018-08-08 クラリオン株式会社 カメラキャリブレーション装置及びカメラキャリブレーションシステム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04102178A (ja) * 1990-08-22 1992-04-03 Hitachi Ltd 物体モデル入力装置
JP2003083742A (ja) * 2001-09-13 2003-03-19 Fuji Heavy Ind Ltd 監視システムの距離補正装置および距離補正方法
JP2008509619A (ja) * 2004-08-11 2008-03-27 ルノー・エス・アー・エス ステレオビジョン装置の自動較正方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3358295A4 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019164667A (ja) * 2018-03-20 2019-09-26 株式会社東芝 画像処理装置、運転支援システム、及び画像処理方法
JP2020066421A (ja) * 2018-10-23 2020-04-30 ザ・ボーイング・カンパニーＴｈｅ Ｂｏｅｉｎｇ Ｃｏｍｐａｎｙ 離陸時の航空機と滑走路中心線との位置合わせ
JP7334090B2 (ja) 2018-10-23 2023-08-28 ザ・ボーイング・カンパニー 離陸時の航空機と滑走路中心線との位置合わせ
TWI705011B (zh) * 2019-03-12 2020-09-21 緯創資通股份有限公司 車載鏡頭偏移檢測方法與車載鏡頭偏移檢測系統
WO2020263498A1 (en) * 2019-06-25 2020-12-30 Snap Inc. Vanishing point stereoscopic image correction
US11570425B2 (en) 2019-06-25 2023-01-31 Snap Inc. Vanishing point stereoscopic image correction
KR102388054B1 (ko) * 2020-12-17 2022-04-21 (주)우신특장 공사차량 충돌방지시스템
WO2023249126A1 (ja) * 2022-06-24 2023-12-28 日立Astemo株式会社 画像処理装置および画像処理方法

Also Published As

Publication number Publication date
EP3358295A4 (en) 2019-06-26
US20180285660A1 (en) 2018-10-04
JPWO2017056484A1 (ja) 2018-04-19
EP3358295A1 (en) 2018-08-08
EP3358295B1 (en) 2020-10-07
US10558867B2 (en) 2020-02-11

Similar Documents

Publication Publication Date Title
WO2017056484A1 (ja) 画像処理装置、ステレオカメラ装置、車両及び画像処理方法
JP6159905B2 (ja) 演算装置、カメラ装置、車両及びキャリブレーション方法
JP6141562B1 (ja) 視差算出装置、ステレオカメラ装置、車両及び視差算出方法
JP6456499B2 (ja) 立体物検出装置、ステレオカメラ装置、車両及び立体物検出方法
WO2021045092A1 (ja) 物体検出装置、物体検出システム、移動体及び物体検出方法
JP6121641B1 (ja) 画像処理装置、ステレオカメラ装置、車両、及び画像処理方法
WO2017068792A1 (ja) 視差算出装置、ステレオカメラ装置、車両および視差算出方法
WO2021060117A1 (ja) 物体検出装置、物体検出システム、移動体及び物体検出方法
JP6855325B2 (ja) 画像処理装置、ステレオカメラシステム、移動体、路面形状検出方法およびプログラム
JP7262350B2 (ja) 路面検出装置、物体検出装置、物体検出システム、移動体及び物体検出方法
JP7278915B2 (ja) 物体検出装置、物体検出システム、移動体及び物体検出方法
JP7206172B2 (ja) 物体検出装置、物体検出システム、移動体及び物体検出方法
JP2013161188A (ja) 物体認識装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16850663

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2017542747

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 15763309

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE