WO2010109730A1 - カメラ校正装置 - Google Patents

カメラ校正装置 Download PDF

Info

Publication number
WO2010109730A1
WO2010109730A1 PCT/JP2009/071166 JP2009071166W WO2010109730A1 WO 2010109730 A1 WO2010109730 A1 WO 2010109730A1 JP 2009071166 W JP2009071166 W JP 2009071166W WO 2010109730 A1 WO2010109730 A1 WO 2010109730A1
Authority
WO
WIPO (PCT)
Prior art keywords
camera
calibration
index
plane
homography
Prior art date
Application number
PCT/JP2009/071166
Other languages
English (en)
French (fr)
Inventor
柿並俊明
Original Assignee
アイシン精機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2009076858A external-priority patent/JP4905812B2/ja
Priority claimed from JP2009076857A external-priority patent/JP4873272B2/ja
Application filed by アイシン精機株式会社 filed Critical アイシン精機株式会社
Priority to US13/256,593 priority Critical patent/US8872920B2/en
Priority to EP09842340.3A priority patent/EP2413282B1/en
Publication of WO2010109730A1 publication Critical patent/WO2010109730A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • G06T2207/30208—Marker matrix
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking

Definitions

  • the present invention relates to a camera calibration device that performs camera calibration using the principle of planar projective transformation.
  • a planar calibration index including coordinate information of at least four points is disposed on a first plane, and a photographed image plane of the camera including the calibration index is a second plane , And specifies points that are present on the second plane and that correspond to predetermined portions of the calibration index, and at least four points of at least four points commonly included in the first plane and the second plane
  • a camera calibration device that calculates homography between the first plane and the second plane based on the correspondence relationship (see, for example, Patent Document 1).
  • a calibration index is placed in the shooting area, and the correspondence between the coordinates of the shot image (the position of the shot image system) and the coordinates of the converted image (the position of the plane coordinate system) is calculated based on the shot calibration index.
  • This camera calibration does not require camera external parameters or camera internal parameters according to the principle of planar projective transformation, and the corresponding coordinates between the photographed image and the converted image are designated based on the actually photographed calibration index. Therefore, it has the advantage that it is not affected by the installation error of the camera.
  • the homography for projecting the photographed image of each camera onto the road surface which is used in the camera calibration device according to Patent Document 1 described above, can be calculated based on at least four or more calibration indexes whose coordinate positions are known.
  • the computational load of the image processing is high, and a high-performance computing device is required, resulting in a problem of high cost.
  • a camera calibration device is disposed in a planar priority calibration index disposed in a specific area defined in a first plane in a first plane in a shooting field of view of the camera and an area other than the specific area.
  • An image acquisition unit for acquiring a photographed image including a calibration index representing coordinates of at least four points including the planar non-prioritized calibration index, and setting in advance a positional relationship between the priority calibration index and the non-priority calibration index And an index information storage unit that stores coordinate positions of the priority calibration index and the non-priority calibration index on the first plane as actual coordinate positions; and priority calibration that calculates coordinate positions on the image of the priority calibration index
  • An index position calculating unit, and a non-priority calibration index position calculating unit that calculates the coordinate position of the non-priority calibration index with reference to the positional relationship and the coordinate position of the calculated priority calibration index;
  • a homography calculating unit for calculating a homography between the photographed image plane of the photographed image and the first plane from the actual coordinate position of the calibration index representing the coordinates of at least four points and the calculated coordinate position;
  • a calibration unit for calibrating the camera.
  • the coordinate position of the photographed image system of the priority calibration index disposed in the specific area in the first plane is calculated from the acquired photographed image. Since this specific area is a limited area of the photographed image, the processing load is less than that of detecting the calibration index from the whole photographed image.
  • the remaining calibration index on the photographed image plane is referred to with reference to the previously set positional relationship between the calculated coordinate position of the priority calibration index and the non-priority positive index. Estimate the existence area of a certain non-priority positive index.
  • the information of the positional relationship set in advance for example, information that a non-priority positive index exists in the right side area of a straight line connecting the priority calibration index and the optical center, or drawn as a priority calibration index.
  • the estimated coordinate position of the non-priority index can be efficiently obtained by estimating the existence region of the non-priority positive index.
  • the homography calculation unit together with the corresponding actual coordinate position (coordinate position of the first plane coordinate system of the calibration index).
  • homography between the photographed image plane of the photographed image and the first plane is calculated. By using this homography, camera calibration can be performed without knowing the camera parameters.
  • the specific area is a near area where the photographing distance from the camera is short
  • the non-priority calibration index is arranged in a distant area where the photographing distance from the camera is long .
  • the area divided by the priority calibration index and the non-priority calibration index can be distributed in a wide range in the photographed image.
  • the image in the photographed image of the priority calibration index placed at a position close to the camera is higher in image accuracy and higher in detection accuracy as compared with placing it in other areas without using high quality lenses.
  • the calibration index representing the coordinates of the original at least four points is distributed over as wide a range as possible of the captured image, so that the homography finally obtained has an advantage of having high accuracy over the entire range of the captured image.
  • the camera calibration device in the case where the present invention is applied to calibration of a plurality of cameras comprises planar priority calibration disposed in a private area defined in a first plane in the field of view of each camera.
  • Each of the photographed images includes calibration indexes representing coordinates of at least four points consisting of planar non-prioritized calibration indicators disposed in the shared area shared in the first plane between the indicators and the photographed images of adjacent cameras
  • An image acquisition unit acquired from a camera, an index information storage unit storing coordinate positions of the priority calibration index and the non-priority calibration index on the first plane as actual coordinate positions, and calculating coordinate positions of the priority calibration index
  • a non-prioritized calibration finger for calculating the coordinate position of the non-preferential calibration index with reference to the preferred calibration index position calculating unit and the coordinate position of the non-prioritized calibration index calculated with the actual coordinate position of the calibration index
  • a calibration unit for calibrating a plurality of the cameras using the homography calculated for each of the cameras.
  • the coordinate values on the planar image of the calibration index photographed in the area sharing the camera view match the actual values because of the characteristics of the homography, A seam or a fault does not occur in an image obtained by synthesizing a converted image obtained by converting an image of each camera into an image viewed from the sky in a coordinate system defined as a reference.
  • a mobile object such as a recent car is equipped with a plurality of cameras, and a bird's-eye view and an all-surround panoramic image are displayed from the captured image, and an operator such as a driver can easily grasp the situation around the mobile object.
  • the camera is a camera attached to a moving object
  • the first plane is a road surface
  • the calibration index is a pattern drawn on the road surface.
  • the marker of the calibration index be a marker having a flat pattern, which is disposed parallel to the road surface. That is, the calibration index used in the present invention includes not only markers directly painted on the road surface but also markers painted on the plate considered to be substantially the same height level as the road surface.
  • the camera has a front camera with a shooting field in front of the mobile, a right side camera with a shooting field in the right of the mobile, a left camera with a shooting field in the left of the mobile, and a rear of the mobile. It is good to comprise from the back camera made into a photography view.
  • the road surface is the floor of the factory.
  • the preferred calibration index is a plane defined by the first plane and representing coordinates of at least four points disposed in the near region where the photographing distance from the camera is short.
  • the non-priority calibration index is at least one planar far calibration index disposed in a far area where the shooting distance from the camera is long
  • the homography calculation unit is a preliminary homography calculation unit
  • the priority calibration index position calculation unit is configured as a far distance index position estimation unit that estimates the existing position of the far calibration distance in the photographed image using the preliminary homography
  • the non-prioritized calibration index position calculation unit calculates the coordinate position of the far calibration index in the photographed image as the calculated coordinate position using the estimated existing position.
  • the preliminary homography calculation unit is configured as a far distance index position calculation unit, and the first image is a photographed image surface of the photographed image based on the actual coordinate position and the calculated coordinate position of the near field calibration index representing the coordinates of the at least four points. Homography between the plane and the plane is calculated as preliminary homography, and the precision homography calculating unit selects at least four points selected from the near calibration index and the far index calculated by the far index position calculating unit. The homography between the photographed image plane of the photographed image and the first plane is calculated as a precise homography from the calculated coordinate position of the selection index representing the coordinates and the actual coordinate position corresponding thereto. You can also.
  • the coordinate position of the photographed image system of the calibration index representing the coordinates of at least four points arranged in the specific area near the camera is calculated.
  • the processing time is reduced compared to detecting the calibration index representing the coordinates of four points from the entire captured image in order to detect the calibration index arranged in a very limited area.
  • the image accuracy of the calibration index is high, and the detection accuracy thereof is also high. Since the homography can be calculated from the coordinate positions of the four calibration indices calculated in this way in the photographed image coordinate system and the actual coordinate position on the first plane, camera calibration can be performed based on the homography It is possible.
  • this homography is regarded as preliminary homography, and this preliminary homography is used to estimate the position on the photographed image of the far calibration index which is previously set at a position far from the camera. Then, the far calibration index is detected in the estimated narrow area, and the accuracy is determined from the coordinate position of the four calibration indices including the far calibration index in the photographed image coordinate system and the actual coordinate position on the first plane. Calculate high precision homography. By performing camera calibration using this precision homography, the entire captured image is calibrated without positional deviation.
  • the selected calibration index used to calculate the precision homography has a wide range of areas divided by the selected calibration index in the photographed image plane. It is convenient to predetermine the arrangement of the near calibration index and the far calibration index so as to select as follows.
  • the image acquiring unit acquires photographed images from a plurality of cameras having different photographing fields of view and having a common area common to the first plane in the photographed images of adjacent cameras, and at least the common area One common calibration index is located, and the calibration unit performs calibration of the adjacent cameras on the basis of the positional relationship of the common calibration indices in the photographed images of the adjacent cameras obtained using the precision homography It is also convenient to adopt a configuration.
  • the proximity calibration index has a short shooting distance near the shooting center line in the shot image of each camera. It is important that the common calibration index be disposed so as to be located in an area, and be located such that the common calibration index is located in an area having a long imaging distance at a peripheral portion of an imaged image of each camera.
  • a camera calibration device for a camera system that covers the entire periphery of a moving object with four cameras and displays a bird's-eye view or an all-surround panoramic image
  • the front of the moving object as the imaging view
  • One plane is a road surface
  • the near calibration index is two markers drawn far apart from each other and from the near calibration index drawn on the road surface
  • the far calibration index is drawn from each other and the near calibration index drawn on the road surface It is proposed to use two markers far apart.
  • the road surface is the floor of the factory.
  • the marker drawn on the road surface is not only a marker directly painted on the road surface but also a marker painted on a plate that is regarded as substantially the same height level as the road surface. Also includes those in the form of being placed on the road surface.
  • the present invention not only relates to the camera calibration device described above, but also to a camera calibration program that realizes a camera calibration function in such a device by a computer, and a camera calibration method that defines the flow of control by such a program. It is targeted.
  • one of the camera calibration methods for solving the above-mentioned problems is a planar priority calibration index arranged in a specific area defined in a first plane in a shooting plane of the camera and an area other than the specific area.
  • Non-prioritized calculating the coordinate position on the image of the non-preferential calibration index with reference to the preset positional relationship between the preferential calibration index and the non-prioritized calibration index and the coordinate position of the calculated preferential calibration index A homography between a photographed image surface of the photographed image and the first plane from a calibration index position calculating step, an actual coordinate position of the calibration index representing the coordinates of the at least four points, and a calculated coordinate position.
  • a homography calculating step of calculating the Rafi, and a calibration step for calibrating the camera using the homography also involves the effects described in the above-described camera calibration device, and it is also possible to apply various additional features described above.
  • the above can be applied to a camera calibration program having a feature configuration substantially the same as the camera calibration method.
  • a planar neighborhood calibration index representing coordinates of at least four points arranged in a near area, which is defined in a first plane in a shooting field of view of the camera and has a short shooting distance from the camera, and a shooting distance from the camera
  • An image acquisition unit for acquiring a captured image including at least one planar far calibration index arranged in a long far area; and a coordinate position of the near calibration index and the far calibration index in the first plane as an actual coordinate position
  • the actual coordinate position of the near field calibration index representing the coordinates of the at least four points, and the near field index position calculation unit which calculates the coordinate information position of the near field calibration index in the photographed image as the calculated coordinate position.
  • a preliminary homography calculating unit for calculating a preliminary homography between the photographed image surface of the photographed image and the first plane from the calculated coordinates and the calculated coordinate position;
  • a precise homography calculating unit for calculating the precise homography between the photographed image plane of the photographed image and the first plane from the calculated coordinate positions of the image and the actual coordinate positions corresponding thereto;
  • a calibration unit that calibrates the camera.
  • a camera calibration program for realizing the camera calibration function described above by a computer, and a camera calibration method defining the flow of control by such a program are, of course, the subject of the present invention.
  • the camera calibration method includes: from the camera, a planar neighborhood calibration index that represents coordinates of at least four points arranged in a near region where a shooting distance from the camera is short, which is defined in a first plane in the shooting field of the camera An image acquisition step of acquiring a captured image including at least one planar distant calibration index disposed in a far region where the imaging distance is long, and the vicinity where the coordinate position of the neighboring calibration index in the photographed image is calculated as a calculated coordinate position A preliminary homography between the photographed image plane of the photographed image and the first plane is calculated from the coordinate position calculating step and the actual coordinate position and the calculated coordinate position of the near calibration index representing the coordinates of the at least four points.
  • a homography calculating step, and a far finger estimating the existence position of the far calibration index in the photographed image using the preliminary homography The distance calibration index position calculating step of calculating the coordinate position of the distance calibration index in the photographed image as the calculated coordinate position using the position estimation step, the estimated presence position, and the proximity index position calculating step A captured image of the captured image from the calculated coordinate position of the selected index representing the coordinates of at least four points selected from among the near index and the far index calculated in the far index position calculating step and the corresponding actual coordinate positions
  • the camera calibration method consisting of such steps also involves the effects described in the above-described camera calibration device, and it is also possible to apply various additional features described above.
  • the above can be applied to a camera calibration program having a feature configuration substantially the same as this camera calibration method.
  • 5 is a flowchart illustrating the flow of calibration processing of a plurality of cameras. It is a top view which shows the planar calibration index of another embodiment. It is a top view which shows the planar calibration index of another embodiment. It is a top view which shows the planar calibration index of another embodiment. It is a top view which shows the picked-up image of the planar calibration parameter
  • FIG. 1 There is a first plane ⁇ in the field of view of a camera having a shooting center (here also the optical center) C, and a calibration index (point in FIG. 1) representing four coordinates for camera calibration on this plane M1, M2, M3 and M4 are arranged. Images of four calibration indices M1, M2, M3 and M4 are taken on the photographed image plane ⁇ of the camera. The coordinate positions of points P 1, P 2, P 3 and P 4 in the photographed image coordinate system of these images (here, the xy coordinate system) can be calculated by image processing.
  • the calibration index is arranged as set in advance, the calibration index (indicated by a dot in FIG. 1) M1, M2, M3, M4 is placed on the first plane ridge of the first plane ridge. Coordinate positions in the set plane coordinate system (here, referred to as an XY coordinate system) are known.
  • the specific region which is a region where the shooting distance from the camera 1 is short is set as the exclusive region ⁇ m, and shooting from the camera 1 in the region other than this specific region
  • a partial area with a long distance is set as the shared area ⁇ c.
  • the shared area ⁇ c is suitable as an area to be shared in the photographed images of the adjacent cameras when covering a large area of the first plane plane using a plurality of cameras.
  • the exclusive area ⁇ m is suitable as an area to be optimally photographed by only one camera when covering a large area of the first plane plane using a plurality of cameras.
  • the common area ⁇ c is divided into two areas widely spaced in the transverse direction of the camera optical axis.
  • at least four planar priority calibration indices are required for the planar region ⁇ 1 in the field of view of one of the first planar surfaces ⁇ . Therefore, here, two priority calibration indices (hereinafter simply referred to as priority indices) M1 and M2 are disposed in the exclusive area ⁇ m, and two non-priority positive indices (hereinafter simply referred to as non-precedence indices) M3 in the shared area ⁇ c M4 is arranged.
  • the word "index” is simply used, and the figure number for collectively referring to the calibration index is "9". Also, the coordinate position of each index in the plane coordinate system of the first plane ⁇ is a known value as the actual coordinate position of the index.
  • this partial first plane 1 is photographed by the camera 1, the photographed image is obtained on the photographed image plane ⁇ .
  • the coordinate positions of the two priority indexes M1 and M2 arranged in the exclusive area ⁇ m in the photographed image coordinate system are calculated as image coordinate positions through the image processing technique.
  • the photographed image is also specified in the photographed image. It will be located in the above-mentioned area, and the calculation burden of the search processing will be small.
  • the non-priority positive in the photographed image plane ⁇ is referred to with reference to the positional relationship between the calculated coordinate position of the priority calibration indicators M1 and M2 set in advance and the non-priority positive indexes M3 and M4.
  • the existence regions of the indicators M3 and M4 are estimated. For example, if the non-priority positive index M3 exists in the right side area of the vertical bisector of the priority calibration indices M1 and M2, and the non-priority positive index M4 exists in the left side area, The search area is halved.
  • the search area is further narrowed.
  • the estimated coordinate positions of the non-priority indices M3 and M4 can be efficiently obtained by estimating the existence regions of the non-priority positive indices M3 and M4 that have not been detected yet.
  • indexes M1, M2, M3 and M4 obtained in this manner are set so as to define a large area of the first plane ⁇ 1 as much as possible, the accuracy of the homography calculated based on this is also improved.
  • FIG. 3 is an explanatory view showing a relationship between a vehicle stopped at a predetermined position on a road surface as a first plane weir, a calibration index drawn on the road surface, and a camera view.
  • the on-vehicle camera 1 a first camera 11 with a camera view in front of the vehicle, a second camera 12 with a camera view in the right of the vehicle, a third camera 13 with a camera view in the rear of the vehicle, and a vehicle left view And a fourth camera 14 with a camera view.
  • the respective cameras are not particularly distinguished, they are commonly referred to as a camera 1.
  • the road surface within the field of view of each camera 1 includes an exclusive area ⁇ m located at the center near the vehicle and a common area ⁇ c on both sides far from the vehicle.
  • the common area ⁇ c is a common area on the road surface within the field of view of the adjacent cameras 1.
  • Two non-prioritized indicators M3 and M4 are arranged at locations far from the cameras of the two exclusive indicators M1 and M2 and the shared regions ⁇ c on both left and right sides of the exclusive region ⁇ m near the camera 1, respectively.
  • the priority indicators M1 and M2 and the non-priority indicators M3 and M4 are all the same indicators collectively referred to by the reference numeral 9 consisting of a black and white checkered pattern also called a marker as illustrated in FIG. 4. .
  • This index 9 is a checkered pattern calibrated by a total of four rectangles, two white rectangles and two black rectangles, and the coordinate position of the point Q at the center of the pattern is the coordinate position of the index 9 used actually It is. Therefore, in order to detect the position of the point Q in an image processing manner, edge detection of the checkered pattern is performed, and the intersection of the orthogonal straight lines obtained thereby is regarded as the point Q.
  • the indicator itself may be drawn directly on the road surface, or the indicator may be drawn on the surface of the plate body, and this plate body may be arbitrarily moved and installed.
  • the priority indicators M1 and M2 disposed in the exclusive region ⁇ m and the non-priority indicators M3 disposed in the shared region ⁇ c shared with the adjacent second camera 12 or fourth camera 14 And M4 images are included.
  • the images captured by the second camera 12 include the images of the priority indicators M1 and M2 and the non-priority indicators M3 and M4
  • the images captured by the third camera 13 also include the priority indicators M1 and M2 and the non-priority indicators M3 and M4.
  • the image captured by the fourth camera 14 also includes the images of the priority indicators M1 and M2 and the non-priority indicators M3 and M4.
  • the camera calibration device mounted on the vehicle has a function as schematically shown in FIG. And a monitor 6 connected to the control unit 5.
  • the four on-vehicle cameras 1 are connected to the control unit 5 so as to be able to transmit data, and send photographed images of the respective photographing fields of view to the control unit 5.
  • the functional units built in the control unit 5 and particularly related to the present invention include an image acquisition unit 51, an index information management unit 52, an index position calculation unit 53, a homography calculation unit 54, and a calibration unit 56.
  • the image acquisition unit 51 selectively acquires a photographed image sent from each camera 1, performs necessary preprocessing, and develops it in a working memory.
  • the index information management unit 52 manages the road surface coordinate position, which is the actual coordinate position of the calibration index 9 including the priority index M1 and M2 and the non-priority index M3 and M4, disposed on the road surface for each view of each camera 1
  • the road surface coordinate position of the calibration index 9 to be processed is given to the functional unit according to the request.
  • the road surface coordinate position may be stored in a non-volatile memory or the like.
  • the index information management unit 52 manages the road surface coordinate position of the calibration index 9 input each time.
  • the index information management unit 52 also stores information indicating the positional relationship between the priority indices M1 and M2 and the non-priority positive indices M3 and M4 as described above, and after detecting the priority indices M1 and M2
  • the index position calculating unit 53 is provided as necessary to limit the area to be detected with the non-priority index.
  • the index position calculating unit 53 performs processing of obtaining the coordinate position on the photographed image coordinates of the calibration index 9 in the photographed image developed in the working memory as the calculated coordinate position. In this process, in order to detect point Q in FIG. 4, an edge detection filter for horizontal line detection and vertical line detection is applied, a straight line is determined using RANSAC, and the coordinate position of the point of intersection of the straight line is calculated coordinate position and Do.
  • the index position calculation unit 53 refers to the priority index position calculation unit 53a that calculates the coordinate position of the priority calibration index, and the coordinate position of the non-priority calibration index with reference to the above-described positional relationship information provided from the index position calculation unit 53. It has two functions of the non-prioritized calibration index position calculation unit 53b to be calculated.
  • the homography calculation section 54 Based on the road surface coordinate positions of at least four calibration indices 9 and the calculated coordinate positions calculated by the index position calculation section 53 of the calibration index 9, the homography calculation section 54 compares the photographed image plane ⁇ of the photographed image with the road surface tack. Calculate the homography between
  • the calibration unit 56 calculates calibration data of each camera 1 from the precise homography between each photographed image surface ⁇ calculated by the homography calculation unit 54 for each camera 1 and the road surface tack: H1, H2, H3, H4.
  • Set The display image generation unit 57 converts the captured image from each camera 1 into a display image for displaying on the monitor 6 with reference to the calibration data set by the calibration unit 56, and between the captured images of each camera 1. Provide the user with a display image free from misalignment.
  • the camera 1 to be subjected to the calibration process is designated first (# 01), and the photographed image of the designated camera 1 is taken into the working memory (# 02).
  • a focused search area for the priority index arranged in the exclusive area is set for the photographed image (# 03).
  • Two priority indices are detected from the set focused search area, and their image coordinate positions are calculated (# 04).
  • the road surface coordinate position which is the coordinate position of the calculated two priority indices in the road surface coordinate system, and the positional relationship information between the priority index and the corresponding non-priority index finger are obtained from the index information management unit 52 From the estimated existing position of the index in the photographed image coordinate system, the target search area of the non-priority index is set (# 05). Two non-priority indices are detected from the set focused search area, and their image coordinate positions are calculated (# 09). The road surface coordinate position, which is the coordinate position of the calculated two non-priority indices in the road surface coordinate system, is read from the index information management unit 52 (# 10).
  • Homography: Hn (n: camera number: 1, 2, 3, 4) is calculated using the calculated coordinate position and the road surface coordinate position of the two priority indices and the non-priority index obtained in this way. To do (# 08). The calculated homography: Hn is registered as the homography: H1 of the designated camera 1 (# 09). Next, precision homography of all four cameras 1: It is checked whether registration of Hn is completed (# 10), and if there are still uncompleted cameras (# 10 No branch), step # 01 again Return to and repeat the process described above.
  • neighborhood indices Four planar neighborhood calibration indices (hereinafter simply referred to as neighborhood indices) M11, M12, M13 and M14 are disposed in the near area ⁇ s, and the far area ⁇ w is widely spaced in the transverse direction of the camera optical axis.
  • Two planar far calibration indices (hereinafter simply referred to as far indices) M15 and M16 are disposed.
  • the word “index” is simply used, and the reference numeral of the calibration index is generically set to 9.
  • the coordinate position of each index in the plane coordinate system of the first plane ⁇ is known as the actual coordinate position of the index.
  • this first flat plate is photographed by the camera 1, the photographed image is obtained on the photographed image plane ⁇ .
  • the coordinate positions of the four neighboring indices in the photographed image in the photographed image coordinate system are calculated through image processing technology as calculated image positions.
  • the photographed image is also within the photographed image It will be located in a very limited area, and the computational burden of the search processing will be small.
  • the homography: Hs between the photographed image plane ⁇ and the first plane ⁇ ⁇ ⁇ can be determined from the actual coordinate positions of the four neighboring indices and the calculated image position. Since this homography: Hs is calculated using four calculated image positions which are small in the captured image, this homography is referred to as preliminary homography here.
  • Hs the positional relationship between any point on the first plane ⁇ and the point of the photographed image plane ⁇ can be obtained, so using this preliminary homography: Hs, the far index M15 , M16 can be approximately estimated.
  • the photographed images of the far indices M15 and M16 can be easily searched, and the calculated image positions of the far indices M15 and M16 can be obtained at high speed.
  • indexes M11, M12, M13, M14, M15 and M16 obtained in this way, four indexes which can define a large area of the first plane ⁇ ⁇ ⁇ ⁇ ⁇ as much as possible are selected.
  • the largest area can be defined on the first plane ⁇ ⁇ ⁇ by selecting the near-field indicators M11 and M12 and the far-field indicators M15 and M16.
  • FIG. 8 is an explanatory view showing a relationship between a vehicle stopped at a predetermined position on a road surface as a first plane weir, a calibration index drawn on the road surface, and a camera view.
  • the on-vehicle camera 1 a first camera 11 with a camera view in front of the vehicle, a second camera 12 with a camera view in the right of the vehicle, a third camera 13 with a camera view in the rear of the vehicle, and a vehicle left view And a fourth camera 14 with a camera view.
  • the respective cameras are not particularly distinguished, they are commonly referred to as a camera 1.
  • the road surface within the field of view of each camera 1 includes a near area ⁇ s centrally located near the vehicle and far areas ⁇ w on both sides far from the vehicle.
  • the far area ⁇ w is a common area with the far area ⁇ w of the road surface included in the view of the adjacent camera 1.
  • neighborhood indexes M11, M12, M13, and M14 collectively referred to by the reference numeral 9 consisting of a black and white checkered pattern also called a marker as illustrated in FIG. 4 are drawn.
  • This index 9 is a checkered pattern calibrated by a total of four rectangles, two white rectangles and two black rectangles, and the coordinate position of the point Q at the center of the pattern is the coordinate position of the index 9 used actually It is. Therefore, in order to detect the position of the point Q in an image processing manner, edge detection of the checkered pattern is performed, and the intersection of the orthogonal straight lines obtained thereby is regarded as the point Q.
  • far indices M15, M16, M17, and M18 having one similar pattern are drawn.
  • the indicator itself may be drawn directly on the road surface, or the indicator may be drawn on the surface of the plate body, and this plate body may be arbitrarily moved and installed.
  • the distance index shared by the proximity indexes M11, M12, M13, and M14 that are exclusively used by the first camera 11 and the adjacent second camera 12 or fourth camera 14 Images of the indicators M15 and M16 are included.
  • the image captured by the second camera 12 includes the exclusive near indexes M11, M12, M13, and M14 and the images of the shared far indexes M16 and M17, and the image captured by the third camera 13 is exclusively used.
  • the neighboring indices M11, M12, M13, M14 and the shared distant indices M17 and M18 are included, and the photographed image by the fourth camera 14 is occupied by the neighboring indices M11, M12, M13, M14.
  • the camera calibration device mounted on the vehicle has a function as schematically shown in FIG. And a monitor 6 connected to the control unit 5.
  • the four on-vehicle cameras 1 are connected to the control unit 5 so as to be able to transmit data, and send photographed images of the respective photographing fields of view to the control unit 5.
  • the functional units built on the control unit 5 and particularly related to the present invention are the image acquisition unit 51, the index information management unit 52, the index position calculation unit 53, the homography calculation unit 54, and the index position estimation unit 55. , The calibration unit 56, and the display image generation unit 57.
  • the image acquisition unit 51 selectively acquires a photographed image sent from each camera 1, performs necessary preprocessing, and develops it in a working memory.
  • the index information management unit 52 manages the road surface coordinate position, which is the actual coordinate position of the calibration index 9 including the near calibration index and the far calibration index, disposed on the road surface for each view of each camera 1. Accordingly, the road surface coordinate position of the calibration index 9 to be processed is given to the functional unit.
  • the road surface coordinate position may be stored in a non-volatile memory or the like.
  • the index information management unit 52 manages the road surface coordinate position of the calibration index 9 input each time.
  • the index position calculating unit 53 performs processing of obtaining the coordinate position on the photographed image coordinates of the calibration index 9 in the photographed image developed in the working memory as the calculated coordinate position. In this process, in order to detect point Q in FIG. 4, an edge detection filter for horizontal line detection and vertical line detection is applied, a straight line is determined using RANSAC, and the coordinate position of the point of intersection of the straight line is calculated coordinate position and Do.
  • the index position calculation unit 53 will be described in detail later, the near index position calculation unit 53a calculates the coordinate position of the near calibration index as the calculated coordinate position, and the far calibration calculates the coordinate position of the far calibration index as the calculated coordinate position. It has two functions with the index position calculation unit 53b.
  • the homography calculating unit 54 calculates the homography between the photographed image surface ⁇ of the photographed image and the road surface wedge from the road surface coordinate position and the calculated coordinate position of at least four calibration indexes 9.
  • the homography calculating unit 54 has a function of calculating two homography.
  • preliminary homography between the photographed image plane ⁇ and the road surface wedge from the road surface coordinate position and calculated coordinate position of at least four neighboring indices preliminary homography calculating section 54a for calculating Hs, and neighboring index position calculating section 53a And the corresponding road surface coordinate position of at least four selection indexes selected from the near distance index calculated by the distance index calculated by the distance index calculated by the distance index calculated by the distance index calculated by the distance index position calculator 53b And the precision homography between: and the precision homography calculation unit 54a for calculating Hp.
  • the index position estimation unit 55 applies the road surface coordinate position of the far index read out from the index information management unit 52 to the preliminary homography Hs to estimate the position of the far index in the photographed image coordinate system.
  • the far index position calculating unit 53b calculates the coordinate position of the far calibration index by using the estimated area estimated by the index position estimating unit 55 as a detection target area.
  • the calibration unit 56 calculates each camera 1 from the precise homography Hp (Hp1, Hp2, Hp3, Hp4) between each photographed image surface ⁇ calculated by the precision homography calculation unit 54a for each camera 1 and the road surface. Set the calibration data of.
  • the display image generation unit 57 converts the captured image from each camera 1 into a display image for displaying on the monitor 6 with reference to the calibration data set by the calibration unit 56, and between the captured images of each camera 1. Provide the user with a display image free from misalignment.
  • the camera 1 to be calibrated first is designated (# 21), and the photographed image of the designated camera 1 is taken into the working memory (# 22).
  • a focused search area for a nearby index arranged in the nearby area is set for the photographed image (# 23).
  • Four neighboring indices are detected from the set focused search area, and their image coordinate positions are calculated (# 24).
  • the road surface coordinate position which is the coordinate position of the calculated four neighboring indices in the road surface coordinate system, is read from the index information management unit 52 (# 25).
  • the preliminary homography: Hs is calculated using the calculated coordinate positions of the four neighboring indices and the road surface coordinate position (# 26).
  • the road surface coordinate position of the distant index disposed in the distant area belonging to the designated field of view of the camera 1 is read from the index information management unit 52 and given to the preliminary homography Hs, in the photographed image coordinate system of the distant index Infer the location of the object (# 27).
  • a focused search area for detecting a far-reaching index on the photographed image is set (# 28).
  • Two neighboring indices are detected from the set focused search area, and their image coordinate positions are calculated (# 29).
  • the road surface coordinate position which is the coordinate position of the calculated two distant indices in the road surface coordinate system, is read from the index information management unit 52 (# 30).
  • the precision homography: Hp is calculated using the calculated coordinate position and the road surface coordinate position of the far index and the two near indices far from the far index selected from the four near indices (# 31).
  • the calculated precision homography: Hp is registered as the homography of the designated camera 1 (# 32). Next, it is checked whether registration of Hp has been completed (# 33). If there are still cameras that have not been completed (# 33 No branch), step # 21 is performed again. Return to and repeat the process described above.
  • planar calibration index which has patterns other than the planar calibration index 9 shown by FIG. 4 is illustrated.
  • the priority index is black (it is not limited to black if it can be distinguished from the surrounding image processing), and the non-priority index is a black triangle. It is.
  • the trapezoid defining the priority index is two straight lines extending radially at the same radiation angle from the optical center position of the camera and two lines orthogonal to the optical axis of the camera (line extending vertically from the camera position in FIG. 11) Is a trapezoid defined by parallel straight lines.
  • the four corner points of this trapezoid become four calibration index points, q1, q2, q3, and q4.
  • Four calibration index points q1, q2, q3 and q4 are obtained by detecting the boundary side of the trapezoid by edge detection and calculating the intersection of the four detected boundary lines.
  • the triangle defining the non-priority index is defined by one radiation straight line extending from the optical center position of the camera toward the far region, one straight line orthogonal to the camera optical axis, and a freely settable straight line It is a triangle.
  • the calibration index point q5 or q6 is obtained by detecting the two border sides of the triangle by lateral edge detection and calculating the intersection of the two border lines detected.
  • the calibration index shown in FIG. 12 is designed to cancel the above-mentioned deviation because the gradation pattern is complementary. That is, compared with the calibration index according to FIG. 11, the pattern pattern of the priority index is substantially each of one trapezoid defined by two radiation straight lines and two parallel straight lines, and each of the trapezoids The substantially similar dummy four trapezoids defined at the 180 ° rotational position of the apex are in a black-filled pattern.
  • the pattern pattern of the priority index has a pattern in which another dummy triangle is disposed on the top side of the triangle which is the non-priority index in FIG. That is, the presence of the dummy trapezoid and the triangle sharing the central trapezoid and the triangle reference line as a calibration index realizes a complementary gray-scale pattern.
  • this calibration index shown in FIG. 13 is similar to the calibration index shown in FIG. 12, the sizes of the trapezoid and triangle including the dummy are larger as the one is located farther from the camera 1 By doing this, the sizes on the photographed image are set to be approximately the same size.
  • a photographed image of this calibration index is shown in FIG. As can be understood from FIG.
  • edge detection in image processing is highly processed Becomes simple. As a result, the edge detection accuracy of each pattern is improved, and as a result, the improvement of the accuracy of straight line detection leading to the calculation of the calibration index point can be expected.
  • each calibration index 9 has a black and white checkerboard pattern shown in FIG.
  • the non-priority positive index M4 exists on one of the straight lines L1.
  • the non-priority positive index M3 exists on the straight line L2 obtained when calculating the index point Q of the other priority calibration index M2.
  • the checkered pattern drawn as the priority calibration index includes straight line information which is directional information.
  • One of the specific purposes of the camera calibration (camera calibration) according to the present invention is to display the captured image acquired by the camera 1 on the monitor 6 and to set predetermined image information (for example, a vehicle parking space) in the captured image.
  • predetermined image information for example, a vehicle parking space
  • This is to make the relationship with the superimposed image accurate. Since the actual road surface position and the road surface position on the photographed image are accurately correlated by the camera calibration (camera calibration) according to the present invention, the photographed image acquired by the camera 1 on the monitor 6 and the additional superimposed image The positional relationship with is accurate.
  • a display object for example, a lane, an object, etc. included in the captured image acquired by the on-vehicle camera The actual position of) can be accurately identified through image processing of the captured image.
  • the form of the calibration index can be variously modified in addition to the above. Further, the formation of the pattern is not limited to drawing using paint or the like, and for example, pattern formation by an optical or illumination method may be adopted.
  • the positional relationship between the priority calibration index and the non-priority calibration index can set various relationships other than the above-mentioned relationship, and the positional relationship does not necessarily need to be stored in a memory etc. It may be incorporated as an algorithm.
  • One of the specific purposes of the camera calibration according to the present invention is to display the captured image acquired by the camera 1 on the monitor 6 and to display predetermined image information (for example, parking in a vehicle parking space)
  • predetermined image information for example, parking in a vehicle parking space
  • the captured image and the superimposed image In order to make the relationship with Since the actual road surface position and the road surface position on the photographed image are accurately correlated by the camera calibration according to the present invention, the positional relationship between the photographed image acquired by the camera 1 on the monitor 6 and the additional superimposed image is It will be accurate.
  • a display object for example, a lane or an object included in the photographed image acquired by the on-vehicle camera Etc.
  • the invention applies in all fields where it is necessary to perform camera calibration to match the relationship between the photographed image plane and a particular plane in the camera view, for a single camera or multiple cameras whose camera parameters are unknown. be able to.

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Processing (AREA)

Abstract

第１平面における専有領域に配置された優先校正指標及び共有領域に配置された非優先校正指標を含む撮影画像を取得し、まず優先校正指標の座標位置を検出し、検出された優先校正指標との位置関係に基づいて非優先校正指標の座標位置が算定される。少なくとも４点の座標を表す校正指標の実座標位置と算定座標位置とから撮影画像の撮影画像面と第１平面との間のホモグラフィを算定され、このホモグラフィを用いてカメラの校正が行われる。

Description

カメラ校正装置
　本発明は、平面射影変換の原理を用いてカメラ校正を行うカメラ校正装置に関する。
　平面射影変換に基づいてカメラを校正する装置として、少なくとも４点の座標情報を含む平面状の校正指標を第１の平面に配置して、校正指標を含むカメラの撮影画像面を第２の平面として入力し、前記第２の平面上に存在するとともに校正指標の所定の部位に対応する点を特定し、前記第１の平面と前記第２の平面に共通して包含される少なくとも４点の対応関係に基づき、前記第１の平面と前記第２の平面との間のホモグラフィを演算する、カメラ校正装置が知られている（例えば、特許文献１参照）。この装置では、撮影領域内に校正指標を配置し、撮影した校正指標に基づいて、撮影画像の座標（撮影画像系座標位置）と変換画像の座標（平面座標系座標位置）との対応関係を示す変換行列であるホモグラフィを求めるという校正作業を行う。このカメラ校正は、平面射影変換の原理により、カメラ外部パラメータやカメラ内部パラメータを必要とせず、また、実際に撮影された校正指標に基づいて撮影画像と変換画像との間の対応座標が指定されるため、カメラの設置誤差の影響を受けないという利点をもつ。
特開２００６‐１４８７４５号公報（段落番号〔００１１〕、図１）
　上述した特許文献１によるカメラ校正装置で用いられる、各カメラの撮影画像を路面に射影するためのホモグラフィは、座標位置が既知の少なくとも４以上の校正指標に基づいて算定可能であるが、これらの校正指標の撮影画像系での座標位置を算出するためには撮影画像から画像処理技術を用いて校正指標を検出する必要がある。しかしながら、撮影画像の中から少なくとも４つの校正指標を短時間で検出するためには、画像処理の演算負荷が高く、高性能の演算装置が必要となるためコストが高くなるという問題があった。
　本発明の目的は、ホモグラフィを用いたカメラ校正において、必要な数の校正指標を撮影画像の中から簡単かつ正確に求める技術を提供することにある。また、本発明の他の目的は、ホモグラフィを用いて複数台のカメラの校正を簡単に校正する技術を提供することである。
　上記目的を達成するために、本発明によるカメラ校正装置は、カメラの撮影視界における第１平面内で規定された特定領域に配置された平面状の優先校正指標と前記特定領域以外の領域に配置された平面状の非優先校正指標とからなる少なくとも４点の座標を表す校正指標を含む撮影画像を取得する画像取得部と、前記優先校正指標と前記非優先校正指標との位置関係を予め設定するとともに、前記第１平面における前記優先校正指標と前記非優先校正指標との座標位置を実座標位置として格納する指標情報格納部と、前記優先校正指標の画像上の座標位置を算定する優先校正指標位置算定部と、前記位置関係及び算定された前記優先校正指標の座標位置を参照して前記非優先校正指標の座標位置を算定する非優先校正指標位置算定部と、前記少なくとも４点の座標を表す校正指標の実座標位置と算定座標位置とから前記撮影画像の撮影画像面と前記第１平面との間のホモグラフィを算定するホモグラフィ算定部と、前記ホモグラフィを用いて前記カメラの校正を行う校正部とを備えている。
　この構成によると、まず、取得された撮影画像から第１平面内の特定領域に配置された優先校正指標の撮影画像系の座標位置を算定する。この特定領域は撮影画像の限定された領域となるので撮影画像全体から校正指標を検出することに比べて処理負担が少ない。少なくとも１つの優先校正指標の座標位置が算定されると、当該優先校正指標の算定座標位置と非優先正指標との予め設定されている位置関係を参照して撮影画像面における残りの校正指標である非優先正指標の存在領域を推定する。この予め設定されている位置関係の情報の例としては、例えば、優先校正指標と光学中心を結ぶ直線の右側領域に非優先正指標が存在しているといった情報や、優先校正指標として描かれているパターンに方向性の情報を含ませ、この方向性によって規定される直線上に非優先正指標が存在しているといった情報が挙げられる。このように、非優先正指標の存在領域が推定されることで、効率よく非優先指標の算定座標位置を求めることができる。このようにして、少なくとも４点の座標を表す校正指標の算定座標位置が得られると、その対応する実座標位置（校正指標の第１平面座標系の座標位置）とともにホモグラフィ算定部に与えられ、そこで撮影画像の撮影画像面と第１平面との間のホモグラフィを算定される。このホモグラフィを用いることで、カメラパラメータを知ることなしにカメラ校正を行うことができる。
　本発明の好適な実施形態の１つでは、前記特定領域は前記カメラからの撮影距離が短い近傍領域であり、前記非優先校正指標は前記カメラからの撮影距離が長い遠方領域に配置されている。このような校正指標の配置を採用することにより、優先校正指標と非優先校正指標とによって区画される領域が撮影画像の中で広い範囲に分布することができる。カメラに近い位置に配置された優先校正指標の撮影画像での像は高品質のレンズを用いずとも他の領域に配置することに比べその画像精度が高くなり、その検出精度も高くなるだけでなく、その元となる少なくとも４点の座標を表す校正指標ができるだけ撮影画像の広い範囲に分布していることで、最終的に求めるホモグラフィが撮影画像の全範囲で高い精度を有する利点が得られる。
　カメラを用いた監視システム等では、複数台のカメラを搭載し、その撮影画像から鳥瞰図や全周囲パノラマ画像を表示し、監視注目領域周辺の状況を把握しやすくなるような試みが行われている。このため、複数のカメラの校正を行い、各カメラの撮影画像を変換して合成された合成画像に継ぎ目や断層が生じないようにすることが要求されている。この要求を満たすため、本発明を複数のカメラの校正に適用した場合でのカメラ校正装置は、各カメラの撮影視界における第１平面内で規定された専有領域に配置された平面状の優先校正指標及び隣り合うカメラの撮影画像の間で前記第１平面において共有している共有領域に配置された平面状の非優先校正指標からなる少なくとも４点の座標を表す校正指標を含む撮影画像を各カメラから取得する画像取得部と、前記第１平面における前記優先校正指標と前記非優先校正指標との座標位置を実座標位置として格納する指標情報格納部と、前記優先校正指標の座標位置を算定する優先校正指標位置算定部と、校正指標の実座標位置と算定された前記非優先校正指標の座標位置を参照して前記非優先校正指標の座標位置を算定する非優先校正指標位置算定部と、各カメラからの撮影画像毎に前記少なくとも４点の座標を表す校正指標の実座標位置と算定座標位置とから各カメラの撮影画像面と前記第１平面との間のホモグラフィを算定するホモグラフィ算定部と、前記カメラ毎に算定されたホモグラフィを用いて複数の前記カメラの校正を行う校正部とを備えている。このように構成された複数のカメラの校正装置では、カメラ視界を共有した領域で撮影される校正用指標の平面画像上の座標値は、ホモグラフィの特性から実際値に一致しているので、基準として定めた座標系上で各カメラの画像を上空から見た画像に変換して得られた変換画像を合成した画像には継ぎ目や断層が生じるようなことは起こらない。
　特に、最近の自動車などの移動体には、複数台のカメラを搭載し、その撮影画像から鳥瞰図や全周囲パノラマ画像を表示し、運転者等の操作者が移動体周辺の状況を把握しやすくなるような試みが行われていることを考慮するならば、前記カメラが移動体に取り付けられたカメラであり、前記第１平面は路面であり、前記校正指標を前記路面に描画された模様としてのマーカとすることが好適である。同様に、前記校正指標を前記路面と平行に配置される、平面模様を有するマーカとするこことも好適である。つまり、本発明で扱われる校正指標には、路面に直接ペンキ等で塗られたマーカだけでなく、実質的に路面と同じ高さレベルとみなされるプレート上にペンキ等で塗られたマーカを路面に載置するような形態などホモグラフィ算定に適した種々なものが含まれる。
　また、前記カメラが、移動体前方を撮影視界とする前方カメラと、移動体右側方を撮影視界とする右側方カメラと、移動体左側方を撮影視界とする左側方カメラと、移動体後方を撮影視界とする後方カメラとから構成されるとよい。なお、このカメラ校正を工場内で行う場合には、路面は工場の床面となる。
　本発明によるカメラ校正装置の別な形態として、前記優先校正指標が、前記第１平面内で規定された、前記カメラからの撮影距離が短い近傍領域に配置された少なくとも４点の座標を表す平面状近傍校正指標であり、前記非優先校正指標が、前記カメラからの撮影距離が長い遠方領域に配置された少なくとも１つの平面状遠方校正指標であり、前記ホモグラフィ算定部が予備ホモグラフィ算定部と精密ホモグラフィ算定部とを備え、かつ前記優先校正指標位置算定部が前記予備ホモグラフィを用いて前記撮影画像における前記遠方校正指標の存在位置を推定する遠方指標位置推定部として構成され、前記非優先校正指標位置算定部が前記推定された存在位置を用いて前記撮影画像における前記遠方校正指標の座標位置を算定座標位置として算定する遠方指標位置算定部として構成され、前記予備ホモグラフィ算定部が、前記少なくとも４点の座標を表す近傍校正指標の実座標位置と算定座標位置とから前記撮影画像の撮影画像面と前記第１平面との間のホモグラフィを予備ホモグラフィとして算定し、前記精密ホモグラフィ算定部が、前記近傍校正指標及び前記遠方指標位置算定部によって算定された遠方指標のうちから選択された少なくとも４点の座標を表す選択指標の算定座標位置及びこれらに対応する実座標位置とから前記撮影画像の撮影画像面と前記第１平面との間のホモグラフィを精密ホモグラフィとして算定する、ように構成することもできる。
　この構成によると、まず、カメラ近傍の特定領域に配置された少なくとも４点の座標を表す校正指標の撮影画像系の座標位置を算定する。この算定処理では、極めて限定された領域にかたまって配置された校正指標を検出するため、撮影画像全体から４点の座標を表す校正指標を検出することに比べて処理時間が短縮される。またカメラに近い位置であることから校正指標の画像精度が高く、その検出精度も高くなる。このようにして算定された４つの校正指標の撮影画像座標系での座標位置と第１平面での実座標位置とからホモグラフィを算定できるので、このホモグラフィに基づいてカメラ校正を行うことが可能である。しかしながら、このホモグラフィの元になったのはカメラ近傍の限定された領域にかたまって配置された４つの校正指標であるので、このホモグラフィで撮影画像系座標全体を正確に第１平面に変換することは難しく、特にカメラから遠い領域の位置ずれが生じてくる。従って、本発明では、このホモグラフィを予備ホモグラフィとみなし、この予備ホモグラフィを用いて、予めカメラから遠い位置に設定されている遠方校正指標の撮影画像上の位置を推定する。そして、その推定された狭い領域の中で遠方校正指標を検出し、その遠方校正指標を含む４つの校正指標の撮影画像座標系での座標位置と第１平面での実座標位置とから精度の高い精密ホモグラフィを算定する。この精密ホモグラフィを用いてカメラ校正を行うことで、撮影画像全体が位置ずれなく校正されることになる。
　精密ホモグラフィの精度をできるだけ高くするためには、前記精密ホモグラフィを算定するために用いられる選択校正指標は、当該選択校正指標によって区画される領域が撮影画像面の中で広い範囲に分布するように選択するように、予め近傍校正指標と遠方校正指標との配置を決めておくと好都合である。
　さらには、前記画像取得部が、異なる撮影視界を有するとともに隣り合うカメラの撮影画像における前記第１平面で共通する共通領域を有する複数のカメラからの撮影画像を取得し、前記共通領域には少なくとも１つの共通校正指標が位置しており、前記校正部は前記精密ホモグラフィを用いて得られた隣り合うカメラの撮影画像における前記共通校正指標の位置関係から前記隣り合うカメラの校正を行うような構成を採用することも好都合である。この構成では、カメラ視界を共有した領域で撮影される校正用指標の路面画像上の座標値は、ホモグラフィの特性から実際値に一致しているので、基準として定めた座標系上で各カメラの画像を上空から見た画像に変換して得られた変換画像を合成した画像には継ぎ目や断層が生じるようなことは起こらない。
　このような複数のカメラに対する校正においても、各カメラのための精密ホモグラフィをより高精度なものとするために、前記近傍校正指標が各カメラの撮影画像における撮影中心線近傍で撮影距離の短い領域に位置するように配置され、前記共通校正指標が各カメラの撮影画像における周辺部で撮影距離の長い領域に位置するように配置されることが重要である。
　また、移動体の全周囲を４台のカメラでカバーして、鳥瞰図や全周囲パノラマ画像を表示させるカメラシステムのためのカメラ校正装置の具体的な構成として、移動体前方を撮影視界とする前方カメラと、移動体右側方を撮影視界とする右側方カメラと、移動体左側方を撮影視界とする左側方カメラと、移動体後方を撮影視界とする後方カメラを移動体に搭載し、前記第１平面を路面とし、前記近傍校正指標が前記路面に描画された互いにかつ前記近傍校正指標から遠く離れた２つのマーカとし、前記遠方校正指標が前記路面に描画された互いにかつ前記近傍校正指標から遠く離れた２つのマーカとすることが提案される。このカメラ校正を工場内で行う場合には、路面は工場の床面となる。なお、ここで、路面に描画されたマーカとは、路面に直接ペンキ等で塗られたマーカだけでなく、実質的に路面と同じ高さレベルとみなされるプレート上にペンキ等で塗られたマーカを路面に載置するような形態のものも含んでいる。
　なお、本発明は、上述したカメラ校正装置だけでなく、そのような装置におけるカメラ校正機能をコンピュータによって実現するカメラ校正プログラムやそのようなプログラムによる制御の流れを規定しているカメラ校正方法も発明対象としている。例えば、上記課題を解決するためのカメラ校正方法の１つは、カメラの撮影視界における第１平面内で規定された特定領域に配置された平面状の優先校正指標と前記特定領域以外の領域に配置された平面状の非優先校正指標とからなる少なくとも４つの校正指標を含む撮影画像を取得する画像取得ステップと、前記優先校正指標の画像上の座標位置を算定する優先校正指標位置算定ステップと、前記優先校正指標と前記非優先校正指標との予め設定された位置関係及び算定された前記優先校正指標の座標位置を参照して前記非優先校正指標の画像上の座標位置を算定する非優先校正指標位置算定ステップと、前記少なくとも４点の座標を表す校正指標の実座標位置と算定座標位置とから前記撮影画像の撮影画像面と前記第１平面との間のホモグラフィを算定するホモグラフィ算定ステップと、前記ホモグラフィを用いて前記カメラの校正を行う校正ステップとからなる。このようなステップからなるカメラ校正方法も、前述したカメラ校正装置で述べられた作用効果を伴うものであり、上述した種々の付加的な特徴を適用することも可能である。以上ことは、このカメラ校正方法と実質的に同一な特徴構成であるカメラ校正プログラムにおいても適用できる。
　先に、予備ホモグラフィと精密ホモグラフィの２つのホモグラフィを用いてカメラ校正を行う技術を述べたが、その種の基本的なカメラ校正装置は次のような構成要素を有する。つまり、カメラの撮影視界における第１平面内で規定された、前記カメラからの撮影距離が短い近傍領域に配置された少なくとも４点の座標を表す平面状近傍校正指標及び前記カメラからの撮影距離が長い遠方領域に配置された少なくとも１つの平面状遠方校正指標と含む撮影画像を取得する画像取得部と、前記第１平面における前記近傍校正指標と前記遠方校正指標との座標位置を実座標位置とし管理している指標情報管理部と、前記撮影画像における前記近傍校正指標の座標位置を算定座標位置として算定する近傍指標位置算定部と、前記少なくとも４点の座標を表す近傍校正指標の実座標位置と算定座標位置とから前記撮影画像の撮影画像面と前記第１平面との間の予備ホモグラフィを算定する予備ホモグラフィ算定部と、前記予備ホモグラフィを用いて前記撮影画像における前記遠方校正指標の存在位置を推定する遠方指標位置推定部と、前記推定された存在位置を用いて前記撮影画像における前記遠方校正指標の座標位置を算定座標位置として算定する遠方校正指標位置算定部と、前記近傍指標位置算定部によって算定された近傍指標及び前記遠方指標位置算定部によって算定された遠方指標のうちから選択された少なくとも４点の座標を表す選択指標の算定座標位置及びこれらに対応する実座標位置とから前記撮影画像の撮影画像面と前記第１平面との間の精密ホモグラフィを算定する精密ホモグラフィ算定部と、前記精密ホモグラフィを用いて前記カメラの校正を行う校正部とが備えられる。
　上述したカメラ校正機能をコンピュータによって実現するカメラ校正プログラムやそのようなプログラムによる制御の流れを規定しているカメラ校正方法ももちろん本発明の対象とである。そのカメラ校正方法は、カメラの撮影視界における第１平面内で規定された、前記カメラからの撮影距離が短い近傍領域に配置された少なくとも４点の座標を表す平面状近傍校正指標及び前記カメラからの撮影距離が長い遠方領域に配置された少なくとも１つの平面状遠方校正指標と含む撮影画像を取得する画像取得ステップと、前記撮影画像における前記近傍校正指標の座標位置を算定座標位置として算定する近傍指標位置算定ステップと、前記少なくとも４点の座標を表す近傍校正指標の実座標位置と算定座標位置とから前記撮影画像の撮影画像面と前記第１平面との間の予備ホモグラフィを算定する予備ホモグラフィ算定ステップと、前記予備ホモグラフィを用いて前記撮影画像における前記遠方校正指標の存在位置を推定する遠方指標位置推定ステップと、前記推定された存在位置を用いて前記撮影画像における前記遠方校正指標の座標位置を算定座標位置として算定する遠方校正指標位置算定ステップと、前記近傍指標位置算定ステップで算定された近傍指標及び前記遠方指標位置算定ステップで算定された遠方指標のうちから選択された少なくとも４点の座標を表す選択指標の算定座標位置及びこれらに対応する実座標位置とから前記撮影画像の撮影画像面と前記第１平面との間の精密ホモグラフィを算定する精密ホモグラフィ算定ステップと、前記精密ホモグラフィを用いて前記カメラの校正を行う校正ステップからなる。このようなステップからなるカメラ校正方法も、前述したカメラ校正装置で述べられた作用効果を伴うものであり、上述した種々の付加的な特徴を適用することも可能である。以上ことは、このカメラ校正方法と実質的に同一な特徴構成となるカメラ校正プログラムにおいても適用できる。
本発明で利用されている平面射影変換の基本原理を説明する説明図である。 本発明によるカメラ校正装置の基本原理を説明する説明図である。 路面に配置された校正指標と車両とカメラ視界との関係を示す説明図である。 平面状校正指標を示す平面図である。 カメラ校正装置のコントローラユニットに構築される機能を示す機能ブロック図である。 複数カメラの校正処理の流れを例示するフローチャートである。 本発明によるカメラ校正装置の基本原理を説明する説明図である。 路面に配置された校正指標と車両とカメラ視界との関係を示す説明図である。 カメラ校正装置のコントローラユニットに構築される機能を示す機能ブロック図である。 複数カメラの校正処理の流れを例示するフローチャートである。 別実施形態の平面状校正指標を示す平面図である。 さらに別な実施形態の平面状校正指標を示す平面図である。 さらに別な実施形態の平面状校正指標を示す平面図である。 図１３による平面状校正指標の撮影画像を示す平面図である。 優先校正指標と非優先正指標との位置関係情報を説明する説明図である。
　まず、図１を用いて本発明で利用されている平面射影変換の基本原理を説明する。撮影中心（ここでは光学中心でもある）Ｃを有するカメラの撮影視界に第１平面Πが存在しており、この平面上にカメラ校正のための４点の座標を表す校正指標（図１では点で示されている）Ｍ１、Ｍ２、Ｍ３、Ｍ４が配置されている。カメラの撮影画像面πには４つの校正指標Ｍ１、Ｍ２、Ｍ３、Ｍ４の像が写される。それらの像の撮影画像座標系（ここではｘ－ｙ座標系としておく）の点Ｐ１、Ｐ２、Ｐ３、Ｐ４の座標位置は画像処理によって算定することができる。また、校正指標は予め設定したとおりに配置されているので、第１平面Πに配置された校正指標（図１では点で示されている）Ｍ１、Ｍ２、Ｍ３、Ｍ４の第１平面Πで設定されている平面座標系（ここではＸ－Ｙ座標系としておく）における座標位置は、既知である。
　三次元空間における平面上の配置が既知である４点を校正指標として使用すれば、それぞれの校正指標に対応する撮影画像の４点との関係付け、いわゆるホモグラフィ（平面射影変換）：Ｈを算定することができ、カメラの外部パラメータが未知であっても、撮影画像面の４点を、元の三次元空間における平面上の４点として復元することができることは、投影幾何学から知られている。詳しい説明はここでは省略するが、これについては、例えば、特開２００６－１４８７４５号公報や、佐藤淳著「コンピュータビジョン」、コロナ社、２００１年１０月１０日初版第３刷発行、が参照される。ここでは特筆すべきことは、カメラの高さやチルト角等の三次元空間中のカメラの位置及び姿勢の情報であるカメラの外部パラメータは必要とせず、これらは未知でよいということである。図１に示すように、４つの校正指標の第１平面座標位置：Ｍ１(Ｘ１,Ｙ１)、Ｍ２(Ｘ２,Ｙ２)、Ｍ３(Ｘ３,Ｙ３)、Ｍ４(Ｘ４,Ｙ４)と、その撮影画像における４つの校正指標の算定された撮影画像座標位置：Ｐ１(ｘ１,ｙ１)、Ｐ２(ｘ２,ｙ２)、Ｐ３(ｘ３,ｙ３)、Ｐ４(ｘ４,ｙ４)との対応付けを行い、ホモグラフィ：Ｈが算定される。一旦ホモグラフィＨが算定されると、撮影画像面：πにおける任意の撮影画像座標位置の点Ｐn(ｘn,ｙn)の第１平面における座標位置Ｍn(Ｘn,Ｙn)への変換が可能となる。
　上述した基本原理を用いた、本発明に係るカメラ校正装置の原理を図２に基づいて説明する。
ここでは、カメラ１の撮影視界における第１平面Πにおいて、カメラ１からの撮影距離が短い領域である特定領域を専有領域Πｍとして設定しており、この特定領域以外の領域でカメラ１からの撮影距離が長い一部の領域を共有領域Πｃとして設定している。この共有領域Πｃは、複数のカメラを用いて第１平面Πの大きなエリアをカバーする際に隣り合うカメラの撮影画像において共有する領域として適している。また、専有領域Πｍは、複数のカメラを用いて第１平面Πの大きなエリアをカバーする際に1台のカメラによってのみ最適に写される領域として適している。なお、共有領域Πｃは、カメラ光軸の横断方向に大きく間隔をあけた２つの領域に分けられている。ホモグラフィを算定するためには、第１平面Πの内の１つのカメラの視界に入っている平面領域Π１には、少なくとも４つの平面状優先校正指標が必要となる。従って、ここでは、専有領域Πｍに２つの優先校正指標（以下単に優先指標と称する）Ｍ１、Ｍ２が配置され、共有領域Πｃに２つの非優先正指標（以下単に非優先指標と称する）Ｍ３、Ｍ４が配置されている。なお、優先指標と非優先指標を特に区別する必要のない場合では、単に指標という語句を用い、校正指標を総称する図番を９とした。また、第１平面Πの平面座標系における各指標の座標位置は指標の実座標位置として既知値となっている。
　この部分第１平面Π１をカメラ１で撮影するとその撮影画像は撮影画像面πで得られる。この撮影画像において、まず専有領域Πｍに配置されている２つの優先指標Ｍ１、Ｍ２の撮影画像座標系での座標位置が算定座標位置として画像処理技術を通じて算定される。その際、この２つの優先指標Ｍ１、Ｍ２は、撮影距離が短く横断方向で中央の領域である特定された領域である専有領域Πｍに配置されているので、その撮影像も撮影画像内の特定された領域に位置することになり、その検索処理の演算負担が小さいものとなる。
　優先指標Ｍ１、Ｍ２が検出されると、予め設定されている優先校正指標Ｍ１、Ｍ２の算定座標位置と非優先正指標Ｍ３、Ｍ４との位置関係を参照して撮影画像面πにおける非優先正指標Ｍ３、Ｍ４の存在領域を推定する。例えば、優先校正指標Ｍ１、Ｍ２の垂直二等分線の右側領域に非優先正指標Ｍ３が存在しており、その左側領域に非優先正指標Ｍ４が存在していると定義されていると、検索領域は半分となる。また、光学中心Ｃと優先校正指標Ｍ１とを結ぶ直線上に非優先正指標Ｍ４が存在し、光学中心Ｃと優先校正指標Ｍ２とを結ぶ直線上に非優先正指標Ｍ３が存在していると定義されていると、検索領域はさらに狭くなる。このように、まだ検出されていない非優先正指標Ｍ３、Ｍ４の存在領域が推定されることで、効率よく非優先指標Ｍ３、Ｍ４の算定座標位置を得ることができる。
　このようにして得られる指標Ｍ１、Ｍ２、Ｍ３、Ｍ４は、できるだけ第１平面Π1の大きな領域を規定するように設定しておくと、これに基づいて算定されるホモグラフィの精度も向上する。
優先指標Ｍ１、Ｍ２及び非優先指標Ｍ３、Ｍ４の撮影画像系での算定座標位置Ｐ１(ｘ１,ｙ１)、Ｐ２(ｘ２,ｙ２)、Ｐ３(ｘ３,ｙ３)、Ｐ４(ｘ４,ｙ４)と、その第１平面Π上での実座標位置である平面座標系（または路面座標系）での座標位置：Ｍ１(Ｘ１,Ｙ１)、Ｍ２(Ｘ２,Ｙ２)、Ｍ３(Ｘ３,Ｙ３)、Ｍ４(Ｘ４,Ｙ４)とから、このカメラ１の撮影画像面πと第１平面Πとの間のホモグラフィ：Ｈ１を算定することができる。
　図２で模式的に示されているように、４つのカメラ１によって第１平面Πがカバーされている場合は、４つのホモグラフィ：Ｈ１、Ｈ２、Ｈ３、Ｈ４が算定される。このようにして構築されたホモグラフィを用いてカメラ１の校正を行うことで、カメラ１の内部パラメータのみならず外部パラメータに係る情報を必要とすることなく、道路面等の第１平面Πと撮影画像に基づくモニタ等の表示画像との対応が適正となるカメラ校正が実現する。
　移動体の一例としての車両に搭載された複数の車載カメラ１を校正するために本発明に係るカメラ校正装置が適用された例を実施の形態の１つとして以下に説明する。
　図３は、第１平面Πとしての路面の所定の位置に停止した車両と、その路面に描画された校正指標とカメラ視界との関係を示す説明図である。ここでは車載カメラ１として、車両前方をカメラ視界とする第１カメラ１１と、車両右側方をカメラ視界とする第２カメラ１２と、車両後方をカメラ視界とする第３カメラ１３と、車両左側方をカメラ視界とする第４カメラ１４とが備えられている。なお、各カメラを特に区別しない場合には共通的にカメラ１と呼ぶことにする。
　各カメラ１の視界内に入っている路面は、それぞれ、車両に近い中央に位置する専有領域Πｍと、車両から遠い両側の共有領域Πｃとを含んでいる。共有領域Πｃは隣り合うカメラ１の視界内に入っている路面における共通領域である。専有領域Πｍのカメラ１から近い箇所に２つの優先指標Ｍ１、Ｍ２及び左右両側の共有領域Πｃのカメラから遠い箇所には、それぞれ１つの非優先指標Ｍ３、Ｍ４が配置される。優先指標Ｍ１、Ｍ２及び非優先指標Ｍ３、Ｍ４は、いずれも、図４に例示するような、マーカとも呼ばれている白黒の市松模様のパターンからなる図番９で総称される同じ指標である。この指標９は白の矩形２個、黒の矩形２個の計４個の矩形により校正された市松模様パターンであり、そのパターン中央の点Ｑの座標位置が実際に用いられる指標９の座標位置である。従って、点Ｑの位置を画像処理的に検出するために、市松模様パターンのエッジ検出を行い、それによって得られた直交する直線の交点を点Ｑとみなす。なお、指標それ自体は、路面に直接描画してもよいし、プレート体の表面に指標を描画して、このプレート体を任意に移動設置するようにしてもよい。
　第１カメラ１１による撮影画像には専有領域Πｍに配置された優先指標Ｍ１、Ｍ２及び隣り合う第２カメラ１２または第４カメラ１４とで共有している共有領域Πｃに配置された非優先指標Ｍ３とＭ４の画像が含まれる。同様に第２カメラ１２による撮影画像にも優先指標Ｍ１、Ｍ２及び非優先指標Ｍ３、Ｍ４の画像が含まれ、第３カメラ１３による撮影画像にも優先指標Ｍ１、Ｍ２及び非優先指標Ｍ３、Ｍ４の画像が含まれ、第４カメラ１４による撮影画像にも優先指標Ｍ１、Ｍ２及び非優先指標Ｍ３、Ｍ４の画像が含まれる。
　このような車両と校正指標とカメラ視界との関係において、図２を用いて説明したカメラ校正を実施するため、この車両に搭載されたカメラ校正装置は、図５で模式的に示すような機能部を構築しているコントロールユニット５と、このコントロールユニット５に接続されたモニタ６を備えている。上記４台の車載カメラ１はこのコントロールユニット５にデータ伝送可能に接続されており、各撮影視界の撮影画像をコントロールユニット５に送り込む。
　コントロールユニット５に構築された、本発明に特に関係する機能部は、画像取得部５１と、指標情報管理部５２と、指標位置算定部５３と、ホモグラフィ算定部５４と、校正部５６と、表示画像生成部５７である。画像取得部５１は、各カメラ１から送られてくる撮影画像を選択的に取得して、必要な前処理を施してワーキングメモリに展開する。指標情報管理部５２は、各カメラ１の視界毎に路面Πに配置された、優先指標Ｍ１、Ｍ２と非優先指標Ｍ３、Ｍ４を含む校正指標９の実座標位置である路面座標位置を管理しており、要求に応じて処理対象となっている校正指標９の路面座標位置を機能部に与える。車両の停止位置が決められ、各校正指標９も所定の位置に描画またはセットされている場合には、この路面座標位置は不揮発性メモリ等に記憶しておくとよい。また、校正指標９と車両との路面におけう相対位置が変動する場合には、その都度入力された校正指標９の路面座標位置を指標情報管理部５２が管理することになる。
　さらに、この指標情報管理部５２は、前述したような、優先指標Ｍ１、Ｍ２と非優先正指標Ｍ３、Ｍ４との位置関係を表す情報も格納しており、優先指標Ｍ１、Ｍ２を検出したのちでの、非優先指標の検出対象となる領域を限定するために、必要に応じて、指標位置算定部５３に与えられる。
　指標位置算定部５３は、ワーキングメモリに展開されている撮影画像における校正指標９の撮影画像座標上での座標位置を算定座標位置として求める処理を行う。この処理では、図４における点Ｑを検出するために、水平線検出及び垂直線検出のためのエッジ検出フィルタをかけ、ＲＡＮＳＡＣを用いて直線を求め、その直線の交点の座標位置を算定座標位置とする。指標位置算定部５３は、優先校正指標の座標位置を算定する優先指標位置算定部５３ａと、指標位置算定部５３から与えられる、上述した位置関係情報を参照して非優先校正指標の座標位置を算定する非優先校正指標位置算定部５３ｂとの２つの機能を有する。
　ホモグラフィ算定部５４は、少なくとも４つの校正指標９の路面座標位置と、当該校正指標９の指標位置算定部５３によって算定された算定座標位置とから撮影画像の撮影画像面πと路面Πとの間のホモグラフィを算定する。
　校正部５６は、カメラ１毎にホモグラフィ算定部５４で算定された各撮影画像面πと路面Πとの間の精密ホモグラフィ：Ｈ１、Ｈ２、Ｈ３、Ｈ４から、各カメラ１の校正データを設定する。表示画像生成部５７は、校正部５６によって設定された校正データを参照して、各カメラ１からの撮影画像をモニタ６に表示するための表示画像に変換し、各カメラ１の撮影画像間でずれのない表示画像をユーザに提供する。
　上述したように構成されたカメラ校正装置による複数カメラ１の校正処理の流れを図６のフローチャートを用いて説明する。
　まず、最初に校正処理するカメラ１を指定して（＃０１）、指定されたカメラ１の撮影画像をワーキングメモリに取り込む（＃０２）。指定されたカメラ１の視界に属する専有領域の位置情報を参照して、その専有領域に配置されている優先指標のための注目検索領域を撮影画像に対して設定する（＃０３）。設定された注目検索領域から２つの優先指標を検出し、その画像座標位置を算定する（＃０４）。算定された２つの優先指標の路面座標系での座標位置である路面座標位置、及び、当該優先指標と対応非優先指標指との位置関係情報を報標情報管理部５２から得て、非優先指標の撮影画像座標系での推定存在位置から非優先指標の注目検索領域を設定する（＃０５）。設定された注目検索領域から２つの非優先指標を検出し、その画像座標位置を算定する（＃０９）。算定された２つの非優先指標の路面座標系での座標位置である路面座標位置を指標情報管理部５２から読み込む（＃１０）。このようにして得られた２つの優先指標と非優先指標との算定座標位置と路面座標位置とを利用して、ホモグラフィ：Ｈｎ（ｎはカメラ番号；１、２、３、４）を算定する（＃０８）。算定されたホモグラフィ：Ｈｎは、指定されたカメラ１のホモグラフィ：Ｈ１として登録される（＃０９）。次に、４台の全てのカメラ１の精密ホモグラフィ：Ｈｎの登録が完了したかどうかチェックされ（＃１０）、まだ未了のカメラが残っていると（＃１０No分岐）、再びステップ＃０１に戻って上述した処理を繰り返す。全てのカメラ１の精密ホモグラフィ：Ｈｎの登録が完了した場合（＃１０Yes分岐）、全てのカメラ１のホモグラフィ：Ｈ１、Ｈ２、Ｈ３、Ｈ４から各カメラ１の校正データをカメラ校正テーブルに登録して、このカメラ校正ルーチンを終了する（＃１１）。
〔別実施形態〕
　次に、予備ホモグラフィと精密ホモグラフィの２つのホモグラフィを用いてカメラ校正を行うことで、先の実施形態とは異なるカメラ校正装置を説明する。なお、先の実施形態の構成要素と同じ又は実質的に同じ機能を有する、この別実施形態の構成要素には、同一の符号を付与されている。
　　まず、この別実施形態に係るカメラ校正装置の原理を図７に基づいて説明する。
カメラ１の撮影視界における第１平面Πにおいて、カメラ１からの撮影距離が短い近傍領域Πsと、カメラ１からの撮影距離が長い遠方領域Πwが規定されている。近傍領域Πsに
は４つの平面状近傍校正指標（以下単に近傍指標と称する）Ｍ１１、Ｍ１２、Ｍ１３、Ｍ１４が配置されており、遠方領域Πwにはそれぞれカメラ光軸の横断方向に大きく間隔をあけた２つの平面状遠方校正指標（以下単に遠方指標と称する）Ｍ１５、Ｍ１６が配置されている。なお、ここでも、近傍指標と遠方指標を特に区別する必要のない場合では、単に指標という語句を用い、校正指標を総称する図番を９とした。また、第１平面Πの平面座標系における各指標の座標位置は指標の実座標位置として既知である。
　この第１平面Πをカメラ１で撮影するとその撮影画像は撮影画像面πで得られる。この撮影画像における４つの近傍指標の撮影画像座標系での座標位置が算定画像位置として画像処理技術を通じて算定される。その際、４つの近傍指標Ｍ１１、Ｍ１２、Ｍ１３、Ｍ１４は、撮影距離が短く横断方向で中央の領域である極めて狭い領域である近傍領域Πsに配置されているので、その撮影像も撮影画像内の極めて限定された領域に位置することになり、その検索処理の演算負担が小さいものとなる。
　４つの近傍指標の上記実座標位置と上記算定画像位置とから、撮影画像面πと第１平面Πとの間のホモグラフィ：Ｈsを求めることができる。このホモグラフィ：Ｈsは、撮影画像において小さくかたまっている４つの算定画像位置を用いて算定されているので、ここではこのホモグラフィを予備ホモグラフィと称する。この予備ホモグラフィ：Ｈsを用いることで、任意の第１平面Π上の点と撮影画像面πの点の位置関係が得ることができるので、この予備ホモグラフィ：Ｈsを用いて、遠方指標Ｍ１５、Ｍ１６の撮影画像座標系での存在位置をほぼ推定することができる。この推定された座標位置を参照することで、遠方指標Ｍ１５、Ｍ１６の撮影像も検索が容易となり、高速で遠方指標Ｍ１５、Ｍ１６の算定画像位置を得ることができる。このようにして得られた、指標Ｍ１１、Ｍ１２、Ｍ１３、Ｍ１４、Ｍ１５、Ｍ１６から、できるだけ第１平面Πの大きな領域を規定することができる４つの指標を選択する。図７の例であれば、近傍指標Ｍ１１、Ｍ１２及び遠方指標Ｍ１５、Ｍ１６を選択すると第１平面Πにおいて最も大きな領域を規定することができる。
　このように、選択された近傍指標Ｍ１１、Ｍ１２及び遠方指標Ｍ１５、Ｍ１６の実座標位置と算定画像位置とから、撮影画像面πと第１平面Πとの間のホモグラフィ：Ｈpを求めることができる。このホモグラフィ：Ｈpは、撮影画像において大きく分散した４つの算定画像位置を用いて算定されているので、予備ホモグラフィ：Ｈsより全領域での精度が高いものとなる。従って、このホモグラフィ：Ｈpを精密ホモグラフィと称する。
　このようにして構築された精密ホモグラフィ：Ｈpを用いてカメラ１の校正を行うことで、カメラ１の内部パラメータのみならず外部パラメータに係る情報を必要とすることなく、道路面等の第１平面Πと撮影画像に基づくモニタ等の表示画像との対応が適正となるカメラ校正が実現する。
　移動体としての車両に搭載された複数の車載カメラ１を校正するために本発明に係るカメラ校正装置が適用された例を実施の形態の１つとして以下に説明する。
　図８は、第１平面Πとしての路面の所定の位置に停止した車両と、その路面に描画された校正指標とカメラ視界との関係を示す説明図である。ここでは車載カメラ１として、車両前方をカメラ視界とする第１カメラ１１と、車両右側方をカメラ視界とする第２カメラ１２と、車両後方をカメラ視界とする第３カメラ１３と、車両左側方をカメラ視界とする第４カメラ１４とが備えられている。なお、各カメラを特に区別しない場合には共通的にカメラ１と呼ぶことにする。
　各カメラ１の視界内に入っている路面は、それぞれ、車両に近い中央に位置する近傍領域Πｓと、車両から遠い両側の遠方領域Πｗとを含んでいる。遠方領域Πｗは隣り合うカメラ１の視界内に入っている路面の遠方領域Πｗとの共通領域となっている。それぞれの近傍領域Πｓには、図４に例示するような、マーカとも呼ばれている白黒の市松模様のパターンからなる図番９で総称される近傍指標Ｍ１１、Ｍ１２、Ｍ１３、Ｍ１４が描画されている。この指標９は白の矩形２個、黒の矩形２個の計４個の矩形により校正された市松模様パターンであり、そのパターン中央の点Ｑの座標位置が実際に用いられる指標９の座標位置である。従って、点Ｑの位置を画像処理的に検出するために、市松模様パターンのエッジ検出を行い、それによって得られた直交する直線の交点を点Ｑとみなす。
　また、それぞれの遠方領域（共通領域）Πｗには１つの同様な模様をもつ遠方指標Ｍ１５、Ｍ１６、Ｍ１７、Ｍ１８が描画されている。なお、指標それ自体は、路面に直接描画してもよいし、プレート体の表面に指標を描画して、このプレート体を任意に移動設置するようにしてもよい。いずれにせよ、第１カメラ１１による撮影画像には第１カメラ１１が専有している近傍指標Ｍ１１、Ｍ１２、Ｍ１３、Ｍ１４及び隣り合う第２カメラ１２または第４カメラ１４とで共有している遠方指標Ｍ１５とＭ１６の画像が含まれる。同様に第２カメラ１２による撮影画像には専有している近傍指標Ｍ１１、Ｍ１２、Ｍ１３、Ｍ１４及び共有している遠方指標Ｍ１６とＭ１７の画像が含まれ、第３カメラ１３による撮影画像には専有している近傍指標Ｍ１１、Ｍ１２、Ｍ１３、Ｍ１４及び共有している遠方指標Ｍ１７とＭ１８の画像が含まれ、第４カメラ１４による撮影画像には専有している近傍指標Ｍ１１、Ｍ１２、Ｍ１３、Ｍ１４及び共有している遠方指標Ｍ１８とＭ１５の画像が含まれる。従って、遠方指標Ｍ１５、Ｍ１６、Ｍ１７、Ｍ１８は隣り合うカメラに共通的に撮影される共通校正指標としての機能をもつ。
　このような車両と校正指標とカメラ視界との関係において、図７を用いて説明したカメラ校正を実施するため、この車両に搭載されたカメラ校正装置は、図９で模式的に示すような機能部を構築しているコントロールユニット５と、このコントロールユニット５に接続されたモニタ６を備えている。上記４台の車載カメラ１はこのコントロールユニット５にデータ伝送可能に接続されており、各撮影視界の撮影画像をコントロールユニット５に送り込む。
　コントロールユニット５に構築された、本発明に特に関係する機能部は、画像取得部５１と、指標情報管理部５２と、指標位置算定部５３と、ホモグラフィ算定部５４と、指標位置推定部５５と、校正部５６と、表示画像生成部５７である。画像取得部５１は、各カメラ１から送られてくる撮影画像を選択的に取得して、必要な前処理を施してワーキングメモリに展開する。指標情報管理部５２は、各カメラ１の視界毎に路面Πに配置された、近傍校正指標と遠方校正指標を含む校正指標９の実座標位置である路面座標位置を管理しており、要求に応じて処理対象となっている校正指標９の路面座標位置を機能部に与える。車両の停止位置が決められ、各校正指標９も所定の位置に描画またはセットされている場合には、この路面座標位置は不揮発性メモリ等に記憶しておくとよい。また、校正指標９と車両との路面におけう相対位置が変動する場合には、その都度入力された校正指標９の路面座標位置を指標情報管理部５２が管理することになる。
　指標位置算定部５３は、ワーキングメモリに展開されている撮影画像における校正指標９の撮影画像座標上での座標位置を算定座標位置として求める処理を行う。この処理では、図４における点Ｑを検出するために、水平線検出及び垂直線検出のためのエッジ検出フィルタをかけ、ＲＡＮＳＡＣを用いて直線を求め、その直線の交点の座標位置を算定座標位置とする。指標位置算定部５３は、後で詳しく説明するが、近傍校正指標の座標位置を算定座標位置として算定する近傍指標位置算定部５３ａと、遠方校正指標の座標位置を算定座標位置として算定する遠方校正指標位置算定部５３ｂとの２つの機能を有する。
　ホモグラフィ算定部５４は、少なくとも４つの校正指標９の路面座標位置と算定座標位置とから撮影画像の撮影画像面πと路面Πとの間のホモグラフィを算定する。このホモグラフィ算定部５４は２つのホモグラフィを算定する機能を有している。つまり、少なくとも４つの近傍指標の路面座標位置と算定座標位置とから撮影画像面πと路面Πとの間の予備ホモグラフィ：Ｈsを算定する予備ホモグラフィ算定部５４ａと、近傍指標位置算定部５３ａによって算定された近傍指標と遠方指標位置算定部５３ｂによって算定された遠方指標とから選択された少なくとも４つの選択指標の算定座標位置及びこれらに対応する路面座標位置とから撮影画像面πと路面Πとの間の精密ホモグラフィ：Ｈpを算定する精密ホモグラフィ算定部５４ａとである。
　指標位置推定部５５は、予備ホモグラフィ：Ｈsに指標情報管理部５２から読み出した遠方指標の路面座標位置を適用して遠方指標の撮影画像座標系での位置を推定する。遠方指標位置算定部５３ｂは、指標位置推定部５５によって推定された推定領域を検出対象領域として遠方校正指標の座標位置を算定する。
　校正部５６は、カメラ１毎に精密ホモグラフィ算定部５４ａで算定された各撮影画像面πと路面Πとの間の精密ホモグラフィ：Ｈp（Ｈp1、Ｈp2、Ｈp3、Ｈp4）から、各カメラ１の校正データを設定する。表示画像生成部５７は、校正部５６によって設定された校正データを参照して、各カメラ１からの撮影画像をモニタ６に表示するための表示画像に変換し、各カメラ１の撮影画像間でずれのない表示画像をユーザに提供する。
　上述したように構成されたカメラ校正装置による複数カメラ１の校正処理の流れを図１０のフローチャートを用いて説明する。
　まず、最初に校正処理するカメラ１を指定して（＃２１）、指定されたカメラ１の撮影画像をワーキングメモリに取り込む（＃２２）。指定されたカメラ１の視界に属する近傍領域の位置情報を参照して、その近傍領域に配置されている近傍指標のための注目検索領域を撮影画像に対して設定する（＃２３）。設定された注目検索領域から４つの近傍指標を検出し、その画像座標位置を算定する（＃２４）。算定された４つの近傍指標の路面座標系での座標位置である路面座標位置を指標情報管理部５２から読み込む（＃２５）。４つの近傍指標の算定座標位置と路面座標位置とを利用して、予備ホモグラフィ：Ｈsを算定する（＃２６）。指定されたカメラ１の視界に属する遠方領域に配置された遠方指標の路面座標位置を指標情報管理部５２から読み取って、予備ホモグラフィ：Ｈsに与えることで、当該遠方指標の撮影画像座標系での存在位置を推定する（＃２７）。この推定された存在位置に基づいて、撮影画像上で遠方指標を検出するための注目検索領域を設定する（＃２８）。設定された注目検索領域から２つの近傍指標を検出し、その画像座標位置を算定する（＃２９）。算定された２つの遠方指標の路面座標系での座標位置である路面座標位置を指標情報管理部５２から読み込む（＃３０）。遠方指標と、４つの近傍指標から選んだより遠方指標から遠い２つの近傍指標との算定座標位置と路面座標位置とを利用して、精密ホモグラフィ：Ｈpを算定する（＃３１）。算定された精密ホモグラフィ：Ｈpは、指定されたカメラ１のホモグラフィとして登録される（＃３２）。次に、４台の全てのカメラ１の精密ホモグラフィ：Ｈpの登録が完了したかどうかチェックされ（＃３３）、まだ未了のカメラが残っていると（＃３３No分岐）、再びステップ＃２１に戻って、上述した処理を繰り返す。全てのカメラ１の精密ホモグラフィ：Ｈpの登録が完了した場合（＃３３Yes分岐）、全てのカメラ１の精密ホモグラフィ：Ｈp（Ｈp1、Ｈp2、Ｈp3、Ｈp4）から、各カメラ１の校正データをカメラ校正テーブルに登録して、このカメラ校正ルーチンを終了する（＃３４）。
〔平面状校正指標の別形態〕
　以下に、図４で示された平面状校正指標９以外の模様を有する平面状校正指標を例示する。
（１）図１１で示す校正指標９では、優先指標は黒く（周囲と画像処理的に区別できるならその色は黒に限定されない）塗りつぶされた台形であり、非優先指標は黒く塗りつぶされた三角形である。優先指標を規定する台形は、カメラの光学中心位置から同一の放射角度で放射状に伸びる２本の直線と、カメラの光軸（図１１においてカメラ位置から上下方向に延びる線）に直交する２本の平行な直線とによって規定される台形である。この台形の４つのコーナ点が４つの校正指標点、ｑ１、ｑ２、ｑ３、ｑ４となる。この台形の境界辺をエッジ検出により検出し、検出された４つの境界線の交点を算定することで４つの校正指標点、ｑ１、ｑ２、ｑ３、ｑ４が得られる。非優先指標を規定する三角形は、カメラの光学中心位置から遠方領域の方に延びた１本の放射直線とカメラの光軸に直交する１本の直線と任意に設定可能な直線によって規定される三角形である。三角形の２つの境界辺を横方向エッジ検出により検出し、検出された２本の境界線の交点を算定することで校正指標点ｑ５またはｑ６が得られる。
（２）使用するカメラが高品質でない場合、被写体の輝度によっては像の位置がずれる可能性がある。このような場合は、そのままエッジ検出した後に直線を当てはめても実際とは異なる位置に直線が設定されてしまう恐れがある。この問題を解決するために、図１２で示す校正指標は、その濃淡パターンが相補的となっていることで、上記ずれをキャンセルさせるようになっている。つまり、図１１による校正指標と比較して、その優先指標のパターン模様は、実質的には２本の放射直線と、２本の平行直線とによって規定される１つの台形と、その台形の各頂点の１８０°回転位置に規定されるほぼ相似するダミーの４つの台形が黒く塗りつぶされた模様となっている。優先指標のパターン模様は、図１１での非優先指標である三角形の対頂角側にもうひとつダミーの三角形が配置された模様となっている。つまり、校正指標としての中央の台形及び三角形の基準線を共有するダミーの台形と三角形が存在することにより、相補的な濃淡パターンが実現されている。
（３）図１３に示されたこの校正指標は、図１２に示された校正指標と類似しているが、ダミーを含む台形及び三角形のサイズを、カメラ１より遠方側に位置するものほど大きくすることにより撮影画像上でのそれぞれのサイズがほぼ同一のサイズとなるように設定されている。この校正指標の撮影画像が図１４に示されている。この図１４から理解できるように、実際の路面上では放射状直線であったものが撮影画像上では垂直線として現れ、水平線であったものはそのまま水平線としてあらわれるので、画像処理におけるエッジ検出が大変処理がシンプルになる。これにより、各パターンのエッジ検出精度が向上、結果的に校正指標点の算定を導く直線検出の精度の向上が期待できる。
　優先校正指標と非優先正指標との位置関係情報の一例を、図１５を用いて説明する。ここには、校正指標９として、２つの優先校正指標Ｍ１、Ｍ２と２つの非優先正指標Ｍ３、Ｍ４が示されている。各校正指標９は図４で示された白黒の市松模様である。上述したように、一方の優先校正指標Ｍ１の指標点Ｑを算定する際に、市松模様パターンのエッジ検出によって直交する２つの直線が得られる。ここではその内の１つの直線Ｌ１上に非優先正指標Ｍ４が存在するように予め設定されている。同様に、他方の優先校正指標Ｍ２の指標点Ｑを算定する際に得られる直線Ｌ２上に非優先正指標Ｍ３が存在するように予め設定されている。これが、この図１５の例での優先校正指標と非優先正指標との位置関係情報であり、優先校正指標として描かれている市松模様パターンに方向性の情報である直線情報を含ませている。この位置関係情報により、優先校正指標Ｍ１、Ｍ２が検出された後は、直線Ｌ１上及び直線Ｌ２上を探索することで非優先正指標Ｍ３、Ｍ４を効率よく見つけることができる。
　本発明によるカメラ校正（カメラの校正）の具体的な目的の１つは、カメラ１により取得された撮像画像をモニタ６に表示するとともに、当該撮像画像に所定の画像情報（例えば、車両駐車スペースに駐車させたり、後退走行をさせたりする際にドライバの運転を支援する公知の駐車支援装置や運転支援装置等における車両の進路を予想した予想進路線等）を重畳する際に、撮影画像と重畳画像との関係を正確にするためである。本発明によるカメラ校正（カメラの校正）により実際の路面位置と撮影画像上での路面位置が正確に対応付けられているので、モニタ６におけるカメラ１により取得された撮像画像と付加的な重畳画像との位置関係が正確となる。すなわち、撮影画像はそのままで、重畳画像を補正して撮影画像と付加的な重畳画像との位置関係が正確になるようにもできるし、重畳画像は固定で撮影画像の方を補正して、撮影画像と付加的な重畳画像との位置関係が正確となるようにもできる。
　また、本発明によるカメラ校正を通じて実際の路面位置と撮影画像上での路面位置が正確に対応付けられていると、車載カメラで取得された撮像画像に含まれる表示物（例えば、車線や物体等）の実際の位置が撮像画像の画像処理を通じて正確に特定することができる。
　次に、実施における変形例や好適な適用例を挙げる。
〔別実施の形態〕
（１）上述した実施の形態では、ホモグラフィを算定するため、４つの校正指標を用いていたが、もちろん４つ以上の校正指標を用いてもよい。また、専有領域や共有領域に配置される指標の数を多くし、最も検出しやすいものだけを選択して利用するようにしてもよい。
（２）別の実施形態において、配置される近傍指標（詳しくは近傍指標点）も４つとしていたが、それ以上の近傍指標を配置し、最も検出しやすいものだけを選択して利用するようにしてもよい。遠方指標も２つに限定されるわけではなく、１つ以上であればよい。また、よりたくさんの遠方指標を配置して、最も検出しやすいものだけを選択して利用するようにしてもよい。
（３）校正指標の形態は、上述した以外種々な変更が可能である。またそのパターン模様の形成はペンキ等を用いた描画に限られず、例えば光学的、照明的な方法によるパターン模様形成を採用してもよい。
（４）優先校正指標と非優先校正指標との位置関係は上述した関係以外の種々の関係を設定可能であり、またその位置関係は必ずしもメモリ等に格納する必要はなく、指標位置算定処理のアルゴリズムとして組み込んでもよい。
（５）本発明によるカメラ校正の具体的な目的の１つは、カメラ１により取得された撮像画像をモニタ６に表示するとともに、当該撮像画像に所定の画像情報（例えば、車両駐車スペースに駐車させたり、後退走行をさせたりする際にドライバの運転を支援する公知の駐車支援装置や運転支援装置等における車両の進路を予想した予想進路線等）を重畳する際に、撮影画像と重畳画像との関係を正確にするためである。本発明によるカメラ校正により実際の路面位置と撮影画像上での路面位置が正確に対応付けられているので、モニタ６におけるカメラ１により取得された撮像画像と付加的な重畳画像との位置関係が正確となる。すなわち、撮影画像はそのままで、重畳画像を補正して撮影画像と付加的な重畳画像との位置関係が正確になるようにもできるし、重畳画像は固定で撮影画像の方を補正して、撮影画像と付加的な重畳画像との位置関係が正確となるようにもできる。
（６）本発明によるカメラ校正を通じて実際の路面位置と撮影画像上での路面位置が正確に対応付けられていると、車載カメラで取得された撮像画像に含まれる表示物（例えば、車線や物体等）の実際の位置が撮像画像の画像処理を通じて正確に特定することができる。
　本発明は、そのカメラパラメータが未知である単一のカメラあるいは複数のカメラために、撮影画像面とカメラ視界における特定平面との関係を整合させるカメラ校正を行う必要がある全ての分野で適用することができる。
　Π：第１平面（路面）
　π：撮像画像面
　Ｈ、Ｈ１，Ｈ２，Ｈ３，Ｈ４：ホモグラフィ
　Ｈs：予備ホモグラフィ
　Ｈp：精密ホモグラフィ
Ｍ１、Ｍ２：優先校正指標
Ｍ３、Ｍ４：非優先校正指標
Ｍ１１～Ｍ１４：近傍校正指標
Ｍ１５、Ｍ１６：遠方校正指標
　９：校正指標
５１：画像取得部
５２：指標情報管理部
５３：指標位置算定部
５３ａ：優先指標位置算定部（近傍指標位置算定部）
５３ｂ：非優先指標位置算定部（遠方指標位置算定部）
５４：ホモグラフィ算定部
５４ａ：予備ホモグラフィ算定部
５４ｂ：精密ホモグラフィ算定部
５６：校正部
５７：表示画像生成部

Claims (13)

  1. 　カメラの撮影視界における第１平面内で規定された特定領域に配置された平面状の優先校正指標と前記特定領域以外の領域に配置された平面状の非優先校正指標とからなる少なくとも４つの校正指標を含む撮影画像を取得する画像取得部と、
    　前記優先校正指標と前記非優先校正指標との位置関係を予め設定するとともに、前記第１平面における前記優先校正指標と前記非優先校正指標との座標位置を実座標位置として格納する指標情報格納部と、
    　前記優先校正指標の画像上の座標位置を算定する優先校正指標位置算定部と、
    　前記位置関係及び算定された前記優先校正指標の座標位置を参照して前記非優先校正指標の画像上の座標位置を算定する非優先校正指標位置算定部と、
    　前記少なくとも４点の座標を表す校正指標の実座標位置と算定座標位置とから前記撮影画像の撮影画像面と前記第１平面との間のホモグラフィを算定するホモグラフィ算定部と、
    　前記ホモグラフィを用いて前記カメラの校正を行う校正部と、
    を備えたカメラ校正装置。
  2. 　前記特定領域は前記カメラからの撮影距離が短い近傍領域であり、前記非優先校正指標は前記カメラからの撮影距離が長い遠方領域に配置されている請求項１に記載のカメラ校正装置。
  3. 　前記画像取得部は異なる撮影視界を有する複数のカメラからの撮影画像を取得し、前記各カメラからの撮影画像には隣り合うカメラの撮影画像の間で前記第１平面において共有している共有領域と共有していない専有領域とが含まれており、前記共有領域に前記非優先校正指標が配置されているとともに前記専有領域に前記優先校正指標が配置されており、前記校正部は前記カメラ毎に算定されたホモグラフィを用いて前記複数のカメラの校正を行う請求項１または２に記載のカメラ校正装置。
  4. 　前記カメラが移動体に取り付けられたカメラであり、前記第１平面は路面であり、前記校正指標は前記路面と平行に配置される、平面模様を有するマーカである請求項１から３のいずれか一項に記載のカメラ校正装置。
  5. 　前記カメラが移動体に取り付けられたカメラであり、前記第１平面は路面であり、前記校正指標は前記路面に描画された模様としてのマーカである請求項１から３のいずれか一項に記載のカメラ校正装置。
  6. 　前記カメラには、移動体前方を撮影視界とする前方カメラと、移動体右側方を撮影視界とする右側方カメラと、移動体左側方を撮影視界とする左側方カメラと、移動体後方を撮影視界とする後方カメラが含まれている請求項３から５のいずれか一項に記載のカメラ校正装置。
  7. 　前記優先校正指標が、前記第１平面内で規定された、前記カメラからの撮影距離が短い近傍領域に配置された少なくとも４点の座標を表す平面状近傍校正指標であり、
    　前記非優先校正指標が、前記カメラからの撮影距離が長い遠方領域に配置された少なくとも１つの平面状遠方校正指標であり、
    　前記ホモグラフィ算定部が予備ホモグラフィ算定部と精密ホモグラフィ算定部とを備え、かつ
    　前記優先校正指標位置算定部が前記予備ホモグラフィを用いて前記撮影画像における前記遠方校正指標の存在位置を推定する遠方指標位置推定部として構成され、
    　前記非優先校正指標位置算定部が前記推定された存在位置を用いて前記撮影画像における前記遠方校正指標の座標位置を算定座標位置として算定する遠方指標位置算定部として構成され、
    　前記予備ホモグラフィ算定部が、前記少なくとも４点の座標を表す近傍校正指標の実座標位置と算定座標位置とから前記撮影画像の撮影画像面と前記第１平面との間の予備ホモグラフィを算定し、
    　前記精密ホモグラフィ算定部が、前記近傍校正指標及び前記遠方指標位置算定部によって算定された遠方指標のうちから選択された少なくとも４点の座標を表す選択指標の算定座標位置及びこれらに対応する実座標位置とから前記撮影画像の撮影画像面と前記第１平面との間の精密ホモグラフィを算定する、請求項１に記載のカメラ校正装置。
  8. 　前記精密ホモグラフィを算定するために用いられる選択校正指標は、当該選択校正指標によって区画される領域が前記撮影画像面の中で広い範囲に分布するように選択される請求項７に記載のカメラ校正装置。
  9. 　前記カメラが移動体に取り付けられたカメラであり、前記第１平面は路面であり、前記校正指標は前記路面に描画された模様としてのマーカである請求項８に記載のカメラ校正装置。
  10. 　前記画像取得部は、異なる撮影視界を有するとともに隣り合うカメラの撮影画像における前記第１平面で共通する共通領域を有する複数のカメラからの撮影画像を取得し、前記共通領域には少なくとも１つの共通校正指標が位置しており、前記校正部は前記精密ホモグラフィを用いて得られた隣り合うカメラの撮影画像における前記共通校正指標の位置関係から前記隣り合うカメラの校正を行う請求項８または９に記載のカメラ校正装置。
  11. 　前記近傍校正指標が各カメラの撮影画像における撮影中心線近傍で撮影距離の短い領域に位置するように配置されており、前記共通校正指標が各カメラの撮影画像における周辺部で撮影距離の長い領域に位置するように配置されている請求項８から１０のいずれか一項に記載のカメラ校正装置。
  12. 　前記カメラが移動体に取り付けられたカメラであり、前記カメラには、前記移動体の前方を撮影視界とする前方カメラと、前記移動体の右側方を撮影視界とする右側方カメラと、前記移動体の左側方を撮影視界とする左側方カメラと、前記移動体の後方を撮影視界とする後方カメラが含まれており、
    　前記第１平面は路面であり、前記近傍校正指標が前記路面に描画された４つのマーカであり、前記遠方校正指標が前記路面に描画された互いにかつ前記近傍校正指標から遠く離れた２つのマーカである請求項１０または１１に記載のカメラ校正装置。
  13. 　カメラの撮影視界における第１平面内で規定された、前記カメラからの撮影距離が短い近傍領域に配置された少なくとも４点の座標を表す平面状近傍校正指標及び前記カメラからの撮影距離が長い遠方領域に配置された少なくとも１つの平面状遠方校正指標と含む撮影画像を取得する画像取得部と、
    　前記第１平面における前記近傍校正指標と前記遠方校正指標との座標位置を実座標位置とし管理している指標情報管理部と、
    　前記撮影画像における前記近傍校正指標の座標位置を算定座標位置として算定する近傍指標位置算定部と、
    　前記少なくとも４点の座標を表す近傍校正指標の実座標位置と算定座標位置とから前記撮影画像の撮影画像面と前記第１平面との間の予備ホモグラフィを算定する予備ホモグラフィ算定部と、
    　前記予備ホモグラフィを用いて前記撮影画像における前記遠方校正指標の存在位置を推定する遠方指標位置推定部と、
    　前記推定された存在位置を用いて前記撮影画像における前記遠方校正指標の座標位置を算定座標位置として算定する遠方校正指標位置算定部と、
    　前記近傍指標位置算定部によって算定された近傍指標及び前記遠方指標位置算定部によって算定された遠方指標のうちから選択された少なくとも４点の座標を表す選択指標の算定座標位置及びこれらに対応する実座標位置とから前記撮影画像の撮影画像面と前記第１平面との間の精密ホモグラフィを算定する精密ホモグラフィ算定部と、
    　前記精密ホモグラフィを用いて前記カメラの校正を行う校正部と、
    を備えたカメラ校正装置。
PCT/JP2009/071166 2009-03-26 2009-12-18 カメラ校正装置 WO2010109730A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US13/256,593 US8872920B2 (en) 2009-03-26 2009-12-18 Camera calibration apparatus
EP09842340.3A EP2413282B1 (en) 2009-03-26 2009-12-18 Camera calibrator

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2009-076858 2009-03-26
JP2009076858A JP4905812B2 (ja) 2009-03-26 2009-03-26 カメラ校正装置
JP2009-076857 2009-03-26
JP2009076857A JP4873272B2 (ja) 2009-03-26 2009-03-26 カメラ校正装置

Publications (1)

Publication Number Publication Date
WO2010109730A1 true WO2010109730A1 (ja) 2010-09-30

Family

ID=42780432

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2009/071166 WO2010109730A1 (ja) 2009-03-26 2009-12-18 カメラ校正装置

Country Status (3)

Country Link
US (1) US8872920B2 (ja)
EP (1) EP2413282B1 (ja)
WO (1) WO2010109730A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI500318B (zh) * 2012-08-21 2015-09-11 Tung Thin Electronic Co Ltd 校正汽車攝影裝置之方法
JP2020051932A (ja) * 2018-09-27 2020-04-02 京セラ株式会社 較正装置、カメラ、移動体、および較正値調整方法

Families Citing this family (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5091902B2 (ja) * 2009-03-31 2012-12-05 アイシン精機株式会社 車載カメラの校正に用いられる校正指標と、当該校正指標を用いた車載カメラの校正方法と、システムと、当該システムのためのプログラム
TWI392366B (zh) * 2009-12-31 2013-04-01 Ind Tech Res Inst 全周鳥瞰影像距離介面產生方法與系統
KR101638173B1 (ko) * 2011-09-06 2016-07-12 한국전자통신연구원 캘리브레이션을 위한 자동 피처 탐지용 기구물 및 그 탐지 방법
US9165187B2 (en) 2012-01-12 2015-10-20 Kofax, Inc. Systems and methods for mobile image capture and processing
US11321772B2 (en) 2012-01-12 2022-05-03 Kofax, Inc. Systems and methods for identification document processing and business workflow integration
US10146795B2 (en) 2012-01-12 2018-12-04 Kofax, Inc. Systems and methods for mobile image capture and processing
JP5926080B2 (ja) * 2012-03-19 2016-05-25 株式会社日本自動車部品総合研究所 走行区画線認識装置およびプログラム
CN103369216A (zh) * 2012-04-06 2013-10-23 英华达（上海）科技有限公司 摄像装置及其校正拍摄范围的方法
JP6009894B2 (ja) * 2012-10-02 2016-10-19 株式会社デンソー キャリブレーション方法、及びキャリブレーション装置
JP5754470B2 (ja) 2012-12-20 2015-07-29 株式会社デンソー 路面形状推定装置
US10783615B2 (en) * 2013-03-13 2020-09-22 Kofax, Inc. Content-based object detection, 3D reconstruction, and data extraction from digital images
US10127636B2 (en) 2013-09-27 2018-11-13 Kofax, Inc. Content-based detection and three dimensional geometric reconstruction of objects in image and video data
CN103310528B (zh) * 2013-07-08 2016-08-17 广州广电运通金融电子股份有限公司 图像补偿修正方法及识别验钞装置
JP6277652B2 (ja) * 2013-09-30 2018-02-14 株式会社デンソー 車両周辺画像表示装置及びカメラの調整方法
JP6034775B2 (ja) * 2013-11-29 2016-11-30 クラリオン株式会社 カメラ校正装置
JP6334734B2 (ja) * 2014-01-27 2018-05-30 ザイロン デー．オー．オー．ＸＹＬＯＮ ｄ．ｏ．ｏ． 車両サラウンドビューシステムの較正用データ処理システムおよび方法
CN105787913A (zh) * 2014-12-19 2016-07-20 宁波舜宇光电信息有限公司 一种投影模组的标定方法
DE102014209137B4 (de) * 2014-05-14 2023-02-02 Volkswagen Aktiengesellschaft Verfahren und Vorrichtung zur Kalibrierung eines Kamerasystems eines Kraftfahrzeugs
KR102238649B1 (ko) 2014-09-16 2021-04-09 삼성전자주식회사 반도체 칩 본딩 장치
US9760788B2 (en) 2014-10-30 2017-09-12 Kofax, Inc. Mobile document detection and orientation based on reference object characteristics
WO2016076400A1 (ja) 2014-11-13 2016-05-19 オリンパス株式会社 較正装置、較正方法、光学装置、撮影装置、投影装置、計測システムおよび計測方法
CN106274684A (zh) * 2015-06-24 2017-01-04 张烂熳 一种小角度摄像头实现的汽车全景环视系统
TWI536313B (zh) 2015-06-30 2016-06-01 財團法人工業技術研究院 車用環景系統調校方法
US10467465B2 (en) 2015-07-20 2019-11-05 Kofax, Inc. Range and/or polarity-based thresholding for improved data extraction
US10242285B2 (en) 2015-07-20 2019-03-26 Kofax, Inc. Iterative recognition-guided thresholding and data extraction
DE102016203709B4 (de) * 2016-03-08 2018-04-12 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Bildverarbeitungsverfahren, Bildverarbeitungsmittel und Bildverarbeitungsvorrichtung zur Erzeugung von Abbildungen eines Teils eines dreidimensionalen Raums
EP3373037B1 (en) * 2017-03-10 2023-06-28 The Hi-Tech Robotic Systemz Ltd Single casing advanced driver assistance system
WO2018168255A1 (ja) * 2017-03-14 2018-09-20 日本電気株式会社 カメラパラメータ推定装置、カメラパラメータ推定方法、及びコンピュータ読み取り可能な記録媒体
WO2018173551A1 (ja) * 2017-03-21 2018-09-27 オリンパス株式会社 較正装置、較正方法、光学装置、撮影装置および投影装置
US10304210B2 (en) * 2017-05-25 2019-05-28 GM Global Technology Operations LLC Method and apparatus for camera calibration
JP6764533B2 (ja) * 2017-06-20 2020-09-30 株式会社ソニー・インタラクティブエンタテインメント キャリブレーション装置、キャリブレーション用チャート、チャートパターン生成装置、およびキャリブレーション方法
TWI645372B (zh) * 2017-08-28 2018-12-21 華利納企業股份有限公司 影像校正系統及影像校正方法
US10803350B2 (en) 2017-11-30 2020-10-13 Kofax, Inc. Object detection and image cropping using a multi-detector approach
WO2020094236A1 (en) * 2018-11-09 2020-05-14 Veoneer Sweden Ab Target object for calibration and/or testing of an optical assembly
JP6863954B2 (ja) 2018-11-14 2021-04-21 ファナック株式会社 カメラ校正装置及びカメラ校正方法
US20200380725A1 (en) * 2019-05-28 2020-12-03 GM Global Technology Operations LLC Calibration for vehicle cameras
CN110542376B (zh) * 2019-06-12 2024-03-08 烟台大学 一种用于定位adas标定目标板放置位置的装置和定位方法
EP3855397B1 (en) * 2020-01-24 2021-12-29 Axis AB Imaging system

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002288661A (ja) * 2001-03-27 2002-10-04 Advantest Corp 画像検出方法、画像検出装置及びウェハ処理装置
JP2004037270A (ja) * 2002-07-03 2004-02-05 Topcon Corp キャリブレーション用データ測定装置、測定方法及び測定プログラム、並びにコンピュータ読取可能な記録媒体、画像データ処理装置
JP2006148745A (ja) 2004-11-24 2006-06-08 Aisin Seiki Co Ltd カメラの校正方法及びカメラの校正装置
JP2008187564A (ja) * 2007-01-31 2008-08-14 Sanyo Electric Co Ltd カメラ校正装置及び方法並びに車両

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006067272A (ja) * 2004-08-27 2006-03-09 Matsushita Electric Ind Co Ltd カメラキャリブレーション装置及びカメラキャリブレーション方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002288661A (ja) * 2001-03-27 2002-10-04 Advantest Corp 画像検出方法、画像検出装置及びウェハ処理装置
JP2004037270A (ja) * 2002-07-03 2004-02-05 Topcon Corp キャリブレーション用データ測定装置、測定方法及び測定プログラム、並びにコンピュータ読取可能な記録媒体、画像データ処理装置
JP2006148745A (ja) 2004-11-24 2006-06-08 Aisin Seiki Co Ltd カメラの校正方法及びカメラの校正装置
JP2008187564A (ja) * 2007-01-31 2008-08-14 Sanyo Electric Co Ltd カメラ校正装置及び方法並びに車両

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
SATO, JUN: "Computer Vision", 10 October 2001, CORONA PUBLISHING CO., LTD
See also references of EP2413282A4 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI500318B (zh) * 2012-08-21 2015-09-11 Tung Thin Electronic Co Ltd 校正汽車攝影裝置之方法
JP2020051932A (ja) * 2018-09-27 2020-04-02 京セラ株式会社 較正装置、カメラ、移動体、および較正値調整方法

Also Published As

Publication number Publication date
EP2413282A1 (en) 2012-02-01
US8872920B2 (en) 2014-10-28
EP2413282A4 (en) 2012-02-01
EP2413282B1 (en) 2013-04-10
US20120002057A1 (en) 2012-01-05

Similar Documents

Publication Publication Date Title
WO2010109730A1 (ja) カメラ校正装置
KR101892595B1 (ko) 서라운드뷰 시스템 카메라 자동 보정 전용 외부 변수
CN110264520B (zh) 车载传感器与车辆位姿关系标定方法、装置、设备和介质
JP5124147B2 (ja) カメラ校正装置及び方法並びに車両
JP4690476B2 (ja) 車載カメラの校正装置
JP4751939B2 (ja) 車載カメラの校正装置
JP5455124B2 (ja) カメラ姿勢パラメータ推定装置
JP4555876B2 (ja) 車載カメラのキャリブレーション方法
US20080181488A1 (en) Camera calibration device, camera calibration method, and vehicle having the calibration device
EP3032818B1 (en) Image processing device
US20120314073A1 (en) Apparatus and Method for Detecting Posture of Camera Mounted on Vehicle
US20200158840A1 (en) Multi-mode multi-sensor calibration
JP5081313B2 (ja) 車載カメラの校正装置
JP5811327B2 (ja) カメラキャリブレーション装置
JP2011182236A (ja) カメラキャリブレーション装置
JP2008271308A (ja) 画像処理装置及び方法並びに車両
JP4679293B2 (ja) 車載パノラマカメラシステム
KR20150125767A (ko) 차량용 카메라의 교정판 제공 방법
JP5915268B2 (ja) パラメータ算出方法、情報処理装置及びプログラム
JP2013246606A (ja) データ導出装置、及び、データ導出方法
US20160121806A1 (en) Method for adjusting output video of rear camera for vehicles
JP4873272B2 (ja) カメラ校正装置
JP4905812B2 (ja) カメラ校正装置
JP2013024712A (ja) 複数カメラの校正方法及び校正システム
JP2011087319A (ja) 車載パノラマカメラシステム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 09842340

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 13256593

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 2009842340

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE