WO2003089874A1 - Camera corrector - Google Patents

Camera corrector Download PDF

Info

Publication number
WO2003089874A1
WO2003089874A1 PCT/JP2003/005033 JP0305033W WO03089874A1 WO 2003089874 A1 WO2003089874 A1 WO 2003089874A1 JP 0305033 W JP0305033 W JP 0305033W WO 03089874 A1 WO03089874 A1 WO 03089874A1
Authority
WO
WIPO (PCT)
Prior art keywords
position information
optical system
housing
holding
correction
Prior art date
Application number
PCT/JP2003/005033
Other languages
English (en)
French (fr)
Inventor
Michio Miwa
Ryuichi Mato
Masaki Sato
Satoru Masuda
Original Assignee
Matsushita Electric Industrial Co., Ltd.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co., Ltd. filed Critical Matsushita Electric Industrial Co., Ltd.
Priority to KR1020047016893A priority Critical patent/KR100948161B1/ko
Priority to EP03720942.6A priority patent/EP1498689B1/en
Priority to US10/512,039 priority patent/US7352388B2/en
Publication of WO2003089874A1 publication Critical patent/WO2003089874A1/ja

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration

Definitions

  • the present invention relates to a camera correction device, and more particularly to a camera correction device for calibrating a camera installed in a vehicle or the like.
  • an ECU Electronic Control Unit
  • a camera installed outside the vehicle and detects the location of an object around the vehicle, especially on the road surface, based on image information acquired by the camera
  • an operation generally called “calibration” is performed to specify the parameters of the optical system of each force lens.
  • the camera calibration device for calibrating the camera described above there are known a camera calibration device before the camera is installed in a vehicle, and a camera calibration device after the camera is installed in the vehicle.
  • a camera calibration device before the camera is installed in a vehicle
  • a camera calibration device after the camera is installed in the vehicle is installed in the vehicle.
  • the demand for a camera calibration device that performs camera calibration before the camera is installed in the vehicle is increasing. I have.
  • such a conventional camera calibrating device 500 is connected to a camera 51 as an imaging device.
  • the camera 5110 has a housing 5111 and an optical system 512 supported by the housing 5111, and obtains image information via the optical system 512.
  • the camera calibration device 500 holds first housing position information indicating a position of the housing 511 with respect to a first coordinate system 501 configured in a camera production factory.
  • Holder 5 15 and second housing position information holding second housing position information indicating the position of the housing 5 11 1 with respect to a second coordinate system 502 configured in the vehicle production factory.
  • a holding section 5 16 a holding section 5 16.
  • the force camera calibration device 500 is designed to calibrate the camera 501 at the camera production factory, and the first coordinate system 501 is used to calibrate the camera 501.
  • Marker 505 is arranged.
  • the calibration of the camera 510 is an operation of calculating the position of the optical system 512 when the housing 511 is installed at a position determined by design with respect to the vehicle 508. You.
  • the camera calibration device 500 also includes a first optical system position information generation unit 517 that generates first optical system position information indicating the position of the optical system 512 with respect to the first coordinate system 501. And a first optical system position information holding unit 518 for holding the first optical system position information generated by the first optical system position information generating unit 517.
  • the first optical system position information generation unit 517 is configured to generate an optical system 5 1 2 for the first coordinate system 5 0 1 based on the image information of the calibration marker 5 05 acquired by the camera 5 10. Is calculated.
  • the camera calibration device 500 includes a second optical system position information generation unit 5200 that generates second optical system position information indicating the position of the optical system 512 with respect to the second coordinate system 502. And a second optical system position information holding unit 530 that holds the second optical position information generated by the second optical system position information generation unit 520.
  • the second optical system position information generation unit 5200 holds the first housing position information and the first optical system position information held in the first housing position information holding unit 515. Based on the first optical system position information held in the unit 5 18, the second coordinate system 5 is obtained from the second housing position information held in the second housing position information holding unit 5 16. The position of the optical system 5 1 2 with respect to 0 2 is calculated.
  • the camera calibrating device 500 thus configured calibrates the camera 5100 at the camera production factory by calculating the position of the optical system 512 with respect to the second coordinate system 5002. It has become. Then, based on the second optical system position information stored in the second optical system position information storage unit 530, the image information acquired by the camera 510 installed in the vehicle 508 However, the imaging control device detects the position of the object on the road surface. However, in the above-described conventional camera calibration device, the second optical system position held in the second optical system position information holding unit is used. The information cannot be corrected, so if the housing is installed at an incorrect position with respect to the vehicle, the imaging control device cannot accurately detect the position of the object on the road surface. There was a problem.
  • An object of the present invention is to provide a camera correction device capable of correcting parameters of an optical system of a camera installed in a vehicle or the like in order to solve such a problem. Disclosure of the invention
  • the present invention is a camera correction device that has a housing and an optical system supported by the housing, and corrects positional information of an optical system of an imaging device that acquires image information via the optical system, First housing position information holding means for holding first housing position information indicating the position of the housing with respect to a first coordinate system; andsecond means indicating the position of the housing with respect to a second coordinate system.
  • a second housing position information holding unit that holds housing position information; and the first housing position information acquired by the imaging device.
  • First optical system position information generating means for generating first optical system position information indicating a position of the optical system with respect to the first coordinate system based on image information in the coordinate system; and A first optical system position information holding unit that holds the first optical system position information generated by the optical system position information generation unit; and the first optical system position information holding unit that is held by the first housing position information holding unit.
  • the second housing position information holding means held by the second housing position information holding means Second optical system position information generating means for generating second optical system position information indicating the position of the optical system with respect to the second coordinate system from the housing position information, and the second optical system position Holding the second optical system position information generated by the information generating means
  • a second optical system position information holding unit based on the image information in the second coordinate system acquired by the imaging device, the second optical system position information holding unit
  • a camera correction device comprising: a correction means for correcting the optical system position information.
  • the present invention is a camera correction device that has a housing and an optical system supported by the housing, and corrects positional information of an optical system of an imaging device that acquires image information via the optical system.
  • An optical system position information holding unit that holds optical system position information indicating a position of the optical system with respect to a predetermined coordinate system; and the light based on image information in the coordinate system acquired by the imaging device.
  • a camera correction device comprising: a correction unit configured to correct the optical system position information held in a scientific system position information holding stage.
  • the present invention is a camera correction device that has a housing and an optical system supported by the housing, and corrects positional information of an optical system of an imaging device that acquires image information via the optical system.
  • a first housing position information holding means for holding first housing position information indicating a position of the housing with respect to a first coordinate system in which a calibration marker is provided; and a correction marker.
  • a second housing position information holding unit that holds second housing position information indicating a position of the housing with respect to the second coordinate system, and image information of the calibration marker acquired by the imaging device.
  • a first optical system position information generating means for generating first optical system position information indicating a position of the optical system with respect to the first coordinate system, based on the first coordinate system;
  • a first optical system that holds the generated first optical system position information Position information holding means, the first housing position information held by the first housing position information holding means, and the first optical system held by the first optical system position information holding means.
  • a second optical system indicating a position of the optical system with respect to the second coordinate system from the second housing position information held in the second housing position information holding means based on the position information.
  • a second optical system position information generating unit that generates position information; and an image coordinate system of the imaging device based on the second optical system position information generated by the second optical system position information generating unit.
  • Predicted position information generating means for generating predicted position information of the correction marker with respect to the second optical system position; and a second optical system position holding the second optical system position information generated by the second optical system position information generating means.
  • Information holding means, and the predicted position information generating means A predicted position information holding unit that holds the predicted position information generated by a step; an image information of the correction marker acquired by the imaging device; and a predicted position information held by the predicted position information holding unit.
  • Correction means for correcting the second optical system position information held in the second optical system position information holding means based on the It is. With this configuration, the camera correction device of the present invention can correct the second optical system position information using a simple correction mark.
  • the correction means extracts imaging position information of the correction marker with respect to an image coordinate system of the imaging device from image information of the correction marker acquired by the imaging device. Extracting means, based on the imaging position information extracted by the imaging position information extracting means and the predicted position information held in the predicted position information holding means, to the second optical system position information holding means. Correction amount calculating means for calculating the correction amount of the held second optical system position information; andthe second optical system position information holding means based on the correction amount calculated by the correction amount calculating means. And an optical system position information correction means for correcting the second optical system position information held in the camera correction device.
  • the camera correction device of the present invention can calculate the correction amount of the second optical system position information using a simple correction marker.
  • the present invention provides a camera correction apparatus, wherein the correction means corrects only an error of a rotation component of the second optical system position information.
  • the camera correction device of the present invention can ignore the error of the translation component of the second optical system position information, and converts the second optical system position information using a simple correction marker. Can be corrected.
  • the present invention provides the image forming apparatus, wherein the imaging position information extracting means displays image information of the correction marker acquired by the imaging device, and the image information displaying means displayed on the image information displaying means. It is an object of the present invention to provide a camera correction apparatus, comprising: an image position specifying means for specifying the correction marker image position in the image information of the correction marker and extracting the image position information. With this configuration, the camera correction device of the present invention can specify the image formation position of the correction marker, and can reliably generate the image formation position information of the correction marker. Can be extracted.
  • the image forming position information extracting unit may include: a prediction range information holding unit that holds prediction range information of the correction marker with respect to an image coordinate system of the imaging device; Searching for the image position of the correction marker from the image information of the correction marker acquired by the imaging device based on the prediction range information and the prediction position information held by the prediction position information holding unit;
  • Another object of the present invention is to provide a camera correction device having an imaging position searching means for extracting imaging position information. With this configuration, the camera correction device of the present invention can search for the imaging position of the correction marker, and can easily extract the imaging position information of the correction marker.
  • the present invention is a camera correction device that has a housing and an optical system supported by the housing, and corrects position information of an optical system of an imaging device that acquires image information via the optical system.
  • First housing position information holding means for holding first housing position information indicating a position of the housing with respect to a first coordinate system on which a calibration marker is arranged; and a second coordinate system.
  • a second housing position information holding unit configured to hold second housing position information indicating a position of the housing with respect to the first and second housing position information, based on the image information of the calibration marker acquired by the imaging device;
  • First optical system position information generating means for generating first optical system position information indicating the position of the optical system with respect to a coordinate system; andthe first optical system position information generating means generated by the first optical system position information generating means.
  • First optical system position information holding means for holding the optical system position information of Based on the first housing position S information held by the first housing position information holding means and the first optical system position information held by the first optical system position information holding means, A second optical system position information indicating a position of the optical system with respect to the second coordinate system is generated from the second housing position information held by a second housing position information holding unit.
  • the second optical system position information stored in the second optical system position information holding unit is corrected based on the motion vector included in the image information in the second coordinate system acquired by the device.
  • a correction device With this configuration, the camera correction device of the present invention can correct the second optical system position information using the motion vector.
  • the correction unit may include a plane projection image generation unit configured to generate a plane projection image from the image information in the second coordinate system acquired by the imaging device, and a plane projection image generation unit configured to generate the plane projection image.
  • Plane projection image dividing means for dividing the divided plane projection image into a plurality of image areas; and a motion vector for extracting a motion vector from the plurality of image areas divided by the plane projection image dividing means.
  • Extraction means, and a correction amount of the second optical system position information held in the second optical system position information holding means based on the movement vector extracted by the movement vector extraction means.
  • Correction amount calculating means for calculating; andthe second optical system held by the second optical system position information holding means based on the correction amount calculated by the correction amount calculating means.
  • a camera correction device according to claim Rukoto to have a optical system position information correcting means for correcting the location information. With this configuration, the camera correction device of the present invention can easily extract motion vectors in a plurality of image regions.
  • the present invention provides a method as described above, wherein the division marker provided in the second coordinate system is included in the second housing position information held in the second housing position information holding means.
  • the planar projection image dividing means is arranged so as to maintain a fixed positional relationship with the position of the body.
  • Another object of the present invention is to provide a camera correction device, wherein the planar projection image is divided into a plurality of image regions based on image information of a split marker. With this configuration, the camera correction device of the present invention can accurately divide the planar projection image using the division markers.
  • the present invention is a camera correction device that has a housing and an optical system supported by the housing, and corrects positional information of an optical system of an imaging device that acquires image information via the optical system.
  • a first housing position information holding means for holding first housing position information indicating a position of the housing with respect to a first coordinate system in which a calibration marker is provided; and a vehicle is provided.
  • a second housing position information holding unit configured to hold second housing position information indicating a position of the housing with respect to a second coordinate system, based on image information of the calibration marker acquired by the imaging device;
  • a first optical system position information generating means for generating first optical system position information indicating a position of the optical system with respect to the first coordinate system; anda first optical system position information generating means for generating the first optical system position information.
  • a first optical system position information holding the first optical system position information. Holding means; and the first housing position information held by the first housing position information holding means and the first optical system position information held by the first optical system position information holding means.
  • Predicted position information generating means for generating predicted position information
  • second optical system position information holding means for holding the second optical system position information generated by the second optical system position information generating means.
  • estimated position information holding means for holding said prediction position information, by the imaging device.
  • the second optical system position information held by the second optical system position information holding means based on the acquired image information of the vehicle and the predicted position information held by the predicted position information holding means.
  • a correction unit that corrects the camera.
  • the present invention provides an imaging position information extracting unit, wherein the correcting unit extracts, from image information of the vehicle obtained by the imaging device, imaging position information of the vehicle with respect to an image coordinate system of the imaging device. Based on the imaging position information extracted by the imaging position information extracting unit and the predicted position information held by the predicted position information holding unit, stored in the second optical system position information holding unit. Correction amount calculating means for calculating a correction amount of the second optical system position information, and holding in the second optical system position information holding means based on the correction amount calculated by the correction amount calculating means An optical system position information correcting means for correcting the above-mentioned second optical system position information is provided. With this configuration, the camera correction device of the present invention can calculate the correction amount of the second optical system position information using a part of the vehicle.
  • the present invention is characterized in that the correction amount calculating means superimposes a contour of the vehicle included in the imaging position information and a contour of the vehicle included in the predicted position information; Extracting means for extracting a plurality of points from the outline of the vehicle superimposed by the means, and comparing the points included in the imaging position information with the points included in the predicted position information. And a calculation means for calculating a correction amount of the second optical system position information.
  • the camera correction device of the present invention can detect points from the contour of the vehicle.
  • the correction amount of the second optical system position information can be reliably calculated.
  • the present invention provides a camera correction device, wherein the imaging device is attached to a vehicle.
  • the camera correction device of the present invention can correct the parameters of the optical system of the camera when the housing is installed at an incorrect position with respect to the vehicle, and can position the object on the road surface. Can be accurately detected.
  • the present invention provides an imaging device including a camera correction device. With this configuration, the imaging device of the present invention can correct the parameters of the optical system of a camera installed in a vehicle or the like.
  • the present invention also provides an imaging control device including a camera correction device. With this configuration, the imaging control device of the present invention can correct the parameters of the optical system of a camera installed in a vehicle or the like.
  • the present invention provides a camera correction method for correcting position information of an optical system of an imaging device having a housing and an optical system supported by the housing and acquiring image information via the optical system.
  • a first optical system position information generating step for generating first optical system position information indicating a position of the optical system, and the first optical system generated in the first optical system position information generating step A first optical system position information holding step of holding position information; The held in the first housing position information storing step the first housing location and the first optical system position information holding stearate Based on the first optical system position information held in the step, from the second case position information held in the second case position information holding step, with respect to the second coordinate system.
  • a second optical system position information generating step for generating second optical system position information indicating the position of the optical system; andthe second optical system position generated in the second optical system position information generating step A second optical system position information holding step for holding information, and the second optical system position information holding step based on image information in the second coordinate system acquired by the imaging device.
  • a camera correction method comprising: a correction step of correcting the second optical system position information.
  • the present invention provides a camera correction method for correcting position information of an optical system of an imaging device having a housing and an optical system supported by the housing and acquiring image information via the optical system.
  • the camera correction method of the present invention can correct the parameters of the optical system of a camera installed in a vehicle or the like, and can accurately detect the position of an object on a road surface.
  • the present invention provides a camera correction device for correcting position information of an optical system of an imaging apparatus having a housing and an optical system supported by the housing and acquiring image information via the optical system.
  • a method comprising: a first housing position holding first housing position information indicating a position of the housing with respect to a first coordinate system in which a calibration marker is arranged. Position information holding step; second case position information holding step of holding second case position information indicating the position of the case with respect to a second coordinate system where a correction marker is arranged; and the imaging device.
  • a second optical system position information generating step for generating second optical system position information indicating a position of the optical system with respect to the second coordinate system from the information, and a second optical system position information generating step A predicted position information generating step of generating predicted position information of the correction marker with respect to an image coordinate system of the imaging device based on the second optical system position information generated in the second optical system;
  • a second optical system position information holding step for holding the second optical system position information generated in the position information generation step, and a predicted position for holding the predicted position information generated in the predicted position information generation step An information holding step, the second optical system position based on the image information of the correction marker acquired by the imaging device and the predicted position information held in the predicted position information holding step.
  • the camera correction method of the present invention can correct the second optical system position information using a simple correction marker.
  • the present invention also provides a light source comprising a housing and an optical system supported by the housing.
  • a camera correction method for correcting position information of an optical system of an imaging device that acquires image information via a scientific system, the camera correction method indicating a position of the housing with respect to a first coordinate system in which a calibration marker is arranged.
  • a first housing position information holding step for holding first housing position information, and a second housing position for holding second housing position information indicating a position of the housing with respect to a second coordinate system.
  • the first case held in the case position information holding step of The second housing position information held in the second housing position information holding step is based on the housing position information and the first optical system position information held in the first optical system position information holding step.
  • a correction step of correcting the second optical system position information held in the second optical system position information holding step based on a vector. is there. With this configuration, the camera correction method of the present invention can correct the second optical system position information using the motion vector.
  • the present invention provides a camera correction method for correcting position information of an optical system of an imaging device having a housing and an optical system supported by the housing and acquiring image information via the optical system.
  • the camera correction method of the present invention can correct the second optical system position information using a part of the vehicle.
  • the present invention provides a camera correction method, wherein the imaging device is mounted on a vehicle. With this configuration, the camera correction method of the present invention can correct the parameters of the optical system of the camera when the housing is installed at an incorrect position with respect to the vehicle, so that the object on the road surface can be corrected. Position can be accurately detected.
  • the present invention provides a camera correction program for correcting position information of an optical system of an imaging device having a housing and an optical system supported by the housing and acquiring image information via the optical system.
  • a first case position information holding step for holding first case position information indicating a position of the case with respect to a first coordinate system; and a step of holding the case with respect to a second coordinate system.
  • a first optical system position information generating step for generating first optical system position information indicating a position of the optical system with respect to the first optical system; andthe first optical system generated in the first optical system position information generating step.
  • First optical system position information storage step for storing system position information Based on the first 'housing position information held in the first housing position information holding step and the first optical system position information held in the first optical system position information holding step Then, based on the second housing position information held in the second housing position information holding step, second optical system position information indicating a position of the optical system with respect to the second coordinate system is obtained.
  • a second optical system position information generation step to be generated; and a second optical system position information holding step to hold the second optical system position information generated in the second optical system position information generation step.
  • a correction for correcting the second optical system position information held in the second optical system position information holding step based on the image information in the second coordinate system obtained by the imaging device.
  • the force camera correction program of the present invention can correct the parameters of the optical system of a camera installed in a vehicle or the like, and can accurately detect the position of an object on a road surface. it can.
  • the present invention provides a camera correction program for correcting position information of an optical system of an imaging device having a housing and an optical system supported by the housing and acquiring image information via the optical system.
  • a correcting step of correcting the optical system position information held in the system position information holding step can correct the parameters of the optical system of a camera installed in a vehicle or the like, and can accurately detect the position of an object on a road surface.
  • the present invention provides a camera correction program for correcting position information of an optical system of an imaging apparatus having a housing and an optical system supported by the housing and acquiring image information via the optical system.
  • a first optical system position information generation step for generating first optical system position information indicating a position of the optical system with respect to the first coordinate system; and Holds the first optical system position information generated in step A first optical system position information holding step that, Based on the first housing position information held in the first housing position information holding step and the first optical system position information held in the first optical system position information holding step, A second optical system position information indicating a position of the optical system with respect to the second coordinate system from the second housing position information held in the second housing position information holding step; An optical system position information generating step; and a predicted position of the correction marker with respect to an image coordinate system of the imaging device, based on the second optical system position information generated in the second optical system position information generating step.
  • the camera correction program of the present invention can correct the second optical system position information using a simple correction marker.
  • the present invention provides a camera correction program for correcting position information of an optical system of an imaging device which has a housing and an optical system supported by the housing and acquires image information via the optical system.
  • a first housing position information holding step of holding first housing position information indicating a position of the housing with respect to a first coordinate system in which a calibration marker is arranged; and
  • a second housing position information holding step for holding second housing position information indicating a position of the housing, and based on the image information of the calibration force acquired by the imaging device.
  • the camera correction program of the present invention can correct the second optical system position information using the motion vector. Further, the present invention provides a camera correction program for correcting position information of an optical system of an imaging apparatus having a housing and an optical system supported by the housing and acquiring image information via the optical system.
  • the second optical system position information A second optical system position information holding step for holding the second optical system position information generated in the generation step, and a predicted position information holding for holding the predicted position information generated in the predicted position information generation step And, based on the image information of the vehicle acquired by the imaging device and the predicted position information held in the predicted position information holding step, the second optical system position information held in the second optical system position information holding step.
  • Another object of the present invention is to provide a camera correction program for causing a computer to execute a correction step for correcting second optical system position information.
  • the camera correction program of the present invention can correct the second optical system position information using a part of the vehicle.
  • FIG. 1 is a block diagram showing a camera as a camera correction device and an imaging device according to a first embodiment of the present invention.
  • FIG. 2 is a perspective view showing a first coordinate system in which the camera shown in FIG. 1 is installed.
  • FIG. 3 is a perspective view showing a second coordinate system in which the camera shown in FIG. 1 is installed.
  • FIG. 4 is a perspective view showing a coordinate system of the turtle shown in FIG.
  • FIG. 5 is a plan view showing an image coordinate system of the camera shown in FIG. 1.
  • FIG. 6 is a perspective view showing a parallel movement of the camera shown in FIG.
  • FIG. 7 is a perspective view showing a rotating operation of the camera shown in FIG.
  • FIG. 8 is a side view showing the parallel movement of the camera shown in FIG.
  • FIG. 9 is a side view showing the rotation operation of the camera shown in FIG.
  • FIG. 10 is a block diagram showing an imaging position information extracting unit of the camera correction device shown in FIG.
  • FIG. 11 is a block diagram showing a computer and an ECU for realizing the camera correction device shown in FIG.
  • FIG. 12 is a block diagram showing a camera unit of the camera correction device shown in FIG.
  • FIG. 13 is a front view showing a correction operation of the camera correction device shown in FIG.
  • FIG. 14 is a block diagram showing a camera as a camera correction device and an imaging device according to a second embodiment of the present invention.
  • FIG. 15 is a plan view showing the image coordinate system of the camera shown in FIG.
  • FIG. 16 is a flow chart showing the correction operation of the camera correction device shown in FIG.
  • FIG. 17 shows a camera correction device and a camera correction device according to a third embodiment of the present invention.
  • FIG. 2 is a block diagram illustrating a camera as an imaging device.
  • FIG. 18 is a perspective view showing a first coordinate system in which the camera shown in FIG. 17 is installed.
  • FIG. 19 is a perspective view showing a second coordinate system where the camera shown in FIG. 17 is installed.
  • FIG. 20 is a perspective view showing the coordinate system of the camera shown in FIG.
  • FIG. 21 is a side view showing a virtual force lens of the camera correction device shown in FIG.
  • FIG. 22 is an explanatory diagram showing the operation of the correction unit of the camera correction device shown in FIG.
  • FIG. 23 is an explanatory diagram showing the operation of the correction unit of the camera correction device shown in FIG.
  • FIG. 24 is an explanatory diagram showing the operation of the correction unit of the camera correction device shown in FIG.
  • FIG. 25 is an explanatory diagram showing the operation of the correction unit of the camera correction device shown in FIG.
  • FIG. 26 is a block diagram showing a computer and an ECU for realizing the camera correction device shown in FIG.
  • FIG. 27 is a block diagram showing a camera unit of the camera correction device shown in FIG.
  • FIG. 28 is a flowchart showing the correction operation of the camera correction device shown in FIG.
  • FIG. 29 is a block diagram showing a camera as a camera correction device and an imaging device according to a fourth embodiment of the present invention.
  • FIG. 30 shows the first coordinate system where the camera shown in FIG. 29 is installed.
  • FIG. 31 is a perspective view showing a second coordinate system in which the camera shown in FIG. 29 is installed.
  • FIG. 32 is a perspective view showing a coordinate system of the camera shown in FIG. 29.
  • FIG. 33 is a plan view showing an image coordinate system of the camera shown in FIG. 29.
  • FIG. 34 is an explanatory diagram showing the operation of the correction unit of the camera correction device shown in FIG.
  • FIG. 35 is an explanatory diagram showing the operation of the correction unit of the camera correction device shown in FIG.
  • FIG. 36 is a block diagram showing a computer and an ECU for realizing the camera correction device shown in FIG.
  • FIG. 37 is a block diagram showing a camera unit of the camera correction device shown in FIG. 29.
  • FIG. 38 is a flowchart showing a correction operation of the camera correction device shown in FIG.
  • FIG. 39 is a block diagram showing a camera as a conventional camera calibration device and an imaging device.
  • FIG. 40 is a perspective view showing a first coordinate system in which the camera shown in FIG. 39 is installed.
  • FIG. 41 is a perspective view showing a second coordinate system in which the camera shown in FIG. 39 is installed. ,.
  • FIGS. 1 to 13 are diagrams showing a first embodiment of a camera correction device according to the present invention.
  • the camera correction device 100 is connected to the camera 110 as an imaging device.
  • the camera 110 has a housing 111 and an optical system 112 supported by the housing 111, and obtains image information via the optical system 112. I have.
  • the force melody correction device 100 includes a first housing position information holding unit 1 15 that holds first housing position information indicating a position of the housing 111 with respect to the first coordinate system 101.
  • a second housing position information holding unit 1 16 for holding second housing position information indicating the position of the housing 1 1 1 with respect to the second coordinate system 102, and a first coordinate system 10
  • Calibration marker position information storage unit 125 that stores calibration marker position information indicating the position of calibration marker 105 for 1 and correction indicating the position of correction marker 106 for second coordinate system 102
  • a correction marker position information holding unit 126 for holding marker position information.
  • the first coordinate system 101 is provided at a first work place such as a camera production factory.
  • a first work place such as a camera production factory.
  • X! An axis, a Y axis, a Z axis, and an axis are provided, and a calibration marker 105 for calibrating the camera 110 installed at the first work place is arranged.
  • the calibration marker 105 is composed of a plurality of points arranged three-dimensionally, and each point is arranged at a predetermined position with respect to the first coordinate system 101. Further, the calibration marker 105 is disposed so as to cover the field of view of the camera 110 installed at the first work place.
  • the second coordinate system 102 is provided at a second work place such as a vehicle production factory.
  • a correction marker 106 is arranged on the road surface 102a.
  • the correction marker 106 is composed of two or more points arranged two-dimensionally, and each point is arranged at a predetermined position with respect to the second coordinate system 102.
  • the camera correction device 100 is adapted to calibrate the camera 110 at the first work place.
  • the camera 110 is located at a predetermined position with respect to the first coordinate system 101, and first housing position information indicating the position of the housing 111 at this time is the first housing position information. This is held in the housing position information holding section 1 15.
  • the calibration of the camera 110 is an operation of calculating the position of the optical system 112 when the camera 110 is installed on the vehicle 108 at the second work place.
  • the camera 110 calibrated by the force camera correction device 100 is set to the vehicle 108 at the second work place.
  • the camera 110 is arranged at a predetermined position with respect to the second coordinate system 102, and the second housing position information indicating the position of the housing 111 at this time is the second housing position information.
  • the housing position is held by the information holding unit 1 16.
  • the second housing position information indicates the position of the housing 111 when the housing 111 is installed at an accurate position with respect to the vehicle 108.
  • the camera correction device 100 includes a first optical system position information generation unit 11 1 that generates first optical system position information indicating the position of the optical system 112 with respect to the first coordinate system 101. 7 and a first optical system position information holding unit 118 that holds the first optical position information generated by the first optical system position information generating unit 117.
  • the first optical system position information generation unit 117 holds the calibration marker position information based on the image information of the calibration marker 105 acquired by the camera 110.
  • the position of the optical system 112 with respect to the first coordinate system 101 is calculated from the calibration marker position information held in the unit 125.
  • the position of the optical system 112 includes the position of the optical center and the optical axis of the optical system 112.
  • R. Tsai A versatile camera calibration technique for high-accuracy 3D machine vision metrology using off is a force method for calculating the position of the optical system 112 with respect to the first coordinate system 101. The method described in -the-shelf TV cameras and lenses, IEEE Journal of Robotics and Automation, RA-3 (4): 323-344, 1987) can be used.
  • the camera system 100 includes a second optical system position information generating unit 12 that generates second optical system position information indicating the position of the optical system 112 with respect to the second coordinate system 102. 0, and a second optical system position information holding unit 130 that holds the second optical system position information generated by the second optical system position information generating unit 120.
  • the second optical system position information generation unit 120 includes the first housing position information and the first optical system position information storage unit 118 stored in the first housing position information storage unit 115. Based on the first optical system position information held in the second housing position information holding unit 116, the optical information for the second coordinate system 102 is obtained from the second housing position information held in the second housing position information holding unit 116. The position of the system 1 1 2 is calculated. The second optical system position information generator 120 calculates the position of the optical system 112 with respect to the second coordinate system 102 by the following method.
  • the position of the housing 1 1 1 with respect to the first coordinate system 101 is compared with the position of the optical system 1 1 2 with respect to the first coordinate system 101, and the position of the housing 1 1 1 and the optical Find the relative relationship of the position ⁇ of the system 1 1 2. Then, based on the relative relationship between the position of the housing 111 and the position of the optical system 112, the position of the housing 111 relative to the second coordinate system 102 is calculated based on the second coordinate system. The position of the optical system 112 with respect to 102 is calculated. Therefore, the position information of the second optical system is as follows. Shows the position of the optical system 112 when it is installed at an accurate position with respect to the vehicle 108.
  • a camera coordinate system 113 based on the second optical system position information is configured on the camera 110 installed on the vehicle 108 at the second work place.
  • An X axis, a y axis, and a z axis are provided in the force coordinate system 113, and the origin of the camera coordinate system 113 coincides with the optical center of the optical system 112.
  • the X axis of the camera coordinate system 1 13 is provided in the horizontal direction of the camera 110
  • the y axis of the force coordinate system 1 13 is provided in the vertical direction of the camera 110
  • the z axis of 3 is provided so as to coincide with the optical axis of the optical system 112.
  • An image coordinate system 114 is formed on a plane separated from the origin of the camera coordinate system 113 by the focal length f in the z-axis direction.
  • the image coordinate system 1 14 has a p-axis and a q-axis.
  • the camera 110 obtains an image formed on the image coordinate system 114 via the optical system 112 as image information.
  • the camera correction device 100 includes a predicted position information generation unit 140 that generates predicted position information of the correction marker 106 with respect to the image coordinate system 114 of the camera 110, and a predicted position information generation unit 140. And a predicted position information storage unit 150 for storing predicted position information generated by the above.
  • the predicted position information generation unit 140 is stored in the correction marker position information storage unit 126 based on the second optical system position information generated by the second optical system position information generation unit 120.
  • the predicted position of the correction marker 106 with respect to the image coordinate system 114 of the camera 110 is calculated from the corrected marker position information.
  • the method described in Reference 1 described above can be used as a method of calculating the predicted position of the correction marker 106 with respect to the image coordinate system 114 of the camera 110.
  • the imaging position P n ′ is set such that the housing 111 is located at an accurate position with respect to the vehicle 108, that is, at a position included in the second housing position information, and the second optical system
  • the housing 111 is placed at an incorrect position with respect to the vehicle 108, and an error occurs in the second optical system position information.
  • the image position P n ' is separated from the predicted position P n .
  • the second optical system position information includes six parameters indicating the translation and rotation of the camera coordinate system 113 with respect to the second coordinate system 102.
  • the error of the second optical system position information caused by the housing 111 being placed at an incorrect position with respect to the vehicle 108 includes respective errors of a translation component and a rotation component. . When the housing 111 is attached to the vehicle 108, an error of several centimeters as a translation component and several degrees as a rotation component occurs.
  • a case is considered in which an auxiliary line for assisting the parking operation of the vehicle 108 is displayed based on the image information of the road surface 102 a acquired by the camera 110.
  • the housing 111 is installed at a height of 1000 mm with respect to the vehicle 108, and the auxiliary line is displayed at a position of 300 mm from the rear end of the vehicle 108. Shall be.
  • Y 2 axis housing 1 1 1 relative to the vehicle 1 0 8 When placed in a position shifted 5 0 mm in a direction, i.e., when an error occurs in the translation component of the Y 2 axis direction of the second optical system position information, as compared with the case where no error occurs auxiliary line is displayed in 5 0 mm position shifted in Y 2 axially Te.
  • the separation quantity 5 0 mm of 3 0 0 0 mm destination separation quantity from the predicted position [rho [pi fifth imaging position P ,, in the image coordinate system 1 1 4 shown in FIG 'is small . Therefore, the error of the translation component of the second optical system position information can be ignored.
  • the second optical system position information when the housing 111 is installed at a position shifted by 1 ° about the X axis with respect to the vehicle 108, ie, the second optical system position information If an error occurs in the rotational component around the X axis, the auxiliary line as compared with the case where no error occurs is displayed in approximately 1 8 4 mm shifted position in Upsilon 2 axially. In this case, the separation amount from the predicted position [rho eta fifth imaging position in the image coordinate system 1 1 4 shown in FIG. [Rho eta 'can no longer be ignored. Therefore, only the error of the rotation component of the second optical system position information can be used as the error of the second optical system position information.
  • the camera correction device 100 corrects the second optical system position information held in the second optical system position information holding unit 130.
  • the correction unit 160 is provided.
  • the correction unit 160 generates second optical system position information based on the image information of the correction marker 106 acquired by the camera 110 and the predicted position information held in the predicted position information holding unit 150.
  • the second optical system position information held in the holding unit 130 is corrected.
  • the capturing unit 160 obtains the imaging position information of the correction marker 106 with respect to the image coordinate system 114 of the camera 110 based on the image information of the correction marker 106 acquired by the camera 110.
  • Image position extracting section 170 for extracting the image information, and the image position information and predicted position information extracted by the image position information extracting section 170.
  • Correction amount calculation for calculating the correction amount of the second optical system position information stored in the second optical system position information storage unit 130 based on the predicted position information stored in the information storage unit 150 Based on the correction amount calculated by the unit 180 and the correction amount calculation unit 180, the second optical system position information held in the second optical system position information holding unit 130 is corrected.
  • an optical system position information correction unit 190 is provided to obtain the imaging position information of the correction marker 106 with respect to the image coordinate system 114 of the camera 110 based on the image information of the correction marker 106 acquired by the camera 110.
  • Image position extracting section 170 for extracting the image information, and the image position information and predicted position information extracted by the image position information extract
  • the imaging position information extraction unit 170 is displayed on the image information display unit 171, which displays the image information of the correction marker 106 acquired by the camera 110, and the image information display unit 171, An image forming position specifying unit 172 for specifying the image forming position P ⁇ ′ of the correcting force 106 in the image information of the correcting marker 106 and extracting the image forming position information from the image information. ing.
  • the image information display section 171 the image information of the correction marker 106 obtained by the camera 110 and the image formation position ⁇ ⁇ ′ of the correction marker 106 are displayed.
  • the cursor 1 7 4 to specify is displayed.
  • the image forming position specifying section 1 7 2 has an up key 17 5 a, a down key 1 7 5 b, and a left key to move the cursor 1 74 displayed on the image information display section 1 7 1 1 7 5 c and right key 1 7 5 d, Enter key 1 7 6 to determine the position of the cursor 1 7 4, and number display section 1 7 to display the point n of the correction marker 10 6 7 and an addition key 1778a and a subtraction key 1778b for changing the number n displayed on the number display section 1777
  • the correction amount of the second optical system position information is calculated.
  • the rotation component error of the second optical system position information is used as the error of the second optical system position information, and the position where the housing 111 is inclined with respect to the vehicle 108 is used. It shall be installed in In this case, the rotation angles of the camera coordinate system 113 around the X, y, and z axes are 0, ⁇ , and, and the coordinates of the imaging position P, no in the image coordinate system 114 are (p n ', Q n ,) and the coordinates of the predicted position P n are expressed as (p réelle, q n ).
  • the values of ⁇ , ⁇ , and ⁇ are expressed by the following formula. 1 R 1 2 RR 2 1 R 2 2 R 2 3 R 3 1 R 3 2 R
  • equation (1) the relationship between (p) and ( ⁇ , q réelle) is expressed as in equation (2).
  • R RxxRyxRz (4)
  • the correction marker 106 is composed of six points. However, the correction marker 106 may be composed of two or more points. 0 means that if the correction marker 106 is composed of two points, the values of 0, ⁇ , and ⁇ can be calculated, and the correction marker 106 can be calculated by three or more points. If it is configured, the values of ⁇ , ⁇ , and ⁇ can be calculated more accurately.
  • the camera correction device 100 configured as described above includes a computer 191 for adjusting the camera 110, and an E as an imaging control device for controlling the camera 110. This is realized by the CU192.
  • the computer 1911 is composed of a CPU, RAM, ROM, input / output interface, etc., and is connected to the camera 110 at the first work place as shown in Fig. 11 (a). It has become. Note that, in the present embodiment, the computer 1911 is provided with the first housing position information holding unit 1 15, the second housing position information holding unit 1 16, and the first optical system position. Information generation unit 117, first optical system position information storage unit 118, second optical system position information generation unit 120, calibration force position information storage unit 125, correction marker position information The storage unit 126, the second optical system position information storage unit 130, the predicted position information generation unit 140, and the predicted position information storage unit 150 are configured.
  • the ECU 192 is composed of a CPU, RAM, ROM, input / output interface, etc., and as shown in Fig. 11 (c), the second It is connected to the camera 110 at the work place and is mounted on the vehicle 108. Note that, in the present embodiment, the ECU 192 constitutes the above-described second optical system position information holding unit 130, predicted position information holding unit 150, and correction unit 160. I have.
  • a force camera 110 with a recording medium 193 such as a CD_ROM or a magnetic disk is conveyed. It has become so.
  • the second optical system position information and the predicted position information are recorded on the recording medium 1993, and the second optical system position information and the predicted position information are transferred from the computer 191 to the ECU 1992. It is being used for
  • the camera 110 and the recording medium 1993 are transported from the first work place to the second work place, as shown in FIG. Then, the camera unit 1104 composed of the camera 110, the second optical system position information storage unit 130, the predicted position information storage unit 150, and the correction unit 160 is transported. You may comprise.
  • the camera correction device 100 corrects the second optical system position information in the next step.
  • the camera 110 is installed at the first work place, and is arranged at a predetermined position with respect to the first coordinate system 101 (S101). Then, the first case position information, the second case position information, the calibration marker position information, and the correction force position information are stored in the first case position information holding unit 115 and the second case position information.
  • the holding unit 1 16, the school marker position information holding unit 125, and the correction marker position information holding unit 126 are held respectively (S 102).
  • the first case position information, the second case position information, the calibration marker position information, and the correction force position information are set in the position measured by the measuring device and the design. Obtained based on the location where the information was placed.
  • the calibration marker 105 is photographed by the camera 110 (S 103), and the first optical system position information generating unit 117 is used by the calibration marker 105 acquired by the camera 110. Based on the image information, the first optical system position information is generated from the calibration marker position information held in the calibration marker position information holding unit 125 (S104). Then, the first optical system position information generated by the first optical system position information generation unit 117 is stored in the first optical system position information storage unit 118 (S105).
  • the second optical system position information generating unit 120 outputs the first housing position information and the first optical system position information held in the first housing position information holding unit 115. Based on the first optical system position information held in the holding section 118, the second optical system is obtained from the second housing position information held in the second housing position information holding section 116. The position information is generated (S106). Then, the second optical system position information generated by the second optical system position information generation unit 120 is stored in the second optical system position information storage unit 130 (S107).
  • the predicted position information generation unit 140 sends the correction marker to the correction marker position information storage unit 126. From the held correction marker position information, predicted position information of the correction marker 106 with respect to the image coordinate system 114 of the camera 110 is generated (S108). Then, the predicted position information generated by the predicted position information generation unit 140 is stored in the predicted position information storage unit 150 (S109).
  • the camera 10 and the recording medium 1993 are transported from the first work place to the second work place.
  • the camera 110 is installed on the vehicle 108 at the second work place, and is arranged at a predetermined position with respect to the second coordinate system 102 (S110).
  • the correction marker 106 is photographed by the camera 110 (S111), and the image information of the correction marker 106 obtained by the camera 110 is, as shown in FIG. The information is displayed on the image information display section 1 ⁇ 1 (S112).
  • the imaging position ⁇ ⁇ ′ of the correction marker 106 is designated by the imaging position designation unit 172, and the imaging position information is extracted (S113).
  • the operator operates the addition key 178 a and the subtraction key 178 b to change the number n displayed on the number display section 177, and press the up key 175 a and the down key Operate the key 17 5 b, the left key 17 5 c and the right key 17 5 d to move the cursor 17 4 displayed on the image information display 17 1
  • the image formation position of the correction marker 106 corresponding to the number n displayed in the number display section 177? Specify protagonist'.
  • the correction amount calculating section 180 based on the imaging position information extracted by the imaging position information extracting section 170 and the predicted position information held in the predicted position information holding section 150. Then, a correction amount of the second optical system position information held in the second optical system position information holding unit 130 is calculated (S114).
  • the optical system position information correcting unit 190 stores the second optical system position information holding unit 130
  • the optical system position information in step 2 is corrected (S115), and the process ends.
  • the computer may execute a program describing steps S101 to S115 described above.
  • the parameters of the optical system of the cameras 11 and 0 installed on the vehicle 108 and the like can be corrected, and the position of the object on the road surface can be accurately determined. Can be detected.
  • the second optical system position information can be corrected using a simple correction marker 106.
  • the imaging position of the correction marker 106 can be specified, and the imaging position information of the correction marker 106 can be reliably extracted.
  • FIG. 14 to FIG. 16 are diagrams showing a second embodiment of the camera correction device according to the present invention.
  • the camera correction device 200 includes a correction unit 260 that corrects the second optical system position information held in the second optical system position information holding unit 130.
  • the correction unit 260 generates second optical system position information based on the image information of the correction marker 106 obtained by the camera 110 and the predicted position information held in the predicted position information holding unit 150.
  • the second optical system position information held in the holding unit 130 is corrected.
  • the correction unit 260 extracts the imaging position information of the correction marker 106 with respect to the image coordinate system 114 of the camera 110 from the image information of the correction marker 106 obtained by the camera 110. Based on the imaging position information extraction unit 270 and the imaging position information extracted by the imaging position information extraction unit 270 and the predicted position information held in the predicted position information holding unit 150, Second optical system position information storage unit 13 A correction amount calculation unit 280 that calculates the correction amount of the second optical system position information stored in Q .. and a correction amount calculation unit 280 An optical system position information correction unit 290 that corrects the second optical system position information held in the second optical system position information holding unit 130 based on the corrected amount of correction. You.
  • the imaging position information extraction unit 270 is a prediction unit that holds prediction range information (see FIG. 15) indicating the prediction range 274 of the correction marker 106 with respect to the image coordinate system 114 of the camera 110. Obtained by the camera 110 based on the range information storage unit 271 and the predicted range information stored in the predicted range information storage unit 271 and the predicted position information stored in the predicted position information storage unit 150 And an imaging position search unit 27.2 for searching the image information of the correction marker 106 for the imaging position P ⁇ ′ of the correction marker 106 and extracting the imaging position information.
  • the correction amount calculating unit 280 calculates the correction amount of the second optical system position information by the same method as the correction amount calculating unit 180 in the first embodiment.
  • the camera correction device 200 corrects the second optical system position information in the next step.
  • the camera 110 is installed at the first work place, and is arranged at a predetermined position with respect to the first coordinate system 101 (S201). Then, the first case position information, the second case position information, the calibration marker position information, and the correction force position information are stored in the first case position information holding unit 115 and the second case position information.
  • the holding unit 1 16, the calibration marker position information holding unit 1 25, and the correction marker position information holding unit 1 26 are held respectively (S 202).
  • the first case position information, the second case position information, the calibration marker position information and the correction force position information are based on the position measured by the measuring instrument, the position set in the design, and the like. To be obtained.
  • the calibration marker 105 is photographed by the camera 110 (S203), and the first optical system position information generation unit 1117 is calibrated by the calibration marker 105 acquired by the camera 110. Based on the image information of the calibration marker The first optical system position information is generated from the calibration marker position information held in the holding unit 125 (S204). Then, the first optical system position information generated by the first optical system position information generation unit 117 is stored in the first optical system position information storage unit 118 (S205).
  • the second optical system position information generating unit 120 outputs the first housing position information and the first optical system position information held in the first housing position information holding unit 115. Based on the first optical system position information held in the holding section 118, the second optical system is obtained from the second housing position information held in the second housing position information holding section 116. The position information is generated (S206). Then, the second optical system position information generated by the second optical system position information generation unit 120 is stored in the second optical system position information storage unit 130 (S207).
  • the predicted position information generation unit 140 The predicted position information of the correction marker 106 with respect to the image coordinate system 114 of the camera 110 is generated from the correction marker position information stored in the memory (S208). Then, the predicted position information generated by the predicted position information generation unit 140 is stored in the predicted position information storage unit 150 (S209).
  • the camera 110 and the recording medium 1993 are transported from the first work place to the second work place. Then, the camera 110 is installed on the vehicle 108 at the second work place, and is arranged at a predetermined position with respect to the second coordinate system 102 (S210).
  • the camera 10 captures an image of the correction marker 106 (S211), and the imaging position search unit 272, as shown in FIG. centered on the n searching estimated range 2 7 4 imaging position exists inside location [rho eta ', extracts the imaging position information from the image information (S 2 1 2)
  • the correction amount calculation unit 280 performs a process based on the imaging position information extracted by the imaging position information extraction unit 270 and the predicted position information held in the predicted position information holding unit 150. Then, a correction amount of the second optical system position information held in the second optical system position information holding unit 130 is calculated (S2113).
  • the optical system position information correction unit 290 holds the second optical system position information storage unit 130
  • the optical system position information in step 2 is corrected (S2 14), and the process ends.
  • the computer may execute a program describing steps S201 to S214 described above.
  • the imaging position of the correction marker 106 can be searched, and the imaging position information of the correction marker 106 can be easily extracted.
  • FIG. 17 to FIG. 28 are diagrams showing a third embodiment of the camera correction device according to the present invention.
  • the camera correction device 300 is connected to a camera 310 as an imaging device.
  • the camera 310 has a housing 311 and an optical system 312 supported by the housing 311, and obtains image information via the optical system 312. I have.
  • the camera correction device 300 includes: a first housing position information holding unit 315 that holds first housing position information indicating a position of the housing 311 with respect to the first coordinate system 301; A second housing position information holding section 316 for holding second housing position information indicating the position of the housing 311 with respect to the second coordinate system 3 02, Calibration marker position information indicating the position of the calibration marker 3 05 It has a calibration marker position information holding unit 325 for holding.
  • the first coordinate system 301 is provided at a first work place such as a camera production factory.
  • the first coordinate system 301 has X, axes, axes, and axes, and a calibration marker 305 for calibrating the camera 310 installed at the first work place is arranged.
  • the calibration marker 3505 is constituted by a plurality of points arranged three-dimensionally, and each point is arranged at a predetermined position with respect to the first coordinate system 301. Further, the calibration marker 30.5 is arranged so as to cover the field of view of the camera 310 set in the first work place.
  • the second coordinate system 302 is provided at a second work place such as a vehicle production factory.
  • the second coordinate system 3 0 2, X 2 axis, Y 2 axis, Zeta 2 axis is provided, the second coordinate system 3 0 2 X 2 Upsilon 2 plane, road surface on which the vehicle 3 0 8 travels 3 0 2a.
  • a divided march 307 is arranged in the bumper section 309 of the vehicle 308, a divided march 307 is arranged.
  • the division marker 307 is composed of two points, and each point is located within the field of view of the camera 310 installed on the vehicle 308. Further, the division marker 307 is provided immediately below the camera 310 installed on the vehicle 308.
  • the force mellar correction device 300 performs calibration of the camera 310 at the first work place.
  • the camera 310 is arranged at a predetermined position with respect to the first coordinate system 310, and first housing position information indicating the position of the housing 311 at this time is the first housing position information. This is held in the housing position information holding section 3 15.
  • the calibration of the camera 310 is an operation of calculating the position of the optical system 312 when the camera 310 is installed in the vehicle 308 at the second work place.
  • the camera 310 calibrated by the camera correction device 300 is to be installed on the vehicle 308 at the second work place.
  • Camera 3 1 0 is located at a predetermined position with respect to the second coordinate system 302, and the second housing position information indicating the position of the housing 311 at this time is the second housing position.
  • the information is stored in the information storage unit 3 16.
  • the second housing position information indicates the position of the housing 311 when the housing 311 is installed at an accurate position with respect to the vehicle 308.
  • the division marker 307 arranged on the bumper section 309 of the vehicle 308 is arranged so as to maintain a fixed positional relationship with the position of the housing 311 included in the second housing position information. Have been. Therefore, even when the vehicle 308 travels on the road surface 302a, the relative relationship between the position of the division marker 307 and the position of the housing 311 included in the second housing position information is constant. It is.
  • the camera correction device 3 ⁇ 0 includes a first optical system position information generation unit 3 17 which generates first optical system position information indicating the position of the optical system 312 with respect to the first coordinate system 301. And a first optical system position information holding unit 318 that holds the first optical system position information generated by the first optical system position information generating unit 317.
  • the first optical system position information generation unit 317 is a calibration marker held in the calibration marker position information holding unit 325 based on the image information of the calibration marker 3105 acquired by the camera 310.
  • the position of the optical system 312 with respect to the first coordinate system 301 is calculated from the position information.
  • the position of the optical system 312 includes the position of the optical center and the optical axis of the optical system 312.
  • the method described in Document 1 can be used as a method for calculating the position of the optical system 312 with respect to the first coordinate system 301.
  • the camera supplement E device 300 includes a second optical system position information generation unit 32 that generates second optical system position information indicating the position of the optical system 312 with respect to the second coordinate system 302. 0, a second optical system position information holding unit 3 that holds the second optical system position information generated by the second optical system position information generation unit 320 30.
  • the second optical system position information generating section 320 is provided with the first housing position information and the first optical system position information holding section 3 18 held in the first housing position information holding section 3 15. Based on the first optical system position information held in the second housing position information holding section 316, the optical information for the second coordinate system 302 is obtained from the second housing position information held in the second housing position information holding section 316. The position of the system 3 1 2 is calculated. The second optical system position information generation unit 320 generates the optical system 3 for the second coordinate system 302 by the same method as that of the second optical system position information generation unit 120 in the first embodiment. The position of 1 and 2 is calculated.
  • a camera coordinate system 313 based on the second optical system position information is configured in the camera 310 installed in the vehicle 308 at the second work place.
  • An X axis, a y axis, and a z axis are provided in the camera coordinate system 3 13, and the origin of the camera coordinate system 3 13 coincides with the optical center of the optical system 3 12.
  • the X axis of the camera coordinate system 313 is provided in the horizontal direction of the camera 310
  • the y axis of the force camera coordinate system 313 is provided in the vertical direction of the camera 310
  • the camera coordinate system The z axis of 3 13 is provided so as to coincide with the optical axis of the optical system 3 12.
  • An image coordinate system 314 is formed on a plane separated from the origin of the camera coordinate system 313 by the focal length f in the z-axis direction.
  • the image coordinate system 3 14 has a p-axis and a q-axis.
  • the point P on the road surface 302 a is imaged at the image forming position P ′ of the image coordinate system 3 14 via the optical system 3 12.
  • the camera 310 acquires an image formed on the image coordinate system 314 via the optical system 312 as image information.
  • the camera correction device 300 includes a second optical system position information holding unit based on the motion vector included in the image information in the second coordinate system 302 acquired by the camera 310.
  • the second optical system position information held in 330 A correction unit 360 for correcting the information is provided.
  • the capturing unit 360 includes a plane projection image generation unit 361 that generates a plane projection image from image information in the second coordinate system 302 acquired by the camera 310, and a plane projection image generation.
  • Motion vector extraction unit 363 that extracts the motion vector, and the second optical system position information holding unit 33 based on the motion vector extracted by the motion vector extraction unit 363
  • the second optical system position is calculated based on the correction amount calculated by the correction amount calculator 364 for calculating the correction amount of the second optical system position information held at 0 and the correction amount calculated by the correction amount calculator 364.
  • An optical system position information correction unit 365 for correcting the second optical system position information held in the information storage unit 330. To have.
  • the plane projection image generated by the plane projection image generation unit 361, as shown in FIG. 21, virtually projects the image information acquired by the camera 310 onto the road surface 302a, This is an image obtained by viewing the image from the virtual camera 370.
  • the virtual camera 370 has an image coordinate system 371 parallel to the road surface 302a, and the image coordinate system 371 simply reduces the road surface 302a.
  • the plane projection image as the obtained image is formed.
  • the plane projection image generation unit 365 generates a plane projection image by the following method.
  • the rotation matrix R represents the direction and distance from the origin of 3 to the origin of the second coordinate system 302, and the rotation matrix R represents the deviation of the rotation direction between the camera coordinate system 313 and the second coordinate system 302. ing.
  • the error of the rotational component of the second optical system position information is used as the error of the second optical system position information. Is installed at a position inclined with respect to the vehicle 308. If the rotation angles of the camera coordinate system 3 13 around the X axis, y axis, and z axis are expressed as 0, ⁇ , and ⁇ , respectively, the rotation matrix R in equation (9) can be expressed by equation (3 ) Is expressed by equation (5).
  • the plane projection image generation unit 361 uses the image information shown in FIG.
  • the plane projection image shown in b) is generated. Since this plane projection image corresponds to an image obtained by viewing from a virtual camera 370 provided in parallel with the road surface 302a, it is provided on the road surface 302a.
  • the parallel lines 373 and 374 are parallel in the plane projection image.
  • the planar projection image generation unit 361 From the image information shown in FIG. 23 (a), a plane projection image shown in FIG. 23 (b) is generated.
  • the plane projection image generation unit 361 From the image information shown in FIG. 24 (a), a plane projection image shown in FIG. 24 (b) is generated.
  • the planar projection image generation unit 3611 From the image information shown in FIG. 5 (a), a plane projection image shown in FIG. 25 (b) is generated.
  • the plane projection image is divided into a plurality of image areas based on the image information of the division marker 307 acquired by the above.
  • the plane projection image division unit 36 2 divides the plane projection image into division lines 3 8 3 and 3 8 with reference to the reference line 3 80 passing through the division marker 3 07 and the midpoint 3 81 of the division marker 3 07. 8 4 is provided.
  • the dividing line 3 8 3 is the standard It is located at a position that is perpendicular to the line 380 and passes through the midpoint 381.
  • the dividing line 384 is provided at a position parallel to the reference line 380 and separated from the reference line 380 by a certain distance.
  • the reference Line 380 is tilted with respect to the planar projection image.
  • the motion vector extraction unit 36 as shown in FIG. 22 (b), FIG. 23 (b), FIG. 24 (b), and FIG. 4 image areas 3 8 6 a, 3 8 6 b, 3 8 6 c, 3 8 6 d divided by the dividing section 3 6 2 force 3 8 8 a, 3 8 8 b, 3 8 8 c and 3 8 8 d are extracted.
  • the motion vector 3888a force, 3888d is a partial value of the image area 3886a to 3886d generated by the movement of the vehicle 310, i.e., the movement of the force camera 310. This is calculated based on the flow of the image, and the direction becomes equal when the vehicle 308 is traveling straight. Hereinafter, it is assumed that the motion vectors 388a to 388d are extracted from the image information acquired when the vehicle 308 is traveling straight.
  • the motion vectors 3888a to 3888d are of size Are equal.
  • the housing 311 is installed at a position inclined downward with respect to the vehicle 308, and the camera coordinate system 313 rotates around the X axis, as shown in Fig. 23 (b).
  • the motion vectors 3888a and 3888b on the upper side of the image are larger than the motion vectors 3888c and 3888d on the lower side of the image.
  • FIG. 24 (b) As shown in the figure, the motion vectors on the right side of the image are 3888b and 3888d, and the motion vectors on the left side of the image are 388a and 3888c.
  • the correction amount calculator 364 calculates the correction amount of the second optical system position information by the following method.
  • FIG. 22 (c), FIG. 23 (c) and FIG. 24 (c) first, a vector 390a having the same size as the motion vector 3888a and a motion vector Tonore 390b, which is equal in size to Tonore 388b, Tonore 390c, which is equal in size to the motion vector 388c,
  • the vectors 390 d having the same size are arranged in the total vector calculation coordinate system 391, respectively.
  • the vector 390a is arranged in the upper left 45-degree direction from the origin of the total vector calculation coordinate system 391.
  • the vector 390b is located 45 degrees to the upper right from the origin of the total vector calculation coordinate system 391.
  • the vector 390c is arranged in the lower left direction at 45 degrees from the origin of the total vector calculation coordinate system 391.
  • the vector 390 d is arranged in the lower right direction at 45 degrees from the origin of the total vector calculation coordinate system 391.
  • the value of the rotation angle 0 of the camera coordinate system 313 around the X axis is calculated by obtaining a rotation matrix R that makes the total vector 3392 equal to 0 in Expression (9).
  • the housing 311 is installed at a position inclined leftward with respect to the vehicle 308, and the camera coordinate system 313 rotates around the y-axis, as shown in Fig. 24 (c).
  • the total vector 392 becomes a rightward vector.
  • the value of the rotation angle ⁇ of the camera coordinate system 313 around the y-axis is calculated by obtaining the rotation matrix R that makes the total vector 3392 zero.
  • the housing 311 is installed at a position inclined with respect to the vehicle 308 and the force-measurement coordinate system 313 rotates around the z-axis, the plane shown in Fig. Based on the inclination of the reference line 380 of the projection image with respect to the image coordinate system 371, the value of the rotation angle of the camera coordinate system 313 around the z-axis is calculated.
  • the camera correction device 100 configured as described above includes a computer 391 for adjusting the camera 310 and an imaging control device for controlling the camera 310. This is realized by the ECU 392 and the like.
  • the computer 391 is composed of a CPU, RAM, ROM, input / output interface, etc., and is connected to the camera 310 at the first work place as shown in Fig. 26 (a). It has become so..
  • the computer 391 includes the first housing position information holding section 315, the second housing position information holding section 316, and the first optical system. Position information generating section 3 17, first optical system position information holding section 3 18; second optical system position information generating section 3 20, calibration marker position information holding section 3 2 5 and ⁇ Constituting the second optical system position information holding section 330.
  • the ECU 392 is composed of a CPU, RAM, ROM, input / output interface, etc., and is connected to the camera 310 at the second working place as shown in Fig. 26 (c). And it will be mounted on vehicle 308. Note that, in the present embodiment, the ECU 392 constitutes the above-described second optical system position information holding unit 330 and the correction unit 360.
  • a force camera 310 attached with a recording medium 393 such as a CD-ROM or a magnetic disk is provided. It is being transported.
  • the second optical system position information is recorded on the recording medium 393, and is used to transfer the second optical system position information from the computer 391 to the ECU 392. Has become.
  • the camera 310 and the recording medium 393 are transported from the first work place to the second work place, as shown in FIG. 27.
  • the camera unit 3104 including the camera 310, the second optical system position information holding unit 330, and the capturing unit 360 may be configured to be transported. Good.
  • the camera correction device 300 corrects the second optical system position information in the next step.
  • the camera 310 is installed at the first work place, and is located at a predetermined position with respect to the first coordinate system 301 (S301). Then, the first housing position information, the second housing position information, and the calibration marker position information are stored in the first housing position information holding unit 315, the second housing position information holding unit 316, It is held in the calibration marker position information holding section 325 (S302). This Here, the first housing position information, the second housing position information, and the calibration marker position information are acquired based on the position measured by the measuring device, the position set in the design, and the like.
  • the calibration marker 3 05 is photographed by the camera 3 10 (S 3 0 3), and the first optical system position information generation section 3 17 is calibrated by the calibration marker 3 0 5 acquired by the camera 3 10.
  • the first optical system position information is generated from the calibration marker position information held in the calibration marker position information holding unit 325 (S304). Then, the first optical system position information generated by the first optical system position information generating section 317 is held in the first optical system position information holding section 318 (S305).
  • the second optical system position information generation unit 320 stores the first housing position information and the first optical system position information held in the first housing position information holding unit 315. Based on the first optical system position information held in the unit 3 18, the second optical system position is obtained from the second housing position information held in the second housing position information holding unit 3 16. Information is generated (S306). Then, the second optical system position information generated by the second optical system position information generation unit 320 is stored in the second optical system position information storage unit 330 (S307).
  • the camera 310 and the recording medium 393 are transported from the first work place to the second work place. Then, the camera 310 is installed on the vehicle 308 at the second work place, and is arranged at a predetermined position with respect to the second coordinate system 302 (S 308).
  • the road surface 302 a is photographed by the camera 310 (S 309), and the plane projection image generation unit 361 is configured to perform the operations shown in FIGS. 22 (b), 23 (b), and As shown in FIG. 24 (b) and FIG. 25 (b), a plane projection image is generated from the image information in the second coordinate system 302 acquired by the camera 310 (S31). 0).
  • the plane projection image generated by the projection image generation unit 365 is divided into image regions 3886a to 3886d (S311).
  • the motion vector extraction unit 36 Each motion vector is extracted from each image area divided by the plane projection image division unit 362 (S312).
  • the correction amount calculating section 364 performs the second correction based on the inclination of the reference line 380 with respect to the image coordinate system 371 of the plane projection image.
  • the correction amount around the Z- axis of the second optical system position information held in the optical system position information holding unit 330 is calculated (S313).
  • the correction amount calculating section 364 is extracted by the motion vector extracting section 363. Based on the respective motion vectors, a correction amount of the second optical system position information held in the second optical system position information holding unit 330 around the X axis and the y axis is calculated (S 3 14).
  • the optical system position information correction unit 365 stores the second optical system position information storage unit 330
  • the optical system position information in step 2 is corrected (S315), and the process ends.
  • the computer may execute a program describing steps S301 to S315 described above.
  • the second optical system position information can be corrected using the motion vectors 3888a to 3888d.
  • the plane projection image can be accurately divided using the division marker 307.
  • FIG. 29 to FIG. 38 are diagrams showing a fourth embodiment of the camera correction device according to the present invention.
  • the camera correction device 400 is connected to a camera 410 as an imaging device.
  • the camera 410 has a housing 411 and an optical system 412 supported by the housing 4111, and acquires image information via the optical system 412. I have.
  • the force melometer correction device 400 includes a first housing position information holding unit 415 holding first housing position information indicating a position of the housing 411 with respect to the first coordinate system 401.
  • a second housing position information holding unit 4 16 for holding second housing position information indicating the position of the housing 4 11 with respect to the second coordinate system 402, and a first coordinate system 40
  • a calibration marker position information storage unit 425 that stores calibration marker position information indicating the position of the calibration marker 405 with respect to 1, and a part of the vehicle 408 with respect to the second coordinate system 402, for example,
  • a vehicle body position information storage unit 426 that stores vehicle position information indicating the position of a bumper unit 409 provided at the rear of the vehicle body.
  • the first coordinate system 401 is provided at a first work place such as a camera production factory.
  • a first coordinate system 410 X, axes, axes, and axes are provided, and a calibration marker 405 for calibrating the camera 410 installed at the first work place is provided.
  • the calibration marker 405 is composed of a plurality of points arranged three-dimensionally, and each point is arranged at a predetermined position with respect to the first coordinate system 401.
  • Calibration marker 4 0 5 Is arranged so as to cover the field of view of the camera 410 installed at the i-th work place.
  • the second coordinate system 402 is provided at a second work place such as a vehicle production factory.
  • the second coordinate system 4 0 2, X 2 axis, Y 2 axis, Zeta 2 axis is provided, the second coordinate system 4 0 2 X 2 Upsilon 2 planes, the vehicle 4 0 8 is installed It constitutes the road surface 402a.
  • a correction plate 406 is arranged on the road surface 402 a.
  • the correction plate 406 is a single color and is painted in a color different from the color of the vehicle 408 in brightness, chromaticity, and saturation, and is laid under the vehicle 408.
  • the camera correction device 400 performs calibration of the camera 410 at the first work place.
  • the camera 410 is arranged at a predetermined position with respect to the first coordinate system 401, and first housing position information indicating the position of the housing 411 at this time is the first housing position information. This is held in the housing position information holding section 4 15.
  • the calibration of the camera 410 is an operation of calculating the position of the optical system 412 when the camera 410 is installed in the vehicle 408 at the second work place.
  • the camera 410 calibrated by the camera correction device 400 is installed on the vehicle 408 at the second work place.
  • the camera 410 is arranged at a predetermined position with respect to the second coordinate system 402, and second housing position information indicating the position of the housing 4111 at this time is the second housing position information.
  • the housing position is held by the information holding unit 4 16.
  • the second housing position information indicates the position of the housing 4111 when the housing 4111 is installed at an accurate position with respect to the vehicle 408.
  • the camera correction device 400 includes a first optical system position information generating unit 41 that generates first optical system position information indicating the position of the optical system 412 with respect to the first coordinate system 401. 7 and generated by the first optical system position information generator 4 17 And a first optical system position information holding unit 418 for holding the obtained first optical system position information.
  • the first optical system position information generation unit 4 17 was held in the calibration marker position information holding unit 4 25 based on the image information of the calibration marker 4 05 acquired by the camera 4 10
  • the position of the optical system 4 1 2 with respect to the first coordinate system 4 1 is calculated from the calibration marker position information.
  • the position of the optical system 4 12 includes the position of the optical center and the optical axis of the optical system 4 12.
  • the method described in Document 1 can be used as a method of calculating the position of the optical system 412 with respect to the first coordinate system 401.
  • the camera correction device 400 includes a second optical system position information generation unit 420 that generates second optical system position information indicating the position of the optical system 412 with respect to the second coordinate system 402. And a second optical system position information holding section 430 for holding the second optical system position information generated by the second optical system position information generating section 420.
  • the second optical system position information generating section 420 is provided with the first housing position information and the first optical system position information holding section 4 18 held in the first housing position information holding section 4 15. Based on the first optical system position information held in the second housing position information holding unit 416, the optical information for the second coordinate system 402 is obtained from the second housing position information held in the second housing position information holding unit 416. The position of the system 4 1 2 is calculated. The second optical system position information generation unit 420 generates the optical system 4 for the second coordinate system 402 by the same method as the second optical system position information generation unit 120 in the first embodiment. The position of 1 and 2 is calculated.
  • a camera coordinate system 413 based on the second optical system position information is configured on the camera 410 installed on the vehicle 408 at the second work place.
  • the camera coordinate system 4 13 has an x-axis, a y-axis, and a z-axis, and the origin of the force-measurement coordinate system 4 13 is at the optical center of the optical system 4 12 Is to be matched.
  • the X axis of the camera coordinate system 4 13 is provided in the left and right direction of the camera 4 10, and the y axis of the force camera coordinate system 4 13 is provided in the up and down direction of the camera 4 10.
  • the z axis of 13 is provided so as to coincide with the optical axis of the optical system 4 12.
  • An image coordinate system 4 14 is formed on a plane separated from the origin of the camera coordinate system 4 13 by the focal length f in the Z- axis direction.
  • the image coordinate system 41 has a p-axis and a q-axis.
  • a point P on the road surface 402 a forms an image at an image forming position P ′ of the image coordinate system 4 14 via the optical system 4 12.
  • the camera 410 acquires an image formed on the image coordinate system 4 14 via the optical system 4 12 as image information.
  • the camera correction device 400 includes a predicted position information generation unit 44 0 that generates predicted position information of the bumper unit 409 with respect to the image coordinate system 4 14 of the camera 410, and a predicted position information generation unit A predicted position information holding unit 450 that holds the predicted position information generated by the unit 450.
  • the predicted position information generating section 44 was held in the vehicle body position information holding section 4 26 based on the second optical system position information generated by the second optical system position information generating section 420. From the vehicle body position information, a predicted position of the pumper part 409 in the image coordinate system 414 of the camera 410 is calculated. As a method of calculating the predicted position of the part 409 of the pamper with respect to the image coordinate system 414 of the camera 410, the method described in the above-mentioned reference 1 can be used.
  • the bumper section 409 of the vehicle 408 installed in the second coordinate system 102 forms an image of the image coordinate system 414 via the optical system 412 as shown in FIG.
  • An image is formed at the position P '.
  • the imaging position P ′ is set such that the housing 4111 is set at an accurate position with respect to the vehicle 408, that is, at a position included in the second housing position information, and the second optical system position There is no error in the information
  • the predicted position P matches the predicted position P calculated by the predicted position information generation unit 44.
  • the housing 4111 is installed at an incorrect position with respect to the vehicle 408, and an error occurs in the second optical system position information.
  • the position P ′ is separated from the predicted position P.
  • the force lens correction device 400 stores the second optical system position information held in the second optical system position information holding unit 430.
  • a correction section 460 for performing correction is provided.
  • the correction unit 460 performs second optical system position information based on the image information of the bumper unit 409 acquired by the camera 410 and the predicted position information stored in the predicted position information storage unit 450.
  • the second optical system position information held in the holding section 430 is corrected.
  • the correction unit 460 extracts the imaging position information of the bumper unit 409 with respect to the image coordinate system 41 of the camera 410 from the image information of the bumper unit 409 acquired by the camera 410. Based on the imaging position information extraction unit 470 to be performed and the imaging position information extracted by the imaging position information extraction unit 470 and the predicted position information held in the predicted position information holding unit 450.
  • the correction amount calculating section 480 for calculating the correction amount of the second optical system position information held in the second optical system position information holding section 430, and the correction amount calculating section 480 calculate the correction amount.
  • An optical system position information correcting unit 490 for correcting the second optical system position information held in the second optical system position information holding unit 430 based on the corrected amount.
  • the correction amount calculating section 430 is a matching section 480 that superimposes the contour of the part of the bumper 409 included in the imaging position information and the contour of the bumper 409 included in the predicted position information. Extraction of multiple points, for example, points at both ends, from the outline of bumper section 409 superimposed by 1 and matching section 481 The calculating unit 48 calculates the amount of correction of the second optical system position information by comparing the extraction unit 482 with the point included in the imaging position information and the point included in the predicted position information. And 3.
  • the matching part 481 is the contour of the bumper part 409 included in the predicted position information? (See Fig. 34 (a)), move or rotate the contour P '(see Fig. 34 (b)) of the bumper part 409 included in the imaging position information. To overlap (see Fig. 34 (c)).
  • the extraction unit 482 extracts the contours P, P ′ from the contours P, P ′ of the pampering part 409 overlapped by the matching unit 481. Points (P i, P 2 ) and (P, P 2 ′) at both ends of the overlapped part are extracted.
  • the arithmetic unit 483 calculates the points ( ⁇ , ⁇ 2 ) included in the predicted position information (see FIG. 35 (b)) and the points (P, ⁇ 2 ′) ( By comparing with FIG. 35 (c)), it is possible to calculate the correction amount of the second optical system position information by the same method as the correction amount calculating section 180 in the first embodiment. Has become.
  • the camera correction device 400 configured as described above includes a computer 491 for adjusting the camera 410 and an imaging control device for controlling the camera 410. This is realized by the ECU 492 and others.
  • the computer 491 which is composed of a CPU, RAM, ROM, input / output interfaces, etc., is connected to the camera 410 at the first work place as shown in Fig. 36 (a). It's swelling.
  • the computer 491 is provided with the first housing position information holding unit 415, the second housing position information holding unit 416, and the first light Academic position information generator 4 17, first optical system position information storage 4 18, second optical system position information generator 4 20, calibration marker position information storage 4 4 5, vehicle position information
  • the storage unit 426, the second optical system position information storage unit 430, the predicted position information generation unit 440, and the predicted position information storage unit 450 are configured.
  • the ECU 492 is composed of a CPU, RAM, ROM, input / output interface, etc., and is connected to the camera 410 at the second work place as shown in Fig. 36 (c). It is to be mounted on vehicle 408. Note that, in the present embodiment, the ECU 492 constitutes the above-described second optical system position information holding unit 430, predicted position information holding unit 450, and correction unit 460. I have.
  • a force camera 410 attached with a recording medium 493 such as a CD-ROM or a magnetic disk is provided. It is being transported.
  • the second optical system position information and the predicted position information are recorded on the recording medium 4993, and the second optical system position information and the predicted position information are transferred from the computer 491 to the ECU 4992. It has become used for.
  • the camera 410 and the recording medium 493 are transported from the first work place to the second work place, as shown in FIG. 37.
  • the camera unit 494 constituted by the camera 410, the second optical system position information holding unit 430, the predicted position information holding unit 450, and the correction unit 460 is configured to be transported. You may.
  • the camera correction device 400 corrects the second optical system position information in the next step.
  • the camera 410 is installed at the first work place, and is arranged at a predetermined position with respect to the first coordinate system 401 (S401). And the first housing The body position information, the second case position information, the calibration marker position information, and the vehicle position information are stored in the first case position information holding unit 415, the second case position information holding unit 416, the calibration marker. The position information is held in the position information holding unit 4 25 and the vehicle body position information holding unit 4 26 (S402).
  • the first housing position information, the second housing position information, the calibration marker ⁇ : the position information and the vehicle body position information are based on the position measured by the measuring instrument, the position set in the design, and the like. Is obtained.
  • the calibration marker 405 is photographed by the camera 410 (S 403), and the first optical system position information generation unit 417 is calibrated by the calibration marker 405 acquired by the camera 410.
  • the first optical system position information is generated from the calibration marker position information held in the calibration marker position information holding unit 425 based on the image information of (S404). Then, the first optical system position information generated by the first optical system position information generating unit 417 is held in the first optical system position information holding unit 418 (S405).
  • the second optical system position information generation unit 420 generates the first housing position information and the first optical system position information held in the first housing position information holding unit 415. Based on the first optical system position information held in the holding unit 4 18, the second optical system is obtained from the second housing position information held in the second housing position information holding unit 4 16. The position information is generated (S406). Then, the second optical system position information generated by the second optical system position information generating unit 420 is stored in the second optical system position information storing unit 4330 (S407).
  • the predicted position information generation unit 44 From the held vehicle body position information, predicted position information of the bumper unit 409 for the image coordinate system 414 of the camera 410 is generated (S408). Then, the predicted position information generated by the predicted position information The position information is stored in the predicted position information storage unit 450 (S409).
  • the camera 4100 and the recording medium 493 are transported from the first work place to the second work place.
  • the camera 410 is installed on the vehicle 408 at the second work place, and is arranged at a predetermined position with respect to the second coordinate system 402 (S410).
  • the bumper section 409 is photographed by the camera 410 with the correction plate 406 as a background (S411), and the imaging position information extracting section 470 is operated as shown in FIG.
  • the imaging position information of the bumper unit 409 with respect to the image coordinate system 414 of the camera 410 is extracted (S41). 2).
  • the matching unit 481 with respect to the contour line P of the bumper unit 409 included in the predicted position information, performs The outlines P and of are superimposed (S4 13).
  • the extraction section 482 extracts the points (P) at both ends of the portion where the contours P and P ′ overlap from the contours P and P ′ of the part 409 of the pumper. i, P 2), to extract the (P! ', P 2' ) (S 4 1 4). Then, the arithmetic unit 483 compares the point (PP 2 ) included in the predicted position information with the point (P, P 2 ′) included in the imaging position information, thereby obtaining the second optical system. The correction amount of the position information is calculated (S415).
  • the optical system position information correcting unit 490 holds the second optical system position information holding unit 4300.
  • the optical system position information of step 2 is corrected (S416), and the process ends.
  • the computer may execute a program describing the above-described steps S401 to S416.
  • the present embodiment it is possible to correct the parameters of the optical system 4 12 of the force lens 4 10 installed in the vehicle 4 0 8 or the like.
  • the position of the object on the road surface can be accurately detected.
  • the second optical system position information can be corrected using the pumper part 409.
  • points can be extracted from the contour of the bumper section 409, and the correction amount of the second optical system standing information can be reliably calculated.
  • a camera correction device capable of correcting parameters of an optical system of a camera installed in a vehicle or the like.

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Studio Devices (AREA)
  • Measurement Of Optical Distance (AREA)
  • Closed-Circuit Television Systems (AREA)

Description

明 細 書 カメラ補正装置 技術分野
本発明は、 カメラ補正装置に関し、 特に、 車両などに設置されるカメ ラの校正を行うカメラ補正装置に関する。 背景技術
従来、 車両の外部に設置されたカメラに接続され、 カメ ラによって取 得された画像情報に基づいて、 車両の周辺、 特に、 路面上の対象物の位 置を検出する E CU (Electronic Control Unit) などの撮像制御装置 が普及している。 この種の撮像制御装置に対してカメラを組み合わせる 過程においては、 力メラ個々の光学系のパラメータを特定するために、 一般に 「校正」 と呼ばれる作業が行われている。
上述したカメラの校正を行うカメ ラ校正装置と しては、 カメラお車両 に設置される前にカメラの校正を行うものと、 カメラが車両に設置され た後にカメラの校正を行うものとが知られており、 特に、 カメラを車両 に設置する際に行われる作業を簡略化するという観点から、 カメラが車 両に設置される前にカメ ラの校正を行うカメラ校正装置の需要が高まつ ている。
このような従来のカメ ラ校正装置 5 00は、 第 3 9図から第 4 1図に 示すように、 撮像辈置と してのカメラ 5 1 0に接続されるよ うになつて いる。 カメラ 5 1 0は、 筐体 5 1 1 と筐体 5 1 1に支持された光学系 5 1 2 とを有しており、 光学系 5 1 2を介して画像情報を取得するよ うに なっている。 カメラ校正装置 5 0 0は、 カメラ生産工場に構成された第 1の座標系 5 0 1に対する筐体 5 1 1の位置を示す第 1の筐体位置情報を保持する 第 1の筐体位置情報保持部 5 1 5と、 車両生産工場に構成された第 2の 座標系 5 0 2に対する筐体 5 1 1の位置を示す第 2の筐体位置情報を保 持する第 2の筐体位置情報保持部 5 1 6 とを備えている。
力メラ校正装置 5 0 0は、 カメラ生産工場においてカメラ 5 1 0の校 正を行うようになっており、 第 1の座標系 5 0 1には、 カメラ 5 1 0の 校正を行うための校正マーカ 5 0 5が配置されている。 ここで、 カメラ 5 1 0の校正とは、 筐体 5 1 1が車両 5 0 8に対して設計によって決め られた位置に設置された場合の光学系 5 1 2の位置を算出する動作であ る。
また、 カメラ校正装置 5 0 0は、 第 1の座標系 5 0 1に対する光学系 5 1 2の位置を示す第 1の光学系位置情報を生成する第 1の光学系位置 情報生成部 5 1 7と、 第 1の光学系位置情報生成部 5 1 7によって生成 された第 1の光学系位置情報を保持する第 1の光学系位置情報保持部 5 1 8とを備えている。 第 1の光学系位置情報生成部 5 1 7は、 カメラ 5 1 0によつて取得された校正マーカ 5 0 5の画像情報に基づいて、 第 1 の座標系 5 0 1に対する光学系 5 1 2の位置を算出するようになつてい る。
また、 カメラ校正装置 5 0 0は、 第 2の座標系 5 0 2に対する光学系 5 1 2の位置を示す第 2の光学系位置情報を生成する第 2の光学系位置 情報生成部 5 2 0と、 第 2の光学系位置情報生成部 5 2 0によって生成 された第 2の光学 位置情報を保持する第 2の光学系位置情報保持部 5 3 0とを備えている。
第 2の光学系位置情報生成部 5 2 0は、 第 1の筐体位置情報保持部 5 1 5に保持された第 1の筐体位置情報および第 1 の光学系位置情報保持 部 5 1 8に保持された第 1の光学系位置情報に基づいて、 第 2の筐体位 置情報保持部 5 1 6に保持された第 2の筐体位置情報から、 第 2の座標 系 5 0 2に対する光学系 5 1 2の位置を算出するようになつている。
このように構成されたカメラ校正装置 5 0 0は、 第 2の座標系 5 0 2 に対する光学系 5 1 2の位置を算出することにより、 カメラ生産工場に おいてカメラ 5 1 0の校正を行うようになっている。 そして、 第 2の光 学系位置情報保持部 5 3 0に保持された第 2の光学系位置情報に基づい て、 車両 5 0 8に設置されたカメラ 5 1 0によつて取得された画像情報 から、 撮像制御装置で路面上の対象物の位置を検出するようにしている しかしながら、 上記従来のカメラ校正装置においては、 第 2の光学系 位置情報保持部に保持された第 2の光学系位置情報を補正することがで きないため、 筐体が車両に対して不正確な位置に設置された場合に.、 撮 像制御装置に路面上の対象物の位置を正確に検出させることができない という問題があった。
本発明は、 このような問題を解決するため、 車両などに設置された力 メラの光学系のパラメータを補正することができるカメラ補正装置を提 供することを目的としている。 発明の開示
本発明は、 筐体と前記筐体に支持された光学系とを有し前記光学系を 介して画像情報を取得する撮像装置の光学系の位置情報を補正するカメ ラ補正装置であって、 第 1の座標系に対する前記筐体の位置を示す第 1 の筐体位置情報を保持する第 1の筐体位置情報保持手段と、 第 2の座標 系に対する前記筐体の位置を示す第 2の筐体位置情報を保持する第 2の 筐体位置情報保持手段と、 前記撮像装置によって取得された前記第 1 の 座標系における画像情報に基づいて、 前記第 1 の座標系に対する前記光 学系の位置を示す第 1の光学系位置情報を生成する第 1の光学系位置情 報生成手段と、 前記第 1の光学系位置情報生成手段によって生成された 前記第 1の光学系位置情報を保持する第 1の光学系位置情報保持手段と 、 前記第 1の筐体位置情報保持手段に保持された前記第 1の筐体位置情 報および前記第 1の光学系位置情報保持手段に保持された前記第 1の光 学系位置情報に基づいて、 前記第 2の筐体位置情報保持手段に保持され た前記第 2の筐体位置情報から、 前記第 2の座標系に対する前記光学系 の位置を示す第 2の光学系位置情報を生成する第 2の光学系位置情報生 成手段と、 前記第 2の光学系位置情報生成手段によって生成された前記 第 2の光学系位置情報を保持する第 2の光学系位置情報保持手段と、 前 記撮像装置によって取得された前記第 2の座標系における画像情報に基 づいて、 前記第 2の光学系位置情報保持手段に保持された前記第 2の光 学系位置情報を補正する補正手段とを備えたことを特徴とするのカメラ 補正装置を提供するものである。 この構成により、 本発明のカメラ補正 装置は、 車両などに設置されたカメラの光学系のパラメータを補正する ことができる。
また、 本発明は、 筐体と前記筐体に支持された光学系とを有し前記光 学系を介して画像情報を取得する撮像装置の光学系の位置情報を補正す るカメラ補正装置であって、 所定の座標系に対する前記光学系の位置を 示す光学系位置情報を保持する光学系位置情報保持手段と、 前記撮像装 置によって取得された前記座標系における画像情報に基づいて、 前記光 学系位置情報保持 段に保持された前記光学系位置情報を補正する補正 手段とを備えたことを特徴とするカメラ補正装置を提供するものである 。 この構成により、 本発明のカメラ補正装置は、 車両などに設置された 力メラの光学系のパラメータを補正することができる。 また、 本発明は、 筐体と前記筐体に支持された光学系とを有し前記光 学系を介して画像情報を取得する撮像装置の光学系の位置情報を補正す るカメラ補正装置であって、 校正マーカが配置された第 1の座標系に対 する前記筐体の位置を示す第 1の筐体位置情報を保持する第 1の筐体位 置情報保持手段と、 補正マーカが配置された第 2の座標系に対する前記 筐体の位置を示す第 2の筐体位置情報を保持する第 2の筐体位置情報保 持手段と、 前記撮像装置によって取得された前記校正マーカの画像情報 に基づいて、 前記第 1の座標系に対する前記光学系の位置を示す第 1の 光学系位盧情報を生成する第 1の光学系位置情報生成手段と、 前記第 1 の光学系位置情報生成手段によって生成された前記第 1の光学系位置情 報を保持する第 1の光学系位置情報保持手段と、 前記第 1の筐体位置情 報保持手段に保持された前記第 1の筐体位置情報および前記第 1の光学 系位置情報保持手段に保持された前記第 1の光学系位置情報に基づいて 、 前記第 2の筐体位置情報保持手段に保持された前記第 2の筐体位置情 報から、 前記第 2の座標系に対する前記光学系の位置を示す第 2の光学 系位置情報を生成する第 2の光学系位置情報生成手段と、 前記第 2の光 学系位置情報生成手段によって生成された前記第 2の光学系位置情報に 基づいて、 前記撮像装置の画像座標系に対する前記補正マーカの予測位 置情報を生成する予測位置情報生成手段と、 前記第 2の光学系位置情報 生成手段によって生成された前記第 2の光学系位置情報を保持する第 2 の光学系位置情報保持手段と、 前記予測位置情報生成手段によって生成 された前記予測位置情報を保持する予測位置情報保持手段と、 前記撮像 装置によって取得 れた前記補正マーカの画像情報おょぴ前記予測位置 情報保持手段に保持された前記予測位置情報に基づいて、 前記第 2の光 学系位置情報保持手段に保持された前記第 2の光学系位置情報を補正す る補正手段とを備えたことを特徴とするカメラ補正装置を提供するもの である。 この構成により、 本発明のカメラ補正装置は、 簡単な補正マー 力を利用して第 2の光学系位置情報を補正することができる。
また、 本発明は、 前記補正手段が、 前記撮像装置によって取得された 前記補正マーカの画像情報から、 前記撮像装置の画像座標系に対する前 記補正マーカの結像位置情報を抽出する結像位置情報抽出手段と、 前記 結像位置情報抽出手段によって抽出された前記結像位置情報および前記 予測位置情報保持手段に保持された前記予測位置情報に基づいて、 前記 第 2の光学系位置情報保持手段に保持された前記第 2の光学系位置情報 の補正量を算出する補正量算出手段と、 前記補正量算出手段によって算 出された前記補正量に基づいて、 前記第 2の光学系位置情報保持手段に 保持された前記第 2の光学系位置情報を補正する光学系位置情報補正手 段とを有することを特徴とするカメラ補正装置を提供するものである。 この構成により、 本発明のカメラ補正装置は、 簡単な補正マーカを利用 して第 2の光学系位置情報の補正量を算出することができる。
また、 本発明は、 前記補正手段が、 前記第 2の光学系位置情報の回転 成分の誤差だけを補正することを特徴とするカメラ補正装置を提供する ものである。 この構成により、 本発明のカメラ補正装置は、 前記第 2の 光学系位置情報の平行移動成分の誤差を無視することができ、 簡単な補 正マーカを利用して第 2の光学系位置情報を補正することができる。 また、 本発明は、 前記結像位置情報抽出手段が、 前記撮像装置によつ て取得された前記補正マーカの画像情報を表示する画像情報表示手段と 、 前記画像情報表示手段に表示された前記補正マーカの画像情報におい て前記補正マーカ 結像位置を指定し、 前記結像位置情報を抽出する結 像位置指定手段とを有することを特徴とするカメラ補正装置を提供する ものである。 この構成により、 本発明のカメラ補正装置は、 補正マーカ の結像位置を指定することができ、 補正マーカの結像位置情報を確実に 抽出することができる。
また、 本発明は、 前記結像位置情報抽出手段が、 前記撮像装置の画像 座標系に対する前記補正マーカの予測範囲情報を保持する予測範囲情報 保持手段と、 前記予測範囲情報保持手段に保持された前記予測範囲情報 および前記予測位置情報保持手段に 持された前記予測位置情報に基づ いて、 前記撮像装置によって取得された前記補正マーカの画像情報から 前記補正マーカの結像位置を検索し、 前記結像位置情報を抽出する結像 位置検索手段とを有することを特徴とするカメラ補正装置を提供するも のである。 この構成により、 本発明のカメラ補正装置は、 補正マーカの 結像位置を検索することができ、 補正マーカの結像位置情報を容易に抽 出することができる。
また、 本発明は、 筐体と前記筐体に支持される光学系とを有し前記光 学系を介して画像情報を取得する撮像装置の光学系の位置情報を補正す るカメラ補正装置であって、 校正マーカが配置された第 1の座標系に対 する前記筐体の位置を示す第 1の筐体位置情報を保持する第 1の筐体位 置情報保持手段と、 第 2の座標系に対する前記筐体の位置を示す第 2の 筐体位置情報を保持する第 2の筐体位置情報保持手段と、 前記撮像装置 によって取得された前記校正マーカの画像情報に基づいて、 前記第 1の 座標系に対する前記光学系の位置を示す第 1の光学系位置情報を生成す る第 1の光学系位置情報生成手段と、 前記第 1の光学系位置情報生成手 段によって生成された前記第 1の光学系位置情報を保持する第 1の光学 系位置情報保持手段と、 前記第 1の筐体位置情報保持手段に保持された 前記第 1の筐体位 S情報および前記第 1の光学系位置情報保持手段に保 持された前記第 1の光学系位置情報に基づいて、 前記第 2の筐体位置情 報保持手段に保持された前記第 2の筐体位置情報から、 前記第 2の座標 系に対する前記光学系の位置を示す第 2の光学系位置情報を生成する第 2の光学系位置情報生成手段と、 前記第 2の光学系位置情報生成手段に よって生成された前記第 2の光学系位置情報を保持する第 2の光学系位 置情報保持手段と、 前記撮像装置によって取得された前記第 2の座標系 における画像情報に含まれる動きべク トルに基づいて、 前記第 2の光学 系位置情報保持手段に保持された前言己第 2の光学系位置情報を補正する 補正手段とを備えたことを特徴とするカメラ補正装置を提供するもので ある。 この構成により、 本発明のカメラ補正装置は、 動きべク トルを利 用して第 2の光学系位置情報を補正することができる。
また、 本発明は、 前記補正手段が、 前記撮像装置によって取得された 前記第 2の座標系における画像情報から平面投影画像を生成する平面投 影画像生成手段と、 前記平面投影画像生成手段によって生成された前記 平面投影画像を複数の画像領域に分割する平面投影画像分割手段と、 前 記平面投影画像分割手段によって分割された複数の前記画像領域から動 きべク トルを抽出する動きべク トル抽出手段と、 前記動きべク トル抽出 手段によって抽出された前記動きべク トルに基づいて、 前記第 2の光学 系位置情報保持手段に保持された前記第 2の光学系位置情報の補正量を 算出する補正量算出手段と、 前記補正量算出手段によって算出された前 記補正量に基づいて、 前記第 2の光学系位置情報保持手段に保持された 前記第 2の光学系位置情報を補正する光学系位置情報補正手段とを有す ることを特徴とするカメラ補正装置を提供するものである。 この構成に より、 本発明のカメラ補正装置は、 複数の画像領域における動きべク ト ルを容易に抽出することができる。
また、 本発明は、,.前記第 2の座標系に設けられた分割マーカが、 前記 第 2の筐体位置情報保持手段に保持された前記第 2の筐体位置情報に含 まれる前記筐体の位置に対して一定の位置関係を保つように配置され、 前記平面投影画像分割手段が、 前記撮像装置によって取得された前記分 割マーカの画像情報に基づいて、 前記平面投影画像を複数の画像領域に 分割することを特徴とするカメラ補正装置を提供するものである。 この 構成により、 本発明のカメラ補正装置は、 分割マーカを利用して平面投 影画像を正確に分割することができる。
また、 本発明は、 筐体と前記筐体に支持された光学系とを有し前記光 学系を介して画像情報を取得する撮像装置の光学系の位置情報を補正す るカメラ補正装置であって、 校正マーカが配置された第 1の座標系に対 する前記筐体の位置を示す第 1の筐体位置情報を保持する第 1の筐体位 置情報保持手段と、 車両が配置された第 2の座標系に対する前記筐体の 位置を示す第 2の筐体位置情報を保持する第 2の筐体位置情報保持手段 と、 前記撮像装置によって取得された前記校正マーカの画像情報に基づ いて、 前記第 1の座標系に対する前記光学系の位置を示す第 1の光学系 位置情報を生成する第 1の光学系位置情報生成手段と、 前記第 1の光学 系位置情報生成手段によって生成された前記第 1の光学系位置情報を保 持する第 1の光学系位置情報保持手段と、 前記第 1の筐体位置情報保持 手段に保持された前記第 1の筐体位置情報および前記第 1の光学系位置 情報保持手段に保持された前記第 1の光学系位置情報に基づいて、 前記 第 2の筐体位置情報保持手段に保持された前記第 2の筐体位置情報から 、 前記第 2の座標系に対する前記光学系の位置を示す第 2の光学系位置 情報を生成する第 2の光学系位置情報生成手段と、 前記第 2の光学系位 置情報生成手段によって生成された前記第 2の光学系位置情報に基づい て、 前記撮像装置の画像座標系に対する前記車両の予測位置情報を生成 する予測位置情報 成手段と、 前記第 2の光学系位置情報生成手段によ つて生成された前記第 2の光学系位置情報を保持する第 2の光学系位置 情報保持手段と、 前記予測位置情報生成手段によって生成された前記予 測位置情報を保持する予測位置情報保持手段と、 前記撮像装置によって 取得された前記車両の画像情報および前記予測位置情報保持手段に保持 された前記予測位置情報に基づいて、 前記第 2の光学系位置情報保持手 段に保持された前記第 2の光学系位置情報を補正する補正手段とを備え たことを特徴とするカメラ補正装置を提供するものである。 この構成に より、 本発明のカメラ補正装置は、 車两の一部を利用して第 2の光学系 位置情報を補正することができる。
また、 本発明は、 前記補正手段が、 前記撮像装置によって取得された 前記車両の画像情報から、 前記撮像装置の画像座標系に対する前記車両 の結像位置情報を抽出する結像位置情報抽出手段と、 前記結像位置情報 抽出手段によって抽出された前記結像位置情報および前記予測位置情報 保持手段に保持された前記予測位置情報に基づいて、 前記第 2の光学系 位置情報保持手段に保持された前記第 2の光学系位置情報の補正量を算 出する補正量算出手段と、 前記補正量算出手段によって算出された前記 捕正量に基づいて、 前記第 2の光学系位置情報保持手段に保持された前 記第 2の光学系位置情報を補正する光学系位置情報補正手段とを有する ことを特徴とするカメラ補正装置を提供するものである。 この構成によ り、 本発明のカメラ補正装置は、 車両の一部を利用して第 2の光学系位 置情報の補正量を算出することができる。
また、 本発明は、 前記補正量算出手段が、 前記結像位置情報に含まれ る前記車両の輪郭線と前記予測位置情報に含まれる前記車両の輪郭線と を重ね合わせるマッチング手段と、 前記マツチング手段によって重ね合 わされた前記車両の輪郭線から複数の点を抽出する抽出手段と、 前記結 像位置情報に含まれる前記点と前記予測位置情報に含まれる前記点とを 比較することにより前記第 2の光学系位置情報の補正量を算出する演算 手段とを有することを特徴とするカメラ補正装置を提供するものである 。 この構成により、 本発明のカメラ補正装置は、 車両の輪郭線から点を 抽出することができ、 第 2の光学系位置情報の補正量を確実に算出する ことができる。
また、 本発明は、 前記撮像装置が車両に取り付けられることを特徴と するカメラ捕正装置を提供するものである。 この構成により、 本発明の カメラ補正装置は、 筐体が車両に対して不正確な位置に設置された場合 に、 カメラの光学系のパラメータを補正することができ、 路面上の対象 物の位置を正確に検出することができる。
また、 本発明は、 カメラ補正装置を備えたことを特徴とする撮像装置 を提供するものである。 この構成によ り、 本発明の撮像装置は、 車両な どに設置されたカメラの光学系のパラメータを補正することができる。 また、 本発明は、 カメラ補正装置を備えたを特徴とする撮像制御装置 を提供するものである。 この構成によ り、 本発明の撮像制御装置は、 車 両などに設置されたカメラの光学系のパラメータを補正することができ る。
また、 本発明は、 筐体と前記筐体に支持された光学系とを有し前記光 学系を介して画像情報を取得する撮像装置の光学系の位置情報を補正す るカメラ補正方法であって、 第 1の座標系に対する前記筐体の位置を示 す第 1の筐体位置情報を保持する第 1 の筐体位置情報保持ステップと、 第 2の座標系に対する前記筐体の位置を示す第 2の筐体位置情報を保持 する第 2の筐体位置情報保持ステップと、 前記撮像装置によって取得さ れた前記第 1の座標系における画像情報に基づいて、 前記第 1の座標系 に対する前記光学系の位置を示す第 1の光学系位置情報を生成する第 1 の光学系位置情報 成ステップと、 前記第 1の光学系位置情報生成ステ ップで生成された前記第 1の光学系位置情報を保持する第 1の光学系位 置情報保持ステップと、 前記第 1の筐体位置情報保持ステップで保持さ れた前記第 1の筐体位置情報および前記第 1の光学系位置情報保持ステ ップで保持された前記第 1の光学系位置情報に基づいて、 前記第 2の筐 体位置情報保持ステップで保持された前記第 2の筐体位置情報から、 前 記第 2の座標系に対する前記光学系の位置を示す第 2の光学系位置情報 を生成する第 2の光学系位置情報生成ステップと、 前記第 2の光学系位 置情報生成ステップで生成された前記第 2の光学系位置情報を保持する 第 2の光学系位置情報保持ステップと、 前記撮像装置によって取得され た前記第 2の座標系における画像情報に基づいて、 前記第 2の光学系位 置情報保持ステップで保持された前記第 2の光学系位置情報を補正する 捕正ステップとを備えたことを特徴とするカメラ補正方法を提供するも のである。 この構成により、 本発明のカメラ補正方法は、 車両などに設 置されたカメラの光学系のパラメータを補正することができ、 路面上の 対象物の位置を正確に検出することができる。
また、 本発明は、 筐体と前記筐体に支持された光学系とを有し前記光 学系を介して画像情報を取得する撮像装置の光学系の位置情報を補正す るカメラ補正方法であって、 所定の座標系に対する前記光学系の位置を 示す光学系位置情報を保持する光学系位置情報保持ステップと、 前記撮 像装置によって取得された前記座標系における画像情報に基づいて、 前 記光学系位置情報保持ステップで保持された前記光学系位置情報を補正 する補正ステップとを備えたことを特徴とするカメラ補正方法を提供す るものである。 この構成により、 本発明のカメラ補正方法は、 車両など に設置されたカメラの光学系のパラメータを補正することができ、 路面 上の対象物の位置を正確に検出することができる。
また、 本発明は、,.筐体と前記筐体に支持された光学系とを有し前記光 学系を介して画像情報を取得する撮像装置の光学系の位置情報を補正す るカメラ補正方法であって、 校正マーカが配置された第 1の座標系に対 する前記筐体の位置を示す第 1の筐体位置情報を保持する第 1の筐体位 置情報保持ステツプと、 補正マーカが配置された第 2の座標系に対する 前記筐体の位置を示す第 2の筐体位置情報を保持する第 2の筐体位置情 報保持ステップと、 前記撮像装置によって取得された前記校正マーカの 画像情報に基づいて、 前記第 1の座標系に対する前記光学系の位置を示 す第 1の光学系位置情報を生成する第 1の光学系位置情報生成ステップ と、 前記第 1の光学系位置情報生成ステップで生成された前記第 1の光 学系位置情報を保持する第 1 の光学系位置情報保持ステップと、 前記第 1の筐体位置情報保持ステップで保持された前記第 1の筐体位置情報お よび前記第 1の光学系位置情報保持ステップで保持された前記第 1の光 学系位置情報に基づいて、 前記第 2の筐体位置情報保持ステップで保持 された前記第 2の筐体位置情報から、 前記第 2の座標系に対する前記光 学系の位置を示す第 2の光学系位置情報を生成する第 2の光学系位置情 報生成ステツプと、 前記第 2の光学系位置情報生成ステツプで生成され た前記第 2の光学系位置情報に基づいて、 前記撮像装置の画像座標系に 対する前記補正マーカの予測位置情報を生成する予測位置情報生成ステ ップと、 前記第 2の光学系位置情報生成ステップで生成された前記第 2 の光学系位置情報を保持する第 2の光学系位置情報保持ステップと、 前 記予測位置情報生成ステップで生成された前記予測位置情報を保持する 予測位置情報保持ステップと、 前記撮像装置によって取得された前記補 正マーカの画像情報および前記予測位置情報保持ステップで保持された 前記予測位置情報に基づいて、 前記第 2の光学系位置情報保持ステップ で保持された前記第 2の光学系位置情報を補正する補正ステップとを備 えたことを特徴と 1：る力メラ補正方法を提供するものである。 この構成 より、 本発明のカメラ補正方法は、 簡単な補正マーカを利用して第 2 の光学系位置情報を補正することができる。
また、 本発明は、 筐体と前記筐体に支持される光学系とを有し前記光 学系を介して画像情報を取得する撮像装置の光学系の位置情報を補正す るカメラ補正方法であって、 校正マーカが配置された第 1の座標系に対 する前記筐体の位置を示す第 1の筐体位置情報を保持する第 1の筐体位 置情報保持ステップと、 第 2の座標系に対する前記筐体の位置を示す第 2の筐体位置情報を保持する第 2の筐体位置情報保持ステップと、 前記 撮像装置によつて取得された前記校正マーカの画像情報に基づいて、 前 記第 1の座標系に対する前記光学系の位置を示す第 1の光学系位置情報 を生成する第 1の光学系位置情報生成ステップと、 前記第 1の光学系位 置情報生成ステップで生成された前記第 1の光学系位置情報を保持する 第 1の光学系位置情報保持ステップと、 前記第 1の筐体位置情報保持ス テツプで保持された前記第 1の筐体位置情報および前記第 1の光学系位 置情報保持ステップで保持された前記第 1の光学系位置情報に基づいて 、 前記第 2の筐体位置情報保持ステップで保持された前記第 2の筐体位 置情報から、 前記第 2の座標系に対する前記光学系の位置を示す第 2の 光学系位置情報を生成する第 2の光学系位置情報生成ステップと、 前記 第 2の光学系位置情報生成ステップで生成された前記第 2の光学系位置 情報を保持する第 2の光学系位置情報保持ステップと、 前記撮像装置に よって取得された前記第 2の座標系における画像情報に含まれる動きべ ク トルに基づいて、 前記第 2の光学系位置情報保持ステップで保持され た前記第 2の光学系位置情報を補正する補正ステップとを備えたことを 特徴とするカメラ補正方法を提供するものである。 この構成により、 本 発明のカメラ補正方法は、 動きべク トルを利用して第 2の光学系位置情 報を補正することができる。
また、 本発明は、 筐体と前記筐体に支持された光学系とを有し前記光 学系を介して画像情報を取得する撮像装置の光学系の位置情報を補正す るカメラ補正方法であって、 校正マーカが配置された第 1の座標系に対 する前記筐体の位置を示す第 1の筐体位置情報を保持する第 1の筐体位 置情報保持ステップと、 車両が配置された第 2の座標系に対する前記筐 体の位置を示す第 2の筐体位置情報を保持する第 2の筐体位置情報保持 ステップと、 前記撮像装置によって取得された前記校正マーカの画像情 報に基づいて、 前記第 1の座標系に対する前記光学系の位置を示す第 1 の光学系位置情報を生成する第 1の光学系位置情報生成ステップと、 前 記第 1の光学系位置情報生成ステップで生成された前記第 1の光学系位 置情報を保持する第 1の光学系位置情報保持ステップと、 前記第 1の筐 体位置情報保持ステップで保持された前記第 1の筐体位置情報および前 記第 1の光学系位置情報保持ステップで保持された前記第 1の光学系位 置情報に基づいて、 前記第 2の筐体位置情報保持ステップで保持された 前記第 2の筐体位置情報から、 前記第 2の座標系に対する前記光学系の 位置を示す第 2の光学系位置情報を生成する第 2の光学系位置情報生成 ステップと、 前記第 2の光学系位置情報生成ステップで生成された前記 第 2の光学系位置情報に基づいて、 前記撮像装置の画像座標系に対する 前記車両の予測位置情報を生成する予測位置情報生成ステップと、 前記 第 2の光学系位置情報生成ステップで生成された前記第 2の光学系位置 情報を保持する第 2の光学系位置情報保持ステップと、 前記予測位置情 報生成ステツプで生成された前記予測位置情報を保持する予測位置情報 保持ステップと、 前記撮像装置によって取得された前記車両の画像情報 および前記予測位置情報保持ステップで保持された前記予測位置情報に 基づいて、 前記第 2の光学系位置情報保持ステップで保持された前記第 2の光学系位置情韓を補正する補正ステップとを備えたことを特徴とす るカメラ補正方法を提供するものである。 この構成により、 本発明の力 メラ補正方法は、 車両の一部を利用して第 2の光学系位置情報を補正す ることができる。 また、 本発明は、 前記撮像装置が車両に取り付けられることを特徴と するカメラ補正方法を提供するものである。 この構成によ り、 本発明の カメラ補正方法は、 筐体を車両に対して不正確な位置に設置した場合に 、 カメ ラの光学系のパラメータを補正することができ、 路面上の対象物 の位置を正確に検出することができ 。
また、 本発明は、 筐体と前記筐体に支持された光学系とを有し前記光 学系を介して画像情報を取得する撮像装置の光学系の位置情報を補正す るカメ ラ補正プログラムであって、 第 1の座標系に対する前記筐体の位 置を示す第 1の筐体位置情報を保持する第 1 の筐体位置情報保持ステツ プと、 第 2の座標系に対する前記筐体の位置を示す第 2の筐体位置情報 を保持する第 2の筐体位置情報保持ステップと、 前記撮像装置によって 取得された前記第 1の座標系における画像情報に基づいて、 前記第 1の 座標系に対する前記光学系の位置を示す第 1の光学系位置情報を生成す る第 1の光学系位置情報生成ステップと、 前記第 1の光学系位置情報生 成ステップで生成された前記第 1の光学系位置情報を保持する第 1の光 学系位置情報保持ステップと、 前記第 1 の筐体位置情報保持ステップで 保持された前記第 1'の筐体位置情報および前記第 1の光学系位置情報保 持ステップで保持された前記第 1の光学系位置情報に基づいて、 前記第 2の筐体位置情報保持ステップで保持された前記第 2の筐体位置情報か ら、 前記第 2の座標系に対する前記光学系の位置を示す第 2の光学系位 置情報を生成する第 2の光学系位置情報生成ステツプと、 前記第 2の光 学系位置情報生成ステップで生成された前記第 2の光学系位置情報を保 持する第 2の光学系位置情報保持ステップと、 前記撮像装置によって取 得された前記第 2の座標系における画像情報に基づいて、 前記第 2の光 学系位置情報保持ステップで保持された前記第 2の光学系位置情報を補 正する補正ステップとをコンピュータに実行させることを特徴とする力 メ ラ補正プログラムを提供するものである。 この構成によ り、 本発明の 力メ ラ補正プログラムは、 車両などに設置されたカメラの光学系のパラ メータを補正することができ、 路面上の対象物の位置を正確に検出する ことができる。
また、 本発明は、 筐体と前記筐体に支持された光学系とを有し前記光 学系を介して画像情報を取得する撮像装置の光学系の位置情報を補正す るカメ ラ補正プログラムであって、 所定の座標系に対する前記光学系の 位置を示す光学系位置情報を保持する光学系位置情報保持ステップと、 前記撮像装置によって取得された前記座標系における画像情報に基づい て、 前記光学系位置情報保持ステップで保持された前記光学系位置情報 を補正する補正ステップとをコンピュータに実行させることを特徴とす るカメ ラ補正プログラムを提供するものである。 この構成によ り、 本発 明のカメラ補正プログラムは、 車両などに設置されたカメラの光学系の パラメータを補正することができ、 路面上の対象物の位置を正確に検出 することができる。
また、 本発明は、 筐体と前記筐体に支持された光学系とを有し前記光 学系を介して画像情報を取得する撮像装置の光学系の位置情報を補正す るカメラ補正プログラムであって、 校正マーカが配置された第 1の座標 系に対する前記筐体の位置を示す第 1の筐体位置情報を保持する第 1の 筐体位置情報保持ステップと、 補正マーカが配置された第 2の座標系に 対する前記筐体の位置を示す第 2の筐体位置情報を保持する第 2の筐体 位置情報保持ステップと、 前記撮像装置によって取得された前記校正マ 一力の画像情報に碁づいて、 前記第 1の座標系に対する前記光学系の位 置を示す第 1の光学系位置情報を生成する第 1の光学系位置情報生成ス テツプと、 前記第 1の光学系位置情報生成ステップで生成された前記第 1の光学系位置情報を保持する第 1の光学系位置情報保持ステップと、 前記第 1の筐体位置情報保持ステップで保持された前記第 1の筐体位置 情報および前記第 1 の光学系位置情報保持ステップで保持された前記第 1の光学系位置情報に基づいて、 前記第 2の筐体位置情報保持ステップ で保持された前記第 2の筐体位置情報から、 前記第 2の座標系に対する 前記光学系の位置を示す第 2の光学系位置情報を生成する第 2の光学系 位置情報生成ステップと、 前記第 2の光学系位置情報生成ステップで生 成された前記第 2の光学系位置情報に基づいて、 前記撮像装置の画像座 標系に対する前記補正マーカの予測位置情報を生成する予測位置情報生 成ステップと、 前記第 2の光学系位置情報生成ステップで生成された前 記第 2の光学系位置情報を保持する第 2の光学系位置情報保持ステップ と、 前記予測位置情報生成ステップで生成された前記予測位置情報を保 持する予測位置情報保持ステップと、 前記撮像装置によって取得された 前記補正マーカの画像情報および前記予測位置情報保持ステップで保持 された前記予測位置情報に基づいて、 前記第 2の光学系位置情報保持ス テップで保持された前記第 2の光学系位置情報を補正する補正ステップ とをコンピュータに実行させることを特徴とするカメラ補正プログラム を提供するものである。 この構成により、 本発明のカメラ補正プロダラ ムは、 簡単な補正マーカを利用して第 2の光学系位置情報を補正するこ とができる。
また、 本発明は、 筐体と前記筐体に支持される光学系とを有し前記光 学系を介して画像情報を取得する撮像装置の光学系の位置情報を補正す るカメラ補正プログラムであって、 校正マーカが配置された第 1の座標 系に対する前記筐体の位置を示す第 1の筐体位置情報を保持する第 1の 筐体位置情報保持ステップと、 第 2の座標系に対する前記筐体の位置を 示す第 2の筐体位置情報を保持する第 2の筐体位置情報保持ステツプと 、 前記撮像装置によって取得された前記校正マ一力の画像情報に基づい て、 前記第 1の座標系に対する前記光学系の位置を示す第 1の光学系位 置情報を生成する第 1の光学系位置情報生成ステップと、 前記第 1の光 学系位置情報生成ステップで生成された前記第 1の光学系位置情報を保 持する第 1の光学系位置情報保持ステップと、 前記第 1の筐体位置情報 保持ステップで保持された前記第 1の筐体位置情報および前記第 1の光 学系位置情報保持ステップで保持された前記第 1の光学系位置情報に基 づいて、 前記第 2の筐体位置情報保持ステツプで保持された前記第 2の 筐体位置情報から、 前記第 2の座標系に対する前記光学系の位置を示す 第 2の光学系位置情報を生成する第 2の光学系位置情報生成ステツプと 、 前記第 2の光学系位置情報生成ステップで生成された前記第 2の光学 系位置情報を保持する第 2の光学系位置情報保持ステップと、 前記撮像 装置によって取得された前記第 2の座標系における画像情報に含まれる 動きベク トルに基づいて、 前記第 2の光学系位置情報保持ステップで保 持された前記第 2の光学系位置情報を補正する補正ステップとをコンビ ユータに実行させることを特徴とするカメラ補正プログラムを提供する ものである。 この構成により、 本発明のカメラ補正プログラムは、 動き ベタ トルを利用して第 2の光学系位置情報を補正することができる。 また、 本発明は、 筐体と前記筐体に支持された光学系とを有し前記光 学系を介して画像情報を取得する撮像装置の光学系の位置情報を補正す るカメラ補正プログラムであって、 校正マーカが配置された第 1の座標 系に対する前記筐体の位置を示す第 1の筐体位置情報を保持する第 1の 筐体位置情報保持ステップと、 車両が配置された第 2の座標系に対する 前記筐体の位置を す第 2の筐体位置情報を保持する第 2の筐体位置情 報保持ステップと、 前記撮像装置によって取得された前記校正マーカの 画像情報に基づいて、 前記第 1の座標系に対する前記光学系の位置を示 す第 1の光学系位置情報を生成する第 1 の光学系位置情報生成ステップ と、 前記第 1の光学系位置情報生成ステップで生成された前記第 1の光 学系位置情報を保持する第 1の光学系位置情報保持ステップと、 前記第 1の筐体位置情報保持ステップで保持された前記第 1の筐体位置情報お よび前記第 1の光学系位置情報保持ステップで保持された前記第 1の光 学系位置情報に基づいて、 前記第 2の筐体位置情報保持ステップで保持 された前記第 2の筐体位置情報から、 前記第 2の座標系に対する前記光 学系の位置を示す第 2の光学系位置情報を生成する第 2の光学系位置情 報生成ステップと、 前記第 2の光学系位置情報生成ステップで生成され た前記第 2の光学系位置情報に基づいて、 前記撮像装置の画像座標系に 対する前記車両の予測位置情報を生成する予測位置情報生成ステップと 、 前記第 2の光学系位置情報生成ステップで生成された前記第 2の光学 系位置情報を保持する第 2の光学系位置情報保持ステップと、 前記予測 位置情報生成ステップで生成された前記予測位置情報を保持する予測位 置情報保持ステップと、 前記撮像装置によって取得された前記車両の画 像情報および前記予測位置情報保持ステップで保持された前記予測位置 情報に基づいて、 前記第 2の光学系位置情報保持ステップで保持された 前記第 2の光学系位置情報を補正する補正ステツプとをコンピュータに 実行させることを特徴とするカメラ補正プログラムを提供するものであ る。 この構成により、 本発明のカメラ補正プログラムは、 車両の一部を 利用して第 2の光学系位置情報を補正することができる。 図面の簡単な説明
本発明に係るカ .ラ補正装置の特徴および長所は、 以下の図面と共に 、 後述される記載から明らかになる。
第 1図は、 本発明の第 1の実施の形態に係るカメラ補正装置および撮 像装置としてのカメラを示すプロック図である。 第 2図は、 第 1図に示されたカメラが設置された第 1の座標系を示す 斜視図である。
第 3図は、 第 1図に示されたカメラが設置された第 2の座標系を示す 斜視図である。
第 4図は、 第 1図に示されたカメ の座標系を示す斜視図である。 第 5図は、 第 1図に示されたカメラの画像座標系を示す平面図である 第 6図は、 第 1図に示されたカメラの平行移動を示す斜視図である。 第 7図は、 第 1図に示されたカメラの回転動作を示す斜視図である。 第 8図は、 第 1図に示されたカメラの平行移動を示す側面図である。 第 9図は、 第 1図に示されたカメラの回転動作を示す側面図である。 第 1 0図は、 第 1図に示されたカメラ補正装置の結像位置情報抽出部 を示すブロック図である。
第 1 1図は、 第 1図に示されたカメラ補正装置を実現するためのコン ピュータおよび E C Uを示すブロック図である。
第 1 2図は、 第 1図に示されたカメラ補正装置のカメラュニッ トを示 すブロック図である。
第 1 3図は、 第 1図に示されたカメラ捕正装置の補正動作を示すフ口 一チヤ一トである。
第 1 4図は、 本発明の第 2の実施の形態に係るカメラ補正装置および 撮像装置としてのカメラを示すプロック図である。
第 1 5図は、 第 1 4図に示されたカメラの画像座標系を示す平面図で ある。
第 1 6図は、 第 1 4図に示されたカメラ捕正装置の補正動作を示すフ ローチャートである。
第 1 7図は、 本発明の第 3の実施の形態に係るカメラ補正装置および 撮像装置としてのカメラを示すブロック図である。
第 1 8図は、 第 1 7図に示されたカメラが設置された第 1の座標系を 示す斜視図である。
第 1 9図は、 第 1 7図に示されたカメラが設置された第 2の座標系を 示す斜視図である。
第 2 0図は、 第 1 7図に示されたカメラの座標系を示す斜視図である
第 2 1図は、 第 1 7図に示されたカメラ補正装置の仮想力メラを示す 側面図である。
第 2 2図は、 第 1 7図に示されたカメラ補正装置の補正部の動作を示 す説明図である。
第 2 3図は、 第 1 7図に示されたカメラ補正装置の補正部の動作を示 す説明図である。
第 2 4図は、 第 1 7図に示されたカメラ補正装置の補正部の動作を示 す説明図である。
第 2 5図は、 第 1 7図に示されたカメラ補正装置の補正部の動作を示 す説明図である。
第 2 6図は、 第 1 7図に示されたカメラ補正装置を実現するためのコ ンピュータおよび E C Uを示すブロック図である。
第 2 7図は、 第 1 7図に示されたカメラ補正装置のカメラュニッ トを 示すブロック図である。
第 2 8図は、 第 1 7図に示されたカメラ補正装置の補正動作を示すフ ローチャートであ 。
第 2 9図は、 本発明の第 4の実施の形態に係るカメラ捕正装置および 撮像装置としてのカメラを示すブロック図である。
第 3 0図は、 第 2 9図に示されたカメラが設置された第 1の座標系を 示す斜視図である。
第 3 1図は、 第 2 9図に示されたカメラが設置された第 2の座標系を 示す斜視図である。
第 3 2図は、 第 2 9図に示されたカメラの座標系を示す斜視図である
第 3 3図は、 第 2 9図に示されたカメラの画像座標系を示す平面図で ある。
第 3 4図は、 第 2 9図に示されたカメラ補正装置の補正部の動作を示 す説明図である。
第 3 5図は、 第 2 9図に示されたカメラ補正装置の補正部の動作を示 す説明図である。
第 3 6図は、 第 2 9図に示されたカメラ補正装置を実現するためのコ ンピュータおよび E C Uを示すブロック図である。
第 3 7図は、 第 2 9図に示されたカメラ補正装置のカメラュニッ トを 示すブロック図である。
第 3 8図は、 第 2 9図に示されたカメラ補正装置の補正動作を示すフ ローチャートである。 第 3 9図は、 従来のカメラ校正装置および撮像装置と してのカメラを 示すブロック図である。
第 4 0図は、 第 3 9図に示されたカメラが設置された第 1の座標系を 示す斜視図である。
第 4 1図は、 第 3 9図に示されたカメラが設置された第 2の座標系を 示す斜視図である。,.
発明を実施するための最良の形態
以下、 本発明の実施の形態を図面に基づいて説明する。 (第 1の実施の形態）
第 1図から第 1 3図は、 本発明に係るカメラ補正装置の第 1の実施の 形態を示す図である。
まず、 本実施の形態に係るカメラ補正装置の構成について説明する。 第 1図から第 3図において、 カメラ補正装置 1 0 0は、 撮像装置と し てのカメラ 1 1 0に接続されるようになつている。 カメラ 1 1 0は、 筐 体 1 1 1 と筐体 1 1 1に支持された光学系 1 1 2とを有しており、 光学 系 1 1 2を介して画像情報を取得するようになつている。
力メラ補正装置 1 0 0は、 第 1の座標系 1 0 1に対する筐体 1 1 1の 位置を示す第 1の筐体位置情報を保持する第 1 の筐体位置情報保持部 1 1 5 と、 第 2の座標系 1 0 2に対する筐体 1 1 1の位置を示す第 2の筐 体位置情報を保持する第 2の筐体位置情報保持部 1 1 6 と、 第 1 の座標 系 1 0 1に対する校正マーカ 1 0 5の位置を示す校正マーカ位置情報を 保持する校正マーカ位置情報保持部 1 2 5 と、 第 2の座標系 1 0 2に対 する補正マーカ 1 0 6の位置を示す補正マーカ位置情報を保持する補正 マーカ位置情報保持部 1 2 6 とを備えている。
第 1の座標系 1 0 1は、 カメラ生産工場などの第 1の作業場所に設け られている。 第 1の座標系 1 0 1には、 X！軸、 Y 軸、 Z ,軸が設けら れ、 第 1の作業場所に設置されたカメラ 1 1 0の校正を行うための校正 マーカ 1 0 5が配置されている。 校正マーカ 1 0 5は、 3次元に配列さ れた複数の点によって構成されており、 それぞれの点は、 第 1の座標系 1 0 1に対して所定の位置に配置されている。 また、 校正マーカ 1 0 5 は、 第 1の作業場所に設置されたカメラ 1 1 0の視野範囲を覆うように 配置されている。
第 2の座標系 1 0 2は、 車両生産工場などの第 2の作業場所に設けら れている。 第 2の座標系 1 0 2には、 X 2軸、 Y 2軸、 Ζ 2軸が設けられ 、 第 2の座標系 1 0 2の X 2 Y 2平面は、 車両 1 0 8が設置される路面 1 0 2 aを構成している。 路面 1 0 2 aには、 補正マーカ 1 0 6が配置 されている。 補正マーカ 1 0 6は、 2次元に配列された 2個以上の点に よって構成されており、 それぞれの点は、 第 2の座標系 1 0 2に対して 所定の位置に配置されている。
カメラ捕正装置 1 0 0は、 第 1の作業場所においてカメラ 1 1 0の校 正を行う よ うになっている。 カメラ 1 1 0は、 第 1の座標系 1 0 1に対 して所定の位置に配置されており、 このときの筐体 1 1 1の位置を示す 第 1の筐体位置情報が、 第 1の筐体位置情報保持部 1 1 5に保持される よ うになつている。 ここで、 カメラ 1 1 0の校正とは、 カメ ラ 1 1 0が 第 2の作業場所において車両 1 0 8に設置されたときの光学系 1 1 2の 位置を算出する動作である。
力メ ラ補正装置 1 0 0によって校正されたカメラ 1 1 0は、 第 2の作 業場所において車両 1 0 8に設置されるようになっている。 カメ ラ 1 1 0は、 第 2の座標系 1 0 2に対して所定の位置に配置されており、 この ときの筐体 1 1 1の位置を示す第 2の筐体位置情報が、 第 2の筐体位置 情報保持部 1 1 6に保持されるようになつている。 ここで、 第 2の筐体 位置情報は、 筐体 1 1 1が車両 1 0 8に対して正確な位置に設置された 場合の筐体 1 1 1の位置を示している。
また、 カメ ラ補正装置 1 0 0は、 第 1の座標系 1 0 1に対する光学系 1 1 2の位置を示す第 1の光学系位置情報を生成する第 1の光学系位置 情報生成部 1 1 7と、 第 1の光学系位置情報生成部 1 1 7によって生成 された第 1の光学 位置情報を保持する第 1の光学系位置情報保持部 1 1 8 とを備えている。
第 1の光学系位置情報生成部 1 1 7は、 カメラ 1 1 0によって取得さ れた校正マーカ 1 0 5の画像情報に基づいて、 校正マーカ位置情報保持 部 1 2 5に保持された校正マーカ位置情報から、 第 1の座標系 1 0 1に 対する光学系 1 1 2の位置を算出するようになつている。 ここで、 光学 系 1 1 2の位置とは、 光学系 1 1 2の光学中心および光軸の位置を含む ものである。 第 1 の座標系 1 0 1に対する光学系 1 1 2の位置を算出す る力法と しては、 文 1 ( R. Tsai, A versatile camera calibration techn ique for high-accuracy 3D machine vision metrology using off-the-shelf TV cameras and lenses, IEEE Journal of Robotics and Automation, RA- 3(4): 323-344， 1987) に記載された方法を用いることができる。
また、 カメラネ甫正装置 1 0 0は、 第 2の座標系 1 0 2に対する光学系 1 1 2の位置を示す第 2の光学系位置情報を生成する第 2の光学系位置 情報生成部 1 2 0と、 第 2の光学系位置情報生成部 1 2 0によって生成 された第 2の光学系位置情報を保持する第 2の光学系位置情報保持部 1 3 0とを備えている。
第 2の光学系位置情報生成部 1 2 0は、 第 1の筐体位置情報保持部 1 1 5に保持された第 1の筐体位置情報および第 1の光学系位置情報保持 部 1 1 8に保持された第 1の光学系位置情報に基づいて、 第 2の筐体位 置情報保持部 1 1 6に保持された第 2の筐体位置情報から、 第 2の座標 系 1 0 2に対する光学系 1 1 2の位置を算出するようになつている。 第 2の光学系位置情報生成部 1 2 0は、 次の方法によって第 2の座標 系 1 0 2に対する光学系 1 1 2の位置を算出するようになつている。 まず、 第 1の座標系 1 0 1に対する筐体 1 1 1の位置と第 1の座標系 1 0 1に対する光学系 1 1 2の位置とを比較し、 筐体 1 1 1の位置と光 学系 1 1 2の位置 ξの相対関係を求める。 そして、 筐体 1 1 1の位置と 光学系 1 1 2の位置との相対関係に基づいて、 第 2の座標系 1 0 2に対 する筐体 1 1 1の位置から、 第 2の座標系 1 0 2に対する光学系 1 1 2 の位置を算出する。 したがって、 第 2の光学系位置情報は、 筐体 1 1 1 が車両 1 0 8に対して正確な位置に設置された場合の光学系 1 1 2の位 置を示している。
第 2の作業場所において車両 1 0 8に設置されたカメラ 1 1 0には、 第 4図に示すように、 第 2の光学系位置情報を基準とするカメラ座標系 1 1 3が構成されている。 力メラ座標系 1 1 3には、 X軸、 y軸、 z軸 が設けられ、 カメラ座標系 1 1 3の原点は、 光学系 1 1 2の光学中心と 一致するよ うになっている。 カメラ座標系 1 1 3の X軸は、 カメラ 1 1 0の左右方向に設けられ、 力メラ座標系 1 1 3の y軸は、 カメラ 1 1 0 の上下方向に設けられ、 カメラ座標系 1 1 3の z軸は、 光学系 1 1 2の 光軸と一致するように設けられている。
また、 カメラ座標系 1 1 3の原点から z軸方向に焦点距離 f だけ離隔 した平面には、 画像座標系 1 1 4が構成されている。 画像座標系 1 1 4 には、 p軸、 q軸が設けられている。 カメラ 1 1 0は、 光学系 1 1 2を 介して画像座標系 1 1 4に結像した画像を画像情報として取得するよう になっている。
また、 カメラ補正装置 1 00は、 カメラ 1 1 0の画像座標系 1 1 4に 対する補正マーカ 1 06の予測位置情報を生成する予測位置情報生成部 1 40と、 予測位置情報生成部 1 4 0によって生成された予測位置情報 を保持する予測位置情報保持部 1 5 0 とを備えている。
予測位置情報生成部 1 40は、 第 2の光学系位置情報生成部 1 2 0に よって生成された第 2の光学系位置情報に基づいて、 補正マーカ位置情 報保持部 1 2 6に保持された補正マーカ位置情報から、 カメラ 1 1 0の 画像座標系 1 1 4 対する補正マーカ 1 0 6の予測位置を算出するよう になっている。 カメラ 1 1 0の画像座標系 1 1 4に対する補正マーカ 1 0 6の予測位置を算出する方法としては、 上記の文献 1に記載された方 法を用いることができる。 第 2の座標系 1 0 2に配置された補正マーカ 1 0 6は、 第 5図に.示す ように、 光学系 1 1 2を介して画像座標系 1 1 4の結像位置 P n ' ( n = 1， 2， 3， 4， 5， 6 ) に結像するようになっている。 ここで、 結 像位置 P n ' は、 筐体 1 1 1が車両 1 0 8に対して正確な位置、 即ち、 第 2の筐体位置情報に含まれる位置に設置され、 第 2の光学系位置情報 に誤差が生じていない場合、 予測位置情報生成部 1 40によって算出さ れた予測位置 P n (n = l， 2， 3， 4， 5， 6 ) と一致するようにな つている。 しかしながら、 実際には、 筐体 1 1 1が車両 1 0 8に対して 不正確な位置に設置され、 第 2の光学系位置情報に誤差が生じることに より、 画像座標系 1 1 4における結像位置 P n ' は、 予測位置 P nから 離隔している。
第 2の光学系位置情報は、 第 2の座標系 1 0 2に対するカメラ座標系 1 1 3の平行移動おょぴ回転を示す 6個のパラメータを含んでいる。 こ の 6個のパラメータは、 第 6図に示す X2軸、 Y2軸、 Ζ 2軸方向の平行 移動成分と、 第 7図に示す X軸、 y軸、 z軸まわりの回転成分とによつ て構成されている。 筐体 1 1 1が車両 1 0 8に対して不正確な位置に設 置されることによって生じる第 2の光学系位置情報の誤差は、 平行移動 成分および回転成分のそれぞれの誤差を含んでいる。 筐体 1 1 1が車両 1 0 8に取り付けられる際には、 平行移動成分にして数 c m、 回転成分 にして数度の誤差が生じている。
ここで、 カメラ 1 1 0によって取得された路面 1 0 2 aの画像情報に 対して車両 1 0 8の駐車動作を補助するための補助線を表示する場合を 考える。 なお、 筐体 1 1 1は、 車両 1 0 8に対して高さ 1 00 0 mmの 位置に設置され、 補助線は、 車両 1 0 8の後端から 3 0 0 0 mmの位置 に表示されるものとする。
まず、 第 8図に示すように、 筐体 1 1 1が車両 1 0 8に対して Y2軸 方向に 5 0 mmずれた位置に設置された場合、 即ち、 第 2の光学系位置 情報の Y 2軸方向の平行移動成分に誤差が生じた場合には、 誤差が生じ ていない場合と比較して補助線が Y 2軸方向に 5 0 mmずれた位置に表 示される。 この場合、 3 0 0 0 mm先の 5 0 mmの離隔量であるため、 第 5図に示す画像座標系 1 1 4における結像位置 P ,， ' の予測位置 Ρ π からの離隔量は小さい。 したがって、 第 2の光学系位置情報の平行移動 成分の誤差は無視することができる。
これに対して、 第 9図に示すように、 筐体 1 1 1が車両 1 0 8に対し て X軸まわりに 1 ° ずれた位置に設置された場合、 即ち、 第 2の光学系 位置情報の X軸まわりの回転成分に誤差が生じた場合には、 誤差が生じ ていない場合と比較して補助線が Υ 2軸方向に約 1 8 4 mmずれた位置 に表示される。 この場合、 第 5図に示す画像座標系 1 1 4における結像 位置 Ρ η ' の予測位置 Ρ ηからの離隔量は無視できなく なる。 したがつ て、 第 2の光学系位置情報の回転成分の誤差だけを第 2の光学系位置情 報の誤差として用いることができる。
このような第 2の光学系位置情報の誤差を補正するため、 カメラ補正 装置 1 0 0は、 第 2の光学系位置情報保持部 1 3 0に保持された第 2の 光学系位置情報を補正する補正部 1 6 0を備えている。
補正部 1 6 0は、 カメラ 1 1 0によって取得された補正マーカ 1 0 6 の画像情報および予測位置情報保持部 1 5 0に保持された予測位置情報 に基づいて、 第 2の光学系位置情報保持部 1 3 0に保持された第 2の光 学系位置情報を補正するようになっている。
捕正部 1 6 0は、 _カメラ 1 1 0によって取得された捕正マーカ 1 0 6 の画像情報から、 カメラ 1 1 0の画像座標系 1 1 4に対する補正マーカ 1 0 6の結像位置情報を抽出する結像位置情報抽出部 1 7 0と、 結像位 置情報抽出部 1 7 0によって抽出された結像位置情報および予測位置情 報保持部 1 5 0に保持された予測位置情報に基づいて、 第 2の光学系位 置情報保持部 1 3 0に保持された第 2の光学系位置情報の補正量を算出 する補正量算出部 1 8 0 と、 補正量算出部 1 8 0によって算出された補 正量に基づいて、 第 2の光学系位置情報保持部 1 3 0に保持された第 2 の光学系位置情報を補正する光学系位置情報補正部 1 9 0とを有してい る。
結像位置情報抽出部 1 7 0は、 カメラ 1 1 0によって取得された補正 マーカ 1 0 6の画像情報を表示する画像情報表示部 1 7 1 と、 画像情報 表示部 1 7 1に表示された補正マーカ 1 0 6の画像情報において補正マ 一力 1 0 6の結像位置 P η' を指定し、 画像情報から結像位置情報を抽 出する結像位置指定部 1 7 2とを有している。
第 1 0図に示すように、 画像情報表示部 1 7 1には、 カメラ 1 1 0に よって取得された補正マーカ 1 0 6の画像情報と、 補正マーカ 1 0 6の 結像位置 Ρ η' を指定するカーソル 1 7 4 とが表示されるようになって いる。
結像位置指定部 1 7 2には、 画像情報表示部 1 7 1に表示されたカー ソル 1 74の位置を移動させる上方向キー 1 7 5 a、 下方向キー 1 7 5 b、 左方向キー 1 7 5 cおよぴ右方向キー 1 7 5 d と、 カーソル 1 7 4 の位置を決定する決定キー 1 7 6 と、 補正マーカ 1 0 6の点の番号 nを 表示する番号表示部 1 7 7と、 番号表示部 1 7 7に表示された番号 nを 変更する加算キー 1 7 8 aおよび減算キー 1 7 8 b とが設けられている 補正量算出部 1 8, 0は、 次の方法によって第 2の光学系位置情報の補 正量を算出するようになっている。
まず、 第 2の光学系位置情報の回転成分の誤差だけを第 2の光学系位 置情報の誤差と して用い、 筐体 1 1 1が車両 1 0 8に対して傾いた位置 に設置されたものとする。 このときのカメラ座標系 1 1 3の X軸、 y軸 、 z軸まわりの回転角をそれぞれ 0、 φ、 、 画像座標系 1 1 4におけ る結像位置 P ,ノ の座標を （p n'， q n，）、 予測位置 P nの座標を （p„ ， q n) と表すと、 θ、 φ、 φの値は、 式 （ 1 ) において、 Jの値を最 小にする R ] 1 R 1 2 R R 2 1 R 2 2 R 2 3 R 3 1 R 3 2 R
3を求めることにより算出される
【数 1】
Iし
Wn ( sP +
Figure imgf000033_0001
なお、 式 （ 1 ) において、 （ p ) と （ ρ ， q„) との関係 は、 式 （ 2 ) のように表される。
【数 2】
—'一 fR P± 2 M_
(2)
Rl2p+R22g+Ri2f
q' = f また、 R丄 ,力、ら R 3 3と 0、 φ、 ψ との関係は、 式 （ 3 )、 式 （ 4) 式 （5 ) のように表される。
【数 3】
Figure imgf000033_0002
R = RxxRyxRz (4)
Figure imgf000034_0001
なお、 本実施の形態では、 補正マーカ 1 0 6が 6個の点によって構成 されているが、 補正マーカ 1 0 6は 2個以上の点によって構成されてい ればよく、 補正量算出部 1 8 0は、 補正マーカ 1 0 6が 2個の点によつ て構成されていれば、 0、 φ、 Φの値を算出することができ、 補正マー 力 1 0 6が 3個以上の点によって構成されていれば、 θ、 φ、 φの値を より正確に算出することができる。
このように構成されたカメラ補正装置 1 0 0は、 第 1 1図に示すよう に、 カメラ 1 1 0を調整するためのコンピュータ 1 9 1、 カメラ 1 1 0 を制御する撮像制御装置としての E CU 1 9 2などによって実現されて いる。
コンピュータ 1 9 1は、 C P U、 RAM, ROM、 入出力インターフ ュイスなどによって構成されており、 第 1 1図 （ a ) に示すように、 第 1の作業場所においてカメラ 1 1 0に接続されるようになつている。 な お、 本実施の形態において、 コンピュータ 1 9 1は、 上述した第 1の筐 体位置情報保持部 1 1 5、 第 2の筐体位置情報保持部 1 1 6、 第 1の光 学系位置情報生成部 1 1 7、 第 1の光学系位置情報保持部 1 1 8、 第 2 の光学系位置情報生成部 1 2 0、 校正マ一力位置情報保持部 1 2 5、 補 正マーカ位置情報保持部 1 2 6、 第 2の光学系位置情報保持部 1 3 0、 予測位置情報生成 1 40および予測位置情報保持部 1 5 0を構成して いる。
E CU 1 9 2は、 C P U、 RAM、 ROM, 入出力インターフェイス などによって構成されており、 第 1 1図 （ c ) に示すように、 第 2の作 業場所においてカメ ラ 1 1 0に接続され、 車両 1 0 8に搭載されるよ う になっている。 なお、 本実施の形態において、 E C U 1 9 2は、 上述し た第 2の光学系位置情報保持部 1 3 0、 予測位置情報保持部 1 5 0およ ぴ補正部 1 6 0を構成している。
第 1の作業場所から第 2の作業場所には、 第 1 1図 （b ) に示すよ う に、 CD_ROM、 磁気ディスクなどの記録媒体 1 9 3が添付された力 メラ 1 1 0が搬送されるようになつている。 記録媒体 1 9 3には、 第 2 の光学系位置情報および予測位置情報が記録されており、 第 2の光学系 位置情報および予測位置情報をコンピュータ 1 9 1から E CU 1 9 2に 移送するために用いられるよ うになつている。
なお、 本実施の形態では、 第 1の作業場所から第 2の作業場所には、 カメラ 1 1 0および記録媒体 1 9 3が搬送されるよ うになっているが、 第 1 2図に示すように、 カメ ラ 1 1 0、 第 2の光学系位置情報保持部 1 30、 予測位置情報保持部 1 5 0および補正部 1 6 0によって構成され たカメラユニッ ト 1 9 4が搬送されるように構成してもよい。
次に、 本実施の形態に係るカメラ補正装置の動作について説明す'る。 第 1 3図において、 カメラ補正装置 1 00は、 次の工程で第 2の光学 系位置情報を補正する。
まず、 カメラ 1 1 0が、 第 1の作業場所に設置され、 第 1の座標系 1 0 1に対して所定の位置に配置される （S 1 0 1 )。 そして、 第 1の筐 体位置情報、 第 2の筐体位置情報、 校正マーカ位置情報および補正マー 力位置情報が、 第 1の筐体位置情報保持部 1 1 5、 第 2の筐体位置情報 保持部 1 1 6、 校 マーカ位置情報保持部 1 2 5および補正マーカ位置 情報保持部 1 2 6にそれぞれ保持される （S 1 0 2)。 ここで、 第 1の 筐体位置情報、 第 2の筐体位置情報、 校正マーカ位置情報および補正マ 一力位置情報は、 測定器によって測定された位置、 設計において設定さ れた位置などを基にして取得される。
次に、 カメラ 1 1 0によって校正マーカ 1 0 5が撮影され （S 1 0 3 )、 第 1の光学系位置情報生成部 1 1 7が、 カメラ 1 1 0によって取得 された校正マーカ 1 0 5の画像情報に基づいて、 校正マーカ位置情報保 持部 1 2 5に保持された校正マーカ位置情報から、 第 1の光学系位置情 報を生成する （S 1 0 4 )。 そして、 第 1の光学系位置情報生成部 1 1 7によって生成された第 1の光学系位置情報が、 第 1の光学系位置情報 保持部 1 1 8に保持される （ S 1 0 5 )。
次に、 第 2の光学系位置情報生成部 1 2 0が、 第 1の筐体位置情報保 持部 1 1 5に保持された第 1の筐体位置情報および第 1の光学系位置情 報保持部 1 1 8に保持された第 1の光学系位置情報に基づいて、 第 2の 筐体位置情報保持部 1 1 6に保持された第 2の筐体位置情報から、 第 2 の光学系位置情報を生成する （S 1 0 6 )。 そして、 第 2の光学系位置 情報生成部 1 2 0によって生成された第 2の光学系位置情報が、 第 2の 光学系位置情報保持部 1 3 0に保持される （S 1 0 7 )。
次に、 予測位置情報生成部 1 4 0が、 第 2の光学系位置情報生成部 1 2 0によって生成された第 2の光学系位置情報に基づいて、 補正マーカ 位置情報保持部 1 2 6に保持された補正マーカ位置情報から、 カメラ 1 1 0の画像座標系 1 1 4に対する補正マーカ 1 0 6の予測位置情報を生 成する （ S 1 0 8 )。 そして、 予測位置情報生成部 1 4 0によって生成 された予測位置情報が、 予測位置情報保持部 1 5 0に保持される （S 1 0 9 )。
次に、 カメラ 1 0および記録媒体 1 9 3が、 第 1の作業場所から第 2の作業場所に搬送される。 そして、 カメラ 1 1 0が、 第 2の作業場所 において車両 1 0 8に設置され、 第 2の座標系 1 0 2に対して所定の位 置に配置される （ S 1 1 0 )。 次に、 カメラ 1 1 0によって補正マーカ 1 0 6が撮影され （S 1 1 1 )、 カメラ 1 1 0によって取得された補正マーカ 1 0 6の画像情報が、 第 1 0図に示すように、 画像情報表示部 1 Ί 1に表示される （S 1 1 2 )。 そして、 結像位置指定部 1 7 2によって、 補正マーカ 1 0 6の結像 位置 Ρ η ' が指定され、 結像位置情報が抽出される （ S 1 1 3 )。 この とき、 操作者は、 加算キー 1 7 8 aおよび減算キー 1 7 8 bを操作して 番号表示部 1 7 7に表示される番号 nを変更し、 上方向キー 1 7 5 a、 下方向キー 1 7 5 b、 左方向キー 1 7 5 cおよぴ右方向キー 1 7 5 dを 操作して画像情報表示部 1 7 1に表示されるカーソル 1 7 4の位置を移 動させ、 決定キー 1 7 6を操作してカーソル 1 7 4の位置を決定するこ とにより、 番号表示部 1 7 7に表示された番号 nに対応する補正マーカ 1 0 6の結像位置？„' を指定する。
次に、 補正量算出部 1 8 0が、 結像位置情報抽出部 1 7 0によって抽 出された結像位置情報および予測位置情報保持部 1 5 0に保持された予 測位置情報に基づいて、 第 2の光学系位置情報保持部 1 3 0に保持され た第 2の光学系位置情報の補正量を算出する （S 1 1 4 )。
そして、 光学系位置情報補正部 1 9 0が、 補正量算出部 1 8 0によつ て算出された補正量に基づいて、 第 2の光学系位置情報保持部 1 3 0に 保持された第 2の光学系位置情報を補正して （S 1 1 5 )、 工程を終了 する。 なお、 本実施の形態では、 上述したステップ S 1 0 1から S 1 1 5を記述したプログラムをコンピュータに実行させてもよい。
以上説明したように、 本実施の形態においては、 車両 1 0 8などに設 置されたカメラ 1 1, 0の光学系のパラメータを補正することができ、 路 面上の対象物の位置を正確に検出することができる。
また、 本実施の形態においては、 簡単な補正マーカ 1 0 6を利用して 第 2の光学系位置情報を補正することができる。 また、 本実施の形態においては、 補正マーカ 1 0 6の結像位置を指定 することができ、 補正マーカ 1 0 6の結像位置情報を確実に抽出するこ とができる。
(第 2の実施の形態）
第 1 4図から第 1 6図は、 本発明に係るカメラ補正装置の第 2の実施 の形態を示す図である。
まず、 本実施の形態に係るカメラ補正装置の構成について説明する。 なお、 第 1の実施の形態に係るカメラ補正装置の構成とほぼ同様な構成 については、 第 1の実施の形態において使用した符号と同一の符号を付 して、 詳細な説明を省略する。
第 1 4図において、 カメラ補正装置 2 0 0は、 第 2の光学系位置情報 保持部 1 3 0に保持された第 2の光学系位置情報を補正する補正部 2 6 0を備えている。
補正部 2 6 0は、 カメラ 1 1 0によって取得された補正マーカ 1 0 6 の画像情報および予測位置情報保持部 1 5 0に保持された予測位置情報 に基づいて、 第 2の光学系位置情報保持部 1 3 0に保持された第 2の光 学系位置情報を補正するようになっている。
補正部 2 6 0は、 カメラ 1 1 0によって取得された補正マーカ 1 0 6 の画像情報から、 カメラ 1 1 0の画像座標系 1 1 4に対する補正マーカ 1 0 6の結像位置情報を抽出する結像位置情報抽出部 2 7 0 と、 結像位 置情報抽出部 2 7 0によって抽出された結像位置情報および予測位置情 報保持部 1 5 0に保持された予測位置情報に基づいて、 第 2の光学系位 置情報保持部 1 3 Q..に保持された第 2の光学系位置情報の補正量を算出 する補正量算出部 2 8 0と、 補正量算出部 2 8 0によって算出された補 正量に基づいて、 第 2の光学系位置情報保持部 1 3 0に保持された第 2 の光学系位置情報を補正する光学系位置情報補正部 2 9 0とを有してい る。
結像位置情報抽出部 2 70は、 カメラ 1 1 0の画像座標系 1 1 4に対 する補正マーカ 1 0 6の予測範囲 2 74を示す予測範囲情報 （第 1 5図 参照） を保持する予測範囲情報保持部 2 7 1 と、 予測範囲情報保持部 2 7 1に保持された予測範囲情報および予測位置情報保持部 1 5 0に保持 された予測位置情報に基づいて、 カメラ 1 1 0によって取得された補正 マーカ 1 0 6の画像情報から補正マーカ 1 0 6の結像位置 P η' を検索 し、 結像位置情報を抽出する結像位置検索部 2 7.2とを有している。 補正量算出部 2 8 0は、 第 1の実施の形態における補正量算出部 1 8 0と同様の方法によって第 2の光学系位置情報の補正量を算出するよう になっている。
次に、 本実施の形態に係るカメラ補正装置の動作について説明する。 第 1 6図において、 カメラ補正装置 2 0 0は、 次の工程で第 2の光学 系位置情報を補正する。
まず、 カメラ 1 1 0が、 第 1の作業場所に設置され、 第 1の座標系 1 0 1に対して所定の位置に配置される （S 2 0 1 )。 そして、 第 1の筐 体位置情報、 第 2の筐体位置情報、 校正マーカ位置情報および補正マー 力位置情報が、 第 1の筐体位置情報保持部 1 1 5、 第 2の筐体位置情報 保持部 1 1 6、 校正マーカ位置情報保持部 1 2 5および補正マーカ位置 情報保持部 1 2 6にそれぞれ保持される （S 2 0 2)。 ここで、 第 1の 筐体位置情報、 第 2の筐体位置情報、 校正マーカ位置情報および補正マ 一力位置情報は、 測定器によって測定された位置、 設計において設定さ れた位置などを基にして取得される。
次に、 カメラ 1 1 0によって校正マーカ 1 0 5が撮影され （ S 2 0 3 )、 第 1の光学系位置情報生成部 1 1 7が、 カメラ 1 1 0によって取得 された校正マーカ 1 0 5の画像情報に基づいて、 校正マーカ位置情報保 持部 1 2 5に保持された校正マーカ位置情報から、 第 1の光学系位置情 報を生成する （S 2 0 4 )。 そして、 第 1 の光学系位置情報生成部 1 1 7によって生成された第 1の光学系位置情報が、 第 1の光学系位置情報 保持部 1 1 8に保持される （S 2 0 5 )。
次に、 第 2の光学系位置情報生成部 1 2 0が、 第 1の筐体位置情報保 持部 1 1 5に保持された第 1の筐体位置情報および第 1の光学系位置情 報保持部 1 1 8に保持された第 1の光学系位置情報に基づいて、 第 2の 筐体位置情報保持部 1 1 6に保持された第 2の筐体位置情報から、 第 2 の光学系位置情報を生成する （S 2 0 6 )。 そして、 第 2の光学系位置 情報生成部 1 2 0によって生成された第 2の光学系位置情報が、 第 2の 光学系位置情報保持部 1 3 0に保持される （S 2 0 7 )。
次に、 予測位置情報生成部 1 4 0が、 第 2の光学系位置情報生成部 1 2 0によって生成された第 2の光学系位置情報に基づいて、 捕正マーカ 位置情報保持部 1 2 6に保持された補正マーカ位置情報から、 カメラ 1 1 0の画像座標系 1 1 4に対する補正マーカ 1 0 6の予測位置情報を生 成する （ S 2 0 8 )。 そして、 予測位置情報生成部 1 4 0によって生成 された予測位置情報が、 予測位置情報保持部 1 5 0に保持される （S 2 0 9 )。
次に、 カメラ 1 1 0および記録媒体 1 9 3が、 第 1の作業場所から第 2の作業場所に搬送される。 そして、 カメラ 1 1 0が、 第 2の作業場所 において車両 1 0 8に設置され、 第 2の座標系 1 0 2に対して所定の位 置に配置される （S 2 1 0 )。
次に、 カメラ 1 0によって補正マーカ 1 0 6が撮影され （S 2 1 1 )、 結像位置検索部 2 7 2が、 第 1 5図に示すように、 補正マーカ 1 0 6の予測位置 P nを中心と して予測範囲 2 7 4の内側に存在する結像位 置 Ρ η ' を検索し、 画像情報から結像位置情報を抽出する （S 2 1 2 ) 次に、 補正量算出部 2 8 0が、 結像位置情報抽出部 2 7 0によって抽 出された結像位置情報および予測位置情報保持部 1 5 0に保持された予 測位置情報に基づいて、 第 2の光学系位置情報保持部 1 3 0に保持され た第 2の光学系位置情報の補正量を算出する （S 2 1 3)。
そして、 光学系位置情報補正部 2 9 0が、 補正量算出部 2 8 0によつ て算出された補正量に基づいて、 第 2の光学系位置情報保持部 1 3 0に 保持された第 2の光学系位置情報を補正して （S 2 1 4)、 工程を終了 する。 なお、 本実施の形態では、 上述したステップ S 20 1から S 2 1 4を記述したプログラムをコンピュータに実行させてもよい。
以上説明したように、 本実施の形態においては、 補正マーカ 1 0 6の 結像位置を検索することができ、 補正マーカ 1 0 6の結像位置情報を容 易に抽出することができる。
(第 3の実施の形態）
第 1 7図から第 2 8図は、 本発明に係るカメラ補正装置の第 3の実施 の形態を示す図である。
まず、 本実施の形態に係るカメラ補正装置の構成について説明する。 第 1 7図から第 1 9図において、 カメラ補正装置 3 00は、 撮像装置 としてのカメラ 3 1 0に接続されるようになつている。 カメラ 3 1 0は 、 筐体 3 1 1 と筐体 3 1 1に支持された光学系 3 1 2とを有しており、 光学系 3 1 2を介して画像情報を取得するようになつている。
カメラ補正装置 3 00は、 第 1の座標系 3 0 1に対する筐体 3 1 1の 位置を示す第 1の筐体位置情報を保持する第 1の筐体位置情報保持部 3 1 5 と、 第 2の座標系 3 0 2に対する筐体 3 1 1の位置を示す第 2の筐 体位置情報を保持する第 2の筐体位置情報保持部 3 1 6 と、 第 1の座標 系 3 0 1に対する校正マーカ 3 0 5の位置を示す校正マーカ位置情報を 保持する校正マーカ位置情報保持部 3 2 5 とを備えている。
第 1の座標系 3 0 1は、 カメラ生産工場などの第 1の作業場所に設け られている。 第 1の座標系 3 0 1 には、 X ,軸、 軸、 軸が設けら れ、 第 1の作業場所に設置されたカメ ラ 3 1 0の校正を行うための校正 マーカ 3 0 5が配置されている。 校正マーカ 3 0 5は、 3次元に配列さ れた複数の点によって構成されており、 それぞれの点は、 第 1の座標系 3 0 1 に対して所定の位置に配置されている。 また、 校正マーカ 3 0 5 は、 第 1の作業場所に設置されたカメ ラ 3 1 0の視野範囲を覆う よ うに 配置されている。
第 2の座標系 3 0 2は、 車両生産工場などの第 2の作業場所に設けら れている。 第 2の座標系 3 0 2には、 X 2軸、 Y 2軸、 Ζ 2軸が設けられ 、 第 2の座標系 3 0 2の X 2 Υ 2平面は、 車両 3 0 8が走行する路面 3 0 2 aを構成している。 車両 3 0 8のバンパー部 3 0 9には、 分割マー 力 3 0 7が配置されている。 分割マーカ 3 0 7は、 2個の点によって構 成されており、 それぞれの点は、 車両 3 0 8に設置されたカメ ラ 3 1 0 の視野範囲内に配置されている。 また、 分割マーカ 3 0 7は、 車両 3 0 8に設置されたカメラ 3 1 0の真下位置に設けられている。
力メラ補正装置 3 0 0は、 第 1の作業場所においてカメラ 3 1 0の校 正を行うよ うになっている。 カメラ 3 1 0は、 第 1の座標系 3 0 1 に対 して所定の位置に配置されており、 このときの筐体 3 1 1の位置を示す 第 1の筐体位置情報が、 第 1の筐体位置情報保持部 3 1 5に保持される よ うになつている。 ここで、 カメラ 3 1 0の校正とは、 カメラ 3 1 0が 第 2の作業場所に いて車両 3 0 8に設置されたときの光学系 3 1 2の 位置を算出する動作である。
カメラ補正装置 3 0 0によって校正されたカメラ 3 1 0は、 第 2の作 業場所において車両 3 0 8に設置されるよ うになつている。 カメラ 3 1 0は、 第 2の座標系 3 0 2に対して所定の位置に配置されており、 この ときの筐体 3 1 1の位置を示す第 2の筐体位置情報が、 第 2の筐体位置 情報保持部 3 1 6に保持されるようになつている。 ここで、 第 2の筐体 位置情報は、 筐体 3 1 1が車両 3 0 8に対して正確な位置に設置された 場合の筐体 3 1 1の位置を示している。
車両 3 0 8のバンパー部 3 0 9に配置された分割マーカ 3 0 7は、 第 2の筐体位置情報に含まれる筐体 3 1 1の位置に対して一定の位置関係 を保つように配置されている。 したがって、 車両 3 0 8が路面 3 0 2 a 上を走行した場合でも、 分割マーカ 3 0 7の位置と第 2の筐体位置情報 に含まれる筐体 3 1 1の位置との相対関係は一定である。
また、 カメラ補正装置 3 ◦ 0は、 第 1の座標系 3 0 1に対する光学系 3 1 2の位置を示す第 1の光学系位置情報を生成する第 1の光学系位置 情報生成部 3 1 7と、 第 1の光学系位置情報生成部 3 1 7によって生成 された第 1の光学系位置情報を保持する第 1の光学系位置情報保持部 3 1 8とを備えている。
第 1の光学系位置情報生成部 3 1 7は、 カメラ 3 1 0によって取得さ れた校正マーカ 3 0 5の画像情報に基づいて、 校正マーカ位置情報保持 部 3 2 5に保持された校正マーカ位置情報から、 第 1の座標系 3 0 1 に 対する光学系 3 1 2の位置を算出するようになつている。 ここで、 光学 系 3 1 2の位置とは、 光学系 3 1 2の光学中心および光軸の位置を含む ものである。 第 1の座標系 3 0 1に対する光学系 3 1 2の位置を算出す る方法と しては、 文献 1に記載された方法を用いることができる。
また、 カメラ補 E装置 3 0 0は、 第 2の座標系 3 0 2に対する光学系 3 1 2の位置を示す第 2の光学系位置情報を生成する第 2の光学系位置 情報生成部 3 2 0と、 第 2の光学系位置情報生成部 3 2 0によって生成 された第 2の光学系位置情報を保持する第 2の光学系位置情報保持部 3 3 0 とを備えている。
第 2の光学系位置情報生成部 3 2 0は、 第 1の筐体位置情報保持部 3 1 5に保持された第 1の筐体位置情報および第 1の光学系位置情報保持 部 3 1 8に保持された第 1の光学系位置情報に基づいて、 第 2の筐体位 置情報保持部 3 1 6に保持された第 2の筐体位置情報から、 第 2の座標 系 3 0 2に対する光学系 3 1 2の位置を算出するよ うになつている。 第 2の光学系位置情報生成部 3 2 0は、 第 1の実施の形態における第 2の光学系位置情報生成部 1 2 0 と同様の方法によって第 2の座標系 3 0 2に対する光学系 3 1 2の位置を算出するよ うになつている。
第 2の作業場所において車両 3 0 8に設置されたカメラ 3 1 0には、 第 2 0図に示すように、 第 2の光学系位置情報を基準とするカメラ座標 系 3 1 3が構成されている。 カメラ座標系 3 1 3には、 X軸、 y軸、 z 軸が設けられ、 カメ ラ座標系 3 1 3の原点は、 光学系 3 1 2の光学中心 と一致するようになつている。 カメ ラ座標系 3 1 3の X軸は、 カメラ 3 1 0の左右方向に設けられ、 力メ ラ座標系 3 1 3の y軸は、 カメラ 3 1 0の上下方向に設けられ、 カメラ座標系 3 1 3の z軸は、 光学系 3 1 2 の光軸と一致するよ うに設けられている。
また、 カメラ座標系 3 1 3の原点から z軸方向に焦点距離 f だけ離隔 した平面には、 画像座標系 3 1 4が構成されている。 画像座標系 3 1 4 には、 p軸、 q軸が設けられている。 路面 3 0 2 a上の点 Pは、 光学系 3 1 2を介して画像座標系 3 1 4の結像位置 P ' に結像するよ うになつ ている。 カメラ 3 1 0は、 光学系 3 1 2を介して画像座標系 3 1 4に結 像した画像を画像情報と して取得するよ うになつている。
また、 カメラ補正装置 3 0 0は、 カメ ラ 3 1 0によって取得された第 2の座標系 3 0 2における画像情報に含まれる動きべク トルに基づいて 、 第 2の光学系位置情報保持部 3 3 0に保持された第 2の光学系位置情 報を補正する補正部 3 6 0を備えている。
捕正部 3 6 0は、 カメラ 3 1 0によつて取得された第 2の座標系 3 0 2における画像情報から平面投影画像を生成する平面投影画像生成部 3 6 1 と、 平面投影画像生成部 3 6 1 によって生成された平面投影画像を 複数の画像領域に分割する平面投影 像分割部 3 6 2 と、 平面投影画像 分割部 3 6 2によって分割された複数の画像領域から動きべク トルを抽 出する動きべク トル抽出部 3 6 3 と、 動きべク トル抽出部 3 6 3によつ て抽出された動きべク トルに基づいて、 第 2の光学系位置情報保持部 3 3 0に保持された第 2の光学系位置情報の補正量を算出する補正量算出 部 3 6 4 と、 補正量算出部 3 6 4によって算出された補正量に基づいて 、 第 2の光学系位置情報保持部 3 3 0に保持された第 2の光学系位置情 報を補正する光学系位置情報補正部 3 6 5 とを有している。
平面投影画像生成部 3 6 1によって生成される平面投影画像は、 第 2 1図に示すよ うに、 カメラ 3 1 0によって取得された画像情報を路面 3 0 2 a に仮想的に投影し、 この画像を仮想カメラ 3 7 0から見ることに よって取得される画像である。 この仮想カメ ラ 3 7 0には、 路面 3 0 2 aに対して平行な画像座標系 3 7 1が構成されており、 この画像座標系 3 7 1 には、 路面 3 0 2 a を単に縮小した画像と しての平面投影画像が 結像するようになつている。
平面投影画像生成部 3 6 1は、 次の方法によって平面投影画像を生成 するよ うになつている。
第 2 0図において、 カメラ座標系 3 1 3の X軸と路面 3 0 2 aのなす 角を a、 y軸と路面 3 0 2 aのなす角を ]3 と表し、 カメ ラ座標系 3 1 3 の原点から z軸の延長線と路面 3 0 2 a との交点までの距離を c と表す 。 そして、 式 （ 6 ) のように a、 bを定義すると、 第 2の座標系 3 0 2 の X Q Y 2平面と しての路面 3 0 2 aは、 式 （ 7 ) のよ うに表される。 【数 4】
Figure imgf000046_0001
b = smfi z = ax+by+c ( 7 ) ここで、 画像座標系 3 1 4の結像位置 P ' の座標を （ p， q ) と表す と、 画像座標系 3 1 4からカメラ座標系 3 1 3への変換は、 式 （ 8 ) の ように表される。
【数 5】
二
f- ap一 bq
cq
y- (8)
f- -ap一 bq
Figure imgf000046_0002
また、 カメラ座標系 3 1 3力 ら第 2の座標系 3 0 2への変換は、 式 （ 9 ) のように表される。
【数 6】
Figure imgf000046_0004
Figure imgf000046_0003
Figure imgf000046_0005
なお、 式 （ 9 ) において、 平行移動ベク トル Τは、 カメラ座標系 3 1
3の原点から第 2の座標系 3 0 2の原点までの方向および距離を表し、 回転行列 Rは、 カメラ座標系 3 1 3 と第 2の座標系 3 0 2との回転方向 のずれを表している。 本実施の形態においても第 1の実施の形態と同様 に、 第 2の光学系位置情報の回転成分の誤差だけを第 2の光学系位置情 報の誤差と して用い、 筐体 3 1 1が車両 3 0 8に対して傾いた位置に設 置されたものとする。 このときのカメラ座標系 3 1 3の X軸、 y軸、 z 軸まわりの回転角をそれぞれ 0 、 φ、 ψ と表すと、 式 （ 9 ) にお.ける回 転行列 Rは、 式 （ 3 ) から式 （ 5 ) によって表される。 筐体 3 1 1が車両 3 0 8に対して正確な位置に設置された場合、 平面 投影画像生成部 3 6 1は、 第 2 2図 （ a ) に示す画像情報から、 第 2 2 図 （ b ) に示す平面投影画像を生成するようになっている。 この平面投 影画像は、 路面 3 0 2 aに対して平行に設けられた仮想カメラ 3 7 0か ら見ることによって取得される画像に相当しているので、 路面 3 0 2 a に設けられた平行線 3 7 3、 3 7 4が、 平面投影画像において平行にな つている。
また、 筐体 3 1 1が車両 3 0 8に対して下向きに傾いた位置に設置さ れ、 カメラ座標系 3 1 3が X軸まわりに回転した場合、 平面投影画像生 成部 3 6 1は、 第 2 3図 （ a ) に示す画像情報から、 第 2 3図 （b ) に 示す平面投影画像を生成するようになつている。
また、 筐体 3 1 1が車両 3 0 8に対して左向きに傾いた位置に設置さ れ、 カメラ座標系 3 1 3が y軸まわりに回転した場合、 平面投影画像生 成部 3 6 1は、 第 2 4図 （ a ) に示す画像情報から、 第 2 4図 （ b ) に 示す平面投影画像を生成するようになつている。
また、 筐体 3 1 1が車両 3 0 8に対して傾いた位置に設置され、 カメ ラ座標系 3 1 3が Z軸まわりに回転した場合、 平面投影画像生成部 3 6 1は、 第 2 5図 （ a ) に示す画像情報から、 第 2 5図 （ b ) に示す平面 投影画像を生成するようになつている。
平面投影画像分割部 3 6 2は、 第 2 2図 （b )、 第 2 3図 （b )、 第 2 4図 （ b ) および第 2 5図 （ b ) に示すように、 カメラ 3 1 0によって 取得された分割マーカ 3 0 7の画像情報に基づいて、 平面投影画像を複 数の画像領域に分割するようになっている。
平面投影画像分割部 3 6 2は、 分割マーカ 3 0 7を通る基準線 3 8 0 および分割マーカ 3 0 7の中点 3 8 1を基準にして、 平面投影画像に分 割線 3 8 3、 3 8 4を設けるようになつている。 分割線 3 8 3は、 基準 線 3 8 0に直行し、 中点 3 8 1 を通る位置に設けられている。 また、 分 割線 3 8 4は、 基準線 3 8 0に平行で、 基準線 3 8 0から一定の距離だ け離隔する位置に設けられている。
筐体 3 1 1が車両 3 0 8に対して傾いた位置に設置され、 力メラ座標 系 3 1 3が z軸まわりに回転した場令、 第 2 5図 （ b ) に示すよ うに、 基準線 3 8 0は、 平面投影画像に対して傾いている。
動きべク トル抽出部 3 6 3は、 第 2 2図 （ b )、 第 2 3図 （b )、 第 2 4図 （ b ) および第 2 5図 （ b ) に示すよ うに、 平面投影画像分割部 3 6 2によって分割された 4つの画像領域 3 8 6 a、 3 8 6 b、 3 8 6 c 、 3 8 6 d力 >ら動きべク トノレ 3 8 8 a、 3 8 8 b、 3 8 8 c , 3 8 8 d を抽出するようになっている。
動きべク トル 3 8 8 a力、ら 3 8 8 dは、 車両 3 0 8の走行、 即ち、 力 メラ 3 1 0の移動によって生じる画像領域 3 8 6 aから 3 8 6 dの部分 的な画像の流れに基づいて算出されるもので、 車両 3 0 8が直進してい る場合に方向が等しくなる。 以下、 動きベク トル 3 8 8 aから 3 8 8 d は、 車両 3 0 8が直進しているときに取得される画像情報から抽出され るものとする。
筐体 3 1 1が車両 3 0 8に対して正確な位置に設置された場合、 第 2 2図 （ b ) に示すよ うに、 動きベク トル 3 8 8 aから 3 8 8 dは、 大き さが等しく なる。
また、 筐体 3 1 1が車両 3 0 8に対して下向きに傾いた位置に設置さ れ、 カメラ座標系 3 1 3が X軸まわりに回転した場合、 第 2 3図 （ b ) に示すよ うに、 画像上側の動きべク トノレ 3 8 8 a、 3 8 8 bが、 画像下 側の動きべク トノレ 3 8 8 c、 3 8 8 dより も大きくなる。
また、 筐体 3 1 1 が車両 3 0 8に対して左向きに傾いた位置に設置さ れ、 カメラ座標系 3 1 3が y軸まわり に回転した場合、 第 2 4図 （ b ) に示すよ うに、 画像右側の動きべク トル 3 8 8 b、 3 8 8 d力 s、 画像左 側の動きべク トノレ 3 8 8 a、 3 8 8 c より も大きくなる。
補正量算出部 3 6 4は、 次の方法によって第 2の光学系位置情報の補 正量を算出するようになつている。
第 2 2図 （ c )、 第 2 3図 （ c ) および第 2 4図 （ c ) において、 ま ず、 動きベク トル 3 8 8 aに大きさが等しいベタ トル 3 9 0 a と、 動き ベタ トノレ 3 8 8 bに大きさが等しいべク トノレ 3 9 0 b と、 動きべク トル 3 8 8 c に大きさが等しいべク トノレ 3 9 0 c と、 動きべク トノレ 3 8 8 d に大きさが等しいべク トル 3 9 0 d とを、 合計べク トル算出座標系 3 9 1にそれぞれ配置する。
ここで、 ベク トル 3 9 0 a は、 合計べク トル算出座標系 3 9 1の原点 から左上 4 5度方向に配置されている。 また、 ベク トル 3 9 0 bは、 合 計べク トル算出座標系 3 9 1 の原点から右上 4 5度方向に配置されてい る。 また、 ベク トル 3 9 0 c は、 合計べク トル算出座標系 3 9 1の原点 から左下 4 5度方向に配置されている。 また、 ベク トル 3 9 0 dは、 合 計べク トル算出座標系 3 9 1 の原点から右下 4 5度方向に配置されてい る。
次に、 合計べク トル算出座標系 3 9 1 において、 ベク トル 3 9 0 aか ら 3 9 0 dの合計べク トル 3 9 2を算出する。
筐体 3 1 1が車両 3 0 8に対して正確な位置に設置された場合、 第 2 2図 （ c ) に示すよ うに、 ベク トル 3 9 0 aから 3 9 0 dの大きさが等 しいので、 合計べク トル 3 9 2は 0になる。 このとき、 カメラ座標系 3 1 3の 軸、 y軸、.. z軸まわりの回転角 0、 φ、 ψの値は 0である。 また、 筐体 3 1 1が車両 3 0 8に対して下向きに傾いた位置に設置さ れ、 カメ ラ座標系 3 1 3が X軸まわりに回転した場合、 第 2 3図 （ c ) に示すよ うに、 ベク トノレ 3 9 0 a、 3 9 0 b力、 べク トノレ 3 9 0 c、 3 9 0 dより も大きいので、 合計べク トノレ 3 9 2は上向きのべク トノレにな る。 このとき、 式 （ 9 ) において、 合計べク トノレ 3 9 2を 0にする回転 行列 Rを求めることによ り、 カメラ座標系 3 1 3の X軸まわりの回転角 0の値を算出する。 ' また、 筐体 3 1 1が車両 3 0 8に対して左向きに傾いた位置に設置さ れ、 カメラ座標系 3 1 3が y軸まわりに回転した場合、 第 24図 （ c ) に示すよ う に、 ベク トノレ 3 9 0 b、 3 9 0 dが、 ベク トノレ 3 9 0 a、 3 9 0 cより も大きレヽので、 合計べク トノレ 3 9 2は右向きのべク トノレにな る。 このとき、 式 （ 9 ) において、 合計べク トノレ 3 9 2を 0にする回転 行列 Rを求めることによ り、 カメラ座標系 3 1 3の y軸まわりの回転角 φの値を算出する。
一方、 筐体 3 1 1が車両 3 0 8に対して傾いた位置に設置され、 力メ ラ座標系 3 1 3が z軸まわりに回転した場合、 第 2 5図 （b) に示す平 面投影画像の画像座標系 3 7 1に対する基準線 3 8 0の傾きに基づいて 、 カメラ座標系 3 1 3の z軸まわりの回転角 の値を算出する。
このよ うに構成されたカメ ラ補正装置 1 0 0は、 第 2 6図に示すよ う に、 カメラ 3 1 0を調整するためのコンピュータ 3 9 1、 カメ ラ 3 1 0 を制御する撮像制御装置と しての E CU 3 9 2などによって実現されて いる。
コンピュータ 3 9 1は、 C PU、 RAM、 ROM, 入出力イ ンターフ ェイスなどによって構成されており、 第 2 6図 （ a ) に示すよ うに、 第 1の作業場所においてカメラ 3 1 0に接続されるようになっている.。 な お、 本実施の形態 おいて、 コンピュータ 3 9 1は、 上述した第 1の筐 体位置情報保持部 3 1 5、 第 2の筐体位置情報保持部 3 1 6、 第 1の光 学系位置情報生成部 3 1 7、 第 1の光学系位置情報保持部 3 1 8 ; 第 2 の光学系位置情報生成部 3 2 0、 校正マーカ位置情報保持部 3 2 5およ ぴ第 2の光学系位置情報保持部 3 3 0を構成している。
E CU 3 9 2は、 C PU、 RAM, ROM, 入出力インターフェイス などによって構成されており、 第 2 6図 （ c ) に示すよ うに、 第 2の作 業場所においてカメ ラ 3 1 0に接続され、 車両 3 0 8に搭載されるよ う になっている。 なお、 本実施の形態において、 E CU 3 9 2は、 上述し た第 2の光学系位置情報保持部 3 3 0および補正部 3 6 0を構成してい る。
第 1の作業場所から第 2の作業場所には、 第 2 6図 （b ) に示すよ う に、 CD— ROM、 磁気ディスクなどの記録媒体 3 9 3が添付された力 メラ 3 1 0が搬送されるよ うになつている。 記録媒体 3 9 3には、 第 2 の光学系位置情報が記録されており、 第 2の光学系位置情報をコンピュ ータ 3 9 1から E CU 3 9 2に移送するために用いられるよ うになって いる。
なお、 本実施の形態では、 第 1の作業場所から第 2の作業場所には、 カメラ 3 1 0および記録媒体 3 9 3が搬送されるよ うになっているが、 第 2 7図に示すように、 カメ ラ 3 1 0、 第 2の光学系位置情報保持部 3 3 0およぴ捕正部 3 6 0によって構成されたカメラユニッ ト 3 9 4が搬 送されるように構成してもよい。
次に、 本実施の形態に係るカメ ラ補正装置の動作について説明する。 第 2 8図において、 カメラ補正装置 3 0 0は、 次の工程で第 2の光学 系位置情報を補正する。
まず、 カメ ラ 3 1 0が、 第 1の作業場所に設置され、 第 1の座標系 3 0 1 に対して所定 ©位置に配置される （ S 3 0 1 )。 そして、 第 1の筐 体位置情報、 第 2の筐体位置情報および校正マーカ位置情報が、 第 1の 筐体位置情報保持部 3 1 5、 第 2の筐体位置情報保持部 3 1 6および校 正マーカ位置情報保持部 3 2 5にそれぞれ保持される （ S 3 0 2 )。 こ こで、 第 1の筐体位置情報、 第 2の筐体位置情報おょぴ校正マーカ位置 情報は、 測定器によって測定された位置、 設計において設定された位置 などを基にして取得される。
次に、 カメラ 3 1 0によって校正マーカ 3 0 5が撮影され （ S 3 0 3 )、 第 1の光学系位置情報生成部 3 1 7が、 カメラ 3 1 0によって取得 された校正マーカ 3 0 5の画像情報に基づいて、 校正マーカ位置情報保 持部 3 2 5に保持された校正マーカ位置情報から、 第 1の光学系位置情 報を生成する （S 3 0 4)。 そして、 第 1の光学系位置情報生成部 3 1 7によって生成された第 1の光学系位置情報が、 第 1の光学系位置情報 保持部 3 1 8に保持される （S 3 0 5 )。
次に、 第 2の光学系位置情報生成部 3 20が、 第 1の筐体位置情報保 持部 3 1 5に保持された第 1の筐体位置情報および第 1の光学系位置情 報保持部 3 1 8に保持された第 1の光学系位置情報に基づいて、 第 2の 筐体位置情報保持部 3 1 6に保持された第 2の筐体位置情報から、 第 2 の光学系位置情報を生成する （S 3 0 6 )。 そして、 第 2の光学系位置 情報生成部 3 2 0によって生成された第 2の光学系位置情報が、 第 2の 光学系位置情報保持部 3 3 0に保持される （S 3 0 7 )。
次に、 カメラ 3 1 0および記録媒体 3 9 3が、 第 1の作業場所から第 2の作業場所に搬送される。 そして、 カメラ 3 1 0が、 第 2の作業場所 において車両 3 0 8に設置され、 第 2の座標系 3 0 2に対して所定の位 置に配置される （ S 3 0 8 )。
次に、 カメラ 3 1 0によって路面 3 0 2 aが撮影され （S 3 0 9 )、 平面投影画像生成部 3 6 1が、 第 2 2図 （b)、 第 2 3図 （b )、 第 2 4 図 （ b ) および第 2 5図 （ b ) に示すように、 カメラ 3 1 0によって取 得された第 2の座標系 3 0 2における画像情報から平面投影画像を生成 する （ S 3 1 0 )。 次に、 平面投影画像分割部 3 6 2が、 第 2 2図 （b )、 第 2 3図 （ b ) 、 第 2 4図 （b ) および第 2 5図 （ b) に示すように、 平面投影画像生 成部 3 6 1によって生成された平面投影画像を画像領域 3 8 6 aから 3 8 6 dに分割する （ S 3 1 1 )。
次に、 動きべク トル抽出部 3 6 3カ 、 第 2 2図 （b )、 第 2 3図 （ b ) 、 第 2 4図 （b ) および第 2 5図 （ b ) に示すよ うに、 平面投影画像分 割部 3 6 2によって分割された各画像領域から各動きべク トルを抽出す る （ S 3 1 2 )。
次に、 補正量算出部 3 6 4が、 第 2 5図 （b ) に示すように、 平面投 影画像の画像座標系 3 7 1に対する基準線 3 8 0の傾きに基づいて、 第 2の光学系位置情報保持部 3 3 0に保持された第 2の光学系位置情報の Z軸まわりの補正量を算出する （S 3 1 3 )。 そして、 補正量算出部 3 6 4が、 第 2 2図 （ c )、 第 2 3図 （ c ) および第 24図 （ c ) に示す ように、 動きべク トル抽出部 3 6 3によって抽出された各動きべク トル に基づいて、 第 2の光学系位置情報保持部 3 3 0に保持された第 2の光 学系位置情報の X軸、 y軸まわりの補正量を算出する （S 3 1 4)。
そして、 光学系位置情報補正部 3 6 5が、 補正量算出部 3 6 4によつ て算出された補正量に基づいて、 第 2の光学系位置情報保持部 3 3 0に 保持された第 2の光学系位置情報を補正して （S 3 1 5)、 工程を終了 する。 なお、 本実施の形態では、 上述したステップ S 3 0 1から S 3 1 5を記述したプログラムをコンピュータに実行させてもよい。
以上説明したように、 本実施の.形態においては、 動きベク トル 3 8 8 aから 3 8 8 dを禾リ用して第 2の光学系位置情報を補正することができ る。
また、 本実施の形態においては、 画像領域 3 8 6 aから 3 8 6 dにお ける動きベク トル 3 8 8 aから 3 8 8 dを容易に抽出することができる また、 本実施の形態においては、 分割マーカ 3 0 7を利用して平面投 影画像を正確に分割することができる。
(第 4の実施の形態）
第 2 9図から第 3 8図は、 本発明 ίこ係るカメラ補正装置の第 4の実施 の形態を示す図である。
まず、 本実施の形態に係るカメラ補正装置の構成について説明する。 第 2 9図から第 3 1図において、 カメラ補正装置 4 0 0は、 撮像装置 としてのカメラ 4 1 0に接続されるようになつている。 カメラ 4 1 0は 、 筐体 4 1 1 と筐体 4 1 1に支持された光学系 4 1 2とを有しており、 光学系 4 1 2を介して画像情報を取得するようになつている。
力メラ補正装置 4 0 0は、 第 1の座標系 4 0 1に対する筐体 4 1 1の 位置を示す第 1の筐体位置情報を保持する第 1の筐体位置情報保持部 4 1 5 と、 第 2の座標系 4 0 2に対する筐体 4 1 1の位置を示す第 2の筐 体位置情報を保持する第 2の筐体位置情報保持部 4 1 6 と、 第 1の座標 系 4 0 1に対する校正マーカ 4 0 5の位置を示す校正マーカ位置情報を 保持する校正マーカ位置情報保持部 4 2 5と、 第 2の座標系 4 0 2に対 する車両 4 0 8の一部、 例えば、 車体の後部に設けられたバンパー部 4 0 9の位置を示す車体位置情報を保持する車体位置情報保持部 4 2 6 と を備えている。
第 1の座標系 4 0 1は、 カメラ生産工場などの第 1の作業場所に設け られている。 第 1の座標系 4 0 1には、 X ,軸、 軸、 軸が設けら れ、 第 1の作業場所に設置されたカメラ 4 1 0の校正を行うための校正 マーカ 4 0 5が配置されている。 校正マーカ 4 0 5は、 3次元に配列さ れた複数の点によって構成されており、 それぞれの点は、 第 1の座標系 4 0 1に対して所定の位置に配置されている。 また、 校正マーカ 4 0 5 は、 第 iの作業場所に設置されたカメラ 4 1 0の視野範囲を覆う よ うに 配置されている。
第 2の座標系 4 0 2は、 車両生産工場などの第 2の作業場所に設けら れている。 第 2の座標系 4 0 2には、 X 2軸、 Y 2軸、 Ζ 2軸が設けられ 、 第 2の座標系 4 0 2の X 2 Υ 2平面は、 車両 4 0 8が設置される路面 4 0 2 a を構成している。 路面 4 0 2 a には、 補正板 4 0 6が配置され ている。 補正板 4 0 6は、 単一色であって、 明度、 色度、 彩度が車両 4 0 8の色と異なる色に塗装されており、 車両 4 0 8の下に敷設されてい る。
カメラ補正装置 4 0 0は、 第 1の作業場所においてカメ ラ 4 1 0の校 正を行う よ うになっている。 カメラ 4 1 0は、 第 1の座標系 4 0 1 に対 して所定の位置に配置されており、 このときの筐体 4 1 1の位置を示す 第 1の筐体位置情報が、 第 1の筐体位置情報保持部 4 1 5に保持される よ うになつている。 ここで、 カメラ 4 1 0の校正とは、 カメ ラ 4 1 0が 第 2の作業場所において車両 4 0 8に設置されたときの光学系 4 1 2の 位置を算出する動作である。
カメラ補正装置 4 0 0によって校正されたカメラ 4 1 0は、 第 2の作 業場所において車両 4 0 8に設置されるよ うになっている。 カメラ 4 1 0は、 第 2の座標系 4 0 2に対して所定の位置に配置されており、 この ときの筐体 4 1 1 の位置を示す第 2の筐体位置情報が、 第 2の筐体位置 情報保持部 4 1 6に保持されるようになつている。 ここで、 第 2の筐体 位置情報は、 筐体 4 1 1が車両 4 0 8に対して正確な位置に設置された 場合の筐体 4 1 1 位置を示している。
また、 カメ ラ補正装置 4 0 0は、 第 1の座標系 4 0 1に対する光学系 4 1 2の位置を示す第 1の光学系位置情報を生成する第 1の光学系位置 情報生成部 4 1 7 と、 第 1の光学系位置情報生成部 4 1 7によって生成 された第 1 の光学系位置情報を保持する第 1の光学系位置情報保持部 4 1 8 とを備えている。
第 1の光学系位置情報生成部 4 1 7は、 カメラ 4 1 0によつて取得さ れた校正マーカ 4 0 5の画像情報に基づいて、 校正マーカ位置情報保持 部 4 2 5に保持された校正マーカ位置情報から、 第 1の座標系 4 ◦ 1に 対する光学系 4 1 2の位置を算出するようになつている。 ここで、 光学 系 4 1 2の位置とは、 光学系 4 1 2の光学中心および光軸の位置を含む ものである。 第 1の座標系 4 0 1に対する光学系 4 1 2の位置を算出す る方法と しては、 文献 1に記載された方法を用いることができる。
また、 カメラ補正装置 4 0 0は、 第 2の座標系 4 0 2に対する光学系 4 1 2の位置を示す第 2の光学系位置情報を生成する第 2の光学系位置 情報生成部 4 2 0と、 第 2の光学系位置情報生成部 4 2 0によって生成 された第 2の光学系位置情報を保持する第 2の光学系位置情報保持部 4 3 0 とを備えている。
第 2の光学系位置情報生成部 4 2 0は、 第 1 の筐体位置情報保持部 4 1 5に保持された第 1の筐体位置情報および第 1の光学系位置情報保持 部 4 1 8に保持された第 1の光学系位置情報に基づいて、 第 2の筐体位 置情報保持部 4 1 6に保持された第 2の筐体位置情報から、 第 2の座標 系 4 0 2に対する光学系 4 1 2の位置を算出するようになつている。 第 2の光学系位置情報生成部 4 2 0は、 第 1の実施の形態における第 2の光学系位置情報生成部 1 2 0と同様の方法によって第 2の座標系 4 0 2に対する光学系 4 1 2の位置を算出するようになつている。
第 2の作業場所において車両 4 0 8に設置されたカメラ 4 1 0には、 第 3 2図に示すように、 第 2の光学系位置情報を基準とするカメラ座標 系 4 1 3が構成されている。 カメラ座標系 4 1 3には、 x軸、 y軸、 z 軸が設けられ、 力メラ座標系 4 1 3の原点は、 光学系 4 1 2の光学中心 と一致するようになっている。 カメラ座標系 4 1 3の X軸は、 カメラ 4 1 0の左右方向に設けられ、 力メラ座標系 4 1 3の y軸は、 カメ ラ 4 1 0の上下方向に設けられ、 カメラ座標系 4 1 3の z軸は、 光学系 4 1 2 の光軸と一致するよ うに設けられている。
また、 カメラ座標系 4 1 3の原点から Z軸方向に焦点距離 f だけ離隔 した平面には、 画像座標系 4 1 4が構成されている。 画像座標系 4 1 には、 p軸、 q軸が設けられている。 路面 4 0 2 a上の点 Pは、 光学系 4 1 2を介して画像座標系 4 1 4の結像位置 P ' に結像するよ うになつ ている。 カメラ 4 1 0は、 光学系 4 1 2を介して画像座標系 4 1 4に結 像した画像を画像情報と して取得するよ うになつている。
また、 カメラ補正装置 4 0 0は、 カメ ラ 4 1 0の画像座標系 4 1 4に 対するバンパー部 4 0 9の予測位置情報を生成する予測位置情報生成部 4 4 0 と、 予測位置情報生成部 4 4 0によって生成された予測位置情報 を保持する予測位置情報保持部 4 5 0 とを備えている。
予測位置情報生成部 4 4 0は、 第 2の光学系位置情報生成部 4 2 0に よって生成された第 2の光学系位置情報に基づいて、 車体位置情報保持 部 4 2 6に保持された車体位置情報から、 カメラ 4 1 0の画像座標系 4 1 4に対するパンパ一部 4 0 9の予測位置を算出するよ うになっている 。 カメラ 4 1 0の画像座標系 4 1 4に対するパンパ一部 4 0 9の予測位 置を算出する方法と しては、 上記の文献 1に記載された方法を用いるこ とができる。
第 2の座標系 1 0 2に設置された車両 4 0 8のバンパー部 4 0 9は、 第 3 3図に示すよ うに、 光学系 4 1 2を介して画像座標系 4 1 4の結像 位置 P ' に結像するよ うになっている。 ここで、 結像位置 P ' は、 筐体 4 1 1が車両 4 0 8に対して正確な位置、 即ち、 第 2の筐体位置情報に 含まれる位置に設置され、 第 2の光学系位置情報に誤差が生じていない 場合、 予測位置情報生成部 4 4 0によって算出された予測位置 Pと一致 するようになつている。 しかしながら、 実際には、 筐体 4 1 1が車両 4 0 8に対して不正確な位置に設置され、 第 2の光学系位置情報に誤差が 生じることにより、 画像座標系 4 1 4における結像位置 P ' は、 予測位 置 Pから離隔している。
このよ うな第 2の光学系位置情報の誤差を補正するため、 力メラ補正 装置 4 0 0は、 第 2 の光学系位置情報保持部 4 3 0に保持された第 2 の 光学系位置情報を補正する補正部 4 6 0を備えている。
補正部 4 6 0は、 カメラ 4 1 0によって取得されたバンパー部 4 0 9 の画像情報および予測位置情報保持部 4 5 0に保持された予測位置情報 に基づいて、 第 2の光学系位置情報保持部 4 3 0に保持された第 2.の光 学系位置情報を補正するようになつている。
補正部 4 6 0は、 カメラ 4 1 0によつて取得されたバンパー部 4 0 9 の画像情報から、 カメラ 4 1 0の画像座標系 4 1 に対するバンパー部 4 0 9の結像位置情報を抽出する結像位置情報抽出部 4 7 0 と、 結像位 置情報抽出部 4 7 0によって抽出された結像位置情報および予測位置情 報保持部 4 5 0に保持された予測位置情報に基づいて、 第 2の光学系位 置情報保持部 4 3 0に保持された第 2の光学系位置情報の補正量を算出 する補正量算出部 4 8 0と、 補正量算出部 4 8 0によって算出された補 正量に基づいて、 第 2の光学系位置情報保持部 4 3 0に保持された第 2 の光学系位置情報を補正する光学系位置情報補正部 4 9 0とを有してい る。
補正量算出部 4 3 0は、 結像位置情報に含まれるパンパ一部 4 0 9 の 輪郭線と予測位置情報に含まれるバンパー部 4 0 9の輪郭線とを重ね合 わせるマツチング部 4 8 1 と、 マツチング部 4 8 1によつて重ね合わさ れたバンパー部 4 0 9の輪郭線から複数の点、 例えば、 両端の点を抽出 する抽出部 4 8 2と、 結像位置情報に含まれる点と予測位置情報に含ま れる点とを比較することによ り第 2の光学系位置情報の補正量を算出す る演算部 4 8 3 とを有している。
マッチング部 4 8 1は、 予測位置情報に含まれるバンパー部 4 0 9の 輪郭線？ （第 3 4図 （ a ) 参照） に対して、 結像位置情報に含まれるバ ンパ一部 4 0 9の輪郭線 P ' (第 3 4図 （b ) 参照） を、 移動させたり 回転させたりすることによ り、 重ね合わせるよ うになつている （第 3 4 図 （ c ) 参照）。
抽出部 4 8 2は、 第 3 5図 （ a ) に示すように、 マツチング部 4 8 1 によって重ね合わされたパンパ一部 4 0 9の輪郭線 P、 P ' から、 輪郭 線 P、 P ' が重なった部分の両端の点 （P i， P 2)、 （P ， P 2 ') を 抽出するようになっている。
演算部 4 8 3は、 予測位置情報に含まれる点 （Ρ ,, Ρ 2) (第 3 5図 (b ) 参照） と、 結像位置情報に含まれる点 （P ， Ρ 2') (第 3 5図 ( c ) 参照）. とを比較することにより、 第 1の実施の形態における補正 量算出部 1 8 0と同様の方法によって第 2の光学系位置情報の補正量を 算出するようになっている。
このよ うに構成されたカメ ラ補正装置 4 00は、 第 3 6図に示すよ う. に、 カメラ 4 1 0を調整するためのコンピュータ 4 9 1、 カメラ 4 1 0 を制御する撮像制御装置と しての E CU 4 9 2などによって実現されて いる。
コンピュータ 49 1は、 C PU、 RAM, ROM, 入出力インターフ ェイスなどによって構成されており、 第 3 6図 （ a ) に示すよ うに、 第 1の作業場所においてカメラ 4 1 0に接続されるよ うになつている。 な お、 本実施の形態において、 コンピュータ 4 9 1は、 上述した第 1の筐 体位置情報保持部 4 1 5、 第 2の筐体位置情報保持部 4 1 6、 第 1の光 学系位置情報生成部 4 1 7、 第 1の光学系位置情報保持部 4 1 8、 第 2 の光学系位置情報生成部 4 2 0、 校正マーカ位置情報保持部 4 2 5、 車 体位置情報保持部 4 2 6、 第 2の光学系位置情報保持部 4 3 0、 予測位 置情報生成部 44 0および予測位置情報保持部 4 5 0を構成している。
E CU 4 9 2は、 C PU、 RAM, ROM, 入出力インターフェイス などによって構成されており、 第 3 6図 （ c ) に示すよ うに、 第 2の作 業場所においてカメラ 4 1 0に接続され、 車両 4 0 8に搭載されるよ う になっている。 なお、 本実施の形態において、 E CU 4 9 2は、 上述し た第 2の光学系位置情報保持部 4 3 0、 予測位置情報保持部 4 5 0およ び補正部 46 0を構成している。
第 1の作業場所から第 2の作業場所には、 第 3 6図 （b ) に示すよ う に、 CD— ROM、 磁気ディスクなどの記録媒体 4 9 3が添付された力 メラ 4 1 0が搬送されるよ うになつている。 記録媒体 4 9 3には、 第 2 の光学系位置情報および予測位置情報が記録されており、 第 2の光学系 位置情報および予測位置情報をコンピュータ 4 9 1から E CU 4 9 2に 移送するために用いられるようになつている。
なお、 本実施の形態では、 第 1の作業場所から第 2の作業場所には、 カメラ 4 1 0および記録媒体 4 9 3が搬送されるよ うになっているが、 第 3 7図に示すよ うに、 カメラ 4 1 0、 第 2の光学系位置情報保持部 4 3 0、 予測位置情報保持部 4 5 0および補正部 4 6 0によって構成され たカメラュニッ ト 4 94が搬送されるように構成してもよい。
次に、 本実施の形態に係るカメラ補正装置の動作について説明する。 第 3 8図において、 カメラ補正装置 4 0 0は、 次の工程で第 2の光学 系位置情報を補正する。
まず、 カメラ 4 1 0が、 第 1の作業場所に設置され、 第 1の座標系 4 0 1 に対して所定の位置に配置される （S 4 0 1 )。 そして、 第 1の筐 体位置情報、 第 2の筐体位置情報、 校正マーカ位置情報および車体位置 情報が、 第 1の筐体位置情報保持部 4 1 5、 第 2の筐体位置情報保持部 4 1 6、 校正マーカ位置情報保持部 4 2 5および車体位置情報保持部 4 2 6にそれぞれ保持される （ S 4 0 2 )。 ここで、 第 1 の筐体位置情報 、 第 2の筐体位置情報、 校正マーカ^:置情報および車体位置情報は、 測 定器によって測定された位置、 設計において設定された位置などを基に して取得される。
次に、 カメラ 4 1 0によって校正マーカ 4 0 5が撮影され （S 4 0 3 )、 第 1 の光学系位置情報生成部 4 1 7が、 カメラ 4 1 0によって取得 された校正マーカ 4 0 5の画像情報に基づいて、 校正マーカ位置情報保 持部 4 2 5に保持された校正マーカ位置情報から、 第 1の光学系位置情 報を生成する （S 4 0 4 )。 そして、 第 1の光学系位置情報生成部 4 1 7によって生成された第 1の光学系位置情報が、 第 1の光学系位置情報 保持部 4 1 8に保持される （S 4 0 5 )。
次に、 第 2の光学系位置情報生成部 4 2 0が、 第 1の筐体位置情報保 持部 4 1 5に保持された第 1の筐体位置情報および第 1の光学系位置情 報保持部 4 1 8に保持された第 1の光学系位置情報に基づいて、 第 2の 筐体位置情報保持部 4 1 6に保持された第 2の筐体位置情報から、 第 2 の光学系位置情報を生成する （S 4 0 6 )。 そして、 第 2の光学系位置 情報生成部 4 2 0によって生成された第 2の光学系位置情報が、 第 2の 光学系位置情報保持部 4 3 0に保持される （S 4 0 7 )。
次に、 予測位置情報生成部 4 4 0が、 第 2の光学系位置情報生成部 4 2 0によって生成された第 2の光学系位置情報に基づいて、 車体位置情 報保持部 4 2 6に保持された車体位置情報から、 カメラ 4 1 0の画像座 標系 4 1 4に対するバンパー部 4 0 9の予測位置情報を生成する （ S 4 0 8 )。 そして、 予測位置情報生成部 4 4 0によって生成された予測位 置情報が、 予測位置情報保持部 4 5 0に保持される （S 4 0 9 )。
次に、 カメラ 4 1 0および記録媒体 4 9 3が、 第 1の作業場所から第 2の作業場所に搬送される。 そして、 カメラ 4 1 0が、 第 2の作業場所 において車両 4 08に設置され、 第 2の座標系 4 0 2に対して所定の位 置に配置される （S 4 1 0)。
次に、 カメラ 4 1 0によって補正板 4 0 6を背景にしてバンパー部 4 0 9が撮影され （S 4 1 1 )、 結像位置情報抽出部 4 7 0が、 第 3 3図 に示すように、 カメラ 4 1 0によって取得されたバンパー部 4 0 9の画 像情報から、 カメラ 4 1 0の画像座標系 4 1 4に対するバンパー部 4 0 9の結像位置情報を抽出する （S 4 1 2)。
次に、 マッチング部 4 8 1が、 第 3 4図に示すように、 予測位置情報 に含まれるバンパー部 4 0 9の輪郭線 Pに対して、 結像位置情報に含ま れるパンパ一部 40 9の輪郭線 P， を重ね合わせる （S 4 1 3 )。
次に、 第 3 5図に示すように、 抽出部 4 8 2が、 パンパ一部 4 0 9の 輪郭線 P、 P ' から、 輪郭線 P、 P ' が重なった部分の両端の点 （P i ， P 2)、 ( P！ ', P 2') を抽出する （S 4 1 4)。 そして、 演算部 4 8 3が、 予測位置情報に含まれる点 （P P 2) と、 結像位置情報に含 まれる点 （P ， P 2 ') とを比較することにより、 第 2の光学系位置 情報の補正量を算出する （S 4 1 5 )。
そして、 光学系位置情報補正部 4 9 0が、 補正量算出部 4 8 0によつ て算出された補正量に基づいて、 第 2の光学系位置情報保持部 4 3 0に 保持された第 2の光学系位置情報を補正して （S 4 1 6 )、 工程を終了 する。 なお、 本実施の形態では、 上述したステップ S 40 1から S 4 1 6を記述したプログラムをコンピュータに実行させてもよい。
以上説明したように、 本実施の形態においては、 車両 4 0 8などに設 置された力メラ 4 1 0の光学系 4 1 2のパラメータを補正することがで き、 路面上の対象物の位置を正確に検出することができる。
また、 本実施の形態においては、 パンパ一部 4 0 9を利用して第 2の 光学系位置情報を補正することができる。
また、 本実施の形態においては、 バンパー部 4 0 9の輪郭線から点を 抽出することができ、 第 2の光学系ィ立置情報の補正量を確実に算出する ことができる。
以上説明したよ うに、 本発明によれば、 車両などに設置されたカメ ラ の光学系のパラメータを捕正することができるカメラ補正装置を提供す ることができる。

Claims

請 求 の 範 囲
1 . 筐体と前記筐体に支持された光学系とを有し前記光学系を介して画 像情報を取得する撮像装置の光学系の位置情報を捕正するカメラ補正装 置であって、
第 1の座標系に対する前記筐体の位置を示す第 1の筐体位置情報を保 持する第 1の筐体位置情報保持手段と、
第 2の座標系に対する前記筐体の位置を示す第 2の筐体位置情報を保 持する第 2の筐体位置情報保持手段と、
前記撮像装置によって取得された前記第 1の座標系における画像情報 に基づいて、 前記第 1の座標系に対する前記光学系の位置を示す第 1の 光学系位置情報を生成する第 1の光学系位置情報生成手段と、
前記第 1の光学系位置情報生成手段によって生成された前記第 1 の光 学系位置情報を保持する第 1の光学系位置情報保持手段と、
前記第 1の筐体位置情報保持手段に保持された前記第 1の筐体位置情 報および前記第 1の光学系位置情報保持手段に保持された前記第 1 の光 学系位置情報に基づいて、 前記第 2の筐体位置情報保持手段に保持され た前記第 2の筐体位置情報から、 前記第 2の座標系に対する前記光学系 の位置を示す第 2の光学系位置情報を生成する第 2の光学系位置情報生 成手段と、
前記第 2の光学系位置情報生成手段によって生成された前記第 2の光 学系位置情報を保持する第 2の光学系位置情報保持手段と、
前記撮像装置によって取得された前記第 2の座標系における画像情報 に基づいて、 前記第 2の光学系位置情報保持手段に保持された前記第 2 の光学系位置情報を補正する補正手段とを備えたことを特徴とするカメ ラ補正装置。
2 . 筐体と前記筐体に支持された光学系とを有し前記光学系を介して画 像情報を取得する撮像装置の光学系の位置情報を補正するカメラ捕正装 置であって、
所定の座標系に対する前記光学系の位置を示す光学系位置情報を保持 する光学系位置情報保持手段と、
前記撮像装置によって取得された前記座標系における画像情報に基づ いて、 前記光学系位置情報保持手段に保持された前記光学系位置情報を 補正する補正手段とを備えたことを特徴とするカメラ補正装置。
3 . 筐体と前記筐体に支持された光学系とを有し前記光学系を介して画 像情報を取得する撮像装置の光学系の位置情報を補正するカメラ補正装 置であって、
校正マーカが配置された第 1の座標系に対する前記筐体の位置を示す 第 1の筐体位置情報を保持する第 1の筐体位置情報保持手段と、
補正マーカが配置された第 2の座標系に対する前記筐体の位置を示す 第 2の筐体位置情報を保持する第 2の筐体位置情報保持手段と、
前記撮像装置によって取得された前記校正マーカの画像情報に基づい て、 前記第 1の座標系に対する前記光学系の位置を示す第 1の光学系位 置情報を生成する第 1の光学系位置情報生成手段と、
前記第 1の光学系位置情報生成手段によって生成された前記第 1の光 学系位置情報を保持する第 1の光学系位置情報保持手段と、
前記第 1の筐体位置情報保持手段に保持された前記第 1の筐体位.置情 報および前記第 1の光学系位置情報保持手段に保持された前記第 1の光 学系位置情報に基づいて、 前記第 2の筐体位置情報保持手段に保持され た前記第 2の筐体位置情報から、 前記第 2の座標系に対する前記光学系 の位置を示す第 2の光学系位置情報を生成する第 2の光学系位置情報生 成手段と、
前記第 2の光学系位置情報生成手段によって生成された前記第 2の光 学系位置情報に基づいて、 前記撮像装置の画像座標系に対する前記補正 マーカの予測位置情報を生成する予 位置情報生成手段と、
前記第 2の光学系位置情報生成手段によって生成された前記第 2の光 学系位置情報を保持する第 2の光学系位置情報保持手段と、
前記予測位置情報生成手段によって生成された前記予測位置情報を保 持する予測位置情報保持手段と、
前記撮像装置によって取得された前記補正マーカの画像情報および前 記予測位置情報保持手段に保持された前記予測位置情報に基づいて、 前 記第 2の光学系位置情報保持手段に保持された前記第 2の光学系位置情 報を補正する補正手段とを備えたことを特徴とするカメラ補正装置。
4 . 前記補正手段が、
前記撮像装置によって取得された前記補正マーカの画像情報から、 前 記撮像装置の画像座標系に対する前記補正マーカの結像位置情報を抽出 する結像位置情報抽出手段と、
前記結像位置情報抽出手段によって抽出された前記結像位置情報およ ぴ前記予測位置情報保持手段に保持された前記予測位置情報に基づいて 、 前記第 2の光学系位置情報保持手段に保持された前記第 2の光学系位 置情報の補正量を算出する補正量算出手段と、
前記補正量算出手段によって算出された前記補正量に基づいて、 前記 第 2の光学系位置情報保持手段に保持された前記第 2の光学系位置情報 を補正する光学系位置情報捕正手段とを有することを特徴とする請求の 範囲第 3項記載のカメラ補正装置。
5 . 前記補正手段が、 前記第 2の光学系位置情報の回転成分の誤差だけ を捕正することを特徴とする請求の範囲第 4項記載のカメラ補正装置。
6 . 前記結像位置情報抽出手段が、
前記撮像装置によって取得された前記補正マーカの画像情報を表示す る画像情報表示手段と、
前記画像情報表示手段に表示された前記補正マーカの画像情報におい て前記補正マーカの結像位置を指定し、 前記結像位置情報を抽出する結 像位置指定手段とを有することを特徴とする請求の範囲第 4項記載の力 メラ補正装置。
7 . 前記結像位置情報抽出手段が、
前記撮像装置の画像座標系に対する前記補正マーカの予測範囲情報を 保持する予測範囲情報保持手段と、
前記予測範囲情報保持手段に保持された前記予測範囲情報および前記 予測位置情報保持手段に保持された前記予測位置情報に基づいて、 前記 撮像装置によって取得された前記補正マーカの画像情報から前記補正マ 一力の結像位置を検索し、 前記結像位置情報を抽出する結像位置検索手 段とを有することを特徴とする請求の範囲第 4項記載のカメラ補正装置
8 . 筐体と前記筐体に支持される光学系とを有し前記光学系を介して画 像情報を取得する撮像装置の光学系の位置情報を補正するカメラ補正装 置であって、
校正マーカが配置された第 1の座標系に対する前記筐体の位置を示す 第 1の筐体位置情報を保持する第 1の筐体位置情報保持手段と、 第 2の座標系に対する前記筐体の位置を示す第 2の筐体位置情報を保 持する.第 2の筐体位置情報保持手段と、
前記撮像装置によって取得された前記校正マーカの画像情報に基づい て、 前記第 1の座標系に対する前記光学系の位置を示す第 1の光学系位 置情報を生成する第 1の光学系位置情報生成手段と、
前記第 1の光学系位置情報生成手段によって生成された前記第 1の光 学系位置情報を保持する第 1の光学系位置情報保持手段と、
前記第 1の筐体位置情報保持手段に保持された前記第 1の筐体位置情 報および前記第 1の光学系位置情報保持手段に保持された前記第 1の光 学系位置情報に基づいて、 前記第 2の筐体位置情報保持手段に保持され た前記第 2の筐体位置情報から、 前記第 2の座標系に対する前記光学系 の位置を示す第 2の光学系位置情報を生成する第 2の光学系位置情報生 成手段と、
前記第 2の光学系位置情報生成手段によって生成された前記第 2の光 学系位置情報を保持する第 2の光学系位置情報保持手段と、
前記撮像装置によって取得された前記第 2の座標系における画像情報 に含まれる動きべク トルに基づいて、 前記第 2の光学系位置情報保持手 段に保持された前記第 2の光学系位置情報を補正する補正手段とを備え たことを特徴とするカメラ補正装置。
9 . 前記補正手段が、
前記撮像装置によって取得された前記第 2の座標系における画像情報 から平面投影画像を生成する平面投影画像生成手段と、
前記平面投影画像生成手段によって生成された前記平面投影画像を複 数の画像領域に分割する平面投影画像分割手段と、 前記平面投影画像分割手段によって分割された複数の前記画像領域か ら動きべク トルを抽出する動きべク トル抽出手段と、
前記動きべク トル抽出手段によって抽出された前記動きべク トルに基 づいて、 前記第 2の光学系位置情報保持手段に保持された前記第 2の光 学系位置情報の補正量を算出する補正量算出手段と、
前記補正量算出手段によって算出された前記補正量に基づいて、 前記 第 2の光学系位置情報保持手段に保持された前記第 2の光学系位置情報 を補正する光学系位置情報補正手段とを有することを特徴とする請求の 範囲第 8項記載のカメラ補正装置。
1 0 . 前記第 2の座標系に設けられた分割マーカが、 前記第 2の筐体位 置情報保持手段に保持された前記第 2の筐体位置情報に含まれる前記筐 体の位置に対して一定の位置関係を保つように配置され、
前記平面投影画像分割手段が、 前記撮像装置によって取得された前記 分割マーカの画像情報に基づいて、 前記平面投影画像を複数の画像領域 に分割することを特徴とする請求の範囲第 9項記載のカメラ補正装置。
1 1 . 筐体と前記筐体に支持された光学系とを有し前記光学系を介して 画像情報を取得する撮像装置の光学系の位置情報を補正するカメラ補正 装置であって、
校正マーカが配置された第 1の座標系に対する前記筐体の位置を示す 第 1の筐体位置情報を保持する第 1の筐体位置情報保持手段と、
車両が配置され 第 2の座標系に対する前記筐体の位置を示す第 2の 筐体位置情報を保持する第 2の筐体位置情報保持手段と、
前記撮像装置によって取得された前記校正マーカの画像情報に基づい て、 前記第 1の座標系に対する前記光学系の位置を示す第 1の光学系位 置情報を生成する第 1の光学系位置情報生成手段と、
前記第 1の光学系位置情報生成手段によって生成された前記第 1の光 学系位置情報を保持する第 1の光学系位置情報保持手段と、
前記第 1の筐体位置情報保持手段に保持された前記第 1の筐体位置情 報および前記第 1の光学系位置情報保持手段に保持された前記第 1の光 学系位置情報に基づいて、 前記第 2の筐体位置情報保持手段に保持され た前記第 2の筐体位置情報から、 前記第 2の座標系に対する前記光学系 の位置を示す第 2の光学系位置情報を生成する第 2の光学系位置情報生 成手段と、
前記第 2の光学系位置情報生成手段によって生成された前記第 2の光 学系位置情報に基づいて、 前記撮像装置の画像座標系に対する前記車両 の予測位置情報を生成する予測位置情報生成手段と、
前記第 2の光学系位置情報生成手段によって生成された前記第 2の光 学系位置情報を保持する第 2の光学系位置情報保持手段と、
前記予測位置情報生成手段によって生成された前記予測位置情報を保 持する予測位置情報保持手段と、
前記撮像装置によって取得された前記車両の画像情報および前記予測 位置情報保持手段に保持された前記予測位置情報に基づいて、 前記第 2 の光学系位置情報保持手段に保持された前記第 2の光学系位置情報を補 正する補正手段とを備えたことを特徴とするカメラ補正装置。
1 2 . 前記補正手段が、
前記撮像装置に つて取得された前記車両の画像情報から、 前記撮像 装置の画像座標系に対する前記車両の結像位置情報を抽出する結像位置 情報抽出手段と、
前記結像位置情報抽出手段によって抽出された前記結像位置情報およ び前記予測位置情報保持手段に保持された前記予測位置情報に基づいて 、 前記第 2の光学系位置情報保持手段に保持された前記第 2の光学系位 置情報の補正量を算出する補正量算出手段と、
前記補正量算出手段によって算出された前記補正量に基づいて、 前記 第 2の光学系位置情報保持手段に保持された前記第 2の光学系位置情報 を補正する光学系位置情報補正手段とを有することを特徴とする請求の 範囲第 1 1項記載のカメラ補正装置。
1 3 . 前記補正量算出手段が、
前記結像位置情報に含まれる前記車両の輪郭線と前記予測位置情報に 含まれる前記車両の輪郭線とを重ね合わせるマッチング手段と、
前記マツチング手段によって重ね合わされた前記車两の輪郭線から複 数の点を抽出する抽出手段と、
前記結像位置情報に含まれる前記点と前記予測位置情報に含まれる前 記点とを比較することにより前記第 2の光学系位置情報の補正量を算出 する演算手段とを有することを特徴とする請求の範囲第 1 2項記載の力 メラネ甫正装置。
1 4 . 前記撮像装置が車両に取り付けられることを特徴とする請求の範 囲第 1項から請求の範囲第 1 3項までの何れかに記載のカメラ捕正装置
1 5 . 請求の範囲第 1項から請求の範囲第 1 4項までの何れかに記載の カメラ補正装置を備えたことを特徴とする撮像装置。
1 6 . 請求の範囲第 1項から請求の範囲第 1 4項までの何れかに記載の カメラ補正装置を備えたことを特徴とする撮像制御装置。
1 7 . 筐体と前記筐体に支持された光学系とを有し前記光学系を介して 画像情報を取得する撮像装置の光学系の位置情報を補正するカメラ補正 方法であって、
第 1の座標系に対する前記筐体の位置を示す第 1の筐体位置情報を保 持する第 1の筐体位置情報保持ステップと、
第 2の座標系に対する前記筐体の位置を示す第 2の筐体位置情報を保 持する第 2の筐体位置情報保持ステップと、
前記撮像装置によって取得された前記第 1の座標系における画像情報 に基づいて、 前記第 1の座標系に対する前記光学系の位置を示す第 1の 光学系位置情報を生成する第 1の光学系位置情報生成ステップと、 前記第 1の光学系位置情報生成ステップで生成された前記第 1の光学 系位置情報を保持する第 1の光学系位置情報保持ステップと、
前記第 1 の筐体位置情報保持ステップで保持された前記第 1の筐体位 置情報および前記第 1の光学系位置情報保持ステップで保持された前記 第 1の光学系位置情報に基づいて、 前記第 2の筐体位置情 #保持ステツ ' プで保持された前記第 2の筐体位置情報から、 前記第 2の座標系に対す る前記光学系の位置を示す第 2の光学系位置情報を生成する第 2の光学 系位置情報生成ステップと、
前記第 2の光学系位置情報生成ステップで生成された前記第 2の光学 系位置情報を保持する第 2の光学系位置情報保持ステップと、
前記撮像装置によって取得された前記第 2の座標系における画像情報 に基づいて、 前記第 2の光学系位置情報保持ステップで保持された前記 第 2の光学系位置情報を補正する補正ステップとを備えたことを特徴と するカメラ補正方法。
1 8 . 筐体と前記筐体に支持された光学系とを有し前記光学系を介して 画像情報を取得する撮像装置の光学系の位置情報を補正するカメラ補正 方法であって、
所定の座標系に対する前記光学系の位置を示す光学系位置情報を保持 する光学系位置情報保持ステップと、
前記撮像装置によって取得された前記座標系における画像情報に基づ いて、 前記光学系位置情報保持ステップで保持された前記光学系位置情 報を補正する補正ステップとを備えたことを特徴とするカメラ補正方法
1 9 . 筐体と前記筐体に支持された光学系とを有し前記光学系を介して 画像情報を取得する撮像装置の光学系の位置情報を補正するカメラ補正 方法であって、
校正マーカが配置された第 1の座標系に対する前記筐体の位置を示す 第 1の筐体位置情報を保持する第 1の筐体位置情報保持ステップと、 補正マーカが配置された第 2の座標系に対する前記筐体の位置を示す 第 2の筐体位置情報を保持する第 2の筐体位置情報保持ステップと、 前記撮像装置によって取得された前記校正マーカの画像情報に基づい て、 前記第 1の座標系に対する前記光学系の位置を示す第 1の光学系位 置情報を生成する第 1の光学系位置情報生成ステップと、
前記第 1の光学系位置情報生成ステップで生成された前記第 1の光学 系位置情報を保持する第 1の光学系位置情報保持ステップと、
前記第 1の筐体位置情報保持ステップで保持された前記第 1の筐体位 置情報および前記第 1の光学系位置情報保持ステップで保持された前記 第 1の光学系位置情報に基づいて、 前記第 2の筐体位置情報保持ステツ プで保持された前記第 2の筐体位置情報から、 前記第 2の座標系に対す る前記光学系の位置を示す第 2の光学系位置情報を生成する第 2の光学 系位置情報生成ステップと、
前記第 2の光学系位置情報生成ステップで生成された前記第 2の光学 5 系位置情報に基づいて、 前記撮像装置の画像座標系に対する前記補正マ 一力の予測位置情報を生成する予測位置情報生成ステップと、
前記第 2の光学系位置情報生成ステップで生成された前記第 2の光学 系位置情報を保持する第 2の光学系位置情報保持ステップと、
前記予測位置情報生成ステップで生成された前記予測位置情報を保持 10 する予測位置情報保持ステップと、
前記撮像装置によって取得された前記補正マーカの画像情報および前 記予測位置情報保持ステップで保持された前記予測位置情報に基づいて 、 前記第 2の光学系位置情報保持ステツプで保持された前記第 2の光学 系位置情報を補正する補正ステップとを備えたことを特徴とするカメラ 15. 補正方法。
2 0 . 筐体と前記筐体に支持される光学系とを有し前記光学系を介して 画像情報を取得する撮像装置の光学系の位置情報を補正するカメラ補正 方法であって、
20 校正マーカが配置された第 1の座標系に対する前記筐体の位置を示す 第 1の筐体位置情報を保持する第 1の筐体位置情報保持ステップと、 第 2の座標系に対する前記筐体の位置を示す第 2の筐体位置情報を保 持する第 2の筐体位置情報保持ステップと、
前記撮像装置によって取得された前記校正マーカの画像情報に基づい 25 て、 前記第 1の座標系に対する前記光学系の位置を示す第 1の光学系位 置情報を生成する第 1の光学系位置情報生成ステップと、 前記第 1 の光学系位置情報生成ステツプで生成された前記第 1の光学 系位置情報を保持する第 1の光学系位置情報保持ステップと、
前記第 1の筐体位置情報保持ステップで保持された前記第 1の筐体位 置情報および前記第 1の光学系位置情報保持ステップで保持された前記 第 1の光学系位置情報に基づいて、 l記第 2の筐体位置情報保持ステツ プで保持された前記第 2の筐体位置情報から、 前記第 2の座標系に対す る前記光学系の位置を示す第 2の光学系位置情報を生成する第 2の光学 系位置情報生成ステップと、
前記第 2の光学系位置情報生成ステップで生成された前記第 2の光学 系位置情報を保持する第 2の光学系位置情報保持ステップと、
前記撮像装置によって取得された前記第 2の座標系における画像情報 に含まれる動きべク トルに基づいて、 前記第 2の光学系位置情報保持ス テップで保持された前記第 2の光学系位置情報を補正する補正ステツプ ' とを備えたことを特徴とするカメラ補正方法。
2 1 . 筐体と前記筐体に支持された光学系とを有し前記光学系を介して 画像情報を取得する撮像装置の光学系の位置情報を補正するカメラ補正 方法であって、
校正マーカが配置された第 1の座標系に対する前記筐体の位置を示す 第 1の筐体位置情報を保持する第 1の筐体位置情報保持ステップと、 車両が配置された第 2の座標系に対する前記筐体の位置を示す第 2の 筐体位置情報を保持する第 2の筐体位置情報保持ステップと、
前記撮像装置によって取得された前記校正マーカの画像情報に基づい て、 前記第 1の座標系に対する前記光学系の位置を示す第 1の光学系位 置情報を生成する第 1の光学系位置情報生成ステップと、
前記第 1の光学系位置情報生成ステップで生成された前記第 1の光学 系位置情報を保持する第 1の光学系位置情報保持ステップと、
前記第 1 の筐体位置情報保持ステップで保持された前記第 1 の筐体位 置情報および前記第 1の光学系位置情報保持ステップで保持された前記 第 1 の光学系位置情報に基づいて、 前記第 2 の筐体位置情報保持ステツ プで保持された前記第 2の筐体位置情報から、 前記第 2の座標系に対す る前記光学系の位置を示す第 2の光学系位置情報を生成する第 2の光学 系位置情報生成ステップと、
前記第 2の光学系位置情報生成ステップで生成された前記第 2の光学 系位置情報に基づいて、 前記撮像装置の画像座標系に対する前記車両の 予測位置情報を生成する予測位置情報生成ステップと、
前記第 2の光学系位置情報生成ステップで生成された前記第 2の光学 系位置情報を保持する第 2の光学系位置情報保持ステップと、
前記予測位置情報生成ステツプで生成された前記予測位置情報を保持 する予測位置情報保持ステツプと、
前記撮像装置によって取得された前記車両の画像情報および前記予測 位置情報保持ステップで保持された前記予測位置情報に基づいて、 前記 第 2の光学系位置情報保持ステップで保持された前記第 2の光学系位置 情報を補正する補正ステップとを備えたことを特徴とするカメラ捕正方 法。
2 2 . 前記撮像装置が車両に取り付けられることを特徴とする請求の範 囲第 1 7項から請求の範囲第 2 1項までの何れかに記載のカメラ補正方 法。
2 3 . 筐体と前記筐体に支持された光学系とを有し前記光学系を介して 画像情報を取得する撮像装置の光学系の位置情報を補正するカメラ補正 プログラムであって、
第 1の座標系に対する前記筐体の位置を示す第 1の筐体位置情報を保 持する第 1の筐体位置情報保持ステップと、
第 2の座標系に対する前記筐体の位置を示す第 2の筐体位置情報を保 持する第 2の筐体位置情報保持ステ、:/プと、
前記撮像装置によって取得された前記第 1の座標系における画像情報 に基づいて、 前記第 1の座標系に対する前記光学系の位置を示す第 1の 光学系位置情報を生成する第 1の光学系位置情報生成ステップと、 前記第 1 の光学系位置情報生成ステップで生成された前記第 1の光学 系位置情報を保持する第 1の光学系位置情報保持ステップと、
前記第 1 の筐体位置情報保持ステップで保持された前記第 1の筐体位 置情報および前記第 1の光学系位置情報保持ステップで保持された前記 第 1の光学系位置情報に基づいて、 前記第 2の筐体位置情報保持ステツ プで保持された前記第 2の筐体位置情報から、 前記第 2の座標系に対す る前記光学系の位置を示す第 2の光学系位置情報を生成する第 2の光学 系位置情報生成ステップと、
前記第 2の光学系位置情報生成ステップで生成された前記第 2の光学 系位置情報を保持する第 2の光学系位置情報保持ステップと、
前記撮像装置によって取得された前記第 2の座標系における画像情報 に基づいて、 前記第 2の光学系位置情報保持ステップで保持された前記 第 2の光学系位置情報を補正する補正ステップとをコンピュータに実行 させることを特徴とするカメラ補正プログラム。
2 4 . 筐体と前記筐体に支持された光学系とを有し前記光学系を介して 画像情報を取得する撮像装置の光学系の位置情報を補正するカメラ補正 プログラムであって、 所定の座標系に対する前記光学系の位置を示す光学系位置情報を保持 する光学系位置情報保持ステップと、
前記撮像装置によって取得された前記座標系における画像情報に基づ いて、 前記光学系位置情報保持ステップで保持された前記光学系位置情 報を補正する補正ステップとをコンピュータに実行させることを特徴と するカメラ補正プログラム。
2 5 . 筐体と前記筐体に支持された光学系とを有し前記光学系を介して 画像情報を取得する撮像装置の光学系の位置情報を補正するカメラ補正 プログラムであって、
校正マーカが配置された第 1の座標系に対する前記筐体の位置を示す 第 1の筐体位置情報を保持する第 1の筐体位置情報保持ステップと、 補正マーカが配置された第 2の座標系に対する前記筐体の位置を示す 第 2の筐体位置情報を保持する第 2の筐体位置情報保持ステップと、 前記撮像装置によって取得された前記校正マーカの画像情報に基づい て、 前記第 1の座標系に対する前記光学系の位置を示す第 1の光学系位 置情報を生成する第 1 の光学系位置情報生成ステップと、
前記第 1の光学系位置情報生成ステップで生成された前記第 1の光学 系位置情報を保持する第 1 の光学系位置情報保持ステップと、
前記第 1の筐体位置情報保持ステップで保持された前記第 1の筐体位 置情報および前記第 1の光学系位置情報保持ステップで保持された前記 第 1 の光学系位置情報に基づいて、 前記第 2の筐体位置情報保持ステツ プで保持された前記第 2の筐体位置情報から、 前記第 2の座標系に対す る前記光学系の位置を示す第 2の光学系位置情報を生成する第 2の光学 系位置情報生成ステップと、
前記第 2の光学系位置情報生成ステツプで生成された前記第 2の光学 系位置情報に基づいて、 前記撮像装置の画像座標系に対する前記補正マ 一力の予測位置情報を生成する予測位置情報生成ステップと、
前記第 2の光学系位置情報生成ステツプで生成された前記第 2の光学 系位置情報を保持する第 2の光学系位置情報保持ステップと、
前記予測位置情報生成ステップで生成された前記予測位置情報を保持 する予測位置情報保持ステツプと、
前記撮像装置によって取得された前記補正マーカの画像情報および前 記予測位置情報保持ステップで保持された前記予測位置情報に基づいて 、 前記第 2の光学系位置情報保持ステツプで保持された前記第 2の光学 系位置情報を補正する補正ステップとをコンピュータに実行させること を特徴とするカメラ補正プログラム。
2 6 . 筐体と前記筐体に支持される光学系とを有し前記光学系を介して 画像情報を取得する撮像装置の光学系の位置情報を補正するカメラ補正 プログラムであって、
校正マーカが配置された第 1の座標系に対する前記筐体の位置を示す 第 1の筐体位置情報を保持する第 1の筐体位置情報保持ステップと、 第 2の座標系に対する前記筐体の位置を示す第 2の筐体位置情報を保 持する第 2の筐体位置情報保持ステップと、
前記撮像装置によって取得された前記校正マーカの画像情報に基づい て、 前記第 1の座標系に対する前記光学系の位置を示す第 1の光学系位 置情報を生成する第 1の光学系位置情報生成ステップと、
前記第 1の光学系位置情報生成ステップで生成された前記第 1の光学 系位置情報を保持する第 1の光学系位置情報保持ステップと、
前記第 1の筐体位置情報保持ステップで保持された前記第 1の筐体位 置情報および前記第 1の光学系位置情報保持ステップで保持されだ前記 第 1の光学系位置情報に基づいて、 前記第 2の筐体位置情報保持ステツ プで保持された前記第 2の筐体位置情報から、 前記第 2の座標系に対す る前記光学系の位置を示す第 2の光学系位置情報を生成する第 2の光学 系位置情報生成ステップと、
前記第 2の光学系位置情報生成ステップで生成された前記第 2の光学 系位置情報を保持する第 2の光学系位置情報保持ステップと、
前記撮像装置によって取得された前記第 2の座標系における画像情報 に含まれる動きべク トルに基づいて、 前記第 2の光学系位置情報保持ス テップで保持された前記第 2の光学系位置情報を補正する補正ステップ とをコンピュータに実行させることを特徴とする力メラ補正プログラム
2 7 . 箧体と前記筐体に支持された光学系とを有し前記光学系を介して 画像情報を取得する撮像装置の光学系の位置情報を補正するカメラ補正 プログラムであって、
校正マーカが配置された第 1の座標系に対する前記筐体の位置を示す 第 1の筐体位置情報を保持する第 1の筐体位置情報保持ステップと、 車両が配置された第 2の座標系に対する前記筐体の位置を示す第 2の 筐体位置情報を保持する第 2の筐体位置情報保持ステップと、
前記撮像装置によって取得された前記校正マーカの画像情報に基づい て、 前記第 1の座標系に対する前記光学系の位置を示す第 1の光学系位 置情報を生成する第 1の光学系位置情報生成ステップと、
前記第 1 の光学系位置情報生成ステップで生成された前記第 1の光学 系位置情報を保持する第 1の光学系位置情報保持ステップと、
前記第 1の筐体位置情報保持ステップで保持された前記第 1の筐体位 置情報および前記第 1の光学系位置情報保持ステップで保持された前記 第 1 の光学系位置情報に基づいて、 前記第 2の筐体位置情報保持ステツ プで保持された前記第 2の筐体位置情報から、 前記第 2 の座標系に対す る前記光学系の位置を示す第 2の光学系位置情報を生成する第 2の光学 系位置情報生成ステップと、
前記第 2の光学系位置情報生成ス f ップで生成された前記第 2の光学 系位置情報に基づいて、 前記撮像装置の画像座標系に対する前記車両の 予測位置情報を生成する予測位置情報生成ステップと、
前記第 2の光学系位置情報生成ステップで生成された前記第 2の光学 系位置情報を保持する第 2の光学系位置情報保持ステツプと、
前記予測位置情報生成ステップで生成された前記予測位置情報を保持 する予測位置情報保持ステップと、
前記撮像装置によって取得された前記車両の画像情報および前記予測 位置情報保持ステップで保持された前記予測位置情報に基づいて、 前記 第 2の光学系位置情報保持ステップで保持された前記第 2の光学系位置 情報を補正する補正ステップとをコンピュータに実行させることを特徴 とするカメラ補正プログラム。
PCT/JP2003/005033 2002-04-22 2003-04-21 Camera corrector WO2003089874A1 (en)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020047016893A KR100948161B1 (ko) 2002-04-22 2003-04-21 카메라 보정 장치
EP03720942.6A EP1498689B1 (en) 2002-04-22 2003-04-21 Camera corrector
US10/512,039 US7352388B2 (en) 2002-04-22 2003-04-21 Camera calibrating apparatus

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2002/119692 2002-04-22
JP2002119692 2002-04-22
JP2003/111432 2003-04-16
JP2003111432A JP4015051B2 (ja) 2002-04-22 2003-04-16 カメラ補正装置

Publications (1)

Publication Number Publication Date
WO2003089874A1 true WO2003089874A1 (en) 2003-10-30

Family

ID=29253620

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2003/005033 WO2003089874A1 (en) 2002-04-22 2003-04-21 Camera corrector

Country Status (6)

Country Link
US (1) US7352388B2 (ja)
EP (1) EP1498689B1 (ja)
JP (1) JP4015051B2 (ja)
KR (1) KR100948161B1 (ja)
CN (1) CN1312458C (ja)
WO (1) WO2003089874A1 (ja)

Families Citing this family (49)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4196841B2 (ja) * 2004-01-30 2008-12-17 株式会社豊田自動織機 映像位置関係補正装置、該映像位置関係補正装置を備えた操舵支援装置、及び映像位置関係補正方法
CA2609663A1 (en) * 2005-06-06 2006-12-14 Tomtom International B.V. Navigation device with camera-info
US8423292B2 (en) 2008-08-19 2013-04-16 Tomtom International B.V. Navigation device with camera-info
WO2007097431A1 (ja) * 2006-02-23 2007-08-30 Matsushita Electric Industrial Co., Ltd. 画像補正装置、方法、プログラム、集積回路、システム
US8022990B2 (en) * 2006-08-18 2011-09-20 General Electric Company Systems and methods for on-line marker-less camera calibration using a position tracking system
JP2008187566A (ja) * 2007-01-31 2008-08-14 Sanyo Electric Co Ltd カメラ校正装置及び方法並びに車両
GB2447672B (en) 2007-03-21 2011-12-14 Ford Global Tech Llc Vehicle manoeuvring aids
WO2010052772A1 (ja) 2008-11-05 2010-05-14 富士通株式会社 カメラ角度算出装置、カメラ角度算出方法およびカメラ角度算出プログラム
KR100966288B1 (ko) * 2009-01-06 2010-06-28 주식회사 이미지넥스트 주변 영상 생성 방법 및 장치
JP4751939B2 (ja) * 2009-03-31 2011-08-17 アイシン精機株式会社 車載カメラの校正装置
JP4690476B2 (ja) * 2009-03-31 2011-06-01 アイシン精機株式会社 車載カメラの校正装置
JP4636346B2 (ja) 2009-03-31 2011-02-23 アイシン精機株式会社 車載カメラの校正装置、方法、及びプログラム
JP5471038B2 (ja) * 2009-05-27 2014-04-16 アイシン精機株式会社 校正目標検出装置と、校正目標を検出する校正目標検出方法と、校正目標検出装置のためのプログラム
TWI452909B (zh) * 2009-06-29 2014-09-11 Silicon Integrated Sys Corp 移動向量校正電路、影像產生裝置及相關方法
KR101510655B1 (ko) * 2010-01-26 2015-04-10 주식회사 이미지넥스트 주변 영상 생성 방법 및 장치
JP4907725B2 (ja) * 2010-03-23 2012-04-04 シャープ株式会社 キャリブレーション装置、欠陥検出装置、欠陥修復装置、表示パネル、表示装置、キャリブレーション方法
KR101113679B1 (ko) 2010-05-24 2012-02-14 기아자동차주식회사 카메라 시스템의 영상 보정 방법
US9683848B2 (en) 2011-04-19 2017-06-20 Ford Global Technologies, Llc System for determining hitch angle
US9555832B2 (en) 2011-04-19 2017-01-31 Ford Global Technologies, Llc Display system utilizing vehicle and trailer dynamics
US9500497B2 (en) 2011-04-19 2016-11-22 Ford Global Technologies, Llc System and method of inputting an intended backing path
US9854209B2 (en) 2011-04-19 2017-12-26 Ford Global Technologies, Llc Display system utilizing vehicle and trailer dynamics
US9926008B2 (en) 2011-04-19 2018-03-27 Ford Global Technologies, Llc Trailer backup assist system with waypoint selection
US9506774B2 (en) 2011-04-19 2016-11-29 Ford Global Technologies, Llc Method of inputting a path for a vehicle and trailer
US9969428B2 (en) 2011-04-19 2018-05-15 Ford Global Technologies, Llc Trailer backup assist system with waypoint selection
US9723274B2 (en) 2011-04-19 2017-08-01 Ford Global Technologies, Llc System and method for adjusting an image capture setting
US9374562B2 (en) 2011-04-19 2016-06-21 Ford Global Technologies, Llc System and method for calculating a horizontal camera to target distance
JP5811327B2 (ja) * 2011-06-11 2015-11-11 スズキ株式会社 カメラキャリブレーション装置
JP5864984B2 (ja) * 2011-09-26 2016-02-17 東芝アルパイン・オートモティブテクノロジー株式会社 車載カメラ用画像補正方法および車載カメラ用画像補正プログラム
JP5883275B2 (ja) * 2011-11-18 2016-03-09 東芝アルパイン・オートモティブテクノロジー株式会社 車載カメラのキャリブレーション装置
CN102536201B (zh) * 2011-12-20 2014-07-02 西安思坦仪器股份有限公司 多臂成像数据校正方法
EP2618305B1 (de) * 2012-01-20 2014-04-30 ESG Elektroniksystem- und Logistik-GmbH Verfahren und Vorrichtung zur Online-Kalibrierung von Fahrzeug-Kameras
JP6012982B2 (ja) * 2012-02-24 2016-10-25 京セラ株式会社 較正処理装置、カメラ較正装置、カメラシステム、およびカメラ較正方法
CN102706274B (zh) * 2012-04-25 2014-08-06 复旦大学 工业结构化场景中机器视觉精确定位机械零件的系统
US9870704B2 (en) * 2012-06-20 2018-01-16 Conduent Business Services, Llc Camera calibration application
KR101382772B1 (ko) * 2012-12-11 2014-04-08 현대자동차주식회사 디스플레이 시스템 및 방법
US9592851B2 (en) 2013-02-04 2017-03-14 Ford Global Technologies, Llc Control modes for a trailer backup assist system
US9511799B2 (en) 2013-02-04 2016-12-06 Ford Global Technologies, Llc Object avoidance for a trailer backup assist system
CN104754323B (zh) * 2013-12-31 2017-06-20 苏州智华汽车电子有限公司 摄像头光轴检测设备的标定方法
JP6354425B2 (ja) * 2014-07-30 2018-07-11 株式会社デンソー 車載カメラの取り付け姿勢検出方法およびその装置
DE102014117888A1 (de) * 2014-12-04 2016-10-13 Connaught Electronics Ltd. Online-Kalibrierung eines Kraftfahrzeug-Kamerasystems
US9533683B2 (en) 2014-12-05 2017-01-03 Ford Global Technologies, Llc Sensor failure mitigation system and mode management
US9522677B2 (en) 2014-12-05 2016-12-20 Ford Global Technologies, Llc Mitigation of input device failure and mode management
US9607242B2 (en) 2015-01-16 2017-03-28 Ford Global Technologies, Llc Target monitoring system with lens cleaning device
KR101666677B1 (ko) * 2015-05-28 2016-10-14 주식회사 맥스트 광학 모듈의 자세 조정 장치
US9896130B2 (en) 2015-09-11 2018-02-20 Ford Global Technologies, Llc Guidance system for a vehicle reversing a trailer along an intended backing path
US9836060B2 (en) 2015-10-28 2017-12-05 Ford Global Technologies, Llc Trailer backup assist system with target management
US10112646B2 (en) 2016-05-05 2018-10-30 Ford Global Technologies, Llc Turn recovery human machine interface for trailer backup assist
KR102543523B1 (ko) * 2016-09-09 2023-06-15 현대모비스 주식회사 카메라의 오차 보정 시스템 및 방법
US10356417B2 (en) * 2016-09-30 2019-07-16 Intel Corporation Method and system of video coding using projected motion vectors

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11239989A (ja) * 1998-02-25 1999-09-07 Fujitsu Ltd ロボットシミュレーションにおけるキャリブレーション装置
JP2000024973A (ja) * 1998-07-13 2000-01-25 Meidensha Corp ビンピッキング位置データ較正方法及びその方法を実現するソフトウェアを記録した媒体並びにこの方法を実施する装置
JP2001116515A (ja) * 1999-10-21 2001-04-27 Matsushita Electric Ind Co Ltd キャリブレーション方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2991163B2 (ja) * 1997-07-23 1999-12-20 日本電気株式会社 カメラキャリブレーション装置
JP2000171215A (ja) * 1998-12-03 2000-06-23 Techno Wave:Kk 物流情報読取り装置
US6813371B2 (en) * 1999-12-24 2004-11-02 Aisin Seiki Kabushiki Kaisha On-vehicle camera calibration device
KR100532525B1 (ko) * 2002-05-07 2005-11-30 이문기 카메라를 이용한 삼차원 포인팅장치
JP2006074574A (ja) * 2004-09-03 2006-03-16 Toshiba Corp 映像再生装置及び映像再生方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11239989A (ja) * 1998-02-25 1999-09-07 Fujitsu Ltd ロボットシミュレーションにおけるキャリブレーション装置
JP2000024973A (ja) * 1998-07-13 2000-01-25 Meidensha Corp ビンピッキング位置データ較正方法及びその方法を実現するソフトウェアを記録した媒体並びにこの方法を実施する装置
JP2001116515A (ja) * 1999-10-21 2001-04-27 Matsushita Electric Ind Co Ltd キャリブレーション方法

Also Published As

Publication number Publication date
US20050179801A1 (en) 2005-08-18
JP4015051B2 (ja) 2007-11-28
CN1659418A (zh) 2005-08-24
EP1498689B1 (en) 2018-06-06
CN1312458C (zh) 2007-04-25
JP2004004043A (ja) 2004-01-08
US7352388B2 (en) 2008-04-01
EP1498689A4 (en) 2014-04-02
KR100948161B1 (ko) 2010-03-16
KR20040104578A (ko) 2004-12-10
EP1498689A1 (en) 2005-01-19

Similar Documents

Publication Publication Date Title
WO2003089874A1 (en) Camera corrector
US20160086343A1 (en) Contour line measurement apparatus and robot system
JP4681856B2 (ja) カメラの校正方法及びカメラの校正装置
CN108965690B (zh) 图像处理系统、图像处理装置及计算机可读存储介质
JP6025386B2 (ja) 画像計測装置、画像計測方法及び画像計測プログラム
JP2010210584A (ja) ３次元視覚センサ
JP2009053147A (ja) ３次元計測方法および３次元計測装置
JP4234059B2 (ja) カメラキャリブレーション方法およびカメラキャリブレーション装置
JP2010239408A (ja) 車載カメラの校正装置
JP2010193428A (ja) ロール角補正方法及び装置
JP5081313B2 (ja) 車載カメラの校正装置
JP2009042162A (ja) キャリブレーション装置及びその方法
KR101379787B1 (ko) 구멍을 가진 구조물을 이용한 카메라와 레이저 거리 센서의 보정 장치 및 보정 방법
JP2004506215A (ja) ３次元再構成のためのストラップダウンシステム
JP2004138462A (ja) ３次元視覚センサ
TW419933B (en) Method and apparatus for measuring position errors based on positioning marks, and a machining apparatus for correcting positions based on the results of measuring position errors based on positioning marks
JP5858773B2 (ja) ３次元計測方法、３次元計測プログラム及びロボット装置
JP2010128608A (ja) ステレオマッチング処理システム、ステレオマッチング処理方法、及びプログラム
WO2020130006A1 (ja) 情報投影システム、制御装置、及び情報投影方法
JP2002099902A (ja) 両眼立体視によって物体の３次元情報を計測する画像処理装置およびその方法又は計測のプログラムを記録した記録媒体
WO2020230390A1 (ja) 位置姿勢推定装置及び位置姿勢推定方法
JP2008224323A (ja) ステレオ写真計測装置、ステレオ写真計測方法及びステレオ写真計測用プログラム
JPH09329440A (ja) 複数枚の画像の各計測点の対応づけ方法
JP7225109B2 (ja) 作業支援システムおよび作業支援方法
JP2010048581A (ja) 埋金設置位置照合方法および埋金設置位置照合システム

Legal Events

Date Code Title Description
AK Designated states

Kind code of ref document: A1

Designated state(s): CN KR US

AL Designated countries for regional patents

Kind code of ref document: A1

Designated state(s): AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IT LU MC NL PT RO SE SI SK TR

121 Ep: the epo has been informed by wipo that ep was designated in this application
WWE Wipo information: entry into national phase

Ref document number: 10512039

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 2003720942

Country of ref document: EP

Ref document number: 1020047016893

Country of ref document: KR

WWE Wipo information: entry into national phase

Ref document number: 20038127008

Country of ref document: CN

WWP Wipo information: published in national office

Ref document number: 1020047016893

Country of ref document: KR

WWP Wipo information: published in national office

Ref document number: 2003720942

Country of ref document: EP