WO2019087253A1 - ステレオカメラのキャリブレーション方法 - Google Patents

ステレオカメラのキャリブレーション方法 Download PDF

Info

Publication number
WO2019087253A1
WO2019087253A1 PCT/JP2017/039142 JP2017039142W WO2019087253A1 WO 2019087253 A1 WO2019087253 A1 WO 2019087253A1 JP 2017039142 W JP2017039142 W JP 2017039142W WO 2019087253 A1 WO2019087253 A1 WO 2019087253A1
Authority
WO
WIPO (PCT)
Prior art keywords
optical axis
image
stereo camera
calibration
stereo
Prior art date
Application number
PCT/JP2017/039142
Other languages
English (en)
French (fr)
Inventor
潤一 森
Original Assignee
オリンパス株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オリンパス株式会社 filed Critical オリンパス株式会社
Priority to PCT/JP2017/039142 priority Critical patent/WO2019087253A1/ja
Publication of WO2019087253A1 publication Critical patent/WO2019087253A1/ja
Priority to US16/852,683 priority patent/US11295478B2/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/246—Calibration of cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/02—Details
    • G01C3/06—Use of electric means to obtain final indication
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras

Definitions

  • the present invention relates to a method of calibrating a stereo camera.
  • Stereo measurement technology is known as one of distance measurement technologies for an object using an imaging device.
  • the stereo measurement technology is a technology that calculates a three-dimensional position of an object based on the principle of triangulation by acquiring a plurality of images by simultaneously photographing from different viewpoints and using the relative displacement amount in the image of the same object. It is.
  • the prior art 1 is characterized in that accurate positioning is not required (the chart is held in hand and calibration is possible), but in order to stabilize the calculated calibration parameters, a plurality of images taken from different angles You need a chart image.
  • a chart image is photographed a plurality of times, and in the case of a checkered pattern, processing is performed to detect points (markers) that are features such as grid intersection coordinates, and in the case of a grid pattern, center points of the grid.
  • the relationship between the imaging position and the three-dimensional position is expressed by using a stereo camera model consisting of the distortion coefficient of the lens, the focal length, the optical axis position, the attitude between cameras, etc.
  • JP-A-2013-113600 performs vertical and horizontal correction by performing corresponding point search on the reference image and the comparison image, and setting the position at which the proportion of pixels for which the corresponding point is found is maximum as the optimum position.
  • the technology to perform is disclosed.
  • the technology disclosed in the same document will be referred to as prior art 2.
  • a gap in the installation direction of the image pickup means is detected by measuring an interval of a white line which is a known dimension by using an on-vehicle camera using the principle of triangulation, and a user is notified. For example, techniques for improving the reliability of results are disclosed.
  • prior art 3 the technology disclosed in the same document will be referred to as prior art 3.
  • the present invention has been made in view of such a problem, and provides a calibration method that makes it possible to detect and correct a time-lapse shift of a stereo camera with little effort.
  • the calibration method of a stereo camera comprises acquiring a stereo image generated by photographing a chart having at least two markers arranged at known intervals using a stereo camera. Measuring the known interval using the stereo image and the calibration parameter of the stereo camera, and the calibration so that a measurement error which is a difference between the known interval and the measurement result becomes small. Correcting the parameters relating to the optical axis position included in the motion parameters.
  • FIG. 1 shows the overall configuration of a stereo measurement device according to an embodiment of the present invention.
  • FIG. 2 schematically shows a configuration example of the stereo camera shown in FIG.
  • FIG. 3 schematically shows another configuration example of the stereo camera shown in FIG.
  • FIG. 4 shows a state in which an optical axis shift has occurred due to the movement of the lens in the stereo camera of the configuration example shown in FIG.
  • FIG. 5 shows a state in which an optical axis deviation occurs as the lens rotates in the stereo camera of the configuration example shown in FIG.
  • FIG. 6 shows how the posture of the right imaging system changes in the stereo camera of the configuration example shown in FIG.
  • FIG. 7 shows an example of a chart for calibration of a stereo camera.
  • FIG. 8 shows another example of a chart for calibration of a stereo camera.
  • FIG. 1 shows the overall configuration of a stereo measurement device according to an embodiment of the present invention.
  • FIG. 2 schematically shows a configuration example of the stereo camera shown in FIG.
  • FIG. 3 schematically shows another
  • FIG. 9 shows another example of a chart for calibration of a stereo camera.
  • FIG. 10 shows an outline of a process of calibration of a stereo camera in the stereo measurement device shown in FIG.
  • FIG. 11 shows a flow of processing performed by the measurement processing unit shown in FIG.
  • FIG. 12 shows an example of a stereo camera model.
  • FIG. 13 schematically shows an optical axis correction process performed by the optical axis correction processing unit.
  • FIG. 14 shows a processing flow of calibration including optical axis correction processing in which correction in the vertical direction and correction in the horizontal direction are simultaneously performed.
  • FIG. 15 shows another process flow of calibration including an optical axis correction process in which correction in the vertical direction and correction in the horizontal direction are simultaneously performed.
  • FIG. 10 shows an outline of a process of calibration of a stereo camera in the stereo measurement device shown in FIG.
  • FIG. 11 shows a flow of processing performed by the measurement processing unit shown in FIG.
  • FIG. 12 shows an example of a stereo camera model.
  • FIG. 13 schematically shows an optical
  • FIG. 16 shows a process flow of calibration including an optical axis correction process of performing correction in the horizontal direction after correction in the vertical direction.
  • FIG. 17 shows another process flow of calibration including an optical axis correction process of performing correction in the horizontal direction after correction in the vertical direction.
  • FIG. 18 schematically shows the upper and lower correction amount calculation process shown in FIG. 16 and FIG.
  • FIG. 19 schematically shows the left and right correction amount calculation process shown in FIG. 16 and FIG.
  • FIG. 20 illustrates the left and right correction amount calculation process shown in FIG. 16 and FIG.
  • FIG. 21 illustrates the process of determining the relative correction amount in the left and right correction amount calculation process illustrated in FIGS. 16 and 17.
  • FIG. 22 schematically illustrates processing for determining an absolute correction amount in the left and right correction amount calculation processing illustrated in FIG. 16 and FIG.
  • FIG. 23 shows an example of the configuration in which the stereo camera shown in FIG. 1 is mounted on the tip of an endoscope.
  • FIG. 1 shows the overall configuration of a stereo measurement device 10 according to the present embodiment.
  • the stereo measuring device 10 obtains the relative shift amount of the feature points of the same subject in the image from the right image and the left image captured from different viewpoints, and based on the principle of triangulation, the three-dimensional feature points of the subject It is an apparatus that measures the dimensions and the like of the subject by calculating the position.
  • the stereo measurement device 10 may be mounted on, for example, a 3D endoscope.
  • the stereo measurement device 10 includes a stereo camera 20 that generates a stereo image, an image processing device 40 that processes a stereo image generated by the stereo camera 20, and an input device that enables a user to operate the stereo measurement device 10 60, a display 70 for outputting various information supplied from the image processing apparatus 40, and a storage device 80 for storing calibration parameters of the stereo camera 20.
  • the stereo camera 20 is configured to generate a stereo image having a plurality of images with parallax between each other by simultaneously capturing an object from a plurality of different directions.
  • the stereo camera 20 has, for example, a single imaging sensor to generate a plurality of images.
  • a plurality of imaging areas are set on the light receiving surface of a single imaging sensor, and are generated from output signals of pixel groups in the plurality of imaging areas.
  • stereo camera 20 may have a plurality of imaging sensors.
  • the plurality of images are respectively generated from output signals from the plurality of imaging sensors.
  • the stereo camera 20 is configured to generate a stereo image having two images with parallax in the left-right direction.
  • the image processing device 40 is configured to acquire a stereo image from the stereo camera 20 and to process the acquired stereo image.
  • the input device 60 and the display 70 constitute a user interface that enables the exchange of information between the stereo measurement device 10 and the user in cooperation with software.
  • the input device 60 is a device that allows the user to input various operation commands such as start and stop of the stereo measurement device 10, start of measurement, and various information such as a marker interval.
  • the input device 60 is configured by, for example, a mouse or a keyboard that cooperates with the display 70 to configure a graphical user interface.
  • the input device 60 may be configured by a touch panel which is itself a graphical user interface.
  • the input device 60 may be configured of a keyboard provided with dedicated keys and buttons for various operation commands.
  • the display 70 has a display function of displaying an image, characters, and the like.
  • the display 70 outputs information by display.
  • the display 70 may have an audio output function of outputting an audio in addition to the display function.
  • the display 70 may output information by using a combination of display and audio output or using audio output instead of display.
  • the storage device 80 stores preset calibration parameters of the stereo camera 20.
  • the calibration parameters include, for example, internal parameters, external parameters, and distortion coefficients.
  • the internal parameters include, for example, the optical center of the stereo camera 20, the focal length, and the shear coefficient.
  • the calibration parameters stored in the storage device 80 are preset, for example, when the stereo measurement device 10 is manufactured.
  • the image processing apparatus 40 includes a measurement processing unit 42 that performs measurement processing, an optical axis correction processing unit 44 that performs optical axis correction processing, a memory 46 for storing various types of information, the measurement processing unit 42, and optical axis correction processing.
  • the control unit 48 controls the unit 44 and the memory 46.
  • the measurement processing unit 42, the optical axis correction processing unit 44, and the control unit 48 are configured by, for example, one processor as a whole. However, the present invention is not limited to this, and the measurement processing unit 42, the optical axis correction processing unit 44, and the control unit 48 may be configured by a plurality of processors as a whole.
  • the measurement processing unit 42, the optical axis correction processing unit 44, and the control unit 48 may be configured by a dedicated hardware processor configured using an ASIC, an FPGA, or the like.
  • the measurement processing unit 42, the optical axis correction processing unit 44, and the control unit 48 may be configured by a combination of general-purpose hardware such as a CPU and software.
  • the control unit 48 is configured to control the measurement processing unit 42, the optical axis correction processing unit 44, and the memory 46, and also to control the stereo camera 20, the input device 60, the display 70, and the storage device 80. That is, the control unit 48 is configured to centrally control the stereo measurement device 10 in accordance with the operation command input to the input device 60.
  • the control unit 48 outputs, to the display 70, information instructing the user to photograph the chart 90 for calibration of the stereo camera 20 using the stereo camera 20 at the start of use of the stereo measurement device 10, ie, at start-up.
  • the display 70 is configured to output the instruction information.
  • the control unit 48 is also configured to acquire a stereo image from the stereo camera 20 and to store the acquired stereo image in the memory 46.
  • the control unit 48 is further configured to acquire calibration parameters from the storage device 80 and to store the acquired calibration parameters in the memory 46.
  • the optical axis correction processing unit 44 reads the measurement result and the marker interval from the memory 46 at the time of calibration under the control of the control unit 48, and uses the read measurement result to position the optical axis of the optical system of the stereo camera 20. It is configured to correct such parameters.
  • the optical axis correction processing unit 44 is also configured to store the correction amount in the memory 46.
  • the measurement processing unit 42 reads the stereo image, the calibration parameter, and the correction amount from the memory 46 under the control of the control unit 48, and performs three-dimensional measurement using the read stereo image, the calibration parameter, and the correction amount. It is configured.
  • the correction amount is set to 0 in the initial state.
  • the measurement processing unit 42 is also configured to store the measurement result in the memory 46.
  • the control unit 48 is also configured to read out the stereo image, the correction amount and the measurement result from the memory 46 as necessary, and to display the stereo image read out as necessary, the correction amount and the measurement result on the display 70 There is.
  • the stereo camera 20 is configured to generate a stereo image having two images (right and left images) having parallax in the left-right direction. For this reason, the stereo camera 20 has substantially two imaging systems arranged at intervals in the left and right. Each imaging system includes an optical system that generates an optical image, and an image sensor that converts the optical image into an electrical signal to generate an image.
  • FIG. 2 schematically shows one configuration example of the stereo camera 20.
  • the stereo camera 20A shown in FIG. 2 includes an optical system 22A that generates a pair of optical images (right and left optical images) having parallax in the left-right direction, and a pair of optical images as electrical image signals.
  • a single image sensor 24A that generates a set of images (right and left images).
  • the imaging sensor 24A includes a left imaging area 24l including a pixel group that photoelectrically converts a left optical image to generate a left image, and a right imaging area 24r including a pixel group that photoelectrically converts a right optical image to generate a right image.
  • a part of the optical system 22A and a part of the imaging sensor 24A including the left imaging area 24l constitute a left imaging system 20l that generates a left image
  • Another part of the sensor 24A constitutes a right imaging system 20r that generates a right image.
  • the optical system 22A has a plurality of lenses, and the plurality of lenses include a lens 26a commonly included in the left imaging system 20l and the right imaging system 20r.
  • stereo images that is, left and right images, are generated from output signals of pixels in the left imaging area 24l and the right imaging area 24r of the single imaging sensor 24A, respectively.
  • the portion of the optical system 22A included in the left imaging system 201 is referred to as the left optical system 221
  • the portion of the optical system 22A included in the right imaging system 20r is referred to as the right optical system 22r.
  • the left imaging system 20l and the right imaging system 20r are also collectively referred to as left and right imaging systems 20l and 20r.
  • the left optical system 22l and the right optical system 22r are collectively referred to as left and right optical systems 22l and 22r
  • the left imaging area 24l and the right imaging area 24r are collectively referred to as left and right imaging areas 24l and 24r.
  • FIG. 3 schematically shows another configuration example of the stereo camera 20.
  • the stereo camera 20B shown in FIG. 3 includes a left optical system 22B1 that generates a left optical image, a left imaging sensor 24B1 that photoelectrically converts the left optical image to generate a left image, and a right optical that generates a right optical image.
  • a system 22Br and a right imaging sensor 24Br that photoelectrically converts a right optical image to generate a right image are included.
  • the left optical system 22B1 and the left imaging sensor 24B1 form a left imaging system 201 that generates a left image
  • the right optical system 22Br and the right imaging sensor 24Br form a right imaging system 20r that generates a right image. That is, the left optical system 22B1 itself constitutes the left optical system 22l of the left imaging system 201, and the right optical system 22Br itself constitutes the right optical system 22r of the right imaging system 20r.
  • the left imaging sensor 24Bl has a left imaging area 24l including a pixel group that photoelectrically converts a left optical image to generate a left image
  • the right imaging sensor 24Br photoelectrically converts a right optical image to generate a right image It has a right imaging area 24r including a pixel group.
  • stereo images that is, a left image and a right image, are generated from output signals of the left imaging sensor 24B1 and the right imaging sensor 24Br, respectively.
  • the stereo camera 20A shown in FIG. 2 When the stereo camera 20A shown in FIG. 2 is compared with the stereo camera 20B shown in FIG. 3, the stereo camera 20A has a single imaging sensor 24A, and further, the left and right optical systems 22l and 22r are single. Because the lens 26a is shared, the stereo camera 20A is less likely to cause a temporal shift of the left and right imaging systems 20l and 20r compared to the stereo camera 20B, which is preferable.
  • the shift of the optical axis of the optical system of the stereo camera 20 is a main factor that causes a measurement error.
  • FIG. 4 shows a state in which an optical axis deviation occurs in the stereo camera 20A shown in FIG. 2 due to the movement of the lens 26b in the optical system 22A.
  • the optical axis 28r of the right optical system 22r of the right imaging system 20r also moves to the right.
  • the optical axis 28r of the right optical system 22r of the right imaging system 20r also moves in the left direction.
  • the optical axis 28r of the right optical system 22r of the right imaging system 20r also moves in the vertical direction.
  • FIG. 5 shows a state in which an optical axis deviation occurs in the stereo camera 20A shown in FIG. 2 as the lens 22b in the optical system 22A is rotated.
  • the optical axis 28r of the right optical system 22r of the right imaging system 20r moves in the right direction Do.
  • the optical axis 28r of the right optical system 22r of the right imaging system 20r moves in the left direction.
  • Such parallel movement of the optical axes 28r and 28l of the left and right optical systems 22l and 22r of the left and right imaging systems 20l and 20r can be corrected by the optical axis correction processing in the present embodiment.
  • FIG. 6 shows a state in which the overall posture of the right imaging system 20r has changed with respect to the left imaging system 20l in the stereo camera 20B shown in FIG. Specifically, FIG. 6 illustrates the entire right imaging system 20r rotated counterclockwise as viewed from above with respect to the left imaging system 201. Such a change in relative posture between the left and right imaging systems 20l and 20r is also a factor that causes a measurement error of the stereo measurement device 10.
  • the stereo measuring device 10 is configured to perform calibration at the time of activation in order to correct the deviation of the optical axes 28r and 28l of the left and right optical systems 22l and 22r of the left and right imaging systems 20l and 20r.
  • the calibration is performed by photographing the chart 90. For this reason, the stereo measurement device 10 instructs the user to capture the chart 90 via the display 70 at startup.
  • shooting of the chart 90 is performed, for example, in freehand, in other words, in a state where a person holds the chart 90 in his hand. This is to enable quick start of stereo measurement.
  • photographing of the chart 90 may be performed by holding the chart 90 in an optimal positional relationship with respect to the stereo camera 20 using a fixture or the like, but the stereo measuring device 10 of this embodiment It does not require that.
  • the photographing of the chart 90 may be performed at least once. Of course, the chart 90 may be taken more times than that.
  • the chart 90 has a plurality of markers spaced at known intervals.
  • the chart 90 may have at least two markers.
  • the markers may be, for example, grid intersections or circles. However, the markers are not limited to these.
  • FIG. 7 shows a chart 90A for calibration of the stereo camera 20.
  • the chart 90A has a checkered pattern 94A.
  • the checker pattern 94A has a large number of black and white squares (squares) arranged alternately adjacent to each other vertically and horizontally.
  • the markers 92A are, for example, intersection points of squares of the checker pattern 94A, in other words, contacts of white or black squares located diagonally, and are arranged at known intervals.
  • FIG. 8 shows another chart 90 B for calibration of the stereo camera 20.
  • the chart 90B has a circle grid pattern 94B.
  • the circle grid pattern 94B has a number of black circle markers 92B arranged at grid intersections.
  • the markers 92B are arranged, for example, at regular intervals in the vertical and horizontal directions. The spacing of the markers 92B need only be known and may not be constant.
  • FIG. 9 shows another chart 90C for calibration of the stereo camera 20.
  • the chart 90C has only two black circle markers 92C.
  • the markers 92C are arranged at known intervals.
  • the charts 90A, 90B, and 90C are collectively referred to as the chart 90, and the markers 92A, 92B, and 92C are collectively referred to as the marker 92.
  • FIG. 10 shows an outline of the process of calibration of the stereo camera 20 in the stereo measuring device 10 shown in FIG.
  • a stereo image of the chart 90 ie, a right image and a left image, generated by the stereo camera 20 and having markers spaced at known intervals.
  • the stereo image is generated, for example, from the output signal of the single imaging sensor 24 of the stereo camera 20A shown in FIG.
  • the stereo image may be generated from the output signals of the left imaging sensor 24B1 and the right imaging sensor 24Br of the stereo camera 20B shown in FIG.
  • the measurement processing unit 42 measures the marker interval (distance between two points) by performing image conversion processing, disparity calculation processing, three-dimensional position calculation processing, and physical quantity calculation processing. Details of the measurement of the marker interval will be described later with reference to FIG.
  • the measurement error (the difference between the actual distance between the markers (that is, the above-mentioned known distance) and the measurement result of the distance between the markers by the measurement processing unit 42) is small.
  • the correction amount is calculated by searching the optical axis position to be set. Details of the calculation of the correction amount will be described later.
  • the measurement processing unit 42 obtains relative shift amounts of the same subject in the right image and the left image captured from different viewpoints, and measures the dimensions and the like of the subject based on the principle of triangulation.
  • the measurement processing unit 42 performs a series of processes including an image conversion process, a parallax calculation process, a three-dimensional position calculation process, and a physical quantity calculation process.
  • FIG. 11 shows a flow of a series of processing performed by the measurement processing unit 42.
  • step S11 the measurement processing unit 42 performs an image conversion process.
  • Image conversion processing includes distortion correction and parallelization conversion.
  • Distortion correction is processing for correcting the influence of distortion due to the lens. This improves the accuracy of the measurement.
  • the parallelization transformation utilizes the fact that the position where the same subject appears from the positional relationship between the right imaging system and the left imaging system is restricted (epipolar geometry), and corresponding points exist in the search in the left and right direction (the epipolar line le is parallel Conversion processing).
  • the search for corresponding points can be limited in the left-right direction, and the processing speed is increased.
  • step S12 the measurement processing unit 42 performs disparity calculation processing.
  • the parallax calculation process is a process of calculating the difference between the positions at which the marker appears in the right image and the left image.
  • a method using similarity such as ZNCC, or a method using feature point (marker) detection can be used.
  • step S13 the measurement processing unit 42 performs three-dimensional position calculation processing.
  • the three-dimensional position calculation process is a process of calculating the spatial position of the object, that is, the three-dimensional position, using parallax, a stereo camera model, and a calibration parameter.
  • step S14 the measurement processing unit 42 performs a physical quantity calculation process.
  • the physical quantity calculation process is a process of calculating a physical quantity such as a dimension between two points (Euclidean distance) and an area using the calculated three-dimensional position.
  • FIG. 12 shows an example of a stereo camera model.
  • the postures between the left and right imaging systems 20l and 20r of the stereo camera 20 are parallel to each other, and the lenses of the left and right optical systems 22l and 22r of the left and right imaging systems 20l and 20r There is no distortion.
  • the left and right imaging systems 20l and 20r of the stereo camera 20 are configured substantially the same.
  • the left and right optical systems 22l and 22r of the left and right imaging systems 20l and 20r have the same focal length f.
  • An XYZ coordinate system is set with the lens center O of the left optical system 221 as an origin, and an X'Y'Z 'coordinate system is set with the lens center O' of the right optical system 22r as an origin.
  • the left and right imaging systems 20l and 20r are arranged in parallel with each other at an interval b in the left-right direction (that is, along the X axis or the X 'axis). That is, the base-line lengths of the left and right imaging systems 20l and 20r, in other words, the distance between the optical axes of the left and right optical systems 22l and 22r, is b.
  • the left and right imaging areas 24l and 24r of the left and right imaging systems 20l and 20r are arranged such that their imaging surfaces are located on the back focal planes of the left and right optical systems 22l and 22r.
  • virtual left and right projection imaging surfaces 30l and 30r are set on the front focal planes of the left and right optical systems 22l and 22r, respectively.
  • a uv orthogonal coordinate system is set on the left projection imaging surface 30l with the optical axis 28l of the left optical system 22l as the center, and on the right projection imaging surface 30r, the optical axis 28r of the right optical system 22r is centered As u, v orthogonal coordinate system is set.
  • Coordinates of the three-dimensional position of the subject 32 in the XYZ coordinate system are assumed to be P (X, Y, Z).
  • the coordinates in the uv orthogonal coordinate system of the point where the straight line connecting the lens center O of the left optical system 22l and the three-dimensional position P (X, Y, Z) of the object 32 intersects with the left projection imaging surface 30l is Pl (u, u, v)
  • the coordinates in the u'v orthogonal coordinate system of the point where the straight line connecting the lens center O 'of the right optical system 22r and the three-dimensional position P (X, Y, Z) of the object 32 intersects the right projection imaging surface 30r Let Pr (u ', v). Further, the pixel pitch of the left and right imaging areas 24l and 24r is ⁇ .
  • the measurement processing unit 42 calculates the three-dimensional position P (X, Y, Z) of the subject 32 in the three-dimensional position calculation process.
  • the measurement processing unit 42 calculates a physical quantity such as a dimension between two points (Euclidean distance) and an area in the physical quantity calculation process.
  • a physical quantity such as a dimension between two points (Euclidean distance) and an area in the physical quantity calculation process.
  • the measurement processing unit 42 also causes the memory 46 to store measurement results obtained by a series of processes of image conversion processing, disparity calculation processing, three-dimensional position calculation processing, and physical quantity calculation processing.
  • the subject 32 is the marker 92 of the chart 90.
  • the measurement processing unit 42 measures an interval between one set or two or more sets of two markers 92 by performing the image conversion process, the parallax calculation process, the three-dimensional position calculation process, and the physical quantity calculation process described above.
  • the measurement processing unit 42 also causes the memory 46 to store the measurement result of the distance between one or more sets of two markers 92.
  • any two markers 92 of the chart 90 are spaced at known intervals.
  • Information of a known interval (the above-described marker interval) is input, for example, via the input device 60 and stored in the memory 46.
  • known intervals information on known intervals is referred to simply as known intervals.
  • the chart 90 has three or more markers 92, as in the chart 90A and the chart 90B, it is not necessary to measure the spacing of the markers 92 for all sets of two markers 92. That is, one or more sets of two markers 92 used to measure the spacing of the markers 92 may be appropriately selected. Selection of the two markers 92 used to measure the interval of the markers 92 is performed based on the position of the markers 92, for example.
  • a marker 92 with a high image height i.e., a marker 92 far from the optical axis
  • a marker 92 with a low image height i.e., a marker 92 close to the optical axis. Therefore, the marker 92 used to measure the distance may be selected based on the image height of the marker 92. Preferably, a marker 92 having a relatively low image height may be selected.
  • the marker 92 with a large depth (that is, the marker 92 far from the stereo camera 20) is more likely to have an error in the measurement position as compared with the marker 92 with a small depth (that is, the marker 92 closer to the stereo camera 20). Therefore, it is preferable to calculate the depth of each marker 92 or an appropriate number of markers 92, and to select the marker 92 used for measuring the interval based on the calculated depth of the markers 92. Preferably, markers 92 with a relatively small depth may be selected.
  • An error may be calculated for all combinations of two markers 92, and the average error, the maximum error, etc. may be used. For example, two markers 92 with low image height may be selected, and the error may be used.
  • optical axis correction processing unit 44 corrects the positions of the optical axes 28 l and 28 r of the left and right optical systems 22 l and 22 r of the left and right imaging systems 20 l and 20 r of the stereo camera 20 using the measurement result of the measurement processing unit 42. .
  • This correction processing is equivalent to moving the positions of the optical axes 28l and 28r of the left and right optical systems 22l and 22r in the vertical and horizontal directions on the imaging surfaces of the left and right imaging areas 24l and 24r of the stereo camera 20.
  • the amount of displacement in the vertical and horizontal directions is calculated, and the amount of offsetting the amount of displacement is used as the amount of correction of the positions of the optical axes 28l and 28r.
  • the process corresponding to moving the optical axis position is, for example, a process of changing a parameter related to the optical axis position.
  • the description of moving the optical axis position or changing the optical axis position means changing the parameter in this manner.
  • the optical axis correction processing unit 44 measures the measurement error (the actual distance (known distance) of the markers 92) and the measurement error of the distance between one or more sets of two markers 92 while changing the positions of the optical axes 28l and 28r.
  • the amount of correction of the optical axes 28l and 28r is determined by searching for the position of the optical axes 28l and 28r at which the difference between the processing unit 42 and the measurement result of the interval of the markers 92 is minimized.
  • the search for the optical axis position is performed, for example, as follows.
  • the optical axis correction processing unit 44 reads the known interval of the markers 92 and the measurement result by the measurement processing unit 42 from the memory 46 and calculates a measurement error.
  • the optical axis correction processing unit 44 changes parameters relating to the positions of the optical axes 28l and 28r, and stores the changed parameters in the memory 46 as correction amounts.
  • the measurement processing unit 42 reads the stereo image, the calibration parameter, and the correction amount from the memory 46, measures the interval of the markers 92 using these, and stores the measurement result in the memory 46.
  • the optical axis correction processing unit 44 and the measurement processing unit 42 repeatedly perform changing the parameter related to the optical axis position and measuring the interval of the markers 92 using the changed parameter.
  • the optical axis correction processing unit 44 determines the positions of the optical axes 28l and 28r at which the measurement error is minimized based on the measurement error calculated using the measurement result of the measurement processing unit 42 each time the parameter related to the optical axis position is changed. Find parameters related to The optical axis correction processing unit 44 stores the parameter related to the position of the optical axes 28l and 28r thus obtained in the memory 26 as a correction amount.
  • FIG. 13 schematically illustrates the optical axis correction process performed by the optical axis correction processing unit 44.
  • the position of the optical axis 28l is changed with two parameters in the vertical and horizontal directions
  • the position of the optical axis 28r is changed with two parameters in the vertical and horizontal directions.
  • the picture is drawn. That is, the optical axis correction process is performed with four parameters.
  • the search for the position of the optical axes 281 and 28r that minimizes the measurement error may be performed using one of the following two methods.
  • the optical axis correction method (1) is a method in which correction in the vertical direction and correction in the horizontal direction are performed simultaneously. In other words, it is a method of correcting four parameters simultaneously.
  • the optical axis correction method (2) is a method of performing correction in the left-right direction after performing correction in the up-down direction. In other words, first, two parameters are corrected, and then the remaining two parameters are corrected.
  • optical axis correction method (1) is a method in which correction in the vertical direction and correction in the horizontal direction are simultaneously performed.
  • FIG. 14 shows a processing flow of calibration including optical axis correction processing by the optical axis correction method (1).
  • step S21 chart shooting is performed.
  • the control unit 48 outputs an instruction to capture the chart 90 to the display 70.
  • the control unit 48 acquires a stereo image from the stereo camera 20 and stores the stereo image in the memory 46.
  • step S22 measurement processing is performed.
  • the control unit 48 acquires calibration parameters from the storage device 80, and stores the acquired calibration parameters in the memory 46. Further, the control unit 48 outputs an instruction to input the known interval of the markers 92 in the chart 90 to the display 70. Thereafter, the control unit 48 acquires the known interval of the marker 92 from the input device 60 and stores the same in the memory 46. Thereafter, the measurement processing unit 42 reads the stereo image, the calibration parameter, and the correction amount (0 in the initial state) from the memory 46, measures the interval of the markers 92 using these, and stores the measurement result in the memory 46. .
  • the optical axis correction processing unit 44 performs correction amount calculation processing in cooperation with the measurement processing unit 42.
  • the optical axis correction processing unit 44 reads the known interval of the markers 92 and the measurement result by the measurement processing unit 42 from the memory 46 and calculates a measurement error.
  • the optical axis correction processing unit 44 changes a parameter related to the optical axis position, and stores the changed parameter in the memory 46 as a correction amount.
  • the measurement processing unit 42 measures the interval of the markers 92 using the stereo image, the calibration parameter, and the correction amount (parameter related to the optical axis position after change), and stores the measurement result in the memory 46. Let The optical axis correction processing unit 44 and the measurement processing unit 42 repeatedly perform this series of processing.
  • the optical axis correction processing unit 44 determines the parameter related to the optical axis position at which the measurement error is minimum based on the measurement error calculated using the measurement result of the measurement processing unit 42 each time the parameter related to the optical axis position is changed.
  • the optical axis correction method (1) is a method of correcting four parameters simultaneously. Therefore, when changing the parameter relating to the optical axis position in the correction amount calculation process of step 22, the optical axis correction processing unit 44 raises and lowers the position of the optical axis 28l of the left optical system 22l with respect to the left image. A process equivalent to changing the position of the optical axis 28r of the right optical system 22r in the vertical direction and the lateral direction is performed on the right image while changing both the direction and the lateral direction.
  • the correction amount calculation processing can be performed using a steepest descent method using a measurement error as an objective function or a full search method. However, the whole search method may have a huge computational cost.
  • FIG. 15 shows another processing flow of calibration including the optical axis correction processing by the optical axis correction method (1) in which the vertical correction and the horizontal correction are simultaneously performed.
  • step S31 chart shooting is performed. Chart shooting is as described above.
  • step S32 measurement processing is performed.
  • the measurement process is as described above.
  • step S33 the optical axis correction processing unit 44 determines the necessity of the correction, that is, determines whether or not the correction is necessary, based on the measurement result of the measurement process of step S31. Therefore, the optical axis correction processing unit 44 compares the measurement error (the difference between the known interval of the markers 92 and the measurement result of the interval of the markers 92 by the measurement processing unit 42) with a predetermined threshold value. As a result of comparison, if the measurement error is equal to or less than the threshold value, the optical axis correction processing unit 44 determines that no correction is necessary. Conversely, if the measurement error is larger than the threshold value, the correction is necessary. It is determined that If it is determined that the correction is not necessary, the calibration process is terminated. Conversely, if it is determined that the correction is necessary, the process proceeds to step S34.
  • the measurement error the difference between the known interval of the markers 92 and the measurement result of the interval of the markers 92 by the measurement processing unit 42
  • step S34 the optical axis correction processing unit 44 performs correction amount calculation processing in cooperation with the measurement processing unit 42.
  • the correction amount calculation process is as described above.
  • optical axis correction method (2) is a method of performing correction in the left-right direction after performing correction in the up-down direction.
  • FIG. 16 shows a processing flow of calibration including optical axis correction processing by the optical axis correction method (2).
  • step S41 chart shooting is performed. Chart shooting is as described above.
  • step S42 measurement processing is performed.
  • the measurement process is as described above.
  • step S43 the optical axis correction processing unit 44 performs the vertical correction amount calculation processing.
  • the vertical correction amount calculation processing calculates the vertical shift amount by performing processing equivalent to changing the positions of the optical axes 28l and 28r of the left and right optical systems 22l and 22r in the vertical direction, and offsets the vertical shift amount.
  • the amount to be set is a process of setting the amount of vertical correction of the positions of the optical axes 28l and 28r. Details of the vertical correction amount calculation process will be described later.
  • step S44 the optical axis correction processing unit 44 performs left and right correction amount calculation processing.
  • the left and right correction amount calculation processing calculates the left and right shift amount by performing processing equivalent to changing the positions of the optical axes 28l and 28r of the left and right optical systems 22l and 22r in the left and right direction, and cancels this left and right shift amount.
  • the amount to be corrected is a process of setting the left and right correction amounts of the positions of the optical axes 28l and 28r. Details of the left and right correction amount calculation process will be described later.
  • FIG. 17 shows another processing flow of calibration including an optical axis correction process by the optical axis correction method (2) which is a method of performing correction in the horizontal direction after performing correction in the vertical direction.
  • step S51 chart shooting is performed. Chart shooting is as described above.
  • step S52 measurement processing is performed.
  • the measurement process is as described above.
  • step S53 the optical axis correction processing unit 44 determines the necessity of correction, that is, determines whether or not correction is necessary, based on the measurement result of the measurement process of step S31.
  • the determination of the necessity of the correction is performed based on the measurement error of the interval of the markers 92. Therefore, the optical axis correction processing unit 44 compares the measurement error (the difference between the known interval of the markers 92 and the measurement result of the interval of the markers 92 by the measurement processing unit 42) with a predetermined threshold value. As a result of comparison, if the measurement error is equal to or less than the threshold value, the optical axis correction processing unit 44 determines that no correction is necessary.
  • the process proceeds to step S54. On the contrary, if it is determined that the correction is not necessary, the calibration process is ended.
  • step S54 the optical axis correction processing unit 44 determines the necessity of vertical correction, that is, determines whether vertical correction is necessary, based on the measurement result of the measurement process of step S31.
  • the determination of the necessity of the vertical correction is performed based on the deviation of the vertical coordinate of the two corresponding points on the right image and the left and right images with respect to the same marker. For this reason, the optical axis correction processing unit 44 compares the vertical coordinates of the two corresponding points of each marker 92.
  • the optical axis correction processing unit 44 Determines that vertical correction is not necessary, and conversely, if the vertical coordinates of the two corresponding points do not match, or if the vertical coordinate deviation of the two corresponding points is larger than the threshold value For example, it is determined that vertical correction is necessary. If it is determined that the up and down correction is necessary, the process proceeds to step S55. Conversely, if it is determined that the up and down correction is not necessary, the process proceeds to step S56.
  • step S55 the optical axis correction processing unit 44 performs the vertical correction amount calculation processing.
  • the vertical correction amount calculation processing calculates the vertical shift amount by performing processing equivalent to changing the positions of the optical axes 28l and 28r of the left and right optical systems 22l and 22r in the vertical direction, and offsets the vertical shift amount.
  • the amount to be set is a process of setting the amount of vertical correction of the positions of the optical axes 28l and 28r. Details of the vertical correction amount calculation process will be described later. Thereafter, the process proceeds to step S56.
  • step S56 the optical axis correction processing unit 44 performs left and right correction amount calculation processing.
  • the left and right correction amount calculation processing calculates the left and right shift amount by performing processing equivalent to changing the positions of the optical axes 28l and 28r of the left and right optical systems 22l and 22r in the left and right direction, and cancels this left and right shift amount.
  • the amount to be corrected is a process of setting the left and right correction amounts of the positions of the optical axes 28l and 28r. Details of the left and right correction amount calculation process will be described later.
  • FIG. 18 schematically shows the upper and lower correction amount calculation process shown in FIG. 16 and FIG.
  • two corresponding points P1l and P1r of one marker and two corresponding points P2l and P2r of another one marker are drawn.
  • the two corresponding points P11 and P1r are respectively a point on the right image and a point on the left image corresponding to the same marker.
  • two corresponding points P2l and P2r are respectively a point on the right image and a point on the left image corresponding to another identical marker.
  • Each of the corresponding points P11 and P1r and the corresponding points P21 and P2r may be considered to correspond to Pl (u, v) and Pr (u ', v) in FIG.
  • the coordinates in the vertical direction are referred to as y-coordinates.
  • the y-coordinates of the corresponding points P11 and P1r are mutually offset, and the y-coordinates of the corresponding points P2l and P2r are likewise mutually offset.
  • the optical axis correction processing unit 44 calculates the amount of displacement of the y coordinates of the corresponding points P11 and P1r or the corresponding points P21 and P2r, that is, the amount of vertical deviation, and offsets the amount of vertical deviation to the memory 46 as the amount of vertical correction.
  • the vertical shift amount of the corresponding points P11 and P1r and the vertical shift amount of the corresponding points P21 and P2r are calculated, the average value of these two vertical shift amounts is calculated, and the amount by which the average value is offset is calculated as the vertical correction amount. It may be
  • the vertical correction amount calculation process since the vertical shift amount can be obtained from the vertical coordinates of two corresponding points of one marker, it is possible to calculate the vertical correction amount earlier than the horizontal correction amount.
  • the amount of vertical deviation obtained from the vertical coordinates of two corresponding points of one marker is a relative amount of vertical deviation. Therefore, although it is possible to calculate the relative vertical correction amount, it is not possible to calculate the absolute vertical correction amount. However, it is possible to calculate absolute upper and lower correction amounts by using three markers in the chart 90 arranged at known intervals. For example, absolute upper and lower correction amounts are calculated by performing a process of aligning these three markers on a straight line using the three markers in the chart 90 arranged at a predetermined interval at known intervals. be able to.
  • FIG. 19 schematically shows the left and right correction amount calculation process shown in FIG. 16 and FIG. FIG. 19 illustrates how the position of the optical axis 28l is changed by one parameter in the left-right direction for the left image, and the position of the optical axis 28r is changed by two parameters in the left-right direction also for the right image. . That is, the optical axis correction process is performed with two parameters.
  • FIG. 20 illustrates the left and right correction amount calculation process shown in FIG. 16 and FIG.
  • the coordinate in the left-right direction is referred to as the x-coordinate
  • the correction amount for the x-coordinate of the optical axis 28l of the left optical system 22l in the left image is ⁇ clx
  • the x-coordinate of the optical axis 28r of the right optical system 22r in the right image Let ⁇ crx be a correction amount for the measurement error of the interval between two markers be e.
  • the left and right correction amount calculation processing is performed by calculating the correction amounts ⁇ clx and ⁇ crx that minimize the measurement error e of the interval between the two markers, and the calculated ⁇ clx and ⁇ crx are respectively calculated by the light of the left and right optical systems
  • the correction amounts in the left and right direction of the shafts 28l and 28r are used.
  • ⁇ clx and ⁇ crx can be performed using a full search, the steepest descent method, or the like.
  • Process (1) is a process of determining a relative correction amount
  • process (2) is a process of determining a relative correction amount
  • FIG. 21 illustrates the process of determining the relative correction amount.
  • the main factor of the change of the measurement error e in the process (1) is the parallax amount. Further, the factor of the change of the measurement error e in the process (2) is an error due to distortion correction. The error due to this distortion correction has less influence than the error due to the parallax amount.
  • FIG. 23 shows a configuration example in which the stereo camera 20 of the stereo measurement device 10 of the present embodiment is mounted on the distal end portion of the endoscope 110.
  • the chart 90 is disposed inside the removable cap 120 at the tip of the endoscope 110.
  • the cap 120 has a recess 122 into which the tip of the endoscope 110 can be inserted with almost no gap.
  • the chart 90 is disposed on the bottom surface 122 a of the recess 122 of the cap 120.
  • the imaging of the chart 90 at the time of calibration is performed in a state in which the tip end portion of the endoscope 110 is inserted into the concave portion 122 of the cap 120 and abuts on the bottom surface 122 a. By doing this, the relative posture between the stereo camera 20 and the chart 90 at the time of shooting is stabilized, and the correction amount is also stabilized.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Electromagnetism (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

ステレオカメラのキャリブレーション方法は、既知の間隔を置いて配置された２つのマーカを少なくとも有するチャートを、ステレオカメラを用いて撮影することにより生成されたステレオ画像を取得することを有する。キャリブレーション方法はまた、前記ステレオ画像と、前記ステレオカメラのキャリブレーションパラメータとを用いて、前記既知の間隔を計測することを有する。キャリブレーション方法はさらに、前記既知の間隔とその計測結果との差である計測誤差が小さくなるように、前記キャリブレーションパラメータに含まれる光軸位置に係るパラメータを補正することを有する。

Description

ステレオカメラのキャリブレーション方法
　本発明は、ステレオカメラのキャリブレーション方法に関する。
　撮像装置を用いた被写体の距離計測技術の１つとして、ステレオ計測技術が知られている。ステレオ計測技術は、異なる視点から同時に撮影して複数の画像を取得し、同一被写体の画像中の相対的なズレ量を用いて、三角測量の原理に基づいて被写体の３次元位置を算出する技術である。
　被写体の位置を精度良く求めるためには、焦点距離、光軸位置、歪曲収差（ディストーション）などの光学特性を示す内部パラメータと、左右光学系の相対位置などの幾何配置情報を示す外部パラメータを予め保持する必要がある。これらのステレオ計測に必要なパラメータを算出する工程をキャリブレーションと呼び、既知のチャートパターンを撮影することで内部パラメータ及び外部パラメータ（以下、キャリブレーションパラメータと呼ぶ）を推定する手法が知られている。
　ステレオカメラの出荷時に製造誤差等による個体差を有していた場合でも、キャリブレーションによってキャリブレーションパラメータを求めることで、個体差によらず正しい計測結果を求めることが可能となる。一方で、物理的な衝撃や、熱湿度による膨張率変化などの影響を受けて、経時的に光学系特性や左右光学系の幾何配置が変化すると、計測精度は劣化する。
　Zhengyou Zhang, "A Flexible New Technique for Camera Calibration", IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE, VOL. 22, NO. 11, NOVEMBER 2000, 1330-1334には、既知のパターン（チェッカーパターンや、グリッドパターンなど）を有する平面チャートを複数枚撮影し、撮像されたマーカの座標値と、パターンの幾何的情報の関係を利用して、ステレオカメラのキャリブレーションパラメータを算出する技術が開示されている。以下、同文献に開示されている技術を従来技術１と称する。
　従来技術１は、正確な位置決めを必要としない（チャートを手に持ちキャリブレーションが可能である）ことを特徴としているが、算出されるキャリブレーションパラメータを安定させるために、異なる角度から撮影した複数枚のチャート画像が必要である。
　チャート画像を複数回撮影し、チェッカーパターンであれば格子の交点座標、グリッドパターンであればグリッドの中心点など特徴となる点（マーカ）を検出する処理を行う。
　レンズの歪み係数、焦点距離、光軸位置、カメラ間姿勢などからなるステレオカメラモデルを用いることで、撮像位置と３次元位置の関係を表現し、（マーカの数×撮影回数）個の連立方程式を立てることができる。
　従来技術１では、仮想的な３次元点群座標とカメラパラメータから像面上に再投影される点と、実際に撮像されたマーカ座標の誤差（再投影誤差）が最小となるように、レーベンバーグ・マーカート法などを用いてカメラパラメータを最適化する。未知のカメラパラメータ数に対し、方程式の数の方が多いため最小化問題として解く。このため、得られる解にはばらつきがあり、撮影回数またはマーカの数を増やすことで安定化が図られる。
　特開２０１３－１１３６００号公報には、基準画像と比較画像について対応点探索を行い、対応点が見出された画素の割合が最大となる位置を最適位置とすることで、上下方向の補正を行う技術が開示されている。以下、同文献に開示されている技術を従来技術２と称する。
　特開平０８－２８５５３４号公報には、車載カメラから三角測量の原理を用いて、既知の寸法である白線の間隔を測定することで、撮像手段の設置方向のズレ等を検出し、ユーザに通知するなど、結果の信頼性を高める技術が開示されている。以下、同文献に開示されている技術を従来技術３と称する。
　キャリブレーション後に光学系の変化（経時ズレ）が発生すると、ステレオ計測精度が劣化する。
　この問題に対して、経時ズレが発生していることを検知する（従来技術３）手段や、縦方向の補正をする（従来技術２）手段が提案されているが、十分な補正手段を提供できていない。
　従来のキャリブレーション手段（従来技術１）を用いて、計測前に毎回キャリブレーションを実施することで、経時ズレを補正することは可能であるが、異なる角度から複数回チャートを撮影する必要があり、効率的でない。
　本発明は、このような課題に鑑みてなされたものであり、ステレオカメラの経時ズレを少ない手間で検出して補正することを可能にするキャリブレーション方法を提供する。
　本発明に係るステレオカメラのキャリブレーション方法は、既知の間隔を置いて配置された２つのマーカを少なくとも有するチャートを、ステレオカメラを用いて撮影することにより生成されたステレオ画像を取得することと、前記ステレオ画像と、前記ステレオカメラのキャリブレーションパラメータとを用いて、前記既知の間隔を計測することと、前記既知の間隔とその計測結果との差である計測誤差が小さくなるように、前記キャリブレーションパラメータに含まれる光軸位置に係るパラメータを補正することとを有する。
図１は、本発明の実施形態に係るステレオ計測装置の全体構成を示している。 図２は、図１に示されたステレオカメラの構成例を模式的に示している。 図３は、図１に示されたステレオカメラの別の構成例を模式的に示している。 図４は、図２に示された構成例のステレオカメラにおいて、レンズが移動したことにより、光軸ズレが発生した様子を示している。 図５は、図２に示された構成例のステレオカメラにおいて、レンズが回転したことにより、光軸ズレが発生した様子を示している。 図６は、図３に示された構成例のステレオカメラにおいて、右撮像系の姿勢が変化した様子を示している。 図７は、ステレオカメラのキャリブレーション用のチャートの一例を示している。 図８は、ステレオカメラのキャリブレーション用のチャートの別の例を示している。 図９は、ステレオカメラのキャリブレーション用のチャートのまた別の例を示している。 図１０は、図１に示されたステレオ計測装置におけるステレオカメラのキャリブレーションの処理の概要を示している。 図１１は、図１に示された計測処理部が行う処理のフローを示している。 図１２は、ステレオカメラモデルの１例を示している。 図１３は、光軸補正処理部が行う光軸補正処理を模式的に示している。 図１４は、上下方向の補正と左右方向の補正を同時に行う光軸補正処理を含むキャリブレーションの処理フローを示している。 図１５は、上下方向の補正と左右方向の補正を同時に行う光軸補正処理を含むキャリブレーションの別の処理フローを示している。 図１６は、上下方向の補正を行った後に左右方向の補正を行う光軸補正処理を含むキャリブレーションの処理フローを示している。 図１７は、上下方向の補正を行った後に左右方向の補正を行う光軸補正処理を含むキャリブレーションの別の処理フローを示している。 図１８は、図１６と図１７に示された上下補正量算出処理を模式的に示している。 図１９は、図１６と図１７に示された左右補正量算出処理を模式的に示している。 図２０は、図１６と図１７に示された左右補正量算出処理を図解して示している。 図２１は、図１６と図１７に示された左右補正量算出処理において、相対補正量を決定する処理を図解して示している。 図２２は、図１６と図１７に示された左右補正量算出処理において、絶対補正量を決定する処理を図解して示している。 図２３は、図１に示されたステレオカメラが内視鏡の先端部に搭載された構成例を示している。
　［装置の全体構成］
　以下、図面を参照しながら実施形態について説明する。図１は、本実施形態に係るステレオ計測装置１０の全体構成を示している。
　ステレオ計測装置１０は、異なる視点から撮影された右画像と左画像から画像中の同一の被写体の特徴点の相対的なズレ量を求め、三角測量の原理に基づいて被写体の特徴点の３次元位置を算出することにより、被写体の寸法等を計測する装置である。ステレオ計測装置１０は、例えば、３Ｄ内視鏡に搭載され得る。
　ステレオ計測装置１０は、ステレオ画像を生成するステレオカメラ２０と、ステレオカメラ２０によって生成されたステレオ画像を処理する画像処理装置４０と、ステレオ計測装置１０をユーザが操作することを可能にする入力機器６０と、画像処理装置４０から供給される各種情報を出力する表示器７０と、ステレオカメラ２０のキャリブレーションパラメータを記憶している記憶装置８０を有している。
　ステレオカメラ２０は、被写体を複数の異なる方向から同時に撮影することにより、相互間に視差のある複数の画像を有するステレオ画像を生成するように構成されている。ステレオカメラ２０は、複数の画像を生成するため、例えば、単一の撮像センサを有している。この場合、複数の画像は、単一の撮像センサの受光面に複数の撮像エリアが設定され、それら複数の撮像エリア内の画素群の出力信号からそれぞれ生成される。しかし、これに限らず、ステレオカメラ２０は、複数の撮像センサを有していてもよい。この場合、例えば、複数の画像は、それぞれ、複数の撮像センサからの出力信号から生成される。本実施形態では、ステレオカメラ２０は、左右方向に視差のある２つの画像を有するステレオ画像を生成するように構成されている。
　画像処理装置４０は、ステレオカメラ２０からステレオ画像を取得し、取得したステレオ画像を処理するように構成されている。
　入力機器６０と表示器７０は、ソフトウェアと協働して、ステレオ計測装置１０とユーザの間の情報のやり取りを可能にするユーザインターフェースを構成している。
　入力機器６０は、ステレオ計測装置１０の起動や停止、計測開始などの各種の操作コマンドや、マーカ間隔などの各種の情報をユーザが入力することを可能にするデバイスである。入力機器６０は、例えば、表示器７０と協働してグラフィカルユーザインターフェースを構成するマウスやキーボードで構成されている。または、入力機器６０は、それ自体がグラフィカルユーザインターフェースであるタッチパネルで構成されていてもよい。あるいは、入力機器６０は、各種の操作コマンドの専用のキーやボタンを備えたキーボードで構成されていてもよい。
　表示器７０は、画像や文字等を表示する表示機能を有している。表示器７０は、表示によって情報の出力を行う。表示器７０は、表示機能に加えて、音声を出力する音声出力機能を有していてもよい。表示器７０は、表示と音声出力の併用によって、または、表示に代えて音声出力によって情報の出力を行ってもよい。
　記憶装置８０は、ステレオカメラ２０の予め設定されたキャリブレーションパラメータを記憶している。キャリブレーションパラメータには、例えば、内部パラメータ、外部パラメータ、歪み係数が含まれる。内部パラメータには、例えば、ステレオカメラ２０の光学的中心、焦点距離、せん断係数が含まれる。また、外部パラメータには、例えば、ステレオカメラ２０の３次元位置、姿勢（＝回転）が含まれる。記憶装置８０が記憶しているキャリブレーションパラメータは、例えば、ステレオ計測装置１０の製造時に予め設定される。
　画像処理装置４０は、計測処理を行う計測処理部４２と、光軸補正処理を行う光軸補正処理部４４と、各種情報を記憶するためのメモリ４６と、計測処理部４２と光軸補正処理部４４とメモリ４６を制御する制御部４８を有している。
　計測処理部４２と光軸補正処理部４４と制御部４８は、例えば、全体として、１つのプロセッサで構成されている。しかし、これに限らず、計測処理部４２と光軸補正処理部４４と制御部４８は、全体として、複数のプロセッサで構成されていてもよい。例えば、計測処理部４２と光軸補正処理部４４と制御部４８は、ＡＳＩＣやＦＰＧＡ等を用いて構成された専用のハードウェアプロセッサで構成されてよい。あるいは、計測処理部４２と光軸補正処理部４４と制御部４８は、ＣＰＵ等の汎用のハードウェアとソフトウェアの組み合わせによって構成されてもよい。
　制御部４８は、計測処理部４２と光軸補正処理部４４とメモリ４６を制御するほか、ステレオカメラ２０と入力機器６０と表示器７０と記憶装置８０をも制御するように構成されている。すなわち、制御部４８は、入力機器６０に入力された操作コマンドに応じて、ステレオ計測装置１０を統括的に制御するように構成されている。
　制御部４８は、ステレオ計測装置１０の使用開始時すなわち起動時に、ステレオカメラ２０のキャリブレーション用のチャート９０を、ステレオカメラ２０を用いて撮影することをユーザに指示する情報を表示器７０へ出力し、その指示情報を表示器７０に出力させるように構成されている。
　制御部４８はまた、ステレオカメラ２０からステレオ画像を取得し、取得したステレオ画像をメモリ４６に記憶させるように構成されている。
　制御部４８はさらに、記憶装置８０からキャリブレーションパラメータを取得し、取得したキャリブレーションパラメータをメモリ４６に記憶させるように構成されている。
　光軸補正処理部４４は、制御部４８による制御の下、キャリブレーション時に、メモリ４６から計測結果とマーカ間隔を読み出し、読み出した計測結果を用いて、ステレオカメラ２０の光学系の光軸位置に係るパラメータを補正するように構成されている。光軸補正処理部４４はまた、補正量をメモリ４６に記憶させるように構成されている。
　計測処理部４２は、制御部４８による制御の下、メモリ４６からステレオ画像とキャリブレーションパラメータと補正量を読み出し、読み出したステレオ画像とキャリブレーションパラメータと補正量を用いて３次元計測を行うように構成されている。なお、補正量は、初期状態では、０に設定されている。計測処理部４２はまた、計測結果をメモリ４６に記憶させるように構成されている。
　制御部４８はまた、メモリ４６からステレオ画像と補正量と計測結果を必要に応じて読み出し、必要に応じて読み出したステレオ画像と補正量と計測結果を表示器７０に表示させるように構成されている。
　［ステレオカメラ］
　前述したように、ステレオカメラ２０は、左右方向に視差のある２つの画像（右画像と左画像）を有するステレオ画像を生成するように構成されている。このため、ステレオカメラ２０は、左右に間隔を置いて配置された実質的に２つの撮像系を有している。各撮像系は、光学像を生成する光学系と、光学像を電気信号に変換して画像を生成する画像センサを有している。
　図２は、ステレオカメラ２０の一構成例を模式的に示している。図２に示されたステレオカメラ２０Ａは、左右方向に視差のある一組の光学像（右光学像と左光学像）を生成する光学系２２Ａと、一組の光学像を電気的な画像信号に変換して一組の画像（右画像と左画像）を生成する単一の撮像センサ２４Ａを有している。
　撮像センサ２４Ａは、左光学像を光電変換して左画像を生成する画素群を含む左撮像エリア２４ｌと、右光学像を光電変換して右画像を生成する画素群を含む右撮像エリア２４ｒを有している。光学系２２Ａの一部と左撮像エリア２４ｌを含む撮像センサ２４Ａの一部は、左画像を生成する左撮像系２０ｌを構成し、光学系２２Ａの別の一部と右撮像エリア２４ｒを含む撮像センサ２４Ａの別の一部は、右画像を生成する右撮像系２０ｒを構成している。
　光学系２２Ａは、複数のレンズを有しており、複数のレンズは、左撮像系２０ｌと右撮像系２０ｒに共通に含まれるレンズ２６ａを含んでいる。
　この構成例のステレオカメラ２０では、ステレオ画像すなわち左画像と右画像は、それぞれ、単一の撮像センサ２４Ａの左撮像エリア２４ｌと右撮像エリア２４ｒ内の画素群の出力信号から生成される。
　以下の説明では、左撮像系２０ｌに含まれる光学系２２Ａの部分を左光学系２２ｌと称し、右撮像系２０ｒに含まれる光学系２２Ａの部分を右光学系２２ｒと称する。また、左撮像系２０ｌと右撮像系２０ｒを左右撮像系２０ｌ，２０ｒとも総称する。同様に、左光学系２２ｌと右光学系２２ｒを左右光学系２２ｌ，２２ｒとも総称し、左撮像エリア２４ｌと右撮像エリア２４ｒを左右撮像エリア２４ｌ，２４ｒとも総称する。
　図３は、ステレオカメラ２０の別の構成例を模式的に示している。図３に示されたステレオカメラ２０Ｂは、左光学像を生成する左光学系２２Ｂｌと、左光学像を光電変換して左画像を生成する左撮像センサ２４Ｂｌと、右光学像を生成する右光学系２２Ｂｒと、右光学像を光電変換して右画像を生成する右撮像センサ２４Ｂｒを有している。
　左光学系２２Ｂｌと左撮像センサ２４Ｂｌは、左画像を生成する左撮像系２０ｌを構成し、右光学系２２Ｂｒと右撮像センサ２４Ｂｒは、右画像を生成する右撮像系２０ｒを構成している。すなわち、左光学系２２Ｂｌはそれ自体が、左撮像系２０ｌの左光学系２２ｌを構成し、右光学系２２Ｂｒはそれ自体が、右撮像系２０ｒの右光学系２２ｒを構成している。
　左撮像センサ２４Ｂｌは、左光学像を光電変換して左画像を生成する画素群を含む左撮像エリア２４ｌを有し、右撮像センサ２４Ｂｒは、右光学像を光電変換して右画像を生成する画素群を含む右撮像エリア２４ｒを有している。
　この構成例のステレオカメラ２０では、ステレオ画像すなわち左画像と右画像は、それぞれ、左撮像センサ２４Ｂｌと右撮像センサ２４Ｂｒの出力信号から生成される。
　図２に示されたステレオカメラ２０Ａと図３に示されたステレオカメラ２０Ｂを比較した場合、ステレオカメラ２０Ａは単一の撮像センサ２４Ａを有しており、さらに左右光学系２２ｌ，２２ｒは単一のレンズ２６ａを共有しているため、ステレオカメラ２０Ｂと比較してステレオカメラ２０Ａの方が、左右撮像系２０ｌ，２０ｒの経時ズレが起こりにくく、望ましい構成といえる。
　［ステレオカメラの経時ズレおよび影響］
　ステレオ計測装置１０において、ステレオカメラ２０の光学系の光軸のズレは、計測誤差を招く主要因である。
　図４は、図２に示されたステレオカメラ２０Ａにおいて、光学系２２Ａ中のレンズ２６ｂが移動したことにより、光軸ズレが発生した様子を示している。図４に示されるように、右撮像系２０ｒの右光学系２２ｒ中のレンズ２６ｂが右方向に移動すると、右撮像系２０ｒの右光学系２２ｒの光軸２８ｒも右方向に移動する。反対に、レンズ２６ｂが左方向に移動すると、右撮像系２０ｒの右光学系２２ｒの光軸２８ｒも左方向に移動する。また、レンズ２６ｂが上下方向に移動すると、右撮像系２０ｒの右光学系２２ｒの光軸２８ｒも上下方向に移動する。図３に示されたステレオカメラ２０Ｂについても同様のことが言える。
　図５は、図２に示されたステレオカメラ２０Ａにおいて、光学系２２Ａ中のレンズ２２ｂが回転したことにより、光軸ズレが発生した様子を示している。図５に示されるように、右撮像系２０ｒの右光学系２２ｒ中のレンズ２６ｂが上方から見て左回りに回転すると、右撮像系２０ｒの右光学系２２ｒの光軸２８ｒは右方向に移動する。反対に、レンズ２６ｂが上方から見て右回りに回転すると、右撮像系２０ｒの右光学系２２ｒの光軸２８ｒは左方向に移動する。また、レンズ２６ｂが左方から見て左右回りに回転すると、右撮像系２０ｒの右光学系２２ｒの光軸２８ｒは上下方向に移動する。図３に示されたステレオカメラ２０Ｂについても同様のことが言える。
　このような左右撮像系２０ｌ，２０ｒの左右光学系２２ｌ，２２ｒの光軸２８ｒ，２８ｌの平行な移動は、本実施形態における光軸補正処理によって補正可能である。
　図６は、図３に示されたステレオカメラ２０Ｂにおいて、左撮像系２０ｌに対して右撮像系２０ｒの全体の姿勢が変化した様子を示している。具体的には、左撮像系２０ｌに対して右撮像系２０ｒの全体が上方から見て左回りに回転された様子が図６に描かれている。このような左右撮像系２０ｌ，２０ｒの間の相対的な姿勢の変化もステレオ計測装置１０の計測誤差を招く要因でもある。
　このような左右撮像系２０ｌ，２０ｒの間の相対的な姿勢の変化を厳密に補正するには、左右撮像系２０ｌ，２０ｒの姿勢を補正する必要がある。ただし、回転角、基線長の変化が小さい場合には、光軸補正で対応することができる。
　図２に示されたステレオカメラ２０Ａにおいては、左右撮像系２０ｌ，２０ｒの光軸２８ｌ，２８ｒが非平行となるこのような左右撮像系２０ｌ，２０ｒの間の相対的な姿勢の変化は発生しない。
　次に、経時ズレの影響について述べる。内視鏡において想定される設計では、視差に乗る誤差の影響が最も大きく、光軸ズレがその原因である。従って、光軸ズレを補正可能であれば、実用的な計測精度を実現可能である。
　［チャート］
　ステレオ計測装置１０は、左右撮像系２０ｌ，２０ｒの左右光学系２２ｌ，２２ｒの光軸２８ｒ，２８ｌのズレを補正するため、起動時に、キャリブレーションを行うように構成されている。キャリブレーションは、チャート９０を撮影することにより行われる。このため、ステレオ計測装置１０は、起動時に、表示器７０を介して、チャート９０を撮影することをユーザに指示する。
　本実施形態のステレオ計測装置１０においては、チャート９０の撮影は、例えば、フリーハンドで、言い換えれば、人がチャート９０を手に持った状態で行われる。これは、ステレオ計測を迅速に開始することを可能にするためである。もちろん、チャート９０の撮影は、固定器具等を使用してチャート９０をステレオカメラ２０に対して最適な位置関係に保持して行ってもよいが、本実施形態のステレオ計測装置１０はそのようなことは要求しない。また、チャート９０の撮影は、最低１回行えばよい。もちろん、それよりも多くの回数のチャート９０の撮影を行ってもよい。
　チャート９０は、既知の間隔を置いて配置された複数のマーカを有している。チャート９０は、最低限、２つのマーカを有していればよい。マーカは、例えば、格子の交点や、丸であってよい。しかし、マーカは、これらに限定されるものではない。
　図７は、ステレオカメラ２０のキャリブレーション用のチャート９０Ａを示している。チャート９０Ａは、チェッカーパターン９４Ａを有している。チェッカーパターン９４Ａは、上下左右に交互に隣接して配置された多数の白黒の正方形（マス目）を有している。マーカ９２Ａは、例えば、チェッカーパターン９４Ａのマス目の交点、言い換えれば、対角に位置する白または黒の正方形の接点であり、既知の間隔を置いて配置されている。
　図８は、ステレオカメラ２０のキャリブレーション用の別のチャート９０Ｂを示している。チャート９０Ｂは、サークルグリッドパターン９４Ｂを有している。サークルグリッドパターン９４Ｂは、グリッドの交点に配置された多数の黒丸のマーカ９２Ｂを有している。マーカ９２Ｂは、例えば、上下左右に一定の間隔を置いて配置されている。マーカ９２Ｂの間隔は、既知でありさえすればよく、一定でなくてもよい。
　図９は、ステレオカメラ２０のキャリブレーション用のまた別のチャート９０Ｃを示している。チャート９０Ｃは、ただ２つの黒丸のマーカ９２Ｃを有している。マーカ９２Ｃは、既知の間隔を置いて配置されている。
　以下の説明では、チャート９０Ａ，９０Ｂ，９０Ｃをチャート９０と総称し、マーカ９２Ａ，９２Ｂ，９２Ｃをマーカ９２と総称する。
　［キャリブレーションの処理概要］
　図１０は、図１に示されたステレオ計測装置１０におけるステレオカメラ２０のキャリブレーションの処理の概要を示している。
　（１）ステレオカメラ２０によって生成された、既知の間隔を置いて配置されたマーカを有するチャート９０のステレオ画像すなわち右画像と左画像を取得する。ステレオ画像は、例えば、図２に示されたステレオカメラ２０Ａの単一の撮像センサ２４の出力信号から生成されたものである。あるいは、ステレオ画像は、図３に示されたステレオカメラ２０Ｂの左撮像センサ２４Ｂｌと右撮像センサ２４Ｂｒの出力信号から生成されたものであってもよい。
　（２）計測処理部４２において、画像変換処理、視差算出処理、３次元位置算出処理、物理量算出処理を行うことにより、マーカの間隔（２点間距離）を計測する。マーカの間隔の計測の詳細については、図１２を参照しながら後述する。
　（３）光軸補正処理部４４において、計測誤差（マーカの実際の間隔（すなわち前述の既知の間隔）と、計測処理部４２によるマーカの間隔の計測結果との差）を小さく、好ましくは最小にする光軸位置を探索することにより、補正量を算出する。補正量の算出の詳細については後述する。
　［計測処理部］
　計測処理部４２は、異なる視点から撮影された右画像と左画像中の同一被写体の相対的なズレ量を求め、三角測量の原理に基づいて被写体の寸法等を計測する。
　計測処理部４２は、画像変換処理、視差算出処理、３次元位置算出処理、物理量算出処理からなる一連の処理を行う。
　図１１は、計測処理部４２が行う一連の処理のフローを示している。
　＜ステップＳ１１＞
　ステップＳ１１において、計測処理部４２は画像変換処理を行う。画像変換処理は、歪み補正と平行化変換を含んでいる。
　歪み補正は、レンズによる歪みの影響を補正する処理である。これにより、計測の精度が向上する。
　平行化変換は、右撮像系と左撮像系の位置関係から同一被写体が写る位置に制約があること（エピポーラ幾何）を利用し、左右方向の探索で対応点が存在する（エピポーラ線ｌｅが平行になる）ように変換を行う処理である。平行化変換により、対応点の探索を左右方向に限定でき、処理が高速化される。
　人の手に持たれたチャート９０を撮影して生成されたステレオ画像では、通常、右画像と左画像のエピポーラ線ｌｅは非平行になる。これは、計測処理を複雑化して処理を遅くする要因となる。このような右画像と左画像のエピポーラ線ｌｅが非平行なステレオ画像に対して平行化変換を行なうことにより、その後の処理が高速化される。
　＜ステップＳ１２＞
　ステップＳ１２において、計測処理部４２は視差算出処理を行う。視差算出処理は、マーカが右画像と左画像に写る位置の差を算出する処理である。視差の算出には、ＺＮＣＣ等の類似度を用いた方法、又は特徴点（マーカ）検出を用いた方法を用いることができる。
　＜ステップＳ１３＞
　ステップＳ１３において、計測処理部４２は３次元位置算出処理を行う。３次元位置算出処理は、視差、ステレオカメラモデル、キャリブレーションパラメータを用いて、被写体の空間的な位置すなわち３次元位置を算出する処理である。
　＜ステップＳ１４＞
　ステップＳ１４において、計測処理部４２は物理量算出処理を行う。物理量算出処理は、算出した３次元位置を利用し、２点間寸法（ユークリッド距離）や面積等の物理量を算出する処理である。
　これらの処理は、ステレオ計測技術において用いられる一般的な処理である。
　［ステレオカメラモデル］
　図１２は、ステレオカメラモデルの１例を示している。図１２に示されたステレオカメラモデルでは、簡単のため、ステレオカメラ２０の左右撮像系２０ｌ，２０ｒの間の姿勢は互いに平行であり、左右撮像系２０ｌ，２０ｒの左右光学系２２ｌ，２２ｒのレンズに歪みはないとしている。
　図１２において、ステレオカメラ２０の左右撮像系２０ｌ，２０ｒは、実質的に同一に構成されている。左右撮像系２０ｌ，２０ｒの左右光学系２２ｌ，２２ｒは、同一の焦点距離ｆを有している。左光学系２２ｌのレンズ中心Ｏを原点として、ＸＹＺ座標系が設定され、右光学系２２ｒのレンズ中心Ｏ’を原点として、Ｘ’Ｙ’Ｚ’座標系が設定されている。
　左右撮像系２０ｌ，２０ｒは、左右方向に（すなわちＸ軸またはＸ’軸に沿って）間隔ｂを置いて互いに平行に配置されている。すなわち、左右撮像系２０ｌ，２０ｒの基線長は、言い換えれば、左右光学系２２ｌ，２２ｒの光軸間距離は、ｂである。
　左右撮像系２０ｌ，２０ｒの左右撮像エリア２４ｌ，２４ｒは、それぞれ、それらの撮像面が左右光学系２２ｌ，２２ｒの後側焦点面上に位置するように配置されている。また、左右光学系２２ｌ，２２ｒの前側焦点面上に、それぞれ、仮想的な左右投影撮像面３０ｌ，３０ｒが設定されている。左投影撮像面３０ｌ上には、左光学系２２ｌの光軸２８ｌを中心として、ｕｖ直交座標系が設定され、また、右投影撮像面３０ｒ上には、右光学系２２ｒの光軸２８ｒを中心として、ｕ’ｖ直交座標系が設定されている。
　ＸＹＺ座標系における被写体３２の３次元位置の座標をＰ（Ｘ，Ｙ，Ｚ）とする。また、左光学系２２ｌのレンズ中心Ｏと被写体３２の３次元位置Ｐ（Ｘ，Ｙ，Ｚ）を結ぶ直線が左投影撮像面３０ｌと交差する点のｕｖ直交座標系における座標をＰｌ（ｕ，ｖ）とする。同様に、右光学系２２ｒのレンズ中心Ｏ’と被写体３２の３次元位置Ｐ（Ｘ，Ｙ，Ｚ）を結ぶ直線が右投影撮像面３０ｒと交差する点のｕ’ｖ直交座標系における座標をＰｒ（ｕ’，ｖ）とする。さらに、左右撮像エリア２４ｌ，２４ｒの画素ピッチをδとする。
　計測処理部４２は、前述したように、３次元位置算出処理において、被写体３２の３次元位置Ｐ（Ｘ，Ｙ，Ｚ）を算出する。このように設定されたステレオカメラモデルにおいて、左右画像の視差ｄは、ｄ＝ｕ－ｕ’で求められる。従って、被写体３２の３次元位置ＰのＸＹＺ座標は、それぞれ、Ｘ＝ｂｕ／（ｕ－ｕ’）＝ｂｕ／ｄ，Ｙ＝ｂｖ／（ｕ－ｕ’）＝ｂｖ／ｄ，Ｚ＝（ｆ／δ）・｛ｂ／（ｕ－ｕ’）｝＝ｆｂ／δｄで求められる。
　また計測処理部４２は、前述したように、物理量算出処理において、２点間寸法（ユークリッド距離）や面積等の物理量を算出する。例えば、点Ｐ１（Ｘ１，Ｙ１，Ｚ１）と点Ｐ２（Ｘ２，Ｙ２，Ｚ２）の間の距離Ｌは、Ｌ＝｛（Ｘ１－Ｘ２）２＋（Ｙ１－Ｙ２）２＋（Ｚ１－Ｚ２）２｝１／２で求められる。
　計測処理部４２はまた、画像変換処理、視差算出処理、３次元位置算出処理、物理量算出処理の一連の処理によって得られた計測結果をメモリ４６に記憶させる。
　［キャリブレーション時の計測処理］
　キャリブレーション時、被写体３２は、チャート９０のマーカ９２である。計測処理部４２は、前述した画像変換処理、視差算出処理、３次元位置算出処理、物理量算出処理を行うことにより、１組または複数組の２つのマーカ９２の間隔を計測する。計測処理部４２はまた、１組または複数組の２つのマーカ９２の間隔の計測結果をメモリ４６に記憶させる。
　前述したように、チャート９０の任意の２つのマーカ９２は、既知の間隔を置いて配置されている。既知の間隔の情報（前述したマーカ間隔）は、例えば、入力機器６０を介して入力され、メモリ４６に記憶される。以下の説明では、既知の間隔の情報を単に既知の間隔と称する。
　チャート９０Ａやチャート９０Ｂのように、チャート９０が３つ以上のマーカ９２を有している場合、マーカ９２の間隔の計測は、すべての組の２つのマーカ９２について行う必要はない。すなわち、マーカ９２の間隔の計測に使用される１組または複数組の２つのマーカ９２は適当に選択されてよい。マーカ９２の間隔の計測に使用される２つのマーカ９２の選択は、例えば、マーカ９２の位置に基づいて行われる。
　像高の高いマーカ９２（すなわち光軸から遠いマーカ９２）は、像高の低いマーカ９２（すなわち光軸から近いマーカ９２）に比べて歪みの影響が出やすい。このため、間隔の計測に使用されるマーカ９２は、マーカ９２の像高に基づいて、選択されるとよい。好ましくは、像高が比較的低いマーカ９２が選択されるとよい。
　また、奥行きの大きいマーカ９２（すなわちステレオカメラ２０から遠いマーカ９２）は、奥行きの小さいマーカ９２（すなわちステレオカメラ２０に近いマーカ９２）に比べて、その計測位置に誤差が出やすい。このため、各マーカ９２または適当な個数のマーカ９２の奥行きを算出し、算出したマーカ９２の奥行きに基づいて、間隔の計測に使用されるマーカ９２が選択されるとよい。好ましくは、奥行きが比較的小さいマーカ９２が選択されるとよい。
　すべての２つのマーカ９２の組み合わせについて誤差を算出し、その平均誤差、最大誤差などを利用してもよい。例えば、像高の低い２つのマーカ９２を選択し、その誤差を利用してもよい。
　［光軸補正処理部］
　光軸補正処理部４４は、計測処理部４２の計測結果を利用して、ステレオカメラ２０の左右撮像系２０ｌ，２０ｒの左右光学系２２ｌ，２２ｒの光軸２８ｌ，２８ｒの位置の補正処理を行う。
　この補正処理は、ステレオカメラ２０の左右撮像エリア２４ｌ，２４ｒの撮像面上において、左右光学系２２ｌ，２２ｒの光軸２８ｌ，２８ｒの位置を上下左右方向に移動させることに相当する処理を行うことにより、上下左右方向のズレ量を算出し、このズレ量を相殺する量を、光軸２８ｌ，２８ｒの位置の補正量とする処理である。
　光軸位置を移動させることに相当する処理とは、例えば、光軸位置に係るパラメータを変化させる処理である。以下の説明において、光軸位置を移動させるや光軸位置を変化させるといった説明は、このようにパラメータを変化させることを意味している。
　光軸補正処理部４４は、光軸２８ｌ，２８ｒの位置を変化させながら、１組または複数組の２つのマーカ９２の間隔の計測誤差（マーカ９２の実際の間隔（既知の間隔）と、計測処理部４２によるマーカ９２の間隔の計測結果との差）が最小となる光軸２８ｌ，２８ｒの位置を探索することにより、光軸２８ｌ，２８ｒの補正量を決定する。
　光軸位置の探索は、例えば、次のようにして行われる。光軸補正処理部４４は、マーカ９２の既知の間隔と、計測処理部４２による計測結果とをメモリ４６から読み出し、計測誤差を算出する。光軸補正処理部４４は、光軸２８ｌ，２８ｒの位置に係るパラメータを変化させ、変化後のパラメータを補正量として、メモリ４６に記憶させる。計測処理部４２は、メモリ４６からステレオ画像とキャリブレーションパラメータと補正量を読み出し、これらを用いてマーカ９２の間隔を計測し、その計測結果をメモリ４６に記憶させる。光軸補正処理部４４と計測処理部４２は、光軸位置に係るパラメータを変化させることと、変化後のパラメータを用いてマーカ９２の間隔を計測することを繰り返し行う。光軸補正処理部４４は、光軸位置に係るパラメータを変化させる都度の計測処理部４２の測定結果を用いて算出した計測誤差に基づいて、計測誤差が最小となる光軸２８ｌ，２８ｒの位置に係るパラメータを求める。光軸補正処理部４４は、このようにして求めた光軸２８ｌ，２８ｒの位置に係るパラメータを補正量としてメモリ２６に記憶させる。
　図１３は、光軸補正処理部４４が行う光軸補正処理を模式的に示している。図１３には、左画像について、上下方向と左右方向の２パラメータで光軸２８ｌの位置が変化され、右画像についても、上下方向と左右方向の２パラメータで光軸２８ｒの位置が変化される様子が描かれている。つまり、光軸補正処理は、４パラメータで行われる。
　計測誤差が最小となる光軸２８ｌ，２８ｒの位置の探索は、次に示す２つの方式のうち、どちらかを用いればよい。
　｛光軸補正方式（１）｝　光軸補正方式（１）は、上下方向の補正と左右方向の補正を同時に行う方式である。言い換えれば、４パラメータを同時に補正する方式である。
　｛光軸補正方式（２）｝　光軸補正方式（２）は、上下方向の補正を行った後に、左右方向の補正を行う方式である。言い換えれば、先ず、２パラメータを補正し、その後に、残りの２パラメータを補正する方式である。
　｛光軸補正方式（１）－１｝
　光軸補正方式（１）は、上下方向の補正と左右方向の補正を同時に行う方式である。図１４は、光軸補正方式（１）による光軸補正処理を含むキャリブレーションの処理フローを示している。
　＜ステップＳ２１＞
　ステップＳ２１において、チャート撮影を行う。制御部４８は、チャート９０を撮影する指示を表示器７０に出力する。ステレオカメラ２０によるチャート９０の撮影後、制御部４８は、ステレオカメラ２０からステレオ画像を取得し、これをメモリ４６に記憶させる。
　＜ステップＳ２２＞
　ステップＳ２２において、計測処理を行う。制御部４８は、記憶装置８０からキャリブレーションパラメータを取得し、取得したキャリブレーションパラメータをメモリ４６に記憶させる。また、制御部４８は、チャート９０中のマーカ９２の既知の間隔を入力する指示を表示器７０に出力する。その後、制御部４８は、マーカ９２の既知の間隔を入力機器６０から取得し、これをメモリ４６に記憶させる。その後、計測処理部４２は、メモリ４６からステレオ画像とキャリブレーションパラメータと補正量（初期状態では０）を読み出し、これらを用いてマーカ９２の間隔の計測を行い、計測結果をメモリ４６に記憶させる。
　＜ステップＳ２３＞
　ステップＳ２３において、光軸補正処理部４４は、計測処理部４２と協働して、補正量算出処理を行う。光軸補正処理部４４は、マーカ９２の既知の間隔と、計測処理部４２による計測結果とをメモリ４６から読み出し、計測誤差を算出する。光軸補正処理部４４は、光軸位置に係るパラメータを変化させ、変化後のパラメータを補正量としてメモリ４６に記憶させる。これに応じて、計測処理部４２は、ステレオ画像とキャリブレーションパラメータと補正量（変化後の光軸位置に係るパラメータ）を用いてマーカ９２の間隔の計測を行い、計測結果をメモリ４６に記憶させる。光軸補正処理部４４と計測処理部４２は、この一連の処理を繰り返し行う。光軸補正処理部４４は、光軸位置に係るパラメータを変化させる都度の計測処理部４２の測定結果を用いて算出した計測誤差に基づいて、計測誤差が最小となる光軸位置に係るパラメータを求める。
　光軸補正方式（１）は、４パラメータを同時に補正する方式である。このため、光軸補正処理部４４は、ステップ２２の補正量算出処理において、光軸位置に係るパラメータを変化させる際、左画像に対して、左光学系２２ｌの光軸２８ｌの位置を、上下方向と左右方向の両方に関して変化させるとともに、右画像に対して、右光学系２２ｒの光軸２８ｒを上下方向と左右方向の位置を変化させることに相当する処理を行う。補正量算出処理は、計測誤差を目的関数とする最急降下法や、全探索法を用いて行うことができる。ただし、全探索法は、計算コストが膨大になるおそれがある。
　｛光軸補正方式（１）－２｝
　図１５は、上下方向の補正と左右方向の補正を同時に行う光軸補正方式（１）による光軸補正処理を含むキャリブレーションの別の処理フローを示している。
　＜ステップＳ３１＞
　ステップＳ３１において、チャート撮影を行う。チャート撮影は前述したとおりである。
　＜ステップＳ３２＞
　ステップＳ３２において、計測処理を行う。計測処理は前述したとおりである。
　＜ステップＳ３３＞
　ステップＳ３３において、光軸補正処理部４４は、ステップＳ３１の計測処理による計測結果に基づいて、補正の必要性の判定、すなわち、補正が必要であるか否かの判定を行う。このため、光軸補正処理部４４は、計測誤差（マーカ９２の既知の間隔と、計測処理部４２によるマーカ９２の間隔の計測結果との差）を所定のしきい値と比較する。比較の結果、計測誤差がしきい値以下であれば、光軸補正処理部４４は、補正は必要でないと判定し、反対に、計測誤差がしきい値よりも大きければ、補正が必要であると判定する。補正は必要でないと判定された場合、キャリブレーションの処理は終了される。反対に、補正が必要であると判定された場合、処理は、ステップＳ３４に移行する。
　＜ステップＳ３４＞
　ステップＳ３４において、光軸補正処理部４４は、計測処理部４２と協働して、補正量算出処理を行う。補正量算出処理は、前述したとおりである。
　｛光軸補正方式（２）－１｝
　光軸補正方式（２）は、上下方向の補正を行った後に、左右方向の補正を行う方式である。図１６は、光軸補正方式（２）による光軸補正処理を含むキャリブレーションの処理フローを示している。
　＜ステップＳ４１＞
　ステップＳ４１において、チャート撮影を行う。チャート撮影は前述したとおりである。
　＜ステップＳ４２＞
　ステップＳ４２において、計測処理を行う。計測処理は前述したとおりである。
　＜ステップＳ４３＞
　ステップＳ４３において、光軸補正処理部４４は、上下補正量算出処理を行う。上下補正量算出処理は、左右光学系２２ｌ，２２ｒの光軸２８ｌ，２８ｒの位置を上下方向に変化させることに相当する処理を行うことにより、上下ズレ量を算出し、この上下ズレ量を相殺する量を、光軸２８ｌ，２８ｒの位置の上下補正量とする処理である。上下補正量算出処理の詳細については後述する。
　＜ステップＳ４４＞
　ステップＳ４４において、光軸補正処理部４４は、左右補正量算出処理を行う。左右補正量算出処理は、左右光学系２２ｌ，２２ｒの光軸２８ｌ，２８ｒの位置を左右方向に変化させることに相当する処理を行うことにより、左右ズレ量を算出し、この左右ズレ量を相殺する量を、光軸２８ｌ，２８ｒの位置の左右補正量とする処理である。左右補正量算出処理の詳細については後述する。
　｛光軸補正方式（２）－２｝
　図１７は、上下方向の補正を行った後に左右方向の補正を行う方式である光軸補正方式（２）による光軸補正処理を含むキャリブレーションの別の処理フローを示している。
　＜ステップＳ５１＞
　ステップＳ５１において、チャート撮影を行う。チャート撮影は前述したとおりである。
　＜ステップＳ５２＞
　ステップＳ５２において、計測処理を行う。計測処理は前述したとおりである。
　＜ステップＳ５３＞
　ステップＳ５３において、光軸補正処理部４４は、ステップＳ３１の計測処理による計測結果に基づいて、補正の必要性の判定、すなわち、補正が必要であるか否かの判定を行う。補正の必要性の判定は、マーカ９２の間隔の計測誤差に基づいて行われる。このため、光軸補正処理部４４は、計測誤差（マーカ９２の既知の間隔と、計測処理部４２によるマーカ９２の間隔の計測結果との差）を所定のしきい値と比較する。比較の結果、計測誤差がしきい値以下であれば、光軸補正処理部４４は、補正は必要でないと判定し、反対に、計測誤差がしきい値よりも大きければ、補正が必要であると判定する。補正が必要であると判定された場合、処理は、ステップＳ５４に移行する。反対に、補正は必要でないと判定された場合、キャリブレーションの処理は終了される。
　＜ステップＳ５４＞
　ステップＳ５４において、光軸補正処理部４４は、ステップＳ３１の計測処理による計測結果に基づいて、上下補正の必要性の判定、すなわち、上下補正が必要であるか否かの判定を行う。上下補正の必要性の判定は、同一のマーカに対する右画像上と左右画像上の２つの対応点の上下方向の座標のズレに基づいて行われる。このため、光軸補正処理部４４は、各マーカ９２の２つの対応点の上下方向の座標を比較する。比較の結果、２つの対応点の上下方向の座標が一致していれば、または、２つの対応点の上下方向の座標のズレが所定のしきい値以下であれば、光軸補正処理部４４は、上下補正は必要でないと判定し、反対に、２つの対応点の上下方向の座標が一致していなければ、または、２つの対応点の上下方向の座標のズレがしきい値よりも大きければ、上下補正が必要であると判定する。上下補正が必要であると判定された場合、処理は、ステップＳ５５に移行する。反対に、上下補正は必要でないと判定された場合、処理は、ステップＳ５６に移行する。
　＜ステップＳ５５＞
　ステップＳ５５において、光軸補正処理部４４は、上下補正量算出処理を行う。上下補正量算出処理は、左右光学系２２ｌ，２２ｒの光軸２８ｌ，２８ｒの位置を上下方向に変化させることに相当する処理を行うことにより、上下ズレ量を算出し、この上下ズレ量を相殺する量を、光軸２８ｌ，２８ｒの位置の上下補正量とする処理である。上下補正量算出処理の詳細については後述する。その後、処理は、ステップＳ５６に移行される。
　＜ステップＳ５６＞
　ステップＳ５６において、光軸補正処理部４４は、左右補正量算出処理を行う。左右補正量算出処理は、左右光学系２２ｌ，２２ｒの光軸２８ｌ，２８ｒの位置を左右方向に変化させることに相当する処理を行うことにより、左右ズレ量を算出し、この左右ズレ量を相殺する量を、光軸２８ｌ，２８ｒの位置の左右補正量とする処理である。左右補正量算出処理の詳細については後述する。
　図１８は、図１６と図１７に示された上下補正量算出処理を模式的に示している。図１８には、１つのマーカの２つの対応点Ｐ１ｌ，Ｐ１ｒと、別の１つのマーカの２つの対応点Ｐ２ｌ，Ｐ２ｒが描かれている。２つの対応点Ｐ１ｌ，Ｐ１ｒは、それぞれ、同一のマーカに対応した右画像上の点と左画像上の点である。同様に、２つの対応点Ｐ２ｌ，Ｐ２ｒは、それぞれ、別の同一のマーカに対応した右画像上の点と左画像上の点である。これらの対応点Ｐ１ｌ，Ｐ１ｒと対応点Ｐ２ｌ，Ｐ２ｒの各々は、図１２におけるＰｌ（ｕ，ｖ），Ｐｒ（ｕ’，ｖ）に相当するものと考えてよい。
　ここで、便宜上、上下方向の座標をｙ座標と称する。対応点Ｐ１ｌ，Ｐ１ｒのｙ座標は互いにずれており、対応点Ｐ２ｌ，Ｐ２ｒのｙ座標も同様に互いにずれている。光軸補正処理部４４は、対応点Ｐ１ｌ，Ｐ１ｒまたは対応点Ｐ２ｌ，Ｐ２ｒのｙ座標のズレ量すなわち上下ズレ量を算出し、この上下ズレ量を相殺する量を、上下補正量としてメモリ４６に記憶させる。また、対応点Ｐ１ｌ，Ｐ１ｒの上下ズレ量と対応点Ｐ２ｌ，Ｐ２ｒの上下ズレ量を算出し、これら２つの上下ズレ量の平均値を算出し、この平均値を相殺する量を、上下補正量としてもよい。
　上下補正量算出処理は、１つのマーカの２つの対応点の上下方向の座標から上下ズレ量が求まるため、左右補正量よりも先に、上下補正量を算出することが可能である。
　１つのマーカの２つの対応点の上下方向の座標から求まる上下ズレ量は、相対的な上下ズレ量である。このため、相対的な上下補正量を算出することはできるが、絶対的な上下補正量を算出することはできない。しかし、既知の間隔を置いて配置されたチャート９０中の３つのマーカを用いることにより、絶対的な上下補正量を算出することは可能である。例えば、既知の間隔を置いて一直線上に配置されたチャート９０中の３つのマーカを用いて、これら３つのマーカを一直線上に整列させる処理を行うことにより、絶対的な上下補正量を算出することができる。
　図１９は、図１６と図１７に示された左右補正量算出処理を模式的に示している。図１９には、左画像について、左右方向の１パラメータで光軸２８ｌの位置が変化され、右画像についても、左右方向の２パラメータで光軸２８ｒの位置が変化される様子が描かれている。つまり、光軸補正処理は、２パラメータで行われる。
　図２０は、図１６と図１７に示された左右補正量算出処理を図解して示している。ここでは、便宜上、左右方向の座標をｘ座標と称し、左画像における左光学系２２ｌの光軸２８ｌのｘ座標に対する補正量をΔｃｌｘとし、右画像における右光学系２２ｒの光軸２８ｒのｘ座標に対する補正量をΔｃｒｘとし、２つのマーカの間隔の計測誤差をｅとする。左右補正量算出処理は、２つのマーカの間隔の計測誤差ｅを最小とする補正量Δｃｌｘ，Δｃｒｘを算出することにより行われ、算出したΔｃｌｘとΔｃｒｘを、それぞれ、左右光学系２２ｌ，２２ｒの光軸２８ｌ，２８ｒの左右方向の補正量とする。
　ΔｃｌｘとΔｃｒｘの算出は、全探索や、最急降下法などを用いて行うことができる。
　しかし、ステレオ計測においては、適切な視差量（相対光軸位置）になった場合に計測誤差ｅが最小となることがわかっており、次に記す２段階の処理（１）と処理（２）を行うことよって、効率的に最小誤差ｅ０となる補正量を求めることができる。
　以下、処理（１）と処理（２）について、図２１と図２２を用いて説明する。処理（１）は、相対補正量を決定する処理であり、処理（２）は、相対補正量を決定する処理であり、
　｛（１）相対補正量の決定｝
　図２１は、相対補正量を決定する処理を図解して示している。左右光学系２２ｌ，２２ｒの光軸２８ｌ，２８ｒのどちらか一方の位置のｘ座標を変化させ、計測誤差ｅが最小となる位置を探索する。これは、図２１中に矢印（１）で示されるように、Δｃｌｘ－Δｃｒｘ＝ｇとなる切片ｇを求めることに相当する。
　｛（２）絶対補正量の決定｝
　図２２は、絶対補正量を決定する処理を図解して示している。相対補正量を一定に保ったまま、左右光学系２２ｌ，２２ｒの光軸２８ｌ，２８ｒの両方の位置のｘ座標を変化させ、計測誤差ｅが最小となる位置を探索する。これは、図１５中に矢印（２）で示されるように、Δｃｌｘ－Δｃｒｘ＝ｇを満たす平面上において、最小誤差ｅ０の位置を探索することに相当する。
　なお、処理（１）の際の計測誤差ｅの変化の主要因は視差量である。また、処理（２）の際の計測誤差ｅの変化の要因は歪み補正による誤差である。この歪み補正による誤差は、視差量による誤差に比べて影響は小さい。
　［キャップ］
　図２３は、本実施形態のステレオ計測装置１０のステレオカメラ２０が内視鏡１１０の先端部に搭載された構成例を示している。このような構成例において、例えば、チャート９０は、内視鏡１１０の先端部に着脱可能なキャップ１２０の内側に配置されている。キャップ１２０は、内視鏡１１０の先端部がほとんど隙間なく挿入され得る凹部１２２を有している。チャート９０は、キャップ１２０の凹部１２２の底面１２２ａに配置されている。
　キャリブレーション時のチャート９０の撮影は、内視鏡１１０の先端部がキャップ１２０の凹部１２２に挿入され、底面１２２ａに突き当てられた状態で行われる。このようにすることにより、撮影時のステレオカメラ２０とチャート９０の相対的な姿勢が安定し、補正量も安定する。

Claims (12)

  1. 　既知の間隔を置いて配置された２つのマーカを少なくとも有するチャートを、ステレオカメラを用いて撮影することにより生成されたステレオ画像を取得することと、
    　前記ステレオ画像と、前記ステレオカメラのキャリブレーションパラメータとを用いて、前記既知の間隔を計測することと、
    　前記既知の間隔とその計測結果との差である計測誤差が小さくなるように、前記キャリブレーションパラメータに含まれる光軸位置に係るパラメータを補正することとを有するステレオカメラのキャリブレーション方法。
  2. 　前記光軸位置に係るパラメータを補正することは、前記ステレオカメラの撮像面上において前記光軸位置を上下左右方向に移動させることに相当する処理を行うことを有する、請求項１に記載のキャリブレーション方法。
  3. 　前記光軸位置に係るパラメータを補正することは、先ず、前記光軸位置の上下補正量を算出し、その後に、前記光軸位置の左右補正量を算出することを有する請求項２に記載のキャリブレーション方法。
  4. 　前記左右補正量を算出することは、
    　前記ステレオカメラの左右光学系の一方の光軸位置を左右に変化させることに相当する処理を行うことにより、前記計測誤差を最小にする相対左右補正量を算出することと、
    　前記相対左右補正量を一定に保ったまま、前記ステレオカメラの左右光学系の両方の光軸位置を左右に変化させることに相当する処理を行うことにより、前記計測誤差を最小にする絶対左右補正量を算出することとを有する、請求項３に記載のキャリブレーション方法。
  5. 　前記上下補正量を算出することは、前記ステレオ画像の右画像と左画像上における同一のマーカの対応点の上下ズレ量を算出することを有する、請求項３または４に記載のキャリブレーション方法。
  6. 　前記チャートは、既知の間隔を置いて一直線上に配置された３つのマーカを少なくとも有し、
    　前記上下補正量を算出することは、前記３つのマーカを一直線上に整列させる処理を行うことを有する、請求項３または４に記載のキャリブレーション方法。
  7. 　前記計測誤差に基づいて、前記光軸位置に係るパラメータを補正することが必要であるか否かを判定することをさらに有している、請求項１から６のいずれかひとつに記載のキャリブレーション方法。
  8. 　前記チャートは、既知の間隔を置いて配置された３つ以上のマーカを含んでおり、
    　各マーカの像高に基づいて、前記既知の間隔を計測することに使用されるマーカを選択することをさらに有する、請求項１から７のいずれかひとつに記載のキャリブレーション方法。
  9. 　前記チャートは、既知の間隔を置いて配置された３つ以上のマーカを含んでおり、
    　前記ステレオ画像と前記キャリブレーションパラメータとを用いてマーカの奥行きを算出することと、
    　前記奥行きに基づいて、前記既知の間隔を計測することに使用されるマーカを選択することをさらに有する、請求項１から７のいずれかひとつに記載のキャリブレーション方法。
  10. 　前記ステレオカメラは内視鏡の先端部に搭載されており、
    　前記チャートは、前記内視鏡の先端部に着脱可能なキャップの内側に配置されている、請求項１から９のいずれかひとつに記載のキャリブレーション方法。
  11. 　ステレオカメラ用の画像処理装置であって、プロセッサとメモリとを有し、
    　前記プロセッサは、
    　既知の間隔を置いて配置された２つのマーカを少なくとも有するチャートを、ステレオカメラを用いて撮影する指示を出力し、
    　前記ステレオカメラによって生成されたステレオ画像を取得し、取得した前記ステレオ画像を前記メモリに記憶させ、
    　前記ステレオカメラのキャリブレーションパラメータを取得し、取得した前記キャリブレーションパラメータを前記メモリに記憶させ、
    　前記ステレオ画像と前記キャリブレーションパラメータを前記メモリから読み出し、読み出した前記ステレオ画像と前記キャリブレーションパラメータとを用いて前記既知の間隔を計測し、その計測結果を前記メモリに記憶させ、
    　前記既知の間隔とその計測結果との差である計測誤差が小さくなるように、前記キャリブレーションパラメータに含まれる光軸位置に係るパラメータを補正し、その補正量を前記メモリに記憶させる、ステレオカメラ用の画像処理装置。
  12. 　前記プロセッサは、前記ステレオ画像と前記キャリブレーションパラメータと前記補正量を前記メモリから読み出し、読み出した前記ステレオ画像と前記キャリブレーションパラメータと前記補正量とを用いて計測処理を行う、請求項１１に記載の画像処理装置。
PCT/JP2017/039142 2017-10-30 2017-10-30 ステレオカメラのキャリブレーション方法 WO2019087253A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
PCT/JP2017/039142 WO2019087253A1 (ja) 2017-10-30 2017-10-30 ステレオカメラのキャリブレーション方法
US16/852,683 US11295478B2 (en) 2017-10-30 2020-04-20 Stereo camera calibration method and image processing device for stereo camera

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2017/039142 WO2019087253A1 (ja) 2017-10-30 2017-10-30 ステレオカメラのキャリブレーション方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US16/852,683 Continuation US11295478B2 (en) 2017-10-30 2020-04-20 Stereo camera calibration method and image processing device for stereo camera

Publications (1)

Publication Number Publication Date
WO2019087253A1 true WO2019087253A1 (ja) 2019-05-09

Family

ID=66331645

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/039142 WO2019087253A1 (ja) 2017-10-30 2017-10-30 ステレオカメラのキャリブレーション方法

Country Status (2)

Country Link
US (1) US11295478B2 (ja)
WO (1) WO2019087253A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114765667A (zh) * 2021-01-13 2022-07-19 安霸国际有限合伙企业 用于多视图拼接的固定图案校准
CN113124763B (zh) * 2021-04-22 2022-05-24 奥比中光科技集团股份有限公司 光轴检测系统的光轴标定方法、装置、终端、系统和介质
DE102022101527A1 (de) 2022-01-24 2023-07-27 Karl Storz Se & Co. Kg Messvorrichtung und Messverfahren zum Überprüfen eines Messbildzustandes

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03214990A (ja) * 1990-01-19 1991-09-20 Nippon Philips Kk カラー撮像装置
JP2003324749A (ja) * 2002-04-26 2003-11-14 Makoto Dejima 肌撮影用テレビカメラ装置
US6768509B1 (en) * 2000-06-12 2004-07-27 Intel Corporation Method and apparatus for determining points of interest on an image of a camera calibration object
JP2009222446A (ja) * 2008-03-14 2009-10-01 Casio Comput Co Ltd 距離測定装置及びそのプログラム
JP2012202694A (ja) * 2011-03-23 2012-10-22 Canon Inc カメラ校正方法
JP2013113600A (ja) * 2011-11-25 2013-06-10 Sharp Corp ステレオ３次元計測装置
JP2015001465A (ja) * 2013-06-17 2015-01-05 キヤノン株式会社 三次元位置計測装置、及び三次元位置計測装置のキャリブレーションずれ判定方法
JP2017003279A (ja) * 2015-06-04 2017-01-05 シャープ株式会社 カメラ校正方法

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08285534A (ja) 1995-04-12 1996-11-01 Suzuki Motor Corp 車載用画像処理装置
JP4501239B2 (ja) * 2000-07-13 2010-07-14 ソニー株式会社 カメラ・キャリブレーション装置及び方法、並びに、記憶媒体
JP3902109B2 (ja) * 2002-10-02 2007-04-04 本田技研工業株式会社 赤外線カメラ特性確認治具
JP4095491B2 (ja) * 2003-05-19 2008-06-04 本田技研工業株式会社 距離測定装置、距離測定方法、及び距離測定プログラム
US8345953B2 (en) * 2008-05-22 2013-01-01 Matrix Electronic Measuring Properties, Llc Stereoscopic measurement system and method
JP5316118B2 (ja) * 2009-03-12 2013-10-16 オムロン株式会社 ３次元視覚センサ
KR101095670B1 (ko) * 2009-07-06 2011-12-19 (주) 비전에스티 스테레오 카메라의 고속 칼리브레이션 및 렉티피케이션 방법 및 장치
CN103792667B (zh) * 2012-10-30 2016-06-01 财团法人工业技术研究院 立体摄像装置、自动校正装置与校正方法
JP2014092461A (ja) * 2012-11-02 2014-05-19 Sony Corp 画像処理装置および方法、画像処理システム、並びにプログラム
US20150103147A1 (en) * 2013-10-14 2015-04-16 Etron Technology, Inc. Image calibration system and calibration method of a stereo camera
JP6447055B2 (ja) * 2014-01-28 2019-01-09 株式会社リコー 校正方法、校正装置、計測用具及びプログラム
TWI577172B (zh) * 2014-09-10 2017-04-01 鈺立微電子股份有限公司 影像校正系統和立體照相機的校正方法
EP3088175B1 (en) * 2015-04-27 2023-08-23 Ricoh Company, Ltd. Method for manufacturing laminated glass and laminated glass
TWI552598B (zh) * 2015-07-14 2016-10-01 晶睿通訊股份有限公司 一種攝影機之自動校正系統及其自動校正方法
WO2017199285A1 (ja) 2016-05-16 2017-11-23 オリンパス株式会社 画像処理装置及び画像処理方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03214990A (ja) * 1990-01-19 1991-09-20 Nippon Philips Kk カラー撮像装置
US6768509B1 (en) * 2000-06-12 2004-07-27 Intel Corporation Method and apparatus for determining points of interest on an image of a camera calibration object
JP2003324749A (ja) * 2002-04-26 2003-11-14 Makoto Dejima 肌撮影用テレビカメラ装置
JP2009222446A (ja) * 2008-03-14 2009-10-01 Casio Comput Co Ltd 距離測定装置及びそのプログラム
JP2012202694A (ja) * 2011-03-23 2012-10-22 Canon Inc カメラ校正方法
JP2013113600A (ja) * 2011-11-25 2013-06-10 Sharp Corp ステレオ３次元計測装置
JP2015001465A (ja) * 2013-06-17 2015-01-05 キヤノン株式会社 三次元位置計測装置、及び三次元位置計測装置のキャリブレーションずれ判定方法
JP2017003279A (ja) * 2015-06-04 2017-01-05 シャープ株式会社 カメラ校正方法

Also Published As

Publication number Publication date
US11295478B2 (en) 2022-04-05
US20200242806A1 (en) 2020-07-30

Similar Documents

Publication Publication Date Title
CN111243002A (zh) 应用于高精度三维测量的单目激光散斑投影系统标定及深度估计方法
KR102085228B1 (ko) 깊이 센서의 깊이 보정을 위한 이미지 처리방법 및 그 장치
US9672630B2 (en) Contour line measurement apparatus and robot system
JP5715735B2 (ja) ３次元測定方法、装置、及びシステム、並びに画像処理装置
JP4095491B2 (ja) 距離測定装置、距離測定方法、及び距離測定プログラム
US8718326B2 (en) System and method for extracting three-dimensional coordinates
US7724379B2 (en) 3-Dimensional shape measuring method and device thereof
EP2751521B1 (en) Method and system for alignment of a pattern on a spatial coded slide image
US20160073104A1 (en) Method for optically measuring three-dimensional coordinates and controlling a three-dimensional measuring device
CN109377551B (zh) 一种三维人脸重建方法、装置及其存储介质
WO2014002849A1 (ja) ３次元測定方法、装置及びシステム、並びに画像処理装置
JP2011253376A (ja) 画像処理装置、および画像処理方法、並びにプログラム
KR20190020087A (ko) 알려진 이동 중에 이동하는 물체의 3차원 측정을 위한 방법
JP5070435B1 (ja) ３次元相対座標計測装置およびその方法
US11295478B2 (en) Stereo camera calibration method and image processing device for stereo camera
JP2009284188A (ja) カラー撮像装置
KR102129206B1 (ko) 사진 이미지를 이용한 3차원 좌표 계산 방법 및 3차원 좌표 계산 장치
WO2023201578A1 (zh) 单目激光散斑投影系统的外参数标定方法和装置
US20130314533A1 (en) Data deriving apparatus
WO2016040271A1 (en) Method for optically measuring three-dimensional coordinates and controlling a three-dimensional measuring device
KR101597163B1 (ko) 스테레오 카메라 교정 방법 및 장치
JP3842988B2 (ja) 両眼立体視によって物体の３次元情報を計測する画像処理装置およびその方法又は計測のプログラムを記録した記録媒体
US20210183092A1 (en) Measuring apparatus, measuring method and microscope system
CN111998834B (zh) 一种裂缝监测方法及系统
JP2007033087A (ja) キャリブレーション装置及び方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17931027

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17931027

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP