WO2017130650A1 - ステレオカメラおよび撮像システム - Google Patents

ステレオカメラおよび撮像システム Download PDF

Info

Publication number
WO2017130650A1
WO2017130650A1 PCT/JP2017/000131 JP2017000131W WO2017130650A1 WO 2017130650 A1 WO2017130650 A1 WO 2017130650A1 JP 2017000131 W JP2017000131 W JP 2017000131W WO 2017130650 A1 WO2017130650 A1 WO 2017130650A1
Authority
WO
WIPO (PCT)
Prior art keywords
camera
stereo
parameter
imaging system
image
Prior art date
Application number
PCT/JP2017/000131
Other languages
English (en)
French (fr)
Inventor
誠也 伊藤
媛 李
Original Assignee
株式会社日立製作所
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社日立製作所 filed Critical 株式会社日立製作所
Priority to US16/072,707 priority Critical patent/US10652521B2/en
Publication of WO2017130650A1 publication Critical patent/WO2017130650A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/246—Calibration of cameras
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/02—Mountings, adjusting means, or light-tight connections, for optical elements for lenses
    • G02B7/023—Mountings, adjusting means, or light-tight connections, for optical elements for lenses permitting adjustment
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/02—Mountings, adjusting means, or light-tight connections, for optical elements for lenses
    • G02B7/04—Mountings, adjusting means, or light-tight connections, for optical elements for lenses with mechanism for focusing or varying magnification
    • G02B7/10—Mountings, adjusting means, or light-tight connections, for optical elements for lenses with mechanism for focusing or varying magnification by relative axial movement of several lenses, e.g. of varifocal objective lens
    • G02B7/102—Mountings, adjusting means, or light-tight connections, for optical elements for lenses with mechanism for focusing or varying magnification by relative axial movement of several lenses, e.g. of varifocal objective lens controlled by a microcomputer
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B35/00—Stereoscopic photography
    • G03B35/08—Stereoscopic photography by simultaneous recording
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects

Definitions

  • the present invention relates to a camera calibration and a camera control method in a stereo camera and an imaging system.
  • Patent Document 1 discloses a technique for performing zoom control suitable for three-dimensional measurement when measuring the distance of a subject in a stereo imaging device having a zoom lens.
  • control data corresponding to the operation of the supervisor is transmitted to the stereo imaging control unit, and the stereo imaging control unit performs zoom control of the imaging unit and pan control and tilt of the imaging unit according to the control data. It is possible to perform control, and it is disclosed to perform shooting at an arbitrary focal length, that is, an angle of view, and a visual field, that is, an image frame without causing frame out.
  • the stereo camera can monitor a three-dimensional shape with an angle of view, a visual field, and detection accuracy according to the subject.
  • the zoom mechanism and pan / tilt mechanism of the stereo camera are displaced from the time of shipment from the factory due to the influence of various environments. For this reason, the accuracy of the monitoring result may be reduced depending on the environment and the passage of time.
  • the housing when a stereo camera device is installed with a jig or the like, the housing may be distorted due to pressure on the contact surface, the housing material may expand or contract due to temperature, etc. The case where an installation error occurs is not considered.
  • an imaging system having a stereo camera and a plurality of imaging devices
  • three-dimensional measurement and stereoscopic image shooting are performed based on imaging information of the two cameras and the plurality of imaging devices, and a change in the characteristic difference of the imaging devices is performed. It is also necessary to consider.
  • the present invention has been made to solve the above problem, and in an imaging system such as a stereo camera having a mechanism capable of controlling camera settings such as zoom and pan / tilt, even if the camera settings change.
  • the purpose is to maintain the measurement accuracy of stereo cameras and imaging systems.
  • a stereo camera having at least two cameras estimates the camera parameters of the camera when the lens position of the camera is changed by an operation instruction of the camera.
  • the imaging system according to the present invention includes at least two cameras, a camera control unit that controls at least a lens position of the camera, and at least a lens position of the camera when the camera control unit moves the camera.
  • a calibration unit that estimates camera parameters and an image recognition unit that performs three-dimensional restoration of the captured image of the camera based on the camera parameters are provided.
  • a stereo camera and an imaging system that do not deteriorate in accuracy can be obtained even with respect to secular changes or changes due to external factors of a plurality of imaging devices of a stereo camera. Can be provided.
  • ⁇ is a constant
  • the parameter matrix K represents an internal parameter of the camera
  • the parameter matrix D represents an external parameter of the camera.
  • the parameter matrix K is expressed as (Equation 2), where f is the focal length, a is the aspect ratio, s is the skew, and (uc, vc) is the center coordinate of the image coordinates.
  • the parameter matrix D is expressed as (Equation 3).
  • (R11, r12, r13, r21, r22, r23, r31, r32, r33) in (Equation 3) represents the direction of the camera (the direction of the lens optical axis), and (tx, ty, tz) represents the camera installation position ( The world coordinates of the lens center coordinates are shown.
  • the camera installation angles pan ⁇ , tilt ⁇ , roll ⁇
  • the external parameters can be represented by the following three parameters. Therefore, the number of camera parameters necessary for associating the world coordinates (XW, YW, ZW) with the image coordinates (u, v) is 11 parameters, which is a total of 5 internal parameters and 6 external parameters. It becomes.
  • the parameter matrix K changes.
  • the parameter matrix D changes when the camera orientation changes due to the pan / tilt operation of the camera. Therefore, it is necessary to perform calibration every time the zoom or pan / tilt camera settings are changed.
  • the operability of the camera is not good.
  • self-camera calibration is performed without a calibration chart.
  • FIG. 1 is a diagram illustrating a configuration of a stereo camera according to an embodiment.
  • the measurement object or the area of the measurement object is imaged by the two imaging devices of the camera 1 (10a) and the camera 2 (10b).
  • the detection target is not particularly limited, and a moving object such as a person, a vehicle, a ship, or a robot, or a specific object may be used for the detection method.
  • embodiment demonstrates the structure of the two imaging devices of the camera 1 (10a) and the camera 2 (10b), not only this but the structure which has a some imaging device may be sufficient.
  • the stereo camera of the embodiment includes a camera control unit 30 that controls the camera 1 (10a) and the camera 2 (10b), a calibration unit 40 that calculates camera parameters, and an image recognition unit 50.
  • a setting value storage unit 60, a parameter initial value storage unit 61, and a correction data storage unit 62 are provided.
  • the stereo camera of the embodiment shown in FIG. 1 includes a camera 1 (10a), a camera 2 (10b), a camera control unit 30, a calibration unit 40, an image recognition unit 50, a camera setting value storage unit 60, and parameter initial values.
  • the storage unit 61 and the correction data storage unit 62 are integrally configured.
  • the stereo camera includes the camera 1 (10a), the camera 2 (10b), and the camera control unit 30, and calibration is performed.
  • the processing unit 40 and the image recognition unit 50 may be configured by other information processing apparatuses.
  • the camera 10 includes a drive unit 11 that is a mechanism for controlling the orientation and angle of view of the camera 10, and an imaging unit 12 that includes an image sensor such as a complementary metal oxide semiconductor (CMOS) or a charge coupled device (CCD). .
  • CMOS complementary metal oxide semiconductor
  • CCD charge coupled device
  • the driving unit 11 includes a zoom control unit 201 that drives a lens mechanism (not shown) of the imaging unit 12 to change the focal length by moving the lens, and changes the angle of view that is the imaging range of the camera.
  • a tilt control unit 202 that controls the vertical direction of the camera 10 and a pan control unit 203 that controls the horizontal direction of the camera 10 are provided. Thereby, a predetermined measurement object or an area of the measurement object can be imaged for each camera 10.
  • the camera control unit 30 controls the drive units 11 a and 11 b, and the image data of the measurement object is measured by the camera 1 (10 a) and the camera 2 (10 b). To get. Then, the stereo camera calculates the distance data between the measurement object and the camera based on the parallax data obtained from the two image data, and performs three-dimensional measurement.
  • the stereo camera of the embodiment includes a calibration unit 40 that calculates camera parameters and an image recognition unit 50 that performs three-dimensional measurement and stereoscopic image processing.
  • the calibration unit 40 and the image recognition unit 50 are connected to the camera 1 (10a) and the camera 2 (10b) via the communication path 20, and acquire image data from the camera 1 (10a) and the camera 2 (10b). .
  • the processing result of the image recognition unit 50 can be displayed on a terminal device such as a liquid crystal display device or a CRT (Cathode Ray Ray Tube) display device (not shown).
  • a terminal device such as a liquid crystal display device or a CRT (Cathode Ray Ray Tube) display device (not shown).
  • the stereo camera of the embodiment may be configured to have RGB (Red-Green-Blue) monitor output, or may be configured to perform data file output via a network.
  • the stereo camera of the embodiment includes a camera setting value storage unit 60, a parameter initial value storage unit 61, and a correction data storage unit 62.
  • the calibration unit 40 refers to the camera setting value storage unit 60 and the parameter initial value storage unit 61 to perform camera calibration processing, and to perform correction data based on the calculated camera parameters. Is stored in the correction data storage unit 62.
  • the image recognition unit 50 refers to the correction data storage unit 62, obtains the world coordinates of the measurement object from the image coordinates of the acquired camera image information, and performs three-dimensional measurement and stereoscopic image processing. . Specifically, the image recognition unit 50 acquires an image for processing by the image acquisition unit 51, the correction unit 52 corrects image distortion and the like using the camera parameters acquired by the calibration unit 40, and the image processing unit 53. Performs parallax calculation of stereo processing and video analysis processing based on the corrected image.
  • FIG. 2 is a flow showing the processing of one-time image data captured by two cameras, camera 1 (10a) and camera 2 (10b). It is processed repeatedly.
  • step S21 image data photographed by the camera 1 and the camera 2 is acquired (S21). Then, camera setting values such as the lens position instructed for operation are acquired (S22). Next, it is determined whether or not the camera setting value has been changed from the value at the time of the previous imaging process (S23). If it has been changed (Yes in S23), the initial parameter corresponding to the camera setting value is set. Based on this, calibration processing for estimating camera parameters is performed (S24). If the camera setting value has not been changed in step S23 (No in S23), the process proceeds to step S25.
  • the camera calibration method in step S24 is to extract feature points such as “QTLuong and ODFaugeras,“ The Fundamental Matrix: Theory, Algorithms and Stability "Analysis” ”, and obtain a basic matrix accordingly.
  • the estimated value is evaluated using the parallax density as an index.
  • iterative processing is performed by an arbitrary optimization method such as a gradient method, Newton method, and Levenberg-Marquardt method, and the processing may be terminated.
  • the initial parameter is used as an initial value for this iterative process.
  • the stereo camera or the imaging system dynamically calibrates and updates the camera parameter according to the change of the camera setting value according to the operation instruction of the camera 1 and the camera 2.
  • the measurement accuracy does not fluctuate.
  • calibration since calibration is performed dynamically, it is possible to follow changes over time and changes due to external factors of the stereo camera and the imaging system.
  • dynamic calibration it is possible to perform measurement with little error even when the zoom range is widened, so that the application range of stereo cameras and imaging systems can be widened.
  • step S25 various correction processes such as lens distortion correction, magnification correction, and parallelization process are performed on the image data using the acquired camera parameters.
  • step S26 various processes such as preprocessing such as low-pass filter processing for noise removal, feature amount calculation processing such as edge detection, block matching such as normalized cross-correlation and sum of absolute differences, and space-sweep method are used.
  • preprocessing such as low-pass filter processing for noise removal
  • feature amount calculation processing such as edge detection
  • block matching such as normalized cross-correlation and sum of absolute differences
  • space-sweep method space-sweep method
  • the camera control unit 30 acquires camera operation instructions (lens movement amount, pan / tilt angle, etc.) such as the direction and angle of view of the camera 1 (10a) and camera 2 (10b) of the stereo camera (S31).
  • This camera operation instruction is set by an operation program of the adjustment mechanism of the stereo camera or an application program such as a monitoring system.
  • step S31 the setting value of the tilt control unit 202, the setting value of the pan control unit 203 and the control value of the zoom control unit 201 corresponding to the operation instruction acquired in step S31 are calculated, and the driving unit 11a and the driving unit 11b are calculated. (S32).
  • the camera control unit 30 determines the operation position such as the actually operated angle and lens position from the drive unit 11a and the drive unit 11b after the setting operation of the zoom control unit 201, the tilt control unit 202, and the pan control unit 203 is completed.
  • a response value is received (S33). This is because even if a control value is specified, there is an error such as the amount of movement due to variations in the zoom mechanism and pan / tilt mechanism of the camera and changes over time, so the actual setting state on the camera side is acquired to improve accuracy. This is for the purpose of illustration.
  • the received response value is recorded in the camera setting value recording unit 60 as data corresponding to the external parameters of the camera 1 (10a) and the camera 2 (10b) of the stereo camera (S34).
  • the calibration unit 40 in FIG. 1 for estimating camera parameters acquires captured image information from a camera 1 (10a) and a camera 2 (10b) that are arranged so as to capture an image of an imaging target from a plurality of different directions.
  • a parameter estimation unit 43 for estimating for estimating.
  • FIG. 5 shows an example of the configuration of the parameter initial value 61.
  • the parameter initial value 61 in FIG. 5 stores the initial value of the camera parameter corresponding to a predetermined camera setting value for each of the cameras 1 (10a) and 2 (10b) of the stereo camera. For example, a focal length 501 is given to the lens position 500, and an image scale 502, offsets 503 of a plurality of cameras, and the like are set.
  • the camera parameter estimated by the calibration unit 40 is stored in correspondence with the camera setting (lens position 500) (504). If there is no change in the camera settings, the estimated camera parameter 504 stored in the parameter initial value 61 may be referred to without performing calibration.
  • the camera setting is changed, the camera parameter corresponding to the camera setting at the previous imaging is acquired from the estimated camera parameter 504 of the parameter initial value 61, and this is set as the initial value of calibration. Thereby, estimation calculation can be performed stably.
  • FIG. 6 is a diagram for explaining the correction of the image data of the stereo camera, and the upper part shows a captured image when the angle of view of the camera 1 (10a) of the stereo camera is larger than the angle of view of the camera 2 (10b). The lower part shows a case where the parallelization of the captured image of the camera 1 (10a) is corrected in accordance with the angle of view of the camera 2 (10b).
  • the angles of view of the camera 1 (10a) and the camera 2 (10b) can be determined by comparing the estimated camera parameters (focal length).
  • step S25 of FIG. 2 the camera parameters (focal length) estimated by the camera 1 (10a) and the camera 2 (10b) are compared, and the angles of view are compared between the camera 1 (10a) and the camera 2 (10b).
  • the other captured image is corrected in accordance with the angle of view of one captured image.
  • the feature points in the same angle of view are associated by searching for any feature point in the captured images of the camera 1 (10a) and the camera 2 (10b) so that the epipolar lines of the feature points become parallel.
  • the parallelization correction of the captured image is performed.
  • the calculated correction data (correction matrix) is stored in the correction data 62 (see FIG. 1).
  • parallax information is obtained using the image information of the camera 1 (10a) that has been subjected to parallelization correction and the image information captured by the camera 2 (10b), and distance calculation is executed from the parallax information.
  • three-dimensional reconstruction of the captured images of the camera 1 (10a) and the camera 2 (10b) is performed using the estimated camera parameters and the correction matrix for parallelization correction.
  • image data taken by the camera 1 and the camera 2 is acquired (S71).
  • camera setting values such as the lens position instructed for operation are acquired (S72).
  • step S73 it is determined whether or not the camera setting value has been changed from the value at the time of the previous imaging process (S73). If it has not been changed (No in S73), the process proceeds to step S81. In this case, three-dimensional reconstruction is performed based on the captured images of the cameras 1 and 2 using the camera parameters estimated in the previous imaging process (S81). The camera parameter can be acquired with reference to the initial parameter 61.
  • the parallax density D with respect to the number of edge points E is determined by the following equation using the effective number of parallaxes d representing the number of effective parallaxes with respect to the number of edge points, and the parallax density D is calculated (S75).
  • D d / E (Equation 6) According to the parallax density D, it is possible to evaluate the accuracy of the correction parameter and the parallelization in the stereo processing.
  • an evaluation value of the parallax density can be obtained by evaluating an error between the actually measured value and the distance data obtained from the acquired parallax image.
  • parallax information may not be obtained from a captured image.
  • the captured image does not have a certain degree of matching, parallax information cannot be obtained from the captured image.
  • the evaluation based on the parallax density D uses the properties of these captured images.
  • step S76 the parallax density D is evaluated. If the parallax density is equal to or higher than a predetermined value, the process proceeds to step S80. That is, when the parallax density D is equal to or higher than a predetermined value, it is possible to acquire a highly accurate parallax image and distance data from the captured images of the camera 1 and the camera 2, or to perform highly accurate three-dimensional restoration. Judge that it is possible.
  • step S80 camera parameters are estimated based on the captured images of the cameras 1 and 2.
  • the camera parameter estimation at this time may be performed in the same manner as the calibration process in step S24 of the process flow of FIG.
  • the estimated camera parameter is recorded in the parameter initial value 61.
  • step S76 the parallax density D is evaluated. If the parallax density is less than the predetermined value, the camera readjustment process in the next steps S77 to S79 is performed. In this camera readjustment process, first, the camera setting value is corrected so that the parallax density D increases (S77). Then, according to the camera control flow described in FIG. 4, the corrected camera setting value is notified to the camera control unit 30 as a camera operation instruction, and the camera control unit 30 sends the camera 1 (10a) or the camera 2 (10b) to the camera. A control value is transmitted (S78).
  • step S76 the correction of the camera setting value and the evaluation of the parallax density D are repeated until the parallax density D becomes equal to or higher than a predetermined value.
  • the processing flow of FIG. 2 is different from the calibration processing unit in that the camera is adjusted via the camera control unit, and a captured image with a high parallax density can be obtained by the processing flow of FIG.
  • the accuracy of restoration can be increased.
  • FIG. 8 is a diagram illustrating a captured image in a process of performing imaging by repeatedly correcting the camera setting value and evaluating the parallax density D until the parallax density D is equal to or greater than a predetermined value.
  • the upper part of FIG. 8 shows captured images of the camera 1 (10a) and the camera 2 (10b) of the stereo camera before correction of the camera setting values, and parallax images obtained from the captured images.
  • the degree of matching between the captured images of the camera 1 (10a) and the camera 2 (10b) of the stereo camera is small, and an effective parallax image cannot be obtained as indicated by a broken line.
  • the camera setting value of the camera 1 (10a) is corrected by the processing flow described in FIG. 7, the captured image of the camera 1 (10a) changes as shown in the lower part of FIG. ) And the parallax images of the images captured by the camera 2 (10b).
  • the camera setting value is corrected to change the captured image of the camera 1 (10a), but the camera setting value of the camera 2 (10b) may be corrected.
  • parallel stereo processing is performed in consideration of hardware computing resources.
  • the processing flow of FIG. 2 indicates that the parallelization correction is performed in step S25.
  • the present invention is not limited to the above processing, and computational resources are required.
  • the parallax calculation may be performed by searching for feature points in an arbitrary direction.
  • FIG. 9 shows a processing flow when performing calibration by performing feature point search in an arbitrary direction.
  • image data taken by the camera 1 and the camera 2 are acquired (S91).
  • camera setting values, such as a lens position are acquired (S92).
  • step S93 it is determined whether or not the camera setting value has been changed from the value at the time of the previous imaging process. If not changed (No in S93), the process proceeds to step S96. In this case, three-dimensional restoration is performed based on the captured images of the cameras 1 and 2 using the camera parameters estimated in the previous imaging process (S96). The camera parameter is acquired with reference to the initial parameter 61.
  • the feature point search is executed by comparing the captured images of the camera 1 and the camera 2 (S94). At this time, instead of searching only in the horizontal direction, a search is made for a predetermined width or the entire screen in the horizontal direction to search for a feature point that matches between two captured images. Thereafter, a calibration process for estimating the camera parameter based on the initial parameter corresponding to the camera setting value is performed (S95). This calibration process is performed in the same manner as the process of step S24 in FIG.
  • step S96 three-dimensional reconstruction is performed based on the captured images of the cameras 1 and 2 using the estimated camera parameters estimated in the previous imaging process or the camera parameters estimated in step S95.
  • FIG. 10 is a diagram illustrating a state of searching for feature points of captured images of the cameras 1 and 2. Since the parallel stereo processing is not performed, the search direction is inclined as shown in the lower diagram.
  • the camera 1 and the camera 2 are placed side by side in a positional relationship, and the optical axes of the cameras are parallel and fixed at the same height. Often configured.
  • the stereo camera is panned to the left and right, the camera 1 and the camera 2 are integrally rotated at the center of the camera 1 and the camera 2. Many.
  • each of the camera 1 and the camera 2 is configured to rotate independently about the camera. Thereby, a stereo camera can be reduced in size by reducing the rotation area of the camera.
  • the imaging surfaces of the camera 1 and the camera 2 are on the same plane and are in a parallel equivalent state.
  • the imaging surface of the camera 1 and the imaging surface of the camera 2 are not configured in the same plane. For this reason, the angle of view between the camera 1 and the camera 2 is different from each other without being in the parallel equivalence state, and effective parallax information cannot be acquired.
  • the zoom control is performed so that the angle of view of the camera 1 and the camera 2 becomes the same when the imaging direction (camera setting) is changed, and the camera 1 or the camera 2 is calibrated. ing.
  • the camera 1 and the camera 2 can be regarded as being in the state of a parallel equipotential camera, so that distance information can be acquired and three-dimensional restoration can be performed regardless of the rotation direction of the camera 1 and the camera 2.
  • the present invention is not limited to the above-described embodiment, and includes various modifications.
  • the above-described embodiment has been described in detail for easy understanding in the present invention, and is not necessarily limited to the one having all the configurations described. Further, a part of the configuration of an embodiment can be replaced with the configuration of another embodiment, and the configuration of another embodiment can be added to the configuration of an embodiment.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Studio Devices (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Measurement Of Optical Distance (AREA)
  • Stereoscopic And Panoramic Photography (AREA)

Abstract

ズームやパン／チルト等のカメラ設定を制御可能な機構を有するステレオカメラ等の撮像システムにおいて、カメラ設定が変化しても、撮像システムの計測精度の維持を行うステレオカメラや撮像システムを提供する。少なくとも２つのカメラ（１０ａ、１０ｂ）を有するステレオカメラは、カメラの操作指示により前記カメラのレンズ位置が変更された際に、前記カメラのカメラパラメータを推定するようにした。また、撮像システムは、少なくともふたつのカメラと、前記カメラの少なくともレンズ位置を制御するカメラ制御部（３０）と、前記カメラ制御部により前記カメラの少なくともレンズ位置が移動されたときに、前記カメラのカメラパラメータ推定するキャリブレーション部（４０）と、前記カメラパラメータに基づいて前記カメラの撮像画像の３次元復元を行う画像認識部（５０）と、を備えるようにした。

Description

ステレオカメラおよび撮像システム
　本発明は、ステレオカメラおよび撮像システムにおける、カメラキャリブレーションおよびカメラ制御方法に関する。
　対象物の３次元計測や立体像の撮影を行う装置やシステムとして、対象物を複数の異なる方向から撮影することにより、対象物の奥行き方向の情報を記録するステレオカメラがある。
　このステレオカメラや、複数の撮像装置を有して３次元計測処理を行う撮像システムの中には、ズームレンズを備えるものがある。特許文献１には、ズームレンズを備えたステレオ撮像装置において、被写体の距離計測を行う際に、３次元計測に適したズーム制御を行う技術が開示されている。
　詳しくは、特許文献１には、監視者の操作に応じた制御データをステレオ撮像制御部へ送信し、ステレオ撮像制御部で制御データに応じて撮像部のズーム制御と撮像部のパン制御及びチルト制御を行うことが可能であり、任意の焦点距離すなわち画角、視野すなわち画枠で、フレームアウトを生じさせることなく、撮影を行うことが開示されている。
特開２０１１－１７６８６８号公報
　上記の先行技術によれば、ステレオカメラは、被写体に応じた画角や視野、検出精度で３次元形状をモニタリングすることができる。
　しかし、ステレオカメラのズーム機構やパン／チルト機構が、様々な環境の影響を受けて工場出荷時からズレが生じることは考慮されていない。このため、環境や時間経過によってモニタリング結果の精度が低下することがある。
　また、治具等でステレオカメラ装置を設置した際に、接触面での圧力により筐体に歪みが生じる場合や、温度などによって筐体素材が膨張収縮する場合や、振動などによって、長時間を経て取り付け誤差が生じる場合も考慮されていない。
　また、ステレオカメラや複数の撮像装置を有する撮像システムでは、２つのカメラや複数の撮像装置の撮像情報に基づいて、３次元計測や立体像の撮影をおこなっており、撮像装置の特性差の変化についても考慮する必要がある。
　本発明は、上記の問題を解決するためになされたものであって、ズームやパン／チルト等のカメラ設定を制御可能な機構を有するステレオカメラ等の撮像システムにおいて、カメラ設定が変化しても、ステレオカメラや撮像システムの計測精度を維持することを目的とする。
　前記課題を解決するため、本願発明の少なくとも２つのカメラを有するステレオカメラは、カメラの操作指示により前記カメラのレンズ位置が変更された際に、前記カメラのカメラパラメータを推定するようにした。
　また、本願発明の撮像システムは、少なくともふたつのカメラと、前記カメラの少なくともレンズ位置を制御するカメラ制御部と、前記カメラ制御部により前記カメラの少なくともレンズ位置が移動されたときに、前記カメラのカメラパラメータ推定するキャリブレーション部と、前記カメラパラメータに基づいて前記カメラの撮像画像の３次元復元を行う画像認識部と、を備えるようにした。
　本発明によれば、動的にカメラキャリブレーションを実行可能なため、ステレオカメラの複数の撮像装置の経年変化や外的要因による変化に対しても、精度の低下のないステレオカメラや撮像システムを提供することができる。
実施形態のステレオカメラの構成を示す図である。 実施形態のステレオカメラや撮像システムの処理概要を示す図である。 カメラの内部構成を示す図である。 カメラ制御部の処理フローを示す図である。 パラメータ初期値の構成の一例を示す図である。 ステレオカメラの画像データの補正を説明する図である。 ステレオカメラや撮像システムの制御フロー図である。 視差密度の評価によるステレオカメラの画像データの補正を説明する図である。 任意方向の特徴点検索をおこないキャリブレーションする際の処理フローを示す図である。 撮像画像の特徴点探索の様子を表わす図である。 ステレオカメラの構造の一例を示す図である。
　以下、実施形態のステレオカメラを、図面を参照しながら説明する。
　まず、対象物を複数の異なる方向から撮影することにより対象物の奥行き方向の情報を算出する、ステレオカメラ等の撮像システムの座標表現について説明する。対象物の世界座標（ＸW、ＹW、ＺW）と画像座標（ｕ、ｖ）とは、つぎの（数１）の関係で表わすことができる。
Figure JPOXMLDOC01-appb-M000001
　ここで、λは定数であり、パラメータ行列Ｋはカメラの内部パラメータを表わし、パラメータ行列Ｄはカメラの外部パラメータを表わしている。
　パラメータ行列Ｋは、焦点距離をf、アスペクト比をa、スキューをs、画像座標の中心座標を（ｕc、ｖc）とすると、（数２）のように表わされる。
Figure JPOXMLDOC01-appb-M000002
　また、パラメータ行列Ｄは、（数３）のように表わされる。（数３）の（r11、r12、r13、r21、r22、r23、r31、r32、r33）はカメラの向き（レンズ光軸の方向）を表わし、（tx、ty、tz）はカメラ設置位置（レンズの中心座標）の世界座標を示している。
Figure JPOXMLDOC01-appb-M000003
　なお、外部パラメータのカメラの向きを示す（r11、r12、r13、r21、r22、r23、r31、r32、r33）をオイラー角により定義すると、カメラの設置角度であるパンθ、チルトφ、ロールψの３個のパラメータによって外部パラメータを表わすことができる。
　そのため、世界座標（ＸW、ＹW、ＺW）と画像座標（ｕ、ｖ）の対応付けのために必要なカメラパラメータ数は、５個の内部パラメータと６個の外部パラメータを合計した１１個のパラメータとなる。
　ところで、（数３）において、カメラパラメータ行列Ｄは定数倍しても意味が不変であることから、λとパラメータ行列Ｋ、Ｄを１つの行列に整理してつぎの（数４）のように表現しても良い。
Figure JPOXMLDOC01-appb-M000004
　さらに、（数４）において、c34を１に固定すると未知のパラメータ数は１１個となる。これら１１個のパラメータを求めることは、（数１）における５つの内部パラメーと６つの外部パラメータを求めることと同義である。
　最終的には、（数１）は（数５）のように変形でき、（数５）における行列Ｃが最終的に求めるカメラパラメータとなる。
Figure JPOXMLDOC01-appb-M000005
　このカメラパラメータを算出するために、キャリブレーション方法が考案されている。一般的なキャリブレーションでは、キャリブレーションパターンの位置を様々な方向から撮影し、理想的な見え方と、実際に撮影した画像との比較演算、例えば最小２乗誤差をとるように内部パラメータや外部パラメータの最適解を求めている。
　代表的には、“Ｚｈａｎｇの方法”（Z. Zhang, “A flexible new technique for camera calibration”、IEEE Transactions on Pattern Analysis and Machine Intelligence, 22(11):1330-1334, 2000.）により、カメラパラメータを算出することができる。
　ところで、カメラのズーム量を変えると焦点距離が変わるために、上記のパラメータ行列Ｋが変わる。また、カメラのパン／チルト動作によりカメラの向きが変わると、パラメータ行列Ｄが変わる。このため、ズームやパン／チルトのカメラの設定が変わるたびに、キャリブレーションを行う必要がある。
　上記の“Ｚｈａｎｇの方法”では、キャリブレーション用のチャートを使用するため、カメラの操作性がよくない。
　実施形態のステレオカメラや撮像システムでは、以下に説明するように、キャリブレーション用のチャートなしにセルフカメラキャリブレーションするようにした。
　図１は、実施形態のステレオカメラの構成を示す図である。
　実施形態のステレオカメラは、カメラ１（１０ａ）とカメラ２（１０ｂ）の２つの撮像装置により、測定対象物あるいは測定対象のエリアを撮像している。実施形態のステレオカメラでは、特に、検出対象に制限はなく、人物や車両、船舶、ロボットなどの移動物体や、特定の物体を検出方法に用いてもよい。
　また、実施形態では、カメラ１（１０ａ）とカメラ２（１０ｂ）の２台の撮像装置の構成について説明するが、これに限らず、複数の撮像装置をもつ構成でもよい。
　さらに、実施形態のステレオカメラは、カメラ１（１０ａ）とカメラ２（１０ｂ）を制御するカメラ制御部３０と、カメラパラメータの算出を行うキャリブレーション部４０と、画像認識部５０から構成され、カメラ設定値の記憶部６０、パラメータ初期値の記憶部６１、補正データの記憶部６２を備える。
　図１に示す実施形態のステレオカメラは、カメラ１（１０ａ）、カメラ２（１０ｂ）、カメラ制御部３０、キャリブレーション部４０、画像認識部５０、カメラ設定値の記憶部６０、パラメータ初期値の記憶部６１、補正データの記憶部６２を一体に構成しているが、これに限らず、ステレオカメラは、カメラ１（１０ａ）とカメラ２（１０ｂ）とカメラ制御部３０とで構成し、キャリブレーション部４０や画像認識部５０を他の情報処理装置で構成してもよい。
　つぎに、図３により、カメラ１（１０ａ）とカメラ２（１０ｂ）（以下、総称してカメラ１０と記す）の内部構成について説明する。
　カメラ１０は、カメラ１０の向きや画角を制御する機構である駆動部１１と、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）やＣＣＤ（Charge Coupled Device）などの画像センサを搭載する撮像部１２から構成される。
　駆動部１１には、撮像部１２のレンズ機構（図示せず）を駆動してレンズの移動によって焦点距離を変更し、カメラの撮像範囲である画角を変更するズーム制御部２０１と、カメラ１０の垂直方向の向きを制御するチルト制御部２０２と、カメラ１０の水平方向の向きを制御するパン制御部２０３とが設けられている。
　これにより、カメラ１０ごとに、所定の測定対象物あるいは測定対象のエリアを撮像することができる。
　図１にもどり、実施形態のステレオカメラや撮像システムは、カメラ制御部３０が駆動部１１ａ、１１ｂを制御して、上記のカメラ１（１０ａ）とカメラ２（１０ｂ）により測定対象物の画像データを取得する。そして、ステレオカメラは、２つの画像データから求まる視差データに基づいて、測定対象物とカメラとの距離データを算出して、３次元計測を行う。
　また、実施形態のステレオカメラは、カメラパラメータを算出するキャリブレーション部４０と３次元計測や立体像の処理を行う画像認識部５０を備えている。キャリブレーション部４０と画像認識部５０は、通信路２０を介して、カメラ１（１０ａ）とカメラ２（１０ｂ）に接続し、カメラ１（１０ａ）とカメラ２（１０ｂ）から画像データを取得する。
　画像認識部５０の処理結果は、図示していない液晶表示装置やＣＲＴ（Cathode Ray Tube）表示装置など端末装置に表示することができる。また、実施形態のステレオカメラのＲＧＢ（Red-Green-Blue）モニタ出力をもつ構成や、または、ネットワーク経由でのデータファイル出力などを行う構成としてもよい。
　また、実施形態のステレオカメラは、カメラ設定値の記憶部６０と、パラメータ初期値の記憶部６１と、補正データの記憶部６２とを備える。詳細を後述するが、キャリブレーション部４０は、カメラ設定値の記憶部６０と、パラメータ初期値の記憶部６１とを参照して、カメラのキャリブレーション処理を行い、算出したカメラパラメータに基づく補正データを補正データの記憶部６２に記録する。
　そして、画像認識部５０は、補正データの記憶部６２を参照して、取得したカメラの画像情報の画像座標から、測定対象物の世界座標を求めて、３次元測定や立体像の処理を行う。詳しくは、画像認識部５０は画像取得部５１により処理用の画像を取得し、補正部５２はキャリブレーション部４０で取得したカメラパラメータを用いて、画像の歪みなどを補正し、画像処理部５３はこの補正された画像に基づいて、ステレオ処理の視差計算や映像解析の処理を実行する。
　ここで、図２により、実施形態のステレオカメラや撮像システムの処理の概要について説明する。図２は、カメラ１（１０ａ）とカメラ２（１０ｂ）の２台のカメラで撮影した１回分の撮像データの処理を示すフローであり、連続して撮像する場合には、図２のフローが繰り返し処理される。
　まず、カメラ１およびカメラ２によって撮影した画像データを取得する（Ｓ２１）。そして、操作指示されたレンズ位置等のカメラ設定値を取得する（Ｓ２２）。
　つぎに、カメラ設定値が、前回撮像処理したときの値から変更されたか否かを判定し（Ｓ２３）、変更されていた場合には（Ｓ２３のＹｅｓ）、カメラ設定値に対応する初期パラメータに基づいてカメラパラメータを推定するキャリブレーション処理を行う（Ｓ２４）。
　ステップＳ２３で、カメラ設定値が、変更されていなかった場合には（Ｓ２３のＮｏ）、ステップＳ２５に進む。
　ここで、ステップＳ２４におけるカメラキャリブレーションの方法は、「Q.T.Luong and O.D.Faugeras, "The Fundamental Matrix: Theory, Algorithms and Stability Analysis"」のような、特徴点を抽出し、それに従い、基礎行列を求める方法によって実施する。ここで取得したパラメータを用いて、たとえば視差密度を指標として推定値を評価する。そして、一定以上の評価値となるまで、勾配法やニュートン法、Ｌｅｖｅｎｂｅｒｇ－Ｍａｒｑｕａｒｄｔ法などの任意の最適化手法で繰り返し処理を行い、処理を終了すればよい。初期パラメータは、この繰り返し処理の初期値として利用される。
　このように、ステップＳ２４で、実施形態のステレオカメラや撮像システムは、カメラ１およびカメラ２の操作指示によるカメラ設定値の変更に応じて動的にキャリブレーションを行い、カメラパラメータを更新する。
　これにより、ステレオカメラの画角や向きを変更しても、測定精度が変動することがない。
　また、動的にキャリブレーションが行われるので、ステレオカメラや撮像システムの経年変化や外的要因による変化に対しても追従することができる。
　さらに、動的キャリブレーションに対応することで、ズーム範囲を広げても誤差の少ない測定を行えるので、ステレオカメラや撮像システムの適用範囲を広げることもできる。
　ステップＳ２５では、取得したカメラパラメータを用いてレンズ歪み補正や倍率補正や平行化処理などの各種の補正処理を画像データに対して行う。
　ステップＳ２６では、ノイズ除去を行うためのローパスフィルタ処理等の前処理や、エッジ検出等の特徴量演算処理、正規化相互相関や差分絶対値和等のブロックマッチングやspace-sweep法等の各種の相関演算処理を用いてステレオ画像間の対応点検索を行い視差情報を取得するステレオマッチング処理、ランクフィルタ処理やラベリング等により特異点の除去を行う後処理などを画像データに対して行い、最終的に取得した視差情報からカメラ情報を用いて被写体の3次元情報を計測する。
　つぎに、カメラ制御部３０の動作の詳細を、図３のカメラの内部構成図を参照しながら、図４のカメラ制御部３０の処理フローにより説明する。
　まず、カメラ制御部３０は、ステレオカメラのカメラ１（１０ａ）やカメラ２（１０ｂ）の向きや画角等のカメラ操作指示（レンズの移動量やパン／チルト角度等）を取得する（Ｓ３１）。このカメラ操作指示は、ステレオカメラの調整機構の操作設定や、監視システム等のアプリケーションプログラムによって設定される。
　そして、ステップＳ３１で取得した操作指示に対応する駆動部１１のチルト制御部２０２の設定値とパン制御部２０３の設定値とズーム制御部２０１の制御値を算出し、駆動部１１aと駆動部１１ｂに送信する（Ｓ３２）。
　その後、カメラ制御部３０は、ズーム制御部２０１とチルト制御部２０２とパン制御部２０３の設定動作が終了した駆動部１１aと駆動部１１ｂから、実際に動作した角度やレンズ位置などの動作位置の応答値を受信する（Ｓ３３）。これは、制御値を指定した場合でも、カメラのズーム機構やパン／チルト機構のバラツキや経年変化によって移動量などの誤差があるため、カメラ側の実際の設定状態を取得して、精度向上を図るためである。
　そして、受信した応答値は、ステレオカメラのカメラ１（１０ａ）やカメラ２（１０ｂ）の外部パラメータに相当するデータとして、カメラ設定値の記録部６０に記録される（Ｓ３４）。
　つぎに、カメラパラメータを推定する図１のキャリブレーション部４０について説明する。
　図１に示すように、キャリブレーション部４０は、撮影対象物を複数の異なる方向から撮像するように配置されたカメラ１（１０ａ）とカメラ２（１０ｂ）とから、撮像した画像情報を取得する画像取得部４１と、カメラ設定値の記録部６０とパラメータ初期値の記録部６１のデータを取得するデータ取得部４２と、カメラ１（１０ａ）とカメラ２（１０ｂ）のそれぞれのカメラのカメラパラメータを推定するパラメータ推定部４３と、から構成される。
　パラメータ初期値６１には、パラメータ推定部４３でカメラパラメータを推定する際の、初期値が記録されている。図５に、パラメータ初期値６１の構成の一例を示す。
　図５のパラメータ初期値６１は、ステレオカメラのカメラ１（１０ａ）とカメラ２（１０ｂ）ごとに、所定のカメラ設定値に対応してカメラパラメータの初期値が記憶されている。例えば、レンズ位置５００に対して、焦点距離５０１が与えられ、そのほかに画像のスケール５０２、複数のカメラのおオフセット５０３などが設定される。
　また、詳細は後述するが、パラメータ初期値６１には、キャリブレーション部４０で推定されたカメラパラメータが、カメラ設定（レンズ位置５００）に対応して記憶されている（５０４）。カメラ設定に変更がない場合には、キャリブレーションを行うことなく、パラメータ初期値６１に記憶されている推定カメラパラメータ５０４を参照すればよい。
　カメラ設定が変更された場合には、前回撮像時のカメラ設定に対応するカメラパラメータをパラメータ初期値６１の推定カメラパラメータ５０４から取得し、これをキャリブレーションの初期値とする。これにより、推定計算を安定して行うことができる。
　つぎに、図２のステップＳ２５のカメラパラメータに基づいて画像データを補正する処理について説明する。
　図６は、ステレオカメラの画像データの補正を説明する図であり、上段は、ステレオカメラのカメラ１（１０ａ）の画角がカメラ２（１０ｂ）の画角より大きい場合の撮像画像を示し、下段は、カメラ２（１０ｂ）の画角に合わせて、カメラ１（１０ａ）の撮像画像の平行化補正した場合を示している。
　ステレオカメラの撮像画像の視差情報から距離を算出するには、カメラ１（１０ａ）とカメラ２（１０ｂ）の画角が等しい時の視差情報を求める必要がある。このカメラ１（１０ａ）とカメラ２（１０ｂ）の画角は、推定したカメラパラメータ（焦点距離）を比較することにより判定できる。
　そこで、図２のステップＳ２５では、カメラ１（１０ａ）とカメラ２（１０ｂ）の推定したカメラパラメータ（焦点距離）を比較して、カメラ１（１０ａ）とカメラ２（１０ｂ）とで画角が異なると判定した場合に、一方の撮像画像の画角に合わせて、他方の撮像画像を補正する。
　このときの補正は、カメラ１（１０ａ）とカメラ２（１０ｂ）の撮像画像の任意の特徴点探索によって同一画角内の特徴点の対応づけを行い、特徴点のエピポーラ線が平行となるように、撮像画像の平行化補正を行う。
　このとき、算出した補正データ（補正行列）は、補正データ６２（図１参照）に記憶される。
　そして、図２のステップＳ２６では、平行化補正したカメラ１（１０ａ）の画像情報と、カメラ２（１０ｂ）で撮像した画像情報を用いて視差情報を求め、この視差情報から距離算出を実行するか、または、推定したカメラパラメータと平行化補正する補正行列とにより、カメラ１（１０ａ）とカメラ２（１０ｂ）の撮像画像の３次元復元を行う。
　つぎに、実施形態のステレオカメラや撮像システムの他のキャリブレーションについて説明する。なお、説明するステレオカメラや撮像システムの構成は、図１の構成と共通であるため、ここでは説明を省略する。
　前述のステレオカメラや撮像システムでは、推定したカメラパラメータに基づいて撮像画像情報を補正した後に、距離算出や撮像画像の３次元復元を行っていたが、つぎに説明するステレオカメラや撮像システムでは、撮像画像の評価指標を評価し、所定の評価値を満たすように、カメラ１（１０ａ）とカメラ２（１０ｂ）のカメラ制御値を変更して撮像を行い、距離算出や撮像画像の３次元復元を行う。
　図７の制御フローにより、本実施形態の処理を詳細に説明する。
　まず、カメラ１およびカメラ２によって撮影した画像データを取得する（Ｓ７１）。そして、操作指示されたレンズ位置等のカメラ設定値を取得する（Ｓ７２）。
　つぎに、カメラ設定値が、前回撮像処理したときの値から変更されたか否かを判定し（Ｓ７３）、変更されていない場合には（Ｓ７３のＮｏ）、ステップＳ８１に進む。この場合には、前回撮像処理で推定したカメラパラメータを用いてカメラ１およびカメラ２の撮像画像を基に３次元復元を行う（Ｓ８１）。カメラパラメータは、初期パラメータ６１を参照して取得できる。
　カメラ設定値が、変更されていた場合には（Ｓ７３のＹｅｓ）、撮像画像の視差密度を算出するために、カメラ１およびカメラ２の画像データにおいて、対応するエッジ情報を抽出する（Ｓ７４）。
　そして、エッジ点数Ｅに対する視差密度Ｄを、エッジ点数に対する有効な視差の数を表わす有効視差数ｄを用いて、次式のように定め、視差密度Ｄを算出する（Ｓ７５）。
　　Ｄ ＝ ｄ／Ｅ　　　（数６）
　この視差密度Ｄによれば、補正パラメータの精度、ステレオ処理における平行化の評価を行うことができる。
　また、この視差密度については、実測値と取得した視差画像から得られる距離データの誤差を評価することによって、視差密度の評価値を得ることができる。
　また、カメラ設定値もしくはカメラパラメータのズレが生じた場合は、撮像画像から視差情報が得られない場合がある。また、撮像画像が一定以上のマッチング度合いでない場合は、撮像画像から視差情報を求められない。視差密度Ｄによる評価は、これらの撮像画像の性質を利用したものとなっている。
　ステップＳ７６で、視差密度Ｄを評価し、視差密度が所定値以上であれば、ステップＳ８０に進む。つまり、視差密度Ｄが所定値以上であれば、カメラ１およびカメラ２の撮像画像から精度の高い視差画像および距離データを取得することが可能となり、または、高精度の３次元復元を行うことができると判定する。
　ステップＳ８０では、カメラ１とカメラ２の撮像画像を基にカメラパラメータを推定する。このときのカメラパラメータの推定は、図２の処理フローのステップＳ２４のキャリブレーション処理と同様に行えばよい。また、推定したカメラパラメータは、パラメータ初期値６１に記録する。
　ステップＳ７６で、視差密度Ｄを評価し、視差密度が所定値未満であれば、つぎのステップＳ７７からステップＳ７９のカメラの再調整処理を行う。
　このカメラの再調整処理では、まず、視差密度Ｄが大きくなるようにカメラ設定値を補正する（Ｓ７７）。そして、図４で説明したカメラ制御フローに従って、補正したカメラ設定値をカメラ操作指示としてカメラ制御部３０に通知して、カメラ制御部３０からカメラ１（１０ａ）またはカメラ２（１０ｂ）に、カメラ制御値を送信する（Ｓ７８）。
　そして、カメラ１（１０ａ）またはカメラ２（１０ｂ）のレンズ位置やパン／チルト角度等が修正された後に、カメラ１（１０ａ）とカメラ２（１０ｂ）より画像データを取得し（Ｓ７９）、ステップＳ７４に戻る。
　ステップＳ７６で、視差密度Ｄが所定値以上になるまで、上記のカメラ設定値の補正・視差密度Ｄの評価を繰り返す。
　これにより、カメラ１およびカメラ２の撮像画像から精度の高い視差画像を取得することが可能となり、または、高精度の距離データの算出や３次元復元を行うことができる。
　図２の処理フローとは、キャリブレーション処理部で、カメラ制御部を介して、カメラの調整を行う点が異なり、図２の処理フローにより視差密度の高い撮像画像を得ることができ、３次元復元の精度を高めることができる。
　図８は、上記の視差密度Ｄが所定値以上になるまで、カメラ設定値の補正と視差密度Ｄの評価を繰り返して撮像を行う処理における撮像画像を説明する図である。図８の上段は、カメラ設定値の補正前のステレオカメラのカメラ１（１０ａ）とカメラ２（１０ｂ）の撮像画像と、撮像画像から得られる視差画像を示している。カメラ設定値の補正前は、ステレオカメラのカメラ１（１０ａ）とカメラ２（１０ｂ）の撮像画像のマッチング度合いが小さく、破線で表わすように有効な視差画像を得ることができない。
　図７で説明した処理フローにより、カメラ１（１０ａ）のカメラ設定値が補正されると、図８の下段に示すように、カメラ１（１０ａ）の撮像画像が変化して、カメラ１（１０ａ）とカメラ２（１０ｂ）の撮像画像の視差画像を得ることができる。
　図８では、カメラ設定値を補正してカメラ１（１０ａ）の撮像画像を変化させているが、カメラ２（１０ｂ）のカメラ設定値を補正してもよい。また、カメラ１（１０ａ）とカメラ２（１０ｂ）の両方のカメラ設定値を補正してもよい。
　一般的に、ステレオカメラの処理では、ハードウェアの演算リソースを考慮して、平行化ステレオによる処理を行っている。例えば、図２の処理フローでは、ステップＳ２５で平行化補正することを示している。
　しかし、上記の処理に限定されるものではなく、演算リソースが必要となるが、カメラ設定値が変更されキャリブレーションを行う時に、任意方向の特徴点探索による視差計算を行うようにしてもよい。
　図９は、任意方向の特徴点検索をおこないキャリブレーションする際の処理フローを示している。
　まず、カメラ１およびカメラ２より撮影した画像データを取得する（Ｓ９１）。そして、レンズ位置等のカメラ設定値を取得する（Ｓ９２）。
　つぎに、カメラ設定値が、前回撮像処理したときの値から変更されたか否かを判定し（Ｓ９３）、変更されていない場合には（Ｓ９３のＮｏ）、ステップＳ９６に進む。この場合には、前回撮像処理で推定したカメラパラメータを用いてカメラ１およびカメラ２の撮像画像を基に３次元復元を行う（Ｓ９６）。カメラパラメータは、初期パラメータ６１を参照して取得する。
　カメラ設定値が変更されている場合には（Ｓ９３のＹｅｓ）、カメラ１とカメラ２の撮像画像を比較して特徴点探索を実行する（Ｓ９４）。このとき水平方向のみ探索するのではなく、水平方向に所定幅、あるいは、画面全面の探索を行い、２つの撮像画像間でマッチングする特徴点を探索する。
　その後、カメラ設定値に対応する初期パラメータに基づいてカメラパラメータを推定するキャリブレーション処理を行う（Ｓ９５）。このキャリブレーション処理は、図２のステップＳ２４の処理と同様に行われる。
　そして、ステップＳ９６で、前回撮像処理で推定した推定したカメラパラメータまたはステップＳ９５で推定したカメラパラメータを用いて、カメラ１およびカメラ２の撮像画像を基に３次元復元を行う。
　図１０は、カメラ１およびカメラ２の撮像画像の特徴点探索の様子を表わす図である。平行化ステレオの処理を行っていないため、下段の図に示すように探索方向に傾きが生じた状態になっている。
　つぎに、本実施形態のキャリブレーション制御方法が、特に有用なステレオカメラの構造の一例について図１１を用いて説明する。
　一般的なステレオカメラでは、カメラ１とカメラ２の左右のカメラの位置関係を、横並びに設置し、カメラの光軸が平行で同じ高さの位置に固定して配置する平行等位の状態に構成することが多い。そして、カメラ１とカメラ２の中央で回転支持する構造とし、ステレオカメラを左右にパンする場合には、カメラ１とカメラ２とが一体となってカメラ１とカメラ２の中央で回転するものが多い。
　上記の構造では、カメラ１とカメラ２が回動するための領域が必要となるため、ステレオカメラの小型化に問題がある。特に、カメラ１とカメラ２の間の距離を大きくして計測精度の向上を図る場合には、大きな回動領域が必要となる。
　本実施形態のステレオカメラでは、図１１に示すように、カメラ１とカメラ２のそれぞれが、カメラを中心に独立に回動する構造とした。これにより、カメラの回転領域を少なくしてステレオカメラを小型化できる。
　本実施形態のカメラ１とカメラ２が正面を向いている場合には、カメラ１とカメラ２の撮像面は、同一平面となり、平行等位の状態となる。しかし、図１１のように、カメラ１とカメラ２を正対方向から所定角度分回動すると、カメラ１の撮像面とカメラ２の撮像面は、同一平面に構成されなくなる。このため、平行等位の状態とならずに、カメラ１とカメラ２の画角が異なり、有効な視差情報を取得できなくなる。
　この時、本実施形態のステレオカメラでは、撮像方向（カメラ設定）が変化した時にカメラ１とカメラ２の画角が同じになるようにズーム制御して、カメラ１またはカメラ２のキャリブレーションを行っている。これにより、カメラ１とカメラ２が平行等位カメラの状態と見なせるようになるので、カメラ１とカメラ２の回動方向によらずに、距離情報を取得や三次元復元を行うことができる。
　また、本発明は上記した実施形態に限定されるものではなく、様々な変形例が含まれる。上記の実施形態は本発明で分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施形態の構成の一部を他の実施形態の構成に置き換えることが可能であり、また、ある実施形態の構成に他の実施形態の構成を加えることも可能である。
　１０ａ　カメラ１
　１０ｂ　カメラ２
　１１ａ、１１ｂ　駆動部
　１２ａ、１２ｂ　撮像部
　３０　カメラ制御部
　４０　キャリブレーション部
　４１　画像取得部
　４２　データ取得部
　４３　パラメータ推定部
　５０　画像認識部
　５１　画像取得部
　５２　補正部
　５３　画像処理部
　６０　カメラ設定値記憶部
　６１　パラメータ初期値記憶部
　６２　補正データ記憶部

Claims (13)

  1. 　少なくとも２つのカメラを有するステレオカメラにおいて、
    　前記カメラの操作指示により前記カメラのレンズ位置が変更された際に、前記カメラのカメラパラメータを推定する
    ことを特徴とするステレオカメラ。
  2. 　請求項１に記載のステレオカメラにおいて、
    　前記カメラのそれぞれの撮像画像の特徴点を探索し、探索した特徴点の位置座標に基づいてカメラパラメータを推定する
    ことを特徴とするステレオカメラ。
  3. 　請求項１または２に記載のステレオカメラにおいて、
    　前記カメラのそれぞれの撮像画像の間の特徴点のエピポーラ線が平行になるように、撮像画像を補正する
    ことを特徴とするステレオカメラ。
  4. 　請求項１または２に記載のステレオカメラにおいて、
    　前記カメラのそれぞれの撮像画像から算出され、エッジ点数に対する有効な視差の数を表わす有効視差数の比である視差密度が、所定値以上になるように、前記カメラのレンズ位置を変更し、前記カメラの撮像画像を取得する
    ことを特徴とするステレオカメラ。
  5. 　請求項１または２に記載のステレオカメラにおいて、
    　前記カメラパラメータは、前回の撮像時のカメラパラメータを基に繰り返し処理がおこなわれて推定される
    ことを特徴とするステレオカメラ。
  6. 　請求項１に記載のステレオカメラにおいて、
    　前記カメラの操作指示により前記カメラのレンズ位置が変更された際に、実際のレンズ位置が前記カメラから応答され、前記カメラからの応答値を基に、カメラパラメータを推定する
    ことを特徴とするステレオカメラ。
  7. 請求項１に記載のステレオカメラにおいて、
    前記カメラのそれぞれは、前記カメラの中心を回動するように設置され、
    前記カメラがパン制御された際にカメラパラメータを推定する
    ことを特徴とするステレオカメラ。
  8. 　少なくとも２つのカメラと、
    　前記カメラの少なくともレンズ位置を制御するカメラ制御部と、
    　前記カメラ制御部により前記カメラの少なくともレンズ位置が移動されたときに、前記カメラのカメラパラメータを推定するキャリブレーション部と、
    　前記カメラパラメータに基づいて前記カメラの撮像画像の３次元復元を行う画像認識部と、
    を備えたことを特徴とする撮像システム。
  9. 　請求項８に記載の撮像システムにおいて、
    　前記キャリブレーション部は、前記カメラのそれぞれの撮像画像の特徴点を探索し、探索した特徴点の位置座標に基づいてカメラパラメータを推定する
    ことを特徴とする撮像システム。
  10. 　請求項８または９に記載の撮像システムにおいて、
    　前記画像認識部は、前記カメラのそれぞれの撮像画像の間の特徴点のエピポーラ線が平行になるように、撮像画像を補正する
    ことを特徴とする撮像システム。
  11. 　請求項８または９に記載の撮像システムにおいて、
    　キャリブレーション部は、前記前記カメラのそれぞれの撮像画像から算出され、エッジ点数に対する有効な視差の数を表わす有効視差数の比である視差密度が、所定値以上になるように、前記カメラのレンズ位置を変更して前記カメラの撮像画像を取得する
    ことを特徴とする撮像システム。
  12. 　請求項８または９に記載の撮像システムにおいて、
    　前回の撮像時のカメラパラメータをカメラ設定値ごとに記憶するパラメータ初期値記憶部を有し、
    　前記キャリブレーション部は、前記パラメータ初期値記憶部のカメラパラメータを初期値にして推定処理を行う
    ことを特徴とする撮像システム。
  13. 　請求項８に記載の撮像システムにおいて、
    　前記カメラのレンズ位置が変更された際に、実際のレンズ位置が前記カメラから応答され、前記カメラからの応答値を記憶するカメラ設定値記憶部を有し、
    　前記キャリブレーション部は、前記カメラ設定値記憶部に記憶されたレンズ位置に基づいて、カメラパラメータを推定する
    ことを特徴とする撮像システム。
PCT/JP2017/000131 2016-01-26 2017-01-05 ステレオカメラおよび撮像システム WO2017130650A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US16/072,707 US10652521B2 (en) 2016-01-26 2017-01-05 Stereo camera and image pickup system

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016012205A JP6694281B2 (ja) 2016-01-26 2016-01-26 ステレオカメラおよび撮像システム
JP2016-012205 2016-06-08

Publications (1)

Publication Number Publication Date
WO2017130650A1 true WO2017130650A1 (ja) 2017-08-03

Family

ID=59397888

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/000131 WO2017130650A1 (ja) 2016-01-26 2017-01-05 ステレオカメラおよび撮像システム

Country Status (3)

Country Link
US (1) US10652521B2 (ja)
JP (1) JP6694281B2 (ja)
WO (1) WO2017130650A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021513247A (ja) * 2018-06-05 2021-05-20 上▲海▼商▲湯▼智能科技有限公司Ｓｈａｎｇｈａｉ Ｓｅｎｓｅｔｉｍｅ Ｉｎｔｅｌｌｉｇｅｎｔ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．， Ｌｔｄ． 車載カメラ自己校正方法、車載カメラ自己校正装置、電子機器および記憶媒体

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7103796B2 (ja) 2018-01-31 2022-07-20 株式会社小松製作所 作業機械
CN109242914B (zh) * 2018-09-28 2021-01-01 上海爱观视觉科技有限公司 一种可动视觉系统的立体标定方法
CN112053405B (zh) * 2020-08-21 2022-09-13 合肥工业大学 一种随动视觉系统光轴与转轴偏差标定及外参校正方法
CN114845059B (zh) * 2022-07-06 2022-11-18 荣耀终端有限公司 一种拍摄方法及相关设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004242049A (ja) * 2003-02-06 2004-08-26 Hitachi Ltd マルチカメラ映像合成表示装置
WO2011132552A1 (ja) * 2010-04-22 2011-10-27 コニカミノルタホールディングス株式会社 情報処理装置、プログラム、情報処理方法、および情報処理システム
JP2014175782A (ja) * 2013-03-07 2014-09-22 Nec Corp カメラパラメータ推定装置及びカメラパラメータ推定方法並びにカメラパラメータ推定プログラム
JP2015226209A (ja) * 2014-05-28 2015-12-14 パナソニックＩｐマネジメント株式会社 情報提示装置、ステレオカメラシステム、及び情報提示方法
JP2016213535A (ja) * 2015-04-30 2016-12-15 株式会社東芝 カメラキャリブレーション装置、方法及びプログラム

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5452540B2 (ja) 2011-04-18 2014-03-26 日立コンシューマエレクトロニクス株式会社 撮像装置
JP5889022B2 (ja) * 2012-02-07 2016-03-22 シャープ株式会社 撮像装置、画像処理装置、画像処理方法及びプログラム
JP6025365B2 (ja) * 2012-04-04 2016-11-16 京セラ株式会社 較正処理装置、カメラ較正装置、カメラシステム、およびカメラ較正方法
US9965861B2 (en) * 2014-12-29 2018-05-08 Intel Corporation Method and system of feature matching for multiple images

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004242049A (ja) * 2003-02-06 2004-08-26 Hitachi Ltd マルチカメラ映像合成表示装置
WO2011132552A1 (ja) * 2010-04-22 2011-10-27 コニカミノルタホールディングス株式会社 情報処理装置、プログラム、情報処理方法、および情報処理システム
JP2014175782A (ja) * 2013-03-07 2014-09-22 Nec Corp カメラパラメータ推定装置及びカメラパラメータ推定方法並びにカメラパラメータ推定プログラム
JP2015226209A (ja) * 2014-05-28 2015-12-14 パナソニックＩｐマネジメント株式会社 情報提示装置、ステレオカメラシステム、及び情報提示方法
JP2016213535A (ja) * 2015-04-30 2016-12-15 株式会社東芝 カメラキャリブレーション装置、方法及びプログラム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021513247A (ja) * 2018-06-05 2021-05-20 上▲海▼商▲湯▼智能科技有限公司Ｓｈａｎｇｈａｉ Ｓｅｎｓｅｔｉｍｅ Ｉｎｔｅｌｌｉｇｅｎｔ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．， Ｌｔｄ． 車載カメラ自己校正方法、車載カメラ自己校正装置、電子機器および記憶媒体
JP7082671B2 (ja) 2018-06-05 2022-06-08 上▲海▼商▲湯▼智能科技有限公司 車載カメラ自己校正方法、車載カメラ自己校正装置、電子機器および記憶媒体

Also Published As

Publication number Publication date
JP6694281B2 (ja) 2020-05-13
US10652521B2 (en) 2020-05-12
JP2017135495A (ja) 2017-08-03
US20190037205A1 (en) 2019-01-31

Similar Documents

Publication Publication Date Title
WO2017130650A1 (ja) ステレオカメラおよび撮像システム
US20200096317A1 (en) Three-dimensional measurement apparatus, processing method, and non-transitory computer-readable storage medium
TWI520098B (zh) 影像擷取裝置及其影像形變偵測方法
JP6663040B2 (ja) 奥行き情報取得方法および装置、ならびに画像取得デバイス
US10306165B2 (en) Image generating method and dual-lens device
US9946955B2 (en) Image registration method
JP5027747B2 (ja) 位置測定方法、位置測定装置、およびプログラム
US9501828B2 (en) Image capturing device, image capturing device control method, and program
WO2016049889A1 (zh) 一种自动对焦方法、装置及电子设备
EP2926543A2 (en) A method of calibrating a camera and a system therefor
WO2016042779A1 (ja) 三角測量装置、三角測量方法およびそのプログラムを記録した記録媒体
KR20100109525A (ko) 촬상 장치, 촬상 제어 방법, 및 기록 매체
CN111340737B (zh) 图像矫正方法、装置和电子系统
JP6694234B2 (ja) 距離測定装置
JP2016218815A (ja) ラインセンサカメラのキャリブレーション装置及び方法
JP6734994B2 (ja) ステレオ計測装置及びシステム
JP6579816B2 (ja) 画像処理装置、画像処理方法、及びプログラム
JP2017059998A (ja) 画像処理装置およびその方法、並びに、撮像装置
JP5925109B2 (ja) 画像処理装置、その制御方法、および制御プログラム
JP2021122080A (ja) データ処理装置、データ処理方法、及び、プログラム
WO2019058487A1 (ja) ３次元復元画像処理装置、３次元復元画像処理方法及び３次元復元画像処理プログラムを記憶したコンピュータ読み取り可能な記憶媒体
JP2019062340A (ja) 像振れ補正装置および制御方法
TW201720130A (zh) 機器視覺中進行影像擷取之方法及裝置
JP2016042639A (ja) カメラ姿勢の制御装置、方法及びプログラム
JP2020120362A (ja) 画像処理装置、画像処理方法、及びプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17743884

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17743884

Country of ref document: EP

Kind code of ref document: A1