WO2016103621A1 - ３次元情報復元装置、３次元情報復元システム、及び３次元情報復元方法 - Google Patents

３次元情報復元装置、３次元情報復元システム、及び３次元情報復元方法 Download PDF

Info

Publication number
WO2016103621A1
WO2016103621A1 PCT/JP2015/006218 JP2015006218W WO2016103621A1 WO 2016103621 A1 WO2016103621 A1 WO 2016103621A1 JP 2015006218 W JP2015006218 W JP 2015006218W WO 2016103621 A1 WO2016103621 A1 WO 2016103621A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
corresponding point
dimensional
restoration
camera
Prior art date
Application number
PCT/JP2015/006218
Other languages
English (en)
French (fr)
Inventor
坪田　一広
魚森　謙也
Original Assignee
パナソニックＩｐマネジメント株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2014261173A external-priority patent/JP6403115B2/ja
Priority claimed from JP2015225110A external-priority patent/JP6541070B2/ja
Application filed by パナソニックＩｐマネジメント株式会社 filed Critical パナソニックＩｐマネジメント株式会社
Priority to US15/534,042 priority Critical patent/US10249058B2/en
Publication of WO2016103621A1 publication Critical patent/WO2016103621A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/245—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures using a plurality of fixed, simultaneously operating transducers
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/04—Interpretation of pictures
    • G01C11/06—Interpretation of pictures by comparison of two or more pictures of the same area
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/757—Matching configurations of points or features
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis

Definitions

  • the present disclosure relates to a 3D information restoration apparatus, a 3D information restoration system, and a 3D information restoration method.
  • a stereo camera is known in which two imaging units are fixed to one housing so that the same subject is imaged by the left and right imaging units.
  • a stereo camera images a subject from a plurality of different directions and records information in a plane direction and information in a depth direction (three-dimensional information).
  • a three-dimensional information restoration comprising an image input unit, a corresponding point detection unit, a basic matrix calculation unit, a translation calculation unit, a rotation calculation unit, and a distance calculation unit
  • An apparatus is known (see, for example, Patent Document 1).
  • the image input unit inputs 2 images capturing a 3D rigid body.
  • the corresponding point detection unit detects a corresponding point between the two images.
  • the basic matrix calculation unit calculates a basic matrix from a three-dimensional rotation matrix and a three-dimensional translation vector between two images.
  • the translation calculation unit calculates a three-dimensional translation vector.
  • the rotation calculation unit calculates a three-dimensional rotation matrix.
  • the distance calculation unit calculates the distance between the camera and the corresponding point in the three-dimensional space.
  • the three-dimensional coordinates of the target point may not be correctly restored from the left and right images respectively captured by the two imaging devices.
  • This disclosure aims to improve the restoration accuracy of three-dimensional coordinates restored from two captured images.
  • the three-dimensional information restoration device of the present disclosure includes a port and a processor, and the port includes a first image captured by the first imaging device, a second image captured by the second imaging device, And the processor detects a plurality of first corresponding point pairs corresponding to the first feature point in the first image and the second feature point in the second image, and Based on the corresponding point pair, the three-dimensional coordinates on which the first feature points are back-projected are restored.
  • the three-dimensional information restoration system is based on a first imaging device that captures a first image, a second imaging device that captures a second image, and the first and second images.
  • a three-dimensional information restoration system comprising a three-dimensional information restoration device for restoring three-dimensional coordinates, the three-dimensional information restoration device comprising a port and a processor, wherein the port was imaged by the first imaging device
  • the first image and the second image captured by the second imaging device are acquired, and the processor includes a first feature point in the first image and a second feature point in the second image. And a plurality of first corresponding point pairs corresponding to each other, and three-dimensional coordinates on which the first feature points are back-projected are restored based on the plurality of first corresponding point pairs.
  • the three-dimensional information restoration method includes a step of obtaining a first image captured by a first imaging device and a second image captured by a second imaging device; Detecting a plurality of first corresponding point pairs corresponding to the first feature points in the second image and the second feature points in the second image, and based on the plurality of first corresponding point pairs, Restoring the three-dimensional coordinates on which the feature points are back-projected.
  • FIG. 1 is a schematic diagram illustrating a schematic configuration example of a stereo camera system according to the first embodiment.
  • FIG. 2 is a block diagram illustrating a configuration example of a PC (Personal Computer) according to the first embodiment.
  • FIG. 3A is a schematic diagram for explaining an example of parameters for deriving a three-dimensional coordinate in the first embodiment.
  • FIG. 3B is a schematic diagram for explaining an example of a parameter for deriving a three-dimensional coordinate in the first embodiment.
  • FIG. 3C is a schematic diagram for explaining an example of a parameter for deriving a three-dimensional coordinate in the first embodiment.
  • FIG. 4A is a schematic diagram for explaining that the three-dimensional coordinates in the first embodiment are abnormal.
  • FIG. 4A is a schematic diagram for explaining that the three-dimensional coordinates in the first embodiment are abnormal.
  • FIG. 4B is a schematic diagram for explaining that the three-dimensional coordinates in the first embodiment are abnormal.
  • FIG. 5A is a schematic diagram illustrating designation of corresponding point regions and detection of corresponding points in the first embodiment.
  • FIG. 5B is a schematic diagram illustrating designation of corresponding point regions and detection of corresponding points in the first embodiment.
  • FIG. 5C is a schematic diagram illustrating designation of corresponding point regions and detection of corresponding points in the first embodiment.
  • FIG. 6 is a flowchart illustrating an example of a three-dimensional information restoration operation procedure by the PC according to the first embodiment.
  • FIG. 7 is a flowchart (continuation of FIG. 6) showing an example of a three-dimensional information restoring operation procedure by the PC in the first embodiment.
  • FIG. 6 is a flowchart illustrating an example of a three-dimensional information restoration operation procedure by the PC according to the first embodiment.
  • FIG. 7 is a flowchart (continuation of FIG. 6) showing an example of a three-dimensional information
  • FIG. 8 is a schematic diagram illustrating a transition example of a UI (User Interface) screen displayed on the display according to the first embodiment.
  • FIG. 9 is a block diagram illustrating a configuration example of a PC according to the second embodiment.
  • FIG. 10A is a schematic diagram for explaining an example of grouping of feature point groups in the second embodiment.
  • FIG. 10B is a schematic diagram for explaining an example of movement of a feature point group in the second embodiment.
  • FIG. 10C is a schematic diagram for explaining an example of detection of corresponding points in the second embodiment.
  • FIG. 11 is a flowchart illustrating an example of a part of a three-dimensional information restoration operation procedure performed by the PC at the time of initial setting in the second embodiment.
  • FIG. 12 is a flowchart illustrating an example of a part of a three-dimensional information restoration operation procedure by the PC performed during calibration according to the second embodiment.
  • FIG. 13 is a schematic diagram illustrating a transition example of the UI screen displayed on the display according to the second embodiment.
  • FIG. 14 is a schematic diagram illustrating a schematic configuration example of a stereo camera system according to a modification.
  • FIG. 15 is a block diagram illustrating a configuration example of a PC according to the third embodiment.
  • FIG. 16 is a diagram for explaining an example of the outline of the operation of the stereo camera system.
  • FIG. 17 is a flowchart illustrating an example of initial calibration performed at the time of initial setting.
  • FIG. 18 is a diagram illustrating a screen example in which a plurality of corresponding points that are candidates for specifying corresponding points and corresponding lines that connect these corresponding points are drawn in the left and right images.
  • FIG. 19 is a diagram illustrating a screen example in which error messages and marks of corresponding points are added to the screen of FIG.
  • FIG. 20 is a diagram illustrating a screen example in which guidance is added so as to designate a distant point as a corresponding point on the screen of FIG.
  • FIG. 21 is a block diagram illustrating a configuration example of a PC according to the fourth embodiment.
  • FIG. 22 is a flowchart illustrating an example of recalibration performed during operation.
  • FIG. 23 is a flowchart illustrating an example of recalibration performed during operation following FIG. FIG.
  • FIG. 24 is a diagram illustrating an example of a screen on which template matching is performed during recalibration.
  • FIG. 25 is a diagram illustrating a screen example to which guidance for re-searching corresponding points is added.
  • FIG. 26 is a flowchart illustrating another example of the initial calibration performed at the time of initial setting.
  • FIG. 27 is a flowchart illustrating another example of recalibration performed during operation.
  • FIG. 1 is a schematic diagram illustrating a schematic configuration example of the stereo camera system 5 according to the first embodiment.
  • the stereo camera system 5 includes, for example, a first camera 10, a second camera 11, and a PC (Personal Computer) 20.
  • the first camera 10 and the second camera 11 are connected to the PC 20 via, for example, cables 18A and 18B, respectively.
  • the first camera 10 and the second camera 11 are connected via, for example, a cable 18C.
  • Stereo camera system 5 is an example of a three-dimensional information restoration system.
  • the PC 20 is an example of a three-dimensional information restoration device.
  • the first camera 10 and the second camera 11 are an example of an imaging device.
  • the first camera 10 and the second camera 11 include, for example, an imaging unit that captures an image including a subject and a transmission unit that transmits image data of the captured image to the PC 20.
  • the imaging device include a surveillance camera, a vehicle-mounted camera, an industrial camera, a medical camera, and a consumer camera.
  • the first camera 10 captures a first image (a first camera image, for example, a left image) of a predetermined scene including a subject, and the captured first image Transfer the image data to the PC 20.
  • a first image a first camera image, for example, a left image
  • the second camera 11 captures a second image (second camera image, for example, the right image) of a predetermined scene including the subject according to an image acquisition request from the PC 20 and a synchronization signal from the first camera 10. Then, the image data of the captured second image is transferred to the PC 20. That is, the second camera 11 images the same subject included in the same scene from a different direction from the first camera 10.
  • second camera image for example, the right image
  • the first camera 10 and the second camera 11 have a first housing 13 and a second housing 14 respectively, and are fixed cameras fixed to, for example, a ceiling, a wall, or other positions.
  • the first camera 10 and the second camera 11 are PTZ cameras capable of panning, tilting, and zooming.
  • the first camera 10 and the second camera 11 may be cameras that can operate at least one of pan, tilt, and zoom, and are fixed cameras in which the pan direction, the tilt direction, and the zoom magnification are fixed. May be.
  • the focal length, the optical axis coordinates, and the distortion correction coefficient are known.
  • the first camera 10 and the second camera 11 can output an image obtained by performing distortion correction on the captured image based on, for example, a distortion correction coefficient. Therefore, the image captured by the first camera 10 and the second camera 11 may include a distortion-corrected image.
  • the focal length, the optical axis coordinates, and the distortion correction coefficient may be changed as variable values instead of fixed values.
  • the PC 20 receives image data from the first camera 10 and the second camera 11 via the cables 18A and 18B, respectively, and performs various image processing described later (for example, feature point extraction, corresponding point extraction, camera parameter estimation, three-dimensional coordinates). Calculation).
  • FIG. 2 is a block diagram illustrating a configuration example of the PC 20 in the stereo camera system 5.
  • the PC 20 includes a feature point extraction unit 21, a corresponding point detection unit 22, a camera parameter estimation unit 23, a three-dimensional coordinate calculation unit 24, an abnormality detection unit 25, a display / input unit 26, and a narrow region corresponding point detection unit 27.
  • the feature point extraction unit 21 transmits an image acquisition request to the first camera 10 and the second camera 11, and the first image captured by the first camera 10 and the second image captured by the second camera 11. Are sequentially obtained and analyzed.
  • the first camera 10 is, for example, a camera arranged on the left side of FIG. 1 that captures a left camera image of a subject.
  • the second camera 11 is, for example, a camera arranged on the right side of FIG. 1 that captures a right camera image with respect to a subject.
  • the feature point extraction unit 21 has a function as an image acquisition unit, and sequentially detects feature points (for example, points in a region having a strong edge) for the acquired left camera image and right camera image.
  • feature points for example, points in a region having a strong edge
  • an algorithm that extracts local feature points that are invariant to enlargement, reduction, or rotation of an image is used. This algorithm includes, for example, SIFT (Scale-Invariant Feature Transform) and SURF (Speed-Up robust Features).
  • 3A, 3B, and 3C are schematic diagrams for explaining an example of parameters for deriving three-dimensional coordinates.
  • the three-dimensional coordinates indicate coordinates in a three-dimensional space when the position of the first camera 10 is the origin (0, 0, 0).
  • the three-dimensional coordinates indicate the coordinates of the target point 41 on which a predetermined point included in the first image or the second image is reverse projected (three-dimensional restoration).
  • Parameters for deriving three-dimensional coordinates include, for example, feature points, corresponding point pairs, camera positions and orientations.
  • the feature point extraction unit 21 detects feature points a1 to a7 from the first image 33 and detects feature points b1 to b7 from the second image 36, for example, as shown in FIG. 3A.
  • feature points a When there is no need to particularly distinguish the feature points a1 to a7, they are simply referred to as feature points a.
  • feature points b When it is not necessary to distinguish the feature points b1 to b7, they are simply referred to as feature points b.
  • the number of feature points is taken into account when estimating the position and orientation of the camera, for example. As the number of feature points increases, the estimation accuracy for estimating the position and orientation of the second camera 11 with respect to the first camera 10 increases.
  • the corresponding point detection unit 22 sequentially detects feature points having high similarity included in the first image 33 and the second image 36 as corresponding point pairs (an example of corresponding points), Corresponding point pair information (image coordinate pair information) is output.
  • Corresponding point pair information includes, for example, information obtained by associating (pairing) the feature points in the first image 33 and the feature points in the second image 36 that are corresponding points.
  • High similarity means that, for example, the feature points in the first image 33 and the feature points in the second image 36 included in the corresponding points have similar window angles, and the difference in window angles is less than a predetermined angle. Including being.
  • Corresponding point detection unit 22 detects a corresponding point by, for example, a known technique (for example, the technique described in Patent Document 1).
  • the feature point a1 included in the first image 33 and the feature point b1 included in the second image 36 are detected as corresponding points, and corresponding point pair information is output.
  • the feature point a2 included in the first image 33 and the feature point b2 included in the second image 36 are detected as corresponding points and output as corresponding point pair information.
  • feature points a3 to a7 and feature points b3 to b7 are detected as corresponding points, and corresponding point pair information is output.
  • the corresponding point pair information is associated with lines (corresponding lines) c1 to c7 connecting the characteristic points a1 to a7 and the characteristic points b1 to b7 in FIG. 3B.
  • the number of corresponding point pairs is taken into account when estimating the position and orientation of the camera, for example. As the number of corresponding point pairs increases, the estimation accuracy for estimating the position and orientation of the second camera 11 with respect to the first camera 10 increases.
  • the camera parameter estimation unit 23 corresponds point pair information, the focal length of the first camera 10, the focal length of the second camera 11, the optical axis coordinates of the first camera 10, and the second camera. Based on the 11 optical axis coordinates, the position and orientation of the second camera 11 relative to the first camera 10 are sequentially estimated.
  • the optical axis coordinates indicate coordinates corresponding to the center of the lens in the captured image.
  • the position of the second camera 11 with respect to the first camera 10 is indicated by a translation vector p, for example.
  • the posture of the second camera 11 with respect to the first camera 10 is indicated by a rotation matrix R, for example.
  • the camera parameter estimation unit 23 estimates a camera parameter (for example, translation vector p, rotation matrix R) by a known technique (for example, a technique described in Patent Document 1).
  • the translation vector p corresponds to the three-dimensional translation vector described in Patent Document 1.
  • the rotation matrix R corresponds to the three-dimensional rotation matrix described in Patent Document 1.
  • the translation vector p is expressed by, for example, Expression (1).
  • Px, py, and pz represent translation vector components in the X-axis, Y-axis, and Z-axis directions, respectively.
  • the rotation matrix R is expressed by, for example, the formula (2).
  • R R ( ⁇ z) ⁇ R ( ⁇ y) ⁇ R ( ⁇ x) (2) ⁇ z, ⁇ y, and ⁇ x represent rotation angles (radians) around the Z, Y, and X axes, respectively, and represent rotation angle components (rotation components) of the respective axes.
  • the three-dimensional coordinate calculation unit 24 calculates the three-dimensional of the target point 41 based on the corresponding point pair information, the internal and external parameters of the first camera 10, the internal and external parameters of the second camera 11, and the baseline length 62.
  • the coordinates (X, Y, Z) are calculated sequentially (see FIG. 3C).
  • the target point 41 is a point on which the feature points of the first image 33 included in the corresponding point pair are back-projected.
  • the three-dimensional coordinate calculation unit 24 calculates the three-dimensional coordinates of the target point by, for example, a known technique (for example, the technique described in Patent Document 1).
  • the internal parameters include, for example, focal lengths, optical axis coordinates, aspect ratios, and skew distortions of the first camera 10 and the second camera 11.
  • the external parameters include, for example, the position of the second camera 11 with respect to the first camera 10 (three components of X axis, Y axis, and Z axis) and posture (three rotation components along the X axis, Y axis, and Z axis).
  • the baseline length 62 is a distance between the first camera 10 and the second camera 11.
  • the internal parameters and the external parameters are determined for each camera, for example.
  • Internal parameters are stored in advance by a memory (not shown) of each camera. External parameters are sequentially derived and held in a memory (not shown).
  • the baseline length 62 is held in advance by a memory (not shown) of at least one of the first camera 10 and the second camera 11.
  • the feature point extraction unit 21, the corresponding point detection unit 22, and the camera parameter estimation unit 23 are an example of a parameter derivation unit that sequentially derives parameters for deriving three-dimensional coordinates.
  • the abnormality detection unit 25 detects an abnormality in the three-dimensional coordinates calculated by the three-dimensional coordinate calculation unit 24.
  • the three-dimensional coordinates of the target point are represented by coordinates in a three-dimensional space when the position of the first camera 10 is the origin (0, 0, 0).
  • the first camera 10 images an object (subject) 40 that is located forward (Z coordinate is a positive value), for example, having a feature point 38a at a corner.
  • the Z coordinate of the target point 41A calculated by the three-dimensional coordinate calculation unit 24 is a negative value (see “ ⁇ Z5” and “ ⁇ Z6” in FIG. 4B), that is, the first It is assumed that the target point 41A located behind the camera 10 is restored (first restoration result).
  • the abnormality detection unit 25 determines that the three-dimensional coordinates of the target point are abnormal.
  • abnormality detection is performed.
  • the unit 25 determines that the three-dimensional coordinates of the target point are abnormal. The determination as to whether or not the feature points are concentrated in the specific area is performed as follows, for example.
  • the abnormality detection unit 25 creates an affine matrix using each feature point 38a (for example, all feature points) included in the first image 33, and uses each affine matrix to include each feature included in the first image 33.
  • An affine transformation is performed on the point 38a.
  • the affine transformation is a two-dimensional transformation that combines linear transformation (for example, scaling, shearing, rotation) and translation.
  • the abnormality detection unit 25 is the source of the above expression. It is determined that the feature point 38a is on the same plane.
  • the detection unit 25 determines that the feature points 38a included in the first image 33 are concentrated in the specific area. In this case, the abnormality detection unit 25 determines that the three-dimensional coordinates of the target point are abnormal.
  • the detection unit 25 determines that the three-dimensional coordinates of the target point are abnormal.
  • the second camera 11 is originally installed facing inward (first camera 10 side).
  • the abnormality detection unit 25 Determines that the three-dimensional coordinates of the target point are abnormal.
  • the abnormality detection unit 25 is not limited to the first restoration result, the second restoration result, and the third restoration result described above, and when other restoration results are obtained, the three-dimensional coordinates of the target point are You may determine that it is abnormal. For example, the abnormality detection unit 25 may determine that the three-dimensional coordinates of the target point are abnormal even when the number of feature points is as small as a predetermined value or less, or even when the number of corresponding points is as small as a predetermined value or less.
  • the display / input unit 26 includes, for example, a display 20L as an example of a display unit and an input device 20M as an example of an input unit (see FIG. 1).
  • the display 20L is composed of a liquid crystal display or the like.
  • the input device 20M includes a mouse, a keyboard, and the like.
  • the display 20L and the input device 20M may be configured by a touch panel in which these are integrated.
  • 5A, 5B, and 5C are schematic diagrams for explaining an example of designation of corresponding point regions and detection of corresponding points.
  • the display / input unit 26 displays the first image 33 captured by the first camera 10 and the second image 36 captured by the second camera 11 on the screen of the display 20L, as shown in FIG. 5A. Further, when the three-dimensional coordinates of the target point are abnormal, the display / input unit 26 displays the fact (abnormality) on the screen of the display 20L. In addition, the display / input unit 26 performs display for prompting the user of the PC 20 to designate an area (corresponding point area) including corresponding points between the first image 33 and the second image 36.
  • the user operates the cursor 26z displayed on the screen of the display 20L using the input device 26M, and includes any point (for example, a point that is easy to identify from the user).
  • Corresponding point areas 26y1 and 26y2 are designated by surrounding each of the one image 33 and the second image with the cursor 26z.
  • the display / input unit 26 receives the designated left and right corresponding point areas (hereinafter also simply referred to as areas) 26y1 and 26y2 a predetermined number of times (for example, 5 times) or more.
  • the three-dimensional coordinate calculation unit 24 can generate three-dimensional coordinates using many corresponding points by accepting designation of many corresponding point regions at a predetermined number of times or more.
  • the display / input unit 26 displays the feature points 38a and 38b on the first image 33 and the second image 36 displayed on the screen of the display 20L. May be.
  • the user can designate the corresponding point areas 26y1 and 26y2 while looking at the feature points 38a and 38b displayed so as to be superimposed on the first image 33 and the second image 36, respectively.
  • the corresponding point area may be specified by specifying a part of the corresponding point area of the captured image, or a point (for example, a feature point) included in the captured image may be specified and the specified feature point may be specified. It may be performed by setting a range centered on.
  • the display / input unit 26 performs a matching process between the feature point 38a included in the first image 33 and the feature point 38b included in the second image 36, so that the candidate and the feature point having high similarity are included in advance.
  • An area to be displayed may be displayed. In this case, the user can easily designate the corresponding point regions 26y1 and 26y2 by selecting a candidate region, and the operability is improved.
  • the display / input unit 26 displays the result of the corresponding point when the target point is determined to be abnormal (previous), and newly sets the corresponding point.
  • Corresponding point regions may be specified to be added. In this case, the previous result determined to be abnormal can be used effectively.
  • the narrow area corresponding point detection unit 27 detects the corresponding points 39a and 39b in the corresponding point areas 26y1 and 26y2 designated by the display / input unit 26.
  • the method of detecting corresponding points by the narrow area corresponding point detecting unit 27 is the same as that of the corresponding point detecting unit 22, but the corresponding point area to be detected is limited. Therefore, when the narrow area corresponding point detection unit 27 detects a corresponding point, it is easier to detect the corresponding point than the corresponding point detection unit 22.
  • the narrow area corresponding point detection unit 27 sequentially detects feature points having high similarity included in the first image 33 and the second image 36 as corresponding point pairs, and outputs corresponding point pair information.
  • the camera parameter estimation unit 23 estimates the position and orientation of the second camera 11 with respect to the first camera 10 as described above, and The coordinate calculation unit 24 calculates the three-dimensional coordinates of the target point.
  • FIGS. 6 and 7 are flowcharts showing an example of a three-dimensional information restoration operation procedure by the PC 20.
  • This three-dimensional information restoration process is performed, for example, at the time of initial setting of the stereo camera system 5 (for example, when the camera is installed) and at the time of calibration (calibration) after the initial setting.
  • FIG. 8 is a schematic diagram showing a transition example of a UI (User Interface) screen displayed on the display 20L.
  • UI User Interface
  • the feature point extraction unit 21 makes an image acquisition request to the first camera 10 and the second camera 11, and the first image is sent from the first camera 10 and the second camera 11, respectively.
  • the image data of 33 and the second image 36 are taken in (S1). Note that image data acquisition may be performed periodically without an image acquisition request.
  • the feature point extraction unit 21 extracts feature points 38a and 38b from the first image 33 and the second image 36, respectively (S2).
  • the corresponding point detection unit 22 detects corresponding points 39a and 39b representing the corresponding relationship between the first image 33 and the second image 36 from the similarity of the feature points extracted by the feature point extracting unit 21, and uses this corresponding relationship.
  • the corresponding corresponding point pair information (image coordinate pair information) is output (S3).
  • the camera parameter estimation unit 23 is based on the corresponding point pair information, the focal length of the first camera 10, the focal length of the second camera 11, the optical axis coordinates of the first camera 10, and the optical axis coordinates of the second camera 11.
  • the position and orientation of the second camera 11 with respect to the first camera 10 are estimated (S4).
  • the three-dimensional coordinate calculation unit 24 calculates the three-dimensional of the target point 41 based on the corresponding point pair information, the internal and external parameters of the first camera 10, the internal and external parameters of the second camera 11, and the baseline length 62.
  • the coordinates (X, Y, Z) are sequentially calculated (S5).
  • this target point is a point obtained by back projecting the feature point of the first image 33 included in the corresponding point pair.
  • the abnormality detection unit 25 determines the three-dimensional coordinates of the target point according to whether the result calculated in S5 corresponds to the first restoration result, the second restoration result, and the third restoration result described above. It is determined whether there is any abnormality (S6). As described above, it may be determined that there is an abnormality when another restoration result is obtained.
  • the display / input unit 26 displays the restoration result of the three-dimensional coordinates of the target point (screen G5), and the PC 20 ends this operation.
  • the display / input unit 26 displays on the display 20L that the three-dimensional coordinates of the target point is abnormal (screen G2), and the corresponding point area Is displayed on the display 20L (screen G2) (S8).
  • the display / input unit 26 is a corresponding point region (for example, a peripheral region centered on this point) including an arbitrary point (for example, a point that can be easily identified) while the user looks at the first image 33 displayed on the display 20L.
  • 26y1 is specified to be surrounded by the cursor 26z by the input device 20M. Thereby, the display / input unit 26 receives the designated corresponding point area 26y1 (screen G3) (S9).
  • the display / input unit 26 displays a corresponding point region including a point corresponding to the arbitrary point while the second image 36 displayed on the display 20L is viewed by the user (for example, a peripheral region centered on this point).
  • 26y2 is specified to be surrounded by the cursor 26z by the input device 20M. Thereby, the display / input unit 26 receives the designated corresponding point region 26y2 (screen G3) (S10).
  • the display / input unit 26 uses one or more features in the second image 36 using the feature amount included in the corresponding point region 26y1 specified in the first image 33 via an input device or the like. Corresponding point candidate regions may be extracted and displayed.
  • the display / input unit 26 selects, for example, the corresponding point region 26y2 from the displayed corresponding point candidate regions. Select and specify.
  • the user can more easily specify the corresponding point area 26y2 in the second image 36 that truly corresponds to the corresponding point area 26y1 specified in the first image 33.
  • the display / input unit 26 displays the corresponding point relationship on the display 20L (screen G4), and determines whether or not the detection of the corresponding point is completed (S11).
  • the completion of detection of the corresponding point is performed, for example, when the user selects the OK button 26g using the cursor 26z via the input device 20M.
  • the user considers that the number of designated corresponding point regions 26y is equal to or larger than a predetermined value (for example, value 5) or that the corresponding point pairs associated with the corresponding line 26m are not biased. Is done.
  • the display / input unit 26 receives that the user has selected the NG button 26h using the cursor 26z via the input device 20M, and returns to S8 when detecting that the detection of the corresponding point is not completed.
  • the display / input unit 26 completes the detection of the corresponding point.
  • the narrow area corresponding point detection unit 27 is limited to the feature point groups 51 and 52 in the corresponding point areas 26y1 and 26y2 designated by the display / input unit 26, and the similarities included in the first image 33 and the second image 36 are included. Feature points having high degrees are sequentially detected as corresponding point pairs, and corresponding point pair information is output.
  • the feature point group 51 includes one or more feature points.
  • the camera parameter estimation unit 23 estimates the position and orientation of the second camera 11 with respect to the first camera 10 again using the new corresponding point pair information, and the three-dimensional coordinate calculation unit 24 calculates the three-dimensional coordinates ( X, Y, Z) is calculated (S12). Thereafter, the PC 20 returns to S6.
  • the abnormality detection unit 25 determines whether or not there is an abnormality in the three-dimensional coordinates of the target point in S6, and if it is determined in S7 that the three-dimensional coordinates of the target point are normal, the display / input unit 26 A message indicating that the dimension return information is normal is displayed (screen G5). And PC20 complete
  • the display / input unit 26 displays that fact and prompts the user to specify the corresponding point region. Is displayed on the display 20L.
  • the display / input unit 26 receives corresponding point areas 26y1 and 26y2 designated by the user via the input device 20M and the like.
  • the narrow area corresponding point detection unit 27 outputs corresponding point pair information detected only in the corresponding point areas 26y1 and 26y2 designated by the display / input unit 26.
  • the camera parameter estimation unit 23 again estimates the position and orientation of the second camera 11 relative to the first camera 10 using the output corresponding point pair information, and the three-dimensional coordinate calculation unit 24 calculates the three-dimensional coordinates of the target point.
  • the stereo camera system 5 when it is determined that the three-dimensional coordinates of the target point are abnormal, the corresponding point region ( Corresponding point areas 26y1, 26y2) can be directly specified. Therefore, the stereo camera system 5 detects corresponding point pair information with high accuracy using the feature points in the specified corresponding point region, compared with the case where the processing (corresponding point detection, etc.) relating to the three-dimensional information restoration is left to the PC 20. it can. As a result, the stereo camera system 5 can improve the restoration accuracy of the three-dimensional coordinates of the target point restored from the two captured images.
  • the stereo camera system 5 takes over a part of the three-dimensional information restoration operation and assists by performing a simple input operation via the input device 20M even when the three-dimensional coordinates of the target point are determined to be abnormal. Thus, it is possible to support the three-dimensional coordinates of the target point to be normal.
  • the stereo camera system 5 may calculate the three-dimensional coordinates of the target point using the feature point group in the corresponding point area designated through the input device 20M by the user who confirmed by looking at the display 20L. . Thereby, the reconstruction precision of a three-dimensional coordinate can be improved.
  • the user designates the corresponding point area
  • the first image 33 and the second image 36 are displayed on the display 20L, and the user surrounds the cursor 26z on these images via the input device 20M.
  • the corresponding point area 26y may be designated. This makes it possible to provide a user interface that is intuitively easy to understand with a simple operation.
  • the feature point group included in the corresponding point area designated by the display / input unit is not stored, and when calibration is performed, the same processing as that at the time of initial setting is performed.
  • the stereo camera system designates the corresponding point area by the display / input unit each time it is determined that the three-dimensional coordinates of the target point are abnormal.
  • the stereo camera system groups and stores the feature point group included in the corresponding point area designated by the display / input unit. Thereby, it is possible to eliminate the need to designate the corresponding point area by the display / input unit in the subsequent calibration.
  • FIG. 9 is a block diagram illustrating a configuration example of the PC 20A in the stereo camera system 5A according to the second embodiment.
  • the stereo camera system 5A of the second embodiment has almost the same configuration as the stereo camera system 5 of the first embodiment. 9, the same components as those of the stereo camera system 5 of FIG. 1 are denoted by the same reference numerals, and the description thereof is omitted or simplified.
  • the PC 20A includes a feature point group storage unit 28 and a second corresponding point detection unit 22A in addition to the components included in the PC 20 of the first embodiment.
  • the corresponding point detection unit 22 provided in the PC 20 is omitted.
  • FIG. 10A is a schematic diagram for explaining an example of grouping of feature point groups.
  • FIG. 10B is a schematic diagram for explaining an example of movement of a feature point group.
  • FIG. 10C is a schematic diagram for explaining an example of detection of corresponding points.
  • the feature point group storage unit 28 includes the feature point group 51 included in the corresponding point regions 26y1 and 26y2 designated for the first image 33 and the second image 36 by the display / input unit 26, respectively. , 52 are grouped and stored for the first camera and the second camera.
  • the feature point group storage unit 28 adds the extracted feature points when the feature points 38a and 38b included in the corresponding point regions 26y1 and 26y2 are newly extracted at an arbitrary calibration after the initial setting. You may remember. Thereby, the number of feature points can be increased, the detection accuracy of corresponding points can be improved, and the reconstruction accuracy of three-dimensional coordinates can be improved.
  • the second corresponding point detection unit 22A reads the feature point groups 51 and 52 stored in the feature point group storage unit 28, and the feature point groups 51 and 52 and each feature point extracted by the feature point extraction unit 21 are read. Search for correspondence. This correspondence relationship is obtained by, for example, obtaining the similarity between the feature points 38a and 38b included in the feature point groups 51 and 52 and the feature points included in each feature point extracted by the feature point extraction unit 21. Explored.
  • the second corresponding point detection unit 22A can detect the corresponding point areas 56y1 and 56y2 respectively corresponding to the corresponding point areas 26y1 and 26y2 designated by the user by newly capturing the first image 33A and the second image 36A. Detectable in.
  • the display 20L includes a corresponding point region in which the corresponding point regions 26y1 and 26y2 including the feature point groups 51 and 52 are surrounded by the first image 33A and the second image 36A that are newly captured. Display as if moving to 56y1 and 56y2.
  • the second corresponding point detection unit 22A searches for corresponding points 58a and 58b (feature points as corresponding points) in the newly found corresponding point regions 56y1 and 56y2, and sets corresponding point pair information. Output.
  • the camera parameter estimation unit 23 estimates again the position and orientation of the second camera 11 with respect to the first camera 10 using the output corresponding point pair information.
  • the three-dimensional coordinate calculation unit 24 calculates the three-dimensional coordinates of the target point.
  • the feature point extraction unit 21 detects again the feature points in the newly found corresponding point regions 56y1 and 56y2, and the second corresponding point detection unit 22A searches again for the corresponding points using the calculated feature points. May be.
  • FIG. 11 is a flowchart showing an example of a part of a 3D information restoration operation procedure by the PC 20A performed at the time of initial setting. This three-dimensional information restoration process is performed when the stereo camera system 5A is initially set.
  • FIG. 11 corresponds to FIG. 7 described in the first embodiment.
  • the same step process as the step process in FIG. 7 is denoted by the same step number, and the description thereof is omitted or simplified.
  • the UI screen displayed on the display 20L at the time of initial setting is the same as that in FIG. 8 described in the first embodiment.
  • the feature point group storage unit 28 includes the feature point group 51 included in the corresponding point region 26y1 specified in the first image 33 in S9, and the feature point group 51 in S10.
  • the feature point group 52 included in the corresponding point area 26y2 designated by the two images 36 is grouped and stored (S12A). Thereafter, the PC 20A returns to the process of S6.
  • the feature point groups 51 and 52 respectively included in the corresponding point regions 26y1 and 26y2 designated by the display / input unit 26 are grouped and stored in the feature point group storage unit 28. Note that the newly detected feature point group may be grouped and stored also in the calibration after the initial setting.
  • FIG. 12 is a flowchart showing an example of a part of a three-dimensional information restoration operation procedure by the PC 20 performed at the calibration after the initial setting.
  • This three-dimensional information restoration processing is performed at the time of calibration after the initial setting or at regular calibration in the stereo camera system 5A.
  • the PC 20A can detect, for example, that the orientation of the camera has changed.
  • FIG. 13 is a schematic diagram showing a transition example of the UI screen displayed on the display 20L.
  • the display 20L displays a “processing in progress” message on the screen G11.
  • the feature point extraction unit 21 reads the feature point groups 51 and 52 grouped in the designated corresponding point regions 26y1 and 26y2 stored in the feature point group storage unit 28 (S21).
  • the display 20L displays grouped feature point groups 51 and 52 within the designated corresponding point regions 26y1 and 26y2 and corresponding point regions 26y1 and 26y2 so as to overlap the first image 33 and the second image 36. (Screen G12).
  • the feature point extraction unit 21 makes an image acquisition request to the first camera 10 and the second camera 11, and new image data of the first image 33A and the second image 36A from the first camera 10 and the second camera 11, respectively.
  • S22 That is, for example, new image data is acquired when the orientation of the camera changes or during periodic calibration.
  • the orientation of the camera can change due to, for example, wind or vibration.
  • the feature point extraction unit 21 extracts each feature point from the first image 33A and the second image 36A (S23).
  • the second corresponding point detection unit 22A searches for a correspondence relationship between each feature point extracted by the feature point extraction unit 21 and the feature point groups 51 and 52 grouped in the designated corresponding point regions 26y1 and 26y2. To do. Then, the second corresponding point detection unit 22A detects corresponding point regions 56y1 and 56y2 in the first image 33A and the second image 36A that are newly captured (S24).
  • the display 20L displays the original corresponding point areas 26y1 and 26y2 and the newly detected corresponding point areas 56y1 and 56y2 so as to overlap the newly acquired first image 33A and second image 36A (screen). G13).
  • the second corresponding point detection unit 22A searches for corresponding points 58a and 58b between the newly detected corresponding point regions 56y1 and 56y2, and outputs corresponding point pair information (S25).
  • the display 20L displays the corresponding point pair information so as to overlap the newly acquired first image 33A and second image 36A (screen G14). Note that feature points may be extracted again in the corresponding point regions 56y1 and 56y2, and the corresponding points 58a and 58b may be searched for in consideration of the feature points.
  • the camera parameter estimation unit 23 re-uses the position and orientation of the second camera 11 with respect to the first camera 10, that is, the camera parameters (for example, translation vector p, rotation matrix R) using the corresponding point pair information generated in S25. presume. Further, the three-dimensional coordinate calculation unit 24 determines the 3 of the target points based on the corresponding point pair information, the internal and external parameters of the first camera 10, the internal and external parameters of the second camera 11, and the baseline length 62. Dimensional coordinates (X, Y, Z) are calculated sequentially. This target point is included in the corresponding point area 56y1.
  • the camera parameters for example, translation vector p, rotation matrix R
  • the PC 20A proceeds to the process of S6 shown in FIG. 6 in the first embodiment, and the abnormality detection unit 25 determines whether there is an abnormality in the three-dimensional coordinates of the target point. Since the subsequent processing is the same as that at the time of initial setting, the description thereof is omitted.
  • the stereo camera system 5A stores the feature point group grouped in the corresponding point area specified once, and is stored when the corresponding point area is specified again at another timing. Corresponding point regions are detected using the feature point group. This saves the user from having to designate the corresponding point area again, and the operation is simplified. In addition, the calibration operation can be further simplified.
  • the feature point group storage unit 28 may group and store the feature point groups included in the corresponding point area detected at the time of calibration so that they can be used for the subsequent calibration.
  • the feature point group storage unit 28 may update the feature point group in the corresponding point region stored at the initial setting with the feature point group included in the corresponding point region detected at the time of calibration, Additional storage may be performed without updating.
  • the feature point group storage unit 28 extracts each feature point included in the captured image captured at the time of initial installation, or at the time of calibration. You may make it preserve
  • the first camera 10 and the second camera 11 are exemplified as being directly connected to the PCs 20 and 20A via the cables 18A and 18B.
  • the first camera 10 and the second camera 11 and the PC 20B are not directly connected, and data and signals are transmitted and received by communication using a transmitter and a receiver.
  • FIG. 14 is a schematic diagram showing a schematic configuration example of a stereo camera system 5B in a modified example.
  • the stereo camera system 5B includes a first camera 10, a second camera 11, an image capturing device 61, a transmitter 63, a receiver 72, and a PC 20B.
  • the image capturing device 61 captures image data of the first image captured by the first camera 10 and the second image captured by the second camera 11.
  • the transmitter 63 transmits the image data of the first image and the second image to the receiver 72.
  • the image capturing device 61 and the transmitter 63 may be provided integrally.
  • the image capturing device 61 outputs an image acquisition request to the first camera 10 and the second camera 11, and the first image captured by the first camera 10 and the second image captured by the second camera 11 are output. Capture image data almost simultaneously.
  • the receiver 72 receives the image data of the first image and the second image from the transmitter 63.
  • the PC 20B performs the same operation as the PC 20 and PC 20A.
  • the receiver 72 and the PC 20B may be provided integrally.
  • the communication performed between the transmitter 63 and the receiver 72 is not particularly limited, and may be performed via a network such as the Internet, or may be performed on a dedicated line without passing through the network. However, it may be performed wirelessly. Here, communication between the transmitter 63 and the receiver 72 is performed using the dedicated line 65.
  • the image capturing device 61 acquires the first image and the second image from the first camera 10 and the second camera 11, respectively, in response to an image acquisition request from the PC 20B.
  • the image capturing device 61 transfers the acquired image data of the first image and the second image to the PC 20B via the transmitter 63 and the receiver 72.
  • Other operations are the same as those in the first and second embodiments.
  • the PC 20B can perform initial setting and calibration at a location far from the installation location of the first camera 10 and the second camera 11. Therefore, after installing the image capturing device 61, it is not necessary to go to the installation place and perform calibration work, and efficient operation becomes possible.
  • the schematic diagram illustrating the schematic configuration example of the stereo camera system 5C according to the third embodiment is the same as the schematic diagram illustrating the schematic configuration example of the stereo camera system 5 according to the first embodiment, that is, FIG.
  • the stereo camera system 5C in the third embodiment includes a PC 20C instead of the PC 20 included in the stereo camera system 5 in the first embodiment.
  • the same components as those of the first embodiment are denoted by the same reference numerals, and the description thereof is omitted or simplified.
  • FIG. 15 is a block diagram illustrating a configuration example of the PC 20C in the third embodiment.
  • the PC 20C of the stereo camera system 5C includes a processor 30C, an input device 20M, a memory 31, a port 32, and a display 20L.
  • the input device 20M inputs corresponding point designation and depth information (distance from the first camera 10 to the designated corresponding point) by the user.
  • the input device 20M includes a mouse, a keyboard, and the like.
  • the depth information input via the input device 20M is stored in the memory 31 and input to the accuracy evaluation unit 29.
  • the memory 31 holds various data, information, and programs.
  • the memory 31 stores coordinates of designated corresponding points (hereinafter also referred to as designated corresponding points), distance information to the designated corresponding points, peripheral images of the left and right designated corresponding points, and left and right camera images when the corresponding points are designated ( First image, second image) are stored.
  • designated corresponding points exist in pairs in the left and right camera images, and thus can be said to be corresponding point pairs.
  • the designated corresponding points are designated in pairs in the left and right camera images, they can be said to be designated corresponding point pairs.
  • the memory 31 includes, for example, a memory such as a RAM (Random Access Memory) and a ROM (Read Only Memory), a storage such as an HDD (Hard Disk Drive), and an SSD (Solid State Drive).
  • a memory such as a RAM (Random Access Memory) and a ROM (Read Only Memory)
  • a storage such as an HDD (Hard Disk Drive)
  • an SSD Solid State Drive
  • the port 32 is communicably connected to the first camera 10 and the second camera 11, transmits an image acquisition request to the first camera 10 and the second camera 11, and is transmitted from the first camera 10. The image data of one image and the image data of the second image transmitted from the second camera 11 are received.
  • the port 32 includes, for example, a communication port for communicating with an external device and an external device connection port for connecting the external device.
  • the display 20L displays the first image captured by the first camera 10 and the second image captured by the second camera 11, and displays corresponding points, error messages, guidance, etc. superimposed on these images, In addition, a three-dimensional restored image is displayed.
  • the display 20L includes a display device such as a liquid crystal display.
  • the input device 20M and the display 20L may be configured as separate devices, or may be configured as a touch panel in which these are integrated.
  • the processor 30C executes the program stored in the memory 31, thereby enabling each function of the feature point extraction unit 21, the corresponding point detection unit 22, the camera parameter estimation unit 23, the three-dimensional coordinate calculation unit 24, and the accuracy evaluation unit 29. To realize.
  • the processor 30C includes, for example, a CPU (Central Processing Unit), a DSP (Digital Signal Processor), or a GPU (Graphical Processing Unit).
  • CPU Central Processing Unit
  • DSP Digital Signal Processor
  • GPU Graphics Processing Unit
  • the feature point extraction unit 21 sequentially acquires and analyzes the first image captured by the first camera 10 input from the port 32 and the second image captured by the second camera 11.
  • the first camera 10 is, for example, a camera arranged on the left side of FIG. 1 that captures a left camera image of a subject.
  • the second camera 11 is, for example, a camera arranged on the right side of FIG. 1 that captures a right camera image with respect to a subject.
  • the feature point extraction unit 21 has a function as an image acquisition unit, and sequentially detects feature points (for example, points in a region having a strong edge) for the acquired left camera image and right camera image.
  • feature points for example, points in a region having a strong edge
  • an algorithm that extracts local feature points that are invariant to enlargement, reduction, or rotation of an image is used. This algorithm includes, for example, SIFT (Scale-Invariant Feature Transform), SURF (Speed-UpUrobust Features).
  • the schematic diagram for explaining an example of the parameters for deriving the three-dimensional coordinates is the same as that in FIG. 3 in the first embodiment.
  • the information about the internal parameters and the baseline length 62 is acquired from the camera via the port 32 and held in the memory 31.
  • the accuracy evaluation unit 29 evaluates the accuracy of the 3D coordinates calculated by the 3D coordinate calculation unit 24. This accuracy evaluation is performed using the Z coordinate of the corresponding point (specified corresponding point) designated by the user via the input device 20M.
  • the accuracy evaluation unit 29 inputs the Z coordinate of the designated corresponding point from the input device 20M, that is, the distance (depth value) from the first camera 10 to the designated corresponding point am.
  • the accuracy evaluation unit 29 compares the input distance with the Z coordinate (distance) of the designated corresponding point am calculated by the three-dimensional coordinate calculation unit 24. If the error (difference) is equal to or less than a specified value (for example, 10%) as a result of the comparison, the accuracy evaluation unit 29 determines that the calculation result of the three-dimensional coordinates is successful. It is determined that the coordinate calculation result is a failure.
  • the specified value can be set to an arbitrary value by the user.
  • the Z coordinate value (depth value) is used as the distance information from the first camera 10 to the designated corresponding point am.
  • the actual distance between the first camera 10 and the designated corresponding point am may be used as the distance information.
  • the camera parameter estimating unit 23 again randomly selects a predetermined number of corresponding points different from the previous one from the many corresponding points detected by the corresponding point detecting unit 22. Select The three-dimensional coordinate calculation unit 24 calculates the Z coordinate of the designated corresponding point again using the selected predetermined number of corresponding points. The accuracy evaluation unit 29 performs the same determination as described above using the Z coordinate value of the designated corresponding point calculated again.
  • the determination result is unsuccessful a predetermined number of times, the user may specify another corresponding point and input depth information.
  • FIG. 16 is a diagram for explaining the outline of the operation of the stereo camera system 5C.
  • the display 20L displays the first image GZ1 captured by the first camera 10 and the second image GZ2 captured by the second camera 11.
  • the input device 20M When the user operates the input device 20M to move the cursor SL to the vicinity of the corresponding point and then clicks the first image GZ1 and the second image GZ2 displayed on the screen of the display 20L, the frames fr1 and fr2 are used. The enclosed part is enlarged on the screen.
  • the images near the corresponding points are enlarged on the screen, so that the user can easily specify the corresponding points included in the images.
  • the user designates the corresponding point am included in the enlarged peripheral image GZ11 and the corresponding point bm included in the enlarged peripheral image GZ12 via the input device 20M.
  • the user inputs depth information (distance from the first camera 10 to the corresponding point am) via the input device 20M.
  • the depth information may be a distance from the second camera 11 to the corresponding point bm.
  • This depth information is an actual measurement value measured using, for example, a laser distance meter or a measure.
  • “102 m” is input as the actual measurement value, and is displayed on the screen of the display 20L so as to overlap the enlarged peripheral image GZ11.
  • the processor 30C When the user finishes specifying and inputting, the processor 30C performs a three-dimensional restoration process based on these pieces of information. As a result of this processing, a three-dimensional restored image is displayed on the display 20L.
  • FIG. 17 is a flowchart showing an example of initial calibration performed at the time of initial setting.
  • the feature point extraction unit 21 makes an image acquisition request to the first camera 10 and the second camera 11 via the port 32, and the first camera 10 and the second camera 11 respectively.
  • the image data of the first image GZ1 and the second image GZ2 are captured (S31). It should be noted that the image data may be fetched periodically without making an image acquisition request.
  • the input device 20M receives points on the image that are designated by the user as the corresponding points for the first image GZ1 and the second image GZ2 captured in S31 (S32).
  • the processor 30C enlarges and displays the peripheral image around the point on the image displayed on the display 20L designated by the cursor SL (S33).
  • the input device 20M receives corresponding points (designated corresponding points) am and bm designated by the user for the enlarged peripheral images GZ11 and GZ12 (S34). By specifying the corresponding points am and bm, information on the coordinates of the corresponding points am and bm (an example of position information) is obtained.
  • the designated corresponding point may be a point that is included or not included in a plurality of corresponding points detected by the corresponding point detection unit 22.
  • the input device 20M receives distance information (depth value) from the first camera 10 to the designated corresponding point am input by the user (S35).
  • the processor 30C receives the coordinates of the corresponding corresponding point, the distance information, the peripheral images GZ11 and GZ12, and the first image GZ1 and the second image GZ2 (left and right camera images) when the corresponding point is specified, input from the input device 20M. Is stored (saved) in the memory 31 (S36).
  • the feature point extraction unit 21 extracts a plurality of feature points from the first image GZ1 and the second image GZ2.
  • the corresponding point detection unit 22 detects a plurality of (for example, about 100) corresponding points representing the correspondence relationship between the first image GZ1 and the second image GZ2 from the similarity of the feature points extracted by the feature point extraction unit 21. Then, corresponding point pair information (image coordinate pair information) representing this correspondence is output (S37).
  • FIG. 18 shows a plurality of corresponding points a11 to a15 and b11 to b15 which are candidates for designating the corresponding points am and bm, and corresponding lines c11 to c15 connecting these corresponding points, respectively, on the left and right images (first image GZ1, It is a figure which shows the screen drawn in the 2nd image GZ2).
  • the display 20L displays the first image GZ1, the second image GZ2, the corresponding points a11 to a15, b11 to b15, and the corresponding lines c11 to c15.
  • Corresponding point detection unit 22 randomly selects a predetermined number (for example, about 5) of corresponding points from a plurality of detected points (for example, about 100) (S38). In the selection of the corresponding points, for example, the corresponding points used when it is determined that the error exceeds the specified value in the accuracy evaluation by the accuracy evaluation unit 29 described later are excluded.
  • the camera parameter estimation unit 23 includes corresponding point pair information of corresponding points selected from a plurality of corresponding points, the focal length of the first camera 10, the focal length of the second camera 11, the optical axis coordinates of the first camera 10, Based on the optical axis coordinates of the second camera 11, the position and orientation of the second camera 11 with respect to the first camera 10 are estimated (S39).
  • the three-dimensional coordinate calculation unit 24 uses corresponding point pair information, internal parameters and external parameters of the first camera 10, internal parameters and external parameters of the second camera 11 at one specified corresponding point (specified corresponding points) am and bm. Based on the parameters and the baseline length 62, the three-dimensional coordinates (X, Y, Z) of the target point corresponding to the designated corresponding point am are calculated, and the depth value (Z coordinate value) to this target point is obtained. (S40). As described above, this target point is a point obtained by back projecting the feature point of the first image GZ1 included in the corresponding point pair.
  • the accuracy evaluation unit 29 uses the depth value calculated in S40 and the depth value input in S35, and determines whether or not an error that is a difference between these values is equal to or less than a specified value (for example, 10%) ( S41). If the error is equal to or less than the specified value, the accuracy evaluation unit 29 ends this processing assuming that the accuracy evaluation is appropriate and the calculation result of the three-dimensional coordinates is successful.
  • a specified value for example, 10%
  • the accuracy evaluation unit 29 determines whether or not the number of accuracy evaluations exceeds the threshold (S42). If the number of accuracy evaluations does not exceed the threshold value, the processor 30C returns to the process of S38, selects a predetermined number of new corresponding points, and repeats the same process.
  • the processor 30C displays an error message ms1 prompting the user to input a corresponding point error, confirmation of the position of the corresponding point, and the position of another corresponding point on the screen of the display 20L. It is displayed (S43).
  • FIG. 19 is a diagram showing a screen in which the corresponding point error message ms1 and the mark MK are added to the screen of FIG.
  • an error message ms1 Warning: The measured value of the specified corresponding point has exceeded the specified error. Check the corresponding point position or specify another corresponding point.) Information
  • the corresponding points a11 and b11 are set to the designated corresponding points am and bm, and a mark MK (for example, x mark) indicating an error on the corresponding line cm connecting the corresponding points am and bm. Is displayed.
  • the inventors have already confirmed that the accuracy of the reconstruction of the three-dimensional information is improved by specifying the far corresponding point corresponding to the target point far away from the first camera 10. Based on this fact, the processor 30C displays the guidance ms2 prompting the user to designate a distant point on the screen of the display 20L (S44).
  • FIG. 20 is a diagram showing a screen to which guidance ms2 is added so as to designate a distant point as a corresponding point on the screen of FIG.
  • guidance ms2 (guidance information) “Please specify a distant point as much as possible” is displayed.
  • rectangular frames pf1 and pf2 surrounding the corresponding points in the distance are displayed on the screen of the display 20L.
  • the remote corresponding points included in the rectangular frames pf1 and pf2 that are expected to improve the accuracy of restoration of the three-dimensional information are prompted to be specified. Therefore, the user can easily specify appropriate corresponding points as candidates in the rectangular frames pf1 and pf2.
  • the process of S44 is an optional process and can be omitted. Thereafter, the processor 30C returns to the processing of S32 and S37 and performs the same processing.
  • the three-dimensional coordinate calculation unit 24 selects the corresponding point pair information, the internal parameters and external parameters of the first camera 10, the internal parameters and external parameters of the second camera 11, and Based on the baseline length 62, a three-dimensional restoration process for sequentially calculating the three-dimensional coordinates (X, Y, Z) of the target point is performed.
  • the processor 30C displays the target point subjected to the three-dimensional restoration process on the screen of the display 20L.
  • a predetermined number of corresponding points are randomly selected from the detected corresponding points, and the information of the selected corresponding points is used for the second camera 11 with respect to the first camera 10. Since the position and orientation are estimated, the estimation result of the position and orientation is different each time a corresponding point is selected. Therefore, the position and orientation estimation accuracy are different. Therefore, depending on the selection of corresponding points, the accuracy of three-dimensional restoration may be low or high.
  • the PC 20C uses the corresponding points when the position and orientation estimation accuracy is greater than or equal to a predetermined reference, that is, when the error between the measured value and the calculated value of the distance information is less than or equal to a predetermined value (for example, the minimum) By restoring the dimensions, the restoration accuracy of the three-dimensional coordinates can be stably improved.
  • the input device 20M does not input the position of an arbitrary corresponding point among a plurality of corresponding points or the distance information from the camera to the arbitrary corresponding point, that is, all corresponding points are automatically detected, and all corresponding points are detected.
  • the estimation accuracy of the three-dimensional restoration may be low. For example, even if the corresponding point can be detected, the accuracy of deriving the distance information of the corresponding point may be low.
  • the port 32 includes the first image GZ1 captured by the first camera 10 and the second image GZ2 captured by the second camera 11. get.
  • the processor 30C detects a plurality of corresponding points including corresponding points am and bm corresponding to the feature point a in the first image GZ1 and the feature point b in the second image GZ2.
  • the processor 30C restores the three-dimensional coordinates on which the feature point a is back-projected based on the plurality of corresponding points am and bm.
  • the input device 20M has coordinates (an example of position information) of a corresponding point am designated by the user from among a plurality of corresponding points, and a depth value (distance information) from the first camera 10 to the corresponding point am input by the user.
  • the processor 30C recalculates the restoration of the three-dimensional coordinates after inputting the coordinates and depth values of the corresponding point am.
  • the corresponding point am specified by the input device 20M may or may not be included in a plurality of detected corresponding points.
  • the input device 20M uses any corresponding point pair in the first image GZ1 and the second image GZ2 as a specified corresponding point pair, the position information of the specified corresponding point pair in the first image GZ1 and the second image, and the first And distance information indicating the distance from the camera 10 to the designated corresponding point pair.
  • the PC 20C can evaluate the accuracy of the restored three-dimensional coordinates, and can improve the restoration accuracy of the three-dimensional coordinates restored from the two captured images.
  • a small number of corresponding points for example, one point
  • the display 20L may display a plurality of candidates for corresponding points a11 to a15 and b11 to b15 so as to overlap at least one of the first image GZ1 and the second image GZ2 under the control of the processor 30C.
  • the display 20L prompts the user to designate a corresponding point with priority given to a position having a long distance from the first camera 10 with respect to at least one of the first image GZ1 and the second image GZ2 under the control of the processor 30C.
  • ms2 may be displayed.
  • the processor 30C is based on the depth value input by the input device 20M and the information on the distance from the first camera 10 to the designated corresponding point am (Z coordinate value) obtained by restoring the three-dimensional coordinates. The necessity of recalculation for restoring the three-dimensional coordinates may be determined.
  • the PC 20C determines that the accuracy of restoration of the three-dimensional coordinates is low, and determines the three-dimensional coordinates.
  • the processing load due to recalculation can be reduced without performing recalculation of restoration.
  • the display 20L controls the difference between the depth value input by the input device 20M and the information on the distance from the first camera 10 to the designated corresponding point am obtained by restoring the three-dimensional coordinates under the control of the processor 30C. Is equal to or greater than a predetermined value (specified value), an error message ms1 relating to the input of the specified corresponding point is displayed.
  • the error message ms1 is an example of warning information.
  • the PC 20C exemplifies performing the processes of S32 to S36 and the processes of S37 to S40 in parallel.
  • the processing of S37 to S40 may be performed after the processing of S32 to S36, or the processing of S32 to S36 may be performed after the processing of S37 to S40.
  • the initial calibration performed at the time of initial setting of the stereo camera system is shown.
  • the fourth embodiment shows calibration performed at the time of operation, that is, recalibration performed after installing the stereo camera system.
  • the recalibration is performed, for example, periodically when the restored three-dimensional image becomes disordered or when a natural disaster such as a typhoon or an earthquake occurs.
  • the same components as those of the third embodiment are denoted by the same reference numerals, and the description thereof is omitted or simplified.
  • FIG. 21 is a block diagram illustrating a configuration example of the PC 20D according to the fourth embodiment.
  • the PC 20D includes a reading unit 45 and a position search unit 46 in addition to the configuration of the PC 20C of the third embodiment.
  • the processor 30D implements the functions of the reading unit 45 and the position search unit 46 by executing a program held in the memory 31.
  • the reading unit 45 reads specified information (for example, specified corresponding point coordinates, distance information) and image information (for example, the first image GZ1, the second image GZ2, and the peripheral images GZ11, GZ12) stored in the memory 31.
  • specified information for example, specified corresponding point coordinates, distance information
  • image information for example, the first image GZ1, the second image GZ2, and the peripheral images GZ11, GZ12
  • the position search unit 46 searches whether there are the peripheral images GZ11 and GZ12 at the time of initial setting (or at the time of previous calibration) in the first image GZ3 and the second image GZ4 captured at the time of recalibration. .
  • This search is performed, for example, by template matching in which the peripheral images GZ11 and GZ12 are used as templates and moved in the first image GZ3 and the second image GZ4, respectively, and regions with high similarity are detected.
  • the port 32 takes in the image data of the first image GZ3 and the second image GZ4 from the first camera 10 and the second camera 11, respectively (S51).
  • the reading unit 45 reads the designation information and image information stored in the memory 31 (S52).
  • the position search unit 46 performs template matching on the first image GZ3 and the second image GZ4 captured in S51 using the peripheral images GZ11 and GZ12 read by the reading unit 45 as templates. And the position search part 46 searches the area
  • the position search unit 46 determines whether template matching is successful (S54).
  • FIG. 24 is a diagram showing a screen on which template matching is performed during recalibration.
  • the processor 30D displays the template matching operation on the screen of the display 20L.
  • a search is performed as to whether or not the surrounding image GZ11 and the surrounding image GZ12 are included in the first image GZ3 and the second image GZ4 as indicated by dotted line frames g and h in the drawing, respectively. It is determined whether the peripheral image GZ11 and the peripheral image GZ12 match the region image PGZ3 included in the first image GZ3 and the region image PGZ4 included in the second image GZ2, respectively. If only one or both do not match, it is determined that template matching has failed.
  • the position search unit 46 stores the matched region image PGZ3 and region image PGZ4 in the memory 31 as the new peripheral image GZ11 and peripheral image GZ12, respectively, and the central coordinates and region image of the region image PGZ3.
  • the center coordinates of PGZ4 are stored as the coordinates of designated corresponding points am and bm, respectively (S55).
  • the processor 30D displays on the screen of the display 20L a prompt for corresponding point search error and corresponding point re-input (S56).
  • FIG. 25 is a diagram showing a screen on which guidance for re-searching corresponding points ms3 and the like are added.
  • guidance ms3 guidance information
  • corresponding point re-search error input the corresponding point position again with reference to the previous corresponding point designation image
  • the processor 30D reduces and displays the previous first image GZ1, the second image GZ2, and the peripheral image GZ11 and the peripheral image GZ12 including the corresponding points am and bm, respectively, in the lower right corner of the screen of the display 20L, for example. (S57).
  • the input device 20M accepts corresponding points designated by the cursor SL by the user operation for the first image GZ3 and the second image GZ4 (S58).
  • the processor 30D enlarges and displays the peripheral image around the point on the image displayed on the display 20L specified by the cursor SL (S59).
  • the input device 20M receives new corresponding points designated by the user for the enlarged peripheral images GZ11 and GZ12 (S60). Since the distance information (depth value) is input at the time of initial calibration and stored in the memory 31, it is not necessary to input the depth value.
  • the same display as in FIG. 25 may be performed when an error message prompting the user to input another corresponding point position is displayed in S67. That is, the processor 30D displays, for example, guidance ms3 (guidance information) on the screen of the display 20L, and the previous first image GZ3, second image GZ4, and corresponding points am, The peripheral image GZ11 and the peripheral image GZ12 including bm may be reduced and displayed.
  • guidance ms3 guidance information
  • the processor 30D performs calibration (an example of restoration processing) including restoration of three-dimensional coordinates a plurality of times.
  • the processor 30D captures the position information of the designated corresponding points am and bm input by the input device 20M, the depth value, and the first camera 10 in the initial calibration.
  • the first image GZ1 and the peripheral image GZ11 including the designated corresponding point am are stored in the memory 31.
  • the processor 30D performs the peripheral image GZ11 in the first image GZ3 captured by the first camera 10 in the recalibration. A region image PGZ3 corresponding to is detected. The processor 30D sets the designated corresponding point obtained by the initial calibration included in the region image PGZ3 as the designated corresponding point am in the recalibration. The processor 30D recalculates restoration of the three-dimensional coordinates after setting the designated corresponding point am.
  • the PC 20D can use the coordinates, depth value, and template image of the designated corresponding point at the time of initial calibration at the time of recalibration. Therefore, in the recalibration, it is not necessary to perform the same operation as the initial calibration, and the user operation and the processing of the processor at the time of recalibration can be reduced. Therefore, the PC 20D can effectively use the coordinates, depth values, and template images of the designated corresponding points obtained once, and can easily improve the restoration accuracy of the three-dimensional coordinates restored from the two captured images. Note that the same applies not only to the initial calibration but also to the case where the current recalibration is performed with respect to the previous recalibration.
  • the display 20L is controlled by the processor 30D when the area image PGZ3 corresponding to the peripheral image GZ11 in the first image GZ1 is not detected in the recalibration, or when the depth value held in the memory 31 is regenerated.
  • the difference from the distance information from the first camera 10 to the designated corresponding point am obtained by the calibration is equal to or larger than the designated value, the coordinates of the designated corresponding point am held in the memory 31 and the peripheral image GZ11 are displayed. May be.
  • the user can designate the corresponding point again while viewing the position information of the designated corresponding point am displayed on the screen of the display 20L and the peripheral image GZ11. Therefore, the PC 20D can perform recalibration with high restoration accuracy of three-dimensional coordinates.
  • the display 20L refers to the position information of the designated corresponding point am stored in the memory 31 and the peripheral image GZ11, and prompts the user to input the position of the designated corresponding point am in the first image GZ3 in the recalibration.
  • Guidance ms3 may be displayed.
  • the guidance ms3 is an example of guidance information.
  • the display / input unit when the abnormality detection unit determines that the three-dimensional coordinates of the target point are abnormal, the display / input unit includes a point that can be easily identified by the user. Although the corresponding point area is specified, the corresponding point area may be specified by the user from the first stage of generating the three-dimensional coordinates of the target point without determining whether or not the three-dimensional coordinates are abnormal. As a result, it is assumed that the number of cases in which the three-dimensional coordinates of the target point are determined to be abnormal is reduced.
  • the 3D information restoration apparatus includes an image acquisition unit, a region designation unit, a corresponding point detection unit, and a 3D coordinate derivation unit.
  • the image acquisition unit acquires a first image captured by the first imaging device and a second image captured by the second imaging device.
  • the area designating unit designates a first area in the first image and a second area corresponding to the first area in the second image.
  • the corresponding point detection unit detects a plurality of first corresponding point pairs corresponding to the first feature points included in the first region and the second feature points included in the second region.
  • the three-dimensional coordinate deriving unit restores the three-dimensional coordinates obtained by back-projecting the first feature points based on the plurality of first corresponding point pairs.
  • the 3D information restoration device is, for example, the PC 20.
  • the first imaging device is, for example, the first camera 10.
  • the second imaging device is, for example, the second camera 11.
  • the image acquisition unit is, for example, the feature point extraction unit 21.
  • the area specifying unit is, for example, the display / input unit 26.
  • the corresponding point detection unit 22 is, for example, a narrow area corresponding point detection unit 27.
  • the three-dimensional coordinate derivation unit is, for example, the three-dimensional coordinate calculation unit 24.
  • the first area is, for example, the corresponding point area 26y1.
  • the second area is, for example, the corresponding point area 26y2.
  • the 3D information restoration apparatus can designate an area for detecting corresponding points used in the 3D restoration. Therefore, the three-dimensional information restoration apparatus can detect the corresponding point pair information with high accuracy using the feature points in the designated area, as compared with the case where all processing such as corresponding point detection is left to the information processing apparatus without user operation. Therefore, the three-dimensional restoration apparatus can improve the restoration accuracy of the three-dimensional coordinates calculated using the corresponding point pair information.
  • the parameter deriving unit derives a plurality of parameters for deriving the three-dimensional coordinates based on the plurality of first corresponding point pairs.
  • the abnormality determination unit determines whether there is an abnormality in the restored three-dimensional coordinates based on the derived parameters.
  • the area designating unit designates the first area and the second area when there is an abnormality in the three-dimensional coordinates.
  • the three-dimensional restoration device uses the information obtained for the operation for restoring the three-dimensional coordinates that have already been determined to be a simple region. By specifying and assisting, it is possible to assist the normalization of the three-dimensional coordinates. Further, even if the extraction accuracy of feature point extraction and the detection accuracy of corresponding point detection are insufficient, the three-dimensional information restoration device can compensate for the lack of accuracy by specifying the corresponding point region, and can improve the restoration accuracy of the three-dimensional coordinates.
  • the three-dimensional restoration device may include a feature point storage unit and a feature point extraction unit.
  • the feature point storage unit stores the first feature point detected as the first corresponding point pair and the second feature point.
  • the feature point extraction unit includes a third feature point included in the third image captured by the first imaging device and a fourth feature point included in the fourth image captured by the second imaging device. Are extracted.
  • the corresponding point detection unit is a correspondence relationship between the first feature point and the second feature point stored in the feature point storage unit, and the third feature point and the fourth feature point extracted by the feature point extraction unit. Based on the above, a third region corresponding to the first region in the third image and a fourth region corresponding to the second region in the fourth image may be detected.
  • the corresponding point detection unit may detect a plurality of second corresponding point pairs corresponding to the third feature point included in the third region and the fourth feature point included in the fourth region.
  • the three-dimensional coordinate deriving unit may restore the three-dimensional coordinates obtained by back-projecting the third feature points based on the plurality of second corresponding point pairs.
  • the feature point storage unit is, for example, a feature point group storage unit 28.
  • the feature point extraction unit is, for example, the feature point extraction unit 21.
  • the third area is, for example, the corresponding point area 56y1.
  • the fourth area is, for example, the corresponding point area 56y2.
  • the corresponding point area when the corresponding point area is designated again at the time of calibration after the initial setting, the corresponding point area can be detected by using the first feature point and the second feature point used in the past. Therefore, the user can save the time and effort of specifying the corresponding point area again, and the operation becomes simple. In addition, operations such as calibration can be simplified.
  • the three-dimensional information restoration apparatus may include an input unit (for example, the input device 20M) that accepts an input operation and a display unit (for example, the display 20L) that displays the first image and the second image.
  • an input unit for example, the input device 20M
  • a display unit for example, the display 20L
  • the area designating unit may designate the first area and the second area according to an input operation performed on the first image and the second image displayed on the display unit by the input unit.
  • the display unit may display the first region and the second region specified by the region specifying unit.
  • the user can directly specify the corresponding point area so as to surround, for example, a point that can be easily identified while viewing the first image and the second image, for example. Further, the user can display the first image and the second image on the display unit, and can designate the first region and the second region by an input operation using the input unit so as to overlap these images. Therefore, it is possible to provide a user interface that is easy to understand intuitively with a simple operation.
  • the three-dimensional information restoration system includes a first imaging device that captures a first image, a second imaging device that captures a second image, and 3 based on the first image and the second image.
  • a three-dimensional information restoration device that restores dimensional coordinates.
  • the 3D information restoration apparatus can designate an area for detecting corresponding points used in the 3D restoration. Therefore, the three-dimensional information restoration apparatus can detect the corresponding point pair information with high accuracy using the feature points in the designated area, as compared with the case where all processing such as corresponding point detection is left to the information processing apparatus without user operation. Therefore, the three-dimensional restoration apparatus can improve the restoration accuracy of the three-dimensional coordinates calculated using the corresponding point pair information.
  • the three-dimensional information restoration system acquires the first image from the first imaging device, acquires the second image from the second imaging device, and transmits the first image and the second image. And a receiver that receives the first image and the second image from the transmitter and sends the first image and the second image to the three-dimensional information restoration apparatus.
  • the transmitter is, for example, the transmitter 63
  • the receiver is, for example, the receiver 72.
  • the PC 20 extracts candidate areas of one or more corresponding points in the second image using the feature values in the corresponding point areas designated by the operator (user) in the first image via the input unit or the like. And may be displayed.
  • the corresponding point region in the second image corresponding to the corresponding point region designated in the first image is likely to be in the displayed corresponding point candidate region.
  • the operator displays the displayed corresponding point candidate area. It is only necessary to select and specify from among these via the input unit. That is, the operator can more easily specify the corresponding point region in the second image that truly corresponds to the corresponding point region specified in the first image.
  • FIG. 17 and FIG. 22 an example of calibration is shown using FIG. 17 and FIG. 22. However, even if calibration is performed including processing other than the processing shown in FIG. 17 and FIG. Good.
  • FIG. 26 is a flowchart showing another example of the initial calibration performed at the time of initial setting.
  • FIG. 27 is a flowchart illustrating another example of recalibration performed during operation.
  • the processor 30C proceeds to S31 and takes in the image data of the first image GZ1 and the second image GZ2 again. Further, after the processing of S44, the processor 30C proceeds to S31, and takes in the image data of the first image GZ1 and the second image GZ2 again.
  • the processor 30D proceeds to S51 and takes in the image data of the first image GZ1 and the second image GZ2 again. Further, after the processing of S68, the processor 30D proceeds to S51, and takes in the image data of the first image GZ1 and the second image GZ2 again.
  • the PCs 20C and 20D can acquire a plurality of pieces of image data having different imaging times by taking in the image data again.
  • a bright area or a dark area in the captured image changes, and a feature point in each captured image changes.
  • the corresponding point also changes, and the result of posture estimation also changes.
  • PC20C, 20D can improve the estimation precision which estimates the position and attitude
  • FIG. 26 and FIG. 27 the designated corresponding point does not have to be changed even when the image data is captured again.
  • the processors 30C and 30D perform the accuracy evaluation based on one designated corresponding point and the calculated corresponding point.
  • the processors 30C and 30D may perform accuracy evaluation based on a plurality of (for example, two or three) designated corresponding points and a plurality of calculated corresponding points. In this case, accuracy evaluation becomes more accurate by using a plurality of corresponding points.
  • the depth value (that is, the Z coordinate value) is used as the distance information to the target point corresponding to the designated corresponding point.
  • evaluation may be performed using distance expressed by the square root of the sum of the squares of the values of the X coordinate, Y coordinate, and Z coordinate as distance information from the camera to the target point.
  • the PC 20D exemplifies obtaining the designated corresponding point by template matching for both the first image and the second image at the time of recalibration.
  • the processor 30D uses the image determined to be shifted to specify the designated corresponding point. You may ask for it. Then, the processors 30C and 30D may perform the three-dimensional restoration process using the obtained designated corresponding point and the designated corresponding point of the other image in the initial calibration (or the previous recalibration). Further, the PC 20D may obtain the designated corresponding point by image processing other than template matching.
  • the first camera 10 and the second camera 11 are illustrated as being directly connected to the PCs 20C and 20D via the cables 18A and 18B. Instead, a transmitter and a receiver are provided between the first camera 10 and the second camera 11 and the PCs 20C and 20D, and data and signals are communicated by communication using the transmitter and the receiver. Good. As a result, the first camera and the second camera are installed at a remote location, and a three-dimensional restoration process can be performed by a PC installed at a remote location.
  • the processor may be physically configured in any manner. Further, if a programmable processor is used, the processing contents can be changed by changing the program, so that the degree of freedom in designing the processor can be increased.
  • the processor may be composed of one semiconductor chip or physically composed of a plurality of semiconductor chips. When configured by a plurality of semiconductor chips, each control of the third and fourth embodiments may be realized by separate semiconductor chips. In this case, it can be considered that a plurality of semiconductor chips constitute one processor.
  • the processor may be configured by a member (capacitor or the like) having a function different from that of the semiconductor chip. Further, one semiconductor chip may be configured so as to realize the functions of the processor and other functions.
  • the present disclosure is useful for a three-dimensional information restoration apparatus, a three-dimensional information restoration system, a three-dimensional information restoration method, and the like that can improve the restoration accuracy of three-dimensional coordinates restored from two captured images.
  • Second casing 18A, 18B, 18C Cable 20, 20A, 20B, 20C, 20D PC 20L display 20M input device 21 feature point extraction unit 22 corresponding point detection unit 23 camera parameter estimation unit 24 3D coordinate calculation unit 25 abnormality detection unit 26 display / input unit 26e, 26f start button 26g OK button 26h NG button 26m, c1 ⁇ c7 Corresponding line 26y1, 26y2, 56y1, 56y2 Corresponding point region 26z Cursor 27 Narrow region corresponding point detection unit 28 Feature point group storage unit 29 Accuracy evaluation unit 30, 30A, 30B, 30C, 30D Processor 31 Memory 32 Port 33, 33A 1st 1 image 36, 36A 2nd image 38a, 38b, a, a1 to a7, b, b1 to b7 Feature point 39a, 39b, 58a, 58b, a11 to a15, b11

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Signal Processing (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

　３次元情報復元装置は、第１の撮像装置により撮像された第１の画像に含まれる第１の特徴点と、第２の撮像装置により撮像された第２の画像に含まれる第２の特徴点と、が対応する対応点ペアを複数検出する対応点検出部と、複数の対応点ペアに基づいて、第１の特徴点が逆射影された３次元座標を復元する３次元座標導出部と、を備える。

Description

３次元情報復元装置、３次元情報復元システム、及び３次元情報復元方法
　本開示は、３次元情報復元装置、３次元情報復元システム、及び３次元情報復元方法に関する。
　左右の撮像部で同じ被写体を撮像するように、１つの筐体に２つの撮像部が固定されたステレオカメラが知られている。ステレオカメラは、被写体を異なる複数の方向から撮像し、平面方向の情報及び奥行き方向の情報（３次元情報）を記録する。
　３次元情報を復元する装置として、例えば、画像入力部と、対応点検出部と、基本行列計算部と、平行移動計算部と、回転計算部と、距離計算部と、を備える３次元情報復元装置が知られている（例えば、特許文献１参照）。
　この３次元情報復元装置では、画像入力部は、３次元剛体を捉えた２画像を入力する。対応点検出部は、２画像間の対応点を検出する。基本行列計算部は、２画像間の３次元回転行列及び３次元平行移動ベクトルから基本行列を計算する。平行移動計算部は、３次元平行移動ベクトルを計算する。回転計算部は、３次元回転行列を計算する。距離計算部は、３次元空間におけるカメラと対応点との距離を計算する。
　しかしながら、２つの撮像装置を別々に設置してステレオカメラシステムを形成する場合、２つの撮像装置によりそれぞれ撮像された左右の画像から対象点の３次元座標を正しく復元できないことがある。
　具体的には、例えば、各撮像画像の画像間で対応する特徴点の位置関係を表す対応点の数が少ない場合、又は、それぞれの撮像画像で抽出された特徴点が画像上の特定の位置に集中している場合、３次元座標を正しく復元できないことがある。
　本開示は、２つの撮像画像から復元される３次元座標の復元精度を向上することを目的とする。
特開平０９－２３７３４１号公報
　本開示の３次元情報復元装置は、ポートとプロセッサとを備え、ポートは、第１の撮像装置により撮像された第１の画像と、第２の撮像装置により撮像された第２の画像と、を取得し、プロセッサは、第１の画像における第１の特徴点と、第２の画像における第２の特徴点と、が対応する第１の対応点ペアを複数検出し、複数の第１の対応点ペアに基づいて、第１の特徴点が逆射影された３次元座標を復元する。
　本開示の３次元情報復元システムは、第１の画像を撮像する第１の撮像装置と、第２の画像を撮像する第２の撮像装置と、第１の画像及び第２の画像に基づいて３次元座標を復元する３次元情報復元装置と、を備える３次元情報復元システムであって、３次元情報復元装置は、ポートとプロセッサとを備え、ポートは、第１の撮像装置により撮像された第１の画像と、第２の撮像装置により撮像された第２の画像と、を取得し、プロセッサは、第１の画像における第１の特徴点と、第２の画像における第２の特徴点と、が対応する第１の対応点ペアを複数検出し、複数の第１の対応点ペアに基づいて、第１の特徴点が逆射影された３次元座標を復元する。
　本開示の３次元情報復元方法は、第１の撮像装置により撮像された第１の画像と、第２の撮像装置により撮像された第２の画像と、を取得するステップと、第１の画像における第１の特徴点と、第２の画像における第２の特徴点と、が対応する第１の対応点ペアを複数検出するステップと、複数の第１の対応点ペアに基づいて、第１の特徴点が逆射影された３次元座標を復元するステップと、を備える。
　本開示によれば、２つの撮像画像から復元される３次元座標の復元精度を向上できる。
図１は、第１の実施形態におけるステレオカメラシステムの概略構成例を示す模式図である。 図２は、第１の実施形態におけるＰＣ（Ｐｅｒｓｏｎａｌ　Ｃｏｍｐｕｔｅｒ）の構成例を示すブロック図である。 図３Ａは、第１の実施形態における３次元座標を導出するためのパラメータの一例を説明するための模式図である。 図３Ｂは、第１の実施形態における３次元座標を導出するためのパラメータの一例を説明するための模式図である。 図３Ｃは、第１の実施形態における３次元座標を導出するためのパラメータの一例を説明するための模式図である。 図４Ａは、第１の実施形態における３次元座標が異常であることを説明するための模式図である。 図４Ｂは、第１の実施形態における３次元座標が異常であることを説明するための模式図である。 図５Ａは、第１の実施形態における対応点領域の指定及び対応点の検出を説明する模式図である。 図５Ｂは、第１の実施形態における対応点領域の指定及び対応点の検出を説明する模式図である。 図５Ｃは、第１の実施形態における対応点領域の指定及び対応点の検出を説明する模式図である。 図６は、第１の実施形態におけるＰＣによる３次元情報復元動作手順の一例を示すフローチャートである。 図７は、第１の実施形態におけるＰＣによる３次元情報復元動作手順の一例を示すフローチャート（図６の続き）である。 図８は、第１の実施形態におけるディスプレイに表示されるＵＩ（Ｕｓｅｒ　Ｉｎｔｅｒｆａｃｅ）画面の遷移例を示す模式図である。 図９は、第２の実施形態におけるＰＣの構成例を示すブロック図である。 図１０Ａは、第２の実施形態における特徴点群のグループ化の一例を説明するための模式図である。 図１０Ｂは、第２の実施形態における特徴点群の移動例を説明するための模式図である。 図１０Ｃは、第２の実施形態における対応点の検出例を説明するための模式図である。 図１１は、第２の実施形態における初期設定時に行われるＰＣによる３次元情報復元動作手順の一部の一例を示すフローチャートである。 図１２は、第２の実施形態におけるキャリブレーション時に行われるＰＣによる３次元情報復元動作手順の一部の一例を示すフローチャートである。 図１３は、第２の実施形態におけるディスプレイに表示されるＵＩ画面の遷移例を示す模式図である。 図１４は、変形例におけるステレオカメラシステムの概略構成例を示す模式図である。 図１５は、第３の実施形態におけるＰＣの構成例を示すブロック図である。 図１６は、ステレオカメラシステムの動作の概要の一例を説明する図である。 図１７は、初期設定時に行われる初期キャリブレーションの一例を示すフローチャートである。 図１８は、対応点を指定するための候補となる複数の対応点及びこれらの対応点同士を結ぶ対応線が左右の画像中に描画された画面例を示す図である。 図１９は、図１８の画面において、対応点のエラーメッセージ及びマークが追加された画面例を示す図である。 図２０は、図１８の画面において、遠方の点を対応点として指定するようにガイダンスが追加された画面例を示す図である。 図２１は、第４の実施形態におけるＰＣの構成例を示すブロック図である。 図２２は、運用時に行われる再キャリブレーションの一例を示すフローチャートである。 図２３は、図２２に続く運用時に行われる再キャリブレーションの一例を示すフローチャートである。 図２４は、再キャリブレーション時にテンプレートマッチングが行われる画面例を示す図である。 図２５は、対応点再探索のガイダンス等が追加された画面例を示す図である。 図２６は、初期設定時に行われる初期キャリブレーションの他例を示すフローチャートである。 図２７は、運用時に行われる再キャリブレーションの他例を示すフローチャートである。
　以下、適宜図面を参照しながら、実施形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になることを避け、当業者の理解を容易にするためである。尚、添付図面及び以下の説明は、当業者が本開示を十分に理解するために提供されるものであり、これらにより請求の範囲に記載の主題を限定することは意図されていない。
　（第１の実施形態）
　図１は第１の実施形態におけるステレオカメラシステム５の概略構成例を示す模式図である。ステレオカメラシステム５は、例えば、第１カメラ１０、第２カメラ１１、及びＰＣ（Ｐｅｒｓｏｎａｌ　Ｃｏｍｐｕｔｅｒ）２０を備える。第１カメラ１０及び第２カメラ１１は、例えば、それぞれケーブル１８Ａ、１８Ｂを介してＰＣ２０と接続される。第１カメラ１０と第２カメラ１１とは、例えば、ケーブル１８Ｃを介して接続される。
　ステレオカメラシステム５は、３次元情報復元システムの一例である。ＰＣ２０は、３次元情報復元装置の一例である。第１カメラ１０及び第２カメラ１１は、撮像装置の一例である。
　第１カメラ１０及び第２カメラ１１は、図示しないが、例えば、被写体を含む画像を撮像する撮像部、及び、撮像された画像の画像データをＰＣ２０に送信する送信部を備える。撮像装置としては、例えば、監視カメラ、車載カメラ、産業用カメラ、医療用カメラ、民生用カメラが挙げられる。
　第１カメラ１０は、例えば、ＰＣ２０からの画像取得要求に応じて、被写体を含む所定のシーンの第１画像（第１カメラ画像、例えば左側の画像）を撮像し、撮像された第１画像の画像データをＰＣ２０に転送する。
　第２カメラ１１は、例えば、上記被写体を含む所定のシーンの第２画像（第２カメラ画像、例えば右側の画像）を、ＰＣ２０からの画像取得要求及び第１カメラ１０からの同期信号に従って撮像し、撮像された第２画像の画像データをＰＣ２０に転送する。つまり、第２カメラ１１は、第１カメラ１０とは異なる方向から同じシーンに含まれる同じ被写体を撮像する。
　第１カメラ１０及び第２カメラ１１は、それぞれ第１の筐体１３及び第２の筐体１４を有し、例えば、天井、壁、その他の位置に固定される固定カメラである。また、第１カメラ１０及び第２カメラ１１は、パン、チルト及びズームが可能なＰＴＺカメラである。尚、第１カメラ１０及び第２カメラ１１は、パン、チルト及びズームの少なくとも１つを動作可能なカメラであってもよいし、パン方向、チルト方向及びズーム倍率が固定された固定カメラであってもよい。
　また、第１カメラ１０及び第２カメラ１１では、焦点距離、光軸座標、及び歪補正係数が既知である。第１カメラ１０及び第２カメラ１１は、撮像画像に対し、例えば歪補正係数に基づいて歪補正を施した画像を出力可能である。従って、第１カメラ１０及び第２カメラ１１で撮像された画像には、歪補正済みの画像が含まれてもよい。尚、焦点距離、光軸座標及び歪補正係数は、固定値でなく、可変値として変更されてもよい。
　ＰＣ２０は、第１カメラ１０及び第２カメラ１１からそれぞれケーブル１８Ａ、１８Ｂを介して画像データを受信し、後述する各種画像処理（例えば、特徴点抽出、対応点抽出、カメラパラメータ推定、３次元座標計算）を行う。
　図２は、ステレオカメラシステム５におけるＰＣ２０の構成例を示すブロック図である。ＰＣ２０は、特徴点抽出部２１、対応点検出部２２、カメラパラメータ推定部２３、３次元座標計算部２４、異常検出部２５、表示・入力部２６、及び狭域対応点検出部２７を有する。
　特徴点抽出部２１は、第１カメラ１０及び第２カメラ１１に対して画像取得要求を送信し、第１カメラ１０により撮像された第１画像、及び第２カメラ１１により撮像された第２画像を順次取得し、解析する。
　第１カメラ１０は、例えば、被写体に対し、左カメラ画像を撮像する、図１の左側に配置されたカメラである。第２カメラ１１は、例えば、被写体に対し、右カメラ画像を撮像する、図１の右側に配置されたカメラである。
　特徴点抽出部２１は、画像取得部としての機能を有し、取得した左カメラ画像及び右カメラ画像に対し、特徴点（例えばエッジが強い領域にある点）を順次検出する。特徴点の検出には、例えば、画像の拡大、縮小又は回転に対して不変な局所特徴点を抽出するアルゴリズムが用いられる。このアルゴリズムは、例えば、ＳＩＦＴ（Ｓｃａｌｅ－Ｉｎｖａｒｉａｎｔ　Ｆｅａｔｕｒｅ　Ｔｒａｎｓｆｏｒｍ）、ＳＵＲＦ（Ｓｐｅｅｄ－Ｕｐ　ｒｏｂｕｓｔ　Ｆｅａｔｕｒｅｓ）、を含む。
　図３Ａ，図３Ｂ及び図３Ｃは、３次元座標を導出するためのパラメータの一例を説明するための模式図である。この３次元座標は、第１カメラ１０の位置を原点（０，０，０）とした場合の３次元空間における座標を示す。この３次元座標は、第１画像又は第２画像に含まれる所定の点が逆射影（３次元復元）された対象点４１の座標を示す。３次元座標を導出するためのパラメータ（単にパラメータともいう）は、例えば、特徴点、対応点ペア、カメラの位置及び姿勢、を含む。
　特徴点抽出部２１は、例えば、図３Ａに示すように、第１画像３３から特徴点ａ１～ａ７を検出し、第２画像３６から特徴点ｂ１～ｂ７を検出する。特徴点ａ１～ａ７を特に区別する必要が無い場合、単に特徴点ａと称する。同様に、特徴点ｂ１～ｂ７を特に区別する必要が無い場合、単に特徴点ｂと称する。特徴点の数は、例えばカメラの位置や姿勢を推定する場合に考慮される。特徴点の数が多い程、第１カメラ１０に対する第２カメラ１１の位置や姿勢を推定する推定精度が高まる。
　対応点検出部２２は、例えば、図３Ｂに示すように、第１画像３３及び第２画像３６に含まれる類似度の高い特徴点同士を対応点ペア（対応点の一例）として順次検出し、対応点ペア情報（画像座標ペア情報）を出力する。
　対応点ペア情報は、例えば、対応点となる第１画像３３における特徴点と第２画像３６における特徴点とを、対応づけ（ペアリング）した情報を含む。類似度が高いとは、例えば、対応点に含まれる第１画像３３における特徴点、第２画像３６における特徴点において、窓の角度が類似しており、窓の角度の差異が所定角度未満であることを含む。
　対応点検出部２２は、例えば、公知の技術（例えば特許文献１に記載された技術）により、対応点を検出する。
　図３Ｂでは、第１画像３３に含まれる特徴点ａ１と、第２画像３６に含まれる特徴点ｂ１と、が対応点として検出され、対応点ペア情報が出力される。また、第１画像３３に含まれる特徴点ａ２と、第２画像３６に含まれる特徴点ｂ２と、が対応点として検出され、対応点ペア情報として出力される。同様に、特徴点ａ３～ａ７と特徴点ｂ３～ｂ７とが各対応点として検出され、各対応点ペア情報が出力される。
　これらの対応点ペア情報は、図３Ｂでは、特徴点ａ１～ａ７と特徴点ｂ１～ｂ７とをそれぞれを結ぶ線（対応線）ｃ１～ｃ７で対応付けられる。対応点ペアの数は、例えばカメラの位置や姿勢を推定する場合に考慮される。対応点ペアの数が多い程、第１カメラ１０に対する第２カメラ１１の位置や姿勢を推定する推定精度が高まる。
　カメラパラメータ推定部２３は、図３Ｃに示すように、例えば、対応点ペア情報、第１カメラ１０の焦点距離、第２カメラ１１の焦点距離、第１カメラ１０の光軸座標、及び第２カメラ１１の光軸座標に基づいて、第１カメラ１０に対する第２カメラ１１の位置及び姿勢を順次推定する。
　光軸座標は、撮像画像におけるレンズの中心に対応する座標を示す。第１カメラ１０に対する第２カメラ１１の位置は、例えば並進ベクトルｐにより示される。第１カメラ１０に対する第２カメラ１１の姿勢は、例えば回転行列Ｒにより示される。
　カメラパラメータ推定部２３は、公知の技術（例えば特許文献１に記載された技術）により、カメラパラメータ（例えば並進ベクトルｐ、回転行列Ｒ）を推定する。並進ベクトルｐは、特許文献１に記載された３次元平行移動ベクトルに相当する。回転行列Ｒは、特許文献１に記載された３次元回転行列に相当する。並進ベクトルｐは、例えば数式（１）で表される。
Figure JPOXMLDOC01-appb-M000001
　ｐｘ，ｐｙ，ｐｚは、それぞれＸ軸，Ｙ軸，Ｚ軸方向の並進ベクトル成分を表す。
　回転行列Ｒは、例えば、数式（２）で表される。
　Ｒ＝Ｒ（θｚ）・Ｒ（θｙ）・Ｒ（θｘ） ・・・（２）
　θｚ，θｙ，θｘは、それぞれＺ軸、Ｙ軸、Ｘ軸周りの回転角（ラジアン）を表し、各軸の回転角の成分（回転成分）を表す。Ｒ（θｚ），Ｒ（θｙ），Ｒ（θｘ）は、それぞれＺ軸、Ｙ軸、Ｘ軸の回転行列Ｒの成分を表す。なお、回転角θ＝０は、第１カメラ１０と第２カメラ１１とが平行である状態を示す。
　３次元座標計算部２４は、対応点ペア情報、第１カメラ１０の内部パラメータ及び外部パラメータ、第２カメラ１１の内部パラメータ及び外部パラメータ、並びにベースライン長６２に基づいて、対象点４１の３次元座標（Ｘ，Ｙ，Ｚ）を順次計算する（図３Ｃ参照）。この対象点４１は、対応点ペアに含まれる第１画像３３の特徴点が逆射影された点である。３次元座標計算部２４は、例えば、公知の技術（例えば特許文献１に記載された技術）により、対象点の３次元座標を計算する。
　内部パラメータは、例えば、第１カメラ１０及び第２カメラ１１の焦点距離、光軸座標、アスペクト比、スキュー歪を含む。外部パラメータは、例えば、第１カメラ１０に対する第２カメラ１１の位置（Ｘ軸，Ｙ軸，Ｚ軸の３成分）及び姿勢（Ｘ軸，Ｙ軸，Ｚ軸に沿った３回転成分）を含む。ベースライン長６２は、第１カメラ１０及び第２カメラ１１間の距離である。内部パラメータ及び外部パラメータは、例えばカメラ毎に定まっている。
　内部パラメータは、各カメラの図示しないメモリにより、予め保持されている。外部パラメータは、順次導出され、図示しないメモリに保持される。ベースライン長６２は、例えば、第１カメラ１０及び第２カメラ１１の少なくとも一方の図示しないメモリにより、予め保持されている。
　特徴点抽出部２１、対応点検出部２２及びカメラパラメータ推定部２３は、３次元座標を導出するためのパラメータを順次導出するパラメータ導出部の一例である。
　異常検出部２５は、３次元座標計算部２４によって計算された３次元座標の異常を検出する。
　図４Ａ，図４Ｂは、３次元座標が異常であることを説明するための模式図である。対象点の３次元座標は、第１カメラ１０の位置を原点（０，０，０）とした場合の３次元空間における座標で表される。第１カメラ１０は、前方（Ｚ座標が正の値）に位置する、例えば角部に特徴点３８ａを有する対象物（被写体）４０を撮像している。
　ここで、図４Ａに示すように、３次元座標計算部２４によって計算された対象点４１ＡのＺ座標が負の値（図４Ｂの「－Ｚ５」，「－Ｚ６」参照）、つまり、第１カメラ１０の後方にある対象点４１Ａが復元されたとする（第１の復元結果）。この場合、異常検出部２５は、対象点の３次元座標が異常であると判定する。
　また、図４Ｂに示すように、第１カメラ１０で撮像された第１画像３３に含まれる特徴点３８ａが同一平面等の特定領域に集中している場合（第２の復元結果）、異常検出部２５は、対象点の３次元座標が異常であると判定する。特定領域に特徴点が集中しているか否かの判断は、例えば以下のように行われる。
　異常検出部２５は、第１画像３３に含まれる各特徴点３８ａ（例えばすべての特徴点）を用いて、アフィン行列を作成し、このアフィン行列を用いて、第１画像３３に含まれる各特徴点３８ａに対し、アフィン変換を行う。アフィン変換とは、線形変換（例えば拡大縮小、剪断、回転）と平行移動を組み合わせた２次元的な変換である。
　第２画像３６に含まれる特徴点３８ｂが、第１画像３３に含まれる特徴点３８ａに対してアフィン変換を行うことで表現される場合、異常検出部２５は、上記表現される元となった特徴点３８ａが同一の平面にあると判定する。
　第１画像３３に含まれる特徴点３８ａに対してアフィン変換を行うことで第２画像３６に含まれる特徴点３８ｂとなる数が、全ての特徴点のうち、例えば５０％以上である場合、異常検出部２５は、第１画像３３に含まれる特徴点３８ａが特定領域に集中していると判定する。この場合、異常検出部２５は、対象点の３次元座標が異常であると判定する。
　また、第１カメラ１０に対する第２カメラ１１の位置（並進ベクトルｐ）及び姿勢（回転行列Ｒ）の値が、実際に設置されている状況と明確に異なる場合（第３の復元結果）、異常検出部２５は、対象点の３次元座標が異常であると判定する。
　例えば、第２カメラ１１は、本来、内側（第１カメラ１０側）に向いて設置される。この場合に、カメラパラメータ推定部２３によって推定されたカメラパラメータ（例えば並進ベクトルｐ、回転行列Ｒ）により外側（第１カメラ１０と反対側）に向いていると判断された場合、異常検出部２５は、対象点の３次元座標が異常であると判定する。
　尚、異常検出部２５は、前述した第１の復元結果、第２の復元結果、及び第３の復元結果に限らず、他の復元結果が得られた場合に、対象点の３次元座標が異常であると判定してよい。例えば、異常検出部２５は、特徴点の数が所定値以下と少ない場合、対応点の数が所定値以下と少ない場合でも、対象点の３次元座標が異常であると判定してもよい。
　表示・入力部２６は、例えば、表示部の一例としてのディスプレイ２０Ｌ及び入力部の一例としての入力デバイス２０Ｍを含む（図１参照）。ディスプレイ２０Ｌは液晶表示器等で構成される。入力デバイス２０Ｍはマウス、キーボード等で構成される。なお、ディスプレイ２０Ｌ及び入力デバイス２０Ｍは、これらが一体化されたタッチパネルで構成されてもよい。
　図５Ａ，図５Ｂ及び図５Ｃは、対応点領域の指定及び対応点の検出の一例を説明するための模式図である。
　表示・入力部２６は、図５Ａに示すように、第１カメラ１０で撮像された第１画像３３及び第２カメラ１１で撮像された第２画像３６をディスプレイ２０Ｌの画面に表示する。また、表示・入力部２６は、対象点の３次元座標が異常である場合、その旨（異常の旨）をディスプレイ２０Ｌの画面に表示する。また、表示・入力部２６は、ＰＣ２０のユーザに対し、第１画像３３及び第２画像３６間の対応点を含む領域（対応点領域）を指定するように促す表示を行う。
　ユーザは、図５Ｂに示すように、入力デバイス２６Ｍを用いてディスプレイ２０Ｌの画面に表示されたカーソル２６ｚを操作し、任意の点（例えばユーザから見て識別し易い点）を含むように、第１画像３３及び第２画像それぞれに対し、カーソル２６ｚで囲むことで対応点領域２６ｙ１，２６ｙ２を指定する。
　表示・入力部２６は、指定された左右の対応点領域（以下、単に領域ともいう）２６ｙ１，２６ｙ２を所定回数（例えば５回）以上受け付ける。所定回数以上、多くの対応点領域の指定を受け付けることで、３次元座標計算部２４は、多くの対応点を用いて３次元座標を生成できる。
　尚、表示・入力部２６は、対応点領域２６ｙ１，２６ｙ２を指定する際、ディスプレイ２０Ｌの画面に表示された第１画像３３及び第２画像３６にそれぞれの特徴点３８ａ，３８ｂを重ねて表示してもよい。この場合、ユーザは、第１画像３３及び第２画像３６それぞれに重ねて表示された特徴点３８ａ，３８ｂを見ながら、対応点領域２６ｙ１，２６ｙ２を指定できる。
　尚、対応点領域の指定は、撮像画像の一部の対応点領域を指定することで行われてもよいし、撮像画像に含まれる点（例えば特徴点）を指定し、指定された特徴点を中心とする範囲を設定することで行われてもよい。
　また、表示・入力部２６は、第１画像３３に含まれる特徴点３８ａと第２画像３６に含まれる特徴点３８ｂとのマッチング処理を行い、類似度の高い特徴点を含むようにあらかじめ候補となる領域を表示しておいてもよい。この場合、ユーザは、候補となる領域を選択することで、対応点領域２６ｙ１，２６ｙ２を容易に指定でき、操作性が向上する。
　また、表示・入力部２６は、対象点の３次元座標が異常であると判定された場合、異常と判定された際（前回）の対応点の結果を表示しておき、新たに対応点を追加するように、対応点領域を指定してもよい。この場合、異常と判定された前回の結果を有効に活用できる。
　狭域対応点検出部２７は、図５Ｃに示すように、表示・入力部２６で指定された対応点領域２６ｙ１，２６ｙ２において、対応点３９ａ、３９ｂの検出を行う。
　狭域対応点検出部２７による対応点の検出の仕方は、対応点検出部２２と同様であるが、検出する対応点領域が限定されている。そのため、狭域対応点検出部２７が対応点を検出する場合、対応点検出部２２と比べて、対応点を検出し易くなっている。
　狭域対応点検出部２７は、第１画像３３及び第２画像３６に含まれる類似度の高い特徴点同士を対応点ペアとして順次検出し、対応点ペア情報を出力する。
　狭域対応点検出部２７により得られた対応点ペア情報を用いて、カメラパラメータ推定部２３は、前述したように、第１カメラ１０に対する第２カメラ１１の位置及び姿勢を推定し、３次元座標計算部２４は、対象点の３次元座標を計算する。
　次に、ステレオカメラシステム５の動作例について説明する。
　図６及び図７は、ＰＣ２０による３次元情報復元動作手順の一例を示すフローチャートである。この３次元情報復元処理は、例えば、ステレオカメラシステム５の初期設定時（例えばカメラ設置時）、初期設定後のキャリブレーション（較正）時、に行われる。
　図８は、ディスプレイ２０Ｌに表示されるＵＩ（Ｕｓｅｒ　Ｉｎｔｅｒｆａｃｅ）画面の遷移例を示す模式図である。例えば、ディスプレイ２０Ｌに３次元復元処理の初期画面Ｇ１が表示された状態で、入力デバイス２０Ｍを介して開始ボタン２６ｅが選択されると、ディスプレイ２０Ｌは、「処理中」を表すメッセージを画面Ｇ１に表示する。
　３次元情報復元処理が開始すると、まず、特徴点抽出部２１は、第１カメラ１０及び第２カメラ１１に対し、画像取得要求を行い、第１カメラ１０及び第２カメラ１１からそれぞれ第１画像３３及び第２画像３６の画像データを取り込む（Ｓ１）。尚、画像取得要求が行われず、定期的に画像データの取り込みが行われてもよい。
　特徴点抽出部２１は、第１画像３３及び第２画像３６からそれぞれ特徴点３８ａ，３８ｂを抽出する（Ｓ２）。対応点検出部２２は、特徴点抽出部２１によって抽出された特徴点の類似度から、第１画像３３及び第２画像３６の対応関係を表す対応点３９ａ，３９ｂを検出し、この対応関係を表す対応点ペア情報（画像座標ペア情報）を出力する（Ｓ３）。
　カメラパラメータ推定部２３は、対応点ペア情報、第１カメラ１０の焦点距離、第２カメラ１１の焦点距離、第１カメラ１０の光軸座標、及び第２カメラ１１の光軸座標に基づいて、第１カメラ１０に対する第２カメラ１１の位置及び姿勢を推定する（Ｓ４）。
　３次元座標計算部２４は、対応点ペア情報、第１カメラ１０の内部パラメータ及び外部パラメータ、第２カメラ１１の内部パラメータ及び外部パラメータ、並びにベースライン長６２に基づいて、対象点４１の３次元座標（Ｘ，Ｙ，Ｚ）を順次計算する（Ｓ５）。この対象点は、前述したように、対応点ペアに含まれる第１画像３３の特徴点が逆射影された点である。
　異常検出部２５は、例えばＳ５で計算された結果が前述した第１の復元結果、第２の復元結果、及び第３の復元結果に該当するか否かに応じて、対象点の３次元座標の異常があるか否かを判定する（Ｓ６）。なお、他の復元結果が得られた場合に、異常と判定してもよいことは前述した通りである。
　Ｓ５における３次元座標の復元結果が異常と判定されなかった場合、表示・入力部２６は、対象点の３次元座標の復元結果を表示し（画面Ｇ５）、ＰＣ２０は本動作を終了する。
　一方、Ｓ５における３次元座標の復元結果が異常と判定された場合、表示・入力部２６は、対象点の３次元座標が異常である旨をディスプレイ２０Ｌに表示し（画面Ｇ２）、対応点領域の指定を促すメッセージをディスプレイ２０Ｌに表示する（画面Ｇ２）（Ｓ８）。
　表示・入力部２６は、ユーザが、ディスプレイ２０Ｌに表示された第１画像３３を見ながら、任意の点（例えば識別し易い点）を含む対応点領域（例えばこの点を中心とした周辺領域）２６ｙ１を、入力デバイス２０Ｍによるカーソル２６ｚで囲むように指定する。これにより、表示・入力部２６は、この指定された対応点領域２６ｙ１を受け付ける（画面Ｇ３）（Ｓ９）。
　同様に、表示・入力部２６は、ユーザが、ディスプレイ２０Ｌに表示される第２画像３６を見ながら、上記任意の点に対応する点を含む対応点領域（例えばこの点を中心とした周辺領域）２６ｙ２を、入力デバイス２０Ｍによるカーソル２６ｚで囲むように指定する。これにより、表示・入力部２６は、この指定された対応点領域２６ｙ２を受け付ける（画面Ｇ３）（Ｓ１０）。
　尚、Ｓ９及びＳ１０では、表示・入力部２６は、入力デバイス等を介して第１画像３３で指定された対応点領域２６ｙ１に含まれる特徴量を用いて、第２画像３６における一つ以上の対応点の候補領域を抽出し、表示してもよい。
　第１画像３３で指定された対応点領域２６ｙ１に対応する第２画像３６での対応点領域２６ｙ２は、表示された対応点の候補領域の中にある可能性が高い。対応点領域２６ｙ１に対応する対応点領域２６ｙ２が上記対応点の候補領域の中に含まれる場合、表示・入力部２６は、例えば、表示された対応点の候補領域の中から対応点領域２６ｙ２を選択して指定すればよい。
　即ち、ユーザは、第１画像３３において指定された対応点領域２６ｙ１に真に対応する第２画像３６での対応点領域２６ｙ２を、より簡便に指定できる。
　表示・入力部２６は、ディスプレイ２０Ｌに対応点関係を表示し（画面Ｇ４）、対応点の検出を完了させるか否かを判別する（Ｓ１１）。
　対応点の検出の完了は、例えば、ユーザが入力デバイス２０Ｍを介してカーソル２６ｚを用いてＯＫボタン２６ｇを選択することで行われる。この場合、ユーザは、指定された対応点領域２６ｙの数が所定値（例えば値５）以上であることや、対応線２６ｍで対応付けられる対応点ペアが偏っていないこと等が判断材料として考慮される。
　表示・入力部２６は、ユーザが入力デバイス２０Ｍを介してカーソル２６ｚを用いてＮＧボタン２６ｈを選択したことを受け付け、対応点の検出を完了させないことを検出すると、Ｓ８に戻る。
　一方、表示・入力部２６は、ユーザが入力デバイス２０Ｍを介してカーソル２６ｚを用いてＯＫボタン２６ｇを選択したことを受け付けると、対応点の検出を完了させる。
　狭域対応点検出部２７は、表示・入力部２６で指定された対応点領域２６ｙ１，２６ｙ２内の特徴点群５１，５２に限定して、第１画像３３及び第２画像３６に含まれる類似度の高い特徴点同士を対応点ペアとして順次検出し、対応点ペア情報を出力する。特徴点群５１には、１つ以上の特徴点が含まれる。
　カメラパラメータ推定部２３は、新たな対応点ペア情報を用いて、再び第１カメラ１０に対する第２カメラ１１の位置及び姿勢を推定し、３次元座標計算部２４は、対象点の３次元座標（Ｘ，Ｙ，Ｚ）を計算する（Ｓ１２）。この後、ＰＣ２０はＳ６に戻る。
　即ち、異常検出部２５は、Ｓ６で対象点の３次元座標の異常の有無を判定し、Ｓ７で対象点の３次元座標が正常であると判定された場合、表示・入力部２６は、３次元復帰情報が正常である旨を表示する（画面Ｇ５）。そして、ＰＣ２０は、３次元情報復元処理に係る表示を終了し、本動作を終了する。
　このように、ステレオカメラシステム５では、異常検出部２５によって対象点の３次元座標が異常と判定された場合、表示・入力部２６は、その旨を表示し、対応点領域の指定を促すメッセージをディスプレイ２０Ｌに表示する。表示・入力部２６は、ユーザから入力デバイス２０Ｍ等を介して指定された対応点領域２６ｙ１，２６ｙ２を受け付ける。狭域対応点検出部２７は、表示・入力部２６で指定された対応点領域２６ｙ１，２６ｙ２に限定して検出した対応点ペア情報を出力する。カメラパラメータ推定部２３は、出力された対応点ペア情報を用いて、再び第１カメラ１０に対する第２カメラ１１の位置及び姿勢を推定し、３次元座標計算部２４は、対象点の３次元座標を計算する。
　ステレオカメラシステム５によれば、対象点の３次元座標が異常であると判定された場合、ユーザが第１画像及び第２画像を確認しながら、識別し易い点を囲むように対応点領域（対応点領域２６ｙ１，２６ｙ２）を直接指定できる。従って、ステレオカメラシステム５は、３次元情報復元に係る処理（対応点検出等）をＰＣ２０に任せる場合と比べ、指定された対応点領域内の特徴点を用いて対応点ペア情報を精度良く検出できる。この結果、ステレオカメラシステム５は、２つの撮像画像から復元される対象点の３次元座標の復元精度を向上できる。
　また、ステレオカメラシステム５は、対象点の３次元座標が異常と判定された場合でも、３次元情報復元動作の一部を引き継ぎ、入力デバイス２０Ｍを介して簡単な入力操作を行って補助することで、対象点の３次元座標が正常となるように支援できる。
　また、ステレオカメラシステム５は、ディスプレイ２０Ｌを見て確認したユーザにより入力デバイス２０Ｍを介して指定された対応点領域内の特徴点群を用いて、対象点の３次元座標を計算してもよい。これにより、３次元座標の復元精度を向上できる。
　また、ユーザが対応点領域を指定する際、ディスプレイ２０Ｌに第１画像３３及び第２画像３６を表示しておき、ユーザは、入力デバイス２０Ｍを介してこれらの画像上でカーソル２６ｚで囲むように対応点領域２６ｙを指定してもよい。これにより、簡単な操作で、直感的に分かり易いユーザインターフェースを提供できる。
　（第２の実施形態）
　第１の実施形態では、表示・入力部で指定された対応点領域に含まれる特徴点群は記憶されず、キャリブレーション（較正）が行われる場合、初期設定時と同様の処理が行われることを例示した。つまり、ステレオカメラシステムは、対象点の３次元座標が異常であると判定された場合、表示・入力部による対応点領域の指定をその都度行っていた。
　第２の実施形態では、ステレオカメラシステムは、表示・入力部で指定された対応点領域に含まれる特徴点群をグループ化して記憶することを想定する。これにより、その後のキャリブレーションにおいて、表示・入力部による対応点領域の指定を不要化できる。
　図９は、第２の実施形態におけるステレオカメラシステム５ＡにおけるＰＣ２０Ａの構成例を示すブロック図である。第２の実施形態のステレオカメラシステム５Ａは、第１の実施形態のステレオカメラシステム５とほぼ同一の構成を有する。図９において、図１のステレオカメラシステム５と同一の構成要素については、同一の符号を用いることで、その説明を省略又は簡略化する。
　ＰＣ２０Ａは、第１の実施形態のＰＣ２０が有する構成部に加え、特徴点群保存部２８及び第２対応点検出部２２Ａを有する。尚、ＰＣ２０Ａでは、ＰＣ２０が備える対応点検出部２２が省かれる。
　図１０Ａは、特徴点群のグループ化の一例を説明するための模式図である。図１０Ｂは、特徴点群の移動例を説明するための模式図である。図１０（ｃ）は、対応点の検出例を説明するための模式図である。
　図１０Ａに示すように、特徴点群保存部２８は、表示・入力部２６によって第１画像３３及び第２画像３６に対して指定された対応点領域２６ｙ１，２６ｙ２にそれぞれ含まれる特徴点群５１，５２をグループ化し、第１カメラ用及び第２カメラ用として記憶する。
　尚、特徴点群保存部２８は、初期設定後の任意のキャリブレーション時に新たに対応点領域２６ｙ１，２６ｙ２に含まれる特徴点３８ａ，３８ｂが抽出された場合、抽出された特徴点を追加して記憶してもよい。これにより、特徴点の数を増加でき、対応点の検出精度を向上でき、３次元座標の復元精度を向上できる。
　第２対応点検出部２２Ａは、特徴点群保存部２８に記憶された特徴点群５１，５２を読み込み、この特徴点群５１、５２と特徴点抽出部２１で抽出された各特徴点との対応関係を探索する。この対応関係は、例えば、特徴点群５１、５２に含まれる特徴点３８ａ，３８ｂと、特徴点抽出部２１で抽出された各特徴点に含まれる特徴点と、の類似度を求めることにより、探索される。
　これにより、第２対応点検出部２２Ａは、ユーザによって指定された対応点領域２６ｙ１，２６ｙ２にそれぞれ対応する対応点領域５６ｙ１，５６ｙ２を、新たに撮像された第１画像３３Ａ及び第２画像３６Ａの中に検出可能である。
　図１０Ｂに示すように、ディスプレイ２０Ｌは、特徴点群５１、５２を含む対応点領域２６ｙ１，２６ｙ２が、新たに撮像された第１画像３３Ａ及び第２画像３６Ａに対して囲まれた対応点領域５６ｙ１、５６ｙ２に移動しているように、表示する。
　第２対応点検出部２２Ａは、図１０Ｃに示すように、新たに見つかった対応点領域５６ｙ１，５６ｙ２において、対応点５８ａ，５８ｂ（対応点としての特徴点）を探索し、対応点ペア情報を出力する。
　カメラパラメータ推定部２３は、出力された対応点ペア情報を用いて、第１カメラ１０に対する第２カメラ１１の位置及び姿勢を再度推定する。３次元座標計算部２４は、対象点の３次元座標を計算する。
　尚、特徴点抽出部２１は、新たに見つかった対応点領域５６ｙ１，５６ｙ２において特徴点を再度検出し、第２対応点検出部２２Ａは、この算出された特徴点を用いて対応点を再度探索してもよい。
　次に、ステレオカメラシステム５Ａの動作例について説明する。
　図１１は初期設定時に行われるＰＣ２０Ａによる３次元情報復元動作手順の一部の一例を示すフローチャートである。この３次元情報復元処理は、ステレオカメラシステム５Ａの初期設定時に行われる。図１１は、第１の実施形態において説明した図７に対応する。図１１において、図７におけるステップ処理と同一のステップ処理については、同一のステップ番号を付すことで、その説明を省略又は簡略化する。また、初期設定時のディスプレイ２０Ｌに表示されるＵＩ画面は、第１の実施形態において説明した図８と同様である。
　第２の実施形態では、Ｓ１２の処理が行われた後、特徴点群保存部２８は、Ｓ９で第１画像３３で指定された対応点領域２６ｙ１に含まれる特徴点群５１と、Ｓ１０で第２画像３６で指定された対応点領域２６ｙ２に含まれる特徴点群５２とを、それぞれグループ化して記憶する（Ｓ１２Ａ）。この後、ＰＣ２０Ａは、Ｓ６の処理に戻る。
　このように、初期設定時、表示・入力部２６によって指定された対応点領域２６ｙ１，２６ｙ２にそれぞれ含まれる特徴点群５１，５２は、グループ化されて特徴点群保存部２８に記憶される。尚、初期設定後のキャリブレーション時においても、新たに検出された特徴点群がグループ化されて記憶されてもよい。
　図１２は、初期設定後のキャリブレーション時に行われるＰＣ２０による３次元情報復元動作手順の一部の一例を示すフローチャートである。この３次元情報復元処理は、ステレオカメラシステム５Ａにおける初期設定後のキャリブレーション時や定期的なキャリブレーション時に行われる。この３次元情報復元処理により、ＰＣ２０Ａは、例えば、カメラの向きが変化したことを検出できる。
　図１３は、ディスプレイ２０Ｌに表示されるＵＩ画面の遷移例を示す模式図である。ディスプレイ２０Ｌに３次元情報復元処理の初期画面Ｇ１１が表示された状態で、ユーザが入力デバイス２０Ｍにより開始ボタン２６ｆを選択すると、ディスプレイ２０Ｌは、画面Ｇ１１に「処理中」のメッセージを表示する。
　まず、特徴点抽出部２１は、特徴点群保存部２８に記憶された、指定された対応点領域２６ｙ１，２６ｙ２においてそれぞれグループ化された特徴点群５１，５２を読み込む（Ｓ２１）。
　ディスプレイ２０Ｌは、第１画像３３及び第２画像３６と重なるように、指定された対応点領域２６ｙ１，２６ｙ２及び対応点領域２６ｙ１，２６ｙ２の領域内のグループ化された特徴点群５１、５２を表示する（画面Ｇ１２）。
　特徴点抽出部２１は、第１カメラ１０及び第２カメラ１１に対し、画像取得要求を行い、第１カメラ１０及び第２カメラ１１からそれぞれ新たな第１画像３３Ａ及び第２画像３６Ａの画像データを取り込む（Ｓ２２）。即ち、例えば、カメラの向きが変わった場合や定期的なキャリブレーション時に新たな画像データが取得される。カメラの向きは、例えば風や振動により変化し得る。
　特徴点抽出部２１は、第１画像３３Ａ及び第２画像３６Ａからそれぞれ各特徴点を抽出する（Ｓ２３）。
　第２対応点検出部２２Ａは、特徴点抽出部２１によって抽出された各特徴点と、指定された対応点領域２６ｙ１、２６ｙ２内でグループ化された特徴点群５１、５２との対応関係を探索する。そして、第２対応点検出部２２Ａは、新たに撮像された第１画像３３Ａ及び第２画像３６Ａにおける対応点領域５６ｙ１、５６ｙ２を検出する（Ｓ２４）。
　ディスプレイ２０Ｌは、元の対応点領域２６ｙ１、２６ｙ２と、新たに検出された対応点領域５６ｙ１，５６ｙ２とを、新たに取得された第１画像３３Ａ，第２画像３６Ａに重ねるように表示する（画面Ｇ１３）。
　第２対応点検出部２２Ａは、新たに検出された対応点領域５６ｙ１，５６ｙ２の間で対応点５８ａ，５８ｂを探索し、対応点ペア情報を出力する（Ｓ２５）。ディスプレイ２０Ｌは、対応点ペア情報を新たに取得された第１画像３３Ａ及び第２画像３６Ａと重なるように表示する（画面Ｇ１４）。尚、対応点領域５６ｙ１，５６ｙ２において再度特徴点が抽出され、この特徴点を加味して対応点５８ａ，５８ｂが探索されてもよい。
　カメラパラメータ推定部２３は、Ｓ２５で生成された対応点ペア情報を用いて、第１カメラ１０に対する第２カメラ１１の位置及び姿勢、つまり、カメラパラメータ（例えば並進ベクトルｐ、回転行列Ｒ）を再推定する。さらに、３次元座標計算部２４は、対応点ペア情報、第１カメラ１０の内部パラメータ及び外部パラメータ、第２カメラ１１の内部パラメータ及び外部パラメータ、並びにベースライン長６２に基づいて、対象点の３次元座標（Ｘ，Ｙ，Ｚ）を順次計算する。この対象点は、対応点領域５６ｙ１に含まれる。
　この後、ＰＣ２０Ａは、第１の実施形態において図６で示したＳ６の処理に進み、異常検出部２５が対象点の３次元座標における異常の有無を判定する。これ以降の処理は、初期設定時と同じであるので、その説明を省略する。
　このように、ステレオカメラシステム５Ａは、１度指定された対応点領域内でグループ化された特徴点群を保存しておき、別のタイミングで再度、対応点領域を指定する際、保存された特徴点群を利用して対応点領域を検出する。これにより、ユーザが再度、対応点領域を指定する手間が省け、操作が簡便になる。また、キャリブレーション動作をより簡素化できる。
　尚、特徴点群保存部２８は、キャリブレーション時に検出された対応点領域に含まれる特徴点群をグループ化して記憶しておき、以後のキャリブレーションに利用できるようにしてもよい。
　この場合、特徴点群保存部２８は、キャリブレーション時に検出された対応点領域に含まれる特徴点群で、初期設定時に記憶された対応点領域内の特徴点群を更新してもよいし、更新することなく追加記憶するようにしてもよい。また、特徴点群保存部２８は、指定された対応点領域に含まれる、グループ化された特徴点群の他、初期設置時に撮像された撮像画像に含まれる各特徴点や、キャリブレーション時に抽出された各特徴点を保存するようにしてもよい。
　（変形例）
　第１及び第２の実施形態では、第１カメラ１０及び第２カメラ１１は、ＰＣ２０，２０Ａにケーブル１８Ａ、１８Ｂを介して直接に接続されることを例示した。変形例では、第１カメラ１０及び第２カメラ１１とＰＣ２０Ｂとは、直接に接続されず、送信機及び受信機を用いた通信によりデータ及び信号の送受信が行われる。
　図１４は、変形例におけるステレオカメラシステム５Ｂの概略構成例を示す模式図である。ステレオカメラシステム５Ｂは、第１カメラ１０、第２カメラ１１、画像取込装置６１、送信機６３、受信機７２、及びＰＣ２０Ｂを含んで構成される。
　画像取込装置６１は、第１カメラ１０で撮像された第１画像及び第２カメラ１１で撮像された第２画像の画像データを取り込む。送信機６３は、第１画像及び第２画像の画像データを、受信機７２へ送信する。尚、画像取込装置６１と送信機６３とは一体に設けられても良い。
　画像取込装置６１は、第１カメラ１０及び第２カメラ１１に対し、画像取得要求を出力し、第１カメラ１０で撮像された第１画像及び第２カメラ１１で撮像された第２画像の画像データを略同時に取り込む。
　受信機７２は、第１画像及び第２画像の画像データを送信機６３から受信する。ＰＣ２０Ｂは、ＰＣ２０，ＰＣ２０Ａと同様の動作を行う。尚、受信機７２とＰＣ２０Ｂとは一体に設けられても良い。
　送信機６３及び受信機７２との間で行われる通信は、特に限定されることなく、インターネット等のネットワークを介して行われてもよいし、ネットワークを介することなく専用線で行われてもよいし、無線で行われてもよい。ここでは、専用線６５を使って、送信機６３及び受信機７２間の通信が行われる。
　このステレオカメラシステム５Ｂでは、画像取込装置６１が、ＰＣ２０Ｂからの画像取得要求に応じて、第１カメラ１０及び第２カメラ１１からそれぞれ第１画像及び第２画像を取得する。画像取込装置６１は、この取得した第１画像及び第２画像の画像データを、送信機６３及び受信機７２を介して、ＰＣ２０Ｂに転送する。この他の動作は、第１及び第２の実施形態の動作と同様である。
　ステレオカメラシステム５Ｂによれば、第１カメラ１０及び第２カメラ１１の設置場所から遠く離れた場所において、ＰＣ２０Ｂが初期設定及びキャリブレーションを実施できる。従って、画像取込装置６１を設置した後、わざわざ設置場所に行ってキャリブレーション作業を行う必要がなくなり、効率的な運用が可能となる。
　（第３の実施形態）
　［構成等］
　本第３の実施形態におけるステレオカメラシステム５Ｃの概略構成例を示す模式図については、第１の実施形態におけるステレオカメラシステム５の概略構成例を示す模式図、すなわち図１と同様である。ただし、本第３の実施形態におけるステレオカメラシステム５Ｃは、第１の実施形態におけるステレオカメラシステム５が備えるＰＣ２０の代わりに、ＰＣ２０Ｃを備える。本第３の実施形態のステレオカメラシステム５Ｃにおいて、第１の実施形態と同一の構成要素については、同一の符号を用いることで、その説明を省略又は簡略化する。
　図１５は、第３の実施形態におけるＰＣ２０Ｃの構成例を示すブロック図である。ステレオカメラシステム５ＣのＰＣ２０Ｃは、プロセッサ３０Ｃ、入力デバイス２０Ｍ、メモリ３１、ポート３２及びディスプレイ２０Ｌを有する。
　入力デバイス２０Ｍは、ユーザによる対応点の指定及び奥行き情報（第１カメラ１０から指定された対応点までの距離）を入力する。入力デバイス２０Ｍは、マウス、キーボード等を含んで構成される。入力デバイス２０Ｍを介して入力された奥行き情報は、メモリ３１に記憶され、精度評価部２９に入力される。
　メモリ３１は、各種データ、情報、プログラムを保持する。メモリ３１は、例えば、指定された対応点（以下、指定対応点ともいう）の座標、指定対応点までの距離情報、左右の指定対応点の周辺画像、対応点指定時の左右のカメラ画像（第１画像，第２画像）を記憶する。尚、対応点は、左右のカメラ画像において対応してペアで存在するので、対応点ペアとも言える。また、指定対応点は、左右のカメラ画像において対応してペアで指定されるので、指定対応点ペアとも言える。
　メモリ３１は、例えば、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）やＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）等のメモリや、ＨＤＤ（Ｈａｒｄ　Ｄｉｓｋ　Ｄｒｉｖｅ）やＳＳＤ（Ｓｏｌｉｄ　Ｓｔａｔｅ　Ｄｒｉｖｅ）等のストレージを含んで構成される。
　ポート３２は、第１カメラ１０及び第２カメラ１１と通信可能に接続され、第１カメラ１０及び第２カメラ１１に対して画像取得要求を送信し、また、第１カメラ１０から送信される第１画像の画像データ、及び第２カメラ１１から送信される第２画像の画像データを受信する。ポート３２は、例えば、外部装置と通信するための通信ポートや、外部装置を接続するための外部装置接続ポート、を含む。
　ディスプレイ２０Ｌは、第１カメラ１０で撮像される第１画像及び第２カメラ１１で撮像される第２画像を表示し、これらの画像に重畳して対応点やエラーメッセージ、ガイダンス等を表示し、また、３次元復元画像を表示する。ディスプレイ２０Ｌは、液晶表示器等の表示デバイスを含んで構成される。
　なお、入力デバイス２０Ｍ及びディスプレイ２０Ｌは、別体の装置として構成されてもよいし、これらが一体化されたタッチパネルで構成されてもよい。
　プロセッサ３０Ｃは、メモリ３１に保持されたプログラムを実行することで、特徴点抽出部２１、対応点検出部２２、カメラパラメータ推定部２３、３次元座標計算部２４、及び精度評価部２９の各機能を実現する。
　プロセッサ３０Ｃは、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）、ＤＳＰ（Ｄｉｇｉｔａｌ　Ｓｉｇｎａｌ　Ｐｒｏｃｅｓｓｏｒ）、又はＧＰＵ（Ｇｒａｐｈｉｃａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）を含んで構成される。
　特徴点抽出部２１は、ポート３２から入力される第１カメラ１０により撮像された第１画像、及び第２カメラ１１により撮像された第２画像を順次取得し、解析する。
　第１カメラ１０は、例えば、被写体に対し、左カメラ画像を撮像する、図１の左側に配置されたカメラである。第２カメラ１１は、例えば、被写体に対し、右カメラ画像を撮像する、図１の右側に配置されたカメラである。
　特徴点抽出部２１は、画像取得部としての機能を有し、取得した左カメラ画像及び右カメラ画像に対し、特徴点（例えばエッジが強い領域にある点）を順次検出する。特徴点の検出には、例えば、画像の拡大、縮小又は回転に対して不変な局所特徴点を抽出するアルゴリズムが用いられる。このアルゴリズムは、例えば、ＳＩＦＴ（Ｓｃａｌｅ－Ｉｎｖａｒｉａｎｔ Ｆｅａｔｕｒｅ Ｔｒａｎｓｆｏｒｍ）、ＳＵＲＦ（Ｓｐｅｅｄ－Ｕｐ ｒｏｂｕｓｔ Ｆｅａｔｕｒｅｓ）、を含む。
　３次元座標を導出するためのパラメータの一例を説明するための模式図についても、第１の実施形態における図３と同様である。ただし、本第２の実施形態において、内部パラメータやベースライン長６２の情報は、ポート３２を介してカメラから取得され、メモリ３１に保持される。
　精度評価部２９は、３次元座標計算部２４によって計算された３次元座標の精度を評価する。この精度評価は、入力デバイス２０Ｍを介して、ユーザにより指定された対応点（指定対応点）のＺ座標を用いて行われる。
　例えば、精度評価部２９は、入力デバイス２０Ｍから、指定対応点のＺ座標、つまり第１カメラ１０から指定対応点ａｍまでの距離（奥行き値）を入力する。精度評価部２９は、この入力された距離と、３次元座標計算部２４によって計算された指定対応点ａｍのＺ座標（距離）と、を比較する。精度評価部２９は、比較の結果、この誤差（差異）が指定値（例えば１０％）以下である場合、３次元座標の計算結果は成功であると判定し、指定値を超える場合、３次元座標の計算結果は失敗であると判定する。なお、指定値は、ユーザが任意の値に設定可能である。
　また、ここでは、第１カメラ１０から指定対応点ａｍまでの距離情報として、Ｚ座標の値（奥行き値）が用いられることを例示した。この代わりに、例えば第１カメラ１０と指定対応点ａｍとが同じＺ軸上に無い場合、第１カメラ１０及び指定対応点ａｍ間の、実際の距離を距離情報として用いられてもよい。
　３次元座標の計算結果が失敗であった場合、カメラパラメータ推定部２３は、対応点検出部２２によって検出された多くの対応点の中から、前回とは異なる所定数の対応点を再び無作為に選択する。３次元座標計算部２４は、選択された所定数の対応点を用いて、指定対応点のＺ座標を再度計算する。精度評価部２９は、再度計算された指定対応点のＺ座標値を用いて、前述した同様の判定を行う。一方、所定回数、判定結果が失敗である場合、ユーザは、別の対応点の指定及び奥行情報の入力操作を行ってもよい。
　［動作例］
　次に、ステレオカメラシステム５Ｃの動作例について説明する。
　図１６はステレオカメラシステム５Ｃの動作の概要を説明する図である。ディスプレイ２０Ｌは、第１カメラ１０で撮像された第１画像ＧＺ１及び第２カメラ１１で撮像された第２画像ＧＺ２を表示する。ディスプレイ２０Ｌの画面に表示された第１画像ＧＺ１及び第２画像ＧＺ２に対し、ユーザが入力デバイス２０Ｍを操作してカーソルＳＬを対応点近辺まで移動させた後、クリック操作すると、枠ｆｒ１，ｆｒ２で囲まれる部分が画面上で拡大表示される。
　画面上で対応点付近の画像（以下、周辺画像という）ＧＺ１１，ＧＺ１２が拡大表示されることで、ユーザは、その画像中に含まれる対応点を指定し易くなる。例えば、ユーザは、入力デバイス２０Ｍを介して、拡大された周辺画像ＧＺ１１に含まれる対応点ａｍを指定し、拡大された周辺画像ＧＺ１２に含まれる対応点ｂｍを指定する。さらに、ユーザは、入力デバイス２０Ｍを介して、奥行き情報（第１カメラ１０から対応点ａｍまでの距離）を入力する。なお、奥行き情報は、第２カメラ１１から対応点ｂｍまでの距離でもよい。この奥行き情報は、例えば、レーザ距離計やメジャー等を用いて測定された実測値である。図１６では、実測値として「１０２ｍ」が入力され、ディスプレイ２０Ｌの画面には、拡大された周辺画像ＧＺ１１に重なるように表示される。
　ユーザが指定及び入力を終えると、プロセッサ３０Ｃは、これらの情報を元に、３次元復元処理を行う。この処理の結果、ディスプレイ２０Ｌには、３次元復元画像が表示される。
　図１７は初期設定時に行われる初期キャリブレーションの一例を示すフローチャートである。
　初期キャリブレーションが開始すると、まず、特徴点抽出部２１は、第１カメラ１０及び第２カメラ１１に対し、ポート３２を介して画像取得要求を行い、第１カメラ１０及び第２カメラ１１からそれぞれ第１画像ＧＺ１及び第２画像ＧＺ２の画像データを取り込む（Ｓ３１）。尚、画像取得要求が行われることなく、定期的に上記画像データの取り込みが行われてもよい。
　入力デバイス２０Ｍは、Ｓ３１で取り込まれた第１画像ＧＺ１及び第２画像ＧＺ２に対し、ユーザによって指定された、対応点として指定したい画像上の点を受け付ける（Ｓ３２）。
　プロセッサ３０Ｃは、ユーザによって画像上でクリック操作されると、カーソルＳＬで指定される、ディスプレイ２０Ｌに表示される画像上の点を中心に周辺画像を拡大表示させる（Ｓ３３）。
　入力デバイス２０Ｍは、拡大された周辺画像ＧＺ１１，ＧＺ１２に対し、ユーザによって指定された対応点（指定対応点）ａｍ，ｂｍを受け付ける（Ｓ３４）。対応点ａｍ，ｂｍの指定により、対応点ａｍ，ｂｍの座標の情報（位置情報の一例）が得られる。尚、指定対応点は、対応点検出部２２により検出された複数の対応点に含まれる点でも含まれない点でもよい。
　入力デバイス２０Ｍは、ユーザによって入力された、第１カメラ１０から指定対応点ａｍまでの距離情報（奥行き値）を受け付ける（Ｓ３５）。
　プロセッサ３０Ｃは、入力デバイス２０Ｍから入力された、指定対応点の座標、距離情報、周辺画像ＧＺ１１，ＧＺ１２、対応点が指定された場合の第１画像ＧＺ１及び第２画像ＧＺ２（左右のカメラ画像）を、メモリ３１に記憶（保存）させる（Ｓ３６）。
　一方、Ｓ３２～Ｓ３６の処理と並行して、特徴点抽出部２１は、第１画像ＧＺ１及び第２画像ＧＺ２からそれぞれ複数の特徴点を抽出する。対応点検出部２２は、特徴点抽出部２１によって抽出された特徴点の類似度から、第１画像ＧＺ１及び第２画像ＧＺ２の対応関係を表す、複数（例えば１００個程度）の対応点を検出し、この対応関係を表す対応点ペア情報（画像座標ペア情報）を出力する（Ｓ３７）。
　図１８は対応点ａｍ，ｂｍを指定するための候補となる複数の対応点ａ１１～ａ１５，ｂ１１～ｂ１５及びこれらの対応点同士を結ぶ対応線ｃ１１～ｃ１５が左右の画像（第１画像ＧＺ１、第２画像ＧＺ２）中に描画された画面を示す図である。
　ディスプレイ２０Ｌには、第１画像ＧＺ１、第２画像ＧＺ２、対応点ａ１１～ａ１５，ｂ１１～ｂ１５、対応線ｃ１１～ｃ１５が表示される。
　対応点検出部２２は、検出された複数（例えば１００個程度）の対応点の中から、所定数（例えば５個程度）の対応点を無作為に選択する（Ｓ３８）。この対応点の選択では、例えば、後述する精度評価部２９による精度の評価において、誤差が指定値を超えると判断された際に用いられた対応点は除かれる。
　カメラパラメータ推定部２３は、複数の対応点の中から選択された対応点の対応点ペア情報、第１カメラ１０の焦点距離、第２カメラ１１の焦点距離、第１カメラ１０の光軸座標、及び第２カメラ１１の光軸座標に基づいて、第１カメラ１０に対する第２カメラ１１の位置及び姿勢を推定する（Ｓ３９）。
　３次元座標計算部２４は、１つの指定された対応点（指定対応点）ａｍ，ｂｍにおける、対応点ペア情報、第１カメラ１０の内部パラメータ及び外部パラメータ、第２カメラ１１の内部パラメータ及び外部パラメータ、並びにベースライン長６２に基づいて、指定対応点ａｍに対応する、対象点の３次元座標（Ｘ，Ｙ，Ｚ）を計算し、この対象点までの奥行き値（Ｚ座標値）を求める（Ｓ４０）。この対象点は、前述したように、対応点ペアに含まれる第１画像ＧＺ１の特徴点が逆射影された点である。
　精度評価部２９は、Ｓ４０で計算された奥行き値と、Ｓ３５で入力された奥行き値とを用い、これらの差分である誤差が指定値（例えば１０％）以下であるか否かを判別する（Ｓ４１）。誤差が指定値以下である場合、精度評価部２９は、精度評価が適正であり、３次元座標の計算結果が成功であるとして、本処理を終了する。
　一方、Ｓ４１で誤差が指定値を超える（所定値以上である）場合、精度評価部２９は、精度評価の回数が閾値を超えたか否かを判別する（Ｓ４２）。精度評価の回数が閾値を超えていない場合、プロセッサ３０Ｃは、Ｓ３８の処理に戻り、新たな対応点を所定数選択し、同様の処理を繰り返す。
　一方、精度評価の回数が閾値を超えた場合、プロセッサ３０Ｃは、ディスプレイ２０Ｌの画面に、対応点エラー、対応点の位置の確認、別の対応点の位置を入力することを促すエラーメッセージｍｓ１を表示させる（Ｓ４３）。
　図１９は図１８の画面において対応点のエラーメッセージｍｓ１及びマークＭＫが追加された画面を示す図である。ディスプレイ２０Ｌの画面には、例えば、「指定した対応点の計測値が、指定誤差を超えました。対応点位置の確認か、別の対応点を指定してください。」のエラーメッセージｍｓ１（警告情報）が表示される。また、図１９では、対応点ａ１１，ｂ１１が指定対応点ａｍ，ｂｍに設定されており、対応点ａｍ，ｂｍを結ぶ対応線ｃｍ上に、エラーであることを表すマークＭＫ（例えば×マーク）が表示される。
　ここで、第１カメラ１０から遠くに離れている対象点に相当する、遠方の対応点を指定した方が３次元情報の復元の精度が向上することが発明者等によって既に確かめられている。プロセッサ３０Ｃは、この事実に基づき、ディスプレイ２０Ｌの画面に、遠方の点を指定するように促すガイダンスｍｓ２を表示する（Ｓ４４）。
　図２０は図１８の画面において遠方の点を対応点として指定するようにガイダンスｍｓ２が追加された画面を示す図である。ディスプレイ２０Ｌの画面には、例えば、「なるべく遠方の点を指定してください」のガイダンスｍｓ２（案内情報）が表示される。さらに、ディスプレイ２０Ｌの画面には、遠方の対応点を囲む矩形枠ｐｆ１，ｐｆ２が表示される。
　このように、３次元情報の復元の精度が向上すると見込まれるような、矩形枠ｐｆ１，ｐｆ２内に含まれる遠方の対応点が指定されるように促される。そのため、ユーザは、容易に、矩形枠ｐｆ１，ｐｆ２内の候補となる適切な対応点を指定できる。尚、Ｓ４４の処理は、オプションで行われる処理であり、省略可能である。この後、プロセッサ３０Ｃは、Ｓ３２及びＳ３７の処理に戻り、同様の処理を行う。
　そして、精度評価が適正であると判断された場合、３次元座標計算部２４は、対応点ペア情報、第１カメラ１０の内部パラメータ及び外部パラメータ、第２カメラ１１の内部パラメータ及び外部パラメータ、並びにベースライン長６２に基づいて、対象点の３次元座標（Ｘ，Ｙ，Ｚ）を順次計算する、３次元復元処理を行う。プロセッサ３０Ｃは、３次元復元処理された対象点をディスプレイ２０Ｌの画面に表示する。
　図１７の処理によれば、Ｓ３８において、検出された対応点から所定数の対応点が無作為に選択され、選択された対応点の情報を用いて、第１カメラ１０に対する第２カメラ１１の位置及び姿勢を推定するので、対応点の選択の度に、位置及び姿勢の推定結果が異なる。よって、位置及び姿勢の推定精度が異なることになる。そのため、対応点の選択によっては、３次元復元の精度が低い場合も高い場合もある。
　これに対し、ＰＣ２０Ｃは、位置及び姿勢の推定精度が所定基準以上となる場合、つまり距離情報の実測値と計算値との誤差が所定以下（例えば最小）となる場合の対応点を用いて３次元復元することで、３次元座標の復元精度を安定して向上できる。
　［効果等］
　仮に入力デバイス２０Ｍにより、複数の対応点のうちの任意の対応点の位置やカメラから上記任意の対応点までの距離情報を入力しない場合、つまり全ての対応点を自動検出し、全ての対応点に係る距離情報を演算により求める場合に、３次元復元の推定精度が低いことがある。例えば、対応点の検出ができても、対応点の距離情報の導出精度が低い場合がある。
　これに対し、第３の実施形態のステレオカメラシステム５ＣのＰＣ２０Ｃでは、ポート３２は、第１カメラ１０により撮像された第１画像ＧＺ１と、第２カメラ１１により撮像された第２画像ＧＺ２とを取得する。プロセッサ３０Ｃは、第１画像ＧＺ１における特徴点ａと、第２画像ＧＺ２における特徴点ｂと、が対応する対応点ａｍ，ｂｍを含む対応点を複数検出する。プロセッサ３０Ｃは、複数の対応点ａｍ，ｂｍに基づいて、特徴点ａが逆射影された３次元座標を復元する。入力デバイス２０Ｍは、複数の対応点の中からユーザによって指定された対応点ａｍの座標（位置情報の一例）と、ユーザによって入力された第１カメラ１０から対応点ａｍまでの奥行き値（距離情報の一例）と、を入力する。プロセッサ３０Ｃは、対応点ａｍの座標及び奥行き値の入力後、３次元座標の復元の再計算を行う。
　尚、入力デバイス２０Ｍにより指定される対応点ａｍは、複数の検出された対応点に含まれてもよいし、含まれなくてもよい。つまり、入力デバイス２０Ｍは、第１画像ＧＺ１及び第２画像ＧＺ２における任意の対応点ペアを指定対応点ペアとし、指定対応点ペアの第１画像ＧＺ１及び第２画像での位置情報と、第１カメラ１０から指定対応点ペアまでの距離を示す距離情報と、を入力する。
　このように、ユーザによって指定された対応点ペア（第２の対応点ペアの一例）の位置座標と、ユーザによって入力された第１カメラ１０から指定対応点までの奥行き値と、に基づいて、指定対応点の３次元座標の復元の再計算を行う。従って、ＰＣ２０Ｃは、復元される３次元座標の精度を評価でき、２つの撮像画像から復元される３次元座標の復元精度を向上できる。また、指定される対応点は少数（例えば１点）で済むので、ユーザ操作を煩雑にせずに、３次元座標の復元精度を向上できる。
　また、ディスプレイ２０Ｌは、プロセッサ３０Ｃの制御により、第１画像ＧＺ１及び第２画像ＧＺ２の少なくとも一方に重ねて、複数の対応点ａ１１～ａ１５，ｂ１１～ｂ１５の候補を表示してもよい。
　これにより、ユーザは、ディスプレイ２０Ｌに表示された候補となる複数の対応点の中から、対応点を指定し易くなる。従って、ＰＣ２０Ｃの操作性が向上する。
　また、ディスプレイ２０Ｌは、プロセッサ３０Ｃの制御により、第１画像ＧＺ１及び第２画像ＧＺ２の少なくとも一方に対し、第１カメラ１０からの距離が長い位置を優先して対応点を指定するように促すガイダンス（案内情報の一例）ｍｓ２を表示してもよい。
　これにより、ユーザは、３次元座標の復元の精度が向上すると見込まれるような、遠方の対応点を指定するように促されるので、複数の候補の中から適切な対応点を指定し易くなる。
　また、プロセッサ３０Ｃは、入力デバイス２０Ｍにより入力された奥行き値と、３次元座標の復元により得られた第１カメラ１０から指定対応点ａｍまでの距離の情報（Ｚ座標値）と、に基づいて、３次元座標の復元の再計算の要否を判定してもよい。
　これにより、ＰＣ２０Ｃは、例えば、入力された対象点までの奥行き値と、復元された対象点までの奥行き値とが大きく異なる場合、３次元座標の復元の精度が低いと判断し、３次元座標の復元の再計算を行わずに、再計算による処理負荷を軽減できる。
　また、ディスプレイ２０Ｌは、プロセッサ３０Ｃの制御により、入力デバイス２０Ｍにより入力された奥行き値と、３次元座標の復元により得られた第１カメラ１０から指定対応点ａｍまでの距離の情報と、の差分が所定値（指定値）以上である場合、指定対応点の入力に係るエラーメッセージｍｓ１を表示する。エラーメッセージｍｓ１は、警告情報の一例である。
　これにより、ユーザは、３次元座標の復元の低下を容易に確認でき、例えば別の対応点をスムーズに入力できる。
　本実施形態では、図１７において、ＰＣ２０Ｃは、Ｓ３２～Ｓ３６の処理とＳ３７～Ｓ４０の処理とを並行して行うことを例示した。尚、Ｓ３２～Ｓ３６の処理を行った後にＳ３７～Ｓ４０の処理を行ってもよいし、Ｓ３７～Ｓ４０の処理を行った後にＳ３２～Ｓ３６の処理を行ってもよい。
　（第４の実施形態）
　第３の実施形態では、ステレオカメラシステムの初期設定時に行われる初期キャリブレーションを示した。第４の実施形態では、運用時に行われるキャリブレーション、つまり、ステレオカメラシステムを設置した後に行われる再キャリブレーションを示す。再キャリブレーションは、例えば、定期的に、復元される３次元画像が乱れるようになった場合、又は台風や地震等の自然災害が発生した場合、に行われる。なお、第４の実施形態においても、第３の実施形態と同様の初期キャリブレーションが既に行われているものとする。
　第４の実施形態のステレオカメラシステム５Ｄにおいて、第３の実施形態と同一の構成要素については、同一の符号を用いることで、その説明を省略又は簡略化する。
　［構成等］
　図２１は第４の実施形態におけるＰＣ２０Ｄの構成例を示すブロック図である。ＰＣ２０Ｄは、第３の実施形態のＰＣ２０Ｃの構成を含む他、読み出し部４５及び位置探索部４６を有する。
　プロセッサ３０Ｄは、メモリ３１に保持されたプログラムを実行することで、読み出し部４５及び位置探索部４６の各機能を実現する。
　読み出し部４５は、メモリ３１に記憶された、指定情報（例えば、指定対応点座標，距離情報）及び画像情報（例えば、第１画像ＧＺ１，第２画像ＧＺ２，周辺画像ＧＺ１１，ＧＺ１２）を読み出す。
　位置探索部４６は、再キャリブレーション時に撮像された第１画像ＧＺ３，第２画像ＧＺ４の中に、初期設定時（又は前回キャリブレーション時）の周辺画像ＧＺ１１，ＧＺ１２があるか否かを探索する。この探索は、例えば、周辺画像ＧＺ１１，ＧＺ１２をテンプレートとし、それぞれ第１画像ＧＺ３，第２画像ＧＺ４中を移動させて、類似度の高い領域を検出する、テンプレートマッチングにより行われる。
　［動作等］
　図２２及び図２３は、運用時に行われる再キャリブレーションの一例を示すフローチャートである。
　初期キャリブレーションにおけるＳ３１の処理と同様、ポート３２は、第１カメラ１０及び第２カメラ１１から、それぞれ第１画像ＧＺ３及び第２画像ＧＺ４の画像データを取り込む（Ｓ５１）。
　読み出し部４５は、メモリ３１に記憶された指定情報及び画像情報を読み出す（Ｓ５２）。
　位置探索部４６は、読み出し部４５によって読み出された、周辺画像ＧＺ１１，ＧＺ１２をテンプレートとし、Ｓ５１で撮像された第１画像ＧＺ３，第２画像ＧＺ４に対し、テンプレートマッチングを行う。そして、位置探索部４６は、第１画像ＧＺ３，第２画像ＧＺ４において周辺画像ＧＺ１１，ＧＺ１２と一致する領域画像ＰＧＺ３，ＰＧＺ４（図２４参照）を探索する（Ｓ５３）。
　位置探索部４６は、テンプレートマッチングが成功したか否かを判別する（Ｓ５４）。
　図２４は再キャリブレーション時にテンプレートマッチングが行われる画面を示す図である。プロセッサ３０Ｄは、テンプレートマッチング動作をディスプレイ２０Ｌの画面に表示する。テンプレートマッチングでは、周辺画像ＧＺ１１と周辺画像ＧＺ１２とが、それぞれ図中、点線枠ｇ，ｈで示すように、第１画像ＧＺ３，第２画像ＧＺ４に含まれるか否かの探索が行われる。周辺画像ＧＺ１１と周辺画像ＧＺ１２とが、それぞれ第１画像ＧＺ３に含まれる領域画像ＰＧＺ３と第２画像ＧＺ２に含まれる領域画像ＰＧＺ４とに一致するか判別される。一方しか一致しない場合あるいは両方とも一致しない場合、テンプレートマッチングが失敗したと判断される。
　テンプレートマッチングが成功した場合、位置探索部４６は、一致した領域画像ＰＧＺ３，領域画像ＰＧＺ４を、それぞれ新たな周辺画像ＧＺ１１，周辺画像ＧＺ１２としてメモリ３１に保存し、領域画像ＰＧＺ３の中心座標，領域画像ＰＧＺ４の中心座標を、それぞれ指定対応点ａｍ，ｂｍの座標として保存する（Ｓ５５）。
　一方、Ｓ５４でテンプレートマッチングに失敗した場合、プロセッサ３０Ｄは、ディスプレイ２０Ｌの画面に、対応点探索エラーと対応点再入力を促す表示を行う（Ｓ５６）。
　図２５は対応点再探索のガイダンスｍｓ３等が追加された画面を示す図である。このディスプレイ２０Ｌの画面には、例えば、「対応点再探索エラー：　前回の対応点指定画像を参考に、再度対応点位置を入力してください。」のガイダンスｍｓ３（案内情報）が表示される。
　さらに、プロセッサ３０Ｄは、例えばディスプレイ２０Ｌの画面の右下隅に、前回の第１画像ＧＺ１，第２画像ＧＺ２と、対応点ａｍ，ｂｍをそれぞれ含む周辺画像ＧＺ１１，周辺画像ＧＺ１２とを縮小して表示してもよい（Ｓ５７）。
　入力デバイス２０Ｍは、第１画像ＧＺ３及び第２画像ＧＺ４に対し、ユーザ操作によりカーソルＳＬで指定された対応点を受け付ける（Ｓ５８）。プロセッサ３０Ｄは、ユーザによって画像上でクリック操作されると、カーソルＳＬで指定される、ディスプレイ２０Ｌに表示される画像上の点を中心に周辺画像を拡大表示する（Ｓ５９）。
　入力デバイス２０Ｍは、拡大された周辺画像ＧＺ１１，ＧＺ１２に対し、ユーザによって指定された新たな対応点を受け付ける（Ｓ６０）。なお、距離情報（奥行き値）は、初期キャリブレーション時に入力され、メモリ３１に保存されているので、奥行き値の入力操作はされなくてもよい。
　この後、Ｓ６１～Ｓ６８の処理は、第３の実施形態におけるＳ３７～Ｓ４４の処理と同じであるので、以後の処理については、その説明を省略する。
　なお、Ｓ６７において、別の対応点位置を入力するように促すエラーメッセージを表示する場合においても、図２５と同様の表示を行ってもよい。つまり、プロセッサ３０Ｄは、ディスプレイ２０Ｌの画面に、例えば、ガイダンスｍｓ３（案内情報）を表示し、ディスプレイ２０Ｌの画面の右下隅に、前回の第１画像ＧＺ３，第２画像ＧＺ４と、対応点ａｍ，ｂｍを含む周辺画像ＧＺ１１，周辺画像ＧＺ１２を縮小して表示してもよい。
　［効果等］
　このように、第４の実施形態のステレオカメラシステム５ＤのＰＣ２０Ｄでは、プロセッサ３０Ｄは、３次元座標の復元を含むキャリブレーション（復元処理の一例）を複数回行う。初期キャリブレーション（第１の復元処理の一例）では、プロセッサ３０Ｄは、入力デバイス２０Ｍにより入力された指定対応点ａｍ，ｂｍの位置情報と、奥行き値と、初期キャリブレーションにおいて第１カメラ１０により撮像された第１画像ＧＺ１と、指定対応点ａｍを含む周辺画像ＧＺ１１と、をメモリ３１に保持しておく。
　運用時に行われる（初期キャリブレーションに後続する）再キャリブレーション（第２の復元処理の一例）では、プロセッサ３０Ｄは、再キャリブレーションにおいて第１カメラ１０により撮像された第１画像ＧＺ３における周辺画像ＧＺ１１に対応する領域画像ＰＧＺ３を検出する。プロセッサ３０Ｄは、領域画像ＰＧＺ３に含まれる、初期キャリブレーションで得られた指定対応点を、再キャリブレーションにおける指定対応点ａｍに設定する。プロセッサ３０Ｄは、指定対応点ａｍの設定後、３次元座標の復元を再計算する。
　このように、ＰＣ２０Ｄは、再キャリブレーション時に、初期キャリブレーション時の指定対応点の座標、奥行き値、テンプレート画像を用いることができる。従って、再キャリブレーションにおいて、初期キャリブレーションと同様の動作を行わなくて済み、再キャリブレーション時におけるユーザ操作やプロセッサの処理を軽減できる。よって、ＰＣ２０Ｄは、１度得られた指定対応点の座標、奥行き値、テンプレート画像を有効活用でき、２つの撮像画像から復元される３次元座標の復元精度を容易に向上できる。なお、初期キャリブレーションに限らず、前回の再キャリブレーションに対して今回の再キャリブレーションが行われる場合でも同様である。
　また、ディスプレイ２０Ｌは、プロセッサ３０Ｄの制御により、再キャリブレーションにおいて、第１画像ＧＺ１における周辺画像ＧＺ１１に対応する領域画像ＰＧＺ３が検出されなかった場合、又は、メモリ３１に保持された奥行き値と再キャリブレーションにより得られた第１カメラ１０から指定対応点ａｍまでの距離の情報との差分が指定値以上である場合、メモリ３１に保持された指定対応点ａｍの座標と周辺画像ＧＺ１１とを表示してもよい。
　これにより、再キャリブレーションが失敗した場合、ユーザは、ディスプレイ２０Ｌの画面に表示された、指定対応点ａｍの位置情報と周辺画像ＧＺ１１とを見ながら、再度、対応点を指定できる。従って、ＰＣ２０Ｄは、３次元座標の復元精度の高い再キャリブレーションを実行できる。
　また、ディスプレイ２０Ｌは、メモリ３１に記憶された指定対応点ａｍの位置情報と周辺画像ＧＺ１１とを参照して、再キャリブレーションにおいて第１画像ＧＺ３における指定対応点ａｍの位置を入力するように促すガイダンスｍｓ３を表示してもよい。ガイダンスｍｓ３は、案内情報の一例である。
　これにより、ユーザは、対応点の指定を促すガイダンスｍｓ３に従って、再度、簡単に対応点を指定できる。従って、ＰＣ２０Ｄの操作性が向上する。
　（他の実施形態）
　以上のように、本開示における技術の例示として、第１～第４の実施形態を説明した。しかし、本開示における技術は、これに限定されず、変更、置き換え、付加、省略などを行った実施形態にも適用できる。また、各実施形態を組み合わせてもよい。
　例えば、上記第１，第２の実施形態では、異常検出部によって対象点の３次元座標が異常であると判定された場合、表示・入力部は、使用者によって識別し易い点を含むような対応点領域が指定されたが、３次元座標の異常の有無を判定することなく、対象点の３次元座標を生成する最初の段階から使用者による対応点領域の指定が行われてもよい。これにより、対象点の３次元座標が異常と判定される結果に至るケースが少なくなることが想定される。
　上記第１，第２の実施形態の３次元情報復元装置は、画像取得部と、領域指定部と、対応点検出部と、３次元座標導出部と、を備える。画像取得部は、第１の撮像装置により撮像された第１の画像と、第２の撮像装置により撮像された第２の画像とを取得する。領域指定部は、第１の画像における第１の領域と第２の画像における第１の領域に対応する第２の領域と、を指定する。対応点検出部は、第１の領域に含まれる第１の特徴点と第２の領域に含まれる第２の特徴点とが対応する第１の対応点ペアを複数検出する。３次元座標導出部は、複数の第１の対応点ペアに基づいて、第１の特徴点が逆射影された３次元座標を復元する。
　３次元情報復元装置は、例えばＰＣ２０である。第１の撮像装置は、例えば第１カメラ１０である。第２の撮像装置は、例えば第２カメラ１１である。画像取得部は、例えば特徴点抽出部２１である。領域指定部は、例えば表示・入力部２６である。対応点検出部２２は、例えば狭域対応点検出部２７である。３次元座標導出部は、例えば３次元座標計算部２４である。また、第１の領域は、例えば対応点領域２６ｙ１である。第２の領域は、例えば対応点領域２６ｙ２である。
　これにより、３次元情報復元装置は、３次元復元の際に用いられる対応点を検出するための領域を指定できる。従って、３次元情報復元装置は、ユーザ操作なく対応点検出等の処理を全て情報処理装置に任せる場合と比べ、指定された領域内の特徴点を用いて対応点ペア情報を精度良く検出できる。よって、３次元復元装置は、対応点ペア情報を用いて計算される３次元座標の復元精度を向上できる。
　また、３次元情報復元装置では、パラメータ導出部は、複数の第１の対応点ペアに基づいて、３次元座標を導出するためのパラメータを複数導出する。異常判定部は、導出された複数のパラメータに基づいて、復元された３次元座標の異常の有無を判定する。領域指定部は、３次元座標に異常がある場合に、第１の領域及び第２の領域を指定する。
　これにより、３次元座標が異常と判定された場合でも、３次元復元装置は、既に実施した異常と判定された３次元座標を復元するための動作に得た情報を活用して、簡単な領域指定を行って補助することで、３次元座標が正常となるように支援できる。また、３次元情報復元装置は、特徴点抽出の抽出精度や対応点検出の検出精度が不十分でも、対応点領域の指定によりこれらの精度不足を補い、３次元座標の復元精度を向上できる。
　また、３次元復元装置は、特徴点記憶部と、特徴点抽出部を備えても良い。特徴点記憶部は、第１の対応点ペアとして検出された第１の特徴点及び前記第２の特徴点を記憶する。特徴点抽出部は、第１の撮像装置により撮像された第３の画像に含まれる第３の特徴点と、第２の撮像装置により撮像された第４の画像に含まれる第４の特徴点と、を複数抽出する。対応点検出部は、特徴点記憶部に記憶された第１の特徴点及び第２の特徴点と、特徴点抽出部によって抽出された第３の特徴点及び第４の特徴点との対応関係に基づいて、第３の画像における第１の領域に対応する第３の領域、及び第４の画像における第２の領域に対応する第４の領域を検出してもよい。対応点検出部は、第３の領域に含まれる第３の特徴点と、第４の領域に含まれる第４の特徴点と、が対応する第２の対応点ペアを複数検出してもよい。３次元座標導出部は、複数の第２の対応点ペアに基づいて、第３の特徴点が逆射影された３次元座標を復元してもよい。
　特徴点記憶部は、例えば特徴点群保存部２８である。特徴点抽出部は、例えば特徴点抽出部２１である。第３の領域は、例えば対応点領域５６ｙ１である。第４の領域は、例えば対応点領域５６ｙ２である。
　これにより、初期設定後のキャリブレーション時など、再度、対応点領域を指定する場合、過去に用いた第１の特徴点及び第２の特徴点を利用して対応点領域を検出できる。従って、ユーザが再度、対応点領域を指定する手間が省け、操作が簡便になる。また、キャリブレーション等の動作を簡素化できる。
　また、３次元情報復元装置は、入力操作を受け付ける入力部（例えば入力デバイス２０Ｍ）と、第１の画像及び第２の画像を表示する表示部（例えばディスプレイ２０Ｌ）と、を備えてもよい。
　領域指定部は、表示部に表示された第１の画像及び第２の画像に対して行われた、入力部による入力操作に従って、第１の領域及び第２の領域を指定してもよい。表示部は、領域指定部によって指定された、第１の領域及び第２の領域を表示してもよい。
　これにより、ユーザは、例えば、第１の画像及び第２の画像を見ながら、例えば識別し易い点を囲むように、対応点領域を直接に指定することができる。また、ユーザは、表示部に第１画像及び第２画像を表示しておき、これらの画像に重なるように、入力部による入力操作で第１の領域及び第２の領域を指定できる。従って、簡単な操作で、直感的に分かり易いユーザインターフェースを提供できる。
　また、３次元情報復元システムは、第１の画像を撮像する第１の撮像装置と、第２の画像を撮像する第２の撮像装置と、第１の画像及び第２の画像に基づいて３次元座標を復元する３次元情報復元装置と、を備える。
　これにより、３次元情報復元装置は、３次元復元の際に用いられる対応点を検出するための領域を指定できる。従って、３次元情報復元装置は、ユーザ操作なく対応点検出等の処理を全て情報処理装置に任せる場合と比べ、指定された領域内の特徴点を用いて対応点ペア情報を精度良く検出できる。よって、３次元復元装置は、対応点ペア情報を用いて計算される３次元座標の復元精度を向上できる。
　また、３次元情報復元システムは、第１の画像を第１の撮像装置から取得し、第２の画像を第２の撮像装置から取得し、第１の画像及び第２の画像を送信する送信機と、送信機からの第１の画像及び第２の画像を受信し、第１の画像及び第２の画像を３次元情報復元装置へ送る受信機と、を備えてもよい。送信機は、例えば送信機６３であり、受信機は、例えば受信機７２である。
　これにより、第１の撮像装置及び第２の撮像装置の設置場所から遠く離れた場所においてキャリブレーション等を行うことが可能であり、３次元復元システムの効率的な運用が可能となる。
　更にＰＣ２０は、操作者（ユーザ）が入力部等を介して第１の画像で指定した対応点領域にある特徴量を用いて、第２の画像における一つ以上の対応点の候補領域を抽出し、表示してもよい。第１の画像で指定した対応点領域に対応する第２の画像での対応点領域は、表示された対応点の候補領域の中にある可能性が高い。第１の画像で指定した対応点領域に対応する第２の画像での対応点領域は、表示された対応点の候補領域の中にある場合、操作者は、表示された対応点の候補領域の中から入力部等を介して選択して指定すればよい。すなわち操作者は、第１の画像で指定した対応点領域に真に対応する第２の画像での対応点領域を、より簡便に指定することができる。
　第３，第４の実施形態では、図１７及び図２２を用いてキャリブレーションの一例を示したが、図１７及び図２２に示された処理以外の処理を含んでキャリブレーションが実施されてもよい。
　図２６は初期設定時に行われる初期キャリブレーションの他例を示すフローチャートである。図２７は、運用時に行われる再キャリブレーションの他例を示すフローチャートである。
　図２６では、Ｓ４２において、精度評価の回数が閾値を超えていない場合、プロセッサ３０Ｃは、Ｓ３１に進み、第１画像ＧＺ１及び第２画像ＧＺ２の画像データを再度取り込む。また、Ｓ４４の処理後、プロセッサ３０Ｃは、Ｓ３１に進み、第１画像ＧＺ１及び第２画像ＧＺ２の画像データを再度取り込む。
　図２７では、Ｓ６６において、精度評価の回数が閾値を超えていない場合、プロセッサ３０Ｄは、Ｓ５１に進み、第１画像ＧＺ１及び第２画像ＧＺ２の画像データを再度取り込む。また、Ｓ６８の処理後、プロセッサ３０Ｄは、Ｓ５１に進み、第１画像ＧＺ１及び第２画像ＧＺ２の画像データを再度取り込む。
　このように、ＰＣ２０Ｃ，２０Ｄは、画像データを再度取り込むことで、撮像時刻に差がある複数の画像データを取得できる。撮像時刻の時間差により、例えば撮像画像における明るい領域や暗い領域が変化し、各々の撮像画像における特徴点が変化する。特徴点が変化することで、対応点も変化し、姿勢推定の結果も変化する。
　よって、取得された複数の画像データの撮像時刻に差があることで、撮像画像において時間方向のばらつきが適度に加味される。これにより、ＰＣ２０Ｃ，２０Ｄは、第１カメラ１０に対する第２カメラ１１の位置や姿勢を推定する推定精度を向上できる。尚、図２６，図２７では、画像データが再度取り込みされた場合でも、指定対応点が変更されなくてもよい。
　第３，第４の実施形態では、プロセッサ３０Ｃ，３０Ｄは、１つの指定された対応点と計算された対応点とを基に、精度評価を行うことを例示した。この代わりに、プロセッサ３０Ｃ，３０Ｄは、複数（例えば２点あるいは３点）の指定された対応点と複数の計算された対応点とを基に、精度評価を行ってもよい。この場合、複数の対応点を用いることで、精度の評価がより正確になる。
　第３，第４の実施形態では、指定対応点に対応する、対象点までの距離情報として奥行き値（つまりＺ座標値）が用いられることを例示した。この代わりに、カメラから対象点までの距離情報として、Ｘ座標，Ｙ座標，Ｚ座標の値の二乗の和の平方根で表される距離を用いて、評価するようにしてもよい。これにより、例えば、カメラから対象点がＸ座標，Ｙ座標方向に大きく外れている等、対象点のＺ座標の実測値が求めにくい場合も、対処できる。
　第４の実施形態では、ＰＣ２０Ｄは、再キャリブレーション時、第１画像及び第２画像の両方に対して、テンプレートマッチングにより指定対応点を求めることを例示した。この代わりに、例えば、明らかに第１画像及び第２画像のいずれか一方がずれていると判断できた場合、プロセッサ３０Ｄは、ずれていると判断される方の画像を用いて指定対応点を求めてもよい。そして、プロセッサ３０Ｃ，３０Ｄは、求められた指定対応点と、初期キャリブレーション（又は前回の再キャリブレーション）における他方の画像の指定対応点と、を用いて、３次元復元処理してもよい。また、ＰＣ２０Ｄは、テンプレートマッチング以外の画像処理により、指定対応点を求めてもよい。
　また、第３，第４の実施形態では、第１カメラ１０及び第２カメラ１１は、ＰＣ２０Ｃ，２０Ｄにケーブル１８Ａ、１８Ｂを介して直接に接続される構成を例示した。この代わりに、第１カメラ１０及び第２カメラ１１とＰＣ２０Ｃ，２０Ｄとの間に送信機及び受信機が設けられ、送信機及び受信機を用いた通信により、データ及び信号が通信される構成でもよい。これにより、遠隔地に第１カメラと第２カメラとが設置され、離れた場所に設置されたＰＣにより、３次元復元処理できる。
　第３の実施形態では、プロセッサは、物理的にどのように構成してもよい。また、プログラム可能なプロセッサを用いれば、プログラムの変更により処理内容を変更できるので、プロセッサの設計の自由度を高めることができる。プロセッサは、１つの半導体チップで構成してもよいし、物理的に複数の半導体チップで構成してもよい。複数の半導体チップで構成する場合、第３，第４の実施形態の各制御をそれぞれ別の半導体チップで実現してもよい。この場合、それらの複数の半導体チップで１つのプロセッサを構成すると考えることができる。また、プロセッサは、半導体チップと別の機能を有する部材（コンデンサ等）で構成してもよい。また、プロセッサが有する機能とそれ以外の機能とを実現するように、１つの半導体チップを構成してもよい。
　本開示は、２つの撮像画像から復元される３次元座標の復元精度を向上できる３次元情報復元装置、３次元情報復元システム、及び３次元情報復元方法等に有用である。
　　５，５Ａ，５Ｂ，５Ｃ，５Ｄ　　ステレオカメラシステム
　　１０　　第１カメラ
　　１１　　第２カメラ
　　１３　　第１の筐体
　　１４　　第２の筐体
　　１８Ａ，１８Ｂ，１８Ｃ　　ケーブル
　　２０，２０Ａ，２０Ｂ，２０Ｃ，２０Ｄ　　ＰＣ
　　２０Ｌ　　ディスプレイ
　　２０Ｍ　　入力デバイス
　　２１　　特徴点抽出部
　　２２　　対応点検出部
　　２３　　カメラパラメータ推定部
　　２４　　３次元座標計算部
　　２５　　異常検出部
　　２６　　表示・入力部
　　２６ｅ，２６ｆ　　開始ボタン
　　２６ｇ　　ＯＫボタン
　　２６ｈ　　ＮＧボタン
　　２６ｍ，ｃ１～ｃ７　　対応線
　　２６ｙ１，２６ｙ２，５６ｙ１，５６ｙ２　　対応点領域
　　２６ｚ　　カーソル
　　２７　　狭域対応点検出部
　　２８　　特徴点群保存部
　　２９　　精度評価部
　　３０，３０Ａ，３０Ｂ，３０Ｃ，３０Ｄ　　プロセッサ
　　３１　　メモリ
　　３２　　ポート
　　３３，３３Ａ　　第１画像
　　３６，３６Ａ　　第２画像
　　３８ａ，３８ｂ，ａ，ａ１～ａ７，ｂ，ｂ１～ｂ７　　特徴点
　　３９ａ，３９ｂ，５８ａ，５８ｂ，ａ１１～ａ１５，ｂ１１～ｂ１５　　対応点
　　４０　　対象物（被写体）
　　４１，４１Ａ　　対象点
　　４５　　読み出し部
　　４６　　位置探索部
　　５１，５２　　特徴点群
　　６１　　画像取込装置
　　６２　　ベースライン長
　　６３　　送信機
　　６５　　専用線
　　７２　　受信機
　　ａｍ，ｂｍ　　指定された対応点（指定対応点）
　　ｃ１～ｃ７，ｃｍ　　対応線
　　ｆｒ１，ｆｒ２　　枠
　　ｇ，ｈ　　点線枠
　　Ｇ１～Ｇ５，Ｇ１１～Ｇ１４　　画面
　　ＧＺ１，ＧＺ３　　第１画像
　　ＧＺ２，ＧＺ４　　第２画像
　　ＧＺ１１，ＧＺ１２　　周辺画像
　　ＭＫ　　マーク
　　ｍｓ１　　エラーメッセージ
　　ｍｓ２，ｍｓ３　　ガイダンス
　　ｐｆ１，ｐｆ２　　矩形枠
　　ＰＧＺ３，ＰＧＺ４　　領域画像
　　ＳＬ　　カーソル

Claims (15)

  1. 　ポートとプロセッサとを備える３次元情報復元装置であって、
    　前記ポートは、第１の撮像装置により撮像された第１の画像と、第２の撮像装置により撮像された第２の画像と、を取得し、
    　前記プロセッサは、
    　前記第１の画像における第１の特徴点と、前記第２の画像における第２の特徴点と、が対応する第１の対応点ペアを複数検出し、
    　複数の前記第１の対応点ペアに基づいて、前記第１の特徴点が逆射影された３次元座標を復元する、
    　３次元情報復元装置。
  2. 　請求項１に記載の３次元情報復元装置であって、更に、
    　複数の前記第１の対応点ペアに含まれる任意の対応点ペアを特定対応点ペアとして、前記特定対応点ペアの前記第１の画像及び前記第２の画像それぞれでの位置を示す位置情報と、前記第１の撮像装置から前記特定対応点ペアまでの距離を示す距離情報と、を入力する入力デバイスを備え、
    　前記プロセッサは、
    　前記位置情報及び前記距離情報の入力後、前記３次元座標の復元の再計算を行う、
    　３次元情報復元装置。
  3. 　請求項２に記載の３次元情報復元装置であって、更に、
    　前記プロセッサの制御により、前記第１の画像及び前記第２の画像の少なくとも一方に、前記複数の第１の対応点ペアに含まれる前記特定対応点ペアの候補を表示するディスプレイを備える、３次元情報復元装置。
  4. 　請求項３に記載の３次元情報復元装置であって、更に、
    　前記ディスプレイは、前記プロセッサの制御により、前記特定対応点ペアの位置として、前記第１の画像及び前記第２の画像の少なくとも一方において、前記第１の撮像装置からの距離が長い位置を優先して前記位置情報を入力するように促す案内情報を表示する、３次元情報復元装置。
  5. 　請求項３または４に記載の３次元情報復元装置であって、
    　前記プロセッサは、前記入力デバイスにより入力された距離情報と、前記３次元座標の復元により得られた前記第１の撮像装置から前記特定対応点ペアまでの距離の情報と、に基づいて、前記３次元座標の復元の再計算の要否を判定する、３次元情報復元装置。
  6. 　請求項５に記載の３次元情報復元装置であって、更に、
    　前記ディスプレイは、前記プロセッサの制御により、前記入力デバイスにより入力された距離情報と、前記３次元座標の復元により得られた前記第１の撮像装置から前記特定対応点ペアまでの距離の情報との、差分が所定値以上である場合、前記特定対応点ペアの入力に係る警告情報を表示する、３次元情報復元装置。
  7. 　請求項２に記載の３次元情報復元装置であって、
    　前記プロセッサは、前記３次元座標の復元を含む復元処理を複数回行い、
    　第１の復元処理では、
    　前記入力デバイスにより入力された前記特定対応点ペアの位置情報と、前記距離情報と、前記第１の復元処理において前記第１の撮像装置により撮像された前記第１の画像において前記特定対応点ペアを含む第３の画像と、をメモリに保持し、
    　前記第１の復元処理に後続する第２の復元処理では、
    　前記第２の復元処理において前記第１の撮像装置により撮像された前記第１の画像における前記第３の画像に対応する領域を検出し、
    　前記領域に含まれる、前記第１の復元処理で得られた前記特定対応点ペアに相当する前記第２の復元処理で得られた前記第１の対応点ペアを、前記第２の復元処理における特定対応点ペアに設定し、
    　前記特定対応点ペアの設定後、前記３次元座標の復元を再計算する、
    　３次元情報復元装置。
  8. 　請求項７に記載の３次元情報復元装置であって、更に、
    　ディスプレイを備え、
    　前記ディスプレイは、前記プロセッサの制御により、前記第２の復元処理において、前記第１の画像における前記第３の画像に対応する領域が検出されなかった場合、又は、前記メモリに保持された距離情報と前記第２の復元処理により得られた前記第１の撮像装置から前記特定対応点ペアまでの距離の情報との差分が所定値以上である場合、前記メモリに保持された前記特定対応点ペアの位置情報と前記第３の画像とを表示する、３次元情報復元装置。
  9. 　請求項８に記載の３次元情報復元装置であって、更に、
    　前記ディスプレイは、前記メモリに保持された前記特定対応点ペアの位置情報と前記第３の画像とを参照して、前記第２の復元処理において前記第１の画像における前記特定対応点ペアの位置情報を入力するように促す案内情報を表示する、３次元情報復元装置。
  10. 　請求項１に記載の３次元情報復元装置であって、更に、
    　前記第１の画像における第１の領域と、前記第２の画像における前記第１の領域に対応する第２の領域と、を指定する領域指定部と、
    　複数の前記第１の対応点ペアに基づいて、前記３次元座標を導出するためのパラメータを複数導出するパラメータ導出部と、
    　前記パラメータ導出部によって導出された複数の前記パラメータに基づいて、前記３次元座標導出部により復元された３次元座標の異常の有無を判定する異常判定部と、
    　を備え、
    　前記第１の特徴点は前記第１の領域に含まれ、前記第２の特徴点は前記第２の領域に含まれ、前記第１の特徴点と前記第２の特徴点とが対応する前記複数の第１の対応点ペアを検出する対応点検出部と、を更に備え、
    　前記領域指定部は、前記３次元座標に異常がある場合に、前記第１の領域及び前記第２の領域を指定する、３次元情報復元装置。
  11. 　請求項１０に記載の３次元情報復元装置であって、
    　前記第１の対応点ペアとして検出された前記第１の特徴点及び前記第２の特徴点を記憶する特徴点記憶部と、
    　前記第１の撮像装置により撮像された第３の画像に含まれる第３の特徴点と、前記第２の撮像装置により撮像された第４の画像に含まれる第４の特徴点と、を複数抽出する特徴点抽出部と、
    　を備え、
    　前記対応点検出部は、
    　前記特徴点記憶部に記憶された前記第１の特徴点及び前記第２の特徴点と、前記特徴点抽出部によって抽出された前記第３の特徴点及び前記第４の特徴点との対応関係に基づいて、前記第３の画像における前記第１の領域に対応する第３の領域、及び前記第４の画像における前記第２の領域に対応する第４の領域を検出し、
    　前記第３の領域に含まれる前記第３の特徴点と、前記第４の領域に含まれる前記第４の特徴点と、が対応する第２の対応点ペアを複数検出し、
    　前記３次元座標導出部は、複数の前記第２の対応点ペアに基づいて、前記第３の特徴点が逆射影された３次元座標を復元する、３次元情報復元装置。
  12. 　請求項１０に記載の３次元情報復元装置であって、更に、
    　入力操作を受け付ける入力部と、
    　前記第１の画像及び前記第２の画像を表示する表示部と、
    　を備え、
    　前記領域指定部は、前記表示部に表示された前記第１の画像及び前記第２の画像に対して行われた、前記入力部による入力操作に従って、前記第１の領域及び前記第２の領域を指定し、
    　前記表示部は、前記領域指定部によって指定された、前記第１の領域及び前記第２の領域を表示する、３次元情報復元装置。
  13. 　第１の画像を撮像する第１の撮像装置と、
    　第２の画像を撮像する第２の撮像装置と、
    　前記第１の画像及び前記第２の画像に基づいて３次元座標を復元する３次元情報復元装置と、
    　を備える３次元情報復元システムであって、
    　前記３次元情報復元装置は、ポートとプロセッサとを備え、
    　前記ポートは、第１の撮像装置により撮像された第１の画像と、第２の撮像装置により撮像された第２の画像と、を取得し、
    　前記プロセッサは、
    　前記第１の画像における第１の特徴点と、前記第２の画像における第２の特徴点と、が対応する第１の対応点ペアを複数検出し、
    　複数の前記第１の対応点ペアに基づいて、前記第１の特徴点が逆射影された３次元座標を復元する、
    　３次元情報復元システム。
  14. 　請求項１３に記載の３次元情報復元システムであって、更に、
    　前記第１の画像を前記第１の撮像装置から取得し、前記第２の画像を前記第２の撮像装置から取得し、前記第１の画像及び前記第２の画像を送信する送信機と、
    　前記送信機からの前記第１の画像及び前記第２の画像を受信し、前記第１の画像及び前記第２の画像を前記３次元情報復元装置へ送る受信機と、
    　を備える、３次元情報復元システム。
  15. 　３次元情報復元装置における３次元情報復元方法であって、
    　第１の撮像装置により撮像された第１の画像と、第２の撮像装置により撮像された第２の画像と、を取得するステップと、
    　前記第１の画像における第１の特徴点と、前記第２の画像における第２の特徴点と、が対応する第１の対応点ペアを複数検出するステップと、
    　複数の前記第１の対応点ペアに基づいて、前記第１の特徴点が逆射影された３次元座標を復元するステップと、
    　を備える３次元情報復元方法。
PCT/JP2015/006218 2014-12-24 2015-12-14 ３次元情報復元装置、３次元情報復元システム、及び３次元情報復元方法 WO2016103621A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US15/534,042 US10249058B2 (en) 2014-12-24 2015-12-14 Three-dimensional information restoration device, three-dimensional information restoration system, and three-dimensional information restoration method

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2014261173A JP6403115B2 (ja) 2014-12-24 2014-12-24 ３次元情報復元装置、３次元情報復元システム、及び３次元情報復元方法
JP2014-261173 2014-12-24
JP2015225110A JP6541070B2 (ja) 2015-11-17 2015-11-17 ３次元情報復元装置及び３次元情報復元方法
JP2015-225110 2015-11-17

Publications (1)

Publication Number Publication Date
WO2016103621A1 true WO2016103621A1 (ja) 2016-06-30

Family

ID=56149689

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2015/006218 WO2016103621A1 (ja) 2014-12-24 2015-12-14 ３次元情報復元装置、３次元情報復元システム、及び３次元情報復元方法

Country Status (2)

Country Link
US (1) US10249058B2 (ja)
WO (1) WO2016103621A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018047687A1 (ja) * 2016-09-12 2018-03-15 パナソニックＩｐマネジメント株式会社 三次元モデル生成装置及び三次元モデル生成方法
JP2018173976A (ja) * 2018-06-20 2018-11-08 パナソニックＩｐマネジメント株式会社 ３次元侵入検知システムおよび３次元侵入検知方法
CN112907505A (zh) * 2021-01-11 2021-06-04 南京工程学院 一种水下机器人电缆三维形状估计方法

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104992408B (zh) * 2015-06-30 2018-06-05 百度在线网络技术（北京）有限公司 用于用户终端的全景图像生成方法和装置
WO2019225681A1 (ja) * 2018-05-23 2019-11-28 パナソニックＩｐマネジメント株式会社 校正装置および校正方法
WO2020111139A1 (ja) 2018-11-29 2020-06-04 Ｎｅｃソリューションイノベータ株式会社 座標算出装置、座標算出方法、及びコンピュータ読み取り可能な記録媒体
US11023730B1 (en) * 2020-01-02 2021-06-01 International Business Machines Corporation Fine-grained visual recognition in mobile augmented reality

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0933248A (ja) * 1995-07-20 1997-02-07 Nissan Motor Co Ltd パッシブ三角測量式距離計
JPH1137736A (ja) * 1997-05-20 1999-02-12 Ricoh Co Ltd ３次元形状計測方法及び３次元形状計測装置
JP2008070120A (ja) * 2006-09-12 2008-03-27 Hitachi Ltd 距離計測装置
JP2008304248A (ja) * 2007-06-06 2008-12-18 Konica Minolta Holdings Inc 車載用ステレオカメラの校正方法、車載用距離画像生成装置及びプログラム
JP2012057960A (ja) * 2010-09-06 2012-03-22 Topcon Corp 点群位置データ処理装置、点群位置データ処理方法、点群位置データ処理システム、および点群位置データ処理プログラム

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3729916B2 (ja) 1996-02-29 2005-12-21 富士通株式会社 ３次元情報復元装置
JP3962870B2 (ja) * 2004-09-30 2007-08-22 Ｔｏｔｏ株式会社 マイクロストリップアンテナ及びマイクロストリップアンテナを用いた高周波センサ
US20060125920A1 (en) * 2004-12-10 2006-06-15 Microsoft Corporation Matching un-synchronized image portions
JP4556798B2 (ja) * 2005-07-29 2010-10-06 トヨタ自動車株式会社 画像処理装置
JP5250847B2 (ja) * 2009-07-28 2013-07-31 コニカミノルタ株式会社 画像処理装置、情報処理システム、画像処理方法、およびプログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0933248A (ja) * 1995-07-20 1997-02-07 Nissan Motor Co Ltd パッシブ三角測量式距離計
JPH1137736A (ja) * 1997-05-20 1999-02-12 Ricoh Co Ltd ３次元形状計測方法及び３次元形状計測装置
JP2008070120A (ja) * 2006-09-12 2008-03-27 Hitachi Ltd 距離計測装置
JP2008304248A (ja) * 2007-06-06 2008-12-18 Konica Minolta Holdings Inc 車載用ステレオカメラの校正方法、車載用距離画像生成装置及びプログラム
JP2012057960A (ja) * 2010-09-06 2012-03-22 Topcon Corp 点群位置データ処理装置、点群位置データ処理方法、点群位置データ処理システム、および点群位置データ処理プログラム

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018047687A1 (ja) * 2016-09-12 2018-03-15 パナソニックＩｐマネジメント株式会社 三次元モデル生成装置及び三次元モデル生成方法
JPWO2018047687A1 (ja) * 2016-09-12 2019-06-24 パナソニックＩｐマネジメント株式会社 三次元モデル生成装置及び三次元モデル生成方法
US10893251B2 (en) 2016-09-12 2021-01-12 Panasonic Intellectual Property Management Co., Ltd. Three-dimensional model generating device and three-dimensional model generating method
JP7002056B2 (ja) 2016-09-12 2022-02-10 パナソニックＩｐマネジメント株式会社 三次元モデル生成装置及び三次元モデル生成方法
JP2018173976A (ja) * 2018-06-20 2018-11-08 パナソニックＩｐマネジメント株式会社 ３次元侵入検知システムおよび３次元侵入検知方法
CN112907505A (zh) * 2021-01-11 2021-06-04 南京工程学院 一种水下机器人电缆三维形状估计方法
CN112907505B (zh) * 2021-01-11 2024-03-26 南京工程学院 一种水下机器人电缆三维形状估计方法

Also Published As

Publication number Publication date
US20170345184A1 (en) 2017-11-30
US10249058B2 (en) 2019-04-02

Similar Documents

Publication Publication Date Title
WO2016103621A1 (ja) ３次元情報復元装置、３次元情報復元システム、及び３次元情報復元方法
JP6403115B2 (ja) ３次元情報復元装置、３次元情報復元システム、及び３次元情報復元方法
JP5580164B2 (ja) 光学情報処理装置、光学情報処理方法、光学情報処理システム、光学情報処理プログラム
JP6394005B2 (ja) 投影画像補正装置、投影する原画像を補正する方法およびプログラム
JP6011548B2 (ja) カメラ校正装置、カメラ校正方法およびカメラ校正用プログラム
JP5593177B2 (ja) 点群位置データ処理装置、点群位置データ処理方法、点群位置データ処理システム、および点群位置データ処理プログラム
US10083513B2 (en) Information presentation device, stereo camera system, and information presentation method
JP6541070B2 (ja) ３次元情報復元装置及び３次元情報復元方法
WO2016042779A1 (ja) 三角測量装置、三角測量方法およびそのプログラムを記録した記録媒体
US8531505B2 (en) Imaging parameter acquisition apparatus, imaging parameter acquisition method and storage medium
KR20080029080A (ko) 단안 줌 카메라를 이용한 이동로봇의 자기위치 추정 시스템및 방법
US12008782B2 (en) Information processing apparatus, information processing method, and program
US10600202B2 (en) Information processing device and method, and program
KR20190027079A (ko) 전자 장치, 그 제어 방법 및 컴퓨터 판독가능 기록 매체
JP7003617B2 (ja) 推定装置、推定方法、及び推定プログラム
JP2006113832A (ja) ステレオ画像処理装置およびプログラム
Kleiner et al. Handheld 3-d scanning with automatic multi-view registration based on visual-inertial navigation
WO2017057426A1 (ja) 投影装置、コンテンツ決定装置、投影方法、および、プログラム
JP5464671B2 (ja) 画像処理装置、画像処理方法および画像処理プログラム
JP5887974B2 (ja) 類似画像領域探索装置、類似画像領域探索方法、及び類似画像領域探索プログラム
JP2013009202A (ja) カメラ方向調整装置及びカメラ方向調整方法
JP6071142B2 (ja) 画像変換装置
US20230011093A1 (en) Adjustment support system and adjustment support method
JP2015005200A (ja) 情報処理装置、情報処理システム、情報処理方法、プログラムおよび記憶媒体
KR101574020B1 (ko) 스테레오 카메라의 좌우 영상 정합 방법 및 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15872196

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 15534042

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 15872196

Country of ref document: EP

Kind code of ref document: A1