WO2017056473A1 - カメラ校正用ボード、カメラ校正用装置、カメラ校正用方法、及びカメラ校正用プログラム記録媒体 - Google Patents

カメラ校正用ボード、カメラ校正用装置、カメラ校正用方法、及びカメラ校正用プログラム記録媒体 Download PDF

Info

Publication number
WO2017056473A1
WO2017056473A1 PCT/JP2016/004338 JP2016004338W WO2017056473A1 WO 2017056473 A1 WO2017056473 A1 WO 2017056473A1 JP 2016004338 W JP2016004338 W JP 2016004338W WO 2017056473 A1 WO2017056473 A1 WO 2017056473A1
Authority
WO
WIPO (PCT)
Prior art keywords
camera
calibration
image
cameras
camera calibration
Prior art date
Application number
PCT/JP2016/004338
Other languages
English (en)
French (fr)
Inventor
剛志 柴田
正行 田中
正敏 奥富
Original Assignee
日本電気株式会社
国立大学法人東京工業大学
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社, 国立大学法人東京工業大学 filed Critical 日本電気株式会社
Priority to JP2017542739A priority Critical patent/JP6721884B2/ja
Priority to US15/763,613 priority patent/US20180262748A1/en
Publication of WO2017056473A1 publication Critical patent/WO2017056473A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/246—Calibration of cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B21/00—Measuring arrangements or details thereof, where the measuring technique is not covered by the other groups of this subclass, unspecified or not relevant
    • G01B21/02—Measuring arrangements or details thereof, where the measuring technique is not covered by the other groups of this subclass, unspecified or not relevant for measuring length, width, or thickness
    • G01B21/04—Measuring arrangements or details thereof, where the measuring technique is not covered by the other groups of this subclass, unspecified or not relevant for measuring length, width, or thickness by measuring coordinates of points
    • G01B21/042—Calibration or calibration artifacts
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/32—Fiducial marks and measuring scales within the optical system
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/257—Colour aspects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/88—Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/30—Transforming light or analogous information into electric information
    • H04N5/33—Transforming infrared radiation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0077—Colour aspects

Definitions

  • the present invention relates to a camera calibration board, a camera calibration device, a camera calibration method, and a camera calibration program recording medium.
  • depth cameras inexpensive cameras for acquiring depth images (hereinafter referred to as “depth cameras”) for acquiring depth images are also widely used.
  • depth cameras inexpensive cameras for acquiring depth images
  • non-visible light sensors such as near-infrared cameras and far-infrared cameras are also widely used.
  • Non-Patent Document 1 discloses a simultaneous calibration method using a depth image and a visible image.
  • Non-Patent Document 2 discloses a method for calculating an internal parameter of a camera from a feature point obtained by calculating from an image.
  • Patent Document 1 discloses a calibration table used in a stereo camera calibration apparatus.
  • the calibration table disclosed in Patent Document 1 is provided on the upper surface of a flat plate, and includes a perforated plate in which a large number of holes are formed, and a plurality of randomly-fitted to arbitrary positions of a large number of holes in the perforated plate. It consists of a bar (calibration pole).
  • the upper surface of the flat plate is painted black, the upper surface of the perforated plate is painted gray, and the top of the calibration pole is painted white.
  • the length of the calibration pole is set randomly.
  • Two cameras (a left camera and a right camera) are arranged in the upper perspective of the calibration table. The optical axes of the left camera and right camera are roughly connected to a certain point on the calibration table.
  • Patent Document 2 discloses a camera parameter estimation device that estimates camera parameters of a single camera.
  • the camera parameter estimation device disclosed in Patent Document 2 includes a corresponding point search device and camera parameter estimation means.
  • the corresponding point search device searches for a corresponding point among a plurality of images obtained by photographing the same subject with one camera.
  • the camera parameter estimation means uses the information on the corresponding points input from the corresponding point search means, optimizes the camera posture coefficient as an unknown by bundle adjustment (Bundle Adjustment), and sets the camera parameters. presume.
  • Non-Patent Document 1 has a problem that the accuracy of bundle adjustment, which is a process of measuring external parameters between cameras in a visible image and a depth image with high accuracy, is lowered.
  • bundle adjustment is a process of calculating camera parameters by overall optimization from the coordinates of the same corresponding point group.
  • it is difficult to obtain the coordinate values of the same corresponding point group with high accuracy from the visible image and the depth image with a simple process.
  • Non-Patent Document 2 merely discloses a method for calculating an internal parameter of a camera from a feature point.
  • Patent Documents 1 and 2 have the following problems respectively.
  • Patent Document 1 merely discloses a calibration table that is used to calibrate a camera spatial position easily and accurately when an object is photographed by two cameras. That is, the calibration table disclosed in Patent Document 1 is used to calibrate the spatial positions of two cameras of the same type, and is intended to calibrate a plurality of different types of cameras. The problem to be solved is different.
  • Patent Document 2 merely discloses a camera parameter estimation device that estimates a camera parameter of one camera by bundle adjustment. Even Patent Document 2 does not intend to calibrate a plurality of different types of cameras, and the problems to be solved are different.
  • An object of the present invention is to provide a camera calibration board, a camera calibration device, a camera calibration method, and a camera calibration program recording medium that solve the above-described problems.
  • One aspect of the present invention is a camera calibration board comprising: a base; and a plurality of plane plates disposed on the base via a plurality of support columns each having the same length.
  • the flat plates are arranged on different planes in space with respect to the base, and the base and the plurality of flat plates are camera calibration boards having different reflectivities for visible light.
  • the camera calibration apparatus uses the camera calibration board to shoot first to Mth (M is an integer equal to or greater than 2) calibration images, respectively, and use different types of first to Mth different images.
  • a calibration image capturing unit including a camera; first to Mth feature point detection units for calculating first to Mth feature points from the first to Mth calibration images; and the first First to M-th camera parameter estimation units for calculating first to M-th camera parameters for the first to M-th camera points from the first to M-th feature points, respectively;
  • a bundle adjustment unit that calculates external parameters between the cameras using the camera parameters.
  • first to Mth cameras use the camera calibration board, respectively, to obtain first to Mth calibration images.
  • the first to Mth feature point detection units respectively calculate the first to Mth feature points from the first to Mth calibration images;
  • the first to Mth camera parameter estimation units Calculate first to M-th camera parameters for the first to M-th cameras from the first to M-th feature points, respectively;
  • a bundle adjustment unit sets the first to M-th camera parameters. Is used to calculate external parameters between cameras.
  • the camera calibration program recording medium of the present invention includes first to Mth images obtained by photographing different types of first to Mth cameras (M is an integer of 2 or more) using the camera calibration board.
  • M is an integer of 2 or more
  • This is a medium in which a computer calibration program for causing a computer to execute a procedure for calculating the camera parameters and a procedure for calculating external parameters between cameras using the first to Mth camera parameters is recorded.
  • FIG. 2 It is the schematic of the board for camera calibration which concerns on one embodiment of this invention. It is a block diagram which shows schematic structure of the apparatus for camera calibration which concerns on the Example of this invention. 3 is a flowchart for explaining the operation of the camera calibration device shown in FIG. 2. It is a figure which shows an example of the image for a calibration (visible image) image
  • the camera calibration board used in the first embodiment of the present invention comprises a base 1, a plurality of flat plates 2, and a plurality of support columns 3.
  • the plurality of support columns 3 have the same length.
  • the plurality of flat plates 2 are three-dimensionally arranged on the base 1 via the corresponding support columns 2.
  • each of the plurality of flat plates 2 is formed of a rectangular plate, but the plurality of flat plates 2 are arranged on a plane in the space.
  • the base 1 is a plane will be described, but the present invention is not limited to this. In other words, it is sufficient if the plurality of flat plates 2 are arranged on a certain plane on a space separated from the substrate 1 by a predetermined distance.
  • the substrate 1 and the plurality of flat plates 2 have different reflectivities for visible light between the substrate 1 and the flat plate 2.
  • a white material or a material other than white coated with a white paint or resin is used for the substrate 1.
  • a white material or a material other than white coated with a white paint or resin is used for the substrate 1.
  • a white paint or resin is used for each plane board 2.
  • what coated the surface with materials other than white, or paint or resin other than white is used.
  • each flat plate 2 a white material or a material other than white coated with a white paint or resin is used.
  • the base 1 is made of a material other than white, or a surface coated with a paint or resin other than white.
  • the base 1 is made of a material of a certain color (hereinafter referred to as “class color”) or a material other than the class color. Use one that has been painted with a colored paint or resin on the surface.
  • class color a material of a certain color
  • a material whose surface is coated with a material other than the first color, or a paint or resin other than the first color is used.
  • the flat plate when each flat plate 2 is a flat plate having a certain thickness, the flat plate may be chamfered at the surface between the base plate 1 and each flat plate 2. .
  • the calibration image photographing unit of the camera calibration device described later photographs the first and second calibration images using such a camera calibration board.
  • the calibration image capturing unit captures a visible image as a first calibration image using a camera calibration board and a depth image as a second calibration image using the camera calibration board. It consists of a camera.
  • an external parameter between cameras necessary for calibration of a depth camera and a visible camera is calculated from a visible image obtained from a visible camera and a depth image obtained from a depth camera. It is possible to provide a camera calibration device that enables measurement with high accuracy. The reason is that by using the camera calibration board described in the first embodiment, the base 1 and the plurality of flat plates 2 are positioned on different planes, and further reflected by visible light. This is because, because the rates are different, a point group arranged on a plane existing on the plurality of plane plates 2 can be extracted with high accuracy from the visible image and the depth image.
  • the camera calibration board used in the second embodiment of the present invention has a structure in which the substrate 1 and the plurality of flat plates 2 have a temperature in addition to the configuration described in the first embodiment. It is processed so that different states are created and heat does not move between each other.
  • the camera calibration board may create a state in which the temperature is different between the substrate 1 and the plurality of flat plates 2 by heating (or reducing heat) the plurality of flat plates 2.
  • the camera calibration board may create a state in which the temperature differs between the substrate 1 and the plurality of flat plates 2 by heating (or reducing heat) the substrate 1.
  • the base 1 or the plurality of flat plates 2 to be heated (or reduced in heat) may be made of a material having high thermal conductivity and large heat radiation so that the temperature is uniform.
  • each of the base plate 1 and the plurality of flat plates 2 may have a structure in which a material having high thermal conductivity is stacked on a material having high thermal conductivity. More specifically, a metal such as aluminum may be used as the material having high heat conductivity, and a resin or the like may be applied as a paint as the material having high heat radiation.
  • a metal such as aluminum may be used as the material having high heat conductivity, and a resin or the like may be applied as a paint as the material having high heat radiation.
  • the substrate 1 or each of the plurality of flat plates 2 those obtained by performing alumite treatment on the metal surface may be used.
  • each of the base plate 1 or the plurality of flat plates 2 for example, an object such as a heating wire is brought into contact with or incorporated in the base plate 1 or the plurality of flat plates 2 to be heated. You may heat by.
  • a high or low temperature object is installed around each of the base plate 1 or the plurality of flat plates 2, and these are heated or reduced in temperature. These may be heated or reduced using warm air or cold air.
  • the structure in which the base 1 and the plurality of flat plates 2 are supported by the plurality of support columns 3 is configured so that the heat between the base 1 and the plurality of flat plates 2 does not move mutually.
  • pillar 3 you may comprise so that it may support between the base
  • a substance having low thermal conductivity for example, resin, plastic, wood, glass, polystyrene foam, phenol foam, rigid urethane foam, or the like may be used.
  • this invention is not limited to this, What is necessary is just a substance with low heat conductivity.
  • the environment to be used is not limited.
  • the camera calibration board may be used indoors or outdoors.
  • a calibration image capturing unit of a camera calibration apparatus captures first to third calibration images using such a camera calibration board.
  • the calibration image capturing unit captures a visible image as a first calibration image using a camera calibration board and a depth image as a second calibration image using the camera calibration board.
  • the camera and a far-infrared camera that captures a far-infrared image as a third calibration image using a camera calibration board.
  • an apparatus for camera calibration capable of measuring external parameters between cameras with high accuracy necessary for simultaneously calibrating a depth camera, a far-infrared camera, and a visible camera.
  • the base plate 1 and the plurality of flat plates 2 are located on different planes, and the reflectance in visible light is also high. Further, since the temperature of the substrate 1 and the temperature of the plurality of plane plates 2 are different, the point cloud arranged on the plane existing on the plurality of plane plates 2 is converted into a visible image, a depth image, and a far infrared image. This is because it can be extracted with high accuracy.
  • a camera calibration apparatus includes a calibration image photographing unit 10 and a computer (central processing unit; processor; data processing unit) 20 that operates under program control.
  • the computer (central processing unit; processor; data processing unit) 20 includes a visible camera calibration unit 21, a depth camera calibration unit 22, an infrared camera calibration unit 23, and a bundle adjustment unit 30.
  • the visible camera calibration unit 21 includes a visible image feature point detection unit 211 and a visible camera parameter estimation unit 212.
  • the depth camera calibration unit 22 includes a depth image feature point detection unit 221 and a depth camera parameter estimation unit 222.
  • the infrared camera calibration unit 23 includes an infrared image feature point detection unit 231 and an infrared camera parameter estimation unit 232.
  • the visible image feature point detection unit 211, the depth image feature point detection unit 221, and the infrared image feature point detection unit 231 are also referred to as first to third feature point detection units, respectively.
  • the visible camera parameter estimation unit 212, the depth camera parameter estimation unit 222, and the infrared camera parameter estimation unit 232 are also referred to as first to third camera parameter estimation units, respectively.
  • the calibration image capturing unit 10 may be included, or the visible camera and the far infrared camera may be included. However, it may consist only of a far-infrared camera and a depth camera.
  • the visible camera is also called a first camera
  • the depth camera is also called a second camera
  • the far-infrared camera is also called a third camera.
  • the calibration image capturing unit 10 acquires a plurality of calibration images using the camera calibration board described in the above embodiment of the present invention. More specifically, after heating the base plate 1 or the plurality of flat plates 2, a plurality of calibration images are obtained with a visible camera, a depth camera, and a far infrared camera, for example, as shown in FIGS. At the same time, it is sufficient to shoot in a plurality of postures.
  • FIG. 4 is a diagram illustrating an example of a first calibration image (visible image) captured by a visible camera
  • FIG. 5 is a third calibration image (far infrared image) captured by a far infrared camera. It is a figure which shows an example.
  • the camera calibration board shown in FIG. 1 may be tilted with respect to the optical axis of the camera.
  • the number of images to be captured may be approximately 20 for each camera.
  • the captured image is stored in a memory (not shown).
  • the calibration image capturing unit 10 captures a new calibration image
  • the present invention is not limited to this.
  • a calibration image that has been captured in advance and stored in a memory (not shown) may be read.
  • a calibration image captured in advance and a calibration image newly captured by the calibration image capturing unit 10 may be stored in a memory (not shown).
  • images (visible image, depth image, far-infrared image) taken by each camera (visible camera, depth camera, and far-infrared camera) are respectively visible camera calibration unit 21 and depth camera.
  • the visible image feature point detecting unit 211, the depth image feature point detecting unit 221, and the infrared image feature point detecting unit 231 are a visible camera parameter estimating unit 212, a depth camera parameter, respectively, from the visible image, the depth image, and the far infrared image.
  • First to third feature points used by the estimation unit 222 and the infrared camera parameter estimation unit 232 are detected.
  • the visible image feature point detection unit 211 detects, as a first feature point, an intersection point on the checkerboard pattern of the plurality of flat plates 2 from the visible image (first calibration image). .
  • a method of detecting the first feature point for example, Harris corner detection may be used.
  • the visible image feature point detection unit 211 may detect the first feature point with sub-pixel accuracy using parabolic fitting or the like. .
  • the depth image feature point detection unit 221 first calculates the plane of the base 1 from the depth image (second calibration image) as preprocessing, and calculates the pixel value of each image from the calculated plane. Convert to the value of. After that, the depth image feature point detection unit 221 may calculate the coordinates of the second feature point using, for example, Harris corner detection, similarly to the visible image feature point detection unit 211.
  • the infrared image feature point detection unit 231 removes noise from the far-infrared image (third calibration image) as preprocessing, for example. After that, the infrared image feature point detection unit 231 may calculate the coordinates of the third feature point using, for example, Harris corner detection, similarly to the visible image feature point detection unit 211.
  • the feature point detection method in the present invention is not limited to the above, and the corner may be detected by a method such as template matching.
  • the feature point detection method of the present invention may perform edge detection processing to detect checkered edges, and then detect the intersection as a corner.
  • the visible camera parameter estimator 212, the depth camera parameter estimator 222, and the infrared camera parameter estimator 232 respectively calculate the first of each camera from the coordinates of the first to third feature points of the calculated image. Thru
  • or 3rd camera parameter is calculated.
  • the visible camera parameter estimation unit 212 uses the method described in Non-Patent Document 2, for example, as a first camera parameter from the calculated first feature point (coordinate value of the checkered pattern intersection). What is necessary is just to calculate an internal parameter. More specifically, using the camera model described in Non-Patent Document 2, the visible camera parameter estimation unit 212 may minimize the reprojection error obtained from the calculated coordinates of the first feature point. What is necessary is just to calculate the internal parameter of the said camera model as a 1st camera parameter.
  • the visible camera parameter estimation unit 212 may calculate the lens distortion of the visible camera and correct it simultaneously with the internal parameter.
  • the visible camera parameter estimation unit 212 performs bundle adjustment in each camera from the coordinates of the first feature point acquired from the visible camera, and more accurately, as an internal parameter and lens distortion, as the first camera parameter.
  • an external parameter may be calculated. More specifically, using the camera model described in Non-Patent Document 2, the visible camera parameter estimation unit 212 may minimize the reprojection error obtained from the calculated coordinates of the first feature point.
  • an internal parameter, lens distortion, and external parameter of the camera model may be calculated.
  • the depth camera parameter estimation unit 222 and the infrared camera parameter estimation unit 232 may calculate the second and third camera parameters in the same manner as the visible camera parameter estimation unit 212.
  • the depth camera parameter estimation unit 222 and the infrared camera parameter estimation unit 232 may calculate the second and third camera parameters by using a more precise model of the characteristics of each camera. For example, a depth camera will be described as an example.
  • the depth camera parameter estimation unit 222 uses the camera model described in Non-Patent Document 1 to calculate an internal parameter and lens distortion of the depth camera as the second camera parameter. Also good.
  • the bundle adjustment unit 30 includes the coordinates of the first to third feature points extracted by the visible image feature point detection unit 211, the depth image feature point detection unit 221, and the infrared image feature point detection unit 231, and the visible camera parameter estimation. Using the first to third camera parameters (internal parameters of each camera, lens distortion values) calculated by the unit 212, the depth camera parameter estimation unit 222, and the infrared camera parameter estimation unit 232 Calculate the parameters. More specifically, the bundle adjustment unit 30 has coordinates of the first to third feature points extracted by the visible image feature point detection unit 211, the depth image feature point detection unit 221, and the infrared image feature point detection unit 231. The external parameters between the cameras may be calculated so that the reprojection error obtained from is minimized.
  • first to third calibration images are taken using a calibration board in each camera (visible camera, depth camera, and far-infrared camera) (S100).
  • the visible image feature point detection unit 211, the depth image feature point detection unit 221, and the infrared image feature point detection unit 231 detect first to third feature points in each camera (S101).
  • First to third camera parameters (internal parameters) of the camera are calculated (S102).
  • the bundle adjustment unit 30 performs first to third camera parameters (internal parameters of each camera, lens distortion) calculated by the visible camera parameter estimation unit 212, the depth camera parameter estimation unit 222, and the infrared camera parameter estimation unit 232. Is used to optimize the external parameter so that the reprojection error obtained from the coordinates of the extracted first to third feature points is minimized, thereby calculating the external parameter between the cameras (S103). ).
  • the calibration image capturing unit 10 includes a visible camera, a depth camera, and a far-infrared camera.
  • the calibration image capturing unit 10 includes a visible camera and a depth camera. It may consist only of In this case, the computer (central processing unit; processor; data processing unit) 20 does not require the infrared camera calibration unit 23. That is, the computer (central processing unit; processor; data processing unit) 20 includes a visible camera calibration unit 21, a depth camera calibration unit 22, and a bundle adjustment unit 30.
  • a camera calibration program is developed in a RAM (random access memory), and hardware such as a control unit (CPU (central processing unit)) is operated based on the program.
  • CPU central processing unit
  • Each part is realized as various means.
  • the program may be recorded on a recording medium and distributed.
  • the program recorded on the recording medium is read into a memory via a wired, wireless, or recording medium itself, and operates a control unit or the like. Examples of the recording medium include an optical disk, a magnetic disk, a semiconductor memory device, and a hard disk.
  • a computer that operates as a camera calibration device is based on a camera calibration program developed in a RAM, a visible camera calibration unit 21, a depth camera calibration unit 22, an infrared camera calibration. It can be realized by operating as the unit 23 and the bundle adjusting unit 30.
  • the specific configuration of the present invention is not limited to the above-described embodiment (example), and changes in a range not departing from the gist of the present invention are included in the present invention.
  • the case where three types of cameras, that is, a visible camera, a depth camera, and a far-infrared camera are used as different types of cameras has been described.
  • the present invention uses four or more types of cameras. It is clear that the same applies to the above.

Abstract

基盤上に立体的に配置したカメラ校正用ボードは、基盤と複数の平面板と同一の長さを持つ複数の支柱とから成る。複数の平面板は、基盤に対して空間中の異なる平面上に配置されている。基盤と複数の平面板の各々は、可視光に対する反射率が異なる。これにより、複数のセンサより取得された画像群を容易に解析するために、異なる種類のイメージセンサを用いたカメラ同士の校正に必要な、カメラ間の外部パラメータを正確に計測することが可能となる。

Description

カメラ校正用ボード、カメラ校正用装置、カメラ校正用方法、及びカメラ校正用プログラム記録媒体
　本発明は、カメラ校正用ボード、カメラ校正用装置、カメラ校正用方法、及びカメラ校正用プログラム記録媒体に関する。
　近年、様々な目的対象を撮像するために、各々適したセンサを用いたカメラが広く普及している。例えば、人物などを監視するために、可視センサを用いた監視カメラが広く普及している。一方、深度画像を取得するための廉価な深度画像取得用カメラ（以下、「デプスカメラ」と呼ぶ）も、広く普及している。また、夜間における監視に対して、近赤外線カメラや遠赤外線カメラなどの非可視光センサを用いたカメラも広く普及している。
　複数のセンサより取得された画像群を容易に解析するために、異なる種類のイメージセンサを用いたカメラ同士の校正が必要になる。より具体的には、各カメラのレンズ歪や画像中心などを表す内部パラメータと、カメラ間の相対的位置関係を表す外部パラメータとを正確に計測することが必要になる。このような背景の中、先行技術として、非特許文献１は、深度画像と可視画像とを用いた同時校正方法を開示している。また、非特許文献２は、画像から算出して得られた特徴点からカメラの内部パラメータを算出する方法を開示している。
　また、本発明に関連する他の先行技術（特許文献）も知られている。
　例えば、特許文献１は、ステレオカメラ校正装置に用いられる校正テーブルを開示している。特許文献１に開示された校正テーブルは、平板の上面に設けられ、多数の穴が形成された穴あき板と、穴あき板の多数の穴の任意の位置にランダムに嵌合された複数の棒材（校正ポール）とから成る。平板の上面は黒色に塗られ、穴あき板の上面は灰色に塗られ、校正ポールの頂部は白色に塗られている。校正ポールの長さがランダムに設定されている。校正テーブルの上部には二台のカメラ（左カメラ、右カメラ）が内斜視に配されている。左カメラ、右カメラの光軸は校正テーブルのある一点におおよそ結ばれるようになっている。
　また、特許文献２は、一台のカメラのカメラパラメータを推定するカメラパラメータ推定装置を開示している。特許文献２に開示されたカメラパラメータ推定装置は、対応点探索装置と、カメラパラメータ推定手段とを備えている。対応点探索装置は、一台のカメラで同一の被写体を撮影した複数の画像間において対応点を探索する。カメラパラメータ推定手段は、対応点探索手段から入力された対応点の情報を利用して、バンドルアジャストメント（Bundle Adjustment:バンドル調整処理）によって、カメラ姿勢係数を未知数として最適化を行い、カメラパラメータを推定する。
特開平０８－０８６６１３号公報 特開２０１４－０３２６２８号公報
Herrera, C., Juho Kannala, and Janne Heikkilae. "Joint depth and color camera calibration with distortion correction." Pattern Analysis and Machine Intelligence, IEEE Transactions on 34.10 (2012): 2058-2064. Zhang, Zhengyou. "A flexible new technique for camera calibration." Pattern Analysis and Machine Intelligence, IEEE Transactions on 22.11 (2000): 1330-1334.
　しかしながら、非特許文献１の手法は、可視画像と深度画像とにおける、カメラ間の外部パラメータを高精度に計測する処理である、バンドル調整の精度が低下するという課題がある。その理由は、次の通りである。一般的に、「バンドル調整」とは、同一の対応する点群の座標から、カメラパラメータを全体最適化により算出する処理である。しかしながら、非特許文献１の手法では、同一の対応する点群の座標値を、可視画像と深度画像とから簡易な処理で高精度の取得することが困難であるためである。
　尚、非特許文献２は、単に、特徴点からカメラの内部パラメータを算出する方法を開示しているに過ぎない。
　また、特許文献１，２には、それぞれ、次に述べるような問題点がある。
　特許文献１は、二台のカメラで物体を撮影する場合に、カメラの空間位置を簡単にしかも正確に校正するために使用される校正テーブルを開示しているに過ぎない。すなわち、特許文献１に開示された校正テーブルは、同じ種類の二台のカメラの空間位置を校正するために用いられるものであって、種類の異なる複数のカメラ同士を校正することを何ら意図しておらず、解決しようとする課題が異なる。
　特許文献２は、単に、バンドル調整によって、一台のカメラのカメラパラメータを推定するカメラパラメータ推定装置を開示しているに過ぎない。特許文献２でも、種類の異なる複数のカメラ同士を校正することを何ら意図しておらず、解決しようとする課題が異なる。
　本発明の目的は、上記した課題を解決する、カメラ校正用ボード、カメラ校正用装置、カメラ校正用方法、及びカメラ校正用プログラム記録媒体を提供することにある。
　本発明の一形態は、基盤と；該基盤上に、それぞれ、同一の長さを持つ複数の支柱を介して配置された複数の平面板と；を備えるカメラ校正用ボードであって、前記複数の平面板は、前記基盤に対して空間中の異なる平面上に配置されており、前記基盤と前記複数の平面板の各々とは、可視光に対する反射率が異なる、カメラ校正用ボードである。
　本発明のカメラ校正用装置は、上記カメラ校正用ボードを用いて、それぞれ、第１乃至第Ｍ（Ｍは２以上の整数）の校正用画像を撮影する、種類の異なる第１乃至第Ｍのカメラを含む校正用画像撮影部と；前記第１乃至第Ｍの校正用画像から、それぞれ、第１乃至第Ｍの特徴点を算出する第１乃至第Ｍの特徴点検出部と；前記第１乃至第Ｍの特徴点から、それぞれ、前記第１乃至第Ｍのカメラ用の第１乃至第Ｍのカメラパラメータを算出する第１乃至第Ｍのカメラパラメータ推定部と；前記第１乃至第Ｍのカメラパラメータを用いて、カメラ間の外部パラメータを算出するバンドル調整部と；を備える。
　本発明のカメラ校正用方法は、上記カメラ校正用ボードを用いて、種類の異なる第１乃至第Ｍ（Ｍは２以上の整数）のカメラが、それぞれ、第１乃至第Ｍの校正用画像を撮影し；第１乃至第Ｍの特徴点検出部が、それぞれ、前記第１乃至第Ｍの校正用画像から第１乃至第Ｍの特徴点を算出し；第１乃至第Ｍのカメラパラメータ推定部が、それぞれ、前記第１乃至第Ｍの特徴点から前記第１乃至第Ｍのカメラ用の第１乃至第Ｍのカメラパラメータを算出し；バンドル調整部が、前記第１乃至第Ｍのカメラパラメータを用いて、カメラ間の外部パラメータを算出する。
　本発明のカメラ校正用プログラム記録媒体は、上記カメラ校正用ボードを用いて、種類の異なる第１乃至第Ｍ（Ｍは２以上の整数）のカメラが撮影して得られた第１乃至第Ｍの校正用画像から、それぞれ、第１乃至第Ｍの特徴点を算出する手順と、前記第１乃至第Ｍの特徴点から、それぞれ、前記第１乃至第Ｍのカメラ用の第１乃至第Ｍのカメラパラメータを算出する手順と、前記第１乃至第Ｍのカメラパラメータを用いて、カメラ間の外部パラメータを算出する手順と、をコンピュータに実行させるカメラ校正用プログラムを記録した媒体である。
　本発明によれば、種類の異なる複数のカメラ同士の校正に必要な、カメラ間の外部パラメータを高精度に計測することが可能となる。
本発明の一実施の形態に係るカメラ校正用ボードの概略図である。 本発明の実施例に係るカメラ校正用装置の概略構成を示すブロック図である。 図２に示したカメラ校正用装置の動作を説明するための流れ図である。 図２に示したカメラ校正用装置に使用される校正用画像撮影部の可視カメラにて撮影された校正用画像（可視画像）の一例を示す図である。 図２に示したカメラ校正用装置に使用される校正用画像撮影部の遠赤外線カメラにて撮影された校正用画像（遠赤外線画像）の一例を示す図である。
[第１の実施の形態] 
　次に、本発明を実施するための第１の実施形態について、図面を参照して詳細に説明する。
　図１を参照すると、本発明の第１の実施形態で用いるカメラ校正用ボードは、基盤１と、複数の平面板２と、複数の支柱３とから成る。複数の支柱３は、同じ長さを持つ。複数の平面板２は、基盤１上に、それぞれの対応する支柱２を介して、立体的に配置されている。ここで、複数の平面板２の各々は、矩形状の板から成るが、複数の平面板２は、空間中において、平面上に配置されている。なお、以下においては、基盤１が平面である場合について説明するが、本発明はこれに限定されない。すなわち、複数の平面板２が、基盤１に対して、所定の距離だけ離間した空間上のある平面に配置されていればそれでよい。
　また、本発明の第１の実施形態で用いるカメラ校正用ボードにおいては、基盤１と複数の平面板２の各々は、可視光に対する反射率が基盤１と平面板２とで異なる。例えば、基盤１については、白色の材質や、或いは白色以外の材質の表面に白色の塗料や樹脂などで塗装をしたものを用いる。その場合、各平面板２については、白色以外の材質や、或いは白色以外の塗料や樹脂などで表面を塗装したものを用いる。
　或いは、各平面板２については、白色の材質や、或いは白色以外の材質の表面に白色の塗料や樹脂などで塗装をしたものを用いる。その場合、基盤１についは、白色以外の材質や、或いは白色以外の塗料や樹脂などで表面を塗装したものを用いる。
　より一般的に、本発明の第１の実施形態で用いるカメラ校正用ボードにおいて、基盤１については、ある色（以下、「甲色」とよぶ）の材質や、或いは、甲色以外の材質の表面にある甲色の塗料や樹脂などで塗装をしたものを用いる。その場合、各平面板２については、甲色以外の材質や、或いは甲色以外の塗料や樹脂などで表面を塗装したものを用いる。
なお，本発明において，各平面版２が，一定の厚みを有する平面版である場合には，基盤１と各平面版２との間の面において，平面板に対し面取り加工を施してもよい．
　いずれにせよ、基盤１と各平面板２の可視光に対する反射率が異なればよく、以上の構成に限定されるものではない。
　本第１の実施形態においては、後述するカメラ校正用装置の校正用画像撮影部は、このようなカメラ校正用ボードを用いて第１および第２の校正用画像を撮影する。校正用画像撮影部は、カメラ校正用ボードを用いて第１の校正用画像として可視画像を撮影する可視カメラと、カメラ校正用ボードを用いて第２の校正用画像として深度画像を撮影するデプスカメラとから成る。
　次に、本第１の実施形態の効果について説明する。
　本発明の第１の実施形態によれば、可視カメラから得られた可視画像と、デプスカメラから得られた深度画像とから、デプスカメラと可視カメラの校正に必要な、カメラ間の外部パラメータを高精度に計測するのを可能にする、カメラ校正用装置を提供できる。その理由は、本第１の実施形態で説明した本カメラ校正用ボードを用いることで、基盤１と複数の平面板２とが、互いに異なる平面上に位置しており、さらに可視光での反射率も異なるために、複数の平面板２の上に存在する平面上に配置された点群を、可視画像と深度画像とから高精度に抽出できるためである。
[第２の実施の形態] 
　次に、本発明を実施するための第２の実施形態について、図面を参照して詳細に説明する。
　図１を参照すると、本発明の第２の実施形態で用いるカメラ校正用ボードは、上記第１の実施形態で述べた構成に加え、さらに、基盤１と複数の平面板２とが、温度が異なる状態を作りだし、かつ熱が相互に移動しないように加工されている。例えば、カメラ校正用ボードは、複数の平面板２を加熱（或いは減熱）することで、基盤１と複数の平面板２との間で温度が異なる状態を作り出せばよい。或いは、カメラ校正用ボードは、基盤１を加熱（或いは減熱）することで、基盤１と複数の平面板２との間で温度が異なる状態を作り出してもよい。
　また、加熱（或いは減熱）する基盤１或いは複数の平面板２については、温度が均一になるように、熱伝導性が高く、熱放射が大きい材質を用いればよい。或いは、高い熱伝導性と熱放射性を両立させるために、基盤１或いは複数の平面板２の各々は、熱伝導性の高い物質上に、熱放射性の高い物質を重ねた構成としてもよい。より具体的には、熱伝導性の高い物質としては、アルミニウムなどの金属を用い、熱放射性の高い物質としては、樹脂などを塗料として塗装してもよい。或いは，アルミニウムなどの熱放射性を向上させるために、基盤１或いは複数の平面板２の各々として、金属表面上にアルマイト処理などを施したものを用いてもよい。
　また、基盤１或いは複数の平面板２の各々を加熱する方法としては、例えば、電熱線のような物体を、加熱する対象となる基盤１或いは複数の平面板２に接触或いは内蔵させ、通電させることで加熱してもよい。或いは、基盤１或いは複数の平面板２の各々を加熱する方法としては、基盤１或いは複数の平面板２の各々の周囲に、高温或いは低温の物体を設置し、これらを加熱或いは減熱してもよいし、温風や冷風などを用いてこれらを加熱或いは減熱してもよい。
　さらに、基盤１と複数の平面板２との間を複数の支柱３で支える構成は、基盤１と複数の平面板２との間の熱が相互に移動しないように構成する。例えば、各支柱３としては、熱伝導性の低いものを用いて、基盤１と複数の平面板２との間を支えるように構成してもよい。熱伝導性が低い物質としては、例えば、樹脂，プラスチック，木材，ガラス，発泡スチロール，フェノールフォーム，硬質ウレタンフォームなどを用いればよい。なお、本発明はこれに限定されるものではなく、熱伝導性が低い物質であれば何でもよい。
　なお、本発明の実施形態で用いるカメラ校正用ボードにおいて、使用する環境は限定されない。例えば、カメラ校正用ボードを、屋内で使用しても良いし、屋外で使用してもよい。
　本第２の実施形態においては、後述するカメラ校正用装置の校正用画像撮影部は、このようなカメラ校正用ボードを用いて第１乃至第３の校正用画像を撮影する。校正用画像撮影部は、カメラ校正用ボードを用いて第１の校正用画像として可視画像を撮影する可視カメラと、カメラ校正用ボードを用いて第２の校正用画像として深度画像を撮影するデプスカメラと、カメラ校正用ボードを用いて第３の校正用画像として遠赤外線画像を撮影する遠赤外線カメラとから成る。
　次に、第２の実施形態の効果について説明する。
　本発明の第２の実施形態によれば、デプスカメラ、遠赤外線カメラ、及び可視カメラを同時に校正するために必要な、カメラ間の外部パラメータを高精度で測定することが可能なカメラ校正用装置を提供できる。その理由は、本発明の第２の実施形態で用いるカメラ校正用ボードを用いることで、基盤１と複数の平面板２とが異なる平面上に位置しており、さらに可視光での反射率も異なり、さらに基盤１の温度と複数の平面板２の温度とが異なるために、複数の平面板２の上に存在する平面上に配置された点群を、可視画像と深度画像及び遠赤外線画像から高精度に抽出できるためである。
　次に本発明における実施例について説明する。なお、以下では、上記第１の実施形態、上記第２の実施形態において述べたカメラ校正用ボードを用い、画像処理を用いて構成する例について説明するが、本発明はこれに限定されない。
　図２を参照すると、本発明の一実施例に係るカメラ校正用装置は、校正用画像撮影部１０と、プログラム制御により動作するコンピュータ（中央処理装置；プロセッサ；データ処理装置）２０とから成る。コンピュータ（中央処理装置；プロセッサ；データ処理装置）２０は、可視カメラ校正部２１と、デプスカメラ校正部２２と、赤外線カメラ校正部２３と、バンドル調整部３０とから成る。
　さらに、可視カメラ校正部２１は、可視画像特徴点検出部２１１及び可視カメラパラメータ推定部２１２から成る。同様に、デプスカメラ校正部２２は、深度画像特徴点検出部２２１及びデプスカメラパラメータ推定部２２２から成る。また、赤外線カメラ校正部２３は、赤外線画像特徴点検出部２３１及び赤外線カメラパラメータ推定部２３２から成る。
　尚、可視画像特徴点検出部２１１、深度画像特徴点検出部２２１、および赤外線画像特徴点検出部２３１は、それぞれ、第１乃至第３の特徴点検出部とも呼ばれる。また、可視カメラパラメータ推定部２１２、デプスカメラパラメータ推定部２２２、および赤外線カメラパラメータ推定部２３２は、それぞれ、第１乃至第３のカメラパラメータ推定部とも呼ばれる。
　以下、各構成の詳細について説明する。
　なお、以下では、校正用画像撮影部１０として、可視カメラ、デプスカメラ及び遠赤外線カメラを同時に構成する方法について述べるが、本発明はこれに限定されない。例えば、本発明の実施形態におけるカメラ校正用ボードを用いて、校正用画像撮影部１０、可視カメラとデプスカメラとのみから成ってもよいし、可視カメラと遠赤外線カメラとのみから成ってもよいし、遠赤外線カメラとデプスカメラとのみから成ってもよい。
　尚、可視カメラは第１のカメラとも呼ばれ、デプスカメラは第２のカメラとも呼ばれ、遠赤外線カメラは第３のカメラとも呼ばれる。
　校正用画像撮影部１０は、本発明の上記実施形態において述べたカメラ校正用ボードを用いて、複数の校正用画像を取得する。より具体的には、基盤１或いは複数の平面板２を加熱した後、複数の校正用画像を、可視カメラ、デプスカメラ、及び遠赤外線カメラにて、例えば、図４、図５のように、同時に、複数の姿勢で撮影すれば良い。
　図４は可視カメラにて撮影された第１の校正用画像（可視画像）の一例を示す図であり、図５は遠赤外線カメラにて撮影された第３の校正用画像（遠赤外線画像）の一例を示す図である。
　複数の姿勢で撮影する際には、図１に示すカメラ校正用ボードをカメラの光軸に対して傾けて撮影してもよい。例えば、撮影する画像の枚数については、カメラ毎に２０枚程度撮影すればよい。撮影した画像は、メモリ（図示せず）に記憶される。
　なお、以上では、校正用画像撮影部１０は、新たに校正用画像を撮影する場合について述べたが、本発明はこれに限定されるものではない。例えば、あらかじめ撮影され、メモリ（図示せず）に記憶された校正用画像を読み込んでもよい。あるいは、あらかじめ撮影された校正用画像と、校正用画像撮影部１０で新たに撮影した校正用画像とをメモリ（図示せず）に記憶してもよい。
　図２に戻って、次に、各カメラ（可視カメラ、デプスカメラ、及び遠赤外線カメラ）で撮影した画像（可視画像、深度画像、遠赤外線画像）は、それぞれ、可視カメラ校正部２１、デプスカメラ校正部２２、および赤外線カメラ校正部２３へ供給される。可視画像特徴点検出部２１１、深度画像特徴点検出部２２１、及び赤外線画像特徴点検出部２３１は、それぞれ、可視画像、深度画像、および遠赤外線画像から、可視カメラパラメータ推定部２１２、デプスカメラパラメータ推定部２２２、赤外線カメラパラメータ推定部２３２にて用いる、第１乃至第３の特徴点を検出する。
　より具体的には、例えば、可視画像特徴点検出部２１１は、可視画像（第１の校正用画像）から、複数の平面板２の市松模様上の交点を、第１の特徴点として検出する。第１の特徴点を検出する方法としては、例えば、ハリスのコーナー検出を用いればよい。さらに、より高精度に第１の特徴点の座標を算出するために、可視画像特徴点検出部２１１は、パラボラフィッティングなどを用いて、サブピクセル精度で第１の特徴点を検出してもよい。
　また、深度画像特徴点検出部２２１は、まず、前処理として、深度画像（第２の校正用画像）から、基盤１の平面を算出し、各画像の画素値をその算出した平面からの距離の値に変換する。その後、深度画像特徴点検出部２２１は、可視画像特徴点検出部２１１と同様に、例えばハリスのコーナー検出を用いて、第２の特徴点の座標を算出すればよい。
　また、赤外線画像特徴点検出部２３１は、例えば、前処理として、遠赤外線画像（第３の校正用画像）のノイズを除去する。その後に、赤外線画像特徴点検出部２３１は、可視画像特徴点検出部２１１と同様に、例えばハリスのコーナー検出を用いて、第３の特徴点の座標を算出すればよい。
　なお、本発明における特徴点検出の方法は、上記に限定されるものではなく、例えばテンプレートマッチングなどの方法で、コーナーを検出してもよい。或いは、本発明における特徴点検出の方法は、エッジ検出処理を行い、市松模様のエッジを検出した後、その交点をコーナーとして検出してもよい。
　次に、可視カメラパラメータ推定部２１２、デプスカメラパラメータ推定部２２２、および赤外線カメラパラメータ推定部２３２は、それぞれ、算出された画像の第１乃至第３の特徴点の座標から、各カメラの第１乃至第３のカメラパラメータを算出する。
　より具体的に、可視画像を例にとって説明する。可視カメラパラメータ推定部２１２は、算出した第１の特徴点（市松模様の交点の座標値）から、例えば、非特許文献２に記載の方法を用いて、第１のカメラパラメータとして、可視カメラの内部パラメータを算出すればよい。より具体的には、非特許文献２に記載のカメラモデルを用いて、可視カメラパラメータ推定部２１２は、算出された第１の特徴点の座標から得られる再投影誤差が最小となるように、第１のカメラパラメータとして、前記カメラモデルの内部パラメータを算出すればよい。
　なお、以上の実施例では、第１のカメラパラメータとして、カメラの内部パラメータのみを算出する方法について述べたが、本発明はこれに限定されない。例えば、可視カメラパラメータ推定部２１２は、内部パラメータと同時に、可視カメラのレンズ歪を算出し、これを補正してもよい。又は、可視カメラパラメータ推定部２１２は、可視カメラから取得された第１の特徴点の座標から、各カメラにおいてバンドル調整を行い、より高精度に、第１のカメラパラメータとして、内部パラメータとレンズ歪及び、外部パラメータを算出してもよい。より具体的には、非特許文献２に記載のカメラモデルを用いて、可視カメラパラメータ推定部２１２は、算出された第１の特徴点の座標から得られる再投影誤差が最小となるように、第１のカメラパラメータとして、前記カメラモデルの内部パラメータとレンズ歪及び、外部パラメータを算出すればよい。
　また、デプスカメラパラメータ推定部２２２、及び赤外線カメラパラメータ推定部２３２は、可視カメラパラメータ推定部２１２と同様の方法で、第２および第３のカメラパラメータを算出してもよい。又は、デプスカメラパラメータ推定部２２２、及び赤外線カメラパラメータ推定部２３２は、各カメラの特性をより精緻にモデル化したものを用いて、第２および第３のカメラパラメータを算出してもよい。例えば、デプスカメラを例にとって説明すると、デプスカメラパラメータ推定部２２２は、非特許文献１に記載のカメラモデルを用いて、第２のカメラパラメータとして、デプスカメラの内部パラメータやレンズ歪を算出してもよい。
　バンドル調整部３０は、可視画像特徴点検出部２１１、深度画像特徴点検出部２２１、及び赤外線画像特徴点検出部２３１にて抽出した第１乃至第３の特徴点の座標と、可視カメラパラメータ推定部２１２、デプスカメラパラメータ推定部２２２、及び赤外線カメラパラメータ推定部２３２にて算出した第１乃至第３のカメラパラメータ（各カメラの内部パラメータ，レンズ歪の値）とを用いて、カメラ間の外部パラメータを算出する。より具体的には、バンドル調整部３０は、可視画像特徴点検出部２１１、深度画像特徴点検出部２２１、及び赤外線画像特徴点検出部２３１にて抽出した第１乃至第３の特徴点の座標から得られる再投影誤差が最小となるように、カメラ間の外部パラメータを算出すればよい。
　次に、図３のフローチャートを参照して、本実施例に係るカメラ校正用装置の全体の動作について詳細に説明する。
　まず、各カメラ（可視カメラ、デプスカメラ、及び遠赤外線カメラ）にて校正用ボードを用いて、第１乃至第３の校正用画像を撮影する（Ｓ１００）。
　次に、可視画像特徴点検出部２１１、深度画像特徴点検出部２２１、及び赤外線画像特徴点検出部２３１にて、各カメラにおける第１乃至第３の特徴点を検出する（Ｓ１０１）。
　次に、可視カメラパラメータ推定部２１２、デプスカメラパラメータ推定部２２２、及び赤外線カメラパラメータ推定部２３２にて、それぞれ、カメラ毎に算出された画像の第１乃至第３の特徴点の座標から、各カメラの第１乃至第３のカメラパラメータ（内部パラメータ）を算出する（Ｓ１０２）。
　さらに、バンドル調整部３０にて、可視カメラパラメータ推定部２１２、デプスカメラパラメータ推定部２２２、及び赤外線カメラパラメータ推定部２３２において算出した第１乃至第３のカメラパラメータ（各カメラの内部パラメータ、レンズ歪の値）を用いて、抽出した第１乃至第３の特徴点の座標から得られる再投影誤差が最小となるように外部パラメータを最適化することで、カメラ間の外部パラメータを算出する（Ｓ１０３）。
　尚、上記実施例では、校正用画像撮影部１０が、可視カメラ、デプスカメラ、及び遠赤外線カメラを有する場合を例に挙げて説明したが、校正用画像撮影部１０は、可視カメラとデプスカメラとのみから成っても良い。この場合には、コンピュータ（中央処理装置；プロセッサ；データ処理装置）２０は、赤外線カメラ校正部２３が不要である。すなわち、コンピュータ（中央処理装置；プロセッサ；データ処理装置）２０は、可視カメラ校正部２１と、デプスカメラ校正部２２と、バンドル調整部３０とから成る。
　尚、カメラ校正用装置の各部は、ハードウェアとソフトウェアとの組み合わせを用いて実現すればよい。ハードウェアとソフトウェアとを組み合わせた形態では、ＲＡＭ（random access memory）にカメラ校正用プログラムが展開され、該プログラムに基づいて制御部（ＣＰＵ（central processing unit））等のハードウェアを動作させることによって、各部を各種手段として実現する。また、該プログラムは、記録媒体に記録されて頒布されても良い。当該記録媒体に記録されたプログラムは、有線、無線、又は記録媒体そのものを介して、メモリに読込まれ、制御部等を動作させる。尚、記録媒体を例示すれば、オプティカルディスクや磁気ディスク、半導体メモリ装置、ハードディスクなどが挙げられる。
　上記実施の形態を別の表現で説明すれば、カメラ校正用装置として動作させるコンピュータを、ＲＡＭに展開されたカメラ校正用プログラムに基づき、可視カメラ校正部２１、デプスカメラ校正部２２、赤外線カメラ校正部２３、およびバンドル調整部３０として動作させることで実現することが可能である。
　以上説明したように、本発明の実施例によれば、異なる種類のカメラ同士の校正に必要な、カメラ間の外部パラメータを高精度に計測することが可能となる。
　また、本発明の具体的な構成は前述の実施形態（実施例）に限られるものではなく、この発明の要旨を逸脱しない範囲の変更があってもこの発明に含まれる。例えば、上記実施例では、異なる種類のカメラとして、可視カメラ、デプスカメラ、および遠赤外線カメラの３種類のカメラを使用する場合について説明したが、本発明は、４種類以上のカメラを使用する場合にも同様に適用可能であるのは明らかである。
　以上、実施の形態（実施例）を参照して本願発明を説明したが、本願発明は上記実施の形態（実施例）に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
　この出願は、２０１５年９月２９日に出願された日本出願特願２０１５－１９１４１７を基礎とする優先権を主張し、その開示の全てをここに取り込む。
　　　１　　基盤
　　　２　　平面板
　　　３　　支柱
　　１０　　校正用画像撮影部
　　２０　　コンピュータ（中央処理装置；プロセッサ；データ処理装置）
　　２１　　可視カメラ校正部
　　２１１　　可視画像特徴点検出部
　　２１２　　可視カメラパラメータ推定部
　　２２　　デプスカメラ校正部
　　２２１　　深度画像特徴点検出部
　　２２２　　デプスカメラパラメータ推定部
　　２３　　赤外線カメラ校正部
　　２３１　　赤外線画像特徴点検出部
　　２３２　　赤外線カメラパラメータ推定部
　　３０　　バンドル調整部

Claims (13)

  1. 　基盤と、
    　該基盤上に、それぞれ、同一の長さを持つ複数の支柱を介して配置された複数の平面板と、
    を備えるカメラ校正用ボードであって、
    　前記複数の平面板は、前記基盤に対して空間中の異なる平面上に配置されており、
    　前記基盤と前記複数の平面板の各々とは、可視光に対する反射率が異なる、カメラ校正用ボード。
  2. 　前記複数の平面板の各々は、矩形状である、請求項１に記載のカメラ校正用ボード。
  3. 　前記基盤と前記複数の平面板の各々は、加熱或いは減熱することで温度が異なる状態を作りだされ、かつ熱が相互に移動しないように加工されている、請求項１又は２に記載のカメラ校正用ボード。
  4. 　加熱或いは減熱する対象となる前記基盤或いは前記複数の平面板の各々は、熱伝導性が高く、熱放射が大きい材質から構成される、請求項３に記載のカメラ校正用ボード。
  5. 　加熱或いは減熱する対象となる前記基盤或いは前記複数の平面板の各々は、熱伝導性の高い物質上に、熱放射性の高い物質を重ねることで構成される、請求項３に記載のカメラ校正用ボード。
  6. 　加熱或いは減熱する対象となる前記基盤或いは前記複数の平面板の各々は、加熱対象となる物体を内蔵或いは付属する、請求項３に記載のカメラ校正用ボード。
  7. 　前記支柱が熱伝導性の低いものを用いて構成される、請求項３乃至６のいずれか１つに記載のカメラ校正用ボード。
  8. 　請求項１又は２に記載のカメラ校正用ボードを用いて、それぞれ、第１および第２の校正用画像を撮影する、種類の異なる第１および第２のカメラを含む校正用画像撮影部と、
    　前記第１および第２の校正用画像から、それぞれ、第１および第２の特徴点を算出する第１および第２の特徴点検出部と、
    　前記第１および第２の特徴点から、それぞれ、前記第１および第２のカメラ用の第１および第２のカメラパラメータを算出する第１および第２のカメラパラメータ推定部と、
    　前記第１および第２のカメラパラメータを用いて、カメラ間の外部パラメータを算出するバンドル調整部と、
    　を備えるカメラ校正用装置。
  9. 　前記第１のカメラは可視カメラから成り、前記第１の校正用画像は可視画像から成り、
    　前記第２のカメラはデプスカメラから成り、前記第２の校正用画像は深度画像から成る、
    請求項８に記載のカメラ校正用装置。
  10. 　請求項３乃至７のいずれか１つに記載のカメラ校正用ボードを用いて、それぞれ、第１乃至第Ｎ（Ｎは３以上の整数）の校正用画像を撮影する、種類の異なる第１乃至第Ｎのカメラを含む校正用画像撮影部と、
    　前記第１乃至第Ｎの校正用画像から、それぞれ、第１乃至第Ｎの特徴点を算出する第１乃至第Ｎの特徴点検出部と、
    　前記第１乃至第Ｎの特徴点から、それぞれ、前記第１乃至第Ｎのカメラ用の第１乃至第Ｎのカメラパラメータを算出する第１乃至第Ｎのカメラパラメータ推定部と、
    　前記第１乃至第Ｎのカメラパラメータを用いて、カメラ間の外部パラメータを算出するバンドル調整部と、
    　を備えるカメラ校正用装置。
  11. 　前記Ｎは３に等しく、
    　前記第１のカメラは可視カメラから成り、前記第１の校正用画像は可視画像から成り、
    　前記第２のカメラはデプスカメラから成り、前記第２の校正用画像は深度画像から成り、
    　前記第３のカメラは遠赤外線カメラから成り、前記第３の校正用画像は遠赤外線画像から成る、
    請求項１０に記載のカメラ校正用装置。
  12. 　請求項１乃至７のいずれか１つに記載のカメラ校正用ボードを用いて、種類の異なる第１乃至第Ｍ（Ｍは２以上の整数）のカメラが、それぞれ、第１乃至第Ｍの校正用画像を撮影し、
    　第１乃至第Ｍの特徴点検出部が、それぞれ、前記第１乃至第Ｍの校正用画像から第１乃至第Ｍの特徴点を算出し、
    　第１乃至第Ｍのカメラパラメータ推定部が、それぞれ、前記第１乃至第Ｍの特徴点から前記第１乃至第Ｍのカメラ用の第１乃至第Ｍのカメラパラメータを算出し、
    　バンドル調整部が、前記第１乃至第Ｍのカメラパラメータを用いて、カメラ間の外部パラメータを算出する、
    カメラ校正用方法。
  13. 　請求項１乃至７のいずれか１つに記載のカメラ校正用ボードを用いて、種類の異なる第１乃至第Ｍ（Ｍは２以上の整数）のカメラが撮影して得られた第１乃至第Ｍの校正用画像から、それぞれ、第１乃至第Ｍの特徴点を算出する手順と、
    　前記第１乃至第Ｍの特徴点から、それぞれ、前記第１乃至第Ｍのカメラ用の第１乃至第Ｍのカメラパラメータを算出する手順と、
    　前記第１乃至第Ｍのカメラパラメータを用いて、カメラ間の外部パラメータを算出する手順と、
    をコンピュータに実行させるカメラ校正用プログラムを記録したカメラ校正用プログラム記録媒体。
PCT/JP2016/004338 2015-09-29 2016-09-26 カメラ校正用ボード、カメラ校正用装置、カメラ校正用方法、及びカメラ校正用プログラム記録媒体 WO2017056473A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2017542739A JP6721884B2 (ja) 2015-09-29 2016-09-26 カメラ校正用ボード、カメラ校正用装置、カメラ校正用方法、及びカメラ校正用プログラム記録媒体
US15/763,613 US20180262748A1 (en) 2015-09-29 2016-09-26 Camera calibration board, camera calibration device, camera calibration method, and program-recording medium for camera calibration

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015-191417 2015-09-29
JP2015191417 2015-09-29

Publications (1)

Publication Number Publication Date
WO2017056473A1 true WO2017056473A1 (ja) 2017-04-06

Family

ID=58423101

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/004338 WO2017056473A1 (ja) 2015-09-29 2016-09-26 カメラ校正用ボード、カメラ校正用装置、カメラ校正用方法、及びカメラ校正用プログラム記録媒体

Country Status (3)

Country Link
US (1) US20180262748A1 (ja)
JP (1) JP6721884B2 (ja)
WO (1) WO2017056473A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019158414A (ja) * 2018-03-08 2019-09-19 東芝テック株式会社 情報処理装置
CN110322519A (zh) * 2019-07-18 2019-10-11 天津大学 一种用于激光雷达与相机联合标定的标定装置及标定方法
JPWO2020175621A1 (ja) * 2019-02-28 2020-09-03

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6718279B2 (ja) * 2016-03-31 2020-07-08 株式会社オーク製作所 露光装置、ステージ較正システム、およびステージ較正方法
JP6930545B2 (ja) * 2016-11-07 2021-09-01 ソニーグループ株式会社 画像処理装置、キャリブレーション用チャート、及びキャリブレーションシステム
EP3704668A4 (en) * 2018-12-17 2021-04-07 SZ DJI Technology Co., Ltd. IMAGE PROCESSING METHOD AND APPARATUS
DE102019122654A1 (de) * 2019-08-22 2021-02-25 M & H Inprocess Messtechnik Gmbh Vorrichtung zur Kalibrierung einer Geschwindigkeit einer Bewegungsachse einer Maschine
CN110969670B (zh) * 2019-11-22 2022-02-15 大连理工大学 基于显著特征的多光谱相机动态立体标定方法
WO2023187080A1 (en) * 2022-03-31 2023-10-05 Essilor International Mirror based calibration of a camera

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011064636A (ja) * 2009-09-18 2011-03-31 Suzuki Motor Corp 熱画像カメラの校正装置
WO2014162344A1 (ja) * 2013-04-01 2014-10-09 株式会社ブリリアントサービス キャリブレーションパターン、キャリブレーション方法およびキャリブレーションプログラム

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4480372A (en) * 1981-04-20 1984-11-06 Hughes Aircraft Company Process of fabricating target for calibrating and testing infrared detection devices
JP3902109B2 (ja) * 2002-10-02 2007-04-04 本田技研工業株式会社 赤外線カメラ特性確認治具
DE102006038423A1 (de) * 2006-08-17 2008-02-21 Bayerische Motoren Werke Ag Vorrichtung zur Kalibrierung einer optischen Kamera und/oder einer Infrarot-Kamera
JP2013002258A (ja) * 2011-06-22 2013-01-07 Panasonic Corp 間仕切パネル及びこれを備えた間仕切装置
USD737362S1 (en) * 2013-03-05 2015-08-25 Hon Hai Precision Industry Co., Ltd. Camera calibration board
US9596459B2 (en) * 2014-09-05 2017-03-14 Intel Corporation Multi-target camera calibration

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011064636A (ja) * 2009-09-18 2011-03-31 Suzuki Motor Corp 熱画像カメラの校正装置
WO2014162344A1 (ja) * 2013-04-01 2014-10-09 株式会社ブリリアントサービス キャリブレーションパターン、キャリブレーション方法およびキャリブレーションプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
KATSUHIRO SUZUKI ET AL.: "Thermal Observation Robot System using 3-Dimensional Mapping", ROBOTICS MECHATRONICS KOENKAI 2015 KOEN RONBUNSHU, 16 May 2015 (2015-05-16), pages 353 - 356 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019158414A (ja) * 2018-03-08 2019-09-19 東芝テック株式会社 情報処理装置
JPWO2020175621A1 (ja) * 2019-02-28 2020-09-03
WO2020175621A1 (ja) * 2019-02-28 2020-09-03 日本電気株式会社 カメラ校正情報取得装置、画像処理装置、カメラ校正情報取得方法および記録媒体
JP7121936B2 (ja) 2019-02-28 2022-08-19 日本電気株式会社 カメラ校正情報取得装置、画像処理装置、カメラ校正情報取得方法およびプログラム
US11758110B2 (en) 2019-02-28 2023-09-12 Nec Corporation Camera calibration information acquisition device, image processing device, camera calibration information acquisition method, and recording medium
CN110322519A (zh) * 2019-07-18 2019-10-11 天津大学 一种用于激光雷达与相机联合标定的标定装置及标定方法

Also Published As

Publication number Publication date
JPWO2017056473A1 (ja) 2018-07-12
JP6721884B2 (ja) 2020-07-15
US20180262748A1 (en) 2018-09-13

Similar Documents

Publication Publication Date Title
WO2017056473A1 (ja) カメラ校正用ボード、カメラ校正用装置、カメラ校正用方法、及びカメラ校正用プログラム記録媒体
US20180374239A1 (en) System and method for field calibration of a vision system imaging two opposite sides of a calibration object
CN105701827B (zh) 可见光相机与红外相机的参数联合标定方法及装置
US11562502B2 (en) System and method for calibrating a plurality of 3D sensors with respect to a motion conveyance
JP6079333B2 (ja) 校正装置、方法及びプログラム
CN106485758B (zh) 一种无人机摄像头标定装置、标定方法及流水线标定实现方法
Staranowicz et al. Practical and accurate calibration of RGB-D cameras using spheres
EP2926543A2 (en) A method of calibrating a camera and a system therefor
WO2016106694A1 (en) System and method for adjusting a baseline of an imaging system with microlens array
JP2016527478A (ja) 三次元撮影装置、三次元画像の作成方法、および、三次元撮影装置の設定方法
US10757394B1 (en) System and method for calibrating a plurality of 3D sensors with respect to a motion conveyance
JP2013122434A (ja) レーザーを用いた単眼カメラによる３次元形状位置計測装置，３次元形状位置計測処理方法および３次元形状位置計測処理プログラム
JP2011506914A (ja) 物体形状のマルチフレーム表面測定のためのシステム及び方法
EP3470778A1 (en) System and method for field calibration of a vision system imaging two opposite sides of a calibration object
JP5477658B2 (ja) キャリブレーション用校正治具、校正治具を備えた３次元計測システム
JP6930545B2 (ja) 画像処理装置、キャリブレーション用チャート、及びキャリブレーションシステム
WO2014106303A1 (en) Panoramic lens calibration for panoramic image and/or video capture apparatus
KR101785202B1 (ko) 열상 센서와 rgb-d 센서 융합을 위한 자동 캘리브레이션 시스템과 그 방법
JP6694281B2 (ja) ステレオカメラおよび撮像システム
TWI468658B (zh) 鏡頭檢測裝置及方法
JP5774230B2 (ja) 形状補正およびワーピングによる運動分析
JP2016218815A (ja) ラインセンサカメラのキャリブレーション装置及び方法
Kassebaum et al. 3-D target-based distributed smart camera network localization
JP2011155412A (ja) 投影システムおよび投影システムにおける歪み修正方法
JP4227037B2 (ja) 撮像システム及び校正方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16850653

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2017542739

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 15763613

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 16850653

Country of ref document: EP

Kind code of ref document: A1