WO2022113582A1 - キャリブレーション方法、キャリブレーション装置、キャリブレーションシステム、及び記録媒体 - Google Patents

キャリブレーション方法、キャリブレーション装置、キャリブレーションシステム、及び記録媒体 Download PDF

Info

Publication number
WO2022113582A1
WO2022113582A1 PCT/JP2021/038807 JP2021038807W WO2022113582A1 WO 2022113582 A1 WO2022113582 A1 WO 2022113582A1 JP 2021038807 W JP2021038807 W JP 2021038807W WO 2022113582 A1 WO2022113582 A1 WO 2022113582A1
Authority
WO
WIPO (PCT)
Prior art keywords
calibration
camera
image
cameras
captured
Prior art date
Application number
PCT/JP2021/038807
Other languages
English (en)
French (fr)
Inventor
静生 坂本
幸貴 宮本
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to JP2022565116A priority Critical patent/JPWO2022113582A5/ja
Priority to US18/038,279 priority patent/US20240095955A1/en
Publication of WO2022113582A1 publication Critical patent/WO2022113582A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules

Definitions

  • This disclosure relates to the technical fields of calibration methods for calibrating cameras, calibration devices, calibration systems, and recording media.
  • Patent Document 1 discloses that a target including an Aruco marker is imaged to calibrate the camera.
  • Patent Document 2 discloses that the position and orientation of a camera are estimated by imaging a large number of installed calibration boards to perform calibration.
  • Patent Document 3 discloses that a calibration board having known geometric and optical characteristics is imaged to calibrate the camera.
  • Patent Document 4 discloses that a square grid of a flat plate is imaged and calibrated while shifting the position of a carriage on which a camera is mounted.
  • This disclosure is intended to improve the related techniques mentioned above.
  • One aspect of the calibration method of the present disclosure is to image a member having a predetermined pattern whose pattern changes according to the position of the surface of the member and a marker arranged at a predetermined position with at least two cameras.
  • the image of the member captured by the at least two cameras is used to calibrate the at least two cameras.
  • One aspect of the calibration device of the present disclosure is an image of a member having a predetermined pattern whose pattern changes according to the position of the surface of the member and a marker arranged at a predetermined position captured by at least two cameras. It is provided with the acquisition means for acquiring the above and the calibration means for performing the at least two calibrations using the images of the member captured by the at least two cameras.
  • One aspect of the calibration system of the present disclosure is to drive a member having a predetermined handle whose pattern changes according to the position of the surface of the member, a marker arranged at a predetermined position, and at least the member. It includes a driving device that changes the position or angle of the member with respect to two cameras, and a calibration device that performs the at least two calibrations using images of the member captured by at least two cameras.
  • One aspect of the recording medium of the present disclosure is to image a member having a predetermined pattern whose pattern changes according to the position of the surface of the member and a marker arranged at a predetermined position with at least two cameras.
  • a computer program that operates a computer to calibrate the at least two cameras is recorded using images of the member captured by at least two cameras.
  • the 2 which shows an example of the output mode of the guidance information by the calibration apparatus which concerns on 5th Embodiment. It is a block diagram which shows the hardware composition of the calibration apparatus which concerns on 8th Embodiment. It is a block diagram which shows the functional structure of the calibration apparatus which concerns on 8th Embodiment. It is a flowchart which shows the flow of operation of the calibration apparatus which concerns on 8th Embodiment. It is a block diagram which shows the functional structure of the calibration system which concerns on 9th Embodiment. It is a flowchart which shows the operation flow of the drive device which the calibration system which concerns on 9th Embodiment has. It is a flowchart which shows the flow of the operation of calibration using a 3D image.
  • FIG. 1 is a schematic configuration diagram showing a camera and a calibration member that are calibrated by the calibration method according to the first embodiment.
  • the first camera 110 and the second camera 120 are calibrated.
  • the first camera 110 and the second camera 120 are arranged so that, for example, the same subject can be imaged from different angles.
  • the first camera 110 and the second camera 120 may be arranged so that the subject can be imaged from the same angle.
  • the first camera 110 and the second camera 120 may include a solid-state image sensor such as a CCD (Charge Coupled Device) image sensor or a CMOS (Complementary Metal Oxide Sensor) image sensor.
  • first camera 110 and the second camera 120 are an optical system that forms an image of a subject on the image pickup surface of the solid-state image sensor, and a signal processing circuit that processes the output of the solid-state image sensor to obtain a brightness value for each pixel. Etc. may be included.
  • the first camera 110 and the second camera 120 each take a common calibration member 200.
  • the calibration member 200 is, for example, a plate-shaped member, and is configured to be usable by a person by holding it in his / her hand.
  • the calibration member 200 may be configured to be available by placing it in a predetermined place or attaching it to a support member.
  • the user holding the calibration member 200 may move so as to be within the imaging range of the first camera 110 and the second camera 120.
  • the calibration member 200 may be used in a state of being fixed to a predetermined support member.
  • the calibration member 200 may be arranged within the imaging range of the first camera 110 and the second camera 120 by the user moving the fixed support member.
  • the calibration member 200 may be used in a state where it can be driven by a predetermined driving device.
  • the calibration member 200 may be arranged within the imaging range of the first camera 110 and the second camera 120 by being driven by a driving device (for example, the position or angle is changed).
  • a driving device for example, the position or angle is changed.
  • FIG. 2 is a plan view showing the configuration of a calibration member used in the calibration method according to the first embodiment.
  • the calibration member 200 used in the calibration method according to the first embodiment has a predetermined handle.
  • the "predetermined pattern” here is a pattern whose pattern changes depending on the position of the surface of the member. More specifically, what part of the calibration member 200 is reflected in the predetermined pattern from the pattern in the captured image, or what angle or what kind of angle the calibration member 200 is reflected in. Any pattern may be used as long as it can determine whether the image is reflected in the orientation (for example, when it is turned upside down).
  • An example of a predetermined pattern is, but is not limited to, a camouflage pattern as shown in FIG.
  • the first camera 110 and the second camera 120 are configured as cameras capable of performing shape measurement (for example, a 3D scanner, a range finder, etc.). Is desirable. That is, it is desirable that the first camera 110 and the second camera 120 perform 3D shape measurement and perform calibration according to the result. Such calibration will be described in detail in other embodiments described later.
  • the calibration member 200 further has a marker 205.
  • the marker 205 is arranged at a predetermined position of the calibration member 200.
  • the marker 205 may be arranged so as to superimpose on a predetermined handle of the calibration member 200, for example.
  • a plurality of markers 205 may be arranged on the calibration member 200. In this case, the arrangement position of the plurality of markers 205 may be a predetermined arrangement as shown in FIG. 2, for example.
  • the arrangement of the plurality of markers 205 shown in FIG. 2 is an example, and the number and arrangement pattern of the plurality of markers 205 are not particularly limited.
  • a plurality of markers 205 are arranged so as to be densely arranged near the center of the calibration member 200, but they may be arranged evenly over the entire calibration member 200.
  • the plurality of markers 205 may be arranged only at specific positions of the calibration member 200 (for example, the four corners of the calibration member 200).
  • only one marker 205 may be arranged on the calibration member 200.
  • the marker 205 can specify not only its position but also its orientation. That is, it is possible to estimate which part of the calibration member is being imaged and in what direction the calibration member is being imaged by detecting only one marker 205 from the captured image. Is preferable.
  • the calibration member 200 described above is typically configured as a flat member, but may be a member having at least a partially curved surface. Further, when the shapes of the subjects of the first camera 110 and the second camera 120 (that is, the objects to be imaged in the operation after calibration) are known, the calibration member 200 has a shape corresponding to the shape of the subject. May be done. For example, when the subject of the first camera 110 and the second camera 120 is the “face of a person”, the calibration member 200 may be configured with a shape close to the face of the person. Further, the calibration member 200 may be a member having irregularities. The unevenness in this case may be one that is uniformly present on the calibration member 200, or may be an unevenness that is present only at a specific position.
  • the calibration member 200 may be provided with irregularities corresponding to a predetermined pattern.
  • the calibration member 200 may have a honeycomb structure in order to realize weight reduction and increase rigidity.
  • the calibration member 200 may be configured as an aluminum honeycomb board.
  • the material constituting the calibration member 200 is not particularly limited.
  • FIG. 3 is a flowchart showing the operation flow of the calibration method according to the first embodiment.
  • the first camera 110 and the second camera 120 each capture an image of the calibration member 200 (step S11). It is preferable that the image pickup by the first camera 110 and the image pickup by the second camera 120 are performed at the closest possible timing (preferably at the same time).
  • the images captured by the first camera 110 and the second camera 120 may include the entire calibration member 200, or may include only a part of the calibration member 200. .. When an image including only a part of the calibration member 200 is captured, the calibration member 200 is positioned so that the common portion of the calibration member 200 is imaged by the first camera 110 and the second camera 120. It should be placed.
  • the images of the calibration member 200 captured by the first camera 110 and the second camera 120 are calibrated (step S12). Specifically, calibration is performed using a predetermined handle and marker 205 of the calibration member 200.
  • the calibration using the predetermined handle of the calibration member 200 and the calibration using the marker 205 of the calibration member 200 will be described in detail in other embodiments described later.
  • the calibration method is not particularly limited, but the parameters of the first camera 110 and the second camera 120 are changed based on, for example, the "deviation" estimated from the captured images of the first camera 110 and the second camera 120. It may be a thing.
  • software may be used to control the focal points and angles of the first camera 110 and the second camera 120.
  • the first camera 110 and the second camera are captured by capturing an image of the calibration member 200 having a predetermined handle and the marker 205. 120 (ie, at least two cameras) are calibrated.
  • a predetermined handle and the marker 205 of the calibration member 200 it is possible to effectively reduce the "deviation" that occurs in a plurality of cameras by a relatively easy method.
  • the calibration method according to the second embodiment will be described with reference to FIGS. 4 and 5.
  • the second embodiment differs from the first embodiment described above in only a part of the operation.
  • the configuration of the first camera 110 and the second camera 120, and the calibration member 200 (FIGS. 1 and 1). (See FIG. 2) and the like may be the same as in the first embodiment. Therefore, in the following, the parts different from the first embodiment will be described in detail, and the description of other overlapping parts will be omitted as appropriate.
  • FIG. 4 is a flowchart showing the operation flow of the calibration method according to the second embodiment.
  • the same reference numerals are given to the same processes as those shown in FIG.
  • first, the first camera 110 and the second camera 120 each take an image of the calibration member 200 (step S11).
  • the first calibration process based on the marker 205 in the images captured by the first camera 110 and the second camera 120 is executed (step S21).
  • the marker 205 is detected from the captured image, and calibration is performed based on the detected marker.
  • calibration may be performed using each of the plurality of markers 205 (that is, all the detected markers 205).
  • calibration may be performed using only a part of the detected plurality of markers 205.
  • the first calibration process for example, based on the position of the marker 205 in the image, the misalignment occurring between the first camera 110 and the second camera 120 is detected, and the adjustment is made so as to reduce the misalignment. It may be a process to be performed. Alternatively, the first calibration process detects, for example, a deviation in the direction between the first camera 110 and the second camera 120 based on the orientation of the marker 205 in the image, and reduces the deviation. It may be a process of making adjustments. The first calibration process may be a calibration process having lower accuracy (in other words, roughly) than the second calibration process described later.
  • a second calibration process based on a predetermined pattern in the images captured by the first camera 110 and the second camera 120 is executed (step S22).
  • the second calibration process which part of the calibration member 200 is imaged is estimated from the pattern in the captured image, and calibration is performed according to which part is imaged.
  • the second calibration process includes, for example, a pattern of a predetermined pattern in an image (specifically, an imaging position of the calibration member 200 estimated from the pattern) of the first camera 110 and the second camera 120. It may be a process of detecting a misalignment occurring between them and making an adjustment so as to reduce the misalignment.
  • the first camera 110 and the second camera 120 are based on a pattern of a predetermined pattern in the image (specifically, the imaging orientation of the calibration member 200 estimated from the pattern). It may be a process of detecting a deviation in the direction occurring between the two and and making an adjustment so as to reduce the deviation.
  • the second calibration process may be a calibration process having higher accuracy (in other words, finer) than the first calibration process described above.
  • FIG. 5 is a flowchart showing an operation flow of a modified example of the calibration method according to the second embodiment.
  • the same reference numerals are given to the same processes as those shown in FIG.
  • first, the first camera 110 and the second camera 120 each take an image of the calibration member 200 (step S11).
  • the second calibration process based on the pattern of the predetermined pattern in the images captured by the first camera 110 and the second camera 120 is executed (step S22).
  • the second calibration process as in the case described with reference to FIG. 4, which part of the calibration member 200 is imaged is estimated from the pattern in the captured image, and calibration is performed depending on which part is imaged. I do.
  • the second calibration process is performed between the first camera 110 and the second camera 120 based on a predetermined pattern pattern in the image (specifically, the imaging position of the calibration member 200 estimated from the pattern). It may be a process of detecting a positional deviation that has occurred and making an adjustment so as to reduce the displacement.
  • the first camera 110 and the second camera 120 are based on a pattern of a predetermined pattern in the image (specifically, the imaging orientation of the calibration member 200 estimated from the pattern). It may be a process of detecting a deviation in the direction occurring between the two and and making an adjustment so as to reduce the deviation.
  • the second calibration process according to the modified example may be a calibration process having lower accuracy (in other words, roughly) than the first calibration process according to the modified example described later.
  • the first calibration process based on the marker 205 in the images captured by the first camera 110 and the second camera 120 is executed (step S21).
  • the marker 205 is detected from the captured image and calibration is performed based on the detected marker, as in the case described with reference to FIG.
  • calibration may be performed using each of the plurality of markers 205 (that is, all the detected markers 205). Alternatively, calibration may be performed using only a part of the detected plurality of markers 205.
  • the first calibration process for example, based on the position of the marker 205 in the image, the misalignment occurring between the first camera 110 and the second camera 120 is detected, and the adjustment is made so as to reduce the misalignment. It may be a process to be performed. Alternatively, the first calibration process detects, for example, a deviation in the direction between the first camera 110 and the second camera 120 based on the orientation of the marker 205 in the image, and reduces the deviation. It may be a process of making adjustments.
  • the calibration process based on the position of the marker 205 and the calibration process based on the orientation of the marker 205 described above may be executed in combination with each other. That is, the calibration process based on both the position and orientation of the marker 205 may be executed.
  • the first calibration process according to the modification may be a calibration process with higher accuracy (in other words, finer) than the second calibration process according to the modification described above.
  • the first calibration process based on the marker 205 included in the calibration member 200 and the pattern of a predetermined pattern included in the calibration member 200 is sequentially executed. By doing so, it is possible to perform appropriate calibration by using each of the marker 205 of the calibration member 200 and the predetermined handle.
  • the stage is set. It is possible to effectively reduce the deviation between the first camera 110 and the second camera 120 by such calibration.
  • FIG. 6 is a flowchart showing the operation flow of the calibration method according to the third embodiment.
  • the same reference numerals are given to the same processes as those shown in FIG.
  • first, the first camera 110 and the second camera 120 each take an image of the calibration member 200 (step S11).
  • step S31 it is determined whether or not the number of images captured by the first camera 110 and the second camera 120 has reached a predetermined number.
  • the "predetermined number” here is the number required for calibration using a plurality of images, which will be described later, and an appropriate number may be determined, for example, by a preliminary simulation or the like.
  • step S31: NO the process of step S11 is executed again. That is, the first camera 110 and the second camera 120 each capture an image of the calibration member 200. In this way, the imaging of the calibration member 200 by the first camera 110 and the second camera 120 is repeated until the number of images captured reaches a predetermined number.
  • a plurality of calibration members imaged by the first camera 110 and the second camera 120 are calibrated based on the images of 200 (step S32). More specifically, calibration is performed using a plurality of sets of an image captured by the first camera 110 and an image captured by the second camera 120.
  • the calibration here may be a process of performing calibration a plurality of times as many times as the number of times the image is captured. Alternatively, it may be a process of integrating all or part of the images captured a plurality of times and performing calibration a number of times less than the number of times of imaging. Alternatively, it may be a process of selecting only a part of the images captured a plurality of times and performing calibration using only the selected images.
  • the calibration in step S32 described above may be executed as a first calibration process and a second calibration process as in the second embodiment (see FIGS. 4 and 5).
  • a first calibration process a process of detecting the marker 205 from images captured a plurality of times and performing calibration based on the detected marker may be executed.
  • the second calibration process a process of estimating which part of the calibration member 200 is imaged from the pattern of the images captured a plurality of times and performing calibration according to which part is imaged is executed. You may.
  • the order in which the first calibration process and the second calibration process are executed may be different from each other.
  • the calibration member 200 is imaged a plurality of times by the first camera 110 and the second camera 120 until the number of captured images reaches a predetermined number. Will be. By doing so, it is possible to improve the accuracy of calibration as the number of images used for calibration increases, as compared with the case where imaging is performed only once. Further, even if an image unsuitable for calibration is captured, calibration can be performed using another image, so that it is possible to prevent improper calibration from being executed.
  • FIG. 7 is a flowchart showing the operation flow of the calibration method according to the fourth embodiment.
  • the same reference numerals are given to the same processes as those shown in FIG.
  • the first camera 110 and the second camera 120 each take an image of the calibration member 200 (step S11).
  • step S31 it is determined whether or not the number of images captured by the first camera 110 and the second camera 120 has reached a predetermined number.
  • step S31: NO the process of step S11 is executed again as in the third embodiment described above.
  • step S41 at least one of the positions or angles of the calibration member 200 is changed (step S41), and then the process of step S11 is executed.
  • the calibration member 200 is imaged at a different position or angle than before. The method of changing the position and angle of the calibration member 200 will be described in detail later with specific examples.
  • step S31 When the number of images captured by the first camera 110 and the second camera 120 has reached a predetermined number (step S31: YES), the images of the plurality of calibration members 200 captured by the first camera 110 and the second camera 120.
  • the cameras of the first camera 110 and the second camera 120 are calibrated based on the above (step S32). More specifically, calibration is performed using a plurality of sets of an image captured by the first camera 110 and an image captured by the second camera 120.
  • the calibration here may be a process of performing calibration a plurality of times as many times as the number of times the image is captured. Alternatively, it may be a process of integrating all or part of the images captured a plurality of times and performing calibration a number of times less than the number of times of imaging. Alternatively, it may be a process of selecting only a part of the images captured a plurality of times and performing calibration using only the selected images.
  • the calibration in step S32 described above may be executed as a first calibration process and a second calibration process as in the second embodiment (see FIGS. 4 and 5).
  • a first calibration process a process of detecting the marker 205 from images captured a plurality of times and performing calibration based on the detected marker may be executed.
  • the second calibration process a process of estimating which part of the calibration member 200 is imaged from the pattern of the images captured a plurality of times and performing calibration according to which part is imaged is executed. You may.
  • the order in which the first calibration process and the second calibration process are executed may be different from each other.
  • FIG. 8 is a diagram showing an example of changing the position of the calibration member in the calibration method according to the fourth embodiment.
  • FIG. 9 is a diagram showing an example of changing the angle of the calibration member in the calibration method according to the fourth embodiment.
  • the position of the calibration member 200 may be changed by moving it in the front-rear direction or the left-right direction. Further, the position of the calibration member 200 may be changed by moving it in the vertical direction (that is, the front side and the back side of the paper surface). Further, the position of the calibration member 200 may be changed by moving the calibration member 200 in the diagonal direction which is a combination of the front-rear direction, the left-right direction, and the up-down direction described above.
  • the amount of movement of the calibration member 200 may be set in advance. When the calibration member 200 is moved a plurality of times, the amount of movement per time may be the same each time, or may be changed each time. For example, the amount of movement may be gradually increased, or the amount of movement may be gradually reduced.
  • the angle of the calibration member 200 may be changed by rotating the calibration member 200.
  • the axis for rotating the calibration member 200 is not particularly limited, and any axis may be used.
  • the rotation direction of the calibration member 200 is not limited to one direction, and may be rotated in various directions.
  • the rotation axis and rotation direction of the calibration member 200 may be set in advance.
  • the amount of rotation per rotation may be the same each time or may be changed each time.
  • the amount of rotation may be gradually increased, or the amount of rotation may be gradually decreased.
  • the rotation direction may be the same every time or may be changed every time.
  • the position and angle of the calibration member 200 described above may be changed manually.
  • guidance information that is, information indicating a distance or direction in which the calibration member is moved
  • Guidance information will be described in detail in other embodiments described later.
  • the position and angle of the calibration member 200 may be changed automatically by using a drive device or the like. The configuration including the drive device will be described in detail in other embodiments described later.
  • a plurality of images are captured while changing the position or angle of the calibration member 200.
  • the calibration member 200 is imaged from different distances or angles. Therefore, the calibration is performed by increasing the variation of the image of the calibration member 200 as compared with the case where the image is imaged only at the same distance or angle, for example. It is possible to improve the accuracy of the calibration. Further, even if an image is captured at a distance or angle unsuitable for calibration, calibration can be performed using another image, so that improper calibration can be prevented from being executed.
  • FIG. 10 is a flowchart showing the operation flow of the calibration method according to the fifth embodiment.
  • the same reference numerals are given to the same processes as those shown in FIG.
  • the first camera 110 and the second camera 120 each capture an image of the calibration member 200 (step S11).
  • step S51 it is determined whether or not the position of the calibration member 200 is inappropriate (step S51). More specifically, it is determined whether or not the calibration member 200 is imaged by the first camera 110 and the second camera 120 at a position or angle suitable for performing calibration.
  • the determination method here is not particularly limited, but for example, it may be determined whether or not the calibration member 200 is within a predetermined range based on the captured image.
  • the "predetermined range” here may be set in advance by a simulation or the like in advance.
  • step S52 information regarding the position or direction in which the calibration member is moved (hereinafter, appropriately referred to as "guidance information”) is output (step S52).
  • the guidance information may be, for example, information output to a user who has the calibration member 200. In this case, the user may be presented with information indicating how the calibration member 200 should be moved. The user may move the calibration member 200 according to the guidance information. An example of outputting guidance information to the user will be described in detail later.
  • the guidance information may be information output to the driving device that drives the calibration member 200. In this case, information regarding the movement amount and movement direction of the calibration member 200, coordinate information of the movement target point of the calibration member 200, and the like may be output to the drive device.
  • the drive device may drive the calibration member 200 according to the guidance information.
  • step S11 After the guidance information is output, the process of step S11 is executed again. That is, the first camera 110 and the second camera 120 each capture an image of the calibration member 200. Then, again, it is determined whether or not the position of the calibration member 200 is inappropriate (step S51). As described above, in the calibration method according to the fifth embodiment, the imaging of the image by the first camera 110 and the second camera 120 is repeated until the position of the calibration member 200 becomes appropriate.
  • step S51 when the position of the calibration member 200 is not inappropriate (step S51: NO), the first camera 110 and the second camera 110 and the second camera 110 are based on the images of the calibration member 200 captured by the first camera 110 and the second camera 120. Calibrate the camera of the camera 120 (step S12). Specifically, calibration is performed using a predetermined handle and marker 205 of the calibration member 200.
  • FIG. 11 is a flowchart showing an operation flow of a modified example of the calibration method according to the fifth embodiment.
  • the same reference numerals are given to the same processes as those shown in FIG. 7.
  • first, the first camera 110 and the second camera 120 each capture an image of the calibration member 200 (step S11).
  • step S51 it is determined whether or not the position of the calibration member 200 is inappropriate (step S51). Then, when the position of the calibration member 200 is inappropriate (step S51: YES), guidance information indicating the position or direction in which the calibration member is moved is output (step S52).
  • step S11 After the guidance information is output, the process of step S11 is executed again. That is, the first camera 110 and the second camera 120 each capture an image of the calibration member 200. Then, again, it is determined whether or not the position of the calibration member 200 is inappropriate (step S51). As described above, even in the modified example of the calibration method according to the fifth embodiment, the imaging of the image by the first camera 110 and the second camera 120 is repeated until the position of the calibration member 200 becomes appropriate.
  • step S51 when the position of the calibration member 200 is not inappropriate (step S51: NO), it is determined whether or not the number of images captured by the first camera 110 and the second camera 120 has reached a predetermined number (step S31). ). Then, when the number of images taken by the first camera 110 and the second camera 120 has not reached a predetermined number (step S31: NO), at least one of the positions or angles of the calibration member 200 is changed (step S41). , The process of step S11 is executed. In particular, in the modified example of the fifth embodiment, it is determined again whether or not the position of the calibration member 200 is inappropriate (step S51). Then, when the position of the calibration member 200 is inappropriate (step S51: YES), guidance information indicating the position or direction in which the calibration member is moved is output (step S52).
  • step S11 After the guidance information is output, the process of step S11 is executed again. That is, the first camera 110 and the second camera 120 each capture an image of the calibration member 200. Then, again, it is determined whether or not the position of the calibration member 200 is inappropriate (step S51). As described above, in the modified example of the calibration method according to the fifth embodiment, even after the position and angle of the calibration member are changed, the first camera 110 is used until the position of the calibration member 200 becomes appropriate. And the imaging of the image by the second camera 120 is repeated.
  • step S31 when the number of images taken by the first camera 110 and the second camera 120 has reached a predetermined number (step S31: YES), a plurality of calibration members 200 imaged by the first camera 110 and the second camera 120.
  • the cameras of the first camera 110 and the second camera 120 are calibrated based on the image of (step S32). More specifically, calibration is performed using a plurality of sets of an image captured by the first camera 110 and an image captured by the second camera 120.
  • FIG. 12 is a diagram (No. 1) showing an example of an output mode of guidance information by the calibration device according to the sixth embodiment.
  • FIG. 13 is a diagram (No. 2) showing an example of an output mode of guidance information by the calibration device according to the sixth embodiment.
  • the guidance information is presented to the user by, for example, a display device provided with a display.
  • a display device provided with a display.
  • an image showing the current position of the calibration member 200 and information indicating the direction in which the calibration member 200 is moved (text "Please move a little more to the right” and an arrow to the right) are displayed.
  • the guidance information may be displayed as information including a specific moving distance of the calibration member. For example, the text "Please move 30 cm to the right" may be displayed.
  • a display for guiding the calibration member 200 in an oblique direction may be performed as it is, or a display for guiding the calibration member 200 in an oblique direction may be performed. good. For example, when guiding the calibration member 200 in the lower right direction, only the display for guiding to the right may be displayed first, and then only the display for guiding in the downward direction may be performed.
  • an image showing the current position of the calibration member 200 and a frame showing the movement target point of the calibration member 200 may be presented to the user.
  • a text urging the calibration member 200 to be moved within the frame (for example, "Please move so as to fit within the frame") may be displayed.
  • the frame which is the movement target point of the calibration member 200, may be the same size as the calibration member 200, or may be slightly larger than the calibration member.
  • a frame indicating the movement target point of the marker 205 included in the calibration member 200 may be presented to the user.
  • the calibration member 200 has a plurality of markers 205
  • a plurality of frames corresponding to the plurality of markers 205 may be displayed.
  • the above-mentioned display mode of the guidance information is an example, and the guidance information may be output in another display mode. Further, when a plurality of types of display modes can be realized, one display mode may be selected and displayed from the plurality of display modes. In this case, the display mode may be selectable by the user. For example, the display mode may be switched according to the user's operation.
  • the guidance information may be further output not only as a visual display (that is, image information) but also in other modes. Specifically, the guidance information may be output as voice information.
  • the guidance information may be output as including both image information for display and voice information for voice notification.
  • both the display by the image information and the voice notification by the voice information may be performed at the same time, or only one of the selected ones (that is, the image display only or the voice notification only) may be performed at the same time. ) May be performed.
  • guidance information is output when the position of the calibration member 200 is inappropriate.
  • the position of the calibration member is not suitable for calibration, it is possible to move it to an appropriate position by the guidance information.
  • the calibration member 200 cannot be arranged at an appropriate position from the beginning, it is finally possible to capture an image suitable for calibration.
  • the calibration method according to the sixth embodiment will be described.
  • the sixth embodiment describes a specific example of the calibration member 200 used in the calibration method, and other parts may be the same as those of the first to fifth embodiments. Therefore, in the following, the parts different from each of the above-described embodiments will be described in detail, and the description of other overlapping parts will be omitted as appropriate.
  • the calibration member 200 used in the calibration method according to the sixth embodiment is configured so that at least one of the brightness and the saturation of a predetermined pattern is higher than a predetermined value.
  • the "predetermined value” here is a threshold value set for accurately detecting a predetermined pattern, and may be calculated as a feasible value with a desired detection accuracy by, for example, a preliminary simulation or the like.
  • the predetermined value may be a value set separately for each of the lightness and the saturation. That is, the predetermined value for lightness and the predetermined value for saturation may be different values.
  • both the brightness and the saturation are equal to or higher than the predetermined values, but it is also possible that only one of them is equal to or higher than the predetermined values.
  • the brightness of the calibration member in the image is greatly affected by environmental parameters such as lighting, so if only one of the brightness and saturation is set as the predetermined position, it is unlikely to be affected by the environmental parameters. It is desirable that the saturation is equal to or higher than a predetermined value.
  • the calibration member 200 is configured such that a predetermined pattern includes a plurality of hues.
  • a predetermined pattern includes a plurality of hues.
  • the alignment can be performed by using, for example, "Colored Point Cloud Restriction" which is an open CV.
  • the hue contained in the predetermined pattern is not particularly limited, but an appropriate hue (for example, a hue having higher detection accuracy) is selected according to the environment in which the image is captured. May be good.
  • the predetermined pattern of the calibration member 200 is set so that at least one of the lightness and the saturation is higher than the predetermined value and includes a plurality of hues.
  • the calibration method according to the seventh embodiment will be described.
  • the seventh embodiment describes a specific example of the calibration member 200 used in the calibration method, and other parts may be the same as those of the first to sixth embodiments. Therefore, in the following, the parts different from each of the above-described embodiments will be described in detail, and the description of other overlapping parts will be omitted as appropriate.
  • the calibration member 200 used in the calibration method according to the seventh embodiment has a marker 205 composed of a plurality of two-dimensional codes.
  • the two-dimensional code may be a stack-type two-dimensional code or a matrix-type two-dimensional code.
  • Examples of the stack-type two-dimensional code include PDF417 and CODE49, but other stack-type two-dimensional codes can also be applied as the marker 205 according to the present embodiment.
  • Examples of the matrix-type two-dimensional code include a QR code (registered trademark), DataMatrix, VeriCode, ArUko marker, and the like, but other matrix-type two-dimensional codes are also applied as the marker 205 according to the present embodiment. can do.
  • the calibration member 200 may include a plurality of types of two-dimensional codes as the marker 205. In this case, the stack type two-dimensional code and the matrix type two-dimensional code may be used in combination.
  • the ArUko marker which is a matrix-type two-dimensional code
  • the calibration member 200 has an ArUko marker or a combination of an ArUko marker and another two-dimensional code as the marker 205.
  • the marker 205 does not include the ArUko marker, the technical effects described later can be obtained accordingly.
  • the calibration member 200 has a plurality of two-dimensional codes. By doing so, the detection accuracy of the marker 205 can be improved, so that calibration can be performed more appropriately. Further, since the two-dimensional code itself can have information used for calibration (for example, information on the position), calibration can be performed more easily. Further, by arranging a plurality of two-dimensional codes, it is possible to detect the position information more accurately as compared with the case where only one two-dimensional code is arranged.
  • the calibration device according to the eighth embodiment will be described with reference to FIGS. 14 to 16.
  • the calibration device according to the eighth embodiment may be configured as a device capable of realizing the calibration method according to the first to seventh embodiments described above. Therefore, among the operations performed by the calibration device according to the eighth embodiment, the operations described in the first to seventh embodiments described above will be omitted as appropriate.
  • FIG. 14 is a block diagram showing a hardware configuration of the calibration device according to the eighth embodiment.
  • the calibration device 300 includes a processor 11, a RAM (Random Access Memory) 12, a ROM (Read Only Memory) 13, and a storage device 14.
  • the calibration device 300 may further include an input device 15 and an output device 16.
  • the processor 11, the RAM 12, the ROM 13, the storage device 14, the input device 15, and the output device 16 are connected via the data bus 17.
  • Processor 11 reads a computer program.
  • the processor 11 is configured to read a computer program stored in at least one of the RAM 12, the ROM 13, and the storage device 14.
  • the processor 11 may read a computer program stored in a computer-readable recording medium by using a recording medium reading device (not shown).
  • the processor 11 may acquire (that is, read) a computer program from a device (not shown) located outside the calibration device 300 via a network interface.
  • the processor 11 controls the RAM 12, the storage device 14, the input device 15, and the output device 16 by executing the read computer program.
  • a functional block for executing various processes related to calibration is realized in the processor 11.
  • processor 11 a CPU (Central Processing Unit), a GPU (Graphics Processing Unit), an FPGA (field-programmable gate array), a DSP (Demand-Side Platform), and an ASIC (Application) are listed.
  • processor 11 one of the above-mentioned examples may be used, or a plurality of processors 11 may be used in parallel.
  • the RAM 12 temporarily stores the computer program executed by the processor 11.
  • the RAM 12 temporarily stores data temporarily used by the processor 11 while the processor 11 is executing a computer program.
  • the RAM 12 may be, for example, a D-RAM (Dynamic RAM).
  • the ROM 13 stores a computer program executed by the processor 11.
  • the ROM 13 may also store fixed data.
  • the ROM 13 may be, for example, a P-ROM (Programmable ROM).
  • the storage device 14 stores data stored in the calibration device 300 for a long period of time.
  • the storage device 14 may operate as a temporary storage device of the processor 11.
  • the storage device 14 may include, for example, at least one of a hard disk device, a magneto-optical disk device, an SSD (Solid State Drive), and a disk array device.
  • the input device 15 is a device that receives an input instruction from the user of the calibration device 300.
  • the input device 15 may include, for example, at least one of a keyboard, a mouse and a touch panel.
  • the input device 15 may be a dedicated controller (operation terminal). Further, the input device 15 may include a terminal owned by the user (for example, a smartphone, a tablet terminal, or the like).
  • the input device 15 may be a device capable of voice input including, for example, a microphone.
  • the output device 16 is a device that outputs information about the calibration device 300 to the outside.
  • the output device 16 may be a display device (for example, a display) capable of displaying information about the calibration device 300.
  • the display device here may be a television monitor, a personal computer monitor, a smartphone monitor, a tablet terminal monitor, or another mobile terminal monitor.
  • the display device may be a large monitor, a digital signage, or the like installed in various facilities such as a store.
  • the output device 16 may be a device that outputs information in a format other than an image.
  • the output device 16 may be a speaker that outputs information about the calibration device 300 by voice.
  • FIG. 15 is a block diagram showing a functional configuration of the calibration device according to the eighth embodiment.
  • the calibration device 300 is connected to the first camera 110 and the second camera 120, which are the objects of calibration, respectively.
  • the calibration device 300 includes an image acquisition unit 310 and a calibration unit 320 as processing blocks for realizing the function.
  • Each of the image acquisition unit 310 and the calibration unit 320 may be realized by the processor 11 (see FIG. 1) described above.
  • the image acquisition unit 310 is configured to be able to acquire an image of the calibration member 200 captured by the first camera 110 and an image of the calibration member 200 captured by the second camera 120.
  • the image acquisition unit 310 may include a storage means (memory) for storing the acquired image.
  • the image acquisition unit 310 may store, for example, the image of the first camera 110 captured at the same timing and the image of the second camera 120 as a set of two images.
  • the image acquired by the image acquisition unit 310 is output to the calibration unit 320.
  • the calibration unit 320 is configured to be able to calibrate the first camera 110 and the second camera 120 based on the image of the first camera 110 acquired by the image acquisition unit 310 and the image of the second camera 120. Has been done.
  • the calibration unit 320 is configured to be able to control each parameter of the first camera 110 and the second camera 120 so that calibration can be performed.
  • the specific calibration method since the methods of the first to seventh embodiments described above can be appropriately adopted, detailed description thereof will be omitted here.
  • FIG. 16 is a flowchart showing a flow of operation of the calibration device according to the eighth embodiment.
  • the image acquisition unit 310 first captures an image of the calibration member 200 captured by the first camera 110 and a second camera.
  • the image of the calibration member 200 captured in 120 is acquired (step S81).
  • the image acquisition unit 310 is the first camera 110 and the second camera 120. Every time the image is taken, the image captured by the first camera 110 and the image captured by the second camera 120 may be acquired. Further, the image acquisition unit 310 may function as a determination unit for determining whether or not the number of captured images of the first camera 110 and the second camera 120 has reached a predetermined number.
  • the calibration unit 320 calibrates the first camera 110 and the second camera 120 based on the image of the first camera 110 acquired by the image acquisition unit 310 and the image of the second camera 120. (Step S82).
  • the calibration unit 320 is the first calibration unit that executes the first calibration process.
  • a second calibration unit that executes the second calibration process may be provided.
  • the calibration unit 320 may be configured to include a guidance information output unit for outputting guidance information.
  • the first camera 110 and the second camera 110 and the second camera 110 are captured by capturing an image of the calibration member 200 having a predetermined handle and the marker 205.
  • the camera 120 ie, at least two cameras
  • the predetermined handle and the marker 205 of the calibration member 200 it is possible to effectively reduce the "deviation" that occurs in a plurality of cameras by a relatively easy method.
  • the calibration system according to the ninth embodiment will be described with reference to FIGS. 17 and 18.
  • the calibration system according to the ninth embodiment may be configured as a system that can realize the calibration method according to the first to seventh embodiments described above. Therefore, among the operations performed by the calibration device according to the ninth embodiment, the operations described in the first to seventh embodiments described above will be omitted as appropriate. Further, the calibration system according to the ninth embodiment may have the same hardware configuration (FIG. 14) as the calibration device 300 according to the eighth embodiment described above. Therefore, the description of the part that overlaps with the eighth embodiment already described will be omitted as appropriate.
  • FIG. 17 is a block diagram showing a functional configuration of the calibration device according to the ninth embodiment.
  • the calibration system includes a first camera 110, a second camera 120, a calibration member 200, a calibration device 300, and a drive device 400. Has been done.
  • the calibration system may be configured to include a display device having a display, a speaker, and the like.
  • the drive device 400 is configured to be able to drive the calibration member 200. Specifically, it is configured as a device capable of changing the position and angle of the calibration member 200 with respect to the first camera 110 and the second camera 120.
  • the drive device 400 drives the calibration member 200 based on the drive information (hereinafter, appropriately referred to as “drive information”) output from the calibration device 300. That is, the operation of the drive device 400 may be controlled by the calibration device 300.
  • the drive device 400 may be configured to include, for example, various actuators, but the configuration is not particularly limited.
  • the drive device 400 may be integrally configured with the support member.
  • the calibration member 200 may be operably supported by, for example, the headrest portion of the chair.
  • FIG. 18 is a flowchart showing the operation flow of the drive device included in the calibration system according to the ninth embodiment.
  • the drive device 400 first acquires drive information from the calibration device 300 (step S91).
  • the drive information may be output, for example, in the process of step S41 (see FIG. 7) of the calibration method according to the fourth embodiment. That is, the drive information may be output as information for changing the position and angle of the calibration member 200 in a series of processes for capturing an image a plurality of times. Further, the drive information may be output in the process of step 52 (see FIGS. 10 and 11) of the calibration method according to the fifth embodiment. That is, the drive information may be guidance information indicating a position or direction in which the calibration member 200 is moved.
  • the drive device 400 drives the calibration member 200 based on the acquired drive information (step S92).
  • the processes of steps S91 and S92 described above may be repeatedly executed.
  • the drive device 400 may perform a pre-programmed operation in addition to or instead of the drive based on the drive information described above.
  • the drive device 400 may be set to drive the calibration member 200 at a predetermined timing so as to have a position and an angle determined according to the timing.
  • the calibration member is automatically driven by the drive device 400. By doing so, it is possible to save the trouble of manually moving the calibration member 200. Further, it is possible to realize more precise movement as compared with the case where the calibration member 200 is manually moved.
  • the three-dimensional facial shape measuring device captures a person's face with two left and right cameras (that is, corresponding to the first camera 110 and the second camera 120) and synthesizes those images to obtain a person's subject. It is possible to measure the three-dimensional shape of the face. More specifically, the camera on the right side captures the image on the right side of the face, and the camera on the left side captures the image on the left side of the face.
  • the three-dimensional facial shape measuring device may, for example, take an image in a state where the subject is irradiated with a sinusoidal pattern and perform measurement using a sinusoidal grid shift method.
  • the three-dimensional facial shape measuring device performs a process of synthesizing the images captured by the two cameras. Therefore, if there is a gap between the two cameras, the three-dimensional shape of the person's face is displayed. It cannot be measured properly. However, if each of the above-described embodiments is applied, the calibration of the two cameras can be appropriately performed, so that the three-dimensional shape of the face of the person can be appropriately measured.
  • a device capable of capturing a three-dimensional image such as the above-mentioned three-dimensional facial shape measuring device
  • calibration using the three-dimensional image may be performed as another embodiment of the calibration method. That is, when the first camera 110 and the second camera 120 are configured as a camera capable of capturing a three-dimensional image (for example, a 3D scanner, a range finder, etc.), the three-dimensional image of the calibration member 200 is used.
  • the first camera 110 and the second camera 120 may be calibrated. In the following, such calibration will be described in detail.
  • FIG. 19 is a flowchart showing the flow of calibration operation using a three-dimensional image.
  • the first camera 110 and the second camera 120 each capture a three-dimensional image of the calibration member 200 (step S101).
  • the three-dimensional image of the calibration member 200 is imaged as having a predetermined handle and marker 205.
  • the calibration member 200 may be imaged with the predetermined light pattern projected.
  • the reflective member is attached to the calibration member 200 as the marker 205, and the reflected light (that is, the light reflected by the reflective member) when the pattern is irradiated is used to obtain the reflective member as the marker 205.
  • the position and orientation may be specified.
  • the cameras of the first camera 110 and the second camera 120 are calibrated based on the three-dimensional image of the calibration member 200 (step S102). That is, calibration is performed using a predetermined pattern and the marker 205 in the three-dimensional image. More specifically, the positions of the first camera 110 and the second camera 120 may be adjusted so that the captured three-dimensional image matches between the first camera 110 and the second camera 120.
  • the calibration method using the three-dimensional image it is possible to appropriately calibrate the camera capable of capturing the three-dimensional image based on the predetermined pattern and the marker 205 in the three-dimensional image. can.
  • Each embodiment also implements a processing method in which a program for operating the configuration of the embodiment is recorded on a recording medium so as to realize the functions of the above-described embodiments, the program recorded on the recording medium is read out as a code, and the program is executed by a computer. Included in the category of morphology. That is, a computer-readable recording medium is also included in the scope of each embodiment. Further, not only the recording medium on which the above-mentioned program is recorded but also the program itself is included in each embodiment.
  • the recording medium for example, a floppy (registered trademark) disk, a hard disk, an optical disk, a magneto-optical disk, a CD-ROM, a magnetic tape, a non-volatile memory card, or a ROM can be used.
  • a floppy (registered trademark) disk for example, a hard disk, an optical disk, a magneto-optical disk, a CD-ROM, a magnetic tape, a non-volatile memory card, or a ROM
  • the program recorded on the recording medium that executes the process alone, but also the program that operates on the OS and executes the process in cooperation with other software and the function of the expansion board is also an embodiment. Is included in the category of.
  • Appendix 1 In the calibration method according to Appendix 1, a member having a predetermined pattern whose pattern changes according to the position of the surface of the member and a marker arranged at a predetermined position is imaged by at least two cameras, and at least the above.
  • the calibration method is characterized in that at least two cameras are calibrated using the images of the member captured by the two cameras.
  • the calibration method described in Appendix 2 includes, as the calibration, a first calibration based on the marker in the image of the member and a second calibration based on the pattern of the predetermined pattern in the image of the member.
  • the calibration method according to Appendix 3 is characterized in that the member is imaged a plurality of times by the at least two cameras, and the members are calibrated using the images of the plurality of the members.
  • the calibration method according to the appendix 4 is the calibration method according to the appendix 3, wherein the member is imaged a plurality of times at different positions or angles.
  • the calibration method according to Appendix 5 is characterized in that it outputs information indicating a position or direction in which the member is moved so that the member is at a position suitable for capturing an image of the member.
  • the calibration method according to any one of 1 to 4.
  • the predetermined pattern has at least one of brightness and saturation higher than a predetermined value and contains a plurality of hues, and the marker is a plurality of two-dimensional codes.
  • the calibration method according to any one of Supplementary note 1 to 5, wherein the calibration method is characterized by the above.
  • Appendix 7 The calibration method according to Appendix 7 is characterized in that a three-dimensional image of the member is captured by the at least two cameras and the at least two cameras are calibrated using the three-dimensional image.
  • the calibration method according to any one of Items 1 to 6.
  • the calibration device acquires images of a member having a predetermined pattern whose pattern changes according to the position of the surface of the member and a marker arranged at a predetermined position by at least two cameras. It is a calibration apparatus including a calibration means for performing the at least two calibrations using the acquisition means to be performed and images of the member captured by the at least two cameras.
  • the calibration system according to Appendix 9 has a predetermined handle whose pattern changes according to the position of the surface of the member, a member having a marker arranged at a predetermined position, and driving the member to drive at least two members. It is characterized by comprising a driving device for changing the position or angle of the member with respect to a camera, and a calibration device for performing the at least two calibrations using images of the member captured by at least two cameras. It is a calibration system.
  • Appendix 10 In the computer program according to the appendix 10, a member having a predetermined pattern whose pattern changes according to the position of the surface of the member and a marker arranged at a predetermined position is imaged by at least two cameras, and the member is imaged with at least two cameras. It is a computer program characterized in that a computer is operated so as to calibrate at least two cameras by using an image of the member captured by one camera.
  • Appendix 11 The recording medium described in Appendix 11 is a recording medium characterized in that the computer program described in Appendix 10 is recorded.

Abstract

キャリブレーション方法は、部材表面の位置に応じてパターンが変化する所定の柄と、所定の位置に配置されたマーカとを有する部材を、少なくとも２つのカメラで撮像し（Ｓ１１）、少なくとも２つのカメラで撮像された部材の画像を用いて、少なくとも２つのカメラのキャリブレーションを行う（Ｓ１２）。このキャリブレーション方法によれば、複数のカメラにおいて生ずる「ずれ」を比較的容易な方法で小さくすることができる。

Description

キャリブレーション方法、キャリブレーション装置、キャリブレーションシステム、及び記録媒体
　この開示は、カメラのキャリブレーションを行うキャリブレーション方法、キャリブレーション装置、キャリブレーションシステム、及び記録媒体の技術分野に関する。
　カメラのキャリブレーションを行う方法として、カメラで撮像するキャリブレーション用の部材を用いるものが知られている。例えば特許文献１では、Ａｒｕｃｏマーカを備える標的を撮像して、カメラの較正を行うことが開示されている。特許文献２では、設置された多数のキャリブレーションボードを撮像することでカメラの位置及び姿勢を推定して、キャリブレーションを行うことが開示されている。特許文献３では、幾何学的及び光学的特性が既知なキャリブレーションボードを撮像して、カメラのキャリブレーションを行うことが開示されている。特許文献４では、カメラを載せた台車の位置をずらしながら、平板の正方格子を撮像してキャリブレーションを行うことが開示されている。
特表２０１９－５３０２６１号公報 特開２０１７－１０３６０２号公報 特開２００４－１９２３７８号公報 特開平１０－３２０５５８号公報
　この開示は、上述した関連する技術を改善することを目的とする。
　この開示のキャリブレーション方法の一の態様は、部材表面の位置に応じてパターンが変化する所定の柄と、所定の位置に配置されたマーカとを有する部材を、少なくとも２つのカメラで撮像し、前記少なくとも２つのカメラで撮像された前記部材の画像を用いて、前記少なくとも２つのカメラのキャリブレーションを行う。
　この開示のキャリブレーション装置の一の態様は、部材表面の位置に応じてパターンが変化する所定の柄と、所定の位置に配置されたマーカとを有する部材を、少なくとも２つのカメラで撮像した画像を取得する取得手段と、前記少なくとも２つのカメラで撮像された前記部材の画像を用いて、前記少なくとも２つのキャリブレーションを行うキャリブレーション手段とを備える。
　この開示のキャリブレーションシステムの一の態様は、部材表面の位置に応じてパターンが変化する所定の柄と、所定の位置に配置されたマーカとを有する部材と、前記部材を駆動して、少なくとも２つのカメラに対する前記部材の位置又は角度を変更する駆動装置と、少なくとも２つのカメラで撮像された前記部材の画像を用いて、前記少なくとも２つのキャリブレーションを行うキャリブレーション装置とを備える。
　この開示の記録媒体の一の態様は、部材表面の位置に応じてパターンが変化する所定の柄と、所定の位置に配置されたマーカとを有する部材を、少なくとも２つのカメラで撮像し、前記少なくとも２つのカメラで撮像された前記部材の画像を用いて、前記少なくとも２つのカメラのキャリブレーションを行うようにコンピュータを動作させるコンピュータプログラムが記録されている。
第１実施形態に係るキャリブレーション方法でキャリブレーションを行うカメラ及びキャリブレーション部材を示す概略構成図である。 第１実施形態に係るキャリブレーション方法で用いるキャリブレーション部材の構成を示す平面図である。 第１実施形態に係るキャリブレーション方法の動作の流れを示すフローチャートである。 第２実施形態に係るキャリブレーション方法の動作の流れを示すフローチャートである。 第２実施形態に係るキャリブレーション方法の変形例の動作の流れを示すフローチャートである。 第３実施形態に係るキャリブレーション方法の動作の流れを示すフローチャートである。 第４実施形態に係るキャリブレーション方法の動作の流れを示すフローチャートである。 第４実施形態に係るキャリブレーション方法におけるキャリブレーション部材の位置の変更例を示す図である。 第４実施形態に係るキャリブレーション方法におけるキャリブレーション部材の角度の変更例を示す図である。 第５実施形態に係るキャリブレーション方法の動作の流れを示すフローチャートである。 第５実施形態に係るキャリブレーション方法の変形例の動作の流れを示すフローチャートである。 第５実施形態に係るキャリブレーション装置による誘導情報の出力態様の一例を示す図（その１）である。 第５実施形態に係るキャリブレーション装置による誘導情報の出力態様の一例を示す図（その２）である。 第８実施形態に係るキャリブレーション装置のハードウェア構成を示すブロック図である。 第８実施形態に係るキャリブレーション装置の機能的構成を示すブロック図である。 第８実施形態に係るキャリブレーション装置の動作の流れを示すフローチャートである。 第９実施形態に係るキャリブレーションシステムの機能的構成を示すブロック図である。 第９実施形態に係るキャリブレーションシステムが有する駆動装置の動作の流れを示すフローチャートである。 三次元画像を用いたキャリブレーションの動作の流れを示すフローチャートである。
　以下、図面を参照しながら、キャリブレーション方法、キャリブレーション装置、キャリブレーションシステム、コンピュータプログラム、及び記録媒体の実施形態について説明する。
　＜第１実施形態＞
　第１実施形態に係るキャリブレーション方法について、図１から図３を参照して説明する。
　（カメラの構成）
　まず、第１実施形態に係るキャリブレーション方法の対象となるカメラの構成ついて、図１を参照して説明する。図１は、第１実施形態に係るキャリブレーション方法でキャリブレーションを行うカメラ及びキャリブレーション部材を示す概略構成図である。
　図１に示すように、第１実施形態に係るキャリブレーション方法では、第１カメラ１１０及び第２カメラ１２０のキャリブレーションを行う。第１カメラ１１０及び第２カメラ１２０は、例えば同一の被写体を異なる角度から撮像可能に配置されている。ただし、第1カメラ１１０及び第２カメラ１２０は、被写体を同じ角度から撮像可能に配置されてもよい。第１カメラ１１０及び第２カメラ１２０は、例えばＣＣＤ（Ｃｈａｒｇｅ　Ｃｏｕｐｌｅｄ　Ｄｅｖｉｃｅ）イメージセンサや、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ　Ｍｅｔａｌ　Ｏｘｉｄｅ　Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサ等の固体撮像素子を含んでよい。また、第１カメラ１１０及び第２カメラ１２０は、被写体の像を固体撮像素子の撮像面に結像させる光学系、固体撮像素子の出力を信号処理して画素毎の輝度値を得る信号処理回路等を含んでよい。
　第１実施形態に係るキャリブレーション方法では、第１カメラ１１０及び第２カメラ１２０で、それぞれ共通のキャリブレーション部材２００を撮像する。キャリブレーション部材２００は、例えば板状の部材であり、人が手に持って利用可能に構成されている。キャリブレーション部材２００は、所定の場所に置いたり、支持部材に取り付けたりすることで利用可能に構成されてもよい。第１実施形態に係るキャリブレーション方法を実行する場合には、第１カメラ１１０及び第２カメラ１２０の撮像範囲に収まるように、キャリブレーション部材２００を手に持ったユーザが移動すればよい。あるいは、キャリブレーション部材２００は、所定の支持部材に固定された状態で用いられてもよい。この場合、キャリブレーション部材２００は、固定されている支持部材をユーザが移動させることで、第１カメラ１１０及び第２カメラ１２０の撮像範囲内に配置されてよい。あるいは、キャリブレーション部材２００は、所定の駆動装置によって駆動可能な状態で用いられてもよい。この場合、キャリブレーション部材２００は、駆動装置によって駆動される（例えば、位置や角度が変更される）ことで、第１カメラ１１０及び第２カメラ１２０の撮像範囲内に配置されてよい。キャリブレーション部材２００のより具体的な構成については、以下で詳しく説明する。
　（キャリブレーション部材の構成）
　次に、第１実施形態に係るキャリブレーション方法で用いるキャリブレーション部材２００の構成について、図２を参照して具体的に説明する。図２は、第１実施形態に係るキャリブレーション方法で用いるキャリブレーション部材の構成を示す平面図である。
　図２に示すように、第１実施形態に係るキャリブレーション方法で用いられるキャリブレーション部材２００は、所定の柄を有している。ここでの「所定の柄」は、部材表面の位置によってパターンが変化する柄である。より具体的には、所定の柄は、撮像された画像中のパターンから、キャリブレーション部材２００のどの部分が写り込んでいるのか、あるいは、キャリブレーション部材２００がどのような角度、又はどのような向きで写り込んでいるのか（例えば、上下反対になっている場合等）を判定できるような柄であればよい。所定の柄の一例としては、図２に示すような迷彩柄が挙げられるが、それに限られるものではない。なお、迷彩柄のキャリブレーション部材２００を用いる場合には、第１カメラ１１０及び第２カメラ１２０が、形状計測を行うことが可能なカメラ（例えば、３Ｄスキャナやレンジファインダ等）として構成されることが望ましい。即ち、第１カメラ１１０及び第２カメラ１２０で３Ｄ形状計測を行って、その結果に応じてキャリブレーションを行うことが望ましい。このようなキャリブレーションについては、後述する他の実施形態において詳しく説明する。
　キャリブレーション部材２００は更に、マーカ２０５を有している。マーカ２０５は、キャリブレーション部材２００の予め定められた位置に配置されている。マーカ２０５は、例えばキャリブレーション部材２００の所定の柄に重畳するように配置されてよい。マーカ２０５は、キャリブレーション部材２００に複数配置されてもよい。この場合、複数のマーカ２０５の配置位置は、例えば図２に示すような予め定められた配列であってよい。
　なお、図２に示す複数のマーカ２０５の配列は一例であり、複数のマーカ２０５の数や配列パターンは特に限定されない。図２に示す例では、複数のマーカ２０５がキャリブレーション部材２００の中央付近に密集するように配置されているが、キャリブレーション部材２００の全体にまんべんなく配置されるようにしてもよい。あるいは、複数のマーカ２０５は、キャリブレーション部材２００の特定の位置（例えば、キャリブレーション部材２００の四隅等）にのみ配置されてもよい。
　一方で、マーカ２０５は、キャリブレーション部材２００に１つのみ配置されてもよい。この場合、マーカ２０５は、その位置だけでなく向きを特定可能なものであることが好ましい。即ち、撮像画像から１つのマーカ２０５を検出しただけで、撮像されているのがキャリブレーション部材のどの部分なのか、そしてキャリブレーション部材がどのような向きで撮像されているのかを推定可能であることが好ましい。
　上述したキャリブレーション部材２００は、典型的には、平面部材として構成されるものであるが、少なくとも部分的に曲面を有する部材であってもよい。また、第１カメラ１１０及び第２カメラ１２０の被写体（即ち、キャリブレーション後の運用で撮像する対象）の形状が判明している場合には、キャリブレーション部材２００が被写体の形状に応じた形状とされてもよい。例えば、第１カメラ１１０及び第２カメラ１２０の被写体が「人物の顔」である場合には、キャリブレーション部材２００は、人物の顔に近い形状を部材として構成されてよい。また、キャリブレーション部材２００は、凹凸を有する部材であってもよい。この場合の凹凸は、キャリブレーション部材２００上に均一に存在するものであってもよいし、特定の位置にのみ存在するような凹凸であってもよい。例えば、上述したように、第１カメラ１１０及び第２カメラ１２０の被写体が「人物の顔」である場合には、人の目、鼻、耳、口等に応じた凹凸が設けられていてもよい。あるいは、キャリブレーション部材２００が有する所定の柄に応じた凹凸が設けられていてもよい。
　キャリブレーション部材２００は、軽量化を実現し、且つ、剛性を高めるためにハニカム構造とされてよい。例えば、キャリブレーション部材２００は、アルミハニカムボードとして構成されてもよい。ただし、キャリブレーション部材２００を構成する材料は、特に限定されるものではない。
　（動作の流れ）
　次に、第１実施形態に係るキャリブレーション方法の動作の流れについて、図３を参照して説明する。図３は、第１実施形態に係るキャリブレーション方法の動作の流れを示すフローチャートである。
　図３に示すように、第１実施形態に係るキャリブレーション方法では、まず第１カメラ１１０と、第２カメラ１２０とで、それぞれキャリブレーション部材２００の画像を撮像する（ステップＳ１１）。第１カメラ１１０による撮像と、第２カメラ１２０による撮像とは、できる限り近いタイミング（好ましくは同時に）行われることが好ましい。なお、第１カメラ１１０及び第２カメラ１２０で撮像される画像は、キャリブレーション部材２００の全体を含むものであってもよいし、キャリブレーション部材２００の一部のみを含むものであってもよい。キャリブレーション部材２００の一部のみを含む画像が撮像される場合、キャリブレーション部材２００は、第１カメラ１１０及び第２カメラ１２０によって、キャリブレーション部材２００の共通する部分が撮像されるような位置に配置されればよい。
　続いて、第１カメラ１１０及び第２カメラ１２０で撮像されたキャリブレーション部材２００の画像（より具体的には、第１カメラ１１０で撮像された画像と、第２カメラ１２０で撮像された画像の組）に基づいて、第１カメラ１１０及び第２カメラ１２０のカメラのキャリブレーションを行う（ステップＳ１２）。具体的には、キャリブレーション部材２００が有する所定の柄及びマーカ２０５を用いて、キャリブレーションを行う。なお、キャリブレーション部材２００が有する所定の柄を用いたキャリブレーション、及びキャリブレーション部材２００が有するマーカ２０５を用いたキャリブレーションについては、後述する他の実施形態において詳しく説明する。
　なお、キャリブレーションの手法は特に限定されないが、例えば第１カメラ１１０及び第２カメラ１２０の撮像画像から推定される「ずれ」に基づいて、第１カメラ１１０及び第２カメラ１２０のパラメータを変更するものであってよい。例えば、ソフトウェアを用いて、第１カメラ１１０及び第２カメラ１２０の焦点や角度が制御されてよい。
　（技術的効果）
　次に、第１実施形態に係るキャリブレーション方法によって得られる技術的効果について説明する。
　図１から図３で説明したように、第１実施形態に係るキャリブレーション方法では、所定の柄及びマーカ２０５を有するキャリブレーション部材２００の画像を撮像することで、第１カメラ１１０及び第２カメラ１２０（即ち、少なくとも２つのカメラ）のキャリブレーションが行われる。このようにすれば、キャリブレーション部材２００が有する所定の柄及びマーカ２０５を利用することで、複数のカメラにおいて生ずる「ずれ」を比較的容易な方法で効果的に小さくすることが可能である。
　＜第２実施形態＞
　第２実施形態に係るキャリブレーション方法について、図４及び図５を参照して説明する。なお、第２実施形態は、上述した第１実施形態と比較して動作の一部が異なるのみであり、例えば第１カメラ１１０及び第２カメラ１２０、並びにキャリブレーション部材２００の構成（図１及び図２参照）等については、第１実施形態と同様であってよい。このため、以下では、第１実施形態と異なる部分について詳しく説明し、他の重複する部分については適宜説明を省略するものとする。
　（動作の流れ）
　まず、第２実施形態に係るキャリブレーション方法の動作の流れについて、図４を参照して説明する。図４は、第２実施形態に係るキャリブレーション方法の動作の流れを示すフローチャートである。なお、図４では、図３で示した処理と同様の処理に同一の符号を付している。
　図４に示すように、第２実施形態に係るキャリブレーション方法では、まず第１カメラ１１０と、第２カメラ１２０とで、それぞれキャリブレーション部材２００の画像を撮像する（ステップＳ１１）。
　続いて第２実施形態では特に、第１カメラ１１０及び第２カメラ１２０で撮像された画像中のマーカ２０５に基づく第１キャリブレーション処理を実行する（ステップＳ２１）。第１キャリブレーション処理では、撮像画像からマーカ２０５を検出し、検出したマーカに基づくキャリブレーションを行う。なお、撮像画像から複数のマーカ２０５が検出された場合には、複数のマーカ２０５の各々（即ち、検出された全てのマーカ２０５）を用いてキャリブレーションを行ってもよい。あるいは、検出された複数のマーカ２０５のうち、一部のみを用いてキャリブレーションを行ってもよい。第１キャリブレーション処理は、例えば画像中のマーカ２０５の位置に基づいて、第１カメラ１１０と第２カメラ１２０との間に生じている位置ずれを検出し、そのずれを小さくするように調整を行う処理であってよい。あるいは、第１キャリブレーション処理は、例えば画像中のマーカ２０５の向きに基づいて、第１カメラ１１０と第２カメラ１２０との間に生じている方向のずれを検出し、そのずれを小さくするように調整を行う処理であってよい。第１キャリブレーション処理は、後述する第２キャリブレーション処理と比べて、精度が低い（言い換えれば、大まかな）キャリブレーション処理であってよい。
　第１キャリブレーション処理の後には、第１カメラ１１０及び第２カメラ１２０で撮像された画像中における所定の柄のパターンに基づく第２キャリブレーション処理を実行する（ステップＳ２２）。第２キャリブレーション処理では、撮像画像中のパターンから、キャリブレーション部材２００のどの部分が撮像されているかを推定し、どの部分が撮像されているかによってキャリブレーションを行う。第２キャリブレーション処理は、例えば画像中における所定の柄のパターン（具体的には、パターンから推定されるキャリブレーション部材２００の撮像位置）に基づいて、第１カメラ１１０と第２カメラ１２０との間に生じている位置ずれを検出し、そのずれを小さくするように調整を行う処理であってよい。あるいは、第２キャリブレーション処理は、例えば画像中における所定の柄のパターン（具体的には、パターンから推定されるキャリブレーション部材２００の撮像向き）に基づいて、第１カメラ１１０と第２カメラ１２０との間に生じている方向のずれを検出し、そのずれを小さくするように調整を行う処理であってよい。第２キャリブレーション処理は、上述した第１キャリブレーション処理と比べて、精度が高い（言い換えれば、細かい）キャリブレーション処理であってよい。
　（変形例）
　次に、第２実施形態に係るキャリブレーション方法の変形例の動作の流れについて、図５を参照して説明する。図５は、第２実施形態に係るキャリブレーション方法の変形例の動作の流れを示すフローチャートである。なお、図５では、図４で示した処理と同様の処理に同一の符号を付している。
　図５に示すように、第２実施形態の変形例に係るキャリブレーション方法では、まず第１カメラ１１０と、第２カメラ１２０とで、それぞれキャリブレーション部材２００の画像を撮像する（ステップＳ１１）。
　続いて変形例では特に、第１カメラ１１０及び第２カメラ１２０で撮像された画像中における所定の柄のパターンに基づく第２キャリブレーション処理を実行する（ステップＳ２２）。第２キャリブレーション処理では、図４で説明した場合と同様に、撮像画像中のパターンから、キャリブレーション部材２００のどの部分が撮像されているかを推定し、どの部分が撮像されているかによってキャリブレーションを行う。第２キャリブレーション処理は画像中における所定の柄のパターン（具体的には、パターンから推定されるキャリブレーション部材２００の撮像位置）に基づいて、第１カメラ１１０と第２カメラ１２０との間に生じている位置ずれを検出し、そのずれを小さくするように調整を行う処理であってよい。あるいは、第２キャリブレーション処理は、例えば画像中における所定の柄のパターン（具体的には、パターンから推定されるキャリブレーション部材２００の撮像向き）に基づいて、第１カメラ１１０と第２カメラ１２０との間に生じている方向のずれを検出し、そのずれを小さくするように調整を行う処理であってよい。変形例に係る第２キャリブレーション処理は、後述する変形例に係る第１キャリブレーション処理と比べて、精度が低い（言い換えれば、大まかな）キャリブレーション処理であってよい。
　第１キャリブレーション処理の後には、第１カメラ１１０及び第２カメラ１２０で撮像された画像中のマーカ２０５に基づく第１キャリブレーション処理を実行する（ステップＳ２１）。第１キャリブレーション処理では、図４で説明した場合と同様に、撮像画像からマーカ２０５を検出し、検出したマーカに基づくキャリブレーションを行う。なお、撮像画像から複数のマーカ２０５が検出された場合には、複数のマーカ２０５の各々（即ち、検出された全てのマーカ２０５）を用いてキャリブレーションを行ってもよい。あるいは、検出された複数のマーカ２０５のうち、一部のみを用いてキャリブレーションを行ってもよい。第１キャリブレーション処理は、例えば画像中のマーカ２０５の位置に基づいて、第１カメラ１１０と第２カメラ１２０との間に生じている位置ずれを検出し、そのずれを小さくするように調整を行う処理であってよい。あるいは、第１キャリブレーション処理は、例えば画像中のマーカ２０５の向きに基づいて、第１カメラ１１０と第２カメラ１２０との間に生じている方向のずれを検出し、そのずれを小さくするように調整を行う処理であってよい。上述したマーカ２０５の位置に基づくキャリブレーション処理と、マーカ２０５の向きに基づくキャリブレーション処理は、互いに組み合わせて実行されてもよい。即ち、マーカ２０５の位置及び向きの両方に基づくキャリブレーション処理が実行されてもよい。変形例に係る第１キャリブレーション処理は、上述した変形例に係る第２キャリブレーション処理と比べて、精度が高い（言い換えれば、細かい）キャリブレーション処理であってよい。
　（技術的効果）
　次に、第２実施形態に係るキャリブレーション方法によって得られる技術的効果について説明する。
　図４及び図５で説明したように、第２実施形態に係るキャリブレーション方法では、キャリブレーション部材２００が有するマーカ２０５に基づく第１キャリブレーション処理、及びキャリブレーション部材２００が有する所定の柄のパターンに基づく第２キャリブレーション処理が順次実行される。このようにすれば、キャリブレーション部材２００のマーカ２０５及び所定の柄の各々を利用して、適切なキャリブレーションを行うことが可能である。なお、すでに説明したように、第１キャリブレーション処理及び第２キャリブレーション処理のうち、先に行われる処理で大まかな調整を行い、後で行われる処理で細かい調整を行うようにすれば、段階的なキャリブレーションによって、第１カメラ１１０及び第２カメラ１２０間のずれを効果的に小さくすることが可能である。
　＜第３実施形態＞
　第３実施形態に係るキャリブレーション方法について、図６を参照して説明する。なお、第３実施形態は、上述した第１及び第２実施形態と比較して動作の一部が異なるのみであり、その他の部分については、第１及び第２実施形態と同様であってよい。このため、以下では、すでに説明した各実施形態と異なる部分について詳しく説明し、他の重複する部分については適宜説明を省略するものとする。
　（動作の流れ）
　まず、第３実施形態に係るキャリブレーション方法の動作の流れについて、図６を参照して説明する。図６は、第３実施形態に係るキャリブレーション方法の動作の流れを示すフローチャートである。なお、図６では、図３で示した処理と同様の処理に同一の符号を付している。
　図６に示すように、第３実施形態に係るキャリブレーション方法では、まず第１カメラ１１０と、第２カメラ１２０とで、それぞれキャリブレーション部材２００の画像を撮像する（ステップＳ１１）。
　続いて第３実施形態では特に、第１カメラ１１０及び第２カメラ１２０で撮像された画像が所定枚数に到達したか否かを判定する（ステップＳ３１）。ここでの「所定枚数」とは、後述する複数枚の画像を用いるキャリブレーションに要求される枚数であり、例えば事前のシミュレーション等によって適切な枚数を決定しておけばよい。第１カメラ１１０及び第２カメラ１２０の撮像枚数が所定枚数に到達していない場合（ステップＳ３１：ＮＯ）、再びステップＳ１１の処理を実行する。即ち、第１カメラ１１０と、第２カメラ１２０とで、それぞれキャリブレーション部材２００の画像を撮像する。このように、第１カメラ１１０及び第２カメラ１２０によるキャリブレーション部材２００の撮像は、撮像枚数が所定枚数に到達するまで繰り返し行われる。
　一方で、第１カメラ１１０及び第２カメラ１２０の撮像枚数が所定枚数に到達している場合（ステップＳ３１：ＹＥＳ）、第１カメラ１１０及び第２カメラ１２０で撮像された複数枚のキャリブレーション部材２００の画像に基づいて、第１カメラ１１０及び第２カメラ１２０のカメラのキャリブレーションを行う（ステップＳ３２）。より具体的には、第１カメラ１１０で撮像された画像と第２カメラ１２０で撮像された画像との組を複数用いて、キャリブレーションを行う。なお、ここでのキャリブレーションは、画像を撮像した回数分だけ、複数回キャリブレーションを行う処理であってよい。あるいは、複数回撮像した画像を全部又は部分的に統合して、撮像回数よりも少ない回数のキャリブレーションを行う処理であってよい。あるいは、複数回撮像した画像から一部の画像のみを選択して、選択した画像のみを用いたキャリブレーションを行う処理であってよい。
　上述したステップＳ３２のキャリブレーションは、第２実施形態のように第１キャリブレーション処理、及び第２キャリブレーション処理として実行されてもよい（図４及び図５を参照）。具体的には、第１キャリブレーション処理として、複数回撮像された画像からマーカ２０５を検出し、検出したマーカに基づくキャリブレーションを行う処理を実行してもよい。また、第２キャリブレーション処理として、複数回撮像された画像のパターンから、キャリブレーション部材２００のどの部分が撮像されているかを推定し、どの部分が撮像されているかによってキャリブレーションを行う処理を実行してもよい。第１キャリブレーション処理及び第２キャリブレーション処理を実行する順序は互いに前後してよい。
　（技術的効果）
　次に、第３実施形態に係るキャリブレーション方法によって得られる技術的効果について説明する。
　図６で説明したように、第３実施形態に係るキャリブレーション方法では、撮像した画像が所定枚数に到達するまで、第１カメラ１１０及び第２カメラ１２０によるキャリブレーション部材２００の撮像が複数回行われる。このようにすれば、１回しか撮像を行わない場合と比べると、キャリブレーションに用いる画像が増加する分キャリブレーションの精度を高めることが可能である。また、キャリブレーションに適さない画像が撮像された場合でも、別の画像を用いてキャリブレーションを行うことができるため、不適切なキャリブレーションが実行されてしまうことを防止できる。
　＜第４実施形態＞
　第４実施形態に係るキャリブレーション方法について、図７から図９を参照して説明する。なお、第４実施形態は、上述した第３実施形態と比較して動作の一部が異なるのみであり、その他の部分については、第３実施形態と同様であってよい。このため、以下では、すでに説明した各実施形態と異なる部分について詳しく説明し、他の重複する部分については適宜説明を省略するものとする。
　（動作の流れ）
　まず、第４実施形態に係るキャリブレーション方法の動作の流れについて、図７を参照して説明する。図７は、第４実施形態に係るキャリブレーション方法の動作の流れを示すフローチャートである。なお、図７では、図６で示した処理と同様の処理に同一の符号を付している。
　図７に示すように、第４実施形態に係るキャリブレーション方法では、まず第１カメラ１１０と、第２カメラ１２０とで、それぞれキャリブレーション部材２００の画像を撮像する（ステップＳ１１）。
　続いて、第１カメラ１１０及び第２カメラ１２０で撮像された画像が所定枚数に到達したか否かを判定する（ステップＳ３１）。第１カメラ１１０及び第２カメラ１２０の撮像枚数が所定枚数に到達していない場合（ステップＳ３１：ＮＯ）、上述した第３実施形態と同様に、再びステップＳ１１の処理を実行することになるが、第４実施形態では特に、キャリブレーション部材２００の位置又は角度の少なくとも一方を変更してから（ステップＳ４１）、ステップＳ１１の処理を実行する。これにより、２回目以降の撮像では、キャリブレーション部材２００が、それまでとは異なる位置又は角度で撮像されることになる。キャリブレーション部材２００の位置及び角度の変更方法については、後に具体例を挙げて詳しく説明する。
　第１カメラ１１０及び第２カメラ１２０の撮像枚数が所定枚数に到達している場合（ステップＳ３１：ＹＥＳ）、第１カメラ１１０及び第２カメラ１２０で撮像された複数枚のキャリブレーション部材２００の画像に基づいて、第１カメラ１１０及び第２カメラ１２０のカメラのキャリブレーションを行う（ステップＳ３２）。より具体的には、第１カメラ１１０で撮像された画像と第２カメラ１２０で撮像された画像との組を複数用いて、キャリブレーションを行う。なお、ここでのキャリブレーションは、画像を撮像した回数分だけ、複数回キャリブレーションを行う処理であってよい。あるいは、複数回撮像した画像を全部又は部分的に統合して、撮像回数よりも少ない回数のキャリブレーションを行う処理であってよい。あるいは、複数回撮像した画像から一部の画像のみを選択して、選択した画像のみを用いたキャリブレーションを行う処理であってよい。
　上述したステップＳ３２のキャリブレーションは、第２実施形態のように第１キャリブレーション処理、及び第２キャリブレーション処理として実行されてもよい（図４及び図５を参照）。具体的には、第１キャリブレーション処理として、複数回撮像された画像からマーカ２０５を検出し、検出したマーカに基づくキャリブレーションを行う処理を実行してもよい。また、第２キャリブレーション処理として、複数回撮像された画像のパターンから、キャリブレーション部材２００のどの部分が撮像されているかを推定し、どの部分が撮像されているかによってキャリブレーションを行う処理を実行してもよい。第１キャリブレーション処理及び第２キャリブレーション処理を実行する順序は互いに前後してよい。
　（位置・角度の変更）
　次に、キャリブレーション部材の位置及び角度の変更方法について、図８及び図９を参照して具体的に説明する。図８は、第４実施形態に係るキャリブレーション方法におけるキャリブレーション部材の位置の変更例を示す図である。図９は、第４実施形態に係るキャリブレーション方法におけるキャリブレーション部材の角度の変更例を示す図である。
　図８に示すように、キャリブレーション部材２００は、前後方向又は左右方向に移動されることで、その位置が変更されてもよい。また、キャリブレーション部材２００は、上下方向（即ち、紙面の手前側及び奥側）に移動されることで、その位置が変更されてもよい。更に、キャリブレーション部材２００は、上述した、前後方向、左右方向、及び上下方向を組み合わせた斜め方向に移動されることで、その位置が変更されてもよい。キャリブレーション部材２００の移動量は、予め設定されていてもよい。キャリブレーション部材２００を複数回移動させる場合、１回あたりの移動量は毎回同じであってもよいし、毎回変化するようにしてもよい。例えば、移動量が徐々に大きくなるようにしてもよいし、移動量が徐々に小さくなるようにしてもよい。
　図９に示すように、キャリブレーション部材２００は、回転されることで、その角度が変更されてもよい。なお、図９に示す例では、説明の便宜上、キャリブレーション部材２００の中央付近の軸を中心として時計回りに回転させる例を挙げているが、他の態様で回転させてもよい。即ち、キャリブレーション部材２００を回転させる軸は特に限定されず、どのような回転軸であってもよい。また、キャリブレーション部材２００を回転させる回転軸が２つ以上あってもよい。また、キャリブレーション部材２００の回転方向も１つの方向には限定されず、様々な方向に回転されてよい。キャリブレーション部材２００の回転軸や回転方向は、予め設定されていてもよい。キャリブレーション部材２００の回転を複数回実行する場合、１回あたりの回転量は毎回同じであってもよいし、毎回変化するようにしてもよい。例えば、回転量が徐々に大きくなるようにしてもよいし、回転量が徐々に小さくなるようにしてもよい。また回転方向についても、毎回同じであってもよいし、毎回変化するようにしてもよい。
　上述したキャリブレーション部材２００の位置及び角度の変更は、手動で行われてもよい。キャリブレーション部材２００を手動で行う場合、ユーザに対して誘導情報（即ち、キャリブレーション部材を移動させる距離や方向を示す情報）が提示されてもよい。誘導情報については、後述する他の実施形態において詳しく説明する。また、キャリブレーション部材２００の位置及び角度の変更は、駆動装置等を利用して自動で行われてもよい。駆動装置を備える構成については、後述する他の実施形態において詳しく説明する。
　（技術的効果）
　次に、第４実施形態に係るキャリブレーション方法によって得られる技術的効果について説明する。
　図７から図９で説明したように、第４実施形態に係るキャリブレーション方法では、キャリブレーション部材２００の位置又は角度を変更しながら、複数枚の画像が撮像される。このようにすれば、キャリブレーション部材２００が異なる距離又は角度から撮像されることになるため、例えば同じ距離又は角度だけで撮像する場合と比較すると、キャリブレーション部材２００の画像のバリエーション増加する分キャリブレーションの精度を高めることが可能である。また、キャリブレーションに適さない距離や角度で画像が撮像された場合でも、別の画像を用いてキャリブレーションを行うことができるため、不適切なキャリブレーションが実行されてしまうことを防止できる。
　＜第５実施形態＞
　第５実施形態に係るキャリブレーション方法について、図１０から図１３を参照して説明する。なお、第５実施形態は、上述した第１から第４実施形態と比較して動作の一部が異なるのみであり、その他の部分については、第１から第３実施形態と同様であってよい。このため、以下では、すでに説明した各実施形態と異なる部分について詳しく説明し、他の重複する部分については適宜説明を省略するものとする。
　（動作の流れ）
　まず、第５実施形態に係るキャリブレーション方法の動作の流れについて、図１０を参照して説明する。図１０は、第５実施形態に係るキャリブレーション方法の動作の流れを示すフローチャートである。なお、図１０では、図３で示した処理と同様の処理に同一の符号を付している。
　図１０に示すように、第５実施形態に係るキャリブレーション方法では、まず第１カメラ１１０と、第２カメラ１２０とで、それぞれキャリブレーション部材２００の画像を撮像する（ステップＳ１１）。
　続いて第５実施形態では特に、キャリブレーション部材２００の位置が不適切であるか否かを判定する（ステップＳ５１）。より具体的には、キャリブレーション部材２００が、キャリブレーションを行うのに適した位置又は角度で、第１カメラ１１０及び第２カメラ１２０に撮像されているか否かを判定する。なお、ここでの判定方法は特に限定されないが、例えば撮像した画像に基づいて、キャリブレーション部材２００が所定の範囲内に収まっているか否かを判定するようにしてもよい。ここでの「所定の範囲」は、事前のシミュレーション等によって予め設定しておけばよい。
　キャリブレーション部材２００の位置が不適切である場合（ステップＳ５１：ＹＥＳ）、キャリブレーション部材を動かす位置又は方向に関する情報（以下、適宜「誘導情報」と称する）を出力する（ステップＳ５２）。誘導情報は、例えばキャリブレーション部材２００を持っているユーザに対して出力される情報であってよい。この場合、ユーザに対して、キャリブレーション部材２００をどのように動かせばよいのかを示す情報が提示されてよい。ユーザは、誘導情報に応じてキャリブレーション部材２００を動かすようにすればよい。ユーザに対する誘導情報の出力例については、後に詳しく説明する。誘導情報は、キャリブレーション部材２００を駆動する駆動装置に対して出力される情報であってよい。この場合、駆動装置に対してキャリブレーション部材２００の移動量や移動方向に関する情報、あるいはキャリブレーション部材２００の移動目標地点の座標情報等が出力されてよい。駆動装置は、誘導情報に応じてキャリブレーション部材２００を駆動するようにすればよい。
　誘導情報の出力後は、再びステップＳ１１の処理を実行する。即ち、第１カメラ１１０と、第２カメラ１２０とで、それぞれキャリブレーション部材２００の画像を撮像する。そして再び、キャリブレーション部材２００の位置が不適切であるか否かを判定する（ステップＳ５１）。このように、第５実施形態に係るキャリブレーション方法では、キャリブレーション部材２００の位置が適切なものとなるまで、第１カメラ１１０及び第２カメラ１２０による画像の撮像が繰り返される。
　他方、キャリブレーション部材２００の位置が不適切でない場合（ステップＳ５１：ＮＯ）、第１カメラ１１０及び第２カメラ１２０で撮像されたキャリブレーション部材２００の画像に基づいて、第１カメラ１１０及び第２カメラ１２０のカメラのキャリブレーションを行う（ステップＳ１２）。具体的には、キャリブレーション部材２００が有する所定の柄及びマーカ２０５を用いて、キャリブレーションを行う。
　（変形例）
　次に、第５実施形態に係るキャリブレーション方法の変形例の動作の流れについて、図１１を参照して説明する。図１１は、第５実施形態に係るキャリブレーション方法の変形例の動作の流れを示すフローチャートである。なお、図１１では、図７で示した処理と同様の処理に同一の符号を付している。
　図１１に示すように、第５実施形態に係るキャリブレーション方法の変形例では、まず第１カメラ１１０と、第２カメラ１２０とで、それぞれキャリブレーション部材２００の画像を撮像する（ステップＳ１１）。
　続いて、キャリブレーション部材２００の位置が不適切であるか否かを判定する（ステップＳ５１）。そして、キャリブレーション部材２００の位置が不適切である場合（ステップＳ５１：ＹＥＳ）、キャリブレーション部材を動かす位置又は方向を示す誘導情報を出力する（ステップＳ５２）。
　誘導情報の出力後は、再びステップＳ１１の処理を実行する。即ち、第１カメラ１１０と、第２カメラ１２０とで、それぞれキャリブレーション部材２００の画像を撮像する。そして再び、キャリブレーション部材２００の位置が不適切であるか否かを判定する（ステップＳ５１）。このように、第５実施形態に係るキャリブレーション方法の変形例においても、キャリブレーション部材２００の位置が適切なものとなるまで、第１カメラ１１０及び第２カメラ１２０による画像の撮像が繰り返される。
　一方で、キャリブレーション部材２００の位置が不適切でない場合（ステップＳ５１：ＮＯ）、第１カメラ１１０及び第２カメラ１２０で撮像された画像が所定枚数に到達したか否かを判定する（ステップＳ３１）。そして、第１カメラ１１０及び第２カメラ１２０の撮像枚数が所定枚数に到達していない場合（ステップＳ３１：ＮＯ）、キャリブレーション部材２００の位置又は角度の少なくとも一方を変更してから（ステップＳ４１）、ステップＳ１１の処理を実行する。第５実施形態の変形例では特に、ここでも再びキャリブレーション部材２００の位置が不適切であるか否かを判定する（ステップＳ５１）。そして、キャリブレーション部材２００の位置が不適切である場合（ステップＳ５１：ＹＥＳ）、キャリブレーション部材を動かす位置又は方向を示す誘導情報を出力する（ステップＳ５２）。
　誘導情報の出力後は、再びステップＳ１１の処理を実行する。即ち、第１カメラ１１０と、第２カメラ１２０とで、それぞれキャリブレーション部材２００の画像を撮像する。そして再び、キャリブレーション部材２００の位置が不適切であるか否かを判定する（ステップＳ５１）。このように、第５実施形態に係るキャリブレーション方法の変形例においては、キャリブレーション部材の位置及び角度を変更した後も、キャリブレーション部材２００の位置が適切なものとなるまで、第１カメラ１１０及び第２カメラ１２０による画像の撮像が繰り返される。
　他方、第１カメラ１１０及び第２カメラ１２０の撮像枚数が所定枚数に到達している場合（ステップＳ３１：ＹＥＳ）、第１カメラ１１０及び第２カメラ１２０で撮像された複数枚のキャリブレーション部材２００の画像に基づいて、第１カメラ１１０及び第２カメラ１２０のカメラのキャリブレーションを行う（ステップＳ３２）。より具体的には、第１カメラ１１０で撮像された画像と第２カメラ１２０で撮像された画像との組を複数用いて、キャリブレーションを行う。
　（誘導情報の具体例）
　次に、第５実施形態に係るキャリブレーション方法で出力される誘導情報について、図１２及び図１３を参照して具体的に説明する。図１２は、第６実施形態に係るキャリブレーション装置による誘導情報の出力態様の一例を示す図（その１）である。図１３は、第６実施形態に係るキャリブレーション装置による誘導情報の出力態様の一例を示す図（その２）である。
　図１２に示すように、誘導情報は、例えばディスプレイを備える表示装置等でユーザに提示される。図１２に示す例では、キャリブレーション部材２００の現在の位置を示す画像と、キャリブレーション部材２００を動かす方向を示す情報（「もう少し右に動かしてください」というテキスト及び右方向の矢印）とが、ユーザに対して提示される。なお、誘導情報は、キャリブレーション部材の具体的な移動距離を含む情報として表示されてもよい。例えば、「あと３０ｃｍ右に動かしてください」というテキストを表示するようにしてもよい。また、キャリブレーション部材２００を斜め方向に動かすことが要求される場合には、そのまま斜め方向に誘導するような表示を行ってもよいし、段階的に斜めに誘導するための表示を行ってもよい。例えば、キャリブレーション部材２００を右下方向へ誘導する場合、最初に右方向に誘導する表示のみを行い、その後に下方向に誘導する表示のみを行うようにしてもよい。
　図１３に示すように、誘導情報として、キャリブレーション部材２００の現在の位置を示す画像と、キャリブレーション部材２００の移動目標地点を示す枠とが、ユーザに対して提示されてもよい。この場合、キャリブレーション部材２００を枠内に移動させることを促すテキスト（例えば、「枠内に収まるように移動してください」等）が表示されてもよい。キャリブレーション部材２００の移動目標地点である枠は、キャリブレーション部材２００と同じ大きさであってもよいし、キャリブレーション部材より少しだけ大きいものであってもよい。また、図１３に示すようなキャリブレーション部材２００の移動目標地点を示す枠に加えて又は代えて、キャリブレーション部材２００が有するマーカ２０５の移動目標地点を示す枠がユーザに提示されてもよい。キャリブレーション部材２００が複数のマーカ２０５を有する場合、複数のマーカ２０５に対応する複数の枠を表示するようにしてもよい。
　なお、上述した誘導情報の表示態様は一例であり、その他の表示態様で誘導情報を出力してもよい。また、複数種類の表示態様が実現できる場合、複数の表示態様の中から１つの表示態様を選択して表示するようにしてもよい。この場合、表示態様をユーザが選択できるようにしてもよい。例えば、ユーザの操作に応じて表示態様が切り替わるようにしてもよい。
　誘導情報は更に、視覚的な表示（即ち、画像情報）としてだけでなく、その他の態様で出力されてもよい。具体的には、誘導情報は、音声情報として出力されるものであってもよい。誘導情報は、表示用の画像情報と、音声通知用の音声情報との両方を含むものとして出力されてもよい。誘導情報が画像情報と音声情報とを含む場合、画像情報による表示と、音声情報による音声通知とを両方同時に行ってもよいし、選択された一方のみ（即ち、画像表示のみ、あるいは音声通知のみ）を行うようにしてもよい。
　（技術的効果）
　次に、第５実施形態に係るキャリブレーション方法によって得られる技術的効果について説明する。
　図１０から図１３で説明したように、第５実施形態に係るキャリブレーション方法では、キャリブレーション部材２００の位置が不適切な場合に誘導情報が出力される。このようにすれば、キャリブレーション部材の位置がキャリブレーションに適さないものであったとしても、誘導情報によって適切な位置に移動させることが可能である。この結果、最初からキャリブレーション部材２００を適切な位置に配置できない場合でも、最終的にキャリブレーションに適した画像を撮像することが可能となる。
　＜第６実施形態＞
　第６実施形態に係るキャリブレーション方法について説明する。なお、第６実施形態は、キャリブレーション方法に用いるキャリブレーション部材２００の具体例を説明するものであり、その他の部分については、第１から第５実施形態と同様であってよい。このため、以下では、すでに説明した各実施形態と異なる部分について詳しく説明し、他の重複する部分については適宜説明を省略するものとする。
　第６実施形態に係るキャリブレーション方法で用いるキャリブレーション部材２００は、所定の柄の明度及び彩度の少なくとも一方が所定値よりも高くなるように構成されている。ここでの「所定値」は、所定の柄の検出を精度よく行うために設定される閾値であり、例えば事前のシミュレーション等によって、所望の検出精度を実現可能な値として算出されればよい。所定値は、明度及び彩度の各々に対して別々に設定される値であってよい。即ち、明度に対する所定値と、彩度に対する所定値とは、異なる値であってよい。
　なお、明度及び彩度は両方が所定値以上となるのが好ましいが、一方のみが所定値以上となるだけでも構わない。ただし、画像中のキャリブレーション部材の明度については、照明等の環境パラメータの影響を大きく受けるため、明度及び彩度のいずれか一方のみを所定位置とするのであれば、環境パラメータによる影響を受け難い彩度が所定値以上とするのが望ましい。
　また、キャリブレーション部材２００は、所定の柄が複数の色相を含むように構成されている。所定の柄が複数の色相を含むことで、所定の柄が有するパターンの形状だけでなく、色情報を用いてキャリブレーションを行うことが可能となる。所定の柄が複数の色相を含んでいれば、例えばオープンＣＶである「Ｃｏｌｏｒｅｄ　Ｐｏｉｎｔ　Ｃｌｏｕｄ　Ｒｅｇｉｓｔｒａｔｉｏｎ」を利用して位置合わせを行うことができる。具体的には、色情報を有する複数の点群を用いた位置合わせを行うことができる。なお、所定の柄に含まれる色相は特に限定されるものではないが、画像を撮像する環境等に応じて適切な色相（例えば、より検出精度が高くなるような色相）を選択するようにしてもよい。
　（技術的効果）
　次に、第６実施形態に係るキャリブレーション方法によって得られる技術的効果について説明する。
　第６実施形態に係るキャリブレーション方法では、キャリブレーション部材２００が有する所定の柄が、明度及び彩度の少なくとも一方が所定値よりも高く、且つ、複数の色相を含むものとして設定されている。このようにすれば、所定の柄を利用したキャリブレーションを、より高い精度で行うことが可能となる。
　＜第７実施形態＞
　第７実施形態に係るキャリブレーション方法について説明する。なお、第７実施形態は、キャリブレーション方法に用いるキャリブレーション部材２００の具体例を説明するものであり、その他の部分については、第１から第６実施形態と同様であってよい。このため、以下では、すでに説明した各実施形態と異なる部分について詳しく説明し、他の重複する部分については適宜説明を省略するものとする。
　第７実施形態に係るキャリブレーション方法で用いるキャリブレーション部材２００は、複数の二次元コードからなるマーカ２０５を有している。二次元コードはスタック型の二次元コードであってもよいし、マトリックス型の二次元コードであってもよい。スタック型の二次元コードの一例としては、ＰＤＦ４１７やＣＯＤＥ４９等が挙げられるが、それ以外のスタック型の二次元コードも、本実施形態に係るマーカ２０５として適用することができる。マトリックス型の二次元コードの一例としては、ＱＲコード（登録商標）、ＤａｔａＭａｔｒｉｘ、ＶｅｒｉＣｏｄｅ、ＡｒＵｋｏマーカ等が挙げられるが、それ以外のマトリックス型の二次元コードも、本実施形態に係るマーカ２０５として適用することができる。なお、キャリブレーション部材２００は、複数種類の二次元コードをマーカ２０５として備えていてもよい。この場合、スタック型の二次元コードと、マトリックス型の二次元コードとを組み合わせて用いてもよい。
　ちなみに、本願発明者の研究するところによれば、キャリブレーション部材２００が有するマーカ２０５には、マトリックス型の二次元コードであるＡｒＵｋｏマーカが適していることが判っている。このため、キャリブレーション部材２００は、マーカ２０５として、ＡｒＵｋｏマーカ、又はＡｒＵｋｏマーカと他の二次元コードとの組み合わせを有していることが好ましい。ただし、マーカ２０５がＡｒＵｋｏマーカを含まない場合であっても、後述する技術的効果は相応に得られる。
　（技術的効果）
　次に、第７実施形態に係るキャリブレーション方法によって得られる技術的効果について説明する。
　第７実施形態に係るキャリブレーション方法では、キャリブレーション部材２００が
複数の二次元コードを有している。このようにすれば、マーカ２０５の検出精度を高めることができるため、より適切にキャリブレーション行うことが可能となる。また、二次元コード自体にキャリブレーションに利用する情報（例えば、位置に関する情報等）を持たせることができるため、キャリブレーションがより容易に行えるようになる。更に、複数の二次元コードを配置することで、１つの二次元コードのみを配置する場合と比較して、より正確に位置情報を検出することが可能となる。
　＜第８実施形態＞
　第８実施形態に係るキャリブレーション装置について、図１４から図１６を参照して説明する。なお、第８実施形態に係るキャリブレーション装置は、上述した第１から第７実施形態に係るキャリブレーション方法を実現可能な装置として構成されてよい。このため、第８実施形態に係るキャリブレーション装置が実行する動作のうち、上述した第１から第７実施形態において説明した動作については、適宜説明を省略するものとする。
　（ハードウェア構成）
　まず、図１４を参照しながら、第８実施形態に係るキャリブレーション装置のハードウェア構成について説明する。図１４は、第８実施形態に係るキャリブレーション装置のハードウェア構成を示すブロック図である。
　図１４に示すように、第８実施形態に係るキャリブレーション装置３００は、プロセッサ１１と、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）１２と、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）１３と、記憶装置１４とを備えている。キャリブレーション装置３００は更に、入力装置１５と、出力装置１６とを備えていてもよい。プロセッサ１１と、ＲＡＭ１２と、ＲＯＭ１３と、記憶装置１４と、入力装置１５と、出力装置１６とは、データバス１７を介して接続されている。
　プロセッサ１１は、コンピュータプログラムを読み込む。例えば、プロセッサ１１は、ＲＡＭ１２、ＲＯＭ１３及び記憶装置１４のうちの少なくとも一つが記憶しているコンピュータプログラムを読み込むように構成されている。或いは、プロセッサ１１は、コンピュータで読み取り可能な記録媒体が記憶しているコンピュータプログラムを、図示しない記録媒体読み取り装置を用いて読み込んでもよい。プロセッサ１１は、ネットワークインタフェースを介して、キャリブレーション装置３００の外部に配置される不図示の装置からコンピュータプログラムを取得してもよい（つまり、読み込んでもよい）。プロセッサ１１は、読み込んだコンピュータプログラムを実行することで、ＲＡＭ１２、記憶装置１４、入力装置１５及び出力装置１６を制御する。本実施形態では特に、プロセッサ１１が読み込んだコンピュータプログラムを実行すると、プロセッサ１１内には、キャリブレーションに関する各種処理を実行するための機能ブロックが実現される。なお、プロセッサ１１の一例として、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）、ＦＰＧＡ（ｆｉｅｌｄ－ｐｒｏｇｒａｍｍａｂｌｅ　ｇａｔｅ　ａｒｒａｙ）、ＤＳＰ（Ｄｅｍａｎｄ－Ｓｉｄｅ　Ｐｌａｔｆｏｒｍ）、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ　Ｓｐｅｃｉｆｉｃ　Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ）が挙げられる。プロセッサ１１は、上述した一例のうち一つを用いてもよいし、複数を並列で用いてもよい。
　ＲＡＭ１２は、プロセッサ１１が実行するコンピュータプログラムを一時的に記憶する。ＲＡＭ１２は、プロセッサ１１がコンピュータプログラムを実行している際にプロセッサ１１が一時的に使用するデータを一時的に記憶する。ＲＡＭ１２は、例えば、Ｄ－ＲＡＭ（Ｄｙｎａｍｉｃ　ＲＡＭ）であってもよい。
　ＲＯＭ１３は、プロセッサ１１が実行するコンピュータプログラムを記憶する。ＲＯＭ１３は、その他に固定的なデータを記憶していてもよい。ＲＯＭ１３は、例えば、Ｐ－ＲＯＭ（Ｐｒｏｇｒａｍｍａｂｌｅ　ＲＯＭ）であってもよい。
　記憶装置１４は、キャリブレーション装置３００が長期的に保存するデータを記憶する。記憶装置１４は、プロセッサ１１の一時記憶装置として動作してもよい。記憶装置１４は、例えば、ハードディスク装置、光磁気ディスク装置、ＳＳＤ（Ｓｏｌｉｄ　Ｓｔａｔｅ　Ｄｒｉｖｅ）及びディスクアレイ装置のうちの少なくとも一つを含んでいてもよい。
　入力装置１５は、キャリブレーション装置３００のユーザからの入力指示を受け取る装置である。入力装置１５は、例えば、キーボード、マウス及びタッチパネルのうちの少なくとも一つを含んでいてもよい。入力装置１５は、専用のコントローラ（操作端末）であってもよい。また、入力装置１５は、ユーザが保有する端末（例えば、スマートフォンやタブレット端末等）を含んでいてもよい。入力装置１５は、例えばマイクを含む音声入力が可能な装置であってもよい。
　出力装置１６は、キャリブレーション装置３００に関する情報を外部に対して出力する装置である。例えば、出力装置１６は、キャリブレーション装置３００に関する情報を表示可能な表示装置（例えば、ディスプレイ）であってもよい。ここでの表示装置は、テレビモニタ、パソコンモニタ、スマートフォンのモニタ、タブレット端末のモニタ、その他の携帯端末のモニタであってよい。また、表示装置は、店舗等の各種施設に設置される大型モニタやデジタルサイネージ等であってよい。また、出力装置１６は、画像以外の形式で情報を出力する装置であってもよい。例えば、出力装置１６は、キャリブレーション装置３００に関する情報を音声で出力するスピーカであってもよい。
　（機能的構成）
　次に、図１５を参照しながら、第８実施形態に係るキャリブレーション装置３００の機能的構成について説明する。図１５は、第８実施形態に係るキャリブレーション装置の機能的構成を示すブロック図である。
　図１５に示すように、第８実施形態に係るキャリブレーション装置３００は、キャリブレーション対象である第１カメラ１１０及び第２カメラ１２０とそれぞれ接続されている。キャリブレーション装置３００は、その機能を実現するための処理ブロックとして、画像取得部３１０と、キャリブレーション部３２０とを備えている。なお、画像取得部３１０及びキャリブレーション部３２０の各々は、上述したプロセッサ１１（図１参照）によって実現されてよい。
　画像取得部３１０は、第１カメラ１１０で撮像したキャリブレーション部材２００の画像と、第２カメラ１２０で撮像したキャリブレーション部材２００の画像とを取得可能に構成されている。画像取得部３１０は、取得した画像を記憶する記憶手段（メモリ）を備えていてもよい。画像取得部３１０は、例えば同じタイミングで撮像された第１カメラ１１０の画像と、第２カメラ１２０での画像とを、２枚１組のセットにして記憶するようにしてもよい。画像取得部３１０で取得された画像は、キャリブレーション部３２０に出力される構成となっている。
　キャリブレーション部３２０は、画像取得部３１０で取得した第１カメラ１１０の画像と、第２カメラ１２０での画像とに基づいて、第１カメラ１１０及び第２カメラ１２０のキャリブレーションを実行可能に構成されている。キャリブレーション部３２０は、キャリブレーションが行えるように、第１カメラ１１０及び第２カメラ１２０の各パラメータを制御可能に構成されている。なお、具体的なキャリブレーション方法については、上述した第１から第７実施形態の手法を適宜採用することができるため、ここでの詳細な説明は省略するものとする。
　（動作の流れ）
　次に、図１６を参照しながら、第８実施形態に係るキャリブレーション装置３００の動作の流れについて説明する。図１６は、第８実施形態に係るキャリブレーション装置の動作の流れを示すフローチャートである。
　図３に示すように、第１実施形態に係るキャリブレーション装置３００の動作が開始されると、まず画像取得部３１０が、第１カメラ１１０で撮像したキャリブレーション部材２００の画像と、第２カメラ１２０で撮像したキャリブレーション部材２００の画像とを取得する（ステップＳ８１）。なお、上述した第３実施形態及び第４実施形態のように、所定枚数に到達するまで繰り返し画像を撮像する構成を採用する場合、画像取得部３１０は、第１カメラ１１０及び第２カメラ１２０で撮像が実施される度に、第１カメラ１１０の撮像画像と第２カメラ１２０の撮像画像とを取得するようにすればよい。また、画像取得部３１０が、第１カメラ１１０及び第２カメラ１２０の撮像画像が所定枚数に到達したか否かを判定する判定部として機能してもよい。
　続いて、キャリブレーション部３２０が、画像取得部３１０で取得した第１カメラ１１０の画像と、第２カメラ１２０での画像とに基づいて、第１カメラ１１０及び第２カメラ１２０のキャリブレーションを実行する（ステップＳ８２）。なお、上述した第２実施形態のように、第１キャリブレーション処理及び第２キャリブレーション処理を行う構成を採用する場合、キャリブレーション部３２０は、第１キャリブレーション処理を実行する第１キャリブレーション部と、第２キャリブレーション処理を実行する第２キャリブレーション部を備えて構成されてよい。また、第５実施形態のように誘導情報を出力する構成を採用する場合、キャリブレーション部３２０は、誘導情報を出力する誘導情報出力部を備えて構成されてよい。
　（技術的効果）
　次に、第８実施形態に係るキャリブレーション装置３００によって得られる技術的効果について説明する。
　図１４から図１６で説明したように、第８実施形態に係るキャリブレーション装置３００では、所定の柄及びマーカ２０５を有するキャリブレーション部材２００の画像を撮像することで、第１カメラ１１０及び第２カメラ１２０（即ち、少なくとも２つのカメラ）のキャリブレーションが行われる。このようにすれば、キャリブレーション部材２００が有する所定の柄及びマーカ２０５を利用することで、複数のカメラにおいて生ずる「ずれ」を比較的容易な方法で効果的に小さくすることが可能である。
　＜第９実施形態＞
　第９実施形態に係るキャリブレーションシステムについて、図１７及び図１８を参照して説明する。なお、第９実施形態に係るキャリブレーションシステムは、上述した第１から第７実施形態に係るキャリブレーション方法を実現可能なシステムとして構成されてよい。このため、第９実施形態に係るキャリブレーション装置が実行する動作のうち、上述した第１から第７実施形態において説明した動作については、適宜説明を省略するものとする。また、第９実施形態に係るキャリブレーションシステムは、上述した第８実施形態に係るキャリブレーション装置３００と同様のハードウェア構成（図１４）であってもよい。このため、すでに説明した第８実施形態と重複する部分については、適宜説明を省略するものとする。
　（機能的構成）
　まず、図１７を参照しながら、第９実施形態に係るキャリブレーションシステムの機能的構成について説明する。図１７は、第９実施形態に係るキャリブレーション装置の機能的構成を示すブロック図である。
　図１７に示すように、第９実施形態に係るキャリブレーションシステムは、第１カメラ１１０と、第２カメラ１２０と、キャリブレーション部材２００と、キャリブレーション装置３００と、駆動装置４００とを備えて構成されている。なお、第５実施形態の誘導情報を出力するような構成を採用する場合、キャリブレーションシステムは、ディスプレイを有する表示装置やスピーカ等を備えて構成されてもよい。
　駆動装置４００は、キャリブレーション部材２００を駆動可能に構成されている。具体的には、キャリブレーション部材２００の第１カメラ１１０及び第２カメラ１２０に対する位置や角度を変更可能な装置として構成されている。駆動装置４００は、キャリブレーション装置３００から出力される駆動に関する情報（以下、適宜「駆動情報」と称する）に基づいて、キャリブレーション部材２００を駆動する。即ち、駆動装置４００は、キャリブレーション装置３００によって、その動作が制御されるものであってよい。駆動装置４００は、例えば各種アクチュエータ等を含んで構成されてよいが、その構成が特に限定されるものではない。なお、第１カメラ１１０及び第２カメラの１２０の被写体の近くに特定の支持部材が配置される場合には、駆動装置４００は支持部材と一体的に構成されてもよい。例えば、被写体が椅子に座った人物である場合、駆動装置４００は椅子と一体的に構成されてもよい。この場合、キャリブレーション部材２００は、例えば椅子のヘッドレスト部分で駆動可能に支持されていてもよい。
　（駆動装置の動作）
　次に、図１８を参照しながら、第９実施形態に係るキャリブレーションシステムが備える駆動装置４００の動作について詳しく説明する。図１８は、第９実施形態に係るキャリブレーションシステムが有する駆動装置の動作の流れを示すフローチャートである。
　図１８に示すように、第９実施形態に係る駆動装置４００は、まずキャリブレーション装置３００から駆動情報を取得する（ステップＳ９１）。駆動情報は、例えば第４実施形態に係るキャリブレーション方法のステップＳ４１の処理（図７参照）において出力されるものであってよい。即ち、駆動情報は、複数回画像を撮像する一連の処理において、キャリブレーション部材２００の位置及び角度を変更するための情報として出力されるものであってよい。また、駆動情報は、第５実施形態に係るキャリブレーション方法のステップ５２の処理（図１０及び図１１参照）で出力されるものであってよい。即ち、駆動情報は、キャリブレーション部材２００を移動する位置や方向を示す誘導情報であってよい。
　続いて、駆動装置４００は、取得した駆動情報に基づいてキャリブレーション部材２００を駆動する（ステップＳ９２）。なお、キャリブレーション部材２００を複数回駆動するような場合には、上述したステップＳ９１及びＳ９２の処理が繰り返し実行されればよい。
　また、駆動装置４００は、上述した駆動情報に基づく駆動に加えて又は代えて、予めプログラミングされた動作を行うようにしてもよい。例えば、駆動装置４００は、予め決定されたタイミングで、そのタイミングに応じて定められた位置及び角度となるように、キャリブレーション部材２００を駆動するように設定されていてもよい。
　（技術的効果）
　次に、第９実施形態に係るキャリブレーションシステムによって得られる技術的効果について説明する。
　図１７で説明したように、第９実施形態に係るキャリブレーションシステムでは、駆動装置４００によってキャリブレーション部材が自動的に駆動される。このようにすれば、キャリブレーション部材２００を手動で移動させる手間を省くことができる。また、キャリブレーション部材２００を手動で移動させる場合と比較して、より緻密な移動を実現することが可能である。
　＜具体的な適用例＞
　上述した第１から第７実施形態のキャリブレーション方法、第８実施形態のキャリブレーション装置、及び第９実施形態のキャリブレーションシステムの具体的な適用例について説明する。
　（三次元顔貌形状計測装置）
　上述した各実施形態は、顔の三次元形状を計測する三次元顔貌形状計測装置に適用可能である。三次元顔貌形状計測装置は、左右２つのカメラ（即ち、第１カメラ１１０及び第２カメラ１２０に相当）によって人物の顔を撮像して、それらの画像を合成することで、被写体である人物の顔の三次元形状を計測することが可能である。より具体的には、右側のカメラが顔の右側の画像を撮像し、左側のカメラが顔の左側の画像を撮像する。そして、顔の右側の画像から作成された顔の右側の形状と、顔の左側の画像から作成された顔の左側の形状とを合成することで、人物の顔全体（例えば、耳まで）の三次元形状を作成する。三次元顔貌形状計測装置は、例えば正弦波パターンを被写体に照射した状態で画像を撮像し、正弦波格子シフト法を用いた計測を行うものであってもよい。
　三次元顔貌形状計測装置では、上述したように、２つのカメラで撮像した画像を合成する処理が行われるため、２つのカメラの間にずれが生じていると、人物の顔の三次元形状を適切に計測することができない。しかるに、上述した各実施形態を適用すれば、２つのカメラのキャリブレーションを適切に実行することができるため、人物の顔の三次元形状を適切に計測することが可能となる。
　上述した三次元顔貌形状計測装置のように、三次元画像を撮像可能な装置においては、キャリブレーション方法の他の実施形態として、三次元画像を利用したキャリブレーションを実行するようにしてもよい。即ち、第１カメラ１１０及び第２カメラ１２０が三次元画像を撮像可能なカメラ（例えば、３Ｄスキャナやレンジファインダ等）として構成される場合には、キャリブレーション部材２００の三次元画像を用いて、第１カメラ１１０及び第２カメラ１２０のキャリブレーションを行ってもよい。以下では、このようなキャリブレーションについて詳しく説明する。
　（三次元画像を用いたキャリブレーション）
　図１９を参照しながら、三次元画像を用いたキャリブレーションの動作の流れについて説明する。図１９は、三次元画像を用いたキャリブレーションの動作の流れを示すフローチャートである。
　図１９に示すように、三次元画像を用いるキャリブレーション方法では、まず第１カメラ１１０と、第２カメラ１２０とで、それぞれキャリブレーション部材２００の三次元画像を撮像する（ステップＳ１０１）。キャリブレーション部材２００の三次元画像は、所定の柄及びマーカ２０５を有するものとして撮像される。なお、正弦波パターン等の所定の光パターンを投影可能な構成（例えば、プロジェクタ等）を備えている場合、所定の光パターンを投影した状態でキャリブレーション部材２００を撮像するようにしてもよい。この場合、例えばマーカ２０５として反射部材をキャリブレーション部材２００に貼り付けておき、パターンを照射した際の反射光（即ち、反射部材で反射される光）を用いて、マーカ２０５としての反射部材の位置や向きを特定してもよい。
　続いて、キャリブレーション部材２００の三次元画像に基づいて、第１カメラ１１０及び第２カメラ１２０のカメラのキャリブレーションを行う（ステップＳ１０２）。即ち、三次元画像における所定の柄及びマーカ２０５を用いて、キャリブレーションを行う。より具体的には、撮像された三次元画像が第１カメラ１１０と第２カメラ１２０との間で合致するように、第１カメラ１１０と第２カメラ１２０の位置を調整すればよい。
　以上のように、三次元画像を用いたキャリブレーション方法によれば、三次元画像における所定の柄及びマーカ２０５に基づいて、三次元画像を撮像可能なカメラのキャリブレーションを適切に実行することができる。
　上述した各実施形態の機能を実現するように該実施形態の構成を動作させるプログラムを記録媒体に記録させ、該記録媒体に記録されたプログラムをコードとして読み出し、コンピュータにおいて実行する処理方法も各実施形態の範疇に含まれる。すなわち、コンピュータ読取可能な記録媒体も各実施形態の範囲に含まれる。また、上述のプログラムが記録された記録媒体はもちろん、そのプログラム自体も各実施形態に含まれる。
　記録媒体としては例えばフロッピー（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ－ＲＯＭ、磁気テープ、不揮発性メモリカード、ＲＯＭを用いることができる。また該記録媒体に記録されたプログラム単体で処理を実行しているものに限らず、他のソフトウェア、拡張ボードの機能と共同して、ＯＳ上で動作して処理を実行するものも各実施形態の範疇に含まれる。
　この開示は上記実施形態に限定されるものではない。この開示は、請求の範囲及び明細書全体から読み取ることのできる発明の要旨又は思想に反しない範囲で適宜変更可能であり、そのような変更を伴うキャリブレーション方法、キャリブレーション装置、キャリブレーションシステム、コンピュータプログラム、及び記録媒体もまたこの開示の技術思想に含まれる。
　＜付記＞
　以上説明した実施形態に関して、更に以下の付記のようにも記載されうるが、以下には限られない。
　（付記１）
　付記１に記載のキャリブレーション方法は、部材表面の位置に応じてパターンが変化する所定の柄と、所定の位置に配置されたマーカとを有する部材を、少なくとも２つのカメラで撮像し、前記少なくとも２つのカメラで撮像された前記部材の画像を用いて、前記少なくとも２つのカメラのキャリブレーションを行うことを特徴とするキャリブレーション方法である。
　（付記２）
　付記２に記載のキャリブレーション方法は、前記キャリブレーションとして、前記部材の画像における前記マーカに基づく第１のキャリブレーションと、前記部材の画像における前記所定の柄のパターンに基づく第２のキャリブレーションとを行うことを特徴とする付記１に記載のキャリブレーション方法である。
　（付記３）
　付記３に記載のキャリブレーション方法は、前記部材を前記少なくとも２つのカメラで複数回撮像し、複数の前記部材の画像を用いて、前記少なくとも２つのカメラのキャリブレーションを行うことを特徴とする付記１又は２に記載のキャリブレーション方法である。
　（付記４）
　付記４に記載のキャリブレーション方法は、前記部材を異なる位置又は角度で複数回撮像することを特徴とする付記３に記載のキャリブレーション方法である。
　（付記５）
　付記５に記載のキャリブレーション方法は、前記部材が前記部材の画像を撮像するのに適した位置となるように、前記部材を動かす位置又は方向を指示する情報を出力することを特徴とする付記１から４のいずれか一項に記載のキャリブレーション方法である。
　（付記６）
　付記６に記載のキャリブレーション方法は、前記所定の柄は、明度及び彩度の少なくとも一方が所定値よりも高く、且つ、複数の色相を含むものであり、前記マーカは、複数の二次元コードであることを特徴とする付記１から５のいずれか一項に記載のキャリブレーション方法である。
　（付記７）
　付記７に記載のキャリブレーション方法は、前記少なくとも２つのカメラで前記部材の三次元画像を撮像し、前記三次元画像を用いて、前記少なくとも２つのカメラのキャリブレーションを行うことを特徴とする請求項１から６のいずれか一項に記載のキャリブレーション方法である。
　（付記８）
　付記８に記載のキャリブレーション装置は、部材表面の位置に応じてパターンが変化する所定の柄と、所定の位置に配置されたマーカとを有する部材を、少なくとも２つのカメラで撮像した画像を取得する取得手段と、前記少なくとも２つのカメラで撮像された前記部材の画像を用いて、前記少なくとも２つのキャリブレーションを行うキャリブレーション手段とを備えることを特徴とするキャリブレーション装置である。
　（付記９）
　付記９に記載のキャリブレーションシステムは、部材表面の位置に応じてパターンが変化する所定の柄と、所定の位置に配置されたマーカとを有する部材と、前記部材を駆動して、少なくとも２つのカメラに対する前記部材の位置又は角度を変更する駆動装置と、少なくとも２つのカメラで撮像された前記部材の画像を用いて、前記少なくとも２つのキャリブレーションを行うキャリブレーション装置とを備えることを特徴とするキャリブレーションシステムである。
　（付記１０）
　付記１０に記載のコンピュータプログラムは、部材表面の位置に応じてパターンが変化する所定の柄と、所定の位置に配置されたマーカとを有する部材を、少なくとも２つのカメラで撮像し、前記少なくとも２つのカメラで撮像された前記部材の画像を用いて、前記少なくとも２つのカメラのキャリブレーションを行うようにコンピュータを動作させることを特徴とするコンピュータプログラムである。
　（付記１１）
　付記１１に記載の記録媒体は、付記１０に記載のコンピュータプログラムが記録されていることを特徴とする記録媒体である。
　法令で許容される限りにおいて、この出願は、２０２０年１１月３０日に出願された日本出願特願２０２０－１９８２４３を基礎とする優先権を主張し、その開示の全てをここに取り込む。また、法令で許容される限りにおいて、本願明細書に記載された全ての公開公報及び論文をここに取り込む。
　１１０　第１カメラ
　１２０　第２カメラ
　２００　キャリブレーション部材
　２０５　マーカ
　３００　キャリブレーション装置
　３１０　画像取得部
　３２０　キャリブレーション部
　４００　駆動装置

Claims (10)

  1. 　部材表面の位置に応じてパターンが変化する所定の柄と、所定の位置に配置されたマーカとを有する部材を、少なくとも２つのカメラで撮像し、
    　前記少なくとも２つのカメラで撮像された前記部材の画像を用いて、前記少なくとも２つのカメラのキャリブレーションを行う
    　ことを特徴とするキャリブレーション方法。
  2. 　前記キャリブレーションとして、
    　前記部材の画像における前記マーカに基づく第１のキャリブレーションと、
    　前記部材の画像における前記所定の柄のパターンに基づく第２のキャリブレーションと
    　を行うことを特徴とする請求項１に記載のキャリブレーション方法。
  3. 　前記部材を前記少なくとも２つのカメラで複数回撮像し、
    　複数の前記部材の画像を用いて、前記少なくとも２つのカメラのキャリブレーションを行う
    　ことを特徴とする請求項１又は２に記載のキャリブレーション方法。
  4. 　前記部材を異なる位置又は角度で複数回撮像することを特徴とする請求項３に記載のキャリブレーション方法。
  5. 　前記部材が前記部材の画像を撮像するのに適した位置となるように、前記部材を動かす位置又は方向を指示する情報を出力することを特徴とする請求項１から４のいずれか一項に記載のキャリブレーション方法。
  6. 　前記所定の柄は、明度及び彩度の少なくとも一方が所定値よりも高く、且つ、複数の色相を含むものであり、
    　前記マーカは、複数の二次元コードである
    　ことを特徴とする請求項１から５のいずれか一項に記載のキャリブレーション方法。
  7. 　前記少なくとも２つのカメラで前記部材の三次元画像を撮像し、
    　前記三次元画像を用いて、前記少なくとも２つのカメラのキャリブレーションを行う

    　ことを特徴とする請求項１から６のいずれか一項に記載のキャリブレーション方法。
  8. 　部材表面の位置に応じてパターンが変化する所定の柄と、所定の位置に配置されたマーカとを有する部材を、少なくとも２つのカメラで撮像した画像を取得する取得手段と、
    　前記少なくとも２つのカメラで撮像された前記部材の画像を用いて、前記少なくとも２つのキャリブレーションを行うキャリブレーション手段と
    　を備えることを特徴とするキャリブレーション装置。
  9. 　部材表面の位置に応じてパターンが変化する所定の柄と、所定の位置に配置されたマーカとを有する部材と、
    　前記部材を駆動して、少なくとも２つのカメラに対する前記部材の位置又は角度を変更する駆動装置と、
    　少なくとも２つのカメラで撮像された前記部材の画像を用いて、前記少なくとも２つのキャリブレーションを行うキャリブレーション装置と
    　を備えることを特徴とするキャリブレーションシステム。
  10. 　部材表面の位置に応じてパターンが変化する所定の柄と、所定の位置に配置されたマーカとを有する部材を、少なくとも２つのカメラで撮像し、
    　前記少なくとも２つのカメラで撮像された前記部材の画像を用いて、前記少なくとも２つのカメラのキャリブレーションを行う
    　ようにコンピュータを動作させることを特徴とするコンピュータプログラムが記録されている記録媒体。
PCT/JP2021/038807 2020-11-30 2021-10-20 キャリブレーション方法、キャリブレーション装置、キャリブレーションシステム、及び記録媒体 WO2022113582A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2022565116A JPWO2022113582A5 (ja) 2021-10-20 キャリブレーション方法、キャリブレーション装置、キャリブレーションシステム、及びコンピュータプログラム
US18/038,279 US20240095955A1 (en) 2020-11-30 2021-10-20 Calibration method, calibration apparatus, calibration system, and recording medium

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020-198243 2020-11-30
JP2020198243 2020-11-30

Publications (1)

Publication Number Publication Date
WO2022113582A1 true WO2022113582A1 (ja) 2022-06-02

Family

ID=81754234

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/038807 WO2022113582A1 (ja) 2020-11-30 2021-10-20 キャリブレーション方法、キャリブレーション装置、キャリブレーションシステム、及び記録媒体

Country Status (2)

Country Link
US (1) US20240095955A1 (ja)
WO (1) WO2022113582A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008275340A (ja) * 2007-04-25 2008-11-13 Canon Inc 情報処理装置、情報処理方法
WO2014069247A1 (ja) * 2012-11-02 2014-05-08 ソニー株式会社 画像処理装置および画像処理方法、並びにプログラム
JP2019530261A (ja) * 2016-06-28 2019-10-17 マジック リープ， インコーポレイテッドＭａｇｉｃ Ｌｅａｐ，Ｉｎｃ． 改良されたカメラ較正システム、標的、およびプロセス

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008275340A (ja) * 2007-04-25 2008-11-13 Canon Inc 情報処理装置、情報処理方法
WO2014069247A1 (ja) * 2012-11-02 2014-05-08 ソニー株式会社 画像処理装置および画像処理方法、並びにプログラム
JP2019530261A (ja) * 2016-06-28 2019-10-17 マジック リープ， インコーポレイテッドＭａｇｉｃ Ｌｅａｐ，Ｉｎｃ． 改良されたカメラ較正システム、標的、およびプロセス

Also Published As

Publication number Publication date
JPWO2022113582A1 (ja) 2022-06-02
US20240095955A1 (en) 2024-03-21

Similar Documents

Publication Publication Date Title
US10134120B2 (en) Image-stitching for dimensioning
JP5961945B2 (ja) 画像処理装置、その画像処理装置を有するプロジェクタ及びプロジェクタシステム、並びに、画像処理方法、そのプログラム、及び、そのプログラムを記録した記録媒体
JP2007036482A (ja) 情報投影表示装置およびプログラム
JP5401940B2 (ja) 投写光学系のズーム比測定方法、そのズーム比測定方法を用いた投写画像の補正方法及びその補正方法を実行するプロジェクタ
CN111935465B (zh) 投影系统、投影装置以及其显示影像的校正方法
GB2531928A (en) Image-stitching for dimensioning
US9946146B2 (en) Control apparatus configured to control projection of an image based on position information, projection information, and shape information, corresponding control method and corresponding storage medium
JP2016527478A (ja) 三次元撮影装置、三次元画像の作成方法、および、三次元撮影装置の設定方法
EP3115741A1 (en) Position measurement device and position measurement method
JP2016085380A (ja) 制御装置、制御方法、及び、プログラム
JP6422362B2 (ja) 画像読取装置、画像読取方法、及びプログラム
JP2003015218A (ja) 投影型表示装置
WO2020075768A1 (ja) 三次元走査装置、三次元モデルの生成方法、訓練用データ、及び機械学習モデル
JP2011155412A (ja) 投影システムおよび投影システムにおける歪み修正方法
JP5909990B2 (ja) 撮像装置および撮像方法
JP7020240B2 (ja) 認識装置、認識システム、プログラムおよび位置座標検出方法
JP2015045751A (ja) 投影装置
WO2022113582A1 (ja) キャリブレーション方法、キャリブレーション装置、キャリブレーションシステム、及び記録媒体
TW201447378A (zh) 立體影像裝置及其運作方法
JP5785896B2 (ja) ３次元形状計測装置
JP2003023562A (ja) 画像撮影システムおよびカメラシステム
US10373324B2 (en) Measurement apparatus that scans original, method of controlling the same, and storage medium
CN115816833B (zh) 图像校正数据的确定方法、装置、电子设备及存储介质
JP2006179031A (ja) 画像入力装置
JP3914938B2 (ja) プロジェクタの台形歪み補正装置と該台形歪み補正装置を備えたプロジェクタ

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21897560

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022565116

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 18038279

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21897560

Country of ref document: EP

Kind code of ref document: A1