WO2017149869A1 - 情報処理装置、方法、プログラム及びマルチカメラシステム - Google Patents

情報処理装置、方法、プログラム及びマルチカメラシステム Download PDF

Info

Publication number
WO2017149869A1
WO2017149869A1 PCT/JP2016/085054 JP2016085054W WO2017149869A1 WO 2017149869 A1 WO2017149869 A1 WO 2017149869A1 JP 2016085054 W JP2016085054 W JP 2016085054W WO 2017149869 A1 WO2017149869 A1 WO 2017149869A1
Authority
WO
WIPO (PCT)
Prior art keywords
camera
calibration
arrangement
imaging
cameras
Prior art date
Application number
PCT/JP2016/085054
Other languages
English (en)
French (fr)
Inventor
宏 押領司
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to US16/077,194 priority Critical patent/US11165945B2/en
Priority to EP16892704.4A priority patent/EP3425897B1/en
Priority to JP2018502529A priority patent/JP6750667B2/ja
Priority to CN201680082324.1A priority patent/CN108702439B/zh
Publication of WO2017149869A1 publication Critical patent/WO2017149869A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661—Transmitting camera control signals through networks, e.g. control via the Internet
    • H04N23/662—Transmitting camera control signals through networks, e.g. control via the Internet by using master/slave camera arrangements for affecting the control of camera image capture, e.g. placing the camera in a desirable condition to capture a desired image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00002—Diagnosis, testing or measuring; Detecting, analysing or monitoring not otherwise provided for
    • H04N1/00005—Diagnosis, testing or measuring; Detecting, analysing or monitoring not otherwise provided for relating to image data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00002—Diagnosis, testing or measuring; Detecting, analysing or monitoring not otherwise provided for
    • H04N1/00026—Methods therefor
    • H04N1/00047—Methods therefor using an image not specifically designed for the purpose
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00002—Diagnosis, testing or measuring; Detecting, analysing or monitoring not otherwise provided for
    • H04N1/00071—Diagnosis, testing or measuring; Detecting, analysing or monitoring not otherwise provided for characterised by the action taken
    • H04N1/00082—Adjusting or controlling
    • H04N1/00087—Setting or calibrating
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker

Definitions

  • the present disclosure relates to an information processing apparatus, method, program, and multi-camera system.
  • Multi-camera systems that integrally process images from cameras arranged at a plurality of points in real space.
  • Multi-camera system for example, when images are recorded or played back, stitches the images from multiple cameras and plays them continuously while seamlessly moving one huge composite image or field of view A series of images to be generated.
  • the multi-camera system can also be used for analyzing or recognizing the three-dimensional movement of a subject.
  • the camera in order to smoothly and integrally process images from a plurality of cameras, the camera is properly calibrated, and parameters such as the camera position, orientation, and angle of view are relative. It is important that the relationship is accurately grasped.
  • calibration of a camera for a multi-camera system is performed according to a reference camera method or a sequential method.
  • the reference camera method one of a plurality of imaging cameras is selected as a reference camera, and calibration is performed between the reference camera and each of the remaining cameras.
  • the sequential method calibration is performed between the first camera and the second camera, then calibration is performed between the second camera and the third camera, and then the third camera.
  • the fourth camera are calibrated in a cascade manner.
  • Patent Document 1 discloses a technique for calibrating image characteristics such as luminance and white balance of an image captured by each camera according to a reference camera method in a multi-camera system.
  • the existing reference camera method has a drawback in that an optimal arrangement for calibration is not always realized for all pairs of the reference camera and other imaging cameras.
  • camera placement is determined through trial and error by the operator at the placement site.
  • there is a trade-off problem for example, if the camera arrangement is optimized for calibration, the arrangement is not suitable for imaging.
  • the sequential method has a drawback in that errors accumulate as a result of cascading calibration. If recalculation (so-called bundle adjustment) for finally distributing the error among the cameras is executed, the error itself can be reduced, but the calculation cost of the recalculation tends to be enormous.
  • the technology according to the present disclosure aims to eliminate or alleviate at least one of the drawbacks of these existing methods.
  • the information acquisition unit that acquires camera arrangement information indicating the arrangement of a plurality of imaging cameras arranged in the imaging space, and the calibration accuracy obtained when the calibration camera is arranged in the imaging space
  • An information processing apparatus includes an evaluation unit that evaluates based on the arrangement of each of the plurality of imaging cameras indicated by the camera arrangement information and the arrangement of the calibration cameras.
  • a method executed by the information processing apparatus wherein camera arrangement information indicating the arrangement of a plurality of imaging cameras arranged in the imaging space is acquired, and calibration is performed in the imaging space. A calibration accuracy obtained when a camera is arranged is evaluated based on the arrangement of each of the plurality of imaging cameras and the arrangement of the calibration cameras indicated by the camera arrangement information.
  • the processor of the information processing apparatus arranges the information acquisition unit that acquires the camera arrangement information indicating the arrangement of the plurality of imaging cameras arranged in the imaging space, and the calibration camera in the imaging space.
  • a multi-camera system comprising: a multi-camera system comprising: a multi-camera system, wherein the calibration camera placement is determined to optimize the calibration accuracy given the placement of the plurality of imaging cameras Is provided.
  • FIG. 1 is an explanatory diagram for explaining an example of a general configuration of a multi-camera system.
  • a plurality of cameras 20 a, 20 b, 20 c and 20 d are arranged in the imaging space 10. These cameras 20a, 20b, 20c, and 20d capture the field 11 from their respective viewpoints, and generate captured images.
  • the captured image may be a still image or may be each of frames constituting a moving image.
  • a field 11 is a partial space in which an imaging target exists. In the example of FIG. 1, the field 11 is a site where sports are performed.
  • Captured images generated by the cameras 20a, 20b, 20c, and 20d are transmitted to the server 30 via the network.
  • the server 30 integrally processes captured images received from the cameras 20a, 20b, 20c, and 20d.
  • the server 30 may generate a single huge composite image by stitching a plurality of captured images from different viewpoints when recording or reproducing an image.
  • the server 30 may generate a series of images that are continuously reproduced while seamlessly moving the visual field of the display.
  • the server 30 may recognize the three-dimensional movement of the subject based on the parallax analysis.
  • the multi-camera system may include any number of cameras. Further, the camera may be arranged in the imaging space at any position and posture according to the purpose of the system.
  • “arrangement” of a camera usually means the position and orientation of the camera in real space. However, if it is possible to omit consideration of the posture, such as an all-round camera with no restriction on the angle of view, the “arrangement” of the camera means only the position of the camera in real space. Also good.
  • FIG. 2 is an explanatory diagram for explaining another example of a general configuration of a multi-camera system.
  • a plurality of cameras 20e, 20f, and 20g are arranged in the imaging space 12. These cameras 20e, 20f, and 20g capture the field 13 from their respective viewpoints and generate captured images. Also in the example of FIG. 2, captured images generated by the cameras 20e, 20f, and 20g are transmitted to the server 30 via the network, and are processed by the server 30 in an integrated manner.
  • the cameras 20a to 20g when it is not necessary to distinguish the cameras 20a to 20g from each other, they are collectively referred to as the camera 20 by omitting the alphabet at the end of the reference numerals.
  • FIG. 3 is a sequence diagram for explaining an example of an existing method for calibrating the multi-camera system illustrated in FIGS. 1 and 2.
  • the calibration method shown in FIG. 3 involves an operator 15, a plurality of cameras 20, and a server 30.
  • the operator 15 determines the arrangement of the cameras and markers in advance (step S10).
  • a marker is an object with a known visual pattern that is used for proofreading.
  • the calibration can be performed, for example, by deriving the camera arrangement from the appearance of the marker in the captured image with reference to the marker arrangement in the imaging space.
  • an artificial marker whose arrangement can be moved by the operator 15 is used (if the marker is a natural marker existing in the imaging space, the arrangement of the marker is not determined by the operator 15 and is fixed). Can be defined automatically).
  • the operator 15 places the camera and the marker in the imaging space according to the determination in step S10 (step S12).
  • the camera 20 captures a marker and generates a marker image (step S20). Then, the camera 20 transmits the generated marker image to the server 30.
  • the server 30 acquires a marker image from the camera 20 (step S22), and executes calibration (step S24). For example, when the camera 20a and the camera 20b capture one common marker from their respective viewpoints, the relative positional relationship between the camera 20a and the camera 20b (using two marker images from these cameras) Or the relationship between the angles of view).
  • the server 30 instructs each camera 20 to start imaging (step S30).
  • Each camera 20 images the field to be imaged (step S32), and transmits the captured image to the server 30.
  • the server 30 collects captured images from the plurality of cameras 20 (step S34), and executes multi-viewpoint image processing (step S36).
  • the multi-viewpoint image processing executed here may be any kind of processing such as synchronous recording of a plurality of images, image stitching, or analysis of three-dimensional movement of a subject.
  • the result of calibration in step S24 for example, the positional relationship between cameras
  • Steps S32 to S36 may be repeated any number of times.
  • the operator 15 verifies the calibration accuracy as necessary (step S40). According to the existing method, whether or not sufficient calibration accuracy can be obtained is unknown until the camera and the marker are actually arranged. When it is determined that sufficient calibration accuracy is not obtained, the operator 15 changes the arrangement of the camera and the marker. This suggests that trial and error may be performed on camera and marker placement before full-scale operation of the system begins.
  • a calibration camera that is involved in the calibration of the arrangement of the imaging cameras may be employed separately from the plurality of imaging cameras that capture the imaging space.
  • the arrangement of the imaging cameras in the imaging space may be determined in advance from the viewpoint of enhancing the attractiveness of the content, for example.
  • the arrangement of the calibration cameras is determined so as to optimize the calibration accuracy given the arrangement of the plurality of imaging cameras.
  • the calibration camera may be removed from the imaging space once calibration is complete.
  • FIG. 4 is an explanatory diagram for explaining the arrangement of the calibration cameras employed in the embodiment.
  • the multi-camera system 1 includes imaging cameras 20a, 20b, 20c and 20d, and a calibration camera 41.
  • the imaging cameras 20a, 20b, 20c, and 20d are arranged in different postures at different positions in the imaging space.
  • the arrangement of the imaging cameras 20a, 20b, 20c, and 20d is determined so that the most attractive multi-viewpoint image content is provided through imaging of the field 11, for example.
  • the calibration camera 41 is arranged in a position and orientation that optimizes the accuracy of calibration within the camera arrangement possible area.
  • FIG. 4 shows a first camera-placeable area 45a around the field 11 and a second camera-placeable area 45b above the field 11 in the three-dimensional imaging space.
  • FIG. 5 is an explanatory diagram for explaining the calibration of the imaging camera using the calibration camera.
  • the multi-camera system 1 including the imaging cameras 20 a, 20 b, 20 c and 20 d and the calibration camera 41 is shown again as in FIG. 4.
  • markers 51a, 51b, 51c and 51d are arranged.
  • the calibration camera 41 has a role as a reference camera in the reference camera method described above. Then, the calibration of the imaging camera 20a is performed when the imaging camera 20a and the calibration camera 41 image the marker 51a.
  • the imaging camera 20b is calibrated when the imaging camera 20b and the calibration camera 41 capture the marker 51b.
  • Calibration of the imaging camera 20c is performed by the imaging camera 20c and the calibration camera 41 capturing an image of the marker 51c.
  • Calibration of the imaging camera 20d is performed by the imaging camera 20d and the calibration camera 41 capturing an image of the marker 51d.
  • the calibration camera 41 that is arranged so as to optimize the calibration accuracy is employed, and the calibration camera 41 is used as the reference camera in the reference camera method. The trade-off can be solved.
  • one marker exists for one imaging camera is shown here, the relationship between the imaging camera and the marker is not necessarily one-to-one.
  • one common marker may be imaged for calibration of two or more imaging cameras.
  • two or more markers may be imaged for calibration of one imaging camera.
  • the multi-camera system may include two or more calibration cameras.
  • FIG. 6 is an explanatory diagram for explaining the addition of a calibration camera.
  • the multi-camera system 1 includes a calibration camera 42 in addition to the imaging cameras 20a, 20b, 20c and 20d and the calibration camera 41.
  • the calibration camera 42 can be added to the system, for example, when it is determined that sufficient calibration accuracy cannot be achieved as a whole system by using only one calibration camera 41 as a reference camera.
  • the imaging camera 20a is calibrated by imaging the marker 51a by the imaging camera 20a and the calibration camera 41.
  • the imaging camera 20b is calibrated when the imaging camera 20b and the calibration camera 41 capture the marker 51b.
  • Calibration of the imaging camera 20c is performed by the imaging camera 20c and the calibration camera 42 capturing an image of the marker 51c.
  • the imaging camera 20d is calibrated when the imaging camera 20d and the calibration camera 42 capture the marker 51d.
  • both the calibration camera 41 and the calibration camera 42 capture the marker 51d and apply the above-described sequential method, so that the calibration results of the imaging cameras 20a and 20b and the calibration results of the imaging cameras 20c and 20d are obtained. And can be integrated.
  • the calibration camera is arranged so as to optimize the calibration accuracy exclusively, and after the imaging camera is calibrated, the calibration camera is also used for imaging the imaging space. Also good.
  • the arrangement of the calibration camera is not determined by trial and error by an operator as in the existing method, but is determined by a newly introduced calibration accuracy evaluation apparatus. Is done.
  • FIG. 7 is an explanatory diagram for explaining the use of the calibration accuracy evaluation apparatus 100 according to an embodiment.
  • the calibration accuracy evaluation apparatus 100 is an information processing apparatus.
  • the calibration accuracy evaluation apparatus 100 may have, for example, a processor such as a CPU (Central Processing Unit), a nonvolatile memory such as a ROM (Read Only Memory), and a volatile memory such as a RAM (Random Access Memory).
  • the calibration accuracy evaluation apparatus 100 acquires, for example, imaging camera arrangement information indicating the arrangement of a plurality of imaging cameras arranged in the imaging space as input information. It should be noted that the camera arrangement information acquired as input information may indicate the arrangement of each camera with much coarser accuracy than the arrangement information derived in the later calibration process.
  • the calibration accuracy evaluation apparatus 100 evaluates the calibration accuracy obtained when the calibration camera is arranged in the imaging space based on the respective arrangement of the plurality of imaging cameras and the temporary arrangement of the calibration cameras. Evaluation of calibration accuracy can be performed by calculating one or more evaluation indices.
  • the calibration accuracy evaluation apparatus 100 calculates evaluation indexes for various (provisional) arrangements of the calibration cameras (and markers as necessary), and determines that the arrangement showing the best score is the optimum arrangement. To do.
  • the calibration accuracy evaluation apparatus 100 may display the optimization result (that is, the optimal arrangement of the calibration camera (and marker)) on the monitor, store it in the memory, or print it. Good.
  • a user simply inputs the camera arrangement information for imaging and some other supplementary information to the calibration accuracy evaluation apparatus 100, and for calibration to perform calibration of the multi-camera system with good accuracy.
  • the camera arrangement can be easily learned.
  • FIG. 8 is a block diagram illustrating an example of the configuration of the calibration accuracy evaluation apparatus 100 according to an embodiment.
  • the calibration accuracy evaluation apparatus 100 includes an information acquisition unit 110, a user interface unit 120, an arrangement determination unit 130, an accuracy evaluation unit 140, and a storage unit 150.
  • the information acquisition unit 110 acquires input information for executing calibration accuracy evaluation and calibration camera placement optimization in the calibration accuracy evaluation apparatus 100.
  • the input information acquired by the information acquisition unit 110 includes at least imaging camera arrangement information indicating the arrangement of a plurality of imaging cameras in the imaging space.
  • the camera parameter information may be a set of camera internal parameters required for the calibration of the imaging camera, and may include, for example, parameters representing the focal length, the angle of view, the aspect ratio, and the skew (distortion), respectively.
  • the input information acquired by the information acquisition unit 110 may also include camera arrangement possible area information R clb that defines an area where the calibration camera can be arranged.
  • the input information may be input via some input means of the user interface unit 120, may be stored in advance by the storage unit 150, or may be acquired from another device via a communication interface (not shown). .
  • the information acquisition unit 110 outputs the acquired input information to the arrangement determination unit 130.
  • the user interface unit 120 may include an input interface 121 for inputting instructions or information to the calibration accuracy evaluation apparatus 100 by a user, and a display interface 123 for displaying information.
  • the input interface 121 can include, for example, a touch panel, a keypad, a keyboard, a mouse, or a touchpad.
  • the display interface 123 may include a monitor such as a liquid crystal display or an OLED (Organic light-Emitting Diode) display, or a projector.
  • the arrangement determining unit 130 performs a search process for determining the optimum arrangement of the calibration cameras arranged in the imaging space. For example, the arrangement determining unit 130 sets one candidate arrangement p clb and a clb for the calibration camera within the range of the camera arrangement possible area defined by the camera arrangement available area information R clb , and sets the candidate arrangement
  • the accuracy evaluation unit 140 evaluates the calibration accuracy. In the evaluation of the calibration accuracy here, one or more evaluation indices are calculated based on the provisional arrangement (that is, candidate arrangement) of the calibration cameras, instead of actually executing the calibration and measuring the accuracy. Is done.
  • the placement determination unit 130 repeats the setting of the candidate placement and the evaluation of the calibration accuracy for each of the plurality of candidate placements, and determines the placement of the calibration camera according to the candidate placement evaluated to have the optimum calibration accuracy.
  • the arrangement of the marker is defined in advance, and the arrangement information can be given to the accuracy evaluation unit 140.
  • the number N of markers is equal to the number M of imaging cameras, and one marker is imaged for calibration of one imaging camera.
  • the technology according to the present disclosure can be applied to a case where the number N of markers is different from the number M of imaging cameras.
  • the accuracy evaluation unit 140 determines the calibration accuracy obtained when the calibration cameras are arranged in the imaging space, the respective arrangements P img_m and A img_m of the M imaging cameras, and the candidate arrangements p clb and a clb of the calibration cameras. Based on the evaluation.
  • the accuracy evaluation unit 140 evaluates the calibration accuracy based on the arrangement of each of the N markers on the assumption that the N markers imaged for calibration of the imaging camera are also arranged in the imaging space. May be. As described above, in a certain case, both the arrangement of the calibration camera and the arrangement of each of the N markers are variable parameters when searching for the optimum calibration accuracy. The arrangement and the arrangement of each of the N markers are determined. In other cases, the arrangement of each of the N markers is fixed, and only the arrangement of the calibration camera is a variable parameter during the search.
  • the accuracy evaluation unit 140 evaluates the calibration accuracy using the first evaluation index related to the variation in the distance between the camera and the marker corresponding to the camera.
  • the first evaluation index is an index mainly used for searching for the position of the camera.
  • the first evaluation index is referred to as a position evaluation index CPOS .
  • the position evaluation index C POS is defined by the following equation (1), for example.
  • D i included in the right side of Expression (1) represents a distance between the (candidate) position p mrk — i of the i th marker and the position P img — i of the i th imaging camera corresponding to the marker (expression (See (2)).
  • D ave represents the average value of the distances D i over M pairs of markers and imaging cameras.
  • D j included in the right side of the equation (1) represents the (candidate) positions p Mrk_j the j-th marker, the distance between the position p clb of the calibration camera (see equation (3)).
  • d ave spans N pairs of the marker and the calibration camera, represents the average value of the distance d j.
  • FIG. 9A is an explanatory diagram provided for understanding the intermediate parameters D and d defined by the equations (2) and (3), respectively.
  • the distance D k represents the distance between the k-th marker 51k and k-th imaging camera 20k.
  • the distance D h represents the distance between the h-th marker 51h and the h-th imaging camera 20h.
  • the distance d k represents the distance between the kth marker 51k and the calibration camera 41 that is provisionally arranged.
  • the distance d h represents the distance between the calibration camera 41 to be tentatively placed the h-th marker 51h.
  • the placement determination unit 130 determines the optimal calibration camera positions P clb and N the position P Mrk_n the number of markers can be determined as a data set that minimizes the position metric C POS as follows.
  • the calibration accuracy increases as the marker appears closer to the center of the marker image captured at the time of calibration.
  • the marker to be imaged is reflected at the edge of the marker image, the marker pattern is strongly affected by lens distortion, and the accuracy of calibration can be reduced.
  • the calibration accuracy increases as the marker faces the front in the marker image.
  • the marker is a two-dimensional marker, if the marker is reflected in the marker image at a shallow angle (for example, the marker is facing sideways), the accuracy of the calibration can be lowered. Therefore, in order to improve the calibration accuracy of the entire system, the optical path connecting each camera and the marker should be as small as possible with respect to the optical axis of each camera, and the optical path connecting each camera and the marker should be a marker.
  • the accuracy evaluation unit 140 evaluates the calibration accuracy using the second evaluation index related to the relationship between the optical path between the camera and the marker and the posture of the camera or marker.
  • the second evaluation index is an index mainly used for searching for the posture of the camera.
  • the second evaluation index is referred to as a posture evaluation index CATT .
  • the posture evaluation index C ATT is defined by the following equation (5), for example.
  • a IMG_I of i-th imaging camera between the position P Mrk_i and the i-th position P IMG_I imaging camera marker Represents the angle formed by the robot (see equation (6)).
  • ⁇ i represents an angle formed by the optical path between the position P mrk — i of the i th marker and the position P img — i of the i th imaging camera with respect to the (candidate) posture a mrk — i of the i th marker (formula ( 7)).
  • ⁇ j included in the right side of Expression (5) represents an angle formed by the optical path between the position P mrk — j of the j-th marker and the position P clb of the calibration camera with respect to the calibration camera posture a clb ( (Refer Formula (8)).
  • [delta] j represents the angle at which the light path with respect to the (candidate) orientation a Mrk_j the j-th marker between the position P clb of j-th position P Mrk_j and imaging camera marker (formula (9) see ).
  • FIG. 9B is an explanatory diagram provided for understanding the intermediate parameters ⁇ , ⁇ , ⁇ , and ⁇ defined by the equations (6) to (9), respectively.
  • the angle ⁇ k is an angle formed by the optical path 91k between the kth marker 51k and the kth imaging camera 20k with respect to the optical axis 92k (corresponding to the posture) of the kth imaging camera 20k. It is.
  • the angle ⁇ k is an angle formed by the optical path 91k between the kth marker 51k and the kth imaging camera 20k with respect to the normal 93k (corresponding to the posture) of the kth marker 51k.
  • the angle ⁇ k is an angle formed by the optical path 94k between the k-th marker 51k and the calibration camera 41 with respect to the optical axis 95 (corresponding to the posture) of the calibration camera 41.
  • Angle [delta] k is the angle with respect to the normal 93k (corresponding to position) the optical path 94k is k-th marker 51k between the calibration camera 41 and the k-th marker 51k.
  • the placement determination unit 130 determines the optimal calibration camera postures A clb and N
  • the posture A mrk_n of each marker can be determined as a data set that maximizes the posture evaluation index C ATT as follows.
  • the arrangement determining unit 130 uses the calibration camera (and if necessary) based on the (predicted) calibration accuracy indicated by the evaluation index calculated by the accuracy evaluation unit 140 using the equations (1) and (5).
  • the optimal placement of the markers) can be determined. For example, according to the equation (4), the arrangement determination unit 130 selects a plurality of position data in the order of the score of the position evaluation index C POS instead of selecting a single data set indicating the optimum position for the calibration camera and the marker. A set may be selected, and a search for postures according to Equation (10) may be performed based on these position data sets. Further, the arrangement determining unit 130 may output a single data set indicating the optimal positions and postures of the calibration camera and the marker as a result of the posture search, or a plurality of data in the order of evaluation index scores. A data set may be output.
  • the arrangement determination unit 130 may verify whether or not a predetermined calibration accuracy condition is satisfied when the calibration camera is arranged with a candidate arrangement evaluated to have the optimum calibration accuracy.
  • the predetermined calibration accuracy condition here may be a condition based on at least one of the position evaluation index C POS and the posture evaluation index C ATT described above, and may include, for example, one or more of the following: Condition 1) Position evaluation index C POS is below the first threshold Condition 2) Posture evaluation index C ATT is above the second threshold Note that the first threshold and attitude evaluation index C compared with the position evaluation index C POS The second threshold value compared with the ATT may be a variable value depending on the number M of imaging cameras or the number N of markers. These threshold values may be stored in advance in the storage unit 150 or may be designated by the user via the user interface unit 120.
  • the placement determination unit 130 performs additional calibration in the imaging space. It may be determined that the camera for use should be arranged. If the placement determination unit 130 determines that an additional calibration camera should be placed in the imaging space, the position determination unit 130 searches the position and orientation for determining the placement of the additional calibration camera, and evaluates the accuracy. The position evaluation index C POS and the posture evaluation index C ATT calculated by the unit 140 can be used again. At the time of this re-searching, the arrangement determining unit 130 excluded an imaging camera that can be calibrated satisfactorily by the initial calibration camera (arranged as a result of the initial search) among the plurality of imaging cameras. Based on the arrangement of the remaining imaging cameras, the accuracy evaluation unit 140 may evaluate the calibration accuracy obtained for the additional calibration camera.
  • FIG. 10 is an explanatory diagram for explaining a search for the arrangement of additional calibration cameras.
  • the evaluation index calculated by the accuracy evaluation unit 140 for the combination of the initial calibration camera 41 and the markers 51a, 51b, 51c and 51d is the best as a result of the initial position and orientation search. A score is shown, but the evaluation index does not satisfy the calibration accuracy condition described above. Therefore, the arrangement determining unit 130 determines to arrange an additional calibration camera in the imaging space to improve the calibration accuracy of the entire system.
  • Additional calibration camera placement can be determined through a re-search similar to the initial position and orientation search described above. However, for this re-search, the arrangement determining unit 130 is more strongly related to the deterioration of the position evaluation index C POS and the posture evaluation index C ATT during the first search among the imaging cameras 20a, 20b, 20c, and 20d.
  • Select the camera for imaging may be an imaging camera having a larger distance to the corresponding marker, or an imaging camera having a larger distance between the corresponding marker and the initial calibration camera.
  • the imaging camera selected here may be an imaging camera in which the corresponding marker does not have a good posture. In the example of FIG.
  • the imaging cameras 20c and 20d are selected as the imaging cameras that are more strongly related to the deterioration of the evaluation index during the first search. Since the imaging cameras 20a and 20b can be calibrated satisfactorily by the initial calibration camera 41, they are excluded from the calculation of the evaluation index in the re-search.
  • the arrangement of the markers 51a and 51b respectively corresponding to the imaging cameras 20a and 20b is determined before re-searching. Then, the arrangement determination unit 130 causes the accuracy evaluation unit 140 to evaluate the calibration accuracy expected for the additional calibration camera based on the arrangement of the imaging cameras that is smaller than the initial search, and the evaluation index is the highest.
  • An additional calibration camera placement showing a good score and an indeterminate marker placement are determined. In the example of FIG.
  • the calibration camera 42 it is determined as a result of the re-search that the calibration camera 42 should be additionally arranged.
  • the placement of the marker 51d corresponding to the imaging camera 20d is the result of the initial search to enable integration of the calibration results between the initial calibration camera 41 and the additional calibration camera 42. Can be maintained.
  • the arrangement of the marker corresponding to the imaging camera 20c is variable in the re-search, and it has been determined that the marker 51e should be newly arranged.
  • the placement determination unit 130 evaluates the calibration accuracy and adds the calibration camera until it is determined that the calibration accuracy condition described above is satisfied by the placement of the initial calibration camera and zero or more additional calibration cameras. May be repeated.
  • the number of calibration cameras to be arranged in the multi-camera system 1, the arrangement thereof, and the arrangement of marker groups can all be determined. Note that when the number of calibration cameras reaches a predetermined upper limit, the arrangement determining unit 130 may abort the re-searching regardless of whether the calibration accuracy condition is satisfied.
  • FIG. 11 is a flowchart illustrating an example of the flow of the layout optimization process according to an embodiment.
  • the processing illustrated in FIG. 11 can be started in response to a trigger input by the user via the input interface 121 after the arrangement of the plurality of imaging cameras in the imaging space is determined, for example.
  • the information acquisition unit 110 acquires imaging camera arrangement information indicating the arrangement of the imaging camera and camera parameter information indicating camera internal parameters of the imaging camera (step S100). In addition, the information acquisition unit 110 acquires camera arrangement possible area information that defines an area in which the calibration camera can be arranged (step S105).
  • the arrangement determining unit 130 performs a position search process in order to determine the optimum position of the calibration camera (and marker) (step S110).
  • the position search process executed here will be described in detail later.
  • the arrangement determining unit 130 determines the optimal position of the calibration camera within the area indicated by the camera arrangement possible area information.
  • the arrangement determining unit 130 can also determine the optimum position of one or more markers.
  • the arrangement determining unit 130 executes an attitude search process in order to determine the optimum attitude of the calibration camera (and marker) (step S120).
  • the posture search process executed here will be described in detail later.
  • the arrangement determining unit 130 determines the optimal attitude of the calibration camera at the position determined in step S110.
  • the arrangement determining unit 130 can also determine the optimal posture of one or more markers.
  • the arrangement determining unit 130 evaluates the evaluation index (for example, the position evaluation index and the attitude evaluation index) calculated by the accuracy evaluation unit 140 corresponding to the optimal arrangement determined as a result of the position search process and the attitude search process. Is obtained (step S140). Then, the arrangement determining unit 130 determines whether or not the evaluation index satisfies the calibration accuracy condition (step S145). If the evaluation index satisfies the calibration accuracy condition, the process proceeds to step S180. On the other hand, if the evaluation index does not satisfy the calibration accuracy condition, the process proceeds to step S150.
  • the evaluation index for example, the position evaluation index and the attitude evaluation index
  • step S150 the arrangement determining unit 130 excludes from the evaluation target in the re-search an imaging camera that can be calibrated well by the initial calibration camera (step S150). Then, the arrangement determination unit 130 performs a position search process to determine the optimum position of the additional calibration camera (and the uncertain marker) (step S160).
  • the position search process executed here may be the same as the process executed in step S110, except that some imaging cameras and corresponding markers are not considered.
  • the arrangement determining unit 130 performs an attitude search process in order to determine the optimum attitude of the additional calibration camera (and the undetermined marker) (step S170).
  • the posture search process executed here may be the same as the process executed in step S120, except that some imaging cameras and corresponding markers are not considered.
  • the arrangement determining unit 130 acquires the score of the evaluation index corresponding to the optimal arrangement determined by the re-search (step S140), and determines whether the evaluation index satisfies the calibration accuracy condition (step S145). .
  • the arrangement determining unit 130 repeats the processes in steps S140 to S170 described above until the calibration accuracy condition described above is satisfied.
  • the arrangement determining unit 130 determines all arrangements of one or more calibration cameras and markers (step S180).
  • FIG. 12 is a flowchart showing an example of a detailed flow of the position search process shown in FIG.
  • the placement determining unit 130 sets a calibration camera candidate position for searching within the range of the placeable area indicated by the camera placeable area information (step S111). Further, the arrangement determining unit 130 sets marker candidate positions corresponding to the imaging cameras to be considered (step S112). If the marker position is fixed, step S112 may be skipped.
  • the accuracy evaluation unit 140 calculates a position evaluation index related to the variation in the distance to the marker based on the calibration camera candidate position, the marker position, and the imaging camera position (step S113).
  • the arrangement determining unit 130 repeats the above-described steps S112 and S113 until the calculation of the position evaluation index is completed for all possible combinations of marker candidate positions (step S114). Further, the arrangement determining unit 130 repeats steps S111 to S114 described above until calculation of the position evaluation index is completed for all candidate positions of the calibration camera within the search range (step S115).
  • the arrangement determining unit 130 selects a calibration camera and a set of marker candidate positions indicating the best (or some higher-order) position evaluation indices (step S116).
  • FIG. 13 is a flowchart illustrating an example of a detailed flow of the posture search process illustrated in FIG. 11.
  • the arrangement determining unit 130 sets a calibration camera candidate posture for search at the position of the calibration camera determined as a result of the position search process (step S121). Further, the arrangement determining unit 130 sets marker candidate postures respectively corresponding to imaging cameras to be considered (step S122). Note that if the posture of the marker is fixed, step S122 may be skipped.
  • the accuracy evaluation unit 140 calculates the posture evaluation index related to the relationship between the optical path between the camera and the marker and the posture of the camera or the marker, the position and candidate posture of the calibration camera, the position and candidate posture of the marker, And it calculates based on the position and attitude
  • the placement determination unit 130 repeats the above-described steps S122 and S123 until calculation of posture evaluation indices is completed for all possible combinations of marker postures (step S124). Further, the arrangement determining unit 130 repeats the above-described steps S121 to S124 until calculation of posture evaluation indices is completed for all candidate postures of the calibration camera (step S125).
  • the arrangement determining unit 130 selects a calibration camera and a marker candidate posture set indicating the best posture evaluation index (step S126).
  • the all-sky camera is a camera that can have an angle of view of 360 ° in both azimuth and elevation.
  • the posture of the calibration camera hardly affects the calibration accuracy. Therefore, in this case, only the position of the calibration camera may be a substantial search target in the layout optimization process.
  • FIG. 14 is a flowchart showing an example of the flow of the layout optimization process when the all-around camera is adopted as the calibration camera.
  • the process illustrated in FIG. 14 can be started in response to a trigger input via the input interface 121 by the user, for example, after the arrangement of the plurality of imaging cameras in the imaging space is determined.
  • the information acquisition unit 110 acquires imaging camera arrangement information indicating the arrangement of the imaging camera and camera parameter information indicating camera internal parameters of the imaging camera (step S100). In addition, the information acquisition unit 110 acquires camera arrangement possible area information that defines an area in which the calibration camera can be arranged (step S105).
  • the arrangement determining unit 130 executes a position search process in order to determine the optimum positions of the calibration camera and the marker (step S110).
  • the position search process executed here may be the same as the process described with reference to FIG.
  • the placement determining unit 130 executes a posture search process in order to determine the optimal posture of the marker (step S130).
  • the posture search process executed here will be described in detail later.
  • the arrangement determination unit 130 acquires the score of the evaluation index calculated by the accuracy evaluation unit 140 corresponding to the optimal arrangement determined as a result of the position search process and the attitude search process (step S140). Then, the arrangement determining unit 130 determines whether or not the evaluation index satisfies the calibration accuracy condition (step S145). When the evaluation index does not satisfy the calibration accuracy condition, the arrangement determining unit 130 excludes the imaging camera that can be calibrated well from the evaluation target (step S150), and adds the additional calibration camera and the undecided camera. Position search processing (step S160) for determining the optimal position of the marker and posture search processing (step S170) for determining the optimal posture of the undetermined marker are executed.
  • the arrangement determining unit 130 repeats the processes of steps S140 to S170 described above until the calibration accuracy condition described above is satisfied (step S145). Then, when the calibration accuracy condition is satisfied (or when the number of calibration cameras reaches a predetermined upper limit number), the arrangement determining unit 130 sets up one or more calibration cameras (all-around camera) and all of the markers. The arrangement is finalized (step S180).
  • FIG. 15 is a flowchart showing an example of a detailed flow of the posture search process shown in FIG. When the marker posture is fixed, this posture search process does not have to be executed.
  • the arrangement determining unit 130 sets marker postures corresponding to the imaging cameras to be considered (step S132).
  • the accuracy evaluation unit 140 determines the posture evaluation index related to the relationship between the optical path between the camera and the marker and the posture of the camera or marker, the position of the calibration camera, the position and candidate posture of the marker, and the imaging Calculation is performed based on the position and orientation of the camera (step S133). Since the all-sky camera is considered to be facing the front in all directions, the angle ⁇ j in the calculation formula (formula (5)) of the posture evaluation index C ATT is used in the calculation of the posture evaluation index here. This term may be omitted.
  • the arrangement determining unit 130 repeats the above-described steps S132 and S133 until calculation of posture evaluation indices is completed for all possible combinations of marker postures (step S134).
  • the arrangement determining unit 130 selects a set of marker candidate postures indicating the best posture evaluation index (step S136).
  • the all-sky camera itself may be configured as a collection of a plurality of camera modules.
  • the optimal arrangement of the calibration camera and the marker is determined based on the arrangement of the plurality of camera modules, so that the multi-module all-around camera can be deployed. In this case, the calibration of the all-sky camera can be performed efficiently.
  • the imaging camera arrangement information acquired by the information acquisition unit 110 is the arrangement (position) of each camera module of the omnidirectional camera in the local coordinate system of the omnidirectional camera or the coordinate system of the assumed imaging space. And posture).
  • a manufacturer of an all-around camera as an imaging camera for example, arranges a calibration camera and a marker in an imaging space according to the arrangement determined in advance using the calibration accuracy evaluation apparatus 100 when the all-around camera is shipped.
  • the calibration may be performed simultaneously with the installation work of the all-sky camera on the site.
  • the calibration accuracy evaluation apparatus 100 described up to the previous section may be used not only for searching for the optimal arrangement of the calibration cameras, but also for verifying the arrangement of the calibration cameras tentatively determined by the operator.
  • FIG. 16 is an explanatory diagram for explaining the use of the calibration accuracy evaluation apparatus 100 different from the use explained with reference to FIG.
  • the information acquisition unit 110 of the calibration accuracy evaluation apparatus 100 includes a calibration camera that can be tentatively determined in addition to imaging camera arrangement information indicating the arrangement of a plurality of imaging cameras arranged in the imaging space.
  • Calibration camera layout information indicating the camera layout is acquired as input information.
  • the information acquisition unit 110 may also acquire marker arrangement information indicating the arrangement of a plurality of markers that can be provisionally determined as input information.
  • the accuracy evaluation unit 140 of the calibration accuracy evaluation apparatus 100 evaluates the calibration accuracy expected for these provisionally determined positions by calculating the above-described position evaluation index and posture evaluation index.
  • the user interface unit 120 feeds back the result of the calibration accuracy evaluation executed by the accuracy evaluation unit 140 to the user.
  • the feedback of the result of the evaluation of the calibration accuracy is, for example, displaying or printing the position evaluation index and the posture evaluation index scores themselves, or the determination result of whether each score satisfies the above-described calibration accuracy condition on the monitor. Or the like.
  • the user after the user tentatively determines the position of the calibration camera (and marker), the user can perform the calibration without actually placing the camera (and marker) in the imaging space and executing the calibration. It is possible to easily know whether or not accurate calibration accuracy can be obtained. Therefore, the load of trial and error that has been performed for calibration in the existing method is reduced, and the multi-camera system can be quickly deployed.
  • the embodiments of the technology according to the present disclosure have been described in detail with reference to FIGS. 1 to 16.
  • the camera arrangement information indicating the arrangement of a plurality of imaging cameras arranged in the imaging space is acquired, and the calibration accuracy obtained when the calibration camera is arranged in the imaging space is obtained by using the camera.
  • an information processing apparatus that performs evaluation based on the respective arrangements of the imaging cameras and the arrangements of the calibration cameras indicated by the arrangement information.
  • a calibration camera involved in the calibration of the arrangement of the imaging cameras is employed separately from the plurality of imaging cameras, and the arrangement of the calibration cameras is the same as that of the plurality of imaging cameras. Given the placement, it can be determined to optimize the accuracy of the calibration. In this way, the calibration accuracy can be optimized by using the calibration camera arrangement (for example, the position and orientation, or only the position when the calibration camera is an all-round camera) as a variable parameter.
  • the camera of the multi-camera system can be calibrated with good accuracy without moving the camera arrangement. Since the calibration camera can be used as a reference camera in the reference camera method, the bundle adjustment required in the sequential method is not necessary in principle, and the calculation cost for calibration is suppressed. Once calibration is complete, the calibration camera can be removed from the imaging space.
  • the optimal arrangement of the calibration cameras arranged in the imaging space is determined based on the evaluation result of the calibration accuracy obtained when the calibration cameras are arranged. Therefore, the operator can easily know the arrangement of the calibration camera for performing the calibration of the multi-camera system with good accuracy by only inputting the imaging camera arrangement information and some other supplementary information. Can do. For example, an operator expects good accuracy from the beginning by placing a calibration camera (and optionally one or more markers) in the imaging space according to an arrangement that can be displayed or printed on a monitor. Calibration can be started in a possible manner.
  • the calibration accuracy can be evaluated on the assumption that one or more markers imaged for calibration of the imaging camera are also arranged in the imaging space. Therefore, not only the arrangement of the calibration camera but also the arrangement of the calibration marker can be optimized based on the evaluation result of the calibration accuracy.
  • the calibration accuracy is evaluated for each of the plurality of candidate placements in the camera placement possible area where the calibration camera can be placed, and the candidate evaluated to have the optimum calibration accuracy.
  • the placement of the calibration camera can be determined according to the placement. Therefore, the calibration camera can be arranged with the best posture at the best position within the range of the camera arrangement possible region that varies depending on the situation of the imaging space.
  • imaging is performed when the calibration accuracy optimized as a single calibration camera is not sufficient (when it is determined that a predetermined calibration accuracy condition is not satisfied).
  • the optimum arrangement of the calibration cameras additionally arranged in the space can be further searched. Therefore, by changing the number of calibration cameras, it is possible to reliably achieve the calibration accuracy that the multi-camera system should achieve. Further, it is possible to prevent an unnecessary number of calibration cameras from being arranged.
  • an evaluation is made as to how much calibration accuracy is expected with respect to the placement of the calibration camera tentatively determined by the operator, and the result of the evaluation is fed back via the user interface. obtain.
  • the operator can easily know whether the arrangement of the calibration camera is appropriate without repeating the change of the camera arrangement and the actual measurement of the calibration accuracy by trial and error.
  • the series of processes described in this specification may be realized using any of software, hardware, and a combination of software and hardware.
  • the program constituting the software is stored in advance in a storage medium (non-transitory medium) provided inside or outside each device.
  • Each program is read into a RAM at the time of execution, for example, and executed by a processor such as a CPU.
  • An information acquisition unit for acquiring camera arrangement information indicating the arrangement of a plurality of imaging cameras arranged in the imaging space;
  • An evaluation unit that evaluates the calibration accuracy obtained when a calibration camera is arranged in the imaging space based on the arrangement of the plurality of imaging cameras and the arrangement of the calibration cameras indicated by the camera arrangement information;
  • An information processing apparatus comprising: (2) The information processing apparatus according to (1), further comprising: an arrangement determining unit that determines an optimal arrangement of the calibration cameras arranged in the imaging space based on the calibration accuracy evaluated by the evaluation unit. .
  • the evaluation unit assumes that one or more markers imaged for calibration of the imaging camera are also arranged in the imaging space, and each of the plurality of imaging cameras is arranged,
  • the information processing apparatus according to (2) wherein the calibration accuracy is evaluated based on an arrangement and an arrangement of each of the one or more markers.
  • the placement determination unit causes the evaluation unit to evaluate the calibration accuracy for each of a plurality of candidate placements in a region where the calibration camera can be placed, and the candidate placement evaluated as having the optimum calibration accuracy
  • the arrangement determining unit searches for the optimum calibration accuracy using both the arrangement of the calibration camera and the arrangement of the one or more markers as variable parameters, and through the search, the arrangement of the calibration camera.
  • the information processing apparatus according to (4), wherein the arrangement of each of the one or more markers is determined.
  • the evaluation unit evaluates the calibration accuracy using a first evaluation index related to a variation in distance between a camera and a marker corresponding to the camera.
  • the evaluation unit evaluates the calibration accuracy using a second evaluation index relating to a relationship between an optical path between a camera and a marker corresponding to the camera and a posture of the camera or the marker.
  • the information processing apparatus according to any one of (6).
  • the arrangement determining unit determines whether or not a predetermined calibration accuracy condition is satisfied when the calibration camera is arranged in a candidate arrangement evaluated to have the optimal calibration accuracy, and the predetermined calibration accuracy condition
  • the information processing apparatus according to any one of (2) to (7), wherein if it is determined that the condition is not satisfied, it is determined that an additional calibration camera should be arranged in the imaging space.
  • the predetermined calibration accuracy condition includes a first evaluation index related to a variation in distance between a camera and a marker corresponding to the camera, an optical path between the camera and the marker corresponding to the camera, and a posture of the camera or marker.
  • the information processing apparatus which is based on at least one of a second evaluation index related to a relationship between (10)
  • the arrangement determining unit determines that an additional calibration camera should be arranged in the imaging space, among the plurality of imaging cameras, imaging that can be calibrated satisfactorily by the initial calibration camera
  • Processing equipment (11)
  • the placement determination unit evaluates the calibration accuracy and performs the calibration until it is determined that the predetermined calibration accuracy condition is satisfied by the placement of the initial calibration camera and zero or more additional calibration cameras.
  • the information processing apparatus according to any one of (8) to (10), wherein the addition of a camera for use is repeated.
  • the information processing apparatus according to any one of (1) to (11), wherein the information acquisition unit further acquires area information that defines an area where the calibration camera can be disposed. (13) The information acquisition unit acquires additional camera arrangement information indicating the arrangement of the calibration camera in the imaging space that is provisionally determined, The information processing apparatus further includes a user interface unit that feeds back a result of evaluation of the calibration accuracy performed by the evaluation unit using the camera arrangement information and the further camera arrangement information.
  • the arrangement of the imaging camera includes the position and orientation of the imaging camera,
  • the arrangement of the calibration cameras includes at least a position of the calibration camera.
  • the information processing apparatus according to any one of (1) to (13).
  • a method executed by an information processing apparatus Obtaining camera arrangement information indicating the arrangement of a plurality of imaging cameras arranged in the imaging space; Evaluating the calibration accuracy obtained when a calibration camera is arranged in the imaging space based on the arrangement of the plurality of imaging cameras and the arrangement of the calibration cameras indicated by the camera arrangement information; Including methods.
  • the processor of the information processing device An information acquisition unit for acquiring camera arrangement information indicating the arrangement of a plurality of imaging cameras arranged in the imaging space; An evaluation unit that evaluates the calibration accuracy obtained when a calibration camera is arranged in the imaging space based on the arrangement of the plurality of imaging cameras and the arrangement of the calibration cameras indicated by the camera arrangement information; , Program to function as.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

【課題】マルチカメラシステムの校正を最適化するためのカメラの配置を、試行錯誤によらずに効率的に見出すこと。 【解決手段】撮像空間に配置される複数の撮像用カメラの配置を示すカメラ配置情報を取得する情報取得部と、前記撮像空間に校正用カメラを配置した場合に得られる校正精度を、前記カメラ配置情報により示される前記複数の撮像用カメラのそれぞれの配置及び前記校正用カメラの配置に基づいて評価する評価部と、を備える情報処理装置を提供する。

Description

情報処理装置、方法、プログラム及びマルチカメラシステム
　本開示は、情報処理装置、方法、プログラム及びマルチカメラシステムに関する。
　従来、実空間内の複数の地点にそれぞれ配置されるカメラからの画像を統合的に処理するマルチカメラシステムが知られている。マルチカメラシステムは、例えば、画像の記録又は再生の際に、複数のカメラからの画像をスティッチング（貼り合せ）して、１つの巨大な合成画像又は視野をシームレスに移動させながら連続的に再生される一連の画像を生成し得る。マルチカメラシステムは、被写体の３次元的な動きの解析又は認識のためにも利用され得る。マルチカメラシステムにおいて、複数のカメラからの画像を円滑に統合的に処理するためには、カメラの校正（キャリブレーション）が適切に行われ、カメラの位置、姿勢又は画角といったパラメータの相対的な関係が正確に把握されることが重要である。
　マルチカメラシステムのためのカメラの校正は、一般には、基準カメラ法又は逐次法に従って行われる。基準カメラ法によれば、複数の撮像用カメラのうちの１つが基準カメラとして選択され、基準カメラと残りのカメラの各々との間で校正が行われる。逐次法によれば、第１のカメラと第２のカメラとの間で校正が行われ、次に第２のカメラと第３のカメラとの間で校正が行われ、次に第３のカメラと第４のカメラとの間で校正が行われ…、というように、カスケード式に校正が行われる。特許文献１は、マルチカメラシステムにおいて、各カメラにより撮像される画像の輝度及びホワイトバランスなどの画像特性を基準カメラ法に従って校正する手法を開示している。
特開２００４－０８８２４７号公報
　しかしながら、既存の基準カメラ法には、基準カメラと他の撮像用カメラとのペアの全てについて校正のために最適な配置が必ずしも実現されるとは限らない、という欠点がある。多くの場合、カメラ配置は、配置現場でのオペレータによる試行錯誤を通じて決定される。しかし、例えば校正のためにカメラの配置を最適化すると、その配置は撮像のためには適していないといった、トレードオフの問題もある。
　一方、逐次法には、カスケード式に校正が行われる結果として、誤差が累積してしまうという欠点がある。最終的に誤差をカメラ間で分散するための再計算（いわゆるバンドル調整）を実行すれば誤差そのものは軽減され得るが、その再計算の計算コストは膨大になりがちである。
　本開示に係る技術は、こうした既存の手法の欠点の少なくとも１つを解消し又は軽減することを目的とする。
　本開示によれば、撮像空間に配置される複数の撮像用カメラの配置を示すカメラ配置情報を取得する情報取得部と、前記撮像空間に校正用カメラを配置した場合に得られる校正精度を、前記カメラ配置情報により示される前記複数の撮像用カメラのそれぞれの配置及び前記校正用カメラの配置に基づいて評価する評価部と、を備える情報処理装置が提供される。
　また、本開示によれば、情報処理装置により実行される方法であって、撮像空間に配置される複数の撮像用カメラの配置を示すカメラ配置情報を取得することと、前記撮像空間に校正用カメラを配置した場合に得られる校正精度を、前記カメラ配置情報により示される前記複数の撮像用カメラのそれぞれの配置及び前記校正用カメラの配置に基づいて評価することと、を含む方法が提供される。
　また、本開示によれば、情報処理装置のプロセッサを、撮像空間に配置される複数の撮像用カメラの配置を示すカメラ配置情報を取得する情報取得部と、前記撮像空間に校正用カメラを配置した場合に得られる校正精度を、前記カメラ配置情報により示される前記複数の撮像用カメラのそれぞれの配置及び前記校正用カメラの配置に基づいて評価する評価部と、として機能させるためのプログラムが提供される。
　また、本開示によれば、撮像空間に配置されて前記撮像空間を撮像する複数の撮像用カメラと、前記撮像空間に配置されて前記複数の撮像用カメラの配置についての校正に関与する校正用カメラと、を含むマルチカメラシステムであって、前記校正用カメラの配置は、前記複数の撮像用カメラの配置を所与として、前記校正の精度を最適化するように決定される、マルチカメラシステムが提供される。
　本開示に係る技術によれば、マルチカメラシステムの校正を最適化するためのカメラの配置を、試行錯誤によらずに効率的に見出すことができる。
　なお、上記の効果は必ずしも限定的なものではなく、上記の効果と共に、又は上記の効果に代えて、本明細書に示されたいずれかの効果、又は本明細書から把握され得る他の効果が奏されてもよい。
マルチカメラシステムの一般的な構成の一例について説明するための説明図である。 マルチカメラシステムの一般的な構成の他の例について説明するための説明図である。 マルチカメラシステムの校正のための既存の手法の一例について説明するためのシーケンス図である。 一実施形態において採用される校正用カメラの配置について説明するための説明図である。 校正用カメラを用いた撮像用カメラの校正について説明するための説明図である。 校正用カメラの追加について説明するための説明図である。 一実施形態に係る校正精度評価装置の用途について説明するための説明図である。 一実施形態に係る校正精度評価装置の構成の一例を示すブロック図である。 位置評価指標の一例について説明するための説明図である。 姿勢評価指標の一例について説明するための説明図である。 追加的な校正用カメラの配置の探索について説明するための説明図である。 一実施形態に係る配置最適化処理の流れの一例を示すフローチャートである。 図１１に示した位置探索処理の詳細な流れの一例を示すフローチャートである。 図１１に示した姿勢探索処理の詳細な流れの一例を示すフローチャートである。 校正用カメラとして全天周カメラが採用される場合の配置最適化処理の流れの一例を示すフローチャートである。 図１４に示した姿勢探索処理の詳細な流れの一例を示すフローチャートである。 一実施形態に係る校正精度評価装置の他の用途について説明するための説明図である。
　以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
　また、以下の順序で説明を行う。
　　１．序論
　　　１－１．マルチカメラシステムの一般的な構成
　　　１－２．校正のための既存の手法
　　　１－３．校正用カメラの採用
　　　１－４．校正精度評価装置の導入
　　２．一実施形態に係る校正精度評価装置の構成
　　３．一実施形態に係る処理の流れ
　　　３－１．配置最適化処理
　　　３－２．位置探索処理
　　　３－３．姿勢探索処理
　　４．全天周カメラの採用
　　　４－１．校正用カメラとしての全天周カメラ
　　　４－２．撮像用カメラとしての全天周カメラ
　　５．応用例
　　６．まとめ
　＜１．序論＞
　　［１－１．マルチカメラシステムの一般的な構成］
　図１は、マルチカメラシステムの一般的な構成の一例について説明するための説明図である。図１を参照すると、撮像空間１０に複数のカメラ２０ａ、２０ｂ、２０ｃ及び２０ｄが配置されている。これらカメラ２０ａ、２０ｂ、２０ｃ及び２０ｄは、それぞれの視点からフィールド１１を撮像し、撮像画像を生成する。撮像画像は、静止画であってもよく、又は動画を構成するフレームの各々であってもよい。フィールド１１は、撮像の対象が存在する部分空間である。図１の例では、フィールド１１は、スポーツが行われるサイトである。カメラ２０ａ、２０ｂ、２０ｃ及び２０ｄにより生成される撮像画像は、ネットワークを介してサーバ３０へ送信される。サーバ３０は、カメラ２０ａ、２０ｂ、２０ｃ及び２０ｄから受信される撮像画像を統合的に処理する。例えば、サーバ３０は、画像の記録又は再生の際に、異なる視点からの複数の撮像画像をスティッチングして、１つの巨大な合成画像を生成してもよい。また、サーバ３０は、ディスプレイの視野をシームレスに移動させながら連続的に再生される一連の画像を生成してもよい。また、サーバ３０は、視差の解析に基づいて被写体の３次元的な動きを認識してもよい。
　マルチカメラシステムは、いかなる数のカメラを含んでもよい。また、カメラは、システムの目的に沿っていかなる位置及び姿勢で撮像空間に配置されてもよい。本明細書において、カメラの「配置」とは、通常は、実空間内のカメラの位置及び姿勢を意味するものとする。但し、画角に制限の無い全天周カメラのように、その姿勢を考慮することを省略し得る場合には、カメラの「配置」とは、実空間内のカメラの位置のみを意味してもよい。
　図２は、マルチカメラシステムの一般的な構成の他の例について説明するための説明図である。図２を参照すると、撮像空間１２に複数のカメラ２０ｅ、２０ｆ及び２０ｇが配置されている。これらカメラ２０ｅ、２０ｆ及び２０ｇは、それぞれの視点からフィールド１３を撮像し、撮像画像を生成する。図２の例においても、カメラ２０ｅ、２０ｆ及び２０ｇにより生成される撮像画像は、ネットワークを介してサーバ３０へ送信され、サーバ３０により統合的に処理される。
　なお、以下の説明において、カメラ２０ａ～２０ｇを互いに区別する必要の無い場合には、符号の末尾のアルファベットを省略することにより、これらをカメラ２０と総称する。
　　［１－２．校正のための既存の手法］
　図３は、図１及び図２に例示したようなマルチカメラシステムの校正のための既存の手法の一例について説明するためのシーケンス図である。図３に示した校正の手法には、オペレータ１５、複数のカメラ２０、及びサーバ３０が関与する。
　まず、マルチカメラシステムの撮像空間への配備に際して、オペレータ１５は、カメラ及びマーカの配置を事前に決定する（ステップＳ１０）。マーカは、校正のために利用される、既知の視覚的パターンを有するオブジェクトである。校正は、例えば、撮像空間内のマーカの配置を基準にして、撮像画像内のマーカの見え方からカメラの配置を導出することにより行われ得る。ここでは、オペレータ１５により配置を動かすことのできる人工マーカが利用されるものとする（マーカが撮像空間に内在する自然マーカである場合には、マーカの配置は、オペレータ１５により決定されず、固定的に定義され得る）。そして、オペレータ１５は、ステップＳ１０における決定に従って、カメラ及びマーカを撮像空間に配置する（ステップＳ１２）。
　次に、カメラ２０は、それぞれマーカを撮像し、マーカ画像を生成する（ステップＳ２０）。そして、カメラ２０は、生成したマーカ画像をサーバ３０へ送信する。サーバ３０は、カメラ２０からマーカ画像を取得し（ステップＳ２２）、校正を実行する（ステップＳ２４）。例えば、カメラ２０ａ及びカメラ２０ｂが１つの共通的なマーカをそれぞれの視点から撮像した場合、これらカメラからの２つのマーカ画像を用いて、カメラ２０ａとカメラ２０ｂとの間の相対的な位置関係（又は画角の間の関係）を知得することができる。
　その後、撮像空間から必要に応じて人工マーカが除去され、サーバ３０から各カメラ２０へ撮像開始が指示される（ステップＳ３０）。各カメラ２０は、撮像対象のフィールドを撮像し（ステップＳ３２）、撮像画像をサーバ３０へ送信する。サーバ３０は、複数のカメラ２０から撮像画像を収集し（ステップＳ３４）、多視点画像処理を実行する（ステップＳ３６）。ここで実行される多視点画像処理は、複数の画像の同期的な記録、画像のスティッチング又は被写体の３次元的な動きの解析など、いかなる種類の処理であってもよい。多視点画像処理において、ステップＳ２４での校正の結果（例えば、カメラ間の位置関係）が活用され得る。ステップＳ３２～Ｓ３６は、任意の回数繰り返されてよい。
　オペレータ１５は、必要に応じて校正精度を検証する（ステップＳ４０）。既存の手法によれば、十分な校正精度が得られるか否かは、カメラ及びマーカを実際に配置してみるまで不明である。オペレータ１５は、十分な校正精度が得られていないと判断される場合には、カメラ及びマーカの配置を変更する。これは、システムの本格的な運用が開始される前に、カメラ及びマーカの配置について試行錯誤が行われ得ることを示唆する。
　　［１－３．校正用カメラの採用］
　撮像対象のフィールド（又はフィールド内の被写体）を撮像するために適したカメラの配置は、必ずしも校正のためにも適しているわけではない。逆に、校正のためにカメラの配置を最適化すると、その配置は、撮像画像のコンテンツとしての魅力を十分に引き出すことができないかもしれない。そこで、本開示に係る技術の一実施形態において、撮像空間を撮像する複数の撮像用カメラとは別に、それら撮像用カメラの配置についての校正に関与する校正用カメラが採用され得る。撮像空間内の撮像用カメラの配置は、例えばコンテンツの魅力を高めるという観点で事前に決定されてよい。一方、校正用カメラの配置は、複数の撮像用カメラの配置を所与として、校正の精度を最適化するように決定される。校正用カメラは、一旦校正が終了すると、撮像空間から除去されてもよい。
　図４は、一実施形態において採用される校正用カメラの配置について説明するための説明図である。図４を参照すると、マルチカメラシステム１は、撮像用カメラ２０ａ、２０ｂ、２０ｃ及び２０ｄ、並びに校正用カメラ４１を含む。撮像用カメラ２０ａ、２０ｂ、２０ｃ及び２０ｄは、撮像空間内のそれぞれ異なる位置に異なる姿勢で配置される。撮像用カメラ２０ａ、２０ｂ、２０ｃ及び２０ｄの配置は、例えばフィールド１１の撮像を通じて最も魅力的な多視点画像コンテンツが提供されるように決定される。校正用カメラ４１は、カメラ配置可能領域内で、校正の精度を最適化する位置及び姿勢で配置される。図４には、３次元的な撮像空間内の、フィールド１１の周囲の第１のカメラ配置可能領域４５ａ及びフィールド１１の上空の第２のカメラ配置可能領域４５ｂが示されている。
　図５は、校正用カメラを用いた撮像用カメラの校正について説明するための説明図である。図５を参照すると、図４と同様の、撮像用カメラ２０ａ、２０ｂ、２０ｃ及び２０ｄ、並びに校正用カメラ４１を含むマルチカメラシステム１が再び示されている。さらに、フィールド１１には、マーカ５１ａ、５１ｂ、５１ｃ及び５１ｄが配置されている。ここでは、校正用カメラ４１は、上述した基準カメラ法における基準カメラとしての役割を有する。そして、撮像用カメラ２０ａの校正は、撮像用カメラ２０ａ及び校正用カメラ４１がマーカ５１ａを撮像することにより行われる。撮像用カメラ２０ｂの校正は、撮像用カメラ２０ｂ及び校正用カメラ４１がマーカ５１ｂを撮像することにより行われる。撮像用カメラ２０ｃの校正は、撮像用カメラ２０ｃ及び校正用カメラ４１がマーカ５１ｃを撮像することにより行われる。撮像用カメラ２０ｄの校正は、撮像用カメラ２０ｄ及び校正用カメラ４１がマーカ５１ｄを撮像することにより行われる。このように、専ら校正の精度を最適化するように配置される校正用カメラ４１を採用し、校正用カメラ４１を基準カメラ法における基準カメラとして利用することで、カメラ配置の最適化に関する上述したトレードオフを解決することができる。なお、ここでは１つの撮像用カメラについて１つのマーカが存在する例を示したが、撮像用カメラとマーカとの間の関係は必ずしも１対１でなくてもよい。例えば、２つ以上の撮像用カメラの校正のために１つの共通的なマーカが撮像されてもよい。また、１つの撮像用カメラの校正のために２つ以上のマーカが撮像されてもよい。
　一実施形態において、マルチカメラシステムは、２つ以上の校正用カメラを含んでもよい。図６は、校正用カメラの追加について説明するための説明図である。図６を参照すると、マルチカメラシステム１は、撮像用カメラ２０ａ、２０ｂ、２０ｃ及び２０ｄ並びに校正用カメラ４１に加えて、校正用カメラ４２を含む。校正用カメラ４２は、例えば、１つの校正用カメラ４１を基準カメラとして利用するのみではシステム全体として十分な校正精度が達成されないと判定される場合に、システムに追加され得る。図６の例では、撮像用カメラ２０ａの校正は、撮像用カメラ２０ａ及び校正用カメラ４１がマーカ５１ａを撮像することにより行われる。撮像用カメラ２０ｂの校正は、撮像用カメラ２０ｂ及び校正用カメラ４１がマーカ５１ｂを撮像することにより行われる。撮像用カメラ２０ｃの校正は、撮像用カメラ２０ｃ及び校正用カメラ４２がマーカ５１ｃを撮像することにより行われる。撮像用カメラ２０ｄの校正は、撮像用カメラ２０ｄ及び校正用カメラ４２がマーカ５１ｄを撮像することにより行われる。そして、校正用カメラ４１及び校正用カメラ４２の双方がマーカ５１ｄを撮像して上述した逐次法を適用することで、撮像用カメラ２０ａ及び２０ｂの校正結果と、撮像用カメラ２０ｃ及び２０ｄの校正結果とを統合することができる。
　なお、一実施形態において、専ら校正の精度を最適化するように校正用カメラが配置され、撮像用カメラの校正が行われた後、校正用カメラもまた撮像空間を撮像する目的で利用されてもよい。
　　［１－４．校正精度評価装置の導入］
　さらに、本開示に係る技術の一実施形態において、校正用カメラの配置は、既存の手法のようにオペレータにより試行錯誤的に決定されるのではなく、新たに導入される校正精度評価装置により決定される。
　図７は一実施形態に係る校正精度評価装置１００の用途について説明するための説明図である。図７の例において、校正精度評価装置１００は、情報処理装置である。校正精度評価装置１００は、例えば、ＣＰＵ（Central　Processing　Unit）などのプロセッサ、ＲＯＭ（Read　Only　Memory）などの不揮発性メモリ及びＲＡＭ（Random　Access　Memory）などの揮発性メモリを有し得る。校正精度評価装置１００は、例えば、撮像空間に配置される複数の撮像用カメラの配置を示す撮像用カメラ配置情報を、入力情報として取得する。なお、入力情報として取得されるカメラ配置情報は、後の校正処理において導出される配置情報と比較して、格段に粗い精度で各カメラの配置を示せばよい。そして、校正精度評価装置１００は、撮像空間に校正用カメラを配置した場合に得られる校正精度を、複数の撮像用カメラのそれぞれの配置及び校正用カメラの暫定的な配置に基づいて評価する。校正精度の評価は、１つ以上の評価指標を計算することにより行われ得る。校正精度評価装置１００は、校正用カメラ（及び必要に応じてマーカ）の様々な（暫定的な）配置について評価指標を計算し、最も良好なスコアを示す配置を、最適な配置であると決定する。校正精度評価装置１００は、最適化の結果（即ち、校正用カメラ（及びマーカ）の最適な配置）を、モニタ上に表示してもよく、メモリに記憶してもよく、又は印刷してもよい。
　ユーザ（例えば、オペレータ）は、撮像用カメラ配置情報及び他のいくつかの補足的な情報を校正精度評価装置１００へ入力するだけで、マルチカメラシステムの校正を良好な精度で行うための校正用カメラの配置を容易に知得することができる。こうした校正精度評価装置１００の具体的な構成の一例について、次節以降で詳細に説明する。
　＜２．一実施形態に係る校正精度評価装置の構成＞
　図８は、一実施形態に係る校正精度評価装置１００の構成の一例を示すブロック図である。図８を参照すると、校正精度評価装置１００は、情報取得部１１０、ユーザインタフェース部１２０、配置決定部１３０、精度評価部１４０及び記憶部１５０を備える
　情報取得部１１０は、校正精度評価装置１００における校正精度の評価及び校正用カメラの配置の最適化を実行するための入力情報を取得する。情報取得部１１０により取得される入力情報は、少なくとも、撮像空間内の複数の撮像用カメラの配置を示す撮像用カメラ配置情報を含む。撮像用カメラ配置情報は、例えば、Ｍ個の撮像用カメラの各々についての、撮像用カメラ位置Ｐｉｍｇ＿ｍ及び撮像用カメラ姿勢Ａｉｍｇ＿ｍ（ｍ＝１，…，Ｍ）を含む。さらに、情報取得部１１０により取得される入力情報は、Ｍ個の撮像用カメラの各々についてのカメラパラメータ情報ＰＲｉｍｇ＿ｍ（ｍ＝１，…，Ｍ）を含む。カメラパラメータ情報は、撮像用カメラの校正のために必要とされるカメラ内部パラメータの集合であってよく、例えば、焦点距離、画角、アスペクト比、及びスキュー（歪み）をそれぞれ表すパラメータを含み得る。さらに、情報取得部１１０により取得される入力情報は、校正用カメラを配置することの可能な領域を定義するカメラ配置可能領域情報Ｒｃｌｂをも含み得る。これら入力情報は、ユーザインタフェース部１２０の何らかの入力手段を介して入力されてもよく、記憶部１５０により予め記憶されてもよく、又は図示しない通信インタフェースを介して他の装置から取得されてもよい。情報取得部１１０は、取得した入力情報を配置決定部１３０へ出力する。
　ユーザインタフェース部１２０は、ユーザによる校正精度評価装置１００への指示又は情報の入力のための入力インタフェース１２１と、情報を表示するための表示インタフェース１２３とを含み得る。入力インタフェース１２１は、例えば、タッチパネル、キーパッド、キーボード、マウス又はタッチパッドなどを含み得る。表示インタフェース１２３は、液晶ディスプレイ若しくはＯＬＥＤ（Organic　light-Emitting　Diode）ディスプレイなどのモニタ、又はプロジェクタを含み得る。
　配置決定部１３０は、撮像空間に配置される校正用カメラの最適な配置を決定するための探索処理を実行する。配置決定部１３０は、例えば、カメラ配置可能領域情報Ｒｃｌｂにより定義されるカメラ配置可能領域の範囲内で、校正用カメラの１つの候補配置ｐｃｌｂ，ａｃｌｂを設定し、設定した候補配置について精度評価部１４０に校正精度を評価させる。ここでの校正精度の評価は、実際に校正を実行して精度を測定するのではなく、校正用カメラの暫定的な配置（即ち、候補配置）に基づいて１つ以上の評価指標を計算することにより行われる。配置決定部１３０は、こうした候補配置の設定と校正精度の評価とを、複数の候補配置の各々について繰り返し、最適な校正精度を有すると評価された候補配置に従って校正用カメラの配置を決定する。
　配置決定部１３０は、固定的でないマーカが校正のために利用される場合には、Ｎ個のマーカの各々についても候補配置ｐｍｒｋ＿ｎ，ａｍｒｋ＿ｎ（ｎ＝１，…，Ｎ）を設定し、校正精度の評価の入力として候補配置ｐｍｒｋ＿ｎ，ａｍｒｋ＿ｎを精度評価部１４０に与えてもよい。撮像空間に内在する固定的な自然マーカが利用される場合には、マーカの配置は予め定義され、その配置情報が精度評価部１４０に与えられ得る。これ以降、説明の簡明さのために、マーカの数Ｎは撮像用カメラの数Ｍと等しく、１つの撮像用カメラの校正のために１つのマーカが撮像されるものとする。但し、本開示に係る技術は、マーカの数Ｎが撮像用カメラの数Ｍと異なるケースにも適用可能である。
　精度評価部１４０は、撮像空間に校正用カメラを配置した場合に得られる校正精度を、Ｍ個の撮像用カメラのそれぞれの配置Ｐｉｍｇ＿ｍ，Ａｉｍｇ＿ｍ及び校正用カメラの候補配置ｐｃｌｂ，ａｃｌｂに基づいて評価する。精度評価部１４０は、撮像用カメラの校正のために撮像されるＮ個のマーカもまた撮像空間に配置されるものとして、Ｎ個のマーカのそれぞれの配置にも基づいて、校正精度を評価してもよい。上述したように、あるケースでは、校正用カメラの配置及びＮ個のマーカのそれぞれの配置の双方が、最適な校正精度を探索する際の可変的なパラメータであり、当該探索を通じて校正用カメラの配置とＮ個のマーカのそれぞれの配置とが決定される。他のケースでは、Ｎ個のマーカのそれぞれの配置は固定的であり、校正用カメラの配置のみが探索の際の可変的なパラメータである。
　概して、校正精度は、校正の際に撮像されるマーカ画像にマーカが大きく（高い解像度で）映っているほど高くなる。よって、システム全体としての校正精度を高めるためには、校正用カメラ及びどの撮像用カメラからも平均的に遠くない場所に、それぞれ対応するマーカが位置していることが望ましい。撮像すべきマーカが極端に遠くに位置しているカメラが存在すると、十分な校正精度は達成されない。そこで、一例として、精度評価部１４０は、カメラと当該カメラに対応するマーカとの間の距離のばらつきに関する第１の評価指標を用いて、校正精度を評価する。第１の評価指標は、主にカメラの位置の探索のために利用される指標である。ここでは、第１の評価指標を位置評価指標ＣＰＯＳという。位置評価指標ＣＰＯＳは、例えば、次の式（１）により定義される。
Figure JPOXMLDOC01-appb-M000001
　式（１）の右辺に含まれるＤｉは、ｉ番目のマーカの（候補）位置ｐｍｒｋ＿ｉと、当該マーカに対応するｉ番目の撮像用カメラの位置Ｐｉｍｇ＿ｉとの間の距離を表す（式（２）参照）。Ｄａｖｅは、マーカと撮像用カメラとのＭ個のペアにわたる、距離Ｄｉの平均値を表す。式（１）の右辺に含まれるｄｊは、ｊ番目のマーカの（候補）位置ｐｍｒｋ＿ｊと、校正用カメラの位置ｐｃｌｂとの間の距離を表す（式（３）参照）。ｄａｖｅは、マーカと校正用カメラとのＮ個のペアにわたる、距離ｄｊの平均値を表す。
　図９Ａは、式（２）及び式（３）によりそれぞれ定義される中間パラメータＤ及びｄについての理解のために供される説明図である。図９Ａにおいて、距離Ｄｋは、ｋ番目のマーカ５１ｋとｋ番目の撮像用カメラ２０ｋとの間の距離を表す。距離Ｄｈは、ｈ番目のマーカ５１ｈとｈ番目の撮像用カメラ２０ｈとの間の距離を表す。距離ｄｋは、ｋ番目のマーカ５１ｋと暫定的に配置される校正用カメラ４１との間の距離を表す。距離ｄｈは、ｈ番目のマーカ５１ｈと暫定的に配置される校正用カメラ４１との間の距離を表す。
　あり得る全ての校正用カメラの候補位置、及びマーカの候補位置にわたって精度評価部１４０により位置評価指標ＣＰＯＳが計算されると、配置決定部１３０は、最適な校正用カメラの位置Ｐｃｌｂ及びＮ個のマーカの位置Ｐｍｒｋ＿ｎを、次式のように位置評価指標ＣＰＯＳを最小化するデータセットとして決定することができる。
Figure JPOXMLDOC01-appb-M000002
　また、概して、校正精度は、校正の際に撮像されるマーカ画像の中心のより近くにマーカが映っているほど高くなる。撮像すべきマーカがマーカ画像の縁部に映っている場合には、マーカのパターンがレンズ歪みの影響を強く受けて校正の精度が低下し得る。さらに、校正精度は、マーカ画像内でマーカが正面を向いているほど高くなる。マーカが２次元マーカである場合に、マーカが浅い角度でマーカ画像に映っている（例えば、マーカが横を向いている）場合には、やはり校正の精度は低下し得る。よって、システム全体としての校正精度を高めるためには、各カメラとマーカとを結ぶ光路が各カメラの光軸に対してなす角度ができる限り小さいこと、及び各カメラとマーカとを結ぶ光路がマーカの校正用パターンの法線に対してなす角度ができる限り小さいことが望ましい。そこで、精度評価部１４０は、カメラとマーカとの間の光路とカメラ又はマーカの姿勢との間の関係に関する第２の評価指標を用いて、校正精度を評価する。第２の評価指標は、主にカメラの姿勢の探索のために利用される指標である。ここでは、第２の評価指標を姿勢評価指標ＣＡＴＴという。姿勢評価指標ＣＡＴＴは、例えば、次の式（５）により定義される。
Figure JPOXMLDOC01-appb-M000003
　式（５）の右辺に含まれるαｉは、ｉ番目のマーカの位置Ｐｍｒｋ＿ｉとｉ番目の撮像用カメラの位置Ｐｉｍｇ＿ｉとの間の光路がｉ番目の撮像用カメラの姿勢Ａｉｍｇ＿ｉに対してなす角度を表す（式（６）参照）。βｉは、ｉ番目のマーカの位置Ｐｍｒｋ＿ｉとｉ番目の撮像用カメラの位置Ｐｉｍｇ＿ｉとの間の光路がｉ番目のマーカの（候補）姿勢ａｍｒｋ＿ｉに対してなす角度を表す（式（７）参照）。式（５）の右辺に含まれるγｊは、ｊ番目のマーカの位置Ｐｍｒｋ＿ｊと校正用カメラの位置Ｐｃｌｂとの間の光路が校正用カメラの姿勢ａｃｌｂに対してなす角度を表す（式（８）参照）。δｊは、ｊ番目のマーカの位置Ｐｍｒｋ＿ｊと撮像用カメラの位置Ｐｃｌｂとの間の光路がｊ番目のマーカの（候補）姿勢ａｍｒｋ＿ｊに対してなす角度を表す（式（９）参照）。
　図９Ｂは、式（６）～（９）によりそれぞれ定義される中間パラメータα、β、γ及びδについての理解のために供される説明図である。図９Ｂにおいて、角度αｋは、ｋ番目のマーカ５１ｋとｋ番目の撮像用カメラ２０ｋとの間の光路９１ｋがｋ番目の撮像用カメラ２０ｋの光軸９２ｋ（姿勢に相当）に対してなす角度である。角度βｋは、ｋ番目のマーカ５１ｋとｋ番目の撮像用カメラ２０ｋとの間の光路９１ｋがｋ番目のマーカ５１ｋの法線９３ｋ（姿勢に相当）に対してなす角度である。角度γｋは、ｋ番目のマーカ５１ｋと校正用カメラ４１との間の光路９４ｋが校正用カメラ４１の光軸９５（姿勢に相当）に対してなす角度である。角度δｋは、ｋ番目のマーカ５１ｋと校正用カメラ４１との間の光路９４ｋがｋ番目のマーカ５１ｋの法線９３ｋ（姿勢に相当）に対してなす角度である。
　あり得る全ての校正用カメラの候補姿勢、及びマーカの候補姿勢にわたって精度評価部１４０により姿勢評価指標ＣＡＴＴが計算されると、配置決定部１３０は、最適な校正用カメラの姿勢Ａｃｌｂ及びＮ個のマーカの姿勢Ａｍｒｋ＿ｎを、次式のように姿勢評価指標ＣＡＴＴを最大化するデータセットとして決定することができる。
Figure JPOXMLDOC01-appb-M000004
　配置決定部１３０は、式（１）及び式（５）を用いて精度評価部１４０により計算される評価指標が示す（予期される）校正精度に基づいて、校正用カメラ（及び必要に応じてマーカ）の最適な配置を決定し得る。配置決定部１３０は、例えば、式（４）に従って、校正用カメラ及びマーカについて最適な位置を示す単一のデータセットを選択する代わりに、位置評価指標ＣＰＯＳのスコアの順に複数個の位置データセットを選択し、それら位置データセットに基づいてそれぞれ式（１０）に従った姿勢の探索を実行してもよい。また、配置決定部１３０は、姿勢の探索の結果として、校正用カメラ及びマーカの最適な位置及び姿勢を示す単一のデータセットを出力してもよく、又は評価指標のスコアの順に複数個のデータセットを出力してもよい。
　一実施形態において、配置決定部１３０は、最適な校正精度を有すると評価された候補配置で校正用カメラを配置した場合に所定の校正精度条件が満たされるか否かを検証してもよい。ここでの所定の校正精度条件は、上述した位置評価指標ＣＰＯＳ及び姿勢評価指標ＣＡＴＴのうちの少なくとも一方に基づく条件であってよく、例えば次のうちの１つ以上を含み得る：
　　　条件１）位置評価指標ＣＰＯＳが第１の閾値を下回る
　　　条件２）姿勢評価指標ＣＡＴＴが第２の閾値を上回る
なお、位置評価指標ＣＰＯＳと比較される第１の閾値及び姿勢評価指標ＣＡＴＴと比較される第２の閾値は、撮像用カメラの数Ｍ又はマーカの数Ｎに依存する可変的な値であってもよい。また、これら閾値は、記憶部１５０により予め記憶されてもよく、又はユーザインタフェース部１２０を介してユーザにより指定されてもよい。
　配置決定部１３０は、位置及び姿勢の探索の結果として得られた配置で校正用カメラを配置した場合に上述した校正精度条件が満たされないと判定される場合には、撮像空間に追加的な校正用カメラを配置すべきであると判定してもよい。配置決定部１３０は、撮像空間に追加的な校正用カメラを配置すべきであると判定した場合には、追加的な校正用カメラの配置を決定するための位置及び姿勢の探索を、精度評価部１４０により計算される上述した位置評価指標ＣＰＯＳ及び姿勢評価指標ＣＡＴＴを用いて再び実行し得る。この再探索の際に、配置決定部１３０は、複数の撮像用カメラのうち、（初回の探索の結果として配置の確定した）初期の校正用カメラにより良好に校正可能な撮像用カメラを除外した残りの撮像用カメラの配置に基づいて、追加的な校正用カメラについて得られる校正精度を精度評価部１４０に評価させてもよい。
　図１０は、追加的な校正用カメラの配置の探索について説明するための説明図である。図１０の例では、初回の位置及び姿勢の探索の結果として、初期の校正用カメラ４１、並びにマーカ５１ａ、５１ｂ、５１ｃ及び５１ｄの組合せについて精度評価部１４０により計算された評価指標が最も良好なスコアを示し、しかしその評価指標は上述した校正精度条件を満たさなかったものとする。そこで、配置決定部１３０は、撮像空間に追加的な校正用カメラを配置してシステム全体としての校正精度を向上させることを決定する。
　追加的な校正用カメラの配置は、上で説明した初回の位置及び姿勢の探索と同様の再探索を通じて決定され得る。但し、この再探索のために、配置決定部１３０は、撮像用カメラ２０ａ、２０ｂ、２０ｃ及び２０ｄのうち、初回の探索時の位置評価指標ＣＰＯＳ及び姿勢評価指標ＣＡＴＴの劣化により強く関係している撮像用カメラを選択する。ここで選択される撮像用カメラは、対応するマーカへの距離がより大きい撮像用カメラ、又は対応するマーカと初期の校正用カメラとの間の距離がより大きい撮像用カメラであってもよい。また、ここで選択される撮像用カメラは、対応するマーカが良好な姿勢を有しない撮像用カメラであってもよい。図１０の例では、初回の探索時の評価指標の劣化により強く関係している撮像用カメラとして、撮像用カメラ２０ｃ及び２０ｄが選択されている。撮像用カメラ２０ａ及び２０ｂは、初期の校正用カメラ４１により良好に校正可能であるため、再探索における評価指標の計算から除外される。撮像用カメラ２０ａ及び２０ｂにそれぞれ対応するマーカ５１ａ及び５１ｂの配置は、再探索の前に確定される。そして、配置決定部１３０は、初回の探索よりも少ない数の撮像用カメラの配置に基づいて、追加的な校正用カメラについて予期される校正精度を精度評価部１４０に評価させ、評価指標が最も良好なスコアを示す追加的な校正用カメラの配置と、未確定のマーカの配置とを決定する。図１０の例では、校正用カメラ４２を追加的に配置すべきであることが、再探索の結果として決定されている。一例として、撮像用カメラ２０ｄに対応するマーカ５１ｄの配置は、初期の校正用カメラ４１と追加的な校正用カメラ４２との間の校正結果の統合を可能とするために、初回の探索の結果のまま維持され得る。一方、撮像用カメラ２０ｃに対応するマーカの配置は再探索において可変とされ、新たにマーカ５１ｅを配置すべきであることが決定されている。
　配置決定部１３０は、初期の校正用カメラ及びゼロ個以上の追加的な校正用カメラの配置により上述した校正精度条件が満たされると判定されるまで、校正精度の評価と校正用カメラの追加とを繰り返してよい。そして、上述した校正精度条件が満たされると、マルチカメラシステム１に配置すべき校正用カメラの数とその配置、及びマーカ群の配置が全て確定し得る。なお、配置決定部１３０は、校正用カメラの数が所定の上限数に達した場合には、校正精度条件が満たされるか否かに関わらず、再探索の繰り返しを打ち切ってもよい。
　＜３．一実施形態に係る処理の流れ＞
　本節では、上述した校正精度評価装置１００により実行され得る処理の流れの例を、いくつかのフローチャートを用いて説明する。なお、フローチャートに複数の処理ステップが記述されるが、それら処理ステップは、必ずしもフローチャートに示された順序で実行されなくてもよい。いくつかの処理ステップは、並列的に実行されてもよい。また、追加的な処理ステップが採用されてもよく、一部の処理ステップが省略されてもよい。
　　［３－１．配置最適化処理］
　図１１は、一実施形態に係る配置最適化処理の流れの一例を示すフローチャートである。図１１に示した処理は、撮像空間内の複数の撮像用カメラの配置が決定された後に、例えばユーザにより入力インタフェース１２１を介して入力されるトリガに応じて開始され得る。
　まず、情報取得部１１０は、撮像用カメラの配置を示す撮像用カメラ配置情報、及び撮像用カメラのカメラ内部パラメータを示すカメラパラメータ情報を取得する（ステップＳ１００）。また、情報取得部１１０は、校正用カメラを配置することの可能な領域を定義するカメラ配置可能領域情報を取得する（ステップＳ１０５）。
　次に、配置決定部１３０は、校正用カメラ（及びマーカ）の最適な位置を決定するために、位置探索処理を実行する（ステップＳ１１０）。ここで実行される位置探索処理について、後により詳細に説明する。配置決定部１３０は、位置探索処理の結果として、カメラ配置可能領域情報により示される領域の範囲内で最適な校正用カメラの位置を決定する。また、配置決定部１３０は、１つ以上のマーカの最適な位置をも決定し得る。
　次に、配置決定部１３０は、校正用カメラ（及びマーカ）の最適な姿勢を決定するために、姿勢探索処理を実行する（ステップＳ１２０）。ここで実行される姿勢探索処理について、後により詳細に説明する。配置決定部１３０は、姿勢探索処理の結果として、ステップＳ１１０において決定した位置において最適な校正用カメラの姿勢を決定する。また、配置決定部１３０は、１つ以上のマーカの最適な姿勢をも決定し得る。
　次に、配置決定部１３０は、位置探索処理及び姿勢探索処理の結果として決定された最適な配置に対応する、精度評価部１４０により計算された評価指標（例えば、位置評価指標及び姿勢評価指標）のスコアを取得する（ステップＳ１４０）。そして、配置決定部１３０は、評価指標が校正精度条件を満たすか否かを判定する（ステップＳ１４５）。評価指標が校正精度条件を満たす場合には、処理はステップＳ１８０へ移る。一方、評価指標が校正精度条件を満たさない場合には、処理はステップＳ１５０へ移る。
　ステップＳ１５０において、配置決定部１３０は、初期の校正用カメラにより良好に校正可能な撮像用カメラを再探索における評価の対象から除外する（ステップＳ１５０）。そして、配置決定部１３０は、追加的な校正用カメラ（及び未確定のマーカ）の最適な位置を決定するために、位置探索処理を実行する（ステップＳ１６０）。ここで実行される位置探索処理は、一部の撮像用カメラ及び対応するマーカが考慮されないことを除き、ステップＳ１１０において実行される処理と同様であってよい。また、配置決定部１３０は、追加的な校正用カメラ（及び未確定のマーカ）の最適な姿勢を決定するために、姿勢探索処理を実行する（ステップＳ１７０）。ここで実行される姿勢探索処理は、一部の撮像用カメラ及び対応するマーカが考慮されないことを除き、ステップＳ１２０において実行される処理と同様であってよい。これら位置探索処理及び姿勢探索処理の結果として、追加的な校正用カメラの最適な配置（及び未確定であったマーカの最適な配置）が決定される。
　次に、配置決定部１３０は、再探索により決定した最適な配置に対応する評価指標のスコアを取得し（ステップＳ１４０）、評価指標が校正精度条件を満たすか否かを判定する（ステップＳ１４５）。配置決定部１３０は、上述したステップＳ１４０～Ｓ１７０の処理を、上述した校正精度条件が満たされるまで繰り返す。
　そして、配置決定部１３０は、校正精度条件が満たされると（又は校正用カメラの数が所定の上限数に達すると）、１つ以上の校正用カメラ及びマーカの全ての配置を確定させる（ステップＳ１８０）。
　　［３－２．位置探索処理］
　図１２は、図１１に示した位置探索処理の詳細な流れの一例を示すフローチャートである。
　図１２を参照すると、まず、配置決定部１３０は、カメラ配置可能領域情報により示される配置可能領域の範囲内に、探索のための校正用カメラの候補位置を設定する（ステップＳ１１１）。また、配置決定部１３０は、考慮すべき撮像用カメラにそれぞれ対応するマーカの候補位置を設定する（ステップＳ１１２）。なお、マーカの位置が固定的である場合には、ステップＳ１１２はスキップされてよい。
　次に、精度評価部１４０は、マーカまでの距離のばらつきに関する位置評価指標を、校正用カメラの候補位置、マーカの位置及び撮像用カメラの位置に基づいて計算する（ステップＳ１１３）。
　配置決定部１３０は、あり得るマーカの全ての候補位置の組合せについて位置評価指標の計算が終了するまで、上述したステップＳ１１２及びＳ１１３を繰り返す（ステップＳ１１４）。また、配置決定部１３０は、探索範囲内の校正用カメラの全ての候補位置について位置評価指標の計算が終了するまで、上述したステップＳ１１１～Ｓ１１４を繰り返す（ステップＳ１１５）。
　探索が終了すると、配置決定部１３０は、最も良好な（又はある上位のいくつかの）位置評価指標を示す校正用カメラ及びマーカの候補位置のセットを選択する（ステップＳ１１６）。
　　［３－３．姿勢探索処理］
　図１３は、図１１に示した姿勢探索処理の詳細な流れの一例を示すフローチャートである。
　図１３を参照すると、まず、配置決定部１３０は、位置探索処理の結果として決定した校正用カメラの位置における、探索のための校正用カメラの候補姿勢を設定する（ステップＳ１２１）。また、配置決定部１３０は、考慮すべき撮像用カメラにそれぞれ対応するマーカの候補姿勢を設定する（ステップＳ１２２）。なお、マーカの姿勢が固定的である場合には、ステップＳ１２２はスキップされてよい。
　次に、精度評価部１４０は、カメラとマーカとの間の光路とカメラ又はマーカの姿勢との間の関係に関する姿勢評価指標を、校正用カメラの位置及び候補姿勢、マーカの位置及び候補姿勢、並びに撮像用カメラの位置及び姿勢に基づいて計算する（ステップＳ１２３）。
　配置決定部１３０は、あり得るマーカの全ての候補姿勢の組合せについて姿勢評価指標の計算が終了するまで、上述したステップＳ１２２及びＳ１２３を繰り返す（ステップＳ１２４）。また、配置決定部１３０は、校正用カメラの全ての候補姿勢について姿勢評価指標の計算が終了するまで、上述したステップＳ１２１～Ｓ１２４を繰り返す（ステップＳ１２５）。
　探索が終了すると、配置決定部１３０は、最も良好な姿勢評価指標を示す校正用カメラ及びマーカの候補姿勢のセットを選択する（ステップＳ１２６）。
　＜４．全天周カメラの採用＞
　　［４－１．校正用カメラとしての全天周カメラ］
　全天周カメラは、方位角及び仰俯角の双方において、３６０°の画角を有し得るカメラである。校正用カメラとして全天周カメラが採用される場合、校正用カメラの姿勢は、校正精度にほとんど影響しなくなる。そのため、この場合、配置最適化処理において、校正用カメラの位置のみが実質的な探索の対象とされてよい。
　図１４は、校正用カメラとして全天周カメラが採用される場合の配置最適化処理の流れの一例を示すフローチャートである。図１４に示した処理は、撮像空間内の複数の撮像用カメラの配置が決定された後に、例えばユーザにより入力インタフェース１２１を介して入力されるトリガに応じて開始され得る。
　まず、情報取得部１１０は、撮像用カメラの配置を示す撮像用カメラ配置情報、及び撮像用カメラのカメラ内部パラメータを示すカメラパラメータ情報を取得する（ステップＳ１００）。また、情報取得部１１０は、校正用カメラを配置することの可能な領域を定義するカメラ配置可能領域情報を取得する（ステップＳ１０５）。
　次に、配置決定部１３０は、校正用カメラ及びマーカの最適な位置を決定するために、位置探索処理を実行する（ステップＳ１１０）。ここで実行される位置探索処理は、図１２を用いて説明した処理と同様であってよい。
　次に、配置決定部１３０は、マーカの最適な姿勢を決定するために、姿勢探索処理を実行する（ステップＳ１３０）。ここで実行される姿勢探索処理について、後により詳細に説明する。
　次に、配置決定部１３０は、位置探索処理及び姿勢探索処理の結果として決定された最適な配置に対応する、精度評価部１４０により計算された評価指標のスコアを取得する（ステップＳ１４０）。そして、配置決定部１３０は、評価指標が校正精度条件を満たすか否かを判定する（ステップＳ１４５）。評価指標が校正精度条件を満たさない場合には、配置決定部１３０は、良好に校正可能な撮像用カメラを評価の対象から除外して（ステップＳ１５０）、追加的な校正用カメラ及び未確定のマーカの最適な位置を決定するための位置探索処理（ステップＳ１６０）、及び未確定のマーカの最適な姿勢を決定するための姿勢探索処理（ステップＳ１７０）を実行する。
　配置決定部１３０は、上述したステップＳ１４０～Ｓ１７０の処理を、上述した校正精度条件が満たされるまで繰り返す（ステップＳ１４５）。そして、配置決定部１３０は、校正精度条件が満たされると（又は校正用カメラの数が所定の上限数に達すると）、１つ以上の校正用カメラ（全天周カメラ）及びマーカの全ての配置を確定させる（ステップＳ１８０）。
　図１５は、図１４に示した姿勢探索処理の詳細な流れの一例を示すフローチャートである。なお、マーカの姿勢が固定的である場合には、本姿勢探索処理は実行されなくてよい。
　図１４を参照すると、まず、配置決定部１３０は、考慮すべき撮像用カメラにそれぞれ対応するマーカの候補姿勢を設定する（ステップＳ１３２）。
　次に、精度評価部１４０は、カメラとマーカとの間の光路とカメラ又はマーカの姿勢との間の関係に関する姿勢評価指標を、校正用カメラの位置、マーカの位置及び候補姿勢、並びに撮像用カメラの位置及び姿勢に基づいて計算する（ステップＳ１３３）。全天周カメラは、あらゆる方向に対して正面を向いているものと見なされるため、ここでの姿勢評価指標の計算において、姿勢評価指標ＣＡＴＴの計算式（式（５））における角度γｊの項は省略されてよい。
　配置決定部１３０は、あり得るマーカの全ての候補姿勢の組合せについて姿勢評価指標の計算が終了するまで、上述したステップＳ１３２及びＳ１３３を繰り返す（ステップＳ１３４）。
　探索が終了すると、配置決定部１３０は、最も良好な姿勢評価指標を示すマーカの候補姿勢のセットを選択する（ステップＳ１３６）。
　　［４－２．撮像用カメラとしての全天周カメラ］
　全天周カメラは、それ自体が複数のカメラモジュールの集合として構成されることもある。こうしたマルチモジュール型の全天周カメラの製造又は撮像空間内への配備の際に、モジュール間のわずかな画像のズレが生じると、そのズレが全天周画像の画質低下の原因となり得る。しかしながら、上述した校正精度評価装置１００を用いて、複数のカメラモジュールの配置に基づいて校正用カメラ及びマーカの最適な配置を決定しておくことで、マルチモジュール型の全天周カメラの配備の際に効率的に全天周カメラの校正を遂行することができる。この場合、情報取得部１１０により取得される撮像用カメラ配置情報は、全天周カメラのローカル座標系又は想定される撮像空間の座標系における、全天周カメラの個々のカメラモジュールの配置（位置及び姿勢）を表す。撮像用カメラとしての全天周カメラの製造者は、例えば、全天周カメラの出荷の際に、予め校正精度評価装置１００を用いて決定された配置に従って撮像空間に校正用カメラ及びマーカを配置しておき、現場への全天周カメラの取付け作業と同時に校正を遂行してもよい。
　＜５．応用例＞
　前節までに説明した校正精度評価装置１００は、校正用カメラの最適な配置の探索のみならず、オペレータにより暫定的に決定される校正用カメラの配置の検証のために利用されてもよい。
　図１６は、図７を用いて説明した用途とは異なる校正精度評価装置１００の用途について説明するための説明図である。図１６の例では、校正精度評価装置１００の情報取得部１１０は、撮像空間に配置される複数の撮像用カメラの配置を示す撮像用カメラ配置情報に加えて、暫定的に決定され得る校正用カメラの配置を示す校正用カメラ配置情報を入力情報として取得する。情報取得部１１０は、暫定的に決定され得る複数のマーカの配置を示すマーカ配置情報をも入力情報として取得してもよい。そして、校正精度評価装置１００の精度評価部１４０は、暫定的に決定されたこれら配置について予期される校正精度を、上述した位置評価指標及び姿勢評価指標を計算することにより評価する。ユーザインタフェース部１２０は、精度評価部１４０により実行される校正精度の評価の結果をユーザにフィードバックする。校正精度の評価の結果のフィードバックは、例えば、位置評価指標及び姿勢評価指標のスコアそのもの、又は各スコアが上述した校正精度条件を満たすか否かの判定結果を、モニタ上に表示し又は印刷するなどの手法で行われてよい。
　上述した応用例によれば、ユーザは、校正用カメラ（及びマーカ）の配置を暫定的に決定した後、実際にカメラ（及びマーカ）を撮像空間に配置して校正を実行せずとも、良好な校正精度を得ることができるか否かを簡易に知得することができる。よって、既存の手法において校正のために行われていた試行錯誤の負荷が軽減され、マルチカメラシステムの配備を迅速に行うことが可能となる。
　＜６．まとめ＞
　ここまで、図１～図１６を用いて、本開示に係る技術の実施形態について詳細に説明した。上述した実施形態によれば、撮像空間に配置される複数の撮像用カメラの配置を示すカメラ配置情報を取得し、上記撮像空間に校正用カメラを配置した場合に得られる校正精度を、上記カメラ配置情報により示される撮像用カメラのそれぞれの配置及び校正用カメラの配置に基づいて評価する、情報処理装置が提供される。従って、システム配備の現場でオペレータがカメラの校正のために試行錯誤する必要性が回避される。また、上述した実施形態によれば、撮像用カメラの配置は校正精度を考慮することなく予め決定され得ることから、撮像されるコンテンツの魅力が校正の目的のための配置変更に起因して減殺されることがない。
　また、上述した実施形態によれば、複数の撮像用カメラとは別に、それら撮像用カメラの配置についての校正に関与する校正用カメラが採用され、校正用カメラの配置は複数の撮像用カメラの配置を所与として校正の精度を最適化するように決定され得る。このように、校正用カメラの配置（例えば、位置及び姿勢、又は校正用カメラが全天周カメラである場合には位置のみ）を可変的なパラメータとして校正精度の最適化が図られるため、撮像用カメラの配置を動かすことなく、良好な精度でマルチカメラシステムのカメラの校正を行うことができる。校正用カメラは、基準カメラ法における基準カメラとして利用され得るため、逐次法で必要とされるバンドル調整は原則として不要であり、校正のための計算コストは抑制される。一旦校正が終了すると、撮像空間から校正用カメラを除去することも可能である。
　また、上述した実施形態によれば、校正用カメラを配置した場合に得られる校正精度の評価結果に基づいて、撮像空間に配置される校正用カメラの最適な配置が決定される。従って、オペレータは、撮像用カメラ配置情報及び他のいくつかの補足的な情報を入力するだけで、マルチカメラシステムの校正を良好な精度で行うための校正用カメラの配置を容易に知得することができる。例えば、オペレータは、モニタ上に表示され又は印刷され得る配置に従って、校正用カメラ（及び、必要に応じて、１つ以上のマーカ）を撮像空間に配置することにより、当初から良好な精度を期待し得る形で校正を開始することができる。
　また、上述した実施形態によれば、撮像用カメラの校正のために撮像される１つ以上のマーカもまた撮像空間に配置されるものとして、校正精度が評価され得る。従って、校正用カメラの配置のみならず校正用のマーカの配置をも校正精度の評価結果に基づいて最適化することができる。
　また、上述した実施形態によれば、校正用カメラを配置することの可能なカメラ配置可能領域内の複数の候補配置の各々について校正精度が評価され、最適な校正精度を有すると評価された候補配置に従って校正用カメラの配置が決定され得る。従って、撮像空間の状況に依存して異なるカメラ配置可能領域の範囲内の最も良好な位置に、最も良好な姿勢で校正用カメラを配置することができる。
　また、上述した実施形態によれば、まず１つの校正用カメラが配置されるものとして最適化される校正精度が十分でない場合（所定の校正精度条件が満たされないと判定される場合）に、撮像空間に追加的に配置される校正用カメラの最適な配置がさらに探索され得る。従って、校正用カメラの数を変化させることで、マルチカメラシステムが達成すべき校正精度を確実に達成することができる。また、不必要なほど多くの校正用カメラが配置されることが防止される。
　また、ある応用例によれば、オペレータにより暫定的に決定される校正用カメラの配置について、どの程度の校正精度が予期されるかが評価され、その評価の結果がユーザインタフェースを介してフィードバックされ得る。この場合、カメラ配置の変更及び校正精度の実測を試行錯誤的に繰り返さずとも、校正用カメラの配置が適正であるかをオペレータが容易に知得することができる。
　なお、本明細書において説明した一連の処理は、ソフトウェア、ハードウェア、及びソフトウェアとハードウェアとの組合せのいずれを用いて実現されてもよい。ソフトウェアを構成するプログラムは、例えば、各装置の内部又は外部に設けられる記憶媒体（非一時的な媒体：non-transitory　media）に予め格納される。そして、各プログラムは、例えば、実行時にＲＡＭに読み込まれ、ＣＰＵなどのプロセッサにより実行される。
　以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
　また、本明細書に記載された効果は、あくまで説明的又は例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果と共に、又は上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏し得る。
　なお、以下のような構成も本開示の技術的範囲に属する。
（１）
　撮像空間に配置される複数の撮像用カメラの配置を示すカメラ配置情報を取得する情報取得部と、
　前記撮像空間に校正用カメラを配置した場合に得られる校正精度を、前記カメラ配置情報により示される前記複数の撮像用カメラのそれぞれの配置及び前記校正用カメラの配置に基づいて評価する評価部と、
　を備える情報処理装置。
（２）
　前記評価部により評価される前記校正精度に基づいて、前記撮像空間に配置される前記校正用カメラの最適な配置を決定する配置決定部、をさらに備える、前記（１）に記載の情報処理装置。
（３）
　前記評価部は、前記撮像用カメラの校正のために撮像される１つ以上のマーカもまた前記撮像空間に配置されるものとして、前記複数の撮像用カメラのそれぞれの配置、前記校正用カメラの配置及び前記１つ以上のマーカのそれぞれの配置に基づいて、前記校正精度を評価する、前記（２）に記載の情報処理装置。
（４）
　前記配置決定部は、前記校正用カメラを配置することの可能な領域内の複数の候補配置の各々について前記評価部に前記校正精度を評価させ、最適な校正精度を有すると評価された候補配置に従って、前記校正用カメラの配置を決定する、前記（３）に記載の情報処理装置。
（５）
　前記配置決定部は、前記校正用カメラの配置及び前記１つ以上のマーカのそれぞれの配置の双方を可変的なパラメータとして、前記最適な校正精度を探索し、当該探索を通じて前記校正用カメラの配置と前記１つ以上のマーカのそれぞれの配置とを決定する、前記（４）に記載の情報処理装置。
（６）
　前記評価部は、カメラと当該カメラに対応するマーカとの間の距離のばらつきに関する第１の評価指標を用いて、前記校正精度を評価する、前記（３）～（５）のいずれか１項に記載の情報処理装置。
（７）
　前記評価部は、カメラ及び当該カメラに対応するマーカの間の光路とカメラ又はマーカの姿勢との間の関係に関する第２の評価指標を用いて、前記校正精度を評価する、前記（３）～（６）のいずれか１項に記載の情報処理装置。
（８）
　前記配置決定部は、前記最適な校正精度を有すると評価された候補配置で前記校正用カメラを配置した場合に所定の校正精度条件が満たされるか否かを判定し、前記所定の校正精度条件が満たされないと判定される場合には、前記撮像空間に追加的な校正用カメラを配置すべきであると判定する、前記（２）～（７）のいずれか１項に記載の情報処理装置。
（９）
　前記所定の校正精度条件は、カメラと当該カメラに対応するマーカとの間の距離のばらつきに関する第１の評価指標、並びに、カメラ及び当該カメラに対応するマーカの間の光路とカメラ又はマーカの姿勢との間の関係に関する第２の評価指標、のうちの少なくとも一方に基づく、前記（８）に記載の情報処理装置。
（１０）
　前記配置決定部は、前記撮像空間に追加的な校正用カメラを配置すべきであると判定した場合に、前記複数の撮像用カメラのうち、初期の前記校正用カメラにより良好に校正可能な撮像用カメラを除外した残りの撮像用カメラの配置に基づいて、前記追加的な校正用カメラについて得られる前記校正精度を前記評価部に評価させる、前記（８）又は前記（９）に記載の情報処理装置。
（１１）
　前記配置決定部は、初期の前記校正用カメラ及びゼロ個以上の前記追加的な校正用カメラの配置により前記所定の校正精度条件が満たされると判定されるまで、前記校正精度の評価と前記校正用カメラの追加とを繰り返す、前記（８）～（１０）のいずれか１項に記載の情報処理装置。
（１２）
　前記情報取得部は、前記校正用カメラを配置することの可能な領域を定義する領域情報、をさらに取得する、前記（１）～（１１）のいずれか１項に記載の情報処理装置。
（１３）
　前記情報取得部は、暫定的に決定される前記撮像空間内の前記校正用カメラの配置を示すさらなるカメラ配置情報を取得し、
　前記情報処理装置は、前記カメラ配置情報及び前記さらなるカメラ配置情報を用いて前記評価部により実行される前記校正精度の評価の結果をユーザにフィードバックするユーザインタフェース部、をさらに備える、
　前記（１）に記載の情報処理装置。
（１４）
　前記撮像用カメラの前記配置は、前記撮像用カメラの位置及び姿勢を含み、
　前記校正用カメラの前記配置は、前記校正用カメラの少なくとも位置を含む、
　前記（１）～（１３）のいずれか１項に記載の情報処理装置。
（１５）
　情報処理装置により実行される方法であって、
　撮像空間に配置される複数の撮像用カメラの配置を示すカメラ配置情報を取得することと、
　前記撮像空間に校正用カメラを配置した場合に得られる校正精度を、前記カメラ配置情報により示される前記複数の撮像用カメラのそれぞれの配置及び前記校正用カメラの配置に基づいて評価することと、
　を含む方法。
（１６）
　情報処理装置のプロセッサを、
　撮像空間に配置される複数の撮像用カメラの配置を示すカメラ配置情報を取得する情報取得部と、
　前記撮像空間に校正用カメラを配置した場合に得られる校正精度を、前記カメラ配置情報により示される前記複数の撮像用カメラのそれぞれの配置及び前記校正用カメラの配置に基づいて評価する評価部と、
　として機能させるためのプログラム。
（１７）
　撮像空間に配置されて前記撮像空間を撮像する複数の撮像用カメラと、
　前記撮像空間に配置されて前記複数の撮像用カメラの配置についての校正に関与する校正用カメラと、
　を含むマルチカメラシステムであって、
　前記校正用カメラの配置は、前記複数の撮像用カメラの配置を所与として、前記校正の精度を最適化するように決定される、
　マルチカメラシステム。
　１　　　　　マルチカメラシステム
　１０，１２　撮像空間
　１１，１３　フィールド
　２０　　　　撮像用カメラ
　４１，４２　校正用カメラ
　５１　　　　マーカ
　１００　　　校正精度評価装置（情報処理装置）
　１１０　　　情報取得部
　１２０　　　ユーザインタフェース部
　１３０　　　配置決定部
　１４０　　　精度評価部
　１５０　　　記憶部

Claims (17)

  1. 　撮像空間に配置される複数の撮像用カメラの配置を示すカメラ配置情報を取得する情報取得部と、
    　前記撮像空間に校正用カメラを配置した場合に得られる校正精度を、前記カメラ配置情報により示される前記複数の撮像用カメラのそれぞれの配置及び前記校正用カメラの配置に基づいて評価する評価部と、
    　を備える情報処理装置。
  2. 　前記評価部により評価される前記校正精度に基づいて、前記撮像空間に配置される前記校正用カメラの最適な配置を決定する配置決定部、をさらに備える、請求項１に記載の情報処理装置。
  3. 　前記評価部は、前記撮像用カメラの校正のために撮像される１つ以上のマーカもまた前記撮像空間に配置されるものとして、前記複数の撮像用カメラのそれぞれの配置、前記校正用カメラの配置及び前記１つ以上のマーカのそれぞれの配置に基づいて、前記校正精度を評価する、請求項２に記載の情報処理装置。
  4. 　前記配置決定部は、前記校正用カメラを配置することの可能な領域内の複数の候補配置の各々について前記評価部に前記校正精度を評価させ、最適な校正精度を有すると評価された候補配置に従って、前記校正用カメラの配置を決定する、請求項３に記載の情報処理装置。
  5. 　前記配置決定部は、前記校正用カメラの配置及び前記１つ以上のマーカのそれぞれの配置の双方を可変的なパラメータとして、前記最適な校正精度を探索し、当該探索を通じて前記校正用カメラの配置と前記１つ以上のマーカのそれぞれの配置とを決定する、請求項４に記載の情報処理装置。
  6. 　前記評価部は、カメラと当該カメラに対応するマーカとの間の距離のばらつきに関する第１の評価指標を用いて、前記校正精度を評価する、請求項３に記載の情報処理装置。
  7. 　前記評価部は、カメラ及び当該カメラに対応するマーカの間の光路とカメラ又はマーカの姿勢との間の関係に関する第２の評価指標を用いて、前記校正精度を評価する、請求項３に記載の情報処理装置。
  8. 　前記配置決定部は、前記最適な校正精度を有すると評価された候補配置で前記校正用カメラを配置した場合に所定の校正精度条件が満たされるか否かを判定し、前記所定の校正精度条件が満たされないと判定される場合には、前記撮像空間に追加的な校正用カメラを配置すべきであると判定する、請求項２に記載の情報処理装置。
  9. 　前記所定の校正精度条件は、カメラと当該カメラに対応するマーカとの間の距離のばらつきに関する第１の評価指標、並びに、カメラ及び当該カメラに対応するマーカの間の光路とカメラ又はマーカの姿勢との間の関係に関する第２の評価指標、のうちの少なくとも一方に基づく、請求項８に記載の情報処理装置。
  10. 　前記配置決定部は、前記撮像空間に追加的な校正用カメラを配置すべきであると判定した場合に、前記複数の撮像用カメラのうち、初期の前記校正用カメラにより良好に校正可能な撮像用カメラを除外した残りの撮像用カメラの配置に基づいて、前記追加的な校正用カメラについて得られる前記校正精度を前記評価部に評価させる、請求項８に記載の情報処理装置。
  11. 　前記配置決定部は、初期の前記校正用カメラ及びゼロ個以上の前記追加的な校正用カメラの配置により前記所定の校正精度条件が満たされると判定されるまで、前記校正精度の評価と前記校正用カメラの追加とを繰り返す、請求項８に記載の情報処理装置。
  12. 　前記情報取得部は、前記校正用カメラを配置することの可能な領域を定義する領域情報、をさらに取得する、請求項１に記載の情報処理装置。
  13. 　前記情報取得部は、暫定的に決定される前記撮像空間内の前記校正用カメラの配置を示すさらなるカメラ配置情報を取得し、
    　前記情報処理装置は、前記カメラ配置情報及び前記さらなるカメラ配置情報を用いて前記評価部により実行される前記校正精度の評価の結果をユーザにフィードバックするユーザインタフェース部、をさらに備える、
    　請求項１に記載の情報処理装置。
  14. 　前記撮像用カメラの前記配置は、前記撮像用カメラの位置及び姿勢を含み、
    　前記校正用カメラの前記配置は、前記校正用カメラの少なくとも位置を含む、
    　請求項１に記載の情報処理装置。
  15. 　情報処理装置により実行される方法であって、
    　撮像空間に配置される複数の撮像用カメラの配置を示すカメラ配置情報を取得することと、
    　前記撮像空間に校正用カメラを配置した場合に得られる校正精度を、前記カメラ配置情報により示される前記複数の撮像用カメラのそれぞれの配置及び前記校正用カメラの配置に基づいて評価することと、
    　を含む方法。
  16. 　情報処理装置のプロセッサを、
    　撮像空間に配置される複数の撮像用カメラの配置を示すカメラ配置情報を取得する情報取得部と、
    　前記撮像空間に校正用カメラを配置した場合に得られる校正精度を、前記カメラ配置情報により示される前記複数の撮像用カメラのそれぞれの配置及び前記校正用カメラの配置に基づいて評価する評価部と、
    　として機能させるためのプログラム。
  17. 　撮像空間に配置されて前記撮像空間を撮像する複数の撮像用カメラと、
    　前記撮像空間に配置されて前記複数の撮像用カメラの配置についての校正に関与する校正用カメラと、
    　を含むマルチカメラシステムであって、
    　前記校正用カメラの配置は、前記複数の撮像用カメラの配置を所与として、前記校正の精度を最適化するように決定される、
    　マルチカメラシステム。
PCT/JP2016/085054 2016-02-29 2016-11-25 情報処理装置、方法、プログラム及びマルチカメラシステム WO2017149869A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
US16/077,194 US11165945B2 (en) 2016-02-29 2016-11-25 Information processing device, method, and multi-camera system
EP16892704.4A EP3425897B1 (en) 2016-02-29 2016-11-25 Information processing device, method, program, and multi-camera system
JP2018502529A JP6750667B2 (ja) 2016-02-29 2016-11-25 情報処理装置、方法、プログラム及びマルチカメラシステム
CN201680082324.1A CN108702439B (zh) 2016-02-29 2016-11-25 信息处理设备、方法、计算机可读介质和多摄像机系统

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016-037835 2016-02-29
JP2016037835 2016-02-29

Publications (1)

Publication Number Publication Date
WO2017149869A1 true WO2017149869A1 (ja) 2017-09-08

Family

ID=59743684

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/085054 WO2017149869A1 (ja) 2016-02-29 2016-11-25 情報処理装置、方法、プログラム及びマルチカメラシステム

Country Status (5)

Country Link
US (1) US11165945B2 (ja)
EP (1) EP3425897B1 (ja)
JP (1) JP6750667B2 (ja)
CN (1) CN108702439B (ja)
WO (1) WO2017149869A1 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108234900A (zh) * 2018-02-13 2018-06-29 深圳市瑞立视多媒体科技有限公司 一种摄像机配置方法和装置
CN111292382A (zh) * 2020-02-10 2020-06-16 北京百度网讯科技有限公司 车载图像采集设备标定的方法和装置、电子设备、介质
WO2020152810A1 (ja) * 2019-01-23 2020-07-30 株式会社ソシオネクスト カメラ情報算出装置、システム、カメラ情報算出方法およびプログラム
JP2022089839A (ja) * 2017-11-13 2022-06-16 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
JP7429667B2 (ja) 2021-03-23 2024-02-08 Kddi株式会社 カメラキャリブレーション装置、方法及びプログラム

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11165945B2 (en) 2016-02-29 2021-11-02 Sony Corporation Information processing device, method, and multi-camera system
US11727597B2 (en) * 2018-12-21 2023-08-15 Sony Group Corporation Calibrating volumetric rig with structured light
US11475595B2 (en) * 2020-03-19 2022-10-18 Sony Corporation Extrinsic calibration of multi-camera system
CN113938606B (zh) * 2021-10-27 2023-04-07 杭州海康威视数字技术股份有限公司 确定球机架设参数的方法、装置及计算机存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004088247A (ja) 2002-08-23 2004-03-18 Sony Corp 画像処理装置、カメラキャリブレーション処理装置、および方法、並びにコンピュータ・プログラム
JP2013201677A (ja) * 2012-03-26 2013-10-03 Mitsubishi Electric Corp 撮像装置校正方法および画像合成装置
JP2014241496A (ja) * 2013-06-11 2014-12-25 ソニー株式会社 情報処理装置、撮像装置、情報処理方法、及びプログラム

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7129830B2 (en) * 2004-11-12 2006-10-31 Honeywell International Inc. Methods and systems for providing security
US7869645B2 (en) * 2008-07-22 2011-01-11 Seiko Epson Corporation Image capture and calibratiion
JPWO2010050412A1 (ja) * 2008-10-28 2012-03-29 日本電気株式会社 校正指標決定装置、校正装置、校正性能評価装置、システム、方法、及びプログラム
JP5973910B2 (ja) 2009-05-15 2016-08-23 パーデュー・リサーチ・ファウンデーションＰｕｒｄｕｅ Ｒｅｓｅａｒｃｈ Ｆｏｕｎｄａｔｉｏｎ 大規模カメラネットワークの較正
JP5341789B2 (ja) * 2010-01-22 2013-11-13 富士通テン株式会社 パラメータ取得装置、パラメータ取得システム、パラメータ取得方法、及び、プログラム
EP2802149B1 (en) * 2012-06-28 2020-03-18 Nec Corporation Camera position/posture evaluation device, camera position/posture evaluation method, and camera position/posture evaluation program
EP2739049A1 (en) * 2012-11-29 2014-06-04 Axis AB Method and system for generating real-time motion video
US9001226B1 (en) * 2012-12-04 2015-04-07 Lytro, Inc. Capturing and relighting images using multiple devices
CN105338233A (zh) 2015-12-04 2016-02-17 中国航空工业集团公司洛阳电光设备研究所 一种摄像机装调与校准方法
US11165945B2 (en) 2016-02-29 2021-11-02 Sony Corporation Information processing device, method, and multi-camera system
CN111886518A (zh) * 2018-03-29 2020-11-03 洋马动力科技有限公司 障碍物检测系统以及作业车辆
US10964058B2 (en) * 2019-06-21 2021-03-30 Nortek Security & Control Llc Camera auto-calibration system

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004088247A (ja) 2002-08-23 2004-03-18 Sony Corp 画像処理装置、カメラキャリブレーション処理装置、および方法、並びにコンピュータ・プログラム
JP2013201677A (ja) * 2012-03-26 2013-10-03 Mitsubishi Electric Corp 撮像装置校正方法および画像合成装置
JP2014241496A (ja) * 2013-06-11 2014-12-25 ソニー株式会社 情報処理装置、撮像装置、情報処理方法、及びプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3425897A4

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022089839A (ja) * 2017-11-13 2022-06-16 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
JP7387792B2 (ja) 2017-11-13 2023-11-28 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
CN108234900A (zh) * 2018-02-13 2018-06-29 深圳市瑞立视多媒体科技有限公司 一种摄像机配置方法和装置
CN108234900B (zh) * 2018-02-13 2020-11-20 深圳市瑞立视多媒体科技有限公司 一种摄像机配置方法和装置
WO2020152810A1 (ja) * 2019-01-23 2020-07-30 株式会社ソシオネクスト カメラ情報算出装置、システム、カメラ情報算出方法およびプログラム
CN113330275A (zh) * 2019-01-23 2021-08-31 株式会社索思未来 相机信息计算装置、系统、相机信息计算方法及程序
JPWO2020152810A1 (ja) * 2019-01-23 2021-12-02 株式会社ソシオネクスト カメラ情報算出装置、システム、カメラ情報算出方法およびプログラム
JP7310835B2 (ja) 2019-01-23 2023-07-19 株式会社ソシオネクスト カメラ情報算出装置、システム、カメラ情報算出方法およびプログラム
US12025423B2 (en) 2019-01-23 2024-07-02 Socionext Inc. Camera information calculation device and system
CN111292382A (zh) * 2020-02-10 2020-06-16 北京百度网讯科技有限公司 车载图像采集设备标定的方法和装置、电子设备、介质
CN111292382B (zh) * 2020-02-10 2023-11-14 阿波罗智能技术(北京)有限公司 车载图像采集设备标定的方法和装置、电子设备、介质
JP7429667B2 (ja) 2021-03-23 2024-02-08 Kddi株式会社 カメラキャリブレーション装置、方法及びプログラム

Also Published As

Publication number Publication date
EP3425897A1 (en) 2019-01-09
JPWO2017149869A1 (ja) 2018-12-27
JP6750667B2 (ja) 2020-09-02
CN108702439A (zh) 2018-10-23
US20210183101A1 (en) 2021-06-17
EP3425897B1 (en) 2021-05-05
CN108702439B (zh) 2020-10-09
EP3425897A4 (en) 2019-05-22
US11165945B2 (en) 2021-11-02

Similar Documents

Publication Publication Date Title
WO2017149869A1 (ja) 情報処理装置、方法、プログラム及びマルチカメラシステム
US10582188B2 (en) System and method for adjusting a baseline of an imaging system with microlens array
CN103914802B (zh) 用于使用导入的深度信息的图像选择和掩蔽的系统与方法
US7659921B2 (en) Distance measurement apparatus, distance measurement method, and distance measurement program
CN107077743A (zh) 用于阵列相机的动态校准的系统和方法
JP2016103230A (ja) 画像処理装置、画像処理方法、及びプログラム
CN105378794A (zh) 3d拍摄装置、用于建立3d图像的方法和用于构建3d拍摄装置的方法
US10928448B2 (en) Automated scan chain diagnostics using emission
CN112368569A (zh) 半导体检查中的多模式缺陷分类
JP5599849B2 (ja) レンズ検査装置及びその方法
Wohlfeil et al. Automatic camera system calibration with a chessboard enabling full image coverage
CN109544584B (zh) 一种实现巡检稳像精度测量的方法及系统
Kochi et al. All-around 3D plant modeling system using multiple images and its composition
CN106888344A (zh) 摄像模组及其像面倾斜的获取方法和调整方法
JP5099120B2 (ja) テンプレートマッチング装置、テンプレートマッチング装置を備えたカメラ、テンプレートマッチングをコンピュータで行うためのプログラム
KR20200084974A (ko) 초분광영상을 이용한 수심 추정 방법
CN114782556A (zh) 相机与激光雷达的配准方法、系统及存储介质
KR20240035945A (ko) 경사 추정 시스템, 경사 추정 방법, 경사 추정 프로그램, 반도체 검사 시스템 및 생체 관찰 시스템
JPH0252204A (ja) ３次元座標計測装置
US20240257490A1 (en) Focal position estimation method, focal position estimation system, model generation method, model generation system, focal position estimation model, and non-transitory computer-readable storage medium
CN113643337B (zh) 相机行偏差校准方法、装置、电子设备及存储介质
CN114494455B (zh) 一种大视角下的位移高精度测量方法
KR102110690B1 (ko) 다중 시점 영상의 깊이 추정 장치 및 방법
Yeh et al. DIME-Net: Neural Network-Based Dynamic Intrinsic Parameter Rectification for Cameras with Optical Image Stabilization System
Kaczmarek The Usage of the BP-Layers Stereo Matching Algorithm with the EBCA Camera Set

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2018502529

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2016892704

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 2016892704

Country of ref document: EP

Effective date: 20181001

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16892704

Country of ref document: EP

Kind code of ref document: A1