WO2021079456A1 - カメラ校正装置、カメラ校正方法、及び非一時的なコンピュータ可読媒体 - Google Patents

カメラ校正装置、カメラ校正方法、及び非一時的なコンピュータ可読媒体 Download PDF

Info

Publication number
WO2021079456A1
WO2021079456A1 PCT/JP2019/041681 JP2019041681W WO2021079456A1 WO 2021079456 A1 WO2021079456 A1 WO 2021079456A1 JP 2019041681 W JP2019041681 W JP 2019041681W WO 2021079456 A1 WO2021079456 A1 WO 2021079456A1
Authority
WO
WIPO (PCT)
Prior art keywords
image system
vanishing point
system coordinates
type part
image
Prior art date
Application number
PCT/JP2019/041681
Other languages
English (en)
French (fr)
Inventor
中野　学
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to JP2021553226A priority Critical patent/JP7239015B2/ja
Priority to PCT/JP2019/041681 priority patent/WO2021079456A1/ja
Publication of WO2021079456A1 publication Critical patent/WO2021079456A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/26—Measuring arrangements characterised by the use of optical techniques for measuring angles or tapers; for testing the alignment of axes
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums

Definitions

  • This disclosure relates to a camera calibration device, a camera calibration method, and a non-temporary computer-readable medium.
  • Optical characteristics are parameters unique to each camera, such as focal length, lens distortion, and optical center coordinates, and are collectively called internal parameters.
  • the internal parameters are invariant unless the zoom value is changed or a different lens is replaced.
  • the parameters that represent the positional relationship of the cameras refer to the rotation matrix and translation vector, and are called “external parameters”.
  • the external parameters are invariant unless the camera is moved with respect to the origin of the world coordinate system (three-dimensional coordinates).
  • Non-Patent Document 1 As a method for calculating camera parameters, for example, the Tsai method described in Non-Patent Document 1 and the Zhang method described in Non-Patent Document 2 are widely known. These methods use a calibrated object (for example, a calibrated board), and link the world coordinates (three-dimensional coordinates) of the pattern drawn on the calibrated object with the image coordinates of the pattern observed on the image. Then, calculate the camera parameters.
  • a calibrated object for example, a calibrated board
  • Non-Patent Documents 1 and 2 are huge in order to cover a wide field of view of a camera installed in a wide space such as outdoors and calibrating a wide area environment. Requires a good calibration object. Therefore, it may be virtually impossible to calibrate, or even if it is possible, it may not be convenient. For example, even if a huge proofing object can be prepared, it is necessary to prevent any object that blocks the proofing object from being reflected during shooting. For example, in the case of a road surveillance camera, traffic restrictions for pedestrians and cars are required.
  • An object of the present disclosure is to provide a camera calibration device, a camera calibration method, and a non-temporary computer-readable medium capable of calculating camera parameters by a simpler method.
  • the camera calibrator is a type 1 part extracted from a plurality of person images included in one image in which the world coordinate space is photographed by the camera or a plurality of images photographed in time series.
  • a first coordinate pair including the first image system coordinates and the second image system coordinates of the second type part, a second including the third image system coordinates of the first type part and the fourth image system coordinates of the second type part.
  • the fourth coordinate pair including the eighth image system coordinates of the above is acquired, and the first kind part and the second kind part are distributed in the horizontal direction in the world coordinate space, and the third kind part and the fourth kind The parts are distributed in the vertical direction in the world coordinate space, and the acquisition means and The first vanishing point in the horizontal direction is calculated based on the first coordinate pair and the second coordinate pair, and the second vanishing point in the vertical direction is calculated based on the third coordinate pair and the fourth coordinate pair.
  • Vanishing point calculation means for calculating A camera parameter calculation means for calculating the camera parameters of the camera based on the first vanishing point and the second vanishing point. To be equipped.
  • the camera calibration method is a type 1 part extracted from a plurality of person images included in one image in which the world coordinate space is photographed by the camera or a plurality of images photographed in time series.
  • the fourth coordinate pair including the eighth image system coordinates of the above is acquired, and the first kind part and the second kind part are distributed in the horizontal direction in the world coordinate space, and the third kind part and the fourth kind The parts are distributed vertically in the world coordinate space and The first vanishing point in the horizontal direction is calculated based on the first coordinate pair and the second coordinate pair, and the second vanishing point in the vertical direction is calculated based on the third coordinate pair and the fourth coordinate pair. Is calculated and The camera parameters of the camera are calculated based on the first vanishing point and the second vanishing point.
  • the non-temporary computer-readable medium according to the third aspect is extracted from a plurality of portrait images included in one image in which the world coordinate space is photographed by a camera or a plurality of images photographed in time series.
  • the first coordinate pair including the first image system coordinates of the first type part and the second image system coordinates of the second type part, the third image system coordinates of the first type part and the fourth image system coordinates of the second type part.
  • the second coordinate pair including the third coordinate pair including the fifth image system coordinate of the third type part and the sixth image system coordinate of the fourth type part, and the seventh image system coordinate of the third type part and the above.
  • a fourth coordinate pair including the eighth image system coordinates of the fourth type part is acquired, and the first type part and the second type part are distributed in the horizontal direction in the world coordinate space, and the third type part and the third type part and the second type part are distributed.
  • the type 4 site is distributed in the vertical direction in the world coordinate space.
  • the first vanishing point in the horizontal direction is calculated based on the first coordinate pair and the second coordinate pair, and the second vanishing point in the vertical direction is calculated based on the third coordinate pair and the fourth coordinate pair.
  • the camera parameters of the camera are calculated based on the first vanishing point and the second vanishing point.
  • a program that causes the camera calibration device to execute the process is stored.
  • FIG. 1 is a block diagram showing an example of a camera calibration device according to the first embodiment.
  • the camera calibration device 10 of FIG. 1 is a device for calculating (calibrating) camera parameters used at the time of shooting with a single camera (not shown).
  • the camera calibration device 10 includes an acquisition unit 11, a vanishing point calculation unit 12, and a camera parameter calculation unit 13.
  • the acquisition unit 11 is a "first coordinate pair" extracted from “a plurality of person images” included in one image in which the world coordinate space is photographed by a camera (not shown) or a plurality of images photographed in time series. , "Second coordinate pair", “third coordinate pair", and “fourth coordinate pair”.
  • the “first coordinate pair” includes the “first image system coordinates” of the "first type part” and the “second image system coordinates” of the "second type part”.
  • the “second coordinate pair” includes the "third image system coordinate” of the "first type part” and the "fourth image system coordinate” of the "second type part”.
  • the "type 1 part” and the "type 2 part” are parts of a person that are distributed (arranged) in the horizontal direction in the world coordinate space.
  • the "third coordinate pair” includes the "fifth image system coordinate” of the "third type part” and the “sixth image system coordinate” of the "fourth type part”.
  • the "fourth coordinate pair” includes the “seventh image system coordinate” of the "third type part” and the “eighth image system coordinate” of the "fourth type part”.
  • the "type 3 part” and the “type 4 part” are parts of a person that are distributed (arranged) in the vertical direction in the world coordinate space.
  • the particle size of the "site” may be freely defined.
  • Each of the "first image system coordinates" to the “eighth image system coordinates” is represented by, for example, three-dimensional coordinates obtained by adding scale indefiniteness to the two-dimensional coordinates defining the image plane, so-called "homogeneous coordinates”. ing.
  • the first coordinate pair and the third coordinate pair include the image system coordinates extracted from the "first person image” of one person.
  • the second coordinate pair and the fourth coordinate pair are from the "second person image” of another person included in the image including the first person image, or to an image different from the image including the first person image. It is extracted from the "third person image" of the above-mentioned one person included.
  • the combination of the first type part and the second type part is the combination of the left shoulder joint and the right shoulder joint, the combination of the left hip joint and the right hip joint, the combination of the left eye and the right eye, the combination of the left ear and the right ear, the left knee and the right. It may be a combination of knees or a combination of left ankle and right ankle.
  • the combination of the type 3 part and the type 4 part is a combination of the upper end and the lower end of the spine, a combination of the crown and the lumbar region, a combination of the hip joint and the knee (especially in a stationary person), or a combination of the hip joint and the knee. It may be a combination of elbows and wrists.
  • the vanishing point calculation unit 12 calculates the "first vanishing point” in the horizontal direction based on the first coordinate pair and the second coordinate pair acquired by the acquisition unit 11, and the third coordinate acquired by the acquisition unit 11.
  • the "second vanishing point” in the vertical direction is calculated based on the pair and the fourth coordinate pair.
  • the camera parameter calculation unit 13 calculates the camera parameters of the camera (not shown) based on the first vanishing point and the second vanishing point calculated by the vanishing point calculation unit 12.
  • the vanishing point calculation unit 12 in the camera calibration device 10 is in the horizontal direction based on the above-mentioned first coordinate pair and second coordinate pair acquired by the acquisition unit 11.
  • the "first vanishing point" of the above is calculated, and the “second vanishing point” in the vertical direction is calculated based on the above-mentioned third coordinate pair and fourth coordinate pair acquired by the acquisition unit 11.
  • the camera parameter calculation unit 13 calculates the camera parameters of the camera (not shown) based on the first vanishing point and the second vanishing point calculated by the vanishing point calculation unit 12.
  • the camera parameters are calculated using the image system coordinates of a predetermined part of the person, so that the camera parameters can be calculated by a simpler method without the need for a calibration object.
  • the second embodiment relates to a more specific embodiment.
  • FIG. 2 is a block diagram showing an example of the camera calibration device according to the second embodiment.
  • the camera calibration device 10 according to the second embodiment has an acquisition unit 11, a vanishing point calculation unit 12, and a camera parameter calculation unit 13 as in the first embodiment.
  • the acquisition unit 11 in the second embodiment acquires the "first coordinate pair", the "second coordinate pair", the "third coordinate pair”, and the "fourth coordinate pair” as in the first embodiment.
  • the vanishing point calculation unit 12 in the second embodiment determines the "first vanishing point" in the horizontal direction based on the first coordinate pair and the second coordinate pair acquired by the acquisition unit 11.
  • the "second vanishing point” in the vertical direction is calculated based on the third coordinate pair and the fourth coordinate pair acquired by the acquisition unit 11.
  • the vanishing point calculation unit 12 in the second embodiment crosses a "first image system vector" whose end point is the first image system coordinates and a "second image system vector” whose end point is the second image system coordinates.
  • the product is calculated to calculate the "first linear direction vector” which is the direction vector of the first straight line passing through the first image system coordinates or the second image system coordinates.
  • the vanishing point calculation unit 12 calculates the cross product of the "third image system vector” having the third image system coordinates as the end point and the "fourth image system vector” having the fourth image system coordinates as the end point.
  • the "second straight line direction vector” which is the direction vector of the second straight line passing through the third image system coordinates or the fourth image system coordinates is calculated.
  • the vanishing point calculation unit 12 calculates the cross product of the "fifth image system vector" having the fifth image system coordinates as the end point and the "sixth image system vector” having the sixth image system coordinates as the end point. , The "third straight line direction vector” which is the direction vector of the third straight line passing through the fifth image system coordinates or the sixth image system coordinates is calculated. Further, the vanishing point calculation unit 12 calculates the cross product of the "7th image system vector" having the 7th image system coordinates as the end point and the "8th image system vector” having the 8th image system coordinates as the end point.
  • the "fourth straight line direction vector” which is the direction vector of the fourth straight line passing through the seventh image system coordinates or the eighth image system coordinates is calculated.
  • the starting point of each of the "first image system vector” to the “eighth image system vector” is the origin of the image system.
  • the vanishing point calculation unit 12 calculates the cross product of the first linear direction vector and the second linear direction vector, and calculates the "first vanishing point vector" toward the first vanishing point. Further, the vanishing point calculation unit 12 calculates the cross product of the third linear direction vector and the fourth linear direction vector, and calculates the "second vanishing point vector" toward the second vanishing point.
  • the camera parameter calculation unit 13 in the second embodiment has an internal parameter calculation unit 13A and an external parameter calculation unit 13B.
  • the internal parameter calculation unit 13A calculates the internal parameters of the camera (corresponding to the camera 20 described later) based on the first vanishing point and the second vanishing point calculated by the vanishing point calculation unit 12.
  • the external parameter calculation unit 13B is a camera (to the camera 20 described later) based on the first vanishing point and the second vanishing point calculated by the vanishing point calculation unit 12 and the internal parameters calculated by the internal parameter calculation unit 13A. Correspondence) Calculate the external parameters.
  • FIG. 3 is a flowchart showing an example of the processing operation by the camera calibration device in the second embodiment.
  • the acquisition unit 11 acquires the "first coordinate pair", the "second coordinate pair”, the "third coordinate pair”, and the "fourth coordinate pair” (step S101).
  • the "first coordinate pair”, the "second coordinate pair”, the "third coordinate pair”, and the “fourth coordinate pair” are, for example, two people by the camera 20 installed as shown in FIG.
  • the world coordinate space in which the people H1 and H2 exist is extracted from one image taken. People H1 and H2 are heading in the same direction in the shooting environment.
  • the type 1 part and the type 2 part are the right shoulder and the left shoulder, respectively.
  • the type 3 part and the type 4 part are the upper end portion and the lower end portion (for example, the base of the neck and the coccyx) of the spine, respectively.
  • FIG. 5 shows a “first coordinate pair”, a “second coordinate pair”, a “third coordinate pair”, and a “fourth coordinate pair”.
  • the image system coordinate m 1 and the image system coordinate m 2 are the "first coordinate pair”
  • the image system coordinate m 3 and the image system coordinate m 4 are the "third coordinate pair”.
  • the "first coordinate pair” and the "third coordinate pair” correspond to the person H1. That is, the image system coordinates m 1 , the image system coordinates m 2 , the image system coordinates m 3 , and the image system coordinates m 4 are the right shoulder P11, the left shoulder P12, the upper end portion P13, and the lower end portion P14 of the human H1, respectively. It corresponds to.
  • the image-based coordinates m 1 'and an image-based coordinates m 2' is "second coordinate pair"
  • the image-based coordinate m 3 'and the image-based coordinates m 4' is "fourth coordinate pair”.
  • the "second coordinate pair” and the "fourth coordinate pair” correspond to the person H2. That is, the image-based coordinates m 1 ', the image based coordinate m 2', image-based coordinate m 3 ', and the image-based coordinates m 4', respectively, right shoulder P21 of human H2, left shoulder P22, spinal upper portion P23, And the lower end P24.
  • 4 and 5 are diagrams for explaining an example of the processing operation by the camera calibration device in the second embodiment.
  • the vanishing point calculation unit 12 calculates the horizontal "first vanishing point” based on the first coordinate pair and the second coordinate pair acquired by the acquisition unit 11, and the acquisition unit 11 The "second vanishing point" in the vertical direction is calculated based on the third coordinate pair and the fourth coordinate pair acquired by (step S102).
  • the vanishing point calculation unit 12 calculates the cross product of the first image system vector m 1 and the second image system vector m 2, and passes through the image system coordinates m 1 or the image system coordinates m 2.
  • the first linear direction vector l 1 which is a linear direction vector, is calculated (see FIG. 5). That is, the first linear direction vector l 1 is orthogonal to both the first image system vector m 1 and the second image system vector m 2.
  • the vanishing point calculating section 12 passes through the calculated 'as a fourth image based vector m 2' third image based vector m 1 a cross product of the image-based coordinates m 1 'or the image-based coordinate m 2'
  • the second linear direction vector l 2 which is the direction vector of the second straight line, is calculated.
  • the vanishing point calculation unit 12 calculates the cross product of the fifth image system vector m 3 and the sixth image system vector m 4, and determines the third straight line passing through the image system coordinates m 3 or the image system coordinates m 4.
  • the third linear direction vector l 3 which is a direction vector, is calculated.
  • the vanishing point calculating section 12 passes through the calculated 'and the eighth image-based vector m 4' seventh image based vector m 3 a cross product of the image-based coordinate m 3 'or the image-based coordinate m 4'
  • the fourth straight line direction vector l 4 which is the direction vector of the fourth straight line, is calculated.
  • the vanishing point calculation unit 12 uses the following equation (1) to form the first linear direction vector l 1 , the second linear direction vector l 2 , the third linear direction vector l 3 , and the fourth linear direction vector l 3.
  • l 4 is calculated.
  • "x" is an operator representing a cross product (outer product) of three-dimensional vectors.
  • the vanishing point computing section 12 calculates calculates first a linear direction vector l 1 a cross product of the second linear direction vector l 2, the first vanishing point vector V x toward the first vanishing point V x To do. Moreover, the vanishing point calculator 12 calculates a third linear direction vector l 3 4 calculates the cross product of the linear direction vector l 4, the second vanishing point vector V y toward the second vanishing V y To do.
  • the vanishing point calculation unit 12 calculates the first vanishing point vector V x and the second vanishing point vector V y using the following equation (2).
  • the internal parameter calculation unit 13A calculates the internal parameters of the camera 20 based on the first vanishing point and the second vanishing point calculated by the vanishing point calculation unit 12 (step S103).
  • Equation (3) shows that by projecting a unit vector on the X-axis of the world coordinate system, a vector having a scale different from that of the first vanishing point vector (vanishing point in the horizontal direction) V x can be obtained. There is.
  • Eq. (3) shows that by projecting the unit vector on the Y-axis of the world coordinate system, a vector having a scale different from that of the second vanishing point vector (vertical vanishing point) V y can be obtained. ing.
  • K is a 3 ⁇ 3 upper triangular matrix representing the internal parameters
  • R is a 3 ⁇ 3 rotation matrix representing the external parameters
  • t is a three-dimensional translation vector which is an external parameter
  • ri represents the i-th column of R.
  • Equation (4) shows that one constraint equation can be obtained from the vanishing point in the horizontal direction and the vanishing point in the vertical direction. That is, one of the internal parameters can be estimated using this constraint equation.
  • the focal length can be calculated (estimated) by solving the equation (4).
  • skew, optical center, or lens distortion may be used as an internal parameter to be estimated.
  • the focal length information is embedded in the image, it is possible to assume that the focal length is known and use an internal parameter other than the focal length as the estimation target parameter.
  • the external parameter calculation unit 13B is based on the first vanishing point and the second vanishing point calculated by the vanishing point calculation unit 12 and the internal parameters calculated by the internal parameter calculation unit 13A.
  • the external parameters of the camera 20 are calculated (step S104).
  • the three-dimensional coordinates of each part in the world coordinate system are unknown. Therefore, a world coordinate system with an arbitrary part as the origin may be defined.
  • the projective transformation of the image system coordinate m 1 is expressed by the following equation (6). That is, the equation (6) shows that the image system coordinate m 1 can be obtained by projecting the origin in the world coordinate system.
  • the external parameter calculation unit 13B calculates the rotation matrix R using the equation (5), and calculates the translation vector using the equation (7).
  • the vanishing point calculation unit 12 in the camera calibration device 10 is in the horizontal direction based on the above-mentioned first coordinate pair and second coordinate pair acquired by the acquisition unit 11.
  • the "first vanishing point" of the above is calculated, and the “second vanishing point” in the vertical direction is calculated based on the above-mentioned third coordinate pair and fourth coordinate pair acquired by the acquisition unit 11.
  • the camera parameter calculation unit 13 calculates the camera parameters of the camera (not shown) based on the first vanishing point and the second vanishing point calculated by the vanishing point calculation unit 12.
  • the vanishing point is calculated using the image system coordinates of a predetermined part of the person and the camera parameters are calculated based on the vanishing point, as in the first embodiment, so that a calibrated object is required.
  • the camera parameters can be calculated by a simpler method. The reason for this is as follows. That is, when a person walks, it can be assumed that, for example, the line segment corresponding to the spine is distributed in the vertical direction, and the line segment connecting both shoulders is distributed in the horizontal direction. When there are a plurality of pedestrians, the conductors are expected to be directed in almost the same direction for all pedestrians. For example, in places such as corridors and pedestrian zones on roads, people move in one direction. Therefore, even if a plurality of different pedestrians can be observed, it is possible to calculate the vanishing point by using the part information of the pedestrian. Therefore, the camera parameters can be calculated by a simpler method without the need for a calibration object.
  • the acquisition unit 11 is extracted (detected) outside the camera calibration device 10, and the "first coordinate pair", "second coordinate pair", and "third".
  • the acquisition unit 11 may include the site detection unit 11A.
  • the site detection unit 11A acquires one image in which the world coordinate space is taken by the camera 20 or a plurality of images taken in time series, and from the one image or a plurality of person images included in the plurality of images. , "First coordinate pair", “second coordinate pair”, “third coordinate pair", and "fourth coordinate pair” are detected.
  • FIG. 6 is a block diagram showing an example of the camera calibration device according to the other embodiment ⁇ 1>.
  • the acquisition unit 11 may include the site information reception unit 11B in place of the site detection unit 11A or together with the site detection unit 11A as shown in FIG. 7.
  • the part information receiving unit 11B receives the manually input information about the "first coordinate pair", the "second coordinate pair", the "third coordinate pair", and the "fourth coordinate pair".
  • FIG. 7 is a block diagram showing another example of the camera calibration device according to the other embodiment ⁇ 1>.
  • the vanishing point calculation unit 12 has two coordinate pairs related to parts distributed in the horizontal direction in the world coordinate space, and a vertical direction in the world coordinate space. The description has been made assuming that the "first vanishing point" in the horizontal direction and the "second vanishing point” in the vertical direction are calculated based on the two coordinate pairs related to the parts distributed in the above. Not limited to.
  • the vanishing point calculation unit 12 receives three or more coordinate pairs related to the parts distributed in the horizontal direction in the world coordinate space, and based on the three or more coordinate pairs, the vanishing point calculation unit 12 is subjected to the horizontal "first" by the minimum square method. You may calculate "1 vanishing point".
  • the vanishing point calculation unit 12 receives three or more coordinate pairs related to the parts distributed in the vertical direction in the world coordinate space, and based on the three or more coordinate pairs, the vertical direction is performed by the minimum square method.
  • the "second vanishing point" of may be calculated.
  • the vanishing point calculation unit 12 further uses known techniques such as so-called RANSAC (Random Sample Consensus) and the weighted least squares method in order to remove inputs with large outliers and errors to improve the estimation accuracy. You may.
  • RANSAC Random Sample Consensus
  • FIG. 8 is a diagram showing a hardware configuration example of the camera calibration device.
  • the camera calibration device 100 has a processor 101 and a memory 102.
  • the processor 101 may be, for example, a microprocessor, an MPU (Micro Processing Unit), or a CPU (Central Processing Unit).
  • the processor 101 may include a plurality of processors.
  • the memory 102 is composed of a combination of a volatile memory and a non-volatile memory.
  • the memory 102 may include storage located away from the processor 101. In this case, the processor 101 may access the memory 102 via an I / O interface (not shown).
  • the camera calibration device 10 of the first embodiment and the second embodiment can have the hardware configuration shown in FIG.
  • the acquisition unit 11, the vanishing point calculation unit 12, and the camera parameter calculation unit 13 of the camera calibration device 10 of the first embodiment and the second embodiment read and execute a program stored in the memory 102 by the processor 101. It may be realized.
  • the program is stored using various types of non-transitory computer readable medium and can be supplied to the camera calibrator 10. Examples of non-transitory computer-readable media include magnetic recording media (eg, flexible disks, magnetic tapes, hard disk drives), magneto-optical recording media (eg, magneto-optical disks). Further, examples of non-temporary computer-readable media include CD-ROM (Read Only Memory), CD-R, and CD-R / W.
  • non-transitory computer-readable media include semiconductor memory.
  • the semiconductor memory includes, for example, a mask ROM, a PROM (Programmable ROM), an EPROM (Erasable PROM), a flash ROM, and a RAM (Random Access Memory).
  • the program may also be supplied to the camera calibrator 10 by various types of temporary computer readable media. Examples of temporary computer-readable media include electrical, optical, and electromagnetic waves.
  • the temporary computer-readable medium can supply the program to the camera calibration device 10 via a wired communication path such as an electric wire and an optical fiber, or a wireless communication path.

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

カメラ校正装置（１０）にて消失点算出部（１２）は、取得部（１１）によって取得された、第１座標ペア及び第２座標ペアに基づいて、水平方向の「第１消失点」を算出し、取得部（１１）によって取得された、第３座標ペア及び第４座標ペアに基づいて、鉛直方向の「第２消失点」を算出する。カメラパラメータ算出部（１３）は、消失点算出部（１２）によって算出された第１消失点及び第２消失点に基づいて、カメラのカメラパラメータを算出する。第１座標ペア及び第２座標ペアは、それぞれ、世界座標空間において水平方向に分布する人の部位に関連する。また、第３座標ペア及び第４座標ペアは、それぞれ、世界座標空間において鉛直方向に分布する人の部位に関連する。

Description

カメラ校正装置、カメラ校正方法、及び非一時的なコンピュータ可読媒体
　本開示は、カメラ校正装置、カメラ校正方法、及び非一時的なコンピュータ可読媒体に関する。
　カメラで撮影された画像の３次元解析を行うために、カメラの光学的な特性及びカメラの位置関係を明らかにすることが必要である。光学的な特性は個々のカメラごとに固有なパラメータであり、例えば焦点距離、レンズ歪、光学中心座標などを指し、総称して内部パラメータと呼ばれる。内部パラメータは、ズーム値変更や異なるレンズに交換しない限り不変である。カメラの位置関係を表すパラメータは、回転行列と並進ベクトルを指し、「外部パラメータ」と呼ばれる。外部パラメータは、世界座標系（３次元座標）の原点に対してカメラを動かさない限り不変である。これら内部パラメータ及び外部パラメータが既知であれば、画像上での被写体の大きさや長さを物理的な距離（例えばメートル）に変換したり、被写体の３次元形状を復元したりすることが可能となる。これらの内部パラメータ及び外部パラメータの一方又は両方を計算することを、カメラ校正又はカメラキャリブレーションと呼ぶ。また、内部パラメータ及び外部パラメータの一方を、又は、両方を区別することなく、単に「カメラパラメータ」とも呼ぶ。
　カメラパラメータを算出する方法として、例えば非特許文献１に記載のＴｓａｉの方法や非特許文献２に記載のＺｈａｎｇの方法が広く知られている。これらの方法は、校正物体（例えば校正ボード）を用いる方法であり、校正物体上に描かれた模様の世界座標（３次元座標）と、該模様が画像上で観測された画像座標とを紐づけて、カメラパラメータを計算する。
Tsai, Roger. "A versatile camera calibration technique for high-accuracy 3D machine vision metrology using off-the-shelf TV cameras and lenses." IEEE Journal on Robotics and Automation 3.4 (1987): 323-344. Zhang, Zhengyou. "A flexible new technique for camera calibration." IEEE Transactions on pattern analysis and machine intelligence 22 (2000).
　しかしながら、非特許文献１，２に開示の方法は、屋外のような広い空間に設置され且つ広域の環境を観測するカメラを校正するためには、該カメラの広い視野をカバーするために、巨大な校正物体を必要とする。このため、事実上校正が不可能であるか、又は、可能であったとしても利便性が良くない可能性がある。例えば、巨大な校正物体を準備できたとしても、撮影の間、校正物体を遮る物が一切映らないようにする必要がある。例えば道路監視カメラの場合、歩行者や車の交通制限が必要である。
　本開示の目的は、より簡便な方法でカメラパラメータを算出することができる、カメラ校正装置、カメラ校正方法、及び非一時的なコンピュータ可読媒体を提供することにある。
　第１の態様にかかるカメラ校正装置は、カメラによって世界座標空間が撮影された１つの画像又は時系列に撮影された複数の画像に含まれる複数の人物画像から抽出された、第１種部位の第１画像系座標及び第２種部位の第２画像系座標を含む第１座標ペア、前記第１種部位の第３画像系座標及び前記第２種部位の第４画像系座標を含む第２座標ペア、第３種部位の第５画像系座標及び第４種部位の第６画像系座標を含む第３座標ペア、並びに、前記第３種部位の第７画像系座標及び前記第４種部位の第８画像系座標を含む第４座標ペアを取得し、前記第１種部位及び前記第２種部位は、前記世界座標空間において水平方向に分布し、前記第３種部位及び前記第４種部位は、前記世界座標空間において鉛直方向に分布する、取得手段と、
　前記第１座標ペア及び前記第２座標ペアに基づいて、前記水平方向の第１消失点を算出し、前記第３座標ペア及び前記第４座標ペアに基づいて、前記鉛直方向の第２消失点を算出する消失点算出手段と、
　前記第１消失点及び前記第２消失点に基づいて、前記カメラのカメラパラメータを算出するカメラパラメータ算出手段と、
　を具備する。
　第２の態様にかかるカメラ校正方法は、カメラによって世界座標空間が撮影された１つの画像又は時系列に撮影された複数の画像に含まれる複数の人物画像から抽出された、第１種部位の第１画像系座標及び第２種部位の第２画像系座標を含む第１座標ペア、前記第１種部位の第３画像系座標及び前記第２種部位の第４画像系座標を含む第２座標ペア、第３種部位の第５画像系座標及び第４種部位の第６画像系座標を含む第３座標ペア、並びに、前記第３種部位の第７画像系座標及び前記第４種部位の第８画像系座標を含む第４座標ペアを取得し、前記第１種部位及び前記第２種部位は、前記世界座標空間において水平方向に分布し、前記第３種部位及び前記第４種部位は、前記世界座標空間において鉛直方向に分布し、
　前記第１座標ペア及び前記第２座標ペアに基づいて、前記水平方向の第１消失点を算出し、前記第３座標ペア及び前記第４座標ペアに基づいて、前記鉛直方向の第２消失点を算出し、
　前記第１消失点及び前記第２消失点に基づいて、前記カメラのカメラパラメータを算出する。
　第３の態様にかかる非一時的なコンピュータ可読媒体は、カメラによって世界座標空間が撮影された１つの画像又は時系列に撮影された複数の画像に含まれる複数の人物画像から抽出された、第１種部位の第１画像系座標及び第２種部位の第２画像系座標を含む第１座標ペア、前記第１種部位の第３画像系座標及び前記第２種部位の第４画像系座標を含む第２座標ペア、第３種部位の第５画像系座標及び第４種部位の第６画像系座標を含む第３座標ペア、並びに、前記第３種部位の第７画像系座標及び前記第４種部位の第８画像系座標を含む第４座標ペアを取得し、前記第１種部位及び前記第２種部位は、前記世界座標空間において水平方向に分布し、前記第３種部位及び前記第４種部位は、前記世界座標空間において鉛直方向に分布し、
　前記第１座標ペア及び前記第２座標ペアに基づいて、前記水平方向の第１消失点を算出し、前記第３座標ペア及び前記第４座標ペアに基づいて、前記鉛直方向の第２消失点を算出し、
　前記第１消失点及び前記第２消失点に基づいて、前記カメラのカメラパラメータを算出する、
　処理を、カメラ校正装置に実行させるプログラムが格納している。
　本開示により、より簡便な方法でカメラパラメータを算出することができる、カメラ校正装置、カメラ校正方法、及び非一時的なコンピュータ可読媒体を提供することができる。
第１実施形態におけるカメラ校正装置の一例を示すブロック図である。 第２実施形態におけるカメラ校正装置の一例を示すブロック図である。 第２実施形態におけるカメラ校正装置による処理動作の一例を示すフローチャートである。 第２実施形態におけるカメラ校正装置による処理動作の一例の説明に供する図である。 第２実施形態におけるカメラ校正装置による処理動作の一例の説明に供する図である。 他の実施形態＜１＞におけるカメラ校正装置の一例を示すブロック図である。 他の実施形態＜１＞におけるカメラ校正装置の他の一例を示すブロック図である。 カメラ校正装置のハードウェア構成例を示す図である。
　以下、図面を参照しつつ、実施形態について説明する。なお、実施形態において、同一又は同等の要素には、同一の符号を付し、重複する説明は省略される。
＜第１実施形態＞
　図１は、第１実施形態におけるカメラ校正装置の一例を示すブロック図である。図１のカメラ校正装置１０は、単一のカメラ（不図示）による撮影時に用いられるカメラパラメータを算出（校正）するための装置である。図１においてカメラ校正装置１０は、取得部１１と、消失点算出部１２と、カメラパラメータ算出部１３とを有している。
　取得部１１は、カメラ（不図示）によって世界座標空間が撮影された１つの画像又は時系列に撮影された複数の画像に含まれる「複数の人物画像」から抽出された、「第１座標ペア」、「第２座標ペア」、「第３座標ペア」、及び「第４座標ペア」を取得する。「第１座標ペア」は、「第１種部位」の「第１画像系座標」及び「第２種部位」の「第２画像系座標」を含む。また、「第２座標ペア」は、「第１種部位」の「第３画像系座標」及び「第２種部位」の「第４画像系座標」を含む。「第１種部位」及び「第２種部位」は、世界座標空間において水平方向に分布する（並ぶ）、人物の部位である。また、「第３座標ペア」は、「第３種部位」の「第５画像系座標」及び「第４種部位」の「第６画像系座標」を含む。また、「第４座標ペア」は、「第３種部位」の「第７画像系座標」及び「第４種部位」の「第８画像系座標」を含む。「第３種部位」及び「第４種部位」は、世界座標空間において鉛直方向に分布する（並ぶ）、人物の部位である。なお、「部位」の粒度は、自由に定義されてよい。「第１画像系座標」から「第８画像系座標」のそれぞれは、例えば、画像平面を規定する２次元の座標にスケール不定性を加えた３次元座標、所謂「同次座標」で表されている。
　ここで、例えば、第１座標ペア及び第３座標ペアは、一の人物の「第１人物画像」から抽出された画像系座標を含んでいる。また、第２座標ペア及び第４座標ペアは、第１人物画像が含まれる画像に含まれる他の人物の「第２人物画像」から、又は、第１人物画像が含まれる画像と異なる画像に含まれる上記一の人物の「第３人物画像」から、抽出されている。
　また、第１種部位及び第２種部位の組み合わせは、左肩関節及び右肩関節の組み合わせ、左股関節及び右股関節の組み合わせ、左目及び右目の組み合わせ、左耳及び右耳の組み合わせ、左膝及び右膝の組み合わせ、又は、左足首及び右足首の組み合わせであってもよい。また、第３種部位及び第４種部位の組み合わせは、背骨の上端部と下端部との組み合わせ、頭頂部と腰部との組み合わせ、（特に静止した人の）股関節と膝との組み合わせ、又は、肘と手首との組み合わせであってもよい。
　消失点算出部１２は、取得部１１によって取得された第１座標ペア及び第２座標ペアに基づいて、水平方向の「第１消失点」を算出し、取得部１１によって取得された第３座標ペア及び第４座標ペアに基づいて、鉛直方向の「第２消失点」を算出する。
　カメラパラメータ算出部１３は、消失点算出部１２によって算出された第１消失点及び第２消失点に基づいて、カメラ（不図示）のカメラパラメータを算出する。
　以上のように第１実施形態によれば、カメラ校正装置１０にて消失点算出部１２は、取得部１１によって取得された、上記の第１座標ペア及び第２座標ペアに基づいて、水平方向の「第１消失点」を算出し、取得部１１によって取得された、上記の第３座標ペア及び第４座標ペアに基づいて、鉛直方向の「第２消失点」を算出する。カメラパラメータ算出部１３は、消失点算出部１２によって算出された第１消失点及び第２消失点に基づいて、カメラ（不図示）のカメラパラメータを算出する。
　このカメラ校正装置１０の構成により、人の所定部位の画像系座標を用いてカメラパラメータを算出するので、校正物体を必要とすることなく、より簡便な方法でカメラパラメータを算出することができる。
＜第２実施形態＞
　第２実施形態は、より具体的な実施形態に関する。
　＜カメラ校正装置の構成例＞
　図２は、第２実施形態におけるカメラ校正装置の一例を示すブロック図である。図２において第２実施形態におけるカメラ校正装置１０は、第１実施形態と同様に、取得部１１と、消失点算出部１２と、カメラパラメータ算出部１３とを有している。
　第２実施形態における取得部１１は、第１実施形態と同様に、「第１座標ペア」、「第２座標ペア」、「第３座標ペア」、及び「第４座標ペア」を取得する。
　第２実施形態における消失点算出部１２は、第１実施形態と同様に、取得部１１によって取得された第１座標ペア及び第２座標ペアに基づいて、水平方向の「第１消失点」を算出し、取得部１１によって取得された第３座標ペア及び第４座標ペアに基づいて、鉛直方向の「第２消失点」を算出する。
　例えば、第２実施形態における消失点算出部１２は、第１画像系座標を終点とする「第１画像系ベクトル」と第２画像系座標を終点とする「第２画像系ベクトル」とのクロス積を算出して、第１画像系座標又は第２画像系座標を通る第１直線の方向ベクトルである「第１直線方向ベクトル」を算出する。また、消失点算出部１２は、第３画像系座標を終点とする「第３画像系ベクトル」と第４画像系座標を終点とする「第４画像系ベクトル」とのクロス積を算出して、第３画像系座標又は第４画像系座標を通る第２直線の方向ベクトルである「第２直線方向ベクトル」を算出する。また、消失点算出部１２は、第５画像系座標を終点とする「第５画像系ベクトル」と第６画像系座標を終点とする「第６画像系ベクトル」とのクロス積を算出して、第５画像系座標又は第６画像系座標を通る第３直線の方向ベクトルである「第３直線方向ベクトル」を算出する。また、消失点算出部１２は、第７画像系座標を終点とする「第７画像系ベクトル」と第８画像系座標を終点とする「第８画像系ベクトル」とのクロス積を算出して、第７画像系座標又は第８画像系座標を通る第４直線の方向ベクトルである「第４直線方向ベクトル」を算出する。なお、「第１画像系ベクトル」乃至「第８画像系ベクトル」のそれぞれの始点は、画像系の原点である。
　そして、消失点算出部１２は、第１直線方向ベクトルと第２直線方向ベクトルとのクロス積を算出して、第１消失点に向かう「第１消失点ベクトル」を算出する。また、消失点算出部１２は、第３直線方向ベクトルと第４直線方向ベクトルとのクロス積を算出して、第２消失点に向かう「第２消失点ベクトル」を算出する。
　第２実施形態におけるカメラパラメータ算出部１３は、内部パラメータ算出部１３Ａと、外部パラメータ算出部１３Ｂとを有している。
　内部パラメータ算出部１３Ａは、消失点算出部１２によって算出された第１消失点及び第２消失点に基づいて、カメラ（後述するカメラ２０に対応）の内部パラメータを算出する。
　外部パラメータ算出部１３Ｂは、消失点算出部１２によって算出された第１消失点及び第２消失点、並びに、内部パラメータ算出部１３Ａによって算出された内部パラメータに基づいて、カメラ（後述するカメラ２０に対応）の外部パラメータを算出する。
　＜カメラ校正装置の動作例＞
　以上の構成を有するカメラ校正装置による処理動作の一例について説明する。図３は、第２実施形態におけるカメラ校正装置による処理動作の一例を示すフローチャートである。
　取得部１１は、「第１座標ペア」、「第２座標ペア」、「第３座標ペア」、及び「第４座標ペア」を取得する（ステップＳ１０１）。
　ここで、「第１座標ペア」、「第２座標ペア」、「第３座標ペア」、及び「第４座標ペア」は、例えば図４に示すように設置されたカメラ２０によって、２人の人Ｈ１，Ｈ２が存在する世界座標空間が撮影された１つの画像から抽出されたものである。人Ｈ１，Ｈ２は、撮影環境において同じ方向に向かっている。また、ここでは、第１種部位及び第２種部位は、それぞれ、右肩及び左肩としている。また、第３種部位及び第４種部位は、それぞれ、背骨の上端部及び下端部（例えば、首の付け根及び尾骨）としている。
　図５には、「第１座標ペア」、「第２座標ペア」、「第３座標ペア」、及び「第４座標ペア」が示されている。具体的には、画像系座標ｍ１及び画像系座標ｍ２が「第１座標ペア」であり、画像系座標ｍ３及び画像系座標ｍ４が「第３座標ペア」である。「第１座標ペア」及び「第３座標ペア」は、人Ｈ１に対応している。すなわち、画像系座標ｍ１、画像系座標ｍ２、画像系座標ｍ３、及び画像系座標ｍ４は、それぞれ、人Ｈ１の右肩Ｐ１１、左肩Ｐ１２、背骨の上端部Ｐ１３、及び下端部Ｐ１４に対応している。また、画像系座標ｍ１’及び画像系座標ｍ２’が「第２座標ペア」であり、画像系座標ｍ３’及び画像系座標ｍ４’が「第４座標ペア」である。「第２座標ペア」及び「第４座標ペア」は、人Ｈ２に対応している。すなわち、画像系座標ｍ１’、画像系座標ｍ２’、画像系座標ｍ３’、及び画像系座標ｍ４’は、それぞれ、人Ｈ２の右肩Ｐ２１、左肩Ｐ２２、背骨の上端部Ｐ２３、及び下端部Ｐ２４に対応している。画像系座標ｍ１、画像系座標ｍ２、画像系座標ｍ３、画像系座標ｍ４、画像系座標ｍ１’、画像系座標ｍ２’、画像系座標ｍ３’、及び画像系座標ｍ４’は、それぞれ、画像平面を規定する２次元の座標にスケール不定性を加えた３次元座標、所謂「同次座標」で表されているものとする。図４，５は、第２実施形態におけるカメラ校正装置による処理動作の一例の説明に供する図である。
　図３の説明に戻り、消失点算出部１２は、取得部１１によって取得された第１座標ペア及び第２座標ペアに基づいて、水平方向の「第１消失点」を算出し、取得部１１によって取得された第３座標ペア及び第４座標ペアに基づいて、鉛直方向の「第２消失点」を算出する（ステップＳ１０２）。
　具体的には、消失点算出部１２は、第１画像系ベクトルｍ１と第２画像系ベクトルｍ２とのクロス積を算出して、画像系座標ｍ１又は画像系座標ｍ２を通る第１直線の方向ベクトルである第１直線方向ベクトルｌ１を算出する（図５参照）。すなわち、第１直線方向ベクトルｌ１は、第１画像系ベクトルｍ１及び第２画像系ベクトルｍ２の両方と直交する。また、消失点算出部１２は、第３画像系ベクトルｍ１’と第４画像系ベクトルｍ２’とのクロス積を算出して、画像系座標ｍ１’又は画像系座標ｍ２’を通る第２直線の方向ベクトルである第２直線方向ベクトルｌ２を算出する。また、消失点算出部１２は、第５画像系ベクトルｍ３と第６画像系ベクトルｍ４とのクロス積を算出して、画像系座標ｍ３又は画像系座標ｍ４を通る第３直線の方向ベクトルである第３直線方向ベクトルｌ３を算出する。また、消失点算出部１２は、第７画像系ベクトルｍ３’と第８画像系ベクトルｍ４’とのクロス積を算出して、画像系座標ｍ３’又は画像系座標ｍ４’を通る第４直線の方向ベクトルである第４直線方向ベクトルｌ４を算出する。
　すなわち、消失点算出部１２は、次の式（１）を用いて、第１直線方向ベクトルｌ１、第２直線方向ベクトルｌ２、第３直線方向ベクトルｌ３、及び、第４直線方向ベクトルｌ４を算出する。
Figure JPOXMLDOC01-appb-M000002
 　ただし、「×」は、３次元ベクトル同士のクロス積（外積）を表す演算子である。
　そして、消失点算出部１２は、第１直線方向ベクトルｌ１と第２直線方向ベクトルｌ２とのクロス積を算出して、第１消失点Ｖｘに向かう第１消失点ベクトルＶｘを算出する。また、消失点算出部１２は、第３直線方向ベクトルｌ３と第４直線方向ベクトルｌ４とのクロス積を算出して、第２消失点Ｖｙに向かう第２消失点ベクトルＶｙを算出する。
　すなわち、消失点算出部１２は、次の式（２）を用いて、第１消失点ベクトルＶｘ及び第２消失点ベクトルＶｙを算出する。
Figure JPOXMLDOC01-appb-M000003
　図３の説明に戻り、内部パラメータ算出部１３Ａは、消失点算出部１２によって算出された第１消失点及び第２消失点に基づいて、カメラ２０の内部パラメータを算出する（ステップＳ１０３）。
　ここで、第１消失点ベクトル（水平方向の消失点）Ｖｘ及び第２消失点ベクトル（鉛直方向の消失点）Ｖｙは、次の式（３）によっても表すことができる。なお、式（３）は、世界座標系のＸ軸の単位ベクトルを射影することで、第１消失点ベクトル（水平方向の消失点）Ｖｘとスケールが異なるベクトルを求めることができることを示している。同様に、式（３）は、世界座標系のＹ軸の単位ベクトルを射影することで、第２消失点ベクトル（鉛直方向の消失点）Ｖｙとスケールが異なるベクトルを求めることができることを示している。
Figure JPOXMLDOC01-appb-M000004
 　Ｋは、内部パラメータを表す３×３の上三角行列であり、Ｒは、外部パラメータである３×３の回転行列である。tは、外部パラメータである３次元の並進ベクトルであり、ｒｉは、Ｒの第ｉ列を表す。
　そして、回転行列Ｒの各２つの列は直交することから、ｒ１の転置とｒ２との内積はゼロとなるため、以下の式（４）が得られる。
Figure JPOXMLDOC01-appb-M000005
 　ここで、上添字のＴは、ベクトル又は行列の転置を表す。
　式（４）は、水平方向の消失点と鉛直方向の消失点とから１つの拘束式が得られることを示している。つまり、この拘束式を用いて、内部パラメータのうち１つを推定可能である。例えばデジタルカメラでは、スキューをゼロ、光学中心を画像中心と仮定しても大きな誤差はないため、焦点距離ｆのみを未知数とおける。この場合、ｋは［ｆ，ｆ，１］を成分とする対角行列であるため、式（４）を解いて、焦点距離を算出（推定）できる。なお、焦点距離に代えて、スキュー、光学中心、又はレンズ歪を、推定対象の内部パラメータとしてもよい。例えば、画像に焦点距離の情報が埋め込まれている場合、焦点距離は既知として、焦点距離以外の内部パラメータを推定対象パラメータとすることができる。
　図３の説明に戻り、外部パラメータ算出部１３Ｂは、消失点算出部１２によって算出された第１消失点及び第２消失点、並びに、内部パラメータ算出部１３Ａによって算出された内部パラメータに基づいて、カメラ２０の外部パラメータを算出する（ステップＳ１０４）。
　具体的には、上記式（３）から次の式（５）が得られる。
Figure JPOXMLDOC01-appb-M000006
 　ここで、//　//は、ベクトルのＬ２ノルムを表す。
　次いで、並進ベクトルの算出方法を説明する。本実施形態では、各部位の世界座標系における３次元座標は不明である。そのため、任意の部位を原点とする世界座標系を定義してもよい。ここでは、画像系座標ｍ１に対応する右肩Ｐ１１の世界座標系における３次元座標を原点とする。この場合、画像系座標ｍ１の射影変換は、次の式（６）によって表される。
Figure JPOXMLDOC01-appb-M000007
 　すなわち、式（６）は、世界座標系における原点を射影すると、画像系座標ｍ１が求められることを示している。
　式（６）では、両辺にスケールの不定性があるため、並進ベクトルは、次の式（７）によって求めることができる。
Figure JPOXMLDOC01-appb-M000008
　すなわち、外部パラメータ算出部１３Ｂは、式（５）を用いて、回転行列Ｒを算出し、式（７）を用いて、並進ベクトルを算出する。
　以上のように第２実施形態によれば、カメラ校正装置１０にて消失点算出部１２は、取得部１１によって取得された、上記の第１座標ペア及び第２座標ペアに基づいて、水平方向の「第１消失点」を算出し、取得部１１によって取得された、上記の第３座標ペア及び第４座標ペアに基づいて、鉛直方向の「第２消失点」を算出する。カメラパラメータ算出部１３は、消失点算出部１２によって算出された第１消失点及び第２消失点に基づいて、カメラ（不図示）のカメラパラメータを算出する。
　このカメラ校正装置１０の構成により、第１実施形態と同様に、人の所定部位の画像系座標を用いて消失点を算出し該消失点に基づいてカメラパラメータを算出するので、校正物体を必要とすることなく、より簡便な方法でカメラパラメータを算出することができる。この理由は、次の通りである。すなわち、人が歩行するときは、通常、例えば背骨に対応する線分は鉛直方向に、両肩を結ぶ線分は水平方向に分布すると仮定できる。そして、複数の歩行者が存在する場合、その導線は、どの歩行者もほぼ同じ方向に向かうことが期待される。例えば、廊下や道路の歩行帯のような場所は、人が一方方向に動く。そのため、異なる複数の歩行者が観測できた場合でも、その歩行者の部位情報を利用して、消失点を算出することが可能となる。このため、校正物体を必要とすることなく、より簡便な方法でカメラパラメータを算出することができる。
　＜他の実施形態＞
　＜１＞第１実施形態及び第２実施形態では、取得部１１がカメラ校正装置１０の外部にて抽出（検出）された、「第１座標ペア」、「第２座標ペア」、「第３座標ペア」、及び「第４座標ペア」を取得することを前提に説明を行ったが、本開示はこれに限定されるものではない。例えば、図６に示すように、カメラ校正装置１０にて取得部１１は、部位検出部１１Ａを含んでいてもよい。部位検出部１１Ａは、カメラ２０によって世界座標空間が撮影された１つの画像又は時系列に撮影された複数の画像を取得し、該１つの画像又は該複数の画像に含まれる複数の人物画像から、「第１座標ペア」、「第２座標ペア」、「第３座標ペア」、及び「第４座標ペア」を検出する。図６は、他の実施形態＜１＞におけるカメラ校正装置の一例を示すブロック図である。
　又は、カメラ校正装置１０にて取得部１１は、部位検出部１１Ａに代えて、又は、図７に示すように部位検出部１１Ａと共に、部位情報受付部１１Ｂを含んでいてもよい。部位情報受付部１１Ｂは、手動により入力された「第１座標ペア」、「第２座標ペア」、「第３座標ペア」、及び「第４座標ペア」に関する情報を受け付ける。これにより、例えば部位検出部１１Ａによって検出されなかった座標ペアに関する情報を受け付けること、及び、部位検出部１１Ａによって検出された座標ペアが手動により修正された修正後の座標ペアに関する情報を受け付けることが可能となる。図７は、他の実施形態＜１＞におけるカメラ校正装置の他の一例を示すブロック図である。
　＜２＞第１実施形態及び第２実施形態では最小構成として、消失点算出部１２が、世界座標空間において水平方向に分布する部位に関係する２つの座標ペア、及び、世界座標空間において鉛直方向に分布する部位に関係する２つの座標ペアに基づいて、水平方向の「第１消失点」及び鉛直方向の「第２消失点」を算出する、ものとして説明を行ったが、本開示はこれに限定されない。消失点算出部１２は、世界座標空間において水平方向に分布する部位に関係する３つ以上の座標ペアを受け取り、該３つ以上の座標ペアに基づいて、最小二乗法によって、水平方向の「第１消失点」を算出してもよい。同様に、消失点算出部１２は、世界座標空間において鉛直方向に分布する部位に関係する３つ以上の座標ペアを受け取り、該３つ以上の座標ペアに基づいて、最小二乗法によって、鉛直方向の「第２消失点」を算出してもよい。このとき、消失点算出部１２は、さらに、外れ値や誤差の大きい入力を除去して推定精度を向上するために、いわゆるＲＡＮＳＡＣ（Random Sample Consensus）や重み付き最小二乗法など公知の技術を用いてもよい。
　＜３＞図８は、カメラ校正装置のハードウェア構成例を示す図である。図８においてカメラ校正装置１００は、プロセッサ１０１と、メモリ１０２とを有している。プロセッサ１０１は、例えば、マイクロプロセッサ、MPU（Micro Processing Unit）、又はCPU（Central Processing Unit）であってもよい。プロセッサ１０１は、複数のプロセッサを含んでもよい。メモリ１０２は、揮発性メモリ及び不揮発性メモリの組み合わせによって構成される。メモリ１０２は、プロセッサ１０１から離れて配置されたストレージを含んでもよい。この場合、プロセッサ１０１は、図示されていないI/Oインタフェースを介してメモリ１０２にアクセスしてもよい。
　第１実施形態及び第２実施形態のカメラ校正装置１０は、図８に示したハードウェア構成を有することができる。第１実施形態及び第２実施形態のカメラ校正装置１０の取得部１１と消失点算出部１２とカメラパラメータ算出部１３とは、プロセッサ１０１がメモリ１０２に記憶されたプログラムを読み込んで実行することにより実現されてもよい。プログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され、カメラ校正装置１０に供給することができる。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）を含む。さらに、非一時的なコンピュータ可読媒体の例は、ＣＤ－ＲＯＭ（Read Only Memory）、ＣＤ－Ｒ、ＣＤ－Ｒ／Ｗを含む。さらに、非一時的なコンピュータ可読媒体の例は、半導体メモリを含む。半導体メモリは、例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ（Random Access Memory）を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によってカメラ校正装置１０に供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをカメラ校正装置１０に供給できる。
　以上、実施の形態を参照して本願発明を説明したが、本願発明は上記によって限定されるものではない。本願発明の構成や詳細には、発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
　１０　カメラ校正装置
　１１　取得部
　１１Ａ　部位検出部
　１１Ｂ　部位情報受付部
　１２　消失点算出部
　１３　カメラパラメータ算出部
　１３Ａ　内部パラメータ算出部
　１３Ｂ　外部パラメータ算出部
　２０　カメラ

Claims (9)

  1. 　カメラによって世界座標空間が撮影された１つの画像又は時系列に撮影された複数の画像に含まれる複数の人物画像から抽出された、第１種部位の第１画像系座標及び第２種部位の第２画像系座標を含む第１座標ペア、前記第１種部位の第３画像系座標及び前記第２種部位の第４画像系座標を含む第２座標ペア、第３種部位の第５画像系座標及び第４種部位の第６画像系座標を含む第３座標ペア、並びに、前記第３種部位の第７画像系座標及び前記第４種部位の第８画像系座標を含む第４座標ペアを取得し、前記第１種部位及び前記第２種部位は、前記世界座標空間において水平方向に分布し、前記第３種部位及び前記第４種部位は、前記世界座標空間において鉛直方向に分布する、取得手段と、
    　前記第１座標ペア及び前記第２座標ペアに基づいて、前記水平方向の第１消失点を算出し、前記第３座標ペア及び前記第４座標ペアに基づいて、前記鉛直方向の第２消失点を算出する消失点算出手段と、
    　前記第１消失点及び前記第２消失点に基づいて、前記カメラのカメラパラメータを算出するカメラパラメータ算出手段と、
    　を具備するカメラ校正装置。
  2. 　前記消失点算出手段は、
    　前記第１画像系座標を終点とする第１画像系ベクトルと前記第２画像系座標を終点とする第２画像系ベクトルとのクロス積を算出して、前記第１画像系座標又は前記第２画像系座標を通る第１直線の方向ベクトルである第１直線方向ベクトルを算出し、
    　前記第３画像系座標を終点とする第３画像系ベクトルと前記第４画像系座標を終点とする第４画像系ベクトルとのクロス積を算出して、前記第３画像系座標又は前記第４画像系座標を通る第２直線の方向ベクトルである第２直線方向ベクトルを算出し、
    　前記第５画像系座標を終点とする第５画像系ベクトルと前記第６画像系座標を終点とする第６画像系ベクトルとのクロス積を算出して、前記第５画像系座標又は前記第６画像系座標を通る第３直線の方向ベクトルである第３直線方向ベクトルを算出し、
    　前記第７画像系座標を終点とする第７画像系ベクトルと前記第８画像系座標を終点とする第８画像系ベクトルとのクロス積を算出して、前記第７画像系座標又は前記第８画像系座標を通る第４直線の方向ベクトルである第４直線方向ベクトルを算出し、
    　前記第１直線方向ベクトルと前記第２直線方向ベクトルとのクロス積を算出して、前記第１消失点に向かう第１消失点ベクトルを算出し、
    　前記第３直線方向ベクトルと前記第４直線方向ベクトルとのクロス積を算出して、前記第２消失点に向かう第２消失点ベクトルを算出する、
    　請求項１記載のカメラ校正装置。
  3. 　前記カメラパラメータ算出手段は、
    　前記第１消失点及び前記第２消失点に基づいて、前記カメラの内部パラメータを算出する内部パラメータ算出手段と、
    　前記第１消失点、前記第２消失点、及び、前記内部パラメータに基づいて、前記カメラの外部パラメータを算出する外部パラメータ算出手段と、
    　を具備する、
    　請求項１又は２に記載のカメラ校正装置。
  4. 　前記カメラパラメータ算出手段は、
    　前記第１消失点及び前記第２消失点に基づいて、前記カメラの内部パラメータを算出する内部パラメータ算出手段と、
    　前記第１消失点、前記第２消失点、及び、前記内部パラメータに基づいて、前記カメラの外部パラメータを算出する外部パラメータ算出手段と、
    　を具備し、
    　前記内部パラメータ算出手段は、下記の式を用いて、前記第１消失点ベクトルと前記第２消失点ベクトルとに基づいて、前記内部パラメータを算出する、
    　請求項２記載のカメラ校正装置。
    Figure JPOXMLDOC01-appb-M000001
     　ただし、ｖｘは、前記第１消失点ベクトルを表し、ｖｙは、前記第２消失点ベクトルを表し、Ｋは、前記内部パラメータの行列を表し、Ｔは、ベクトル又は行列の転置を表す。
  5. 　前記第１種部位及び前記第２種部位の組み合わせは、左肩関節及び右肩関節の組み合わせ、左股関節及び右股関節の組み合わせ、左目及び右目の組み合わせ、左耳及び右耳の組み合わせ、左膝及び右膝の組み合わせ、又は、左足首及び右足首の組み合わせである、
    　請求項１から４のいずれか１項に記載のカメラ校正装置。
  6. 　前記第３種部位及び前記第４種部位の組み合わせは、背骨の上端部と下端部との組み合わせ、頭頂部と腰部との組み合わせ、股関節と膝との組み合わせ、又は、肘と手首との組み合わせである、
    　請求項１から５のいずれか１項に記載のカメラ校正装置。
  7. 　前記第１座標ペア及び前記第３座標ペアは、一の人物の第１人物画像から抽出され、
    　前記第２座標ペア及び前記第４座標ペアは、前記第１人物画像が含まれる画像に含まれる他の人物の第２人物画像から、又は、前記第１人物画像が含まれる画像と異なる画像に含まれる前記一の人物の第３人物画像から、抽出されている、
    　請求項１から６のいずれか１項に記載のカメラ校正装置。
  8. 　カメラによって世界座標空間が撮影された１つの画像又は時系列に撮影された複数の画像に含まれる複数の人物画像から抽出された、第１種部位の第１画像系座標及び第２種部位の第２画像系座標を含む第１座標ペア、前記第１種部位の第３画像系座標及び前記第２種部位の第４画像系座標を含む第２座標ペア、第３種部位の第５画像系座標及び第４種部位の第６画像系座標を含む第３座標ペア、並びに、前記第３種部位の第７画像系座標及び前記第４種部位の第８画像系座標を含む第４座標ペアを取得し、前記第１種部位及び前記第２種部位は、前記世界座標空間において水平方向に分布し、前記第３種部位及び前記第４種部位は、前記世界座標空間において鉛直方向に分布し、
    　前記第１座標ペア及び前記第２座標ペアに基づいて、前記水平方向の第１消失点を算出し、前記第３座標ペア及び前記第４座標ペアに基づいて、前記鉛直方向の第２消失点を算出し、
    　前記第１消失点及び前記第２消失点に基づいて、前記カメラのカメラパラメータを算出する、
    　カメラ校正方法。
  9. 　カメラによって世界座標空間が撮影された１つの画像又は時系列に撮影された複数の画像に含まれる複数の人物画像から抽出された、第１種部位の第１画像系座標及び第２種部位の第２画像系座標を含む第１座標ペア、前記第１種部位の第３画像系座標及び前記第２種部位の第４画像系座標を含む第２座標ペア、第３種部位の第５画像系座標及び第４種部位の第６画像系座標を含む第３座標ペア、並びに、前記第３種部位の第７画像系座標及び前記第４種部位の第８画像系座標を含む第４座標ペアを取得し、前記第１種部位及び前記第２種部位は、前記世界座標空間において水平方向に分布し、前記第３種部位及び前記第４種部位は、前記世界座標空間において鉛直方向に分布し、
    　前記第１座標ペア及び前記第２座標ペアに基づいて、前記水平方向の第１消失点を算出し、前記第３座標ペア及び前記第４座標ペアに基づいて、前記鉛直方向の第２消失点を算出し、
    　前記第１消失点及び前記第２消失点に基づいて、前記カメラのカメラパラメータを算出する、
    　処理を、カメラ校正装置に実行させるプログラムが格納された非一時的なコンピュータ可読媒体。
PCT/JP2019/041681 2019-10-24 2019-10-24 カメラ校正装置、カメラ校正方法、及び非一時的なコンピュータ可読媒体 WO2021079456A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2021553226A JP7239015B2 (ja) 2019-10-24 2019-10-24 カメラ校正装置、カメラ校正方法、及びプログラム
PCT/JP2019/041681 WO2021079456A1 (ja) 2019-10-24 2019-10-24 カメラ校正装置、カメラ校正方法、及び非一時的なコンピュータ可読媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2019/041681 WO2021079456A1 (ja) 2019-10-24 2019-10-24 カメラ校正装置、カメラ校正方法、及び非一時的なコンピュータ可読媒体

Publications (1)

Publication Number Publication Date
WO2021079456A1 true WO2021079456A1 (ja) 2021-04-29

Family

ID=75619949

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/041681 WO2021079456A1 (ja) 2019-10-24 2019-10-24 カメラ校正装置、カメラ校正方法、及び非一時的なコンピュータ可読媒体

Country Status (2)

Country Link
JP (1) JP7239015B2 (ja)
WO (1) WO2021079456A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023062994A1 (ja) * 2021-10-12 2023-04-20 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 学習装置、学習方法、学習プログラム、カメラパラメータ算出装置、カメラパラメータ算出方法及びカメラパラメータ算出プログラム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007233908A (ja) * 2006-03-03 2007-09-13 Matsushita Electric Ind Co Ltd オブジェクトサイズ算出装置、それを用いたオブジェクト検索装置およびオブジェクト分類装置ならびにオブジェクトサイズ算出方法
JP2010025569A (ja) * 2008-07-15 2010-02-04 Toa Corp カメラパラメータ特定装置および方法ならびにプログラム
US20130322767A1 (en) * 2012-05-31 2013-12-05 Qualcomm Incorporated Pose estimation based on peripheral information

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007233908A (ja) * 2006-03-03 2007-09-13 Matsushita Electric Ind Co Ltd オブジェクトサイズ算出装置、それを用いたオブジェクト検索装置およびオブジェクト分類装置ならびにオブジェクトサイズ算出方法
JP2010025569A (ja) * 2008-07-15 2010-02-04 Toa Corp カメラパラメータ特定装置および方法ならびにプログラム
US20130322767A1 (en) * 2012-05-31 2013-12-05 Qualcomm Incorporated Pose estimation based on peripheral information

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023062994A1 (ja) * 2021-10-12 2023-04-20 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 学習装置、学習方法、学習プログラム、カメラパラメータ算出装置、カメラパラメータ算出方法及びカメラパラメータ算出プログラム

Also Published As

Publication number Publication date
JP7239015B2 (ja) 2023-03-14
JPWO2021079456A1 (ja) 2021-04-29

Similar Documents

Publication Publication Date Title
US10438412B2 (en) Techniques to facilitate accurate real and virtual object positioning in displayed scenes
WO2017022033A1 (ja) 画像処理装置、画像処理方法および画像処理プログラム
US20220180560A1 (en) Camera calibration apparatus, camera calibration method, and nontransitory computer readable medium storing program
CN113841384B (zh) 校准装置，用于校准的图表和校准方法
Borghese et al. Calibrating a video camera pair with a rigid bar
WO2016208404A1 (ja) 情報処理装置および方法、並びにプログラム
EP4020395A1 (en) Methods and apparatus to calibrate a multiple camera system based on a human pose
WO2021079456A1 (ja) カメラ校正装置、カメラ校正方法、及び非一時的なコンピュータ可読媒体
JP6557640B2 (ja) カメラキャリブレーション装置、カメラキャリブレーション方法及びカメラキャリブレーションプログラム
Bastanlar A simplified two-view geometry based external calibration method for omnidirectional and PTZ camera pairs
JP2021189946A (ja) 検出装置、検出方法及び検出プログラム
KR101673144B1 (ko) 부분 선형화 기반의 3차원 영상 정합 방법
Fraser et al. Automated target-free camera calibration
CN110888957A (zh) 一种对象定位的方法以及相关装置
US20240135584A1 (en) Camera calibration apparatus, camera calibration method, and non-transitory computer readable medium
CN109902695A (zh) 一种面向像对直线特征匹配的线特征矫正与提纯方法
Wang et al. Accurate calibration of multi-perspective cameras from a generalization of the hand-eye constraint
Sun et al. A planar-dimensions machine vision measurement method based on lens distortion correction
Aliakbarpour et al. Geometric exploration of virtual planes in a fusion-based 3D data registration framework
JP6315542B2 (ja) 画像生成装置及び画像生成方法
Foroosh et al. Metrology in uncalibrated images given one vanishing point
Szalóki et al. Optimizing camera placement for localization accuracy
EP4280629A2 (en) Wirelessly rechargeable hearing device and charger for same
Zheng et al. An efficient and practical calibration method for roadside camera using two vanishing points
Adil et al. Investigation of stereo camera calibration based on Python

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19950090

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021553226

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19950090

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 17768291

Country of ref document: US