WO2006022184A1 - カメラキャリブレーション装置及びカメラキャリブレーション方法 - Google Patents

カメラキャリブレーション装置及びカメラキャリブレーション方法 Download PDF

Info

Publication number
WO2006022184A1
WO2006022184A1 PCT/JP2005/015053 JP2005015053W WO2006022184A1 WO 2006022184 A1 WO2006022184 A1 WO 2006022184A1 JP 2005015053 W JP2005015053 W JP 2005015053W WO 2006022184 A1 WO2006022184 A1 WO 2006022184A1
Authority
WO
WIPO (PCT)
Prior art keywords
camera
error
calibration
image
camera calibration
Prior art date
Application number
PCT/JP2005/015053
Other languages
English (en)
French (fr)
Inventor
Tomohide Ishigami
Kensuke Maruya
Susumu Okada
Original Assignee
Matsushita Electric Industrial Co., Ltd.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co., Ltd. filed Critical Matsushita Electric Industrial Co., Ltd.
Priority to US11/573,461 priority Critical patent/US20090021580A1/en
Publication of WO2006022184A1 publication Critical patent/WO2006022184A1/ja

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/02—Picture taking arrangements specially adapted for photogrammetry or photographic surveying, e.g. controlling overlapping of pictures

Definitions

  • the present invention relates to a camera calibration device and a camera calibration method for obtaining camera parameters based on correspondence between world coordinates set in real space and image coordinates set on an image captured by a camera. It is.
  • the position in the real space can be specified from the point on the image by obtaining the camera parameters that associate the image coordinates set in the monitoring image with the world coordinates set in the real space.
  • the operation for obtaining the camera parameters is called camera calibration, and can be obtained from the correspondence between the world coordinates set in the real space and the image coordinates set on the image photographed by the camera. For example, an index point with known world coordinates set for calibration is photographed with a camera, and corresponding points on the photographed image are obtained, and the world coordinates and the image coordinates do not exist on the same plane corresponding to the six points.
  • the basic method is to obtain camera parameters from the above index points.
  • Non-patent document 1 is a representative method.
  • FIG. 10 is a diagram for explaining the correspondence between image coordinates and world coordinates.
  • the method for obtaining the camera parameters is briefly described with reference to Fig. 10.
  • the point A101 (u, v) on the image coordinates and the point A102 (X_w, Y_w, Z_w) on the world coordinate are expressed using the scale s (Equation 1 ).
  • Equation 1 the twelve parameters C-11 to C-14, C-21 to C-24, and C31 to C-34 in (Equation 1) are camera parameters. Call it.
  • the nth index point is represented by image coordinates (u_n, v_n) and world coordinates (X_n, Y_n, ⁇ _ ⁇ ), (Equation 1) satisfies (Equation 2).
  • the (Expression 2) is obtained for the index points up to the nth, and the determinant of (Expression 3) is obtained by forming a matrix.
  • the one-dimensional world coordinates to be converted are fixed and converted.
  • the scale s is obtained from the world coordinate Z_w, which is the height to be transformed, and the image coordinates, and X_w, Y_w are obtained using s, u, V. That is, once one component of image coordinates and world coordinates is determined, the remaining two components of world coordinates are uniquely determined.
  • a simple calibration accuracy evaluation can be performed using conversion of image coordinates from world coordinates.
  • the nth index point is the image coordinate (u_n, v_n), the world coordinate (X_n, Y_n, ⁇ _ ⁇ ), and the value obtained by converting the world coordinate to the image coordinate using the obtained camera parameter C (u'_ ⁇ , ⁇ ' _ ⁇ ), the average calibration error e_average of the index points is (Equation 6).
  • the world coordinates of index points can be triangulated.
  • the color and shape of the index points are characteristic, the corresponding points on the image coordinates are automatically recognized by image processing.
  • Non-Patent Document 1 R. Y Tsai, A Versatile Camera Calioration Technique f or High— Accuracy 3D Machine Vision Metrology Using Off -the-shelf TV Cameras and Lenses, IEEE J. Robotics and Automation, vol RA— 3, NO. 4 , pp. 323— 331, Aug. 1987
  • the user identifies the location where the human input error has occurred by reading the calibration error value, checks the index point where the input error has occurred by reading the image coordinate value, The process of inputting correct world coordinates and image coordinates is repeated. For this reason, a great deal of labor has been involved in correcting calibration errors caused by human error.
  • the present invention has been made in view of the above-described conventional circumstances, and an object thereof is to provide a camera calibration device and a camera calibration method capable of simplifying calibration correction work. Les.
  • the camera calibration device is a power calibration device that obtains camera parameters based on the correspondence between world coordinates installed in real space and image coordinates installed on an image captured by the camera.
  • Calibration means for obtaining camera parameters from a coordinate set of index points with known coordinate values of the world coordinates and corresponding points in the image coordinates corresponding to the index points; and the world coordinate values of the index points and the correspondences Detecting means for detecting a correspondence error with the image coordinate value of the point; and display control means for displaying the detected correspondence error on the video display device in association with the index point and the corresponding point.
  • the display control means for displaying the detected correspondence error on the video display device in association with the index point and the corresponding point is provided, so that the index to be corrected for calibration is provided. Since the points and corresponding points can be easily identified, the calibration correction work can be simplified.
  • the display control means displays the detected correspondence error with a visual effect. According to the above configuration, since the display control means displays the detected correspondence error with a visual effect, it is possible to more easily identify the index point and the corresponding point where the calibration should be corrected. Correction work can be further simplified.
  • the display control means displays the detected correspondence error in a display form corresponding to the calculation result of the calibration error.
  • the display control means detects the detected correspondence error as a calibration error.
  • the display control unit emphasizes and displays the component of the world coordinate value in which a correspondence error is detected.
  • the display control means can easily identify the component of the world coordinate value to be corrected by highlighting and displaying the component of the world coordinate value in which the correspondence error is detected. Correction work can be further simplified.
  • the display control means enlarges and displays a region where the detected correspondence error is displayed. According to the above configuration, the display control means expands and displays the area where the detected correspondence error is displayed, thereby easily specifying the index point and the corresponding point to be corrected for calibration. As a result, calibration correction can be further simplified.
  • the display control means sequentially displays the correspondence error every time a correspondence error is detected.
  • the display control unit sequentially displays the correspondence error every time a correspondence error is detected, thereby correcting calibration in real time while viewing the display of the image output from the camera. Can do positive.
  • the display control unit uses one of the currently determined camera parameters and an arbitrary point on the specified video display device and one of the input world coordinates.
  • the correspondence error is displayed based on the remaining world coordinates calculated from the components.
  • the display control means uses the camera parameters obtained at present to calculate the remaining points calculated from an arbitrary point on the designated video display device and one component of the input world coordinates.
  • the display control means displays the correspondence error based on the corresponding point on the image coordinates obtained by image recognition of the index point. is there. According to the above configuration, the display control means manually inputs the coordinate of the corresponding point by displaying the correspondence error based on the corresponding point on the image coordinate obtained by recognizing the index point. Since it is not necessary, human input errors can be reduced.
  • the display control means displays the correspondence error in a display form corresponding to the calculation result of the calibration error.
  • the display control means displays the correspondence error in a display form corresponding to the calculation result of the calibration error, thereby allowing the user to determine whether the index point input by the image recognition is correct. Easy to judge.
  • the camera calibration method of the present invention is a camera calibration method for obtaining camera parameters based on the correspondence between world coordinates set in real space and image coordinates set on an image captured by the camera. Then, camera parameters are obtained from an index point whose coordinate value of the world coordinate is known and a coordinate set of the corresponding point in the image coordinate corresponding to the index point, and the world coordinate value of the index point and the image of the corresponding point A correspondence error with the coordinate value is detected, and the detected correspondence error is displayed on the video display device in association with the index point and the corresponding point.
  • the detected correspondence error is displayed on the video display device in association with the index point and the corresponding point, thereby easily indicating the index point and the corresponding point to be corrected for calibration. Since it can be specified, calibration correction work can be simplified.
  • FIG. 1 is a schematic configuration diagram for explaining a calibration device according to an embodiment of the present invention.
  • FIG. 2 is a flowchart for explaining a calibration procedure in one embodiment of the present invention.
  • FIG. 3 is a flowchart for explaining a camera parameter creation processing procedure in one embodiment of the present invention.
  • FIG. 4 is a diagram showing an example of a display screen during calibration correction work in one embodiment of the present invention.
  • 5 A diagram showing an example of a display screen at the time of calibration correction work in one embodiment of the present invention
  • FIG. 7 A diagram showing an example of a display screen during calibration correction work in one embodiment of the present invention
  • the present invention relates to a camera calibration device and a camera calibration method for obtaining camera parameters based on correspondence between world coordinates set in real space and image coordinates set on an image captured by a camera.
  • a case will be described in which a plurality of index points with known world coordinates are prepared, corresponding points on the image coordinates are manually obtained, and camera parameters are obtained.
  • FIG. 1 is a schematic configuration diagram for explaining a calibration device according to an embodiment of the present invention.
  • camera A101 outputs the captured image to the calibration device Al l 1
  • the calibration device Al l 1 obtains camera parameters based on the correspondence between the world coordinates and the image coordinates.
  • the input device A121 is used to input information to the calibration device All 1 using a mouse or a keyboard, and the monitor A131 is used to display an image output from the calibration device A111.
  • the calibration device A11 includes a display control unit A112 that synthesizes the video information and the calibration result, and the correspondence in the image coordinates corresponding to the index point whose coordinate value of the world coordinate is known and the index point.
  • a calibration unit that calculates the camera parameters from the coordinate set of points, and calibration correction that calculates the calibration error and detects the correspondence error between the world coordinate value of the index point and the image coordinate value of the corresponding point, and performs correction processing Part A114.
  • Camera A101 receives an image displayed on the lens as input, and outputs the image data to display control unit A112.
  • the display control unit A112 receives the video data output from the camera A101 and the calibration result output from the calibration correction unit A114, and outputs image data in which the calibration error result is superimposed on the video information to the monitor A131. That is, the display control unit A112 displays the correspondence error detected by the calibration correction unit A114 on the monitor A131 in association with the index point and the corresponding point.
  • the calibration unit A113 receives the numerical value input from the keyboard and the mouse operation output from the input device A121, and inputs an index that associates the management number of index points, world coordinates, and image coordinates.
  • a point coordinate set is created, and camera parameters, world coordinates, and image coordinates are output to the calibration correction unit A114. Also, the index point coordinate set output by the calibration correction unit A114 is input, and the camera parameters are output to the calibration correction unit A114.
  • the calibration correction unit A114 receives the camera parameter and index point coordinate set output from the calibration unit Alll3, and outputs the calibration result to the display control unit A112. In the process of calculating the calibration result, the index point coordinate set is output to the calibration part A113.
  • the input device A121 receives an operation from the user as an input, and outputs a numerical value input from the keyboard and a mouse operation to the calibration unit All3.
  • FIG. 2 is a flowchart for explaining the calibration procedure. Using Fig. 2, the calibration method will be explained.
  • step SA201 when calibration is started, in step SA201, the user sets an index point within the shooting range of camera A101, and measures the world coordinates of the index point in advance by triangulation or the like.
  • step SA202 the user searches for the index point from the screen of the monitor A131 on which the index point set in step SA201 is displayed, and performs a trick operation with the mouse pointer over the center of the index point. Specify the image coordinates of the index point.
  • step SA203 a window for inputting world coordinates is automatically displayed on the screen of the monitor A131. Therefore, the coordinate values of the world coordinates measured in advance by the user are input from the keyboard.
  • step SA204 calibration unit A113 creates an index point coordinate set from the input world coordinates and image coordinates. Next, it is determined whether the condition (number of index point coordinate groups ⁇ 6) is satisfied. If the condition is satisfied (Yes), the camera parameter cannot be created, so the process returns to step SA202. Otherwise (No), the process returns to step SA205. move on.
  • step SA205 the calibration unit Al l 3 and the calibration correction unit A1 14 perform camera parameter creation processing, and an error occurs in the correspondence between the detected world coordinate value of the index point and the image coordinate value of the corresponding point. Are displayed in association with the index points and the corresponding points.
  • the camera parameter creation process will be described in detail with reference to the flowchart of FIG.
  • step SA206 the processing result of step SA205 is determined. If there is a calibration error in the processing result (Yes), the process proceeds to step SA207; otherwise (No), the process proceeds to step SA207. Proceed to SA208.
  • step SA207 the user performs error correction work for the calibration error, and when the correction process is completed, the process returns to step SA205.
  • step SA208 the calibration unit A113 force is the number of index point coordinate sets required to maintain a constant calibration accuracy.
  • FIG. 3 is a flowchart showing the flow of camera parameter creation processing in step SA205 of FIG.
  • the loop variable N that indicates the number of incorrect index point coordinate sets is set to 0, and a value greater than the maximum possible value is substituted for the minimum value e-min of the average calibration error.
  • step SA302 the number of index point coordinate groups used for camera parameter creation (M-N) is defined by assuming that the number of index point coordinate groups given in the calibration correction unit A114 force camera parameter creation process is M. ) It is determined whether the number is less than six. If less than six (Yes), the process proceeds to step SA311. If more than six (No), the process proceeds to step SA303.
  • step SA303 (M ⁇ N) are selected from the M index point coordinate sets.
  • step SA304 the calibration correction unit A114 outputs the set of index point coordinate sets selected in step SA303 to the calibration unit All3, and receives camera parameters from the calibration unit A113.
  • step SA305 the calibration correction unit A114 calculates an average calibration error e_average.
  • step SA306 e_min and e_average are compared. If e_average is the minimum value, update is performed, and the current (M_N) index point coordinate sets and camera parameters are stored.
  • step SA307 it is determined whether there is another combination that selects (M_N) from the M index point coordinate sets performed in step SA303, and if another combination exists (Ye s) Returning to step SA303, if all combinations have been implemented (No), the process proceeds to step SA308. [0049] In step SA308, e_min is compared with the threshold Th of the average calibration error, and e
  • Step SA309 If _min> Th is satisfied (Yes), go to Step SA309, otherwise (No) is Step
  • the calibration error threshold Th can be freely changed by the user, and may be changed according to the result of the camera parameter creation processing.
  • step SA309 since the average calibration error is larger than the threshold value, it is assumed that there is an incorrect index point coordinate set, and the loop variable N representing the number of incorrect index point coordinate sets is incremented by one.
  • step SA311 a set of remaining index point coordinate sets other than the set of index point coordinate sets stored when e-min is updated in step SA306 is output as a calibration error. This is because the set of index point coordinate sets stored when e-min is updated in step SA306 maintains a certain accuracy that the average calibration error is less than or equal to Th.
  • This algorithm is based on the idea of including calibration errors such as input errors.
  • step SA312 the camera parameters and (M-N) index point coordinate groups stored when e-min is updated in step SA306 are output, and the camera parameter creation process is terminated.
  • FIGS. 4 to 9 are diagrams showing screens at the time of correction processing.
  • the correction process will be described with reference to Figs. Fig. 4 shows the screen during correction processing.
  • A401 is the video image of the camera A101
  • A402 is the camera parameter creation processing result window
  • A403 is the index point management number
  • A40 4 is the index icon indicating the location of the index point on the screen.
  • A405 is an error display frame indicating an index point coordinate set in which a calibration error is estimated to occur
  • A406 is a correction window
  • A407 is a mouse pointer.
  • FIG. 5 is a diagram showing a camera parameter creation processing result window A402, showing a camera parameter creation result table A501, and an error display frame A502 is an index point coordinate where a calibration error is estimated to have occurred.
  • a selection display frame A503 is a mouse point. Represents the index point coordinate set pointed to.
  • FIG. 6 is a diagram showing a correction window A406, showing world coordinate correction forms A601a, A60 lb, A601c, image coordinate correction forms A602a, A602b, and a delete button A603.
  • a video screen A401 taken by the camera A101 is displayed on the screen of the monitor A131. Thereafter, when an index point coordinate set is input, an index point management number A403 and an index point icon A404 are displayed at corresponding positions on the screen. By viewing the index point management number A403 and the index point icon A404, the user can easily confirm the position (image coordinates) of the input index point coordinate set on the screen.
  • a camera meter creation result window A402 (see Fig. 5) is displayed.
  • Camera parameter creation result window A402 displays index point management number, image coordinates, world coordinates and image coordinates after conversion by camera parameters, calibration error, world coordinates, and error between image coordinates and converted image coordinates.
  • the camera parameter creation result table A 501 composed of each element of remarks is displayed, and the contents of each index point coordinate set and the calibration error can be confirmed.
  • the index point icon displayed on the screen and the index point icon displayed in the camera parameter processing result window A402 are associated with the world coordinates, image coordinates, calibration error, etc. with a visual effect. Is called.
  • the camera parameter creation result table A501 displayed in the camera creation result window A402 is not particularly required to display the data of all index point coordinate groups.
  • the index point coordinate groups to be corrected are clearly shown. Therefore, the index point coordinate group (column corresponding to the index point management number “1”) that contains the calibration error (corresponding error) and the index point coordinate group information of the index point icon pointed to by the mouse pointer A407 It may be displayed, but is not limited to these.
  • the reason for displaying other information is that it is assumed that correction is performed while viewing data of other index points at the time of correction. For example, if the index points are arranged at regular intervals on the screen and the height of the world coordinates of each index point is constant, the height of the world coordinates actually input is different. By simply referring to the world coordinates of the index point coordinate group of An accurate value can be entered.
  • the error display frame A405 centered on the index point icon (index point control number 1) of the wrong index point, and the camera parameter creation result corresponding to the wrong index point Error display frame A502 is displayed in the window A402 column (index point management number 1 column).
  • the user can easily confirm which index point coordinate set on the screen is wrong by looking at the calibration error display frame A405.
  • the correspondence error is displayed in association with the index point and the corresponding point using the error display frames A405 and A502
  • the index point and the corresponding point to be corrected for calibration can be easily specified.
  • the calibration correction work can be simplified.
  • the error display frame A405 and the error display frame A502 have the same type, color, thickness, and shape of the frame, and the index point icon displayed on the screen and the camera parameter processing result window A402. Since the correspondence between the world coordinates, image coordinates, calibration errors, etc. of the index point icon displayed in the screen becomes clear, it is possible to more easily identify the index point and the corresponding point to be calibrated. Calibration correction work can be further simplified.
  • the type, color, thickness, shape, and the like of the frames of the calibration error display frames A405 and A502 are determined according to the calibration error. For example, when the world coordinates and image coordinates of the index point coordinate set indicated by the error display frame A502 in Fig. 5 are corrected and the calibration error is reduced from 20 to 10, the error display frame A405 on the screen shown in Fig. 4 is displayed. Since the error has been reduced by half, the radius of the circle is also halved, resulting in an error display frame A901 as shown in Fig. 9. Also, the error display frame disappears when it is corrected correctly and the calibration error is within the allowable range.
  • the relative magnitude of the calibration error becomes a material that determines the priority of the correction work by dividing force, and the calibration error is reduced.
  • the change is reflected visually as a change in the diameter of the error display frame, and is visually expressed, so it is easier to apply force intuitively than looking at the change in the numerical value.
  • Camera parameter creation result window Specify the world coordinates and image coordinates in the A402 with the mouse pointer A407 and enter the numerical value with the keyboard etc. to directly correct, or double-click the mouse icon A407 close to the index point icon to be corrected on the screen. Etc.
  • the window A406 may be displayed and corrected.
  • the correction part is presented by inverting the color of the wrong part as shown in the selection display frame A503 shown in FIG. 5 or A603 shown in FIG.
  • a straight line A702 can be drawn on the world coordinates by using camera parameters C, image coordinates (u, v), and scale s as parameters. This straight line represents a position in the world coordinates where the image coordinates (u, V) are converted by the camera nomometer C.
  • the world coordinate A701 of the index point coordinate set is correct, it exists on the straight line A702, but when the world coordinate A701 is incorrect, it moves away from the straight line.
  • the component of the world coordinate that is estimated to be incorrect is the component of the point A703 (Xp, Yp, Zp) corresponding to that component (for example, the X component of the world coordinate is incorrect) If it is estimated that it is, it can be automatically corrected by substituting Xp).
  • a world coordinate list representing the whole world coordinates of the measured index points is stored, and the world coordinates and image coordinates in the index point coordinate set are correct, but when the index point coordinate set is input, Assuming that the correspondence between the target and the image coordinates is wrong, the values of the candidate world coordinates may be presented at the time of correction.
  • the image coordinates (u, v) of the index point coordinate group to be corrected the Nth world coordinate (X_N, Y_N, Z_N), the world coordinate (X_N, Y_N, Z_N) and the camera in the world coordinate list
  • the image screen around the mouse pointer may be temporarily enlarged and displayed. is there.
  • the calibration accuracy can be easily and intuitively confirmed on the spot where the calibration is performed.
  • one component of the world coordinates may be corrected after clicking the mouse, but is not limited to these.
  • the image coordinates of the index points and the world coordinates are manually input.
  • the image coordinates are determined by image recognition technology such as template matching from the color, shape, peripheral background, etc. of the index points.
  • the upper corresponding point may be automatically obtained.
  • the display method and the display form of the index points to be displayed should be changed according to the value of the camera calibration error. For example, it is possible not to display the correct one, to display the detection result or the template used if the error is large, or to display only the detection result. By changing the display mode of the index point according to the value of the calibration error, the user can easily determine whether or not the index point input by image recognition is correct.
  • the world coordinate input can be further automated, and calibration can be performed simply by copying the index point with a camera. Become.
  • the calibration device of the present embodiment is useful when calibrating a monitoring power mela or the like installed in a shopping street, a station premises, a street, or the like. It can also be applied to calibration of wide-area surveillance cameras such as airports, harbors and rivers. [0085]
  • the present invention includes a display control means for displaying the detected correspondence error on the video display device in association with the index point and the corresponding point, so that the index point and the corresponding point to be corrected for calibration are provided.
  • a display control means for displaying the detected correspondence error on the video display device in association with the index point and the corresponding point, so that the index point and the corresponding point to be corrected for calibration are provided.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Studio Devices (AREA)

Abstract

　本発明は、キャリブレーション修正作業を簡易化することを目的とする。 　本発明のカメラキャリブレーション装置は、実空間上に設置した世界座標とカメラが撮影した画像上に設置した画像座標との対応に基づいてカメラパラメータを求めるカメラキャリブレーション装置であって、前記世界座標の座標値が既知の指標点と前記指標点に対応する前記画像座標における対応点の座標組からカメラパラメータを求めるキャリブレーション部Ａ１１３と、前記指標点の世界座標値と前記対応点の画像座標値との対応誤りを検出するキャリブレーション修正部Ａ１１４と、検出された対応誤りを、前記指標点と前記対応点とを対応付けて映像表示装置に表示させる表示制御部Ａ１１２とを備える。

Description

明 細 書
カメラキャリブレーション装置及びカメラキャリブレーション方法
技術分野
[0001] 本発明は、実空間上に設置した世界座標とカメラが撮影した画像上に設置した画 像座標との対応に基づいてカメラパラメータを求めるカメラキャリブレーション装置及 びカメラキャリブレーション方法に関するものである。
背景技術
[0002] 近年、監視分野では、カメラが撮影した監視画像内の不審箇所を画像処理などで 自動検出する装置が登場している。更に、監視画像に設置した画像座標と、実空間 上に設置した世界座標とを対応付けるカメラパラメータを求めることで、画像上の点 から実空間上の位置を特定することが可能である。
[0003] このカメラパラメータを求める作業をカメラキャリブレーションと呼び、実空間上に設 置した世界座標とカメラが撮影する画像上に設置した画像座標の対応から求めること が可能である。例えば、キャリブレーション用に設置した世界座標が既知の指標点を カメラで撮影し、撮影した画像上の対応点を求め、世界座標と画像座標が対応した 同一平面状に存在しなレ、 6点以上の指標点からカメラパラメータを求める方法が基本 的である。代表的な手法として非特許文献 1がある。
[0004] 図 10は、画像座標と世界座標の対応を説明するための図である。図 10によりカメラ パラメータを求める方法を簡単に説明すると、画像座標上の点 A101 (u, v)と世界座 標上の点 A102 (X_w， Y_w, Z_w)は、スケール sを用いて（数 1)の関係を満た す。
Figure imgf000004_0001
ここで、（数 1)内の 12個のパラメータ C— 11〜C— 14, C— 21〜C— 24, C— 31 〜C— 34はカメラパラメータであり、以後は総称してカメラパラメータ Cと呼ぶ。また、 n 番目の指標点が画像座標 (u_n, v_n)、世界座標 (X_n， Y_n, Ζ_η)で表され る場合、（数 1)より（数 2)を満たす。
[数 2] cnxn + CUY„ + CuZn + C14 - u„(C X„ + C32Yn + C33Z„ + C34) = o C2lXn + C22Y„ + C232„ + C24 - v„(C X„ + C32Y„ + C33Z„ +C34) = 0
さらに、 1番目力も n番目までの指標点に対し、（数 2)を求め、行列化すると（数 3) の行列式になる。
[数 3]
11 11 2n
- 1 0 0 0 0 " 'cu' "l ]
0 0 0 0 2, 1 ν' - ， - C34v】
2n ； = χη γη 1 0 0 0 0 - "" - ί „
0 0 0 0 χη z„ 1 -Χ„ν„ -7ν - Z"V
屮 屮
A C B さらに、（数 3)の 2n X l lで表す行列を行列 A、 C_l 1〜C_33の 11行で表す行 列を行列 C、残りを行列 Bとすれば、（数 4)に従い行列を変形することで (数 5)を導く 事ができる。但し、 A—1は行列 Aの逆行歹 IJ、 Ατは行列 Aの転置行列とする。
國
AC = B
ATAC = ATB
(ATAyl(ATA)C = (ATAy]ATB
[数 5]
C ^ (ATAylATB
[0008] 即ち、 C— 34= 1とし、 2η> 11を満たす n= 6個以上の指標点の世界座標及び画 像座標から行列 Aと行列 Bが決まるので (数 5)より行列 Cが計算され、カメラパラメ一 タ Cを求めることができる。
[0009] カメラパラメータ Cが求まると、画像座標と世界座標との変換が可能である。世界座 標から画像座標に変換する場合は、（数 1)の (X— w， Y_w, Z— w)に世界座標値 を入力し、スケール sを求めた後、画像座標 (u, V)を求める。即ち、世界座標の 3成 分が決まると、画像座標が一意に決まる。
[0010] また、画像座標から世界座標に変換する場合は、画像座標は二次元、世界座標は 三次元と次元数が足りないので、変換したい世界座標の一次元を固定して変換する 。通常は変換対象の高さである世界座標の Z_wと画像座標からスケール sを求め、 s ， u, Vを用いて X_w， Y_wを求める。即ち、画像座標と世界座標の 1成分が決まる と、残りの世界座標の 2成分が一意に決まる。 [0011] 世界座標から画像座標の変換を利用し、簡単なキャリブレーション精度評価が可能 である。例えば、 n番目の指標点が画像座標 (u_n， v_n)、世界座標 (X_n， Y_n ， Ζ_η)、求めたカメラパラメータ Cを利用し世界座標を画像座標に変換した値 (u' _η, ν' _η)で表わすと指標点ひ個の平均キャリブレーション誤差 e_averageは、 ( 数 6)になる。
ほ女 6]
Figure imgf000006_0001
[0012] 広域監視等の広い空間において、実空間上の任意の点に原点を置いた一つの世 界座標系で複数台のカメラをキャリブレーションする場合、指標点の世界座標を三角 測量等で実測し、指標点の色や形状が特徴的な場合は画像処理により画像座標上 の対応点を自動認識するのが一般的である。
非特許文献 1 : R. Y Tsai, A Versatile Camera Calioration Technique f or High— Accuracy 3D Machine Vision Metrology Using Off -the - shelf TV Cameras and Lenses , IEEE J. Robotics and Automation, vol RA— 3, NO. 4, pp. 323— 331 , Aug. 1987
発明の開示
発明が解決しょうとする課題
[0013] し力しながら、上記従来の方法にあっては、屋外等でキャリブレーションを行う場合 、背景や照明等の影響で画像認識が正しく動作せず、手動で世界座標と画像座標 を対応付ける場合がある。手動で対応付ける場合は、複数の指標点が不規則に配 置されるため選択した指標点の世界座標に間違った世界座標値を入力する世界座 標入力ミスや、指標点が周辺の背景と区別できないため本来の画像座標とは異なつ た場所を指定する画像座標入力ミスなどの人為的入力ミスが発生する。 [0014] 従来手法では、ユーザがキャリブレーション誤差数値を読み取ることで人為的入力 ミスが発生した箇所を特定し、画像座標値を読み取ることで入力ミスが発生した指標 点を画像中から確認し、正しい世界座標や画像座標を入力する作業を繰り返してい る。このため、人為的入力ミスにより生じるキャリブレーション誤りを修正する作業に大 変な労力を伴った。
[0015] 本発明は、上記従来の事情に鑑みてなされたものであって、キャリブレーション修 正作業を簡易化することができるカメラキャリブレーション装置及びカメラキヤリブレー シヨン方法を提供することを目的としてレ、る。
課題を解決するための手段
[0016] 本発明のカメラキャリブレーション装置は、実空間上に設置した世界座標とカメラが 撮影した画像上に設置した画像座標との対応に基づいてカメラパラメータを求める力 メラキャリブレーション装置であって、前記世界座標の座標値が既知の指標点と前記 指標点に対応する前記画像座標における対応点の座標組からカメラパラメータを求 めるキャリブレーション手段と、前記指標点の世界座標値と前記対応点の画像座標 値との対応誤りを検出する検出手段と、検出された対応誤りを、前記指標点と前記対 応点とを対応付けて映像表示装置に表示させる表示制御手段と、を備える。
[0017] 上記構成によれば、検出された対応誤りを、指標点と対応点とを対応付けて映像表 示装置に表示させる表示制御手段を備えることにより、キャリブレーションの修正を行 うべき指標点及び対応点を容易に特定できる為、キャリブレーション修正作業を簡易 化できる。
[0018] また、本発明のカメラキャリブレーション装置は、前記表示制御手段が、検出された 対応誤りを視覚的効果を施して表示させるものである。上記構成によれば、表示制御 手段が、検出された対応誤りを視覚的効果を施して表示させることにより、キヤリブレ ーシヨンの修正を行うべき指標点及び対応点をより容易に特定できる為、キヤリブレ ーシヨン修正作業を一層簡易化できる。
[0019] また、本発明のカメラキャリブレーション装置は、前記表示制御手段が、検出された 対応誤りを、キャリブレーション誤差の計算結果に応じた表示形態で表示させるもの である。上記構成によれば、表示制御手段が、検出された対応誤りを、キヤリブレー シヨン誤差の計算結果に応じた表示形態で表示させることにより、キャリブレーション 修正作業によってキャリブレーション誤差が減ったか否か等を把握することができる 為、キャリブレーション修正作業を効率良く行うことができる。
[0020] また、本発明のカメラキャリブレーション装置は、前記表示制御手段が、対応誤りが 検出された前記世界座標値の成分を強調して表示させるものである。上記構成によ れば、表示制御手段が、対応誤りが検出された前記世界座標値の成分を強調して 表示させることにより、修正すべき世界座標値の成分を容易に特定できる為、キヤリ ブレーシヨン修正作業を一層簡易化できる。
[0021] また、本発明のカメラキャリブレーション装置は、前記表示制御手段が、検出された 対応誤りが表示される領域を拡大して表示させるものである。上記構成によれば、表 示制御手段が、検出された対応誤りが表示される領域を拡大して表示させることによ り、キャリブレーションの修正を行うべき指標点及び対応点をより容易に特定できる為 、キャリブレーション修正作業を一層簡易化できる。
[0022] また、本発明のカメラキャリブレーション装置は、前記表示制御手段が、対応誤りが 検出される毎に、前記対応誤りを逐次表示させるものである。上記構成によれば、表 示制御手段が、対応誤りが検出される毎に、前記対応誤りを逐次表示させることによ り、カメラから出力される画像の表示を見ながらリアルタイムでキャリブレーションの修 正を行うことができる。
[0023] また、本発明のカメラキャリブレーション装置は、前記表示制御手段が、現状求めた カメラパラメータを使用して、指定された前記映像表示装置上の任意の点と入力され た世界座標の一成分とから計算した残りの世界座標に基づいて、前記対応誤りを表 示するものである。上記構成によれば、表示制御手段が、現状求めたカメラパラメ一 タを使用して、指定された前記映像表示装置上の任意の点と入力された世界座標の 一成分とから計算した残りの世界座標に基づいて、前記対応誤りを表示することによ り、カメラパラメータの誤差を直感的に提示することができる為、カメラパラメータを求 めたその場でキャリブレーション精度を確認することができる。
[0024] また、本発明のカメラキャリブレーション装置は、表示制御手段が、前記指標点を画 像認識して求めた画像座標上の対応点に基づいて、前記対応誤りを表示するもので ある。上記構成によれば、表示制御手段が、前記指標点を画像認識して求めた画像 座標上の対応点に基づいて、前記対応誤りを表示することにより、対応点の座標入 力を手動で行う必要がなくなる為、人為的な入力ミスを低減することができる。
[0025] また、本発明のカメラキャリブレーション装置は、表示制御手段が、前記対応誤りを 、キャリブレーション誤差の計算結果に応じた表示形態で表示させるものである。上 記構成によれば、表示制御手段が、前記対応誤りを、キャリブレーション誤差の計算 結果に応じた表示形態で表示させることにより、画像認識による指標点の入力が正し いか否力をユーザが容易に判断できる。
[0026] さらに、本発明のカメラキャリブレーション方法は、実空間上に設置した世界座標と カメラが撮影した画像上に設置した画像座標との対応に基づいてカメラパラメータを 求めるカメラキャリブレーション方法であって、前記世界座標の座標値が既知の指標 点と前記指標点に対応する前記画像座標における対応点の座標組からカメラパラメ ータを求め、前記指標点の世界座標値と前記対応点の画像座標値との対応誤りを 検出し、検出された対応誤りを、前記指標点と前記対応点とを対応付けて映像表示 装置に表示させるものである。
発明の効果
[0027] 本発明によれば、検出された対応誤りを、指標点と対応点とを対応付けて映像表示 装置に表示させることにより、キャリブレーションの修正を行うべき指標点及び対応点 を容易に特定できる為、キャリブレーション修正作業を簡易化できる。
図面の簡単な説明
[0028] [図 1]本発明の一実施形態におけるキャリブレーション装置を説明するための概略構 成図
[図 2]本発明の一実施形態におけるキャリブレーションの手順を説明するためのフロ
[図 3]本発明の一実施形態におけるカメラパラメータ作成処理手順を説明するための フローチャート
[図 4]本発明の一実施形態におけるキャリブレーション修正作業時の表示画面例を 示す図 園 5]本発明の一実施形態におけるキャリブレーション修正作業時の表示画面例を 示す図
園 6]本発明の一実施形態におけるキャリブレーション修正作業時の表示画面例を 示す図
園 7]本発明の一実施形態におけるキャリブレーション修正作業時の表示画面例を 示す図
園 8]本発明の一実施形態におけるキャリブレーション修正作業時の表示画面例を 示す図
園 9]本発明の一実施形態におけるキャリブレーション修正作業時の表示画面例を 示す図
園 10]キャリブレーションにおける画像座標と世界座標の対応関係を示す図 符号の説明
A101 カメフ
A111 キャリブレーション装置
A112 表示制御部
A113 キャリブレーション部
A114 キャリブレーション修正部
A121 モニタ
A131 入力装置
A402 力メラノ、 °ラメータ作成結果ウィンド
A403 指標点管理番号
A404 指標アイコン
A405 キャリブレーション誤り表示枠
A406 修正ウィンドウ
A501 カメラパラメータ作成結果表
A502 キャリブレーション誤り表示枠
発明を実施するための最良の形態
以下、本発明の実施の形態を、図面を用レ、て説明する。なお、本発明はこれら実施 の形態に何ら限定されるものではなぐその要旨を逸脱しない範囲において、種々な る態様で実施し得る。
[0031] 本発明は、実空間上に設置した世界座標とカメラが撮影した画像上に設置した画 像座標との対応に基づいてカメラパラメータを求めるカメラキャリブレーション装置及 びカメラキャリブレーション方法に関するものであるが、本実施形態では、世界座標が 既知の指標点を複数用意し、画像座標上の対応点を手動で求め、カメラパラメータ を求める場合について説明する。
[0032] 図 1は、本発明の一実施形態におけるキャリブレーション装置を説明するための概 略構成図である。図 1において、カメラ A101は撮影した画像をキャリブレーション装 置 Al l 1に出力するものであり、キャリブレーション装置 Al l 1は、世界座標と画像座 標との対応に基づいてカメラパラメータを求めるものであり、入力装置 A121はマウス やキーボード等によりキャリブレーション装置 Al l 1へ情報を入力するものであり、モ ニタ A131はキャリブレーション装置 A111から出力された画像を表示するものである
[0033] キャリブレーション装置 Al l 1は、映像情報とキャリブレーション結果を合成する表 示制御部 A112と、世界座標の座標値が既知の指標点と前記指標点に対応する前 記画像座標における対応点の座標組からカメラパラメータを求めるキャリブレーション 部 A113と、キャリブレーション誤差を計算して指標点の世界座標値と対応点の画像 座標値との対応誤りを検出し、修正処理を行うキャリブレーション修正部 A114とで構 成される。
[0034] カメラ A101は、レンズに映る映像を入力とし、映像データを表示制御部 A112へ出 力する。表示制御部 A112は、カメラ A101が出力する映像データとキヤリブレーショ ン修正部 A114が出力するキャリブレーション結果を入力とし、映像情報にキヤリブレ ーシヨン誤差結果を重畳した画像データをモニタ A131に出力する。つまり、表示制 御部 A112は、キャリブレーション修正部 A114で検出された対応誤りを、指標点と対 応点とを対応付けてモニタ A131に表示させる。
[0035] キャリブレーション部 A113は、入力装置 A121が出力するキーボードの数値入力と マウス操作を入力とし、指標点の管理番号と世界座標と画像座標を対応付けた指標 点座標組を作成し、カメラパラメータと世界座標と画像座標をキャリブレーション修正 部 A114に出力する。また、キャリブレーション修正部 A114が出力する指標点座標 組を入力とし、カメラパラメータをキャリブレーション修正部 A114に出力する。
[0036] キャリブレーション修正部 A114は、キャリブレーション部 Al l 3が出力するカメラパ ラメータと指標点座標組を入力とし、キャリブレーション結果を表示制御部 A112に出 力する。また、キャリブレーション結果を計算する過程で、指標点座標組をキヤリブレ ーシヨン部 A113に出力する。入力装置 A121は、ユーザからの操作を入力とし、キ 一ボードの数値入力やマウス操作をキャリブレーション部 Al l 3に出力する。
[0037] 図 2は、キャリブレーションの手順を説明するためのフローチャートである。図 2を用 いて、キャリブレーションの方法を説明する。図 2において、キャリブレーションが開始 されると、ステップ SA201では、ユーザがカメラ A101の撮影範囲内に指標点を設置 し、指標点の世界座標を三角測量等で事前に測定する。
[0038] ステップ SA202では、ステップ SA201で設置した指標点が表示されるモニタ A13 1の画面内からユーザが指標点を探索し、指標点の中心にマウスポインタを重ねタリ ック操作を行う事で指標点の画像座標を指定する。
[0039] ステップ SA203では、世界座標を入力するウィンドウが自動的にモニタ A131の画 面上に表示されるので、ユーザが事前に測定した世界座標の座標値をキーボードに より入力する。
[0040] ステップ SA204では、キャリブレーション部 A113が、入力された世界座標及び画 像座標から指標点座標組を作成する。次に、（指標点座標組の個数 < 6)の条件を 満たすか判定し、条件を満たす場合 (Yes)はカメラパラメータを作成できないのでス テツプ SA202へ戻り、それ以外（No)はステップ SA205へ進む。
[0041] ステップ SA205では、キャリブレーション部 Al l 3及びキャリブレーション修正部 A1 14がカメラパラメータ作成処理を行レ、、検出された指標点の世界座標値と対応点の 画像座標値との対応誤りを、指標点と対応点とを対応付けて表示させる。カメラパラメ ータ作成処理については、図 3のフローチャートで詳細に説明する。
[0042] ステップ SA206では、ステップ SA205の処理結果を判断し、処理結果にキヤリブ レーシヨン誤りが有る場合 (Yes)はステップ SA207へ進み、それ以外（No)はステツ プ SA208へ進む。ステップ SA207では、キャリブレーション誤りに対しユーザが誤り 修正作業を行い、修正処理が終わるとステップ SA205へ戻る。
[0043] ステップ SA208では、キャリブレーション部 A113力 一定のキャリブレーション精 度を保っために必要とする指標点座標組の個数 A力ステップ SA205の出力である カメラパラメータ作成に利用した指標点座標組の個数 Bより多いか判断し、 Bく Aの 場合 (Yes)はステップ SA202へ戻り、 Aく =Bでカメラパラメータ算出に必要な指標 点座標組が得られた場合（No)はステップ SA209へ進む。ステップ SA209では、力 メラパラメータを出力し、キャリブレーションを終了する。
[0044] 図 3は、図 2のステップ SA205におけるカメラパラメータ作成処理の流れを示すフロ 一チャートである。カメラパラメータ作成処理が開始されると、ステップ SA301では、 間違った指標点座標組の個数を表すループ変数 Nを 0とし、平均キャリブレーション 誤差の最小値 e—minに考えられる最大値以上を代入する。
[0045] ステップ SA302では、キャリブレーション修正部 A114力 カメラパラメータ作成処 理時に与えられた指標点座標組の個数を M個として、カメラパラメータ作成に利用す る指標点座標組の個数 (M— N)個が 6個より小さレ、か判定し、 6個より少なレ、場合 (Y es)はステップ SA311へ進み、 6個以上の場合（No)はステップ SA303へ進む。
[0046] ステップ SA303では、 M個の指標点座標組から（M— N)個を選択する。次に、ス テツプ SA304では、キャリブレーション修正部 A114がステップ SA303で選んだ指 標点座標組の集合をキャリブレーション部 Al l 3に出力し、カメラパラメータをキヤリブ レーシヨン部 A113から受け取る。
[0047] ステップ SA305では、キャリブレーション修正部 A114が平均キャリブレーション誤 差 e_averageを計算する。次に、ステップ SA306では、 e_minと e_averageを比 較し、 e_averageが最小値ならば更新を行レ、、現在の（M_N)個の指標点座標組 とカメラパラメータを記憶する。
[0048] ステップ SA307では、ステップ SA303で実施した M個の指標点座標組から（M_ N)個を選択する他の組合せが存在するか判定し、他の組合せが存在する場合 (Ye s)はステップ SA303へ戻り、すべての組合せを実施した場合（No)はステップ SA30 8へ進む。 [0049] ステップ SA308では、 e_minと平均キャリブレーション誤差の閾値 Thを比較し、 e
_min >Thを満たす（Yes)ならステップ SA309へ進み、それ以外（No)はステップ
SA310へ進む。キャリブレーション誤差の閾値 Thはユーザが自由に変更可能で、 カメラパラメータ作成処理の結果に応じて変更してもよい。
[0050] ステップ SA309では、平均キャリブレーション誤差が閾値より大きいため、間違った 指標点座標組が存在すると仮定し、間違った指標点座標組の個数を表すループ変 数 Nを一つ増やし、ステップ SA302へ戻る。
[0051] ステップ SA310では、 N = 0か判定し、 N = 0の場合（Yes)はキャリブレーション誤 りが無いのでステップ SA312へ進み、それ以外（No)は誤りが存在するのでステップ
SA311へ進む。
[0052] ステップ SA311では、ステップ SA306の e— minを更新した際に記憶した指標点 座標組の集合以外の、残りの指標点座標組の集合を、キャリブレーション誤りとして 出力する。これは、ステップ SA306の e— minを更新した際に記憶した指標点座標 組の集合が、平均キャリブレーション誤差が Th以下という一定の精度を保っため、そ れ以外の指標点座標組が世界座標入力ミス等のキャリブレーション誤りを含むという 考えに基づくアルゴリズムである。
[0053] ステップ SA312では、ステップ SA306の e— minを更新した際に記憶したカメラパ ラメータ及び (M— N)個の指標点座標組を出力し、カメラパラメータ作成処理を終了 する。
[0054] 図 4から図 9は、修正処理時の画面を表す図である。図 4から図 9を用いて、修正処 理を説明する。図 4は、修正処理時の画面を示し、 A401はカメラ A101の映像画像 、 A402はカメラパラメータ作成処理結果ウィンドウ、 A403は指標点管理番号、 A40 4は画面上の指標点の場所を表す指標アイコン、 A405はキャリブレーション誤りが 発生したと推測される指標点座標組を表す誤り表示枠、 A406は修正ウィンドウ、 A4 07はマウスポインタである。
[0055] 図 5は、カメラパラメータ作成処理結果ウィンドウ A402を表す図であり、カメラパラメ ータ作成結果表 A501が示され、誤り表示枠 A502はキャリブレーション誤りが発生し たと推測される指標点座標組を表わすものであり、選択表示枠 A503はマウスポイン タが指し示す指標点座標組を表わすものである。
[0056] 図 6は、修正ウィンドウ A406を表す図であり、世界座標修正フォーム A601a， A60 lb, A601c、画像座標修正フォーム A602a, A602b、削除ボタン A603が示されて いる。
[0057] キャリブレーションが開始されると、モニタ A131の画面上にはカメラ A101が撮影 する映像画面 A401 (図 4参照）が表示される。その後、指標点座標組が入力されると 、指標点管理番号 A403及び指標点アイコン A404が画面上の対応する位置に表示 される。ユーザは、指標点管理番号 A403及び指標点アイコン A404を見る事で、入 力した指標点座標組の画面上の位置（画像座標）を容易に確認できる。
[0058] 指標点座標組を数個入力しカメラパラメータ作成処理 SA205が完了すると、カメラ ノ メータ作成結果ウィンドウ A402 (図 5参照）が表示される。カメラパラメータ作成 結果ウィンドウ A402は、指標点管理番号、画像座標、世界座標とカメラパラメータに より変換した後の画像座標、画像座標と変換後の画像座標との誤差であるキヤリブレ ーシヨン誤差、世界座標、備考の各要素で構成されるカメラパラメータ作成結果表 A 501を表示し、各指標点座標組の中身、キャリブレーション誤差を確認できる。この時 、画面上に表示される指標点アイコンと、カメラパラメータ処理結果ウィンドウ A402 内に表示される指標点アイコンの世界座標や画像座標及びキャリブレーション誤差 等の対応付けが視覚的効果を施して行われる。
[0059] なお、カメラ作成結果ウィンドウ A402内に表示するカメラパラメータ作成結果表 A5 01は、すべての指標点座標組のデータを表示する必要は特に無ぐ例えば修正す べき指標点座標組を明確にするため、キャリブレーション誤り（対応誤り）が存在する 指標点座標組 (指標点管理番号「1」に該当する列）とマウスポインタ A407が指し示 す指標点アイコンの指標点座標組の情報のみを表示してもよ これらに限定される ものでない。
[0060] ここで、他の情報を表示する理由は、修正時に他の指標点のデータを眺めながら 修正する場合を想定したためである。例えば、画面上に指標点が等間隔で並び、そ れぞれの指標点の世界座標の高さが一定であるにもかかわらず、実際に入力した世 界座標の高さが違う場合、他の指標点座標組の世界座標を参照することで容易に正 確な値を入力することができる。
[0061] キャリブレーション誤りが存在する場合は、誤った指標点の指標点アイコン (指標点 管理番号 1)を中心に誤り表示枠 A405が、また誤った指標点に対応するカメラパラメ ータ作成結果ウィンドウ A402の列（指標点管理番号 1の列）に誤り表示枠 A502が 表示される。ユーザは、キャリブレーション誤り表示枠 A405を見ることで、画面上のど の指標点座標組が間違っているかを容易に確認できる。このように、対応誤りを、誤り 表示枠 A405及び A502を用いて指標点と対応点とを対応付けて表示することにより 、キャリブレーションの修正を行うべき指標点及び対応点を容易に特定できる為、キ ヤリブレーシヨン修正作業を簡易化できる。
[0062] また、誤り表示枠 A405及び誤り表示枠 A502は、枠の種類、色、太さ、形状が統一 されており、画面上に表示される指標点アイコンと、カメラパラメータ処理結果ウィンド ゥ A402内に表示される指標点アイコンの世界座標や画像座標及びキヤリブレーショ ン誤差等の対応付けが明確になる為、キャリブレーションの修正を行うべき指標点及 び対応点をより容易に特定でき、キャリブレーション修正作業を一層簡易化できる。
[0063] また、キャリブレーション誤り表示枠 A405、 A502は、キャリブレーション誤差に応じ て枠の種類、色、太さ、形状等が決まる。例えば、図 5の誤り表示枠 A502が指し示 す指標点座標組の世界座標や画像座標を修正し、キャリブレーション誤差が 20から 10に減った場合、図 4に示す画面上の誤り表示枠 A405は、誤差が半分に減ったの で、円の半径も半分になり、図 9に示すような誤り表示枠 A901になる。また、正しく修 正され、キャリブレーション誤差が許容範囲内に収まると、誤り表示枠は消える。
[0064] これにより、画面上の誤り表示枠である円の半径から、キャリブレーション誤差の相 対的な大きさが分力り修正作業の優先順位を決める材料になるだけでなぐキヤリブ レーシヨン誤差の変化が誤り表示枠の直径の変化として反映され視覚的に表現され るため、数値の変化を見るよりも直感的に分力^易い。
[0065] 誤り表示枠を手がかりに修正処理を行う方法は、二種類存在する。カメラパラメータ 作成結果ウィンドウ A402内の世界座標や画像座標をマウスポインタ A407で指定し キーボード等で数値入力を行い直接修正する場合と、マウスアイコン A407を画面上 の修正する指標点アイコンに近づけ、ダブルクリック等の動作により選択し、修正ウイ ンドウ A406を表示して修正する場合とがある。
[0066] 修正ウィンドウ A406を利用し画像座標を修正する場合は、指標点アイコン A404 をマウスポインタ A407でドラックし、画面上の正しい場所へ移動させるか、修正ウイ ンドウ A406内の画像座標修正フォーム A602に修正値を入力する。世界座標を修 正する場合は、修正ウィンドウ A406内の世界座標修正フォーム A601に修正値を 入力する。
[0067] 本実施形態では、修正作業の効率化を行うために、修正すべき指標点座標組内の どの世界座標や画像座標成分が間違ってレ、るのかを提示する。画像座標が間違つ てレ、る場合は、キャリブレーション時に設置した指標点の位置に指標点アイコンが存 在する力確認することでユーザが判断する。
[0068] 世界座標が間違っている場合は、図 5に示す選択表示枠 A503や図 6に示す A60 3の様に、間違いの箇所の色を反転するなどして、修正箇所を提示する。
[0069] 誤った世界座標の成分を推定する方法として例えば、図 7に示す世界座標におい て、カメラパラメータ C、指標点座標組の画像座標 (u, V)、世界座標 A701 (X, Υ, Z )とした場合、カメラパラメータ Cと画像座標 (u， v)とスケール sを媒介変数として用い る事で世界座標上に直線 A702が描画できる。この直線は、画像座標 (u, V)がカメラ ノ メータ Cにより世界座標のどの位置へ変換されるかを表す直線である。
[0070] 指標点座標組の世界座標 A701が正しい場合、直線 A702上に存在するが、世界 座標 A701が間違っている場合は、直線から離れる。この原理を応用し、世界座標 A 701と最も近レ、直'乎泉 A702上の点、 A703 (Xp， Yp, Ζρ)を求め、点、 Α703と世界座標 A701の各成分の差 I Χ_Χρ I， I Υ-Υρ I , I Ζ - Ζρ Iが閾値以上であるかを 判定し、閾値以上である成分の世界座標が間違っていると推定することが可能であ る。
[0071] また、推定結果を利用し、間違っていると推定した世界座標の成分に、その成分に 対応する点 A703 (Xp， Yp, Zp)の成分 (例えば、世界座標の X成分が間違っている と推定された場合は、 Xp)を代入し自動修正することも可能である。
[0072] さらに、実測した指標点の世界座標全体を表す世界座標一覧表を記憶し、指標点 座標組内の世界座標や画像座標は正しいが、指標点座標組を入力する際に世界座 標と画像座標の対応を間違えたと仮定して修正時に候補となる世界座標の値を提示 してもよい。
[0073] 例えば、修正する指標点座標組の画像座標 (u， v)、世界座標一覧表内の N番目 の世界座標（X_N, Y_N, Z_N)、世界座標（X_N, Y_N, Z_N)とカメラパラ メータから変換した画像座標 (u_N， v_N)で表わすと、画像座標 (u, V)と画像座 標（u_N, v_N)の距離の差が最も小さい時の世界座標（X_N, Y_N, Z_N)が 候補となる世界座標の値である。
[0074] また、マウス等で画像座標を入力、修正する際に、マウスポインタ周辺の映像画面 を一時的に拡大表示してもよぐ手動による画像座標の入力、修正時の誤りを減らす 効果がある。
[0075] また、マウス操作が不慣れなため、手動による画像座標入力が少しずれていると仮 定し、カメラパラメータを作成した際に用いた指標点座標組の画像座標に一定の幅 を持たせカメラパラメータ計算を行レ、、最も平均キャリブレーション誤差が小さくなる 時のカメラパラメータを自動的に求めてもょレ、。
[0076] また、事前に世界座標の一成分を与え、カメラパラメータを求めた画面上の任意の 点をマウスのクリック操作により指定することで、現状求めたカメラパラメータから残り 二成分の世界座標を計算し、計算結果をユーザに提示し、キャリブレーションの精度 を確認しても良レ、。これにより、カメラパラメータの誤差を直感的に提示することができ る。
[0077] 例えば、図 8で示すように、高さ 2mの道路標識 A801〜A803が世界座標の Y軸 方向 A804に 6m間隔で並んでいる場合、世界座標の Z成分を 2mと指定した後、マ ウスポインタ A805を道路指標の各頂点に合わせ順次クリックすると、世界座標表示 ウィンドウ A806内の Y軸成分 A807のみが 6mずつ変化し、 X軸成分 A808， Z軸成 分 A809は変化しない場合は、正しいキャリブレーションが行えたと判断できる。
[0078] これにより、キャリブレーションを行ったその場で、簡単にかつ直感的にキヤリブレー シヨン精度を確認することが可能となる。なお、世界座標の一成分は、マウスをクリック した後修正してもよ これらに限定されるものではない。
[0079] また、指標点と対応点との対応誤りが検出される毎に、対応誤りを逐次表示させて も良い。これにより、カメラから出力される画像の表示を見ながらリアルタイムでキヤリ ブレーシヨンの修正を行うことができる。
[0080] また、本実施例では、指標点の画像座標や世界座標の入力を手動で行ったが、指 標点の色、形状、周辺背景等からテンプレートマッチング等の画像認識技術により画 像座標上の対応点を自動的に求めてもよい。この構成によれば、対応点の座標入力 を手動で行う必要がなくなる為、人為的な入力ミスを低減することができる。このとき、 表示する方法や表示するべき指標点の表示形態をカメラキャリブレーション誤差の値 に応じて変えるとよい。例えば、明らかに正しいものは表示しない、誤差が大きい場 合は検出結果や使用したテンプレート等を表示する、通常は検出結果のみ表示する 等が考えられる。キャリブレーション誤差の値に応じて指標点の表示形態を変えるこ とにより、画像認識による指標点の入力が正しいか否力をユーザが容易に判断でき る。
[0081] その場合、指標点座標組の画像座標の対応誤りが発生するため、キヤリブレーショ ン修正時に、画像認識により指標点を認識した結果や、閾値等の画像認識の条件、 用いた指標点のテンプレート等を画面上に提示し、画像処理による指標点の自動認 識が正しいの力をユーザが容易に判断できるようにしてもよく、これらに限定されるも のではない。これにより、指標点座標組の画像座標入力が自動化できる。
[0082] また、同様に指標点の色、形状、周辺背景等に世界座標を対応付けておくことで更 に世界座標入力も自動化でき、カメラで指標点を写すだけでキャリブレーションが可 能となる。
[0083] また、キャリブレーション誤差を判断する方法として、入力した指標点座標組の世界 座標を求めたカメラパラメータにより画像座標に変換して画面上に指標点アイコンと は別の手段で表示してもよレ、。この時、キャリブレーション誤差が少ない場合は、画面 上の指標点アイコンの位置（=入力した指標点の画像座標）に近づき、誤差が多い 場合は離れる。
[0084] 本実施形態のキャリブレーション装置は、商店街や駅構内、街頭などに設置した監 視力メラ等のキャリブレーションを実行する場合に有用である。また、空港や港湾や河 川の監視といった広域監視用カメラのキャリブレーションにも応用できる。 [0085] 本発明を詳細にまた特定の実施態様を参照して説明したが、本発明の精神と範囲 を逸脱することなく様々な変更や修正をカ卩えることができることは当業者にとって明ら かである。
本出願は、 2004年 8月 27日出願の日本特許出願（特願 2004— 247931)に基づくも のであり、その内容はここに参照として取り込まれる。
産業上の利用可能性
[0086] 本発明は、検出された対応誤りを、指標点と対応点とを対応付けて映像表示装置 に表示させる表示制御手段を備えることにより、キャリブレーションの修正を行うべき 指標点及び対応点を容易に特定できる為、キャリブレーション修正作業を簡易化で きる効果を有し、実空間上に設置した世界座標とカメラが撮影した画像上に設置した 画像座標との対応に基づいてカメラパラメータを求めるカメラキャリブレーション装置 及びカメラキャリブレーション方法等に有用である。

Claims

請求の範囲
[1] 実空間上に設置した世界座標とカメラが撮影した画像上に設置した画像座標との 対応に基づいてカメラパラメータを求めるカメラキャリブレーション装置であって、 前記世界座標の座標値が既知の指標点と前記指標点に対応する前記画像座標に おける対応点の座標組からカメラパラメータを求めるキャリブレーション手段と、 前記指標点の世界座標値と前記対応点の画像座標値との対応誤りを検出する検 出手段と、
検出された対応誤りを、前記指標点と前記対応点とを対応付けて映像表示装置に 表示させる表示制御手段と、
を備えるカメラキャリブレーション装置。
[2] 請求項 1記載のカメラキャリブレーション装置であって、
前記表示制御手段は、検出された対応誤りを視覚的効果を施して表示させるカメラ キャリブレーション装置。
[3] 請求項 1又は 2記載のカメラキャリブレーション装置であって、
前記表示制御手段は、検出された対応誤りを、キャリブレーション誤差の計算結果 に応じた表示形態で表示させるカメラキャリブレーション装置。
[4] 請求項 1なレ、し 3のレ、ずれか一項記載のカメラキャリブレーション装置であって、 前記表示制御手段は、対応誤りが検出された前記世界座標値の成分を強調して 表示させるカメラキャリブレーション装置。
[5] 請求項 1なレ、し 4のレ、ずれか一項記載のカメラキャリブレーション装置であって、 前記表示制御手段は、検出された対応誤りが表示される領域を拡大して表示させ るカメラキャリブレーション装置。
[6] 請求項 1なレ、し 5のレ、ずれか一項記載のカメラキャリブレーション装置であって、 前記表示制御手段は、対応誤りが検出される毎に、前記対応誤りを逐次表示させ るカメラキャリブレーション装置。
[7] 請求項 1ないし 6のいずれか一項記載のカメラキャリブレーション装置であって、 前記表示制御手段は、現状求めたカメラパラメータを使用して、指定された前記映 像表示装置上の任意の点と入力された世界座標の一成分とから計算した残りの世界 座標に基づいて、前記対応誤りを表示するカメラキャリブレーション装置。
[8] 請求項 1なレ、し 7のレ、ずれか一項記載のカメラキャリブレーション装置であって、 前記表示制御手段は、前記指標点を画像認識して求めた画像座標上の対応点に 基づいて、前記対応誤りを表示するカメラキャリブレーション装置。
[9] 請求項 8記載のカメラキャリブレーション装置であって、
前記表示制御手段は、前記対応誤りを、キャリブレーション誤差の計算結果に応じ た表示形態で表示させるカメラキャリブレーション装置。
[10] 実空間上に設置した世界座標とカメラが撮影した画像上に設置した画像座標との 対応に基づいてカメラパラメータを求めるカメラキャリブレーション方法であって、 前記世界座標の座標値が既知の指標点と前記指標点に対応する前記画像座標に おける対応点の座標組からカメラパラメータを求め、
前記指標点の世界座標値と前記対応点の画像座標値との対応誤りを検出し、 検出された対応誤りを、前記指標点と前記対応点とを対応付けて映像表示装置に 表示させるカメラキャリブレーション方法。
PCT/JP2005/015053 2004-08-27 2005-08-18 カメラキャリブレーション装置及びカメラキャリブレーション方法 WO2006022184A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US11/573,461 US20090021580A1 (en) 2004-08-27 2005-08-18 Camera calibration device and camera calibration method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2004247931A JP2006067272A (ja) 2004-08-27 2004-08-27 カメラキャリブレーション装置及びカメラキャリブレーション方法
JP2004-247931 2004-08-27

Publications (1)

Publication Number Publication Date
WO2006022184A1 true WO2006022184A1 (ja) 2006-03-02

Family

ID=35967397

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2005/015053 WO2006022184A1 (ja) 2004-08-27 2005-08-18 カメラキャリブレーション装置及びカメラキャリブレーション方法

Country Status (4)

Country Link
US (1) US20090021580A1 (ja)
JP (1) JP2006067272A (ja)
CN (1) CN101010958A (ja)
WO (1) WO2006022184A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2059903B1 (fr) * 2006-09-08 2014-06-25 Digital Barriers SAS Procede et outil de configuration d'au moins un systeme de videosurveillance intelligente
US8866904B2 (en) 2009-03-31 2014-10-21 Aisin Seiki Kabushiki Kaisha Calibrating apparatus for on-board camera of vehicle

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2880752A1 (fr) * 2005-01-10 2006-07-14 Thomson Licensing Sa Methode de construction d'une adresse de diffusion unique par un serveur et serveur utilisant cette methode
JP4574473B2 (ja) * 2005-07-11 2010-11-04 キヤノン株式会社 情報処理装置および方法
US8212873B2 (en) * 2006-02-14 2012-07-03 Corley Ferrand D E Security camera image correction system and method
JP5566281B2 (ja) * 2008-03-03 2014-08-06 Ｔｏａ株式会社 旋回型カメラの設置条件特定装置および方法ならびに当該設置条件特定装置を備えるカメラ制御システム
EP2164043A1 (en) * 2008-09-12 2010-03-17 March Networks Corporation Video camera calibration and perspective calculation
JP4996585B2 (ja) * 2008-11-20 2012-08-08 日本放送協会 画像校正評価装置及び画像校正評価プログラム
JP5714232B2 (ja) * 2009-03-12 2015-05-07 オムロン株式会社 キャリブレーション装置および３次元計測のためのパラメータの精度の確認支援方法
WO2010109730A1 (ja) * 2009-03-26 2010-09-30 アイシン精機株式会社 カメラ校正装置
US9041796B2 (en) * 2010-08-01 2015-05-26 Francis Ruben Malka Method, tool, and device for determining the coordinates of points on a surface by means of an accelerometer and a camera
JP6490963B2 (ja) * 2012-03-12 2019-03-27 住友化学株式会社 光学表示部品のアライメント装置及び光学表示部品のアライメント方法
US8786707B1 (en) * 2012-03-19 2014-07-22 Google Inc. Pattern-free camera calibration for mobile devices with accelerometers
US20140132640A1 (en) * 2012-11-14 2014-05-15 Qualcomm Incorporated Auto-scaling of an indoor map
US20140204200A1 (en) * 2013-01-24 2014-07-24 Wipro Limited Methods and systems for speed calibration in spectral imaging systems
JP5846140B2 (ja) * 2013-02-27 2016-01-20 沖電気工業株式会社 情報処理装置、及びプログラム
JP5835287B2 (ja) * 2013-08-21 2015-12-24 沖電気工業株式会社 画像分析装置および画像分析方法
JP6619927B2 (ja) 2014-10-24 2019-12-11 株式会社日立製作所 キャリブレーション装置
US10719956B2 (en) * 2017-03-14 2020-07-21 Nec Corporation Camera parameter estimation apparatus, camera parameter estimation method, and computer-readable recording medium
JP7228341B2 (ja) 2018-06-13 2023-02-24 富士通株式会社 画像処理装置、画像処理方法、及び画像処理プログラム
CN111442850B (zh) * 2020-05-29 2021-06-11 张梅 一种红外测温摄像机校准方法
CN112729559B (zh) * 2020-12-29 2024-07-05 上海瑞岳机电设备有限公司 一种lf炉炉内钢水温度监测系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001187552A (ja) * 1999-10-19 2001-07-10 Toyota Autom Loom Works Ltd 映像位置関係補正装置、該映像位置関係補正装置を備えた操舵支援装置、及び映像位置関係補正方法
JP2002135765A (ja) * 1998-07-31 2002-05-10 Matsushita Electric Ind Co Ltd カメラキャリブレーション指示装置及びカメラキャリブレーション装置
JP2003284059A (ja) * 2002-03-27 2003-10-03 Toshiba Lighting & Technology Corp カメラ画像による移動物体追跡装置およびカメラパラメータのキャリブレーション方法並びに装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6819867B2 (en) * 2001-05-30 2004-11-16 Panavision, Inc. Hand-held remote control and display system for film and video cameras and lenses
EP1349114A3 (en) * 2002-03-19 2011-06-15 Canon Kabushiki Kaisha Sensor calibration apparatus, sensor calibration method, program, storage medium, information processing method, and information processing apparatus

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002135765A (ja) * 1998-07-31 2002-05-10 Matsushita Electric Ind Co Ltd カメラキャリブレーション指示装置及びカメラキャリブレーション装置
JP2001187552A (ja) * 1999-10-19 2001-07-10 Toyota Autom Loom Works Ltd 映像位置関係補正装置、該映像位置関係補正装置を備えた操舵支援装置、及び映像位置関係補正方法
JP2003284059A (ja) * 2002-03-27 2003-10-03 Toshiba Lighting & Technology Corp カメラ画像による移動物体追跡装置およびカメラパラメータのキャリブレーション方法並びに装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2059903B1 (fr) * 2006-09-08 2014-06-25 Digital Barriers SAS Procede et outil de configuration d'au moins un systeme de videosurveillance intelligente
US8866904B2 (en) 2009-03-31 2014-10-21 Aisin Seiki Kabushiki Kaisha Calibrating apparatus for on-board camera of vehicle

Also Published As

Publication number Publication date
US20090021580A1 (en) 2009-01-22
CN101010958A (zh) 2007-08-01
JP2006067272A (ja) 2006-03-09

Similar Documents

Publication Publication Date Title
WO2006022184A1 (ja) カメラキャリブレーション装置及びカメラキャリブレーション方法
US10825198B2 (en) 3 dimensional coordinates calculating apparatus, 3 dimensional coordinates calculating method, 3 dimensional distance measuring apparatus and 3 dimensional distance measuring method using images
JP6833366B2 (ja) 情報処理装置、情報処理装置の制御方法及びプログラム
Ellenberg et al. Use of unmanned aerial vehicle for quantitative infrastructure evaluation
JP5566281B2 (ja) 旋回型カメラの設置条件特定装置および方法ならびに当該設置条件特定装置を備えるカメラ制御システム
JP5714232B2 (ja) キャリブレーション装置および３次元計測のためのパラメータの精度の確認支援方法
JP4774824B2 (ja) ３次元計測処理の計測対象範囲の確認方法および計測対象範囲の設定方法ならびに各方法を実施する装置
US8780223B2 (en) Automatic determination of compliance of a part with a reference drawing
JP2008021092A (ja) ロボットシステムのシミュレーション装置
US20060268108A1 (en) Video surveillance system, and method for controlling the same
JP4234059B2 (ja) カメラキャリブレーション方法およびカメラキャリブレーション装置
JP2014013147A5 (ja)
JP6506032B2 (ja) 測量データ処理装置、測量データ処理方法およびプログラム
US20180225839A1 (en) Information acquisition apparatus
JP5079547B2 (ja) カメラキャリブレーション装置およびカメラキャリブレーション方法
US11222433B2 (en) 3 dimensional coordinates calculating apparatus and 3 dimensional coordinates calculating method using photo images
JP2007212187A (ja) ステレオ写真計測装置、ステレオ写真計測方法、及びステレオ写真計測プログラム
JP2005174151A (ja) 三次元画像表示装置及び方法
JP2019066292A (ja) 映像表示システム
CN114726978A (zh) 信息处理装置、信息处理方法以及程序
JPH10318715A (ja) 画像測定装置
JP7005799B2 (ja) 情報処理装置、情報処理装置の制御方法及びプログラム
WO2022138222A1 (ja) 情報処理装置、情報処理方法、及び、プログラム
WO2023224030A1 (ja) 情報処理方法、情報処理装置、及び情報処理プログラム
WO2023223887A1 (ja) 情報処理装置、情報処理方法、表示制御装置、表示制御方法

Legal Events

Date Code Title Description
AK Designated states

Kind code of ref document: A1

Designated state(s): AE AG AL AM AT AU AZ BA BB BG BR BW BY BZ CA CH CN CO CR CU CZ DE DK DM DZ EC EE EG ES FI GB GD GE GH GM HR HU ID IL IN IS KE KG KM KP KR KZ LC LK LR LS LT LU LV MA MD MG MK MN MW MX MZ NA NG NI NO NZ OM PG PH PL PT RO RU SC SD SE SG SK SL SM SY TJ TM TN TR TT TZ UA UG US UZ VC VN YU ZA ZM ZW

AL Designated countries for regional patents

Kind code of ref document: A1

Designated state(s): GM KE LS MW MZ NA SD SL SZ TZ UG ZM ZW AM AZ BY KG KZ MD RU TJ TM AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IS IT LT LU LV MC NL PL PT RO SE SI SK TR BF BJ CF CG CI CM GA GN GQ GW ML MR NE SN TD TG

121 Ep: the epo has been informed by wipo that ep was designated in this application
WWE Wipo information: entry into national phase

Ref document number: 11573461

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 200580028952.3

Country of ref document: CN

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase