WO2017208314A1 - カメラシステム及びその自己較正方法 - Google Patents

カメラシステム及びその自己較正方法 Download PDF

Info

Publication number
WO2017208314A1
WO2017208314A1 PCT/JP2016/065954 JP2016065954W WO2017208314A1 WO 2017208314 A1 WO2017208314 A1 WO 2017208314A1 JP 2016065954 W JP2016065954 W JP 2016065954W WO 2017208314 A1 WO2017208314 A1 WO 2017208314A1
Authority
WO
WIPO (PCT)
Prior art keywords
camera
calibration
positions
target position
parameter
Prior art date
Application number
PCT/JP2016/065954
Other languages
English (en)
French (fr)
Inventor
媛 李
誠也 伊藤
Original Assignee
株式会社日立製作所
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社日立製作所 filed Critical 株式会社日立製作所
Priority to PCT/JP2016/065954 priority Critical patent/WO2017208314A1/ja
Publication of WO2017208314A1 publication Critical patent/WO2017208314A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/02—Mountings, adjusting means, or light-tight connections, for optical elements for lenses
    • G02B7/04—Mountings, adjusting means, or light-tight connections, for optical elements for lenses with mechanism for focusing or varying magnification
    • G02B7/08—Mountings, adjusting means, or light-tight connections, for optical elements for lenses with mechanism for focusing or varying magnification adapted to co-operate with a remote control mechanism
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00—Details of cameras or camera bodies; Accessories therefor
    • G03B17/56—Accessories

Definitions

  • the present invention relates to a camera system having a monocular camera or a plurality of cameras, and a self-calibration method thereof.
  • a stereo camera having a plurality of cameras, or the like Before using a monocular camera, a stereo camera having a plurality of cameras, or the like, camera calibration (camera calibration) is performed to match the image with the actual environment, thereby correcting the image distortion.
  • various sensing and recognition processes can be performed using a calibrated camera. Therefore, in order to realize sensing and video recognition with multiple cameras such as a monocular camera or a stereo camera with two or more cameras, a method for estimating camera parameters necessary for camera calibration is used. ing.
  • the camera parameter is camera information indicating the focal length and direction of the camera, and is roughly divided into two parameters, an internal parameter and an external parameter.
  • Expression (1) represents the correspondence between image coordinates (u, v) as internal parameters and world coordinates (XW, YW, ZW) as external parameters.
  • f is a focal length
  • ⁇ is an aspect ratio
  • s is a skew
  • (u 0 , v 0 ) are center coordinates of coordinates as internal parameters.
  • R is a rotation matrix indicating the orientation of the camera
  • T is a parallel progression indicating the positional relationship between the cameras.
  • R indicating the camera direction is represented by three parameters of pan ⁇ , tilt ⁇ , and roll ⁇ that are camera installation angles when defined by Euler angles. Is done. Calibration techniques are required to calculate internal parameters and external parameters, respectively.
  • Non-Patent Document 1 In general calibration, for example, as described in Non-Patent Document 1, the position of a calibration pattern is photographed from various directions, and a comparison operation between an ideal appearance and an actually photographed image is performed. For example, the optimum solution of the internal parameter and the external parameter is obtained so as to take the least square error.
  • the method of Non-Patent Document 1 often estimates a parameter at the time of camera shipment and executes a predetermined process on the basis of the parameter. In video recognition, the estimation accuracy of these parameters is affected by recognition performance. In particular, when the camera parameters are changed or the camera body is deformed, the influence of the calibration accuracy becomes significant.
  • a self-calibration method that automatically performs camera calibration is also known.
  • a widely used method is to extract feature points from an image and perform self-calibration. For example, as described in Patent Document 1, a stereo camera is mounted on a car, and the camera is calibrated based on feature points from a scene photographed during traveling.
  • each of the plurality of postures is calibrated offline, the estimation results are accumulated in a database, and read online from the database when online. There is a way to adjust.
  • Each method is a method for estimating internal parameters and external parameters of the camera.
  • Non-Patent Document 1 a parameter is often estimated at the time of camera shipment, and a predetermined process is executed on the assumption of the parameter.
  • the estimation accuracy of these parameters is affected by recognition performance.
  • the influence of the calibration accuracy becomes significant.
  • sensing is performed while the camera is zoomed or rotated. As described above, since the sensing accuracy decreases according to changes in zoom, rotation, and translation, it is necessary to calibrate the camera again.
  • the camera is calibrated after moving to the camera position, there is a problem that it takes time to complete the calibration and the target is missed.
  • the amount of feature points is calculated, and if the distribution is equal to or greater than a certain distribution, the calibration can be performed with high accuracy.
  • feature points may be insufficient. There is a problem that it is difficult to estimate.
  • Non-Patent Document 2 needs to be calibrated at a plurality of positions when used at a plurality of positions, which takes time and is not realistic. There is a cost issue.
  • an object of the present invention is to provide a camera system and a self-calibration method capable of performing self-calibration even when the angle of view and orientation of the camera are changed.
  • the present invention is a real video input unit that inputs video from a camera, a feature point analysis unit that analyzes feature points of two videos obtained from the real video input unit, and a correspondence among video feature points.
  • a parameter that specifies the position of the feature point to be used calculates the camera parameters necessary for camera calibration at multiple positions in the shooting site using the feature point information of the position, and stores it in a table together with the position information
  • a camera control path estimation unit that estimates a camera control path, a camera control unit that controls a camera according to the estimated path, and a parameter estimation unit that estimates a parameter of a target position using a camera control value and an effective calibration position
  • the present invention analyzes the feature points of the video image of the camera, identifies the position of the corresponding feature point among the feature points of the video, and uses the information of the feature point of the position, at a plurality of positions in the shooting site, Calculate the camera parameters required for camera calibration, and use one or more effective parameters for camera calibration from the target position information set in the shooting site and the parameters at multiple positions in the shooting site.
  • Estimating the calibration position estimating a camera control path from the current camera position via the effective calibration position to the target position based on one or more effective calibration positions and the target position, and according to the estimated path,
  • a camera system self-calibration method characterized by controlling a camera and estimating a parameter of a target position using a camera control value and the effective calibration position. .
  • the present invention it is possible to provide a camera system capable of performing self-calibration even when the angle of view and orientation of the camera are changed. Thereby, the freedom degree of a camera can be raised.
  • the apparatus when the self-calibration is not possible due to insufficient feature points, and the problem that the accuracy is lowered, the apparatus can automatically estimate the camera parameters with high accuracy. It becomes.
  • the apparatus when sensing with a plurality of postures and positions with a single device, it is possible to dynamically estimate camera parameters according to the scene, and it can be expected to reduce installation costs and adjustment burdens.
  • it is possible to improve work efficiency at the site and reduce parameter estimation errors that occur at the time of factory shipment or operation.
  • the camera parameters can be estimated without increasing the burden on the operator even when local setting errors or secular changes occur, which contributes to maintaining the performance of the system.
  • the system can be automatically adjusted on-site without having a highly accurate calibration means when constructing a system such as a camera, the structure and structure for constructing the camera with high precision and robustness. It is possible to reduce the cost for the mechanism.
  • FIG. 1 is a diagram showing a system configuration of a camera system according to Embodiment 1 of the present invention.
  • the figure which shows the example of the parameter information memorize
  • FIG. 6 is a diagram illustrating a system configuration of a camera apparatus and a camera system according to Embodiment 2 of the present invention.
  • FIG. 10 is a diagram for explaining a parameter estimation method for a monocular camera according to Example 3 of the present
  • FIG. 1 is a diagram illustrating a system configuration of a camera system according to Embodiment 1 of the present invention.
  • the real video input unit 10 inputs video from the left and right cameras of the stereo camera.
  • the image sensor is a mechanism including an image sensor such as a CMOS (Complementary Metal Oxide Semiconductor) or a CCD (Charge Coupled Device).
  • CMOS Complementary Metal Oxide Semiconductor
  • CCD Charge Coupled Device
  • the scene to be photographed is not specified.
  • a stereo camera for a monitoring function a moving object, a monitoring area, or the like is set as a shooting scene.
  • a scene such as a road or a car ahead is taken as a shooting scene. It can be operated in various devices and various environments.
  • the shooting scene can be a complex scene or a simple scene, and the shot video is input.
  • the camera of the first embodiment may be configured as a camera that can change the focal length, the rotation angle, the distance between the cameras, and the like.
  • the feature point analysis unit 11 uses the video input from the actual video input unit 10 to extract corresponding feature points between the left and right cameras.
  • This feature point may be a pre-installed pattern. It may be a feature point of a monitoring person or a moving object. It may be specified such as a vehicle number.
  • FIG. 2 is a diagram illustrating a specific configuration example of the feature point analysis unit 11.
  • Reference numeral 20 denotes a feature extraction unit that extracts a defined feature from an input image or video.
  • the features are various such as ages and corners. Many methods for extracting these features have been proposed. In particular, Hessian, Harris, SIFT, SURF, FAST, Cascaded FAST, and MSER are often used as various feature point extraction methods.
  • the rotation of the feature points can be selected based on the processing speed and extraction accuracy.
  • the first embodiment uses MSER, and features are accurately extracted from a wide range of scenes.
  • the feature correspondence unit 21 associates the extracted features from the left and right cameras. SIFT, SURF, BRIEF, BRISK, and K-NN methods can be used as the association method.
  • the degree of similarity between the left and right extracted features is evaluated using the K-NN method, and only feature points that are similar with high accuracy are selected as corresponding points.
  • the feature selection unit 22 selects only those that correspond correctly from the associated feature points.
  • 23 is a corresponding feature point.
  • FIG. 3 is a conceptual diagram showing a processing result of the feature point analysis unit 11.
  • upper 20R and 20L indicate the left and right images input to the feature extraction unit 20.
  • the left and right images 20R and 20L are obtained by shooting a triangle and a quadrangle, but the shooting angles are different.
  • Reference numerals 32 and 33 denote triangular and quadrangular corner portions in the left and right images 20R and 20L, which are examples of feature points extracted from the left and right images in the feature extraction unit 20.
  • 34 in the second row from the top is an example of the processing result of the feature correspondence unit 21.
  • the corner portions 32 and 33 extracted as feature points are associated with each other. However, in this process, only the corner portion of the triangle is recognized as the corner portion of the triangle, and the corner portion of the triangle on the left screen corresponds to which corner portion of the three corner portions of the right screen. It is not a specific one.
  • 35 in the third row from the top is an example of the processing result of the feature selection unit 22.
  • the feature points that are incorrectly associated are deleted and correctly associated.
  • 36 in the fourth row from the top is an example of the corresponding point list output from the feature point analysis unit 11.
  • the feature points (u, v) existing in the left image 20L and the feature points (u, v) of the right image 20R corresponding to the feature points (u, v) of the left image 20L. ', V') is described.
  • the corresponding point list 36 corresponds to the corresponding feature point 23 in FIG.
  • FIG. 4 is a flowchart showing a parameter optimization process.
  • a basic matrix F representing the inter-camera relationship is estimated using the feature point list 23 output from the feature point analysis unit 20 based on the equation (2).
  • the 8-point method is often used.
  • the basic matrix F in the equation (2) is the camera external parameters (focal length f, aspect ratio ⁇ , skew s, center coordinates of coordinates (u 0 , v 0 ) as shown in the equation (3). ) And internal parameters (rotation matrix R).
  • processing step S41 optimization is performed to improve the accuracy of the estimated basic matrix F.
  • the basic matrix F is adjusted so that the objective function shown in the equation (4) becomes a minimum value.
  • it can be applied by an optimization method such as “Kenya Kanaya et al., Uniform Calculation Method EFNS for Strict Maximum Likelihood Estimation with Geometric Fitting”.
  • the focal length is estimated.
  • the focal lengths f and f 'of the stereo left and right cameras are estimated.
  • the method proposed by Kento Yamada is applied.
  • the focal lengths f and f ′ are calculated from the basic matrix F as shown in the equation (5).
  • the basic matrix E is estimated by the equation (6) using the basic matrix F and the focal lengths f and f '.
  • the rotation matrix R and the parallel matrix T are calculated based on the equation (7) using the basic matrix E and the basic matrix F.
  • the calculated parameters are optimized.
  • the Levenberg-Marquardt optimization method may be used, and Bundle Adjustment, which is often used for stereo cameras, is also conceivable.
  • the camera parameters calculated here are registered and stored in the table 13 shown in FIG.
  • the processing from the actual video input unit 10 to the table 13 in FIG. 1 is a process of self-calibration of the stereo camera.
  • This process automatically calibrates the camera.
  • this self-calibration process is performed at a plurality of positions to be monitored, thereby creating a table 13 in which camera parameters at a plurality of positions are registered.
  • This table may be constructed offline or online. A configuration example of the table 13 will be described later with reference to FIG.
  • the purpose of the first embodiment is to estimate a camera parameter representing the attitude of a stereo camera with respect to a target position on a monitoring target.
  • a camera parameter representing the attitude of a stereo camera with respect to a target position on a monitoring target.
  • the camera orientation is controlled first and then sensing is done after calibration is completed, but at that time there is a possibility that you may miss a person or object There is.
  • the effective calibration position estimation unit 14 in FIG. 1 evaluates the target position registered in the table 13 with the target information as input.
  • FIG. 5a and 5b are diagrams for explaining the processing outline of the effective calibration position estimation unit 14.
  • FIG. 5 a illustrates the relationship between the stereo camera 50 and a plurality of target positions on the monitoring target.
  • Reference numeral 50 denotes a stereo camera placed at the origin position of coordinates
  • 51 to 55 are parameter estimation positions where parameters are estimated by performing self-calibration. These pieces of information are known information.
  • the parameter estimation positions 51 to 55 are expressed on three-dimensional x, y, and z coordinates.
  • FIG. 5 b shows an example of parameter information stored in the table 13.
  • the parameters are internal parameters and external parameters of the camera such as a focal length, a rotation matrix, and a parallel matrix representing the posture of the camera corresponding to the parameter estimation positions 51 to 55.
  • the evaluation of the positions 51 and 54 is “effective position: ⁇ ”, 53 is “low accuracy position: ⁇ ”, and 52 and 55 are “invalid. Position :? "
  • 56 is a target position.
  • the camera 50 is being moved from the current position 59 to the target position 56, but the parameter at the target position 56 is unknown, so the parameter at the target position 56 needs to be estimated.
  • the focal length f is changed.
  • pan ⁇ , tilt ⁇ , roll ⁇ , and the like are changed.
  • the self-calibration result with respect to the camera posture is registered as parameter information in the table 13 of FIG.
  • the valid calibration position estimation unit 14 refers to the table 13 and the registered positions 51 to 55 are valid “ ⁇ ” or invalid “ Is determined?
  • FIG. 6 a shows an example of the control path 60 defined by the camera control path estimation unit 16.
  • the control path is a path defined for the purpose of controlling so that the target position 56 can be sensed by zooming and rotating the camera from the current position 59.
  • FIG. 6A it is shown that the control path 60 from the current position 59 to the target position 56 via the parameter estimation positions 53 and 54 is selected.
  • FIG. 6 b is a diagram illustrating a control route selection process in the camera control unit route estimation unit 16.
  • the camera control unit path estimation unit 16 first evaluates the parameter estimation positions 51 to 55 from the parameter information stored in the table 13 with reference to the evaluation result as “effective position: ⁇ ” or “accuracy is “Lower position: ⁇ ” is extracted.
  • parameter estimation positions 51, 53, and 54 are selected.
  • the selected parameter estimation positions 51, 53, 54, the current position 59, and the target position 56 are displayed.
  • the camera control unit path estimation unit 16 assumes a possible route from the current position 59 to the target position 56.
  • FIG. 6b describes all possible possible routes from the current position 59 to the target position 56 in this case.
  • the path 1 is 59 ⁇ 51 ⁇ 54 ⁇ 56
  • the path 2 is 59 ⁇ 53 ⁇ 54 ⁇ 56
  • the path 3 is 59 ⁇ 54 ⁇ 56.
  • the camera control unit route estimation unit 16 determines zooming and rotation processing to be performed for each route.
  • the processing contents of zoom and rotation can be obtained as the distinction between zoom and rotation and the operation amount by comparing the parameter contents at the two positions in FIG. 6B (for example, 59 and 51 first in the case of the path 1).
  • the processing flow of the processing contents indicates that the path 1 is performed in the order of rotation ⁇ zoom ⁇ zoom, the path 2 is performed in the order of zoom ⁇ rotation ⁇ zoom, and the path 3 is performed in the order of zoom ⁇ rotation.
  • the operation amount at the time of each operation content is also obtained.
  • the camera control unit path estimation unit 16 refers to the control flow for each path, finds the time (speed) and calibration accuracy required for movement and calibration in this case, and selects the fastest and most accurate path from these. .
  • the evaluation result is obtained that the speed is medium in the path 1, the accuracy is ⁇ , the speed is medium in the path 2, the precision is ⁇ , the speed is fast in the path 3, and the precision is ⁇ .
  • the path 1 is selected.
  • the path 60 of FIG. 6a is the path 1 of FIG.
  • FIG. 7 is a diagram illustrating a configuration example of the camera control unit.
  • the camera control unit 17 is composed of a zoom control unit 70, a tilt control unit 71, and a pan control unit 72.
  • the tilt control unit 71 and the pan control unit 72 are respectively set to an angle of view and a horizontal direction, and an angle of view and a vertical direction, respectively. Control the camera orientation.
  • the zoom control unit 70 controls the lens mechanism, and changes the focal length by moving the lens to change the angle of view that is the imaging range of the camera.
  • the tilt control unit 71 and the pan control unit 72 can change the posture after the camera is rotated.
  • the 1 uses the target position information, the amount of movement controlled by the camera, and the camera parameter information at the effective calibration position on the selected route to estimate the camera parameters when sensing the target position.
  • the accuracy of the estimated value is improved by optimization.
  • the parameter estimation unit 18 can reduce the time by performing parallel processing with the camera control unit 17. Moreover, the parameter estimation part 18 can also estimate in a short period based on known information. With these two ideas, camera parameter estimation at the target position can be realized quickly and accurately.
  • the estimated parameter 19 can be registered in the table 13 or output.
  • the present embodiment when sensing a target position, it is possible to estimate a parameter based on a known effective calibration position even if there is no feature point. In addition, since the control is not performed up to the target position, self-calibration can be quickly realized by estimating the parameters. As a result, people and objects at the target position can be sensed quickly.
  • the present embodiment is clearly shown as an example using two cameras, the present invention can also be applied to calibration using an arbitrary camera from a monocular camera or a plurality of cameras.
  • Example 2 will be described with reference to FIG.
  • the second embodiment the functions of the configurations 10 to 19 shown in FIG.
  • the second embodiment is different from the first embodiment in that a target detection unit 80 is added.
  • the target detection unit 80 automatically extracts target information using an image input from the imaging device (actual video input unit 10). For example, when it is desired to sense a person or an object with the monitoring camera device (here, a person is taken as an example), moving object detection, person recognition, detection, or the like can be used using an image. Further, the position of the target, the distance from the camera, and the like can be estimated based on the detected area, size, and position on the image. Accordingly, it is possible to control zooming and rotation of the camera.
  • Example 3 is an example relating to a method for estimating a parameter of a monocular camera.
  • the monocular camera can be calibrated without moving to a plurality of positions.
  • the parameters of the monocular camera can be estimated using the video imaged at the position 90 and the video imaged at the position 91.
  • the estimation method is a step shown in FIG.
  • the corresponding feature points are extracted from the images taken at the positions 90 and 91, and the internal and external parameters can be estimated.
  • the route traveled from position 90 to position 91 can be estimated by calculating the rotation matrix and parallel progression of the camera.
  • the internal parameters, rotation matrix, and parallel progression of the camera can be estimated.

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Optics & Photonics (AREA)
  • Studio Devices (AREA)

Abstract

カメラの画角や向きの変更がされても、自己較正を行うことが可能なカメラシステム及びその自己較正方法を提供する。カメラから映像した映像を入力する実映像入力部と、該実映像入力部から得られた特徴点を解析する特徴点解析部と、前記映像の特徴点のうち対応する特徴点の位置を特定し、当該位置の特徴点の情報を用いて、前記撮影現場内の複数位置における、カメラ較正を行うに必要なカメラのパラメータを算出し、位置情報と共にテーブルに保存するパラメータ算出部と、前記撮影現場内に設定されたターゲット位置の情報を入力し、前記テーブルに保存された前記撮影現場内の複数位置におけるパラメータから、カメラ較正を行うに有効な１つまたは複数の有効較正位置を推定する有効較正位置推定部と、前記１つまたは複数の有効較正位置と前記ターゲット位置に基づいて、現在のカメラ位置から前記有効較正位置を経由して前記ターゲット位置に至るカメラ制御経路を推定するカメラ制御経路推定部と、推定された経路に従って、カメラを制御するカメラ制御部と、カメラ制御値と前記有効較正位置を用いて、前記ターゲット位置のパラメータを推定するパラメータ推定部を備えたことを特徴とする。

Description

カメラシステム及びその自己較正方法
　本発明は、単眼カメラや複数のカメラを有するカメラシステム及びその自己較正方法に関するものである。
　従来から単眼カメラや複数カメラを有するステレオカメラ等を利用する前に、画像と実際環境と合わせるため、カメラキャリブレーション（カメラ較正）を行っており、これにより画像の歪みを補正している。また、較正されたカメラを用いて、様々なセンシングや認識処理を行うことができる。そのため、単眼カメラや二つ以上のカメラを有するステレオカメラのような複数カメラでのセンシングや映像認識を実現するために、カメラキャリブレーションを行うに必要な、カメラのパラメータを推定する方法が用いられている。
　カメラパラメータは、カメラの焦点距離や向き等を示すカメラ情報であり、大きく内部パラメータと外部パラメータの２つに分けられる。（１）式は内部パラメータである画像座標（ｕ、ｖ）と、外部パラメータである世界座標（ＸＷ、ＹＷ、ＺＷ）の対応を表すものである。
Figure JPOXMLDOC01-appb-M000001
　この（１）式では、内部パラメータとして、ｆは焦点距離、αはアスペクト比、ｓはスキュー、（ｕ０、ｖ０）は座標の中心座標を示す。また外部パラメータとして、Ｒはカメラの向きを示す回転行列、Ｔはカメラ間の位置関係を示す並進行列である。カメラの向きを示すＲは、３×３（ｒ１１、ｒ１２、…ｒ３３）マトリックスにおいては、オイラー角により定義すると、カメラの設置角度であるパンθ、チルトφ、ロールψの３個のパラメータによって表される。それぞれ内部パラメータと外部パラメータを算出するために、キャリブレーション技術が求められている。
　一般的なキャリブレーションでは、例えば非特許文献１に記載されているように、キャリブレーションパターンの位置を様々な方向から撮影し、理想的な見え方と、実際に撮影した画像との比較演算、例えば最小２乗誤差をとるように内部パラメータや外部パラメータの最適解を求めている。非特許文献１の手法は、カメラ出荷時にパラメータを推定し、そのパラメータを前提として所定の処理を実行することが多い。映像認識においてこれらのパラメータの推定精度が、認識性能に影響を受ける。特にカメラのパラメータは変更されたり、カメラ本体が変形したりする場合は、キャリブレーション精度の影響が顕著となる。
　また、自動でカメラキャリブレーションを行う自己較正方法も知られている。多く利用されているのは、画像上から特徴点を抽出し、自己較正する方法である。例えば特許文献１に記載したように、車にステレオカメラを搭載し、走行中に撮影されたシーンの中から、特徴点に基づいて、カメラを較正する方法である。
　また、複数のカメラ姿勢を較正する場合は、特許文献２に記載したように、オフラインで複数姿勢をそれぞれ較正し、その推定結果をデータベースに蓄積し、オンラインの際には、データベースから読み込み、再度調整する方法がある。それぞれの方法は、カメラの内部パラメータや外部パラメータを推定する方法である。
特開２００９－２７６２３３号公報 特開２００９－１７４８０号公報
Ｚ．　Ｚｈａｎｇ，　"Ａ　ｆｌｅｘｉｂｌｅ　ｎｅｗ　ｔｅｃｈｎｉｑｕｅ　ｆｏｒ　ｃａｍｅｒａ　ｃａｌｉｂｒａｔｉｏｎ"，　ＩＥＥＥ　Ｔｒａｎｓａｃｔｉｏｎｓ　ｏｎ　Ｐａｔｔｅｒｎ　Ａｎａｌｙｓｉｓ　ａｎｄ　Ｍａｃｈｉｎｅ　Ｉｎｔｅｌｌｉｇｅｎｃｅ，　２２（１１）：１３３０-１３３４、　２０００．
　非特許文献１の手法では、カメラ出荷時にパラメータを推定し、そのパラメータを前提として所定の処理を実行することが多い。映像認識においてこれらのパラメータの推定精度が、認識性能に影響を受ける。特にカメラのパラメータは変更されたり、カメラ本体が変形したりする場合は、キャリブレーション精度の影響が顕著となる。カメラでターゲットを監視する場合には、カメラズームしたり、回転したりしながらセンシングしている。このように、ズーム、回転、並進の変化に応じて、センシング精度が低下するため、再度カメラを較正する必要がある。しかし、カメラ位置まで移動してからカメラの較正を行う場合は、較正完了するまで時間がかかり、ターゲットを見逃してしまうという課題がある。
　また、特許文献１記載した手法によれば、特徴点の量を計算し、一定分布以上であれば、精度よく較正することができるが、一般シーンの場合は、特徴点が不足している可能性があり、推定できないという課題がある。
　さらに、非特許文献２の手法は、事前にカメラ姿勢をオフラインで較正する場合は、複数の位置で利用した場合には、複数の位置で較正する必要があり、時間がかかり、現実的ではないというコスト面の課題がある。
　以上のことから本発明においては、カメラの画角や向きの変更がされても、自己較正を行うことが可能なカメラシステム及びその自己較正方法を提供することを目的とするものである。
　以上のことから本発明は、カメラの映像を入力する実映像入力部と、実映像入力部から得られた２つの映像の特徴点を解析する特徴点解析部と、映像の特徴点のうち対応する特徴点の位置を特定し、当該位置の特徴点の情報を用いて、撮影現場内の複数位置における、カメラ較正を行うに必要なカメラのパラメータを算出し、位置情報と共にテーブルに保存するパラメータ算出部と、撮影現場内に設定されたターゲット位置の情報を入力し、前記テーブルに保存された撮影現場内の複数位置におけるパラメータから、カメラ較正を行うに有効な１つまたは複数の有効較正位置を推定する有効較正位置推定部と、１つまたは複数の有効較正位置とターゲット位置に基づいて、現在のカメラ位置から有効較正位置を経由してターゲット位置に至るカメラ制御経路を推定するカメラ制御経路推定部と、推定された経路に従って、カメラを制御するカメラ制御部と、カメラ制御値と有効較正位置を用いて、ターゲット位置のパラメータを推定するパラメータ推定部を備えたことを特徴とするカメラシステムである。
　また本発明は、カメラの映像の特徴点を解析し、映像の特徴点のうち対応する特徴点の位置を特定し、当該位置の特徴点の情報を用いて、撮影現場内の複数位置における、カメラ較正を行うに必要なカメラのパラメータを算出し、撮影現場内に設定されたターゲット位置の情報と、撮影現場内の複数位置におけるパラメータから、カメラ較正を行うに有効な１つまたは複数の有効較正位置を推定し、１つまたは複数の有効較正位置とターゲット位置に基づいて、現在のカメラ位置から有効較正位置を経由してターゲット位置に至るカメラ制御経路を推定し、推定された経路に従って、カメラを制御し、カメラ制御値と前記有効較正位置を用いて、ターゲット位置のパラメータを推定することを特徴とするカメラシステムの自己較正方法である。
　本発明によれば、カメラの画角や向きの変更がされても、自己較正を行うことが可能なカメラシステムを提供することができる。これによって、カメラの自由度を高めることができる。
　さらに本発明の実施例によれば、特徴点が不足する自己較正が不可能な場合、また精度が低下する問題に対して、この装置は、自動的にカメラパラメータを精度よく推定することが可能となる。また、一台の装置で複数な姿勢や位置でセンシングする際には、動的にシーンに合わせてカメラパラメータを推定することを可能とし、設置コストや調整負担などを低減することが期待できる。さらには、現地での作業効率の向上と、工場出荷時や、運用時に発生するパラメータ推定の誤差を低減することが可能である。それによって、現地での設定誤差や経年変化が発生した場合であっても、作業員の負担を向上させることなく、カメラのパラメータが推定できるため、システムの性能を維持することに貢献する。
　さらに、本発明において有効較正位置を経由して、ターゲット位置にカメラの向き等を変更する場合、ターゲット位置に向けて変更するまでの時間に、有効較正位置にて取得した情報によって自己較正を実行することができるため、効率的に処理を実行でき、ターゲット位置においては素早く所定の処理を実行することが可能となる。
　さらには、カメラなどのシステム構築時に、高精度な較正手段を持たずに、現地で自動的に調整することができるため、カメラの剛性やロバスト性、カメラを高精度に構築するための構成や仕組みに対するコストを低減させることが可能である。
本発明の実施例１に係るカメラシステムのシステム構成を示す図。 特徴点解析部１１の具体的構成例を示す図。 特徴点解析部１１の処理結果を示す概念図。 パラメータ最適化の処理プロセスを表すフロー図。 ステレオカメラ５０と監視対象上の複数のターゲット位置の関係を示す図。 テーブル１３に記憶されているパラメータ情報の例を示す図。 カメラ制御経路推定部１６で定めた制御経路６０の例を示す図。 カメラ制御部経路推定部１６における制御経路の選択過程を示した図。 カメラ制御部の構成例を示す図。 本発明の実施例２に係るカメラ装置、カメラシステムのシステム構成を示す図。 本発明の実施例３に係る単眼カメラのパラメータの推定方法を説明するための図。
　以下、本発明の実施例について、図面を参照して詳細に説明する。
　ここでは、二つのカメラを有するステレオカメラを例として説明する。図１は、本発明の実施例１に係るカメラシステムのシステム構成を示す図である。
　実映像入力部１０は、ステレオカメラの左右カメラから映像を入力する。画像センサは、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ　Ｍｅｔａｌ　Ｏｘｉｄｅ　Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）やＣＣＤ（Ｃｈａｒｇｅ　Ｃｏｕｐｌｅｄ　Ｄｅｖｉｃｅ）などの撮像素子を含む機構である。実施例１では、撮影するシーンは特定しない。監視機能向けのステレオカメラであれば、移動物体や監視エリアなどを撮影シーンとする。車載ステレオカメラであれば、道路や前方車などを撮影シーンとする。様々な機器や様々な環境で操作できる。撮影シーンは、複雑なシーンや単純なシーンでも撮影可能とし、撮影された映像を入力する。また、実施例１のカメラは、焦点距離、回転角度、カメラ間の距離など変更することが可能なカメラとした構成でもよい。
　特徴点解析部１１は、実映像入力部１０から入力された映像を用いて、左右カメラ間にある対応した特徴点を抽出する。この特徴点は、予め設置されたパターンでもよい。監視用の人や移動物体の特徴点であってもよい。車両の車番など指定したものであってもよい。
図２は特徴点解析部１１の具体的構成例を示す図である。２０は特徴抽出部であり、入力された画像や映像から、特徴と定義したものを抽出する。ここで特徴とは、エージやコーナなど様々である。それらの特徴を抽出する方法も多数、提案されている。特に、Ｈｅｓｓｉａｎ、Ｈａｒｒｉｓ、ＳＩＦＴ、ＳＵＲＦ、ＦＡＳＴ、Ｃａｓｃａｄｅｄ　ＦＡＳＴ、ＭＳＥＲが、様々な特徴点抽出手法として、よく利用されている。シーンによって、特徴点の回転性は、処理速度や、抽出精度を考慮し、手法を選別することができる。先ほど紹介した手法の中、実施例１ではＭＳＥＲを利用することとし、幅広くシーンの中から精度よく特徴を抽出する。
　特徴対応部２１では、抽出された左右カメラからの特徴を対応付ける。対応付ける手法としてはＳＩＦＴ、ＳＵＲＦ、ＢＲＩＥＦ、ＢＲＩＳＫ、Ｋ－ＮＮ法が利用可能である。実施例１ではＫ－ＮＮ手法を用いて、左右抽出された特徴の類似度を評価し、高い精度で類似している特徴点のみを対応点として選別する。特徴選別部２２では、対応付けされた特徴点から、正しく対応しているもののみを選別する。２３は、対応した特徴点である。
図３は特徴点解析部１１の処理結果を示す概念図である。図３において上段の２０Ｒ、２０Ｌは特徴抽出部２０に入力された左右画像を示している。左右画像２０Ｒ、２０Ｌは、三角形と四角形を撮影したものであるが、撮影した角度が相違している。なお３２、３３は、左右画像２０Ｒ、２０Ｌにおける三角形及び四角形のコーナ部であり、これが特徴抽出部２０において、左右画像から抽出した特徴点の例である。
　図３において上から２段目の３４は、特徴対応部２１の処理結果の例である。特徴点として抽出したコーナ部３２、３３同士を対応付けしている。但しここでの処理では、三角形のコーナ部、四角形のコーナ部と認識したのみであって、左画面の三角形の特定のコーナ部が、右画面の３個のコーナ部のどのコーナ部に対応しているのかを、特定したものではない。
　図３において上から３段目の３５は、特徴選別部２２の処理結果の例である。ここでは、間違って対応された特徴点が削除され、正しく対応付けがされていることを示す。
　図３において上から４段目の３６は、特徴点解析部１１から出力された対応点リストの事例である。対応点リストでは、左画像２０Ｌに存在する特徴点（ｕ、ｖ）と、右画像２０Ｒの特徴点であって、左画像２０Ｌの特徴点（ｕ、ｖ）に対応している特徴点（ｕ’、ｖ’）の位置情報を記載している。対応点リスト３６は、図２の対応した特徴点２３に相当している。
　次に図１に戻り、パラメータ算出部１２について説明する。パラメータ算出部１２では、カメラの外部回転行列Ｒ、並進行列Ｔと内部パラメータの焦点距離Ｆを推定する。図４はパラメータ最適化の処理プロセスを表すフロー図である。
　図４を用いて、推定手法の一つを説明する。まず処理ステップＳ４０において、（２）式に基づいて、カメラ間関係を表す基礎行列Ｆを特徴点解析部２０から出力された特徴点リスト２３を用いて推定する。ここでは、８点法などがよく利用されている。
Figure JPOXMLDOC01-appb-M000002
　ここで、（２）式中の基礎行列Ｆは、（３）式に示すように、カメラの外部パラメータ（焦点距離ｆ、アスペクト比α、スキューｓ、座標の中心座標（ｕ０、ｖ０））と内部パラメータ（回転行列Ｒ）を含んでいる行列である。
Figure JPOXMLDOC01-appb-M000003
　処理ステップＳ４１においては、推定された基礎行列Ｆの精度を向上するために最適化を行う。最適化プロセスは、（４）式に示した目的関数を最小値になるように基礎行列Ｆを調整する。ここでは、「金谷健一ら、幾何学的当てはめの厳密な最尤推定の統一的計算法ＥＦＮＳ」などの最適化手法により適応可能である。
Figure JPOXMLDOC01-appb-M000004
　処理ステップＳ４２においては、焦点距離を推定する。ここでは、ステレオ左右カメラの焦点距離ｆ、ｆ’を推定する。実施例１では、山田健人たちが提案した手法を適応する。（５）式に示したように焦点距離ｆ、ｆ’を基礎行列Ｆから算出する。
Figure JPOXMLDOC01-appb-M000005
　処理ステップＳ４３においては、基礎行列Ｆと焦点距離ｆ、ｆ’を用いて、（６）式により基本行列Ｅを推定する。
Figure JPOXMLDOC01-appb-M000006
　処理ステップＳ４４、処理ステップＳ４５においては、基本行列Ｅと基礎行列Ｆを用いて、（７）式に基づいて、回転行列Ｒと並行行列Ｔを算出する。処理ステップＳ４６では上記算出されたパラメータを最適化する。ここでは、Ｌｅｖｅｎｂｅｒｇ－Ｍａｒｑｕａｒｄｔ最適化手法でもよいし、ステレオカメラによく行う、Ｂｕｎｄｌｅ　Ａｄｊｕｓｔｍｅｎｔも考えられる。ここで算出されたカメラパラメータを図１に示したテーブル１３に登録し、蓄積する。
Figure JPOXMLDOC01-appb-M000007
　図１における実映像入力部１０から、テーブル１３までの処理は、ステレオカメラの自己較正というプロセスである。カメラを自動的にキャリブレーションする処理となる。本発明においては、この自己較正処理を、監視対象の複数位置で実施することで、複数位置でのカメラパラメータが登録されたテーブル１３を作成する。このテーブルはオフラインで構築してもいいし、オンラインで構築してもよい。テーブル１３の構成事例を図５ｂに例示して後述する。
　実施例１では、監視対象上のターゲット位置に対して、ステレオカメラの姿勢を表すカメラパラメータを推定することを目的としている。しかし、このターゲット位置には例えば、特徴点が存在しないとすると、自己較正ができないという問題がある。また、ターゲット位置で、存在する人や物体をセンシングしたい場合は、まずカメラ姿勢を制御し、較正完了後にセンシングするという流れになるが、その時には人や物体を見逃してしまう可能性があるという問題がある。
　この問題を解決するために本発明の実施例１においては、図１の有効較正位置推定部１４において、ターゲット情報を入力として、テーブル１３に登録されたターゲット位置を評価する。
　図５ａ、図５ｂは有効較正位置推定部１４の処理概要を説明するための図である。このうち図５ａは、ステレオカメラ５０と監視対象上の複数のターゲット位置の関係を例示している。５０は座標の原点位置におかれたステレオカメラであり、５１～５５は自己較正を行い、パラメータを推定されたパラメータ推定位置である。これらの情報は既知情報である。ここではパラメータ推定位置５１～５５は、３次元ｘ、ｙ、ｚの座標上に表現されている。
　図５ｂは、テーブル１３に記憶されているパラメータ情報の例を示している。パラメータ情報は、パラメータ推定位置５１～５５ごとに、３次元ｘ、ｙ、ｚ座標上の位置、パラメータ、および評価が記憶されている。ここでパラメータとは、このパラメータ推定位置５１～５５に対応しているカメラの姿勢を表す焦点距離、回転行列、並列行列などカメラの内部パラメータや外部パラメータである。この評価事例でいうと、パラメータ推定位置５１～５５のうち、５１と５４の位置の評価は「有効な位置：○」、５３は「精度が低い位置：△」、５２、５５は「無効な位置：？」とされている。
　図５ａにおいて、５６はターゲット位置である。本発明においては、カメラ５０を現在位置５９からターゲット位置５６に移そうとしているが、ターゲット位置５６におけるパラメータは未知であることから、ターゲット位置５６におけるパラメータを推定する必要がある。
　カメラをズームしたりする場合は、焦点距離ｆが変更される。カメラが自由に回転する場合は、パンθ、チルトφ、ロールψなどが変更される。その時カメラの姿勢に対して自己較正結果は、図１のテーブル１３にパラメータ情報として登録されている。
　これに対し、あるターゲット情報１５（ターゲット位置５６）が入力された場合、有効較正位置推定部１４は、テーブル１３を参照して、登録された位置５１～５５が有効「○」か、無効「？」かを判断する。
　図１のカメラ制御経路推定部１６は、有効較正位置推定部１４で得た有効な位置に基づいて、カメラ５０の現在位置５９からターゲット位置５６までの制御経路を推定する。図６ａ、図６ｂはカメラ制御経路推定部１６の処理概要を説明するための図である。このうち図６ａは、カメラ制御経路推定部１６で定めた制御経路６０の例を示している。ここで制御経路とは、現在位置５９からどうやってカメラをズームし、回転することによって、ターゲット位置５６をセンシングできるように制御するのがよいかという目的で定めた径路である。図６ａの例では、現在位置５９からパラメータ推定位置５３、５４を経由してターゲット位置５６に至る制御経路６０を選択したことを示している。
　図６ｂは、カメラ制御部経路推定部１６における制御経路の選択過程を示した図である。カメラ制御部経路推定部１６では、まずテーブル１３に記憶されているパラメータ情報の中から、評価結果を参照してパラメータ推定位置５１～５５の評価が「有効な位置：○」、または「精度が低い位置：△」を抽出する。テーブル１３の場合には、パラメータ推定位置５１、５３、５４を選択する。図６ａには、選択したパラメータ推定位置５１、５３、５４と現在位置５９とターゲット位置５６が表示されている。
　次にカメラ制御部経路推定部１６では、現在位置５９からターゲット位置５６に至る可能なルートを想定する。図６ｂには、この場合に現在位置５９からターゲット位置５６に至る可能な想定ルートがすべて記述されている。径路１は５９⇒５１⇒５４⇒５６、径路２は５９⇒５３⇒５４⇒５６、径路３は５９⇒５４⇒５６である。
　またカメラ制御部経路推定部１６では、各経路の場合に行うことになるズームや回転の処理を定める。ズームや回転の処理内容は、図６ｂの２つの位置（例えば径路１なら最初に５９と５１）におけるパラメータ内容を比較することで、ズームや回転の区別とその操作量として求まる。図６ｂでは処理内容について制御フローとしては、径路１では回転⇒ズーム⇒ズームの順に行い、径路２ではズーム⇒回転⇒ズームの順に行い、径路３ではズーム⇒回転の順に行うことを表している。なお図５ｂには表記していないが各操作内容の時の操作量も併せて求められる。
　カメラ制御部経路推定部１６では、径路ごとの制御フローを参照して、この場合に移動並びに較正に要する時間（速度）と較正精度を求め、この中から最も早くかつ精度が良い経路を選別する。図６ｂの例では、径路１では速度は中程度、精度は○、径路２では速度は中程度、精度は△、径路３では速度は速く、精度は○であるという評価結果が得られ、最終的に径路１を選択する。図６ａの経路６０が、最終的に選択された図６ｂの経路１である。
　図１に戻り、１７はカメラ制御部であり、選別した経路１に従ってカメラを制御する。図７はカメラ制御部の構成例を示す図である。カメラ制御部１７は、ズーム制御部７０、チルト制御部７１、パン制御部７２で構成されており、チルト制御部７１とパン制御部７２は、それぞれ画角と水平方向、画角と垂直方向のカメラ向きを制御する。ズーム制御部７０はレンズ機構を制御するもので、レンズの移動によって焦点距離を変更しカメラの撮像範囲である画角を変更する。チルト制御部７１、パン制御部７２は、カメラを回転しならから姿勢を変えることができる。
　図１のパラメータ推定部１８は、ターゲット位置情報、カメラ制御した移動量と選別した経路での有効な較正位置でのカメラパラメータ情報を用いて、ターゲット位置をセンシングする場合のカメラパラメータを推定する。ここでは、既知の有効情報からオフセット計算することで、ズームした焦点距離や、回転された角度を推定することが可能である。精度を維持するため、最適化することで、推定値の精度を向上する。一方、すべて既知な有効情報に誤差が発生する場合は、パラメータ算出部１２に記載する手法を用いて、ターゲット位置を自己較正することも考えられる。
　ここでは、ターゲット位置に特徴点情報がなくでも、既知の有効情報およびターゲットまで制御した移動量を算出することで、ターゲット位置でのパラメータを推定することも可能である。
　パラメータ推定部１８は、カメラ制御部１７と並行処理を行うことで時間を減少することができる。また、既知の情報に基づいて、パラメータ推定部１８は短期間で推定することもできる。その二つの工夫で、ターゲット位置でのカメラパラメータ推定は早く精度よく推定することを実現できる。推定したパラメータ１９をテーブル１３へ登録したり、出力したりすることができる。
　以上説明した実施例１によれば、ターゲット位置をセンシングする場合は、特徴点が存在しなくでも、既知の有効な較正位置に基づいて、パラメータを推定することが可能である。また、ターゲット位置まで制御しなから、パラメータを推定することで、速やかに自己較正が実現できる。それによって、早くターゲット位置での人や物をセンシングできるようになる。本実施例は二つのカメラによる例として明示したが、単眼のカメラや複数台のカメラから任意のカメラによる較正においても、本発明を適用することができる。
　次に図８を用いて実施例２について説明する。実施例２では、図１に示す構成１０から１９の機能は実施例１と同じであるため、説明を省略する。実施例２では、ターゲット検知部８０が追加されている点で実施例１と相違する。
　ターゲット検知部８０は、撮影装置（実映像入力部１０）から入力された画像を用いて、自動的にターゲット情報を抽出する。例えば、監視カメラ装置で人や物体をセンシングしたい場合（ここでは人を例にする）、画像を用いて、動体検知、人認識や検知などが利用できる。また検知された人の領域、大きさや画像上の位置によって、ターゲットの位置、カメラとの距離などを推定することができる。それに応じて、カメラをズームしたり、回転したりを制御することができる。
　なお、前述の実施例１については、それぞれの組合せによっても実行することが可能であり、組み合わせることによって、処理を自動化することができ、装置の利用自由度を高めることができる。
　次に図９を用いて実施例３について説明する。実施例３は、単眼カメラのパラメータの推定方法に関する実施例である。図9に示したように、単眼カメラは複数の位置に移動しなから較正することができる。例えば、位置９０で撮影した映像と位置９１で撮影した映像を用いて、単眼カメラのパラメータを推定することができる。推定方法は、図４に示すステップである。ここでは、位置９０と位置９１で撮影した映像から対応した特徴点を抽出し、内部や外部パラメータを推定することができる。位置９０から位置９１まで移動した経路は、カメラの回転行列や並進行列を算出することで推定することができる。同じくで、更にカメラを９１から９２に移動させると、カメラの内部パラメータおよび回転行列、並進行列を推定することができる。
　また、カメラ位置９０から離れたターゲット位置９３でのカメラ内部と外部パラメータを推定する場合では、位置９０と位置９３の間に複数の位置の情報を利用して推定することが可能である。
１０：実映像入力部，１１：：特徴点解析部，１２：パラメータ算出部，１３：テーブル，１４：有効較正位置推定部，１５：ターゲット情報，１６：カメラ制御経路推定部，１７：カメラ制御部，１８：パラメータ推定部，１９：パラメータ，２０：特徴抽出部，２１：特徴対応部，２２：特徴選別部，２３：対応した特徴点，２０Ｌ：左画像，２０Ｒ：右画像，３２：左画像での特徴点，３３：右画像での特徴点，３４：特徴対応部の処理結果，３５：特徴選別部の処理結果，３６：対応点リスト，４０：基礎行列の推定処理ステップ，４１：基礎行列の最適化処理ステップ，４２：焦点距離Ｆの算出処理ステップ，４３：基本行列Ｅの算出処理ステップ，４４：カメラの回転行列Ｒの算出処理ステップ，４５：カメラの並進行列Ｔの算出処理ステップ，４６：パラメータ最適化処理ステップ，５０：ステレオカメラ，５１－５５：較正完了位置，５６：ターゲット位置，５９：現在位置，６０：経路例，６１：制御経路管理リスト，７０：ズーム制御部，７１：チルト制御部，７２：パン制御部，８０：ターゲット検知部，９０：カメラ位置，９１：カメラ位置，９２：カメラ位置，９３：ターゲット位置

Claims (12)

  1. 　カメラから映像した映像を入力する実映像入力部と、該実映像入力部から得られた特徴点を解析する特徴点解析部と、前記映像の特徴点のうち対応する特徴点の位置を特定し、当該位置の特徴点の情報を用いて、前記撮影現場内の複数位置における、カメラ較正を行うに必要なカメラのパラメータを算出し、位置情報と共にテーブルに保存するパラメータ算出部と、前記撮影現場内に設定されたターゲット位置の情報を入力し、前記テーブルに保存された前記撮影現場内の複数位置におけるパラメータから、カメラ較正を行うに有効な１つまたは複数の有効較正位置を推定する有効較正位置推定部と、前記１つまたは複数の有効較正位置と前記ターゲット位置に基づいて、現在のカメラ位置から前記有効較正位置を経由して前記ターゲット位置に至るカメラ制御経路を推定するカメラ制御経路推定部と、推定された経路に従って、カメラを制御するカメラ制御部と、カメラ制御値と前記有効較正位置を用いて、前記ターゲット位置のパラメータを推定するパラメータ推定部を備えたことを特徴とするカメラシステム。
  2. 　請求項１に記載のカメラシステムであって、
    　前記実映像入力部は、単眼カメラや複数台のカメラから映像を入力し、任意のカメラによる較正を行うことを特徴とするカメラシステム。
  3. 　請求項１に記載のカメラシステムであって、
    　前記カメラは、パラメータ可変カメラであり、ズームで焦点距離を変更し、回転で回転角度を変更することを特徴とするカメラシステム。
  4. 　請求項１から請求項３のいずれか１項に記載のカメラシステムであって、
    　有効較正位置推定部は、前記ターゲット位置の情報と、前記保存されたテーブル情報を比較し、登録した情報の有効や無効を判断することを特徴とするカメラシステム。
  5. 　請求項１から請求項４のいずれか１項に記載のカメラシステムであって、
    　ターゲット位置の情報は、センシングしたい場所の空間位置や、カメラ姿勢、ズーム値や回転角度などであることを特徴とするカメラシステム。
  6. 　請求項１から請求項５のいずれか１項に記載のカメラシステムであって、
    　前記カメラ制御経路推定部は、前記有効較正位置推定部で得た有効な位置に基づいて、カメラがターゲット位置に至るまでのカメラを制御する経路やフローを推定することを特徴とするカメラシステム。
  7. 　請求項１から請求項６のいずれか１項に記載のカメラシステムであって、
    　前記カメラ制御部は、カメラ制御経路推定部で推定した制御経路に従ってカメラをズームし、回転する制御を行うことを特徴とするカメラシステム。
  8. 　請求項１から請求項７のいずれか１項に記載のカメラシステムであって、
    　前記パラメータ推定部は、ターゲット位置の情報や前記カメラ制御の情報と選別した経路での有効な較正位置でのカメラパラメータ位置の情報を用いて、ターゲット位置をセンシングする場合のカメラパラメータを推定することを特徴とするカメラシステム。
  9. 　カメラから入力された映像の特徴点を解析し、２つの映像の特徴点のうち対応する特徴点の位置を特定し、当該位置の特徴点の情報を用いて、前記撮影現場内の複数位置における、カメラ較正を行うに必要なカメラのパラメータを算出し、前記撮影現場内に設定されたターゲット位置の情報と、前記撮影現場内の複数位置におけるパラメータから、カメラ較正を行うに有効な１つまたは複数の有効較正位置を推定し、前記１つまたは複数の有効較正位置と前記ターゲット位置に基づいて、現在のカメラ位置から前記有効較正位置を経由して前記ターゲット位置に至るカメラ制御経路を推定し、推定された経路に従って、カメラを制御し、カメラ制御値と前記有効較正位置を用いて、前記ターゲット位置のパラメータを推定することを特徴とするカメラシステムの自己較正方法。
  10. 　請求項９に記載のカメラシステムの自己較正方法であって、
    　前記カメラは単眼カメラや複数台のカメラであって映像を入力し、任意のカメラによる較正を行うことを特徴とするカメラシステムの自己較正方法。
  11. 　請求項９または請求項１０に記載のカメラシステムの自己較正方法であって、
    　前記カメラ制御の処理と前記パラメータ推定の処理を平行して実施し、処理速度を短縮することを特徴とするカメラシステムの自己較正方法。
  12. 　請求項９から請求項１１のいずれか１項に記載のカメラシステムの自己較正方法であって、
    　複数のカメラによる撮影現場の２つの映像の特徴点を解析し、前記２つの映像の特徴点のうち対応する特徴点の位置を特定し、当該位置の特徴点の情報を用いて、前記撮影現場内の複数位置における、カメラ較正を行うに必要なカメラのパラメータを算出する処理は、事前にオフラインで行うこと可能と特徴するカメラシステムの自己較正方法。
PCT/JP2016/065954 2016-05-31 2016-05-31 カメラシステム及びその自己較正方法 WO2017208314A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2016/065954 WO2017208314A1 (ja) 2016-05-31 2016-05-31 カメラシステム及びその自己較正方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2016/065954 WO2017208314A1 (ja) 2016-05-31 2016-05-31 カメラシステム及びその自己較正方法

Publications (1)

Publication Number Publication Date
WO2017208314A1 true WO2017208314A1 (ja) 2017-12-07

Family

ID=60479246

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/065954 WO2017208314A1 (ja) 2016-05-31 2016-05-31 カメラシステム及びその自己較正方法

Country Status (1)

Country Link
WO (1) WO2017208314A1 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010156669A (ja) * 2008-12-30 2010-07-15 Ind Technol Res Inst 動的校正機能付きカメラおよびその方法
WO2015015542A1 (ja) * 2013-07-29 2015-02-05 株式会社日立製作所 車載ステレオカメラシステム及びそのキャリブレーション方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010156669A (ja) * 2008-12-30 2010-07-15 Ind Technol Res Inst 動的校正機能付きカメラおよびその方法
WO2015015542A1 (ja) * 2013-07-29 2015-02-05 株式会社日立製作所 車載ステレオカメラシステム及びそのキャリブレーション方法

Similar Documents

Publication Publication Date Title
US9672630B2 (en) Contour line measurement apparatus and robot system
CN108955718B (zh) 一种视觉里程计及其定位方法、机器人以及存储介质
JP3859574B2 (ja) ３次元視覚センサ
JP5177760B2 (ja) 動的校正機能付きカメラおよびその方法
JP6415066B2 (ja) 情報処理装置、情報処理方法、位置姿勢推定装置、ロボットシステム
JP5027747B2 (ja) 位置測定方法、位置測定装置、およびプログラム
WO2010001940A1 (ja) 位置測定方法、位置測定装置、およびプログラム
JP2011172226A (ja) 動き情報を用いて点像分布関数を得るための方法、システム、およびコンピュータプログラム
WO2006019970A2 (en) Method and apparatus for machine-vision
JP2007263669A (ja) ３次元座標取得装置
JP4132068B2 (ja) 画像処理装置及び三次元計測装置並びに画像処理装置用プログラム
TW201904643A (zh) 控制裝置、飛行體以及記錄媒體
WO2017130650A1 (ja) ステレオカメラおよび撮像システム
JP2019049467A (ja) 距離計測システムおよび距離計測方法
JP2011030015A5 (ja)
JP6410231B2 (ja) 位置合わせ装置、位置合わせ方法及び位置合わせ用コンピュータプログラム
JP2008309595A (ja) オブジェクト認識装置及びそれに用いられるプログラム
JP2006350897A (ja) 運動計測装置
JP5410328B2 (ja) 光学投影安定化装置、光学投影安定化方法およびプログラム
JP4006296B2 (ja) 写真測量による変位計測方法及び変位計測装置
JP2008224323A (ja) ステレオ写真計測装置、ステレオ写真計測方法及びステレオ写真計測用プログラム
JP6734994B2 (ja) ステレオ計測装置及びシステム
WO2017208314A1 (ja) カメラシステム及びその自己較正方法
CN112330726B (zh) 一种图像处理方法及装置
JP6861592B2 (ja) データ間引き装置、測量装置、測量システム及びデータ間引き方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16903942

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 16903942

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP