WO2019123988A1 - 校正用データ生成装置、校正用データ生成方法、キャリブレーションシステム、及び制御プログラム - Google Patents

校正用データ生成装置、校正用データ生成方法、キャリブレーションシステム、及び制御プログラム Download PDF

Info

Publication number
WO2019123988A1
WO2019123988A1 PCT/JP2018/043429 JP2018043429W WO2019123988A1 WO 2019123988 A1 WO2019123988 A1 WO 2019123988A1 JP 2018043429 W JP2018043429 W JP 2018043429W WO 2019123988 A1 WO2019123988 A1 WO 2019123988A1
Authority
WO
WIPO (PCT)
Prior art keywords
calibration data
data generation
captured images
captured
calibration
Prior art date
Application number
PCT/JP2018/043429
Other languages
English (en)
French (fr)
Inventor
皓正 高塚
孝三 森山
シャン ルァン
Original Assignee
オムロン株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オムロン株式会社 filed Critical オムロン株式会社
Publication of WO2019123988A1 publication Critical patent/WO2019123988A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration

Definitions

  • the present invention relates to a calibration data generation device, a calibration data generation method, a calibration system, and a control program.
  • Non-Patent Document 1 discloses a technology that enables the position detection of a wireless node with reference to the strength of the wireless.
  • One aspect of the present invention has been made in view of the above problems, and it is possible to generate calibration data for generating calibration data for specifying the relative positional relationship of imaging devices with higher accuracy and easier for the user.
  • the purpose is to realize the device.
  • a calibration data generation device includes a plurality of first captured images captured by a plurality of first imaging devices, and one or more second images.
  • the plurality of first data for calibration for specifying a relative positional relationship between an acquisition unit that acquires one or more second captured images captured by the device and the plurality of first imaging devices.
  • a calibration data generation unit configured to generate the captured image and the one or more second captured images.
  • the acquisition unit is one or more second captured images captured by one or more second imaging devices included in the movable device, or One or more second captured images captured by one or more second imaging devices separately provided with a moving mechanism may be acquired. According to the above configuration, it is possible to reduce the time and effort for the user to handle the second imaging device.
  • the one or more second captured images are images obtained by capturing a range in which at least a part of the plurality of first captured images is superimposed. May be
  • the calibration data generation apparatus can suitably generate calibration data for specifying the relative positional relationship of the imaging devices that the imaging range does not overlap.
  • the plurality of first captured images are images obtained by imaging ranges that do not overlap each other, or the overlapping range is smaller than a predetermined range. It is also good.
  • the above-described configuration also achieves the same effect as that of the first aspect.
  • the calibration data generation device further includes a size information acquisition unit that acquires correspondence relationship information between a predetermined object and the size of the object;
  • the size of an object present in at least one of the plurality of first captured images and the one or more second captured images may be specified with reference to the relationship information.
  • the size of the object included in the three-dimensional reconstruction data can be specified.
  • the calibration data generation unit includes an imaging range of the plurality of first imaging devices and an imaging range of the one or more second imaging devices. It may be determined whether it is possible to three-dimensionally restore an object included in at least one of the ranges. According to the above configuration, the quality of three-dimensional reconstruction data can be secured.
  • the display apparatus further includes a display unit, and the display unit performs the calibration of the plurality of first imaging devices in an area where imaging is insufficient. You may display it.
  • the user can grasp an insufficient imaging range when performing calibration of the first imaging device, and roughly know how to move the second imaging device. Contribute to improvement.
  • the calibration data generation unit is configured to calculate the plurality of the plurality of first captured images and the one or more second captured images.
  • the overlapping ranges of the imaging ranges in the first imaging device may be calculated. According to the above configuration, the overlapping ranges of the imaging ranges of the plurality of first imaging devices can be collated.
  • the one or more second captured images are captured images captured by an unspecified photographer or an imaging device, or captured at an unspecified time. It may be a picked up image. According to the above configuration, it is possible to reduce the time and effort required for the user to pick up the second captured image.
  • the calibration data generation device even if the plurality of first captured images and the one or more second captured images are captured images obtained by capturing an invisible ray Good.
  • a calibration data generation apparatus for generating calibration data for specifying the relative positional relationship of the imaging device not overlapping the imaging range even in a place where the human eye looks in the dark
  • the positional relationship can be specified with high accuracy and easily by the user by using the calibration data.
  • the calibration data generation unit generates calibration data for mapping the plurality of first captured images to predetermined map information. It is also good. According to the above configuration, a part or all of the predetermined map information can be replaced with an actual captured image.
  • a calibration data generation method is a calibration data generation method executed by the generation device, and a plurality of first captured images captured by a plurality of first imaging devices, Acquisition step of acquiring one or more second captured images captured by one or more second imaging devices, and calibration for specifying relative positional relationship between the plurality of first imaging devices
  • a positional relationship calculating step of generating data from the plurality of first captured images and the one or more second captured images is produced.
  • a calibration system is a calibration system including an imaging system, a calibration data generation device, and one or more second imaging devices, wherein the imaging system is
  • the calibration data generation device includes an acquisition unit and a calibration data generation unit, and the acquisition unit includes the plurality of first imaging devices.
  • the plurality of first captured images captured and the one or more second captured images captured by the one or more second imaging devices are acquired, and the calibration data generation unit Calibration data for specifying the relative positional relationship of the plurality of first imaging devices is generated from the one captured image and the one or more second captured images, and the image processing unit ,
  • the calibration data Serial calibrate the plurality of first imaging device. According to the above configuration, it is possible to perform calibration of the plurality of first imaging devices with higher accuracy and easier for the user.
  • a control program according to aspect 14 of the present invention is a control program for causing a computer to function as the control device according to an aspect of the present invention, and causes the computer to function as the acquisition unit and the calibration data generation unit. Is a control program for According to the above-mentioned composition, the same effect as mode 1 is produced.
  • a calibration data generation device that generates calibration data for specifying the relative positional relationship of imaging devices, and by using the calibration data, the above-mentioned positional relationship can be further improved. Highly accurate and easily identifiable by the user.
  • FIG. 1 is a functional block diagram of a calibration system according to a first embodiment.
  • 5 is a flowchart showing the flow of processing according to the first embodiment. It is a figure which shows an example of the imaging range of a fixed camera. It is a figure which shows an example of the imaging by the camera for calibration. It is a figure which shows an example of the imaging range of a fixed camera and the camera for calibration.
  • FIG. 7 is a functional block diagram of a calibration system according to a second embodiment. 7 is a flowchart showing the flow of processing according to the second embodiment. It is a figure which shows the example of a display of the area
  • the calibration system includes an imaging system, a calibration data generation device, and one or more second imaging devices.
  • the imaging system includes a plurality of first imaging devices and an image processing unit
  • the calibration data generation device includes an acquisition unit and a calibration data generation unit.
  • the acquisition unit acquires a plurality of first captured images captured by the plurality of first imaging devices and one or more second captured images captured by the one or more second imaging devices. Do.
  • the calibration data generation unit is configured to perform calibration data for calibrating the plurality of first imaging devices from the plurality of first captured images and the one or more second captured images. Generate
  • the image processing unit performs calibration of the plurality of first imaging devices with reference to the calibration data.
  • FIG. 1 is a functional block diagram of a calibration system 1 according to the present embodiment.
  • the calibration system 1 includes an imaging system 2, one or more calibration cameras (second imaging devices) 3, and a calibration data generation device 4.
  • the calibration data is data to be referred to in order to calibrate a plurality of fixed cameras 29 described later.
  • the imaging system 2 is a system related to imaging of a predetermined place, such as in a house, and includes a plurality of fixed cameras (first imaging devices) 29, a control unit 20, a storage unit 28, and a communication unit 27. .
  • the plurality of fixed cameras 29 may be classified into one reference camera as a reference and adjustment cameras having a positional relationship relative to the reference camera, which are cameras other than the reference camera. .
  • the plurality of fixed cameras 29 are cameras that respectively capture a predetermined range of the predetermined places, and are cameras that are fixed at least temporarily at predetermined positions. However, the present invention is also applicable to the case where the plurality of fixed cameras 29 can move or change their postures (angles) within a predetermined range.
  • the control unit 20 is a control device that controls the entire imaging system 2 and also functions as an image processing unit 21 and a communication control unit 22.
  • the image processing unit 21 performs processing relating to calibration of the plurality of fixed cameras 29 with reference to the calibration data.
  • the communication control unit 22 performs control related to communication by the communication unit 27.
  • the storage unit 28 is a storage device that holds various data.
  • the communication unit 27 communicates with an external device.
  • the one or more calibration cameras 3 are cameras that can pick up an arbitrary range of the predetermined locations, and are cameras that can move or move.
  • an apparatus for example, a movable robot such as a drone (registered trademark) may be configured to include one or more calibration cameras 3, or The plurality of calibration cameras 3 may be separately provided with a moving mechanism.
  • the calibration data generation device 4 is a device that generates calibration data for performing calibration of the plurality of fixed cameras 29, and includes a control unit 40, a storage unit 48, and a communication unit.
  • the control unit is a control device that controls the entire calibration data generation apparatus 4 and also functions as an acquisition unit 41, a calibration data generation unit 42, a size information acquisition unit 43, and a communication control unit 44.
  • the acquisition unit 41 acquires images captured by a plurality of fixed cameras 29 and images captured by one or more calibration cameras 3.
  • an image includes the meanings of both still and moving images.
  • the calibration data generation unit 42 performs three-dimensional reconstruction of the subject included in the multi-viewpoint image from the multi-viewpoint image captured by the fixed camera 29 and the calibration camera 3, specifies the position and orientation of the camera, and calibrates Perform data generation processing for
  • the storage unit 48 holds various data.
  • the communication unit 47 communicates with an external device.
  • each member with which an imaging device and the data generation apparatus 4 for calibration are provided is not limited to being single, You may be the structure provided with the several said member.
  • FIG. 2 is a flowchart showing the flow of processing according to the present embodiment.
  • the plurality of fixed cameras (first imaging devices) 29 to be calibrated capture images of the respective imaging ranges.
  • the plurality of fixed cameras 29 are at least temporarily fixed at predetermined positions.
  • step S101 the acquisition unit 41 acquires a plurality of reference images captured by the plurality of fixed cameras 29 and stores the reference images in the storage unit 48.
  • the process in this step will be described below with reference to the drawings.
  • FIG. 3 is a view showing an example of an imaging range of the fixed camera 29. As shown in FIG. Both (a) and (b) of FIG. 3 represent the imaging range of the fixed camera 29. As shown in (1) and (2), as an example, the plurality of reference images (a plurality of first captured images) are images obtained by imaging ranges that do not overlap each other, or the overlapping range is predetermined Less than range.
  • the predetermined range refers to an overlapping range of a size that can secure a multi-viewpoint image that satisfies the requirements for three-dimensional reconstruction.
  • the plurality of reference images may have a range in which the plurality of reference images overlap each other by the predetermined range or more.
  • step S102 the acquisition unit 41 acquires a captured image of the calibration camera 3 and stores the acquired image in the storage unit 48. It will be as follows if the concrete processing of this step is explained with reference to drawings.
  • FIG. 4 is a view showing an example of imaging by the calibration camera 3. As shown in FIG. 4, imaging is performed while moving the calibration camera 3 so that the imaging range of the calibration camera (second imaging device) 3 overlaps the imaging range of the fixed camera 29.
  • the image captured by the calibration camera 3 is hereinafter referred to as a calibration image (second captured image).
  • FIG. 5 is a view showing an example of an imaging range of the fixed camera 29 and the calibration camera 3.
  • A, B and C in FIG. 5 mean the imaging range of the fixed camera 29, and a1 to a4 mean the imaging range of the calibration image.
  • step S102 the calibration camera 3 is moved so that the imaging range of the calibration camera 3 and the imaging range of the fixed camera 29 have continuous regions. Then, in this step, the acquisition unit 41 acquires one or more calibration images captured by the calibration camera 3 and stores the one or more calibration images in the storage unit 48.
  • the acquisition unit 41 moves one or more calibration images (second captured images) captured by one or more calibration cameras (second imaging devices) 3 included in the movable device, or moves One or more calibration images (second captured images) captured by one or more calibration cameras (second imaging devices) 3 separately provided with a mechanism are acquired and stored in the storage unit 48.
  • the one or more calibration images are images obtained by capturing an area in which at least a part of the plurality of reference images (first captured images) is superimposed.
  • the calibration data generation unit 42 may notify that a sufficient amount of the calibration image has been imaged by, for example, a buzzer not shown in FIG. 1. Further, the calibration data generation unit 42 is at least at least among the imaging ranges of the plurality of fixed cameras (first imaging devices) 29 and the imaging ranges of the one or more calibration cameras (second imaging devices) 3. It may be determined whether it is possible to three-dimensionally restore an object included in any range.
  • the calibration data generation unit 42 is a union of the imaging ranges of the plurality of fixed cameras (first imaging devices) 29 and the imaging ranges of the one or more calibration cameras (second imaging devices) 3. It may be determined whether or not it is possible to three-dimensionally restore an object included in the imaging range defined by.
  • the quality of three-dimensional reconstruction data can be secured.
  • the calibration data generation unit 42 may determine whether the calibration image data satisfies the consistency with the reference image data.
  • a plurality of three-dimensional restoration data derived from any one of the captured images may be collated to determine whether the consistency is satisfied.
  • step S103 the calibration data generation unit 42 generates a plurality of reference images stored in the storage unit 48 in step S101 and one or more calibration images stored in the storage unit 48 in step S102.
  • Feature points and feature quantities are extracted from both sides.
  • a method such as Scale-Invariant Feature Transform (SIFT) or Speeded Up Robust Feature (SURF) may be used.
  • SIFT Scale-Invariant Feature Transform
  • SURF Speeded Up Robust Feature
  • step S104 the calibration data generation unit 42 uses the feature point and feature amount of the reference image extracted in step S103, and the feature point and feature amount of the calibration image to generate the reference image and the calibration image. Match with.
  • step S105 the calibration data generation unit 42 performs three-dimensional reconstruction of an object included in the reference image and the calibration image using the matching result in step S104.
  • a method such as SfM (Structure from Motion) may be used.
  • the size of the object may be specified by the method described below.
  • correspondence relationship information which is data indicating the correspondence between a predetermined object and the size of the object, is stored in the storage unit 48.
  • the size information acquisition unit 43 acquires the correspondence relationship information stored in the storage unit 48.
  • the size information acquisition unit 43 may separately acquire correspondence relationship information from another database (not shown in FIG. 2) via the communication unit 47.
  • the calibration data generation unit 42 refers to the correspondence information to compare a plurality of reference images (first captured images) and one or more calibration images (second captured images). Among them, the size of an object present in at least one of the captured images is specified.
  • CNN Convolutional Neural Network
  • the size of the object included in the three-dimensional reconstruction data can be specified.
  • the method of specifying the size of the object included in the three-dimensional reconstruction data is not limited to the method described above.
  • the size of the known object may be manually input, or the imaging system 2 may be additionally provided with a sensor using radio waves or the like, the control unit 40 refers to the measurement result by the sensor, and the size of the object is determined. It may be a configuration to identify.
  • step S106 the calibration data generation unit 42 calculates an imaging position and an imaging angle of a camera that has captured each image used for three-dimensional reconstruction with reference to the result of the three-dimensional reconstruction performed in step S105. Do.
  • step S107 the calibration data generation unit 42 extracts an image captured by the fixed camera 29 among the images for which the imaging position and the imaging angle have been calculated in step S106. An imaging position and an imaging angle are obtained.
  • the calibration data generation unit 42 is configured to use a plurality of fixed cameras (first imaging devices) from a plurality of reference images (first captured images) and one or more calibration images (second captured images). ) Calculate the overlapping range of the 29 imaging ranges with each other.
  • the overlapping ranges of the imaging ranges of the plurality of fixed cameras 29 can be collated.
  • step S108 the calibration data generation unit 42 associates the feature points and feature amounts in the reference image with the feature points and feature amounts in the three-dimensional reconstruction data generated in step S105, and a plurality of fixed cameras Parameters of a distortion coefficient or the like which is an internal parameter of 29 and a position and orientation which is an external parameter are obtained. Further, in this step, the calibration data generation unit 42 generates calibration data for performing calibration of the plurality of fixed cameras 29 based on the above parameters.
  • step S109 the communication control unit 44 transmits the calibration data generated by the calibration data generation unit 42 in step S108 to the imaging system 2 via the communication unit 47.
  • step S110 the communication control unit 22 acquires the calibration data transmitted by the communication unit 47 in step S110 via the communication unit 27 and stores the acquired data in the storage unit 28.
  • step S111 the image processing unit 21 performs calibration of the plurality of fixed cameras 29 using the calibration data stored in the storage unit 28 in step S111.
  • the captured image of the fixed camera 29 may be mapped to predetermined map information.
  • the calibration data generation unit 42 generates calibration data for mapping a plurality of reference images (first captured images) on predetermined map information.
  • a part or all of the predetermined map information can be replaced with an actual captured image.
  • the calibration data generation device 4 includes a plurality of reference images (first captured images) captured by the plurality of fixed cameras (first imaging devices) 29, and one or more calibration cameras (first Relative positional relationship between an acquisition unit 41 that acquires one or more calibration images (second captured images) captured by the imaging device 2) 3 and a plurality of fixed cameras (first imaging devices) 29 And a calibration data generation unit 42 that generates calibration data for identifying the plurality of reference images (first captured image) and the one or more calibration images (second captured image).
  • the above-mentioned relative positional relationship means relative position and posture (angle).
  • the positional relationship can be specified with high precision and easily for the user.
  • FIG. 6 is a functional block diagram of a calibration system 1a according to the present embodiment.
  • the calibration system 1 a has a configuration in which the calibration data generation device 4 a includes a display unit 46 and the control unit 40 a includes a display control unit 45 in addition to the calibration system 1 illustrated in FIG. 1.
  • FIG. 7 is a flowchart showing the flow of processing according to the present embodiment.
  • steps S101 and S102 processing similar to that of the first embodiment is performed.
  • step S203 the calibration data generation unit 42 matches the reference image captured by the fixed camera 29 with the calibration image captured by the calibration camera 3, and the reference image and the calibration image are predetermined.
  • the object included in the imaging range obtained by combining the imaging range of the fixed camera 29 and the imaging range of the calibration camera 3 is three-dimensionally restored.
  • the calibration data generation unit 42 may be configured to specify the size of the object as in the first embodiment, in addition to the process of three-dimensionally restoring the object as the subject.
  • step S204 the calibration data generation unit 42 calculates an area where the captured image is insufficient.
  • terrain data of a predetermined place including the imaging range of the fixed camera 29 and the imaging range of the calibration camera 3 is stored in the storage unit 48 from the beginning.
  • the calibration data generation unit 42 refers to the topography data and calculates an area lacking a captured image when performing calibration of the plurality of fixed cameras (first imaging devices) 29.
  • step S205 the calibration data generation unit 42 determines whether the number of captured images for performing calibration on the plurality of fixed cameras 29 is insufficient.
  • step S206 If the captured images for performing calibration of the plurality of fixed cameras 29 are insufficient, the process proceeds to step S206. If not, the process proceeds to step S107.
  • step S206 the display control unit 45 causes the display unit 46 to display the insufficient area calculated by the calibration data generation unit 42 in step S204 in a distinguishable manner.
  • the display unit 46 displays an area where shooting is insufficient in order to perform calibration of the plurality of fixed cameras (first imaging devices) 29.
  • FIG. 8 is a view showing a display example of a region where a captured image is lacking at a predetermined place.
  • an area lacking a captured image may be explicitly displayed.
  • the user may visually judge the display unit 46 to determine whether three-dimensional reconstruction is performed in a sufficient range.
  • step S102 After performing the above-described processing, the process proceeds to step S102.
  • steps S107 to S111 processing similar to that of the first embodiment is performed.
  • the user can grasp an insufficient imaging range when performing calibration of the fixed camera 29, and roughly know how to move the calibration camera 3, contributing to improvement of convenience for the user. Do.
  • the plurality of reference images (the first captured image) and the one or more calibration images (the second captured image) in the above-described embodiments may be captured images obtained by capturing an invisible ray such as infrared light, for example. .
  • the calibration data generation device 4 generates calibration data for specifying the relative positional relationship of the imaging device not overlapping the imaging range even in a place where the human eye looks dark And 4a, and the positional relationship can be specified with high precision and easily by the user by using the calibration data.
  • the calibration system 1a may include equipment such as a movable robot such as a drone, which is not illustrated in FIG. 6, and the calibration camera 3 may be a camera provided in the equipment.
  • the robot may acquire data indicating an area where imaging is insufficient and automatically move in accordance with the data.
  • one or more calibration images are captured images captured by an unspecified (arbitrary) photographer or an imaging device, or captured at an unspecified (arbitrary) timing It may be a captured image.
  • the one or more calibration images may be captured images posted to the social networking service by any user.
  • the acquisition unit 41 is a captured image suitable as a calibration image, for example, socialized by any user
  • the captured image posted to the networking service is acquired and used for the subsequent processing.
  • the imaging system 2 may be configured to include one or more calibration cameras 3.
  • the calibration data generation device 4 or 4a generates calibration data for calibration of the calibration camera 3, and the image processing unit 21 calibrates the calibration camera 3 using the above data. You may
  • the control blocks of the calibration data generation devices 4 and 4a may be realized by a logic circuit (hardware) formed in an integrated circuit (IC chip) or the like. It may be realized by software.
  • the calibration data generating devices 4 and 4a are each provided with a computer that executes instructions of a program that is software that implements each function.
  • the computer includes, for example, one or more processors, and a computer readable recording medium storing the program. Then, in the computer, the processor reads the program from the recording medium and executes the program to achieve the object of the present invention.
  • a CPU Central Processing Unit
  • the processor reads the program from the recording medium and executes the program to achieve the object of the present invention.
  • a CPU Central Processing Unit
  • the processor can be used as the processor.
  • a recording medium a tape, a disk, a card, a semiconductor memory, a programmable logic circuit or the like can be used besides “a non-temporary tangible medium”, for example, a ROM (Read Only Memory).
  • a RAM Random Access Memory
  • the program may be supplied to the computer via any transmission medium (communication network, broadcast wave, etc.) capable of transmitting the program.
  • any transmission medium communication network, broadcast wave, etc.
  • one aspect of the present invention can also be realized in the form of a data signal embedded in a carrier wave in which the program is embodied by electronic transmission.

Abstract

撮像装置の相対的な位置関係をより高精度且つユーザによって容易に特定する為の校正用データを生成する校正用データ生成装置を実現する。校正用データ生成装置（４、４ａ）は、複数の第１の撮像画像と、１又は複数の第２の撮像画像とを取得する取得部（４１）と、複数の第１の撮像装置（２９）の相対的な位置関係を特定する為の校正用データを生成する校正用データ生成部（４２）とを備える。

Description

校正用データ生成装置、校正用データ生成方法、キャリブレーションシステム、及び制御プログラム
　本発明は、校正用データ生成装置、校正用データ生成方法、キャリブレーションシステム、及び制御プログラムに関する。
　従来、同一の物体を異なる視点から撮影した多視点画像から、上記物体の３次元復元を行い、カメラの位置及び姿勢を特定するＳｆＭ（Structure from Motion）という技術が知られている。また、下記の非特許文献１では、無線の強度を参照して、無線ノードの位置検出を可能とする技術が開示されている。
　また、物体の特徴点の座標と、上記物体を撮影した画像内における上記特徴点の座標とを対応付けることにより、カメラの外部パラメータである位置姿勢を求め、キャリブレーションを行う技術が知られている。
小野昌之、福井潔、柳原健太郎、福永茂、原晋介、北山研一、「無線を使った位置検出」、沖テクニカルレビュー、沖電気工業、２００５年１０月、第２０４号　Ｖｏｌ７２　Ｎｏ．４、ｐ２４－２７
　しかしながら、上述のような従来技術は、カメラが所定の場所に固定されており、他のカメラと撮影範囲が重畳していない場合、上記カメラの位置姿勢を、人の手による実測等で計測する必要があり、手間がかかるうえに精度が悪いという問題がある。また、チェッカーボードのような所謂キャリブレーションボードを用いて、キャリブレーションを行う場合には、キャリブレーションボードの好適な位置姿勢を探す手間がかかるという問題がある。
　本発明の一態様は、上記の問題を鑑みてなされたものであり、撮像装置の相対的な位置関係をより高精度且つユーザにとって容易に特定する為の校正用データを生成する校正用データ生成装置を実現することを目的とする。
　上記の課題を解決するために、本発明の態様１に係る校正用データ生成装置は、複数の第１の撮像装置が撮像した複数の第１の撮像画像と、１又は複数の第２の撮像装置が撮像した１又は複数の第２の撮像画像とを取得する取得部と、前記複数の第１の撮像装置の相対的な位置関係を特定する為の校正用データを、前記複数の第１の撮像画像及び前記１又は複数の第２の撮像画像から生成する校正用データ生成部とを備える。
　上記の構成によれば、撮像装置の相対的な位置関係を特定する為の校正用データを生成する校正用データ生成装置を実現でき、上記校正用データを用いることにより上記位置関係をより高精度且つユーザにとって容易に特定できる。
　また、本発明の態様２に係る校正用データ生成装置において、前記取得部は、移動可能な機器が備える１若しくは複数の第２の撮像装置が撮像した１若しくは複数の第２の撮像画像、又は移動機構を別途備える１若しくは複数の第２の撮像装置が撮像した１若しくは複数の第２の撮像画像を取得してもよい。上記の構成によれば、ユーザが第２の撮像装置を取り扱う手間を低減できる。
　また、本発明の態様３に係る校正用データ生成装置において、前記１又は複数の第２の撮像画像は、前記複数の第１の撮像画像と少なくとも一部が重畳した範囲を撮像した画像であってもよい。
　上記の構成によれば、態様１に係る校正用データ生成装置において、撮像範囲が重畳しない撮像装置の相対的な位置関係を特定する為の校正用データを好適に生成することができる。
　また、本発明の態様４に係る校正用データ生成装置において、前記複数の第１の撮像画像は、互いに重畳しない範囲を撮像した画像であるか、互いに重畳する範囲が所定の範囲よりも少なくてもよい。上記の構成においても態様１と同様な効果を奏する。
　また、本発明の態様５に係る校正用データ生成装置において、所定の物体と前記物体のサイズとの対応関係情報を取得するサイズ情報取得部を更に備え、前記校正用データ生成部は、前記対応関係情報を参照して、前記複数の第１の撮像画像と、前記１又は複数の第２の撮像画像とのうち、少なくとも何れかの撮像画像内に存在する物体のサイズを特定してもよい。上記の構成によれば、３次元復元データに含まれる物体のサイズを特定することができる。
　また、本発明の態様６に係る校正用データ生成装置において、前記校正用データ生成部は、前記複数の第１の撮像装置の撮像範囲と、前記１又は複数の第２の撮像装置の撮像範囲とのうち、少なくとも何れかの範囲に含まれる物体を３次元復元することが可能か否かを判定してもよい。上記の構成によれば、３次元復元データの品質を担保することができる。
　また、本発明の態様７に係る校正用データ生成装置において、表示部を更に備え、前記表示部は、前記複数の第１の撮像装置のキャリブレーションを行う為に撮影が不足している領域を表示してもよい。
　上記の構成によれば、第１の撮像装置のキャリブレーションを行うにあたり不足している撮像範囲をユーザが把握でき、第２の撮像装置をどう動かせばよいかが大まかに分かる為、ユーザの利便性向上に寄与する。
　また、本発明の態様８に係る校正用データ生成装置において、前記校正用データ生成部は、前記複数の第１の撮像画像と、前記１又は複数の第２の撮像画像とから、前記複数の第１の撮像装置における撮像範囲の互いの重畳範囲を算出してもよい。上記の構成によれば、複数の第１の撮像装置における撮像範囲の互いの重畳範囲を照合できる。
　また、本発明の態様９に係る校正用データ生成装置において、前記１又は複数の第２の撮像画像は、不特定の撮影者若しくは撮影機器により撮像された撮像画像、又は不特定な時期に撮像された撮像画像であってもよい。上記の構成によれば、ユーザが、第２の撮像画像を撮像する手間を低減することができる。
　また、本発明の態様１０に係る校正用データ生成装置において、前記複数の第１の撮像画像と、前記１又は複数の第２の撮像画像とは、不可視光線を撮像した撮像画像であってもよい。
　上記の構成によれば、例えば人間の目には暗闇に見える場所においても、撮像範囲が重畳しない撮像装置の相対的な位置関係を特定する為の校正用データを生成する校正用データ生成装置を実現でき、上記校正用データを用いることにより上記位置関係を高精度且つユーザにとって容易に特定できる。
　また、本発明の態様１１に係る校正用データ生成装置において、前記校正用データ生成部は、前記複数の第１の撮像画像を所定の地図情報に対してマッピングする為の校正データを生成してもよい。上記の構成によれば、所定の地図情報の一部又は全部を、実際の撮像画像に置き換えることができる。
　また、本発明の態様１２に係る校正用データ生成方法は、生成装置によって実行される校正用データ生成方法であって、複数の第１の撮像装置が撮像した複数の第１の撮像画像と、１又は複数の第２の撮像装置が撮像した１又は複数の第２の撮像画像とを取得する取得ステップと、前記複数の第１の撮像装置の相対的な位置関係を特定する為の校正用データを、前記複数の第１の撮像画像及び前記１又は複数の第２の撮像画像から生成する位置関係算出ステップとを含む。上記の構成によれば、態様１と同様な効果を奏する。
　また、本発明の態様１３に係るキャリブレーションシステムは、撮像システムと、校正用データ生成装置と、１又は複数の第２の撮像装置とを備えたキャリブレーションシステムであって、前記撮像システムは、複数の第１の撮像装置と、画像処理部とを備え、前記校正用データ生成装置は、取得部と、校正用データ生成部を備え、前記取得部は、前記複数の第１の撮像装置が撮像した複数の第１の撮像画像と、前記１又は複数の第２の撮像装置が撮像した１又は複数の第２の撮像画像とを取得し、前記校正用データ生成部は、前記複数の第１の撮像画像と、前記１又は複数の第２の撮像画像とから、前記複数の第１の撮像装置の相対的な位置関係を特定する為の校正用データを生成し、前記画像処理部は、前記校正用データを参照して、前記複数の第１の撮像装置のキャリブレーションを行う。上記の構成によれば、より高精度且つユーザにとって容易に複数の第１の撮像装置のキャリブレーションを行うことができる。
　また、本発明の態様１４に係る制御プログラムは、本発明の一態様に係る制御装置としてコンピュータを機能させるための制御プログラムであって、前記取得部及び前記校正用データ生成部としてコンピュータを機能させるための制御プログラムである。上記の構成によれば、態様１と同様な効果を奏する。
　本発明の一態様によれば、撮像装置の相対的な位置関係を特定する為の校正用データを生成する校正用データ生成装置を実現でき、上記校正用データを用いることにより上記位置関係をより高精度且つユーザにとって容易に特定できる。
実施形態１に係るキャリブレーションシステムの機能ブロック図である。 実施形態１に係る処理の流れを示すフローチャートである。 固定カメラの撮像範囲の一例を示す図である。 校正用カメラによる撮像の一例を示す図である。 固定カメラと校正用カメラとの撮像範囲の一例を示す図である。 実施形態２に係るキャリブレーションシステムの機能ブロック図である。 実施形態２に係る処理の流れを示すフローチャートである。 所定の場所において撮像画像が不足している領域の表示例を示す図である。
　＜実施形態１＞
　以下、本発明の一側面に係る実施の形態（以下、「本実施形態」とも表記する）を、図面に基づいて説明する。ただし、以下で説明する本実施形態は、あらゆる点において本発明の例示に過ぎない。本発明の範囲を逸脱することなく種々の改良や変形を行うことができることは言うまでもない。つまり、本発明の実施にあたって、実施形態に応じた具体的構成が適宜採用されてもよい。なお、本実施形態において登場するデータを自然言語により説明しているが、より具体的には、コンピュータが認識可能な疑似言語、コマンド、パラメータ、マシン語等で指定される。
　§１　適用例
　本実施形態に係るキャリブレーションシステムは、撮像システムと、校正用データ生成装置と、１又は複数の第２の撮像装置とを備える。前記撮像システムは、複数の第１の撮像装置と、画像処理部とを備え、前記校正用データ生成装置は、取得部と、校正用データ生成部を備える。
　前記取得部は、前記複数の第１の撮像装置が撮像した複数の第１の撮像画像と、前記１又は複数の第２の撮像装置が撮像した１又は複数の第２の撮像画像とを取得する。
　前記校正用データ生成部は、前記複数の第１の撮像画像と、前記１又は複数の第２の撮像画像とから、前記複数の第１の撮像装置のキャリブレーションを行う為の校正用データを生成する。
　前記画像処理部は、前記校正用データを参照して、前記複数の第１の撮像装置のキャリブレーションを行う。
　上記の構成によれば、より高精度且つユーザにとって容易に複数の第１の撮像装置のキャリブレーションを行うことができる。
　§２　構成例
　次に、図１～図５に基づいて本発明の一例について説明する。
　本実施形態においては、撮像範囲が互いに重複しない撮像装置のキャリブレーションを行う構成について説明する。
　［キャリブレーションシステム１の構成］
　図１に基づいて本実施形態の構成の一例について説明する。
　図１は、本実施形態に係るキャリブレーションシステム１の機能ブロック図である。
　図１に示す通り、キャリブレーションシステム１は、撮像システム２、１又は複数の校正用カメラ（第２の撮像装置）３、及び校正用データ生成装置４を備えている。なお、校正用データとは、後述する複数の固定カメラ２９のキャリブレーションを行うために参照されるデータである。
　撮像システム２は、例えば宅内等のような、所定の場所の撮像に係るシステムであって、複数の固定カメラ（第１の撮像装置）２９、制御部２０、記憶部２８及び通信部２７を備える。なお、複数の固定カメラ２９は、基準となる１つの基準カメラと、上記基準カメラ以外のカメラであって、上記基準カメラに対して相対的な位置関係を有する調整カメラとに区別する構成でもよい。
　複数の固定カメラ２９は、上記所定の場所のうち、各々所定の範囲を撮像するカメラであって、少なくとも一時的に所定の位置に固定されたカメラである。ただし、複数の固定カメラ２９が所定の範囲において移動可能又は姿勢（角度）を変えることが可能な構成である場合においても本願発明は適用可能である。
　制御部２０は、撮像システム２全体を統括する制御装置であって、画像処理部２１及び通信制御部２２としても機能する。
　画像処理部２１は、校正用データを参照して、複数の固定カメラ２９のキャリブレーションに係る処理を行う。通信制御部２２は、通信部２７による通信に係る制御を行う。
　記憶部２８は、各種データを保持する記憶装置である。通信部２７は、外部の装置との通信を行う。
　１又は複数の校正用カメラ３は、上記所定の場所のうち、任意の範囲を撮像可能なカメラであって、移動する又は移動させることが可能なカメラである。
　具体的には、図１には図示しない機器であって例えばドローン（登録商標）のような移動可能なロボット等の機器が、１又は複数の校正用カメラ３を備える構成でもよいし、１又は複数の校正用カメラ３が、移動機構を別途備える構成でもよい。
　校正用データ生成装置４は、複数の固定カメラ２９のキャリブレーションを行う為の校正用データを生成する装置であって、制御部４０、記憶部４８及び通信部を備える。
　制御部は、校正用データ生成装置４全体を統括する制御装置であって、取得部４１、校正用データ生成部４２、サイズ情報取得部４３、及び通信制御部４４としても機能する。
　取得部４１は、複数の固定カメラ２９が撮像した画像と、１又は複数の校正用カメラ３が撮像した画像とを取得する。
　なお、本明細書において画像とは、静止画と動画との両方の意味を包含する。
　校正用データ生成部４２は、固定カメラ２９と校正用カメラ３とが撮像した多視点画像から、上記多視点画像に含まれる被写体の３次元復元を行い、カメラの位置及び姿勢を特定し、校正用データ生成処理を行う。
　記憶部４８は、各種データを保持する。通信部４７は、外部の装置との通信を行う。
　また、撮像装置及び校正用データ生成装置４が備える各部材は単数であることに限定されず、複数の当該部材を備える構成でもよい。
　§３　動作例
　本実施形態における処理の流れについて図１～図５に基づいてステップごとに説明する。
　図２は、本実施形態に係る処理の流れを示すフローチャートである。
　（Ｓ１０１）
　まず、キャリブレーション対象である複数の固定カメラ（第１の撮像装置）２９は、各々の撮像範囲を撮像する。なお、複数の固定カメラ２９は、少なくとも一時的に所定の位置に固定されている。
　ステップＳ１０１において、取得部４１は、複数の固定カメラ２９が撮像した複数の基準画像を取得し、記憶部４８に格納する。本ステップにおける処理を図面を参照して説明すれば以下の通りである。
　図３は、固定カメラ２９の撮像範囲の一例を示す図である。図３の（ａ）及び（ｂ）は共に固定カメラ２９の撮像範囲を表す。（１）及び（２）に示すように、前記複数の基準画像（複数の第１の撮像画像）は、一例として、互いに重畳しない範囲を撮像した画像であるか、互いに重畳する範囲が所定の範囲よりも少ない。
　ここで、複数の撮像画像の撮像範囲が重畳している範囲においては、上記範囲に存在する物体を被写体とする多視点画像が、複数の固定カメラ２９の少なくとも一部により撮像されることを意味する。また、上記所定の範囲とは、３次元復元の要件を満たす多視点画像を確保できる広さの重畳範囲のことを指す。
　ただし、前記複数の基準画像は、互いに上記所定の範囲以上に重畳する範囲を有してもよい。
　（Ｓ１０２）
　続いて、ステップＳ１０２において、取得部４１は、校正用カメラ３の撮像画像を取得し、記憶部４８に格納する。本ステップの具体的な処理について図面を参照して説明すれば以下の通りである。
　図４は、校正用カメラ３による撮像の一例を示す図である。図４に示すように、校正用カメラ（第２の撮像装置）３の撮像範囲が固定カメラ２９の撮像範囲と重畳するように、校正用カメラ３を移動させながら、撮像を行う。ここで、校正用カメラ３による撮像画像を以下、校正用画像（第２の撮像画像）と呼称する。
　図５は、固定カメラ２９と校正用カメラ３との撮像範囲の一例を示す図である。図５のＡ、Ｂ及びＣは、固定カメラ２９の撮像範囲を、ａ１～ａ４は、校正用画像の撮像範囲をそれぞれ意味する。
　図５に示すように、本ステップＳ１０２では、校正用カメラ３の撮像範囲と固定カメラ２９の撮像範囲とが連続的な領域を有するように校正用カメラ３を移動させる。そして、本ステップにおいて、取得部４１は、校正用カメラ３が撮像した１又は複数の校正用画像を取得し、記憶部４８に格納する。
　換言すると、取得部４１は、移動可能な機器が備える１若しくは複数の校正用カメラ（第２の撮像装置）３が撮像した１若しくは複数の校正用画像（第２の撮像画像）、又は、移動機構を別途備える１若しくは複数の校正用カメラ（第２の撮像装置）３が撮像した１若しくは複数の校正用画像（第２の撮像画像）を取得し、記憶部４８に格納する。
　ここで、前記１又は複数の校正用画像（第２の撮像画像）は、前記複数の基準画像（第１の撮像画像）と少なくとも一部が重畳した範囲を撮像した画像である。
　上記の構成により、後述のステップにおいて、校正用データを好適に生成することができる。
　また、校正用カメラ３による撮像の過程で、校正用データ生成部４２は、例えば図１には図示しないブザー等により、十分量の校正用画像を撮像したことを通知してもよい。また、校正用データ生成部４２は、複数の固定カメラ（第１の撮像装置）２９の撮像範囲と、１又は複数の校正用カメラ（第２の撮像装置）３の撮像範囲とのうち、少なくとも何れかの範囲に含まれる物体を３次元復元することが可能か否かを判定してもよい。
　換言すると、校正用データ生成部４２は、複数の固定カメラ（第１の撮像装置）２９の撮像範囲と、１又は複数の校正用カメラ（第２の撮像装置）３の撮像範囲との和集合により規定される撮像範囲に含まれる物体を３次元復元することが可能か否かを判定してもよい。
　上記の構成により３次元復元データの品質を担保することができる。また、上記の判定において校正用データ生成部４２は、校正用画像データが基準画像データとの整合性を満たしているかを判定してもよい。また、何れかの撮像画像に由来する複数の３次元復元データを照合し、整合性を満たしているかを判定してもよい。
　（Ｓ１０３）
　続いて、ステップＳ１０３において、校正用データ生成部４２は、ステップＳ１０１において記憶部４８に格納された複数の基準画像と、ステップＳ１０２において記憶部４８に格納された１又は複数の校正用画像との双方から、特徴点及び特徴量を抽出する。上記特徴点及び特徴量の算出には、例えばＳＩＦＴ（Scale-Invariant Feature Transform）やＳＵＲＦ（Speeded Up Robust Feature）等の手法を用いてもよい。
　（Ｓ１０４）
　続いて、ステップＳ１０４において、校正用データ生成部４２は、ステップＳ１０３において抽出した基準画像の特徴点及び特徴量と、校正用画像の特徴点及び特徴量とを用いて、基準画像と校正用画像とのマッチングを行う。
　（Ｓ１０５）
　続いて、ステップＳ１０５において、校正用データ生成部４２は、ステップＳ１０４におけるマッチングの結果を用いて基準画像と校正用画像とに含まれる物体の３次元復元を行う。なお、３次元復元を行うにあたっては、例えばSfM（Structure from Motion）等の方法を用いてもよい。
　また、被写体である上記物体を３次元復元する処理に加え、以下に示す方法で上記物体のサイズを特定する構成でもよい。
　当初から記憶部４８には、所定の物体と上記物体のサイズとの対応関係を示すデータである対応関係情報が格納されているものとする。
　サイズ情報取得部４３は、記憶部４８に格納された上記対応関係情報を取得する。なお、サイズ情報取得部４３は、通信部４７を介して図２には図示しない他のデータベースから対応関係情報を別途取得する構成でもよい。
　本ステップにおいて、校正用データ生成部４２は、上記対応関係情報を参照して、複数の基準画像（第１の撮像画像）と、１又は複数の校正用画像（第２の撮像画像）とのうち、少なくとも何れかの撮像画像内に存在する物体のサイズを特定する。
　なお、撮像画像内の物体が何であるかを特定する場合においては、例えばＣＮＮ（Convolutional Neural Network）を用いた深層学習による方法等を用いてもよい。
　上記の構成により、３次元復元データに含まれる物体のサイズを特定することができる。なお、３次元復元データに含まれる物体のサイズを特定する方法は上述した方法に限定されない。例えば、既知である当該物体のサイズを手入力する構成でもよいし、撮像システム２が電波等を用いたセンサを別途備え、制御部４０が上記センサによる測定結果を参照し、当該物体のサイズを特定する構成でもよい。
　（Ｓ１０６）
　続いて、ステップＳ１０６において、校正用データ生成部４２は、ステップＳ１０５において行った３次元復元の結果を参照して、３次元復元に使用した各画像を撮像したカメラの撮像位置及び撮像角度を算出する。
　（Ｓ１０７）
　続いて、ステップＳ１０７において、校正用データ生成部４２は、ステップＳ１０６において撮像位置及び撮像角度を算出した各画像のうち、固定カメラ２９が撮像した画像を抽出することにより、複数の固定カメラ２９の撮像位置及び撮像角度を求める。
　また、校正用データ生成部４２は、複数の基準画像（第１の撮像画像）と、１又は複数の校正用画像（第２の撮像画像）とから、複数の固定カメラ（第１の撮像装置）２９の撮像範囲の互いの重畳範囲を算出する。
　上記の構成によれば、複数の固定カメラ２９における撮像範囲の互いの重畳範囲を照合できる。
　（Ｓ１０８）
　続いて、ステップＳ１０８において、校正用データ生成部４２は、基準画像内における特徴点及び特徴量と、ステップＳ１０５において生成した３次元復元データ内における特徴点及び特徴量を対応づけ、複数の固定カメラ２９の内部パラメータである歪み係数等と外部パラメータである位置姿勢とのパラメータを求める。また、本ステップにおいて、校正用データ生成部４２は、上記パラメータに基づき、複数の固定カメラ２９のキャリブレーションを行う為の校正用データを生成する。
　（Ｓ１０９）
　続いて、ステップＳ１０９において、通信制御部４４は、ステップＳ１０８において校正用データ生成部４２が生成した校正用データを通信部４７を介して撮像システム２に送信する。
　（Ｓ１１０）
　続いて、ステップＳ１１０において、通信制御部２２は、通信部２７を介してステップＳ１１０において通信部４７が送信した校正用データを取得し、記憶部２８に格納する。
　（Ｓ１１１）
　続いて、ステップＳ１１１において、画像処理部２１は、ステップＳ１１１において記憶部２８に格納された校正用データを用いて、複数の固定カメラ２９のキャリブレーションを行う。
　また、例えば固定カメラ２９の撮像画像を所定の地図情報に対してマッピングしてもよい。
　即ち、校正用データ生成部４２は、複数の基準画像（第１の撮像画像）を所定の地図情報に対してマッピングする為の校正データを生成すると言い換えることもできる。
　上記の構成によれば、所定の地図情報の一部又は全部を、実際の撮像画像に置き換えることができる。
　以上が図２のフローチャートに基づく処理の流れである。
　上述したように、校正用データ生成装置４は、複数の固定カメラ（第１の撮像装置）２９が撮像した複数の基準画像（第１の撮像画像）と、１又は複数の校正用カメラ（第２の撮像装置）３が撮像した１又は複数の校正用画像（第２の撮像画像）とを取得する取得部４１と、複数の固定カメラ（第１の撮像装置）２９の相対的な位置関係を特定する為の校正用データを、前記複数の基準画像（第１の撮像画像）及び前記１又は複数の校正用画像（第２の撮像画像）から生成する校正用データ生成部４２とを備える。なお、上述した相対的な位置関係とは相対的な位置及び姿勢（角度）を意味する。
　上記の構成によれば、撮像範囲が重畳しない撮像装置の相対的な位置関係を特定する為の校正用データを好適に生成することができる。また、上記校正用データを用いることにより上記位置関係を高精度且つユーザにとって容易に特定できる。
　＜実施形態２＞
　本発明の第２の実施形態について、図１～図８に基づいて説明する。
　本実施形態においては、固定カメラ２９の位置姿勢を高精度に算出するために不足している撮像範囲を、ユーザが表示画面により確認できる構成について説明する。なお便宜上、上記の実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、説明を省略する。
　〔キャリブレーションシステム１ａの構成〕
　図６に基づいて本実施形態の構成の一例について説明する。
　図６は、本実施形態に係るキャリブレーションシステム１ａの機能ブロック図である。
　キャリブレーションシステム１ａは、図１に示すキャリブレーションシステム１に加えて、校正用データ生成装置４ａが表示部４６を備え、制御部４０ａが、表示制御部４５を備える構成である。
　本実施形態における処理の流れについて図２～図８に基づいてステップごとに説明する。
　図７は、本実施形態に係る処理の流れを示すフローチャートである。
　（Ｓ１０１～Ｓ１０２）
　ステップＳ１０１及びステップＳ１０２においては、実施形態１と同様の処理を行う。
　（Ｓ２０３）
　続いて、ステップＳ２０３において、校正用データ生成部４２は、固定カメラ２９が撮像した基準画像と校正用カメラ３が撮像した校正用画像とのマッチングを行い、基準画像と校正用画像とが所定の枚数以上、記憶部４８に蓄積された段階で、固定カメラ２９の撮像範囲と校正用カメラ３の撮像範囲とを合わせた撮像範囲に含まれる物体を３次元復元する。
　また、校正用データ生成部４２は、被写体である上記物体を３次元復元する処理に加え、実施形態１と同様に上記物体のサイズを特定する構成でもよい。
　（Ｓ２０４）
　続いて、ステップＳ２０４においては、校正用データ生成部４２が、撮像画像が不足している領域を算出する。
　当初から記憶部４８には、固定カメラ２９の撮像範囲と校正用カメラ３の撮像範囲とを含む所定の場所の地形データが格納されているものとする。
　本ステップにおいて、校正用データ生成部４２は、上記地形データを参照し、複数の固定カメラ（第１の撮像装置）２９のキャリブレーションを行うにあたり撮像画像が不足している領域を算出する。
　（Ｓ２０５）
　続いて、ステップにＳ２０５においては、校正用データ生成部４２が、複数の固定カメラ２９のキャリブレーションを行う為の撮像画像が不足しているか否かを判定する。
　複数の固定カメラ２９のキャリブレーションを行う為の撮像画像が不足している場合は、ステップＳ２０６へ遷移し、不足していない場合は、ステップＳ１０７へ遷移する。
　（Ｓ２０６）
　ステップＳ２０６において、表示制御部４５は、ステップＳ２０４において校正用データ生成部４２が算出した不足領域を判別可能に表示部４６に表示させる。
　表示部４６は、複数の固定カメラ（第１の撮像装置）２９のキャリブレーションを行う為に撮影が不足している領域を表示する。
　図８は、所定の場所において撮像画像が不足している領域の表示例を示す図である。
　上記表示例としては、（ａ）に示すように、撮像画像が不足している領域を明示的に表示してもよい。また、（ｂ）に示すように、キャリブレーションに要する周辺の撮像画像が不足している固定カメラ２９を示してもよい。また、（ｃ）に示すように、十分な範囲において３次元復元がなされているかを、ユーザが表示部４６を目視し、判定できる構成でもよい。
　上述の処理を行ったのち、次いでステップＳ１０２へ遷移する。
　（Ｓ１０７～Ｓ１１１）
　ステップＳ１０７からステップＳ１１１においては、実施形態１と同様の処理を行う。
　以上が図７のフローチャートに基づく処理の流れである。
　上記の構成によれば、固定カメラ２９のキャリブレーションを行うにあたり不足している撮像範囲をユーザが把握でき、校正用カメラ３をどう動かせばよいかが大まかに分かる為、ユーザの利便性向上に寄与する。
　＜実施形態１及び２に係る付記事項＞
　上述の各実施形態における複数の基準画像（第１の撮像画像）及び１又は複数の校正用画像（第２の撮像画像）は、例えば赤外線等の不可視光線を撮像した撮像画像であってもよい。
　上記の構成によれば、例えば人間の目には暗闇に見える場所においても、撮像範囲が重畳しない撮像装置の相対的な位置関係を特定する為の校正用データを生成する校正用データ生成装置４及び４ａを実現でき、上記校正用データを用いることにより上記位置関係を高精度且つユーザにとって容易に特定できる。
　キャリブレーションシステム１ａが、図６には図示しない例えばドローンのような移動可能なロボット等の機器を備え、校正用カメラ３は、上記機器に備え付けられたカメラである構成でもよい。上記の構成においては、上記ロボットが、撮像が不足している領域を示すデータを取得し、上記データに応じて自動的に移動する構成でもよい。
　また、１又は複数の校正用画像（第２の撮像画像）は、不特定の（任意の）撮影者若しくは撮影機器により撮像された撮像画像、又は不特定な（任意の）時期に撮像された撮像画像であってもよい。例えば１又は複数の校正用画像は、任意のユーザによりソーシャルネットワーキングサービスに投稿された撮像画像であってもよい。
　具体的には、取得部４１が、通信部４７を介して、校正用データ生成装置４と連携しているウェブサーバ等のサーバから、校正用画像として好適な撮像画像、例えば任意のユーザによりソーシャルネットワーキングサービスに投稿された撮像画像を取得し、以降の処理に用いる。
　上記の構成によれば、ユーザが、校正用画像を撮像する手間を低減することができる。
　また、撮像システム２が、１又は複数の校正用カメラ３を備える構成でもよい。上記の構成においては、校正用データ生成装置４又は４ａが校正用カメラ３のキャリブレーションを行う為の校正用データを生成し、画像処理部２１が、上記データを用いて校正用カメラ３のキャリブレーションを行ってもよい。
　〔ソフトウェアによる実現例〕
　校正用データ生成装置４及び４ａの制御ブロック（特に校正用データ生成部４２およびサイズ情報取得部４３）は、集積回路（ＩＣチップ）等に形成された論理回路（ハードウェア）によって実現してもよいし、ソフトウェアによって実現してもよい。
　後者の場合、校正用データ生成装置４及び４ａは、各機能を実現するソフトウェアであるプログラムの命令を実行するコンピュータを備えている。このコンピュータは、例えば１つ以上のプロセッサを備えていると共に、上記プログラムを記憶したコンピュータ読み取り可能な記録媒体を備えている。そして、上記コンピュータにおいて、上記プロセッサが上記プログラムを上記記録媒体から読み取って実行することにより、本発明の目的が達成される。上記プロセッサとしては、例えばＣＰＵ（Central Processing Unit）を用いることができる。上記記録媒体としては、「一時的でない有形の媒体」、例えば、ＲＯＭ（Read Only Memory）等の他、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、上記プログラムを展開するＲＡＭ（Random Access Memory）などをさらに備えていてもよい。また、上記プログラムは、該プログラムを伝送可能な任意の伝送媒体（通信ネットワークや放送波等）を介して上記コンピュータに供給されてもよい。なお、本発明の一態様は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。
　本発明は上述した実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
　１、１ａ　キャリブレーションシステム
　２　撮像システム
　３　校正用カメラ（第２の撮像装置）
　４、４ａ　校正用データ生成装置
　２０、４０、４０ａ　制御部
　２１　画像処理部
　２２、４４　通信制御部
　２７、４７　通信部
　２８、４８　記憶部
　２９　固定カメラ（第１の撮像装置）
　４１　取得部
　４２　校正用データ生成部
　４３　サイズ情報取得部
　４５　表示制御部
　４６　表示部

Claims (14)

  1. 　複数の第１の撮像装置が撮像した複数の第１の撮像画像と、１又は複数の第２の撮像装置が撮像した１又は複数の第２の撮像画像とを取得する取得部と、
    　前記複数の第１の撮像装置の相対的な位置関係を特定する為の校正用データを、前記複数の第１の撮像画像及び前記１又は複数の第２の撮像画像から生成する校正用データ生成部と
    を備えることを特徴とする校正用データ生成装置。
  2. 　前記取得部は、
    　　移動可能な機器が備える１若しくは複数の第２の撮像装置が撮像した１若しくは複数の第２の撮像画像、又は、
    　　移動機構を別途備える１若しくは複数の第２の撮像装置が撮像した１若しくは複数の第２の撮像画像
    を取得することを特徴とする請求項１に記載の校正用データ生成装置。
  3. 　前記１又は複数の第２の撮像画像は、
    　　前記複数の第１の撮像画像と少なくとも一部が重畳した範囲を撮像した画像である
    ことを特徴とする請求項１又は２に記載の校正用データ生成装置。
  4. 　前記複数の第１の撮像画像は、
    　　互いに重畳しない範囲を撮像した画像であるか、互いに重畳する範囲が所定の範囲よりも少ない
    ことを特徴とする請求項１から３までの何れか１項に記載の校正用データ生成装置。
  5. 　所定の物体と前記物体のサイズとの対応関係情報を取得するサイズ情報取得部を更に備え、
    　前記校正用データ生成部は、
    　　前記対応関係情報を参照して、
    　　前記複数の第１の撮像画像と、前記１又は複数の第２の撮像画像とのうち、少なくとも何れかの撮像画像内に存在する物体のサイズを特定する
    ことを特徴とする請求項１から４までの何れか１項に記載の校正用データ生成装置。
  6. 　前記校正用データ生成部は、
    　前記複数の第１の撮像装置の撮像範囲と、前記１又は複数の第２の撮像装置の撮像範囲とのうち、少なくとも何れかの範囲に含まれる物体を３次元復元することが可能か否かを判定する
    ことを特徴とする請求項１から５までの何れか１項に記載の校正用データ生成装置。
  7. 　表示部を更に備え、
    　前記表示部は、前記複数の第１の撮像装置のキャリブレーションを行う為に撮影が不足している領域を表示する
    ことを特徴とする請求項６に記載の校正用データ生成装置。
  8. 　前記校正用データ生成部は、
    　　前記複数の第１の撮像画像と、前記１又は複数の第２の撮像画像とから、
    　　前記複数の第１の撮像装置における撮像範囲の互いの重畳範囲を算出する
    ことを特徴とする請求項１から７までの何れか１項に記載の校正用データ生成装置。
  9. 　前記１又は複数の第２の撮像画像は、
    　　不特定の撮影者若しくは撮影機器により撮像された撮像画像、又は不特定な時期に撮像された撮像画像である
    ことを特徴とする請求項１から７までの何れか１項に記載の校正用データ生成装置。
  10. 　前記複数の第１の撮像画像と、前記１又は複数の第２の撮像画像とは、
    　　不可視光線を撮像した撮像画像である
    ことを特徴とする請求項１から８までの何れか１項に記載の校正用データ生成装置。
  11. 　前記校正用データ生成部は、
    　　前記複数の第１の撮像画像を所定の地図情報に対してマッピングする為の校正データを生成する
    ことを特徴とする請求項１から９までの何れか１項に記載の校正用データ生成装置。
  12. 　生成装置によって実行される校正用データ生成方法であって、
    　複数の第１の撮像装置が撮像した複数の第１の撮像画像と、１又は複数の第２の撮像装置が撮像した１又は複数の第２の撮像画像とを取得する取得ステップと、
    　前記複数の第１の撮像装置の相対的な位置関係を特定する為の校正用データを、前記複数の第１の撮像画像及び前記１又は複数の第２の撮像画像から生成する位置関係算出ステップと
    を含むことを特徴とする校正用データ生成方法。
  13. 　撮像システムと、校正用データ生成装置と、１又は複数の第２の撮像装置とを備えたキャリブレーションシステムであって、
    　前記撮像システムは、
    　　複数の第１の撮像装置と、画像処理部とを備え、
    　前記校正用データ生成装置は、
    　　取得部と、校正用データ生成部を備え、
    　前記取得部は、前記複数の第１の撮像装置が撮像した複数の第１の撮像画像と、前記１又は複数の第２の撮像装置が撮像した１又は複数の第２の撮像画像とを取得し、
    　前記校正用データ生成部は、前記複数の第１の撮像画像と、前記１又は複数の第２の撮像画像とから、前記複数の第１の撮像装置の相対的な位置関係を特定する為の校正用データを生成し、
    　前記画像処理部は、
    　前記校正用データを参照して、前記複数の第１の撮像装置のキャリブレーションを行うことを特徴とするキャリブレーションシステム。
  14. 　請求項１から１１までのいずれか１項に記載の校正用データ生成装置としてコンピュータを機能させるための制御プログラムであって、前記取得部及び前記校正用データ生成部としてコンピュータを機能させるための制御プログラム。
PCT/JP2018/043429 2017-12-20 2018-11-26 校正用データ生成装置、校正用データ生成方法、キャリブレーションシステム、及び制御プログラム WO2019123988A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017243974A JP6447706B1 (ja) 2017-12-20 2017-12-20 校正用データ生成装置、校正用データ生成方法、キャリブレーションシステム、及び制御プログラム
JP2017-243974 2017-12-20

Publications (1)

Publication Number Publication Date
WO2019123988A1 true WO2019123988A1 (ja) 2019-06-27

Family

ID=64960206

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/043429 WO2019123988A1 (ja) 2017-12-20 2018-11-26 校正用データ生成装置、校正用データ生成方法、キャリブレーションシステム、及び制御プログラム

Country Status (2)

Country Link
JP (1) JP6447706B1 (ja)
WO (1) WO2019123988A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019148926A (ja) * 2018-02-26 2019-09-05 株式会社リコー 情報処理装置、移動体システム、撮像システム及び情報処理方法
US11095870B1 (en) * 2020-04-23 2021-08-17 Sony Corporation Calibration of cameras on unmanned aerial vehicles using human joints
CN112050818A (zh) * 2020-07-29 2020-12-08 深圳市修远文化创意有限公司 一种校准定位的方法及其相关装置
JP2022095239A (ja) * 2020-12-16 2022-06-28 株式会社ラグロフ設計工房 画像標定方法、画像標定装置、画像標定システム及び画像標定プログラム

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000209571A (ja) * 1999-01-20 2000-07-28 Fujitsu General Ltd 監視カメラシステム
JP2011139368A (ja) * 2009-12-28 2011-07-14 Canon Inc 撮像装置の制御装置および制御方法
JP2016082258A (ja) * 2014-10-09 2016-05-16 株式会社デンソー 車載カメラ較正装置、画像生成装置、車載カメラ較正方法、画像生成方法
JP2016109473A (ja) * 2014-12-03 2016-06-20 日立Ｇｅニュークリア・エナジー株式会社 レーザ計測作業のシミュレーション装置
JP2016170610A (ja) * 2015-03-12 2016-09-23 セコム株式会社 三次元モデル処理装置およびカメラ校正システム
JP2017219377A (ja) * 2016-06-06 2017-12-14 三菱電機株式会社 監視装置、監視方法及び空港監視システム

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3569820B2 (ja) * 2000-04-26 2004-09-29 澁谷工業株式会社 位置合わせ装置及び位置合わせ方法
JP2007025863A (ja) * 2005-07-13 2007-02-01 Advanced Telecommunication Research Institute International 撮影システム、撮影方法及び画像処理プログラム
US20130063558A1 (en) * 2011-09-14 2013-03-14 Motion Analysis Corporation Systems and Methods for Incorporating Two Dimensional Images Captured by a Moving Studio Camera with Actively Controlled Optics into a Virtual Three Dimensional Coordinate System
JP5886594B2 (ja) * 2011-10-27 2016-03-16 セコム株式会社 カメラシステム
JP5901379B2 (ja) * 2012-03-26 2016-04-06 三菱電機株式会社 撮像装置校正方法および画像合成装置
JP2016004466A (ja) * 2014-06-18 2016-01-12 パイオニア株式会社 情報生成装置及び方法、端末装置、コンピュータプログラム並びに記録媒体

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000209571A (ja) * 1999-01-20 2000-07-28 Fujitsu General Ltd 監視カメラシステム
JP2011139368A (ja) * 2009-12-28 2011-07-14 Canon Inc 撮像装置の制御装置および制御方法
JP2016082258A (ja) * 2014-10-09 2016-05-16 株式会社デンソー 車載カメラ較正装置、画像生成装置、車載カメラ較正方法、画像生成方法
JP2016109473A (ja) * 2014-12-03 2016-06-20 日立Ｇｅニュークリア・エナジー株式会社 レーザ計測作業のシミュレーション装置
JP2016170610A (ja) * 2015-03-12 2016-09-23 セコム株式会社 三次元モデル処理装置およびカメラ校正システム
JP2017219377A (ja) * 2016-06-06 2017-12-14 三菱電機株式会社 監視装置、監視方法及び空港監視システム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
ORTEGA AGUSTIN: "Calibration of an Outdoor Distributed Camera Network with 3D Point Cloud", SENSORS, vol. 14, 29 July 2014 (2014-07-29), pages 13708 - 13729, XP055621285 *

Also Published As

Publication number Publication date
JP6447706B1 (ja) 2019-01-09
JP2019109200A (ja) 2019-07-04

Similar Documents

Publication Publication Date Title
WO2019123988A1 (ja) 校正用データ生成装置、校正用データ生成方法、キャリブレーションシステム、及び制御プログラム
CN105818167B (zh) 采用远距数字摄像头校准铰接的末端执行器的方法
EP2194725A1 (en) Method and apparatus for correcting a depth image
CN110517209B (zh) 数据处理方法、装置、系统以及计算机可读存储介质
US10771776B2 (en) Apparatus and method for generating a camera model for an imaging system
CN110910459B (zh) 一种对摄像装置的标定方法、装置及标定设备
JP2008506953A5 (ja)
CN104949617A (zh) 用于对象包装的对象三维尺寸估测系统及方法
JPH11160021A (ja) 広域３次元位置計測方法及び装置
JP2021106025A5 (ja)
WO2016135856A1 (ja) ３次元形状計測システムおよびその計測方法
CN110991306B (zh) 自适应的宽视场高分辨率智能传感方法和系统
CN107945166B (zh) 基于双目视觉的待测物体三维振动轨迹的测量方法
JP2019165658A (ja) 植物生育指標測定装置、方法およびプログラム
CN112633113A (zh) 跨摄像头的人脸活体检测方法及系统
CN109345560B (zh) 增强现实设备的运动跟踪精度测试方法及装置
KR100881958B1 (ko) 영상의 실물 크기 계산 방법 및 그 시스템
CN106403951A (zh) 一种基于计算机视觉的定位系统及其定位方法
CN109389645B (zh) 相机自校准方法、系统、相机、机器人及云端服务器
CN116843759A (zh) 双目摄像头的标定验证方法、系统、计算机设备及介质
US20200351488A1 (en) Three-dimensional information acquisition system using pitching practice, and method for calculating camera parameters
CN115564845A (zh) 分区域的双目相机标定方法
JP5230354B2 (ja) 位置特定装置及び異動建物検出装置
CN110068308B (zh) 一种基于多目相机的测距方法及测距系统
CN105651201A (zh) 三维扫描装置和三维扫描方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18890508

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18890508

Country of ref document: EP

Kind code of ref document: A1