WO2019225681A1 - 校正装置および校正方法 - Google Patents

校正装置および校正方法 Download PDF

Info

Publication number
WO2019225681A1
WO2019225681A1 PCT/JP2019/020393 JP2019020393W WO2019225681A1 WO 2019225681 A1 WO2019225681 A1 WO 2019225681A1 JP 2019020393 W JP2019020393 W JP 2019020393W WO 2019225681 A1 WO2019225681 A1 WO 2019225681A1
Authority
WO
WIPO (PCT)
Prior art keywords
unit
matching
camera
video
calibration
Prior art date
Application number
PCT/JP2019/020393
Other languages
English (en)
French (fr)
Inventor
達也 小山
将貴 福田
敏康 杉尾
徹 松延
哲史 吉川
Original Assignee
パナソニックＩｐマネジメント株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニックＩｐマネジメント株式会社 filed Critical パナソニックＩｐマネジメント株式会社
Priority to JP2020520356A priority Critical patent/JP7223978B2/ja
Publication of WO2019225681A1 publication Critical patent/WO2019225681A1/ja
Priority to US17/070,290 priority patent/US11176707B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/254—Analysis of motion involving subtraction of images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/292—Multi-camera tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H04N13/117—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation the virtual viewpoint locations being selected by the viewers or determined by viewer tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/246—Calibration of cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance

Definitions

  • the present disclosure relates to a calibration device that calibrates external parameters of a plurality of imaging devices arranged at different positions, and a calibration method using the calibration device.
  • Patent Document 1 discloses a technique for reproducing a three-dimensional shape of a subject from images captured by each of a plurality of imaging devices. According to Patent Document 1, a free viewpoint video is generated using this three-dimensional shape.
  • the present disclosure provides a calibration device and a calibration method that can easily calibrate parameters of a plurality of imaging devices arranged at different positions.
  • the calibration device is a calibration device that is arranged at different positions and calibrates parameters of a plurality of imaging devices that capture a common three-dimensional space, and is captured by the plurality of imaging devices.
  • An acquisition unit that acquires a plurality of videos each having a plurality of frames, and a first feature point from the first frame of the video for each of the plurality of videos acquired by the acquisition unit And extracting a second feature point from an area in which a moving object of a second frame different from the first frame of the video is reflected, and a plurality of the extracted by the extracting unit
  • a matching unit that performs matching with each other using the first feature points and performs matching with each other by using the plurality of extracted second feature points; and the matchon Based on the plurality of matching results obtained by the matching in part, and a reconstruction unit which calculates a parameter of the plurality of imaging devices.
  • the calibration device can easily calibrate external parameters of a plurality of imaging devices arranged at different positions.
  • FIG. 1 is a diagram showing an outline of three-dimensional space recognition.
  • FIG. 2 is a block diagram showing a configuration of the multi-viewpoint imaging system in the first embodiment.
  • FIG. 3 is a block diagram illustrating a configuration of the imaging device according to the first embodiment.
  • FIG. 4 is a block diagram illustrating a configuration of the control device according to the first embodiment.
  • FIG. 5 is a block diagram illustrating a configuration of the calibration apparatus according to the first embodiment.
  • FIG. 6 is a diagram for explaining the details of the calibration process.
  • FIG. 7 is a diagram for explaining the details of the calibration processing.
  • FIG. 8 is a diagram for explaining the details of the calibration process.
  • FIG. 9 is a diagram for explaining the details of the calibration process.
  • FIG. 10 is a diagram for explaining the details of the calibration process.
  • FIG. 11 is a diagram for explaining the details of the calibration processing.
  • FIG. 12 is a diagram for explaining the details of the calibration processing.
  • FIG. 13 is a sequence diagram illustrating a series of operations performed by the imaging system according to the first embodiment.
  • FIG. 14A is a diagram showing an example of a data configuration of calibration information in the first embodiment.
  • FIG. 14B is a diagram showing another example of the data configuration of the calibration information in the first exemplary embodiment.
  • FIG. 15 is a flowchart illustrating an example of the calibration process according to the first embodiment.
  • FIG. 16 is a flowchart illustrating an example of the calibration process in the third modification.
  • FIG. 17 is a flowchart illustrating a first example of a frame pre-selection process.
  • FIG. 14A is a diagram showing an example of a data configuration of calibration information in the first embodiment.
  • FIG. 14B is a diagram showing another example of the data configuration of the calibration information in the first exemplary embodiment.
  • FIG. 15 is
  • FIG. 18 is a diagram for explaining processing for generating a mask image synthesis result from a plurality of frames.
  • FIG. 19 is a graph showing a change in the number of pixels in the foreground area when the foreground areas of a plurality of frames are combined.
  • FIG. 20 is a flowchart illustrating a second example of frame pre-selection processing.
  • FIG. 21 is a flowchart illustrating a third example of the frame pre-selection process.
  • FIG. 22 is a diagram illustrating a configuration of a video information processing system.
  • FIG. 23 is a diagram illustrating an example of a notification screen displayed when the camera is activated.
  • FIG. 24 is an overall configuration diagram of a content supply system that realizes a content distribution service.
  • FIG. 25 is an overall configuration diagram of a digital broadcasting system.
  • FIG. 26 is a diagram illustrating an example of a smartphone.
  • FIG. 27 is a block diagram illustrating a configuration example of a smartphone.
  • the three-dimensional space reconstruction device includes video data provided from an imaging system including a plurality of cameras that capture video of the same scene, and camera parameters indicating the position and orientation of each camera obtained by calibration. To do modeling. Therefore, if the camera position changes after calibration, the 3D space reconstruction cannot be performed properly because the camera parameters do not reflect the actual state, such as the camera position. Deteriorates or fails to generate itself. For this reason, it is necessary to periodically calibrate camera parameters.
  • a plurality of cameras are arranged so as to surround a predetermined space. For this reason, when trying to calibrate parameters for each of a plurality of cameras, there is a problem that it is difficult to calibrate the parameters accurately when it is difficult to extract feature points.
  • the calibration apparatus is a calibration apparatus that is arranged at different positions and calibrates parameters of a plurality of imaging apparatuses that each capture a common three-dimensional space, A plurality of videos captured by the imaging device, each acquiring a plurality of videos having a plurality of frames, and each of the plurality of videos acquired by the acquisition unit is a first of the videos
  • An extraction unit that extracts a first feature point from a frame and extracts a second feature point from an area in which a moving object of a second frame different from the first frame of the video is reflected; and
  • a matching unit that performs matching with each other using the plurality of the extracted first feature points, and that performs matching with each other using the plurality of the extracted second feature points; Based on the plurality of matching results obtained by the matching in the matching unit, and a reconstruction unit which calculates a parameter of the plurality of imaging devices.
  • the first feature point is extracted from the first frame
  • the second feature point is extracted from the region in which the moving object of the second frame is reflected, so the feature point of the moving object is used for parameter calibration. It can be added and used as a feature point. That is, since the feature points obtained from a plurality of images captured by a plurality of imaging devices can be effectively increased, the parameters of the imaging device can be accurately calibrated.
  • the extraction unit extracts, as the second frame, a plurality of frames corresponding to the first timing of the video and including a region in which a moving object is reflected for each of the plurality of videos.
  • the second feature point may be extracted for each of the plurality of second frames extracted from the plurality of videos.
  • the feature point is captured when the moving object is located at a specific position in the three-dimensional space.
  • the feature points are extracted from the frames. For this reason, the feature points used for calibration of the parameters of the imaging apparatus can be effectively increased.
  • the extraction unit supports, for each of the plurality of videos, a second timing different from the first timing among the videos.
  • the third feature point is extracted from the region of the plurality of third frames including the region in which the moving object is reflected, and the matching unit is configured to extract the plurality of the third feature points.
  • the reconstruction unit may calculate the parameters of the plurality of imaging devices based on the plurality of matching results further including a matching result obtained by newly performed matching. Good.
  • the parameters can be calibrated with high accuracy.
  • the extraction unit and the matching unit have already performed the extraction of each of the plurality of videos until the total number of the matching results obtained by matching in the matching unit is equal to or greater than the first number.
  • the extraction and the matching may be repeated for a frame corresponding to a timing different from the timing corresponding to the frame.
  • the video is obtained from the videos among the plurality of feature points associated with the plurality of matching results among the plurality of areas.
  • the extraction unit includes a fourth frame in which a moving object is reflected in the deficient area of the plurality of videos. And extracting a fourth feature point from the deficient region of the fourth frame, the matching unit performs matching with the plurality of extracted fourth feature points, and the reconstruction unit includes:
  • the parameters of the plurality of imaging devices may be calculated based on a plurality of matching results further including a matching result obtained by newly performed matching.
  • the parameters can be calibrated with high accuracy.
  • the processing load can be reduced because it is only necessary to perform processing on the insufficient area.
  • the extraction unit and the matching unit each of the plurality of videos until the total number of the matching results obtained by matching in the matching unit in each of the plurality of regions is equal to or greater than the second number.
  • the extraction and the matching may be repeated for a frame corresponding to a timing different from a timing corresponding to a frame where the extraction has already been performed.
  • the reconstruction unit further estimates a three-dimensional position of each of the plurality of matching results in the three-dimensional space
  • the calibration device further includes the plurality of cubics estimated by the reconstruction unit.
  • a determination unit that determines whether or not the accuracy of the calibrated parameter is sufficient based on the original position, and when the determination unit determines that the accuracy of the parameter is not sufficient, the extraction unit, The matching unit, the reconstruction unit, and the determination unit correspond to frames in which the extraction has already been performed for each of the plurality of videos until the determination unit determines that the accuracy of the parameter is sufficient.
  • the extraction, the matching, the calibration, the estimation, and the determination may be repeated for a frame corresponding to a timing different from the timing to perform There.
  • the determination unit a plurality of two-dimensional coordinates in a two-dimensional image obtained when assuming that each of the plurality of imaging devices has captured the plurality of three-dimensional positions estimated by the reconstruction unit, Determining whether an error between a plurality of two-dimensional coordinates that are two-dimensional coordinates of the first feature point and the second feature point obtained from an image captured by the imaging device is smaller than a predetermined value;
  • the extraction unit, the matching unit, the reconstruction unit, and the determination unit determine that the error is greater than a predetermined value, the plurality of images until the determination unit determines that the error is equal to or less than a predetermined value.
  • the extraction, the matching, the calibration, the estimation, and the determination may be repeated for a plurality of frames corresponding to the different timings.
  • the imaging system includes a plurality of cameras for photographing the same scene in a predetermined space.
  • the predetermined space is a venue where a sports event is held, and the same scene is a scene of a game held at the venue.
  • the predetermined space is a space monitored using a monitoring camera, and the same scene includes the state of a person or an object in the monitoring target space.
  • the predetermined space is a space on a road where the vehicle travels.
  • Each of the plurality of cameras captures images of at least partially overlapping areas in this space from different positions.
  • a plurality of cameras 100 surrounds a space that is a sports game venue and is installed at different positions. Further, the cameras 100 take different postures, and at least a part of this space is accommodated in each photographing region. Overlapping at least a part of the imaging area of each camera 100 means that video data generated by imaging the same subject from a plurality of viewpoints is used for virtual reconstruction (three-dimensional space reconstruction) of the three-dimensional space. Because it is.
  • the overlapping of the shooting areas does not require that the shooting area of one camera 100 overlaps the shooting areas of all the other cameras 100, and the shooting areas of some of the other cameras 100 are different from the shooting areas of the other cameras 100. Duplication may be sufficient.
  • the plurality of cameras 100 installed in this manner are communicably connected to a control device described later included in the imaging system.
  • Calibration is a correspondence between an actual point in the shooting area of each camera 100 and a point on the image (correspondence between points indicated by white triangles connected by a curve in FIG. 1B) or different cameras 100.
  • parameters indicating the position of each camera 100 and the angle (posture) in the imaging direction are calculated. It is to be.
  • the parameters indicating the position and orientation of the camera 100 are represented on a common coordinate system in a predetermined space, which is a three-dimensional space, and are camera parameters used later for three-dimensional space reconstruction. The camera parameters will be described later.
  • each camera 100 executes multi-viewpoint imaging by capturing a synchronized video based on a signal from the control device ((c) in FIG. 1). Video data generated by this imaging is transmitted to the three-dimensional space reconstruction device.
  • three-dimensional model data of each subject in the photographing region is generated using the video data and the camera parameters ((d) in FIG. 1). .
  • the three-dimensional model data is transmitted to a later-described three-dimensional space recognition device that performs three-dimensional space recognition.
  • Examples of functions provided by the 3D space recognition (FIG. 1E) performed by the 3D space recognition apparatus using the 3D model data include the above-described free viewpoint video generation, scene analysis, and tracking. Can be mentioned.
  • a simple example of a method for generating a free viewpoint video is shown.
  • the structure of each subject in the imaging region and the distance from the virtual viewpoint, which is visible from the virtual viewpoint that is designated or automatically set by the user or the system administrator, is calculated based on the three-dimensional model data.
  • information on the color and texture of each subject is preferentially acquired from the video data of the camera 100 at a short distance from the virtual viewpoint among the cameras 100.
  • a video that can be seen from a virtual viewpoint is generated (rendered).
  • the rendered video is delivered to the user's video display terminal.
  • Such a free viewpoint video generation function can be used in the entertainment field such as a television sports program. Thereby, for example, the viewer can reproduce the video of the highlight scene from the viewpoint he desires.
  • the function of free viewpoint video generation may be used in the monitoring system. In this case, the estimated appearance of the suspicious person viewed from a viewpoint that is not captured by the actual camera can be presented to the security guard to be alerted.
  • the structure viewed from the virtual viewpoint of each subject in the shooting area and the distance from the virtual viewpoint are calculated based on the 3D model data as in the free viewpoint video generation, and the distance closer to the virtual viewpoint It is also possible to use information obtained by preferentially acquiring the color and texture of each subject from the camera 100 in FIG.
  • Scene analysis is performed by analyzing each subject in the shooting area, for example, a video showing a certain moment of a person or an object with software or a person on the screen.
  • a scene analysis based on the 3D model data it is possible to observe the 3D posture of the person in the shooting area and the 3D shape of the object, and the situation recognition and prediction is more accurate than using 2D video. Is possible.
  • a certain subject in a shooting area is specified by scene analysis of a video shot by each camera 100.
  • the same subject identified on the video captured by each camera 100 at a certain moment is associated with software or manually.
  • tracking is executed by specifying and associating such a subject along the time axis.
  • the subject that has been noticed may be temporarily hidden behind other subjects, so that the specific continuation may not be possible. Even in such a case, if the 3D model data is used, it is possible to continue to specify the subject by using the 3D position information or the 3D shape information of each subject.
  • Such scene analysis and tracking functions can be used in, for example, the next-generation monitoring system described above. As a result, early detection of a suspicious site and improvement in detection accuracy are expected. Further, even in a place where the number of cameras that can be installed is limited, security can be enhanced compared to the conventional case.
  • the functions of free viewpoint video generation, scene analysis, and tracking, and any three-dimensional space recognition are assumed to be both post-mortem use and real-time use.
  • the function may be selected according to the purpose of use, and each function is implemented in a system including a computer having a performance suitable for the selection, in particular, a performance related to video processing.
  • 3D image data based on 3D model data is used in any 3D space recognition function.
  • the three-dimensional model data is generated by three-dimensional space reconstruction (modeling) based on video data photographed by each camera 100 and camera parameters of each camera 100 calculated by calibration.
  • This camera parameter includes an external parameter indicating the position and orientation of the camera in a three-dimensional space and an internal parameter indicating the characteristics of the optical system such as the focal length, aberration, and image center of the camera. From this camera parameter, a point (u, v) on the two-dimensional image captured by the camera and a point (x, y, z) in the imaging region, which is a three-dimensional space that is imaged on the two-dimensional image. Correspondence is derived. That is, by using the camera parameters, each point on the two-dimensional image captured by the camera can be projected onto the captured three-dimensional space. This projection onto the three-dimensional space is the above-described three-dimensional space reconstruction ((d) in FIG. 1).
  • the camera parameters of the plurality of cameras 100 are shown on a common three-dimensional coordinate system set in the shooting area.
  • the camera parameters of each camera 100 are calculated so that the same location (point) in the shooting area shown in each video shot by a plurality of cameras 100 is projected from each video to the same point on this three-dimensional coordinate system. (FIG. 1B).
  • This camera parameter is necessary for generating 3D model data from video data captured by each camera 100, and its accuracy affects the accuracy of 3D space reconstruction.
  • the accuracy referred to here is the accuracy of the position or the like of the camera 100 in the three-dimensional space indicated by the camera parameter, that is, the degree of coincidence with the actual state of the camera 100. If the camera parameter accuracy is insufficient, 3D model data cannot be obtained.
  • FIG. 2 is a block diagram illustrating a configuration of the imaging system according to the first embodiment.
  • FIG. 2 also refers to the 3D space reconstruction device and 3D space recognition device that use data received from the imaging system, and the user equipment that receives and displays free viewpoint images from the 3D space recognition device. I will explain.
  • the imaging system 1000 in the embodiment includes a plurality of imaging devices 10A to 10N, a control device 200, a calibration device 300, and a user interface 400.
  • the imaging devices 10A to 10N are connected so as to be communicable with the control device 200.
  • the calibration device 300 is connected to the control device 200 so as to be communicable.
  • FIG. 3 is a block diagram illustrating a configuration of the imaging device according to the first embodiment.
  • the plurality of imaging devices 10A to 10N are devices each including the camera 100 corresponding to the camera 100 of FIG. 1 for imaging a predetermined space, and the possible configurations are common.
  • the predetermined space here is the union of the shooting areas of the plurality of cameras 100.
  • Each of the imaging devices 10A to 10N includes a camera 100, a pedestal 120, and a situation sensing unit 160. Thereafter, the configurations of the imaging devices 10A to 10N are the same, and therefore, when describing a single imaging device according to the present disclosure, the imaging device 10A will be described. That is to say, the same applies to the other imaging devices 10B to 10N in the following description of the imaging device 10A.
  • the camera 100 includes a storage unit 101, a control unit 102, an optical system 103, and an image sensor 104.
  • the storage unit 101 stores a program that the control unit 102 reads and executes.
  • the storage unit 101 stores video data of a shooting region shot using the image sensor 104, meta information such as a time stamp attached to the video data, information detected by a situation detection unit 160 described later, and the camera 100.
  • the camera parameters and the shooting settings such as the applied frame rate or resolution are temporarily stored.
  • Such a storage unit 101 is realized by using a rewritable nonvolatile semiconductor memory such as a flash memory.
  • a ROM Read-Only Memory
  • a volatile RAM Random Access Memory
  • the number of imaging devices provided in the imaging system 1000 is not particularly limited as long as it is plural. Further, the characteristics of the imaging devices 10 may not be common. Moreover, it is not limited to a monaural camera, A stereo camera may be included.
  • the control unit 102 is realized using, for example, a CPU (Central Processing Unit), and reads and executes a program stored in the storage unit 101 to control each component included in the camera 100 to perform imaging and other operations. Demonstrate the function. Other functions include camera parameter calculation, ie calibration. Note that the control unit 102 may be realized by a dedicated circuit that controls each component included in the camera 100 to perform imaging and other functions. That is, the control unit 102 may be realized by software or hardware.
  • a CPU Central Processing Unit
  • the optical system 103 is a component that forms an image of light from the imaging region on the image sensor 104, and is realized using an optical element including a lens. Further, the focal length and the angle of view may be changeable. Also, a wide angle lens or a super wide angle lens such as a fisheye lens may be used. For example, when an image captured by the imaging system 1000 is used in a monitoring system, a wide-angle lens may be used to obtain a wide imaging area.
  • the characteristics of the optical system 103 such as the focal length, aberration, and image center, are used for the three-dimensional space reconstruction as the above internal parameters. That is, when the focal length of the optical system 103 is changed or the lens is replaced, it is necessary to change the camera parameters used for the three-dimensional space reconstruction in the same manner as when the camera position is changed. There is. In other words, calibration is necessary.
  • the image sensor 104 receives light collected by the optical system 103 on a light receiving surface, and converts the received light into an electrical signal indicating an image, such as a CCD image sensor, a CMOS image sensor, or a MOS image sensor. It is realized with.
  • the video data generated by the image sensor 104 is transmitted to the 3D space reconstruction device 3000 and the 3D space recognition device 4000 for use in 3D space reconstruction and 3D space recognition.
  • the camera 100 shown in FIG. 3 further includes a motion sensor 105, an operation detection unit 106, and a sound collector 107. These will be described as components of the situation sensing unit 160 described later.
  • the gantry 120 is a component for fixing and supporting the camera 100 that is generating video data used for three-dimensional space reconstruction by imaging at a predetermined position, and is realized by, for example, a tripod.
  • the length and angle of the leg portion of the gantry 120 may be adjustable.
  • the gantry 120 may be provided with a mechanism for rotating the camera platform to pan or tilt the camera 100, an elevator mechanism for moving up and down, and the like.
  • the gantry 120 may include a mechanism for supporting and moving the camera 100 such as a dolly or a crane.
  • the gantry 120 shown in FIG. 3 further includes a motion sensor 125 and an operation detection unit 126. These will be described as components of the situation sensing unit 160 described below.
  • the situation sensing unit 160 senses the situation of the camera 100 (or the imaging device 10A) and at least one situation of a predetermined space including the shooting area of the camera 100, and outputs the sensed situation as imaging situation information.
  • the situation sensing unit 160 is a sensor that measures an event in at least one of the camera 100 and a predetermined space or a detector that detects an occurrence, and outputs a signal indicating the result of the measurement or detection. To do.
  • the output signal is transmitted to the control device 200 and is used in the determination regarding whether or not to execute calibration, which is performed in the control device 200.
  • a sensor or a detector provided in the camera 100 or the gantry 120 may be used as long as it is a sensor or a detector capable of sensing the above situation, or a sensor provided separately from these. Or it may be a detector.
  • the image sensor 104 included in the camera 100 may be used as the situation detection unit 160.
  • the control device 200 determines whether to execute calibration based on the video data output from the image sensor 104. For example, this determination is made based on a change over time in the background area reflected in the video data, the number of feature points, or a change over time in the presence or absence of a specific subject (for example, a person, a ball, or an exhibit to be monitored).
  • a specific subject for example, a person, a ball, or an exhibit to be monitored.
  • the camera 100 may include a positioning mechanism such as a sensor that detects displacement, acceleration, vibration, tilt, or geomagnetism, or a GPS (Global Positioning System) receiver that can detect a larger parallel movement.
  • a sensor motion sensor 105 that can detect the movement (movement) of the camera 100 as described above may be used as the situation detection unit 160.
  • the camera 100 may be provided with a mechanism for detecting an automatic operation under the control of the manual operation performed by the user or the control unit 102 executing the program.
  • a mechanism for detecting an automatic operation under the control of the manual operation performed by the user or the control unit 102 executing the program.
  • the operation detected here there is an operation in which the setting of the optical system 103 such as switching of ON / OFF of the switch, focal length, focus and the like is changed.
  • a sensor (operation detection unit 106) that can detect the operation of the camera 100 as described above may be used as the situation detection unit 160.
  • the gantry 120 may be provided with a sensor for detecting displacement, acceleration, vibration, tilt, or geomagnetism, or a positioning mechanism such as a GPS receiver. Since the movement of the camera 100 synchronizes with the movement of the gantry 120 to which the camera 100 is fixed, the presence or absence of the movement of the camera 100 can be indirectly sensed based on the presence or absence of the movement of the gantry 120, for example.
  • a sensor motion sensor 125 that can detect the movement of the camera 100 may be used as the situation detection unit 160.
  • the gantry 120 may be provided with a mechanism for detecting an operation by an operation performed by the user.
  • the operation detected here is, for example, a rotation or vertical movement of the camera platform.
  • a sensor motion detection unit 1266 that can detect the operation of the gantry 120 as described above may be used as the situation detection unit 160.
  • the motion sensor 125 and the motion detection unit 126 are distinguished for convenience of explanation in the configuration shown in FIG. It does not have to be.
  • the camera 100 may include a sound collector 107.
  • the sound collector 147 separate from the camera 100 may be used to collect sound of a scene shot by the camera 100.
  • the sound collected by the sound collector 107 or the sound collector 147 may indicate the situation of a predetermined place including the camera 100 or the imaging region of the camera 100. For example, a sound may indicate that an impact has been applied to the camera 100 or the pedestal 120, a highlight scene at a sporting event, or the start or end of a break time.
  • the sound collector 107 or 147 for collecting such sounds may be used as the situation sensing unit 160.
  • various sensors can be used as the state sensing unit 160 of the imaging system 1000 according to the present embodiment.
  • the image sensor 104 that the camera 100 necessarily includes is indicated by a solid frame, and the others are indicated by a broken frame.
  • the situation detection unit 160 does not need to be configured by both of the sensors included in the camera 100 and the gantry 120.
  • the situation of the camera 100 (or the imaging apparatus 10A) and the imaging region of the camera 100 illustrated above are exemplified. It is sufficient to provide at least one of a sensor and a detector that detect at least one of the conditions of the predetermined space.
  • the imaging devices 10B to 10N each include a camera 100, a pedestal 120, and a situation sensing unit 160, similarly to the imaging device 10A.
  • the configurations that the imaging apparatuses 10A to 10N can take are the same as described above, but the video data generated by imaging and the camera parameters are output from the respective cameras 100, and the imaging system 1000 outputs the three-dimensional space reconstruction. If input to the device 3000, the configuration of the imaging devices 10A to 10N may not be common.
  • one imaging apparatus may include a plurality of cameras 100, and the optical system and image sensor included in the camera 100 may not be one each.
  • the camera 100 may be a stereo camera.
  • FIG. 4 is a block diagram illustrating a configuration of the control device according to the first embodiment.
  • the control device 200 includes a storage unit 201, a control unit 202, and a timer 203.
  • the control device 200 controls the imaging devices 10A to 10N and processes data received from the imaging devices 10A to 10N. Also, information related to the control and data processing is presented to the user via the user interface 400, and an instruction regarding the control and data processing is received from the user. In addition, the control device 200 instructs the calibration device 300 to perform camera parameter calibration processing.
  • Such a control device 200 is, for example, a computer.
  • the storage unit 201 is a storage device of this computer, and is realized by a hard disk drive, various semiconductor memories, or a combination thereof.
  • the control unit 202 is realized by a CPU of the computer, and the timer 203 is a timer provided in the computer that is referred to by the CPU.
  • the user interface 400 is realized by a display device connected to the computer, a touch screen, a track pad, a keyboard, a mouse, other controllers, or a combination thereof.
  • the storage unit 201 stores a program that the control unit 202 reads and executes.
  • the storage unit 201 stores data received from the imaging devices 10A to 10N and that is a target of processing by the control unit 202.
  • the imaging state information shown is an example of this data.
  • the control unit 202 controls the imaging devices 10A to 10N and the calibration device 300 by reading and executing a program stored in the storage unit 201. In addition, the control unit 202 executes processing for presenting information to the user and instructions from the user regarding these controls and processing. As one of these processes, there is control of taking a synchronized video by each camera 100 included in the imaging devices 10A to 10N.
  • one of these processes may include event detection and calibration instructions.
  • the event detection unit 202a included in the control unit 202 is a functional component realized by the control unit 202 executing a program for event detection.
  • the calibration instruction unit 202b included in the control unit 202 is a functional component realized by the control unit 202 executing a program for calibration instruction.
  • the event detection unit 202a, the calibration instruction unit 202b, and the imaging control unit 202c of the control unit 202 may be realized by a dedicated circuit that performs event detection, calibration instruction, movement control, imaging control, calibration processing, and the like. That is, the control unit 202 may be realized by software or hardware.
  • the event detection unit 202a Based on the imaging state information provided from the imaging devices 10A to 10N, the event detection unit 202a generates a predetermined event that can be a reason for executing calibration in any of the cameras 100 included in the imaging devices 10A to 10N. To detect.
  • the event that can be a reason for executing the calibration is, for example, an event in which the movement of the camera 100 occurs or a movement is likely to occur, or an event that is highly likely to be performed with high accuracy. . A more specific example will be described later in the description of the operation of the imaging system 1000.
  • the event detection unit 202a determines whether or not to execute calibration.
  • calibration information indicating the calibration to be executed is output to, for example, the calibration instruction unit 202b.
  • the calibration information may be output to a display device that is the user interface 400 and presented to the user.
  • This calibration information includes, for example, the camera 100 that performs calibration (or one of the imaging devices 10A to 10N including the camera 100) and the content of an event that is the reason for executing calibration.
  • the calibration instruction unit 202b causes the camera 100 indicated by the calibration information to perform calibration based on the calibration information received from the event detection unit 202a. Further, when there are two or more cameras indicated by the calibration information, for example, the order in which each camera 100 executes the calibration is determined based on the content of the event that is the reason for executing the calibration indicated by the calibration information. Also good. A specific example of processing by the calibration instruction unit 202b will be described later.
  • the imaging control unit 202c causes each of the imaging devices 10A to 10N to image the imaging area A1 at a plurality of different timings.
  • the imaging control unit 202c captures images in the plurality of imaging devices 10A to 10N in a state where each of the plurality of imaging devices 10A to 10N is in a predetermined position and is in a posture facing a predetermined direction.
  • the area A1 is imaged.
  • FIG. 5 is a block diagram illustrating a configuration of the calibration apparatus according to the first embodiment.
  • the calibration apparatus 300 includes a storage unit 301 and a calibration unit 302.
  • the calibration device 300 processes the data received via the control device 200. Specifically, the calibration apparatus 300 executes camera parameter calibration processing. Further, the calibration apparatus 300 may execute a three-dimensional space calibration process.
  • Such a calibration apparatus 300 is, for example, a computer.
  • the storage unit 301 is a storage device of this computer, and is realized by a hard disk drive, various semiconductor memories, or a combination thereof.
  • the calibration unit 302 is realized by the CPU of this computer.
  • the calibration device 300 may be realized by the same computer as the control device 200.
  • the storage unit 301 stores a program that is read and executed by the calibration unit 302.
  • the storage unit 301 stores data that is received from the imaging devices 10A to 10N via the control device 200 and that is to be processed by the calibration unit 302. That is, imaging state information may be stored.
  • the calibration unit 302 reads and executes the program stored in the storage unit 301, thereby processing the data received from the imaging devices 10A to 10N. In addition, the calibration unit 302 performs processing for presenting information to the user regarding these controls and processing and for instructions from the user. As one of these processes, a camera parameter calibration process of each camera 100 provided in the imaging devices 10A to 10N can be cited.
  • FIGS. 6 to 12 are diagrams for explaining the details of the calibration processing. 8 to 12, for convenience of explanation, the calibration process performed on the images 20 and 30 obtained from the two imaging devices 10A and 10B out of the imaging devices 10A to 10N is described. , The same processing is performed on the images 40, 50,... Obtained from the other imaging devices 10C to 10N.
  • the calibration unit 302 includes an acquisition unit 302a, a preprocessing unit 302b, an extraction unit 302c, a matching unit 302d, a reconstruction unit 302e, and a determination unit 302f.
  • the acquisition unit 302a acquires a plurality of videos captured by the plurality of imaging devices 10A to 10N.
  • a plurality of images 20, 30, 40, 50... Acquired by a plurality of imaging devices 10A to 10N are respectively a plurality of frames 21 to 25, 31 to 35, 41 to 45, 51 to 55,.
  • Each of the plurality of videos 20, 30, 40, 50... May be a moving image, or may be composed of a plurality of still images captured at different timings.
  • tn (n is an integer of 1 to 5) below each frame 21 to 25, 31 to 35, 41 to 45, 51 to 55 in FIG. 7 indicates that the frame corresponds to the timing at time tn. ing.
  • a plurality of videos 20, 30, 40, 50... Acquired by the acquisition unit 302 a are stored in the storage unit 301.
  • the acquisition unit 302a acquires the frames 21 to 25, 31 to 35, 41 to 45, 51 to 55,... From the control device 200 instead of the images 20, 30, 40, 50,. Also good. As a result, the calibration process can be started immediately after the imaging device captures a frame at a certain time without waiting for a certain period of time to capture an image. Further, the acquisition unit 302a receives the images 20, 30, 40, 50,... Or the frames 21 to 25, 31 to 35, 41 to 45, 51 to 55,. You may memorize
  • a plurality of frames corresponding to a predetermined timing are assigned to the images 20, 30, 40, 50,... Or the frames 21 to 25, 31 to 35, 41 to 45, 51 to 55,. It may be specified using time information, name, image information, or audio information. Further, when the imaging devices 10A to 10N are synchronously photographed, they may be specified by using frame index information for each of the videos 20, 30, 40, 50,.
  • the preprocessing unit 302b performs preprocessing.
  • the preprocessing is, for example, brightness adjustment, noise removal, resolution conversion, color space conversion, lens distortion correction, projection conversion, affine conversion, edge enhancement processing, trimming processing, or a combination thereof. Since the preprocessing unit 302b only needs to perform preprocessing on a plurality of videos acquired by the acquisition unit 302a, the timing of executing the preprocessing is performed in accordance with the timing of executing the calibration processing. It does not have to be performed and may be performed in advance. Note that the preprocessing does not necessarily have to be executed by the preprocessing unit 302b. For this reason, the calibration unit 302 may be configured without the preprocessing unit 302b. A plurality of preprocessed videos obtained by executing preprocessing by the preprocessing unit 302b may be stored in the storage unit 301.
  • the extraction unit 302c extracts a first feature point from the first frame of each of the plurality of preprocessed videos. Further, the extraction unit 302c extracts, for each of the plurality of pre-processed videos, a second feature point from an area in which a moving object of a second frame different from the first frame of the video is reflected.
  • the extraction unit 302c corresponds to the frames 21, 31, 41, 51,.
  • the extraction unit 302c extracts feature points P1A, P2A, and P3A from the frame 21, and extracts feature points P1B, P2B, and P3B from the frame 31.
  • the frames 21, 31, 41, 51,... are examples of the first frame.
  • the frame corresponding to the timing at time t1 is a frame imaged at a timing included in a time having a width of several tens of msec with reference to time t1.
  • the extraction unit 302c performs, for each of the plurality of videos 20, 30, 40, 50,... From the frames 22, 32, 42, 52. Two feature points are extracted.
  • the frames 22, 32, 42, 52 are examples of the second frame.
  • the timing at time t2 is an example of a first timing.
  • the extraction unit 302c extracts the feature points P4A and P5A from the region A101 in which the moving object of the frame 22 is reflected, and the moving object of the frame 32 is reflected.
  • Feature points P4B and P5B are extracted from the area A102.
  • the moving object is, for example, a vehicle.
  • the extraction unit 302c performs, for each of the plurality of videos 20, 30, 40, 50,... From the frames 23, 33, 43, 53,. Three feature points may be extracted.
  • the frames 23, 33, 43, 53 are examples of the third frame.
  • the timing at time t3 is an example of a second timing.
  • the extraction unit 302c extracts the feature point P6A from the area A111 in which the moving object in the frame 23 is reflected, and the area A112 in which the moving object in the frame 33 is reflected. To extract the feature point P6B.
  • the extraction unit 302c does not have to extract the first feature points from the same time timing frame for each of the plurality of videos 20, 30, 40, 50,. It is only necessary to extract feature points from one frame. In this case, the extraction unit 302c only needs to be able to extract feature points from a region where a stationary object is reflected. The area where the static object is reflected will be reflected in the frame without changing even if the time elapses, so even if feature points are extracted in subsequent frames, duplicate feature points will be extracted. This is because there is a high possibility. For this reason, in the second frame after the first frame, feature points are extracted by focusing on the area where the moving object is reflected. In addition, when the moving object is reflected in the first frame, the extraction unit 302c also applies the stationary object and the moving object to the region in which the moving object is reflected in the first frame even after the second frame. The feature points may be extracted.
  • the extraction unit 302c executes the process of extracting the feature points for each of the plurality of videos acquired by the acquisition unit 302a.
  • the feature points including the first feature point and the second feature point obtained by executing the extraction process by the extraction unit 302c may be stored in the storage unit 301.
  • Feature points indicate points, edges, or certain areas, such as the outline of an object reflected in the frame, the corners of the object or space, and the intersection of objects on the frame plane.
  • the feature point indicates a point, a side, or a certain region where the difference in luminance or color from the surroundings is large.
  • the feature point is a vector that represents (1) the coordinate position of the feature point on the two-dimensional image, and (2) the distribution of the color and luminance gradient for pixels in a specific range that is substantially centered on or including the feature point. It is information indicated by what is expressed.
  • the feature points may be other image information, for example, detected using texture information or information after frequency conversion.
  • the feature point may be detected from all the pixels on the frame, may be detected from a predetermined pixel in the frame, or may be detected from all the pixels for each frame or from the predetermined pixel. It may be detected by switching whether to detect.
  • the predetermined pixel is, for example, a pixel in a predetermined area in the frame. For example, when feature points are detected by iterative processing from a plurality of frames divided from a captured image, feature points from all pixels are detected in frames 21, 31, 41, 51,. In the frames 22, 32, 42, 52,... Corresponding to other timings, feature points are detected from predetermined pixels.
  • the predetermined area is, for example, an area in which a moving object is reflected.
  • video information such as calculating the difference from the previous frame, calculating the difference from the background image, or automatically detecting the area of the moving object by machine learning.
  • audio information such as walking sound and running sound may be used, or any sensor such as wireless communication, infrared rays, and GPS may be used.
  • the predetermined area may be, for example, an area in which a feature point has not yet been extracted in a frame extracted from the same video. According to this, when extracting feature points from a plurality of frames divided from a captured image by repeated processing, it is not necessary to search for pixels from which feature points have already been extracted. Can be shortened. Further, since feature points are extracted on pixels from which feature points have not yet been extracted, feature points can be extracted from various pixels, and the calibration accuracy of the camera can be improved.
  • the matching unit 302d matches each other using the plurality of first feature points extracted by the extraction unit 302c.
  • the matching unit 302d performs matching with each other using the plurality of second feature points extracted by the extraction unit 302c.
  • the matching unit 302d associates similar feature points among the plurality of first feature points with each other, and outputs the associated feature points as one matching result.
  • the matching unit 302d determines whether the feature points are similar using the square error or the absolute error of the feature points.
  • the matching result output from the matching unit 302d is stored in the storage unit 301, for example.
  • the matching unit 302d When the matching unit 302d obtains a new matching result by newly associating the feature points extracted for each of a plurality of frames corresponding to different timings, the matching unit 302d converts the new matching result into the previously obtained matching result. It is added and stored in the storage unit 301.
  • the matching unit 302d associates the feature point P1A and the feature point P1B as the matching point P1 by performing matching using the plurality of first feature points. Similarly, the matching unit 302d associates the feature point P2A and the feature point P2B as the matching point P2, and associates the feature point P3A and the feature point P3B as the matching point P3. Thereby, the matching unit 302d obtains matching points P1 to P3 as matching results, as shown in FIG. 8B.
  • the matching unit 302d associates the feature point P4A and the feature point P4B as the matching point P4 by performing matching using a plurality of second feature points.
  • the feature point P5A and the feature point P5B are associated as the matching point P5.
  • the matching unit 302d adds the matching points P4 and P5 to the already obtained matching points P1 to P3, and obtains matching points P1 to P5 as matching results. .
  • the matching unit 302d matches the feature point P6A and the feature point P6B as the matching point P6 by performing matching using a plurality of third feature points.
  • the matching unit 302d adds the matching point P6 to the already obtained matching points P1 to P5, and obtains matching points P1 to P6 as matching results.
  • the matching unit 302d may determine whether the number of matching results is sufficient.
  • the matching unit 302d may perform a first determination that determines that the number of matching results is sufficient when the total number of matching results is equal to or greater than the first number, or when the video is divided into a plurality of regions.
  • a second determination that determines that the number of matching results is sufficient when the number of feature points included in the matching results in each of the plurality of regions is equal to or greater than the second number may be performed.
  • the matching unit 302d may determine whether the number of matching results is sufficient by a combination of the first determination and the second determination.
  • the reason for determining that the number is not sufficient may be fed back.
  • the reason is, for example, that there are not enough N points until it is determined that the number of matching points is sufficient, or that there are no matching points in a certain region. This makes it possible to extract feature points within a certain area depending on the reason, and to efficiently extract matching points.
  • the matching unit 302d determines whether or not the total number of the plurality of matching results is a first number (for example, 6) or more.
  • the acquisition unit 302a, the preprocessing unit 302b, and the extraction unit 302c perform processing (that is, calibration processing) among the plurality of videos.
  • the calibration process is executed for a frame corresponding to a timing different from the timing corresponding to the frame that has not been executed.
  • the extraction unit 302c includes, for each of a plurality of videos, Of frames 23, 33, 43, 53,... Corresponding to time t3 different from time t1 and time t2, and including a region in which a moving object is reflected.
  • the third feature point is extracted from.
  • the matching unit 302d performs matching with each other using the extracted third feature points.
  • the first number is not limited to a fixed value, and may be a value set according to the situation, that is, a fluctuation value.
  • the first number may be changed to a larger value as the positions between a plurality of imaging devices that are imaging a plurality of videos are separated.
  • the extraction unit 302c and the matching unit 302d have a timing corresponding to a frame in which each of the plurality of videos has already been extracted until the total number of matching results obtained by matching in the matching unit 302d is equal to or greater than the first number. Repeats extraction and matching for frames corresponding to different timings. Note that, when the processing is repeated, the preprocessing by the preprocessing unit 302b may be repeatedly performed.
  • the matching unit 302d determines that the number of matching results is sufficient.
  • the calibration processing extraction processing and matching processing are repeatedly performed on frames corresponding to other timings until the matching result is equal to or greater than the first number, so that the camera parameters are accurately calibrated. be able to.
  • the matching unit 302d when the matching unit 302d divides the video into a plurality of regions for each of the plurality of videos, the matching unit 302d extracts the video from the plurality of feature points associated with the plurality of matching results among the plurality of regions. It may be determined whether or not there is a shortage region where the obtained plurality of feature points is less than the second number. In other words, in this case, the matching unit 302d has the second or more feature points associated as matching results in each of the four regions defined by dividing the video into four for each of the plurality of videos. It is determined whether or not it is included, and an area that is less than the second number is specified as an insufficient area.
  • each of the plurality of videos may be divided by a number of 5 or more, or may be divided by 2 or 3.
  • the plurality of areas may not be divided into areas having the same size. For example, it may be set near the center or near the edge of the frame, may be set according to the scene, such as on a road or sidewalk, in a soccer court, or may be set as an area where the moving object moves. Good.
  • the second number may be determined as 2, for example, when the number of divisions of the area is 4, that is, when one video is divided into four. Further, the second number may be determined as 1, for example, when the division number is six.
  • the matching unit 302d determines whether the number of matching results is sufficient by combining the first determination and the second determination.
  • the matching unit 302d determines (1) that the total number of matching results is equal to or greater than the first number in the first determination, and (2) is included in each of the plurality of divided areas in the second determination.
  • the number of feature points associated with the matching result is greater than or equal to the second number, it may be determined that the number of matching results is sufficient.
  • the first number in the first determination may be set to 6, for example, and the second number in the second determination may be set to 1.
  • the video 20 has four divided areas A11 to A14, and the video 30 has four divided areas A21 to A24.
  • the matching unit 302d processes the frames 21 and 31 corresponding to the time t1
  • the region A14 of the video 20 does not include the feature points P1A to P3A associated as the matching result.
  • the area A14 of the video 30 does not include the feature points P1A to P3A associated as a matching result.
  • the matching unit 302d specifies the area A14 as the insufficient area for the video 20 and specifies the area A24 as the insufficient area for the video 30.
  • the extraction unit 302c extracts, for each of the plurality of videos, the fourth frame in which the moving object is reflected in the lacking area of the video, and the fourth frame The fourth feature point is extracted from the lack region.
  • the fourth frame is, for example, a plurality of frames 22, 32, 42, 52,... Corresponding to time t2 among the plurality of videos 20, 30, 40, 50,.
  • the matching unit 302d performs matching with each other using the plurality of extracted fourth feature points.
  • the extraction unit 302c and the matching unit 302d have the plurality of videos 20, 30 until the total number of matching results obtained by matching in the matching unit 302d in each of the plurality of regions A11 to A14 and A21 to A24 is equal to or greater than the second number. , 40, 50,..., And extraction and matching are repeated for frames corresponding to timings different from timings corresponding to frames that have already been extracted. Note that, when the processing is repeated, the preprocessing by the preprocessing unit 302b may be repeatedly performed.
  • the extraction unit 302c and the matching unit 302d perform feature point extraction and matching on a plurality of frames 22, 32, 42, 52,.
  • a plurality of matching points P1 to P5 are obtained.
  • the extraction unit 302c extracts feature points from the deficient regions A14 and A24, so that the feature points P4A and P5A are extracted from the frame 22 and the feature points P5B are extracted from the frame 32. Therefore, the matching unit 302d associates the feature point P5A and the feature point P5B as the matching point P5.
  • the matching unit 302d determines that the number of matching results is sufficient.
  • the extraction process and the matching process of the calibration process are repeatedly executed for frames corresponding to other timings. Therefore, the camera parameters can be calibrated with high accuracy.
  • the reconstruction unit 302e executes calibration according to the matching result of the matching unit 302d.
  • the reconstruction unit 302e calculates at least one of an external parameter and an internal parameter of the camera using a plurality of matching results obtained by imaging with each of the cameras 100 of the imaging devices 10A to 10N.
  • the reconstruction unit 302e calculates at least one of an external parameter and an internal parameter of the camera by using a geometric constraint such as an epipolar constraint based on a plurality of matching results.
  • the calibration process is performed by using a specific point (or a line including a plurality of points) between two images captured by the imaging devices 10A to 10N in a shooting region at least partially overlapping. This is executed by associating the planes). This association is automatically performed by the reconfiguration unit 302e that executes the program.
  • the camera parameter calculated as a result of the calibration is used for, for example, three-dimensional space reconstruction.
  • the reconstruction unit 302e further estimates a three-dimensional position of each of the plurality of matching results in the three-dimensional space.
  • the reconstruction unit 302e estimates the three-dimensional position of the matching result in the three-dimensional space for each of the plurality of matching results by using the triangulation method.
  • the determination unit 302f determines whether the accuracy of the calibrated parameter is sufficient based on the plurality of three-dimensional positions estimated by the reconstruction unit 302e. When the determination unit 302f determines that the parameter accuracy is not sufficient, the extraction unit 302c, the matching unit 302d, the reconstruction unit 302e, and the determination unit 302f determine that the parameter accuracy is sufficient in the determination unit 302f. Extraction, matching, and calibration of frames corresponding to timings different from the timing corresponding to the frames that have already been extracted by the extraction unit 302c of the plurality of videos 20, 30, 40, 50,. Repeat estimation and determination.
  • the determination unit 302f includes a plurality of two-dimensional coordinates in a two-dimensional image obtained when it is assumed that each of the plurality of imaging devices 10A to 10N images a plurality of three-dimensional positions estimated by the reconstruction unit 302e. Whether or not an error (that is, a reprojection error) between a plurality of two-dimensional coordinates that are two-dimensional coordinates of the first feature point and the second feature point obtained from an image captured by the imaging device is smaller than a predetermined value. Determine whether.
  • an error that is, a reprojection error
  • the determination unit 302f determines whether or not the accuracy of the parameter is sufficient depending on whether or not at least one of the camera external parameter and the internal parameter calculated by the reconstruction unit 302e is within a predetermined range. You may judge. That is, the determination unit 302f determines that the accuracy of the parameter is sufficient when at least one of the external parameter and the internal parameter is within a predetermined range, and otherwise indicates that the accuracy of the parameter is insufficient. judge.
  • the predetermined range is a range of assumed values, and the assumed value is a value calculated from the standards of the imaging devices 10A to 10N, the installation status of the imaging devices 10A to 10N, past calibration values, and the like.
  • the extraction unit 203c, the matching unit 302d, the reconstruction unit 302e, and the determination unit 302f determine that the error is larger than the predetermined value, the plurality of videos 20, until the determination unit 302f determines that the error is equal to or less than the predetermined value. Extraction, matching, calibration, estimation, and determination are repeated for a plurality of frames corresponding to different timings among 30, 40, 50,.
  • the three-dimensional space reconstruction device 3000 is realized using a computer and includes a storage device and an arithmetic processing device (not shown).
  • the model generation unit 3002a shown in the figure is a functional component realized by the arithmetic processing device executing a program for generating (three-dimensional space reconstruction) of three-dimensional model data stored in the storage device. It is.
  • the model generation unit 3002a performs reconstruction (modeling) of the three-dimensional shape of the subject based on the video data and camera parameters received by the three-dimensional space reconstruction device 3000 from the imaging system 1000 and stored in the storage device. .
  • the data of the three-dimensional model generated by the three-dimensional modeling is stored in the storage device. Further, it is provided to the three-dimensional space recognition apparatus 4000.
  • the three-dimensional space recognition device 4000 is realized using a computer and includes a storage device and an arithmetic processing device (not shown).
  • the illustrated viewpoint determination unit 4002a, rendering unit 4002b, scene analysis unit 4002c, and tracking unit 4002d are realized by the arithmetic processing device executing a program for three-dimensional space recognition stored in the storage device. It is a functional component.
  • the three-dimensional space recognition apparatus 4000 may not include some of these functional components depending on the application. For example, if the use of the three-dimensional space recognition apparatus 4000 is to generate a free viewpoint video, the scene analysis unit 4002c and the tracking unit 4002d may not be provided. If the three-dimensional space recognition device 4000 is used as a part of the monitoring system, a more sophisticated monitoring system is provided by including the scene analysis unit 4002c and the tracking unit 4002d.
  • the viewpoint determination unit 4002a determines a virtual viewpoint on which the 3D model provided from the 3D space reconstruction apparatus 3000 is projected. For example, when the user device 2000 requests a video from a specific viewpoint at a specific time, the specific viewpoint is determined as a virtual viewpoint on which the three-dimensional model is projected. Alternatively, a preset viewpoint may be determined as a virtual viewpoint on which the three-dimensional model is projected. For example, a 3D model is projected from the viewpoint where a player's face can be seen from the front in the vicinity of the goal if it is a free viewpoint video of a sports event, and from the front where the face of a person near the entrance can be seen from the front if the video is from a surveillance device. It may be determined as a virtual viewpoint.
  • a new viewpoint may be determined as a virtual viewpoint in response to a request from a later-described scene analysis unit 4002c or tracking unit 4002d.
  • virtual viewpoint information information indicating the determined virtual viewpoint (hereinafter referred to as virtual viewpoint information) is passed from the viewpoint determination unit 4002a to the rendering unit 4002b.
  • the rendering unit 4002b generates a free viewpoint video using the 3D model data received from the 3D space reconstruction device 3000, the virtual viewpoint information received from the viewpoint determination unit 4002a, and the video data received from the imaging system 1000. Generate. In the generation of the free viewpoint video, the 3D model is projected onto the virtual viewpoint indicated by the virtual viewpoint information. At this time, in determining the color and texture of the subject included in the free viewpoint video, the information on the color and texture of each subject included in the video data of the imaging device that is close to the virtual viewpoint is preferentially used.
  • the generated free viewpoint video may be delivered to the scene analysis unit 4002c, or may be distributed to the user device 2000 for displaying the free viewpoint video. Further, it may be stored as free viewpoint video data in a storage device included in the three-dimensional space recognition device 4000 or an external storage device.
  • the scene analysis unit 4002c analyzes the data of the three-dimensional model received from the three-dimensional space reconstruction device 3000, and identifies the subject, for example.
  • the analysis result may be passed to the tracking unit 4002d, or may be distributed together with a free viewpoint video and displayed on the user device 2000. Further, it may be stored as analysis result data of the free viewpoint video in a storage device provided in the three-dimensional space recognition device 4000 or an external storage device. Further, depending on the result of the analysis, determination of a virtual viewpoint at another time or another position may be requested from the scene analysis unit 4002c to the viewpoint determination unit 4002a.
  • the tracking unit 4002d tracks a specific subject based on the data of the three-dimensional model received from the three-dimensional space reconstruction device 3000.
  • the tracking result may be distributed together with the free viewpoint video and displayed on the user device 2000. For example, when tracking of a specific subject is impossible, determination of a virtual viewpoint at another time or another position may be requested from the tracking unit 4002d to the viewpoint determination unit 4002a.
  • the user device 2000 is a device such as a television receiver, a personal computer, or a mobile terminal that includes a communication unit and a display unit (not shown).
  • the free viewpoint video received from the 3D space recognition apparatus 4000 via the communication unit is displayed on the display unit of the user device.
  • the user device 2000 may include an input device including a touch screen, a track pad, a keyboard, a mouse, a microphone, other controllers, or a combination thereof.
  • requirement regarding 3D space reconstruction or 3D space recognition from a user may be received via this input device.
  • the request is transmitted from the communication unit of the user device 2000 to the three-dimensional space recognition device 4000.
  • this request may be transmitted from the communication unit of the user device 2000 to the 3D space reconstruction device 3000 or the 3D space recognition device 4000.
  • this request may be transmitted to the three-dimensional space recognition apparatus 4000.
  • control device 200 the three-dimensional space reconstruction device 3000, and the three-dimensional space recognition device 4000, each of which has been described as being realized using a computer, are combined with one or more of some or all of them. May be implemented on a computer.
  • the user interface 400 and the user device 2000 may be the same device. That is, the user interface 400 may receive the video distributed from the three-dimensional space recognition device 4000 as with the user device 2000 and display it on the system administrator. If this system administrator is the manager of the imaging system and also the manager of the free viewpoint video distribution system or the monitoring system including the three-dimensional space reconstruction device 3000 and the three-dimensional space recognition device 4000, this is displayed. A request for controlling the 3D space reconstruction device 3000 and the 3D space recognition device 4000 can be input in accordance with the video.
  • FIG. 13 is a sequence diagram for explaining a series of operations including determination as to whether or not to perform calibration by the imaging system 1000 according to the present embodiment.
  • the imaging device 10 indicates any one of the imaging devices 10A to 10N shown in FIG.
  • the situation sensing unit 160 senses at least one situation of the camera 100 (or the imaging device 10) and a predetermined space including a shooting area of the camera 100 at all times or at a predetermined cycle ( Step S31).
  • the sensed situation is output from the situation sensing unit 160 as imaging situation information and transmitted to the control device 200.
  • the event detection unit 202a detects the occurrence of a predetermined event based on the received imaging state information (step S32).
  • This predetermined event is an event that triggers the current camera parameter to accurately indicate the position of the camera 100 or the like. Specifically, for example, an event that causes the movement of the camera 100 described above in the description of the configuration or an event that has a high possibility of causing the movement. Even when the camera 100 is not moving, an event that changes the shooting area or an event that is highly likely to cause a change in the shooting area may be detected as the predetermined event.
  • imaging state information used for detecting such an event examples include information on video data output from the image sensor 104 and the position, tilt, or vibration of the camera 100 output from the motion sensor 105 or 125.
  • Information In the case of video data, for example, the video is analyzed, and the presence or absence of a change in the position of the camera 100 or the like is estimated based on a change in the area estimated as the background area or a change in the range occupied by the background area in the video. obtain.
  • the imaging state information may be information indicating a predetermined operation of the camera 100 or the gantry 120 output from the operation detection unit 106 or 126. More specifically, it is information indicating a change in the focal length of the camera 100, a change in exposure, a power ON / OFF switch, a movement of the platform 120, and the like. These operations may be indicated in the imaging state information whether they are caused by manual operation or caused by automatic control of the imaging device 10.
  • the camera parameter may not correctly reflect the state of the camera 100 after a predetermined operation. For example, when the focal length changes, the internal parameters change accordingly. Further, if the position or posture of the camera 100 changes without the user's intention before and after battery replacement after turning off the power, the external parameters also change accordingly. Alternatively, when the camera 100 is moved while the power is off, the movement sensor 105 of the camera 100 does not detect this movement. Therefore, after the camera 100 is turned on again, the camera parameters used before the power is turned off do not correctly reflect the position and orientation of the camera 100.
  • the rotation or vertical movement of the platform 120 of the gantry 120 is accompanied by a change in the position and posture of the camera 100 (hereinafter, the operation of the camera 100 including the operation of the gantry 120 may be referred to).
  • the accuracy of the camera parameters can be maintained by detecting a predetermined operation that is likely to be accompanied by a change in the state of the camera 100 and determining the execution of calibration based on this detection.
  • the imaging state information may be information on sound around the imaging apparatus 10 output from the sound collector 107 or 147.
  • the event detection unit 202a detects the occurrence of an event when the change over time indicated by such imaging state information exceeds a predetermined threshold (YES in step S32).
  • This predetermined threshold is an example of the first threshold in the present embodiment.
  • the event detection unit 202a determines whether or not to execute calibration based on the magnitude of change of this information with time (step S33).
  • the predetermined threshold is determined in consideration of the influence on the accuracy of the three-dimensional space reconstruction when the current camera parameter is continuously used with respect to the magnitude of the movement of the camera 100 indicated by the imaging situation information.
  • the Whether or not to execute calibration is determined based on, for example, whether or not this change exceeds a predetermined threshold value greater than the first threshold value.
  • the predetermined threshold value greater than the first threshold value is an example of the second threshold value in the present embodiment.
  • the predetermined event may be an event that is highly likely to be calibrated with high accuracy. For example, in calibration performed using an image including many feature points, it is easy to obtain camera parameters with higher accuracy (reliability).
  • imaging state information used for detecting such an event information shown in the video data output from the image sensor 104 is given as an example. For example, when feature points are extracted by video analysis and the number of extracted feature points is equal to or greater than a predetermined number, a predetermined event occurs (YES in step S32), and it is determined that calibration is to be executed. Yes (YES in step S33).
  • the predetermined event may be an event that has little influence on the convenience of the user. For example, in a sporting event, it may be detected as the occurrence of a predetermined event when it is a time zone during which a game such as halftime does not develop. Alternatively, in the case of a ball game, since there are few users who pay attention to a place where there is no ball and no people, it may be detected as the occurrence of a predetermined event when the entire shooting area is in a state where there are no balls and no people. Further, in the case of a monitoring system, it may be detected as the occurrence of a predetermined event when there is no person or vehicle including the imaging region or its surroundings.
  • the imaging state information used for detecting such an event the information shown in the video data output from the image sensor 104 and the sound around the imaging device 10 output from the sound collector 107 or 147 are also shown.
  • This information is given as an example.
  • video data for example, when an image of a predetermined object such as a person is not included in the video by analyzing the video, for example, it is determined that a predetermined event occurs (YES in step S32) and further calibration is performed. (YES in step S33).
  • sound information whether the game is in progress by sound analysis, whether a whistle is sounded, whether there is a human voice or footstep sound, or a driving power sound or a running sound around the imaging device 10 A determination may be made.
  • the occurrence may be determined as the occurrence of a predetermined event. For example, when the camera 100 is restarted, the battery is replaced, or the lens is attached or detached, there is a high possibility that a change has occurred in the shooting area of the camera 100. Such an event is also detected based on information output from the operation detection unit 106. For example, since the replacement of the battery or the replacement of the lens is performed in a state where the power of the camera 100 is turned off, an activation operation of the camera 100 occurs prior to the start of subsequent imaging. Therefore, for example, the event detection unit 202a may determine that a predetermined event has occurred when information indicating detection of the activation operation is received. In subsequent step S33, it may be determined that calibration is performed as an essential operation after activation, or may be determined based on other imaging state information.
  • the event detection unit 202a may detect the occurrence of a predetermined event when a predetermined time has elapsed since the previous calibration of the camera 100. For example, the event detection unit 202a stores a calibration execution log in the storage unit 201, calculates the elapsed time from the previous calibration with reference to the time indicated by the timer 203 provided in the control device 200, and the elapsed time is a predetermined time. When the time is exceeded, occurrence of a predetermined event is detected.
  • the calibration of the camera 100 is executed at a predetermined frequency or more. For example, when a change below a second threshold value determined to execute calibration is accumulated in a certain camera 100 and the camera parameter deviates from the actual state of the camera 100 without performing calibration, the update of the camera parameter is performed. Opportunities are secured.
  • the event detection unit 202a that has determined that the calibration is not executed returns to the imaging state information reception standby state.
  • the event detection unit 202a that has determined to execute calibration (YES in step S33) outputs calibration information.
  • the calibration information includes the camera 100 (or the imaging apparatus 10 including the camera 100) that is the target of calibration and the reason for determining that calibration is to be performed (the above event).
  • 14A and 14B show examples of the data structure of calibration information.
  • the target to be calibrated is shown using the imaging device 10A including the corresponding camera 100 (“10A” in the column “Calibration Target”). Further, the reason for executing the calibration is shown in the column of “head movement” and “reason” together with the reason code of 20.
  • Such calibration information is output when the event detection unit 202a indicates rotational movement of the camera platform that the imaging status information received from the status sensing unit 160 of the imaging device 10A exceeds the first threshold value and the second threshold value.
  • the camera 100 to be subjected to camera calibration is the camera 100 included in all the imaging devices 10 (“All” in the column “Calibration Target”).
  • the reason for executing the calibration is indicated as “half time detection” together with a reason code of 100 in the “reason” column.
  • Such camera calibration information is obtained from the imaging situation information received by the event detection unit 202a from any of the situation sensing units 160 of the imaging apparatus 10 in a half of a sport game being performed in a predetermined space including the imaging area. Output when time is estimated to have started.
  • the event detection unit 202a may determine that the camera calibration other than the camera 100 included in the imaging device 10 that is the transmission source of the imaging status information is to be executed.
  • the calibration information is input to the calibration instruction unit 202b.
  • the calibration instruction unit 202b that has received the calibration information generates a calibration instruction based on the content of the calibration information, and transmits the generated calibration instruction to the imaging apparatus 10 including the appropriate camera 100.
  • the calibration information may be transmitted to the user interface 400, for example, and presented to a user such as a system administrator (step S34). Based on this information, the user inputs an instruction for calibrating the target camera 100 via the user interface 400 (instruction reception in step S35). The input instruction is transmitted to the control device 200.
  • the imaging process is executed in the camera 100 of the imaging apparatus 10 that has received the imaging support. Further, the calibration apparatus 300 that has received the calibration instruction executes a calibration process (S36). The calibration process is executed based on a calibration instruction in the calibration device, and calibration of external parameters of all the imaging devices 10A to 10N is performed. When the internal parameter is calibrated, the control unit 102 of the camera 100 may perform the calibration. The camera parameters calculated by executing the calibration process are output to the three-dimensional space reconstruction device 3000 (step S37).
  • FIG. 15 is a flowchart showing an example of the calibration process in the first embodiment.
  • the acquisition unit 302a acquires a plurality of videos captured by a plurality of imaging apparatuses 10A to 10N, each having a plurality of frames. (S41).
  • the preprocessing unit 302b selects a frame to be processed from the plurality of acquired videos (S42). For example, the preprocessing unit 302b selects the first frame corresponding to the time t1. Note that the processing for selecting a processing frame may be performed by another processing unit, for example, the extraction unit 302c, in the case where the calibration apparatus 300 is configured not to include the preprocessing unit 302b.
  • a frame having a predetermined imaging time with the frame already selected in step S42 may be selected.
  • the frames may be selected with a predetermined frame interval or more from the frames already selected in S42.
  • a frame in which a moving object is reflected may be selected from among a plurality of frames. Or you may make it select the flame
  • the preprocessing unit 302b executes preprocessing for the first frame included in each of the plurality of videos (S43).
  • the extraction unit 302c extracts the first feature point from the preprocessed first frame (S44).
  • the matching unit 302d performs matching with each other using the plurality of first feature points (S45).
  • the matching unit 302d determines whether the number of matching results is sufficient (S46).
  • the matching unit 302d returns to step S42 if the number of matching results is not sufficient (No in S46).
  • the matching unit 302d has three matching points P1 to P3 and the matching result by the plurality of first feature points obtained from the first frame is not greater than the first number. Therefore, the process returns to step S42, and the preprocessing unit 302b, the extraction unit 302c, and the matching unit 302d execute steps S43 to S45 for the second frame corresponding to the next time t2.
  • the preprocessing unit 302b performs preprocessing on the second frame
  • the extraction unit 302c extracts the second feature point from the preprocessed second frame
  • the matching unit 302d includes a plurality of second features. Match each other using points.
  • the next reconstruction unit 302e performs a plurality of imaging based on the plurality of matching results.
  • the parameters of the devices 10A to 10N are calculated (S47).
  • the steps S42 to S45 are executed up to the third frame corresponding to the timing of the time t3, so that the total number of matching results is equal to or greater than the first number. S47 is performed.
  • the reconstruction unit 302e estimates the three-dimensional position of each of the plurality of matching results in the three-dimensional space (S48).
  • the determination unit 302f determines whether the accuracy of the calibrated parameter is sufficient based on the plurality of three-dimensional positions estimated by the reconstruction unit 302e (S49).
  • the determination unit 302f determines that the accuracy of the calibrated parameter is sufficient (YES in S49)
  • the determination unit 302f executes calibration processing. If the determination unit 302f determines that the accuracy of the calibrated parameter is not sufficient (NO in S49), the determination unit 302f Steps S42 to S49 are repeated for the frame corresponding to the time.
  • the calibration device 300 is arranged at different positions, and calibrates the parameters of the plurality of imaging devices 10A to 10N that capture the common three-dimensional space.
  • the calibration apparatus 300 includes an acquisition unit 302a, an extraction unit 302c, a matching unit 302d, and a reconstruction unit 302e.
  • the acquisition unit 302a includes a plurality of images 20, 30, 40, 50,... Captured by the plurality of imaging devices 10A to 10N, each of which includes a plurality of frames 21 to 25, 31 to 35, and 41 to 45. , 51 to 55,..., 51, 55,.
  • the extraction unit 302 c extracts the feature points P1A from the frames 21, 31, 41, 51,.
  • P2A, P3A, P1B, P2B, P3B are extracted, and frames 22, 32, 42, 52,..., 23, 33, which are different from the frames 21, 31, 41, 51,.
  • Feature points P4A, P5A, P6A, P4B, P5B, and P6B are extracted from the regions A101, A102, A111, and A112 in which the moving bodies 43, 53,.
  • the matching unit 302d performs matching with each other using the plurality of feature points P1A, P2A, P3A, P1B, P2B, and P3B extracted by the extraction unit 302c, and extracts the plurality of feature points P4A, P5A, P6A, Matching is performed using P4B, P5B, and P6B.
  • the reconstruction unit 302e calculates parameters of the plurality of imaging devices 10A to 10N based on the plurality of matching points P1 to P6 as the plurality of matching results obtained by the matching in the matching unit 302d.
  • the extraction unit 302c extracts feature points P1A, P2A, P3A, P1B, P2B, and P3B from the frames 21 to 25, 31 to 35, 41 to 45, 51 to 55,. , 32, 42, 52,..., 23, 33, 43, 53,..., And feature points P4A, P5A, P6A, P4B, P5B from the regions A101, A102, A111, A112. , P6B is extracted. Therefore, the calibration apparatus 300 can additionally use the feature points P4A, P5A, P6A, P4B, P5B, and P6B of the moving object as feature points for use in parameter calibration. That is, since the feature points obtained from a plurality of images captured by the plurality of imaging devices 10A to 10N can be effectively increased, the parameters of the imaging devices 10A to 10N can be accurately calibrated.
  • the extraction unit 302c for each of the plurality of videos 20, 30, 40, 50,..., Has a plurality of frames 22, 32, 42, 52 corresponding to the first timing of the videos. ,..., And the frames 22, 32, 42, 52,... Including the regions A101, A102 in which the moving object is reflected are extracted as the second frame. Further, the extraction unit 302c extracts feature points P4A, P5A, P4B, and P5B for each of the plurality of second frames extracted from the plurality of videos 20, 30, 40, 50,.
  • the extraction unit 302c, the matching unit 302d, and the reconstruction unit 302e perform the following processing.
  • the extraction unit 302c includes third frames 23, 33, 43, corresponding to a second timing different from the first timing. 53,..., And the third feature point P6A from the areas A111, A112 of the plurality of third frames 23, 33, 43, 53,... P6B is extracted.
  • the matching unit 302d matches each other using the extracted third feature points P6A and P6B.
  • the reconstruction unit 302e calculates parameters of the plurality of imaging devices 10A to 10N based on the plurality of matching points P1 to P6 as a plurality of matching results further including the matching result obtained by the newly performed matching. .
  • the parameters can be calibrated with high accuracy.
  • the extraction unit 302c and the matching unit 302d have already performed extraction of each of the plurality of videos until the total number of matching results obtained by matching in the matching unit 302d is equal to or greater than the first number. Extraction and matching are repeated for a frame corresponding to a timing different from the timing corresponding to the broken frame.
  • the extraction unit 302c extracts, for each of the plurality of videos 20, 30, 40, 50,..., The fourth frame in which the moving object is reflected in the lacking area of the video, and the lack of the fourth frame. A fourth feature point is extracted from the region.
  • the matching unit 302d performs matching with each other using the plurality of extracted fourth feature points.
  • the reconstruction unit 302e calculates parameters of the plurality of imaging devices 10A to 10N based on a plurality of matching results further including a matching result obtained by the newly performed matching.
  • the parameters can be calibrated with high accuracy.
  • the processing load can be reduced because it is only necessary to perform processing on the insufficient area.
  • the extraction unit 302c and the matching unit 302d each of the plurality of videos until the total number of matching results obtained by matching in the matching unit 302d in each of the plurality of regions is equal to or greater than the second number.
  • the extraction and matching are repeated for a frame corresponding to a timing different from the timing corresponding to the frame that has already been extracted.
  • the reconstruction unit 302e further estimates a three-dimensional position of each of a plurality of matching results on the three-dimensional space.
  • the calibration apparatus 300 further includes a determination unit 302f.
  • the determination unit 302f determines whether the accuracy of the calibrated parameter is sufficient based on the plurality of three-dimensional positions estimated by the reconstruction unit 302e. When the determination unit 302f determines that the parameter accuracy is not sufficient, the extraction unit 302c, the matching unit 302d, the reconstruction unit 302e, and the determination unit 302f determine that the parameter accuracy is sufficient in the determination unit 302f. Until now, extraction, matching, calibration, estimation, and determination are repeated for frames corresponding to timings different from timings corresponding to frames that have already been extracted.
  • the determination unit 302f uses a two-dimensional image obtained when it is assumed that each of the plurality of imaging devices 10A to 10N has captured a plurality of three-dimensional positions estimated by the reconstruction unit 302e. Whether or not an error between a plurality of two-dimensional coordinates and a plurality of two-dimensional coordinates that are two-dimensional coordinates of the first feature point and the second feature point obtained from an image captured by the imaging device is smaller than a predetermined value. Determine.
  • the extraction unit 302c, the matching unit 302d, the reconstruction unit 302e, and the determination unit 302f determine that the error is greater than a predetermined value
  • the extraction unit 302c, the matching unit 302d, and the determination unit 302f Extraction, matching, calibration, estimation, and determination are repeated for a plurality of frames corresponding to different timings. For this reason, the precision of the parameter obtained by calibration can be improved.
  • the imaging system 1000 includes a plurality of cameras 100, a situation sensing unit 160, and an event detection unit 202a.
  • the plurality of cameras 100 shoots images of areas at least partially overlapping in a predetermined space from different positions.
  • the status detection unit 160 detects the status of each of the plurality of cameras 100 and at least one of the predetermined spaces, and outputs the detected status as imaging status information.
  • the event detection unit 202a detects the occurrence of a predetermined event based on the imaging state information, and determines whether or not to execute calibration when the occurrence of the predetermined event is detected. If it is determined that calibration is to be executed, calibration information indicating the calibration to be executed is output.
  • the imaging system 1000 may further include a calibration instruction unit 202b that executes calibration of the plurality of cameras 100.
  • the calibration information indicates the camera 100 that performs calibration among the plurality of cameras 100.
  • the output calibration information is input to the calibration instruction unit 202b, and the calibration instruction unit 202b causes the camera 100 indicated by the calibration information to execute calibration.
  • the calibration information may further indicate the contents of a predetermined event whose occurrence has been detected.
  • the calibration instruction unit 202b determines the order of the cameras 100 that perform the calibration based on the contents of a predetermined event indicated by the calibration information. Calibration of two or more cameras 100 is executed in the determined order.
  • the cameras 100 are in an order suitable for maintaining the state in which the three-dimensional space reconstruction is appropriately performed. Calibration is performed.
  • the “order” includes a case where calibration is executed in parallel by a plurality of cameras 100.
  • the situation sensing unit 160 may include the image sensors 104 included in each of the plurality of cameras 100, and the imaging situation information output from the situation sensing unit 160 may include an image output from the image sensor 104.
  • the event detection unit 202a extracts feature points included in the video, and detects the occurrence of a predetermined event and executes calibration when the number of extracted feature points is equal to or greater than the predetermined number. You may judge.
  • the timing is suitable for execution of calibration.
  • the three-dimensional space reconstruction is also executed with higher accuracy, and the accuracy of three-dimensional space recognition and the stability of availability are enhanced.
  • the situation sensing unit 160 may include the image sensors 104 included in each of the plurality of cameras 100, and the imaging situation information output from the situation sensing unit 160 may include an image output from the image sensor 104.
  • the event detection unit 202a determines whether or not an image of a predetermined object is included in the video. When the image of the predetermined object is not included, it may be determined that the occurrence of the predetermined event is detected and the calibration is executed.
  • the predetermined object indicates the importance of the scene captured by the camera 100, for example, a person in a surveillance area, a player in a ball game, or a ball. Since video data that does not include images of such objects is unlikely to be used to generate free viewpoint video, the accuracy and use of 3D space recognition from the user's perspective can be made by performing calibration. Sexual stability is increased.
  • the situation detection unit 160 includes an image sensor 104 provided in each of the plurality of cameras 100, a motion sensor 105 or 125 that detects a change in position and a posture of each of the plurality of cameras 100, and a sound in a predetermined space. May include at least one of the sound collectors 107 and 147.
  • the imaging state information output from the state sensing unit 160 may be information output from at least one of the image sensor 104, the motion sensor 105 or 125, and the sound collector 107 or 147.
  • the event detection unit 202a detects the occurrence of a predetermined event when the imaging state information indicates a change exceeding the first threshold, and indicates a change where the imaging state information exceeds a second threshold that is greater than the first threshold. In this case, it may be determined that calibration is executed.
  • the situation detection unit 160 includes an operation detection unit 126 that detects a predetermined operation of each of the plurality of cameras 100, and the imaging state information output by the situation detection unit 160 is output by the operation detection unit 126. It may be information on a predetermined operation.
  • the event detection unit 202a may detect the occurrence of a predetermined event based on information on a predetermined operation that has occurred, which is indicated as imaging state information.
  • the state in which the three-dimensional space reconstruction is appropriately executed is maintained by updating the camera parameters according to the change in the state of the camera 100 due to the operation of the camera 100 or the gantry 120, and as a result, the three-dimensional space The accuracy of recognition and the stability of availability are increased.
  • the event detection unit 202a may detect that a predetermined event has occurred for each of the plurality of cameras 100 when a predetermined time has elapsed since the previous calibration execution, and determine that the calibration should be executed. Thereby, calibration of each camera is executed at a predetermined frequency or more. For example, calibration is also performed for a camera in which changes below a threshold value determined to execute calibration are performed, and an opportunity to update camera parameters is secured.
  • the imaging system 1000 may further include a user interface 400 for presenting information to the user. Then, the calibration information may be presented to the user via the user interface 400.
  • the user of the imaging system 1000 can know, for example, the camera 100 scheduled to be calibrated or the camera 100 being executed. Further, based on the reason (the content of a predetermined event) for executing the calibration indicated in the presented calibration information, the user determines the execution order of the calibration between the cameras 100 scheduled to perform the calibration. May be.
  • the control device 200 performs the calibration process.
  • the control unit 102 of each of the imaging devices 10A to 10N may perform the calibration process. That is, the control unit 102 uses a plurality of captured images obtained by capturing images of the markers 606 at a plurality of different three-dimensional positions by the cameras 100 of the plurality of imaging devices 10A to 10N. The external parameters of the camera 100 of the devices 10A to 10N may be calibrated.
  • step S46 of the calibration process it is determined whether or not the number of matching results by the matching unit 302d is sufficient. If the number of matching results is not sufficient as a result of the determination in step S46, a new frame to be processed is selected from the plurality of acquired videos, the processes in steps S42 to S45 are performed again, and the determination in step S46 is performed. Steps S42 to S46 are repeated until it is determined that the number of matching results is sufficient.
  • the present invention is not limited to newly selecting a frame to be processed from a plurality of videos and repeating the processes of steps S42 to S46 until the number of matching results is sufficient as described above.
  • a frame that can obtain a sufficient number of matching results is selected in advance, and feature points are matched to the preselected frame, thereby obtaining a sufficient number of matching.
  • the calibration process in this case, since feature point matching is not performed except for a preselected frame, a sufficient number of matching results cannot be obtained, increasing the processing load and processing time. It can suppress becoming longer.
  • FIG. 16 is a flowchart showing an example of the calibration process in the third modification.
  • the calibration apparatus 300 in the modified example has different functions, it can be realized by using the configuration of the calibration apparatus 300 according to the first embodiment, and will be described using the components described in FIG.
  • step S41 similar to that in the first embodiment is performed.
  • the preprocessing unit 302b performs a process of selecting in advance a frame from which a sufficient number of matching results can be obtained from the plurality of acquired videos (S42a).
  • S42a A specific example of the frame pre-selection process in step S42a will be described with reference to FIGS.
  • FIG. 17 is a flowchart showing a first example of a frame pre-selection process.
  • FIG. 18 is a diagram for explaining processing for generating a mask image synthesis result from a plurality of frames.
  • the pre-processing unit 302b selects one frame and generates a mask image using the selected frame (S51). Specifically, the preprocessing unit 302b selects one frame captured at the latest timing from the plurality of acquired videos, and generates a mask image for the selected one frame. For example, as illustrated in FIG. 18, the preprocessing unit 302b selects the frame 43 at the latest time t13, sets the area occupied by the vehicle that is the foreground for the selected frame 43 as a white pixel, and sets the background other than the foreground.
  • the mask image 46 is generated by using the black pixel as the area.
  • the mask image only needs to be able to separate whether the region in the image is the foreground or the background, and the foreground region is not limited to the white pixel and the background region is not the black pixel.
  • the area may be a first pixel value indicating the foreground, and the background area may be the second pixel value indicating the background.
  • the first pixel value and the second pixel value are different from each other.
  • the preprocessing unit 302b synthesizes the generated mask image into a synthesized frame (S52).
  • the composite frame is stored in the storage unit 301, and the preprocessing unit 302b reads the composite frame stored in the storage unit 301, and combines the mask image generated in step S51 with the read composite frame. To do.
  • the preprocessing unit 302b stores the new composite frame obtained as a result of the synthesis in the storage unit 301.
  • the preprocessing unit 302b may update the synthesized frame stored in the storage unit 301 to a synthesized frame obtained by newly synthesizing by the synthesis in step S52.
  • each of a plurality of pixels constituting the synthesized frame does not have a pixel value. It is an empty frame.
  • the preprocessing unit 302 b combines the mask image 46 and the empty combined frame to generate a combined frame that is equal to the mask image 46.
  • the preprocessing unit 302b sets the union of the foreground area in the synthesized frame and the foreground area in the mask image generated in step S51 when the synthesized frame and the mask image 46 are superimposed. Are combined so as to be white pixels indicating the foreground area. Therefore, in the composite frame, the area excluding the union area of the foreground area is the background area.
  • the size and shape of the composite frame and the size and shape of one frame of a plurality of images are equal to each other. That is, the total number of pixels in the composite frame is equal to the total number of pixels in one frame of a plurality of videos.
  • the preprocessing unit 302b determines whether or not the amount of change of the composite frame score from the previous score is less than a predetermined value (S53).
  • the score of the composite frame is the number of pixels of the plurality of pixels constituting the foreground region in the composite frame. That is, the score is the number of white pixels in the composite frame. In the initial initial state of the process, the score is assumed to be 0.
  • the score is stored in the storage unit 301. Therefore, in the stage before step S53 is performed for the first time in the calibration process, the score increases from 0 by the number of pixels included in the foreground region added.
  • the predetermined value is the number of pixels obtained by multiplying the total number of pixels in one frame by a predetermined ratio.
  • the predetermined ratio is, for example, 1 to 10%.
  • the pre-processing unit 302b returns to step S51 when the amount of change in the score is equal to or greater than the predetermined value (NO in S53).
  • step S51 the preprocessing unit 302b selects a frame immediately before the previously selected frame and synthesizes a mask image. For example, if the previously selected frame in FIG. 18 is the frame 43 at time t13, the preprocessing unit 302b selects the frame 42 at time t12 immediately before and generates the mask image 45 for the selected frame 42. . In next step S ⁇ b> 52, the preprocessing unit 302 b combines the mask image 45 with the combined frame stored in the storage unit 301. Since the previously generated composite frame is the same image as the mask image 46, the mask image 46 is stored in the storage unit 301 as a composite frame.
  • the preprocessing unit 302b generates a synthesized frame in which the union area of the foreground of the mask image 45 and the foreground of the mask image 46 is a white pixel.
  • the preprocessing unit 302b similarly performs these processes on the frame 41 at time t13 immediately before time t12.
  • the mask image 44 corresponding to the frame 41 is further combined into a combined frame, and a combined frame 47 based on the three frames 41 to 43 is generated.
  • steps S51 to S53 is repeated until the amount of change in the composite frame score becomes less than a predetermined value.
  • FIG. 19 is a graph showing a change in the number of pixels in the foreground area when the foreground areas of a plurality of frames are combined.
  • the vertical axis of the graph in FIG. 19 indicates the cumulative number of pixels in the foreground region, that is, the score in the combined frame, and the horizontal axis indicates the number of frames combined as a combined frame.
  • step S53 is equal to the slope of the graph in FIG. That is, when using a plurality of the frame shown in Figure 19, for example, the number of frames N to F, so that the steps S51 ⁇ S53 are repeated.
  • the preprocessing unit 302b sets all the plurality of frames used to synthesize the synthesized frames stored in the storage unit 301 as a search frame set. Determine (S54).
  • the preprocessing unit 302b adds the frame having the maximum score among the plurality of frames included in the search frame set to the processing frame set (S55).
  • the processing frame set does not include a frame.
  • the preprocessing unit 302b selects a frame having the maximum score of the combined composite frame for evaluation from the plurality of frames included in the search frame set. (S56). Specifically, the pre-processing unit 302b can perform synthesis for evaluation when it is assumed that for each of a plurality of frames included in the search frame set, a mask image generated from the frame and a composite frame for evaluation are combined. Calculate the score of the frame. That is, the preprocessing unit 302b calculates the score by the number of frames included in the search frame set. Then, the preprocessing unit 302b selects, from among the plurality of frames included in the search frame set, the frame having the maximum calculated score from the plurality of frames included in the search frame set.
  • evaluation composite frame is stored in the storage unit 301 in the same manner as the composite frame, and, for example, in the initial stage of processing, that is, in the stage before step S56 is executed for the first time in the calibration process, for example, evaluation
  • This is an empty frame in which each of the plurality of pixels constituting the composite frame does not have a pixel value.
  • the pre-processing unit 302b synthesizes the mask image generated from the selected frame into the evaluation synthesis frame (S57).
  • the preprocessing unit 302b reads the evaluation composite frame stored in the storage unit 301, and combines the mask image generated from the frame selected in step S56 with the read evaluation composite frame. Then, the preprocessing unit 302b stores a new evaluation composite frame obtained as a result of the synthesis in the storage unit 301. At this time, the preprocessing unit 302b may update the evaluation composite frame stored in the storage unit 301 to the evaluation composite frame newly obtained by the synthesis in step S57.
  • steps S56 and S57 is the same as the synthesis in step S52.
  • the pre-processing unit 302b removes the frame selected in step S56 from the search frame set and adds it to the processing frame set (S58).
  • the preprocessing unit 302b stores the search frame set after removal and the processing frame set after addition in the storage unit 301.
  • the pre-processing unit 302b determines whether a designated number of frames have been selected (S59). That is, the preprocessing unit 302b determines whether or not the number of frames added to the processing frame set is equal to the specified number.
  • the designated number is, for example, 4.
  • step S56 one frame is selected from a plurality of frames included in the search frame set stored in the storage unit 301 after step S58.
  • the preprocessing unit 302b When the number of frames added to the processing frame set reaches the designated number (YES in S59), the preprocessing unit 302b outputs the processing frame set stored in the storage unit 301 as a plurality of preselected frames. (S60).
  • the preprocessing unit 302b selects a frame to be processed from a plurality of frames preselected in step S42a (S42b). For example, the preprocessing unit 302b selects a frame corresponding to a predetermined time.
  • steps S43 to S45 of the calibration processing in the first embodiment is performed on the selected frame to be processed.
  • the matching unit 302d determines whether or not the processing of steps S43 to S45 has been performed for all of the plurality of preselected frames (S46a). If it is determined that the processing of steps S43 to S45 has not been performed for all of the plurality of preselected frames (NO in S46a), the processing of steps S43 to S45 is still out of the plurality of preselected frames. Steps S42b and S43 to S45 are performed for frames that have not been performed. If it is determined that the processes in steps S43 to S45 have been performed for all of the plurality of preselected frames (YES in S46a), the process proceeds to the next steps S47 and S48.
  • steps S47 and S48 are the same as steps S47 and S48 of the calibration processing in the first embodiment, and thus description thereof is omitted.
  • step S42a by performing frame pre-selection in step S42a, it is possible to pre-select frames that can obtain a sufficient number of matching results. For this reason, in this proofreading process, matching of feature points is not performed except for frames selected in advance. Therefore, it is possible to suppress an increase in processing load without obtaining a sufficient number of matching results and an increase in processing time.
  • the frame pre-selection process is not limited to the process described in the first example of FIG.
  • step S59 a combination that maximizes the foreground area in the designated number of frames by setting the upper limit of frames added to the processing frame set to a fixed value as the designated number.
  • the greedy method is a combination that minimizes the number of frames among a plurality of frames in which the ratio of the union of the foreground area to the image area of one frame is a predetermined ratio (for example, 30%) or more.
  • the frame of the combination may be selected.
  • FIG. 20 is a flowchart illustrating a second example of frame pre-selection processing.
  • step S59a is performed instead of step S59 of the first example. That is, in the second example, steps S51 to S58 similar to those in the first example are performed.
  • the preprocessing unit 302b determines whether (i) the score of the composite frame for evaluation stored in the storage unit 301 is equal to or greater than a predetermined threshold value, or (ii) a set of search frames It is determined whether or not is empty (S59a). Note that the search frame set is empty is a state in which the number of frames included in the search frame set becomes 0 by repeating step S58.
  • the pre-processing unit 302b returns to Step S56 when the score of the composite frame for evaluation is less than the threshold value and the search frame set is not empty (NO in S59a). At this time, in step S56, one frame is selected from a plurality of frames included in the search frame set stored in the storage unit 301 after step S58.
  • the preprocessing unit 302b pre-selects the processing frame set stored in the storage unit 301 when the score of the composite frame for evaluation is equal to or greater than the threshold value or the search frame set is empty (YES in S59a). Output as a plurality of frames (S60).
  • a multi-objective optimization combination frame may be selected such that the number of pre-selected frames is smaller and the ratio of the union of the foreground area to the image area of one frame is larger.
  • the number of preselected frames is N (N is a natural number greater than 1)
  • the size of the foreground region is f
  • the size of the image region of one frame is I, 1 / (N + 1) + f /
  • a combination that maximizes I is obtained by the greedy method, and a frame of the combination is selected.
  • the foreground area size f and the image area size I may be represented by the number of pixels constituting the area.
  • FIG. 21 is a flowchart illustrating a third example of the frame pre-selection process.
  • steps S56b, S57, S58, and S56c are executed instead of steps S57 to S59 in the first example. That is, in the third example, steps S51 to S56 similar to those in the first example are performed.
  • the preprocessing unit 302b determines whether or not the current score, which is the maximum score among the plurality of scores calculated in step S56, is equal to or greater than the provisional maximum score stored in the storage unit 301. Determination is made (S56b). In the stage before step S56b is executed for the first time in the calibration process, the provisional maximum score stored in the storage unit 301 is 0, for example.
  • the preprocessing unit 302b executes steps S57 and S58, and further stores the current score in the storage unit 301 as the provisional maximum score (S56c). At this time, the preprocessing unit 302b may update the provisional maximum score stored in the storage unit 301 to the current score.
  • step S56c ends, the process returns to step S56.
  • step S56 one frame is selected from a plurality of frames included in the search frame set stored in the storage unit 301 after step S58.
  • the preprocessing unit 302b When the current score is less than the provisional maximum score (NO in S56b), the preprocessing unit 302b outputs the processing frame set stored in the storage unit 301 as a plurality of preselected frames (S60).
  • the system can be applied to a video system in which intelligentization and widening of the target space are progressing.
  • a surveillance system implemented in a security camera in a store or factory, an in-vehicle camera in a police, or (2) an individual Traffic information system using own camera or each on-vehicle camera or camera provided on road, (3) Environmental survey or delivery system using remote control or automatic control device such as drone, and (4) Entertainment
  • the present invention can be applied to a content transmission / reception system such as a video using a camera installed in a facility or a stadium, a mobile camera such as a drone, or a personal camera.
  • FIG. 22 is a diagram showing a configuration of the video information processing system ex100 in the present embodiment. In this embodiment, an example of preventing the generation of blind spots and an example of prohibiting photographing in a specific area will be described.
  • the video information processing system ex100 shown in FIG. 22 includes a video information processing device ex101, a plurality of cameras ex102, and a video receiving device ex103. Note that the video receiving device ex103 is not necessarily included in the video information processing system ex100.
  • the video information processing apparatus ex101 includes a storage unit ex111 and an analysis unit ex112.
  • Each of the N cameras ex102 has a function of capturing video and a function of transmitting captured video data to the video information processing apparatus ex101.
  • the camera ex102 may have a function of displaying an image being shot.
  • the camera ex102 converts the captured video signal into HEVC or H.264.
  • the encoded information may be encoded using an encoding method such as H.264 and transmitted to the video information processing apparatus ex101, or unencoded video data may be transmitted to the video information processing apparatus ex101.
  • each camera ex102 is a fixed camera such as a surveillance camera, a moving camera mounted on an unmanned flight type radio control or a car, or a user camera possessed by the user.
  • the moving camera receives the instruction signal transmitted from the video information processing apparatus ex101, and changes the position or shooting direction of the moving camera itself according to the received instruction signal.
  • the time of the plurality of cameras ex102 is calibrated using the time information of the server or the reference camera before disclosure of photographing. Further, the spatial positions of the plurality of cameras ex102 are calibrated based on how the objects in the space to be imaged are captured or relative positions from the reference camera.
  • the storage unit ex111 included in the information processing apparatus ex101 stores video data transmitted from the N cameras ex102.
  • the analysis unit ex112 detects a blind spot from the video data stored in the storage unit ex111, and transmits an instruction signal indicating an instruction to the mobile camera for preventing the generation of the blind spot to the mobile camera.
  • the moving camera moves in accordance with the instruction signal and continues shooting.
  • the analysis unit ex112 performs blind spot detection using, for example, SfM (Structure from Motion).
  • SfM is a technique for restoring the three-dimensional shape of a subject from a plurality of videos taken from different positions, and is widely known as a shape restoration technique for simultaneously estimating the subject shape and the camera position.
  • the analysis unit ex112 restores the three-dimensional shape in the facility or the stadium from the video data saved in the saving unit ex111 using SfM, and detects an area that cannot be restored as a blind spot.
  • the analysis unit ex112 may perform SfM using these known information. Further, when the position and shooting direction of the moving camera can be acquired by a GPS and an angle sensor provided in the moving camera, the moving camera transmits information on the position and shooting direction of the moving camera to the analysis unit ex112, and the analysis unit The ex 112 may perform SfM using the transmitted position and shooting direction information.
  • the method of detecting the blind spot is not limited to the method using SfM described above.
  • the analysis unit ex112 may grasp the spatial distance of the object to be imaged by using information of a depth sensor such as a laser range finder.
  • the analysis unit ex112 detects information such as a camera position, a shooting direction, and a zoom magnification from an image that includes a preset marker or a specific object in the space, or the size of the marker or the like. Also good.
  • the analysis unit ex112 performs blind spot detection using an arbitrary method capable of detecting the imaging region of each camera.
  • the analysis unit ex112 acquires information such as a mutual positional relationship for a plurality of imaging targets from video data or a proximity distance sensor, and identifies an area where a blind spot is likely to occur based on the acquired positional relationship. May be.
  • the blind spot includes not only a portion where an image does not exist in a region to be photographed, but also a portion having a poor image quality compared to other portions and a portion where a predetermined image quality is not obtained.
  • This detection target portion may be set as appropriate according to the configuration or purpose of the system. For example, the required image quality may be set high for a specific subject in the space where the image is taken. Conversely, for a specific area in the shooting space, the required image quality may be set low, or it may be set not to be determined as a blind spot even if no video is shot.
  • the above-mentioned image quality includes various information related to the video such as the area occupied by the subject to be photographed in the video (for example, the number of pixels) or whether the subject to be photographed is in focus. Whether or not it is a blind spot may be determined based on the information or the combination thereof.
  • a region that needs to be detected in order to prevent the generation of a blind spot is not limited to a region that is actually a blind spot.
  • the analysis unit ex112 detects movements of a plurality of shooting targets from, for example, shot video data and the like, and based on the detected movements of the plurality of shooting targets and position information of the camera ex102, a new blind spot and It is also possible to estimate a possible region.
  • the video information processing apparatus ex101 may transmit an instruction signal to the moving camera so as to capture an area that may become a blind spot, and prevent the generation of a blind spot.
  • the video information processing apparatus ex101 needs to select a moving camera that transmits an instruction signal in order to capture a blind spot or an area that may become a blind spot.
  • the video information processing apparatus ex101 determines which dead spots or areas that may become blind spots for each of the plurality of moving cameras. It is necessary to decide whether to shoot. For example, the video information processing apparatus ex101 selects a moving camera that is closest to the blind spot or the area that is the blind spot based on the blind spot or the area that may be the blind spot and the position of the area that each moving camera is capturing. To do. Further, the video information processing apparatus ex101 determines, for each moving camera, whether or not a blind spot is newly generated when the moving camera cannot obtain the video data currently being shot. If it is not obtained, a moving camera determined not to generate a blind spot may be selected.
  • the video information processing apparatus ex101 can prevent the generation of a blind spot by detecting a blind spot and transmitting an instruction signal to the moving camera so as to prevent the blind spot.
  • the instruction signal may be a signal for instructing the user of the user camera to move.
  • the user camera displays an instruction image that instructs the user to change the direction of the camera based on the instruction signal.
  • the user camera may display an instruction image indicating a movement route on a map as an instruction to move the user.
  • the user camera may display detailed shooting instructions such as shooting direction, angle, angle of view, image quality, and movement of the shooting area in order to improve the quality of the acquired image. If control is possible on the ex101 side, the video information processing apparatus ex101 may automatically control the feature amount of the camera ex102 regarding such shooting.
  • the user camera is, for example, a smartphone, a tablet terminal, a wearable terminal, or an HMD (Head Mounted Display) held by a spectator in the stadium or a guard in the facility.
  • HMD Head Mounted Display
  • the display terminal that displays the instruction image need not be the same as the user camera that captures the video data.
  • the user camera may transmit an instruction signal or an instruction image to a display terminal associated with the user camera in advance, and the display terminal may display the instruction image.
  • information on the display terminal corresponding to the user camera may be registered in advance in the video information processing apparatus ex101.
  • the video information processing apparatus ex101 may display the instruction image on the display terminal by directly transmitting the instruction signal to the display terminal corresponding to the user camera.
  • the analysis unit ex112 may generate a free viewpoint video (three-dimensional reconstruction data) by restoring the three-dimensional shape in the facility or the stadium from the video data stored in the storage unit ex111 using, for example, SfM. Good.
  • This free viewpoint video is stored in the storage unit ex111.
  • the video information processing apparatus ex101 reads video data corresponding to the visual field information (and / or viewpoint information) transmitted from the video reception apparatus ex103 from the storage unit ex111 and transmits the video data to the video reception apparatus ex103.
  • the video reception device ex103 may be one of a plurality of cameras.
  • the video information processing apparatus ex101 may detect a shooting prohibited area.
  • the analysis unit ex112 analyzes the photographed image, and transmits a photographing prohibition signal to the mobile camera when the mobile camera is photographing the photographing prohibition region.
  • the mobile camera stops shooting while receiving the shooting prohibition signal.
  • the analysis unit ex112 matches the three-dimensional virtual space restored using SfM with the captured image, thereby determining whether the mobile camera set in advance in the space is capturing the prohibited image area. judge.
  • the analysis unit ex112 determines whether the moving camera is shooting the shooting prohibited area using a marker or a characteristic object arranged in the space as a trigger.
  • the photographing prohibited area is, for example, a toilet in a facility or a stadium.
  • the user camera when the user camera is shooting a shooting prohibited area, the user camera displays a message on a display or the like connected wirelessly or by wire, or outputs a sound or sound from a speaker or an earphone.
  • the user may be informed that the current location is a shooting prohibited location.
  • the shooting prohibited area and the current shooting area are shown on the displayed map.
  • the resumption of photographing is automatically performed when, for example, the photographing prohibition signal is not output.
  • photographing may be resumed when the photographing prohibition signal is not output and the user performs an operation to resume photographing.
  • calibration may be performed again.
  • notification for confirming the current position or prompting the user to move may be performed.
  • a passcode or fingerprint authentication that turns off such a function for recording may be used.
  • image processing such as mosaicing may be automatically performed when a video in the photographing prohibited area is displayed or stored outside.
  • the video information processing apparatus ex101 can determine that shooting is prohibited and notify the user to stop shooting, thereby setting a certain region to shooting prohibited.
  • the video information processing system ex100 sets an incentive for the user who transferred the shot video.
  • the video information processing apparatus ex101 delivers a video value to a user who has transferred video at a free or discounted rate, a monetary value that can be used in an online or offline store or game, a game, etc. Points that have non-monetary value such as social status in virtual space.
  • the video information processing apparatus ex101 gives a particularly high point to a user who has transferred a captured video of a valuable field of view (and / or viewpoint) such as many requests.
  • the video information processing apparatus ex101 may transmit additional information to the user camera based on the analysis result of the analysis unit ex112. In this case, the user camera superimposes additional information on the captured video and displays it on the screen.
  • the additional information is, for example, information on players such as a player name or height when a game in a stadium is being shot, and the name or face photo of the player is associated with each player in the video. Is displayed.
  • the video information processing apparatus ex101 may extract additional information by searching via the Internet based on part or all of the video data area.
  • the camera ex102 receives such additional information by short-range wireless communication including Bluetooth (registered trademark) or visible light communication from lighting such as a stadium, and maps the received additional information to video data. Also good.
  • the camera ex102 is a table in which this mapping is held in a storage unit connected to the camera ex102 by wire or wirelessly, and shows a correspondence relationship between information obtained by visible light communication technology and additional information, etc. It may be performed based on a certain rule of the above, or may be performed using the most probable combination result by Internet search.
  • the monitoring system for example, information of a caution person is superimposed on a user camera held by a guard in the facility, so that the monitoring system can be highly accurate.
  • the analysis unit ex112 may determine which area in the facility or stadium the user camera is capturing by matching the free viewpoint image and the captured image of the user camera. Note that the imaging region determination method is not limited to this, and various imaging region determination methods or other imaging region determination methods described in the above-described embodiments may be used.
  • the video information processing apparatus ex101 transmits the past video to the user camera based on the analysis result of the analysis unit ex112.
  • the user camera displays the past video on the screen by superimposing the past video on the shot video or replacing the shot video with the past video.
  • the highlight scene of the first half is displayed as a past video. Accordingly, the user can enjoy the highlight scene of the first half as a video in the direction in which he / she is viewing during the halftime.
  • the past video is not limited to the highlight scene in the first half, but may be a highlight scene of a past game held at the stadium.
  • the timing at which the video information processing apparatus ex101 delivers the past video is not limited to half time, and may be, for example, after the match or during the match. Particularly during a game, based on the analysis result of the analysis unit ex112, the video information processing apparatus ex101 may deliver a scene that is considered important and missed by the user. Further, the video information processing apparatus ex101 may distribute a past video when a request is received from the user, or may distribute a distribution permission message before the past video is distributed.
  • the video information processing apparatus ex101 may transmit advertisement information to the user camera based on the analysis result of the analysis unit ex112.
  • the user camera superimposes advertisement information on the captured video and displays it on the screen.
  • the advertisement information may be distributed just before the past video distribution during the half time or after the match, for example, as shown in Modification 6. Accordingly, the distributor can obtain an advertisement fee from the advertiser, and can provide a video distribution service to the user at a low cost or free of charge.
  • the video information processing apparatus ex101 may distribute an advertisement distribution permission message immediately before distribution of advertisement information, or may provide a free service when a user views an advertisement, or view an advertisement. Service may be provided at a lower cost than when not.
  • the system or the staff who knows the location of the user based on some location information or the automatic delivery system of the venue will bring the ordered drink to the seat Will deliver.
  • the decision may be handed to the staff or may be made based on credit card information set in advance in the mobile terminal application or the like.
  • the advertisement may include a link to an e-commerce site, and online shopping such as normal home delivery may be possible.
  • the video receiving device ex103 may be one of the cameras ex102 (user camera).
  • the analysis unit ex112 determines which region in the facility or the stadium the user camera is capturing by matching the free viewpoint image and the captured image of the user camera. Note that the method for determining the imaging region is not limited to this.
  • the user camera when the user performs a swipe operation in the direction of the arrow displayed on the screen, the user camera generates viewpoint information indicating that the viewpoint is moved in that direction.
  • the video information processing apparatus ex101 reads the video data obtained by shooting the area moved by the viewpoint information from the shooting area of the user camera determined by the analysis unit ex112 from the storage unit ex111, and starts transmitting the video data to the user camera. To do.
  • the user camera displays the video distributed from the video information processing apparatus ex101 instead of the captured video.
  • the users in the facility or the stadium can view the video from a favorite viewpoint with a simple operation like a screen swipe.
  • a spectator watching on the third base side of a baseball field can view a video from the first base side viewpoint.
  • the security guards in the facility can watch the video that should be watched as an interrupt from the viewpoint or the center that they want to confirm by a simple operation like a screen swipe while changing the viewpoint appropriately. Therefore, it is possible to increase the accuracy of the monitoring system.
  • the user camera may switch and display the video of a part of the shooting area of the user camera including the obstacle from the shot video to the distribution video from the video information processing apparatus ex101.
  • the entire screen may be switched from the captured video to the distributed video and displayed.
  • the user camera may display an image in which the object to be viewed is seen through the obstacle by combining the captured image and the distribution image. According to this configuration, it is possible to view the video distributed from the video information processing apparatus ex101 even when the shooting target cannot be seen from the position of the user due to the influence of the obstacle, so that the influence of the obstacle can be reduced. it can.
  • the distribution video is displayed as a video of an area that cannot be seen due to an obstacle
  • display switching control different from the display switching control according to the input process by the user such as the screen swipe described above, may be performed.
  • the display from the shot video to the distribution video is performed. Switching may be performed automatically.
  • display switching from the shot video to the distribution video may be automatically performed.
  • the display switching to the distribution video may be automatically performed.
  • the display switching from the captured video to the distribution video and the display switching from the distribution video to the captured video may be performed in accordance with the user input processing.
  • Modification 9 The speed at which the video data is transferred to the video information processing apparatus ex101 may be instructed based on the importance of the video data captured by each camera ex102.
  • the analysis unit ex112 determines the importance of the video data stored in the storage unit ex111 or the camera ex102 that captured the video data.
  • the determination of the importance is performed based on, for example, information such as the number of people or moving objects included in the video, the image quality of the video data, or a combination thereof.
  • the determination of the importance of the video data may be based on the position of the camera ex102 where the video data is shot or the area where the video data is shot. For example, when there are a plurality of other cameras ex102 being shot near the target camera ex102, the importance of the video data shot by the target camera ex102 is reduced. In addition, even when the position of the target camera ex102 is far from the other camera ex102, when there are a plurality of other cameras ex102 shooting the same area, the importance of the video data shot by the target camera ex102 is set. make low.
  • the determination of the importance of the video data may be performed based on the number of requests in the video distribution service.
  • the importance determination method is not limited to the method described above or a combination thereof, and may be any method according to the configuration or purpose of the monitoring system or the video distribution system.
  • the determination of the importance may not be based on the captured video data.
  • the importance of the camera ex102 that transmits video data to a terminal other than the video information processing apparatus ex101 may be set high.
  • the importance of the camera ex102 that transmits video data to a terminal other than the video information processing apparatus ex101 may be set low.
  • the analysis unit ex112 may determine the importance of the video data using the free viewpoint video and the video shot by the camera ex102.
  • the video information processing apparatus ex101 transmits a communication speed instruction signal to the camera ex102 based on the importance determination result performed by the analysis unit ex112. For example, the video information processing apparatus ex101 instructs a high communication speed to the camera ex102 that captures a video with high importance. Further, the video information processing apparatus ex101 may transmit not only the speed control but also a signal instructing a method in which important information is transmitted a plurality of times in order to reduce a disadvantage caused by the lack. Thereby, communication within the facility or the entire stadium can be performed efficiently. Communication between the camera ex102 and the video information processing apparatus ex101 may be wired communication or wireless communication. The video information processing apparatus ex101 may control either wired communication or wireless communication.
  • the camera ex102 transmits the captured video data to the video information processing apparatus ex101 at a communication speed according to the communication speed instruction signal. Note that if the retransmission of the camera ex102 fails a predetermined number of times, the camera ex102 may stop the retransmission of the captured video data and start the transfer of the next captured video data. As a result, communication within the facility or the entire stadium can be efficiently performed, and high-speed processing in the analysis unit ex112 can be realized.
  • the video data of the bit rate capable of transmitting the captured video data at the assigned communication speed may be transmitted, or the video data transfer may be stopped.
  • the camera ex102 when video data is used to prevent the generation of blind spots, there is a possibility that a part of the shooting area included in the shot video data is necessary to fill the blind spots. There is.
  • the camera ex102 generates extracted video data by extracting from the video data at least a region required to prevent the generation of blind spots, and the generated video data is used as the video information processing apparatus ex101. May be sent to. According to this configuration, the occurrence of blind spots can be suppressed with a smaller communication band.
  • the camera ex102 needs to transmit the position information of the camera ex102 and the shooting direction information to the video information processing apparatus ex101.
  • the camera ex102 to which only a band that is not sufficient for transferring the video data may be transmitted may transmit the position information and the shooting direction information detected by the camera ex102.
  • the video information processing apparatus ex101 estimates position information and shooting direction information of the camera ex102
  • the camera ex102 converts the shot video data to a resolution necessary for estimating the position information and shooting direction information.
  • the converted video data may be transmitted to the video information processing apparatus ex101.
  • the video information processing apparatus ex101 can acquire shooting area information from a larger number of cameras ex102, for example, when the shooting area information is used for the purpose of detecting a focused area, for example. It is valid.
  • the switching of the video data transfer process according to the allocated communication band described above may be performed by the camera ex102 based on the notified communication band, or the video information processing apparatus ex101 performs the operation of each camera ex102.
  • the control signal indicating the determined operation may be notified to each camera ex102.
  • the processing can be appropriately shared according to the calculation amount necessary for determining the switching of the operation, the processing capability of the camera ex102, the necessary communication band, and the like.
  • the analysis unit ex112 may determine the importance of the video data based on the visual field information (and / or viewpoint information) transmitted from the video reception device ex103. For example, the analysis unit ex112 sets the importance of captured video data including many areas indicated by the visual field information (and / or viewpoint information) to be high. The analysis unit ex112 may determine the importance of the video data in consideration of the number of people included in the video or the number of moving objects. Note that the importance determination method is not limited to this.
  • the communication control method described in the present embodiment is not necessarily used in a system that reconstructs a three-dimensional shape from a plurality of video data.
  • the communication control method described in the present embodiment Is valid.
  • the video information processing apparatus ex101 may transmit an overview video showing the entire shooting scene to the video receiving apparatus ex103.
  • the video information processing apparatus ex101 when the video information processing apparatus ex101 receives the distribution request transmitted from the video receiving apparatus ex103, the video information processing apparatus ex101 reads an overview video of the entire facility or stadium from the storage unit ex111, and the external video is received by the video receiving apparatus. send to ex103.
  • the overview video may have a long update interval (may be a low frame rate) or may have a low image quality.
  • the viewer touches a portion to be seen in the overview video displayed on the screen of the video receiving device ex103. Accordingly, the video reception device ex103 transmits visual field information (and / or viewpoint information) corresponding to the touched portion to the video information processing device ex101.
  • the video information processing apparatus ex101 reads video data corresponding to the visual field information (and / or viewpoint information) from the storage unit ex111, and transmits the video data to the video receiving apparatus ex103.
  • the analysis unit ex112 generates a free viewpoint video by preferentially restoring the three-dimensional shape (three-dimensional reconstruction) on the region indicated by the visual field information (and / or viewpoint information).
  • the analysis unit ex112 restores the three-dimensional shape of the entire facility or the stadium with an accuracy that shows an overview.
  • the video information processing apparatus ex101 can efficiently restore the three-dimensional shape. As a result, it is possible to realize a high frame rate and high image quality of a free viewpoint video in an area desired by the viewer.
  • the video information processing apparatus ex101 may store in advance, for example, three-dimensional shape restoration data of a facility or a stadium generated in advance from a design drawing or the like as a preliminary video.
  • the prior image is not limited to this, and may be virtual space data obtained by mapping, for each object, the unevenness of the space obtained from the depth sensor and the picture derived from the image or the image data at the past or during calibration.
  • the analysis unit ex112 when soccer is being played in a stadium, the analysis unit ex112 performs reconstruction of a three-dimensional shape limited to players and balls, and combines the obtained restoration data and a prior image to generate a free viewpoint image. It may be generated. Alternatively, the analysis unit ex112 may preferentially restore the three-dimensional shape with respect to the player and the ball. Thereby, the video information processing apparatus ex101 can efficiently restore the three-dimensional shape. As a result, it is possible to realize a high frame rate and high image quality of a free viewpoint video related to the player and the ball that the viewer pays attention. In the monitoring system, the analysis unit ex112 may perform the reconstruction of the three-dimensional shape by limiting to a person and a moving object or giving priority to them.
  • the time of each device may be calibrated at the start of shooting based on the reference time of the server.
  • the analysis unit ex112 uses a plurality of video data shot at a time within a preset time range according to the accuracy of the time setting among the plurality of shot video data shot by the plurality of cameras ex102.
  • the three-dimensional shape is restored.
  • the time detection method is not limited to this.
  • the video information processing apparatus ex101 can efficiently restore the three-dimensional shape, and thus can achieve a higher frame rate and higher image quality of the free viewpoint video.
  • the analysis unit ex112 may restore the three-dimensional shape using high-quality data among a plurality of video data stored in the storage unit ex111 or using high-quality data preferentially.
  • the analysis unit ex112 may restore the three-dimensional shape using the camera attribute information.
  • the analysis unit ex112 may generate a 3D image by using a technique such as a view volume intersection method or a multi-view stereo method using the camera attribute information.
  • the camera ex102 transmits the captured video data and camera attribute information to the video information processing apparatus ex101.
  • the camera attribute information is, for example, a shooting position, a shooting angle, a shooting time, or a zoom magnification.
  • the video information processing apparatus ex101 can efficiently restore the three-dimensional shape, it is possible to realize a high frame rate and high image quality of the free viewpoint video.
  • the camera ex102 defines three-dimensional coordinates in the facility or in the stadium, and information about which coordinates the camera ex102 took from which angle, how much zoom, and at what time, along with the video. It transmits to the video information processing apparatus ex101 as camera attribute information. Further, when the camera ex102 is activated, the clock on the communication network in the facility or stadium is synchronized with the clock in the camera, and time information is generated.
  • FIG. 23 is a diagram illustrating an example of a notification displayed on the screen of the camera ex102 when the camera ex102 is activated.
  • the camera ex102 is moved from the camera ex102.
  • the vector information up to the advertisement is acquired and the reference of the camera position and angle is specified.
  • the camera coordinates and angle at that time are specified from the motion information of the camera ex102.
  • the display is not limited to this, and a display that uses an arrow or the like to indicate coordinates, an angle, a moving speed of the imaging region, or the like during the imaging period may be used.
  • the coordinates of the camera ex102 may be specified using GPS, WiFi (registered trademark), 3G, LTE (Long Term Evolution), and 5G (wireless LAN) radio waves, or a beacon (Bluetooth (registered trademark)). , Ultrasonic), or the like. Further, information on which base station in the facility or stadium the captured video data has reached may be used.
  • the system may be provided as an application that operates on a mobile terminal such as a smartphone.
  • An account such as various SNSs may be used to log in to the system.
  • An application-dedicated account or a guest account with limited functions may be used.
  • By using the account in this way it is possible to evaluate a favorite video or a favorite account.
  • video data having a viewpoint similar to the viewpoint of the video data being captured or viewed the resolution of these video data Can be increased. Thereby, it is possible to restore the three-dimensional shape from these viewpoints with higher accuracy.
  • the user can select a preferred image video in the application and follow the other party, so that the selected image can be viewed with priority over other users, or can be used for text chat, etc., subject to the other party's approval. You can have a connection. In this way, a new community can be generated.
  • the user can edit an image or video taken by another person or create a new image or video by collaging the image of another person with his own image.
  • This makes it possible to share a new video work such as sharing a new image or video with a person in the community.
  • a video work can be used for augmented reality games by inserting a CG character in this editing.
  • 3D model data can be sequentially output, so that a 3D printer or the like of a facility can output a 3D object based on 3D model data in a characteristic scene such as a goal scene. .
  • a 3D printer or the like of a facility can output a 3D object based on 3D model data in a characteristic scene such as a goal scene.
  • an object based on the scene during the game can be sold as a souvenir such as a key holder, or distributed to participating users.
  • the center identifies areas where there is a high possibility of crimes based on crime maps based on the results of analysis using past crime data, etc., or areas related to the crime occurrence probability identified in this way Holds data.
  • the frequency of image transmission / reception may be increased, or the image may be changed to a moving image.
  • a moving image or three-dimensional reconstruction data using SfM or the like may be used.
  • the center or each terminal simultaneously corrects an image or virtual space using information from other sensors such as a depth sensor or a thermo sensor, so that the police officer can grasp the situation more accurately.
  • the center can feed back the object information to a plurality of terminals by using the 3D reconstruction data. This allows individuals with each terminal to track the object.
  • an in-vehicle camera that takes pictures outside the vehicle is obligatory in some countries. Even in such an in-vehicle camera, by using three-dimensional data modeled from a plurality of images, it is possible to more accurately grasp the weather in the direction of the destination, the state of the road surface, the degree of traffic congestion, and the like.
  • Modification 17 The above system can also be applied to a system that performs ranging or modeling of a building or equipment using a plurality of cameras, for example.
  • ranging and modeling of a building can be realized with stable accuracy regardless of the presence or absence of moving objects.
  • ranging and modeling of moving objects can be realized.
  • a camera is attached to a worker's helmet or the like at a construction site.
  • ranging of a building can be performed in parallel with a worker's work. It can also be used to improve work efficiency and prevent mistakes.
  • a building can be modeled using images taken by a camera attached to a worker.
  • managers at remote locations can check the progress by looking at the modeled building.
  • the system can be used to check equipment that cannot be stopped, such as machinery in factories or power plants.
  • the system can be used to check whether there is an abnormality in the operation of a bridge or a dam or a vehicle in an amusement park.
  • the system can generate a map indicating the degree of traffic congestion or traffic volume of each time zone by monitoring the traffic congestion level or traffic volume of the road.
  • the storage medium may be any medium that can record a program, such as a magnetic disk, an optical disk, a magneto-optical disk, an IC card, and a semiconductor memory.
  • the system includes an apparatus using an image processing method.
  • Other configurations in the system can be appropriately changed according to circumstances.
  • FIG. 24 is a diagram showing an overall configuration of a content supply system ex200 that realizes a content distribution service.
  • the communication service providing area is divided into desired sizes, and base stations ex206, ex207, ex208, ex209, and ex210, which are fixed wireless stations, are installed in each cell.
  • This content supply system ex200 includes a computer ex211, a PDA (Personal Digital Assistant) ex212, a camera ex213, a smartphone ex214, a game machine ex215, etc. via the Internet ex201, the Internet service provider ex202, the communication network ex204, and the base stations ex206 to ex210. Are connected.
  • a PDA Personal Digital Assistant
  • each device may be directly connected to a communication network ex204 such as a telephone line, cable television, or optical communication without going through the base stations ex206 to ex210 which are fixed wireless stations.
  • the devices may be directly connected to each other via short-range wireless or the like.
  • the camera ex213 is a device that can shoot a moving image such as a digital video camera
  • the camera ex216 is a device that can shoot a still image and a moving image such as a digital camera.
  • the smartphone ex214 is a GSM (registered trademark) (Global System for Mobile Communications) method, a CDMA (Code Division Multiple Access) method, a W-CDMA (Wideband-Code Division MultipleL method, or a Multiple Acceleration method).
  • GSM Global System for Mobile Communications
  • CDMA Code Division Multiple Access
  • W-CDMA Wideband-Code Division MultipleL method
  • Multiple Acceleration method a Multiple Acceleration method
  • HSPA High Speed Packet Access
  • a smartphone corresponding to a communication method using a high frequency band or a PHS (Personal Handyphone System)
  • PHS Personal Handyphone System
  • the camera ex213 and the like are connected to the streaming server ex203 through the base station ex209 and the communication network ex204, thereby enabling live distribution and the like.
  • live distribution content (for example, music live video) that the user captures using the camera ex213 is encoded and transmitted to the streaming server ex203.
  • the streaming server ex203 streams the content data transmitted to the requested client.
  • the client include a computer ex211, a PDA ex212, a camera ex213, a smartphone ex214, and a game machine ex215 that can decode the encoded data.
  • Each device that receives the distributed data decodes the received data and reproduces it.
  • the encoded processing of the captured data may be performed by the camera ex213, the streaming server ex203 that performs the data transmission processing, or may be performed in a shared manner.
  • the decryption processing of the distributed data may be performed by the client, the streaming server ex203, or may be performed in common with each other.
  • still images and / or moving image data captured by the camera ex216 may be transmitted to the streaming server ex203 via the computer ex211.
  • the encoding process in this case may be performed by any of the camera ex216, the computer ex211, and the streaming server ex203, or may be performed in a shared manner.
  • a plurality of devices connected to the system may be linked to display the same image, or the entire image is displayed on a device having a large display unit, and the smartphone ex214 or the like displays the image. A part of the area may be enlarged and displayed.
  • these encoding / decoding processes are generally performed in the computer ex211 and the LSI ex500 included in each device.
  • the LSI ex500 may be configured as a single chip or a plurality of chips.
  • moving image encoding / decoding software is incorporated into some recording media (CD-ROM, flexible disk, hard disk, etc.) that can be read by the computer ex211 etc., and encoding / decoding processing is performed using the software. May be.
  • moving image data acquired by the camera may be transmitted. The moving image data at this time is data encoded by the LSI ex500 included in the smartphone ex214.
  • the streaming server ex203 may be a plurality of servers or a plurality of computers, and may process, record, and distribute data in a distributed manner.
  • the client can receive and reproduce the encoded data.
  • the information transmitted by the user can be received, decrypted and reproduced by the client in real time, and even a user who does not have special rights or facilities can realize personal broadcasting.
  • multiplexed data obtained by multiplexing music data and the like on video data is transmitted to a communication or satellite ex302 via radio waves.
  • This video data is data encoded by the moving image encoding method described in the above embodiments.
  • the broadcasting satellite ex302 transmits a radio wave for broadcasting, and this radio wave is received by a home antenna ex304 capable of receiving satellite broadcasting.
  • the received multiplexed data is decoded and reproduced by a device such as the television (receiver) ex400 or the set top box (STB) ex317.
  • a recording medium ex315 such as DVD or BD, or a memory ex316 such as SD
  • encodes a video signal in the recording medium ex315 or memory ex316 and in some cases, a music signal
  • the moving picture decoding apparatus or moving picture encoding apparatus described in each of the above embodiments in the reader / recorder ex318 that writes in a multiplexed manner.
  • the reproduced video signal is displayed on the monitor ex319, and the video signal can be reproduced in another device or system by the recording medium ex315 in which the multiplexed data is recorded or the memory ex316.
  • a moving picture decoding apparatus may be mounted in a set-top box ex317 connected to a cable ex303 for cable television or an antenna ex304 for satellite / terrestrial broadcasting, and this may be displayed on a monitor ex319 of the television.
  • the moving picture decoding apparatus may be incorporated in the television instead of the set top box.
  • FIG. 26 is a diagram showing the smartphone ex214.
  • FIG. 27 is a diagram illustrating a configuration example of the smartphone ex214.
  • the smartphone ex214 includes an antenna ex450 for transmitting and receiving radio waves to and from the base station ex210, a camera unit ex465 that can take a video and a still image, a video captured by the camera unit ex465, a video received by the antenna ex450, and the like.
  • a display unit ex458 such as a liquid crystal display for displaying the decrypted data is provided.
  • the smartphone ex214 further includes an operation unit ex466 such as a touch panel, an audio output unit ex457 such as a speaker for outputting audio, an audio input unit ex456 such as a sound collector for inputting audio,
  • a memory unit ex467 capable of storing encoded data or decoded data such as a still image, recorded audio, received video, still image, mail, etc., or the memory ex316 illustrated in FIG.
  • a slot part ex464 is provided as an interface part with the SIMex 468 for identifying and authenticating access to various data including the network.
  • the smartphone ex214 controls the power supply circuit ex461, the operation input control unit ex462, the video signal processing unit ex455, the camera interface unit ex463, the LCD (for the main control unit ex460 that comprehensively controls the display unit ex458, the operation unit ex466, and the like.
  • a Liquid Crystal Display) control unit ex459, a modulation / demodulation unit ex452, a multiplexing / demultiplexing unit ex453, an audio signal processing unit ex454, a slot unit ex464, and a memory unit ex467 are connected to each other via a bus ex470.
  • the power supply circuit unit ex461 starts up the smartphone ex214 in an operable state by supplying power from the battery pack to each unit.
  • the smartphone ex214 converts the audio signal collected by the audio input unit ex456 in the audio call mode into a digital audio signal by the audio signal processing unit ex454 based on the control of the main control unit ex460 having a CPU, a ROM, a RAM, and the like. This is subjected to spectrum spread processing by the modulation / demodulation unit ex452, and is subjected to digital analog conversion processing and frequency conversion processing by the transmission / reception unit ex451, and then transmitted via the antenna ex450.
  • the smartphone ex214 amplifies reception data received via the antenna ex450 in the voice call mode, performs frequency conversion processing and analog-digital conversion processing, performs spectrum despreading processing in the modulation / demodulation unit ex452, and performs voice signal processing unit ex454. After being converted into an analog audio signal, the audio output unit ex457 outputs it.
  • the text data of the e-mail input by the operation of the operation unit ex466 of the main unit is sent to the main control unit ex460 via the operation input control unit ex462.
  • the main control unit ex460 performs spread spectrum processing on the text data in the modulation / demodulation unit ex452, performs digital analog conversion processing and frequency conversion processing in the transmission / reception unit ex451, and then transmits the text data to the base station ex210 via the antenna ex450.
  • almost the reverse process is performed on the received data and output to the display unit ex458.
  • the video signal processing unit ex455 compresses the video signal supplied from the camera unit ex465 by the moving image encoding method described in each of the above embodiments.
  • the encoded video data is sent to the multiplexing / demultiplexing unit ex453.
  • the audio signal processing unit ex454 encodes the audio signal picked up by the audio input unit ex456 while the camera unit ex465 captures video, still images, and the like, and sends the encoded audio data to the multiplexing / separating unit ex453. To do.
  • the multiplexing / demultiplexing unit ex453 multiplexes the encoded video data supplied from the video signal processing unit ex455 and the encoded audio data supplied from the audio signal processing unit ex454 by a predetermined method, and is obtained as a result.
  • the multiplexed data is subjected to spread spectrum processing by a modulation / demodulation unit (modulation / demodulation circuit unit) ex452, and subjected to digital analog conversion processing and frequency conversion processing by a transmission / reception unit ex451, and then transmitted through an antenna ex450.
  • the multiplexing / separating unit ex453 separates the multiplexed data into a video data bit stream and an audio data bit stream, and performs video signal processing on the video data encoded via the synchronization bus ex470.
  • the encoded audio data is supplied to the audio signal processing unit ex454 while being supplied to the unit ex455.
  • the video signal processing unit ex455 decodes the video signal by decoding using a video decoding method corresponding to the video encoding method shown in each of the above embodiments, and the display unit ex458 via the LCD control unit ex459. From, for example, video and still images included in a moving image file linked to a home page are displayed.
  • the audio signal processing unit ex454 decodes the audio signal, and the audio is output from the audio output unit ex457.
  • the terminal such as the smartphone ex214 has three kinds of terminals, that is, an encoder transmission terminal and a decoder reception terminal, as well as a transmission / reception terminal having both an encoder and a decoder.
  • Implementation format is possible.
  • the digital broadcasting system ex300 it has been described that multiplexed data in which music data or the like is multiplexed with video data is received and transmitted.
  • data in which character data related to video is multiplexed in addition to audio data It may be video data itself instead of multiplexed data.
  • each component may be configured by dedicated hardware or may be realized by executing a software program suitable for each component.
  • Each component may be realized by a program execution unit such as a CPU or a processor reading and executing a software program recorded on a recording medium such as a hard disk or a semiconductor memory.
  • the software that realizes the imaging system of each of the above-described embodiments is the following program.
  • this program is a calibration method by an imaging system that calibrates the parameters of a plurality of imaging devices arranged at different positions on a computer, and is arranged at different positions, each of which is a common three-dimensional
  • a calibration method by a calibration device that calibrates parameters of a plurality of imaging devices that capture a space, and acquires a plurality of images captured by the plurality of imaging devices, each having a plurality of frames An acquisition step, a first extraction step of extracting a first feature point from a first frame of the video for each of the plurality of videos acquired in the acquisition step, and the plurality of videos acquired in the acquisition step For each video, the motion of a second frame that is different from the first frame of the video.
  • the imaging system and the calibration method according to one or more aspects of the present invention have been described based on the embodiment.
  • the present invention is not limited to this embodiment. Unless it deviates from the gist of the present invention, one or more of the present invention may be applied to various modifications that can be conceived by those skilled in the art, or forms constructed by combining components in different embodiments. It may be included within the scope of the embodiments.
  • the present disclosure is useful as a calibration device that can easily calibrate parameters of a plurality of imaging devices arranged at different positions.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

校正装置（３００）は、複数の撮像装置（１０Ａ～１０Ｎ）により撮像された複数の映像であって、それぞれが複数のフレームを有する複数の映像を取得する取得部（３０２ａ）と、複数の映像のそれぞれについて、当該映像のフレームから特徴点を抽出し、かつ、当該映像のフレームとは異なるフレームの動物体が映り込んでいる領域から特徴点を抽出する抽出部（３０２ｃ）と、複数の特徴点を用いて互いにマッチングを行い、かつ、複数の特徴点を用いて互いにマッチングを行うマッチング部（３０２ｄ）と、複数のマッチング結果としての複数のマッチング点（Ｐ１～Ｐ６）に基づいて、複数の撮像装置（１０Ａ～１０Ｎ）のパラメータを算出する再構成部（３０２ｅ）とを備える。

Description

校正装置および校正方法
　本開示は、互いに異なる位置に配置されている複数の撮像装置の外部パラメータを校正する校正装置、および、当該校正装置による校正方法に関する。
　複数台の撮像装置各々によって撮影された映像から被写体の三次元形状を再生する技術が特許文献１に開示されている。特許文献１によれば、この三次元形状を用いて自由視点映像が生成される。
特開２０１５－０２２５１０号公報
　本開示は、互いに異なる位置に配置されている複数の撮像装置のパラメータの校正を容易に行うことができる校正装置および校正方法を提供する。
　本開示における校正装置は、互いに異なる位置に配置されており、それぞれが共通する三次元空間を撮像する複数の撮像装置のパラメータを校正する校正装置であって、前記複数の撮像装置により撮像された複数の映像であって、それぞれが複数のフレームを有する複数の映像を取得する取得部と、前記取得部において取得された前記複数の映像のそれぞれについて、当該映像の第１フレームから第１特徴点を抽出し、かつ、当該映像の前記第１フレームとは異なる第２フレームの動物体が映り込んでいる領域から第２特徴点を抽出する抽出部と、前記抽出部により抽出された複数の前記第１特徴点を用いて互いにマッチングを行い、かつ、抽出された複数の前記第２特徴点を用いて互いにマッチングを行うマッチング部と、前記マッチング部におけるマッチングにより得られた複数のマッチング結果に基づいて、前記複数の撮像装置のパラメータを算出する再構成部と、を備える。
　なお、これらの全般的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ－ＲＯＭなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。
　本開示における校正装置は、互いに異なる位置に配置されている複数の撮像装置の外部パラメータの校正を容易に行うことができる。
図１は、三次元空間認識の概要を示す図である。 図２は、実施の形態１における多視点撮像システムの構成を示すブロック図である。 図３は、実施の形態１における撮像装置の構成を示すブロック図である。 図４は、実施の形態１における制御装置の構成を示すブロック図である。 図５は、実施の形態１における校正装置の構成を示すブロック図である。 図６は、校正処理の詳細を説明するための図である。 図７は、校正処理の詳細を説明するための図である。 図８は、校正処理の詳細を説明するための図である。 図９は、校正処理の詳細を説明するための図である。 図１０は、校正処理の詳細を説明するための図である。 図１１は、校正処理の詳細を説明するための図である。 図１２は、校正処理の詳細を説明するための図である。 図１３は、実施の形態１における撮像システムが実行する一連の動作を示すシーケンス図である。 図１４Ａは、実施の形態１における校正情報のデータ構成の一例を示す図である。 図１４Ｂは、実施の形態１における校正情報のデータ構成の他の一例を示す図である。 図１５は、実施の形態１における校正処理の一例を示すフローチャートである。 図１６は、変形例３における校正処理の一例を示すフローチャートである。 図１７は、フレームの事前選択の処理の第１の例を示すフローチャートである。 図１８は、複数のフレームからマスク画像合成結果を生成する処理について説明するための図である。 図１９は、複数のフレームの前景の領域を合成した場合の、前景の領域の画素数の変化を示すグラフである。 図２０は、フレームの事前選択の処理の第２の例を示すフローチャートである。 図２１は、フレームの事前選択の処理の第３の例を示すフローチャートである。 図２２は、映像情報処理システムの構成を示す図である。 図２３は、カメラ起動時に表示される通知画面の一例を示す図である。 図２４は、コンテンツ配信サービスを実現するコンテンツ供給システムの全体構成図である。 図２５は、デジタル放送用システムの全体構成図である。 図２６は、スマートフォンの一例を示す図である。 図２７は、スマートフォンの構成例を示すブロック図である。
　（本発明の基礎となった知見）
　三次元空間における自由視点映像の生成には、被写体の三次元形状の再構成（モデリング）をする三次元空間再構成装置による三次元空間再構成の結果が利用される。三次元空間再構成装置は、同一の場面の映像を撮影する複数台のカメラを含む撮像システムから提供される映像データと、校正によって得られた各カメラの位置及び姿勢等を示すカメラパラメータとを用いて、モデリングを行う。したがって、校正後にカメラの位置等が変化すると、カメラパラメータがカメラの位置等の実際の状態を反映していないために三次元空間再構成が適切に実行できず、その結果、自由視点映像の画質が劣化する、又は生成そのものに失敗する。このため、定期的にカメラのパラメータを校正する必要がある。
　このような撮像システムにおいて複数のカメラは、所定の空間を取り囲むように配置される。このため、複数のカメラのそれぞれについてパラメータを校正しようとすると、特徴点の抽出が難しい場合に、精度よくパラメータを校正することが難しいという課題があった。
　このように、従来の技術では、互いに異なる位置に配置されている複数の撮像装置のパラメータの校正を容易に行うことができていなかった。
　そこで、本開示の一態様に係る校正装置は、互いに異なる位置に配置されており、それぞれが共通する三次元空間を撮像する複数の撮像装置のパラメータを校正する校正装置であって、前記複数の撮像装置により撮像された複数の映像であって、それぞれが複数のフレームを有する複数の映像を取得する取得部と、前記取得部において取得された前記複数の映像のそれぞれについて、当該映像の第１フレームから第１特徴点を抽出し、かつ、当該映像の前記第１フレームとは異なる第２フレームの動物体が映り込んでいる領域から第２特徴点を抽出する抽出部と、前記抽出部により抽出された複数の前記第１特徴点を用いて互いにマッチングを行い、かつ、抽出された複数の前記第２特徴点を用いて互いにマッチングを行うマッチング部と、前記マッチング部におけるマッチングにより得られた複数のマッチング結果に基づいて、前記複数の撮像装置のパラメータを算出する再構成部と、を備える。
　これによれば、第１フレームから第１特徴点を抽出し、第２フレームの動物体が映り込んでいる領域から第２特徴点を抽出するため、動物体の特徴点をパラメータの校正に利用するための特徴点として追加して利用することができる。つまり、複数の撮像装置により撮像された複数の映像から得られる特徴点を効果的に増加させることができるため、撮像装置のパラメータを精度よく校正することができる。
　また、前記抽出部は、前記複数の映像のそれぞれについて、当該映像の第１タイミングに対応する複数のフレームであって、動物体が映り込んでいる領域を含むフレームを、前記第２フレームとして抽出し、前記複数の映像から抽出した複数の前記第２フレームのそれぞれについて前記第２特徴点を抽出してもよい。
　このため、動物体が映り込んでいる複数のフレームのうちタイミングが互いに対応している複数のフレームから特徴点を抽出するため、動物体が三次元空間上の特定の位置に位置する時に撮影されたフレームから特徴点を抽出することとなる。このため、撮像装置のパラメータの校正に利用する特徴点を効果的に増加させることができる。
　また、前記複数のマッチング結果の総数が第１の数未満である場合、前記抽出部は、前記複数の映像のそれぞれについて、当該映像のうちの、前記第１タイミングとは異なる第２タイミングに対応する第３フレームであって、動物体が映り込んでいる領域を含む複数の第３フレームの前記領域から第３特徴点を抽出し、前記マッチング部は、抽出された複数の前記第３特徴点を用いて互いにマッチングを行い、前記再構成部は、新たに行われたマッチングにより得られたマッチング結果をさらに含む複数の前記マッチング結果に基づいて、前記複数の撮像装置のパラメータを算出してもよい。
　十分な数のマッチング結果を得ることができるため、精度よくパラメータを校正することができる。
　また、前記抽出部および前記マッチング部は、前記マッチング部におけるマッチングにより得られる前記マッチング結果の総数が前記第１の数以上になるまで、前記複数の映像のそれぞれの、前記抽出が既に行われたフレームが対応するタイミングとは異なるタイミングに対応するフレームについて、前記抽出および前記マッチングを繰り返してもよい。
　これによれば、十分な数のマッチング結果を得られた場合には、異なるタイミングに対応するフレームについて抽出およびマッチングを実行しないため、処理負荷を低減することができる。
　また、前記複数の映像のそれぞれについて当該映像を複数の領域に分割したとき、前記複数の領域のうち前記複数のマッチング結果で対応付けられている複数の特徴点のうちで当該映像から得られた複数の特徴点が第２の数未満である不足領域がある場合、前記抽出部は、前記複数の映像のそれぞれについて、当該映像のうちの前記不足領域に動物体が映り込んでいる第４フレームを抽出し、前記第４フレームの前記不足領域から第４特徴点を抽出し、前記マッチング部は、抽出された複数の前記第４特徴点を用いて互いにマッチングを行い、前記再構成部は、新たに行われたマッチングにより得られたマッチング結果をさらに含む複数の前記マッチング結果に基づいて、前記複数の撮像装置のパラメータを算出してもよい。
　不足領域で十分な数のマッチング結果を得ることができるため、精度よくパラメータを校正することができる。また、不足領域に対して処理を行えばよいため、処理負荷を低減することができる。
　また、前記抽出部および前記マッチング部は、前記複数の領域のそれぞれにおいて前記マッチング部におけるマッチングにより得られる前記マッチング結果の総数が前記第２の数以上になるまで、前記複数の映像のそれぞれの、前記抽出が既に行われたフレームが対応するタイミングとは異なるタイミングに対応するフレームについて、前記抽出および前記マッチングを繰り返してもよい。
　これによれば、不足領域で十分な数のマッチング結果を得られた場合には、異なるタイミングに対応するフレームについて抽出およびマッチングを実行しないため、処理負荷を低減することができる。
　また、前記再構成部は、さらに、前記複数のマッチング結果のそれぞれの前記三次元空間上における三次元位置を推定し、前記校正装置は、さらに、前記再構成部により推定された前記複数の三次元位置に基づいて、校正した前記パラメータの精度が十分であるか否かを判定する判定部、を備え、前記判定部において、前記パラメータの精度が十分でないと判定された場合、前記抽出部、前記マッチング部、前記再構成部および前記判定部は、前記判定部において前記パラメータの精度が十分であると判定されるまで、前記複数の映像のそれぞれの、前記抽出が既に行われたフレームが対応するタイミングとは異なるタイミングに対応するフレームについて、前記抽出、前記マッチング、前記校正、前記推定および前記判定を繰り返してもよい。
　これによれば、精度が悪い場合には、他のフレームに対して処理を繰り返すため、校正により得られるパラメータの精度を向上させることができる。
　また、前記判定部は、前記再構成部により推定された複数の前記三次元位置を前記複数の撮像装置のそれぞれが撮像したと仮定したときに得られる二次元画像における複数の二次元座標と、当該撮像装置において撮像された映像から得られた前記第１特徴点および前記第２特徴点の二次元座標である複数の二次元座標との誤差が所定値より小さいか否かを判定し、前記抽出部、前記マッチング部、前記再構成部および前記判定部は、前記誤差が所定値より大きいと判定された場合、前記判定部において前記誤差が所定値以下と判定されるまで、前記複数の映像のうちの前記異なるタイミングに対応する複数のフレームについて、前記抽出、前記マッチング、前記校正、前記推定および前記判定を繰り返してもよい。
　このため、校正により得られるパラメータの精度を向上させることができる。
　なお、これらの全般的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ－ＲＯＭなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムまたは記録媒体の任意な組み合わせで実現されてもよい。
　以下、本発明の一態様に係る撮像システムおよび校正方法について、図面を参照しながら具体的に説明する。
　なお、以下で説明する実施の形態は、いずれも本発明の一具体例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本発明を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。
　以下、図１～図１３を用いて実施の形態１を説明する。
　（実施の形態１）
　［１．三次元空間認識の概要］
　まず、本実施の形態にかかる撮像システムが用いられる三次元空間認識の概要について図１を用いて説明する。
　撮像システムは、所定の空間内における同一の場面を撮影するためのカメラを複数台備える。具体例を挙げると、所定の空間はスポーツイベントが行われる会場であり、同一の場面とはその会場で行われる試合の場面である。別の例としては、所定の空間は監視カメラを用いて監視される空間であり、同一の場面とは、この監視対象空間内の人又は物の様子が挙げられる。また、別の例としては、所定の空間は車両が走行する道路上の空間である。
　複数台のカメラのそれぞれは、この空間内において少なくとも一部が重複する領域の映像を互いに異なる位置から撮影する。例えば、図１の（ａ）に示されるように、複数台のカメラ１００が、スポーツの試合会場である空間を取り囲み、互いに異なる位置に設置される。また、カメラ１００は互いに異なる姿勢を取って、それぞれの撮影領域にこの空間の少なくとも一部を収める。各カメラ１００の撮影領域の少なくとも一部を重複させることは、同一の被写体を複数の視点から撮像して生成した映像データが三次元空間の仮想的な再構成（三次元空間再構成）に用いられるためである。
　なお、撮影領域の重複は、一のカメラ１００の撮影領域が他の全てのカメラ１００の撮影領域と重複することを要せず、他のカメラ１００のうち一部のカメラ１００の撮影領域との重複でもよい。
　このように設置された複数台のカメラ１００は、撮像システムが備える後述する制御装置と通信可能に接続される。
　カメラ１００が設置されると、校正が実行される。
　校正は、各カメラ１００の撮影領域内の実際の点と映像上の点との対応（図１の（ｂ）において曲線で結ばれる白三角で示される点同士の対応）、又は異なるカメラ１００の各映像間の点の対応（同（ｂ）において曲線で結ばれる白丸で示される点同士の対応）をとることで、各カメラ１００の位置及び撮像方向の角度（姿勢）等を示すパラメータを算出することである。カメラ１００の位置及び姿勢を示すパラメータは三次元空間である所定の空間における共通の座標系上で表わされるものであり、後に三次元空間再構成に用いられるカメラパラメータである。カメラパラメータについては後述する。
　これらのカメラパラメータが算出されて既知になっていることは、三次元空間認識を実行する準備であって、三次元空間認識の開始前に実行される。算出されたカメラパラメータは、三次元空間再構成をする後述の三次元空間再構成装置に送信される。
　このような準備の後、各カメラ１００は制御装置からの信号に基づいて同期映像を撮影することで多視点撮像を実行する（図１の（ｃ））。この撮像によって生成された映像データは三次元空間再構成装置に送信される。
　三次元空間再構成装置がする三次元空間再構成では、上記の映像データとカメラパラメータとを用いて、撮影領域にある各被写体の三次元モデルデータが生成される（図１の（ｄ））。三次元モデルデータは、三次元空間認識を実行する後述の三次元空間認識装置に送信される。
　三次元空間認識装置が三次元モデルデータを用いて実行する三次元空間認識（図１の（ｅ））によって提供される機能の例としては、上記の自由視点映像生成、シーン解析、及びトラッキングが挙げられる。
　自由視点映像生成の方法の簡単な例を示す。まず、ユーザ若しくはシステム管理者が指定する、又は自動的に設定された仮想視点から見える、撮影領域内の各被写体の構造及び仮想視点からの距離が三次元モデルデータに基づいて算出される。次に、各カメラ１００のうち、仮想視点から近い距離にあるカメラ１００の映像データから優先的に各被写体の色及びテクスチャの情報が取得される。最後に、この色及びテクスチャの情報と上記で算出された各被写体の構造及び距離を用いて、仮想視点から見える映像の生成（レンダリング）がなされる。レンダリングされた映像は、ユーザの映像表示端末に配信される。
　このような自由視点映像生成の機能は、例えばテレビのスポーツ番組などのエンターテイメント分野で利用され得る。これにより、例えば視聴者は自分の望む視点からのハイライトシーンの映像を再生することができる。また、自由視点映像生成の機能は監視システムで利用されてもよい。この場合は、現実のカメラでは捉えていない視点から見た不審者の推定外観を警備員に提示して警戒にあたらせることができる。
　また、シーン解析及びトラッキングでも、自由視点映像生成と同じく三次元モデルデータに基づいて撮影領域内の各被写体の仮想視点から見た構造及び仮想視点からの距離が算出され、さらに仮想視点から近い距離にあるカメラ１００から優先的に各被写体の色及びテクスチャを取得した情報を利用することも可能である。
　シーン解析は、撮影領域内の各被写体、例えば、人又は物のある瞬間の様子を示す映像を、ソフトウェアで、又は人が画面で見て解析することで実行される。このシーン解析を三次元モデルデータに基づき行うことで、撮影領域内の人の三次元姿勢や物の三次元形状を観察することができ、二次元映像を用いるよりも高精度な状況認識及び予測が可能である。
　トラッキングでは、例えば、まず、各カメラ１００が撮影した映像のシーン解析によって撮影領域内のある被写体が特定される。また、ある瞬間に各カメラ１００が撮影した映像上で特定されている被写体のうち同一のものは、ソフトウェア又は人手で対応付けがなされる。そして、さらに、このような被写体の特定及び対応付けが時間軸に沿って行われることでトラッキングが実行される。しかし、例えば、各カメラ１００による二次元映像では、注目していた被写体が他の被写体に一時的に隠れたために、その特定の継続が不可能になる場合がある。このような場合においても、三次元モデルデータを用いると被写体それぞれの三次元位置情報又は三次元形状情報を用いることで被写体の特定を継続することができる。
　このようなシーン解析及びトラッキングの機能は、例えば、上述した次世代型の監視システムで利用され得る。これにより、不審な現場の早期発見及び発見の精度向上が見込まれる。また、設置可能なカメラの台数が制限されている場所でも、従来に比べてセキュリティの強化を図ることができる。
　なお、自由視点映像生成、シーン解析、及びトラッキング、いずれの三次元空間認識の機能も事後的な使用及びリアルタイムでの使用の両方が想定される。使用目的に応じて機能が選択されればよく、各機能は例えば選択に見合った性能、特に映像処理に関する性能のコンピュータを含むシステムに実装される。
　このように、いずれの三次元空間認識の機能においても三次元モデルデータに基づく三次元映像データが用いられる。そしてこの三次元モデルデータは、各カメラ１００によって撮影された映像データと、校正によって算出される各カメラ１００のカメラパラメータとに基づく三次元空間再構成（モデリング）によって生成される。
　このカメラパラメータは、三次元空間におけるカメラの位置及び姿勢を示す外部パラメータと、カメラの焦点距離、収差、画像中心等の光学系の特性を示す内部パラメータとからなる。このカメラパラメータからは、カメラが撮影する二次元映像上の点（ｕ，ｖ）と、この二次元映像に写される三次元空間である撮影領域内の点（ｘ，ｙ，ｚ）との対応関係が導かれる。つまり、カメラパラメータを用いることで、このカメラが撮影した二次元映像上の各点を、撮影された三次元空間に投影することができる。この三次元空間への投影が上記の三次元空間再構成（図１の（ｄ））である。
　また、上記の複数台のカメラ１００のカメラパラメータは、撮影領域に設定される共通の三次元座標系上で示される。そして各カメラ１００のカメラパラメータは、複数台のカメラ１００が撮影した各映像に写る撮影領域内の同じ場所（点）が、各映像からこの三次元座標系上で同じ点に投影されるよう算出される（図１の（ｂ））。
　このカメラパラメータは各カメラ１００が撮影した映像データから三次元モデルデータを生成するために必要であり、その精度が三次元空間再構成の精度を左右する。ここでいう精度とは、カメラパラメータが示す、三次元空間におけるカメラ１００の位置等の正確さ、つまりカメラ１００の現実の状態との一致の程度である。カメラパラメータの精度が不十分な場合には、三次元モデルデータが得られない。
　図１を参照して説明したように、撮像の直前に校正が実行された場合、カメラパラメータの精度は撮像開始の直後には十分であっても、カメラ１００の設置場所の振動、カメラ１００への操作等の要因で、一般的には時間の経過とともに低下する。以下では、カメラパラメータの精度が落ちたカメラ１００の校正を撮像中にも適時に実行することで、カメラパラメータの精度の低下による三次元空間再構成への悪影響を抑え、ひいては三次元空間認識の精度と利用可能性の安定を図る撮像システムについて説明する。
　［２．撮像システムの構成］
　図２は、実施の形態１における撮像システムの構成を示すブロック図である。なお、撮像システムから受け取るデータを利用する三次元空間再構成装置及び三次元空間認識装置、及び三次元空間認識装置から自由視点映像等を受信して表示するユーザ機器についても、図２を参照して説明する。
　実施の形態における撮像システム１０００は、複数の撮像装置１０Ａ～１０Ｎ、制御装置２００、校正装置３００、及びユーザインタフェース４００を備える。撮像装置１０Ａ～１０Ｎは、制御装置２００と通信可能に接続されている。また、校正装置３００は、制御装置２００と通信可能に接続されている。
　［２－１．撮像装置の構成］
　図３は、実施の形態１における撮像装置の構成を示すブロック図である。
　複数の撮像装置１０Ａ～１０Ｎは、それぞれが所定の空間を撮像するための図１のカメラ１００に相当するカメラ１００を備える装置であり、取り得る構成は共通である。なお、ここでいう所定の空間とは、複数台のカメラ１００それぞれの撮影領域の和集合である。
　撮像装置１０Ａ～１０Ｎのそれぞれは、カメラ１００、架台１２０、及び状況感知部１６０を備える。以降は、撮像装置１０Ａ～１０Ｎの構成は同じであるため、本開示における１台の撮像装置について説明する場合には、撮像装置１０Ａについて説明する。つまり、以降において撮像装置１０Ａについて説明している箇所は、他の撮像装置１０Ｂ～１０Ｎについても同様のことが言える。
　カメラ１００は記憶部１０１、制御部１０２、光学系１０３、及びイメージセンサ１０４を備える。
　記憶部１０１には、制御部１０２が読み出して実行するプログラムが記憶されている。また、記憶部１０１には、イメージセンサ１０４を用いて撮影された撮影領域の映像データ、この映像データに付されるタイムスタンプなどのメタ情報、後述の状況感知部１６０が感知した情報、カメラ１００のカメラパラメータ、及び適用中のフレームレート又は解像度等の撮影設定が一時的に記憶される。
　このような記憶部１０１は例えばフラッシュメモリ等の書換可能な不揮発性の半導体メモリを用いて実現される。また、保存されるデータの書換の要否又は必要な保存期間等に応じて書換不可能なＲＯＭ（Ｒｅａｄ－Ｏｎｌｙ　Ｍｅｍｏｒｙ）又は揮発性のＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）も記憶部１０１として用いられ得る。
　なお、撮像システム１０００が備える撮像装置は複数であれば特に個数は限定されない。また、各撮像装置１０の特性は共通でなくてもよい。また、モノラルカメラに限定されず、ステレオカメラが含まれていてもよい。
　制御部１０２は、例えばＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）を用いて実現され、上記の記憶部１０１に記憶されるプログラムを読み出して実行することで、カメラ１００が備える各構成要素を制御して撮像その他の機能を発揮させる。その他の機能には、カメラパラメータの算出、つまり校正も含まれる。なお、制御部１０２は、カメラ１００が備える各構成要素を制御して撮像その他の機能を発揮させる専用回路により実現されてもよい。つまり、制御部１０２は、ソフトウェアで実現されてもよいし、ハードウェアで実現されてもよい。
　光学系１０３は、撮影領域からの光をイメージセンサ１０４上に結像させる構成要素であり、レンズを含む光学素子を用いて実現される。また、焦点距離及び画角が変更可能であってもよい。また、広角レンズ、又は魚眼レンズのような超広角レンズが用いられてもよい。例えば撮像システム１０００が撮影する映像が監視システムに用いられる場合、広範な撮影領域を得るために広角レンズが用いられることがある。なお、この光学系１０３の焦点距離、収差、画像中心等の特性は、上記の内部パラメータとして三次元空間再構成に用いられる。つまり、光学系１０３の焦点距離が変更されたり、レンズが交換されたりした場合には、カメラの位置に変更があった場合と同様に、三次元空間再構成に用いられるカメラパラメータを変更する必要がある。つまり、校正が必要である。
　イメージセンサ１０４は、光学系１０３によって集められた光を受光面で受け、この受けた光を、画像を示す電気信号に変換するＣＣＤイメージセンサ、ＣＭＯＳイメージセンサ、又はＭＯＳイメージセンサ等の固体撮像素子で実現される。イメージセンサ１０４によって生成された映像データは、三次元空間再構成及び三次元空間認識に用いられるため三次元空間再構成装置３０００及び三次元空間認識装置４０００に送信される。
　図３に示されるカメラ１００は、さらに動きセンサ１０５、動作検知部１０６、及び収音器１０７を備える。これらについては、後述の状況感知部１６０の構成要素として説明する。
　架台１２０は、三次元空間再構成に用いられる映像データを撮像によって生成中のカメラ１００を所定の位置で固定し支えるための構成要素であり、例えば三脚で実現される。なお、この撮像の準備としてカメラ１００の固定位置を調整するために、架台１２０の脚部分は長さや角度が調整可能であってもよい。また、架台１２０には、カメラ１００をパン又はチルトするために雲台を回転させる機構、上下に移動させるためのエレベータ機構等が備えられてもよい。あるいは、架台１２０は、ドリーやクレーン等の、カメラ１００を支え且つ移動させる機構を含んでもよい。
　図３に示される架台１２０は、さらに動きセンサ１２５及び動作検知部１２６を備える。これらについては、下記の状況感知部１６０の構成要素として説明する。
　状況感知部１６０は、カメラ１００（又は撮像装置１０Ａ）の状況、及びカメラ１００の撮影領域を含む所定の空間の少なくとも一方の状況を感知し、感知したこの状況を撮像状況情報として出力する。別の表現を用いれば、状況感知部１６０は、カメラ１００及び所定の空間の少なくとも一方における事象を測定するセンサ又は発生を検知する検知器であって、この測定又は検知の結果を示す信号を出力する。出力された信号は制御装置２００に送信されて、制御装置２００においてなされる、校正を実行するか否かに関する判定に用いられる。
　状況感知部１６０としては、上記の状況を感知することができるセンサ又は検知器であれば、カメラ１００又は架台１２０が備えるセンサ又は検知器が用いられてもよいし、これらとは別途設けられるセンサ又は検知器であってもよい。
　例えばカメラ１００が備えるイメージセンサ１０４が状況感知部１６０として用いられてもよい。この場合、制御装置２００では、イメージセンサ１０４から出力される映像データに基づいて、校正を実行するか否かについて判定がなされる。例えば、映像データに映る背景領域の経時的な変化、特徴点の個数、又は、特定の被写体（例えば人、ボール、監視対象の展示物）の有無の経時的な変化に基づいてこの判定がなされる。
　また、カメラ１００は、変位、加速度、振動、傾き、若しくは地磁気を感知するセンサ、又はより大きな平行移動を感知可能なＧＰＳ（Ｇｌｏｂａｌ　Ｐｏｓｉｔｉｏｎｉｎｇ　Ｓｙｓｔｅｍ）受信機等の測位機構を備える場合がある。これらのようなカメラ１００の動き（移動）を検知可能なセンサ（動きセンサ１０５）が状況感知部１６０として用いられてもよい。
　また、カメラ１００は、ユーザがする手動の操作、又はプログラムを実行する制御部１０２による制御下で、つまり自動による動作を検知する機構を備える場合がある。ここで検知される動作の例としては、スイッチのＯＮ－ＯＦＦの切替、焦点距離、ピント等の光学系１０３の設定が変化するような動作が挙げられる。これらのようなカメラ１００の動作を検知可能なセンサ（動作検知部１０６）が状況感知部１６０として用いられてもよい。
　また、架台１２０が変位、加速度、振動、傾き、若しくは地磁気を感知するセンサ、又はよりＧＰＳ受信機等の測位機構を備えていてもよい。カメラ１００の動きは、このカメラ１００が固定されている架台１２０の動きに同調するため、例えば架台１２０の動きの有無に基づいてカメラ１００の動きの有無を間接的に感知することができる。このようなカメラ１００の動きを検知可能なセンサ（動きセンサ１２５）が状況感知部１６０として用いられてもよい。
　また、架台１２０は、ユーザがする操作による動作を検知する機構を備える場合がある。ここでの検知される動作とは、例えば雲台の回転又は上下移動の動作である。これらのような架台１２０の動作を検知可能なセンサ（動作検知部１２６）が状況感知部１６０として用いられてもよい。
　なお、架台１２０では、その動作によって機械的な動きが発生するため、動きセンサ１２５と動作検知部１２６とは、図３に示される構成では説明の便宜上区別されているが実際には必ずしも区別されなくてもよい。
　カメラ１００が収音器１０７を備える場合がある。又は、カメラ１００とは別体の収音器１４７がカメラ１００で撮影する場面の音を収集するために用いられる場合がある。これらの収音器１０７又は収音器１４７が収集する音がカメラ１００又はカメラ１００の撮影領域を含む所定の場所の状況を示し得る。例えば音によって、カメラ１００又は架台１２０に衝撃が加わったこと、スポーツイベントでハイライトシーンであること、又は休憩時間の開始若しくは終了が示され得る。このような音を収集するための収音器１０７又は１４７が状況感知部１６０として用いられてもよい。
　このように、本実施の形態における撮像システム１０００の状況感知部１６０としては、種々のセンサを用いることができる。図３では、このように状況感知部１６０として用いられ得る構成要素のうち、カメラ１００が必ず備えるイメージセンサ１０４は実線の枠で示され、それ以外は破線の枠で示されている。
　また、状況感知部１６０は、カメラ１００及び架台１２０のそれぞれが備えるセンサの両方で構成される必要はなく、上記に例示した、カメラ１００（又は撮像装置１０Ａ）の状況、及びカメラ１００の撮影領域を含む所定の空間の少なくとも一方の状況を感知するセンサ及び検知器のいずれかを少なくとも１つ備えればよい。
　撮像装置１０Ｂ～１０Ｎもそれぞれ撮像装置１０Ａと同じく、カメラ１００と、架台１２０と状況感知部１６０とを備える。撮像装置１０Ａ～１０Ｎが取り得る構成は上記のとおり共通であるが、それぞれのカメラ１００から、撮像によって生成された映像データと、カメラパラメータとが出力されて、撮像システム１０００から三次元空間再構成装置３０００に入力されれば、撮像装置１０Ａ～１０Ｎの構成は共通でなくてもよい。また、１つの撮像装置が複数台のカメラ１００を備えてもよいし、カメラ１００が備える光学系及びイメージセンサが１つずつでなくてもよい。例えばカメラ１００はステレオカメラであってもよい。
　［２－２．制御装置の構成］
　図４は、実施の形態１における制御装置の構成を示すブロック図である。
　制御装置２００は、記憶部２０１、制御部２０２、及びタイマー２０３を備える。
　制御装置２００は、撮像装置１０Ａ～１０Ｎの制御、及び撮像装置１０Ａ～１０Ｎから受け取ったデータの処理をする。また、ユーザインタフェース４００を介してこの制御及びデータの処理に関する情報をユーザに提示し、ユーザからはこの制御及びデータの処理に関する指示の入力を受ける。また、制御装置２００は、校正装置３００に対してカメラパラメータの校正処理の指示を行う。
　このような制御装置２００は、例えばコンピュータである。この場合、記憶部２０１はこのコンピュータの記憶装置であり、ハードディスクドライブ若しくは各種の半導体メモリ、又はこれらの組み合わせで実現される。また、制御部２０２はこのコンピュータのＣＰＵで実現され、タイマー２０３はこのＣＰＵが参照する、コンピュータに備えられるタイマーである。また、ユーザインタフェース４００は、このコンピュータに接続される表示装置、タッチスクリーン、トラックパッド、キーボード、マウス、その他のコントローラ類又はこれらの組み合わせによって実現される。
　記憶部２０１には、制御部２０２が読み出して実行するプログラムが記憶されている。また、記憶部２０１には、撮像装置１０Ａ～１０Ｎから受け取ったデータであって、制御部２０２による処理の対象であるデータが記憶される。図示の撮像状況情報はこのデータの例である。
　制御部２０２は、上記の記憶部２０１に記憶されるプログラムを読み出して実行することで、上記の撮像装置１０Ａ～１０Ｎ及び校正装置３００の制御を行う。また、制御部２０２は、これらの制御及び処理に関するユーザへ情報の提示及びユーザからの指示に対する処理を実行する。これらの処理のひとつとして、撮像装置１０Ａ～１０Ｎが備える各カメラ１００による同期映像の撮影の制御が挙げられる。
　また、これらの処理のひとつには、イベント検出および校正指示が含まれていてもよい。制御部２０２に含まれるイベント検出部２０２ａは、イベント検出のためのプログラムを制御部２０２が実行することで実現される機能的な構成要素である。また、制御部２０２に含まれる校正指示部２０２ｂは、校正指示のためのプログラムを制御部２０２が実行することで実現される機能的な構成要素である。
　なお、制御部２０２のイベント検出部２０２ａ、校正指示部２０２ｂ、及び撮像制御部２０２ｃは、イベント検出、校正指示、移動制御、撮像制御、校正処理などを発揮させる専用回路により実現されてもよい。つまり、制御部２０２は、ソフトウェアで実現されてもよいし、ハードウェアで実現されてもよい。
　イベント検出部２０２ａは、撮像装置１０Ａ～１０Ｎから提供された撮像状況情報に基づいて、撮像装置１０Ａ～１０Ｎがそれぞれ備えるカメラ１００のいずれかに校正の実行の理由になり得る所定のイベントの発生を検出する。校正の実行の理由になり得るイベントとは、例えばカメラ１００の移動が発生する、又は移動の発生の可能性が高いイベント、又は高い精度で校正を実行することができる可能性が高いイベントである。より具体的な例については撮像システム１０００の動作の説明の中で後述する。このようなイベントの発生を検出した場合に、イベント検出部２０２ａは校正を実行するか否かについて判定する。校正を実行すると判定した場合は、実行される校正を示す校正情報を、例えば校正指示部２０２ｂに出力する。また、校正情報は、ユーザインタフェース４００である表示装置に出力されてユーザに提示されてもよい。この校正情報には、例えば校正を実行するカメラ１００（又はこれを含む撮像装置１０Ａ～１０Ｎのいずれか）、及び校正の実行の理由であるイベントの内容が含まれる。
　校正指示部２０２ｂは、イベント検出部２０２ａから受け取った校正情報に基づいて、校正情報に示されるカメラ１００に校正を実行させる。また、校正情報が示すカメラが２台以上である場合には、例えば校正情報が示す、校正の実行の理由であるイベントの内容に基づいて、各カメラ１００に校正を実行させる順序を決定してもよい。校正指示部２０２ｂによる処理については具体例を後述する。
　撮像制御部２０２ｃは、複数の撮像装置１０Ａ～１０Ｎのそれぞれに、撮像領域Ａ１を異なる複数のタイミングで撮像させる。撮像制御部２０２ｃは、複数の撮像装置１０Ａ～１０Ｎのそれぞれが、予め定められた位置にあり、かつ、予め定められた方向を向いた姿勢にある状態で、複数の撮像装置１０Ａ～１０Ｎに撮像領域Ａ１を撮像させる。
　［２－３．校正装置の構成］
　図５は、実施の形態１における校正装置の構成を示すブロック図である。
　校正装置３００は、記憶部３０１及び校正部３０２を備える。
　校正装置３００は、制御装置２００を介して受け取ったデータの処理をする。具体的には、校正装置３００は、カメラパラメータの校正処理を実行する。また、校正装置３００は、三次元空間校正処理を実行してもよい。
　このような校正装置３００は、例えばコンピュータである。この場合、記憶部３０１はこのコンピュータの記憶装置であり、ハードディスクドライブ若しくは各種の半導体メモリ、又はこれらの組み合わせで実現される。また、校正部３０２はこのコンピュータのＣＰＵで実現される。なお、校正装置３００は、制御装置２００と同じコンピュータにより実現されてもよい。
　記憶部３０１には、校正部３０２が読み出して実行するプログラムが記憶されている。また、記憶部３０１には、制御装置２００を介して撮像装置１０Ａ～１０Ｎから受け取ったデータであって、校正部３０２による処理の対象であるデータが記憶される。つまり、撮像状況情報が記憶されていてもよい。
　校正部３０２は、上記の記憶部３０１に記憶されるプログラムを読み出して実行することで、上記の撮像装置１０Ａ～１０Ｎから受け取ったデータの処理を行う。また、校正部３０２は、これらの制御及び処理に関するユーザへ情報の提示及びユーザからの指示に対する処理を実行する。これらの処理のひとつとして、撮像装置１０Ａ～１０Ｎが備える各カメラ１００のカメラパラメータの校正処理が挙げられる。
　ここで、校正装置３００で行われる校正処理について、図６～図１２を用いて説明する。図６～図１２は、校正処理の詳細を説明するための図である。なお、図８～図１２では、説明の便宜上、撮像装置１０Ａ～１０Ｎのうちの２つの撮像装置１０Ａ、１０Ｂから得られた映像２０、３０に対して行う校正処理を説明しているが、実際には、他の撮像装置１０Ｃ～１０Ｎから得られた映像４０、５０、・・・に対しても同様の処理が行われる。
　校正部３０２は、取得部３０２ａ、前処理部３０２ｂ、抽出部３０２ｃ、マッチング部３０２ｄ、再構成部３０２ｅ及び判定部３０２ｆを有する。
　取得部３０２ａは、複数の撮像装置１０Ａ～１０Ｎにより撮像された複数の映像を取得する。図６に示すように、複数の撮像装置１０Ａ～１０Ｎにより取得される複数の映像２０、３０、４０、５０・・・は、それぞれが複数のフレーム２１～２５、３１～３５、４１～４５、５１～５５、・・・を有する。複数の映像２０、３０、４０、５０・・・のそれぞれは、動画像であってもよいし、異なるタイミングで撮像された複数の静止画により構成されていてもよい。なお、図７における各フレーム２１～２５、３１～３５、４１～４５、５１～５５の下のｔｎ（ｎは１～５の整数）は、当該フレームが時刻ｔｎのタイミングに対応することを示している。取得部３０２ａにより取得された複数の映像２０、３０、４０、５０・・・は、記憶部３０１に記憶される。
　なお、取得部３０２ａは、制御装置２００から映像２０、３０、４０、５０、・・・ではなく、フレーム２１～２５、３１～３５、４１～４５、５１～５５、・・・を取得してもよい。これにより、一定時間の映像を撮像する時間を待たずに、撮像装置がある時刻のフレームを撮像した直後に校正処理を開始できる。また、取得部３０２ａは、校正指示を受け取る前に、事前に映像２０、３０、４０、５０、・・・またはフレーム２１～２５、３１～３５、４１～４５、５１～５５、・・・を記憶部３０１に記憶していてもよい。これにより、校正が必要と判断された際に、校正処理を開始できる。
　なお、所定のタイミングに対応する複数のフレームは、映像２０、３０、４０、５０、・・・またはフレーム２１～２５、３１～３５、４１～４５、５１～５５、・・・に付与された時間情報、名前、または画像情報、音声情報を用いても特定されてよい。また、撮像装置１０Ａ～１０Ｎが同期撮影されている場合は、各映像２０、３０、４０、５０、・・・にフレームのインデックス情報を用いることで特定されてもよい。
　前処理部３０２ｂは、前処理を実行する。前処理とは、例えば、明るさ調整、ノイズ除去、解像度変換、色空間変換、レンズ歪補正、射影変換、アフィン変換、エッジ強調処理、トリミング処理、またはこれらの組み合わせである。前処理部３０２ｂは、取得部３０２ａにより取得された複数の映像に対して前処理を実行していればよいため、前処理を実行するタイミングは、校正処理が実行されるタイミングに合わせて行われていなくてもよく、事前に行われていてもよい。なお、前処理部３０２ｂにより前処理は必ずしも実行されなくてもよい。このため、校正部３０２は、前処理部３０２ｂを有しない構成であってもよい。前処理部３０２ｂにより前処理が実行されることにより得られた前処理済みの複数の映像は、記憶部３０１に記憶されてもよい。
　抽出部３０２ｃは、前処理済みの複数の映像のそれぞれについて、当該映像の第１フレームから第１特徴点を抽出する。また、抽出部３０２ｃは、前処理済みの複数の映像のそれぞれについて、当該映像の第１フレームとは異なる第２フレームの動物体が映り込んでいる領域から第２特徴点を抽出する。
　例えば、抽出部３０２ｃは、図６における複数の映像２０、３０、４０、５０、・・・のそれぞれについて、時刻ｔ１のタイミングに対応する当該映像のフレーム２１、３１、４１、５１、・・・から第１特徴点を抽出する。例えば、抽出部３０２ｃは、図８の（ａ）に示すように、フレーム２１から特徴点Ｐ１Ａ、Ｐ２Ａ、Ｐ３Ａを抽出し、フレーム３１から特徴点Ｐ１Ｂ、Ｐ２Ｂ、Ｐ３Ｂを抽出する。ここで、フレーム２１、３１、４１、５１、・・・は、第１フレームの一例である。なお、時刻ｔ１のタイミングに対応するフレームとは、時刻ｔ１を基準として数十ｍｓｅｃの幅の時間に含まれるタイミングで撮像されたフレームである。
　また、例えば、抽出部３０２ｃは、複数の映像２０、３０、４０、５０、・・・のそれぞれについて、時刻ｔ２のタイミングに対応する当該映像のフレーム２２、３２、４２、５２・・・から第２特徴点を抽出する。ここで、フレーム２２、３２、４２、５２・・・は、第２フレームの一例である。時刻ｔ２のタイミングは、第１タイミングの一例である。例えば、抽出部３０２ｃは、図９の（ａ）に示すように、フレーム２２の動物体が映り込んでいる領域Ａ１０１から特徴点Ｐ４Ａ、Ｐ５Ａを抽出し、フレーム３２の動物体が映り込んでいる領域Ａ１０２から特徴点Ｐ４Ｂ、Ｐ５Ｂを抽出する。ここでは、動物体は、例えば、車両である。
　また、例えば、抽出部３０２ｃは、複数の映像２０、３０、４０、５０、・・・のそれぞれについて、時刻ｔ３のタイミングに対応する当該映像のフレーム２３、３３、４３、５３・・・から第３特徴点を抽出してもよい。ここで、フレーム２３、３３、４３、５３・・・は、第３フレームの一例である。時刻ｔ３のタイミングは、第２タイミングの一例である。例えば、抽出部３０２ｃは、図１０の（ａ）に示すように、フレーム２３の動物体が映り込んでいる領域Ａ１１１から特徴点Ｐ６Ａを抽出し、フレーム３３の動物体が映り込んでいる領域Ａ１１２から特徴点Ｐ６Ｂを抽出する。
　抽出部３０２ｃは、第１特徴点を抽出する対象となるフレームは、複数の映像２０、３０、４０、５０、・・・のそれぞれについて、互いに同じ時刻タイミングのフレームでなくてもよく、当該映像の１フレームから特徴点を抽出できればよい。この場合、抽出部３０２ｃは、静止物体が映り込んでいる領域から特徴点を抽出できればよい。静止物体が映り込んでいる領域は、時刻が経過しても変わらずにフレームに映り込むこととなるため、それ以降のフレームにおいて特徴点を抽出しても、重複した特徴点を抽出することになる可能性が高いからである。このため、第１フレーム以降の第２フレームでは、動物体が映り込んでいる領域に絞って、特徴点の抽出を行う。なお、抽出部３０２ｃは、第１フレームにおいて、動物体が映り込んでいた場合には、第２フレーム以降においても、第１フレームにおいて動物体が映り込んでいた領域に対して静止物体および動物体の特徴点の抽出を行ってもよい。
　また、抽出部３０２ｃは、校正部３０２において前処理が行われない構成である場合には、取得部３０２ａにより取得された複数の映像のそれぞれに対して上記の特徴点を抽出する処理を実行する。抽出部３０２ｃにより抽出処理が実行されることにより得られた、第１特徴点および第２特徴点を含む特徴点は、記憶部３０１に記憶されてもよい。
　特徴点は、フレームに映り込む物体の輪郭、物体または空間の角、フレーム平面における物体同士の交差点などのような、点、エッジまたは一定領域を示す。特徴点は、周囲との輝度又は色合いの差が大きい点、辺、又は一定領域を示す。特徴点は、（１）特徴点の二次元画像上の座標位置、および、（２）特徴点を略中心とする又は特徴点を含む特定の範囲の画素に対する色や輝度勾配の分布をベクトルで表現したもの、などで示される情報である。なお、特徴点は、他の画像情報であって、例えばテクスチャ情報や周波数変換後の情報を用いて検出されるものでもよい。
　特徴点は、フレーム上の全ての画素上から検出されてもよいし、フレーム中の所定の画素上から検出されてもよいし、フレーム毎に全ての画素上から検出するのか所定の画素上から検出するのかを切り替えて検出されてもよい。所定の画素とは、例えば、フレーム中の所定領域中の画素である。例えば、ある撮像映像から分割された複数のフレームから繰り返し処理により特徴点を検出する際に、所定タイミングに対応するフレーム２１、３１、４１、５１、・・・では全ての画素上から特徴点を検出し、それ以外のタイミングに対応するフレーム２２、３２、４２、５２、・・・では所定の画素上から特徴点を検出する。
　所定領域とは、例えば、動物体が映り込んでいる領域である。フレームに映り込む動物体の検出には、過去のフレームとの差分を計算したり、背景映像との差分を計算したり、機械学習により動物体の領域を自動検知するなど映像情報を用いても、歩行音、走行音などの音声情報を用いても、無線通信や赤外線、ＧＰＳなどあらゆるセンサを用いてもよい。これによると、ある撮像映像から分割された複数のフレームから繰り返し処理により特徴点を抽出する際に、静止物体上ですでに特徴点が抽出されている画素を探索する必要がなくなるため、特徴点抽出に要する処理時間を短縮できる。また抽出される特徴点数が限定されるため記憶部に保持するデータ量を削減できる。また、動物体の画素上から特徴点を抽出するため、様々な画素上から特徴点を抽出でき、カメラの校正精度を向上できる。
　また、所定領域とは、例えば、同じ映像から抽出したフレームでまだ特徴点が抽出されていない領域としてもよい。これによると、ある撮像映像から分割された複数のフレームから繰り返し処理により特徴点を抽出する際に、すでに特徴点が抽出されている画素を探索する必要がなくなるため、特徴点抽出に要する処理時間を短縮できる。また、まだ特徴点が抽出されていない画素上で特徴点を抽出するため、様々な画素上から特徴点を抽出でき、カメラの校正精度を向上できる。
　マッチング部３０２ｄは、抽出部３０２ｃにより抽出された複数の第１特徴点を用いて互いにマッチングを行う。また、マッチング部３０２ｄは、抽出部３０２ｃにより抽出された複数の第２特徴点を用いて互いにマッチングを行う。マッチング部３０２ｄは、複数の第１特徴点のうち類似する特徴点を互いに対応付けし、対応付けした特徴点を１つのマッチング結果として出力する。マッチング部３０２ｄは、特徴点の二乗誤差または絶対誤差を用いて特徴点が類似するか否かの判定を行う。マッチング部３０２ｄにおいて出力されたマッチング結果は、例えば、記憶部３０１に記憶される。マッチング部３０２ｄは、別のタイミングに対応する複数のフレームのそれぞれについて抽出された特徴点を新たに対応付けることにより新たなマッチング結果を得た場合、当該新たなマッチング結果を、前回得たマッチング結果に追加して、記憶部３０１に記憶させる。
　例えば、図８の（ａ）に示すように、マッチング部３０２ｄは、複数の第１特徴点を用いてマッチングを行うことで、特徴点Ｐ１Ａと特徴点Ｐ１Ｂとをマッチング点Ｐ１として対応付ける。同様に、マッチング部３０２ｄは、特徴点Ｐ２Ａと特徴点Ｐ２Ｂとをマッチング点Ｐ２として対応付け、特徴点Ｐ３Ａと特徴点Ｐ３Ｂとをマッチング点Ｐ３として対応付ける。これにより、マッチング部３０２ｄは、図８の（ｂ）に示すように、マッチング結果として、マッチング点Ｐ１～Ｐ３を得る。
　また、例えば、図９の（ａ）に示すように、マッチング部３０２ｄは、複数の第２特徴点を用いてマッチングを行うことで、特徴点Ｐ４Ａと特徴点Ｐ４Ｂとをマッチング点Ｐ４として対応付け、特徴点Ｐ５Ａと特徴点Ｐ５Ｂとをマッチング点Ｐ５として対応付ける。これにより、マッチング部３０２ｄは、図９の（ｂ）に示すように、既に得られたマッチング点Ｐ１～Ｐ３にマッチング点Ｐ４、Ｐ５を追加して、マッチング結果として、マッチング点Ｐ１～Ｐ５を得る。
　また、例えば、図１０の（ａ）に示すように、マッチング部３０２ｄは、複数の第３特徴点を用いてマッチングを行うことで、特徴点Ｐ６Ａと特徴点Ｐ６Ｂとをマッチング点Ｐ６として対応付ける。これにより、マッチング部３０２ｄは、図１０の（ｂ）に示すように、既に得られたマッチング点Ｐ１～Ｐ５にマッチング点Ｐ６を追加して、マッチング結果として、マッチング点Ｐ１～Ｐ６を得る。
　なお、マッチング部３０２ｄは、マッチング結果の数が十分か否かを判定してもよい。マッチング部３０２ｄは、マッチング結果の総数が第１の数以上である場合にマッチング結果の数が十分であると判定する第１判定を行ってもよいし、映像を複数の領域に分割したときに複数の領域のそれぞれにおけるマッチング結果に含まれる特徴点が第２の数以上である場合にマッチング結果の数が十分であると判定する第２判定を行ってもよい。また、マッチング部３０２ｄは、第１判定および第２判定の組合せで、マッチング結果の数が十分であるか否かを判定してもよい。
　マッチング結果の数が十分でない場合、数が十分でないと判定された理由をフィードバックしてもよい。理由とは、例えば、マッチング点数が十分と判定されるまであとＮ点足りない、ある領域内のマッチング点がないなどである。これにより、理由に応じて、ある領域内で特徴点抽出をすることができ効率的にマッチング点を抽出できる。
　まず、マッチング結果の総数が第１の数以上である場合にマッチング結果の数が十分であると判定する第１判定を行う場合について説明する。
　この場合、マッチング部３０２ｄは、複数のマッチング結果の総数が第１の数（例えば６）以上であるか否かを判定する。複数のマッチング結果の総数が第１の数未満であるとマッチング部３０２ｄが判定した場合、取得部３０２ａ、前処理部３０２ｂ及び抽出部３０２ｃは、複数の映像のうちで処理（つまり、校正処理）を実行していないフレームが対応するタイミングとは異なるタイミングに対応するフレームについて、校正処理を実行する。この場合、抽出部３０２ｃは、時刻ｔ１及び時刻ｔ２に対応するフレームで対応付けられたマッチング結果の総数が５であり第１の数未満となるため、複数の映像のそれぞれについて、当該映像のうちの、時刻ｔ１及び時刻ｔ２とは異なる時刻ｔ３に対応するフレーム２３、３３、４３、５３、・・・であって、動物体が映り込んでいる領域を含むフレーム２３、３３、４３、５３、・・・から第３特徴点を抽出することとなる。マッチング部３０２ｄは、抽出された複数の第３特徴点を用いて互いにマッチングを行う。
　なお、第１の数は、固定値に限らずに、状況に応じて設定される値、つまり、変動値であってもよい。例えば、第１の数は、構成の精度を向上させるために、複数の映像を撮像している複数の撮像装置間の位置が離れているほど、大きい値に変更されていてもよい。
　抽出部３０２ｃおよびマッチング部３０２ｄは、マッチング部３０２ｄにおけるマッチングにより得られるマッチング結果の総数が第１の数以上になるまで、複数の映像のそれぞれの、抽出が既に行われたフレームが対応するタイミングとは異なるタイミングに対応するフレームについて、抽出およびマッチングを繰り返す。なお、処理を繰り返す場合、前処理部３０２ｂによる前処理が繰り返し行われてもよい。
　例えば、時刻ｔ１に対応するフレームについて抽出およびマッチングを行った段階では、３つのマッチング結果となり、マッチング結果の総数が６未満であるため、抽出およびマッチングを繰り返す。そして、時刻ｔ２、ｔ３に対応するフレームについて抽出及びマッチングを行うことでマッチング結果の総数が６となるため、マッチング部３０２ｄは、マッチング結果の数が十分であると判定する。
　これにより、マッチング結果が第１の数以上となるまで、校正処理の抽出処理およびマッチング処理が、他のタイミングに対応するフレームにも繰り返し実行されることとなるので、カメラパラメータを精度よく校正することができる。
　次に、映像を複数の領域に分割したときの複数の領域のそれぞれにおいて、マッチング結果として対応付けられた特徴点が第２の数以上である場合に、マッチング結果の数が十分であると判定する第２判定を行う場合について説明する。
　この場合、マッチング部３０２ｄは、複数の映像のそれぞれについて当該映像を複数の領域に分割したとき、複数の領域のうち複数のマッチング結果で対応付けられている複数の特徴点のうちで当該映像から得られた複数の特徴点が第２の数未満である不足領域があるか否かを判定してもよい。つまり、この場合マッチング部３０２ｄは、複数の映像のそれぞれについて当該映像を４つに分割することで定義される４つの領域のそれぞれに、マッチング結果として対応付けられた特徴点が第２の数以上含まれるか否かを判定し、第２の数未満である領域を不足領域として特定する。なお、領域の分割数は、４に限らずに、複数の映像のそれぞれは５以上の数で分割されてもよいし、２または３で分割されてもよい。また、複数の領域は、互いに同サイズになるように分割された領域としなくてもよい。例えば、フレームの中央付近や端付近などと設定してもよいし、道路・歩道の上やサッカーコート内などシーンに応じて設定してもよいし、動物体が移動する領域と設定してもよい。
　なお、第２の数は、例えば、領域の分割数が４である場合、つまり、１つの映像が４分割である場合、２に決定されてもよい。また、第２の数は、例えば、分割数が６である場合、１に決定されてもよい。
　次に、マッチング部３０２ｄが、第１判定と第２判定とを組み合わせることで、マッチング結果の数が十分であるか否かを判定することについて説明する。
　つまり、マッチング部３０２ｄは、（１）第１判定においてマッチング結果の総数が第１の数以上であると判定し、かつ、（２）第２判定において、分割された複数の領域のそれぞれに含まれる、マッチング結果で対応付けられた特徴点が第２の数以上であると判定したときに、マッチング結果の数が十分であると判定してもよい。この場合、例えば、第１判定における第１の数は、例えば６に設定され、第２判定における第２の数は１に設定されていてもよい。
　例えば、図１１に示すように、映像２０は、分割された４つの領域Ａ１１～Ａ１４を有し、映像３０は、分割された４つの領域Ａ２１～Ａ２４を有する。マッチング部３０２ｄは、時刻ｔ１に対応するフレーム２１、３１を処理した時点では、映像２０の領域Ａ１４には、マッチング結果として対応付けられた特徴点Ｐ１Ａ～Ｐ３Ａが含まれない。同様に、映像３０の領域Ａ１４には、マッチング結果として対応付けられた特徴点Ｐ１Ａ～Ｐ３Ａが含まれない。このため、マッチング部３０２ｄは、映像２０については領域Ａ１４を不足領域として特定し、映像３０については領域Ａ２４を不足領域として特定する。
　不足領域があるとマッチング部３０２ｄが判定した場合、抽出部３０２ｃは、複数の映像のそれぞれについて、当該映像のうちの不足領域に動物体が映り込んでいる第４フレームを抽出し、第４フレームの不足領域から第４特徴点を抽出する。第４フレームは、例えば、複数の映像２０、３０、４０、５０、・・・のうち時刻ｔ２に対応する複数のフレーム２２、３２、４２、５２、・・・である。マッチング部３０２ｄは、抽出された複数の第４特徴点を用いて互いにマッチングを行う。
　抽出部３０２ｃおよびマッチング部３０２ｄは、複数の領域Ａ１１～Ａ１４、Ａ２１～Ａ２４のそれぞれにおいてマッチング部３０２ｄにおけるマッチングにより得られるマッチング結果の総数が第２の数以上になるまで、複数の映像２０、３０、４０、５０、・・・のそれぞれの、抽出が既に行われたフレームが対応するタイミングとは異なるタイミングに対応するフレームについて、抽出およびマッチングを繰り返す。なお、処理を繰り返す場合、前処理部３０２ｂによる前処理が繰り返し行われてもよい。
　例えば、図１２に示すように、抽出部３０２ｃおよびマッチング部３０２ｄは、時刻ｔ２に対応する複数のフレーム２２、３２、４２、５２、・・・に対して、特徴点の抽出およびマッチングを行うと、既に説明したように、複数のマッチング点Ｐ１～Ｐ５を得ることとなる。この場合、抽出部３０２ｃは、不足領域Ａ１４、Ａ２４に対して特徴点の抽出を行うため、フレーム２２から特徴点Ｐ４Ａ、Ｐ５Ａが抽出され、フレーム３２から特徴点Ｐ５Ｂが抽出される。よって、マッチング部３０２ｄは、特徴点Ｐ５Ａと特徴点Ｐ５Ｂとをマッチング点Ｐ５として対応付けることとなる。この結果、全ての領域Ａ１１～Ａ１４、Ａ２１～Ａ２４は、マッチング結果として対応付けられた特徴点を１以上有することとなるため、マッチング部３０２ｄは、マッチング結果の数が十分であると判定する。
　これにより、マッチング結果に含まれる特徴点の数が全ての領域で第２の数以上となるまで、校正処理の抽出処理およびマッチング処理が、他のタイミングに対応するフレームにも繰り返し実行されることとなるので、カメラパラメータを精度よく校正することができる。
　再構成部３０２ｅは、マッチング部３０２ｄのマッチング結果に応じて、校正を実行する。再構成部３０２ｅは、撮像装置１０Ａ～１０Ｎのカメラ１００のそれぞれによって撮像されることにより得られた複数のマッチング結果を用いて、カメラの外部パラメータ及び内部パラメータの少なくとも一方を算出する。再構成部３０２ｅは、複数のマッチング結果に基づき、エピポーラ制約などの幾何学制約を利用することで、カメラの外部パラメータ及び内部パラメータの少なくとも一方を算出する。
　校正処理は、例えば撮像装置１０Ａ～１０Ｎ間のそれぞれで撮影された二次元映像のうち、少なくとも一部が重複する撮影領域の映像間で、映像上の特定の点（又は点を複数含む線若しくは面）同士を対応付けることで実行される。この対応付けは、プログラムを実行する再構成部３０２ｅによって自動でされる。校正の結果として算出されたカメラパラメータは、例えば三次元空間再構成に用いられる。
　再構成部３０２ｅは、さらに、複数のマッチング結果のそれぞれの三次元空間上における三次元位置を推定する。再構成部３０２ｅは、三角測量法を利用することで複数のマッチング結果のそれぞれについて、当該マッチング結果の三次元空間上における三次元位置を推定する。
　判定部３０２ｆは、再構成部３０２ｅにより推定された複数の三次元位置に基づいて、校正したパラメータの精度が十分であるか否かを判定する。判定部３０２ｆにおいて、パラメータの精度が十分でないと判定された場合、抽出部３０２ｃ、マッチング部３０２ｄ、再構成部３０２ｅおよび判定部３０２ｆは、判定部３０２ｆにおいてパラメータの精度が十分であると判定されるまで、複数の映像２０、３０、４０、５０、・・・のそれぞれの、抽出部３０２ｃによる抽出が既に行われたフレームが対応するタイミングとは異なるタイミングに対応するフレームについて、抽出、マッチング、校正、推定および判定を繰り返す。
　例えば、判定部３０２ｆは、再構成部３０２ｅにより推定された複数の三次元位置を複数の撮像装置１０Ａ～１０Ｎのそれぞれが撮像したと仮定したときに得られる二次元画像における複数の二次元座標と、当該撮像装置において撮像された映像から得られた第１特徴点および第２特徴点の二次元座標である複数の二次元座標との誤差（つまり、再投影誤差）が所定値より小さいか否かを判定する。
　また、判定部３０２ｆは、再構成部３０２ｅにより算出されたカメラの外部パラメータ及び内部パラメータの少なくとも一方が予め定められた範囲内にあるか否かで、パラメータの精度が十分であるか否かを判定してもよい。つまり、判定部３０２ｆは、外部パラメータ及び内部パラメータの少なくとも一方が予め定められた範囲内にある場合、パラメータの精度が十分であると判定し、そうでない場合、パラメータの精度が不十分であると判定する。予め定められた範囲とは、想定値の範囲であり、想定値とは、撮像装置１０Ａ～１０Ｎの規格や撮像装置１０Ａ～１０Ｎの設置状況、過去の校正値などから算出される値である。
　抽出部２０３ｃ、マッチング部３０２ｄ、再構成部３０２ｅおよび判定部３０２ｆは、誤差が所定値より大きいと判定された場合、判定部３０２ｆにおいて誤差が所定値以下と判定されるまで、複数の映像２０、３０、４０、５０、・・・のうちの異なるタイミングに対応する複数のフレームについて、抽出、マッチング、校正、推定および判定を繰り返す。
　［２－４．三次元空間再構成装置及び三次元空間認識装置の構成］
　次に、図２に戻り、三次元空間再構成装置３０００及び三次元空間認識装置４０００の校正について説明する。
　三次元空間再構成装置３０００はコンピュータを用いて実現され、図示しない記憶装置及び演算処理装置を備える。図示のモデル生成部３００２ａは、この演算処理装置が、記憶装置に記憶される三次元モデルデータの生成（三次元空間再構成）のためのプログラムを実行することで実現される機能的な構成要素である。
　モデル生成部３００２ａは、三次元空間再構成装置３０００が撮像システム１０００から受信して記憶装置に記憶させた映像データ及びカメラパラメータに基づいて、被写体の三次元形状の再構成（モデリング）を実行する。三次元モデリングによって生成された三次元モデルのデータは記憶装置に記憶される。また、三次元空間認識装置４０００に提供される。
　三次元空間認識装置４０００はコンピュータを用いて実現され、図示しない記憶装置及び演算処理装置を備える。図示の視点決定部４００２ａ、レンダリング部４００２ｂ、シーン解析部４００２ｃ、及びトラッキング部４００２ｄは、この演算処理装置が、記憶装置に記憶される三次元空間認識のためのプログラムを実行することで実現される機能的な構成要素である。なお、三次元空間認識装置４０００は、その用途によってはこれらの機能的な構成要素の一部を含まなくてもよい。例えば三次元空間認識装置４０００の用途が自由視点映像の生成であれば、シーン解析部４００２ｃ及びトラッキング部４００２ｄを備えなくてもよい。三次元空間認識装置４０００が監視システムの一部として用いられるのであれば、シーン解析部４００２ｃ及びトラッキング部４００２ｄを含むことで、より高機能な監視システムが提供される。
　視点決定部４００２ａは、三次元空間再構成装置３０００から提供された三次元モデルが投影される仮想視点を決定する。この決定は、例えばユーザ機器２０００から、特定の時刻における特定の視点からの映像の要求があったときに、その特定の視点を三次元モデルが投影される仮想視点として決定される。または、あらかじめ設定された視点を三次元モデルが投影される仮想視点としても決定されてもよい。例えばスポーツイベントの自由視点映像であればゴール付近で選手の顔を正面から見える視点、監視装置の映像であれば、出入口付近の人物の顔が正面から見える視点が、三次元モデルが投影される仮想視点として決定されてもよい。または、後述のシーン解析部４００２ｃ又はトラッキング部４００２ｄからの要求に応じて新たな視点が仮想視点として決定されてもよい。仮想視点が決定されると、決定された仮想視点を示す情報（以下、仮想視点情報という）が視点決定部４００２ａからレンダリング部４００２ｂに渡される。
　レンダリング部４００２ｂは、三次元空間再構成装置３０００から受け取った三次元モデルのデータと、視点決定部４００２ａから受け取った仮想視点情報と、撮像システム１０００から受け取った映像データとを用いて自由視点映像を生成する。自由視点映像の生成においては、仮想視点情報が示す仮想視点に三次元モデルが投影される。この際、自由視点映像に含まれる被写体の色及びテクスチャの決定には、仮想視点から距離が近い撮像装置の映像データに含まれる各被写体の色及びテクスチャの情報が優先して利用される。生成された自由視点映像は、シーン解析部４００２ｃに渡されてもよいし、自由視点映像を表示するためのユーザ機器２０００に配信されてもよい。また、三次元空間認識装置４０００が備える記憶装置又は外部の記憶装置にて自由視点映像データとして保存されてもよい。
　シーン解析部４００２ｃは、三次元空間再構成装置３０００から受け取った三次元モデルのデータを解析して、例えば被写体の特定を行う。解析の結果は、トラッキング部４００２ｄに渡されてもよいし、自由視点映像と共に配信されてユーザ機器２０００に表示されてもよい。また、三次元空間認識装置４０００が備える記憶装置又は外部の記憶装置にて自由視点映像の解析結果のデータとして保存されてもよい。また、解析の結果に応じて、他の時刻又は他の位置における仮想視点の決定がシーン解析部４００２ｃから視点決定部４００２ａに要求されてもよい。
　トラッキング部４００２ｄは、三次元空間再構成装置３０００から受け取った三次元モデルのデータに基づいて特定の被写体の追跡をする。追跡の結果は、自由視点映像と共に配信されてユーザ機器２０００に表示されてもよい。また、例えば特定の被写体の追跡が不可能な場合に、他の時刻又は他の位置における仮想視点の決定がトラッキング部４００２ｄから視点決定部４００２ａに要求されてもよい。
　［２－５．ユーザ機器の構成］
　ユーザ機器２０００は、図示しない通信部及び表示部をそれぞれ備える、テレビ受信機、パーソナルコンピュータ、又は携帯端末等の機器である。通信部を介して三次元空間認識装置４０００から受信された自由視点映像がユーザ機器の表示部に表示される。
　また、ユーザ機器２０００はタッチスクリーン、トラックパッド、キーボード、マウス、マイクロフォン、その他のコントローラ類又はこれらの組み合わせからなる入力装置を備えてもよい。そしてこの入力装置を介してユーザからの三次元空間再構成又は三次元空間認識に関する要求の入力を受け付けてもよい。例えば特定の時刻における特定の視点からの映像の表示の要求の入力が受け付けられると、この要求がユーザ機器２０００の通信部から三次元空間認識装置４０００に送信される。また、例えば特定の被写体の自由視点画像の表示の要求が受け付けられた場合、この要求がユーザ機器２０００の通信部から三次元空間再構成装置３０００又は三次元空間認識装置４０００に送信されてもよい。また、例えばトラッキング対象の特定の被写体の指定の要求の入力が受け付けられた場合、この要求が三次元空間認識装置４０００に送信されてもよい。
　［２－６．その他］
　以上、本実施の形態における撮像システム１０００の構成、及び撮像システム１０００から受け取る映像データ及びカメラパラメータを利用する三次元空間再構成装置３０００及び三次元空間認識装置４０００、及び三次元空間認識装置４０００から自由視点映像等を受信して表示するユーザ機器２０００それぞれの構成について説明した。なお、これらの構成は上記の説明に限定されない。
　また、上記ではコンピュータを用いて実現されるとそれぞれ説明された制御装置２００、三次元空間再構成装置３０００、及び三次元空間認識装置４０００は、これらの一部又は全てが組み合わせられて１台以上のコンピュータ上に実装されてもよい。
　また、ユーザインタフェース４００とユーザ機器２０００とは、同一の機器であってもよい。つまり、ユーザインタフェース４００は、ユーザ機器２０００と同様に三次元空間認識装置４０００から配信される映像を受信して、これをシステム管理者に表示してもよい。このシステム管理者が、撮像システムの管理者であるとともに、三次元空間再構成装置３０００及び三次元空間認識装置４０００を含む自由視点映像配信システム又は監視システムの管理者でもあれば、表示されるこの映像に応じて三次元空間再構成装置３０００及び三次元空間認識装置４０００の制御のための要求を入力することができる。
　［３．動作］
　次に、本実施の形態における撮像システム１０００による、校正の適時の実行を実現する動作について説明する。
　撮像システム１０００では、校正を適時に実行するために、撮像装置又はその周囲の状況に変化（イベント）が発生した時に、校正を実行するか否かの判定がなされる。図１３は、本実施の形態における撮像システム１０００による、校正をするか否かの判定を含む一連の動作を説明するためのシーケンス図である。なお、図１３において、撮像装置１０は、図２に示される撮像装置１０Ａ～１０Ｎのうちの任意のひとつを示す。
　撮像中の撮像装置１０において、状況感知部１６０は、常時又は所定の周期でカメラ１００（又は撮像装置１０）の状況及びカメラ１００の撮影領域を含む所定の空間の少なくとも一方の状況を感知する（ステップＳ３１）。感知された状況は、撮像状況情報として状況感知部１６０から出力されて制御装置２００に送信される。
　制御装置２００では、受信した撮像状況情報に基づいて、所定のイベントの発生をイベント検出部２０２ａが検出する（ステップＳ３２）。
　この所定のイベントとは、現状のカメラパラメータがカメラ１００の位置等を正確に示さなくなるきっかけとなるイベントである。具体的には、例えば構成の説明で上述した、カメラ１００の移動を発生させるイベント、又は移動を発生させた可能性が高いイベントである。また、カメラ１００が移動していない場合でも、撮影領域を変化させるイベント、又は撮影領域の変化を発生させた可能性が高いイベントもこの所定のイベントとして検出されてもよい。
　このようなイベントの検出に用いられる撮像状況情報の例としては、イメージセンサ１０４から出力された映像データの情報、及び動きセンサ１０５若しくは１２５が出力したカメラ１００の位置、傾き、又は振動などを示す情報が挙げられる。映像データの場合は、例えば映像が解析されて、背景領域と推定される領域内の変化、又は映像中で背景領域が占める範囲の変化に基づいてカメラ１００の位置等の変化の有無が推定され得る。
　また、撮像状況情報は、動作検知部１０６又は１２６から出力される、カメラ１００又は架台１２０の所定の動作を示す情報であってもよい。より具体的には、カメラ１００の焦点距離の変更、露出の変更、電源のＯＮ－ＯＦＦの切替、架台１２０の雲台の移動等を示す情報である。これらの動作は、人手による操作によって生じたものであっても、撮像装置１０の自動制御によって生じたものであっても撮像状況情報において示されてよい。
　カメラパラメータは、所定の動作後のカメラ１００の状態を正しく反映しない場合がある。例えば焦点距離が変わると、これに伴って内部パラメータも変わる。また、電源を一旦落とすバッテリー交換の前後で、ユーザが意図せずともカメラ１００の位置又は姿勢が変わると、これに伴って外部パラメータも変わる。あるいは、電源がＯＦＦの間にカメラ１００が移動された場合、カメラ１００の動きセンサ１０５ではこの移動が検知されない。したがって、カメラ１００の電源再投入後には、電源をＯＦＦにする前に使われていたカメラパラメータは、カメラ１００の位置及び姿勢を正しく反映していない。また、架台１２０の雲台の回転又は上下の動作は、カメラ１００の位置や姿勢の変化を伴う（以下では架台１２０の動作も含めてカメラ１００の動作という場合がある）。このように、カメラ１００の状態の変化を伴う可能性が高い所定の動作を検知し、この検知に基づき校正の実行を判定することで、カメラパラメータの精度の維持が図られる。
　また、撮像状況情報は、収音器１０７又は１４７から出力される、撮像装置１０周辺の音の情報であってもよい。
　イベント検出部２０２ａは、このような撮像状況情報が示す経時的な変化が所定の閾値を超える場合にイベントの発生を検出する（ステップＳ３２でＹＥＳ）。この所定の閾値は、本実施の形態における第１閾値の例である。
　イベントの発生を検出した場合（ステップＳ３２でＹＥＳ）、イベント検出部２０２ａは、例えばこの情報の経時的な変化の大きさに基づいて校正を実行するか否かを判定する（ステップＳ３３）。例えばこの所定の閾値は、撮像状況情報が示すカメラ１００の移動の大きさに対して現状のカメラパラメータを使い続ける場合の三次元空間再構成の精度への影響の大きさを考慮して決定される。そして校正を実行するか否かの判定は、例えばこの変化が第１閾値より大きい所定の閾値を超えるか否かに基づいて判定される。この第１閾値より大きい所定の閾値は、本実施の形態における第２閾値の例である。
　また、所定のイベントとは、高い精度で校正を実行することができる可能性が高いイベントであってもよい。例えば特徴点を多く含む映像を用いて実行される校正では、より精度（信頼度）の高いカメラパラメータが得やすい。
　このようなイベントの検出に用いられる撮像状況情報としても、上記のイメージセンサ１０４から出力された映像データに示される情報が例に挙げられる。例えば映像の解析によって特徴点が抽出され、抽出された特徴点の個数が所定の個数以上である場合に、所定のイベントが発生し（ステップＳ３２でＹＥＳ）、また、校正を実行すると判定されてもよい（ステップＳ３３でＹＥＳ）。
　また、所定のイベントとは、ユーザの利便性に与える影響が少ないイベントであってもよい。例えばスポーツイベントにおいて、ハーフタイム等の試合が展開しない時間帯であるときに、所定のイベントの発生として検出されてもよい。あるいは、球技であればボールがなく人もいない場所に注目するユーザは少ないため、撮影領域の全体がボールも人もない状態であるときに、所定のイベントの発生として検出されてもよい。また、監視システムであれば、撮影領域又はその周辺も含めて人や自動車がいない状態であるときに、所定のイベントの発生として検出されてもよい。
　このようなイベントの検出に用いられる撮像状況情報としても、上記のイメージセンサ１０４から出力された映像データに示される情報、また、収音器１０７又は１４７から出力される、撮像装置１０周辺の音の情報が例に挙げられる。映像データの場合は、例えば映像の解析によって、映像に人等の所定のオブジェクトの画像が含まれていない場合に、所定のイベントが発生し（ステップＳ３２でＹＥＳ）、さらに、校正を実行すると判定されてもよい（ステップＳ３３でＹＥＳ）。音の情報の場合は、音の解析によって試合が進行中であるか、ホイッスルが鳴らされたか、撮像装置１０の周辺に人の話し声や足音、又は自動車の動力音若しくは走行音があるか等の判定がなされてもよい。
　また、カメラ１００への操作の種類によっては、その発生が所定のイベントの発生と判定されてもよい。例えばカメラ１００の再起動、バッテリーの交換、又はレンズの付け外しが発生した場合は、このカメラ１００の撮影領域に変化が生じている可能性が高いためである。このようなイベントの検出も、動作検知部１０６から出力される情報に基づいてなされる。例えばバッテリーの交換又はレンズの交換はカメラ１００の電源がオフの状態で行われるため、その後の撮像開始に先立ってカメラ１００の起動の動作が発生する。したがって、例えばイベント検出部２０２ａは、起動の動作の検知を示す情報を受信した場合に所定のイベントの発生と判定してもよい。その後のステップＳ３３においては、起動後には必須の動作として校正を実行すると判定されてもよいし、他の撮像状況情報に基づいて判断されてもよい。
　また、イベント検出部２０２ａは、カメラ１００の前回の校正から所定の時間が経過したときに所定のイベントの発生を検出してもよい。例えば、イベント検出部２０２ａは、記憶部２０１に校正実行のログを残し、制御装置２００が備えるタイマー２０３が示す時刻を参照して前回の校正からの経過時間を算出し、この経過時間が所定の時間を超えたときに、所定のイベントの発生を検出する。
　これにより、カメラ１００の校正が所定の頻度以上で実行される。例えばあるカメラ１００で、校正を実行すると判定される第２閾値を下回る変化が蓄積し、校正が実行されないままカメラパラメータがカメラ１００の実際の状態から乖離している場合に、カメラパラメータの更新の機会が確保される。
　校正を実行しないと判定したイベント検出部２０２ａは（ステップＳ３３でＮＯ）、撮像状況情報の受信待機状態に戻る。
　校正を実行すると判定したイベント検出部２０２ａは（ステップＳ３３でＹＥＳ）、校正情報を出力する。
　校正情報には、校正を実行させる対象であるカメラ１００（又はこのカメラ１００を含む撮像装置１０）及び校正を実行させると判定した理由（上記のイベント）が含まれる。図１４Ａ及び図１４Ｂは、それぞれ校正情報のデータ構成の例を示す。
　図１４Ａの例では、校正を実行させる対象が、該当のカメラ１００を含む撮像装置１０Ａを用いて示されている（「校正対象」の欄の「１０Ａ」）。また、校正を実行する理由が、２０という理由コードと合わせて「雲台回転移動」と「理由」の欄に示されている。このような校正情報は、イベント検出部２０２ａが、撮像装置１０Ａの状況感知部１６０から受け取った撮像状況情報が第１閾値及び第２閾値を上回る雲台の回転移動を示していた場合に出力される。
　図１４Ｂの例では、カメラ校正を実行させる対象のカメラ１００が、すべての撮像装置１０に含まれるカメラ１００であることが示されている（「校正対象」の欄の「Ａｌｌ）。また、カメラ校正を実行する理由が、「理由」の欄に１００という理由コードと合わせて「ハーフタイム検出」と示されている。このようなカメラ校正情報は、イベント検出部２０２ａが、撮像装置１０のいずれかの状況感知部１６０から受け取った撮像状況情報から、撮影領域を含む所定の空間で行われているスポーツの試合のハーフタイムが始まったと推定した場合に出力される。このように、検出されたイベントの内容によっては、イベント検出部２０２ａは、撮像状況情報の送信元である撮像装置１０が含むカメラ１００以外のカメラ校正を実行すると判定してもよい。
　校正情報は、校正指示部２０２ｂに入力される。校正情報を受け取った校正指示部２０２ｂは、校正情報の内容に基づいて校正指示を生成し、生成した校正指示を適切なカメラ１００を含む撮像装置１０に送信する。
　また、校正情報は、例えばユーザインタフェース４００に送信されて、システム管理者等のユーザに提示されてもよい（ステップＳ３４）。ユーザはこの情報に基づいて対象のカメラ１００に校正をさせるための指示を、ユーザインタフェース４００を介して入力する（ステップＳ３５で指示受付）。入力された指示は、制御装置２００に送信される。
　撮像支持を受信した撮像装置１０のカメラ１００では、撮像処理が実行される。また、校正指示を受信した校正装置３００では、校正処理が実行される（Ｓ３６）。校正処理は、校正装置において校正指示に基づいて実行され、全ての撮像装置１０Ａ～１０Ｎの外部パラメータの校正が実行される。なお、内部パラメータの校正を行う場合には、カメラ１００の制御部１０２において校正が実行されてもよい。校正処理が実行されることによって算出されたカメラパラメータは、三次元空間再構成装置３０００に出力される（ステップＳ３７）。
　次に、校正処理の具体例について説明する。
　図１５は、実施の形態１における校正処理の一例を示すフローチャートである。
　本実施の形態における校正装置３００における校正処理では、まず、取得部３０２ａは、複数の撮像装置１０Ａ～１０Ｎにより撮像された複数の映像であって、それぞれが複数のフレームを有する複数の映像を取得する（Ｓ４１）。
　次に、前処理部３０２ｂは、取得した複数の映像から処理対象となるフレームを選択する（Ｓ４２）。前処理部３０２ｂは、例えば、時刻ｔ１に対応する第１フレームを選択する。なお、処理フレームを選択する処理は、校正装置３００が前処理部３０２ｂを有していない構成である場合、他の処理部、例えば抽出部３０２ｃが行ってもよい。
　ここで、フレームを選択する際、ステップＳ４２ですでに選択されたフレームとの撮像時間が所定以上のフレームを選択するようにしてもよい。または、Ｓ４２ですでに選択されたフレームから所定数以上のフレーム間隔を空けてフレームを選択するようにしてもよい。または、複数のフレームのうち、動物体が映りこんでいるフレームを選択するようにしてもよい。または、後述するステップＳ４９の結果を基に、フレーム内の所定領域に動物体が映り込んでいるフレームを選択するようにしてもよい。これらにより、ステップＳ４２からステップＳ４９を繰り返す際、ステップＳ４４で抽出する特徴点の画素位置が特定の領域に集中することを防ぐことができる。
　次に、前処理部３０２ｂは、複数の映像のそれぞれが含む第１フレームについて、前処理を実行する（Ｓ４３）。
　そして、抽出部３０２ｃは、前処理済みの第１フレームから第１特徴点を抽出する（Ｓ４４）。
　マッチング部３０２ｄは、複数の第１特徴点を用いて互いにマッチングを行う（Ｓ４５）。
　マッチング部３０２ｄは、マッチング結果の数が十分であるか否かを判定する（Ｓ４６）。
　マッチング部３０２ｄは、マッチング結果の数が十分でなければステップＳ４２に戻る（Ｓ４６でＮｏ）。
　例えば、図８で説明した例では、マッチング部３０２ｄは、第１フレームから得られた複数の第１特徴点によるマッチング結果は、３つのマッチング点Ｐ１～Ｐ３であり、第１の数以上ではないため、ステップＳ４２に戻り、前処理部３０２ｂ、抽出部３０２ｃおよびマッチング部３０２ｄは、次の時刻ｔ２に対応する第２フレームについてステップＳ４３～Ｓ４５を実行する。
　つまり、前処理部３０２ｂは、第２フレームについて、前処理を実行し、抽出部３０２ｃは、前処理済みの第２フレームから第２特徴点を抽出し、マッチング部３０２ｄは、複数の第２特徴点を用いて互いにマッチングを行う。
　ステップＳ４２～Ｓ４６を繰り返すことで、マッチング結果の数が十分であるとマッチング部３０２ｄが判定すれば（Ｓ４６でＹＥＳ）、次の再構成部３０２ｅは、複数のマッチング結果に基づいて、複数の撮像装置１０Ａ～１０Ｎのパラメータを算出する（Ｓ４７）。図８～図１０を用いて説明した例では、時刻ｔ３のタイミングに対応する第３フレームまでステップＳ４２～Ｓ４５が実行されることで、マッチング結果の総数が第１の数以上となるため、ステップＳ４７が行われる。
　再構成部３０２ｅは、複数のマッチング結果のそれぞれの三次元空間上における三次元位置を推定する（Ｓ４８）。
　そして、判定部３０２ｆは、再構成部３０２ｅにより推定された複数の三次元位置に基づいて、校正したパラメータの精度が十分であるか否かを判定する（Ｓ４９）。
　判定部３０２ｆは、校正したパラメータの精度が十分であると判定すれば（Ｓ４９でＹＥＳ）、校正処理を実行し、校正したパラメータの精度が十分でないと判定すれば（Ｓ４９でＮＯ）、次の時刻に対応するフレームについてステップＳ４２～Ｓ４９を繰り返す。
　［４．外部パラメータの校正方法］
　本実施の形態では、撮像領域Ａ１を複数の撮像装置１０Ａ～１０Ｎのカメラ１００で撮像した結果である複数の撮像画像から抽出された、三次元空間の位置が共通する特徴点をマッチングする。そして、マッチング結果を用いて、複数の撮像装置１０Ａ～１０Ｎの外部パラメータを算出する。具体的には、マッチング結果に基づきエピポーラ制約などの幾何学制約を利用することで、複数の撮像装置１０Ａ～１０Ｎの外部パラメータは、求められる。
　［５．効果等］
　以上のように、本実施の形態において、校正装置３００は、互いに異なる位置に配置されており、それぞれが共通する三次元空間を撮像する複数の撮像装置１０Ａ～１０Ｎのパラメータを校正する。校正装置３００は、取得部３０２ａと、抽出部３０２ｃと、マッチング部３０２ｄと、再構成部３０２ｅとを備える。取得部３０２ａは、複数の撮像装置１０Ａ～１０Ｎにより撮像された複数の映像２０、３０、４０、５０、・・・であって、それぞれが複数のフレーム２１～２５、３１～３５、４１～４５、５１～５５、・・・を有する複数の映像２０、３０、４０、５０、・・・を取得する。抽出部３０２ｃは、取得部３０２ａにおいて取得された複数の映像２０、３０、４０、５０、・・・のそれぞれについて、当該映像のフレーム２１、３１、４１、５１、・・・から特徴点Ｐ１Ａ、Ｐ２Ａ、Ｐ３Ａ、Ｐ１Ｂ、Ｐ２Ｂ、Ｐ３Ｂを抽出し、かつ、当該映像のフレーム２１、３１、４１、５１、・・・とは異なるフレーム２２、３２、４２、５２、・・・、２３、３３、４３、５３、・・・の動物体が映り込んでいる領域Ａ１０１、Ａ１０２、Ａ１１１、Ａ１１２から特徴点Ｐ４Ａ、Ｐ５Ａ、Ｐ６Ａ、Ｐ４Ｂ、Ｐ５Ｂ、Ｐ６Ｂを抽出する。マッチング部３０２ｄは、抽出部３０２ｃにより抽出された複数の特徴点Ｐ１Ａ、Ｐ２Ａ、Ｐ３Ａ、Ｐ１Ｂ、Ｐ２Ｂ、Ｐ３Ｂを用いて互いにマッチングを行い、かつ、抽出された複数の特徴点Ｐ４Ａ、Ｐ５Ａ、Ｐ６Ａ、Ｐ４Ｂ、Ｐ５Ｂ、Ｐ６Ｂを用いて互いにマッチングを行う。再構成部３０２ｅは、マッチング部３０２ｄにおけるマッチングにより得られた複数のマッチング結果としての複数のマッチング点Ｐ１～Ｐ６に基づいて、複数の撮像装置１０Ａ～１０Ｎのパラメータを算出する。
　これによれば、抽出部３０２ｃは、フレーム２１～２５、３１～３５、４１～４５、５１～５５、・・・から特徴点Ｐ１Ａ、Ｐ２Ａ、Ｐ３Ａ、Ｐ１Ｂ、Ｐ２Ｂ、Ｐ３Ｂを抽出し、フレーム２２、３２、４２、５２、・・・、２３、３３、４３、５３、・・・の動物体が映り込んでいる領域Ａ１０１、Ａ１０２、Ａ１１１、Ａ１１２から特徴点Ｐ４Ａ、Ｐ５Ａ、Ｐ６Ａ、Ｐ４Ｂ、Ｐ５Ｂ、Ｐ６Ｂを抽出する。このため、校正装置３００は、動物体の特徴点Ｐ４Ａ、Ｐ５Ａ、Ｐ６Ａ、Ｐ４Ｂ、Ｐ５Ｂ、Ｐ６Ｂをパラメータの校正に利用するための特徴点として追加して利用することができる。つまり、複数の撮像装置１０Ａ～１０Ｎにより撮像された複数の映像から得られる特徴点を効果的に増加させることができるため、撮像装置１０Ａ～１０Ｎのパラメータを精度よく校正することができる。
　また、本実施の形態において、抽出部３０２ｃは、複数の映像２０、３０、４０、５０、・・・のそれぞれについて、当該映像の第１タイミングに対応する複数のフレーム２２、３２、４２、５２、・・・であって、動物体が映り込んでいる領域Ａ１０１、Ａ１０２を含むフレーム２２、３２、４２、５２、・・・を、第２フレームとして抽出する。また、抽出部３０２ｃは、複数の映像２０、３０、４０、５０、・・・から抽出した複数の第２フレームのそれぞれについて特徴点Ｐ４Ａ、Ｐ５Ａ、Ｐ４Ｂ、Ｐ５Ｂを抽出する。
　このため、動物体が映り込んでいる複数のフレームのうちタイミングが互いに対応している複数のフレーム２２、３２、４２、５２、・・・から特徴点Ｐ４Ａ、Ｐ５Ａ、Ｐ４Ｂ、Ｐ５Ｂを抽出するため、動物体が三次元空間上の特定の位置に位置する時に撮影されたフレームから特徴点を抽出することとなる。このため、撮像装置１０Ａ～１０Ｎのパラメータの校正に利用する特徴点を効果的に増加させることができる。
　また、本実施の形態において、複数のマッチング結果の総数が第１の数未満である場合、抽出部３０２ｃ、マッチング部３０２ｄおよび再構成部３０２ｅは、次の処理を実行する。抽出部３０２ｃは、複数の映像２０、３０、４０、５０、・・・のそれぞれについて、当該映像のうちの、第１タイミングとは異なる第２タイミングに対応する第３フレーム２３、３３、４３、５３、・・・であって、動物体が映り込んでいる領域Ａ１１１、Ａ１１２を含む複数の第３フレーム２３、３３、４３、５３、・・・の領域Ａ１１１、Ａ１１２から第３特徴点Ｐ６Ａ、Ｐ６Ｂを抽出する。マッチング部３０２ｄは、抽出された複数の第３特徴点Ｐ６Ａ、Ｐ６Ｂを用いて互いにマッチングを行う。再構成部３０２ｅは、新たに行われたマッチングにより得られたマッチング結果をさらに含む複数のマッチング結果としての複数のマッチング点Ｐ１～Ｐ６に基づいて、複数の撮像装置１０Ａ～１０Ｎのパラメータを算出する。
　よって、十分な数のマッチング結果を得ることができる。このため、精度よくパラメータを校正することができる。
　また、本実施の形態において、抽出部３０２ｃおよびマッチング部３０２ｄは、マッチング部３０２ｄにおけるマッチングにより得られるマッチング結果の総数が第１の数以上になるまで、複数の映像のそれぞれの、抽出が既に行われたフレームが対応するタイミングとは異なるタイミングに対応するフレームについて、抽出およびマッチングを繰り返す。
　これによれば、十分な数のマッチング結果を得られた場合には、異なるタイミングに対応するフレームについて抽出およびマッチングを実行しないため、処理負荷を低減することができる。
　また、本実施の形態において、複数の映像２０、３０、４０、５０、・・・のそれぞれについて当該映像を複数の領域Ａ１１～Ａ１４、Ａ２１～Ａ２４に分割したとき、複数の領域Ａ１１～Ａ１４、Ａ２１～Ａ２４のうち複数のマッチング結果で対応付けられている複数の特徴点のうちで当該映像から得られた複数の特徴点が第２の数未満である不足領域がある場合、抽出部３０２ｃ、マッチング部３０２ｄおよび再構成部３０２ｅは、次の処理を実行する。抽出部３０２ｃは、複数の映像２０、３０、４０、５０、・・・のそれぞれについて、当該映像のうちの不足領域に動物体が映り込んでいる第４フレームを抽出し、第４フレームの不足領域から第４特徴点を抽出する。マッチング部３０２ｄは、抽出された複数の第４特徴点を用いて互いにマッチングを行う。再構成部３０２ｅは、新たに行われたマッチングにより得られたマッチング結果をさらに含む複数のマッチング結果に基づいて、複数の撮像装置１０Ａ～１０Ｎのパラメータを算出する。
　よって、不足領域で十分な数のマッチング結果を得ることができる。このため、精度よくパラメータを校正することができる。また、不足領域に対して処理を行えばよいため、処理負荷を低減することができる。
　また、本実施の形態において、抽出部３０２ｃおよびマッチング部３０２ｄは、複数の領域のそれぞれにおいてマッチング部３０２ｄにおけるマッチングにより得られるマッチング結果の総数が第２の数以上になるまで、複数の映像のそれぞれの、抽出が既に行われたフレームが対応するタイミングとは異なるタイミングに対応するフレームについて、抽出およびマッチングを繰り返す。
　これによれば、不足領域で十分な数のマッチング結果を得られた場合には、異なるタイミングに対応するフレームについて抽出およびマッチングを実行しないため、処理負荷を低減することができる。
　また、本実施の形態において、再構成部３０２ｅは、さらに、複数のマッチング結果のそれぞれの三次元空間上における三次元位置を推定する。校正装置３００は、さらに、判定部３０２ｆを備える。判定部３０２ｆは、再構成部３０２ｅにより推定された複数の三次元位置に基づいて、校正したパラメータの精度が十分であるか否かを判定する。判定部３０２ｆにおいて、パラメータの精度が十分でないと判定された場合、抽出部３０２ｃ、マッチング部３０２ｄ、再構成部３０２ｅおよび判定部３０２ｆは、判定部３０２ｆにおいてパラメータの精度が十分であると判定されるまで、複数の映像のそれぞれの、抽出が既に行われたフレームが対応するタイミングとは異なるタイミングに対応するフレームについて、抽出、マッチング、校正、推定および判定を繰り返す。
　これによれば、精度が悪い場合には、他のフレームに対して処理を繰り返すため、校正により得られるパラメータの精度を向上させることができる。
　また、本実施の形態において、判定部３０２ｆは、再構成部３０２ｅにより推定された複数の三次元位置を複数の撮像装置１０Ａ～１０Ｎのそれぞれが撮像したと仮定したときに得られる二次元画像における複数の二次元座標と、当該撮像装置において撮像された映像から得られた第１特徴点および第２特徴点の二次元座標である複数の二次元座標との誤差が所定値より小さいか否かを判定する。抽出部３０２ｃ、マッチング部３０２ｄ、再構成部３０２ｅおよび判定部３０２ｆは、誤差が所定値より大きいと判定された場合、判定部３０２ｆにおいて誤差が所定値以下と判定されるまで、複数の映像のうちの異なるタイミングに対応する複数のフレームについて、抽出、マッチング、校正、推定および判定を繰り返す。このため、校正により得られるパラメータの精度を向上させることができる。
　また、本実施の形態において、撮像システム１０００は、複数台のカメラ１００と、状況感知部１６０と、イベント検出部２０２ａとを備える。
　複数台のカメラ１００は、所定の空間内において少なくとも一部が重複する領域の映像を互いに異なる位置から撮影する。
　状況感知部１６０は、複数台のカメラ１００の各々及び上記の所定の空間の少なくとも一方の状況を感知して、感知した状況を撮像状況情報として出力する。
　イベント検出部２０２ａは、この撮像状況情報に基づいて、所定のイベントの発生を検出し、前記所定のイベントの発生を検出した場合に、校正を実行するか否かについて判定する。また、校正を実行すると判定した場合は、実行される前記校正を示す校正情報を出力する。
　これにより、撮像中のカメラ１００の状況又は撮像が行われている場所の状況（イベント）に基づいて、校正の実行が必要であるか否か、又は校正の実行に適したタイミングであるか否かが判断される。そして実行されるこの校正を示す情報が提供されることで、対象及びタイミングが適切な校正の実行が可能になる。そして各カメラ１００の実際の位置等をカメラパラメータに反映するための更新の機会が撮像中にも確保される。このように更新されたカメラパラメータが用いられることで、三次元空間再構成が適切に実行される状態が維持され、その結果、三次元空間認識の精度及び利用可能性の安定性が高められる。
　また、撮像システム１０００は、複数台のカメラ１００の校正を実行させる校正指示部２０２ｂをさらに含んでもよい。そして校正情報は、複数台のカメラ１００のうち、校正を実行するカメラ１００を示す。出力された校正情報は校正指示部２０２ｂに入力され、校正指示部２０２ｂは、この校正情報が示すカメラ１００に校正を実行させる。
　これにより例えば人がすぐに近づけない位置にあるカメラ１００であっても、校正情報に基づく校正を速やかに実行することができる。したがって、三次元空間再構成が適切に実行される状態が維持され、その結果、三次元空間認識の精度及び利用可能性の安定性が高められる。
　また、校正情報は、さらに発生が検出された所定のイベントの内容を示してもよい。そして校正情報が示す校正を実行するカメラ１００が２台以上である場合、校正指示部２０２ｂは、校正情報に示される所定のイベントの内容に基づいて、校正を実行するカメラ１００の順序を決定し、２台以上のカメラ１００の校正を、決定した順序で実行させる。
　所定の空間の状況によっては、一斉に実行することで、精度の高い校正を速やかに実行できる場合がある。このように校正を実行する理由となったイベントに応じて校正を実行するカメラ１００の順序を決定することで、三次元空間再構成が適切に実行される状態の維持に適した順序でカメラ１００の校正が実行される。なお、この「順序」には、複数台のカメラ１００で並行して校正が実行される場合も含まれる。
　また、状況感知部１６０は、複数台のカメラ１００がそれぞれ備えるイメージセンサ１０４を含み、状況感知部１６０が出力する撮像状況情報は、イメージセンサ１０４が出力する映像を含んでもよい。この場合に、イベント検出部２０２ａは、この映像に含まれる特徴点を抽出し、抽出した特徴点の数が所定の個数以上である場合に、所定のイベントの発生を検出し、校正を実行すると判定してもよい。
　特徴点を多く含む映像を用いて実行される校正では、より精度（信頼度）の高いカメラパラメータが得られやすい。つまりこのようなときは校正の実行に適したタイミングである。このタイミングで実行された校正によって得られたカメラパラメータを用いることで、三次元空間再構成もより高い精度で実行され、三次元空間認識の精度及び利用可能性の安定性が高められる。
　また、状況感知部１６０は、複数台のカメラ１００がそれぞれ備えるイメージセンサ１０４を含み、状況感知部１６０が出力する撮像状況情報は、イメージセンサ１０４が出力する映像を含んでもよい。そしてこの場合に、イベント検出部２０２ａは、この映像に所定のオブジェクトの画像が含まれているか否かを判定し。所定のオブジェクトの画像が含まれていない場合には、所定のイベントの発生を検出し、校正を実行すると判定してもよい。
　ここでいう所定のオブジェクトとは、カメラ１００が撮像している場面の重要性を示すものであり、例えば監視区域における人や、球技の試合における選手又はボールである。このようなオブジェクトの画像を含まない映像データは、自由視点映像の生成に用いられる可能性が低いため、校正の実行の対象とすることでユーザから見ての三次元空間認識の精度及び利用可能性の安定性が高められる。
　また、状況感知部１６０は、複数台のカメラ１００がそれぞれ備えるイメージセンサ１０４、複数台のカメラ１００それぞれの位置の変化及び姿勢の変化を感知する動きセンサ１０５又は１２５、及び所定の空間内の音を収音する収音器１０７又は１４７のうち少なくとも１つを含んでもよい。そして、状況感知部１６０が出力する撮像状況情報は、イメージセンサ１０４、動きセンサ１０５又は１２５、及び収音器１０７又は１４７のうち少なくとも１つのそれぞれが出力する情報であってもよい。この場合に、イベント検出部２０２ａは、撮像状況情報が第１閾値を超える変化を示す場合に所定のイベントの発生を検出し、撮像状況情報が第１閾値より大きい第２閾値を超える変化を示す場合に校正を実行すると判定してもよい。
　イメージセンサ１０４等から出力される情報の変化からは、各カメラ１００の移動等、各カメラ１００における撮影領域を変化させて、カメラパラメータがカメラ１００の実際の状態を反映しなくなる可能性が高い変化を把握することができる。しかし、この変化の程度が小さい場合にも校正を実行するのは、映像データの利用可能な時間を削減し、かえって三次元空間再構成に悪影響が及ぶ可能性もなる。そこで、各カメラ１００の状況又は撮像場所の状況の変化の程度に応じて校正を実行するか否かが判定される。これにより、三次元空間再構成の適切な実行に影響があるような変化の場合には校正が実行され、その一方で、状況の変化よりも校正の実行自体の三次元空間再構成への影響が大きい場合には校正が実行されない。したがって、三次元空間再構成が適切に実行される状態が維持され、その結果、三次元空間認識の精度及び利用可能性の安定性が高められる。
　また、状況感知部１６０は、複数台のカメラ１００それぞれの所定の動作を検知する動作検知部１２６を含み、状況感知部１６０が出力する撮像状況情報は、動作検知部１２６が出力する、発生した所定の動作の情報であってもよい。この場合、イベント検出部２０２ａは、撮像状況情報として示される発生した所定の動作の情報に基づいて所定のイベントの発生を検出してもよい。
　これにより、カメラ１００又は架台１２０の動作によるカメラ１００の状態の変化に応じてカメラパラメータが更新されることで三次元空間再構成が適切に実行される状態が維持され、その結果、三次元空間認識の精度及び利用可能性の安定性が高められる。
　また、イベント検出部２０２ａは、複数台のカメラ１００それぞれについて、前回の校正の実行から所定の時間が経過したときに所定のイベントの発生を検出し、校正を実行すると判定してもよい。これにより、所定の頻度以上で各カメラの校正が実行される。例えば校正を実行すると判定される閾値を下回る変化が蓄積しているカメラについても校正が実行されてカメラパラメータの更新の機会が確保される。
　また、撮像システム１０００は、さらに、ユーザに情報を提示するためのユーザインタフェース４００を備えてもよい。そしてユーザインタフェース４００を介して校正情報をユーザに提示してもよい。
　これにより、撮像システム１０００のユーザは、例えば校正が実行される予定のカメラ１００、又は実行中のカメラ１００について知ることができる。また、この提示された校正情報に示される校正を実行する理由（所定のイベントの内容）に基づいて、校正の実行が予定されているカメラ１００の間での校正の実行順序をユーザが決定してもよい。
　［６．変形例］
　［６－１．変形例１］
　上記実施の形態では、複数の撮像装置１０Ａ～１０Ｎの全ての外部パラメータの校正を行うとしたが、全台よりも少ない２台以上の撮像装置の外部パラメータの校正の必要がある場合には、全部の撮像装置１０Ａ～１０Ｎの外部パラメータを校正する必要はない。つまり、外部パラメータの校正の必要があると判定された複数の撮像装置および外部パラメータの校正の必要がないと判定された少なくとも一つ以上の撮像装置の外部パラメータを校正してもよい。
　［６－２．変形例２］
　上記実施の形態では、制御装置２００が校正処理を行うとしたが、各撮像装置１０Ａ～１０Ｎの制御部１０２が行ってもよい。つまり、制御部１０２は、異なる複数の三次元位置にあるマーカ６０６が複数の撮像装置１０Ａ～１０Ｎのカメラ１００のそれぞれによって撮像されることにより得られた複数の撮像画像を用いて、複数の撮像装置１０Ａ～１０Ｎのカメラ１００の外部パラメータを校正してもよい。
　［６－３．変形例３］
　上記実施の形態では、校正処理のステップＳ４６において、マッチング部３０２ｄによるマッチング結果の数が十分であるか否かを判定している。そして、ステップＳ４６の判定の結果、マッチング結果の数が十分でなければ、取得した複数の映像から処理対象となるフレームを新たに選択し、ステップＳ４２～Ｓ４５の処理を再び行い、ステップＳ４６の判定においてマッチング結果の数が十分であると判定されるまで、ステップＳ４２～Ｓ４６の処理を繰り返すこととした。
　しかしながら、上記のようにマッチング結果の数が十分になるまで複数の映像から処理対象となるフレームを新たに選択してステップＳ４２～Ｓ４６の処理を繰り返すことに限らない。例えばｇｒｅｅｄｙ法を用いて、十分な数のマッチング結果が得られるようなフレームを事前に選択しておき、事前に選択されたフレームに対して特徴点のマッチングを行うことで、十分な数のマッチング結果を得られるような校正処理を行ってもよい。つまり、この場合の校正処理では、事前に選択されたフレーム以外には特徴点のマッチングが行われないため、十分な数のマッチング結果が得られずに処理負荷が増加し、かつ、処理時間が長くなることを抑制することができる。
　変形例３の校正処理について、図１６～図１８を用いて具体的に説明する。
　図１６は、変形例３における校正処理の一例を示すフローチャートである。
　なお、変形例における校正装置３００は、機能は異なるが、実施の形態１の校正装置３００の構成を用いて実現できるため、図５で説明した構成要素を用いて説明する。
　変形例３における校正装置３００における校正処理では、実施の形態１と同様のステップＳ４１を行う。
　次に、前処理部３０２ｂは、取得した複数の映像から十分な数のマッチング結果が得られるようなフレームを事前に選択する処理を行う（Ｓ４２ａ）。ステップＳ４２ａのフレームの事前選択の処理の具体例は、図１７および図１８を用いて説明する。
　図１７は、フレームの事前選択の処理の第１の例を示すフローチャートである。図１８は、複数のフレームからマスク画像合成結果を生成する処理について説明するための図である。
　前処理部３０２ｂは、１フレームを選択し、選択されたフレームを用いてマスク画像を生成する（Ｓ５１）。具体的には、前処理部３０２ｂは、取得された複数の映像のうちで最新のタイミングで撮影された１フレームを選択し、選択された１フレームについてマスク画像を生成する。例えば、図１８に示されるように、前処理部３０２ｂは、最新の時刻ｔ１３におけるフレーム４３を選択し、選択されたフレーム４３について前景である車両が占める領域を白色の画素とし、前景以外の背景の領域を黒色の画素とすることで、マスク画像４６を生成する。なお、マスク画像は、画像中の領域が前景であるか背景であるかが分離できればよく、前景の領域を白色の画素とし、背景の領域を黒色の画素とすることに限らずに、前景の領域を前景であることを示す第１の画素値とし、背景の領域を背景であることを示す第２の画素値とすればよい。第１の画素値と、第２の画素値とは互いに異なる値である。
　次に、前処理部３０２ｂは、生成されたマスク画像を合成フレームに合成する（Ｓ５２）。合成フレームは、記憶部３０１に記憶されており、前処理部３０２ｂは、記憶部３０１に記憶されている合成フレームを読み出して、読み出された合成フレームにステップＳ５１で生成されたマスク画像を合成する。そして、前処理部３０２ｂは、合成した結果得られた新たな合成フレームを記憶部３０１に記憶する。このとき、前処理部３０２ｂは、記憶部３０１に記憶されている合成フレームを、ステップＳ５２の合成により新たに合成することで得られた合成フレームに更新してもよい。
　なお、処理の初めの段階、つまり、複数の映像のうち１フレーム目が選択された段階においては、合成フレームは、例えば、合成フレームを構成する複数の画素のそれぞれが画素値を有していない空のフレームである。このため、前処理部３０２ｂは、マスク画像４６と空の合成フレームとを合成し、マスク画像４６と等しい合成フレームを生成する。ステップＳ５２における合成では、前処理部３０２ｂは、合成フレームとマスク画像４６とを重ね合わせたときに、合成フレームにおける前景の領域と、ステップＳ５１において生成されたマスク画像における前景の領域との和集合の領域を、前景の領域であることを示す白色の画素となるように合成する。よって、合成フレームでは、前景の領域の和集合の領域を除く領域が背景の領域となる。
　なお、合成フレームのサイズおよび形状と、複数の映像の１フレームにおけるサイズおよび形状とは互いに等しい。つまり、合成フレームの全画素数と、複数の映像の１フレームにおける全画素数とは互いに等しい。
　次に、前処理部３０２ｂは、合成フレームのスコアの、前回のスコアからの変化量が所定値未満であるか否かを判定する（Ｓ５３）。ここで、合成フレームのスコアは、合成フレームのうち前景の領域を構成する複数の画素の画素数である。つまり、スコアは、合成フレームのうち白色の画素の画素数である。なお、処理の初めの初期状態においては、スコアは０であるものとする。スコアは、記憶部３０１に記憶されている。このため、校正処理において初めてステップＳ５３が行われる前の段階では、スコアは、０から追加された前景の領域が有する画素の数だけ増加する。例えば、所定値は、１フレーム中の全画素数に所定の割合を乗じて得られた画素数である。所定の割合は、例えば、１～１０％である。
　前処理部３０２ｂは、スコアの変化量が所定値以上である場合（Ｓ５３でＮＯ）、ステップＳ５１に戻る。
　この場合のステップＳ５１では、前処理部３０２ｂは、前回選択したフレームの直前のフレームを選択し、マスク画像を合成する。例えば、図１８において前回選択されたフレームが時刻ｔ１３におけるフレーム４３であれば、前処理部３０２ｂは、その直前の時刻ｔ１２におけるフレーム４２を選択し、選択されたフレーム４２についてマスク画像４５を生成する。そして、次のステップＳ５２では、前処理部３０２ｂは、記憶部３０１に記憶されている合成フレームにマスク画像４５を合成する。前回生成された合成フレームは、マスク画像４６と同様の画像であるので、記憶部３０１にはマスク画像４６が合成フレームとして記憶されている。よって、前処理部３０２ｂは、この合成の結果、マスク画像４５の前景とマスク画像４６の前景との和集合の領域を白色の画素とした合成フレームを生成する。前処理部３０２ｂは、これらの処理を時刻ｔ１２の直前の時刻ｔ１３におけるフレーム４１に対しても同様に行う。この結果、フレーム４１に対応するマスク画像４４がさらに合成フレームに合成され、３つのフレーム４１～４３に基づく合成フレーム４７が生成される。
　ステップＳ５１～Ｓ５３の処理は、合成フレームのスコアの変化量が所定値未満となるまで繰り返し行われる。
　ここで、前回のスコアからの変化量について図１９を用いて説明する。図１９は、複数のフレームの前景の領域を合成した場合の、前景の領域の画素数の変化を示すグラフである。図１９のグラフの縦軸は、前景の領域の累積画素数、つまり、合成フレームにおけるスコアを示し、横軸は合成フレームとして合成されたフレームの数を示す。
　図１９に示されるように、フレーム数ＮＦまでは、グラフの傾きが急峻であるが、フレーム数ＮＦを超えるとグラフの傾きが緩やかとなる。ステップＳ５３で判定の対象となる前回のスコアからの変化量は、図１９におけるグラフの傾きと等しい。つまり、図１９で示される複数のフレームを用いた場合、例えば、フレーム数ＮＦまで、ステップＳ５１～Ｓ５３が繰り返されることとなる。
　前処理部３０２ｂは、スコアの変化量が所定値未満である場合（Ｓ５３でＹＥＳ）、記憶部３０１に記憶されている合成フレームを合成するのに使用された複数のフレーム全てを探索フレーム集合として決定する（Ｓ５４）。
　次に、前処理部３０２ｂは、探索フレーム集合に含まれる複数のフレームのうち最大スコアを有するフレームを処理フレームセットに追加する（Ｓ５５）。なお、校正処理において初めてステップＳ５５が実行される前の段階においては、処理フレームセットは、フレームを含んでいない状態である。
　前処理部３０２ｂは、評価用合成フレームに対応するマスク画像を合成したと仮定した場合に、合成後の評価用合成フレームのスコアが最大になるフレームを探索フレーム集合に含まれる複数のフレームから選択する（Ｓ５６）。具体的には、前処理部３０２ｂは、探索フレーム集合に含まれる複数のフレームのそれぞれについて、当該フレームから生成されるマスク画像と評価用合成フレームとを合成したと仮定したときにできる評価用合成フレームのスコアを算出する。つまり、前処理部３０２ｂは、探索フレーム集合に含まれる複数のフレームの数の分だけ、上記スコアを算出する。そして、前処理部３０２ｂは、探索フレーム集合に含まれる複数のフレームのうち、算出されたスコアが最大となるフレームを探索フレーム集合に含まれる複数のフレームから選択する。
　なお、評価用合成フレームは、合成フレームと同様に、記憶部３０１に記憶されており、処理の初めの段階、つまり、校正処理において初めてステップＳ５６が実行される前の段階においては、例えば、評価用合成フレームを構成する複数の画素のそれぞれが画素値を有していない空のフレームである。
　前処理部３０２ｂは、選択されたフレームから生成されたマスク画像を評価用合成フレームに合成する（Ｓ５７）。前処理部３０２ｂは、記憶部３０１に記憶されている評価用合成フレームを読み出して、読み出された評価用合成フレームにステップＳ５６で選択されたフレームから生成されたマスク画像を合成する。そして、前処理部３０２ｂは、合成した結果得られた新たな評価用合成フレームを記憶部３０１に記憶する。このとき、前処理部３０２ｂは、記憶部３０１に記憶されている評価用合成フレームを、ステップＳ５７の合成により新たに得られた評価用合成フレームに更新してもよい。
　なお、ステップＳ５６およびＳ５７における合成は、ステップＳ５２における合成と同じ合成である。
　前処理部３０２ｂは、ステップＳ５６で選択されたフレームを、探索フレーム集合から除去し、かつ、処理フレームセットに追加する（Ｓ５８）。前処理部３０２ｂは、除去後の探索フレーム集合、および、追加後の処理フレームセットを記憶部３０１に記憶する。
　前処理部３０２ｂは、指定数のフレームを選択したか否かを判定する（Ｓ５９）。つまり、前処理部３０２ｂは、処理フレームセットに追加したフレームの数が指定数と等しいか否かを判定する。指定数は、例えば、４である。
　前処理部３０２ｂは、処理フレームセットに追加したフレームの数が指定数に満たない場合（Ｓ５９でＮＯ）、ステップＳ５６に戻る。このときステップＳ５６では、ステップＳ５８の後において記憶部３０１に記憶されている探索フレーム集合に含まれる複数のフレームの中から１つのフレームの選択が行われる。
　前処理部３０２ｂは、処理フレームセットに追加したフレームの数が指定数に到達した場合（Ｓ５９でＹＥＳ）、記憶部３０１に記憶されている処理フレームセットを、事前選択した複数のフレームとして出力する（Ｓ６０）。
　以上で、第１の例のフレームの事前選択の処理が終了する。
　図１６に戻り、前処理部３０２ｂは、ステップＳ４２ａにおいて事前選択された複数のフレームの中から処理対象となるフレームを選択する（Ｓ４２ｂ）。前処理部３０２ｂは、例えば、所定の時刻に対応するフレームを選択する。
　そして、選択された処理対象となるフレームについて、実施の形態１における校正処理のステップＳ４３～Ｓ４５と同様の処理が行われる。
　その後、マッチング部３０２ｄは、事前選択された複数のフレームの全てについて、ステップＳ４３～Ｓ４５の処理が行われたか否かを判定する（Ｓ４６ａ）。事前選択された複数のフレームの全てについて、ステップＳ４３～Ｓ４５の処理が行われていないと判定された場合（Ｓ４６ａでＮＯ）、事前選択された複数のフレームのうちステップＳ４３～Ｓ４５の処理が未だ行われていないフレームについてステップＳ４２ｂ、Ｓ４３～Ｓ４５の処理が行われる。事前選択された複数のフレームの全てについて、ステップＳ４３～Ｓ４５の処理が行われたと判定された場合（Ｓ４６ａでＹＥＳ）、次のステップＳ４７およびＳ４８に進む。
　なお、以降のステップＳ４７およびＳ４８は、実施の形態１における校正処理のステップＳ４７およびＳ４８と同様であるので説明を省略する。
　このように、変形例３における校正処理では、ステップＳ４２ａのフレームの事前選択を行うことにより、十分な数のマッチング結果が得られるようなフレームを事前に選択することができる。このため、この校正処理では、事前に選択されたフレーム以外には特徴点のマッチングが行われない。よって、十分な数のマッチング結果が得られずに処理負荷が増加し、かつ、処理時間が長くなることを抑制することができる。
　なお、フレームの事前選択の処理は、図１７の第１の例で説明した処理に限るものではない。例えば、第１の例では、ステップＳ５９において、処理フレームセットに追加されるフレームの上限を指定数として固定値に定めることで、指定数のフレーム中の前景の領域が最大化するような組合せをｇｒｅｅｄｙ法で求め、当該組合せのフレームを選択するとしたが、これに限らない。例えば、１フレームの画像領域に対する前景の領域の和集合の割合が所定の割合（例えば、３０％）以上となるような複数のフレームのうち、フレームの数が最小化するような組合せをｇｒｅｅｄｙ法で求め、当該組合せのフレームを選択するとしてもよい。
　この場合のフレームの事前選択の処理について、図２０を用いて説明する。図２０は、フレームの事前選択の処理の第２の例を示すフローチャートである。
　フレームの事前選択の処理の第２の例では、第１の例のステップＳ５９の代わりにステップＳ５９ａを行う点が異なる。つまり、第２の例では、第１の例と同様のステップＳ５１～Ｓ５８が行われる。
　ステップＳ５８の後で、前処理部３０２ｂは、（ｉ）記憶部３０１に記憶されている評価用合成フレームのスコアが予め定められた閾値以上であるか否か、または、（ｉｉ）探索フレーム集合が空であるか否か、を判定する（Ｓ５９ａ）。なお、探索フレーム集合が空であるとは、ステップＳ５８が繰り返されることで探索フレーム集合に含まれるフレームの数が０となった状態である。
　前処理部３０２ｂは、評価用合成フレームのスコアが閾値未満であり、かつ、探索フレーム集合が空でない場合（Ｓ５９ａでＮＯ）、ステップＳ５６に戻る。このときステップＳ５６では、ステップＳ５８の後において記憶部３０１に記憶されている探索フレーム集合に含まれる複数のフレームの中から１つのフレームの選択が行われる。
　前処理部３０２ｂは、評価用合成フレームのスコアが閾値以上である、または、探索フレーム集合が空である場合（Ｓ５９ａでＹＥＳ）、記憶部３０１に記憶されている処理フレームセットを、事前選択した複数のフレームとして出力する（Ｓ６０）。
　以上で、第２の例のフレームの事前選択の処理が終了する。
　また、フレームの事前選択の処理は、図１７の第１の例および図２０の第２の例で説明した処理に限るものではない。例えば、事前選択するフレームの数をより少なく、かつ、１フレームの画像領域に対する前景の領域の和集合の割合をより大きくするような多目的最適化の組合せのフレームを選択するとしてもよい。この場合、例えば、事前選択するフレームの数をＮ（Ｎは１より大きい自然数）、前景の領域のサイズをｆ、１フレームの画像領域のサイズをＩとしたとき、１／（Ｎ＋１）＋ｆ／Ｉを最大化するような組合せをｇｒｅｅｄｙ法で求め、当該組合せのフレームを選択する。なお、前景の領域のサイズｆおよび画像領域のサイズＩは、当該領域を構成する画素の数で表されてもよい。
　この場合のフレームの事前選択の処理について、図２１を用いて説明する。図２１は、フレームの事前選択の処理の第３の例を示すフローチャートである。
　フレームの事前選択の処理の第３の例では、第１の例のステップＳ５７～Ｓ５９の代わりに、ステップＳ５６ｂ、Ｓ５７、Ｓ５８、Ｓ５６ｃを実行する点が異なる。つまり、第３の例では、第１の例と同様のステップＳ５１～Ｓ５６が行われる。
　ステップＳ５６の後で、前処理部３０２ｂは、ステップＳ５６において算出された複数のスコアのうち最大のスコアである現スコアが、記憶部３０１に記憶されている暫定最大スコア以上であるか否かを判定する（Ｓ５６ｂ）。なお、校正処理において初めてステップＳ５６ｂが実行される前の段階においては、記憶部３０１に記憶されている暫定最大スコアは、例えば０である。
　前処理部３０２ｂは、現スコアが暫定最大スコア以上である場合（Ｓ５６ｂでＹＥＳ）、ステップＳ５７およびＳ５８を実行し、さらに、現スコアを暫定最大スコアとして記憶部３０１に記憶する（Ｓ５６ｃ）。このとき、前処理部３０２ｂは、記憶部３０１に記憶されている暫定最大スコアを、現スコアに更新してもよい。
　ステップＳ５６ｃが終了すると、ステップＳ５６に戻る。このときステップＳ５６では、ステップＳ５８の後において記憶部３０１に記憶されている探索フレーム集合に含まれる複数のフレームの中から１つのフレームの選択が行われる。
　前処理部３０２ｂは、現スコアが暫定最大スコア未満である場合（Ｓ５６ｂでＮＯ）、記憶部３０１に記憶されている処理フレームセットを、事前選択した複数のフレームとして出力する（Ｓ６０）。
　以上で、第３の例のフレームの事前選択の処理が終了する。
　（実施の形態２）
　上記各実施の形態で示した画像処理方法及び装置の構成の他の応用例とそれを用いたシステムを説明する。当該システムは、インテリジェント化と対象空間の広域化とが進む映像システムに適用でき、例えば、（１）店舗或いは工場のセキュリティカメラ、又は警察の車載カメラなどに実装される監視システム、（２）個人所有のカメラ或いは各車載カメラ、又は道路に備えられたカメラなどを用いた交通情報システム、（３）ドローンなど遠隔操作又は自動制御可能な装置を用いた環境調査又は配送システム、及び（４）エンターテイメント施設又はスタジアム等における設置カメラ、ドローン等の移動カメラ、又は個人所有のカメラなどを用いた映像などのコンテンツ送受信システムなどに適用できる。
　図２２は、本実施の形態における映像情報処理システムｅｘ１００の構成を示す図である。本実施の形態においては、死角の発生を防止する例、及び特定の領域を撮影禁止にする例について説明する。
　図２２に示す映像情報処理システムｅｘ１００は、映像情報処理装置ｅｘ１０１と、複数台のカメラｅｘ１０２と、映像受信装置ｅｘ１０３とを含む。なお、映像受信装置ｅｘ１０３は、必ずしも映像情報処理システムｅｘ１００に含まれる必要はない。
　映像情報処理装置ｅｘ１０１は、保存部ｅｘ１１１と、解析部ｅｘ１１２とを備える。Ｎ個のカメラｅｘ１０２のそれぞれは、映像を撮影する機能と撮影した映像データを映像情報処理装置ｅｘ１０１に送信する機能とを有する。また、カメラｅｘ１０２は、撮影中の映像を表示する機能を有する場合もある。なお、カメラｅｘ１０２は、撮影された映像信号をＨＥＶＣ又はＨ．２６４のような符号化方式を用いてエンコードしたうえで映像情報処理装置ｅｘ１０１に送信してよいし、エンコードされていない映像データを映像情報処理装置ｅｘ１０１に送信してもよい。
　ここで、各カメラｅｘ１０２は、監視カメラ等の固定カメラ、無人飛行型ラジコンや車等に搭載された移動カメラ、又は、ユーザが所持するユーザカメラである。
　移動カメラは、映像情報処理装置ｅｘ１０１から送信された指示信号を受信し、受信された指示信号に応じて、移動カメラ自体の位置又は撮影方向を変更する。
　また、撮影開示前に複数台のカメラｅｘ１０２の時刻が、サーバ又は基準カメラの時刻情報などを用いてキャリブレーションされる。また、複数台のカメラｅｘ１０２の空間位置が、撮影対象となる空間のオブジェクトの写り方又は基準カメラからの相対位置に基づいてキャリブレーションされる。
　情報処理装置ｅｘ１０１に含まれる保存部ｅｘ１１１は、Ｎ個のカメラｅｘ１０２から送信された映像データを保存する。
　解析部ｅｘ１１２は、保存部ｅｘ１１１に保存された映像データから死角を検出し、死角の発生を防止するための移動カメラへの指示を示す指示信号を移動カメラへ送信する。移動カメラは指示信号に従って移動を行い、撮影を継続する。
　解析部ｅｘ１１２は、例えば、ＳｆＭ（Ｓｔｒｕｃｔｕｒｅ　ｆｒｏｍ　Ｍｏｔｉｏｎ）を用いて死角検出を行う。ＳｆＭとは、異なる位置から撮影された複数の映像から被写体の三次元形状を復元する手法であり、被写体形状及びカメラ位置を同時に推定する形状復元技術として広く知られている。例えば、解析部ｅｘ１１２は、ＳｆＭを用いて、保存部ｅｘ１１１に保存された映像データから施設内又はスタジアム内の三次元形状を復元し、復元できない領域を死角として検出する。
　なお、解析部ｅｘ１１２は、カメラｅｘ１０２の位置及び撮影方向が固定であり、位置及び撮影方向の情報が既知の場合は、これらの既知の情報を用いてＳｆＭを行ってもよい。また、移動カメラの位置及び撮影方向が、移動カメラが備えるＧＰＳ及び角度センサ等により取得できる場合は、移動カメラは、当該移動カメラの位置及び撮影方向の情報を解析部ｅｘ１１２に送信し、解析部ｅｘ１１２は、送信された位置及び撮影方向の情報を用いてＳｆＭを行ってもよい。
　なお、死角検出の方法は上述したＳｆＭを用いた方法に限られるものではない。例えば、解析部ｅｘ１１２は、レーザレンジファインダなどのデプスセンサの情報を用いることで、撮影対象であるオブジェクトの空間距離を把握してもよい。また、解析部ｅｘ１１２は、カメラ位置、撮影方向及びズーム倍率等の情報を、空間内の予め設定したマーカ又は特定のオブジェクトが画像に含まれるか、含まれる場合にはそのサイズ等から検出してもよい。このように、解析部ｅｘ１１２は、各カメラの撮影領域を検出できる任意の方法を用いて、死角の検出を行う。また、解析部ｅｘ１１２は、複数の撮影対象について互いの位置関係等の情報を映像データ又は近接距離センサ等から取得し、取得した位置関係に基づいて死角が発生する可能性の高い領域を特定してもよい。
　ここで死角とは、撮影したい領域中で映像が存在しない部分だけでなく、他の部分と比較して画質の悪い部分、及び予め定められた画質を得られていない部分などを含む。この検出対象の部分は、当該システムの構成又は目的に応じて適宜設定されればよい。例えば、撮影される空間中の特定の被写体について、要求される画質が高く設定されてもよい。また、逆に撮影空間中の特定の領域について、要求される画質が低く設定されてもよいし、映像が撮影されていなくても死角と判定しないように設定されてもよい。
　なお、上述した画質とは、映像中の撮影対象となる被写体が占める面積（例えばピクセル数）、又は撮影対象となる被写体にピントが合っているかといった映像に関する様々な情報を含むものであり、それらの情報又はその組み合わせを基準に死角であるか否かが判定されればよい。
　なお、上記の説明では、実際に死角となっている領域の検出について説明したが、死角の発生を防止するために検出する必要のある領域は実際に死角となっている領域に限定されない。例えば、複数の撮影対象が存在し、少なくともその一部が移動している場合には、ある撮影対象とカメラとの間に別の撮影対象が入ることによって新たな死角が生じる可能性がある。これに対し、解析部ｅｘ１１２は、例えば撮影された映像データ等から複数の撮影対象の動きを検出し、検出された複数の撮影対象の動きとカメラｅｘ１０２の位置情報に基づいて、新たに死角となる可能性のある領域を推定してもよい。この場合、映像情報処理装置ｅｘ１０１は、死角となる可能性のある領域を撮影するように移動カメラに指示信号を送信し、死角の発生を防止してもよい。
　なお、移動カメラが複数ある場合、映像情報処理装置ｅｘ１０１は、死角、又は死角となる可能性がある領域を撮影させるために指示信号を送信する移動カメラを選択する必要がある。また、移動カメラ及び死角、又は死角となる可能性がある領域がそれぞれ複数存在する場合、映像情報処理装置ｅｘ１０１は、複数の移動カメラのそれぞれについて、どの死角、又は死角となる可能性がある領域を撮影させるかを決定する必要がある。例えば、映像情報処理装置ｅｘ１０１は、死角、又は死角となる可能性のある領域と各移動カメラが撮影中の領域の位置とに基づいて、死角、又は死角となる領域に最も近い移動カメラを選択する。また、映像情報処理装置ｅｘ１０１は、各移動カメラについて、当該移動カメラが現在撮影中の映像データが得られない場合に新たに死角が発生するか否かを判定し、現在撮影中の映像データが得られなくても死角が発生しないと判断された移動カメラを選択してもよい。
　以上の構成により、映像情報処理装置ｅｘ１０１は、死角を検出し、死角を防止するように移動カメラに対して指示信号を送信することにより、死角の発生を防止できる。
　（変形例１）
　なお、上記説明では、移動カメラに移動を指示する指示信号が送信される例を述べたが、指示信号は、ユーザカメラのユーザに移動を指示するための信号であってもよい。例えば、ユーザカメラは、指示信号に基づき、ユーザにカメラの方向を変更するように指示する指示画像を表示する。なお、ユーザカメラは、ユーザの移動の指示として、地図上に移動経路を示した指示画像を表示してもよい。また、ユーザカメラは、取得される画像の質を向上させるために撮影方向、角度、画角、画質、及び撮影領域の移動など詳細な撮影の指示を表示してもよく、さらに映像情報処理装置ｅｘ１０１側で制御可能であれば、映像情報処理装置ｅｘ１０１は、そのような撮影に関するカメラｅｘ１０２の特徴量を自動で制御してもよい。
　ここで、ユーザカメラは、例えば、スタジアム内の観客又は施設内の警備員が持つスマートフォン、タブレット型端末、ウェアラブル端末、又はＨＭＤ（Ｈｅａｄ　Ｍｏｕｎｔｅｄ　Ｄｉｓｐｌａｙ）である。
　また、指示画像を表示する表示端末は、映像データを撮影するユーザカメラと同一である必要はない。例えば、ユーザカメラに予め対応付けられた表示端末に対して、ユーザカメラが指示信号又は指示画像を送信し、当該表示端末が指示画像を表示してもよい。また、ユーザカメラに対応する表示端末の情報が、予め映像情報処理装置ｅｘ１０１に登録されてもよい。この場合は、映像情報処理装置ｅｘ１０１は、ユーザカメラに対応する表示端末に対して指示信号を直接送信することで、表示端末に指示画像を表示させてもよい。
　（変形例２）
　解析部ｅｘ１１２は、例えばＳｆＭを用いて、保存部ｅｘ１１１に保存された映像データから施設内又はスタジアム内の三次元形状を復元することで自由視点映像（三次元再構成データ）を生成してもよい。この自由視点映像は、保存部ｅｘ１１１に保存される。映像情報処理装置ｅｘ１０１は、映像受信装置ｅｘ１０３から送信される視野情報（及び／又は、視点情報）に応じた映像データを保存部ｅｘ１１１から読み出して、映像受信装置ｅｘ１０３に送信する。なお、映像受信装置ｅｘ１０３は、複数台のカメラの一つであってもよい。
　（変形例３）
　映像情報処理装置ｅｘ１０１は、撮影禁止領域を検出してもよい。この場合、解析部ｅｘ１１２は撮影画像を解析し、移動カメラが撮影禁止領域を撮影している場合には移動カメラに対して撮影禁止信号を送信する。移動カメラは撮影禁止信号を受信している間は撮影を停止する。
　解析部ｅｘ１１２は、例えば、ＳｆＭを用いて復元された三次元の仮想空間と、撮影映像とのマッチングを取ることで、空間内で予め設定されている移動カメラが撮影禁止領域を撮影中かを判定する。または、解析部ｅｘ１１２は、空間内に配置されたマーカ又は特徴的なオブジェクトをトリガーとして移動カメラが撮影禁止領域を撮影中かを判定する。撮影禁止領域とは、例えば施設内又はスタジアム内のトイレなどである。
　また、ユーザカメラが撮影禁止領域を撮影している場合には、ユーザカメラは、無線又は有線で接続されるディスプレイ等にメッセージを表示したり、スピーカ又はイヤホンから音又は音声を出力したりすることで、現在の場所が撮影禁止場所であることをユーザに知らせてもよい。
　例えば、上記メッセージとして、現在カメラを向けている方向が撮影禁止である旨が表示される。または、表示される地図上に撮影禁止領域と現在の撮影領域とが示される。また、撮影の再開は、例えば、撮影禁止信号が出力されなくなれば自動的に行われる。または、撮影禁止信号が出力されておらず、かつ、ユーザが撮影再開を行う操作をした場合に、撮影が再開されてもよい。また、撮影の停止と再開とが短期間で複数回起こった場合には、再度キャリブレーションが行われてもよい。または、ユーザに現在位置を確認したり移動を促したりするための通知が行われてもよい。
　また、警察など特別な業務の場合には、記録のためこのような機能をオフにするパスコード又は指紋認証などが用いられてもよい。さらに、そのような場合であっても撮影禁止領域の映像が外部に表示されたり保存される場合には自動でモザイクなど画像処理が行われてもよい。
　以上の構成により、映像情報処理装置ｅｘ１０１は、撮影禁止の判定を行い、撮影を停止するようにユーザに通知することで、ある領域を撮影禁止に設定できる。
　（変形例４）
　映像から三次元の仮想空間を構築するためには、複数視点の映像を集める必要があるため、映像情報処理システムｅｘ１００は、撮影映像を転送したユーザに対してインセンティブを設定する。例えば、映像情報処理装置ｅｘ１０１は、映像を転送したユーザに対し、無料又は割引料金で映像配信を行ったり、オンライン又はオフラインの店又はゲーム内で使用できるような金銭的な価値、又はゲームなどのバーチャル空間での社会的地位など非金銭的な価値のあるポイントを付与する。また、映像情報処理装置ｅｘ１０１は、リクエストが多いなど価値のある視野（及び／又は、視点）の撮影映像を転送したユーザに対しては特に高いポイントを付与する。
　（変形例５）
　映像情報処理装置ｅｘ１０１は、解析部ｅｘ１１２の解析結果に基づき、ユーザカメラに対して付加情報を送信してもよい。この場合、ユーザカメラは撮影映像に付加情報を重畳して、画面に表示する。付加情報とは、例えば、スタジアムでの試合が撮影されている場合には、選手名又は身長などの選手の情報であり、映像内の各選手に対応付けて当該選手の名前又は顔写真などが表示される。なお、映像情報処理装置ｅｘ１０１は、映像データの一部又は全部の領域に基づきインターネット経由の検索により、付加情報を抽出してもよい。また、カメラｅｘ１０２は、Ｂｌｕｅｔｏｏｔｈ（登録商標）をはじめとする近距離無線通信又は、スタジアム等の照明から可視光通信によりそのような付加情報を受け取り、受け取った付加情報を、映像データにマッピングしてもよい。また、カメラｅｘ１０２は、このマッピングを、カメラｅｘ１０２に有線又は無線により接続される記憶部に保持されるテーブルであって、可視光通信技術により得られる情報と付加情報との対応関係を示すテーブルなどの一定規則に基づいて行なってもよいし、インターネット検索により最も確からしい組み合わせの結果を用いて行なってもよい。
　また、監視システムにおいては、施設内の警備員が持つユーザカメラに対して、例えば注意人物の情報が重畳されることで、監視システムの高精度化を図ることができる。
　（変形例６）
　解析部ｅｘ１１２は，自由視点映像とユーザカメラの撮影映像とのマッチングを取ることで、ユーザカメラが施設内又はスタジアム内のどの領域を撮影中かを判定してもよい。なお、撮影領域の判定方法はこれに限られず、上述した各実施の形態で説明した様々な撮影領域の判定方法又はその他の撮影領域の判定方法を用いられてもよい。
　映像情報処理装置ｅｘ１０１は、解析部ｅｘ１１２の解析結果に基づき、ユーザカメラに対して過去映像を送信する。ユーザカメラは撮影映像に過去映像を重畳して、又は撮影映像を過去映像に置換して、画面に表示する。
　例えば、ハーフタイム中に、過去映像として前半のハイライトシーンが表示される。これにより、ユーザはハーフタイム中に、前半のハイライトシーンを自分が見ている方向の映像として楽しむことができる。なお過去映像は、前半のハイライトシーンに限らず、そのスタジアムで行われた過去の試合のハイライトシーンなどでもよい。また、映像情報処理装置ｅｘ１０１が過去映像を配信するタイミングはハーフタイム中に限らず、例えば試合終了後でも、試合中でもよい。特に試合中の場合には、解析部ｅｘ１１２の解析結果に基づき、映像情報処理装置ｅｘ１０１はユーザが見逃した重要と考えられるシーンを配信してもよい。また、映像情報処理装置ｅｘ１０１はユーザからリクエストがあった場合に過去映像を配信してもよく、又は過去映像の配信前に配信許可のメッセージを配信してもよい。
　（変形例７）
　映像情報処理装置ｅｘ１０１は、解析部ｅｘ１１２の解析結果に基づき、ユーザカメラに対して広告情報を送信してもよい。ユーザカメラは撮影映像に広告情報を重畳して、画面に表示する。
　広告情報は例えば変形例６で示した、ハーフタイム中又は試合終了後の過去映像配信直前に配信されてもよい。これにより、配信業者は広告主からの広告料を得ることができ、ユーザに安価又は無料で映像配信サービスを提供できる。また、映像情報処理装置ｅｘ１０１は、広告情報の配信直前に広告配信許可のメッセージを配信してもよいし、ユーザが広告を視聴した場合に無料でサービスを提供してもよいし、広告を視聴しない場合より安価にサービスを提供してもよい。
　また、広告に従ってユーザが「今すぐ注文する」などをクリックすると、当該システム又は何らかの位置情報に基づいてユーザの位置を把握しているスタッフ又は会場の自動の配送システムが注文された飲み物を席まで届けてくれる。決裁はスタッフへの手渡しでもよいし、予めモバイル端末のアプリ等に設定されているクレジットカード情報に基づいて行われてもよい。また、広告にはｅコマースサイトへのリンクが含まれ、通常の自宅配送等のオンラインショッピングが可能な状態になっていてもよい。
　（変形例８）
　映像受信装置ｅｘ１０３は、カメラｅｘ１０２（ユーザカメラ）の一つであってもよい。この場合、解析部ｅｘ１１２は、自由視点映像とユーザカメラの撮影映像とのマッチングを取ることで、ユーザカメラが施設内又はスタジアム内のどの領域を撮影中かを判定する。なお、撮影領域の判定方法はこれに限らない。
　例えば、ユーザが、画面に表示されている矢印の方向にスワイプ操作をすると、ユーザカメラはその方向へ視点を移動させることを示す視点情報を生成する。映像情報処理装置ｅｘ１０１は、解析部ｅｘ１１２が判定したユーザカメラの撮影領域から視点情報の分移動させた領域を撮影した映像データを保存部ｅｘ１１１から読み出し、当該映像データのユーザカメラへの送信を開始する。そしてユーザカメラは撮影映像ではなく、映像情報処理装置ｅｘ１０１から配信された映像を表示する。
　以上により、施設内又はスタジアム内のユーザは、画面スワイプのような簡易な動作で、好きな視点からの映像を視聴できる。例えば野球場の３塁側で観戦している観客が、１塁側の視点からの映像を視聴できる。また、監視システムにおいては、施設内の警備員が画面スワイプのような簡易な動作で、自身が確認したい視点又はセンターからの割り込みとして注視すべき映像などを、視点を適用的に変えながら視聴することができるので、監視システムの高精度化を図ることができる。
　また、施設内又はスタジアム内のユーザへの映像の配信は、例えばユーザカメラと撮影対象との間に障害物が存在し、見えない領域がある場合等にも有効である。この場合、ユーザカメラは、ユーザカメラの撮影領域のうち障害物が含まれる一部の領域の映像を、撮影映像から、映像情報処理装置ｅｘ１０１からの配信映像に切り替えて表示してもよいし、画面全体を撮影映像から配信映像に切り替えて表示してもよい。また、ユーザカメラは、撮影映像と配信映像とを合成して障害物を透過して視聴対象が見えているような映像を表示してもよい。この構成によると、障害物の影響でユーザの位置から撮影対象が見えない場合にも、映像情報処理装置ｅｘ１０１から配信された映像を視聴することができるので、障害物の影響を軽減することができる。
　また、障害物により見えない領域の映像として配信映像を表示する場合は、上述した画面スワイプのようなユーザによる入力処理に応じた表示の切り替え制御とは異なる表示の切り替え制御が行われてもよい。例えば、ユーザカメラの移動及び撮影方向の情報、並びに予め得られている障害物の位置情報に基づいて撮影領域に障害物が含まれると判定される場合に、撮影映像から配信映像への表示の切り替えが自動的に行われもよい。また、撮影映像データの解析により撮影対象ではない障害物が映っていると判定された場合に、撮影映像から配信映像への表示の切り替えが自動的に行われてもよい。また、撮影映像に含まれる障害物の面積（例えばピクセル数）が所定の閾値を超えた場合、又は撮影対象の面積に対する障害物の面積の比が所定の割合を超えた場合に、撮影映像から配信映像への表示の切り替えが自動的に行われてもよい。
　なお、ユーザの入力処理に応じて撮影映像から配信映像への表示の切り替え及び配信映像から撮影映像への表示の切り替えが行われてもよい。
　（変形例９）
　各カメラｅｘ１０２で撮影された映像データの重要度に基づき映像データを映像情報処理装置ｅｘ１０１に転送する速度が指示されてもよい。
　この場合、解析部ｅｘ１１２は保存部ｅｘ１１１に保存された映像データ、又は当該映像データを撮影したカメラｅｘ１０２の重要度を判定する。ここでの重要度の判定は、例えば映像中に含まれる人の数或いは移動物体の数、映像データの画質などの情報、又はその組み合わせに基づいて行われる。
　また、映像データの重要度の判定は、映像データが撮影されたカメラｅｘ１０２の位置又は映像データが撮影している領域に基づいてもよい。例えば、対象のカメラｅｘ１０２の近くに撮影中の他のカメラｅｘ１０２が複数存在する場合に、対象のカメラｅｘ１０２で撮影された映像データの重要度を低くする。また、対象のカメラｅｘ１０２の位置が他のカメラｅｘ１０２から離れていても同じ領域を撮影している他のカメラｅｘ１０２が複数存在する場合に、対象のカメラｅｘ１０２で撮影された映像データの重要度を低くする。また、映像データの重要度の判定は、映像配信サービスにおけるリクエストの多さに基づいて行われてもよい。なお、重要度の判定方法は、上述したものやその組み合わせに限られず、監視システム又は映像配信システムの構成又は目的に応じた方法であればよい。
　また、重要度の判定は撮影された映像データに基づくものでなくてもよい。例えば、映像情報処理装置ｅｘ１０１以外の端末へ映像データを送信するカメラｅｘ１０２の重要度が高く設定されてもよい。逆に、映像情報処理装置ｅｘ１０１以外の端末へ映像データを送信するカメラｅｘ１０２の重要度が低く設定されてもよい。これにより、例えば、映像データの伝送を必要とする複数のサービスが通信帯域を共有している場合に、各サービスの目的又は特性に応じた通信帯域の制御の自由度が高くなる。これにより、必要な映像データが得られないことによる各サービスの品質の劣化を防止できる。
　また、解析部ｅｘ１１２は、自由視点映像とカメラｅｘ１０２の撮影映像とを用いて、映像データの重要度を判定してもよい。
　映像情報処理装置ｅｘ１０１は、解析部ｅｘ１１２で行われた重要度の判定結果に基づき、カメラｅｘ１０２に対して通信速度指示信号を送信する。映像情報処理装置ｅｘ１０１は、例えば、重要度が高い映像を撮影しているカメラｅｘ１０２に対して高い通信速度を指示する。また、映像情報処理装置ｅｘ１０１は、速度の制御だけではなく、重要な情報については、欠落によるデメリットを低減するために複数回送るような方式を指示する信号を送信してもよい。これにより、施設内又はスタジアム内全体の通信を効率的に行うことができる。なお、カメラｅｘ１０２と映像情報処理装置ｅｘ１０１との通信は、有線通信であっても無線通信であってもよい。また、映像情報処理装置ｅｘ１０１は、有線通信及び無線通信のいずれか一方を制御してもよい。
　カメラｅｘ１０２は、通信速度指示信号に従った通信速度で、撮影映像データを映像情報処理装置ｅｘ１０１に送信する。なお、カメラｅｘ１０２は所定の回数再送が失敗した場合には、その撮影映像データの再送を停止し、次の撮影映像データの転送を開始してもよい。これにより、施設内又はスタジアム内全体の通信を効率的に行うことができ、解析部ｅｘ１１２における処理の高速化を実現できる。
　また、カメラｅｘ１０２は、それぞれに割り当てられた通信速度が撮影した映像データを転送するために十分な帯域でない場合は、撮影した映像データを、割り当てられた通信速度で送信可能なビットレートの映像データに変換し、変換後の映像データを送信してもよし、映像データの転送を中止してもよい。
　また、上述したように死角の発生を防止するために映像データが使用される場合、撮影された映像データに含まれる撮影領域のうちの一部の領域が死角を埋めるために必要である可能性がある。この場合、カメラｅｘ１０２は、少なくとも、映像データから、死角の発生を防止するために必要とされる領域を抽出することで抽出映像データを生成し、生成された抽出映像データを映像情報処理装置ｅｘ１０１に送信してもよい。この構成によると、死角の発生の抑制をより少ない通信帯域で実現できる。
　また、例えば、付加情報の重畳表示又は映像配信が行われる場合には、カメラｅｘ１０２は、映像情報処理装置ｅｘ１０１にカメラｅｘ１０２の位置情報及び撮影方向の情報を送信する必要がある。この場合、映像データを転送するためには十分ではない帯域しか割り当てられなかったカメラｅｘ１０２は、カメラｅｘ１０２で検出された位置情報及び撮影方向の情報を送信してもよい。また、映像情報処理装置ｅｘ１０１においてカメラｅｘ１０２の位置情報及び撮影方向の情報を推定する場合は、カメラｅｘ１０２は、撮影した映像データを、位置情報及び撮影方向の情報の推定に必要な解像度に変換し、変換された映像データを映像情報処理装置ｅｘ１０１に送信してもよい。この構成によると、少ない通信帯域しか割り当てられなかったカメラｅｘ１０２に対しても、付加情報の重畳表示又は映像配信のサービスを提供できる。また、映像情報処理装置ｅｘ１０１は、より多くのカメラｅｘ１０２から撮影領域の情報を取得できるため、例えば注目されている領域を検出する等の目的で、撮影領域の情報を利用するような場合においても有効である。
　なお、上述した割り当てられた通信帯域に応じた映像データの転送処理の切り替えは、通知された通信帯域に基づいてカメラｅｘ１０２が行ってもよいし、映像情報処理装置ｅｘ１０１が各カメラｅｘ１０２の動作を決定し、決定された動作を示す制御信号を各カメラｅｘ１０２に通知してもよい。これにより、動作の切り替えの判定に必要な計算量、カメラｅｘ１０２の処理能力、及び必要となる通信帯域等に応じて、適切に処理の分担を行える。
　（変形例１０）
　解析部ｅｘ１１２は、映像受信装置ｅｘ１０３から送信された視野情報（及び／又は、視点情報）に基づき、映像データの重要度を判定してもよい。例えば、解析部ｅｘ１１２は、視野情報（及び／又は、視点情報）が示す領域を多く含む撮影映像データの重要度を高く設定する。また、解析部ｅｘ１１２は、映像中に含まれる人の数、又は移動物体の数を考慮して、映像データの重要度を判定してもよい。なお、重要度の判定方法はこれに限らない。
　なお、本実施の形態で説明した通信制御方法は、必ずしも複数の映像データから三次元形状の再構築を行うシステムにおいて用いられる必要はない。例えば複数台のカメラｅｘ１０２が存在する環境において、映像データを選択的又は伝送速度に差をつけて有線通信及び／又は無線通信で送信する場合であれば、本実施の形態で説明した通信制御方法は有効である。
　（変形例１１）
　映像配信システムにおいて、映像情報処理装置ｅｘ１０１は、撮影シーンの全体を示す概観映像を映像受信装置ｅｘ１０３に送信してもよい。
　具体的には、映像情報処理装置ｅｘ１０１は、映像受信装置ｅｘ１０３から送信された配信リクエストを受信した場合、保存部ｅｘ１１１から施設内又はスタジアム内全体の概観映像を読み出し、当該外観映像を映像受信装置ｅｘ１０３に送信する。この概観映像は更新間隔が長くてもよく（低フレームレートでもよく）、また画質が低くてもよい。視聴者は、映像受信装置ｅｘ１０３の画面上に表示された概観映像中で、見たい部分をタッチする。これにより、映像受信装置ｅｘ１０３は、タッチされた部分に対応する視野情報（及び／又は、視点情報）を映像情報処理装置ｅｘ１０１に送信する。
　映像情報処理装置ｅｘ１０１は、視野情報（及び／又は、視点情報）に応じた映像データを保存部ｅｘ１１１から読み出し、当該映像データを映像受信装置ｅｘ１０３に送信する。
　また、解析部ｅｘ１１２は、視野情報（及び／又は、視点情報）で示される領域に対して優先的に三次元形状の復元（三次元再構成）を行うことで自由視点映像を生成する。解析部ｅｘ１１２は、施設内又はスタジアム内全体の三次元形状を、概観を示す程度の精度で復元する。これにより、映像情報処理装置ｅｘ１０１は、三次元形状の復元を効率的に行うことができる。その結果、視聴者が見たい領域の自由視点映像の高フレームレート化、及び高画質を実現できる。
　（変形例１２）
　なお、映像情報処理装置ｅｘ１０１は、例えば、設計図面などから事前に生成された施設又はスタジアムの三次元形状復元データを事前映像として、予め保存しておいてもよい。なお、事前映像はこれに限らず、デプスセンサから得られる空間の凹凸と、過去又はキャリブレーション時の画像又は映像データから導出されるピクチャとをオブジェクトごとにマッピングした仮想空間データであってもよい。
　例えば、スタジアムでサッカーが行われている場合、解析部ｅｘ１１２は、選手及びボールに限定して三次元形状の復元を行い、得られた復元データと事前映像とを合成することで自由視点映像を生成してもよい。あるいは、解析部ｅｘ１１２は、選手及びボールに対して優先して三次元形状の復元を行ってもよい。これにより、映像情報処理装置ｅｘ１０１は、三次元形状の復元を効率的に行うことができる。その結果、視聴者が注目する選手及びボールに関する自由視点映像の高フレームレート化及び高画質化を実現できる。また、監視システムにおいては、解析部ｅｘ１１２は、人物及び移動物体に限定して、又はそれらを優先して三次元形状の復元を行ってもよい。
　（変形例１３）
　各装置の時刻は、サーバの基準時刻等に基づき、撮影開始時にキャリブレーションされてもよい。解析部ｅｘ１１２は、複数台のカメラｅｘ１０２で撮影された複数の撮影映像データのうち、時刻設定の精度に応じて、予め設定された時間範囲内に属する時刻に撮影された複数の映像データを用いて、三次元形状の復元を行う。この時刻の検出には、例えば撮影映像データが保存部ｅｘ１１１に格納された時刻が用いられる。なお、時刻の検出方法はこれに限らない。これにより、映像情報処理装置ｅｘ１０１は、三次元形状の復元を効率的に行うことができるので、自由視点映像の高フレームレート化及び高画質化を実現できる。
　または、解析部ｅｘ１１２は、保存部ｅｘ１１１に保存された複数の映像データのうち、高画質データを用いて、又は高画質データを優先的に用いて、三次元形状の復元を行ってもよい。
　（変形例１４）
　解析部ｅｘ１１２は、カメラ属性情報を用いて、三次元形状の復元を行ってもよい。例えば、解析部ｅｘ１１２は、カメラ属性情報を用いて、視体積交差法又はマルチビューステレオ法などの手法により三次元映像を生成してもよい。この場合、カメラｅｘ１０２は、撮影映像データとカメラ属性情報とを映像情報処理装置ｅｘ１０１に送信する。カメラ属性情報は、例えば、撮影位置、撮影角度、撮影時刻、又はズーム倍率などである。
　これにより、映像情報処理装置ｅｘ１０１は、三次元形状の復元を効率的に行うことができるので、自由視点映像の高フレームレート化及び高画質化を実現できる。
　具体的には、カメラｅｘ１０２は、施設内又はスタジアム内に三次元座標を定義し、カメラｅｘ１０２がどのあたりの座標をどの角度から、どれ位のズームで、どの時間に撮ったかという情報を映像と共にカメラ属性情報として映像情報処理装置ｅｘ１０１に送信する。また、カメラｅｘ１０２の起動時に、施設内又はスタジアム内の通信ネットワーク上の時計とカメラ内の時計との同期がとられ、時間情報が生成される。
　また、カメラｅｘ１０２の起動時又は任意のタイミングで施設内又はスタジアム内の特定のポイントにカメラｅｘ１０２を向けることにより、カメラｅｘ１０２の位置及び角度情報が取得される。図２３は、カメラｅｘ１０２に起動時に、カメラｅｘ１０２の画面上に表示される通知の一例を示す図である。ユーザがこの通知に従い、スタジアム北側の広告中のサッカーボール中心にある「＋」に、画面中央に表示された「＋」を合わせて、カメラｅｘ１０２のディスプレイをタッチすると、カメラｅｘ１０２は、カメラｅｘ１０２から広告までのベクトル情報を取得しカメラ位置及び角度の基準を特定する。その後、カメラｅｘ１０２のモーション情報からその時々のカメラ座標及び角度が特定される。もちろん、この表示に限るものではなく、矢印等を用いて撮影期間中も座標、角度、又は撮影領域の移動速度等を指示するような表示が用いられてもよい。
　カメラｅｘ１０２の座標の特定は、ＧＰＳ、ＷｉＦｉ（登録商標）、３Ｇ、ＬＴＥ（Ｌｏｎｇ　Ｔｅｒｍ　Ｅｖｏｌｕｔｉｏｎ）、及び５Ｇ（無線ＬＡＮ）の電波を用いて行われてもよいし、ビーコン（Ｂｌｕｅｔｏｏｔｈ（登録商標）、超音波）など近距離無線を利用して行われてもよい。また、施設内又はスタジアム内のどの基地局に撮影映像データが届いたかという情報が用いられてもよい。
　（変形例１５）
　当該システムはスマートフォン等のモバイル端末上で動作するアプリケーションとして提供されてもよい。
　上記システムへのログインには、各種ＳＮＳ等のアカウントが用いられてもよい。なお、アプリ専用のアカウント、又は機能が制限されたゲストアカウントが用いられてもよい。このようにアカウントが用いられることで、好みの映像又は好みのアカウント等を評価することができる。また、撮影中又は視聴中の映像データに類似した映像データ、撮影中又は視聴中の映像データの視点に類似した視点の映像データなどに優先的に帯域を割り振ることで、これらの映像データの解像度を高めることができる。これにより、これらの視点からの三次元形状の復元をより精度よく行うことができる。
　また、ユーザは、当該アプリケーションで、好みの画像映像を選択し、相手方をフォローすることで、選択した画像を他のユーザよりも優先して見たり、相手方の承認などを条件にテキストチャット等でつながりをもつことができる。このように、新たなコミュニティの生成が可能である。
　このようにユーザ同士がコミュニティ内でつながることにより、撮影自体、また撮影した画像の共有などが活発化し、より精度の高い三次元形状の復元を促すことができる。
　また、コミュニティ内のつながりの設定に応じて、ユーザは、他人が撮影した画像又は映像を編集したり、他人の画像と自分の画像とをコラージュして新たな画像又は映像を作成したりできる。これにより、新たな画像又は映像を当該コミュニティ内の人でシェアするなど、新たな映像作品のシェアが可能になる。また、この編集においてＣＧのキャラクタを挿入するなどにより、拡張現実（Ａｕｇｍｅｎｔｅｄ　Ｒｅａｌｉｔｙ）のゲーム等にも映像作品を利用できる。
　また、当該システムによると三次元モデルデータが逐次出力可能になるため、ゴールシーンなどの特徴的なシーンでの三次元モデルデータに基づき、施設が有する３Ｄプリンタなどが立体オブジェクトを出力することができる。これにより、試合後に、その試合中のシーンに基づくオブジェクトをキーホルダーのようなお土産として売ったり、参加ユーザに配布することも可能である。もちろん通常の写真として、もっとも良い視点からの画像をプリントすることも可能である。
　（変形例１６）
　上記システムを用いて、例えば、警察の車載カメラ、及び警察官のウェアラブルカメラの映像などから、地域全体の大雑把な状態を、当該システムに接続されたセンターで管理することができる。
　一般のパトロールの時は、例えば数分おきで静止画の送受信が行なわれる。また、センターは、過去の犯罪データ等を用いて分析した結果に基づいた犯罪マップに基づいて犯罪発生の可能性が高い地域を特定する、もしくはこのように特定された犯罪発生確率に関連する地域データを保持している。特定された犯罪発生確率の高い地域では、画像の送受信の頻度を上げたり、画像を動画に変更したりしてもよい。また、事件発生時は、動画、又はＳｆＭ等を用いた三次元再構成データが用いられてもよい。また、センターもしくは各端末が、同時にデプスセンサ又はサーモセンサなど他のセンサの情報を用いて画像又は仮想空間を補正することで、警察官は、より正確に状況を把握できる。
　また、センターは、三次元再構成データを用いることで、複数の端末にそのオブジェクトの情報をフィードバックできる。これにより、各端末を持つ個々人がオブジェクトをトラッキングできる。
　また、最近では、建造物或いは環境の調査、又はスポーツなどの臨場感ある撮影等の目的で、クワッドコプター、ドローンなどの飛行可能な装置による空中からの撮影が行なわれる。このような自律移動装置による撮影は、画像がブレるということが問題になりやすいが、ＳｆＭは位置及び傾きによりそのブレを補正しながら三次元化を行なうことが可能である。これにより、画質の向上、及び空間の復元精度の向上を実現できる。
　また、車外を撮影する車載カメラの設置が、国によっては義務付けられている。このような車載カメラにおいても、複数の画像からモデル化された三次元データを用いることで、行き先の方向の天気及び路面の状態、並びに渋滞度合い等をより精度よく把握できる。
　（変形例１７）
　上記システムは、例えば、複数台のカメラを利用して建物又は設備の測距又はモデリングを行うシステムにも適用できる。
　ここで、例えば、１台のドローンを用いて建物を上空から撮影し、建物の測距又はモデリングを行う場合には、測距中にカメラに動物体が写りこむことで測距の精度が低下するという課題がある。また、動物体の測距及びモデリングを行えないという課題がある。
　一方で、上述したように複数台のカメラ（固定カメラ、スマートフォン、ウェアラブルカメラ及びドローン等）を用いることで、動物体の有無にかかわらず安定した精度で建物の測距及びモデリングを実現できる。また、動物体の測距及びモデリングを実現できる。
　具体的には、例えば、建築現場において作業員のヘルメット等にカメラが取り付けられる。これにより、作業員の作業に並行して建物の測距を行うことができる。また、作業の効率化及びミス防止にも用いることができる。また、作業員に装着されたカメラで撮影された映像を用いて建物をモデリングできる。さらに、遠隔地にいる管理者が、モデリングされた建物を見ることで進捗具合を確認できる。
　また、当該システムは、工場又は発電所の機械等、停止できない設備の点検に使用できる。また、当該システムは、橋或いはダムの開閉、又は、遊園地の乗り物の動作等に異常がないかを点検する場合に使用できる。
　また、当該システムにより、道路の渋滞具合又は交通量を監視することで、各時間帯の道路の渋滞具合又は交通量を示す地図を生成することができる。
　（実施の形態３）
　上記各実施の形態で示した画像処理方法の構成を実現するためのプログラムを記憶メディアに記録することにより、上記各実施の形態で示した処理を独立したコンピュータシステムにおいて簡単に実施することが可能となる。記憶メディアは、磁気ディスク、光ディスク、光磁気ディスク、ＩＣカード、半導体メモリ等、プログラムを記録できるものであればよい。
　さらにここで、上記各実施の形態で示した画像処理方法の応用例とそれを用いたシステムを説明する。当該システムは、画像処理方法を用いた装置を有することを特徴とする。システムにおける他の構成について、場合に応じて適切に変更することができる。
　図２４は、コンテンツ配信サービスを実現するコンテンツ供給システムｅｘ２００の全体構成を示す図である。通信サービスの提供エリアを所望の大きさに分割し、各セル内にそれぞれ固定無線局である基地局ｅｘ２０６、ｅｘ２０７、ｅｘ２０８、ｅｘ２０９、ｅｘ２１０が設置されている。
　このコンテンツ供給システムｅｘ２００は、インターネットｅｘ２０１にインターネットサービスプロバイダｅｘ２０２および通信網ｅｘ２０４、および基地局ｅｘ２０６からｅｘ２１０を介して、コンピュータｅｘ２１１、ＰＤＡ（Ｐｅｒｓｏｎａｌ　Ｄｉｇｉｔａｌ　Ａｓｓｉｓｔａｎｔ）ｅｘ２１２、カメラｅｘ２１３、スマートフォンｅｘ２１４、ゲーム機ｅｘ２１５などの各機器が接続される。
　しかし、コンテンツ供給システムｅｘ２００は図２４のような構成に限定されず、いずれかの要素を組合せて接続するようにしてもよい。また、固定無線局である基地局ｅｘ２０６からｅｘ２１０を介さずに、各機器が電話線、ケーブルテレビ、又は光通信などの通信網ｅｘ２０４に直接接続されてもよい。また、各機器が近距離無線等を介して直接相互に接続されていてもよい。
　カメラｅｘ２１３はデジタルビデオカメラ等の動画撮影が可能な機器であり、カメラｅｘ２１６はデジタルカメラ等の静止画撮影、動画撮影が可能な機器である。また、スマートフォンｅｘ２１４は、ＧＳＭ（登録商標）（Ｇｌｏｂａｌ　Ｓｙｓｔｅｍ　ｆｏｒ　Ｍｏｂｉｌｅ　Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ）方式、ＣＤＭＡ（Ｃｏｄｅ　Ｄｉｖｉｓｉｏｎ　Ｍｕｌｔｉｐｌｅ　Ａｃｃｅｓｓ）方式、Ｗ－ＣＤＭＡ（Ｗｉｄｅｂａｎｄ－Ｃｏｄｅ　Ｄｉｖｉｓｉｏｎ　Ｍｕｌｔｉｐｌｅ　Ａｃｃｅｓｓ）方式、若しくはＬＴＥ（Ｌｏｎｇ　Ｔｅｒｍ　Ｅｖｏｌｕｔｉｏｎ）方式、ＨＳＰＡ（Ｈｉｇｈ　Ｓｐｅｅｄ　Ｐａｃｋｅｔ　Ａｃｃｅｓｓ）、又は高周波帯域を利用した通信方式などに対応するスマートフォン機、またはＰＨＳ（Ｐｅｒｓｏｎａｌ　Ｈａｎｄｙｐｈｏｎｅ　Ｓｙｓｔｅｍ）等であり、いずれでも構わない。
　コンテンツ供給システムｅｘ２００では、カメラｅｘ２１３等が基地局ｅｘ２０９、通信網ｅｘ２０４を通じてストリーミングサーバｅｘ２０３に接続されることで、ライブ配信等が可能になる。ライブ配信では、ユーザがカメラｅｘ２１３を用いて撮影するコンテンツ（例えば、音楽ライブの映像等）に対して符号化処理を行い、ストリーミングサーバｅｘ２０３に送信する。一方、ストリーミングサーバｅｘ２０３は要求のあったクライアントに対して送信されたコンテンツデータをストリーム配信する。クライアントとしては、上記符号化処理されたデータを復号化することが可能な、コンピュータｅｘ２１１、ＰＤＡｅｘ２１２、カメラｅｘ２１３、スマートフォンｅｘ２１４、ゲーム機ｅｘ２１５等がある。配信されたデータを受信した各機器では、受信したデータを復号化処理して再生する。
　なお、撮影したデータの符号化処理はカメラｅｘ２１３で行っても、データの送信処理をするストリーミングサーバｅｘ２０３で行ってもよいし、互いに分担して行ってもよい。同様に配信されたデータの復号化処理はクライアントで行っても、ストリーミングサーバｅｘ２０３で行ってもよいし、互いに分担して行ってもよい。また、カメラｅｘ２１３に限らず、カメラｅｘ２１６で撮影した静止画像および／または動画像データを、コンピュータｅｘ２１１を介してストリーミングサーバｅｘ２０３に送信してもよい。この場合の符号化処理はカメラｅｘ２１６、コンピュータｅｘ２１１、ストリーミングサーバｅｘ２０３のいずれで行ってもよいし、互いに分担して行ってもよい。さらに復号された画像の表示についても、システムにつながった複数の機器が連動して同じ画像を表示してもよいし、大きな表示部を有する装置で全体の画像を表示し、スマートフォンｅｘ２１４等では画像の一部の領域を拡大して表示してもよい。
　また、これら符号化・復号化処理は、一般的にコンピュータｅｘ２１１や各機器が有するＬＳＩｅｘ５００において処理する。ＬＳＩｅｘ５００は、ワンチップであっても複数チップからなる構成であってもよい。なお、動画像符号化・復号化用のソフトウェアをコンピュータｅｘ２１１等で読み取り可能な何らかの記録メディア（ＣＤ－ＲＯＭ、フレキシブルディスク、ハードディスクなど）に組み込み、そのソフトウェアを用いて符号化・復号化処理を行ってもよい。さらに、スマートフォンｅｘ２１４がカメラ付きである場合には、そのカメラで取得した動画データを送信してもよい。このときの動画データはスマートフォンｅｘ２１４が有するＬＳＩｅｘ５００で符号化処理されたデータである。
　また、ストリーミングサーバｅｘ２０３は複数のサーバや複数のコンピュータであって、データを分散して処理したり記録したり配信するものであってもよい。
　以上のようにして、コンテンツ供給システムｅｘ２００では、符号化されたデータをクライアントが受信して再生することができる。このようにコンテンツ供給システムｅｘ２００では、ユーザが送信した情報をリアルタイムでクライアントが受信して復号化し、再生することができ、特別な権利や設備を有さないユーザでも個人放送を実現できる。
　なお、コンテンツ供給システムｅｘ２００の例に限らず、図２５に示すように、デジタル放送用システムｅｘ３００にも、上記各実施の形態を適用してもよい。具体的には、放送局ｅｘ３０１では映像データに音楽データなどが多重化された多重化データが電波を介して通信または衛星ｅｘ３０２に伝送される。この映像データは上記各実施の形態で説明した動画像符号化方法により符号化されたデータである。これを受けた放送衛星ｅｘ３０２は、放送用の電波を発信し、この電波を衛星放送の受信が可能な家庭のアンテナｅｘ３０４が受信する。受信した多重化データを、テレビ（受信機）ｅｘ４００またはセットトップボックス（ＳＴＢ）ｅｘ３１７等の装置が復号化して再生する。
　また、ＤＶＤ、ＢＤ等の記録メディアｅｘ３１５、もしくはＳＤなどのメモリｅｘ３１６に記録した多重化データを読み取り復号化する、または記録メディアｅｘ３１５もしくはメモリｅｘ３１６に映像信号を符号化し、さらに場合によっては音楽信号と多重化して書き込むリーダ／レコーダｅｘ３１８にも上記各実施の形態で示した動画像復号化装置または動画像符号化装置を実装することが可能である。この場合、再生された映像信号はモニタｅｘ３１９に表示され、多重化データが記録された記録メディアｅｘ３１５、又はメモリｅｘ３１６により他の装置やシステムにおいて映像信号を再生することができる。また、ケーブルテレビ用のケーブルｅｘ３０３または衛星／地上波放送のアンテナｅｘ３０４に接続されたセットトップボックスｅｘ３１７内に動画像復号化装置を実装し、これをテレビのモニタｅｘ３１９で表示してもよい。このときセットトップボックスではなく、テレビ内に動画像復号化装置を組み込んでもよい。
　図２６は、スマートフォンｅｘ２１４を示す図である。また、図２７は、スマートフォンｅｘ２１４の構成例を示す図である。スマートフォンｅｘ２１４は、基地局ｅｘ２１０との間で電波を送受信するためのアンテナｅｘ４５０、映像、静止画を撮ることが可能なカメラ部ｅｘ４６５、カメラ部ｅｘ４６５で撮像した映像、アンテナｅｘ４５０で受信した映像等が復号化されたデータを表示する液晶ディスプレイ等の表示部ｅｘ４５８を備える。スマートフォンｅｘ２１４は、さらに、タッチパネル等である操作部ｅｘ４６６、音声を出力するためのスピーカ等である音声出力部ｅｘ４５７、音声を入力するための収音器等である音声入力部ｅｘ４５６、撮影した映像、静止画、録音した音声、または受信した映像、静止画、メール等の符号化されたデータもしくは復号化されたデータを保存可能なメモリ部ｅｘ４６７、又は図２５に例示されたメモリｅｘ３１６、もしくはユーザを特定し、ネットワークをはじめ各種データへのアクセスの認証をするためのＳＩＭｅｘ４６８とのインタフェース部であるスロット部ｅｘ４６４を備える。
　スマートフォンｅｘ２１４は、表示部ｅｘ４５８及び操作部ｅｘ４６６等を統括的に制御する主制御部ｅｘ４６０に対して、電源回路部ｅｘ４６１、操作入力制御部ｅｘ４６２、映像信号処理部ｅｘ４５５、カメラインタフェース部ｅｘ４６３、ＬＣＤ（Ｌｉｑｕｉｄ　Ｃｒｙｓｔａｌ　Ｄｉｓｐｌａｙ）制御部ｅｘ４５９、変調／復調部ｅｘ４５２、多重／分離部ｅｘ４５３、音声信号処理部ｅｘ４５４、スロット部ｅｘ４６４、メモリ部ｅｘ４６７がバスｅｘ４７０を介して互いに接続されている。
　電源回路部ｅｘ４６１は、ユーザの操作により終話及び電源キーがオン状態にされると、バッテリパックから各部に対して電力を供給することによりスマートフォンｅｘ２１４を動作可能な状態に起動する。
　スマートフォンｅｘ２１４は、ＣＰＵ、ＲＯＭ、ＲＡＭ等を有する主制御部ｅｘ４６０の制御に基づいて、音声通話モード時に音声入力部ｅｘ４５６で収音した音声信号を音声信号処理部ｅｘ４５４でデジタル音声信号に変換し、これを変調／復調部ｅｘ４５２でスペクトラム拡散処理し、送信／受信部ｅｘ４５１でデジタルアナログ変換処理および周波数変換処理を施した後にアンテナｅｘ４５０を介して送信する。またスマートフォンｅｘ２１４は、音声通話モード時にアンテナｅｘ４５０を介して受信した受信データを増幅して周波数変換処理およびアナログデジタル変換処理を施し、変調／復調部ｅｘ４５２でスペクトラム逆拡散処理し、音声信号処理部ｅｘ４５４でアナログ音声信号に変換した後、これを音声出力部ｅｘ４５７から出力する。
　さらにデータ通信モード時に電子メールを送信する場合、本体部の操作部ｅｘ４６６等の操作によって入力された電子メールのテキストデータは操作入力制御部ｅｘ４６２を介して主制御部ｅｘ４６０に送出される。主制御部ｅｘ４６０は、テキストデータを変調／復調部ｅｘ４５２でスペクトラム拡散処理をし、送信／受信部ｅｘ４５１でデジタルアナログ変換処理および周波数変換処理を施した後にアンテナｅｘ４５０を介して基地局ｅｘ２１０へ送信する。電子メールを受信する場合は、受信したデータに対してこのほぼ逆の処理が行われ、表示部ｅｘ４５８に出力される。
　データ通信モード時に映像、静止画、または映像と音声を送信する場合、映像信号処理部ｅｘ４５５は、カメラ部ｅｘ４６５から供給された映像信号を上記各実施の形態で示した動画像符号化方法によって圧縮符号化し、符号化された映像データを多重／分離部ｅｘ４５３に送出する。また、音声信号処理部ｅｘ４５４は、映像、静止画等をカメラ部ｅｘ４６５で撮像中に音声入力部ｅｘ４５６で収音した音声信号を符号化し、符号化された音声データを多重／分離部ｅｘ４５３に送出する。
　多重／分離部ｅｘ４５３は、映像信号処理部ｅｘ４５５から供給された符号化された映像データと音声信号処理部ｅｘ４５４から供給された符号化された音声データを所定の方式で多重化し、その結果得られる多重化データを変調／復調部（変調／復調回路部）ｅｘ４５２でスペクトラム拡散処理をし、送信／受信部ｅｘ４５１でデジタルアナログ変換処理及び周波数変換処理を施した後にアンテナｅｘ４５０を介して送信する。
　データ通信モード時にホームページ等にリンクされた動画像ファイルのデータを受信する場合、または映像およびもしくは音声が添付された電子メールを受信する場合、アンテナｅｘ４５０を介して受信された多重化データを復号化するために、多重／分離部ｅｘ４５３は、多重化データを分離することにより映像データのビットストリームと音声データのビットストリームとに分け、同期バスｅｘ４７０を介して符号化された映像データを映像信号処理部ｅｘ４５５に供給するとともに、符号化された音声データを音声信号処理部ｅｘ４５４に供給する。映像信号処理部ｅｘ４５５は、上記各実施の形態で示した動画像符号化方法に対応した動画像復号化方法によって復号化することにより映像信号を復号し、ＬＣＤ制御部ｅｘ４５９を介して表示部ｅｘ４５８から、例えばホームページにリンクされた動画像ファイルに含まれる映像、静止画が表示される。また音声信号処理部ｅｘ４５４は、音声信号を復号し、音声出力部ｅｘ４５７から音声が出力される。
　また、上記スマートフォンｅｘ２１４等の端末は、テレビｅｘ４００と同様に、符号化器・復号化器を両方持つ送受信型端末の他に、符号化器の送信端末、復号化器の受信端末という３通りの実装形式が考えられる。さらに、デジタル放送用システムｅｘ３００において、映像データに音楽データなどが多重化された多重化データを受信、送信するとして説明したが、音声データ以外に映像に関連する文字データなどが多重化されたデータであってもよいし、多重化データではなく映像データ自体であってもよい。
　また、本発明はかかる上記実施の形態に限定されるものではなく、本発明の範囲を逸脱することなく種々の変形または修正が可能である。
　なお、上記各実施の形態において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、ＣＰＵまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。ここで、上記各実施の形態の撮像システムなどを実現するソフトウェアは、次のようなプログラムである。
　すなわち、このプログラムは、コンピュータに、互いに異なる位置に配置されている複数の撮像装置のパラメータを校正する撮像システムによる校正方法であって、互いに異なる位置に配置されており、それぞれが共通する三次元空間を撮像する複数の撮像装置のパラメータを校正する校正装置による校正方法であって、前記複数の撮像装置により撮像された複数の映像であって、それぞれが複数のフレームを有する複数の映像を取得する取得ステップと、前記取得ステップにおいて取得された前記複数の映像のそれぞれについて、当該映像の第１フレームから第１特徴点を抽出する第１抽出ステップと、前記取得ステップにおいて取得された前記複数の映像のそれぞれについて、当該映像の前記第１フレームとは異なる第２フレームの動物体が映り込んでいる領域から第２特徴点を抽出する第２抽出ステップと、前記第１抽出ステップにおいて抽出された複数の前記第１特徴点を用いて互いにマッチングを行う第１マッチングステップと、前記第２抽出ステップにおいて抽出された複数の前記第２特徴点を用いて互いにマッチングを行う第２マッチングステップと、前記第１マッチングステップおよび前記第２マッチングステップにおいて得られた複数のマッチング結果に基づいて、前記複数の撮像装置のパラメータを算出する再校正ステップと、を含む校正方法を実行させる。
　以上、本発明の一つまたは複数の態様に係る撮像システムおよび校正方法について、実施の形態に基づいて説明したが、本発明は、この実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、本発明の一つまたは複数の態様の範囲内に含まれてもよい。
　本開示は、互いに異なる位置に配置されている複数の撮像装置のパラメータの校正を容易に行うことができる校正装置などとして有用である。
　１０、１０Ａ～１０Ｎ　撮像装置
　２０、３０、４０、５０、・・・　映像
　２１～２５、３１～３５、４１～４５、５１～５５　フレーム
　１００　カメラ
　１０１　記憶部
　１０２　制御部
　１０３　光学系
　１０４　イメージセンサ
　１０５、１２５　動きセンサ
　１０６、１２６　動作検知部
　１０７、１４７　収音器
　１２０　架台
　１６０　状況感知部
　２００　制御装置
　２０１　記憶部
　２０２　制御部
　２０２ａ　イベント検出部
　２０２ｂ　校正指示部
　２０２ｃ　撮像制御部
　２０３　タイマー
　３００　校正装置
　３０１　記憶部
　３０２　校正部
　３０２ａ　取得部
　３０２ｂ　前処理部
　３０２ｃ　抽出部
　３０２ｄ　マッチング部
　３０２ｅ　再構成部
　３０２ｆ　判定部
　４００　ユーザインタフェース
　３００２ａ　モデル生成部
　４００２ａ　視点決定部
　４００２ｂ　レンダリング部
　４００２ｃ　シーン解析部
　４００２ｄ　トラッキング部
　１０００　撮像システム
　２０００　ユーザ機器
　３０００　三次元空間再構成装置
　４０００　三次元空間認識装置
　Ａ１　撮像領域
　Ａ１１～Ａ１４、Ａ２１～Ａ２４　領域
　Ｐ１Ａ、Ｐ２Ａ、Ｐ３Ａ、Ｐ４Ａ、Ｐ５Ａ、Ｐ６Ａ、Ｐ１Ｂ、Ｐ２Ｂ、Ｐ３Ｂ、Ｐ４Ｂ、Ｐ５Ｂ、Ｐ６Ｂ　特徴点
　Ｐ１～Ｐ６　マッチング点

Claims (9)

  1. 　互いに異なる位置に配置されており、それぞれが共通する三次元空間を撮像する複数の撮像装置のパラメータを校正する校正装置であって、
    　前記複数の撮像装置により撮像された複数の映像であって、それぞれが複数のフレームを有する複数の映像を取得する取得部と、
    　前記取得部において取得された前記複数の映像のそれぞれについて、当該映像の第１フレームから第１特徴点を抽出し、かつ、当該映像の前記第１フレームとは異なる第２フレームの動物体が映り込んでいる領域から第２特徴点を抽出する抽出部と、
    　前記抽出部により抽出された複数の前記第１特徴点を用いて互いにマッチングを行い、かつ、抽出された複数の前記第２特徴点を用いて互いにマッチングを行うマッチング部と、
    　前記マッチング部におけるマッチングにより得られた複数のマッチング結果に基づいて、前記複数の撮像装置のパラメータを算出する再構成部と、を備える
    　校正装置。
  2. 　前記抽出部は、
    　　前記複数の映像のそれぞれについて、当該映像の第１タイミングに対応する複数のフレームであって、動物体が映り込んでいる領域を含むフレームを、前記第２フレームとして抽出し、
    　　前記複数の映像から抽出した複数の前記第２フレームのそれぞれについて前記第２特徴点を抽出する
    　請求項１に記載の校正装置。
  3. 　前記複数のマッチング結果の総数が第１の数未満である場合、
    　　前記抽出部は、前記複数の映像のそれぞれについて、当該映像のうちの、前記第１タイミングとは異なる第２タイミングに対応する第３フレームであって、動物体が映り込んでいる領域を含む複数の第３フレームの前記領域から第３特徴点を抽出し、
    　　前記マッチング部は、抽出された複数の前記第３特徴点を用いて互いにマッチングを行い、
    　　前記再構成部は、新たに行われたマッチングにより得られたマッチング結果をさらに含む複数の前記マッチング結果に基づいて、前記複数の撮像装置のパラメータを算出する
    　請求項２に記載の校正装置。
  4. 　前記抽出部および前記マッチング部は、前記マッチング部におけるマッチングにより得られる前記マッチング結果の総数が前記第１の数以上になるまで、前記複数の映像のそれぞれの、前記抽出が既に行われたフレームが対応するタイミングとは異なるタイミングに対応するフレームについて、前記抽出および前記マッチングを繰り返す
    　請求項３に記載の校正装置。
  5. 　前記複数の映像のそれぞれについて当該映像を複数の領域に分割したとき、前記複数の領域のうち前記複数のマッチング結果で対応付けられている複数の特徴点のうちで当該映像から得られた複数の特徴点が第２の数未満である不足領域がある場合、
    　　前記抽出部は、前記複数の映像のそれぞれについて、当該映像のうちの前記不足領域に動物体が映り込んでいる第４フレームを抽出し、前記第４フレームの前記不足領域から第４特徴点を抽出し、
    　　前記マッチング部は、抽出された複数の前記第４特徴点を用いて互いにマッチングを行い、
    　　前記再構成部は、新たに行われたマッチングにより得られたマッチング結果をさらに含む複数の前記マッチング結果に基づいて、前記複数の撮像装置のパラメータを算出する
    　請求項１または２に記載の校正装置。
  6. 　前記抽出部および前記マッチング部は、前記複数の領域のそれぞれにおいて前記マッチング部におけるマッチングにより得られる前記マッチング結果の総数が前記第２の数以上になるまで、前記複数の映像のそれぞれの、前記抽出が既に行われたフレームが対応するタイミングとは異なるタイミングに対応するフレームについて、前記抽出および前記マッチングを繰り返す
    　請求項５に記載の校正装置。
  7. 　前記再構成部は、さらに、前記複数のマッチング結果のそれぞれの前記三次元空間上における三次元位置を推定し、
    　前記校正装置は、さらに、
    　前記再構成部により推定された前記複数の三次元位置に基づいて、校正した前記パラメータの精度が十分であるか否かを判定する判定部、を備え、
    　前記判定部において、前記パラメータの精度が十分でないと判定された場合、前記抽出部、前記マッチング部、前記再構成部および前記判定部は、前記判定部において前記パラメータの精度が十分であると判定されるまで、前記複数の映像のそれぞれの、前記抽出が既に行われたフレームが対応するタイミングとは異なるタイミングに対応するフレームについて、前記抽出、前記マッチング、前記校正、前記推定および前記判定を繰り返す
    　請求項１から６のいずれか１項に記載の校正装置。
  8. 　前記判定部は、前記再構成部により推定された複数の前記三次元位置を前記複数の撮像装置のそれぞれが撮像したと仮定したときに得られる二次元画像における複数の二次元座標と、当該撮像装置において撮像された映像から得られた前記第１特徴点および前記第２特徴点の二次元座標である複数の二次元座標との誤差が所定値より小さいか否かを判定し、
    　前記抽出部、前記マッチング部、前記再構成部および前記判定部は、前記誤差が所定値より大きいと判定された場合、前記判定部において前記誤差が所定値以下と判定されるまで、前記複数の映像のうちの前記異なるタイミングに対応する複数のフレームについて、前記抽出、前記マッチング、前記校正、前記推定および前記判定を繰り返す
    　請求項７に記載の校正装置。
  9. 　互いに異なる位置に配置されており、それぞれが共通する三次元空間を撮像する複数の撮像装置のパラメータを校正する校正装置による校正方法であって、
    　前記複数の撮像装置により撮像された複数の映像であって、それぞれが複数のフレームを有する複数の映像を取得する取得ステップと、
    　前記取得ステップにおいて取得された前記複数の映像のそれぞれについて、当該映像の第１フレームから第１特徴点を抽出する第１抽出ステップと、
    　前記取得ステップにおいて取得された前記複数の映像のそれぞれについて、当該映像の前記第１フレームとは異なる第２フレームの動物体が映り込んでいる領域から第２特徴点を抽出する第２抽出ステップと、
    　前記第１抽出ステップにおいて抽出された複数の前記第１特徴点を用いて互いにマッチングを行う第１マッチングステップと、
    　前記第２抽出ステップにおいて抽出された複数の前記第２特徴点を用いて互いにマッチングを行う第２マッチングステップと、
    　前記第１マッチングステップおよび前記第２マッチングステップにおいて得られた複数のマッチング結果に基づいて、前記複数の撮像装置のパラメータを算出する再校正ステップと、を含む
    　校正方法。
PCT/JP2019/020393 2018-05-23 2019-05-23 校正装置および校正方法 WO2019225681A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2020520356A JP7223978B2 (ja) 2018-05-23 2019-05-23 校正装置および校正方法
US17/070,290 US11176707B2 (en) 2018-05-23 2020-10-14 Calibration apparatus and calibration method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018-098902 2018-05-23
JP2018098902 2018-05-23

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/070,290 Continuation US11176707B2 (en) 2018-05-23 2020-10-14 Calibration apparatus and calibration method

Publications (1)

Publication Number Publication Date
WO2019225681A1 true WO2019225681A1 (ja) 2019-11-28

Family

ID=68617047

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/020393 WO2019225681A1 (ja) 2018-05-23 2019-05-23 校正装置および校正方法

Country Status (3)

Country Link
US (1) US11176707B2 (ja)
JP (1) JP7223978B2 (ja)
WO (1) WO2019225681A1 (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112750135A (zh) * 2020-12-31 2021-05-04 成都信息工程大学 一种无人机倾斜摄影测量像控点优化方法及系统
JP7019112B1 (ja) * 2021-05-11 2022-02-14 三菱電機株式会社 映像プラットフォーム装置、映像プラットフォームシステム、映像提供方法およびコンピュータプログラム
US20230021721A1 (en) * 2020-01-14 2023-01-26 Kyocera Corporation Image processing device, imager, information processing device, detector, roadside unit, image processing method, and calibration method
US20230087663A1 (en) * 2020-03-30 2023-03-23 Sony Group Corporation Image processing apparatus, image processing method, and 3d model data generation method
JP2023520189A (ja) * 2020-04-22 2023-05-16 コンチネンタル・オートナマス・モビリティ・ジャーマニー・ゲゼルシャフト・ミト・ベシュレンクテル・ハフツング 単一カメラ較正
JP7394934B1 (ja) 2022-08-16 2023-12-08 株式会社デンソーテン 情報処理装置、情報処理方法、およびプログラム
JP7516057B2 (ja) 2020-02-05 2024-07-16 キヤノン株式会社 情報処理装置、情報処理方法、及び、プログラム

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7122694B2 (ja) 2017-03-31 2022-08-22 パナソニックＩｐマネジメント株式会社 撮像システムおよび校正方法
WO2018181249A1 (ja) * 2017-03-31 2018-10-04 パナソニックＩｐマネジメント株式会社 撮像システムおよび校正方法
JP7049220B2 (ja) * 2018-08-30 2022-04-06 オリンパス株式会社 画像取得装置および画像取得装置の作動方法
WO2020124448A1 (en) * 2018-12-19 2020-06-25 Zhejiang Dahua Technology Co., Ltd. Systems and methods for video surveillance
CN111857111B (zh) * 2019-04-09 2024-07-19 商汤集团有限公司 对象三维检测及智能驾驶控制方法、装置、介质及设备
JP7418101B2 (ja) * 2019-07-26 2024-01-19 キヤノン株式会社 情報処理装置、情報処理方法、及びプログラム
TWI749365B (zh) * 2019-09-06 2021-12-11 瑞昱半導體股份有限公司 移動影像整合方法及移動影像整合系統
US11399156B2 (en) * 2019-12-16 2022-07-26 John McDevitt System and method for improved content creation by means of combining content from multiple individual content capture devices
US11600022B2 (en) * 2020-08-28 2023-03-07 Unity Technologies Sf Motion capture calibration using drones
US11636621B2 (en) * 2020-08-28 2023-04-25 Unity Technologies Sf Motion capture calibration using cameras and drones
US11341683B2 (en) * 2020-09-22 2022-05-24 AiFi Corp Smart self calibrating camera system
JP2022077380A (ja) * 2020-11-11 2022-05-23 キヤノン株式会社 画像処理装置、画像処理方法、およびプログラム
US20220222774A1 (en) * 2021-01-11 2022-07-14 Electronics And Telecommunications Research Institute Apparatus and method for 360-degree video stitching
BE1029715B1 (nl) * 2021-08-25 2023-03-28 Rods&Cones Holding Bv Geautomatiseerde kalibratie van hoofdgedragen handenvrije camera
CN114730472A (zh) * 2021-08-31 2022-07-08 华为技术有限公司 车载相机的外部参数的标定方法及相关装置
US20240185461A1 (en) * 2022-12-05 2024-06-06 Verizon Patent And Licensing Inc. Calibration methods and systems for an under-calibrated camera capturing a scene

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014101075A (ja) * 2012-11-21 2014-06-05 Fujitsu Ltd 画像処理装置、画像処理方法及びプログラム
JP2018026724A (ja) * 2016-08-10 2018-02-15 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
JP2018077196A (ja) * 2016-11-11 2018-05-17 スタンレー電気株式会社 監視システム

Family Cites Families (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060125920A1 (en) * 2004-12-10 2006-06-15 Microsoft Corporation Matching un-synchronized image portions
JP4160572B2 (ja) * 2005-03-31 2008-10-01 株式会社東芝 画像処理装置及び画像処理方法
US9338439B2 (en) * 2012-04-02 2016-05-10 Intel Corporation Systems, methods, and computer program products for runtime adjustment of image warping parameters in a multi-camera system
US8897543B1 (en) * 2012-05-18 2014-11-25 Google Inc. Bundle adjustment based on image capture intervals
JP5803868B2 (ja) * 2012-09-20 2015-11-04 カシオ計算機株式会社 動画処理装置、動画処理方法及びプログラム
US9519968B2 (en) * 2012-12-13 2016-12-13 Hewlett-Packard Development Company, L.P. Calibrating visual sensors using homography operators
US9384551B2 (en) * 2013-04-08 2016-07-05 Amazon Technologies, Inc. Automatic rectification of stereo imaging cameras
JP6201476B2 (ja) 2013-07-18 2017-09-27 凸版印刷株式会社 自由視点画像撮像装置およびその方法
JP6201148B2 (ja) * 2013-12-20 2017-09-27 パナソニックＩｐマネジメント株式会社 キャリブレーション装置、キャリブレーション方法、キャリブレーション機能を備えた移動体搭載用カメラ及びプログラム
JP2015226209A (ja) * 2014-05-28 2015-12-14 パナソニックＩｐマネジメント株式会社 情報提示装置、ステレオカメラシステム、及び情報提示方法
JP6562197B2 (ja) * 2014-06-20 2019-08-21 パナソニックＩｐマネジメント株式会社 画像処理方法および画像処理システム
US10750153B2 (en) * 2014-09-22 2020-08-18 Samsung Electronics Company, Ltd. Camera system for three-dimensional video
US10249058B2 (en) * 2014-12-24 2019-04-02 Panasonic Intellectual Property Management Co., Ltd. Three-dimensional information restoration device, three-dimensional information restoration system, and three-dimensional information restoration method
EP3293960A4 (en) * 2015-04-28 2018-12-05 Sony Corporation Information processing device, information processing method, and program
EP3316589B1 (en) * 2015-06-25 2024-02-28 Panasonic Intellectual Property Management Co., Ltd. Video synchronization device and video synchronization method
CN109076200B (zh) * 2016-01-12 2021-04-23 上海科技大学 全景立体视频系统的校准方法和装置
US9928595B2 (en) * 2016-02-01 2018-03-27 Canon Kabushiki Kaisha Devices, systems, and methods for high-resolution multi-view camera calibration
US10445898B2 (en) * 2016-02-05 2019-10-15 Sony Corporation System and method for camera calibration by use of rotatable three-dimensional calibration object
JP6754992B2 (ja) * 2016-04-22 2020-09-16 パナソニックＩｐマネジメント株式会社 三次元再構成方法
JP7054677B2 (ja) * 2016-08-10 2022-04-14 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ カメラワーク生成方法及び映像処理装置
JP7113294B2 (ja) * 2016-09-01 2022-08-05 パナソニックＩｐマネジメント株式会社 多視点撮像システム
JP6527178B2 (ja) * 2017-01-12 2019-06-05 ファナック株式会社 視覚センサのキャリブレーション装置、方法及びプログラム
JP6341396B1 (ja) * 2017-02-28 2018-06-13 パナソニックＩｐマネジメント株式会社 動体監視装置、サーバ装置、および動体監視システム
WO2018181249A1 (ja) * 2017-03-31 2018-10-04 パナソニックＩｐマネジメント株式会社 撮像システムおよび校正方法
JP7122694B2 (ja) * 2017-03-31 2022-08-22 パナソニックＩｐマネジメント株式会社 撮像システムおよび校正方法
EP3610459A4 (en) * 2017-04-14 2020-12-02 Yang Liu SYSTEM AND APPARATUS FOR CO-ALIGNMENT AND CORRELATION BETWEEN MULTIMODAL IMAGING AND ASSOCIATED PROCESS
WO2019082797A1 (ja) * 2017-10-23 2019-05-02 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 再構成方法および再構成装置
JP2019087791A (ja) * 2017-11-01 2019-06-06 キヤノン株式会社 情報処理装置、情報処理方法、及び、プログラム
US10762664B2 (en) * 2017-12-29 2020-09-01 Intel Corporation Multi-camera processor with feature matching
TWI692741B (zh) * 2018-01-18 2020-05-01 鈺立微電子股份有限公司 校正相機的系統
JP2019190974A (ja) * 2018-04-24 2019-10-31 キヤノン株式会社 キャリブレーション装置、キャリブレーション方法、及びプログラム
WO2019225682A1 (ja) * 2018-05-23 2019-11-28 パナソニックＩｐマネジメント株式会社 三次元再構成方法および三次元再構成装置
EP3803776A4 (en) * 2018-05-25 2022-03-23 Packsize, LLC SYSTEMS AND METHODS FOR MULTI-CAMERA PLACEMENT
WO2019230813A1 (ja) * 2018-05-30 2019-12-05 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 三次元再構成方法および三次元再構成装置
CN110657803B (zh) * 2018-06-28 2021-10-29 深圳市优必选科技有限公司 机器人定位方法、装置以及存储装置
US10733761B2 (en) * 2018-06-29 2020-08-04 Zoox, Inc. Sensor calibration
US10347009B1 (en) * 2018-11-21 2019-07-09 Juan Ramon Terven Self callbrating camera system
US11458912B2 (en) * 2019-03-08 2022-10-04 Zoox, Inc. Sensor validation using semantic segmentation information
US10827116B1 (en) * 2019-08-26 2020-11-03 Juan Ramon Terven Self calibration system for moving cameras
US12094175B2 (en) * 2020-11-24 2024-09-17 Intel Corporation Real-time calibration of wide-baseline outside-in multi-camera systems

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014101075A (ja) * 2012-11-21 2014-06-05 Fujitsu Ltd 画像処理装置、画像処理方法及びプログラム
JP2018026724A (ja) * 2016-08-10 2018-02-15 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
JP2018077196A (ja) * 2016-11-11 2018-05-17 スタンレー電気株式会社 監視システム

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230021721A1 (en) * 2020-01-14 2023-01-26 Kyocera Corporation Image processing device, imager, information processing device, detector, roadside unit, image processing method, and calibration method
EP4092377A4 (en) * 2020-01-14 2024-06-05 Kyocera Corporation IMAGE PROCESSING DEVICE, IMAGING DEVICE, INFORMATION PROCESSING DEVICE, DETECTION DEVICE, ROADSIDE DEVICE, IMAGE PROCESSING METHOD, AND CALIBRATION METHOD
JP7516057B2 (ja) 2020-02-05 2024-07-16 キヤノン株式会社 情報処理装置、情報処理方法、及び、プログラム
US20230087663A1 (en) * 2020-03-30 2023-03-23 Sony Group Corporation Image processing apparatus, image processing method, and 3d model data generation method
JP2023520189A (ja) * 2020-04-22 2023-05-16 コンチネンタル・オートナマス・モビリティ・ジャーマニー・ゲゼルシャフト・ミト・ベシュレンクテル・ハフツング 単一カメラ較正
JP7464745B2 (ja) 2020-04-22 2024-04-09 コンチネンタル・オートナマス・モビリティ・ジャーマニー・ゲゼルシャフト・ミト・ベシュレンクテル・ハフツング 単一カメラの較正
CN112750135A (zh) * 2020-12-31 2021-05-04 成都信息工程大学 一种无人机倾斜摄影测量像控点优化方法及系统
JP7019112B1 (ja) * 2021-05-11 2022-02-14 三菱電機株式会社 映像プラットフォーム装置、映像プラットフォームシステム、映像提供方法およびコンピュータプログラム
WO2022239126A1 (ja) * 2021-05-11 2022-11-17 三菱電機株式会社 映像プラットフォーム装置、映像プラットフォームシステム、映像提供方法およびコンピュータプログラム
JP7394934B1 (ja) 2022-08-16 2023-12-08 株式会社デンソーテン 情報処理装置、情報処理方法、およびプログラム
JP2024026968A (ja) * 2022-08-16 2024-02-29 株式会社デンソーテン 情報処理装置、情報処理方法、およびプログラム

Also Published As

Publication number Publication date
US11176707B2 (en) 2021-11-16
US20210027496A1 (en) 2021-01-28
JP7223978B2 (ja) 2023-02-17
JPWO2019225681A1 (ja) 2021-06-10

Similar Documents

Publication Publication Date Title
JP7223978B2 (ja) 校正装置および校正方法
JP7113294B2 (ja) 多視点撮像システム
JP7466115B2 (ja) 撮像システムおよび校正方法
JP7122694B2 (ja) 撮像システムおよび校正方法
JP7054677B2 (ja) カメラワーク生成方法及び映像処理装置
JP6820527B2 (ja) 映像同期装置及び映像同期方法
JP6778912B2 (ja) 映像表示方法及び映像表示装置
WO2017134706A1 (ja) 映像表示方法及び映像表示装置
JP6607433B2 (ja) 映像配信方法及びサーバ
JP6598109B2 (ja) 映像受信方法及び端末装置
WO2015159487A1 (ja) 映像配信方法、映像受信方法、サーバ、端末装置及び映像配信システム
WO2015194082A1 (ja) 画像処理方法および画像処理システム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19807471

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020520356

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19807471

Country of ref document: EP

Kind code of ref document: A1