WO2018088037A1 - 可動型撮像装置の制御装置、可動型撮像装置の制御方法及びプログラム - Google Patents

可動型撮像装置の制御装置、可動型撮像装置の制御方法及びプログラム Download PDF

Info

Publication number
WO2018088037A1
WO2018088037A1 PCT/JP2017/033757 JP2017033757W WO2018088037A1 WO 2018088037 A1 WO2018088037 A1 WO 2018088037A1 JP 2017033757 W JP2017033757 W JP 2017033757W WO 2018088037 A1 WO2018088037 A1 WO 2018088037A1
Authority
WO
WIPO (PCT)
Prior art keywords
imaging
movable
information
movable imaging
imaging device
Prior art date
Application number
PCT/JP2017/033757
Other languages
English (en)
French (fr)
Inventor
鈴木　英之
淳二 加藤
高橋　慧
久之 館野
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to US16/339,979 priority Critical patent/US10924691B2/en
Priority to JP2018550052A priority patent/JP7059937B2/ja
Publication of WO2018088037A1 publication Critical patent/WO2018088037A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B37/00—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe
    • G03B37/04—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe with cameras or projectors providing touching or overlapping fields of view
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804—Creation or updating of map data
    • G01C21/3833—Creation or updating of map data characterised by the source of data
    • G01C21/3841—Data obtained from two or more sources, e.g. probe vehicles
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661—Transmitting camera control signals through networks, e.g. control via the Internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B13/00—Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B13/02—Viewfinders
    • G03B13/10—Viewfinders adjusting viewfinders field

Definitions

  • the present disclosure relates to a control device for a movable imaging device, a control method for the movable imaging device, and a program.
  • Patent Document 1 a technique that is supposed to prevent blind spots when a large number of cameras are installed in a monitoring system is known.
  • Patent Document 1 is a technique that is supposed to eliminate the blind spot area in the monitoring system.
  • a free viewpoint video may be generated as a higher quality video than the surveillance camera.
  • there is a request specific to free-viewpoint images such as not only eliminating blind spots and occlusion but also preventing cameras from appearing when a 360 ° camera is placed. It is difficult to cope with the first technique.
  • a fixed type image pickup / sound collection device is used to always image the subject by installing it at the venue.
  • video shot with a fixed imaging device it is necessary to zoom out to capture the moving subject within the angle of view, resulting in a high-definition free-viewpoint. It was difficult to generate an image.
  • a free viewpoint video cannot be generated in the first place and the user's request cannot be met.
  • an imaging information acquisition unit that acquires imaging information related to imaging from a plurality of movable imaging devices having an imaging function, and images captured by the plurality of movable imaging devices based on the imaging information are combined. Then, in order to generate a free viewpoint video, there is provided a control device for a movable imaging device, including an arrangement information calculation unit that calculates arrangement information for arranging a plurality of the movable imaging devices.
  • a control method for the movable imaging device comprising: calculating arrangement information for arranging the plurality of movable imaging devices.
  • a program for causing a computer to function as means for calculating arrangement information for arranging a plurality of the movable imaging devices in order to generate a free viewpoint video is provided.
  • a user can easily capture a free viewpoint video even in a place where it is difficult to always install an imaging device.
  • the above effects are not necessarily limited, and any of the effects shown in the present specification, or other effects that can be grasped from the present specification, together with or in place of the above effects. May be played.
  • One portable imaging device in the grouping becomes the master camera, communication connection with other cameras (slave) is established with Wi-Fi Direct, and communication with the parent device is established with Wi-Fi Direct.
  • FIG. 10 is a schematic diagram illustrating an example in which tracking is performed based on image characteristics by inputting in advance a photograph of a target subject, a photograph with depth, and a target person to be tracked by voice.
  • the imaging and sound collection functions are mounted and arranged in a plurality of movable portable imaging devices (such as drones), so that the user can be installed even in a place where it is difficult to always install the imaging device. Makes it possible to capture free viewpoint video easily. Furthermore, in order to improve the quality of the free viewpoint video in response to demands such as the position of the subject that changes every moment, the imaging angle, etc., the arrangement and number of multiple portable imaging devices can dynamically change Is possible.
  • a system 1000 according to this embodiment includes a portable imaging device (movable imaging device) 100 and a parent device 200.
  • the subject 300 moving with the portable imaging device 100 is continuously tracked. For this reason, it is desirable to configure an imaging device group with a wireless network rather than a wired network with cable distance constraints.
  • the portable imaging device 100 After a user forms a network group with a plurality of portable imaging devices 100 and designates a subject imaging mode (imaging condition) for the portable imaging device 100, each portable imaging device. Based on the position information of 100 and the subject imaging mode set by the user, the portable imaging device 100 is temporarily arranged, and a free viewpoint video is rehearsed to perform prior confirmation. As a result of the rehearsal, the portable imaging device 100 can be installed at a position with less occlusion and imaged.
  • the subject imaging mode is a shooting condition including a subject condition and a shooting condition.
  • Designation of the subject imaging mode and other operations by the user and other operations can be performed via the parent device 200.
  • the user can perform these operations by directly operating the portable imaging device 100.
  • FIG. 2 is a schematic diagram showing the configuration of the portable imaging device 100.
  • the form of the portable imaging device 100 may be a UAV (Unmanned Aerial Vehicle; for example, a drone).
  • the UAV can move automatically with time, and can also recognize and track a target specified in advance.
  • the UAV trajectory may be automatically controlled, or may be set in advance by the user in the form of a timeline.
  • the movement of some UAVs may be set by the user, and other UAVs may automatically take a route so as to reduce the blind spots after synthesis.
  • the portable imaging device 100 includes a user interface (UI) unit 102, a memory 104, a subject recognition unit 106, a free viewpoint video generation unit 108, a wireless communication unit 110, a position information acquisition unit 112, and an imaging unit. 114, the drive part 116, and the control part 120 are comprised. It is assumed that the portable imaging device 100 supports the free viewpoint video imaging function defined in the present embodiment.
  • the imaging unit 114 is composed of an imaging element such as a CMOS sensor.
  • the imaging unit 114 may include an optical lens for forming a subject image on the imaging surface of the imaging element.
  • the user interface unit 102 is a component to which an operation by a user is input, and includes a touch panel, operation buttons, and the like.
  • the memory 104 is a recording medium that stores image information captured by the imaging unit 114 and other various types of information.
  • the subject recognition unit 106 recognizes the subject from the image information captured by the imaging unit 114, and extracts information indicating the characteristics of the subject, position information of the subject, and the like.
  • the wireless communication unit 110 is a component having a function of performing wireless communication with another portable imaging device 100 or the parent device 200.
  • Examples of the wireless communication method include Bluetooth (registered trademark), but are not particularly limited thereto.
  • the free viewpoint video generation unit 108 acquires image information captured by another portable imaging device 100 through communication with another portable imaging device 100, and generates a free viewpoint video by synthesizing the images. As shown in FIG. 1, each of the plurality of portable imaging devices 100 captures one subject from different directions.
  • the free viewpoint video generation unit 108 generates a free viewpoint video by generating a 3D model by combining images taken from various directions. Since each portable imaging device 100 includes the free viewpoint video generation unit 108, each portable imaging device 100 can share images taken by all the portable imaging devices 100 and generate a free viewpoint video. .
  • the position information acquisition unit 112 acquires position information of the portable imaging device 100 by a GPS function. Each portable imaging device 100 shares position information of all the portable imaging devices 100 by wireless communication.
  • the drive unit 116 drives wheels, a propeller, and the like for moving the portable imaging device 100.
  • the control unit 120 controls each component of the portable imaging device 100.
  • FIG. 3 is a schematic diagram showing the configuration of the parent device 200.
  • Base device 200 is, for example, a smartphone, a tablet terminal, an HMD, or the like, and is a terminal equipped with a display.
  • a free viewpoint video is sequentially provisionally generated by the parent device 200 at hand of the user, and the arrangement of the portable imaging device 100 is adjusted while checking the accuracy.
  • Master device 200 includes user interface (UI) unit 202, memory 204, imaging result display unit (presentation unit) 206, wireless communication unit 208, imaging result determination unit 210, free viewpoint video generation unit 212, and control unit 220.
  • Configured. 2 and 3 can be configured by hardware or a central processing unit such as a CPU and a program (software) for causing the central processing unit to function. Further, the program can be recorded on a recording medium such as a memory provided in the portable imaging device 100 or the parent device 200.
  • the user interface unit 202 is a component to which a user operation is input, and includes a touch panel, operation buttons, and the like.
  • the memory 204 is a recording medium that stores image information of a free viewpoint image acquired from each portable imaging device 100 and other various information.
  • the imaging result display unit 206 includes a liquid crystal display device (LCD) or the like, and displays the generated free viewpoint image.
  • the imaging result display unit 206 presents the user with arrangement information for arranging the plurality of portable imaging devices 100 at optimal positions.
  • the portable imaging device 100 is not a self-propelled device such as a drone, the user can arrange a plurality of portable imaging devices 100 at optimal positions based on the presented arrangement information.
  • the wireless communication unit 208 is a component having a function of performing wireless communication with each portable imaging device 100.
  • the wireless communication unit 208 acquires image information captured by each portable imaging device 100 through communication with each portable imaging device 100.
  • the wireless communication method is not particularly limited.
  • the imaging result determination unit 210 determines whether occlusion or the like has occurred in the image based on the generated free viewpoint image.
  • the free viewpoint video generation unit 212 generates a free viewpoint video by synthesizing images captured by the portable imaging devices 100.
  • Control unit 220 controls each component of base device 200.
  • the control unit 220 includes an imaging information acquisition unit 222, an arrangement information calculation unit 224, a temporary arrangement information selection unit 226, and a quality determination unit 228.
  • the imaging information acquisition unit 222 acquires information related to imaging included in the plurality of portable imaging devices 100.
  • the arrangement information calculation unit 224 places the plurality of portable imaging devices 100 at an optimal position in order to generate a free viewpoint video by combining the images captured by the plurality of portable imaging devices 100 based on information related to imaging. Arrangement information for arrangement is calculated. Also, the arrangement information calculation unit 224 calculates arrangement information based on the quality of the free viewpoint video, and in particular, based on the free viewpoint video generated in a state where the plurality of portable imaging devices 100 are temporarily arranged.
  • the temporary arrangement information selection unit 226 selects temporary arrangement information corresponding to the shooting conditions in accordance with a user operation input.
  • the quality determination unit 228 determines the quality of the free viewpoint video, such as whether a blind spot or occlusion has occurred in the free viewpoint video.
  • FIG. 4 is a flowchart showing overall processing performed by the system according to the present embodiment. Based on FIG. 4, functions provided by the present system will be described in time series as an operation sequence from initial setting to final free viewpoint video generation.
  • step S10 initial setting is performed by the parent device 200. Specifically, in step S10, initial setting of a network group including a plurality of portable imaging devices 100, time synchronization, and subject imaging mode are set. Also, a plurality of portable imaging devices 100 belonging to the same group are selected by a user operation to form a network group. Furthermore, environment recognition is performed, and the master device 200 acquires camera performance, imaging accuracy, position information, and the like for each of a plurality of portable imaging devices 100 belonging to the same group.
  • step S12 rehearsal imaging is performed. Specifically, a plurality of portable imaging devices 100 are temporarily arranged based on position information of the portable imaging device 100 and a subject imaging mode set by the user, and images obtained from the plurality of portable imaging devices 100 are displayed. Combined to temporarily generate a free viewpoint video. As a result, trial shooting can be performed, and shooting conditions such as the angle of view of the portable imaging device 100 can be confirmed. Moreover, the depth of the subject can be acquired from the image obtained by rehearsal imaging, and an obstacle can be detected.
  • step S14 it is determined whether or not the free viewpoint video temporarily generated by rehearsal imaging satisfies a predetermined quality, and if the predetermined quality is satisfied, the process proceeds to step S16.
  • step S16 actual photographing is performed. Specifically, in step S16, fine adjustment of the arrangement of the portable imaging device 100 is performed from the temporarily generated free viewpoint video, and the main imaging is performed. At this time, fine adjustment of the arrangement is performed by instructing the user to rearrange the portable imaging device 100 and the main imaging is started.
  • step S10 the initial setting performed in step S10 will be described.
  • the network initial setting of the portable imaging device 100, the time synchronization, and the subject imaging mode are set.
  • Initial setting and grouping of the portable imaging device 100 are realized by interaction with a user.
  • the user turns on the power of the parent device 200 and the portable imaging device 100.
  • the portable imaging device 100 performs an operation of notifying the surroundings that the imaging function for free viewpoint video is supported.
  • IEEE A method of exchanging service information and a connection protocol (supporting Wi-Fi Direct / IEEE 802.11s mesh) supported by the portable imaging device 100 using the 802.11 Management Frame is used.
  • the parent device 200 recognizes the portable imaging device 100 corresponding to the imaging of the free viewpoint video from the information notified from the portable imaging device 100, and sets it as a candidate of a device to be group-registered in the subsequent steps.
  • FIG. 5 is a schematic diagram showing a state in which a plurality of portable imaging devices 100 that support free viewpoint video imaging are displayed on the imaging result display unit 206 of the parent device 200.
  • the base device 200 presents the portable imaging device 100 as a connection candidate to the user, and prompts the user to select.
  • base unit 200 presents group candidates to which group the selected portable imaging device 100 is to be added, and prompts the user to select and determines the grouping.
  • a connection setting between the portable imaging device 100 and the parent device 200 is performed by reading a tag such as a two-dimensional barcode of the parent device 200 in which security information is written using the camera of the portable imaging device 100.
  • a group may be identified by specifying a connection partner by touching the base device 200 to the portable imaging device 100 using a proximity communication device such as NFC.
  • the group may incorporate fixed installation type imaging devices.
  • the portable imaging device 100 or the fixed installation type imaging device may include a depth camera that can understand the depth.
  • a virtual wire can be drawn and displayed between the cameras on the screen of the parent device 200.
  • the connection between the parent device 200 and the portable imaging device 100 registered in the group is completed.
  • the protocol used for connection is assumed to be an infrastructure mode in which the parent device 200 is a Group Owner, Wi-Fi Direct, or the parent device 200 is a Soft AP.
  • a plurality of portable imaging devices 100 move out of the radio wave reach of the master device 200, and the network It is also assumed that the group will fail.
  • one portable imaging device 100 in the grouping serves as a master camera, and communication connection with other cameras (slaves) is established as Wi. -Establish with Fi Direct and establish communication with parent device 200 with Wi-Fi Direct.
  • one portable imaging device 100 in the grouping serves as a master camera, establishes a communication connection with another camera (slave) using Mesh, and communicates with the parent device 200.
  • Wi-Fi You may establish by Direct or Mesh.
  • IEEE which is a hardware-assisted PTP protocol on a wireless LAN
  • IEEE is used for clock synchronization between devices.
  • 802.11mc Fine Timing Measurement By using a technique such as 802.11mc Fine Timing Measurement, clock synchronization between imaging devices with higher accuracy can be performed.
  • FIG. 9 is a schematic diagram illustrating a state in which the setting of the subject imaging mode is selected.
  • the user can select and set a desired mode from a plurality of imaging modes. For example, as shown in FIG. 9, whether the portable imaging device 100 is arranged 360 degrees uniformly around the subject 300 and the target imaging is performed, or the imaging direction of the plurality of portable imaging devices 100 is radial, By selecting the subject imaging mode, it is possible to specify whether the entire landscape is to be captured from a plurality of directions.
  • the user assumes use on a concert stage or the like, the user can also specify a subject imaging mode such as arranging more portable imaging devices 100 in front of the subject behind.
  • a setting for tracking a specific object and a case of acquiring an omnidirectional video from a certain point are conceivable.
  • a special setting may be considered, such as focusing on the player aiming at the moment of hitting the racket.
  • the type of sport, the position of the object, the situation, etc. may be recognized, and the system may recommend a shooting method to the user.
  • the user may input a moving image that has already been shot into the system, and the system may estimate the policy based on this.
  • Information regarding these subject imaging modes and policies can be stored in the memory 204 of the parent device 200 in advance.
  • a technique may be used in which a marker is attached to the subject and marker tracking is performed during shooting. Tracking is performed by the control unit 120 driving the drive unit 116 so that the subject recognition unit 106 recognizes the marker and tracks the marker.
  • Tracking is performed by the control unit 120 driving the drive unit 116 so that the subject recognition unit 106 recognizes the marker and tracks the marker.
  • the tracking of the image feature is performed by inputting the target subject photo, the depthed photo, and the target person to be tracked by voice in advance. It may be.
  • tracking is performed by the control unit 120 driving the drive unit 116 so that the subject recognition unit 106 recognizes the image feature and tracks the subject 300 that matches the image feature.
  • control unit 120 drives the driving unit 116 based on the arrangement information sent from the parent device 200, so that each portable imaging device 100 can improve the quality of the free viewpoint video while tracking the subject. It is arranged in the optimal position. If each portable imaging device 100 has a configuration corresponding to the imaging result determination unit 210, the quality determination unit 228, and the arrangement information calculation unit 224 of the parent device 200, each portable imaging device 100 tracks the subject. However, the optimal position can be autonomously arranged so as to improve the quality of the free viewpoint video.
  • FIG. 10 shows an example in which an image of a golfer's photograph is registered as a subject to be tracked and a camera crew is excluded from the subject of photographing.
  • the subject By registering by touching the upper body of the subject to be tracked, the subject can be registered more accurately.
  • a plurality of subjects can be set by repeating the subject selection method described above. In this case, a plurality of groupings are created.
  • Step S12 of FIG. 4 the portable imaging device 100 is temporarily arranged based on the position information and the subject imaging mode set by the user, and temporary imaging (rehearsal imaging) is performed.
  • temporary imaging (rehearsal imaging)
  • the portable imaging device 100 is temporarily placed, and then trial shooting and confirmation of the angle of view are performed.
  • the position of each portable imaging device 100 is estimated.
  • information such as camera performance (specifications), absolute position, relative position, camera orientation, and the like of each portable imaging device 100 is acquired via a wireless communication medium, and a determination material (imaging information) for imaging arrangement. ).
  • Image information may be used to specify the position of each portable imaging device 100.
  • a three-dimensional environment map is created by each portable imaging device 100, and self-position estimation and a relative position with respect to other portable imaging devices 100 are grasped and used as imaging information.
  • the three-dimensional environment map is an environment map that is generated from camera images and includes geometric features such as obstacle positions and information.
  • the self-position estimation of the portable imaging device 100 can be performed using this environmental map.
  • the three-dimensional environment map and the position information are shared between the portable imaging devices 100, and the mutual positional relationship is grasped.
  • RTK positioning and wireless LAN at the same time Indoor positioning techniques such as positioning by IEEE 802.11v or 802.11az, Bluetooth Low Energy Direction Finding positioning may be used.
  • each portable imaging device 100 After the position of each portable imaging device 100 can be estimated, temporary placement is performed so that each portable imaging device 100 is optimally placed. After the temporary placement, a free viewpoint video is captured in advance and the quality of the free viewpoint video is confirmed. When checking the quality of whether or not the optimal arrangement is made, for example, the place where the occlusion occurs is checked. It checks whether there is a “hole” leaking from the angle of view when taking a free viewpoint video, and prepares to relocate the portable imaging device 100 at a required location. In addition to the perspective of whether occlusion actually occurs, consider the possibility of potential occlusion. For example, it is also simulated whether occlusion occurs when one portable imaging device 100 is covered by a moving object.
  • the movable angular velocity of the portable imaging device 100 is considered.
  • the portable imaging device 100 that tracks a specific moving subject, for example, a runner, a ball, a car, an airplane, etc.
  • the movable speed of the portable imaging device 100 is limited. In that case, the portable imaging device 100 needs to be separated from the moving subject by a certain distance. During the rehearsal, identify what kind of images can actually be taken and identify problems.
  • depth information is acquired and obstacles are detected. This is an operation to create a depth map of the shooting location. Once a depth map is created, a wider range of free viewpoint images can be created. On the other hand, there may be temporary “holes” due to obstacles along the way, making depth impossible. In this case, the user may be instructed to move with the camera in order to complement the data necessary for accurately taking the depth. Alternatively, information recorded in advance on the Internet or in a storage may be referred to. When the depth information is obtained, the obstacle is recognized and the place where the camera is to be placed in the 3D space is presented.
  • a non-moving object such as a pillar becomes a blind spot in the actual performance, but occlusion due to a temporarily placed object may not be a problem. For this reason, object recognition is performed, an object that is actually a blind spot at the time of shooting is detected, and then an object is displayed on the screen so that an obstacle can be selected. Even if there is no problem in trial shooting, there is a possibility that another occlusion element may appear in the actual shooting. In order to solve this, the user may be able to set the arrangement of people and things on the map of the parent device 200. For example, in shooting a stage, the artist's standing position can be set by dragging to a three-dimensional model.
  • a free viewpoint video is generated using a plurality of portable imaging devices 100.
  • the captured images from the plurality of portable imaging devices 100 may be combined and reconfigured on the master camera, or may be temporarily processed by a remote server when resources are limited due to battery driving or the like.
  • the arrangement position of the initial portable imaging device 100 is determined so that the ROI (Region Of Interest) shown in the parent device 200 is evenly covered in the horizontal and vertical directions according to the subject shooting mode. Planned on the side. For example, in the stage mode, they are arranged equidistantly at 180 degrees horizontally and 45 degrees vertically around the center of the stage.
  • each portable imaging device 100 has a basic autonomous operation such as collision avoidance, and is not necessarily arranged at the same position as the initial plan of the parent device 200 in practice.
  • Temporary shooting is performed when each portable imaging device 100 is stably placed, and the three-dimensional environment map and the position of each portable imaging device 100 are obtained by SLAM by calculation in the parent device 200.
  • the position of each portable imaging device 100 may be improved in accuracy using a positioning method other than SLAM.
  • a three-dimensional model of a subject is temporarily placed on a three-dimensional environment map obtained by synthesizing images from each portable imaging device 100. From the obstacle, the position of each portable imaging device 100, light source information, and the like. Simulate the amount of occlusion and the image quality.
  • this simulation and evaluation function can be realized by existing computer graphics rendering technology such as ray casting. If the expected amount of occlusion exceeds a certain threshold, the occurrence position is fatal, or a problem in image quality is expected, an option is presented to the user to improve it.
  • the following options can be assumed. (1) If there is an obstacle between the subject and the camera, propose to avoid it by shifting up and down, left and right, or approaching the subject. (2) Near the expected occlusion occurrence so that the occurrence of occlusion of the subject is minimized. (3) Proposal to ensure that important ROI image quality is maintained even within the subject and to allow unimportant ROI occlusion and image quality degradation (4) Both occlusion and quality (5) If the problem cannot be solved, ask the user to correct the ROI range.
  • the user selects one of the improvement plans, and the base unit 200 corrects the arrangement plan based on it.
  • the above arrangement plan, provisional shooting, improvement proposal, and improvement procedure are repeated until the user is satisfied.
  • FIGS. 11 to 14 show execution examples of rearrangement in the case of stage shooting.
  • a plurality of portable imaging devices 100 are temporarily arranged at equal intervals and at equal distances around the front of the ROI (subject 300) using the initial setting corresponding to the subject photographing mode.
  • FIG. 12 shows the state of FIG. 11 viewed from above.
  • a three-dimensional ROI model is placed on the reconstructed environment map, and ray casting is performed from the position of each portable imaging device 100 while moving the model within a range where the movement of the ROI is predicted.
  • the evaluation simulates the amount of occlusion and the photographing quality of the three-dimensional model.
  • the optimized arrangement is performed based on the simulation result of the occlusion amount and the photographing quality in the provisional photographing.
  • some of the plurality of portable imaging devices 100 cannot capture the ROI because the pillars are in the way.
  • all the portable imaging devices 100 can capture the ROI.
  • FIG. 14 shows the state of FIG. 11 viewed from above.
  • the rearrangement based on the temporary shooting environment map can optimize the arrangement of the portable imaging device 100 so as to minimize the amount of occlusion while ensuring the necessary quality.
  • the main imaging performed in step S14 in FIG. 4 will be described.
  • the imaging device arrangement is finely adjusted from the temporarily generated free viewpoint video to perform the main imaging.
  • the quality of the free viewpoint video generated in the current arrangement by the processing so far is confirmed, and if there is a problem with the camera arrangement or the angle of view of the portable imaging device 100, an improvement plan is presented to the user.
  • fine adjustment of the placement is performed, such as placing it in a position where it is difficult for occlusion to occur, or placing many cameras in places where depth sensing accuracy is low.
  • the portable imaging device 100 When instructing the user to rearrange the portable imaging device 100, it may be displayed on the terminal serving as the parent device 200 or an arbitrary terminal with a screen. For a camera without a screen, a see-through HMD is used. A new placement position may be presented. Alternatively, it may be set by holding the tablet camera. The instruction for the new arrangement indicates the direction in which to move with respect to each portable imaging device 100. If there is a global map, the improvement plan may be shown on the map. In some cases, even if the system requests relocation, the installation position of the portable imaging device 100 is limited and cannot be changed. In this case, it is necessary to notify the system that the portable imaging device 100 cannot be moved. It is also effective for the system to recognize the difficulty of moving the portable imaging device 100 in advance.
  • the lens may be replaced or the zoom magnification may be changed. If the network bandwidth is insufficient, it may be advised to use a wired connection.
  • a plurality of spare cameras may be arranged so as to dynamically turn on / off. Note that the rehearsal in step S12 and the actual photographing in step S14 in FIG. 4 may be repeatedly performed until a free viewpoint video as expected is obtained.
  • the shooting can be temporarily stopped.
  • the importance of each target may be changed dynamically if the video is relayed to the outside and viewer feedback is obtained from social media etc. .
  • information about viewing such as what angle of view, position, and zoom the user is viewing a free viewpoint video may be used.
  • the time stamp is shifted, it cannot be determined which object. Therefore, when receiving feedback from the user, information on viewing time at the user's hand is also sent at the same time.
  • the movement of the target is predicted in advance, and the camera settings are changed so that the location where the target moves in the future can be taken in higher definition, or the user is instructed to change the camera position. May be.
  • FIG. 15 to 17 are schematic diagrams showing a case where the subject moves in two, and shows a case where ROI # 1 and ROI # 2 are imaged.
  • FIG. 15 shows a case where the parent device 200 and each portable imaging device 100 are connected by Wi-Fi Direct or Mesh connection.
  • FIG. 16 shows a portable imaging device 100 having a master camera function among a plurality of portable imaging devices 100 and a master device 200 connected by Wi-Fi Direct or Mesh connection and further having a master camera function.
  • An example is shown in which the device 100 is connected to each portable imaging device 100 by Wi-Fi Direct or Mesh connection.
  • FIG. 16 shows a portable imaging device 100 having a master camera function among a plurality of portable imaging devices 100 and a master device 200 connected by Wi-Fi Direct or Mesh connection and further having a master camera function.
  • An example is shown in which the device 100 is connected to each portable imaging device 100 by Wi-Fi Direct or Mesh connection.
  • FIG. 17 shows that a portable imaging device 100 having a master camera function among a plurality of portable imaging devices 100 and a parent device 200 are connected by Wi-Fi Direct or Mesh connection, and each portable imaging device 100 is connected.
  • An example in which each portable imaging device 100 is comprehensively connected by Wi-Fi Direct or Mesh connection is shown.
  • the portable imaging device 100 having a master camera function one device corresponding to each of ROI # 1 and ROI # 2 is set. 15 to 17, four portable imaging devices 100 correspond to ROI # 1 and ROI # 2, respectively, but if ROI # 1 and ROI # 2 are combined into one, a total of eight possible
  • the portable imaging device 100 images ROI # 1 and ROI # 2.
  • the subject recognition unit 106 of each portable imaging device 100 recognizes the fact and includes the position information of the separated ROI # 1 and ROI # 2.
  • the imaging information is sent to base unit 100.
  • Master device 100 calculates arrangement information based on the imaging information sent from each portable imaging device 100, and separates the plurality of portable imaging devices 100 so as to correspond to each of ROI # 1 and ROI # 2. To arrange. Further, when the ROI # 1 and the ROI # 2 are separated from each other, the subject recognition unit 106 of each portable imaging device 100 recognizes the fact, and the location information of the gathered ROI # 1 and ROI # 2 Is sent to the parent device 100 as imaging information.
  • Master device 100 calculates arrangement information based on the imaging information sent from each portable imaging device 100 and arranges the information so as to correspond to ROI # 1 and ROI # 2 in which a plurality of portable imaging devices 100 are gathered. .
  • each portable imaging device 100 tracks ROI # 1 and ROI # 2
  • each portable imaging device 100 can also generate a free viewpoint video every predetermined time. If each portable imaging device 100 has a configuration corresponding to the imaging result determination unit 210, the quality determination unit 228, and the arrangement information calculation unit 224 of the parent device 200, each portable imaging device 100 can have a quality of free viewpoint video. Accordingly, it is possible to dynamically control the arrangement of each portable imaging device 100 so as to minimize occlusion and the like.
  • FIG. 18 is a flowchart showing a virtual camera path setting / verification processing flow using temporary imaging free viewpoint video.
  • step S20 the portable imaging device 100 is temporarily arranged. The temporary placement is performed according to the subject imaging mode designated by the user by operating the user interface unit 202.
  • rehearsal imaging provisional imaging
  • step S24 images taken by each portable imaging device 100 in a temporarily arranged state are combined to generate a free viewpoint video (temporary free viewpoint video).
  • the quality of the provisional free viewpoint video is determined. In the quality judgment, a three-dimensional model is used as appropriate.
  • step S28 a virtual camera path is set between the temporary free viewpoint video and the real camera, and verification is performed.
  • the position of the portable imaging device 100 is feedback-corrected based on the verification result, and the portable imaging device 100 is arranged at an optimal position for generating a free viewpoint video.
  • step S ⁇ b> 30 each portable imaging device 100 performs the main photographing in a state where the portable imaging device 100 is arranged at an optimal position for generating a free viewpoint video.
  • step S32 based on the image information obtained by the actual photographing, the images are combined to generate a free viewpoint video.
  • step S32 the virtual camera path information is reflected based on the verification result in step S28.
  • an imaging information acquisition unit that acquires imaging information related to imaging from a plurality of movable imaging devices having an imaging function; Arrangement information for calculating arrangement information for arranging the plurality of movable imaging devices in order to generate a free viewpoint video by combining images captured by the plurality of movable imaging devices based on the imaging information.
  • a calculation unit A control device for a movable imaging device.
  • the temporary arrangement information is prepared in advance in association with the shooting condition of the subject,
  • the imaging information includes at least one of positions of the plurality of movable imaging devices, specifications of the cameras included in the plurality of movable imaging devices, and orientations of the cameras.
  • the control apparatus for a movable imaging apparatus according to any one of 7). (9) The movable imaging device according to any one of (1) to (8), wherein the imaging information includes a three-dimensional environment map generated from captured images captured by the plurality of movable imaging devices. Control device.
  • the arrangement information includes information for separately arranging a plurality of the movable imaging devices so as to correspond to a plurality of subjects when one subject is divided into a plurality of subjects.
  • the control device for a movable imaging device according to any one of (9) to (9).
  • the arrangement information includes the information for arranging a plurality of the movable imaging devices around the collected subject when the plurality of subjects are gathered into one.
  • the control device for the movable imaging apparatus includes the information for separately arranging a plurality of the movable imaging devices so as to correspond to a plurality of subjects when one subject is divided into a plurality of subjects.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Studio Devices (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Image Generation (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

【課題】撮像機器を常時設置することが困難な場所においても、ユーザーが手軽に自由視点映像を撮像できるようにする。 【解決手段】本開示に係る可動型撮像装置の制御装置は、撮像機能を有する複数の可動型撮像装置から撮像に関する撮像情報を取得する撮像情報取得部と、前記撮像情報に基づいて、複数の前記可動型撮像装置が撮像した画像を合成して自由視点映像を生成するために、複数の前記可動型撮像装置を配置するための配置情報を算出する配置情報算出部と、を備える。

Description

可動型撮像装置の制御装置、可動型撮像装置の制御方法及びプログラム
　本開示は、可動型撮像装置の制御装置、可動型撮像装置の制御方法及びプログラムに関する。
　従来、例えば下記の特許文献１に記載されているように、監視システムにおいて、多数のカメラを設置した場合に死角を防止することを想定した技術が知られている。
特開２０１５－２０４５１２号公報
　上記特許文献１に記載された技術は、監視システムにおける死角領域を無くすことを想定した技術である。一方、監視カメラよりも高品位な映像として、自由視点映像を生成する場合がある。自由視点映像の場合、死角、オクルージョンを無くすのみならず、３６０°カメラを配置した場合にカメラ同志が映り込まないようにするなど、自由視点映像特有の要求があり、監視カメラを想定した特許文献１の技術では対応することは困難である。
　従来、自由視点映像を撮像する際には、固定型の撮像・集音機器を用い、会場へ常時設置して被写体を撮像していた。自由視点映像を生成するために固定型の撮像機器で撮影された映像を用いる場合、移動する被写体を画角に収めるためにズームアウトして撮影する必要があり、その結果、高精細な自由視点画像を生成することが困難であった。さらに、撮像機器を常時設置できない環境では、そもそも自由視点映像が生成できず利用者の要求に応えることができない状況であった。
　そこで、撮像機器を常時設置することが困難な場所においても、ユーザーが手軽に自由視点映像を撮像できるようにすることが求められていた。
　本開示によれば、撮像機能を有する複数の可動型撮像装置から撮像に関する撮像情報を取得する撮像情報取得部と、前記撮像情報に基づいて、複数の前記可動型撮像装置が撮像した画像を合成して自由視点映像を生成するために、複数の前記可動型撮像装置を配置するための配置情報を算出する配置情報算出部と、を備える、可動型撮像装置の制御装置が提供される。
　また、本開示によれば、撮像機能を有する複数の可動型撮像装置から撮像に関する撮像情報を取得することと、前記撮像情報に基づいて、複数の前記可動型撮像装置が撮像した画像を合成して自由視点映像を生成するために、複数の前記可動型撮像装置を配置するための配置情報を算出することと、を備える、可動型撮像装置の制御方法が提供される。
　また、本開示によれば、撮像機能を有する複数の可動型撮像装置から撮像に関する撮像情報を取得する手段、前記撮像情報に基づいて、複数の前記可動型撮像装置が撮像した画像を合成して自由視点映像を生成するために、複数の前記可動型撮像装置を配置するための配置情報を算出する手段、としてコンピュータを機能させるためのプログラムが提供される。
　以上説明したように本開示によれば、撮像機器を常時設置することが困難な場所においても、ユーザーが手軽に自由視点映像を撮像できるようにすることが可能となる。
　なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
本開示の一実施形態に係るシステム１０００の概略構成を示す模式図である。 可搬型撮像機器の構成を示す模式図である。 親機の構成を示す模式図である。 本実施形態に係るシステムで行われる全体的な処理を示すフローチャートである。 自由視点映像撮像に対応している複数の可搬型撮像機器が親機の画面に表示された状態を示す模式図である。 親機とグループに登録する可搬型撮像機器の接続が完了している状態を示す模式図である。 グルーピングの中の１台の可搬型撮像機器がマスタカメラとなり、その他のカメラ（スレーブ）との通信コネクションをＷｉ－Ｆｉ　Ｄｉｒｅｃｔで確立し、かつ、親機との通信をＷｉ－Ｆｉ　Ｄｉｒｅｃｔで確立した状態を示す模式図である。 グルーピングの中の１台の可搬型撮像機器がマスタカメラとなり、その他のカメラ（スレーブ）との通信コネクションをＭｅｓｈで確立、かつ、親機との通信をＷｉ－ＦｉＤｉｒｅｃｔまたはＭｅｓｈで確立した状態を示す模式図である。 被写体撮像モードの設定を選択する様子を示す模式図である。 事前にターゲットとなる被写体の写真やデプスつき写真、声で追尾したい対象者を入力することで、画像特徴によるトラッキングを行わせる例を示す模式図である。 ステージ撮影の場合の再配置の実行例を示す模式図である。 ステージ撮影の場合の再配置の実行例を示す模式図である。 ステージ撮影の場合の再配置の実行例を示す模式図である。 ステージ撮影の場合の再配置の実行例を示す模式図である。 被写体が２つに分かれて移動する場合を示す模式図である。 被写体が２つに分かれて移動する場合を示す模式図である。 被写体が２つに分かれて移動する場合を示す模式図である。 仮撮像の自由視点映像を用いた仮想カメラパス設定、検証の処理フローを示すフローチャートである。
　以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
　なお、説明は以下の順序で行うものとする。
　１．背景
　２．システムの構成例
　３．システムで行われる処理
　４．初期設定について
　５．リハーサル撮像について
　６．本撮像について
　７．被写体が２つ以上に分かれて移動する場合
　１．背景
　一般的に、自由視点映像を撮像する際には、固定型の撮像機器、集音機器を用い、会場へ常時設置して被写体を撮像することが行われる。一方、固定型の機器の場合、被写体が移動する場合などはズームアウトして撮影する必要があり、高精細な自由視点画像を生成することが困難となる。本実施形態では、撮像、集音の機能を、可動性を有する複数の可搬型撮像機器（ドローンなど）に搭載して配置することで、撮像機器を常時設置することが困難な場所においてもユーザーが手軽に自由視点映像を撮像することを可能にする。さらに、刻々と変化する被写体の位置、撮像アングルなどの要求に応じて、自由視点映像の品質改善を図るべく、複数の可搬型撮像機器が連携してその配置や数を動的に変更することを可能とする。
　一方、撮像機器の設置技術やノウハウを持ち合わせていないユーザーでも、手軽に自由視点映像を撮影し、映像を楽しみたいという要望がある。このようなユーザーにとっては、そもそも撮像機器を何処に設置していいかが不明である場合もある。また、ユーザーが撮像機器をある程度適正な位置に設置できたとしても、実際に合成した自由視点映像を確認してみないと、正しい位置に設置できたかが分からない場合もある。更に、撮像機器、集音機器に可搬性を持たせた場合には、撮像機器、集音機器の位置・姿勢が常に変動することになり、生成される自由視点映像の品質に影響をあたえる。本実施形態は、これらの課題をも解決し、利便性の高いシステムを提供するものである。
　２．システムの構成例
　まず、図１を参照して、本開示の一実施形態に係るシステム１０００の概略構成について説明する。図１に示すように、本実施形態に係るシステム１０００は、可搬型撮像機器（可動型撮像装置）１００と親機２００を有して構成される。本実施形態に係るシステム１０００では、可搬型撮像機器１００で移動する被写体３００を継続追跡する。このため、ケーブルの距離制約がある有線ネットワークではなく、無線ネットワークで撮像機器グループを構成することが望ましい。
　本実施形態に係るシステム１０００では、ユーザーが複数の可搬型撮像機器１００でネットワークグループを形成し、可搬型撮像機器１００に対して被写体撮像モード（撮影条件）を指定した後、各可搬型撮像機器１００の位置情報とユーザーが設定した被写体撮像モードをもとに可搬型撮像機器１００を仮配置し、自由視点映像をリハーサル生成することで事前確認を行う。そして、リハーサルの結果、よりオクルージョンが少ない位置に可搬型撮像機器１００を設置して撮像することを可能とする。被写体撮像モードは、被写体の条件と撮影の条件を含む撮影条件である。
　ユーザーによる被写体撮像モード等の指定、その他の操作は、親機２００を介して行うことができる。一方、ユーザーは、可搬型撮像機器１００を直接操作することで、これらの操作を行うこともできる。
　図２は、可搬型撮像機器１００の構成を示す模式図である。可搬型撮像機器１００の形態としては、ＵＡＶ（Ｕｎｍａｎｎｅｄ　Ａｅｒｉａｌ　Ｖｅｈｉｃｌｅ；例えばドローン）であってもよい。この場合、ＵＡＶは時間とともに自動的に動くことが可能であり、予め指定したターゲットを認識して追尾することも可能である。ＵＡＶの軌跡は自動的に制御してもよいし、タイムラインのような形でユーザーが事前に設定できるようにしてもよい。一部のＵＡＶの動きをユーザーが設定し、その他のＵＡＶが合成後の死角を少なくするように自動的に経路を決めて撮影してもよい。
　図２に示すように、可搬型撮像機器１００は、ユーザインタフェース（ＵＩ）部１０２、メモリ１０４、被写体認識部１０６、自由視点映像生成部１０８、無線通信部１１０、位置情報取得部１１２、撮像部１１４、駆動部１１６、制御部１２０を有して構成される。なお、可搬型撮像機器１００は、本実施形態で定義される自由視点映像の撮像機能をサポートしているものとする。
　図２において、撮像部１１４は、ＣＭＯＳセンサーなどの撮像素子から構成される。撮像部１１４は、被写体像を撮像素子の撮像面に結像させるための光学レンズを含んでいても良い。ユーザインタフェース部１０２は、ユーザーによる操作が入力される構成要素であって、タッチパネル、操作ボタン等から構成される。メモリ１０４は、撮像部１１４が撮像した画像情報や、その他の各種情報を格納する記録媒体である。被写体認識部１０６は、撮像部１１４が撮像した画像情報から被写体を認識し、被写体の特徴を示す情報、被写体の位置情報などを抽出する。
　無線通信部１１０は、他の可搬型撮像機器１００または親機２００と無線通信を行う機能を有する構成要素である。無線通信の方法としては、Ｂｌｕｅｔｏｏｔｈ（登録商標）などが挙げられるが、特にこれに限定されるものではない。
　自由視点映像生成部１０８は、他の可搬型撮像機器１００との通信により、他の可搬型撮像機器１００が撮像した画像情報を取得し、画像を合成することで自由視点映像を生成する。図１に示したように、複数の可搬型撮像機器１００のそれぞれは、１つの被写体を異なる方向から撮影する。自由視点映像生成部１０８は、多方面から撮影した画像を組み合わせて３次元モデルを生成することで、自由視点映像を生成する。各可搬型撮像機器１００が自由視点映像生成部１０８を備えることにより、各可搬型撮像機器１００は、全ての可搬型撮像機器１００が撮影した画像を共有し、自由視点映像を生成することができる。
　位置情報取得部１１２は、ＧＰＳの機能により可搬型撮像機器１００の位置情報を取得する。各可搬型撮像機器１００は、全ての可搬型撮像機器１００の位置情報を無線通信により共有する。駆動部１１６は、可搬型撮像機器１００を移動させるための車輪、プロペラ等を駆動する。制御部１２０は、可搬型撮像機器１００の各構成要素を制御する。
　図３は、親機２００の構成を示す模式図である。親機２００は、例えばスマートフォンやタブレット端末、ＨＭＤ等であり、ディスプレイを搭載した端末である。本実施形態では、自由視点映像をユーザーの手元の親機２００で逐次仮生成し、その精度を確認しながら可搬型撮像機器１００の配置調整を行う。親機２００は、ユーザインタフェース（ＵＩ）部２０２、メモリ２０４、撮像結果表示部（提示部）２０６、無線通信部２０８、撮像結果判定部２１０、自由視点映像生成部２１２、制御部２２０を有して構成される。なお、図２、図３に示す各構成要素は、ハードウェア、またはＣＰＵなどの中央演算処理装置とこれを機能させるためのプログラム（ソフトウェア）から構成することができる。また、そのプログラムは、可搬型撮像機器１００又は親機２００が備えるメモリ等の記録媒体に記録されることができる。
　ユーザインタフェース部２０２は、ユーザーによる操作が入力される構成要素であって、タッチパネル、操作ボタン等から構成される。メモリ２０４は、各可搬型撮像機器１００から取得した自由視点画像の画像情報や、その他の各種情報を格納する記録媒体である。撮像結果表示部２０６は、液晶表示デバイス（ＬＣＤ）等から構成され、生成された自由視点画像を表示する。また、撮像結果表示部２０６は、複数の可搬型撮像機器１００を最適な位置に配置するための配置情報をユーザーに提示する。可搬型撮像機器１００がドローンなどの自走する装置でない場合、ユーザーは提示された配置情報に基づいて複数の可搬型撮像機器１００を最適な位置に配置することができる。
　無線通信部２０８は、各可搬型撮像機器１００と無線通信を行う機能を有する構成要素である。無線通信部２０８は、各可搬型撮像機器１００との通信により、各可搬型撮像機器１００が撮像した画像情報を取得する。上述したように、無線通信の方法は特に限定されるものではない。撮像結果判定部２１０は、生成された自由視点画像に基づいて、画像にオクルージョンなどが生じていないかを判定する。自由視点映像生成部２１２は、各可搬型撮像機器１００が撮像した画像を合成することで自由視点映像を生成する。
　制御部２２０は、親機２００の各構成要素を制御する。制御部２２０は、撮像情報取得部２２２、配置情報算出部２２４、仮配置情報選択部２２６、品質判定部２２８を有して構成される。撮像情報取得部２２２は、複数の可搬型撮像機器１００が有する、撮像に関する情報を取得する。配置情報算出部２２４は、撮像に関する情報に基づいて、複数の可搬型撮像機器１００が撮像した画像を合成して自由視点映像を生成するために、複数の可搬型撮像機器１００を最適な位置に配置するための配置情報を算出する。また、配置情報算出部２２４は、自由視点映像の品質に基づいて配置情報を算出し、特に複数の可搬型撮像機器１００が仮配置された状態で生成された自由視点映像に基づいて、複数の可搬型撮像機器１００を最適な位置に配置するための配置情報を算出する。仮配置情報選択部２２６は、ユーザーの操作入力に応じて撮影条件に対応する仮配置情報を選択する。品質判定部２２８は、撮像結果判定部２１０の判定結果に基づき、自由視点映像に死角やオクルージョンが生じていないかなど、自由視点映像の品質を判定する。
　３．システムで行われる処理
　図４は、本実施形態に係るシステムで行われる全体的な処理を示すフローチャートである。図４に基づいて、本システムが提供する機能を、初期設定から最終的に自由視点映像生成に至るまでの操作シーケンスとして時系列に説明する。先ず、ステップＳ１０では、親機２００により初期設定を行う。具体的には、ステップＳ１０では、複数の可搬型撮像機器１００から構成されるネットワークグループの初期設定、時刻同期、被写体撮像モードの設定を行う。また、ユーザー操作により、同じグループに所属する複数の可搬型撮像機器１００を選択し、ネットワークグループを形成する。更に、環境認識を行い、同じグループに所属する複数の可搬型撮像機器１００のそれぞれについて、カメラの性能、撮像精度、位置情報等を親機２００が取得する。
　次に、ステップＳ１２では、リハーサル撮像を行う。具体的には、可搬型撮像機器１００の位置情報と、ユーザーが設定した被写体撮像モードに基づき、複数の可搬型撮像機器１００を仮配置し、複数の可搬型撮像機器１００から得られた画像を合成して自由視点映像を仮生成する。これにより、試し撮影を行うことができ、可搬型撮像機器１００の画角などの撮影条件を確認することができる。また、リハーサル撮像により得られた画像から被写体のデプスを取得し、障害物を検出することができる。
　次に、ステップＳ１４では、リハーサル撮像により仮生成した自由視点映像が、所定の品質を満たしているか否かを判定し、所定の品質を満たしている場合はステップＳ１６へ進む。ステップＳ１６では、本撮影を行う。具体的には、ステップＳ１６では、仮生成した自由視点映像から可搬型撮像機器１００の配置の微調整を行い、本撮像を実施する。この際、ユーザーへ可搬型撮像機器１００の再配置の指示を行うなどして配置の微調整を行い、本撮像を開始する。
　４．初期設定について
　以下では、図４の各処理について詳細に説明する。先ず、ステップＳ１０で行われる初期設定について説明する。初期設定では、可搬型撮像機器１００のネットワーク初期設定ならびに時刻同期、被写体撮像モードの設定を行う。可搬型撮像機器１００の初期設定、グルーピングは、ユーザーとのインタラクションによって実現される。先ず、ユーザーは、親機２００および可搬型撮像機器１００の電源を入れる。可搬型撮像機器１００は、電源が投入されると、自由視点映像の撮像機能をサポートしていることを周囲に通知する動作を行う。具体的な方法としては、親機２００に接続する前に、ＩＥＥＥ
８０２．１１ Ｍａｎａｇｅｍｅｎｔ Ｆｒａｍｅを使って、可搬型撮像機器１００が対応しているサービス情報や接続プロトコル（Ｗｉ－Ｆｉ　Ｄｉｒｅｃｔ／ＩＥＥＥ ８０２．１１ｓメッシュをサポート）をやり取りするといった方法を用いる。
　親機２００は、可搬型撮像機器１００から通知される情報から、自由視点映像の撮像に対応している可搬型撮像機器１００を認識し、以後のステップでグループ登録する機器の候補とする。図５は、自由視点映像撮像に対応している複数の可搬型撮像機器１００が親機２００の撮像結果表示部２０６に表示された状態を示す模式図である。図５に示すように、親機２００は、接続候補となる可搬型撮像機器１００をユーザーに提示し、ユーザーに選択を促す。また、親機２００は、複数のグループが存在する場合には、選択した可搬型撮像機器１００をどのグループに追加するかグループの候補を提示し、ユーザーに選択を促してグルーピングを決定する。
　可搬型撮像機器１００をグループに追加していく場合、最終的に何台の可搬型撮像機器１００がどのように連携するかを事前に設定するのは手間がかかる場合もある。このため、新たに可搬型撮像機器１００の電源を入れたとき、「既存のグループに追加しますか？」といったメッセージを親機２００のユーザインタフェース部２０２に表示させ、グループに可搬型撮像機器１００を順次追加していく手法を取っても良い。この場合、ユーザーは、予め何台の可搬型撮像機器１００でグループを構成するかを気にすることなく、簡単にグループを構成することができる。なお、この手法を取る場合、複数のグループがあるときにどのグループに可搬型撮像機器１００を追加するのかを識別する必要が生じる。また、セキュリティ的な観点からも、他人の可搬型撮像機器１００が同じグループに追加されることが望ましくない場合もある。このため、セキュリティ情報が書かれた親機２００の２次元バーコードなどのタグを可搬型撮像機器１００のカメラを使い読み込ませることで、可搬型撮像機器１００と親機２００との接続設定を行う。もしくは、ＮＦＣなどの近接通信デバイスを用いて親機２００を可搬型撮像機器１００にタッチすることで接続相手を特定し、グループを識別してもよい。グループには、固定設置型の撮像機器を組み入れてもよい。また、可搬型撮像機器１００又は固定設置型の撮像機器は、奥行きが分かるデプスカメラを備えていてもよい。
　なお、接続手順を行っている最中に、親機２００の画面上で、カメラ間に仮想的なワイヤーを引いて表示させることもできる。
　この時点で、図６に示すように、親機２００とグループに登録する可搬型撮像機器１００の接続が完了している状態となる。接続に用いるプロトコルは親機２００をＧｒｏｕｐ　ＯｗｎｅｒとするＷｉ－Ｆｉ　Ｄｉｒｅｃｔまたは親機２００をＳｏｆｔＡＰとするインフラストラクチャーモードを想定する。このまま自由視点映像の仮撮像を行ってもよいが、この場合、移動する被撮像者が追跡撮影された結果、複数の可搬型撮像機器１００が親機２００の電波到達範囲外に移動し、ネットワークグループが機能しなくなることも想定される。このような状況が考えられるユースケースの場合には、図７に示すように、グルーピングの中の１台の可搬型撮像機器１００がマスタカメラとなり、その他のカメラ（スレーブ）との通信コネクションをＷｉ－Ｆｉ　Ｄｉｒｅｃｔで確立し、かつ、親機２００との通信をＷｉ－Ｆｉ　Ｄｉｒｅｃｔで確立する。
　または、図８に示すように、グルーピングの中の１台の可搬型撮像機器１００がマスタカメラとなり、その他のカメラ（スレーブ）との通信コネクションをＭｅｓｈで確立し、且つ、親機２００との通信をＷｉ－Ｆｉ
ＤｉｒｅｃｔまたはＭｅｓｈで確立しても良い。
　これにより、可搬型撮像機器１００のグループが親機２００から離れても自由視点映像の撮像を継続できるようになる。このため、ユーザーには親機２００を中心としたネットワークグループ構成にするか、可搬型撮像機器１００のみでネットワークグループを構成して撮像するかを選べるようにできるものとする。可搬型撮像機器１００のみでネットワークグループを構成する場合には、ユーザーがグループ内の可搬型撮像機器１００からマスタカメラとなる可搬型撮像機器１００を選ぶと、そのマスタカメラをＧｒｏｕｐ
ＯｗｎｅｒとするＷｉ－Ｆｉ Ｄｉｒｅｃｔグループやメッシュネットワークを再度自動形成する。
　なお、このように可搬型撮像機器１００の間でネットワークグループを構成した場合、機器間のクロック同期には無線ＬＡＮ上でのハードウェア支援型ＰＴＰプロトコルであるＩＥＥＥ
８０２．１１ｍｃ Ｆｉｎｅ Ｔｉｍｉｎｇ Ｍｅａｓｕｒｅｍｅｎｔなどの技術を用いることで、より精度の高い撮像機器間のクロック同期を行うことができる。
　可搬型撮像機器１００グループが生成された後、ユーザーは、親機２００を用いて被写体撮像モードの設定を選択する。図９は、被写体撮像モードの設定を選択する様子を示す模式図である。ここでは、まず撮像対象が全天周なのか自由視点撮影なのかを設定し、さらに可搬型撮像機器１００をどのような撮像ポリシーで配置するかを設定する。被写体撮像モードでは、ユーザーは複数の撮像モードの中から所望のモードを選択して設定できるようになっている。例えば、図９に示すように、被写体３００の周囲に３６０度均一に可搬型撮像機器１００を配置して対象を狙って撮像するのか、複数の可搬型撮像機器１００が撮像する方向を放射状とし、風景などを複数の方向から撮像して全体を撮るのかを、被写体撮像モードを選択することで指定できる。また、ユーザーは、コンサートステージなどでの使用を想定した場合、被写体後方よりも前面に多くの可搬型撮像機器１００を配置する、などの被写体撮像モードも指定することができる。
　例えば、特定の対象物をトラッキングする設定と、ある地点から全天球の映像を取得する場合が考えられる。あるいは、テニスの場合にラケットにあたった瞬間を狙ってプレーヤーを重点的に撮る、といった特殊な設定も考えられる。この場合、スポーツの種類、対象物の位置、状況等を認識して、システムが撮り方をユーザーに推薦してもよい。または、ユーザーが既に撮影した動画をシステムに入力して、これを元にシステムがポリシーを推定してもよい。これらの被写体撮像モードやポリシーに関する情報は、予め親機２００のメモリ２０４に格納しておくことができる。
　また、被写体を狙う設定の場合、撮る前に被写体を指示するのは難しい場合がある。その場合、被写体にマーカーをつけて、撮影中にマーカートラッキングを行う手法を用いてもよい。トラッキングは、被写体認識部１０６がマーカーを認識し、マーカーを追尾するように制御部１２０が駆動部１１６を駆動することによって行われる。マーカー設定の手間がかかる場合には、図１０に示すように、事前にターゲットとなる被写体の写真やデプスつき写真、声で追尾したい対象者を入力することで、画像特徴によるトラッキングを行わせるようにしてもよい。この場合、トラッキングは、被写体認識部１０６が画像特徴を認識し、画像特徴に合致する被写体３００を追尾するように制御部１２０が駆動部１１６を駆動することによって行われる。また、親機２００から送られた配置情報に基づいて制御部１２０が駆動部１１６を駆動することで、各可搬型撮像機器１００は、被写体をトラッキングしながら、自由視点映像の品質が高くなるように最適の位置に配置される。また、各可搬型撮像機器１００が親機２００の撮像結果判定部２１０、品質判定部２２８、配置情報算出部２２４に相当する構成を備えていれば、各可搬型撮像機器１００は、被写体をトラッキングしながら、自由視点映像の品質が高くなるように自立的に最適の位置配置されることができる。
　図１０に示す例では、ゴルファーの写真の画像を追尾したい対象者として登録し、カメラクルーを撮影対象から除外した例を示している。追尾したい対象者の上半身をタッチして登録することで、より正確に対象者の登録を行うことができる。また、同時にカメラクルーのように、ターゲットでなく撮影しない対象者３０２も入力することで、優先して撮影しない人物や物体を選択することもできる。また、ユーザーが撮影したい被写体を複数選択したい場合は、上記の被写体選択方法を繰り返して複数の被写体を設定することができる。この場合、複数のグルーピングが作られることになる。
　５．リハーサル撮像について
　次に、図４のステップＳ１２で行われるリハーサル撮像について説明する。リハーサル撮像では、位置情報とユーザーが設定した被写体撮像モードをもとに可搬型撮像機器１００を仮配置し、仮撮像（リハーサル撮像）を行う。ステップＳ１０で撮影に使用する複数の可搬型撮像機器１００が接続され、被写体撮像モードの設定ができたら、可搬型撮像機器１００を仮に配置したうえで、試し撮影と画角の確認を行う。先ず、最適な配置を行う上では、それぞれの可搬型撮像機器１００の位置推定を行う。更に、それぞれの可搬型撮像機器１００のカメラ性能（諸元）や絶対位置、相対位置、カメラの向きなどの情報を、無線通信媒体を介して取得し、撮像配置のための判断材料（撮像情報）として用いる。各可搬型撮像機器１００の位置を特定するために画像情報を用いても良い。具体的には、各可搬型撮像機器１００で３次元環境マップを作り、自己位置推定ならびに他の可搬型撮像機器１００との相対位置を把握し、撮像情報として用いる。３次元環境マップとは、カメラ画像から生成される、障害物の位置、情報等の幾何学的特徴により構成される環境地図である。この環境地図を用いて、可搬型撮像機器１００の自己位置推定を行うことができる。
　その後、可搬型撮像機器１００間で３次元環境マップと位置情報を共有し、お互いの位置関係を把握する。または、同時にＲＴＫ測位や無線ＬＡＮ
ＩＥＥＥ ８０２．１１ｖまたは８０２．１１ａｚによる測位、Ｂｌｕｅｔｏｏｔｈ Ｌｏｗ Ｅｎｅｒｇｙ　Ｄｉｒｅｃｔｉｏｎ Ｆｉｎｄｉｎｇ測位のような屋内測位技術を用いてもよい。
　各可搬型撮像機器１００の位置が推定できた後に、各可搬型撮像機器１００が最適な配置となるように仮配置を行う。仮配置を行った後、事前に自由視点映像を撮像し、自由視点映像の品質を確認する。最適な配置がなされているか否かの品質を確認する際には、例えばオクルージョンが起きている場所などを確認する。自由視点映像を撮るにあたっての画角から漏れている「穴」がないか調べ、必要な場所に可搬型撮像機器１００を再配置させる準備をする。オクルージョンが実際に発生しているかどうかという観点の他に、潜在的なオクルージョンの可能性も考慮する。例えば一つの可搬型撮像機器１００が移動する物体によって覆われてしまった場合に、オクルージョンが発生するかどうかもシミュレートする。
　また、対象としてより重要な被写体が十分な解像度で撮れているかを確認する。例えばスポーツにおいては、場内の設備など全ての物体がオクルージョン無く撮れていることよりも、主要なプレーヤーが十分な解像度で撮れることが必要である。十分な解像度で撮るためにはカメラの画角を狭くして画面いっぱいにとらえる必要があるため、その被写体のまわりにより多くカメラを配置する必要が生じる。また別の例では、可搬型撮像機器１００の移動可能な角速度を考慮する。特定の動く被写体、例えば走者、ボール、車、飛行機などを追尾する可搬型撮像機器１００が存在する場合、その可搬型撮像機器１００の移動可能な速度は限られている。その場合、可搬型撮像機器１００は動く被写体からある程度の距離が離れている必要がある。リハーサルにおいては、実際にどのような映像が撮れるかを確認し、問題を洗い出す。
　なお、オクルージョンの「穴」があっても、最終的に生成される自由視点映像上での画角で問題がなければ良い。このため、予め親機２００などの端末で見たい視点を入力し、見たい視点を実世界上で行き来して確認してもよい。実世界で確認を行う場合、ＨＭＤディスプレイなどを使って、「穴」になる部分だけブラックアウトさせてもよい。ＨＭＤディスプレイでなく、タブレット端末のカメラスルー画を画面に写して同様のことを行ってもよい。
　次に、デプス情報の取得、障害物の検出を行う。これは撮影場所のデプスマップを作る作業である。一度デプスマップを作ることにより、自由視点映像をより幅広く作ることができる。一方、途中で障害物により一時的な「穴」があってデプスが作れない場合もある。この場合、デプスを正確に取るために必要なデータを補完するため、ユーザーにカメラを持って動くように指示してもよい。あるいは、インターネット上やストレージに予め記録されている情報を参照してもよい。デプス情報が取れたら、障害物を認識して、３Ｄ空間で今カメラを置くべき場所を提示する。障害物としては、柱等動かないものは本番においても死角になるが、一時的に置いてある物体によるオクルージョンは問題とならない場合もある。このため、物体認識を行い、撮影時に本当に死角となるものを検出したうえで、画面にオブジェクトを表示して、障害物を選択できるようにする。また、試し撮影では問題がなくても、本番では別のオクルージョン要素が出る可能性がある。これを解決するため、親機２００のマップ上でユーザーが人や物の配置を設定できるようにしてもよい。例えばステージの撮影において、アーティストの立ち位置を３次元モデルにドラッグして設定できるようにする。
　仮配置が完了した後、複数の可搬型撮像機器１００を用いて自由視点映像を生成する。撮像した複数の可搬型撮像機器１００からの映像は、マスタカメラ上で結合、再構成してもよいし、バッテリー駆動等でリソースが限られる場合は一旦リモートサーバーで処理してもよい。
　また、本撮像した後、リハーサルによって再構成された自由視点映像空間を等倍もしくはミニチュアとしてレンダリングした映像を、自己位置推定が可能なカメラを１台用いて実際に視聴する際のカメラワークに沿って移動し、ズーム操作、フォーカス操作、絞り操作などをすることで、本撮影した自由視点映像を視聴する際の仮想カメラの移動パスや視覚効果をあらかじめ仮撮像の段階で確認することも可能になる。このフローを例えば、重要なアングルから見てオクルージョンが発生していないかを確認したり、３次元モデルと重畳することによって視覚効果を事前に確認したり、仮想カメラの移動パスを編集したりといったことを、物理カメラの移動や操作によって直感的に確認し、指示したりすることが可能になる。また事前にそのような仮想カメラの移動パスを機器配置にフィードバックすることによって、品質を重視すべきオブジェクトやエリアをより正確に設定することも可能になる。
　以下では、可搬型撮像機器１００の配置のリハーサルの実施フローの一例について説明する。初期の可搬型撮像機器１００の配置位置は、被写体撮影モードに応じて、親機２００で示したＲＯＩ（Ｒｅｇｉｏｎ　Ｏｆ　Ｉｎｔｅｒｅｓｔ：関心領域）を水平方向、垂直方向に均等にカバーするように親機２００側で計画される。例えば舞台モード時には、ステージ中央を中心に水平１８０度、垂直４５度に等距離配置する。しかし、各可搬型撮像機器１００には衝突回避などの基本的な自律動作があり、実際には、必ずしも親機２００の初期計画と同じ位置に配置されるとは限らない。各可搬型撮像機器１００が安定に整置した時点で仮撮影を行い、親機２００での計算によりＳＬＡＭによって３次元環境マップと各可搬型撮像機器１００の位置が得られる。なお、各可搬型撮像機器１００の位置は、ＳＬＡＭ以外の測位方式を用いて精度を高めてもよい。親機２００では各可搬型撮像機器１００からの映像の合成で得られた３次元環境マップに被写体の３次元モデルを仮配置し、障害物、各可搬型撮像機器１００の位置、光源情報などからオクルージョンの発生量や画質のシミュレーションを行う。
　このシミュレーションや評価関数の実装は、レイキャスティングなどの既存のコンピュータグラフィクスのレンダリング技術により実現できる。もしオクルージョンの発生予想量がある閾値を上回っていたり、発生位置が致命的であったり、画質に問題が予想される場合、それを改善するためにユーザーに選択肢を提示する。
　提示例としては、以下のような選択肢を想定できる。
　（１）被写体とカメラの間に障害物がある場合、上下左右へのシフト、もしくは被写体への接近などで回避を提案
　（２）被写体のオクルージョンの発生が最小になるように、オクルージョン発生予想付近に傾斜配分で配置する提案
　（３）被写体の内でも重要なＲＯＩの画質が保たれるように配置し、重要でないＲＯＩのオクルージョンや画質低下は許容するように提案
　（４）オクルージョン、品質ともに全域で保たれるようにカメラの追加を提案
　（５）どうしても解決できない場合は、ＲＯＩの範囲の修正をユーザーに依頼
　ユーザーはいずれかの改善案を選択し、親機２００はそれに基づいて配置計画を修正する。以上のような、配置計画～仮撮影～改善提案～改善実施の手順をユーザーが納得するまで繰り返す。
　図１１～図１４では、ステージ撮影の場合の再配置の実行例を示している。先ず、図１１に示すように、被写体撮影モードに応じた初期設定を用いて、ＲＯＩ（被写体３００）の正面を中心に複数の可搬型撮像機器１００を等間隔、等距離に仮配置する。図１２は、図１１の状態を上から見た様子を示している。図１２に示すように、再構築した環境マップ上にＲＯＩの３次元モデルを配置し、ＲＯＩの移動が予測される範囲でモデルを動かしながら、各可搬型撮像機器１００の位置からレイキャスティングを実行し、評価することで、３次元モデルのオクルージョン量や撮影品質をシミュレーションする。
　そして、図１３に示すように、仮撮影でのオクルージョン量や撮影品質のシミュレーション結果に基づいて、最適化した配置を行う。図１１に示すように、仮配置の状態では、複数の可搬型撮像機器１００のうちの一部は、柱が邪魔になってＲＯＩを撮影することができない。このため、図１３に示すように、シミュレーション結果に基づいて可搬型撮像機器１００の配置を最適化することで、全ての可搬型撮像機器１００がＲＯＩを撮影できるようにする。
　図１４は、図１１の状態を上から見た様子を示している。このように、仮撮影の環境マップに基づいた再配置によって、必要な品質を確保しつつオクルージョン量が最小になるように可搬型撮像機器１００の配置を最適化することができる。
　６．本撮像について
　次に、図４のステップＳ１４で行われる本撮像について説明する。本撮像では、仮生成した自由視点映像から撮像機器配置の微調整を行い、本撮像を行う。これまでの処理により現配置で生成される自由視点映像の品質を確認し、可搬型撮像機器１００のカメラの配置や画角に問題がある場合、改善プランをユーザーに提示する。自律動作が可能なドローンなどは指定された位置に対して自ら移動させる。仮生成された自由視点映像をもとにオクルージョンが起きにくい位置に配置させたり、デプスセンシングの精度が低い場所にカメラを多く配置させたりするなど、配置の微調整を行う。
　ユーザーへ可搬型撮像機器１００の再配置を指示する場合には、親機２００となっている端末、または任意の画面付き端末に示しても良いし、画面がないカメラに対してはシースルーＨＭＤで新しい配置位置を提示してもよい。あるいはタブレットのカメラをかざして設定してもよい。新しい配置の指示については、それぞれの可搬型撮像機器１００に対しどちら方向に動かせばよいか、という方向を示す。グローバルマップがあれば、マップ上で改善案を示してもよい。場合によっては、システムが再配置を依頼しても、可搬型撮像機器１００の設置位置に制限があって変更できない場合がある。この場合、可搬型撮像機器１００が動かせない旨システムに通知する必要がある。予め可搬型撮像機器１００の動かしづらさをシステムが認識しておくのも有効である。また、場所を移動する再配置のオプションとしては、角度変更の他にレンズの交換やズーム倍率の変更を行わせても良い。また、ネットワーク帯域が足りなくなる場合は有線接続にするようアドバイスしてもよい。予備のカメラを複数配置しておき、動的にオン／オフするような設定にしてもよい。なお、期待通りの自由視点映像が得られるまで、図４のステップＳ１２のリハーサルとステップＳ１４の本撮影を繰り返し実施してもよい。
　以上が本実施形態の基本プロセスである。次に、撮影中の操作やシステムの動作について、重要なポイントを項目別に説明する。まず、撮影中にカメラクルー等が映り込むのが適切でない場合、一時的に撮影を停止することができる。また、ターゲットをねらって撮る場合、各ターゲットの重要度について、映像を外部に中継していてソーシャルメディア等から視聴者のフィードバックが得られる場合、動的にターゲットの重要度を変更してもよい。フィードバックとしては、ユーザーがどのような画角、位置、ズームで自由視点映像を視聴しているかといった視聴に関する情報を用いてもよい。ここで自由視点映像を視聴しているユーザー視点での画角情報を集めて対象物体を特定しようとしても、タイムスタンプがずれているとどの物体か判別できなくなる。このため、ユーザーからのフィードバックを受ける場合、ユーザーの手元での視聴時間の情報も同時に送るようにする。
　ターゲットを狙って撮影する場合、ターゲットの動きを予め予測して、ターゲットが今後移動する場所をより高精細に取れるようにカメラの設定を変更したり、カメラの位置変更をユーザーに指示したりしても良い。
　７．被写体が２つ以上に分かれて移動する場合
　複数の可搬型撮像機器１００で被写体群を追跡し撮像している場合において、被写体が二つ以上に分かれて移動する場合は、それぞれの被写体を追跡するようにカメラを配分し、複数のグループに分かれて撮像する。また、被写体が一つに集結した場合には複数のグループをマージして撮像する。
　図１５～図１７は、被写体が２つに分かれて移動する場合を示す模式図であって、ＲＯＩ＃１とＲＯＩ＃２を撮像する場合を示している。図１５は、親機２００と各可搬型撮像機器１００とがＷｉ－Ｆｉ　ＤｉｒｅｃｔまたはＭｅｓｈ接続によって接続された場合を示している。図１６は、複数の可搬型撮像機器１００のうちのマスタカメラ機能を有する可搬型撮像機器１００と親機２００とがＷｉ－Ｆｉ　ＤｉｒｅｃｔまたはＭｅｓｈ接続によって接続され、更にマスタカメラ機能を有する可搬型撮像機器１００が各可搬型撮像機器１００とＷｉ－Ｆｉ　ＤｉｒｅｃｔまたはＭｅｓｈ接続によって接続された例を示している。また、図１７は、複数の可搬型撮像機器１００のうちのマスタカメラ機能を有する可搬型撮像機器１００と親機２００とがＷｉ－Ｆｉ　ＤｉｒｅｃｔまたはＭｅｓｈ接続によって接続され、各可搬型撮像機器１００が各可搬型撮像機器１００とＷｉ－Ｆｉ　ＤｉｒｅｃｔまたはＭｅｓｈ接続によって総合に接続された例を示している。マスタカメラ機能を有する可搬型撮像機器１００としては、ＲＯＩ＃１とＲＯＩ＃２のそれぞれに対応する機器が１つずつ設定される。図１５～図１７では、ＲＯＩ＃１とＲＯＩ＃２にそれぞれに４つの可搬型撮像機器１００が対応しているが、ＲＯＩ＃１とＲＯＩ＃２が１つに集結すれば、合計８つの可搬型撮像機器１００でＲＯＩ＃１及びＲＯＩ＃２を撮像する。
　ＲＯＩ＃１及びＲＯＩ＃２が集結している状態から分離した場合、各可搬型撮像機器１００の被写体認識部１０６がその旨を認識し、分離したＲＯＩ＃１及びＲＯＩ＃２の位置情報を含む撮像情報を親機１００に送る。親機１００は、各可搬型撮像機器１００から送られた撮像情報に基づいて配置情報を算出し、複数の可搬型撮像機器１００がＲＯＩ＃１とＲＯＩ＃２のそれぞれに対応するように分離して配置させる。また、ＲＯＩ＃１及びＲＯＩ＃２が分離している状態から集結した場合、各可搬型撮像機器１００の被写体認識部１０６がその旨を認識し、集結したＲＯＩ＃１及びＲＯＩ＃２の位置情報を含む撮像情報として親機１００に送る。親機１００は、各可搬型撮像機器１００から送られた撮像情報に基づいて配置情報を算出し、複数の可搬型撮像機器１００が集結したＲＯＩ＃１及びＲＯＩ＃２に対応するように配置させる。ＲＯＩ＃１及びＲＯＩ＃２を各可搬型撮像機器１００が追尾する際には、所定時間毎に各可搬型撮像機器１００が自由視点映像を生成することもできる。各可搬型撮像機器１００が親機２００の撮像結果判定部２１０、品質判定部２２８、配置情報算出部２２４に相当する構成を備えていれば、各可搬型撮像機器１００は、自由視点映像の品質に応じて、オクルージョンなど極力少なくなるように各可搬型撮像機器１００の配置を動的に制御していくことが可能となる。
　８．仮撮像の自由視点映像を用いた仮想カメラパス設定・検証の処理フロー
　図１８は、仮撮像の自由視点映像を用いた仮想カメラパス設定、検証の処理フローを示すフローチャートである。先ず、ステップＳ２０では、可搬型撮像機器１００を仮配置する。仮配置は、ユーザーがユーザインタフェース部２０２を操作して指定した被写体撮像モードに応じて行われる。次のステップＳ２２では、リハーサル撮像（仮撮像）を行う。次のステップＳ２４では、仮配置した状態で各可搬型撮像機器１００が撮像した画像を合成し、自由視点映像（仮自由視点映像）を生成する。次のステップＳ２６では、仮自由視点映像の品質判定を行う。品質判定の際には、３次元モデルが適宜用いられる。品質判定の結果、仮配置した可搬型撮像機器１００の位置のフィードバック補正が行われる。次のステップＳ２８では、仮自由視点映像と実カメラで仮想カメラパスを設定し、検証を行う。検証結果に基づいて可搬型撮像機器１００の位置がフィードバック補正され、可搬型撮像機器１００が自由視点映像を生成するために最適な位置に配置される。次のステップＳ３０では、可搬型撮像機器１００が自由視点映像を生成するために最適な位置に配置された状態で、各可搬型撮像機器１００が本撮影を行う。次のステップＳ３２では、本撮影により得られた画像情報に基づいて、画像を合成して自由視点映像を生成する。ステップＳ３２では、ステップＳ２８の検証結果に基づいて、仮想カメラパス情報の反映が行われる。
　以上説明したように本実施形態によれば、自由視点映像を撮像するための撮像・集音機器に可搬性を持たせることで、コンテンツプロバイダーにとっては、これまで撮りたくても取れなかった自由視点映像コンテンツを増やし提供することができる。さらに、エンドユーザーにとっては、撮像機器の設置技術やノウハウを持ち合わせていなくても、手軽に、自由視点映像を撮影し、楽しむことができる。
　以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
　また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
　なお、以下のような構成も本開示の技術的範囲に属する。
（１）　撮像機能を有する複数の可動型撮像装置から撮像に関する撮像情報を取得する撮像情報取得部と、
　前記撮像情報に基づいて、複数の前記可動型撮像装置が撮像した画像を合成して自由視点映像を生成するために、複数の前記可動型撮像装置を配置するための配置情報を算出する配置情報算出部と、
　を備える、可動型撮像装置の制御装置。
（２）　複数の前記可動型撮像装置が撮像した画像を合成して前記自由視点映像を生成する自由視点映像生成部と、
　前記自由視点映像の品質を判定する品質判定部と、を備え、
　前記配置情報算出部は、前記自由視点映像の品質に基づいて、前記配置情報を算出する、前記（１）に記載の可動型撮像装置の制御装置。
（３）　前記配置情報算出部は、複数の前記可動型撮像装置が仮配置された状態で生成された前記自由視点映像の品質に基づいて、前記配置情報を算出する、前記（２）に記載の可動型撮像装置の制御装置。
（４）　複数の前記可動型撮像装置を前記配置情報に基づいて配置させるため、前記配置情報を複数の前記可動型撮像装置へ送信する通信部を備える、前記（１）～（３）のいずれかに記載の可動型撮像装置の制御装置。
（５）　複数の前記可動型撮像装置を前記配置情報に基づいて配置させるため、前記配置情報をユーザーに提示する提示部を備える、前記（１）～（４）のいずれかに記載の可動型撮像装置の制御装置。
（６）　複数の前記可動型撮像装置を仮配置するための仮配置情報を前記可動型撮像装置へ送信する通信部を備える、前記（３）に記載の可動型撮像装置の制御装置。
（７）　前記仮配置情報は、被写体の撮影条件と対応付けて予め準備され、
　ユーザーの操作入力に応じて、前記撮影条件に対応する前記仮配置情報を選択する仮配置情報選択部を備える、前記（６）に記載の可動型撮像装置の制御装置。
（８）　前記撮像情報は、複数の前記可動型撮像装置の位置、複数の前記可動型撮像装置が有するカメラの諸元、前記カメラの向き、の少なくとも１つを含む、前記（１）～（７）のいずれかに記載の可動型撮像装置の制御装置。
（９）　前記撮像情報は、複数の前記可動型撮像装置が撮像した撮像画像から生成される３次元環境マップを含む、前記（１）～（８）のいずれかに記載の可動型撮像装置の制御装置。
（１０）　前記配置情報は、１の被写体が複数に分離した場合に、複数の前記可動型撮像装置を複数の被写体に対応するように分離して配置するための情報を含む、前記（１）～（９）のいずれかに記載の可動型撮像装置の制御装置。
（１１）　前記配置情報は、複数の前記被写体が１つに集結した場合に、複数の前記可動型撮像装置を集結した前記被写体の周りに配置するための情報を含む、前記（１０）に記載の可動型撮像装置の制御装置。
（１２）　撮像機能を有する複数の可動型撮像装置から撮像に関する撮像情報を取得することと、
　前記撮像情報に基づいて、複数の前記可動型撮像装置が撮像した画像を合成して自由視点映像を生成するために、複数の前記可動型撮像装置を配置するための配置情報を算出することと、
　を備える、可動型撮像装置の制御方法。
（１３）　撮像機能を有する複数の可動型撮像装置から撮像に関する撮像情報を取得する手段、
　前記撮像情報に基づいて、複数の前記可動型撮像装置が撮像した画像を合成して自由視点映像を生成するために、複数の前記可動型撮像装置を配置するための配置情報を算出する手段、
　としてコンピュータを機能させるためのプログラム。
　１００　　可搬型撮像機器
　２００　　親機
　２０８　　無線通信部
　２１２　　自由視点映像生成部
　２２２　　撮像情報取得部
　２２４　　配置情報算出部
　２２６　　仮配置情報選択部
　２２８　　品質判定部

Claims (13)

  1. 　撮像機能を有する複数の可動型撮像装置から撮像に関する撮像情報を取得する撮像情報取得部と、
    　前記撮像情報に基づいて、複数の前記可動型撮像装置が撮像した画像を合成して自由視点映像を生成するために、複数の前記可動型撮像装置を配置するための配置情報を算出する配置情報算出部と、
    　を備える、可動型撮像装置の制御装置。
  2. 　複数の前記可動型撮像装置が撮像した画像を合成して前記自由視点映像を生成する自由視点映像生成部と、
    　前記自由視点映像の品質を判定する品質判定部と、を備え、
    　前記配置情報算出部は、前記自由視点映像の品質に基づいて、前記配置情報を算出する、請求項１に記載の可動型撮像装置の制御装置。
  3. 　前記配置情報算出部は、複数の前記可動型撮像装置が仮配置された状態で生成された前記自由視点映像の品質に基づいて、前記配置情報を算出する、請求項２に記載の可動型撮像装置の制御装置。
  4. 　複数の前記可動型撮像装置を前記配置情報に基づいて配置させるため、前記配置情報を複数の前記可動型撮像装置へ送信する通信部を備える、請求項１に記載の可動型撮像装置の制御装置。
  5. 　複数の前記可動型撮像装置を前記配置情報に基づいて配置させるため、前記配置情報をユーザーに提示する提示部を備える、請求項１に記載の可動型撮像装置の制御装置。
  6. 　複数の前記可動型撮像装置を仮配置するための仮配置情報を前記可動型撮像装置へ送信する通信部を備える、請求項３に記載の可動型撮像装置の制御装置。
  7. 　前記仮配置情報は、被写体の撮影条件と対応付けて予め準備され、
    　ユーザーの操作入力に応じて、前記撮影条件に対応する前記仮配置情報を選択する仮配置情報選択部を備える、請求項６に記載の可動型撮像装置の制御装置。
  8. 　前記撮像情報は、複数の前記可動型撮像装置の位置、複数の前記可動型撮像装置が有するカメラの諸元、前記カメラの向き、の少なくとも１つを含む、請求項１に記載の可動型撮像装置の制御装置。
  9. 　前記撮像情報は、複数の前記可動型撮像装置が撮像した撮像画像から生成される３次元環境マップを含む、請求項１に記載の可動型撮像装置の制御装置。
  10. 　前記配置情報は、１の被写体が複数に分離した場合に、複数の前記可動型撮像装置を複数の被写体に対応するように分離して配置するための情報を含む、請求項１に記載の可動型撮像装置の制御装置。
  11. 　前記配置情報は、複数の前記被写体が１つに集結した場合に、複数の前記可動型撮像装置を集結した前記被写体の周りに配置するための情報を含む、請求項１０に記載の可動型撮像装置の制御装置。
  12. 　撮像機能を有する複数の可動型撮像装置から撮像に関する撮像情報を取得することと、
    　前記撮像情報に基づいて、複数の前記可動型撮像装置が撮像した画像を合成して自由視点映像を生成するために、複数の前記可動型撮像装置を配置するための配置情報を算出することと、
    　を備える、可動型撮像装置の制御方法。
  13. 　撮像機能を有する複数の可動型撮像装置から撮像に関する撮像情報を取得する手段、
    　前記撮像情報に基づいて、複数の前記可動型撮像装置が撮像した画像を合成して自由視点映像を生成するために、複数の前記可動型撮像装置を配置するための配置情報を算出する手段、
    　としてコンピュータを機能させるためのプログラム。
PCT/JP2017/033757 2016-11-14 2017-09-19 可動型撮像装置の制御装置、可動型撮像装置の制御方法及びプログラム WO2018088037A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US16/339,979 US10924691B2 (en) 2016-11-14 2017-09-19 Control device of movable type imaging device and control method of movable type imaging device
JP2018550052A JP7059937B2 (ja) 2016-11-14 2017-09-19 可動型撮像装置の制御装置、可動型撮像装置の制御方法及びプログラム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016221535 2016-11-14
JP2016-221535 2016-11-14

Publications (1)

Publication Number Publication Date
WO2018088037A1 true WO2018088037A1 (ja) 2018-05-17

Family

ID=62110539

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/033757 WO2018088037A1 (ja) 2016-11-14 2017-09-19 可動型撮像装置の制御装置、可動型撮像装置の制御方法及びプログラム

Country Status (3)

Country Link
US (1) US10924691B2 (ja)
JP (1) JP7059937B2 (ja)
WO (1) WO2018088037A1 (ja)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019207597A (ja) * 2018-05-30 2019-12-05 川崎重工業株式会社 目標識別装置およびこれを備える特定動作装置
WO2020004162A1 (ja) * 2018-06-27 2020-01-02 キヤノン株式会社 撮像システム、配置決定装置、配置決定方法およびプログラム
JP2020005109A (ja) * 2018-06-27 2020-01-09 キヤノン株式会社 撮像システム、配置決定装置、配置決定方法及びプログラム
JP2020005089A (ja) * 2018-06-27 2020-01-09 キヤノン株式会社 撮像システム、画像処理装置、画像処理方法およびプログラム
WO2020026903A1 (ja) * 2018-07-31 2020-02-06 キヤノン株式会社 情報処理装置とその制御方法
JP2020025248A (ja) * 2018-07-31 2020-02-13 キヤノン株式会社 情報処理装置とその制御方法
JP2020147105A (ja) * 2019-03-12 2020-09-17 日本放送協会 カメラ制御装置及びそのプログラム、並びに、多視点ロボットカメラシステム
WO2023157155A1 (ja) * 2022-02-17 2023-08-24 三菱電機株式会社 撮影計画装置及び撮影計画方法

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018207210A1 (en) * 2017-05-10 2018-11-15 Lightmetrics Technologies Pvt. Ltd. Vehicle monitoring system and method using a connected camera architecture
US11405789B1 (en) * 2019-02-12 2022-08-02 Amazon Technologies, Inc. Cloud-based secure wireless local area network (WLAN) group self-forming technologies

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016005027A (ja) * 2014-06-13 2016-01-12 キヤノン株式会社 情報処理装置、撮像装置、撮像システム、情報処理方法およびプログラム。
JP2016010145A (ja) * 2014-06-23 2016-01-18 パナソニックＩｐマネジメント株式会社 映像配信方法、映像受信方法、サーバ、端末装置及び映像配信システム
WO2016088437A1 (ja) * 2014-12-04 2016-06-09 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
JP2016171478A (ja) * 2015-03-13 2016-09-23 日本放送協会 カメラ制御装置及びそのプログラム

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5495576A (en) * 1993-01-11 1996-02-27 Ritchey; Kurtis J. Panoramic image based virtual reality/telepresence audio-visual system and method
JP2015204512A (ja) 2014-04-14 2015-11-16 パナソニックＩｐマネジメント株式会社 情報処理装置、情報処理方法、カメラ、受信装置、受信方法
EP3133819A1 (en) 2014-04-14 2017-02-22 Panasonic Intellectual Property Management Co., Ltd. Image delivery method, image reception method, server, terminal apparatus, and image delivery system

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016005027A (ja) * 2014-06-13 2016-01-12 キヤノン株式会社 情報処理装置、撮像装置、撮像システム、情報処理方法およびプログラム。
JP2016010145A (ja) * 2014-06-23 2016-01-18 パナソニックＩｐマネジメント株式会社 映像配信方法、映像受信方法、サーバ、端末装置及び映像配信システム
WO2016088437A1 (ja) * 2014-12-04 2016-06-09 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
JP2016171478A (ja) * 2015-03-13 2016-09-23 日本放送協会 カメラ制御装置及びそのプログラム

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019207597A (ja) * 2018-05-30 2019-12-05 川崎重工業株式会社 目標識別装置およびこれを備える特定動作装置
JP7250448B2 (ja) 2018-06-27 2023-04-03 キヤノン株式会社 撮像システム、配置決定装置、配置決定方法及びプログラム
JP2020005109A (ja) * 2018-06-27 2020-01-09 キヤノン株式会社 撮像システム、配置決定装置、配置決定方法及びプログラム
JP2020005089A (ja) * 2018-06-27 2020-01-09 キヤノン株式会社 撮像システム、画像処理装置、画像処理方法およびプログラム
US11297301B2 (en) 2018-06-27 2022-04-05 Canon Kabushiki Kaisha Image capturing system, arrangement determination apparatus, arrangement determination method, and storage medium
JP7154841B2 (ja) 2018-06-27 2022-10-18 キヤノン株式会社 撮像システム、画像処理装置、画像処理方法およびプログラム
WO2020004162A1 (ja) * 2018-06-27 2020-01-02 キヤノン株式会社 撮像システム、配置決定装置、配置決定方法およびプログラム
WO2020026903A1 (ja) * 2018-07-31 2020-02-06 キヤノン株式会社 情報処理装置とその制御方法
JP2020025248A (ja) * 2018-07-31 2020-02-13 キヤノン株式会社 情報処理装置とその制御方法
JP7366594B2 (ja) 2018-07-31 2023-10-23 キヤノン株式会社 情報処理装置とその制御方法
US11843846B2 (en) 2018-07-31 2023-12-12 Canon Kabushiki Kaisha Information processing apparatus and control method therefor
JP2020147105A (ja) * 2019-03-12 2020-09-17 日本放送協会 カメラ制御装置及びそのプログラム、並びに、多視点ロボットカメラシステム
WO2023157155A1 (ja) * 2022-02-17 2023-08-24 三菱電機株式会社 撮影計画装置及び撮影計画方法
JP7422960B2 (ja) 2022-02-17 2024-01-26 三菱電機株式会社 撮影計画装置及び撮影計画方法

Also Published As

Publication number Publication date
JPWO2018088037A1 (ja) 2019-09-26
US10924691B2 (en) 2021-02-16
US20200045239A1 (en) 2020-02-06
JP7059937B2 (ja) 2022-04-26

Similar Documents

Publication Publication Date Title
WO2018088037A1 (ja) 可動型撮像装置の制御装置、可動型撮像装置の制御方法及びプログラム
US9479703B2 (en) Automatic object viewing methods and apparatus
US20180095459A1 (en) User interaction paradigms for a flying digital assistant
JP6329343B2 (ja) 画像処理システム、画像処理装置、画像処理プログラム、および画像処理方法
US11212437B2 (en) Immersive capture and review
KR101566543B1 (ko) 공간 정보 증강을 이용하는 상호 인터랙션을 위한 방법 및 시스템
US8488040B2 (en) Mobile and server-side computational photography
US11991477B2 (en) Output control apparatus, display terminal, remote control system, control method, and non-transitory computer-readable medium
CN106133629A (zh) 信息处理装置、信息处理方法、程序和成像系统
KR101896654B1 (ko) 드론을 이용한 3d 영상 처리 시스템 및 방법
JP2022508135A (ja) 測量システム、測量方法、装置及びデバイス
US20160314596A1 (en) Camera view presentation method and system
JP7182710B2 (ja) 測量方法、装置及びデバイス
JP6126271B1 (ja) 仮想空間を提供する方法、プログラム及び記録媒体
JP2015176578A (ja) 情報処理システム、情報処理装置、情報処理プログラム、および情報処理方法
WO2019140686A1 (zh) 跟随控制方法、控制终端及无人机
CN108259762A (zh) 一种漫游式全景图自动拍摄系统及方法
JP2022057800A (ja) 画像通信システム、通信管理装置、通信管理方法及びプログラム
JP2022057771A (ja) 通信管理装置、画像通信システム、通信管理方法及びプログラム
TWI764366B (zh) 基於光通信裝置的互動方法和系統
WO2020209167A1 (ja) 情報処理装置、情報処理方法、及びプログラム
JP2019101563A (ja) 情報処理装置、情報処理システム、情報処理方法及びプログラム
JP2022509082A (ja) 作業制御システム、作業制御方法、装置及びデバイス
JP7078231B2 (ja) ３ｄツアーの比較表示システム及び方法
CN112804441B (zh) 无人机的控制方法及装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17869409

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2018550052

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17869409

Country of ref document: EP

Kind code of ref document: A1