WO2018030206A1 - カメラワーク生成方法及び映像処理装置 - Google Patents

カメラワーク生成方法及び映像処理装置 Download PDF

Info

Publication number
WO2018030206A1
WO2018030206A1 PCT/JP2017/027833 JP2017027833W WO2018030206A1 WO 2018030206 A1 WO2018030206 A1 WO 2018030206A1 JP 2017027833 W JP2017027833 W JP 2017027833W WO 2018030206 A1 WO2018030206 A1 WO 2018030206A1
Authority
WO
WIPO (PCT)
Prior art keywords
video
camera
camera work
unit
information
Prior art date
Application number
PCT/JP2017/027833
Other languages
English (en)
French (fr)
Inventor
哲史 吉川
敏康 杉尾
徹 松延
達也 小山
州平 笹倉
知里 山下
Original Assignee
パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ filed Critical パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ
Priority to JP2018532951A priority Critical patent/JP7054677B2/ja
Priority to EP17839279.1A priority patent/EP3499897B1/en
Priority to CN201780047885.2A priority patent/CN109565605B/zh
Publication of WO2018030206A1 publication Critical patent/WO2018030206A1/ja
Priority to US16/270,931 priority patent/US10778951B2/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H04N13/117—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation the virtual viewpoint locations being selected by the viewers or determined by viewer tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/275—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/275—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals
    • H04N13/279—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals the virtual viewpoint locations being selected by the viewers or determined by tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content

Definitions

  • the present disclosure relates to a camera work generation method and a video processing apparatus.
  • Patent Document 1 discloses a technique for distributing video shot from a plurality of viewpoints in conjunction with viewpoint movement.
  • a technique for generating a free viewpoint video that allows a user to view a scene from a free viewpoint using a group of images obtained by photographing a specific scene with a plurality of calibrated cameras is known.
  • This disclosure is intended to provide a camera work generation method or a video processing apparatus that can appropriately determine camera work.
  • a camera work generation method includes a model generation step of generating a three-dimensional model of the scene from multi-view images obtained by capturing the same scene from different viewpoints; Among them, a target scene determination step for determining a target scene that is a target for generating a free viewpoint video when the three-dimensional model is viewed from a virtual camera, and a camera showing temporal changes in the position and orientation of the virtual camera in the free viewpoint video And a camera work generation step for generating a work.
  • the present disclosure can provide a camera work generation method or a video processing apparatus that can appropriately determine camera work.
  • FIG. 1 is a block diagram of a video distribution system according to the first embodiment.
  • FIG. 2 is a diagram illustrating an operation example of the video distribution system according to the first embodiment.
  • FIG. 3 is a diagram schematically illustrating the operation of the video distribution system according to the first embodiment.
  • FIG. 4 is a flowchart showing the operation of the video processing apparatus according to the first embodiment.
  • FIG. 5 is a diagram illustrating an example of an interface screen according to the first embodiment.
  • FIG. 6 is a block diagram of a video distribution system according to a modification of the first embodiment.
  • FIG. 7 is a block diagram of a video distribution system according to the second embodiment.
  • FIG. 8 is a diagram showing the configuration of the video information processing system.
  • FIG. 1 is a block diagram of a video distribution system according to the first embodiment.
  • FIG. 2 is a diagram illustrating an operation example of the video distribution system according to the first embodiment.
  • FIG. 3 is a diagram schematically illustrating the operation of the video distribution system according
  • FIG. 9 is a diagram illustrating an example of a notification screen displayed when the camera is activated.
  • FIG. 10 is an overall configuration diagram of a content supply system that realizes a content distribution service.
  • FIG. 11 is an overall configuration diagram of a digital broadcasting system.
  • FIG. 12 is a diagram illustrating an example of a smartphone.
  • FIG. 13 is a block diagram illustrating a configuration example of a smartphone.
  • the free viewpoint video is a video obtained by viewing the target scene from a virtual camera that moves in an arbitrary spatial position.
  • This disclosure describes a camera work generation method for automatically generating camera work.
  • a camera work determination method includes a model generation step of generating a three-dimensional model of the scene from multi-view images obtained by shooting the same scene from different viewpoints, and the three-dimensional model of the scene is virtually
  • a target scene determining step for determining a target scene that is a target for generating a free viewpoint video viewed from the camera
  • a camera work generating step for generating a camera work indicating temporal changes in the position and orientation of the virtual camera in the free viewpoint video Including.
  • the camera work determination method can determine a target scene that is a target for generating a free viewpoint video, and can generate a camera work of the determined target scene. Therefore, the camera work determination method can appropriately determine the camera work. Further, for example, since the camera work is automatically determined by the camera work determination method, it is possible to reduce the trouble of the editor or the like.
  • the target scene may be determined using the multi-view video or the three-dimensional model.
  • the target scene may be determined using sound of the scene.
  • the position and orientation of the virtual camera may be determined so that an object of a predetermined type associated with the target scene is included in the free viewpoint video.
  • a free viewpoint video in which an object of a type corresponding to the target scene is generated can be generated using the camera work determined by the camera work determination method.
  • the position and orientation of the virtual camera may be determined based on the accuracy of a plurality of portions included in the three-dimensional model.
  • the camera work generation method may further include a camera work display step for displaying the camera work.
  • the camera work generation method may further include a video generation step of generating the free viewpoint video from the three-dimensional model or the multi-view video using the camera work.
  • blur may be added to the free viewpoint video.
  • the camera work determination method can generate a realistic free viewpoint video.
  • the camera work generation method may further include an acquisition step of acquiring a user's evaluation for the camera work, and the camera work generation step may generate a camera work based on the evaluation.
  • the camera work determination method can generate camera work according to the user's preference.
  • a video processing apparatus includes a model generation unit configured to generate a three-dimensional model of the scene from multi-view images obtained by capturing the same scene from different viewpoints, and the virtual camera is used to convert the three-dimensional model out of the scene.
  • An analysis unit that determines a target scene that is a target for generating a free viewpoint video viewed from the camera, and a camera work generation unit that generates a camera work indicating a temporal change in the position and orientation of the virtual camera in the free viewpoint video .
  • the video processing apparatus can determine a target scene that is a target for generating a free viewpoint video, and can generate camera work of the determined target scene. Therefore, the video processing apparatus can appropriately determine camera work. Further, for example, since the camera work is automatically determined by the video processing apparatus, it is possible to reduce the trouble of the editor or the like.
  • FIG. 1 is a block diagram showing a configuration of a video distribution system 100 according to the present embodiment.
  • the video distribution system 100 is a system that generates a free viewpoint video in a sports stadium or a live venue and distributes the generated free viewpoint video.
  • the video distribution system 100 includes a plurality of imaging devices 101, a video processing device 102, and a plurality of viewing devices 103.
  • the imaging device 101 includes a camera 111 and a sensor 112.
  • the camera 111 captures an image.
  • the sensor 112 includes at least one of a vibration sensor, an acceleration sensor, a geomagnetic sensor, and a microphone, and generates data obtained by sensing an imaging environment.
  • the imaging apparatus 101 may be a fixed camera or a movable camera.
  • the movable camera may be, for example, a PTZ camera such as a CCD camera or a network camera, or a wearable camera, or a camera mounted on a moving body such as a drone.
  • the plurality of imaging devices 101 generate a multi-view video 151 obtained by shooting the same scene from different viewpoints. That is, the multi-view video 151 includes a plurality of videos obtained by shooting the same scene from different viewpoints.
  • the video processing apparatus 102 generates a free viewpoint video 156 using the multi-view video 151 and distributes the generated free viewpoint video 156 to the plurality of viewing devices 103.
  • the imaging apparatus 101 includes a model generation unit 121, an analysis unit 122, a camera work generation unit 123, a rendering unit 124, a display unit 125, and a distribution unit 126.
  • the viewing device 103 plays back and displays the free viewpoint video distributed from the video processing device 102.
  • the video processing device 102 may be realized by a single device or a plurality of devices that can communicate with each other.
  • the display unit 125 may be included in a device different from other processing units.
  • FIG. 2 is a diagram illustrating an operation example of the video distribution system 100.
  • FIG. 3 is a diagram schematically showing each operation.
  • synchronous imaging is performed by a plurality of imaging devices 101, whereby an image (still image) or video (moving image) at the same time is captured (S101).
  • the shutters of the plurality of imaging devices 101 are simultaneously released by controlling the plurality of imaging devices 101 by wired or wireless connection.
  • the imaging apparatus 101 may acquire not only video captured by the camera 111 but also sensing data obtained by sensing the imaging environment using the sensor 112 at the same time.
  • the sensing data includes at least one of vibration, acceleration, geomagnetism, and sound.
  • the plurality of imaging devices 101 transmit the multi-view video 151 and the sensing data to the video processing device 102 (S102).
  • the model generation unit 121 included in the video processing device 102 uses the multi-view video 151 and the camera parameters of the plurality of imaging devices 101 at the time of shooting the multi-view video 151 to capture a three-dimensional model 152 of the imaging space. Is generated (S103).
  • the video processing apparatus 102 may obtain camera parameters by calibration processing in advance, or may estimate camera parameters from the multi-view video 151 using SfM (Structure from Motion) or the like.
  • the model generation unit 121 generates the three-dimensional model 152 using, for example, the visual volume intersection method or SfM.
  • the camera work generation unit 123 automatically arranges virtual cameras in the three-dimensional space and generates a camera work 154 used for creating a free viewpoint video (S104). Specifically, when the camera work generation unit 123 automatically sets the camera work 154, the camera work 154 is determined by estimating a more appropriate camera posture and setting using 3D space recognition or the like. To do.
  • the rendering unit 124 generates a free viewpoint image 156 that is an image obtained by viewing the three-dimensional model 152 from the virtual camera, using the texture or color information of the multi-view image 151 that is an actual camera image (S105). At this time, the rendering unit 124 may preferentially select an actual camera to be used using a criterion such as a short distance to the subject.
  • the distribution unit 126 distributes the generated free viewpoint video 156 to the viewing device 103 (S106). Then, the viewing device 103 reproduces and displays the received free viewpoint video 156 (S107).
  • FIG. 4 is a flowchart of free viewpoint video generation processing by the video processing apparatus 102.
  • the video processing apparatus 102 acquires the multi-view video 151 (S111).
  • the 3D model generation unit 121 generates the 3D model 152 of the target scene that is the imaging space, using the multi-view video 151 (S112).
  • the generated three-dimensional model 152 may be spatial information generated from the multi-view video 151 and the supplemental information.
  • the supplemental information is, for example, position information of a plurality of cameras 111.
  • the 3D model generation unit 121 acquires the position information of the plurality of cameras 111 by measuring the positions of the plurality of cameras 111 in the three-dimensional space in advance.
  • the three-dimensional model generation unit 121 acquires position information of the plurality of cameras 111 by calibration processing using image processing or the like.
  • the three-dimensional model generation unit 121 generates voxel data by the visual volume intersection method or the like using the acquired position information of the plurality of cameras 111.
  • the 3D model generation unit 121 estimates the same position (feature point position) between images using feature point information such as edges or corners on each image.
  • the three-dimensional model generation unit 121 generates a three-dimensional point group using a technique such as SfM that estimates the three-dimensional information of the feature point position and the camera posture.
  • the analysis unit 122 determines a target scene 153 that is a target for generating the free viewpoint video 156 using at least one of the multi-view video 151 and the three-dimensional model 152 (S113). Specifically, the analysis unit 122 determines the target scene 153 by performing recognition processing on the multi-view video 151 and the three-dimensional model 152. More specifically, the analysis unit 122 determines a camera work generation trigger indicating the start of the target scene 153 and an end trigger indicating the end of the target scene 153. Note that the target scene 153 may be a still scene or a dynamic scene. That is, the target scene may be indicated by one time or may be indicated by a time range.
  • the analysis unit 122 generates incidental information.
  • the incidental information is information obtained by image recognition, and is recognition result information necessary when generating camera work.
  • the supplementary information is information indicating the type and position of an object or person in the video, information indicating whether the current scene is a predetermined specific scene, or information indicating the type of the current scene It is.
  • the incidental information indicates a three-dimensional position (for example, three-dimensional coordinates) of a specific person in the video.
  • the incidental information indicates whether the current scene is a shoot scene or the like.
  • the analysis unit 122 detects a highlight scene such as a goal scene by image recognition or the like.
  • the analysis unit 122 detects a characteristic pose of the referee (for example, a pose indicating the out of the baseball ball umpire or a pose when various soccer cards are presented).
  • a scene before and after the time when a pause is detected is determined as a specific scene.
  • the analysis unit 122 also detects three-dimensional coordinate information of a target object such as a specific person or a ball. The detected information is output as incidental information.
  • the analysis unit 122 may output incidental information including information indicating all recognized persons, or may output information on persons who satisfy the condition among the recognized persons.
  • the person who satisfies the condition is a person who has suddenly braked, a person who has taken suspicious behavior, or a person who has entered a specific area. According to this, since it is possible to perform processing for a person who needs attention among the recognized persons for the purpose of monitoring or the like, it is possible to reduce calculation resources and data amount.
  • the analysis unit 122 may perform video processing retroactively based on the scene analysis result. That is, when the specific scene is detected, the analysis unit 122 may determine the specific scene and the scene immediately before the specific scene as the target scene 153. For example, when detecting a shoot scene, the analysis unit 122 may determine a series of scenes including the shoot scene and the immediately preceding scene as the target scene 153.
  • the analysis unit 122 may determine the target scene 153 using sensing data acquired by the sensor 112 of the imaging apparatus 101 in addition to the video. For example, the analysis unit 122 may determine the target scene using sound obtained by a microphone. Specifically, the analysis unit 122 may determine a scene whose volume is equal to or higher than a predetermined value or a scene before and after the scene as a target scene. Note that the analysis unit 122 may use a sound volume of a specific frequency for the determination, or may use a sound duration for the determination.
  • the analysis unit 122 determines a scene where a cheering scene, a scene where an explicit sound signal such as a whistle is input, or a scene where an emergency sound (explosive sound or alarm sound) is input as a target scene. it can.
  • the camera work generation unit 123 automatically generates one or a plurality of camera work 154 using the information of the target scene 153 and the incidental information output from the analysis unit 122 (S114). Note that the camera work generation unit 123 may generate the camera work 154 using manually input information in addition to the above information.
  • the camera work generation unit 123 automatically generates a camera work 154 according to the type of scene indicated by the accompanying information and the situation of the subject. For example, the camera work generation unit 123 determines the position and orientation of the virtual camera so that a predetermined type of object associated with the target scene is included in the free viewpoint video 156. For example, the camera work generation unit 123 determines the camera position and posture so that the goal is in the video in a soccer shooting scene. Or the camera work production
  • the camera work generation unit 123 may determine the camera work so that many of these logos are included.
  • the camera work generation unit 123 may determine an area where the 3D model 152 is not generated or an area with low quality, and may select a camera work 154 that makes it difficult to include these areas in the video. That is, the camera work generation unit 123 may determine the position and orientation of the virtual camera based on the accuracy of a plurality of parts included in the three-dimensional model 152.
  • the camera work generation unit 123 does not generate the camera work 154 of the target scene after the target scene is determined, but always generates the camera work 154, and after the target scene is determined, the camera of the target scene is determined.
  • the workpiece 154 may be output. According to this, since the waiting time due to the processing can be reduced, the video can be provided to the viewer immediately.
  • the camera work generation unit 123 may intentionally fail to generate the camera work. For example, when following a target object such as a ball or a player of interest, the camera work may be set so that an overrun or the like that passes through the target point once occurs when the moving direction of the target object changes greatly. . As a result, it is possible to generate a free viewpoint video 156 with a sense of presence that is captured by an actual camera.
  • the rendering unit 124 generates a camera work confirmation video 155 using the multi-view video 151, the three-dimensional model 152, and the camera work 154 (S115).
  • the camerawork confirmation video 155 may be an image simply generated from the three-dimensional model 152, for example.
  • the camerawork confirmation video 155 is generated with priority on speed, and may be a low-quality or low-resolution video or point cloud data as compared to a free viewpoint video 156 described later. If the rendering speed is sufficiently high, an image having the same quality as a free viewpoint image 156 described later may be generated as the camera work confirmation image 155.
  • FIG. 5 is a diagram showing an example of this interface screen.
  • This interface screen includes a camera work display field 201, a camera information display field 202, a camera work confirmation video display field 203, a slide bar 204, an evaluation display field 205, and an upload button 206.
  • a 3D model 152 and a camera path that is a locus of the camera work 154 are displayed.
  • One camera path may be displayed, or a plurality of camera path candidates may be displayed.
  • information such as the recommendation level of each camera pass may be expressed by the color or line type of a plurality of camera passes.
  • the recommendation level indicates the degree of match with the user's preference or the high audience rating. Further, by displaying a plurality of camera paths, options can be provided to the user (viewer) or the editor.
  • the camera path for one object is displayed, but the camera path for each of a plurality of objects may be displayed.
  • the corresponding camera work confirmation video 155 may be continuously played in the selection order.
  • a camera work confirmation video 155 corresponding to the camera work is displayed for confirmation.
  • the time of the camera work confirmation image 155 is operated by the slide bar 204.
  • the virtual camera moves on the camera path, and the camera work confirmation video 155 at that time is displayed in the camera work confirmation video display column 203.
  • the slide bar 204 may move.
  • an operation button or an operation menu for reproducing camera work may be provided.
  • the camera information display field 202 displays the camera position and orientation at the corresponding time, and the camera parameters such as the focal length, the angle of view, and the F value. These camera positions and orientations and camera parameters can be edited by an editor. Thus, the editor can correct the camera work 154 generated by the camera work generation unit 123 according to the editor's preference.
  • An interface that can select the model number of the camera may be provided instead of the camera parameter. When the editor selects the model number of the camera, camera parameters and the like for the selected camera are automatically set. Thereby, it is possible to reproduce an image as if it was shot with the selected camera.
  • the video processing apparatus 102 may have a function of feeding back an editor's selection result, correction content, and proposal. For example, when the upload button 206 is operated, the camera work corrected by the editor is notified to the camera work generation unit 123. The notified information is used, for example, as a reference for machine learning related to generation of a camera path or camera work 154.
  • an evaluation value such as a recommendation level of the selected camera work 154 is displayed.
  • a column may be provided for the editor to input the evaluation value of the camera work 154.
  • the input evaluation value is notified to the camera work generation unit 123, and the evaluation value of the camera work 154 is updated.
  • this evaluation value may be used for the machine learning.
  • a plurality of camera work 154 (or camera work confirmation video 155) is displayed to the editor during a live performance.
  • the editor selects one of the plurality of camera works 154, and the evaluation value of each camera work 154 is calculated according to the selection result and the like.
  • This evaluation value is used when creating a non-real-time replay video such as broadcast material. That is, the highly evaluated camera work 154 is created and displayed with priority.
  • the evaluation value may be set on an individual basis, or the evaluation results of a plurality of people may be reflected.
  • an interface for setting the filter effect and the like may be provided.
  • the camera work 154 used for the free viewpoint video 156 to be distributed is determined by selection or editing by the editor (S117). For example, when the upload button 206 is operated by the editor, the edited camera work 154 is sent to the rendering unit 124.
  • the rendering unit 124 generates a free viewpoint video 156 corresponding to the camera work 154 (S118). When a plurality of camera works 154 are selected, the rendering unit 124 generates a plurality of free viewpoint videos 156.
  • the rendering unit 124 may determine a region where the three-dimensional model 152 is not generated, a low-quality region, or a region that is difficult to reconstruct, such as a water surface, and interpolate these regions with CG or the like. .
  • the rendering unit 124 may interpolate the image of such an area using information on frames having different times (for example, rendering results several times before). Through these interpolation processes, a natural free viewpoint video 156 can be created even for an area with little information in the three-dimensional model 152.
  • the rendering unit 124 may acquire video data or the like used for generating the region by controlling the imaging device 101 such as a mobile camera.
  • the rendering unit 124 may control the blurring feeling of the rendering result in accordance with the camera speed (the moving speed of the viewpoint).
  • the rendering unit 124 may correspond to the peripheral visual field according to the speed (for example, , The peripheral area of the image) may be blurred.
  • the rendering unit 124 performs a process of blurring as the speed increases.
  • the generated video can be brought close to the video actually seen by a human. Thereby, the viewer can obtain a high sense of presence (especially when experiencing Virtual Reality).
  • the rendering unit 124 may ignore a three-dimensional model belonging to an unnecessary object (for example, a security wire mesh) in the video when rendering.
  • the analysis unit 122 determines unnecessary objects in the video.
  • the rendering unit 124 may perform the rendering process without using the three-dimensional model 152 as in view morphing. According to this, since the rendering unit 124 can perform processing using the multi-view video 151 that is a two-dimensional image without using the three-dimensional model 152, the processing amount can be reduced.
  • the rendering unit 124 may estimate the sound source position and use the result to perform speech processing or speech synthesis that leads to an improvement in the sense of presence.
  • the rendering unit 124 reproduces the sound recorded by the imaging device 101 for the original camera image, and uses or adds the pre-recorded sound or the sound effect for the image at the position of the virtual camera. May be.
  • the rendering unit 124 may control the sound according to the attitude and position of the virtual camera. For example, the rendering unit 124 may reproduce the sound at the position of the virtual camera based on the estimation result of the sound source position.
  • the rendering unit 124 may improve the reality by giving a visual effect or an effect that occurs when an actual photographer takes a picture.
  • the rendering unit 124 adds camera shake. Specifically, the rendering unit 124 adds camera shake using a stadium shake detection result, a camera shake detection result, a cheer detection result, or the like. Specifically, the rendering unit 124 increases the blur as the degree increases according to the degree of stadium shaking, camera shaking, or cheering. Moreover, these detection results are detection results obtained by the sensor 112, for example. Alternatively, the rendering unit 124 may detect these from the multi-view video 151.
  • the rendering unit 124 may add camera shake in accordance with the moving speed of the viewpoint. Specifically, the rendering unit 124 increases blurring as the viewpoint movement speed increases.
  • the camera work confirmation video 155 may be used as it is as the free viewpoint video 156.
  • the distribution unit 126 distributes one or more free viewpoint videos 156 generated by the rendering unit 124 to the viewing device 103 (S119). At this time, in addition to the free viewpoint video 156, the distribution unit 126 may distribute at least one of the three-dimensional model 152, information indicating the viewpoint (the position of the virtual camera), and the camera work 154 to the viewing device 103.
  • the viewing device 103 displays the distributed free viewpoint video 156. Further, when receiving the three-dimensional model 152, the information indicating the viewpoint, or the camera work 154, the viewing device 103 may display these information. The viewing device 103 may generate an image or CG from the three-dimensional model 152 and display the generated image or CG. In addition, when receiving a plurality of free viewpoint videos 156, the viewing device 103 may have an interface for switching the displayed free viewpoint videos 156 among the received plurality of free viewpoint videos 156.
  • the viewing device 103 may have an interface for acquiring an evaluation value for the viewer's free viewpoint video 156 or the camera work 154.
  • the obtained evaluation value is sent to the camera work generation unit 123 and is used for the subsequent generation of the camera work 154 in the same manner as the editor's evaluation. That is, the video distribution system 100 acquires a user (editor or viewer) evaluation for the camera work 154, and generates the camera work 154 based on the evaluation.
  • the video processing apparatus 102 has a function for the editor to edit the camera work 154 generated by the camera work generation unit 123 is described, but the present invention is not limited thereto.
  • the editor may select an arbitrary number of camera works 154 from among the plurality of camera works 154.
  • the rendering unit 124 generates a free viewpoint video 156 corresponding to the selected camera work 154.
  • steps S115 to S117 shown in FIG. 4 may not be performed, and the free viewpoint video 156 corresponding to the camera work 154 generated by the camera work generation unit 123 may be distributed to the viewing device 103.
  • FIG. 6 is a block diagram showing a configuration of a video distribution system 100A according to this modification.
  • the viewing device 103 ⁇ / b> A includes a display unit 131 having the same function as the display unit 125. Thereby, the display and operation similar to those of the display unit 125 can be performed on the viewing device 103A. Thereby, the viewer can control the camera work 154.
  • the display unit 131 acquires information similar to the information input to the display unit 125 by communication. Similarly to the display unit 125, the display unit 131 feeds back the corrected camera work 154, the selection result of the camera work 154, an evaluation value, or the like to the video processing apparatus 102 through communication.
  • the video processing apparatus 102 acquires an excellent camera work 154 based on the number of downloads or popularity of the provided camera work 154, and generates information about the acquired camera work 154 for the subsequent camera work 154. Used for.
  • the acquired camera work 154 is used as a reference for machine learning.
  • a screen shot or the like of a screen displayed on the display unit 125 may be appropriately transmitted to the viewing device 103A in response to an interactive operation from the viewing device 103A. Thereby, since only screen information is transmitted, the amount of information transmitted can be reduced.
  • FIG. 7 is a block diagram showing a configuration of video distribution system 100B according to the present embodiment.
  • the video processing apparatus 102B does not include the camera work generation unit 123, the rendering unit 124, and the display unit 125.
  • the video processing apparatus 102 ⁇ / b> B includes an evaluation information receiving unit 127.
  • the distribution unit 126 distributes information indicating the multi-view video 151, the three-dimensional model 152, the target scene 153, additional information, and the like to the viewing device 103B.
  • the viewing device 103B includes a camera work generation unit 123, a rendering unit 124, a display unit 125, and an evaluation unit 132. Note that the functions of the camera work generation unit 123, the rendering unit 124, and the display unit 125 are the same as those described in the first embodiment.
  • the evaluation unit 132 sends the evaluation value of the camera work 154 or the camera work confirmation image 155 obtained by the display unit 125 in the same manner as in the first embodiment, or the correction content of the camera work 154 to the image processing apparatus 102B. Send.
  • the evaluation information receiving unit 127 receives the information transmitted by the evaluation unit 132. Note that this transmission of information may be performed via SNS or the like as described above.
  • the video processing apparatus 102B on the distributor side can acquire viewer preference information and the like. Therefore, the video processing apparatus 102B can send information (information indicating the target scene 153 and additional information) necessary for generating the camera work 154 according to the viewer's preference information and the like to the viewing apparatus 103B.
  • the video processing device 102B does not include the camera work generation unit 123, the rendering unit 124, and the display unit 125 .
  • the video processing device 102B does not generate the camera work.
  • a unit 123, a rendering unit 124, and a display unit 125 may be provided.
  • the distribution unit 126 may distribute the free viewpoint video 156 to the viewing device 103B.
  • the camera work 154 can be corrected by both the video processing apparatus 102B and the viewing apparatus 103B. Thereby, since the viewer can correct the camera work 154 once corrected by the editor, the operation of the viewer can be reduced, and each viewer can view the video according to his / her preference.
  • the information received by the evaluation information receiving unit 127 is used as learning data when the camera work 154 is automatically generated by machine learning or the like, for example.
  • the division of processing in a plurality of apparatuses shown in the above-described embodiments is an example and is not limited to the above.
  • the generation of the three-dimensional model 152 may be performed by the video processing device 102B, the multi-view video 151 and the three-dimensional model 152 may be transferred to the viewing device 103B, and the subsequent processing may be performed by the viewing device 103B. That is, the viewing device 103B may further include an analysis unit 122.
  • the present disclosure may be realized as a video distribution method, a video processing method, a camera work generation method, and the like executed in the video distribution system.
  • each processing unit included in each device included in the video distribution system according to the above embodiment is typically realized as an LSI which is an integrated circuit. These may be individually made into one chip, or may be made into one chip so as to include a part or all of them.
  • circuits are not limited to LSI, and may be realized by a dedicated circuit or a general-purpose processor.
  • An FPGA Field Programmable Gate Array
  • reconfigurable processor that can reconfigure the connection and setting of circuit cells inside the LSI may be used.
  • each component may be configured by dedicated hardware or may be realized by executing a software program suitable for each component.
  • Each component may be realized by a program execution unit such as a CPU or a processor reading and executing a software program recorded on a recording medium such as a hard disk or a semiconductor memory.
  • each device or video display device included in the video distribution system includes a processing circuit and a storage device (storage) electrically connected to the processing circuit (accessible from the processing circuit).
  • the processing circuit includes at least one of dedicated hardware and a program execution unit.
  • the storage device stores a software program executed by the program execution unit. The processing circuit uses the storage device to execute the camera selection method or the video display method according to the above embodiment.
  • the present disclosure may be the above software program or a non-transitory computer readable recording medium on which the above program is recorded. Needless to say, the program can be distributed via a transmission medium such as the Internet.
  • the video distribution system or the like according to one or more aspects of the present disclosure has been described based on the embodiment, but the present disclosure is not limited to this embodiment. Unless it deviates from the gist of the present disclosure, one or more of the present disclosure may be applied to various modifications conceived by those skilled in the art in the present embodiment or a configuration constructed by combining components in different embodiments. It may be included within the scope of the embodiments.
  • a surveillance system implemented in a security camera in a store or a factory, an in-vehicle camera in a police, or Traffic information system using own camera or each on-vehicle camera or camera provided on road, (3) Environmental survey or delivery system using remote control or automatic control device such as drone, and (4) Entertainment
  • the present invention can be applied to a content transmission / reception system such as a video using an installation camera in a facility or a stadium, a mobile camera such as a drone, or a personally owned camera.
  • FIG. 8 is a diagram showing a configuration of the video information processing system ex100 in the present embodiment. In this embodiment, an example of preventing the generation of blind spots and an example of prohibiting photographing in a specific area will be described.
  • the 8 includes a video information processing device ex101, a plurality of cameras ex102, and a video reception device ex103. Note that the video receiving device ex103 is not necessarily included in the video information processing system ex100.
  • the video information processing apparatus ex101 includes a storage unit ex111 and an analysis unit ex112.
  • Each of the N cameras ex102 has a function of capturing video and a function of transmitting captured video data to the video information processing apparatus ex101.
  • the camera ex102 may have a function of displaying an image being shot.
  • the camera ex102 converts the captured video signal into HEVC or H.264.
  • the encoded information may be encoded using an encoding method such as H.264 and transmitted to the video information processing apparatus ex101, or unencoded video data may be transmitted to the video information processing apparatus ex101.
  • each camera ex102 is a fixed camera such as a surveillance camera, a moving camera mounted on an unmanned flight type radio control or a car, or a user camera possessed by the user.
  • the moving camera receives the instruction signal transmitted from the video information processing apparatus ex101, and changes the position or shooting direction of the moving camera itself according to the received instruction signal.
  • the time of the plurality of cameras ex102 is calibrated using the time information of the server or the reference camera, etc. before the disclosure of photographing. Further, the spatial positions of the plurality of cameras ex102 are calibrated based on how the objects in the space to be imaged are captured or relative positions from the reference camera.
  • the storage unit ex111 included in the information processing apparatus ex101 stores video data transmitted from the N cameras ex102.
  • the analysis unit ex112 detects a blind spot from the video data stored in the storage unit ex111, and transmits an instruction signal indicating an instruction to the mobile camera for preventing the generation of the blind spot to the mobile camera.
  • the moving camera moves in accordance with the instruction signal and continues shooting.
  • the analysis unit ex112 performs blind spot detection using, for example, SfM (Structure from Motion).
  • SfM is a technique for restoring the three-dimensional shape of a subject from a plurality of videos taken from different positions, and is widely known as a shape restoration technique for simultaneously estimating the subject shape and the camera position.
  • the analysis unit ex112 restores the three-dimensional shape in the facility or the stadium from the video data saved in the saving unit ex111 using SfM, and detects an area that cannot be restored as a blind spot.
  • the analysis unit ex112 may perform SfM using these known information. Further, when the position and shooting direction of the moving camera can be acquired by a GPS and an angle sensor provided in the moving camera, the moving camera transmits information on the position and shooting direction of the moving camera to the analysis unit ex112, and the analysis unit The ex 112 may perform SfM using the transmitted position and shooting direction information.
  • the method of detecting the blind spot is not limited to the method using SfM described above.
  • the analysis unit ex112 may grasp the spatial distance of the object to be imaged by using information of a depth sensor such as a laser range finder.
  • the analysis unit ex112 detects information such as a camera position, a shooting direction, and a zoom magnification from an image that includes a preset marker or a specific object in the space, or the size of the marker or the like. Also good.
  • the analysis unit ex112 performs blind spot detection using an arbitrary method capable of detecting the imaging region of each camera.
  • the analysis unit ex112 acquires information such as a mutual positional relationship for a plurality of imaging targets from video data or a proximity distance sensor, and identifies an area where a blind spot is likely to occur based on the acquired positional relationship. May be.
  • the blind spot includes not only a portion where an image does not exist in a region to be photographed, but also a portion having a poor image quality compared to other portions and a portion where a predetermined image quality is not obtained.
  • This detection target portion may be set as appropriate according to the configuration or purpose of the system. For example, the required image quality may be set high for a specific subject in the space where the image is taken. Conversely, for a specific area in the shooting space, the required image quality may be set low, or it may be set not to be determined as a blind spot even if no video is shot.
  • the above-mentioned image quality includes various information related to the video such as the area occupied by the subject to be photographed in the video (for example, the number of pixels) or whether the subject to be photographed is in focus. Whether or not it is a blind spot may be determined based on the information or the combination thereof.
  • a region that needs to be detected in order to prevent the generation of a blind spot is not limited to a region that is actually a blind spot.
  • the analysis unit ex112 detects movements of a plurality of shooting targets from, for example, shot video data and the like, and based on the detected movements of the plurality of shooting targets and position information of the camera ex102, a new blind spot and It is also possible to estimate a possible region.
  • the video information processing apparatus ex101 may transmit an instruction signal to the moving camera so as to capture an area that may become a blind spot, and prevent the generation of a blind spot.
  • the video information processing apparatus ex101 needs to select a moving camera that transmits an instruction signal in order to capture a blind spot or an area that may become a blind spot.
  • the video information processing apparatus ex101 determines which dead spots or areas that may become blind spots for each of the plurality of moving cameras. It is necessary to decide whether to shoot. For example, the video information processing apparatus ex101 selects a moving camera that is closest to the blind spot or the area that is the blind spot based on the blind spot or the area that may be the blind spot and the position of the area that each moving camera is capturing. To do. Further, the video information processing apparatus ex101 determines, for each moving camera, whether or not a blind spot is newly generated when the moving camera cannot obtain the video data currently being shot. If it is not obtained, a moving camera determined not to generate a blind spot may be selected.
  • the video information processing apparatus ex101 can prevent the generation of a blind spot by detecting a blind spot and transmitting an instruction signal to the moving camera so as to prevent the blind spot.
  • the instruction signal may be a signal for instructing the user of the user camera to move.
  • the user camera displays an instruction image that instructs the user to change the direction of the camera based on the instruction signal.
  • the user camera may display an instruction image indicating a movement route on a map as an instruction to move the user.
  • the user camera may display detailed shooting instructions such as shooting direction, angle, angle of view, image quality, and movement of the shooting area in order to improve the quality of the acquired image. If control is possible on the ex101 side, the video information processing apparatus ex101 may automatically control the feature amount of the camera ex102 regarding such shooting.
  • the user camera is, for example, a smartphone, a tablet terminal, a wearable terminal, or an HMD (Head Mounted Display) held by a spectator in the stadium or a guard in the facility.
  • HMD Head Mounted Display
  • the display terminal that displays the instruction image need not be the same as the user camera that captures the video data.
  • the user camera may transmit an instruction signal or an instruction image to a display terminal associated with the user camera in advance, and the display terminal may display the instruction image.
  • information on the display terminal corresponding to the user camera may be registered in advance in the video information processing apparatus ex101.
  • the video information processing apparatus ex101 may display the instruction image on the display terminal by directly transmitting the instruction signal to the display terminal corresponding to the user camera.
  • the analysis unit ex112 may generate a free viewpoint video (three-dimensional reconstruction data) by restoring the three-dimensional shape in the facility or the stadium from the video data stored in the storage unit ex111 using, for example, SfM. Good.
  • This free viewpoint video is stored in the storage unit ex111.
  • the video information processing apparatus ex101 reads video data corresponding to the visual field information (and / or viewpoint information) transmitted from the video reception apparatus ex103 from the storage unit ex111 and transmits the video data to the video reception apparatus ex103.
  • the video reception device ex103 may be one of a plurality of cameras.
  • the video information processing apparatus ex101 may detect a shooting prohibited area.
  • the analysis unit ex112 analyzes the photographed image, and transmits a photographing prohibition signal to the mobile camera when the mobile camera is photographing the photographing prohibition region.
  • the mobile camera stops shooting while receiving the shooting prohibition signal.
  • the analysis unit ex112 matches the three-dimensional virtual space restored using SfM with the captured image, thereby determining whether the mobile camera set in advance in the space is capturing the prohibited image area. judge.
  • the analysis unit ex112 determines whether the moving camera is shooting the shooting prohibited area using a marker or a characteristic object arranged in the space as a trigger.
  • the photographing prohibited area is, for example, a toilet in a facility or a stadium.
  • the user camera when the user camera is shooting a shooting prohibited area, the user camera displays a message on a display or the like connected wirelessly or by wire, or outputs a sound or sound from a speaker or an earphone.
  • the user may be informed that the current location is a shooting prohibited location.
  • the shooting prohibited area and the current shooting area are shown on the displayed map.
  • the resumption of photographing is automatically performed when, for example, the photographing prohibition signal is not output.
  • photographing may be resumed when the photographing prohibition signal is not output and the user performs an operation to resume photographing.
  • calibration may be performed again.
  • notification for confirming the current position or prompting the user to move may be performed.
  • a passcode or fingerprint authentication that turns off such a function for recording may be used.
  • image processing such as mosaicing may be automatically performed when a video in the photographing prohibited area is displayed or stored outside.
  • the video information processing apparatus ex101 can determine that shooting is prohibited and notify the user to stop shooting, thereby setting a certain region to shooting prohibited.
  • the video information processing system ex100 sets an incentive for the user who transferred the shot video.
  • the video information processing apparatus ex101 delivers a video value to a user who has transferred video at a free or discounted rate, a monetary value that can be used in an online or offline store or game, a game, etc. Points that have non-monetary value such as social status in virtual space.
  • the video information processing apparatus ex101 gives a particularly high point to a user who has transferred a captured video of a valuable field of view (and / or viewpoint) such as many requests.
  • the video information processing apparatus ex101 may transmit additional information to the user camera based on the analysis result of the analysis unit ex112. In this case, the user camera superimposes additional information on the captured video and displays it on the screen.
  • the additional information is, for example, information on players such as a player name or height when a game in a stadium is being shot, and the name or face photo of the player is associated with each player in the video. Is displayed.
  • the video information processing apparatus ex101 may extract additional information by searching via the Internet based on part or all of the video data area.
  • the camera ex102 receives such additional information by short-range wireless communication including Bluetooth (registered trademark) or visible light communication from lighting such as a stadium, and maps the received additional information to video data. Also good.
  • the camera ex102 is a table in which this mapping is stored in a storage unit connected to the camera ex102 by wire or wirelessly, and shows a correspondence relationship between information obtained by visible light communication technology and additional information, etc. It may be performed based on a certain rule of the above, or may be performed using the most probable combination result by Internet search.
  • the monitoring system for example, information of a caution person is superimposed on a user camera held by a guard in the facility, so that the monitoring system can be highly accurate.
  • the analysis unit ex112 may determine which area in the facility or stadium the user camera is capturing by matching the free viewpoint image and the captured image of the user camera. Note that the imaging region determination method is not limited to this, and various imaging region determination methods or other imaging region determination methods described in the above-described embodiments may be used.
  • the video information processing apparatus ex101 transmits the past video to the user camera based on the analysis result of the analysis unit ex112.
  • the user camera displays the past video on the screen by superimposing the past video on the shot video or replacing the shot video with the past video.
  • the highlight scene of the first half is displayed as a past video. Accordingly, the user can enjoy the highlight scene of the first half as a video in the direction in which he / she is viewing during the halftime.
  • the past video is not limited to the highlight scene in the first half, but may be a highlight scene of a past game held at the stadium.
  • the timing at which the video information processing apparatus ex101 delivers the past video is not limited to half time, and may be, for example, after the match or during the match. Particularly during a game, based on the analysis result of the analysis unit ex112, the video information processing apparatus ex101 may deliver a scene that is considered important and missed by the user.
  • the video information processing apparatus ex101 may distribute the past video only when requested by the user, or may distribute a distribution permission message before the past video is distributed.
  • the video information processing apparatus ex101 may transmit advertisement information to the user camera based on the analysis result of the analysis unit ex112.
  • the user camera superimposes advertisement information on the captured video and displays it on the screen.
  • the advertisement information may be distributed just before the past video distribution during the half time or after the match, for example, as shown in Modification 6. Accordingly, the distributor can obtain an advertisement fee from the advertiser, and can provide a video distribution service to the user at a low cost or free of charge.
  • the video information processing apparatus ex101 may distribute an advertisement distribution permission message immediately before distribution of the advertisement information, may provide a service for free only when the user views the advertisement, or views the advertisement. Service may be provided at a lower cost than when not.
  • the system or the staff who knows the location of the user based on some location information or the automatic delivery system of the venue will bring the ordered drink to the seat Will deliver.
  • the decision may be handed to the staff or may be made based on credit card information set in advance in the mobile terminal application or the like.
  • the advertisement may include a link to an e-commerce site, and online shopping such as normal home delivery may be possible.
  • the video receiving device ex103 may be one of the cameras ex102 (user camera).
  • the analysis unit ex112 determines which region in the facility or the stadium the user camera is capturing by matching the free viewpoint image and the captured image of the user camera. Note that the method for determining the imaging region is not limited to this.
  • the user camera when the user performs a swipe operation in the direction of the arrow displayed on the screen, the user camera generates viewpoint information indicating that the viewpoint is moved in that direction.
  • the video information processing apparatus ex101 reads the video data obtained by shooting the area moved by the viewpoint information from the shooting area of the user camera determined by the analysis unit ex112 from the storage unit ex111, and transmits the video data to the user camera. Start.
  • the user camera displays the video distributed from the video information processing apparatus ex101 instead of the captured video.
  • the users in the facility or the stadium can view the video from a favorite viewpoint with a simple operation like a screen swipe.
  • a spectator watching on the third base side of a baseball field can view a video from the first base side viewpoint.
  • the security guards in the facility can watch the video that should be watched as an interrupt from the viewpoint or the center that they want to confirm by a simple operation like a screen swipe while changing the viewpoint appropriately. Therefore, it is possible to increase the accuracy of the monitoring system.
  • the user camera may switch and display the video of a part of the shooting area of the user camera including the obstacle from the shot video to the distribution video from the video information processing apparatus ex101.
  • the entire screen may be switched from the captured video to the distributed video and displayed.
  • the user camera may display an image in which the object to be viewed is seen through the obstacle by combining the captured image and the distribution image. According to this configuration, it is possible to view the video distributed from the video information processing apparatus ex101 even when the shooting target cannot be seen from the position of the user due to the influence of the obstacle, so that the influence of the obstacle can be reduced. it can.
  • the distribution video is displayed as a video of an area that cannot be seen due to an obstacle
  • display switching control different from the display switching control according to the input process by the user such as the screen swipe described above, may be performed.
  • the display from the shot video to the distribution video is performed. Switching may be performed automatically.
  • display switching from the shot video to the distribution video may be automatically performed.
  • the display switching to the distribution video may be automatically performed.
  • the display switching from the captured video to the distribution video and the display switching from the distribution video to the captured video may be performed in accordance with the user input processing.
  • Modification 9 The speed at which the video data is transferred to the video information processing apparatus ex101 may be instructed based on the importance of the video data captured by each camera ex102.
  • the analysis unit ex112 determines the importance of the video data stored in the storage unit ex111 or the camera ex102 that captured the video data.
  • the determination of the importance is performed based on, for example, information such as the number of people or moving objects included in the video, the image quality of the video data, or a combination thereof.
  • the determination of the importance of the video data may be based on the position of the camera ex102 where the video data is shot or the area where the video data is shot. For example, when there are a plurality of other cameras ex102 being shot near the target camera ex102, the importance of the video data shot by the target camera ex102 is reduced. In addition, even when the position of the target camera ex102 is far from the other camera ex102, when there are a plurality of other cameras ex102 shooting the same area, the importance of the video data shot by the target camera ex102 is set. make low.
  • the determination of the importance of the video data may be performed based on the number of requests in the video distribution service.
  • the importance determination method is not limited to the method described above or a combination thereof, and may be any method according to the configuration or purpose of the monitoring system or the video distribution system.
  • the determination of the importance may not be based on the captured video data.
  • the importance of the camera ex102 that transmits video data to a terminal other than the video information processing apparatus ex101 may be set high.
  • the importance of the camera ex102 that transmits video data to a terminal other than the video information processing apparatus ex101 may be set low.
  • the analysis unit ex112 may determine the importance of the video data using the free viewpoint video and the video shot by the camera ex102.
  • the video information processing apparatus ex101 transmits a communication speed instruction signal to the camera ex102 based on the importance determination result performed by the analysis unit ex112. For example, the video information processing apparatus ex101 instructs a high communication speed to the camera ex102 that captures a video with high importance. Further, the video information processing apparatus ex101 may transmit not only the speed control but also a signal instructing a method in which important information is transmitted a plurality of times in order to reduce a disadvantage caused by the lack. Thereby, communication within the facility or the entire stadium can be performed efficiently. Communication between the camera ex102 and the video information processing apparatus ex101 may be wired communication or wireless communication. The video information processing apparatus ex101 may control only one of wired communication and wireless communication.
  • the camera ex102 transmits the captured video data to the video information processing apparatus ex101 at a communication speed according to the communication speed instruction signal. Note that if the retransmission of the camera ex102 fails a predetermined number of times, the camera ex102 may stop the retransmission of the captured video data and start the transfer of the next captured video data. As a result, communication within the facility or the entire stadium can be efficiently performed, and high-speed processing in the analysis unit ex112 can be realized.
  • the video data of the bit rate capable of transmitting the captured video data at the assigned communication speed may be transmitted, or the video data transfer may be stopped.
  • the camera ex102 when video data is used to prevent the generation of blind spots, only a part of the shooting area included in the captured video data may be necessary to fill the blind spots. There is sex.
  • the camera ex102 generates the extracted video data by extracting at least the area necessary for preventing the generation of the blind spot from the video data, and the generated extracted video data is used as the video information processing apparatus. You may transmit to ex101. According to this configuration, the occurrence of blind spots can be suppressed with a smaller communication band.
  • the camera ex102 needs to transmit the position information of the camera ex102 and the shooting direction information to the video information processing apparatus ex101.
  • the camera ex102 to which only a bandwidth that is not sufficient for transferring the video data may be transmitted, only the position information detected by the camera ex102 and the information on the shooting direction.
  • the video information processing apparatus ex101 estimates position information and shooting direction information of the camera ex102
  • the camera ex102 converts the shot video data to a resolution necessary for estimating the position information and shooting direction information.
  • the converted video data may be transmitted to the video information processing apparatus ex101.
  • the video information processing apparatus ex101 can acquire shooting area information from a larger number of cameras ex102, for example, when the shooting area information is used for the purpose of detecting a focused area, for example. It is valid.
  • the switching of the video data transfer process according to the allocated communication band described above may be performed by the camera ex102 based on the notified communication band, or the video information processing apparatus ex101 performs the operation of each camera ex102.
  • the control signal indicating the determined operation may be notified to each camera ex102.
  • the processing can be appropriately shared according to the calculation amount necessary for determining the switching of the operation, the processing capability of the camera ex102, the necessary communication band, and the like.
  • the analysis unit ex112 may determine the importance of the video data based on the visual field information (and / or viewpoint information) transmitted from the video reception device ex103. For example, the analysis unit ex112 sets the importance of captured video data including many areas indicated by the visual field information (and / or viewpoint information) to be high. The analysis unit ex112 may determine the importance of the video data in consideration of the number of people included in the video or the number of moving objects. Note that the importance determination method is not limited to this.
  • the communication control method described in the present embodiment is not necessarily used in a system that reconstructs a three-dimensional shape from a plurality of video data.
  • the communication control method described in the present embodiment is It is valid.
  • the video information processing apparatus ex101 may transmit an overview video showing the entire shooting scene to the video receiving apparatus ex103.
  • the video information processing apparatus ex101 when the video information processing apparatus ex101 receives the distribution request transmitted from the video receiving apparatus ex103, the video information processing apparatus ex101 reads an overview video of the entire facility or stadium from the storage unit ex111, and the external video is received by the video receiving apparatus. send to ex103.
  • the overview video may have a long update interval (may be a low frame rate) or may have a low image quality.
  • the viewer touches a portion to be seen in the overview video displayed on the screen of the video receiving device ex103. Accordingly, the video reception device ex103 transmits visual field information (and / or viewpoint information) corresponding to the touched portion to the video information processing device ex101.
  • the video information processing apparatus ex101 reads video data corresponding to the visual field information (and / or viewpoint information) from the storage unit ex111, and transmits the video data to the video receiving apparatus ex103.
  • the analysis unit ex112 generates a free viewpoint video by preferentially restoring the three-dimensional shape (three-dimensional reconstruction) on the region indicated by the visual field information (and / or viewpoint information).
  • the analysis unit ex112 restores the three-dimensional shape of the entire facility or the stadium with an accuracy that shows an overview.
  • the video information processing apparatus ex101 can efficiently restore the three-dimensional shape. As a result, it is possible to realize a high frame rate and high image quality of a free viewpoint video in an area desired by the viewer.
  • the video information processing apparatus ex101 may store in advance, for example, three-dimensional shape restoration data of a facility or a stadium generated in advance from a design drawing or the like as a preliminary video.
  • the prior image is not limited to this, and may be virtual space data obtained by mapping, for each object, the unevenness of the space obtained from the depth sensor and the picture derived from the image or the image data at the past or during calibration.
  • the analysis unit ex112 when soccer is being performed in a stadium, the analysis unit ex112 performs reconstruction of a three-dimensional shape limited to only players and balls, and combines the obtained restoration data and a prior image to generate a free viewpoint video. May be generated.
  • the analysis unit ex112 may preferentially restore the three-dimensional shape with respect to the player and the ball.
  • the video information processing apparatus ex101 can efficiently restore the three-dimensional shape.
  • the analysis unit ex112 may perform the reconstruction of the three-dimensional shape by limiting to only the person and the moving object or giving priority to them.
  • the time of each device may be calibrated at the start of shooting based on the reference time of the server.
  • the analysis unit ex112 uses a plurality of video data captured at a time that falls within a preset time range according to the accuracy of time setting among a plurality of captured video data captured by the plurality of cameras ex102. 3D shape restoration. For the detection of this time, for example, the time when the captured video data is stored in the storage unit ex111 is used. The time detection method is not limited to this. As a result, the video information processing apparatus ex101 can efficiently restore the three-dimensional shape, thereby realizing a high frame rate and high image quality of the free viewpoint video.
  • the analysis unit ex112 may restore the three-dimensional shape using only the high-quality data or using the high-quality data preferentially among the plurality of video data stored in the storage unit ex111. .
  • the analysis unit ex112 may restore the three-dimensional shape using the camera attribute information.
  • the analysis unit ex112 may generate a 3D image by using a technique such as a view volume intersection method or a multi-view stereo method using the camera attribute information.
  • the camera ex102 transmits the captured video data and camera attribute information to the video information processing apparatus ex101.
  • the camera attribute information is, for example, a shooting position, a shooting angle, a shooting time, or a zoom magnification.
  • the video information processing apparatus ex101 can efficiently restore the three-dimensional shape, it is possible to realize a high frame rate and high image quality of the free viewpoint video.
  • the camera ex102 defines three-dimensional coordinates in the facility or in the stadium, and information about which coordinates the camera ex102 took from which angle, how much zoom, and at what time, along with the video. It transmits to the video information processing apparatus ex101 as camera attribute information. Further, when the camera ex102 is activated, the clock on the communication network in the facility or stadium is synchronized with the clock in the camera, and time information is generated.
  • FIG. 9 is a diagram illustrating an example of a notification displayed on the screen of the camera ex102 when the camera ex102 is activated.
  • the camera ex102 is moved from the camera ex102.
  • the vector information up to the advertisement is acquired and the reference of the camera position and angle is specified.
  • the camera coordinates and angle at that time are specified from the motion information of the camera ex102.
  • the display is not limited to this, and a display that uses an arrow or the like to indicate coordinates, an angle, a moving speed of the imaging region, or the like during the imaging period may be used.
  • the coordinates of the camera ex102 may be specified using GPS, WiFi (registered trademark), 3G, LTE (Long Term Evolution), and 5G (wireless LAN) radio waves, or a beacon (Bluetooth (registered trademark)). , Ultrasonic), or the like. Further, information on which base station in the facility or stadium the captured video data has reached may be used.
  • the system may be provided as an application that operates on a mobile terminal such as a smartphone.
  • An account such as various SNSs may be used to log in to the system.
  • An application-dedicated account or a guest account with limited functions may be used.
  • By using the account in this way it is possible to evaluate a favorite video or a favorite account.
  • video data having a viewpoint similar to the viewpoint of the video data being shot or viewed the resolution of these video data Can be increased. Thereby, it is possible to restore the three-dimensional shape from these viewpoints with higher accuracy.
  • the user can select a preferred image video in the application and follow the other party, so that the selected image can be viewed with priority over other users, or can be used for text chat, etc., subject to the other party's approval. You can have a connection. In this way, a new community can be generated.
  • the user can edit an image or video taken by another person or create a new image or video by collaging the image of another person with his own image.
  • This makes it possible to share a new video work, such as sharing a new image or video only with people in the community.
  • a video work can be used for augmented reality games by inserting a CG character in this editing.
  • 3D model data can be sequentially output, so that a 3D printer or the like of a facility can output a 3D object based on 3D model data in a characteristic scene such as a goal scene. .
  • a 3D printer or the like of a facility can output a 3D object based on 3D model data in a characteristic scene such as a goal scene.
  • an object based on the scene during the game can be sold as a souvenir such as a key holder, or distributed to participating users.
  • the center identifies areas where there is a high possibility of crimes based on crime maps based on the results of analysis using past crime data, etc., or areas related to the crime occurrence probability identified in this way Holds data.
  • the frequency of image transmission / reception may be increased, or the image may be changed to a moving image.
  • a moving image or three-dimensional reconstruction data using SfM or the like may be used.
  • the center or each terminal simultaneously corrects an image or virtual space using information from other sensors such as a depth sensor or a thermo sensor, so that the police officer can grasp the situation more accurately.
  • the center can feed back the object information to a plurality of terminals by using the 3D reconstruction data. This allows individuals with each terminal to track the object.
  • an in-vehicle camera that takes pictures outside the vehicle is obligatory in some countries. Even in such an in-vehicle camera, by using three-dimensional data modeled from a plurality of images, it is possible to more accurately grasp the weather in the direction of the destination, the state of the road surface, the degree of traffic congestion, and the like.
  • Modification 17 The above system can also be applied to a system that performs ranging or modeling of a building or equipment using a plurality of cameras, for example.
  • a camera is attached to a worker's helmet or the like at a construction site.
  • ranging of a building can be performed in parallel with a worker's work. It can also be used to improve work efficiency and prevent mistakes.
  • a building can be modeled using images taken by a camera attached to a worker.
  • managers at remote locations can check the progress by looking at the modeled building.
  • the system can be used to check equipment that cannot be stopped, such as machinery in factories or power plants.
  • the system can be used to check whether there is an abnormality in the operation of a bridge or a dam or a vehicle in an amusement park.
  • the system can generate a map indicating the degree of traffic congestion or traffic volume of each time zone by monitoring the traffic congestion level or traffic volume of the road.
  • the storage medium may be any medium that can record a program, such as a magnetic disk, an optical disk, a magneto-optical disk, an IC card, and a semiconductor memory.
  • the system includes an apparatus using an image processing method.
  • Other configurations in the system can be appropriately changed according to circumstances.
  • FIG. 10 is a diagram showing an overall configuration of a content supply system ex200 that realizes a content distribution service.
  • the communication service providing area is divided into desired sizes, and base stations ex206, ex207, ex208, ex209, and ex210, which are fixed wireless stations, are installed in each cell.
  • This content supply system ex200 includes a computer ex211, a PDA (Personal Digital Assistant) ex212, a camera ex213, a smartphone ex214, a game machine ex215, etc. via the Internet ex201, the Internet service provider ex202, the communication network ex204, and the base stations ex206 to ex210. Are connected.
  • a PDA Personal Digital Assistant
  • each device may be directly connected to a communication network ex204 such as a telephone line, cable television, or optical communication without going through the base stations ex206 to ex210 which are fixed wireless stations.
  • the devices may be directly connected to each other via short-range wireless or the like.
  • the camera ex213 is a device that can shoot a moving image such as a digital video camera
  • the camera ex216 is a device that can shoot a still image and a moving image such as a digital camera.
  • the smartphone ex214 is a GSM (registered trademark) (Global System for Mobile Communications) method, a CDMA (Code Division Multiple Access) method, a W-CDMA (Wideband-Code Division MultipleL method, or a Multiple Acceleration method).
  • GSM Global System for Mobile Communications
  • CDMA Code Division Multiple Access
  • W-CDMA Wideband-Code Division MultipleL method
  • Multiple Acceleration method a Multiple Acceleration method
  • HSPA High Speed Packet Access
  • a smartphone corresponding to a communication method using a high frequency band or a PHS (Personal Handyphone System)
  • PHS Personal Handyphone System
  • the camera ex213 and the like are connected to the streaming server ex203 through the base station ex209 and the communication network ex204, thereby enabling live distribution and the like.
  • live distribution content (for example, music live video) that the user captures using the camera ex213 is encoded and transmitted to the streaming server ex203.
  • the streaming server ex203 streams the content data transmitted to the requested client.
  • the client include a computer ex211, a PDA ex212, a camera ex213, a smartphone ex214, and a game machine ex215 that can decode the encoded data.
  • Each device that receives the distributed data decodes the received data and reproduces it.
  • the encoded processing of the captured data may be performed by the camera ex213, the streaming server ex203 that performs the data transmission processing, or may be performed in a shared manner.
  • the decryption processing of the distributed data may be performed by the client, the streaming server ex203, or may be performed in common with each other.
  • still images and / or moving image data captured by the camera ex216 may be transmitted to the streaming server ex203 via the computer ex211.
  • the encoding process in this case may be performed by any of the camera ex216, the computer ex211, and the streaming server ex203, or may be performed in a shared manner.
  • a plurality of devices connected to the system may be linked to display the same image, or the entire image is displayed on a device having a large display unit, and the smartphone ex214 or the like displays the image. A part of the area may be enlarged and displayed.
  • these encoding / decoding processes are generally performed in the computer ex211 and the LSI ex500 included in each device.
  • the LSI ex500 may be configured as a single chip or a plurality of chips.
  • moving image encoding / decoding software is incorporated into some recording media (CD-ROM, flexible disk, hard disk, etc.) that can be read by the computer ex211 etc., and encoding / decoding processing is performed using the software. May be.
  • moving image data acquired by the camera may be transmitted. The moving image data at this time is data encoded by the LSI ex500 included in the smartphone ex214.
  • the streaming server ex203 may be a plurality of servers or a plurality of computers, and may process, record, and distribute data in a distributed manner.
  • the client can receive and reproduce the encoded data.
  • the information transmitted by the user can be received, decrypted and reproduced by the client in real time, and even a user who does not have special rights or facilities can realize personal broadcasting.
  • multiplexed data obtained by multiplexing music data and the like on video data is transmitted to a communication or satellite ex302 via radio waves.
  • This video data is data encoded by the moving image encoding method described in the above embodiments.
  • the broadcasting satellite ex302 transmits a radio wave for broadcasting, and this radio wave is received by a home antenna ex304 capable of receiving satellite broadcasting.
  • the received multiplexed data is decoded and reproduced by a device such as the television (receiver) ex400 or the set top box (STB) ex317.
  • a recording medium ex315 such as DVD or BD, or a memory ex316 such as SD
  • encodes a video signal in the recording medium ex315 or memory ex316 and in some cases, a music signal
  • the moving picture decoding apparatus or moving picture encoding apparatus described in each of the above embodiments in the reader / recorder ex318 that writes in a multiplexed manner.
  • the reproduced video signal is displayed on the monitor ex319, and the video signal can be reproduced in another device or system by the recording medium ex315 in which the multiplexed data is recorded or the memory ex316.
  • a moving picture decoding apparatus may be mounted in a set-top box ex317 connected to a cable ex303 for cable television or an antenna ex304 for satellite / terrestrial broadcasting, and this may be displayed on a monitor ex319 of the television.
  • the moving picture decoding apparatus may be incorporated in the television instead of the set top box.
  • FIG. 12 is a diagram showing the smartphone ex214.
  • FIG. 13 is a diagram illustrating a configuration example of the smartphone ex214.
  • the smartphone ex214 includes an antenna ex450 for transmitting and receiving radio waves to and from the base station ex210, a camera unit ex465 that can take a video and a still image, a video captured by the camera unit ex465, a video received by the antenna ex450, and the like.
  • a display unit ex458 such as a liquid crystal display for displaying the decrypted data is provided.
  • the smartphone ex214 further includes an operation unit ex466 such as a touch panel, an audio output unit ex457 such as a speaker for outputting audio, an audio input unit ex456 such as a microphone for inputting audio, a captured video, a still image , A memory unit ex467 capable of storing encoded data or decoded data such as recorded audio, received video, still image, mail, etc., or memory ex316 illustrated in FIG. And a slot part ex464 which is an interface part with the SIMex 468 for authenticating access to various data including the network.
  • an operation unit ex466 such as a touch panel
  • an audio output unit ex457 such as a speaker for outputting audio
  • an audio input unit ex456 such as a microphone for inputting audio
  • a memory unit ex467 capable of storing encoded data or decoded data such as recorded audio, received video, still image, mail, etc., or memory ex316 illustrated in FIG.
  • a slot part ex464 which is an interface part with the SIMex 468 for authenticating access
  • the smartphone ex214 controls the power supply circuit ex461, the operation input control unit ex462, the video signal processing unit ex455, the camera interface unit ex463, the LCD (for the main control unit ex460 that comprehensively controls the display unit ex458, the operation unit ex466, and the like.
  • a Liquid Crystal Display) control unit ex459, a modulation / demodulation unit ex452, a multiplexing / demultiplexing unit ex453, an audio signal processing unit ex454, a slot unit ex464, and a memory unit ex467 are connected to each other via a bus ex470.
  • the power supply circuit unit ex461 starts up the smartphone ex214 in an operable state by supplying power from the battery pack to each unit.
  • the smartphone ex214 converts the audio signal collected by the audio input unit ex456 in the audio call mode into a digital audio signal by the audio signal processing unit ex454 based on the control of the main control unit ex460 having a CPU, a ROM, a RAM, and the like. This is subjected to spectrum spread processing by the modulation / demodulation unit ex452, and is subjected to digital analog conversion processing and frequency conversion processing by the transmission / reception unit ex451, and then transmitted via the antenna ex450.
  • the smartphone ex214 amplifies reception data received via the antenna ex450 in the voice call mode, performs frequency conversion processing and analog-digital conversion processing, performs spectrum despreading processing in the modulation / demodulation unit ex452, and performs voice signal processing unit ex454. After being converted into an analog audio signal, the audio output unit ex457 outputs it.
  • the text data of the e-mail input by the operation of the operation unit ex466 of the main unit is sent to the main control unit ex460 via the operation input control unit ex462.
  • the main control unit ex460 performs spread spectrum processing on the text data in the modulation / demodulation unit ex452, performs digital analog conversion processing and frequency conversion processing in the transmission / reception unit ex451, and then transmits the text data to the base station ex210 via the antenna ex450.
  • almost the reverse process is performed on the received data and output to the display unit ex458.
  • the video signal processing unit ex455 compresses the video signal supplied from the camera unit ex465 by the moving image encoding method described in each of the above embodiments.
  • the encoded video data is sent to the multiplexing / demultiplexing unit ex453.
  • the audio signal processing unit ex454 encodes the audio signal picked up by the audio input unit ex456 while the camera unit ex465 captures video, still images, and the like, and sends the encoded audio data to the multiplexing / separating unit ex453. To do.
  • the multiplexing / demultiplexing unit ex453 multiplexes the encoded video data supplied from the video signal processing unit ex455 and the encoded audio data supplied from the audio signal processing unit ex454 by a predetermined method, and is obtained as a result.
  • the multiplexed data is subjected to spread spectrum processing by a modulation / demodulation unit (modulation / demodulation circuit unit) ex452, and subjected to digital analog conversion processing and frequency conversion processing by a transmission / reception unit ex451, and then transmitted through an antenna ex450.
  • the multiplexing / separating unit ex453 separates the multiplexed data into a video data bit stream and an audio data bit stream, and performs video signal processing on the video data encoded via the synchronization bus ex470.
  • the encoded audio data is supplied to the audio signal processing unit ex454 while being supplied to the unit ex455.
  • the video signal processing unit ex455 decodes the video signal by decoding using a video decoding method corresponding to the video encoding method shown in each of the above embodiments, and the display unit ex458 via the LCD control unit ex459. From, for example, video and still images included in a moving image file linked to a home page are displayed.
  • the audio signal processing unit ex454 decodes the audio signal, and the audio is output from the audio output unit ex457.
  • the terminal such as the smartphone ex214 is a transmission terminal having only an encoder and a receiving terminal having only a decoder, as well as the television ex400.
  • a possible implementation format is possible.
  • multiplexed data in which music data or the like is multiplexed with video data is received and transmitted.
  • data in which character data related to video is multiplexed in addition to audio data It may be video data itself instead of multiplexed data.
  • This disclosure can be applied to video distribution systems that distribute free viewpoint video.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Computer Graphics (AREA)
  • General Physics & Mathematics (AREA)
  • Geometry (AREA)
  • Studio Devices (AREA)
  • Processing Or Creating Images (AREA)
  • Image Generation (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

カメラワーク生成方法は、同一シーンを異なる視点から撮影した多視点映像（１５１）から前記シーンの三次元モデル（１５２）を生成するモデル生成ステップ（Ｓ１１２）と、前記シーンのうち、前記三次元モデル（１５２）を仮想カメラから見た自由視点映像（１５６）を生成する対象である対象シーン（１５３）を決定する対象シーン決定ステップ（Ｓ１１３）と、前記自由視点映像（１５６）における前記仮想カメラの位置及び姿勢の時間変化を示すカメラワーク（１５４）を生成するカメラワーク生成ステップ（Ｓ１１４）とを含む。

Description

カメラワーク生成方法及び映像処理装置
　本開示は、カメラワーク生成方法及び映像処理装置に関する。
　多視点映像の配信方法として、特許文献１には、複数の視点から撮影された映像を視点移動に連動して配信する技術が開示されている。
　また、特定シーンを複数の校正済みカメラにより撮影した映像群を用いてそのシーンを自由な視点から見ることができる自由視点映像を生成する技術が知られている。
特開２００２－１６５２００号公報
　このような自由視点映像を生成する際には、時間的な視点の軌跡を示すカメラワークを決定する必要がある。
　本開示は、適切にカメラワークを決定できるカメラワーク生成方法又は映像処理装置を提供することを目的とする。
　上記目的を達成するために、本開示の一態様に係るカメラワーク生成方法は、同一シーンを異なる視点から撮影した多視点映像から前記シーンの三次元モデルを生成するモデル生成ステップと、前記シーンのうち、前記三次元モデルを仮想カメラから見た自由視点映像を生成する対象である対象シーンを決定する対象シーン決定ステップと、前記自由視点映像における前記仮想カメラの位置及び姿勢の時間変化を示すカメラワークを生成するカメラワーク生成ステップとを含む。
　なお、これらの全般的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ－ＲＯＭなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラム及び記録媒体の任意な組み合わせで実現されてもよい。
　本開示は、適切にカメラワークを決定できるカメラワーク生成方法又は映像処理装置を提供できる。
図１は、実施の形態１に係る映像配信システムのブロック図である。 図２は、実施の形態１に係る映像配信システムの動作例を示す図である。 図３は、実施の形態１に係る映像配信システムの動作を模式的に示す図である。 図４は、実施の形態１に係る映像処理装置の動作を示すフローチャートである。 図５は、実施の形態１に係るインタフェース画面の例を示す図である。 図６は、実施の形態１の変形例に係る映像配信システムのブロック図である。 図７は、実施の形態２に係る映像配信システムのブロック図である。 図８は、映像情報処理システムの構成を示す図である。 図９は、カメラ起動時に表示される通知画面の一例を示す図である。 図１０は、コンテンツ配信サービスを実現するコンテンツ供給システムの全体構成図である。 図１１は、デジタル放送用システムの全体構成図である。 図１２は、スマートフォンの一例を示す図である。 図１３は、スマートフォンの構成例を示すブロック図である。
　スポーツ競技又はライブなどにおける静止シーンから自由視点映像を作成するようなサービスが普及しはじめている。また、静止シーンのみでなく撮像シーンに対しても視点が動的に動く自由視点映像を利用する機会が増加すると予想される。ここで、自由視点映像とは、対象シーンを、任意の空間位置を移動する仮想カメラから見た映像である。自由視点映像を生成する場合には、仮想カメラの位置及び姿勢の時間変化を示すカメラワークを決定する必要がある。このカメラワークの設定は自由度が高いため適切に設定することが困難であるという課題がある。
　本開示では、カメラワークを自動生成するカメラワーク生成方法について説明する。
　本開示の一態様に係るカメラワーク決定方法は、同一シーンを異なる視点から撮影した多視点映像から前記シーンの三次元モデルを生成するモデル生成ステップと、前記シーンのうち、前記三次元モデルを仮想カメラから見た自由視点映像を生成する対象である対象シーンを決定する対象シーン決定ステップと、前記自由視点映像における前記仮想カメラの位置及び姿勢の時間変化を示すカメラワークを生成するカメラワーク生成ステップとを含む。
　これによれば、当該カメラワーク決定方法は、自由視点映像を生成する対象である対象シーンを決定し、決定した対象シーンのカメラワークを生成できる。よって、当該カメラワーク決定方法は、適切にカメラワークを決定できる。また、当該カメラワーク決定方法により、例えば、自動的にカメラワークが決定されるので、編集者等の手間を低減できる。
　例えば、前記対象シーン決定ステップでは、前記多視点映像又は前記三次元モデルを用いて、前記対象シーンを決定してもよい。
　例えば、前記対象シーン決定ステップでは、前記シーンの音声を用いて、前記対象シーンを決定してもよい。
　例えば、前記カメラワーク生成ステップでは、前記対象シーンに対応付けられている予め定められた種別の物体が前記自由視点映像に含まれるように前記仮想カメラの位置及び姿勢を決定してもよい。
　これによれば、当該カメラワーク決定方法で決定されたカメラワークを用いて、対象シーンに応じた種別の物体が映った自由視点映像を生成できる。
　例えば、前記カメラワーク生成ステップでは、前記三次元モデルに含まれる複数の部分の精度に基づき、前記仮想カメラの位置及び姿勢を決定してもよい。
　これによれば、当該カメラワーク決定方法で決定されたカメラワークを用いて、精度の高い自由視点映像を生成できる。
　例えば、前記カメラワーク生成方法は、さらに、前記カメラワークを表示するカメラワーク表示ステップを含んでもよい。
　例えば、前記カメラワーク生成方法は、さらに、前記カメラワークを用いて、前記三次元モデル又は前記多視点映像から前記自由視点映像を生成する映像生成ステップを含んでもよい。
　例えば、前記映像生成ステップでは、前記自由視点映像にブレを追加してもよい。
　これによれば、当該カメラワーク決定方法は、臨場感のある自由視点映像を生成できる。
　例えば、前記カメラワーク生成方法は、さらに、前記カメラワークに対するユーザの評価を取得する取得ステップを含み、前記カメラワーク生成ステップでは、前記評価に基づき、カメラワークを生成してもよい。
　これによれば、当該カメラワーク決定方法は、ユーザの好みにあったカメラワークを生成できる。
　本開示の一態様に係る映像処理装置は、同一シーンを異なる視点から撮影した多視点映像から前記シーンの三次元モデルを生成するモデル生成部と、前記シーンのうち、前記三次元モデルを仮想カメラから見た自由視点映像を生成する対象である対象シーンを決定する解析部と、前記自由視点映像における前記仮想カメラの位置及び姿勢の時間変化を示すカメラワークを生成するカメラワーク生成部とを備える。
　これによれば、当該映像処理装置は、自由視点映像を生成する対象である対象シーンを決定し、決定した対象シーンのカメラワークを生成できる。よって、当該映像処理装置は、適切にカメラワークを決定できる。また、当該映像処理装置により、例えば、自動的にカメラワークが決定されるので、編集者等の手間を低減できる。
　なお、これらの包括的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ－ＲＯＭなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラム及び記録媒体の任意な組み合わせで実現されてもよい。
　以下、実施の形態について、図面を参照しながら具体的に説明する。なお、以下で説明する実施の形態は、いずれも本開示の一具体例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本開示を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。
　（実施の形態１）
　図１は、本実施の形態に係る映像配信システム１００の構成を示すブロック図である。この映像配信システム１００は、スポーツ競技場、又はライブ会場等における自由視点映像を生成し、生成した自由視点映像を配信するシステムである。映像配信システム１００は、複数の撮像装置１０１と、映像処理装置１０２と、複数の視聴装置１０３とを含む。
　撮像装置１０１は、カメラ１１１と、センサ１１２とを含む。カメラ１１１は、映像を撮影する。センサ１１２は、振動センサ、加速度センサ、地磁気センサ、及びマイクの少なくとも一つを含み、撮影環境をセンシングしたデータを生成する。なお、撮像装置１０１は、固定カメラであってもよいし、移動可能なカメラであってもよい。移動可能なカメラとは、例えば、ＣＣＤカメラ或いはネットワークカメラ等のＰＴＺカメラ、又はウェアラブルカメラであってもよいし、ドローン等の移動体に搭載されたカメラであってもよい。この複数の撮像装置１０１により、同一シーンを異なる視点から撮影した多視点映像１５１が生成される。つまり、多視点映像１５１は、同一シーンを異なる視点から撮影した複数の映像を含む。
　映像処理装置１０２は、多視点映像１５１を用いて自由視点映像１５６を生成し、生成した自由視点映像１５６を複数の視聴装置１０３に配信する。この撮像装置１０１は、モデル生成部１２１と、解析部１２２と、カメラワーク生成部１２３と、レンダリング部１２４と、表示部１２５と、配信部１２６とを備える。
　視聴装置１０３は、映像処理装置１０２から配信された自由視点映像を再生し、表示する。
　なお、映像処理装置１０２は、単一の装置により実現されてもよいし、互いに通信可能な複数の装置により実現されてもよい。例えば、表示部１２５が他の処理部とは別の装置に含まれてもよい。
　図２は映像配信システム１００の動作例を示す図である。図３は、各動作を模式的に示す図である。
　まず、複数の撮像装置１０１により同期撮影が行われることで、同時刻の画像（静止画）又は映像（動画像）が撮影される（Ｓ１０１）。例えば、有線又は無線接続により複数の撮像装置１０１が制御されることで、複数の撮像装置１０１のシャッターが同時に切られる。また、撮像装置１０１は、カメラ１１１で撮影された映像のみでなく、同時にセンサ１１２を用いて撮影環境をセンシングしたセンシングデータを取得してもよい。例えば、このセンシングデータは、振動、加速度、地磁気、及び音声の少なくとも一つを含む。
　次に、複数の撮像装置１０１は、多視点映像１５１及びセンシングデータを映像処理装置１０２に送信する（Ｓ１０２）。
　次に、映像処理装置１０２に含まれるモデル生成部１２１は、多視点映像１５１と、多視点映像１５１の撮影時の複数の撮像装置１０１のカメラパラメータとを用いて、撮像空間の三次元モデル１５２を生成する（Ｓ１０３）。なお、映像処理装置１０２は、予め較正処理によりカメラパラメータを求めていてもよいし、ＳｆＭ（Ｓｔｒｕｃｔｕｒｅ　ｆｒｏｍ　Ｍｏｔｉｏｎ）等を用いて多視点映像１５１からカメラパラメータを推定してもよい。また、モデル生成部１２１は、例えば、視体積交差法又はＳｆＭ等を用いて三次元モデル１５２を生成する。
　次に、カメラワーク生成部１２３は、三次元空間上に仮想カメラを自動配置して、自由視点映像の作成に用いるカメラワーク１５４を生成する（Ｓ１０４）。具体的には、カメラワーク生成部１２３は、自動でカメラワーク１５４を設定する際には、三次元空間認識などを用いて、より適切なカメラ姿勢及び設定などを推定してカメラワーク１５４を決定する。
　次に、レンダリング部１２４は、三次元モデル１５２を仮想カメラから見た映像である自由視点映像１５６を、実カメラ映像である多視点映像１５１のテクスチャ又は色情報を用いて生成する（Ｓ１０５）。このとき、レンダリング部１２４は、利用する実カメラを、被写体までの距離が近いなどの基準を用いて優先的に選択してもよい。
　次に、配信部１２６は、生成された自由視点映像１５６を、視聴装置１０３に配信する（Ｓ１０６）。そして、視聴装置１０３は、受信した自由視点映像１５６を再生し、表示する（Ｓ１０７）。
　以下、映像処理装置１０２における処理を詳細に説明する。図４は、映像処理装置１０２による自由視点映像生成処理のフローチャートである。
　まず、映像処理装置１０２は、多視点映像１５１を取得する（Ｓ１１１）。次に、三次元モデル生成部１２１は、多視点映像１５１を用いて、撮像空間である対象シーンの三次元モデル１５２を生成する（Ｓ１１２）。この時、生成される三次元モデル１５２は多視点映像１５１と補足情報とから生成される空間情報であればよい。補足情報とは、例えば、複数のカメラ１１１の位置情報である。具体的には、三次元モデル生成部１２１は、複数のカメラ１１１の三次元空間上の位置を予め測定することで複数のカメラ１１１の位置情報を取得する。または、三次元モデル生成部１２１は、画像処理によるキャリブレーション処理などによって複数のカメラ１１１の位置情報を取得する。次に、三次元モデル生成部１２１は、取得した複数のカメラ１１１の位置情報を利用して視体積交差法などによりボクセルデータを生成する。
　または、三次元モデル生成部１２１は、各画像上のエッジ又はコーナーなどの特徴点情報を用いて画像間で同一の位置（特徴点位置）を推定する。三次元モデル生成部１２１は、特徴点位置及びカメラ姿勢の三次元情報を推定するＳｆＭなどの手法を用いて三次元点群を生成する。
　次に、解析部１２２は、多視点映像１５１及び三次元モデル１５２の少なくとも一方を用いて、自由視点映像１５６を生成する対象である対象シーン１５３を決定する（Ｓ１１３）。具体的には、解析部１２２は、多視点映像１５１及び三次元モデル１５２に対して認識処理を行うことで対象シーン１５３を決定する。より具体的には、解析部１２２は、対象シーン１５３の開始を示すカメラワークの生成トリガと、対象シーン１５３の終了を示す終了トリガとを判定する。なお、対象シーン１５３は、静止シーンであってもよいし、動的なシーンであってもよい。つまり、対象シーンは、一時刻で示されてもよいし、時間範囲により示されてもよい。
　また、解析部１２２は、付帯情報を生成する。ここで付帯情報とは、画像認識により得られる情報であり、カメラワークを生成する際に必要となる認識結果情報である。例えば、付帯情報は、映像内の物体或いは人物等の種別及び位置を示す情報、又は、現在のシーンが予め定められた特定のシーンであるかを示す情報、或いは現在のシーンの種別を示す情報である。具体的には、付帯情報は、映像内の特定人物の三次元位置（例えば三次元座標）を示す。または、付帯情報は、現在のシーンがシュートシーンであるか等を示す。
　例えば、解析部１２２は、画像認識等によりゴールシーン等のハイライトシーンを検出する。または、解析部１２２は、審判員の特徴的なポーズ（例えば、野球の球審のアウトを示すポーズ、又はサッカーの各種カードの提示時のポーズ等）を検出し。ポーズが検出された時刻の前後のシーンを特定シーンと判定する。また、解析部１２２は、特定人物又はボールなどの注目物体の三次元座標情報などを検出する。これらの検出された情報が付帯情報として出力される。
　なお、解析部１２２は、認識された全ての人物を示す情報を含む付帯情報を出力してもよいし、認識された人物のうち条件を満たす人物の情報を出力してもよい。例えば、条件を満たす人物とは、急制動を行った人物、不審な行動をとった人物、又は特定領域に侵入した人物等である。これによると、監視目的等において、認識された人物のうち要注意人物に対して処理を行うことができるので、計算資源及びデータ量を低減できる。
　また、解析部１２２は、シーンの解析結果に基づき、過去にさかのぼって映像処理を行ってもよい。つまり、解析部１２２は、特定シーンを検出した場合、その特定シーン及び特定シーンの直前のシーンを対象シーン１５３に決定してもよい。例えば、解析部１２２は、シュートシーンを検出した場合に、シュートシーンとその直前のシーンとを含む一連のシーンを対象シーン１５３に決定してもよい。
　また、解析部１２２は、映像以外に撮像装置１０１のセンサ１１２で取得されたセンシングデータを用いて、対象シーン１５３を決定してもよい。例えば、解析部１２２は、マイクで得られた音声を用いて対象シーンを決定してもよい。具体的には、解析部１２２は、音量が予め定められた値以上になったシーン又はその前後のシーンを対象シーンに決定してもよい。なお、解析部１２２は、特定の周波数の音声の音量を判定に用いてもよいし、音声の持続時間を判定に用いてもよい。これにより、解析部１２２は、歓声が上がったシーン、ホイッスル等の明示的な音声信号が入力されたシーン、非常時の音（爆発音又は警報音など）が入力されたシーンを対象シーンに決定できる。
　次に、カメラワーク生成部１２３は、解析部１２２から出力された、対象シーン１５３の情報及び付帯情報を用いて自動で一つ又は複数のカメラワーク１５４を生成する（Ｓ１１４）。なお、カメラワーク生成部１２３は、上記情報に加え、手動入力された情報を用いてカメラワーク１５４を生成してもよい。
　具体的には、カメラワーク生成部１２３は、付帯情報で示されるシーンの種別、及び被写体の状況に応じてカメラワーク１５４を自動生成する。例えば、カメラワーク生成部１２３は、対象シーンに対応付けられている予め定められた種別の物体が自由視点映像１５６に含まれるように仮想カメラの位置及び姿勢を決定する。例えば、カメラワーク生成部１２３は、サッカーでのシュートシーンではゴールが映像中に入るようにカメラ位置及び姿勢を決定する。または、カメラワーク生成部１２３は、注目選手等の注目人物が映像中に入るようにカメラ位置及び姿勢を決定する。また、カメラワーク生成部１２３は、注目選手の進行方法が広めに映るようにカメラ位置及び姿勢を決定してもよい。このように、カメラワーク生成部１２３は、そのシーンの意味合いに応じて、カメラ位置及び姿勢を設定する。なお、視点は常にシームレスに移動する必要はなく、スイッチングのように視点が離散的に切り替えられてもよい。
　また、付帯情報でスポンサーのロゴが示される場合、カメラワーク生成部１２３は、それらのロゴが多く含まれるようにカメラワークを決定してもよい。
　また、カメラワーク生成部１２３は、三次元モデル１５２が生成されていない領域又は品質が低い領域を判定し、それら領域が映像中に含まれにくくするようなカメラワーク１５４を選択してもよい。つまり、カメラワーク生成部１２３は、三次元モデル１５２に含まれる複数の部分の精度に基づき、仮想カメラの位置及び姿勢を決定してもよい。
　また、カメラワーク生成部１２３は、対象シーンの決定後に、当該対象シーンのカメラワーク１５４を生成するのではなく、常にカメラワーク１５４を生成しておき、対象シーンの決定後に、その対象シーンのカメラワーク１５４を出力してもよい。これによると、処理による待ち時間を削減できるので、視聴者に即時に映像を提供できる。
　また、カメラワーク生成部１２３は、意図的にカメラワークの生成を失敗させてもよい。例えば、ボール又は注目選手等の対象物を追従時において、対象物の移動方向が大きく変化する場合において、一度対象物を視点が通り過ぎるオーバーランなどが発生するようにカメラワークを設定してもよい。これにより、実際のカメラで撮影されたような臨場感のある自由視点映像１５６を生成できる。
　次に、レンダリング部１２４は、多視点映像１５１、三次元モデル１５２、及びカメラワーク１５４を用いてカメラワーク確認用映像１５５を生成する（Ｓ１１５）。なお、カメラワーク確認用映像１５５は、例えば、三次元モデル１５２から簡易的に生成された画像でもよい。例えば、カメラワーク確認用映像１５５は、速度優先で生成され、後述する自由視点映像１５６に比べて、低画質又は低解像度の映像でもよいし、点群データのものでもよい。なお、レンダリング速度が十分に速い場合には、カメラワーク確認用映像１５５として、後述する自由視点映像１５６と同品質の映像を生成してもよい。
　次に、表示部１２５は、三次元モデル１５２とカメラワーク１５４とカメラワーク確認用映像１５５とを確認するためのインタフェース画面を表示する（Ｓ１１６）。図５は、このインタフェース画面の例を示す図である。このインタフェース画面は、カメラワーク表示欄２０１と、カメラ情報表示欄２０２と、カメラワーク確認用映像表示欄２０３と、スライドバー２０４と、評価表示欄２０５と、アップロードボタン２０６とを含む。
　カメラワーク表示欄２０１には、三次元モデル１５２とカメラワーク１５４の軌跡であるカメラパスとが表示される。なお、１つのカメラパスが表示されてもよいし、複数のカメラパスの候補が表示されていてもよい。また、複数のカメラパスの色又は線種によって各カメラパスのお勧め度などの情報が表現されてもよい。ここで、お勧め度とは、ユーザの好みとの合致度又は視聴率の高さなどを示す。また、複数のカメラパスを表示することで、ユーザ（視聴者）又は編集者に選択肢を提供できる。
　なお、図５では、一つの対象物に対するカメラパスが表示されているが、複数の対象物それぞれに対するカメラパスが表示されてもよい。また、複数のカメラパスが順次選択された場合、選択順で、対応するカメラワーク確認用映像１５５が連続再生されてもよい。
　カメラワーク確認用映像表示欄２０３には、確認用に、カメラワークに対応するカメラワーク確認用映像１５５が表示される。
　スライドバー２０４により、カメラワーク確認用映像１５５の時刻が操作される。例えば、編集者によりスライドバー２０４が操作されることにより、カメラパス上を仮想カメラが移動し、その時刻におけるカメラワーク確認用映像１５５がカメラワーク確認用映像表示欄２０３に表示される。なお、カメラパスが選択された場合に、自動的に再生が開始され、スライドバー２０４が移動してもよい。なた、カメラワークを再生するための操作ボタン又は操作メニュー等が設けられていてもよい。
　カメラ情報表示欄２０２には、対応する時刻におけるカメラ位置及び姿勢と、焦点距離、画角、及びＦ値等のカメラパラメータとが表示される。また、これらのカメラ位置及び姿勢とカメラパラメータとは、編集者により編集可能である。これにより、編集者は、カメラワーク生成部１２３で生成されたカメラワーク１５４を、編集者の好みに合わせて修正することができる。なお、カメラパラメータの代わりに、カメラの型番を選択できるインタフェースが設けられていてもよい。編集者がカメラの型番を選択することで、選択したカメラでのカメラパラメータ等が自動で設定される。これにより、選択したカメラで撮影されたような映像を再現できる。
　また、映像処理装置１０２は、編集者の選択結果、修正内容及び提案をフィードバックする機能を有してもよい。例えば、アップロードボタン２０６が操作されることで、編集者により修正されたカメラワークがカメラワーク生成部１２３に通知される。通知された情報は、例えば、カメラパス又はカメラワーク１５４の生成に関する機械学習のリファレンスとして利用される。
　評価表示欄２０５には、選択されているカメラワーク１５４のお勧め度等の評価値が表示されている。なお、編集者が、カメラワーク１５４の評価値を入力する欄が設けられていてもよい。この場合、入力された評価値は、カメラワーク生成部１２３に通知され、当該カメラワーク１５４の評価値が更新される。また、この評価値は、上記機械学習に用いられてもよい。
　また、例えば、ライブ中に複数のカメラワーク１５４（又はカメラワーク確認用映像１５５）が編集者に表示される。編集者は、複数のカメラワーク１５４からいずれかを選択し、選択結果等に応じて各カメラワーク１５４の評価値が算出される。そして、この評価値は、放送素材等の非リアルタイムでのリプレイ映像を作る際に用いられる。つまり、高評価のカメラワーク１５４が優先して作成及び表示される。なお、評価値は個人単位で設定されてもよいし、複数人の評価結果が反映されてもよい。
　また、フィルター効果などを設定するためのインタフェースが設けられていてもよい。
　このように、編集者による選択又は編集により、配信する自由視点映像１５６に用いるカメラワーク１５４が決定される（Ｓ１１７）。また、例えば、編集者によりアップロードボタン２０６が操作されることで、編集後のカメラワーク１５４がレンダリング部１２４に送られる。レンダリング部１２４は、このカメラワーク１５４に対応する自由視点映像１５６を生成する（Ｓ１１８）。なお、カメラワーク１５４が複数選択されている場合には、レンダリング部１２４は複数の自由視点映像１５６を生成する。
　この際、レンダリング部１２４は、三次元モデル１５２が生成されていない領域、低品質な領域、又は水面などの再構成が困難な領域を判定し、これらの領域をＣＧ等で補間してもよい。また、レンダリング部１２４は、このような領域の画像を、時間の異なるフレーム（例えば、数刻前のレンダリング結果）の情報を用いて補間してもよい。これら補間処理によって、三次元モデル１５２の情報が少ない領域に対しても、自然な自由視点映像１５６を作成可能となる。また、レンダリング部１２４は、再構成が困難な領域が存在する場合には、移動体カメラ等の撮像装置１０１を制御することで、上記領域の生成に用いる映像データ等を取得してもよい。
　また、レンダリング部１２４は、カメラスピード（視点の移動スピード）に合わせて、レンダリング結果のぼけ感を制御してもよい、例えば、レンダリング部１２４は、速度に応じて周辺視野に相当する領域（例えば、画像の周辺領域）をぼかしてもよい。具体的には、レンダリング部１２４は、速度が早いほど、大きくぼかす処理を行う。これにより、生成された映像を、実際に人間が見る映像に近づけることができる。これにより、視聴者は、高臨場感（特にＶｉｒｔｕａｌ　Ｒｅａｌｉｔｙ体験時）を得ることができる。
　また、レンダリング部１２４は、映像中の不要な物体（例えば、セキリュティー用の金網等）に属する三次元モデルをレンダリングの際に無視してもよい。例えば、解析部１２２において、映像中の不要な物体が判別される。
　また、レンダリング部１２４は、ｖｉｅｗ　ｍｏｒｐｈｉｎｇのように、三次元モデル１５２を利用せずにレンダリング処理を行ってもよい。これによると、レンダリング部１２４は、三次元モデル１５２を用いずに二次元画像である多視点映像１５１を用いて処理を行うことができるので、処理量を低減できる。
　また、レンダリング部１２４は、音声情報が存在する場合は、音源位置を推定し、その結果を利用して臨場感の向上に繋がる音声処理又は音声合成を行ってもよい。また、レンダリング部１２４は、オリジナルのカメラ映像に対しては、撮像装置１０１で録音した音声が再生され、仮想カメラの位置の映像に対しては、予め録音した音又は効果音を使用又は追加してもよい。
　また、レンダリング部１２４は、仮想カメラの姿勢及び位置に合わせて音を制御してもよい。例えば、レンダリング部１２４は、音源位置の推定結果により仮想カメラの位置での音を再現してもよい。
　また、レンダリング部１２４は、視覚エフェクト又は実際のカメラマンが撮影した際に生じるような効果を付与することでリアリティを向上させてもよい。
　例えば、レンダリング部１２４は、カメラぶれを追加する。具体的には、レンダリング部１２４は、スタジアムの揺れの検知結果、カメラの揺れの検知結果、又は、歓声の検知結果等を用いて、カメラぶれを追加する。具体的には、レンダリング部１２４は、スタジアムの揺れの程度、カメラの揺れの程度、又は、歓声の程度に応じて、これらの程度が大きいほどぶれを大きくする。また、これらの検知結果は、例えば、センサ１１２で得られる検知結果である。または、レンダリング部１２４は、多視点映像１５１からこれらを検知してもよい。
　また、レンダリング部１２４は、視点の移動スピードに合わせてカメラブレを追加してもよい。具体的には、レンダリング部１２４は、視点の移動スピードが大きいほどブレを大きくする。
　なお、カメラワーク確認用映像１５５として自由視点映像１５６と同品質の映像が生成されている場合には、カメラワーク確認用映像１５５が自由視点映像１５６としてそのまま用いられてもよい。
　次に、配信部１２６は、レンダリング部１２４で生成された一つ又は複数の自由視点映像１５６を視聴装置１０３に配信する（Ｓ１１９）。この時、配信部１２６は、自由視点映像１５６に加え、三次元モデル１５２、視点（仮想カメラの位置）を示す情報、及びカメラワーク１５４の少なくとも一つを視聴装置１０３に配信してもよい。
　視聴装置１０３は、配信された自由視点映像１５６を表示する。また、視聴装置１０３は、三次元モデル１５２、視点を示す情報、又はカメラワーク１５４を受信した場合には、これらの情報を表示してもよい。また、視聴装置１０３は、三次元モデル１５２から画像又はＣＧを生成し、生成した画像又はＣＧを表示してもよい。また、視聴装置１０３は、複数の自由視点映像１５６を受信する場合、受信した複数の自由視点映像１５６のうち表示する自由視点映像１５６を切り替えるためのインタフェースを有してもよい。
　また、視聴装置１０３は、視聴者の自由視点映像１５６又はカメラワーク１５４に対する評価値を取得するためのインタフェースを有してもよい。得られた評価値は、カメラワーク生成部１２３に送られ、編集者の評価と同様に、その後のカメラワーク１５４の生成に用いられる。つまり、映像配信システム１００は、カメラワーク１５４に対するユーザ（編集者又は視聴者）の評価を取得し、評価に基づき、カメラワーク１５４を生成する。
　なお、上記説明では、映像処理装置１０２が、カメラワーク生成部１２３で生成されたカメラワーク１５４を編集者が編集する機能を有する例を述べたが、これに限らない。例えば、編集者は、複数のカメラワーク１５４のなかから、任意の個数のカメラワーク１５４を選択してもよい。この場合、レンダリング部１２４は、選択されたカメラワーク１５４に対応する自由視点映像１５６を生成する。
　また、必ずしも編集者が介在する必要はなく、全ての処理が自動的に行われてもよい。つまり、図４に示すステップＳ１１５～Ｓ１１７は行われず、カメラワーク生成部１２３で生成されたカメラワーク１５４に対応する自由視点映像１５６が視聴装置１０３に配信されてもよい。
　（実施の形態１の変形例）
　上記説明では、表示部１２５を操作する編集者により、カメラワーク１５４が選択又は修正される例を述べたが、映像配信システム１００は、上記機能に加え、視聴装置１０３Ａを操作する視聴者がカメラワーク１５４を編集する機能を有してもよい。
　図６は、本変形例に係る映像配信システム１００Ａの構成を示すブロック図である。本変形例では、視聴装置１０３Ａは、表示部１２５と同様の機能を有する表示部１３１を有する。これにより、視聴装置１０３Ａで、表示部１２５と同様の表示及び操作を行うことができる。これにより、視聴者がカメラワーク１５４を制御することができる。
　例えば、表示部１３１は、表示部１２５に入力される情報と同様の情報を通信により取得する。また、表示部１３１は、表示部１２５と同様に、修正したカメラワーク１５４、カメラワーク１５４の選択結果、又は、評価値等を、通信によって映像処理装置１０２にフィードバックする。
　また、視聴者又は編集者が新規に作成したカメラワーク１５４をＳＮＳ等経由で他人に提供する仕組みがあってもよい。この場合、映像処理装置１０２は、提供されているカメラワーク１５４のダウンロード数又は人気度等を元に優れたカメラワーク１５４を取得し、取得したカメラワーク１５４の情報を以降のカメラワーク１５４の生成に用いる。例えば、取得したカメラワーク１５４は、機械学習のリファレンスとして利用される。
　また、視聴装置１０３Ａからのインタラクティブな操作に応じて表示部１２５に表示されている画面のスクリーンショット等が適宜、視聴装置１０３Ａに送信されてもよい。これにより、画面情報だけが伝達されるので、伝達される情報量を低減できる。
　（実施の形態２）
　本実施の形態では、映像処理装置１０２の一部の機能を視聴装置１０３が備える例を説明する。図７は、本実施の形態に係る映像配信システム１００Ｂの構成を示すブロック図である。図７に示す映像配信システム１００Ｂでは、映像処理装置１０２Ｂは、カメラワーク生成部１２３、レンダリング部１２４及び表示部１２５を備えない。一方で、映像処理装置１０２Ｂは、評価情報受信部１２７を備える。
　配信部１２６は、多視点映像１５１、三次元モデル１５２、対象シーン１５３を示す情報及び付帯情報等を視聴装置１０３Ｂに配信する。
　視聴装置１０３Ｂは、カメラワーク生成部１２３、レンダリング部１２４、表示部１２５及び評価部１３２を備える。なお、カメラワーク生成部１２３、レンダリング部１２４及び表示部１２５の機能は、実施の形態１で説明した機能と同様である。
　評価部１３２は、表示部１２５で実施の形態１と同様の手法により得られた、カメラワーク１５４又はカメラワーク確認用映像１５５の評価値、又はカメラワーク１５４の修正内容等を映像処理装置１０２Ｂに送信する。
　評価情報受信部１２７は、評価部１３２により送信された情報を受信する。なお、この情報の伝送は、上述したようにＳＮＳ等を介して行われてもよい。
　これにより、配信者側である映像処理装置１０２Ｂは、視聴者の嗜好情報等を取得できる。よって、映像処理装置１０２Ｂは、視聴者の嗜好情報等に合わせたカメラワーク１５４の生成に必要な情報（対象シーン１５３を示す情報及び付帯情報等）を視聴装置１０３Ｂに送ることができる。
　なお、ここでは、映像処理装置１０２Ｂが、カメラワーク生成部１２３、レンダリング部１２４及び表示部１２５を備えない例を示したが、実施の形態１と同様に、映像処理装置１０２Ｂは、カメラワーク生成部１２３、レンダリング部１２４及び表示部１２５を備えてもよい。また、配信部１２６は、自由視点映像１５６を視聴装置１０３Ｂに配信してもよい。この場合、映像処理装置１０２Ｂ及び視聴装置１０３Ｂの両方でカメラワーク１５４の修正が可能となる。これにより、一旦編集者が修正したカメラワーク１５４を再度視聴者が修正できるので、視聴者の操作を低減できるとともに、各視聴者が、自分の好みに合った映像を視聴できるようにできる。
　また、この場合には、評価情報受信部１２７が受信した情報は、例えば、機械学習等によるカメラワーク１５４の自動生成を行う際の学習データとして利用される。
　なお、上記の複数の実施の形態で示した、複数の装置における処理の分割は一例であり、上記に限定されない。例えば、三次元モデル１５２の生成までが映像処理装置１０２Ｂで行われ、多視点映像１５１及び三次元モデル１５２が視聴装置１０３Ｂに転送され、視聴装置１０３Ｂで以降の処理が行われてもよい。つまり、視聴装置１０３Ｂは、さらに、解析部１２２を備えてもよい。
　以上、実施の形態に係る映像配信システム等について説明したが、本開示は、この実施の形態に限定されるものではない。
　例えば、本開示は、上記映像配信システムにおいて実行される映像配信方法、映像処理方法、及びカメラワーク生成方法等として実現されてもよい。
　また、上記実施の形態に係る映像配信システムに含まれる各装置に含まれる各処理部は典型的には集積回路であるＬＳＩとして実現される。これらは個別に１チップ化されてもよいし、一部又は全てを含むように１チップ化されてもよい。
　また、集積回路化はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。ＬＳＩ製造後にプログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）、又はＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。
　上記各実施の形態において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、ＣＰＵ又はプロセッサなどのプログラム実行部が、ハードディスク又は半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。
　言い換えると、映像配信システムに含まれる各装置又は映像表示装置は、処理回路（ｐｒｏｃｅｓｓｉｎｇ　ｃｉｒｃｕｉｔｒｙ）と、当該処理回路に電気的に接続された（当該処理回路からアクセス可能な）記憶装置（ｓｔｏｒａｇｅ）とを備える。処理回路は、専用のハードウェア及びプログラム実行部の少なくとも一方を含む。また、記憶装置は、処理回路がプログラム実行部を含む場合には、当該プログラム実行部により実行されるソフトウェアプログラムを記憶する。処理回路は、記憶装置を用いて、上記実施の形態に係るカメラ選択方法又は映像表示方法を実行する。
　さらに、本開示は上記ソフトウェアプログラムであってもよいし、上記プログラムが記録された非一時的なコンピュータ読み取り可能な記録媒体であってもよい。また、上記プログラムは、インターネット等の伝送媒体を介して流通させることができるのは言うまでもない。
　また、上記で用いた数字は、全て本開示を具体的に説明するために例示するものであり、本開示は例示された数字に制限されない。
　また、フローチャート等に示す複数のステップが実行される順序は、本開示を具体的に説明するために例示するためのものであり、上記以外の順序であってもよい。また、上記ステップの一部が、他のステップと同時（並列）に実行されてもよい。
　以上、本開示の一つ又は複数の態様に係る映像配信システム等について、実施の形態に基づいて説明したが、本開示は、この実施の形態に限定されるものではない。本開示の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、本開示の一つ又は複数の態様の範囲内に含まれてもよい。
　（実施の形態３）
　上記各実施の形態で示した画像処理方法及び装置の構成の他の応用例とそれを用いたシステムを説明する。当該システムは、インテリジェント化と対象空間の広域化とが進む映像システムに適用でき、例えば、（１）店舗或いは工場のセキュリティカメラ、又は警察の車載カメラなどに実装される監視システム、（２）個人所有のカメラ或いは各車載カメラ、又は道路に備えられたカメラなどを用いた交通情報システム、（３）ドローンなど遠隔操作又は自動制御可能な装置を用いた環境調査又は配送システム、及び（４）エンターテイメント施設又はスタジアム等における設置カメラ、ドローン等の移動カメラ、又は個人所有のカメラなどを用いた映像などのコンテンツ送受信システムなどに適用できる。
　図８は、本実施の形態における映像情報処理システムｅｘ１００の構成を示す図である。本実施の形態においては、死角の発生を防止する例、及び特定の領域を撮影禁止にする例について説明する。
　図８に示す映像情報処理システムｅｘ１００は、映像情報処理装置ｅｘ１０１と、複数のカメラｅｘ１０２と、映像受信装置ｅｘ１０３とを含む。なお、映像受信装置ｅｘ１０３は、必ずしも映像情報処理システムｅｘ１００に含まれる必要はない。
　映像情報処理装置ｅｘ１０１は、保存部ｅｘ１１１と、解析部ｅｘ１１２とを備える。Ｎ個のカメラｅｘ１０２のそれぞれは、映像を撮影する機能と撮影した映像データを映像情報処理装置ｅｘ１０１に送信する機能とを有する。また、カメラｅｘ１０２は、撮影中の映像を表示する機能を有する場合もある。なお、カメラｅｘ１０２は、撮影された映像信号をＨＥＶＣ又はＨ．２６４のような符号化方式を用いてエンコードしたうえで映像情報処理装置ｅｘ１０１に送信してよいし、エンコードされていない映像データを映像情報処理装置ｅｘ１０１に送信してもよい。
　ここで、各カメラｅｘ１０２は、監視カメラ等の固定カメラ、無人飛行型ラジコンや車等に搭載された移動カメラ、又は、ユーザが所持するユーザカメラである。
　移動カメラは、映像情報処理装置ｅｘ１０１から送信された指示信号を受信し、受信された指示信号に応じて、移動カメラ自体の位置又は撮影方向を変更する。
　また、撮影開示前に複数のカメラｅｘ１０２の時刻が、サーバ又は基準カメラの時刻情報などを用いてキャリブレーションされる。また、複数のカメラｅｘ１０２の空間位置が、撮影対象となる空間のオブジェクトの写り方又は基準カメラからの相対位置に基づいてキャリブレーションされる。
　情報処理装置ｅｘ１０１に含まれる保存部ｅｘ１１１は、Ｎ個のカメラｅｘ１０２から送信された映像データを保存する。
　解析部ｅｘ１１２は、保存部ｅｘ１１１に保存された映像データから死角を検出し、死角の発生を防止するための移動カメラへの指示を示す指示信号を移動カメラへ送信する。移動カメラは指示信号に従って移動を行い、撮影を継続する。
　解析部ｅｘ１１２は、例えば、ＳｆＭ（Ｓｔｒｕｃｔｕｒｅ　ｆｒｏｍ　Ｍｏｔｉｏｎ）を用いて死角検出を行う。ＳｆＭとは、異なる位置から撮影された複数の映像から被写体の三次元形状を復元する手法であり、被写体形状及びカメラ位置を同時に推定する形状復元技術として広く知られている。例えば、解析部ｅｘ１１２は、ＳｆＭを用いて、保存部ｅｘ１１１に保存された映像データから施設内又はスタジアム内の三次元形状を復元し、復元できない領域を死角として検出する。
　なお、解析部ｅｘ１１２は、カメラｅｘ１０２の位置及び撮影方向が固定であり、位置及び撮影方向の情報が既知の場合は、これらの既知の情報を用いてＳｆＭを行ってもよい。また、移動カメラの位置及び撮影方向が、移動カメラが備えるＧＰＳ及び角度センサ等により取得できる場合は、移動カメラは、当該移動カメラの位置及び撮影方向の情報を解析部ｅｘ１１２に送信し、解析部ｅｘ１１２は、送信された位置及び撮影方向の情報を用いてＳｆＭを行ってもよい。
　なお、死角検出の方法は上述したＳｆＭを用いた方法に限られるものではない。例えば、解析部ｅｘ１１２は、レーザレンジファインダなどのデプスセンサの情報を用いることで、撮影対象であるオブジェクトの空間距離を把握してもよい。また、解析部ｅｘ１１２は、カメラ位置、撮影方向及びズーム倍率等の情報を、空間内の予め設定したマーカ又は特定のオブジェクトが画像に含まれるか、含まれる場合にはそのサイズ等から検出してもよい。このように、解析部ｅｘ１１２は、各カメラの撮影領域を検出できる任意の方法を用いて、死角の検出を行う。また、解析部ｅｘ１１２は、複数の撮影対象について互いの位置関係等の情報を映像データ又は近接距離センサ等から取得し、取得した位置関係に基づいて死角が発生する可能性の高い領域を特定してもよい。
　ここで死角とは、撮影したい領域中で映像が存在しない部分だけでなく、他の部分と比較して画質の悪い部分、及び予め定められた画質を得られていない部分などを含む。この検出対象の部分は、当該システムの構成又は目的に応じて適宜設定されればよい。例えば、撮影される空間中の特定の被写体について、要求される画質が高く設定されてもよい。また、逆に撮影空間中の特定の領域について、要求される画質が低く設定されてもよいし、映像が撮影されていなくても死角と判定しないように設定されてもよい。
　なお、上述した画質とは、映像中の撮影対象となる被写体が占める面積（例えばピクセル数）、又は撮影対象となる被写体にピントが合っているかといった映像に関する様々な情報を含むものであり、それらの情報又はその組み合わせを基準に死角であるか否かが判定されればよい。
　なお、上記の説明では、実際に死角となっている領域の検出について説明したが、死角の発生を防止するために検出する必要のある領域は実際に死角となっている領域に限定されない。例えば、複数の撮影対象が存在し、少なくともその一部が移動している場合には、ある撮影対象とカメラとの間に別の撮影対象が入ることによって新たな死角が生じる可能性がある。これに対し、解析部ｅｘ１１２は、例えば撮影された映像データ等から複数の撮影対象の動きを検出し、検出された複数の撮影対象の動きとカメラｅｘ１０２の位置情報に基づいて、新たに死角となる可能性のある領域を推定してもよい。この場合、映像情報処理装置ｅｘ１０１は、死角となる可能性のある領域を撮影するように移動カメラに指示信号を送信し、死角の発生を防止してもよい。
　なお、移動カメラが複数ある場合、映像情報処理装置ｅｘ１０１は、死角、又は死角となる可能性がある領域を撮影させるために指示信号を送信する移動カメラを選択する必要がある。また、移動カメラ及び死角、又は死角となる可能性がある領域がそれぞれ複数存在する場合、映像情報処理装置ｅｘ１０１は、複数の移動カメラのそれぞれについて、どの死角、又は死角となる可能性がある領域を撮影させるかを決定する必要がある。例えば、映像情報処理装置ｅｘ１０１は、死角、又は死角となる可能性のある領域と各移動カメラが撮影中の領域の位置とに基づいて、死角、又は死角となる領域に最も近い移動カメラを選択する。また、映像情報処理装置ｅｘ１０１は、各移動カメラについて、当該移動カメラが現在撮影中の映像データが得られない場合に新たに死角が発生するか否かを判定し、現在撮影中の映像データが得られなくても死角が発生しないと判断された移動カメラを選択してもよい。
　以上の構成により、映像情報処理装置ｅｘ１０１は、死角を検出し、死角を防止するように移動カメラに対して指示信号を送信することにより、死角の発生を防止できる。
　（変形例１）
　なお、上記説明では、移動カメラに移動を指示する指示信号が送信される例を述べたが、指示信号は、ユーザカメラのユーザに移動を指示するための信号であってもよい。例えば、ユーザカメラは、指示信号に基づき、ユーザにカメラの方向を変更するように指示する指示画像を表示する。なお、ユーザカメラは、ユーザの移動の指示として、地図上に移動経路を示した指示画像を表示してもよい。また、ユーザカメラは、取得される画像の質を向上させるために撮影方向、角度、画角、画質、及び撮影領域の移動など詳細な撮影の指示を表示してもよく、さらに映像情報処理装置ｅｘ１０１側で制御可能であれば、映像情報処理装置ｅｘ１０１は、そのような撮影に関するカメラｅｘ１０２の特徴量を自動で制御してもよい。
　ここで、ユーザカメラは、例えば、スタジアム内の観客又は施設内の警備員が持つスマートフォン、タブレット型端末、ウェアラブル端末、又はＨＭＤ（Ｈｅａｄ　Ｍｏｕｎｔｅｄ　Ｄｉｓｐｌａｙ）である。
　また、指示画像を表示する表示端末は、映像データを撮影するユーザカメラと同一である必要はない。例えば、ユーザカメラに予め対応付けられた表示端末に対して、ユーザカメラが指示信号又は指示画像を送信し、当該表示端末が指示画像を表示してもよい。また、ユーザカメラに対応する表示端末の情報が、予め映像情報処理装置ｅｘ１０１に登録されてもよい。この場合は、映像情報処理装置ｅｘ１０１は、ユーザカメラに対応する表示端末に対して指示信号を直接送信することで、表示端末に指示画像を表示させてもよい。
　（変形例２）
　解析部ｅｘ１１２は、例えばＳｆＭを用いて、保存部ｅｘ１１１に保存された映像データから施設内又はスタジアム内の三次元形状を復元することで自由視点映像（三次元再構成データ）を生成してもよい。この自由視点映像は、保存部ｅｘ１１１に保存される。映像情報処理装置ｅｘ１０１は、映像受信装置ｅｘ１０３から送信される視野情報（及び／又は、視点情報）に応じた映像データを保存部ｅｘ１１１から読み出して、映像受信装置ｅｘ１０３に送信する。なお、映像受信装置ｅｘ１０３は、複数のカメラの一つであってもよい。
　（変形例３）
　映像情報処理装置ｅｘ１０１は、撮影禁止領域を検出してもよい。この場合、解析部ｅｘ１１２は撮影画像を解析し、移動カメラが撮影禁止領域を撮影している場合には移動カメラに対して撮影禁止信号を送信する。移動カメラは撮影禁止信号を受信している間は撮影を停止する。
　解析部ｅｘ１１２は、例えば、ＳｆＭを用いて復元された三次元の仮想空間と、撮影映像とのマッチングを取ることで、空間内で予め設定されている移動カメラが撮影禁止領域を撮影中かを判定する。または、解析部ｅｘ１１２は、空間内に配置されたマーカ又は特徴的なオブジェクトをトリガーとして移動カメラが撮影禁止領域を撮影中かを判定する。撮影禁止領域とは、例えば施設内又はスタジアム内のトイレなどである。
　また、ユーザカメラが撮影禁止領域を撮影している場合には、ユーザカメラは、無線又は有線で接続されるディスプレイ等にメッセージを表示したり、スピーカ又はイヤホンから音又は音声を出力したりすることで、現在の場所が撮影禁止場所であることをユーザに知らせてもよい。
　例えば、上記メッセージとして、現在カメラを向けている方向が撮影禁止である旨が表示される。または、表示される地図上に撮影禁止領域と現在の撮影領域とが示される。また、撮影の再開は、例えば、撮影禁止信号が出力されなくなれば自動的に行われる。または、撮影禁止信号が出力されておらず、かつ、ユーザが撮影再開を行う操作をした場合に、撮影が再開されてもよい。また、撮影の停止と再開とが短期間で複数回起こった場合には、再度キャリブレーションが行われてもよい。または、ユーザに現在位置を確認したり移動を促したりするための通知が行われてもよい。
　また、警察など特別な業務の場合には、記録のためこのような機能をオフにするパスコード又は指紋認証などが用いられてもよい。さらに、そのような場合であっても撮影禁止領域の映像が外部に表示されたり保存される場合には自動でモザイクなど画像処理が行われてもよい。
　以上の構成により、映像情報処理装置ｅｘ１０１は、撮影禁止の判定を行い、撮影を停止するようにユーザに通知することで、ある領域を撮影禁止に設定できる。
　（変形例４）
　映像から三次元の仮想空間を構築するためには、複数視点の映像を集める必要があるため、映像情報処理システムｅｘ１００は、撮影映像を転送したユーザに対してインセンティブを設定する。例えば、映像情報処理装置ｅｘ１０１は、映像を転送したユーザに対し、無料又は割引料金で映像配信を行ったり、オンライン又はオフラインの店又はゲーム内で使用できるような金銭的な価値、又はゲームなどのバーチャル空間での社会的地位など非金銭的な価値のあるポイントを付与する。また、映像情報処理装置ｅｘ１０１は、リクエストが多いなど価値のある視野（及び／又は、視点）の撮影映像を転送したユーザに対しては特に高いポイントを付与する。
　（変形例５）
　映像情報処理装置ｅｘ１０１は、解析部ｅｘ１１２の解析結果に基づき、ユーザカメラに対して付加情報を送信してもよい。この場合、ユーザカメラは撮影映像に付加情報を重畳して、画面に表示する。付加情報とは、例えば、スタジアムでの試合が撮影されている場合には、選手名又は身長などの選手の情報であり、映像内の各選手に対応付けて当該選手の名前又は顔写真などが表示される。なお、映像情報処理装置ｅｘ１０１は、映像データの一部又は全部の領域に基づきインターネット経由の検索により、付加情報を抽出してもよい。また、カメラｅｘ１０２は、Ｂｌｕｅｔｏｏｔｈ（登録商標）をはじめとする近距離無線通信又は、スタジアム等の照明から可視光通信によりそのような付加情報を受け取り、受け取った付加情報を、映像データにマッピングしてもよい。また、カメラｅｘ１０２は、このマッピングを、カメラｅｘ１０２に有線又は無線により接続される記憶部に保持されるテーブルであって、可視光通信技術により得られる情報と付加情報との対応関係を示すテーブルなどの一定規則に基づいて行なってもよいし、インターネット検索により最も確からしい組み合わせの結果を用いて行なってもよい。
　また、監視システムにおいては、施設内の警備員が持つユーザカメラに対して、例えば注意人物の情報が重畳されることで、監視システムの高精度化を図ることができる。
　（変形例６）
　解析部ｅｘ１１２は，自由視点映像とユーザカメラの撮影映像とのマッチングを取ることで、ユーザカメラが施設内又はスタジアム内のどの領域を撮影中かを判定してもよい。なお、撮影領域の判定方法はこれに限られず、上述した各実施の形態で説明した様々な撮影領域の判定方法又はその他の撮影領域の判定方法を用いられてもよい。
　映像情報処理装置ｅｘ１０１は、解析部ｅｘ１１２の解析結果に基づき、ユーザカメラに対して過去映像を送信する。ユーザカメラは撮影映像に過去映像を重畳して、又は撮影映像を過去映像に置換して、画面に表示する。
　例えば、ハーフタイム中に、過去映像として前半のハイライトシーンが表示される。これにより、ユーザはハーフタイム中に、前半のハイライトシーンを自分が見ている方向の映像として楽しむことができる。なお過去映像は、前半のハイライトシーンに限らず、そのスタジアムで行われた過去の試合のハイライトシーンなどでもよい。また、映像情報処理装置ｅｘ１０１が過去映像を配信するタイミングはハーフタイム中に限らず、例えば試合終了後でも、試合中でもよい。特に試合中の場合には、解析部ｅｘ１１２の解析結果に基づき、映像情報処理装置ｅｘ１０１はユーザが見逃した重要と考えられるシーンを配信してもよい。また、映像情報処理装置ｅｘ１０１はユーザからリクエストがあった場合のみ過去映像を配信してもよく、又は過去映像の配信前に配信許可のメッセージを配信してもよい。
　（変形例７）
　映像情報処理装置ｅｘ１０１は、解析部ｅｘ１１２の解析結果に基づき、ユーザカメラに対して広告情報を送信してもよい。ユーザカメラは撮影映像に広告情報を重畳して、画面に表示する。
　広告情報は例えば変形例６で示した、ハーフタイム中又は試合終了後の過去映像配信直前に配信されてもよい。これにより、配信業者は広告主からの広告料を得ることができ、ユーザに安価又は無料で映像配信サービスを提供できる。また、映像情報処理装置ｅｘ１０１は、広告情報の配信直前に広告配信許可のメッセージを配信してもよいし、ユーザが広告を視聴した場合のみ無料でサービスを提供してもよいし、広告を視聴しない場合より安価にサービスを提供してもよい。
　また、広告に従ってユーザが「今すぐ注文する」などをクリックすると、当該システム又は何らかの位置情報に基づいてユーザの位置を把握しているスタッフ又は会場の自動の配送システムが注文された飲み物を席まで届けてくれる。決裁はスタッフへの手渡しでもよいし、予めモバイル端末のアプリ等に設定されているクレジットカード情報に基づいて行われてもよい。また、広告にはｅコマースサイトへのリンクが含まれ、通常の自宅配送等のオンラインショッピングが可能な状態になっていてもよい。
　（変形例８）
　映像受信装置ｅｘ１０３は、カメラｅｘ１０２（ユーザカメラ）の一つであってもよい。この場合、解析部ｅｘ１１２は、自由視点映像とユーザカメラの撮影映像とのマッチングを取ることで、ユーザカメラが施設内又はスタジアム内のどの領域を撮影中かを判定する。なお、撮影領域の判定方法はこれに限らない。
　例えば、ユーザが、画面に表示されている矢印の方向にスワイプ操作をすると、ユーザカメラはその方向へ視点を移動させることを示す視点情報を生成する。映像情報処理装置ｅｘ１０１は、解析部ｅｘ１１２が判定したユーザカメラの撮影領域から視点情報の分だけ移動させた領域を撮影した映像データを保存部ｅｘ１１１から読み出し、当該映像データのユーザカメラへの送信を開始する。そしてユーザカメラは撮影映像ではなく、映像情報処理装置ｅｘ１０１から配信された映像を表示する。
　以上により、施設内又はスタジアム内のユーザは、画面スワイプのような簡易な動作で、好きな視点からの映像を視聴できる。例えば野球場の３塁側で観戦している観客が、１塁側の視点からの映像を視聴できる。また、監視システムにおいては、施設内の警備員が画面スワイプのような簡易な動作で、自身が確認したい視点又はセンターからの割り込みとして注視すべき映像などを、視点を適用的に変えながら視聴することができるので、監視システムの高精度化を図ることができる。
　また、施設内又はスタジアム内のユーザへの映像の配信は、例えばユーザカメラと撮影対象との間に障害物が存在し、見えない領域がある場合等にも有効である。この場合、ユーザカメラは、ユーザカメラの撮影領域のうち障害物が含まれる一部の領域の映像を、撮影映像から、映像情報処理装置ｅｘ１０１からの配信映像に切り替えて表示してもよいし、画面全体を撮影映像から配信映像に切り替えて表示してもよい。また、ユーザカメラは、撮影映像と配信映像とを合成して障害物を透過して視聴対象が見えているような映像を表示してもよい。この構成によると、障害物の影響でユーザの位置から撮影対象が見えない場合にも、映像情報処理装置ｅｘ１０１から配信された映像を視聴することができるので、障害物の影響を軽減することができる。
　また、障害物により見えない領域の映像として配信映像を表示する場合は、上述した画面スワイプのようなユーザによる入力処理に応じた表示の切り替え制御とは異なる表示の切り替え制御が行われてもよい。例えば、ユーザカメラの移動及び撮影方向の情報、並びに予め得られている障害物の位置情報に基づいて撮影領域に障害物が含まれると判定される場合に、撮影映像から配信映像への表示の切り替えが自動的に行われもよい。また、撮影映像データの解析により撮影対象ではない障害物が映っていると判定された場合に、撮影映像から配信映像への表示の切り替えが自動的に行われてもよい。また、撮影映像に含まれる障害物の面積（例えばピクセル数）が所定の閾値を超えた場合、又は撮影対象の面積に対する障害物の面積の比が所定の割合を超えた場合に、撮影映像から配信映像への表示の切り替えが自動的に行われてもよい。
　なお、ユーザの入力処理に応じて撮影映像から配信映像への表示の切り替え及び配信映像から撮影映像への表示の切り替えが行われてもよい。
　（変形例９）
　各カメラｅｘ１０２で撮影された映像データの重要度に基づき映像データを映像情報処理装置ｅｘ１０１に転送する速度が指示されてもよい。
　この場合、解析部ｅｘ１１２は保存部ｅｘ１１１に保存された映像データ、又は当該映像データを撮影したカメラｅｘ１０２の重要度を判定する。ここでの重要度の判定は、例えば映像中に含まれる人の数或いは移動物体の数、映像データの画質などの情報、又はその組み合わせに基づいて行われる。
　また、映像データの重要度の判定は、映像データが撮影されたカメラｅｘ１０２の位置又は映像データが撮影している領域に基づいてもよい。例えば、対象のカメラｅｘ１０２の近くに撮影中の他のカメラｅｘ１０２が複数存在する場合に、対象のカメラｅｘ１０２で撮影された映像データの重要度を低くする。また、対象のカメラｅｘ１０２の位置が他のカメラｅｘ１０２から離れていても同じ領域を撮影している他のカメラｅｘ１０２が複数存在する場合に、対象のカメラｅｘ１０２で撮影された映像データの重要度を低くする。また、映像データの重要度の判定は、映像配信サービスにおけるリクエストの多さに基づいて行われてもよい。なお、重要度の判定方法は、上述したものやその組み合わせに限られず、監視システム又は映像配信システムの構成又は目的に応じた方法であればよい。
　また、重要度の判定は撮影された映像データに基づくものでなくてもよい。例えば、映像情報処理装置ｅｘ１０１以外の端末へ映像データを送信するカメラｅｘ１０２の重要度が高く設定されてもよい。逆に、映像情報処理装置ｅｘ１０１以外の端末へ映像データを送信するカメラｅｘ１０２の重要度が低く設定されてもよい。これにより、例えば、映像データの伝送を必要とする複数のサービスが通信帯域を共有している場合に、各サービスの目的又は特性に応じた通信帯域の制御の自由度が高くなる。これにより、必要な映像データが得られないことによる各サービスの品質の劣化を防止できる。
　また、解析部ｅｘ１１２は、自由視点映像とカメラｅｘ１０２の撮影映像とを用いて、映像データの重要度を判定してもよい。
　映像情報処理装置ｅｘ１０１は、解析部ｅｘ１１２で行われた重要度の判定結果に基づき、カメラｅｘ１０２に対して通信速度指示信号を送信する。映像情報処理装置ｅｘ１０１は、例えば、重要度が高い映像を撮影しているカメラｅｘ１０２に対して高い通信速度を指示する。また、映像情報処理装置ｅｘ１０１は、速度の制御だけではなく、重要な情報については、欠落によるデメリットを低減するために複数回送るような方式を指示する信号を送信してもよい。これにより、施設内又はスタジアム内全体の通信を効率的に行うことができる。なお、カメラｅｘ１０２と映像情報処理装置ｅｘ１０１との通信は、有線通信であっても無線通信であってもよい。また、映像情報処理装置ｅｘ１０１は、有線通信及び無線通信のいずれか一方のみを制御してもよい。
　カメラｅｘ１０２は、通信速度指示信号に従った通信速度で、撮影映像データを映像情報処理装置ｅｘ１０１に送信する。なお、カメラｅｘ１０２は所定の回数再送が失敗した場合には、その撮影映像データの再送を停止し、次の撮影映像データの転送を開始してもよい。これにより、施設内又はスタジアム内全体の通信を効率的に行うことができ、解析部ｅｘ１１２における処理の高速化を実現できる。
　また、カメラｅｘ１０２は、それぞれに割り当てられた通信速度が撮影した映像データを転送するために十分な帯域でない場合は、撮影した映像データを、割り当てられた通信速度で送信可能なビットレートの映像データに変換し、変換後の映像データを送信してもよし、映像データの転送を中止してもよい。
　また、上述したように死角の発生を防止するために映像データが使用される場合、撮影された映像データに含まれる撮影領域のうちの一部の領域のみが死角を埋めるために必要である可能性がある。この場合、カメラｅｘ１０２は、少なくとも、映像データから、死角の発生を防止するために必要とされる領域のみを抽出することで抽出映像データを生成し、生成された抽出映像データを映像情報処理装置ｅｘ１０１に送信してもよい。この構成によると、死角の発生の抑制をより少ない通信帯域で実現できる。
　また、例えば、付加情報の重畳表示又は映像配信が行われる場合には、カメラｅｘ１０２は、映像情報処理装置ｅｘ１０１にカメラｅｘ１０２の位置情報及び撮影方向の情報を送信する必要がある。この場合、映像データを転送するためには十分ではない帯域しか割り当てられなかったカメラｅｘ１０２は、カメラｅｘ１０２で検出された位置情報及び撮影方向の情報のみを送信してもよい。また、映像情報処理装置ｅｘ１０１においてカメラｅｘ１０２の位置情報及び撮影方向の情報を推定する場合は、カメラｅｘ１０２は、撮影した映像データを、位置情報及び撮影方向の情報の推定に必要な解像度に変換し、変換された映像データを映像情報処理装置ｅｘ１０１に送信してもよい。この構成によると、少ない通信帯域しか割り当てられなかったカメラｅｘ１０２に対しても、付加情報の重畳表示又は映像配信のサービスを提供できる。また、映像情報処理装置ｅｘ１０１は、より多くのカメラｅｘ１０２から撮影領域の情報を取得できるため、例えば注目されている領域を検出する等の目的で、撮影領域の情報を利用するような場合においても有効である。
　なお、上述した割り当てられた通信帯域に応じた映像データの転送処理の切り替えは、通知された通信帯域に基づいてカメラｅｘ１０２が行ってもよいし、映像情報処理装置ｅｘ１０１が各カメラｅｘ１０２の動作を決定し、決定された動作を示す制御信号を各カメラｅｘ１０２に通知してもよい。これにより、動作の切り替えの判定に必要な計算量、カメラｅｘ１０２の処理能力、及び必要となる通信帯域等に応じて、適切に処理の分担を行える。
　（変形例１０）
　解析部ｅｘ１１２は、映像受信装置ｅｘ１０３から送信された視野情報（及び／又は、視点情報）に基づき、映像データの重要度を判定してもよい。例えば、解析部ｅｘ１１２は、視野情報（及び／又は、視点情報）が示す領域を多く含む撮影映像データの重要度を高く設定する。また、解析部ｅｘ１１２は、映像中に含まれる人の数、又は移動物体の数を考慮して、映像データの重要度を判定してもよい。なお、重要度の判定方法はこれに限らない。
　なお、本実施の形態で説明した通信制御方法は、必ずしも複数の映像データから三次元形状の再構築を行うシステムにおいて用いられる必要はない。例えば複数のカメラｅｘ１０２が存在する環境において、映像データを選択的又は伝送速度に差をつけて有線通信及び／又は無線通信で送信する場合であれば、本実施の形態で説明した通信制御方法は有効である。
　（変形例１１）
　映像配信システムにおいて、映像情報処理装置ｅｘ１０１は、撮影シーンの全体を示す概観映像を映像受信装置ｅｘ１０３に送信してもよい。
　具体的には、映像情報処理装置ｅｘ１０１は、映像受信装置ｅｘ１０３から送信された配信リクエストを受信した場合、保存部ｅｘ１１１から施設内又はスタジアム内全体の概観映像を読み出し、当該外観映像を映像受信装置ｅｘ１０３に送信する。この概観映像は更新間隔が長くてもよく（低フレームレートでもよく）、また画質が低くてもよい。視聴者は、映像受信装置ｅｘ１０３の画面上に表示された概観映像中で、見たい部分をタッチする。これにより、映像受信装置ｅｘ１０３は、タッチされた部分に対応する視野情報（及び／又は、視点情報）を映像情報処理装置ｅｘ１０１に送信する。
　映像情報処理装置ｅｘ１０１は、視野情報（及び／又は、視点情報）に応じた映像データを保存部ｅｘ１１１から読み出し、当該映像データを映像受信装置ｅｘ１０３に送信する。
　また、解析部ｅｘ１１２は、視野情報（及び／又は、視点情報）で示される領域に対して優先的に三次元形状の復元（三次元再構成）を行うことで自由視点映像を生成する。解析部ｅｘ１１２は、施設内又はスタジアム内全体の三次元形状を、概観を示す程度の精度で復元する。これにより、映像情報処理装置ｅｘ１０１は、三次元形状の復元を効率的に行うことができる。その結果、視聴者が見たい領域の自由視点映像の高フレームレート化、及び高画質を実現できる。
　（変形例１２）
　なお、映像情報処理装置ｅｘ１０１は、例えば、設計図面などから事前に生成された施設又はスタジアムの三次元形状復元データを事前映像として、予め保存しておいてもよい。なお、事前映像はこれに限らず、デプスセンサから得られる空間の凹凸と、過去又はキャリブレーション時の画像又は映像データから導出されるピクチャとをオブジェクトごとにマッピングした仮想空間データであってもよい。
　例えば、スタジアムでサッカーが行われている場合、解析部ｅｘ１１２は、選手及びボールのみに限定して三次元形状の復元を行い、得られた復元データと事前映像とを合成することで自由視点映像を生成してもよい。あるいは、解析部ｅｘ１１２は、選手及びボールに対して優先して三次元形状の復元を行ってもよい。これにより、映像情報処理装置ｅｘ１０１は、三次元形状の復元を効率的に行うことができる。その結果、視聴者が注目する選手及びボールに関する自由視点映像の高フレームレート化及び高画質化を実現できる。また、監視システムにおいては、解析部ｅｘ１１２は、人物及び移動物体のみに限定して、又はそれらを優先して三次元形状の復元を行ってもよい。
　（変形例１３）
　各装置の時刻は、サーバの基準時刻等に基づき、撮影開始時にキャリブレーションされてもよい。解析部ｅｘ１１２は、複数のカメラｅｘ１０２で撮影された複数の撮影映像データのうち、時刻設定の精度に応じて、予め設定された時間範囲内に属する時刻に撮影された複数の映像データを用いて、三次元形状の復元を行う。この時刻の検出には、例えば撮影映像データが保存部ｅｘ１１１に格納された時刻が用いられる。なお、時刻の検出方法はこれに限らない。これにより、映像情報処理装置ｅｘ１０１は、三次元形状の復元を効率的に行うことができるので、自由視点映像の高フレームレート化及び高画質化を実現できる。
　または、解析部ｅｘ１１２は、保存部ｅｘ１１１に保存された複数の映像データのうち、高画質データのみを用いて、又は高画質データを優先的に用いて、三次元形状の復元を行ってもよい。
　（変形例１４）
　解析部ｅｘ１１２は、カメラ属性情報を用いて、三次元形状の復元を行ってもよい。例えば、解析部ｅｘ１１２は、カメラ属性情報を用いて、視体積交差法又はマルチビューステレオ法などの手法により三次元映像を生成してもよい。この場合、カメラｅｘ１０２は、撮影映像データとカメラ属性情報とを映像情報処理装置ｅｘ１０１に送信する。カメラ属性情報は、例えば、撮影位置、撮影角度、撮影時刻、又はズーム倍率などである。
　これにより、映像情報処理装置ｅｘ１０１は、三次元形状の復元を効率的に行うことができるので、自由視点映像の高フレームレート化及び高画質化を実現できる。
　具体的には、カメラｅｘ１０２は、施設内又はスタジアム内に三次元座標を定義し、カメラｅｘ１０２がどのあたりの座標をどの角度から、どれ位のズームで、どの時間に撮ったかという情報を映像と共にカメラ属性情報として映像情報処理装置ｅｘ１０１に送信する。また、カメラｅｘ１０２の起動時に、施設内又はスタジアム内の通信ネットワーク上の時計とカメラ内の時計との同期がとられ、時間情報が生成される。
　また、カメラｅｘ１０２の起動時又は任意のタイミングで施設内又はスタジアム内の特定のポイントにカメラｅｘ１０２を向けることにより、カメラｅｘ１０２の位置及び角度情報が取得される。図９は、カメラｅｘ１０２に起動時に、カメラｅｘ１０２の画面上に表示される通知の一例を示す図である。ユーザがこの通知に従い、スタジアム北側の広告中のサッカーボール中心にある「＋」に、画面中央に表示された「＋」を合わせて、カメラｅｘ１０２のディスプレイをタッチすると、カメラｅｘ１０２は、カメラｅｘ１０２から広告までのベクトル情報を取得しカメラ位置及び角度の基準を特定する。その後、カメラｅｘ１０２のモーション情報からその時々のカメラ座標及び角度が特定される。もちろん、この表示に限るものではなく、矢印等を用いて撮影期間中も座標、角度、又は撮影領域の移動速度等を指示するような表示が用いられてもよい。
　カメラｅｘ１０２の座標の特定は、ＧＰＳ、ＷｉＦｉ（登録商標）、３Ｇ、ＬＴＥ（Ｌｏｎｇ　Ｔｅｒｍ　Ｅｖｏｌｕｔｉｏｎ）、及び５Ｇ（無線ＬＡＮ）の電波を用いて行われてもよいし、ビーコン（Ｂｌｕｅｔｏｏｔｈ（登録商標）、超音波）など近距離無線を利用して行われてもよい。また、施設内又はスタジアム内のどの基地局に撮影映像データが届いたかという情報が用いられてもよい。
　（変形例１５）
　当該システムはスマートフォン等のモバイル端末上で動作するアプリケーションとして提供されてもよい。
　上記システムへのログインには、各種ＳＮＳ等のアカウントが用いられてもよい。なお、アプリ専用のアカウント、又は機能が制限されたゲストアカウントが用いられてもよい。このようにアカウントが用いられることで、好みの映像又は好みのアカウント等を評価することができる。また、撮影中又は視聴中の映像データに類似した映像データ、撮影中又は視聴中の映像データの視点に類似した視点の映像データなどに優先的に帯域を割り振ることで、これらの映像データの解像度を高めることができる。これにより、これらの視点からの三次元形状の復元をより精度よく行うことができる。
　また、ユーザは、当該アプリケーションで、好みの画像映像を選択し、相手方をフォローすることで、選択した画像を他のユーザよりも優先して見たり、相手方の承認などを条件にテキストチャット等でつながりをもつことができる。このように、新たなコミュニティの生成が可能である。
　このようにユーザ同士がコミュニティ内でつながることにより、撮影自体、また撮影した画像の共有などが活発化し、より精度の高い三次元形状の復元を促すことができる。
　また、コミュニティ内のつながりの設定に応じて、ユーザは、他人が撮影した画像又は映像を編集したり、他人の画像と自分の画像とをコラージュして新たな画像又は映像を作成したりできる。これにより、新たな画像又は映像を当該コミュニティ内の人のみでシェアするなど、新たな映像作品のシェアが可能になる。また、この編集においてＣＧのキャラクタを挿入するなどにより、拡張現実（Ａｕｇｍｅｎｔｅｄ　Ｒｅａｌｉｔｙ）のゲーム等にも映像作品を利用できる。
　また、当該システムによると三次元モデルデータが逐次出力可能になるため、ゴールシーンなどの特徴的なシーンでの三次元モデルデータに基づき、施設が有する３Ｄプリンタなどが立体オブジェクトを出力することができる。これにより、試合後に、その試合中のシーンに基づくオブジェクトをキーホルダーのようなお土産として売ったり、参加ユーザに配布することも可能である。もちろん通常の写真として、もっとも良い視点からの画像をプリントすることも可能である。
　（変形例１６）
　上記システムを用いて、例えば、警察の車載カメラ、及び警察官のウェアラブルカメラの映像などから、地域全体の大雑把な状態を、当該システムに接続されたセンターで管理することができる。
　一般のパトロールの時は、例えば数分おきで静止画の送受信が行なわれる。また、センターは、過去の犯罪データ等を用いて分析した結果に基づいた犯罪マップに基づいて犯罪発生の可能性が高い地域を特定する、もしくはこのように特定された犯罪発生確率に関連する地域データを保持している。特定された犯罪発生確率の高い地域では、画像の送受信の頻度を上げたり、画像を動画に変更したりしてもよい。また、事件発生時は、動画、又はＳｆＭ等を用いた三次元再構成データが用いられてもよい。また、センターもしくは各端末が、同時にデプスセンサ又はサーモセンサなど他のセンサの情報を用いて画像又は仮想空間を補正することで、警察官は、より正確に状況を把握できる。
　また、センターは、三次元再構成データを用いることで、複数の端末にそのオブジェクトの情報をフィードバックできる。これにより、各端末を持つ個々人がオブジェクトをトラッキングできる。
　また、最近では、建造物或いは環境の調査、又はスポーツなどの臨場感ある撮影等の目的で、クワッドコプター、ドローンなどの飛行可能な装置による空中からの撮影が行なわれる。このような自律移動装置による撮影は、画像がブレるということが問題になりやすいが、ＳｆＭは位置及び傾きによりそのブレを補正しながら三次元化を行なうことが可能である。これにより、画質の向上、及び空間の復元精度の向上を実現できる。
　また、車外を撮影する車載カメラの設置が、国によっては義務付けられている。このような車載カメラにおいても、複数の画像からモデル化された三次元データを用いることで、行き先の方向の天気及び路面の状態、並びに渋滞度合い等をより精度よく把握できる。
　（変形例１７）
　上記システムは、例えば、複数のカメラを利用して建物又は設備の測距又はモデリングを行うシステムにも適用できる。
　ここで、例えば、１台のドローンを用いて建物を上空から撮影し、建物の測距又はモデリングを行う場合には、測距中にカメラに動物体が写りこむことで測距の精度が低下するという課題がある。また、動物体の測距及びモデリングを行えないという課題がある。
　一方で、上述したように複数のカメラ（固定カメラ、スマートフォン、ウェアラブルカメラ及びドローン等）を用いることで、動物体の有無にかかわらず安定した精度で建物の測距及びモデリングを実現できる。また、動物体の測距及びモデリングを実現できる。
　具体的には、例えば、建築現場において作業員のヘルメット等にカメラが取り付けられる。これにより、作業員の作業に並行して建物の測距を行うことができる。また、作業の効率化及びミス防止にも用いることができる。また、作業員に装着されたカメラで撮影された映像を用いて建物をモデリングできる。さらに、遠隔地にいる管理者が、モデリングされた建物を見ることで進捗具合を確認できる。
　また、当該システムは、工場又は発電所の機械等、停止できない設備の点検に使用できる。また、当該システムは、橋或いはダムの開閉、又は、遊園地の乗り物の動作等に異常がないかを点検する場合に使用できる。
　また、当該システムにより、道路の渋滞具合又は交通量を監視することで、各時間帯の道路の渋滞具合又は交通量を示す地図を生成することができる。
　（実施の形態４）
　上記各実施の形態で示した画像処理方法の構成を実現するためのプログラムを記憶メディアに記録することにより、上記各実施の形態で示した処理を独立したコンピュータシステムにおいて簡単に実施することが可能となる。記憶メディアは、磁気ディスク、光ディスク、光磁気ディスク、ＩＣカード、半導体メモリ等、プログラムを記録できるものであればよい。
　さらにここで、上記各実施の形態で示した画像処理方法の応用例とそれを用いたシステムを説明する。当該システムは、画像処理方法を用いた装置を有することを特徴とする。システムにおける他の構成について、場合に応じて適切に変更することができる。
　図１０は、コンテンツ配信サービスを実現するコンテンツ供給システムｅｘ２００の全体構成を示す図である。通信サービスの提供エリアを所望の大きさに分割し、各セル内にそれぞれ固定無線局である基地局ｅｘ２０６、ｅｘ２０７、ｅｘ２０８、ｅｘ２０９、ｅｘ２１０が設置されている。
　このコンテンツ供給システムｅｘ２００は、インターネットｅｘ２０１にインターネットサービスプロバイダｅｘ２０２および通信網ｅｘ２０４、および基地局ｅｘ２０６からｅｘ２１０を介して、コンピュータｅｘ２１１、ＰＤＡ（Ｐｅｒｓｏｎａｌ　Ｄｉｇｉｔａｌ　Ａｓｓｉｓｔａｎｔ）ｅｘ２１２、カメラｅｘ２１３、スマートフォンｅｘ２１４、ゲーム機ｅｘ２１５などの各機器が接続される。
　しかし、コンテンツ供給システムｅｘ２００は図１０のような構成に限定されず、いずれかの要素を組合せて接続するようにしてもよい。また、固定無線局である基地局ｅｘ２０６からｅｘ２１０を介さずに、各機器が電話線、ケーブルテレビ、又は光通信などの通信網ｅｘ２０４に直接接続されてもよい。また、各機器が近距離無線等を介して直接相互に接続されていてもよい。
　カメラｅｘ２１３はデジタルビデオカメラ等の動画撮影が可能な機器であり、カメラｅｘ２１６はデジタルカメラ等の静止画撮影、動画撮影が可能な機器である。また、スマートフォンｅｘ２１４は、ＧＳＭ（登録商標）（Ｇｌｏｂａｌ　Ｓｙｓｔｅｍ　ｆｏｒ　Ｍｏｂｉｌｅ　Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ）方式、ＣＤＭＡ（Ｃｏｄｅ　Ｄｉｖｉｓｉｏｎ　Ｍｕｌｔｉｐｌｅ　Ａｃｃｅｓｓ）方式、Ｗ－ＣＤＭＡ（Ｗｉｄｅｂａｎｄ－Ｃｏｄｅ　Ｄｉｖｉｓｉｏｎ　Ｍｕｌｔｉｐｌｅ　Ａｃｃｅｓｓ）方式、若しくはＬＴＥ（Ｌｏｎｇ　Ｔｅｒｍ　Ｅｖｏｌｕｔｉｏｎ）方式、ＨＳＰＡ（Ｈｉｇｈ　Ｓｐｅｅｄ　Ｐａｃｋｅｔ　Ａｃｃｅｓｓ）、又は高周波帯域を利用した通信方式などに対応するスマートフォン機、またはＰＨＳ（Ｐｅｒｓｏｎａｌ　Ｈａｎｄｙｐｈｏｎｅ　Ｓｙｓｔｅｍ）等であり、いずれでも構わない。
　コンテンツ供給システムｅｘ２００では、カメラｅｘ２１３等が基地局ｅｘ２０９、通信網ｅｘ２０４を通じてストリーミングサーバｅｘ２０３に接続されることで、ライブ配信等が可能になる。ライブ配信では、ユーザがカメラｅｘ２１３を用いて撮影するコンテンツ（例えば、音楽ライブの映像等）に対して符号化処理を行い、ストリーミングサーバｅｘ２０３に送信する。一方、ストリーミングサーバｅｘ２０３は要求のあったクライアントに対して送信されたコンテンツデータをストリーム配信する。クライアントとしては、上記符号化処理されたデータを復号化することが可能な、コンピュータｅｘ２１１、ＰＤＡｅｘ２１２、カメラｅｘ２１３、スマートフォンｅｘ２１４、ゲーム機ｅｘ２１５等がある。配信されたデータを受信した各機器では、受信したデータを復号化処理して再生する。
　なお、撮影したデータの符号化処理はカメラｅｘ２１３で行っても、データの送信処理をするストリーミングサーバｅｘ２０３で行ってもよいし、互いに分担して行ってもよい。同様に配信されたデータの復号化処理はクライアントで行っても、ストリーミングサーバｅｘ２０３で行ってもよいし、互いに分担して行ってもよい。また、カメラｅｘ２１３に限らず、カメラｅｘ２１６で撮影した静止画像および／または動画像データを、コンピュータｅｘ２１１を介してストリーミングサーバｅｘ２０３に送信してもよい。この場合の符号化処理はカメラｅｘ２１６、コンピュータｅｘ２１１、ストリーミングサーバｅｘ２０３のいずれで行ってもよいし、互いに分担して行ってもよい。さらに復号された画像の表示についても、システムにつながった複数の機器が連動して同じ画像を表示してもよいし、大きな表示部を有する装置で全体の画像を表示し、スマートフォンｅｘ２１４等では画像の一部の領域を拡大して表示してもよい。
　また、これら符号化・復号化処理は、一般的にコンピュータｅｘ２１１や各機器が有するＬＳＩｅｘ５００において処理する。ＬＳＩｅｘ５００は、ワンチップであっても複数チップからなる構成であってもよい。なお、動画像符号化・復号化用のソフトウェアをコンピュータｅｘ２１１等で読み取り可能な何らかの記録メディア（ＣＤ－ＲＯＭ、フレキシブルディスク、ハードディスクなど）に組み込み、そのソフトウェアを用いて符号化・復号化処理を行ってもよい。さらに、スマートフォンｅｘ２１４がカメラ付きである場合には、そのカメラで取得した動画データを送信してもよい。このときの動画データはスマートフォンｅｘ２１４が有するＬＳＩｅｘ５００で符号化処理されたデータである。
　また、ストリーミングサーバｅｘ２０３は複数のサーバや複数のコンピュータであって、データを分散して処理したり記録したり配信するものであってもよい。
　以上のようにして、コンテンツ供給システムｅｘ２００では、符号化されたデータをクライアントが受信して再生することができる。このようにコンテンツ供給システムｅｘ２００では、ユーザが送信した情報をリアルタイムでクライアントが受信して復号化し、再生することができ、特別な権利や設備を有さないユーザでも個人放送を実現できる。
　なお、コンテンツ供給システムｅｘ２００の例に限らず、図１１に示すように、デジタル放送用システムｅｘ３００にも、上記各実施の形態を適用してもよい。具体的には、放送局ｅｘ３０１では映像データに音楽データなどが多重化された多重化データが電波を介して通信または衛星ｅｘ３０２に伝送される。この映像データは上記各実施の形態で説明した動画像符号化方法により符号化されたデータである。これを受けた放送衛星ｅｘ３０２は、放送用の電波を発信し、この電波を衛星放送の受信が可能な家庭のアンテナｅｘ３０４が受信する。受信した多重化データを、テレビ（受信機）ｅｘ４００またはセットトップボックス（ＳＴＢ）ｅｘ３１７等の装置が復号化して再生する。
　また、ＤＶＤ、ＢＤ等の記録メディアｅｘ３１５、もしくはＳＤなどのメモリｅｘ３１６に記録した多重化データを読み取り復号化する、または記録メディアｅｘ３１５もしくはメモリｅｘ３１６に映像信号を符号化し、さらに場合によっては音楽信号と多重化して書き込むリーダ／レコーダｅｘ３１８にも上記各実施の形態で示した動画像復号化装置または動画像符号化装置を実装することが可能である。この場合、再生された映像信号はモニタｅｘ３１９に表示され、多重化データが記録された記録メディアｅｘ３１５、又はメモリｅｘ３１６により他の装置やシステムにおいて映像信号を再生することができる。また、ケーブルテレビ用のケーブルｅｘ３０３または衛星／地上波放送のアンテナｅｘ３０４に接続されたセットトップボックスｅｘ３１７内に動画像復号化装置を実装し、これをテレビのモニタｅｘ３１９で表示してもよい。このときセットトップボックスではなく、テレビ内に動画像復号化装置を組み込んでもよい。
　図１２は、スマートフォンｅｘ２１４を示す図である。また、図１３は、スマートフォンｅｘ２１４の構成例を示す図である。スマートフォンｅｘ２１４は、基地局ｅｘ２１０との間で電波を送受信するためのアンテナｅｘ４５０、映像、静止画を撮ることが可能なカメラ部ｅｘ４６５、カメラ部ｅｘ４６５で撮像した映像、アンテナｅｘ４５０で受信した映像等が復号化されたデータを表示する液晶ディスプレイ等の表示部ｅｘ４５８を備える。スマートフォンｅｘ２１４は、さらに、タッチパネル等である操作部ｅｘ４６６、音声を出力するためのスピーカ等である音声出力部ｅｘ４５７、音声を入力するためのマイク等である音声入力部ｅｘ４５６、撮影した映像、静止画、録音した音声、または受信した映像、静止画、メール等の符号化されたデータもしくは復号化されたデータを保存可能なメモリ部ｅｘ４６７、又は図１１に例示されたメモリｅｘ３１６、もしくはユーザを特定し、ネットワークをはじめ各種データへのアクセスの認証をするためのＳＩＭｅｘ４６８とのインタフェース部であるスロット部ｅｘ４６４を備える。
　スマートフォンｅｘ２１４は、表示部ｅｘ４５８及び操作部ｅｘ４６６等を統括的に制御する主制御部ｅｘ４６０に対して、電源回路部ｅｘ４６１、操作入力制御部ｅｘ４６２、映像信号処理部ｅｘ４５５、カメラインタフェース部ｅｘ４６３、ＬＣＤ（Ｌｉｑｕｉｄ　Ｃｒｙｓｔａｌ　Ｄｉｓｐｌａｙ）制御部ｅｘ４５９、変調／復調部ｅｘ４５２、多重／分離部ｅｘ４５３、音声信号処理部ｅｘ４５４、スロット部ｅｘ４６４、メモリ部ｅｘ４６７がバスｅｘ４７０を介して互いに接続されている。
　電源回路部ｅｘ４６１は、ユーザの操作により終話及び電源キーがオン状態にされると、バッテリパックから各部に対して電力を供給することによりスマートフォンｅｘ２１４を動作可能な状態に起動する。
　スマートフォンｅｘ２１４は、ＣＰＵ、ＲＯＭ、ＲＡＭ等を有する主制御部ｅｘ４６０の制御に基づいて、音声通話モード時に音声入力部ｅｘ４５６で収音した音声信号を音声信号処理部ｅｘ４５４でデジタル音声信号に変換し、これを変調／復調部ｅｘ４５２でスペクトラム拡散処理し、送信／受信部ｅｘ４５１でデジタルアナログ変換処理および周波数変換処理を施した後にアンテナｅｘ４５０を介して送信する。またスマートフォンｅｘ２１４は、音声通話モード時にアンテナｅｘ４５０を介して受信した受信データを増幅して周波数変換処理およびアナログデジタル変換処理を施し、変調／復調部ｅｘ４５２でスペクトラム逆拡散処理し、音声信号処理部ｅｘ４５４でアナログ音声信号に変換した後、これを音声出力部ｅｘ４５７から出力する。
　さらにデータ通信モード時に電子メールを送信する場合、本体部の操作部ｅｘ４６６等の操作によって入力された電子メールのテキストデータは操作入力制御部ｅｘ４６２を介して主制御部ｅｘ４６０に送出される。主制御部ｅｘ４６０は、テキストデータを変調／復調部ｅｘ４５２でスペクトラム拡散処理をし、送信／受信部ｅｘ４５１でデジタルアナログ変換処理および周波数変換処理を施した後にアンテナｅｘ４５０を介して基地局ｅｘ２１０へ送信する。電子メールを受信する場合は、受信したデータに対してこのほぼ逆の処理が行われ、表示部ｅｘ４５８に出力される。
　データ通信モード時に映像、静止画、または映像と音声を送信する場合、映像信号処理部ｅｘ４５５は、カメラ部ｅｘ４６５から供給された映像信号を上記各実施の形態で示した動画像符号化方法によって圧縮符号化し、符号化された映像データを多重／分離部ｅｘ４５３に送出する。また、音声信号処理部ｅｘ４５４は、映像、静止画等をカメラ部ｅｘ４６５で撮像中に音声入力部ｅｘ４５６で収音した音声信号を符号化し、符号化された音声データを多重／分離部ｅｘ４５３に送出する。
　多重／分離部ｅｘ４５３は、映像信号処理部ｅｘ４５５から供給された符号化された映像データと音声信号処理部ｅｘ４５４から供給された符号化された音声データを所定の方式で多重化し、その結果得られる多重化データを変調／復調部（変調／復調回路部）ｅｘ４５２でスペクトラム拡散処理をし、送信／受信部ｅｘ４５１でデジタルアナログ変換処理及び周波数変換処理を施した後にアンテナｅｘ４５０を介して送信する。
　データ通信モード時にホームページ等にリンクされた動画像ファイルのデータを受信する場合、または映像およびもしくは音声が添付された電子メールを受信する場合、アンテナｅｘ４５０を介して受信された多重化データを復号化するために、多重／分離部ｅｘ４５３は、多重化データを分離することにより映像データのビットストリームと音声データのビットストリームとに分け、同期バスｅｘ４７０を介して符号化された映像データを映像信号処理部ｅｘ４５５に供給するとともに、符号化された音声データを音声信号処理部ｅｘ４５４に供給する。映像信号処理部ｅｘ４５５は、上記各実施の形態で示した動画像符号化方法に対応した動画像復号化方法によって復号化することにより映像信号を復号し、ＬＣＤ制御部ｅｘ４５９を介して表示部ｅｘ４５８から、例えばホームページにリンクされた動画像ファイルに含まれる映像、静止画が表示される。また音声信号処理部ｅｘ４５４は、音声信号を復号し、音声出力部ｅｘ４５７から音声が出力される。
　また、上記スマートフォンｅｘ２１４等の端末は、テレビｅｘ４００と同様に、符号化器・復号化器を両方持つ送受信型端末の他に、符号化器のみの送信端末、復号化器のみの受信端末という３通りの実装形式が考えられる。さらに、デジタル放送用システムｅｘ３００において、映像データに音楽データなどが多重化された多重化データを受信、送信するとして説明したが、音声データ以外に映像に関連する文字データなどが多重化されたデータであってもよいし、多重化データではなく映像データ自体であってもよい。
　また、本発明はかかる上記実施の形態に限定されるものではなく、本発明の範囲を逸脱することなく種々の変形または修正が可能である。
　本開示は、自由視点映像を配信する映像配信システム等に適用できる。
　１００、１００Ａ、１００Ｂ　映像配信システム
　１０１　撮像装置
　１０２、１０２Ｂ　映像処理装置
　１０３、１０３Ａ、１０３Ｂ　視聴装置
　１１１　カメラ
　１１２　センサ
　１２１　モデル生成部
　１２２　解析部
　１２３　カメラワーク生成部
　１２４　レンダリング部
　１２５、１３１　表示部
　１２６　配信部
　１２７　評価情報受信部
　１３２　評価部
　１５１　多視点映像
　１５２　三次元モデル
　１５３　対象シーン
　１５４　カメラワーク
　１５５　カメラワーク確認用映像
　１５６　自由視点映像
　２０１　カメラワーク表示欄
　２０２　カメラ情報表示欄
　２０３　自由視点映像表示欄
　２０４　スライドバー
　２０５　評価表示欄
　２０６　アップロードボタン

Claims (10)

  1. 　同一シーンを異なる視点から撮影した多視点映像から前記シーンの三次元モデルを生成するモデル生成ステップと、
    　前記シーンのうち、前記三次元モデルを仮想カメラから見た自由視点映像を生成する対象である対象シーンを決定する対象シーン決定ステップと、
    　前記自由視点映像における前記仮想カメラの位置及び姿勢の時間変化を示すカメラワークを生成するカメラワーク生成ステップとを含む
    　カメラワーク生成方法。
  2. 　前記対象シーン決定ステップでは、前記多視点映像又は前記三次元モデルを用いて、前記対象シーンを決定する
    　請求項１記載のカメラワーク生成方法。
  3. 　前記対象シーン決定ステップでは、前記シーンの音声を用いて、前記対象シーンを決定する
    　請求項１記載のカメラワーク生成方法。
  4. 　前記カメラワーク生成ステップでは、前記対象シーンに対応付けられている予め定められた種別の物体が前記自由視点映像に含まれるように前記仮想カメラの位置及び姿勢を決定する
    　請求項１～３のいずれか１項に記載のカメラワーク生成方法。
  5. 　前記カメラワーク生成ステップでは、前記三次元モデルに含まれる複数の部分の精度に基づき、前記仮想カメラの位置及び姿勢を決定する
    　請求項１～３のいずれか１項に記載のカメラワーク生成方法。
  6. 　前記カメラワーク生成方法は、さらに、
    　前記カメラワークを表示するカメラワーク表示ステップを含む
    　請求項１～５のいずれか１項に記載のカメラワーク生成方法。
  7. 　前記カメラワーク生成方法は、さらに、
    　前記カメラワークを用いて、前記三次元モデル又は前記多視点映像から前記自由視点映像を生成する映像生成ステップを含む
    　請求項１～６のいずれか１項に記載のカメラワーク生成方法。
  8. 　前記映像生成ステップでは、前記自由視点映像にブレを追加する
    　請求項７記載のカメラワーク生成方法。
  9. 　前記カメラワーク生成方法は、さらに、
    　前記カメラワークに対するユーザの評価を取得する取得ステップを含み、
    　前記カメラワーク生成ステップでは、前記評価に基づき、カメラワークを生成する
    　請求項１～８のいずれか１項に記載のカメラワーク生成方法。
  10. 　同一シーンを異なる視点から撮影した多視点映像から前記シーンの三次元モデルを生成するモデル生成部と、
    　前記シーンのうち、前記三次元モデルを仮想カメラから見た自由視点映像を生成する対象である対象シーンを決定する解析部と、
    　前記自由視点映像における前記仮想カメラの位置及び姿勢の時間変化を示すカメラワークを生成するカメラワーク生成部とを備える
    　映像処理装置。
PCT/JP2017/027833 2016-08-10 2017-08-01 カメラワーク生成方法及び映像処理装置 WO2018030206A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2018532951A JP7054677B2 (ja) 2016-08-10 2017-08-01 カメラワーク生成方法及び映像処理装置
EP17839279.1A EP3499897B1 (en) 2016-08-10 2017-08-01 Camerawork generating method and video processing device
CN201780047885.2A CN109565605B (zh) 2016-08-10 2017-08-01 拍摄技术生成方法以及影像处理装置
US16/270,931 US10778951B2 (en) 2016-08-10 2019-02-08 Camerawork generating method and video processing device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201662372947P 2016-08-10 2016-08-10
US62/372947 2016-08-10

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US16/270,931 Continuation US10778951B2 (en) 2016-08-10 2019-02-08 Camerawork generating method and video processing device

Publications (1)

Publication Number Publication Date
WO2018030206A1 true WO2018030206A1 (ja) 2018-02-15

Family

ID=61162436

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/027833 WO2018030206A1 (ja) 2016-08-10 2017-08-01 カメラワーク生成方法及び映像処理装置

Country Status (5)

Country Link
US (1) US10778951B2 (ja)
EP (1) EP3499897B1 (ja)
JP (1) JP7054677B2 (ja)
CN (1) CN109565605B (ja)
WO (1) WO2018030206A1 (ja)

Cited By (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019096996A (ja) * 2017-11-21 2019-06-20 キヤノン株式会社 情報処理装置、情報処理方法、及びプログラム
JP2020009076A (ja) * 2018-07-05 2020-01-16 凸版印刷株式会社 物体配置支援システム、物体配置支援方法及びプログラム
WO2020017354A1 (ja) * 2018-07-20 2020-01-23 キヤノン株式会社 情報処理装置、情報処理方法、及びプログラム
JP2020024619A (ja) * 2018-08-08 2020-02-13 キヤノン株式会社 情報処理装置、情報処理方法、及びプログラム
JP2020080101A (ja) * 2018-11-14 2020-05-28 キヤノン株式会社 情報処理装置、それを含むシステム、情報処理方法、およびプログラム
WO2020137584A1 (ja) * 2018-12-25 2020-07-02 ソニー株式会社 映像再生装置、再生方法、およびプログラム
JP2020108074A (ja) * 2018-12-28 2020-07-09 株式会社バンダイナムコエンターテインメント サーバシステム、プログラムおよび動画配信システム
WO2020213426A1 (ja) * 2019-04-18 2020-10-22 ソニー株式会社 画像処理装置、画像処理方法、及び、プログラム
JPWO2019193696A1 (ja) * 2018-04-04 2021-01-07 株式会社ソニー・インタラクティブエンタテインメント 基準画像生成装置、表示画像生成装置、基準画像生成方法、および表示画像生成方法
JP2021007213A (ja) * 2019-06-27 2021-01-21 株式会社ドワンゴ 制御サーバ、配信システム、制御方法及びプログラム
KR20210083745A (ko) * 2019-12-27 2021-07-07 주식회사 맥스트 점군 정보 생성 장치 및 방법
WO2021152758A1 (ja) * 2020-01-30 2021-08-05 Ａｍａｔｅｌｕｓ株式会社 映像配信装置、映像配信システム、映像配信方法、及びプログラム
JP6942872B1 (ja) * 2020-10-22 2021-09-29 ヤフー株式会社 表示プログラム、端末装置および表示方法
JP2021152724A (ja) * 2020-03-24 2021-09-30 キヤノン株式会社 情報処理装置、情報処理方法、およびプログラム
WO2021199715A1 (ja) * 2020-03-30 2021-10-07 ソニーグループ株式会社 情報処理装置、情報処理方法、プログラム
WO2021199735A1 (ja) 2020-03-30 2021-10-07 ソニーグループ株式会社 情報処理装置、画像処理システム、情報処理方法
WO2021200503A1 (ja) * 2020-03-31 2021-10-07 ソニーグループ株式会社 学習システム及びデータ収集装置
JP6959422B1 (ja) * 2020-10-22 2021-11-02 ヤフー株式会社 送信プログラム、端末装置および送信方法
JPWO2021220894A1 (ja) * 2020-04-30 2021-11-04
JP2021530817A (ja) * 2018-07-24 2021-11-11 マジック リープ, インコーポレイテッドMagic Leap, Inc. 画像ディスプレイデバイスの位置特定マップを決定および／または評価するための方法および装置
WO2022014369A1 (ja) * 2020-07-17 2022-01-20 ソニーグループ株式会社 画像処理装置、画像処理方法、及びプログラム
WO2022070603A1 (ja) * 2020-09-30 2022-04-07 富士フイルム株式会社 情報処理装置、情報処理方法、及びプログラム
WO2022181379A1 (ja) * 2021-02-26 2022-09-01 富士フイルム株式会社 画像処理装置、画像処理方法、及びプログラム
DE112021002080T5 (de) 2020-03-30 2023-01-19 Sony Group Corporation Informationsverarbeitungsvorrichtung, informationsverarbeitungsverfahren und programm
WO2023100704A1 (ja) 2021-12-01 2023-06-08 ソニーグループ株式会社 画像制作システム、画像制作方法、プログラム
WO2023100703A1 (ja) 2021-12-01 2023-06-08 ソニーグループ株式会社 画像制作システム、画像制作方法、プログラム
WO2023127430A1 (ja) 2021-12-28 2023-07-06 ソニーグループ株式会社 情報処理装置、画像処理方法、プログラム
WO2024058062A1 (ja) * 2022-09-15 2024-03-21 株式会社Ｊｖｃケンウッド 画像生成装置、画像生成方法およびプログラム
JP7506493B2 (ja) 2020-03-16 2024-06-26 キヤノン株式会社 画像処理装置、画像処理方法、およびプログラム
JP7514346B2 (ja) 2019-02-15 2024-07-10 キヤノン株式会社 画像処理装置及び方法、プログラム

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6894687B2 (ja) * 2016-10-11 2021-06-30 キヤノン株式会社 画像処理システム、画像処理装置、制御方法、及び、プログラム
JP7051457B2 (ja) * 2018-01-17 2022-04-11 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
JP7223978B2 (ja) * 2018-05-23 2023-02-17 パナソニックＩｐマネジメント株式会社 校正装置および校正方法
US11451757B2 (en) * 2018-09-28 2022-09-20 Intel Corporation Automated generation of camera paths
US10818077B2 (en) * 2018-12-14 2020-10-27 Canon Kabushiki Kaisha Method, system and apparatus for controlling a virtual camera
US11025989B2 (en) * 2019-02-13 2021-06-01 Live Inc. Live event video stream service
US11482005B2 (en) * 2019-05-28 2022-10-25 Apple Inc. Techniques for secure video frame management
US20220252421A1 (en) * 2019-07-09 2022-08-11 Honda Motor Co., Ltd. Vehicle control device, vehicle control method, and storage medium
CN110430416B (zh) * 2019-07-17 2020-12-08 清华大学 自由视点图像生成方法和装置
CN110418161A (zh) * 2019-08-02 2019-11-05 广州虎牙科技有限公司 视频审核方法及装置、电子设备及可读存储介质
GB2586838B (en) 2019-09-05 2022-07-27 Sony Interactive Entertainment Inc Free-viewpoint method and system
CN111223188A (zh) * 2019-10-31 2020-06-02 中车青岛四方机车车辆股份有限公司 一种生产工序的展示方法和装置
CN110798673B (zh) * 2019-11-13 2021-03-19 南京大学 基于深度卷积神经网络的自由视点视频生成及交互方法
JP7542940B2 (ja) * 2019-11-25 2024-09-02 キヤノン株式会社 情報処理装置、情報処理方法、映像処理システム、およびプログラム
US20220414991A1 (en) * 2019-12-23 2022-12-29 Sony Group Corporation Video generation apparatus, method for generating video, and program of generating video
CN111556248B (zh) * 2020-05-09 2021-09-03 Tcl移动通信科技（宁波）有限公司 拍摄方法、装置、存储介质及移动终端
US20230186628A1 (en) * 2020-06-12 2023-06-15 Intel Corporation Systems and methods for virtual camera highlight creation
US11460867B2 (en) * 2020-06-30 2022-10-04 Sony Group Corporation System of multi-swarm drone capturing
JP7569603B2 (ja) * 2020-07-29 2024-10-18 エイベックス・エンタテインメント株式会社 アニメーション制作システム
WO2022141369A1 (en) * 2020-12-31 2022-07-07 SZ DJI Technology Co., Ltd. Systems and methods for supporting automatic video capture and video editing
US11475766B1 (en) * 2021-04-16 2022-10-18 Hayden Ai Technologies, Inc. Systems and methods for user reporting of traffic violations using a mobile application
JP2022182477A (ja) 2021-05-28 2022-12-08 キヤノン株式会社 情報処理装置、システム、情報処理方法、及びプログラム
JP7406528B2 (ja) * 2021-07-28 2023-12-27 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
US20230237730A1 (en) * 2022-01-21 2023-07-27 Meta Platforms Technologies, Llc Memory structures to support changing view direction
KR102608117B1 (ko) * 2022-06-16 2023-11-30 주식회사 엘지유플러스 이미지 보정 방법 및 이미지 보정 시스템

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002165200A (ja) 2000-11-27 2002-06-07 Nippon Telegr & Teleph Corp <Ntt> 遠隔観戦サービスシステム

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5729471A (en) * 1995-03-31 1998-03-17 The Regents Of The University Of California Machine dynamic selection of one video camera/image of a scene from multiple video cameras/images of the scene in accordance with a particular perspective on the scene, an object in the scene, or an event in the scene
US9571815B2 (en) * 2008-12-18 2017-02-14 Lg Electronics Inc. Method for 3D image signal processing and image display for implementing the same
US9648346B2 (en) * 2009-06-25 2017-05-09 Microsoft Technology Licensing, Llc Multi-view video compression and streaming based on viewpoints of remote viewer
CN102592275B (zh) * 2011-12-16 2013-12-25 天津大学 虚拟视点绘制方法
US9235920B2 (en) * 2011-12-22 2016-01-12 Telefonaktiebolaget L M Ericsson (Publ) Method and processor for 3D scene representation
EP2839436B1 (en) * 2012-04-20 2019-08-07 Affirmation,LLC Systems and methods for real-time conversion of video into three-dimensions
US9357195B2 (en) * 2012-08-16 2016-05-31 Qualcomm Incorporated Inter-view predicted motion vector for 3D video
US20140071235A1 (en) * 2012-09-13 2014-03-13 Qualcomm Incorporated Inter-view motion prediction for 3d video
BR112015006178B1 (pt) * 2012-09-21 2022-11-16 Nokia Technologies Oy Métodos, aparelhos e meio não transitório legível por computador para codificação e decodificação de vídeo
US9357214B2 (en) * 2012-12-07 2016-05-31 Qualcomm Incorporated Advanced merge/skip mode and advanced motion vector prediction (AMVP) mode for 3D video
US9426451B2 (en) * 2013-03-15 2016-08-23 Digimarc Corporation Cooperative photography
US9609347B2 (en) * 2013-04-04 2017-03-28 Qualcomm Incorporated Advanced merge mode for three-dimensional (3D) video coding
US10726593B2 (en) * 2015-09-22 2020-07-28 Fyusion, Inc. Artificially rendering images using viewpoint interpolation and extrapolation
US10750161B2 (en) * 2015-07-15 2020-08-18 Fyusion, Inc. Multi-view interactive digital media representation lock screen
US10070118B2 (en) * 2015-09-17 2018-09-04 Lumii, Inc. Multi-view displays and associated systems and methods
JP6754992B2 (ja) * 2016-04-22 2020-09-16 パナソニックＩｐマネジメント株式会社 三次元再構成方法
CN114627664A (zh) * 2016-08-26 2022-06-14 松下电器（美国）知识产权公司 三维信息处理方法以及三维信息处理装置
CN110114803B (zh) * 2016-12-28 2023-06-27 松下电器（美国）知识产权公司 三维模型分发方法、三维模型接收方法、三维模型分发装置以及三维模型接收装置
US20180192033A1 (en) * 2016-12-30 2018-07-05 Google Inc. Multi-view scene flow stitching
US10200677B2 (en) * 2017-05-22 2019-02-05 Fyusion, Inc. Inertial measurement unit progress estimation

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002165200A (ja) 2000-11-27 2002-06-07 Nippon Telegr & Teleph Corp <Ntt> 遠隔観戦サービスシステム

Non-Patent Citations (8)

* Cited by examiner, † Cited by third party
Title
FAN CHEN ET AL.: "An Autonomous Framework to Produce and Distribute Personalized Team-Sport Video Summaries: A Basketball Case Study", IEEE TRANSACTIONS ON MULTIMEDIA, vol. 13, no. 6, 30 August 2011 (2011-08-30), pages 1381 - 1394, XP055569811, ISSN: 1520-9210 *
HANSUNG KIM ET AL.: "Cinematized Reality: Cinematographic 3D Video System for Daily Life Using Multiple Outer/Inner Cameras", PROCEEDINGS OF THE 2006 CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION WORKSHOP (CVPRW'06), 17 June 2006 (2006-06-17), pages 168, XP010922684, ISBN: 0-7695-2646-2 *
HANSUNG KIM ET AL.: "VITUAL CAMERA CONTROL SYSTEM FOR CINEMATOGRAPHIC 3D VIDEO RENDERING", PROCEEDINGS OF 3DTV CONFERENCE 2007, 12 November 2007 (2007-11-12), pages 1 - 4, XP055569815, ISBN: 978-1-4244-0721-7 *
HIDEHIRO OHKI ET AL.: "Sport Data Animating of Player Position Data Using Introduction, Development and Conclusion Cameraworks", THE PAPERS OF JOINT TECHNICAL MEETING ON INFORMATION PROCESSING AND INFORMATION ORIENTED INDUSTRIAL SYSTEM, IEE JAPAN, 12 August 2007 (2007-08-12), pages 39 - 43, XP009513297 *
ITARU KITAHARA ET AL.: "Automating Viewpoint Decision Method for Generating a 3D Soccer Video", TRANSACTIONS OF THE VIRTUAL REALITY SOCIETY OF JAPAN, vol. 12, no. 2, 30 June 2007 (2007-06-30), pages 171 - 179, XP055569819, ISSN: 1344-011X *
ITARU KITAHARA ET AL.: "Cinematized Reality: Cinematography of Daily Life Using 3D Free- Viewpoint Video", IEICE TECHNICAL REPORT PRMU, vol. 106, no. 99, 8 June 2006 (2006-06-08), pages 31 - 36, XP009512457, ISSN: 0913-5685 *
SAKAMOTO, R. ET AL.: "Applicability of Camera Works to Free Viewpoint Videos with Annotation and Planning", IEICE TRANSACTIONS ON INFORMATIONS AND SYSTEMS, vol. E90-D, no. 10, 1 October 2007 (2007-10-01), pages 1637 - 1648, XP009512311, ISSN: 0916-8532, Retrieved from the Internet <URL:https:// search.ieice.org/bin/summary.php?id=e90-d _ 10 - 1637>, <DOI: 10.1093/ietisy/e90-d.10.1637> [retrieved on 20171010], DOI: 10.1093/ietisy/e90-d.10.1637 *
See also references of EP3499897A4

Cited By (55)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019096996A (ja) * 2017-11-21 2019-06-20 キヤノン株式会社 情報処理装置、情報処理方法、及びプログラム
US11308577B2 (en) 2018-04-04 2022-04-19 Sony Interactive Entertainment Inc. Reference image generation apparatus, display image generation apparatus, reference image generation method, and display image generation method
JPWO2019193696A1 (ja) * 2018-04-04 2021-01-07 株式会社ソニー・インタラクティブエンタテインメント 基準画像生成装置、表示画像生成装置、基準画像生成方法、および表示画像生成方法
US11893705B2 (en) 2018-04-04 2024-02-06 Sony Interactive Entertainment Inc. Reference image generation apparatus, display image generation apparatus, reference image generation method, and display image generation method
JP7275484B2 (ja) 2018-07-05 2023-05-18 凸版印刷株式会社 物体配置支援システム、物体配置支援方法及びプログラム
JP2020009076A (ja) * 2018-07-05 2020-01-16 凸版印刷株式会社 物体配置支援システム、物体配置支援方法及びプログラム
US11622099B2 (en) 2018-07-20 2023-04-04 Canon Kabushiki Kaisha Information-processing apparatus, method of processing information, and program
WO2020017354A1 (ja) * 2018-07-20 2020-01-23 キヤノン株式会社 情報処理装置、情報処理方法、及びプログラム
US11687151B2 (en) 2018-07-24 2023-06-27 Magic Leap, Inc. Methods and apparatuses for determining and/or evaluating localizing maps of image display devices
US12079382B2 (en) 2018-07-24 2024-09-03 Magic Leap, Inc. Methods and apparatuses for determining and/or evaluating localizing maps of image display devices
JP7309849B2 (ja) 2018-07-24 2023-07-18 マジック リープ， インコーポレイテッド 画像ディスプレイデバイスの位置特定マップを決定および／または評価するための方法および装置
JP2021530817A (ja) * 2018-07-24 2021-11-11 マジック リープ, インコーポレイテッドMagic Leap, Inc. 画像ディスプレイデバイスの位置特定マップを決定および／または評価するための方法および装置
JP2020024619A (ja) * 2018-08-08 2020-02-13 キヤノン株式会社 情報処理装置、情報処理方法、及びプログラム
JP7301507B2 (ja) 2018-08-08 2023-07-03 キヤノン株式会社 情報処理装置、情報処理方法、及びプログラム
US11956408B2 (en) 2018-11-14 2024-04-09 Canon Kabushiki Kaisha Information processing system, information processing method, and storage medium
JP7237538B2 (ja) 2018-11-14 2023-03-13 キヤノン株式会社 情報処理装置、それを含むシステム、情報処理方法、およびプログラム
JP2020080101A (ja) * 2018-11-14 2020-05-28 キヤノン株式会社 情報処理装置、それを含むシステム、情報処理方法、およびプログラム
US11825066B2 (en) 2018-12-25 2023-11-21 Sony Corporation Video reproduction apparatus, reproduction method, and program
WO2020137584A1 (ja) * 2018-12-25 2020-07-02 ソニー株式会社 映像再生装置、再生方法、およびプログラム
JP2020108074A (ja) * 2018-12-28 2020-07-09 株式会社バンダイナムコエンターテインメント サーバシステム、プログラムおよび動画配信システム
JP7361468B2 (ja) 2018-12-28 2023-10-16 株式会社バンダイナムコエンターテインメント サーバシステム、制御方法およびプログラム
JP7514346B2 (ja) 2019-02-15 2024-07-10 キヤノン株式会社 画像処理装置及び方法、プログラム
WO2020213426A1 (ja) * 2019-04-18 2020-10-22 ソニー株式会社 画像処理装置、画像処理方法、及び、プログラム
JP7459870B2 (ja) 2019-04-18 2024-04-02 ソニーグループ株式会社 画像処理装置、画像処理方法、及び、プログラム
US11995784B2 (en) 2019-04-18 2024-05-28 Sony Group Corporation Image processing device and image processing method
JP2021007213A (ja) * 2019-06-27 2021-01-21 株式会社ドワンゴ 制御サーバ、配信システム、制御方法及びプログラム
JP7360989B2 (ja) 2019-06-27 2023-10-13 株式会社ドワンゴ 制御サーバ、端末、配信システム、制御方法、情報処理方法、及びプログラム
KR20210083745A (ko) * 2019-12-27 2021-07-07 주식회사 맥스트 점군 정보 생성 장치 및 방법
KR102399955B1 (ko) * 2019-12-27 2022-05-20 주식회사 맥스트 점군 정보 생성 장치 및 방법
JP2022075940A (ja) * 2020-01-30 2022-05-18 Ａｍａｔｅｌｕｓ株式会社 映像配信装置、映像配信システム、映像配信方法、及びプログラム
JP7365076B2 (ja) 2020-01-30 2023-10-19 Ａｍａｔｅｌｕｓ株式会社 映像配信装置、映像配信システム、映像配信方法、及びプログラム
KR20220123061A (ko) * 2020-01-30 2022-09-05 아마텔러스 인크. 영상 배신 장치, 영상 배신 시스템, 영상 배신 방법 및 프로그램
WO2021152758A1 (ja) * 2020-01-30 2021-08-05 Ａｍａｔｅｌｕｓ株式会社 映像配信装置、映像配信システム、映像配信方法、及びプログラム
KR102638162B1 (ko) 2020-01-30 2024-02-20 아마텔러스 인크. 영상 배신 장치, 영상 배신 시스템, 영상 배신 방법 및 프로그램
JP7506493B2 (ja) 2020-03-16 2024-06-26 キヤノン株式会社 画像処理装置、画像処理方法、およびプログラム
JP2021152724A (ja) * 2020-03-24 2021-09-30 キヤノン株式会社 情報処理装置、情報処理方法、およびプログラム
WO2021199735A1 (ja) 2020-03-30 2021-10-07 ソニーグループ株式会社 情報処理装置、画像処理システム、情報処理方法
DE112021002080T5 (de) 2020-03-30 2023-01-19 Sony Group Corporation Informationsverarbeitungsvorrichtung, informationsverarbeitungsverfahren und programm
WO2021199715A1 (ja) * 2020-03-30 2021-10-07 ソニーグループ株式会社 情報処理装置、情報処理方法、プログラム
WO2021200503A1 (ja) * 2020-03-31 2021-10-07 ソニーグループ株式会社 学習システム及びデータ収集装置
JPWO2021220894A1 (ja) * 2020-04-30 2021-11-04
JP7367198B2 (ja) 2020-04-30 2023-10-23 富士フイルム株式会社 情報処理装置、情報処理方法、及びプログラム
WO2021220894A1 (ja) * 2020-04-30 2021-11-04 富士フイルム株式会社 情報処理装置、情報処理方法、及びプログラム
WO2022014369A1 (ja) * 2020-07-17 2022-01-20 ソニーグループ株式会社 画像処理装置、画像処理方法、及びプログラム
WO2022070603A1 (ja) * 2020-09-30 2022-04-07 富士フイルム株式会社 情報処理装置、情報処理方法、及びプログラム
JP7571151B2 (ja) 2020-09-30 2024-10-22 富士フイルム株式会社 情報処理装置、情報処理方法、及びプログラム
JP2022068458A (ja) * 2020-10-22 2022-05-10 ヤフー株式会社 表示プログラム、端末装置および表示方法
JP2022068471A (ja) * 2020-10-22 2022-05-10 ヤフー株式会社 送信プログラム、端末装置および送信方法
JP6959422B1 (ja) * 2020-10-22 2021-11-02 ヤフー株式会社 送信プログラム、端末装置および送信方法
JP6942872B1 (ja) * 2020-10-22 2021-09-29 ヤフー株式会社 表示プログラム、端末装置および表示方法
WO2022181379A1 (ja) * 2021-02-26 2022-09-01 富士フイルム株式会社 画像処理装置、画像処理方法、及びプログラム
WO2023100703A1 (ja) 2021-12-01 2023-06-08 ソニーグループ株式会社 画像制作システム、画像制作方法、プログラム
WO2023100704A1 (ja) 2021-12-01 2023-06-08 ソニーグループ株式会社 画像制作システム、画像制作方法、プログラム
WO2023127430A1 (ja) 2021-12-28 2023-07-06 ソニーグループ株式会社 情報処理装置、画像処理方法、プログラム
WO2024058062A1 (ja) * 2022-09-15 2024-03-21 株式会社Ｊｖｃケンウッド 画像生成装置、画像生成方法およびプログラム

Also Published As

Publication number Publication date
CN109565605A (zh) 2019-04-02
US20190174109A1 (en) 2019-06-06
JPWO2018030206A1 (ja) 2019-06-06
JP7054677B2 (ja) 2022-04-14
CN109565605B (zh) 2021-06-29
US10778951B2 (en) 2020-09-15
EP3499897B1 (en) 2021-05-19
EP3499897A1 (en) 2019-06-19
EP3499897A4 (en) 2019-06-19

Similar Documents

Publication Publication Date Title
JP7054677B2 (ja) カメラワーク生成方法及び映像処理装置
JP7113294B2 (ja) 多視点撮像システム
JP7466115B2 (ja) 撮像システムおよび校正方法
JP7223978B2 (ja) 校正装置および校正方法
JP6607433B2 (ja) 映像配信方法及びサーバ
JP6820527B2 (ja) 映像同期装置及び映像同期方法
JP7122694B2 (ja) 撮像システムおよび校正方法
JP6598109B2 (ja) 映像受信方法及び端末装置
JP6778912B2 (ja) 映像表示方法及び映像表示装置
WO2017134706A1 (ja) 映像表示方法及び映像表示装置
US20170026680A1 (en) Video distribution method, video reception method, server, terminal apparatus, and video distribution system
WO2015159487A1 (ja) 映像配信方法、映像受信方法、サーバ、端末装置及び映像配信システム
WO2015194082A1 (ja) 画像処理方法および画像処理システム
WO2015182034A1 (ja) 画像撮影方法、画像撮影システム、サーバ、画像撮影装置及び画像撮影プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17839279

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2018532951

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2017839279

Country of ref document: EP

Effective date: 20190311