WO2020013077A1 - 装置、制御方法、及びプログラム - Google Patents

装置、制御方法、及びプログラム Download PDF

Info

Publication number
WO2020013077A1
WO2020013077A1 PCT/JP2019/026682 JP2019026682W WO2020013077A1 WO 2020013077 A1 WO2020013077 A1 WO 2020013077A1 JP 2019026682 W JP2019026682 W JP 2019026682W WO 2020013077 A1 WO2020013077 A1 WO 2020013077A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
camera
cameras
virtual viewpoint
mask
Prior art date
Application number
PCT/JP2019/026682
Other languages
English (en)
French (fr)
Inventor
英人 榊間
Original Assignee
キヤノン株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by キヤノン株式会社 filed Critical キヤノン株式会社
Publication of WO2020013077A1 publication Critical patent/WO2020013077A1/ja
Priority to US17/144,663 priority Critical patent/US11557081B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G06T15/205—Image-based rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/04—Texture mapping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/536—Depth or shape recovery from perspective effects, e.g. by using vanishing points
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/97—Determining parameters from multiple pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Definitions

  • the present invention relates to a technique for generating a virtual viewpoint image based on an image obtained by photographing using a plurality of cameras installed at different positions.
  • the generation and browsing of the virtual viewpoint content are performed by aggregating images captured by a plurality of cameras in an image generation device such as a server, and performing a process such as three-dimensional model generation and rendering by the image generation device. This can be achieved by sending virtual viewpoint content.
  • a shape estimation method called a visual hull As a method of generating a three-dimensional model executed by the image generation device, a shape estimation method called a visual hull is well known.
  • a three-dimensional model generated by a visual hull or the like is represented by points or voxels in a space forming the model.
  • coloring processing for each point or voxel is performed using images captured by a plurality of cameras.
  • a camera to be used for coloring is selected based on the positional relationship between the virtual viewpoint and the camera, and the coloring process is performed using an image captured by the selected camera.
  • Patent Document 1 discloses a method of calculating a distance from a camera to an object, correcting ray information according to the calculated distance, and generating a virtual viewpoint image.
  • Patent Document 1 does not consider the possibility that occlusion will occur depending on the positional relationship between the camera and the object actually used for shooting. Therefore, as a result of determining the pixel value of the virtual viewpoint image based on the image captured by the camera in which occlusion has occurred, the quality of the generated virtual viewpoint image may be reduced.
  • the present invention suppresses a decrease in the quality of a virtual viewpoint image by determining a pixel value using an image appropriately selected from a plurality of images based on shooting by a plurality of cameras.
  • the purpose is to:
  • the present invention is an apparatus for generating a virtual viewpoint image including a target object based on images obtained by photographing a target object from a plurality of directions with a plurality of cameras, and A selecting means for selecting an image in which the specific position in the target object is not occluded by another object from among the images based on a pixel value of the image, based on the image selected by the selecting means, Determining means for determining a value of a pixel corresponding to the specific position in the virtual viewpoint image; and generating means for generating the virtual viewpoint image based on the value of the pixel determined by the determining means.
  • Device for generating a virtual viewpoint image including a target object based on images obtained by photographing a target object from a plurality of directions with a plurality of cameras, and A selecting means for selecting an image in which the specific position in the target object is not occluded by another object from among the images based on a pixel value of the image, based on the image selected by the selecting means, Determining means for
  • FIG. 1 is a block diagram illustrating a schematic configuration of an image generation system according to a first embodiment.
  • FIG. 1 is a block diagram illustrating a configuration of an image generation device according to a first embodiment.
  • 5 is a flowchart of a process for generating a virtual viewpoint image according to the first embodiment.
  • FIG. 4 is a schematic diagram illustrating an outline of a coloring image selection process according to the first embodiment.
  • 5 is a flowchart of a coloring image selection process according to the first embodiment.
  • FIG. 4 is a schematic diagram for supplementarily describing a coloring image selection process according to the first embodiment.
  • 5 is a list for holding information on cameras used for shooting in the first embodiment.
  • FIG. 13 is a functional block diagram of an image generation device according to the second embodiment and the third embodiment.
  • FIG. 9 is a diagram illustrating mask information according to the second embodiment.
  • 11 is a flowchart of a coloring image selection process according to the second embodiment and the third embodiment.
  • FIG. 9 is a diagram illustrating a positional relationship between a camera and an object in the second embodiment and the third embodiment. 9 is a list for holding information on cameras used for shooting in the second embodiment.
  • FIG. 9 is a diagram illustrating mask information according to the second embodiment.
  • FIG. 9 is a diagram illustrating mask information according to the third embodiment.
  • 15 is a list for holding information on cameras used for shooting in the third embodiment.
  • FIG. 1 is a diagram showing a schematic configuration of a system in which a plurality of cameras and microphones are installed in a stadium such as a baseball stadium or a soccer stadium, a concert hall, or the like, and performs photographing and sound collection.
  • the image generation system 100 includes the sensor systems 110a to 110z, a switching hub 121, an image generation device 122, a controller 123, and an end user terminal 126.
  • a set of sensor systems is referred to as an imaging device group 101.
  • the controller 123 has a control station 124 and a virtual camera operation user interface 125.
  • a user interface is abbreviated as UI.
  • the control station 124 performs operation state management control, parameter setting control, and the like on each block constituting the image generation system 100 via the networks 180a to 180z and the networks 190a to 190c.
  • the network may employ GbE (Gigabit Ethernet) conforming to the IEEE standard, which is Ethernet (registered trademark), or 10 GbE, or may be configured by combining interconnect Infiniband, industrial Ethernet, or the like.
  • GbE Gigabit Ethernet
  • the type of network is not limited to these, and may be another type of network.
  • each of the sensor systems 110a to 110z is connected to the image generation device 122 via the switching hub 121.
  • the 26 systems from the sensor system 110a to the sensor system 110z will be referred to as the sensor system 110 without distinction.
  • the devices in each sensor system 110 are not distinguished unless otherwise specified, and are described as a microphone 111, a camera 112, a camera platform 113, an external sensor 114, and a camera adapter 120.
  • the number of sensor systems is described as 26, this is merely an example, and the number is not limited to this.
  • the concept of an image will be described as including both the concept of a still image and the concept of a moving image. That is, the image generation system 100 of the present embodiment can process both still images and moving images.
  • the virtual viewpoint content provided by the image generation system 100 includes an image (a so-called virtual viewpoint image) and a sound (a so-called virtual viewpoint sound) at the virtual viewpoint.
  • the sound may not be included in the virtual viewpoint content.
  • the sound included in the virtual viewpoint content may be a sound collected by a microphone closest to the virtual viewpoint.
  • description of audio is partially omitted, but basically, both image and audio are processed.
  • Each of the sensor systems 110a to 110z has one camera (cameras 112a to 112z). That is, the image generation system 100 has a plurality of cameras for photographing the same photographing target region from a plurality of directions.
  • a so-called star network is constructed in which each sensor system 110 is connected to the switching hub 121, and each sensor system 110 transmits and receives data to and from the central device via the switching hub 121. Is done.
  • the sensor system 110a includes a microphone 111a, a camera 112a, a camera platform 113a, an external sensor 114a, and a camera adapter 120a.
  • the configuration of this sensor system is merely an example, and the sensor system 110a only needs to have at least one camera adapter 120a, one camera 112a, or one microphone 111a.
  • the sensor system 110a may be configured with one camera adapter 120a and a plurality of cameras 112a, or may be configured with one camera 112a and a plurality of camera adapters 120a. That is, in the image generation system 100, the number of cameras 112 is N, and the number of camera adapters 120 is M (where N and M are both integers of 1 or more).
  • the sensor system 110a may include a device other than the device illustrated in FIG.
  • the camera 112a and the camera adapter 120a may be integrally formed in the same housing.
  • the microphone 111a may be built in the integrated camera 112a, or may be connected to the outside of the camera 112a.
  • the audio data collected by the microphone 111a and the image data captured by the camera 112a are transmitted to the switching hub 121 via the camera adapter 120a.
  • an image captured by a camera is referred to as a “photographed image”.
  • the description is omitted.
  • the sensor systems 11b to 110z are not limited to the same configuration as the sensor system 110a, and the respective sensor systems 110 may have different configurations.
  • the image generation device 122 performs a process of generating a virtual viewpoint image based on the captured image acquired from the sensor system 110.
  • the time server 127 has a function of delivering time information and a synchronization signal, and delivers time information and a synchronization signal to each sensor system 110 via the switching hub 121.
  • the camera adapters 120a to 120z that have received the time information and the synchronization signal perform genlock of the cameras 112a to 112z based on the received time information and the synchronization signal to perform image frame synchronization. That is, the time server 127 synchronizes the shooting timings of the plurality of cameras 112. Accordingly, the image generation system 100 can generate a virtual viewpoint image based on a plurality of images captured at the same timing, and thus can suppress a decrease in the quality of the generated virtual viewpoint image due to a shift in the imaging timing.
  • the time server 127 manages the time synchronization of the plurality of cameras 112.
  • Each camera 112 or each camera adapter 120 performs processing for time synchronization independently. You may go.
  • the virtual viewpoint image generated by the image generation device 122 is transmitted to the end user terminal 126, and the user operating the end user terminal 126 can perform image browsing and audio viewing according to the specified viewpoint. Further, the image generation device 122 converts the virtual viewpoint image into an H.264 image.
  • the data may be compressed and encoded by a standard technology represented by H.264 or HEVC, and then transmitted to the end user terminal 126 using the MPEG-DASH protocol.
  • the image generation device 122 may transmit the uncompressed virtual viewpoint image to the end user terminal 126.
  • a smartphone or tablet is assumed as the end user terminal 126, and in the latter case, a display capable of displaying an uncompressed image is assumed. That is, the image format can be switched according to the type of the end user terminal 126.
  • the transmission protocol of the image is not limited to MPEG-DASH, and for example, HLS (HTTP Live Streaming) or another transmission method may be used.
  • the control station 124 transmits data of a three-dimensional model of a stadium or the like for which a virtual viewpoint image is to be generated to the image generation device 122. Further, the control station 124 performs calibration when the camera is installed. Specifically, a marker is set on the field to be photographed, and the position and orientation in the world coordinates of each camera and the focal length are derived using the image photographed by each camera 112. Information on the derived position, orientation, and focal length of each camera is transmitted to the image generation device 122. The data of the three-dimensional model and the information of each camera transmitted to the image generation device 122 are used when the image generation device 122 generates a virtual viewpoint image.
  • the virtual camera operation UI 125 transmits information specifying a virtual viewpoint to generate an image to the image generation device 122.
  • the image generation device 122 generates an image corresponding to the specified virtual viewpoint, and transmits the generated virtual viewpoint image to the end user terminal 126.
  • the above is the contents of the virtual viewpoint image generation system in the present embodiment.
  • the captured image input unit 201 is an input processing unit that inputs image data and audio data transmitted from the sensor system 110 via the switching hub 121.
  • the data input to the captured image input unit 201 is transmitted to a three-dimensional model generation unit 203 and a captured image selection unit 208 described below.
  • the communication control unit 202 is a processing unit that controls communication between the imaging device group 101 and the image generation device 122 and communication between the control station 124 and the image generation device 122.
  • the image generation device 122 acquires data (three-dimensional model data) indicating the three-dimensional shape of the stadium or the like, information transmitted from the control station 124, and information related to the installation of each camera.
  • the three-dimensional model generation unit 203 generates data representing a three-dimensional shape of an object, that is, a three-dimensional model, based on data of images captured by each of the plurality of cameras and transmitted from the captured image input unit 201.
  • the three-dimensional model can be generated using a shape estimation method such as a visual hull.
  • the three-dimensional model is constituted by a set of points. Points constituting the three-dimensional model are referred to as “constituent points”. Each constituent point corresponds to a different specific position on the object.
  • the method of generating the three-dimensional model is not limited to the visual hull.
  • the format of the three-dimensional model is not limited.
  • the three-dimensional model may be represented by a set of voxels, or may be represented by a polygon mesh.
  • the three-dimensional model coloring unit 204 performs a coloring process on the three-dimensional model generated by the three-dimensional model generation unit 203 using images captured by a plurality of cameras. Specifically, the three-dimensional model coloring unit 204 selectively determines an image to be used from images captured by a plurality of cameras for each of the constituent points of the three-dimensional model, and determines an appropriate pixel value from the determined image. Coloring is performed by acquiring the color.
  • the virtual viewpoint image generation unit 205 performs a process of generating an image when an object is viewed from a virtual viewpoint, a so-called virtual viewpoint image, based on the generated three-dimensional model.
  • a virtual viewpoint image can be generated by projecting a three-dimensional model arranged in a three-dimensional space onto a virtual viewpoint.
  • the video output unit 206 performs a process of outputting video data including virtual viewpoint image data generated by the virtual viewpoint image generation unit 205 to the end user terminal 126.
  • the video format conversion process according to the end user terminal 126 is executed by the video output unit 206.
  • the virtual viewpoint information acquisition unit 207 acquires information indicating the designated virtual viewpoint via the virtual camera operation UI 125, and transmits the acquired information to the virtual viewpoint image generation unit 205 and a captured image selection unit 208 described below. I do.
  • the captured image selection unit 208 performs a process of selecting an image to be used when coloring a three-dimensional model from images captured by a plurality of cameras. Using the image selected by the captured image selection unit 208, the three-dimensional model coloring unit 204 executes a coloring process.
  • the image generation device 122 acquires a plurality of captured images as images based on the captured images by a plurality of cameras, and performs a coloring process based on the pixel values of the captured image selected from the captured images.
  • the invention is not limited thereto, and the image generation device 122 may acquire, for example, a foreground image in which a predetermined object region is extracted from the captured image, as the image based on the captured image.
  • the image generation device 122 may execute the coloring process based on the pixel values of the foreground image selected from the plurality of foreground images based on the images captured by the plurality of cameras.
  • the configuration of the image generation device 122 is not limited to the above.
  • some of the above-described components, such as the three-dimensional model generation unit 203, may be mounted on a device different from the image generation device 122.
  • FIG. 2B is a block diagram illustrating a hardware configuration of the image generation device 122.
  • the image generation device includes a CPU 211, a RAM 212, a ROM 213, a secondary storage device 214, and an input / output interface 215. These components are connected by a bus and can transmit and receive data between the components.
  • the CPU 211 uses the RAM 212 as a work memory, executes a program stored in the ROM 213, and controls the components of the image generating device 122 via the system bus. As a result, the module shown in FIG. 2A is realized, or the processing shown in FIGS. 3 and 5 described below is executed.
  • the secondary storage device 214 is a device in which various data handled by the image generation device 122 is stored, and for example, an HDD, an optical disk drive, a flash memory, or the like is used.
  • the CPU 211 writes data to the secondary storage device 214 and reads data stored in the secondary storage device 214 via the system bus.
  • the input / output interface 215 transmits and receives data between the image generation device 122 and an external device. The above is the content of the configuration of the image generation device according to the present embodiment.
  • FIG. 3 is a flowchart showing a flow of processing for generating one frame of a virtual viewpoint image.
  • step S301 the three-dimensional model generation unit 203 generates a three-dimensional model based on images captured by a plurality of cameras.
  • step S ⁇ is simply abbreviated as “S ⁇ ”.
  • the captured image selection unit 208 selects an image used for coloring the constituent points of the three-dimensional model from among the images captured by the plurality of cameras. The details of the processing executed in this step will be described later with reference to FIGS.
  • step S303 the three-dimensional model coloring unit 204 performs a coloring process on constituent points of the three-dimensional model using the image selected in step S302.
  • step S304 the three-dimensional model coloring unit 204 determines whether the coloring process has been performed on all the constituent points of the three-dimensional model. If the determination result in S304 is true, the process proceeds to S305. On the other hand, if the determination result in S304 is false, the process returns to S302, and the coloring process is performed on the unprocessed constituent points.
  • step S305 the virtual viewpoint image generation unit 205 generates a virtual viewpoint image based on the three-dimensional model on which the coloring process has been performed.
  • the above is the content of the processing for generating the virtual viewpoint image in the present embodiment.
  • the image generation device 122 after the image generation device 122 performs a coloring process on each component (each point) of the three-dimensional model generated based on the captured image, it performs rendering to generate a virtual viewpoint image.
  • the value of each pixel of the virtual viewpoint image is determined based on the colors of the components of the colored three-dimensional model and the virtual viewpoint.
  • the method of generating the virtual viewpoint image (the method of determining the pixel value) is not limited to this.
  • the image generation device 122 does not directly color the three-dimensional model, determines which component of the generated virtual viewpoint image corresponds to which component of the three-dimensional model, and determines the configuration of the selected captured image.
  • the pixel value of the virtual viewpoint image may be determined based on the pixel value corresponding to the element.
  • FIG. 4A is an example of a virtual viewpoint image generated in the present embodiment, and is a diagram illustrating an image viewed from behind the goal net.
  • FIG. 4B is a diagram viewed from above to explain the positional relationship between the goal net, the goal frame, and the virtual camera indicating the virtual viewpoint at that time.
  • reference numeral 401 denotes a goal frame
  • reference numeral 402 denotes a goal net.
  • FIG. 4B is a view in which the crossbar portion of the goal frame 401 is omitted.
  • Reference numeral 403 indicates an object to be photographed, and in this case, is a player (specifically, a goalkeeper).
  • Reference numeral 404 denotes a virtual camera, and a virtual viewpoint image is generated from a viewpoint from the virtual camera.
  • Reference numerals 405 to 409 denote cameras for capturing captured images necessary for generating a virtual viewpoint image.
  • FIG. 4A shows an image captured by the virtual camera 404 set on the back of the goal net 402, that is, a virtual viewpoint image.
  • a camera whose orientation toward the object is close to the virtual camera has been selected in coloring each point constituting the three-dimensional model representing the object.
  • FIG. 4B the camera 407 whose orientation is close to the virtual camera 404 is selected, and coloring is performed on an image captured by the camera.
  • the goal net 402 is photographed in the image photographed by the camera 407, and there is a problem that the color of the goal net 402 is colored in the three-dimensional model expressing the object 403 if the coloring is performed as it is. .
  • a camera in which the goal net 402 does not exist on the line connecting each camera and the component point 410 instead of the camera 407 (in FIG. Camera 408 and the like are candidates). This makes it possible to perform appropriate coloring processing on the constituent points 410.
  • FIG. 6 is a schematic diagram showing the positional relationship between the object and the camera, similarly to FIG. 6, reference numeral 601 denotes a goal frame, reference numeral 602 denotes a goal net, and reference numeral 603 denotes a target object to be photographed. Reference numeral 604 denotes a position designated when the virtual viewpoint image is generated, that is, a camera (so-called virtual camera) set at that position, and reference numerals 605 to 609 are used for actual photographing. Showing a camera to do.
  • FIG. 6 is a diagram in which the crossbar portion of the goal frame 601 is omitted.
  • a process of coloring a constituent point 610 which is one of the points forming the three-dimensional model of the object (player) 603 will be described with reference to FIG.
  • step S501 a ray is virtually projected from the constituent point 610 of the three-dimensional model to the camera to be determined.
  • S502 based on the projection result in S501, it is determined whether or not the constituent point is visible from the installation position of the camera to be determined, in other words, whether or not this camera captures the constituent point as an image. If the determination result in S502 is true, the process proceeds to S503. On the other hand, if the determination result in S502 is false, the process proceeds to S504.
  • S505 it is determined whether the visibility determination in S502 has been performed for all cameras used for shooting. If the determination result in S505 is false, the process proceeds to S506, where the camera ID of the determination target is updated, that is, the camera to be determined is changed, and then the process returns to S501. On the other hand, if the determination result in S505 is true, the process proceeds to S507.
  • a pixel value of a pixel corresponding to a constituent point included in a captured image of a camera determined to be visible is acquired. Then, the obtained pixel values are described in a list 701 shown in FIG. Part or all of the pixel values obtained in this step are used for coloring the constituent points in the subsequent processing.
  • S508 it is determined whether or not there is an exception value in the acquired pixel values (specifically, RGB values). If there is an exception value, the camera corresponding to the exception value is excluded from the selection candidates. For example, in the case shown in FIG. 6, only the camera 607 out of the cameras 605 to 608 receives a light ray from the constituent point 610 through the object (goal net) 602 and reaches the camera, so that the pixel value becomes an exceptional value. (See FIG. 7). Therefore, the camera 607 is excluded from the selection candidates.
  • an average value of pixel values corresponding to a target pixel is calculated for images captured by a plurality of cameras, and a difference from the calculated average value is equal to or greater than a predetermined threshold.
  • a method of treating an object as an exception is not limited to this.
  • step S509 an image captured by the camera used for coloring the constituent points 610 is selected from the visible cameras excluding the camera excluded in step S507.
  • a selection method at this time for example, a method of selecting a camera closest to the virtual camera 604 can be adopted.
  • the camera closest to the virtual camera 604 is the camera 606 excluding the excluded camera 607. Therefore, the camera 606 is selected as the camera used for coloring.
  • the selection method of this step is not limited to this.
  • a camera whose shooting direction is closest to the virtual camera 604 may be selected from cameras not excluded.
  • a plurality of cameras may be selected, and a coloring process may be performed using a color calculated based on a plurality of pixel values corresponding to the selected plurality of cameras. The above is the contents of the color image selection process in the present embodiment.
  • ⁇ Effects of this embodiment> for example, when coloring the constituent point 610 in the case shown in FIG. After that, it becomes possible to add color. Therefore, a higher quality virtual viewpoint image can be generated.
  • a camera that cannot capture the constituent point 610 based on the position information or the like of the object (invisible) is excluded, and a camera whose pixel value is an exceptional value is excluded from cameras other than the invisible camera.
  • the present invention is not limited to this, and either one of excluding invisible cameras and a camera whose pixel value is an exceptional value may not be performed. According to this method, it is possible to reduce the processing related to the determination for exclusion.
  • mask information set in advance is used when selecting a captured image to be used for coloring the constituent points of the three-dimensional model.
  • differences from the above-described embodiment will be mainly described, and description of contents similar to those of the above-described embodiment will be appropriately omitted.
  • the control station 124 transmits mask information via the communication control unit 801 in addition to data (three-dimensional model data) indicating the three-dimensional shape of the stadium, information related to the installation of each camera, and the like.
  • the mask information setting unit 802 performs a process of setting, for each of a plurality of cameras used for photographing, mask information indicating whether or not an area is available for coloring in a photographed image.
  • the mask information will be described with reference to FIG.
  • the mask information in the present embodiment is information on an occlusion area in a captured image, and is information indicating whether the area can be used for coloring.
  • the occlusion area is an area in which the target object may be obstructed by another object (referred to as an obstruction object) existing on a straight line connecting the target object and the camera.
  • an obstruction object an object existing on a straight line connecting the target object and the camera.
  • the mask information when performing a coloring process on a three-dimensional model representing a target object that is hidden behind a shielding object such as a goal frame, the mask information explicitly indicates that coloring is not performed using the pixel value of the corresponding region. It is an image for the purpose of showing.
  • FIG. 9A shows a photographed image 901 photographed from a certain camera.
  • Reference numeral 902 in the captured image 901 indicates a goal frame, and a part of the object (player) 903 is covered by the goal frame 902. If the three-dimensional model of the object (player) 903 existing over the occluded area is colored using the photographed image 901, the head part of the three-dimensional model of the object (player) 903 will be described.
  • the color of the goal frame 902 is colored.
  • the present embodiment uses a mask image 904 shown in FIG. 9B.
  • the black area in the mask image 904 indicates an area based on the goal frame. In this way, by specifying an area that should not be used for coloring, it is possible to use the pixel value of the corresponding area at the time of coloring. Can be avoided.
  • the user interface 803 is an interface for the user to give various instructions to the control station 124.
  • the user sets the mask information via the user interface 803.
  • step S1001 light rays are projected from the constituent points of the three-dimensional model to the camera to be determined.
  • the processing in S1001 is the same as the processing in S501 in FIG.
  • S1002 based on the projection result in S1001, it is determined whether or not the constituent point is visible from the position of the camera to be determined.
  • the processing in S1002 is the same as the processing in S502 in FIG. If the determination result in S1002 is true, the process proceeds to S1003. On the other hand, if the determination result in S1002 is false, the process proceeds to S1005.
  • the captured image 1301 shown in FIG. 13A shows an object (player) 1304 partially covered by a shielding object (goal frame) 1302 and a shielding object (goal net) 1303.
  • mask information 1305 shown in FIG. 13B is introduced as mask information for the captured image 1301.
  • a mask area 1306 of an object that completely blocks such as a goal frame a mask area 1307 of an object that blocks only a partial area such as a goal net is newly defined.
  • the mask area 1307 is not an area where all the pixels can be used for coloring, but is an area where the pixels can be used for coloring depending on the generated virtual viewpoint image.
  • the mask information setting unit 802 performs a process of setting mask information based on the content specified by the user via the user interface 803.
  • S1006 it is determined whether the visibility determination in S1002 has been performed for all cameras used for shooting. If the determination result in S1006 is false, the process proceeds to S1007, where the camera ID to be determined is updated, that is, the camera to be determined is changed, and the process returns to S1001. On the other hand, if the determination result in S1006 is true, the process proceeds to S1008.
  • an image picked up by a camera to be used for coloring constituent points is selected based on the mask information recorded in S1004.
  • FIG. 11 is a schematic diagram illustrating a case where a coloring image is selected when generating a virtual viewpoint image capturing a player from behind the goal net.
  • reference numeral 1101 indicates a goal frame
  • reference numeral 1102 indicates a goal net
  • reference numeral 1103 indicates an object (player).
  • FIG. 11 shows that one image is selected by using mask information from images captured by the cameras 1105 to 1109 in a coloring process for a configuration point 1110, which is one of configuration points corresponding to the object 1103. Show case.
  • FIG. 12 is a diagram showing an example of a list created in the color image selection process (FIG. 10) in the present embodiment.
  • the camera list 1201 is a list for holding information indicating whether or not visible, mask information, and pixel values for each camera. As described above, the information indicating whether it is visible is recorded in the camera list 1201 in S1003 or S1005.
  • the mask information is recorded in the camera list 1201 in S1004.
  • the mask information in the present embodiment indicates the presence / absence of a mask and the mask type in the case of a mask area.
  • a value indicating that the corresponding area is not a mask area (no mask) is defined as “0”.
  • a value “1” indicating that the corresponding area is a masked area of a completely occluded object such as a goal frame is set to “1”.
  • the value indicating the area is defined as “2”.
  • the selection processing in S1007 of FIG. 10 is executed using the camera list 1201 shown in FIG. Of the cameras 1105 to 1109 registered in the camera list 1201, the camera 1109 is invisible, and it is determined by the mask information that the camera 1108 is completely occluded by the goal frame. Therefore, these cameras are excluded from the selection candidates. I do. Then, the camera 1107 can be excluded from the selection candidates by performing the exceptional value determination among the remaining cameras (that is, the camera having the mask information value of “2”). If there is a camera whose mask information value is “0”, that camera is a candidate for selection without being judged as an exceptional value.
  • the captured image of the selected camera (for example, the camera 1106 closest to the virtual camera 1104) is selected as the coloring image.
  • the mask area to be subjected to the exceptional value determination corresponds to the goal net, but the object corresponding to the mask area is not limited to this.
  • a mask area corresponding to a hammer throw net or a long jump sandbox may be set.
  • mask information 1405 shown in FIG. 14B is introduced as mask information for the captured image 1401.
  • a mask area 1406 of a completely occluded object such as a goal frame
  • only a partial area such as a goal net is occluded.
  • a mask area 1407 by the object is defined. Also, color information is set for each of the mask areas.
  • the user sets (255, 255, 255) as color information (specifically, RGB values) of the mask area 1406, and sets (224, 224, 224) as color information of the mask area 1407. Is specified. These pieces of color information are values corresponding to the colors of objects (goal frames and goal nets) located in the mask area.
  • the specific contents of the mask information may be specified by the user or may be set automatically.
  • the mask information setting unit 802 performs a process of setting mask information based on the content specified by the user via the user interface 803.
  • FIG. 15 is a diagram illustrating an example of a list created in the color image selection process (FIG. 10) according to the present embodiment.
  • the list 1501 is a list for holding information indicating whether or not visible, mask information including information on types and colors, and pixel values for each camera.
  • the positional relationship between the camera and the object will be described using an example similar to that in the second embodiment (see FIG. 11).
  • the cameras 1105 to 1107 are candidate cameras to be used for coloring. That is, the camera 1109 whose constituent point 1110 is blocked by the object 1103 and the camera 1108 whose constituent point 1110 overlaps the goal frame with the mask information “1” are excluded from the selection candidates for coloring.
  • the color information of the mask with the pixel value of the corresponding area in the captured image, it is possible to determine whether or not the camera is occluded by any linear object connecting the structure point and the camera. In the example of FIG.
  • the camera 1107 is a camera occluded by an object (specifically, a goal net). Excluded from selection candidates. In this way, it is possible to determine whether the camera is occluded by comparing the color value of the mask area with the pixel value of the captured image.
  • a determination method a method may be considered in which the difference between the pixel value and the color value of the mask area is within a certain threshold value, which is regarded as being occluded, but is not limited thereto.
  • the camera 1108 in which the goal frame of which the mask information is “1” and the composing point 1110 overlap is first excluded.
  • the present invention is not limited to this, and the camera 1108 is not limited to this.
  • the exclusion determination may be made by comparing the values (255, 255, 255).
  • the format of the color information of the mask is not limited to the above, and may be, for example, luminance information, or one mask type may correspond to a plurality of pieces of color information.
  • the present invention supplies a program for realizing one or more functions of the above-described embodiments to a system or an apparatus via a network or a storage medium, and one or more processors in a computer of the system or the apparatus read and execute the program. It can also be realized by the following processing. Further, it can be realized by a circuit (for example, an ASIC) that realizes one or more functions.
  • a circuit for example, an ASIC

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Processing (AREA)

Abstract

仮想視点画像の品質の低下を抑制する。目標オブジェクトを複数のカメラにより複数の方向から撮影することで得られる画像に基づき、該目標オブジェクトを含む仮想視点画像を生成する装置（１２２）であって、前記複数のカメラによる撮影に基づく複数の画像の中から、前記目標オブジェクトにおける特定位置が他のオブジェクトにより遮蔽されていない画像を、当該画像の画素値に基づいて選択する選択手段（２０８）と、前記選択手段により選択された画像に基づき、前記仮想視点画像における前記特定位置に対応する画素の値を決定する決定手段（２０４）と、前記決定手段により決定された画素の値に基づき、前記仮想視点画像を生成する生成手段（２０５）とを有することを特徴とする装置（１２２）である。

Description

装置、制御方法、及びプログラム
　本発明は、異なる位置に設置した複数のカメラを用いて撮影することで取得される画像に基づいて仮想視点画像を生成する技術に関する。
　昨今、複数のカメラを互いに異なる位置に設置して多視点で同期撮影することで得られた複数視点画像を用いて仮想視点コンテンツを生成する技術が注目されている。この技術によれば、サッカーやバスケットボールのハイライトシーンを様々な角度から視聴することが出来るため、通常の画像と比較してユーザーに高臨場感を与えることが出来る。
　仮想視点コンテンツの生成及び閲覧は、複数のカメラが撮影した画像をサーバ等の画像生成装置に集約し、該画像生成装置にて、３次元モデル生成、レンダリング等の処理を実行し、ユーザー端末に仮想視点コンテンツを送付することで実現できる。
　画像生成装置にて実行される３次元モデルの生成方法として、ビジュアルハルと呼ばれる形状推定方法が良く知られている。ビジュアルハル等によって生成された３次元モデルは、モデルを形成する空間上の点やボクセルによって表現される。これらの点やボクセルに色情報を持たせるため、複数のカメラによって撮影された画像を使用して、点やボクセル毎の色付け処理を行う。この色付け処理により点やボクセルに色を付ける際、仮想視点とカメラとの位置関係によって色付けに使用するカメラが選択され、選択されたカメラの撮影画像を使用して色付け処理が実行されることが知られている。
　特許文献１は、カメラからオブジェクトまでの距離を算出し、該算出した距離に応じて光線情報を補正して仮想視点画像を生成する手法を開示している。
特開２０１２－１２８８８４号公報
　しかし、特許文献１では、実際に撮影に使用したカメラとオブジェクトとの位置関係によっては、オクルージョンが生じるという可能性を考慮していない。従って、オクルージョンが発生しているカメラの撮影画像に基づいて仮想視点画像の画素値を決定した結果、生成される仮想視点画像の品質が低下する虞がある。
　そこで本発明は、上記の課題に鑑み、複数のカメラによる撮影に基づく複数の画像の中から適切に選択した画像を用いて画素値を決定することで、仮想視点画像の品質の低下を抑制することを目的とする。
　本発明は、目標オブジェクトを複数のカメラにより複数の方向から撮影することで得られる画像に基づき、該目標オブジェクトを含む仮想視点画像を生成する装置であって、前記複数のカメラによる撮影に基づく複数の画像の中から、前記目標オブジェクトにおける特定位置が他のオブジェクトにより遮蔽されていない画像を、当該画像の画素値に基づいて選択する選択手段と、前記選択手段により選択された画像に基づき、前記仮想視点画像における前記特定位置に対応する画素の値を決定する決定手段と、前記決定手段により決定された画素の値に基づき、前記仮想視点画像を生成する生成手段とを有することを特徴とする装置である。
　本発明により、仮想視点画像の品質の低下を抑制することが可能となる。
　本発明の更なる特徴は、添付の図面を参照して行う以下の実施形態の説明より明らかになる。
第１の実施形態における、画像生成システムの概略構成を示すブロック図。 第１の実施形態における、画像生成装置の構成を示すブロック図。 第１の実施形態における、仮想視点画像を生成する処理のフローチャート。 第１の実施形態における、色付け用画像選択処理の概要を説明する模式図。 第１の実施形態における、色付け用画像選択処理のフローチャート。 第１の実施形態における、色付け用画像選択処理を補足説明する模式図。 第１の実施形態における、撮影に使用したカメラの情報を保持するリスト。 第２の実施形態及び第３の実施形態における、画像生成装置の機能ブロック図。 第２の実施形態における、マスク情報を説明する図。 第２の実施形態及び第３の実施形態における色付け用画像選択処理のフローチャート。 第２の実施形態及び第３の実施形態における、カメラとオブジェクトとの位置関係を説明する図。 第２の実施形態における、撮影に使用したカメラの情報を保持するリスト。 第２の実施形態における、マスク情報を説明する図。 第３の実施形態における、マスク情報を説明する図。 第３の実施形態における、撮影に使用したカメラの情報を保持するリスト。
　以下、図面を参照して本発明の実施形態を詳細に説明する。但し、以下の実施形態は本発明を限定するものではなく、また、以下で説明する特徴の組み合わせの全てが本発明の課題解決に必須のものとは限らない。尚、同一の構成については、同じ符号を付して説明する。また、以下に記載する構成要素の相対配置、形状等は、あくまで例示であり、本発明をそれらのみに限定する趣旨のものではない。
［第１の実施形態］
　本実施形態では、３次元モデルを構成する点に色付けを行う際、色付けに使用される撮影画像の候補の中から外れ値を持つ撮影画像を除外した後に、撮影画像の選択、色付けを行う。
＜画像生成システムについて＞
　以下、本実施形態における画像生成システムについて、図１を用いて説明する。図１は、野球場やサッカースタジアム等の競技場、コンサートホール、等の施設に複数のカメラ及びマイクを設置し、撮影及び集音を行うシステムの概略構成を示す図である。
　画像生成システム１００は、センサシステム１１０ａ～センサシステム１１０ｚ、スイッチングハブ１２１、画像生成装置１２２、コントローラ１２３、及びエンドユーザ端末１２６を有する。センサシステムの集合を、撮影装置群１０１とする。
　コントローラ１２３は、制御ステーション１２４と、仮想カメラ操作ユーザーインタフェース１２５と、を有する。尚、本明細書では、ユーザーインタフェースをＵＩと略記する。制御ステーション１２４は、画像生成システム１００を構成するそれぞれのブロックに対して、ネットワーク１８０a～ネットワーク１８０zやネットワーク１９０a～ネットワーク１９０cを通じて、動作状態の管理制御、パラメータ設定制御、等を行う。ここで、ネットワークは、Ｅｔｈｅｒｎｅｔ（登録商標）であるＩＥＥＥ標準準拠のＧｂＥ（ギガビットイーサーネット）や１０ＧｂＥを採用して良いし、インターコネクトＩｎｆｉｎｉｂａｎｄ、産業用イーサーネット、等を組合せて構成されても良い。また、これらに限定されず、他の種別のネットワークであっても良い。
　初めに、２６セットのセンサシステム、つまりセンサシステム１１０ａ～センサシステム１１０ｚで取得される画像及び音声を、それぞれのセンサシステムから画像生成装置１２２に送信する動作を説明する。本実施形態における画像生成システム１００では、センサシステム１１０ａ～センサシステム１１０ｚはそれぞれ、スイッチングハブ１２１を介して画像生成装置１２２と接続される。
　尚、以下で特別な説明がない場合、センサシステム１１０ａからセンサシステム１１０ｚまでの２６セットのシステムを区別せずセンサシステム１１０と記載する。各センサシステム１１０内の装置についても同様に、特別な説明がない場合は区別せず、マイク１１１、カメラ１１２、雲台１１３、外部センサ１１４、及びカメラアダプタ１２０と記載する。また、センサシステムの台数を２６と記載しているが、あくまでも一例であり、台数をこれに限定するものではない。また、本実施形態では、特に断りがない限り、画像という概念が、静止画と動画との両方の概念を含むものとして説明する。つまり、本実施形態の画像生成システム１００は、静止画及び動画の何れについても処理可能である。また、本実施形態では、画像生成システム１００により提供される仮想視点コンテンツには、仮想視点における画像（所謂、仮想視点画像）と音声（所謂、仮想視点音声）とが含まれる例を中心に説明するが、これに限らない。例えば、仮想視点コンテンツに音声が含まれていなくても良い。また例えば、仮想視点コンテンツに含まれる音声が、仮想視点に最も近いマイクにより集音された音声であっても良い。また、以下では、説明の簡略化のため、部分的に音声についての記載を省略しているが、基本的に画像と音声は共に処理される。
　センサシステム１１０ａ～センサシステム１１０ｚはそれぞれ、カメラを１台ずつ（カメラ１１２ａ～カメラ１１２ｚ）を有する。即ち、画像生成システム１００は、同一の撮影対象領域を複数の方向から撮影するための複数のカメラを有する。画像生成システム１００内で、各センサシステム１１０がスイッチングハブ１２１と接続され、各センサシステム１１０がスイッチングハブ１２１を経由して中央装置との間でデータを送受信する、所謂、スター型のネットワークが構築される。
　センサシステム１１０ａは、マイク１１１ａ、カメラ１１２ａ、雲台１１３ａ、外部センサ１１４ａ、及びカメラアダプタ１２０ａを有する。尚、このセンサシステムの構成はあくまで一例であり、センサシステム１１０ａは、少なくとも１台のカメラアダプタ１２０ａと、１台のカメラ１１２ａ又は１台のマイク１１１ａとを有していれば良い。また例えば、センサシステム１１０ａは、１台のカメラアダプタ１２０ａと、複数のカメラ１１２ａとで構成されても良いし、１台のカメラ１１２ａと、複数のカメラアダプタ１２０ａとで構成されても良い。即ち、画像生成システム１００において、カメラ１１２の数はＮであり、カメラアダプタ１２０の数はＭである（但し、ＮとＭは共に１以上の整数）。また、センサシステム１１０ａは、図１に示す装置以外の装置を含んでいても良い。また、センサシステム１１０ａにおいて、カメラ１１２ａとカメラアダプタ１２０ａとが同一筐体で一体化されて構成されても良い。その場合、マイク１１１ａは一体化されたカメラ１１２ａに内蔵されても良いし、カメラ１１２ａの外部に接続されていても良い。マイク１１１ａにて集音された音声のデータと、カメラ１１２ａにて撮影された画像のデータとは、カメラアダプタ１２０ａを介し、スイッチングハブ１２１へ伝送される。また、本明細書では、カメラで撮影された画像を「撮影画像」と記載する。
　センサシステム１１０ｂ～センサシステム１１０ｚについては、センサシステム１１０ａと同様の構成なので説明を省略する。但し、センサシステム１１ｂ～センサシステム１１０ｚがセンサシステム１１０ａと同じ構成に限定されるものではなく、それぞれのセンサシステム１１０が異なる構成でも良い。
　画像生成装置１２２は、センサシステム１１０から取得した撮影画像に基づき、仮想視点画像を生成する処理を行う。
　タイムサーバ１２７は時刻情報及び同期信号を配信する機能を有し、スイッチングハブ１２１を介して各センサシステム１１０に時刻情報及び同期信号を配信する。時刻情報と同期信号とを受信したカメラアダプタ１２０ａ～１２０ｚは、該受信した時刻情報と同期信号とに基づきカメラ１１２ａ～１１２ｚをゲンロックさせ画像フレーム同期を行う。即ち、タイムサーバ１２７は、複数のカメラ１１２の撮影タイミングを同期させる。これにより、画像生成システム１００は、同じタイミングで撮影された複数の画像に基づいて仮想視点画像を生成できるため、撮影タイミングのずれに起因する、生成した仮想視点画像の品質低下を抑制できる。尚、本実施形態では、タイムサーバ１２７が複数のカメラ１１２の時刻同期を管理するものとするが、これに限らず、時刻同期のための処理を各カメラ１１２又は各カメラアダプタ１２０が独立して行っても良い。
　画像生成装置１２２によって生成された仮想視点画像は、エンドユーザ端末１２６に送信され、エンドユーザ端末１２６を操作するユーザーは、指定した視点に応じた画像閲覧及び音声視聴が出来る。また、画像生成装置１２２は、仮想視点画像をＨ．２６４やＨＥＶＣに代表される標準技術により圧縮符号化した上で、ＭＰＥＧ－ＤＡＳＨプロトコルを使ってエンドユーザ端末１２６に送信しても良い。或いは、画像生成装置１２２は、非圧縮の仮想視点画像をエンドユーザ端末１２６に送信しても良い。特に圧縮符号化を行う前者のケースではエンドユーザ端末１２６としてスマートフォンやタブレット等を想定しており、後者のケースでは非圧縮画像を表示可能なディスプレイを想定している。つまり、エンドユーザ端末１２６の種別に応じて、画像フォーマットを切り替え可能である。また、画像の送信プロトコルはＭＰＥＧ－ＤＡＳＨに限らず、例えば、ＨＬＳ（ＨＴＴＰ　Ｌｉｖｅ　Ｓｔｒｅａｍｉｎｇ）やその他の送信方法を用いても良い。
　制御ステーション１２４は、仮想視点画像を生成する対象のスタジアム等の３次元モデルのデータを画像生成装置１２２に送信する。さらに、制御ステーション１２４はカメラ設置時に、キャリブレーションを実施する。具体的には、撮影対象のフィールド上にマーカーを設置し、各カメラ１１２で撮影した画像を用いて、各カメラの世界座標における位置及び向き、並びに、焦点距離を導出する。導出された各カメラの位置、向き、焦点距離の情報は、画像生成装置１２２に送信される。画像生成装置１２２に送信された三次元モデルのデータ及び各カメラの情報は、画像生成装置１２２が仮想視点画像を生成する際に使用する。
　仮想カメラ操作ＵＩ１２５は、画像を生成する仮想視点を指定する情報を、画像生成装置１２２に送信する。画像生成装置１２２は、指定された仮想視点に対応する画像を生成し、生成した仮想視点画像をエンドユーザ端末１２６に送信する。以上が、本実施形態における仮想視点画像生成システムの内容である。
＜画像生成装置の構成について＞
　以下、本実施形態における画像生成装置の構成について、図２を用いて説明する。まず、画像生成装置１２２のソフトウェア構成について、図２（ａ）を用いて説明する。
　撮影画像入力部２０１は、センサシステム１１０からスイッチングハブ１２１を介して送信される画像データ及び音声データを入力する入力処理部である。撮影画像入力部２０１に入力されたデータは、後述の３次元モデル生成部２０３と、撮影画像選択部２０８とに送信される。
　通信制御部２０２は、撮影装置群１０１と画像生成装置１２２との間の通信、及び、制御ステーション１２４と画像生成装置１２２との間の通信、を制御する処理部である。画像生成装置１２２は、制御ステーション１２４から送信された、スタジアム等の３次元形状を示すデータ（３次元モデルデータ）及び各カメラの設置に関わる情報等を取得する。
　３次元モデル生成部２０３は、撮影画像入力部２０１から送信される、複数のカメラ夫々で撮影された画像のデータに基づき、オブジェクトの３次元形状を表すデータ、つまり、３次元モデルを生成する。３次元モデルは、例えばビジュアルハル等の形状推定方法を用いて生成できる。尚、本実施形態では、３次元モデルは点の集合で構成されるものとして以降の説明を行う。また、３次元モデルを構成する点を「構成点」と記載する。各構成点は、オブジェクト上のそれぞれ異なる特定位置に対応する。なお、３次元モデルの生成方法はビジュアルハルには限定されない。また、３次元モデルの形式も限定されず、例えば３次元モデルがボクセルの集合で表されてもいてもよいし、ポリゴンメッシュで表されていてもよい。
　３次元モデル色付け部２０４は、複数のカメラで撮影された画像を使用して、３次元モデル生成部２０３によって生成された３次元モデルに色付け処理を行う。詳しくは、３次元モデル色付け部２０４は、３次元モデルの構成点毎に、複数のカメラで撮影された画像の中から使う画像を選択的に決定し、該決定した画像から適切な画素値を取得すること等により、色付けを行う。
　仮想視点画像生成部２０５は、生成された３次元モデルに基づき、仮想視点からオブジェクトを見たときの画像、所謂、仮想視点画像を生成する処理を行う。例えば、仮想視点画像は、３次元空間に配置した３次元モデルを、仮想視点へ投影することにより生成することが可能である。
　映像出力部２０６は、仮想視点画像生成部２０５にて生成された仮想視点画像のデータを含む映像データを、エンドユーザ端末１２６に出力する処理を行う。エンドユーザ端末１２６に応じた映像フォーマットの変換処理は、映像出力部２０６にて実行される。
　仮想視点情報取得部２０７は、仮想カメラ操作ＵＩ１２５を介して指定された仮想視点を示す情報を取得し、該取得した情報を、仮想視点画像生成部２０５と後述する撮影画像選択部２０８とに送信する。
　撮影画像選択部２０８は、複数のカメラで撮影された画像の中から、３次元モデルに対する色付けを行う際に使う画像を選択する処理を行う。撮影画像選択部２０８で選択された画像を使用して、３次元モデル色付け部２０４は、色付け処理を実行する。なお、本実施形態では画像生成装置１２２が複数のカメラによる撮影に基づく画像として複数の撮影画像を取得し、その中から選択された撮影画像の画素値に基づいて色づけ処理を実行するものとする。ただしこれに限らず、画像生成装置１２２は撮影に基づく画像として、撮影画像から所定のオブジェクトの領域が抽出された前景画像などを取得してもよい。そして画像生成装置１２２は、複数のカメラによる撮影に基づく複数の前景画像の中から選択された前景画像の画素値に基づいて、色づけ処理を実行してもよい。なお、画像生成装置１２２の構成は上記に限定されない。例えば３次元モデル生成部２０３など、上記の構成要素の一部が画像生成装置１２２とは別の装置に実装されていてもよい。
　続けて、画像生成装置１２２のハードウェア構成について、図２（ｂ）を用いて説明する。図２（ｂ）は、画像生成装置１２２のハードウェア構成を示すブロック図である。画像生成装置は、ＣＰＵ２１１と、ＲＡＭ２１２と、ＲＯＭ２１３と、二次記憶装置２１４と、入出力インタフェース２１５とを有する。これらの構成要素は、バスによって接続され、構成要素間でデータを送受信することが可能である。
　ＣＰＵ２１１は、ＲＡＭ２１２をワークメモリとして用いて、ＲＯＭ２１３に格納されたプログラムを実行し、システムバスを介して画像生成装置１２２の各構成要素を統括的に制御する。これにより、図２（ａ）に示したモジュールが実現されたり、後述する図３や図５に示す処理が実行されたりする。
　二次記憶装置２１４は、画像生成装置１２２で取り扱われる種々のデータが格納される装置であり、例えば、ＨＤＤ、光ディスクドライブ、フラッシュメモリ等が用いられる。ＣＰＵ２１１は、システムバスを介して、二次記憶装置２１４へのデータの書き込みと二次記憶装置２１４に格納されたデータの読出しとを行う。入出力インタフェース２１５は、画像生成装置１２２とその外部の装置との間におけるデータの送受信を行う。以上が、本実施形態における画像生成装置の構成の内容である。
＜仮想視点画像を生成する処理について＞
　以下、本実施形態における仮想視点画像を生成する処理について、図３を用いて説明する。図３は、仮想視点画像を１フレーム生成する処理の流れを示すフローチャートである。
　ステップＳ３０１にて、３次元モデル生成部２０３は、複数のカメラで撮影された画像に基づき、３次元モデルを生成する。尚、以下では、「ステップＳ～」を単純に「Ｓ～」と略記する。
　Ｓ３０２にて、撮影画像選択部２０８は、複数のカメラで撮影された画像の中から、３次元モデルの構成点に対する色付けに使う画像を選択する。尚、本ステップで実行する処理の詳細については、図５及び図６を用いて後述する。
　Ｓ３０３にて、３次元モデル色付け部２０４は、Ｓ３０２で選択された画像を使用して、３次元モデルの構成点に対する色付け処理を行う。
　Ｓ３０４にて、３次元モデル色付け部２０４は、３次元モデルの全ての構成点について色付け処理を行ったか判定する。Ｓ３０４の判定結果が真の場合、Ｓ３０５に進む。一方、Ｓ３０４の判定結果が偽の場合、Ｓ３０２に戻り、未処理の構成点に対する色付け処理を実行する。
　Ｓ３０５にて、仮想視点画像生成部２０５は、色付け処理を行った３次元モデルに基づき、仮想視点画像を生成する。以上が、本実施形態における仮想視点画像を生成する処理の内容である。
　なお、本実施形態では、画像生成装置１２２が、撮影画像に基づいて生成された３次元モデルの各構成要素（各点）に色付け処理を行った後で、レンダリングを行って仮想視点画像を生成する場合を中心に説明する。この場合、色づけされた３次元モデルの構成要素の色と仮想視点とに基づいて、仮想視点画像の各画素の値が決定される。ただし、仮想視点画像の生成方法（画素値の決定方法）はこれに限定されない。例えば画像生成装置１２２は、３次元モデルに直接色付けは行わず、生成される仮想視点画像の各画素が３次元モデルのどの構成要素に対応するかを判定し、選択された撮影画像における該構成要素に対応する画素値に基づき仮想視点画像の画素値を決定してもよい。
＜色付け用画像選択処理について＞
　以下、互いに異なる位置に設置した複数のカメラを用いて同一の撮影対象領域を撮影することで取得される撮影画像の中から、３次元モデルの構成点への色付けに使う撮影画像を選択する処理（色付け用画像選択処理とする）について説明する。色付け用画像選択処理は、図３のＳ３０２で実行される。
　まず、色付け用画像選択処理の概要について、サッカースタジアムにおいてゴールネット裏からフィールド方向を見る仮想視点に応じた仮想視点画像を生成するケースを例に挙げて、図４を用いて説明する。
　図４（ａ）は、本実施形態で生成する仮想視点画像の一例であり、ゴールネット裏から見た画像を表す図である。図４（ｂ）は、そのときのゴールネットと、ゴール枠と、仮想視点を示す仮想カメラとの位置関係を説明するための、上側から観察した図である。図４（ａ）及び図４（ｂ）において、符号４０１は、ゴール枠を示し、符号４０２は、ゴールネットを示している。尚、説明のため、図４（ｂ）は、ゴール枠４０１のうちクロスバーの部分を省略した図となっている。符号４０３は、撮影対象のオブジェクトを示し、このケースでは選手（具体的にはゴールキーパー）である。符号４０４は、仮想カメラを示し、この仮想カメラからの視点で仮想視点画像を生成する。符号４０５～４０９は、仮想視点画像を生成するために必要な撮影画像を撮影するカメラを示す。
　本実施形態の課題は、図４（ａ）及び図４（ｂ）により説明できる。図４（ａ）は、ゴールネット４０２裏にセットした仮想カメラ４０４で撮影した画像、つまり仮想視点画像を示す。従来、このような仮想視点画像を生成する場合、オブジェクトを表現する３次元モデルを構成する各点への色付けにおいて、オブジェクトへの向きが仮想カメラと近いカメラが選択されていた。例えば、図４（ｂ）のケースでは、仮想カメラ４０４と向きが近いカメラ４０７が選択され、そのカメラによって撮影された画像で色付けが行われる。その際、カメラ４０７で撮影された画像にはゴールネット４０２が撮影されており、そのまま色付けを行うと、オブジェクト４０３を表現する３次元モデルにゴールネット４０２の色が着色されてしまうという問題がある。
　そこで本実施形態では、例えば、構成点４１０に色付けを行うケースにおいて、カメラ４０７ではなく、各カメラと構成点４１０とを結んだ線上にゴールネット４０２が存在しないカメラ（図４では、カメラ４０６、カメラ４０８等が候補となる）を選択する。これにより、構成点４１０に対する適切な色付け処理が可能になる。
　以下、本実施形態における色付け用画像選択処理について、図５及び図６を用いて説明する。図６は、図４と同様に、オブジェクトとカメラとの位置関係を示す模式図である。図６において、符号６０１はゴール枠を示し、符号６０２はゴールネットを示し、符号６０３は撮影対象の目標オブジェクトを示す。また、符号６０４は、仮想視点画像を生成するにあたって指定される位置、つまりその位置に設置されたものとされるカメラ（所謂、仮想カメラ）を示し、符号６０５～６０９は、実際に撮影に使用するカメラを示す。尚、説明のため、図６は、ゴール枠６０１のうちクロスバーの部分を省略した図となっている。以下、オブジェクト（選手）６０３の３次元モデルを構成する点の一つである構成点６１０に対し色付けを行う処理について、図５を用いて説明する。
　Ｓ５０１にて、３次元モデルの構成点６１０から、判定対象のカメラに対し、仮想的に光線を投影する。
　Ｓ５０２にて、Ｓ５０１での投影結果に基づき、判定対象のカメラの設置位置から構成点が可視か、言い換えると、このカメラが構成点を画像として捉えているか判定する。Ｓ５０２の判定結果が真の場合、Ｓ５０３に進む。一方、Ｓ５０２の判定結果が偽の場合、Ｓ５０４に進む。
　Ｓ５０２でＹＥＳの場合、Ｓ５０３にて、判定対象のカメラの位置から構成点が可視であることを示す情報を記録する。本実施形態では、可視判定か否かを示す情報が、図７に示すリストにおいて、カメラＩＤと対応付けされて記載される。
　一方、Ｓ５０２でＮＯの場合、Ｓ５０４にて、判定対象のカメラの位置から構成点が可視ではないことを示す情報を記録する。このようにＳ５０３又はＳ５０４にて、実際に撮影に使用したカメラの夫々に対する、可視可能か否かを示す可視判定情報が記録されていく。
　Ｓ５０５にて、Ｓ５０２における可視判定が、撮影に使用した全てのカメラについてなされたか、判定する。Ｓ５０５の判定結果が偽の場合、Ｓ５０６に進み、判定対象のカメラＩＤを更新、即ち、判定対象のカメラを変更した上で、Ｓ５０１に戻る。一方、Ｓ５０５の判定結果が真の場合、Ｓ５０７に進む。
　ここで、Ｓ５０１～Ｓ５０６の処理について、図６を用いて補足説明する。図６に示すケースでは、カメラ６０５～６０９のうちカメラ６０９のみ、構成点６１０がオブジェクト（選手）６０３の３次元モデルを構成する別の点によって遮蔽されるため可視と判定されない（Ｓ５０２でＮＯ）。なお、ゴールネット６０２は構成点６１０を遮蔽するオブジェクトとして定義されないものとし、カメラ６０７は可視と判定されるものとする。また、Ｓ５０２での判定の結果取得される、各カメラに対する可視であるか否かを示す情報は、Ｓ５０３又はＳ５０４にて、図７に示すようなリスト７０１を用いて記録される。リスト７０１には、可視判定の結果を示す情報を保持する列が設けられており、各カメラに対し、可視の場合“１”が記録される一方、不可視の場合“０”が記録される。
　Ｓ５０５の後、Ｓ５０７にて、可視と判定されたカメラの撮影画像に含まれる構成点に対応する画素について、その画素値を取得する。そして、取得した画素値を、図７に示すリスト７０１に記載する。本ステップで取得する画素値の一部又は全部は、後続の処理にて構成点に対する色付けに用いられる。
　Ｓ５０８にて、取得した画素値（具体的にはＲＧＢ値）の中に例外値があるか否か判定する。そして、例外値がある場合は、該例外値に対応するカメラを、選択候補から除外する。例えば、図６に示すケースでは、カメラ６０５～６０８のうちカメラ６０７のみ、構成点６１０からの光線がオブジェクト（ゴールネット）６０２を通ってカメラに到達することから、その画素値が例外値となる（図７参照）。よって、カメラ６０７を選択候補から除外する。尚、画素値が例外値かの判定手法としては、複数のカメラの撮影画像について着目画素に対応する画素値の平均値を算出し、該算出した平均値からの差が、所定の閾値以上のものを例外として扱う等の手法が考えられるが、これに限らない。
　Ｓ５０９にて、Ｓ５０７で除外されたカメラを除く可視のカメラの中から、構成点６１０の色付けに使用するカメラで撮影した撮影画像を選択する。このときの選択手法として例えば、仮想カメラ６０４からの距離が最も近いカメラを選択する手法を採用できる。図６に示すケースでは、仮想カメラ６０４からの距離が最も近いカメラは、除外されたカメラ６０７を除くとカメラ６０６である。従って、色付けに使用するカメラとして、カメラ６０６を選択する。尚、本ステップの選択手法はこれに限らない。例えば、除外されていないカメラのうち撮影方向が仮想カメラ６０４と最も近いカメラが選択されてもよい。また、複数のカメラが選択され、選択された複数のカメラに対応する複数の画素値に基づいて算出された色を用いて、色づけ処理がされてもよい。以上が、本実施形態における色付け用画像選択処理の内容である。
＜本実施形態の効果について＞
　本実施形態により、例えば図６に示すようなケースで構成点６１０に色付けを行う際、オブジェクト（ゴールネット）６０２の色のような本来付けるべきでない色を３次元モデルに付けてしまうカメラを除外した上で、色付けすることが可能となる。よって、より高品質な仮想視点画像を生成することが可能となる。なお、本実施形態では、オブジェクトの位置情報等に基づいて構成点６１０を撮影できない（不可視の）カメラを除外し、不可視のカメラ以外の中からさらに画素値が例外値となるカメラを除外するものとした。このようにして残った候補のカメラから色付けに用いるカメラを選択することで、構成点６１０を正しく撮影しているカメラを選択できる可能性が高くなる。ただしこれに限らず、不可視のカメラの除外と、画素値が例外値となるカメラの、何れか一方を行わなくてもよい。この方法によれば、除外のための判定に係る処理を削減することができる。
［第２の実施形態］
　本実施形態では、３次元モデルの構成点の色付けに使う撮影画像を選択する際に、予め設定されたマスク情報を利用する。尚、以下では既述の実施形態との差分について主に説明し、既述の実施形態と同様の内容については説明を適宜省略する。
＜画像生成装置の構成について＞
　以下、本実施形態における画像生成装置１２２のソフトウェア構成について、図８を用いて説明する。尚、本実施形態における画像生成装置１２２のハードウェア構成については、第１の実施形態と同様である。
　図８の通信制御部８０１は、制御ステーション１２４における通信を制御する機能ブロック（モジュール）であり、制御ステーション１２４と画像生成装置１２２との間における通信処理を行う。制御ステーション１２４は、通信制御部８０１を介して、スタジアムの３次元形状を示すデータ（３次元モデルデータ）及び各カメラの設置に関わる情報等に加え、マスク情報を送信する。
　マスク情報設定部８０２は、撮影に使用した複数のカメラについて、カメラ毎に、撮影画像内で色付けに利用できる領域であるか否か等を示すマスク情報を設定する処理を行う。ここで、マスク情報について、図９を用いて説明する。
　本実施形態におけるマスク情報とは、撮影画像内のオクルージョン領域に関する情報であって、該当領域を色付けに使用して良いか等を示す情報である。オクルージョン領域とは、目標オブジェクトとカメラとを結ぶ直線上に存在する他のオブジェクト（遮蔽オブジェクトとする）によって目標オブジェクトが遮られる可能性が生じる領域である。例えば、マスク情報は、ゴール枠等の遮蔽オブジェクトの背面に隠れてしまう目標オブジェクトを表す３次元モデルに対して色付け処理を行う際に、該当領域の画素値を使用して色付けを行わないよう明示的に示すための画像である。図９（ａ）は、あるカメラから撮影した撮影画像９０１を示す。撮影画像９０１内の符号９０２は、ゴール枠を示し、ゴール枠９０２により、オブジェクト（選手）９０３の一部が遮蔽されている。遮蔽されている領域に亘って存在するオブジェクト（選手）９０３の３次元モデルに対し、撮影画像９０１を使用して色付けを行ってしまうと、オブジェクト（選手）９０３の３次元モデルのうち頭の部分にゴール枠９０２の色が着色されることになる。そのような誤った色付けを回避するため、本実施形態では、図９（ｂ）に示すマスク画像９０４を使用する。マスク画像９０４内の黒領域は、ゴール枠による領域を示しており、このように、色付けに使用してはいけない領域を明示することで、色付けの際に該当領域の画素値を使用することを回避できる。
　ユーザーインタフェース８０３は、制御ステーション１２４に対してユーザーが各種指示を行うためのインタフェースである。ユーザーは、ユーザーインタフェース８０３を介して、マスク情報の設定を行う。
＜色付け用画像選択処理について＞
　以下、本実施形態における色付け用画像選択処理について、図１０を用いて説明する。尚、本実施形態における仮想視点画像を生成する処理の全体フローは第１の実施形態と同様であるため（図３参照）、説明を省略する。図１０に示す色付け用画像選択処理は、図３のＳ３０２で実行される。
　Ｓ１００１にて、３次元モデルの構成点から、判定対象のカメラに対し、光線を投影する。Ｓ１００１の処理は、図５のＳ５０１の処理と同様である。
　Ｓ１００２にて、Ｓ１００１での投影結果に基づき、判定対象のカメラの位置から構成点が可視か判定する。Ｓ１００２の処理は、図５のＳ５０２の処理と同様である。Ｓ１００２の判定結果が真の場合、Ｓ１００３に進む。一方、Ｓ１００２の判定結果が偽の場合、Ｓ１００５に進む。
　まず、Ｓ１００２でＹＥＳの場合について説明する。この場合、Ｓ１００３にて、判定対象のカメラの位置から構成点が可視であることを示す情報を記録し、Ｓ１００４にて、判定対象のカメラの撮影画像に対するマスク情報を記録する。Ｓ１００４では、撮影画像において、構成点に対応する画素が、（オクルージョン領域であることを示す）マスク領域に属するか判定すること等により、記録するマスク情報が生成されることになる。
　ここで、本実施形態で使用するマスク情報について、図１３を用いて詳しく説明する。図１３（ａ）に示す撮影画像１３０１には、遮蔽オブジェクト（ゴール枠）１３０２と遮蔽オブジェクト（ゴールネット）１３０３とで一部が遮蔽された、オブジェクト（選手）１３０４が写っている。本実施形態では、撮影画像１３０１に対するマスク情報として、図１３（ｂ）に示すマスク情報１３０５を導入する。マスク情報１３０５では、ゴール枠のような完全に遮蔽するオブジェクトによるマスク領域１３０６に加え、ゴールネットのような一部領域のみ遮蔽するオブジェクトによるマスク領域１３０７を新たに定義する。マスク領域１３０７は、その領域全ての画素が色付けに使用できない領域ではなく、生成する仮想視点画像よっては、該画素が色付けに使用できる領域である。このようにマスク領域を設定することにより、色付けに完全に使用できないマスク領域とそれ以外のマスク領域とを明示化し、その情報に基づいて、使用する撮影画像を選択する。マスク情報の具体的な内容は、ユーザーによって指定されてもよい。マスク情報設定部８０２は、ユーザーインタフェース８０３を介してユーザーによって指定された内容に基づき、マスク情報を設定する処理を行う。
　続けて、Ｓ１００２でＮＯの場合について説明する。この場合、Ｓ１００５にて、判定対象のカメラの位置から構成点が可視でないことを示す情報を記録する。
　Ｓ１００４又はＳ１００５の後、Ｓ１００６にて、Ｓ１００２における可視判定が、撮影に使用した全てのカメラについてなされたか、判定する。Ｓ１００６の判定結果が偽の場合、Ｓ１００７に進み、判定対象のカメラＩＤを更新、即ち、判定対象のカメラを変更した上で、Ｓ１００１に戻る。一方、Ｓ１００６の判定結果が真の場合、Ｓ１００８に進む。
　Ｓ１００８にて、Ｓ１００４で記録したマスク情報に基づき、構成点の色付けに使用するカメラの撮影画像を選択する。
　ここで、本実施形態における色付け用画像選択処理について、図１１を用いて補足説明する。図１１は、ゴールネット裏から選手を捉える仮想視点画像を生成する際に色付け用画像を選択するケースを示す模式図である。図１１において、符号１１０１はゴール枠を示し、符号１１０２はゴールネットを示し、符号１１０３はオブジェクト（選手）を示す。図１１は、オブジェクト１１０３に対応する構成点の一つである、構成点１１１０に対する色付け処理において、カメラ１１０５～１１０９でそれぞれ撮影された画像の中から、マスク情報を使用して１画像を選択するケースを示す。
　図１２は、本実施形態における色付け用画像選択処理（図１０）で作成されるリストの一例を示す図である。カメラリスト１２０１は、可視か否か示す情報、マスク情報、及び画素値を、カメラ毎に保持するリストである。前述したように、可視か否か示す情報は、Ｓ１００３又はＳ１００５でカメラリスト１２０１に記録される。また、マスク情報は、Ｓ１００４でカメラリスト１２０１に記録される。本実施形態におけるマスク情報は、マスクの有無、及び、マスク領域の場合のマスク種別を示す。ここでは、マスク情報が取り得る値として、該当領域がマスク領域でない（マスクがない）ことを示す値を“０”と定義する。また、該当領域がゴール枠のような完全に遮蔽するオブジェクトによるマスク領域であることを示す値を“１”、該当領域がゴールネットのような遮蔽される領域と遮蔽されない領域とが混在するマスク領域であることを示す値を“２”と定義する。
　図１０のＳ１００７における選択処理は、図１２に示したカメラリスト１２０１を使用して実行する。カメラリスト１２０１に登録されているカメラ１１０５～１１０９のうち、カメラ１１０９は不可視であり、カメラ１１０８はゴール枠で完全に遮蔽されることがマスク情報により判明するため、これらのカメラを選択候補から除外する。そして、残ったカメラ（つまり、マスク情報の値が“２”のカメラ）の中で例外値判定を行うことで、カメラ１１０７を選択候補から除外することができる。なお、マスク情報の値が“０”のカメラがあった場合は、そのカメラは例外値判定されることなく選択候補となる。最終的に残ったカメラのうち、選択されたカメラ（例えば仮想カメラ１１０４に最も近いカメラ１１０６）の撮影画像を、色付け用画像として選択する。なお、本実施形態では例外値判定の対象となるマスク領域がゴールネットに対応する場合の例を示したが、マスク領域に対応するオブジェクトはこれに限定されない。例えば、撮影対象が陸上競技である場合には、ハンマー投げのネットや幅跳びの砂場に対応するマスク領域が設定されてもよい。
＜本実施形態の効果について＞
　本実施形態によれば、例外値判定の対象となるカメラをマスク情報に基づいて絞り込むため、第１の実施形態より短時間で、複数の撮影画像の中から色付け用画像を選択することが可能である。
［第３の実施形態］
　本実施形態では第２の実施形態と同様に、３次元モデルの構成点の色付けに使う撮影画像を選択する際に、予め設定されたマスク情報を利用する。但し、本実施形態では、第２の実施形態で説明したマスク種別の情報に加え、色の情報についてもマスク情報として設定し、該設定したマスク情報を利用することで、より高速な撮影画像の選択を可能とする。尚、本実施形態におけるソフトウェア構成、及び、色付け用画像の選択処理のフローについては、第２の実施形態と同様である（図８、図１０参照）。
　本実施形態で使用するマスク情報について、図１４を用いて説明する。図１４（ａ）に示す撮影画像１４０１には、遮蔽オブジェクト（ゴール枠）１４０２と遮蔽オブジェクト（ゴールネット）１４０３とで一部が遮蔽された、オブジェクト（選手）１４０４が写っている。本実施形態では、撮影画像１４０１に対するマスク情報として、図１４（ｂ）に示すマスク情報１４０５を導入する。図１４（ｂ）に示すように、本実施形態も第２の実施形態と同様、ゴール枠のような完全に遮蔽するオブジェクトによるマスク領域１４０６に加え、ゴールネットのような一部領域のみ遮蔽するオブジェクトによるマスク領域１４０７を定義する。また、マスク領域の夫々に対し、色の情報を設定する。図１４の例では、ユーザーは、マスク領域１４０６の色情報（具体的にはＲＧＢ値）として(２５５，２５５，２５５)を設定し、マスク領域１４０７の色情報として (２２４，２２４，２２４)を指定している。これらの色情報は、マスク領域に位置する物体（ゴール枠およびゴールネット）の色に応じた値である。マスク情報の具体的な内容は、ユーザーによって指定されてもよいし、自動で設定されてもよい。マスク情報設定部８０２は、ユーザーインタフェース８０３を介してユーザーによって指定された内容に基づき、マスク情報を設定する処理を行う。
　図１５は、本実施形態における色付け用画像選択処理（図１０）で作成されるリストの一例を示す図である。リスト１５０１は、可視か否か示す情報、種別と色とに関する情報を含むマスク情報、及び画素値を、カメラ毎に保持するリストである。ここでは、カメラとオブジェクトとの位置関係が、第２の実施形態と同様のケースを例に挙げて説明する（図１１参照）。
　可視判定結果とマスク情報とに基づき、カメラ１１０５～１１０７が色付けに使う候補のカメラであることを導出できる。すなわち、オブジェクト１１０３により構成点１１１０が遮蔽されるカメラ１１０９、及び、マスク情報が“１”のゴール枠と構成点１１１０とが重なるカメラ１１０８が、色づけの選択候補から除外される。次いで、マスクの色情報と、撮影画像内の該当領域の画素値とを比較することで、構造点とカメラとを結んだ直線状に存在する何らかのオブジェクトによってカメラが遮蔽されているか、判定できる。図１５の例では、カメラ１１０７のマスク領域の色値と撮影画像の画素値とが近いため、カメラ１１０７はオブジェクト（具体的にはゴールネット）によって遮蔽されたカメラであることが分かり、色付けの選択候補から除外される。このように、マスク領域の色値と撮影画像の画素値とを比較することで、カメラが遮蔽されているか判定することが可能である。尚、判定手法は、画素値とマスク領域の色値との差が一定の閾値以内であれば遮蔽されているとみなす手法等が考えられるが、これに限らない。このようにマスクの色情報（ＲＧＢ値）と画素値とを比較することで、複数のカメラ間の画素値を比較して例外値判定をする必要がなくなり、該当カメラが遮蔽されているか否かを直ちに判定することが可能となる。よって、例えば、仮想カメラの位置に近いカメラから順番に判定していく手法を採用する場合に、判定対象のカメラが遮蔽物によって遮蔽されていないと判断できれば、その段階で色付けに使われるカメラの探索を終了することが可能となる。尚、本実施形態ではマスク情報が“１”のゴール枠と構成点１１１０とが重なるカメラ１１０８を初めに除外したが、これに限らず、カメラ１１０８についても撮影画像の画素値とマスク情報の色値（２５５，２５５，２５５）を比較して除外判定を行ってもよい。また、マスクの色情報の形式は上記に限定されず、例えば輝度情報であってもよいし、一つのマスク種別が複数の色情報に対応していてもよい。
＜本実施形態の効果について＞
　本実施形態によれば、第２の実施形態より短時間で、複数の撮影画像の中から色付け用画像を選択することが可能である。
［その他の実施形態］
　本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
　実施形態を参照して本発明を説明して来たが、本発明が上述した実施形態に限定されないことは言うまでもない。下記のクレームは最も広く解釈されて、そうした変形例及び同等の構造・機能全てを包含するものとする。
　本願は、２０１８年７月１３日提出の日本国特許出願特願２０１８‐１３３４７１を基礎として優先権を主張するものであり、その記載内容の全てをここに援用する。

Claims (13)

  1. 　目標オブジェクトを複数のカメラにより複数の方向から撮影することで得られる画像に基づき、該目標オブジェクトを含む仮想視点画像を生成する装置であって、
    　前記複数のカメラによる撮影に基づく複数の画像の中から、前記目標オブジェクトにおける特定位置が他のオブジェクトにより遮蔽されていない画像を、当該画像の画素値に基づいて選択する選択手段と、
    　前記選択手段により選択された画像に基づき、前記仮想視点画像における前記特定位置に対応する画素の値を決定する決定手段と、
    　前記決定手段により決定された画素の値に基づき、前記仮想視点画像を生成する生成手段と
    を有することを特徴とする装置。
  2. 　前記複数のカメラの夫々について、設置位置から前記特定位置が可視か判定することで、可視か否かを示す可視判定情報を導出する導出手段を更に有することを特徴とする請求項１に記載の装置。
  3. 　前記選択手段は、前記可視判定情報に基づき、前記画像を選択することを特徴とする請求項２に記載の装置。
  4. 　前記特定位置に対応する画素値が例外値となる画像を、前記選択手段による選択候補から除外する除外手段を更に有することを特徴とする請求項１乃至３の何れか１項に記載の装置。
  5. 　前記複数のカメラによる撮影に基づく複数の画像に基づき、前記特定位置に対応する複数の画素値の平均値を算出する算出手段と、
    　前記複数のカメラによる撮影に基づく画像の夫々について、前記特定位置に対応する画素値と前記算出した平均値との間の差が所定の閾値以上が判定することで、該画素値が前記例外値か判定する判定手段と
    を更に有することを特徴とする請求項４に記載の装置。
  6. 　前記撮影に基づく画像におけるオクルージョン領域を指定するマスク情報を設定する設定手段を更に有し、
    　前記選択手段は、前記マスク情報を用いて前記画像を選択することを特徴とする請求項５に記載の装置。
  7. 　前記マスク情報は、マスクが有るか無いか、及び、マスクが有る場合のマスク種別を示す情報を含むことを特徴とする請求項６に記載の装置。
  8. 　前記マスク情報は、前記マスクの領域に対応する色に関する情報を更に含むことを特徴とする請求項７に記載の装置。
  9. 　前記複数のカメラによる撮影に基づく画像の夫々について、前記特定位置に対応する画素値と前記マスクの領域に対応する色の値とを比較した結果に基づいて、前記選択手段は、前記画像を選択することを特徴とする請求項８に記載の装置。
  10. 　前記複数のカメラの夫々に対する前記マスク情報が保持されたリストを作成する作成手段を更に有し、
    　前記選択手段は、前記リストを用いて前記画像を選択することを特徴とする請求項６乃至９の何れか１項に記載の装置。
  11. 　前記作成手段は、前記複数のカメラによる撮影に基づく画像の夫々について、前記特定位置に対応する画素が、前記オクルージョン領域であることを示すマスク領域に属するか判定することで、前記リストを作成することを特徴とする請求項１０に記載の装置。
  12. 　目標オブジェクトを複数のカメラにより複数の方向から撮影することで得られる画像に基づき、該目標オブジェクトを含む仮想視点画像を生成する装置の制御方法であって、
    　前記複数のカメラによる撮影に基づく複数の画像の中から、前記目標オブジェクトにおける特定位置が他のオブジェクトにより遮蔽されていない画像を、当該画像の画素値に基づいて選択する選択ステップと、
    　前記選択ステップにより選択された画像に基づき、前記仮想視点画像における前記特定位置に対応する画素の値を決定する決定ステップと、
    　前記決定ステップにより決定された画素の値に基づき、前記仮想視点画像を生成する生成ステップと
    を有することを特徴とする制御方法。
  13. 　コンピュータに、請求項１２に記載の方法を実行させるための、プログラム。
PCT/JP2019/026682 2018-07-13 2019-07-04 装置、制御方法、及びプログラム WO2020013077A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US17/144,663 US11557081B2 (en) 2018-07-13 2021-01-08 Image processing apparatus, control method for an image processing apparatus, and medium

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018-133471 2018-07-13
JP2018133471A JP7179515B2 (ja) 2018-07-13 2018-07-13 装置、制御方法、及びプログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/144,663 Continuation US11557081B2 (en) 2018-07-13 2021-01-08 Image processing apparatus, control method for an image processing apparatus, and medium

Publications (1)

Publication Number Publication Date
WO2020013077A1 true WO2020013077A1 (ja) 2020-01-16

Family

ID=69142562

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/026682 WO2020013077A1 (ja) 2018-07-13 2019-07-04 装置、制御方法、及びプログラム

Country Status (3)

Country Link
US (1) US11557081B2 (ja)
JP (1) JP7179515B2 (ja)
WO (1) WO2020013077A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112967200A (zh) * 2021-03-05 2021-06-15 北京字跳网络技术有限公司 图像处理方法、装置、电子设备、介质和计算机程序产品
US11156451B2 (en) * 2019-06-05 2021-10-26 Sony Interactive Entertainment Inc. Three-dimensional measurement device, three-dimensional measurement method, and program

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113508419B (zh) 2019-02-28 2024-09-13 斯塔特斯公司 从广播视频生成运动员跟踪数据的系统及方法
JP7197526B2 (ja) * 2020-01-29 2022-12-27 Kddi株式会社 画像処理装置、方法及びプログラム
JP7500231B2 (ja) 2020-03-05 2024-06-17 キヤノン株式会社 画像生成システム、その制御方法及びプログラム。
JP7536531B2 (ja) 2020-07-02 2024-08-20 キヤノン株式会社 画像処理装置、画像処理方法、画像処理システム及びプログラム。
JP2022014358A (ja) 2020-07-06 2022-01-19 キヤノン株式会社 情報処理装置、情報処理装置の制御方法およびプログラム
WO2022019149A1 (ja) * 2020-07-21 2022-01-27 ソニーグループ株式会社 情報処理装置、３ｄモデル生成方法、情報処理方法およびプログラム
KR102544972B1 (ko) * 2020-11-16 2023-06-20 주식회사 핏투게더 선수 추적 방법, 선수 추적 장치 및 선수 추적 시스템
CN112967199A (zh) * 2021-03-05 2021-06-15 北京字跳网络技术有限公司 图像处理方法和装置
JP7532314B2 (ja) * 2021-06-01 2024-08-13 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10191396A (ja) * 1996-12-26 1998-07-21 Matsushita Electric Ind Co Ltd 中間視点画像生成方法および視差推定方法および画像伝送方法
JP2006024141A (ja) * 2004-07-09 2006-01-26 Sony Corp 画像処理装置及び方法、プログラム
JP2009116532A (ja) * 2007-11-05 2009-05-28 Nippon Telegr & Teleph Corp <Ntt> 仮想視点画像生成方法および仮想視点画像生成装置
JP2009211335A (ja) * 2008-03-04 2009-09-17 Nippon Telegr & Teleph Corp <Ntt> 仮想視点画像生成方法、仮想視点画像生成装置、仮想視点画像生成プログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体
JP2013061850A (ja) * 2011-09-14 2013-04-04 Canon Inc ノイズ低減のための画像処理装置及び画像処理方法
JP2015045920A (ja) * 2013-08-27 2015-03-12 日本電信電話株式会社 仮想視点映像生成装置、仮想視点映像生成方法、及び仮想視点映像生成プログラム

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5373931B2 (ja) 2012-03-22 2013-12-18 日本電信電話株式会社 仮想視点画像生成方法，仮想視点画像生成装置および仮想視点画像生成プログラム
EP3869797B1 (en) * 2012-08-21 2023-07-19 Adeia Imaging LLC Method for depth detection in images captured using array cameras
EP3016076A1 (en) * 2014-10-31 2016-05-04 Thomson Licensing Method and apparatus for removing outliers from a main view of a scene during 3D scene reconstruction
US10846836B2 (en) * 2016-11-14 2020-11-24 Ricoh Company, Ltd. View synthesis using deep convolutional neural networks
JP7072378B2 (ja) 2017-12-13 2022-05-20 キヤノン株式会社 画像生成装置およびその制御方法、画像生成システム、プログラム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10191396A (ja) * 1996-12-26 1998-07-21 Matsushita Electric Ind Co Ltd 中間視点画像生成方法および視差推定方法および画像伝送方法
JP2006024141A (ja) * 2004-07-09 2006-01-26 Sony Corp 画像処理装置及び方法、プログラム
JP2009116532A (ja) * 2007-11-05 2009-05-28 Nippon Telegr & Teleph Corp <Ntt> 仮想視点画像生成方法および仮想視点画像生成装置
JP2009211335A (ja) * 2008-03-04 2009-09-17 Nippon Telegr & Teleph Corp <Ntt> 仮想視点画像生成方法、仮想視点画像生成装置、仮想視点画像生成プログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体
JP2013061850A (ja) * 2011-09-14 2013-04-04 Canon Inc ノイズ低減のための画像処理装置及び画像処理方法
JP2015045920A (ja) * 2013-08-27 2015-03-12 日本電信電話株式会社 仮想視点映像生成装置、仮想視点映像生成方法、及び仮想視点映像生成プログラム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11156451B2 (en) * 2019-06-05 2021-10-26 Sony Interactive Entertainment Inc. Three-dimensional measurement device, three-dimensional measurement method, and program
CN112967200A (zh) * 2021-03-05 2021-06-15 北京字跳网络技术有限公司 图像处理方法、装置、电子设备、介质和计算机程序产品

Also Published As

Publication number Publication date
US20210133944A1 (en) 2021-05-06
US11557081B2 (en) 2023-01-17
JP7179515B2 (ja) 2022-11-29
JP2020013216A (ja) 2020-01-23

Similar Documents

Publication Publication Date Title
WO2020013077A1 (ja) 装置、制御方法、及びプログラム
JP7072378B2 (ja) 画像生成装置およびその制御方法、画像生成システム、プログラム
US20190132529A1 (en) Image processing apparatus and image processing method
US11250619B2 (en) Image processing apparatus and method
US11677925B2 (en) Information processing apparatus and control method therefor
US20240185480A1 (en) Image processing system, image processing method, and storage medium
JP2013025649A (ja) 画像処理装置及び画像処理方法、プログラム
JP2016063248A (ja) 画像処理装置および画像処理方法
JP2021119459A (ja) 生成装置、生成方法
JP6812181B2 (ja) 画像処理装置、画像処理方法、及び、プログラム
JP6821398B2 (ja) 画像処理装置、画像処理方法及びプログラム
US11295453B2 (en) Image processing apparatus, transmission method, and storage medium
JP7190849B2 (ja) 画像生成装置、画像生成装置の制御方法及びプログラム
EP3926949B1 (en) Control apparatus, control method, and program
JP2019080183A (ja) 画像伝送装置、画像伝送方法、及びプログラム
US20230291865A1 (en) Image processing apparatus, image processing method, and storage medium
WO2024048295A1 (ja) 情報処理装置、情報処理方法、プログラム
JP2023167486A (ja) 画像処理装置、画像処理方法およびプログラム
JP2021034921A (ja) 画像処理装置、画像処理装置の制御方法、システム、およびプログラム
JP2021093648A (ja) 画像データ処理装置、画像データ処理方法、及びプログラム
JP2021184522A (ja) 画像処理装置、画像処理方法およびプログラム
JP2023019086A (ja) 伝送制御装置、伝送制御装置の動作方法及びプログラム
JP2022070746A (ja) 仮想視点画像生成システム、画像処理装置、画像生成装置およびそれらの制御方法、プログラム
JP2020046944A (ja) 画像処理装置、制御方法、及びプログラム
JP2018191236A (ja) 情報処理システム、情報処理方法、装置およびプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19834706

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19834706

Country of ref document: EP

Kind code of ref document: A1