WO2022176720A1 - 情報処理装置、情報処理方法、およびプログラム - Google Patents

情報処理装置、情報処理方法、およびプログラム Download PDF

Info

Publication number
WO2022176720A1
WO2022176720A1 PCT/JP2022/004992 JP2022004992W WO2022176720A1 WO 2022176720 A1 WO2022176720 A1 WO 2022176720A1 JP 2022004992 W JP2022004992 W JP 2022004992W WO 2022176720 A1 WO2022176720 A1 WO 2022176720A1
Authority
WO
WIPO (PCT)
Prior art keywords
data
virtual viewpoint
partial
dimensional shape
divided
Prior art date
Application number
PCT/JP2022/004992
Other languages
English (en)
French (fr)
Inventor
充 前田
弘治 岡部
秀和 亀井
日菜子 船木
祐矢 太田
拓 小笠原
和文 小沼
Original Assignee
キヤノン株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by キヤノン株式会社 filed Critical キヤノン株式会社
Priority to KR1020237027348A priority Critical patent/KR20230130709A/ko
Priority to CN202280015742.4A priority patent/CN116940964A/zh
Priority to EP22756041.4A priority patent/EP4296958A1/en
Publication of WO2022176720A1 publication Critical patent/WO2022176720A1/ja
Priority to US18/450,844 priority patent/US20230394701A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/189—Recording image signals; Reproducing recorded image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194—Transmission of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/275—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals
    • H04N13/279—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals the virtual viewpoint locations being selected by the viewers or determined by tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/282—Image signal generators for generating image signals corresponding to three or more geometrical viewpoints, e.g. multi-view systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/24—Monitoring of processes or resources, e.g. monitoring of server load, available bandwidth, upstream requests
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Definitions

  • the present disclosure relates to technology for transmitting three-dimensional shape data.
  • Patent Document 1 discloses a system that generates a virtual viewpoint image from a plurality of images. Specifically, three-dimensional shape data representing the three-dimensional shape of the object is generated from a plurality of images. Using this three-dimensional shape data, a virtual viewpoint image representing the view from the virtual viewpoint is generated.
  • an object of the present disclosure is to reduce the transmission load of three-dimensional shape data.
  • An information processing apparatus includes a first acquisition unit that acquires virtual viewpoint information for specifying a position of a virtual viewpoint and a line-of-sight direction from the virtual viewpoint, and a second acquisition unit that acquires three-dimensional shape data of an object. and identifying a partial area of the object, which is displayed in a virtual viewpoint image representing an appearance from the virtual viewpoint, based on the virtual viewpoint information obtained by the first obtaining means. and output means for outputting partial data corresponding to the partial area specified by the specifying means in the three-dimensional shape data acquired by the second acquiring means.
  • FIG. 1 is a diagram showing an example of a configuration of a virtual viewpoint image generation system including a 3D information processing apparatus according to Embodiment 1; FIG. It is a figure which shows an example of arrangement
  • FIG. 4 is a diagram showing an example of a method of dividing a foreground model;
  • FIG. 4 is a diagram showing an example of a method of dividing a foreground model;
  • It is a figure which shows an example of the division
  • FIG. 4 is a diagram showing an example of a data structure of a stored foreground model;
  • FIG. 4 is a diagram showing an example of a data structure of a stored foreground model;
  • FIG. 4 is a diagram showing an example of a data structure of a stored foreground model;
  • FIG. 4 is a diagram showing an example of a data structure of a stored foreground model;
  • FIG. 4 is a diagram showing an example of a data structure of a stored foreground model
  • FIG. 4 is a diagram showing an example of a data structure of a stored foreground model
  • It is a figure which shows an example of the data structure of the background model stored.
  • It is a figure which shows an example of the data structure of the background model stored.
  • 4 is a flowchart showing processing of the virtual viewpoint image generation system according to the first embodiment
  • 4 is a diagram showing the communication status of each part of the virtual viewpoint image generation system according to Embodiment 1.
  • FIG. FIG. 10 is a diagram showing an example of the configuration of a virtual viewpoint image generation system including a 3D information processing apparatus according to Embodiment 2;
  • 10 is a diagram showing an example of a method for dividing a foreground model according to the second embodiment; 10 is a flowchart showing processing of the virtual viewpoint image generation system according to Embodiment 2; FIG. 4 is a diagram showing an example of a data structure of a stored foreground model; 1 is a block diagram showing an example of a hardware configuration of a 3D information processing apparatus; FIG.
  • a virtual viewpoint image is an image generated by a user and/or a dedicated operator or the like freely manipulating the position and orientation of a virtual camera, and is an image representing a view from a virtual viewpoint.
  • a virtual viewpoint image is also called a free viewpoint image, an arbitrary viewpoint image, or the like.
  • the case where the virtual viewpoint is specified by user operation will be mainly described, but the virtual viewpoint may be specified automatically based on the result of image analysis or the like.
  • the term "image" is assumed to include the concepts of both moving images and still images.
  • a virtual camera is a virtual camera different from a plurality of imaging devices actually installed around an imaging area, and is a concept for conveniently explaining a virtual viewpoint related to generation of a virtual viewpoint image.
  • the virtual viewpoint image can be regarded as an image captured from a virtual viewpoint set within the virtual space associated with the imaging region.
  • the position and orientation of the viewpoint in the virtual imaging can be expressed as the position and orientation of the virtual camera.
  • the virtual viewpoint image is an image simulating the captured image obtained by the camera when it is assumed that the camera exists at the position of the virtual viewpoint set in the space.
  • the content of temporal transition of the virtual viewpoint is referred to as a virtual camera path.
  • the imaging device only needs to have a physical camera (real camera). Also, the imaging device may have a function of performing various image processing in addition to the physical camera. For example, the imaging device may have a processing unit that performs foreground/background separation processing. Further, the imaging device may have a control unit that performs transmission control for transmitting an image of a part of the captured image. Also, the imaging device may have a plurality of physical cameras.
  • FIG. 1 is a virtual viewpoint image generation system configuration diagram of a three-dimensional information processing apparatus 100 that processes three-dimensional shape data generated by installing a plurality of cameras in facilities such as stadiums and concert halls.
  • the virtual viewpoint image generation system includes cameras 101a to 101t, an input unit 102, a foreground model generation unit 103, a background model generation unit 104, a model acquisition unit 105, a model division unit 106, a management unit 107, a storage unit 108, a transmission/reception unit 109, It has a selection unit 110 and terminals 111a to 111d. Note that the cameras 101a to 101t are explained as the camera 101 unless otherwise specified.
  • the terminals 111a to 111d are explained as the terminal 111 unless otherwise specified.
  • the three-dimensional shape data may be referred to as a model below.
  • the model may refer to three-dimensional shape data indicating the three-dimensional shape of the foreground or background, or may refer to data having color information of the foreground or background in addition to the three-dimensional shape data.
  • the cameras 101 are arranged so as to surround a subject (object), and are photographed in synchronization. Synchronization refers to a state in which imaging timings are controlled to be substantially the same.
  • FIG. 2 shows an example of camera arrangement. However, the number and arrangement of cameras are not limited to this.
  • each of the cameras 101a-t is aimed at one of three points of regard 150-152. In order to simplify the explanation, the case where there is one subject 210 will be described, but the same processing can be performed for a plurality of subjects as well.
  • the cameras 101a to 101t are network-connected via wired cables and are connected to the input unit 102 . Each frame is photographed at the same time.
  • the photographed image data is given a time code and a frame number, and the image data is transmitted.
  • Each camera is assigned a camera ID.
  • the point of gaze may be the intersection of the optical axes of a plurality of cameras directed to the same point of gaze. Also, the optical axes of the cameras directed to the same gaze point do not have to pass through the gaze point. Also, the points of gaze may be three or more, or may be one or two. Also, each camera may be directed to a different gaze point.
  • the input unit 102 inputs image data captured by the camera 101 and outputs it to the foreground model generation unit 103 and background model generation unit 104 .
  • the image data may be captured image data, or may be image data obtained by extracting a partial area from the captured image. In the latter case, for example, the input unit 102 may output to the foreground model generation unit 103 foreground image data obtained by extracting the foreground object area from the captured image.
  • the input unit 102 may output background image data obtained by extracting a background object area from the captured image to the background model generation unit 104 .
  • the process of extracting the subject portion, the process of generating the silhouette image, and the process of generating the foreground image can be omitted in the foreground model generation unit 103, which will be described later.
  • these processes may be performed in an imaging device having a camera.
  • the foreground model generation unit 103 generates one or more types of three-dimensional shape data of the subject from the input image data.
  • a point cloud model, a foreground image, and a mesh model of an object are generated.
  • a distance image from a camera or a colored point group in which color information is attached to each point of the point group may be used.
  • the foreground model generation unit 103 extracts the image of the subject from the synchronously captured image data.
  • the method of extracting the image of the subject is not particularly limited, but it is possible to capture an image in which the subject is not shown as a reference image and use the difference from the input image to extract the subject.
  • the method for shape estimation is not particularly limited, but for example, the foreground model generation unit 103 may generate three-dimensional shape data using a visual volume intersection method (shape from silhouette method). More specifically, the foreground model generation unit 103 generates a silhouette image with pixel values of 1 at pixel positions of the subject portion and 0 at pixel positions of other portions.
  • the foreground model generation unit 103 uses the generated silhouette image to generate point cloud model data, which is three-dimensional shape data of the subject, using the visual volume intersection method.
  • the foreground model generation unit 103 obtains a circumscribing rectangle of the subject from the silhouette image, cuts out the subject image of the input image using the circumscribing rectangle, and extracts this as a foreground image.
  • the foreground model generating unit 103 obtains parallax images of a plurality of cameras, creates distance images, and generates a mesh model.
  • the method of generating the mesh model is not particularly limited. However, in the present embodiment, a plurality of types of three-dimensional shape data are generated, but the present disclosure can also be applied to a form in which one type of three-dimensional shape data is generated.
  • the background model generation unit 104 generates a background model.
  • the background is a stadium, a concert, or a theater stage.
  • the background model generation method is not limited.
  • three-dimensional shape data of a stadium or the like having a background field may be generated.
  • the three-dimensional shape data of the stadium may be generated using blueprints of the stadium.
  • the CAD data may be used as the three-dimensional shape data of the stadium.
  • three-dimensional shape data may be generated by laser scanning the stadium.
  • the entire stadium is generated as one piece of three-dimensional shape data.
  • the background image of the audience or the like may be acquired each time the image is captured.
  • the model acquisition unit 105 acquires the three-dimensional shape data regarding the subject and the three-dimensional shape data regarding the background generated by the foreground model generation unit 103 and the background model generation unit 104 .
  • the model dividing unit 106 divides the input three-dimensional shape data into multiple pieces of three-dimensional shape data. The division method will be described later.
  • the management unit 107 acquires the three-dimensional shape data acquired by the foreground model generation unit 103 and the three-dimensional shape data generated by dividing by the model division unit 106 and stores them in the storage unit 108 . At the time of saving, a table for data access for reading each data is generated, and managed so that the data can be read and written in association with the time code, frame number, and the like. In addition, data is output based on an instruction from the selection unit 110, which will be described later.
  • the storage unit 108 stores the input data.
  • it is composed of a semiconductor memory, a magnetic recording device, or the like. The saving format will be described later.
  • Data is written and read based on instructions from the management unit 107, and the written data is output to the transmission/reception unit 109 according to the read instructions.
  • the transmitting/receiving unit 109 communicates with a terminal 111, which will be described later, and transmits/receives requests from the terminal and data.
  • the selection unit 110 is a selection unit that selects three-dimensional shape data to be transmitted to the terminal, and its operation will be described later. It selects which part of the divided three-dimensional shape data is to be output, and outputs the information to the management unit 107 .
  • the terminal 111 Based on the three-dimensional shape data acquired from the three-dimensional information processing apparatus 100, the terminal 111 generates virtual viewpoint information by setting a virtual viewpoint by the user, and based on this, displays and provides a virtual viewpoint image. .
  • the number is not limited to this.
  • the number of terminals 111 may be one.
  • FIG. 17 is a block diagram showing a configuration example of computer hardware applicable to the three-dimensional information processing apparatus 100 according to the present embodiment.
  • the CPU 1701 controls the entire computer using the computer programs and data stored in the RAM 1702 and ROM 1703, and executes the processes described later as those performed by the 3D information processing apparatus 100 according to this embodiment. That is, the CPU 1701 functions as each processing unit within the three-dimensional information processing apparatus 100 shown in FIG.
  • the RAM 1702 has an area for temporarily storing computer programs and data loaded from an external storage device 1706, data acquired from the outside via an I/F (interface) 1707, and the like. Furthermore, the RAM 1702 has a work area used when the CPU 1701 executes various processes. That is, the RAM 1702 can be allocated, for example, as frame memory, or can provide other various areas as appropriate.
  • the ROM 1703 stores setting data for this computer, a boot program, and the like.
  • An operation unit 1704 includes a keyboard, a mouse, and the like, and can be operated by the user of the computer to input various instructions to the CPU 1701 .
  • An output unit 1705 displays the results of processing by the CPU 1701 . Also, the output unit 1705 is configured by, for example, a liquid crystal display.
  • the external storage device 1706 is a large-capacity information storage device typified by a hard disk drive.
  • the external storage device 1706 stores an OS (operating system) and a computer program for causing the CPU 1701 to implement the functions of the units shown in FIG. Furthermore, each image data to be processed may be stored in the external storage device 1706 .
  • the computer programs and data stored in the external storage device 1706 are appropriately loaded into the RAM 1702 under the control of the CPU 1701 and processed by the CPU 1701 .
  • the I/F 1707 can be connected to a network such as a LAN or the Internet, or other equipment such as a projection device or a display device. can be
  • a bus 1708 connects the above-described units.
  • FIG. 5(a) An example of the format of the three-dimensional shape data stored in the storage unit 108 is shown in FIG. 5(a).
  • the three-dimensional shape data is saved as sequence data representing a series of shots. For example, sequences correspond to events and cuts.
  • the management unit 107 manages data in units of sequences.
  • the sequence data includes a sequence header, and the sequence header stores a sequence header start code indicating the beginning of the sequence.
  • This data also stores information about the entire sequence.
  • the information about the entire sequence includes the name of the sequence, the shooting location, the date and time when shooting was started, the time code representing the time, the frame rate, and the image size.
  • the information about the entire sequence also includes the ID and parameter information of each camera.
  • various three-dimensional shape data are saved in units called data sets. The number M of the data sets is described in the sequence header. Information for each data set is stored below. In this embodiment, two data sets, a data set of foreground model data and a data set of background model data, are included.
  • a data set identification ID is first given.
  • the identification ID a unique ID is assigned to the storage unit 108 or all data sets.
  • the dataset type is then saved.
  • the data set includes point cloud model data, foreground image, colored point cloud data, distance image data, and mesh model data.
  • the data set class code is expressed as a 2-byte code shown in FIG. 5(e).
  • data types and codes are not limited to these. Data representing other three-dimensional shape data may also be used.
  • the pointer to the data set is saved.
  • it is not limited to pointers as long as it is information for accessing each data set.
  • a file system may be constructed in the storage unit and used as the file name.
  • point cloud model data and foreground images will be described as examples of the types of foreground model datasets.
  • FIG. 6(a) An example of the configuration of the foreground model data set is shown in FIG. 6(a).
  • the foreground model data set is saved in units of frames, but it is not limited to this.
  • a foreground model data header is stored at the head of the dataset, and the header stores information such as the fact that this dataset is a foreground model dataset and the number of frames.
  • the time code representing the time of the first frame of the foreground model data and the data size of the frame are stored in this order.
  • the data size is for referring to the data of the next frame, and may be collectively stored in the header. Subsequently, the number P of subjects for generating a virtual viewpoint image at the time indicated by the time code is saved.
  • the number C of cameras used for photographing at that time is stored. It should be noted that instead of the number of cameras used for photographing, the number of cameras in which the object appears in the photographed image may be used. Subsequently, the camera ID of the camera used is saved.
  • FIG. In this embodiment, a method of setting the x-axis, the y-axis, and the z-axis and equally dividing them will be described.
  • the longitudinal direction of the stadium is defined as the x-axis, the lateral direction as the y-axis, and the height as the z-axis. Let this be the reference coordinate axis. However, it is not limited to this.
  • dx be the number of divisions in the x-axis direction
  • dy be the number of divisions in the y-axis direction
  • dz be the number of divisions in the z-axis direction.
  • FIG. 3A An example of division is shown in FIG. 3A.
  • FIG. 3A shows a situation where dx is 2, dy is 2, and dz is 2.
  • FIG. 3A shows a situation where dx is 2, dy is 2, and dz is 2.
  • FIG. 3 This divides the sphere into eight directions. That is, it is divided into divisions 300-1 to 300-8.
  • the center of the division is the center of the model (center of gravity), and the foreground model is divided into eight.
  • the one on the left side of FIG. 3A shows a split model 300-1.
  • FIG. 3B shows the case where dx is 2, dy is 2, and dz is 1.
  • the division method is not limited to this.
  • the lateral direction of the stadium may be the x-axis
  • the longitudinal direction may be the y-axis
  • the height may be the z-axis.
  • the division is performed by defining the mutually orthogonal x-axis, y-axis, and z-axis
  • the division axis is not limited to these.
  • a division method other than the coordinate system may be used.
  • the subject may be divided into parts of the body of a person or animal, such as the face, body, limbs, and the like.
  • the data of the foreground model of each division follows.
  • a data size of the data of the foreground model of the first subject is saved.
  • the point cloud model data included in the division 300-1 of the point cloud data of the first object is saved.
  • the divided point cloud data as shown in FIG. 6C, the data size of the included point cloud is saved, and the number R of points forming the point cloud model is saved.
  • the point cloud data of the divided data are stored in order below. First, the number of coordinate points that make up the point cloud of the initial object is saved. Thereafter, the coordinates of that number of points are saved.
  • the coordinate system is stored as three-axis data, but the present invention is not limited to this, and polar coordinates or other coordinate systems may be used.
  • polar coordinates or other coordinate systems may be used.
  • point cloud data is saved for each divided portion of the first object. Furthermore, the divided data included in the point cloud data after the second subject are stored in order. Point cloud data up to the P-th subject are saved.
  • the foreground image data is saved for each camera ID.
  • data size of each foreground image data, image size, bit depth of pixel value, pixel value, etc. are stored.
  • the image data may be encoded by JPEG, for example.
  • the foreground image data from each camera is successively stored for each subject. If the subject is not captured by the camera, NULL data may be written, or the number of cameras capturing the subject and the corresponding camera ID may be stored.
  • FIG. 9(a) shows an example of the configuration of the background model data set.
  • a background model data header is stored at the head of the dataset, and as shown in FIG. ing.
  • the format of the background model data is described.
  • the data set class code of the format of the background model data is 0x0006.
  • the number of divisions of the background model data is described. In the present embodiment, an example in which a plane is divided into B pieces will be described.
  • the main viewpoint of the virtual viewpoint image in the stadium is directed toward the field, it is possible to easily specify the division of the background centering on the division of the x-axis and the y-axis.
  • a method of setting the x-axis, y-axis, and z-axis and dividing each may be used in the same manner as the division of the foreground model data.
  • the background since the structure of the stadium does not change during the shooting period, one is saved in the sequence. If the background model data changes during the shooting period, it may be generated for each frame in the same manner as the image, or may be stored for each period during which it does not change.
  • division by the content of each background may also be performed.
  • the field surface may be divided differently.
  • the number of divisions is not limited to this. Different division methods and number of divisions may be used for the foreground and the background. For example, if the number of divisions is increased, the data is reduced and the effect of improving the processing speed is increased. Furthermore, by finely dividing a large amount of data, the amount of data to be transmitted can be optimized.
  • each division can indicate the range of data included in that division.
  • the method of description is not limited, for example, divisions depending on the structure may be divided into seat classes, reserved seats, non-reserved seats, etc., or area units such as back screen direction, main stand, back stand, etc. Any description may be used as long as it appropriately describes the range of the divided background model data.
  • the background model data is divided into four as shown in FIG. 4 will be described. A line with an angle of 45 degrees with respect to the x-axis and the y-axis with the center of the field as the center is the division boundary.
  • the back stand side is divided 1300-1, the right side is divided 1300-2, the main stand side is divided 1300-3, and the left side facing the back stand is divided 1300-4.
  • the stadium is divided into four parts. That is, the description includes the central coordinates of the division and the position of the boundary line of the division. By dividing it in this way, in competitions where the movement of the athletes is centered in the longitudinal direction, the camera that follows the movement of the athletes will move more on the x-axis, and the left and right stands will have large vision monitors. The direction with is the main shot. In addition, since the camera on the main stand and back stand mainly focuses on the players moving left and right, the background of the stand on the other side is often used. By dividing in this way, the number of updates of the background model data can be reduced.
  • the background model data is saved.
  • the data size of the background model data is saved.
  • the data for each division is then saved.
  • the data size of the background model data of the first division, here division 1300-1 is saved.
  • point cloud data which is the background model data of the division 1300-1, is saved.
  • the size of the point cloud data is first indicated, the number of points of the point cloud data is stored, and the coordinates of each point are stored.
  • the pointer of the background image data of division 1300-1 is saved. Background image data to be pasted on the model of division 1300-1 is stored in the destination of the pointer. That is, as shown in FIG.
  • the time code, data size, and image data of each frame are saved in addition to descriptions such as the image size and bit depth of the background image. After that, the background image data of each frame is saved. Similarly, data is stored in the order of division 1300-2, division 1300-3, and division 1300-4.
  • FIG. 11 The processing shown in FIG. 11 is started when image data is received by the input unit 102 .
  • step S1100 the management unit 107 generates a sequence header for sequence data.
  • the management unit 107 determines whether to generate a data set to be saved.
  • step S1101 the model acquisition unit 105 acquires background model data.
  • step S1102 the model dividing unit 106 divides the background model data based on a predetermined dividing method.
  • step S1103 the management unit 107 stores the divided background model data in the storage unit 108 according to a predetermined format.
  • step S1104 input is repeated frame by frame from the start of shooting.
  • step S1105 image frame data is obtained from the cameras 101a to 101t.
  • step S1106 the foreground model generation unit 103 generates a foreground image and a silhouette image.
  • step S1107 the foreground model generation unit 103 generates point cloud model data of the subject using the silhouette image.
  • step S1108 the model dividing unit 106 divides the generated point cloud model data of the object according to a predetermined method.
  • a predetermined method In this embodiment, as shown in FIG. 3A, since the point cloud model is divided into eight, it is determined which division it belongs to from the coordinates of the points of the point cloud, and the division is performed. If a point exists on the boundary, it may belong to either division or both divisions.
  • the management unit 107 stores the divided foreground model data in the storage unit 108 according to a predetermined format.
  • step S1110 the management unit 107 stores the foreground image generated in step S1106 in the storage unit 108 according to a predetermined format.
  • step S1111 the model dividing unit 106 integrates regions other than the foreground image from the input image and the foreground image generated by the foreground model generation unit 103 to generate a background image.
  • the generation of the background image is not particularly limited.
  • the background image is generated by existing techniques such as stitching of a plurality of images, or interpolation using an image from another camera of a part of the subject, surrounding pixels, or an image of another frame.
  • step S1112 the model dividing unit 106 divides the generated background image according to a predetermined method. In this embodiment, since the image is divided into four parts as shown in FIG. 4, divided background image data is generated by determining which division each pixel belongs to.
  • the management unit 107 stores the divided background image data in the storage unit 108 according to a predetermined format.
  • steps S1104 to S1113 are repeated until shooting is completed or input in frame units is completed.
  • step S1115 the transmitting/receiving unit 109 receives from the terminal 111 information necessary for the terminal 111 to generate a virtual viewpoint image. At least the information about the sequence information to use. A sequence may be specified directly, or a search may be performed based on the shooting location, date and time, and event details.
  • the selection unit 110 selects corresponding sequence data according to the input information.
  • step S1116 input is repeated frame by frame from the start of virtual viewpoint image generation.
  • step S ⁇ b>1117 the transmission/reception unit 109 receives the virtual viewpoint information from the terminal 111 and inputs it to the selection unit 110 .
  • the virtual viewpoint information is information including the position, posture, angle of view, etc. of the virtual camera when the virtual viewpoint is likened to a virtual camera.
  • the virtual viewpoint information is information for specifying the position of the virtual viewpoint, the line-of-sight direction from the virtual viewpoint, and the like.
  • the selection unit 110 selects a division model of the background model data included in the virtual viewpoint image from the acquired virtual viewpoint information.
  • the area 201 is within the field of view of the virtual camera.
  • FIG. 4 the situation of the virtual camera 200 and the area 201 is shown. It is determined that the area 201 includes division 1300-2 and division 1300-3 in the background image data, and these divided background model data are selected.
  • the background data included in division 1300-2 is the second division data.
  • the background model data included in division 1300-3 is the third division data.
  • the second divided data includes the size Data size of 2nd Sub Background model data of the divided data of the background model data.
  • the second divided data includes a data set Data set of 2nd Sub Background model data.
  • the third divided data includes the size Data size of 3rd Sub Background model data of the background model data divided data.
  • the second divided data includes a data set Data set of 3rd Sub Background model data.
  • the divided data correspond to partial areas of the background displayed in the virtual viewpoint image, and are partial data of the background model data.
  • the information selected by the selection unit 110 is input to the management unit 107 in step S1119.
  • the management unit 107 then outputs the divided model data (the second divided model data and the third divided model data) of the background model data selected from the storage unit 108 to the transmission/reception unit 109 .
  • the transmitting/receiving unit 109 transmits divided model data of the selected background model data to the terminal 111 .
  • the first divided model data and the fourth divided model data that are not selected among the background model data are not output to the terminal 111 . Therefore, the amount of data output to the terminal 111 can be reduced. Since the first split model data and the fourth split model data do not contribute to the generation of the virtual viewpoint image, even if the first split model data and the fourth split model data are not output, the terminal 111 It does not affect the image quality of the virtual viewpoint image generated by
  • step S 1120 the selection unit 110 selects a frame of the specified time code from the time codes for generating the virtual viewpoint image input via the transmission/reception unit 109 .
  • step S1121 the selection unit 110 selects background image data included in the virtual viewpoint image from the virtual viewpoint information. Similar to the selection of the divided data of the background model data, it is determined that the region 201 includes division 1300-2 and division 1300-3 in the background image data, and these divided background image data are selected. Specifically, in FIG. 9, the background image data included in division 1300-2 is the second division data.
  • the second divided data is the image data of the time code by reading the information on the image specifications from the data indicated by the Pointer of 2nd Sub Background Image and tracing the frame of the corresponding time code based on the data size.
  • the background image data included in division 1300-3 is the third division data.
  • the third divided data is the image data of the time code by reading the information on the image specification from the data indicated by the Pointer of 3rd Sub Background Image, tracing the frame of the corresponding time code based on the data size.
  • step S1122 the information selected by the selection unit 110 is input to the management unit 107.
  • Management unit 107 then outputs the divided data (the second divided data and the third divided data) of the background image data selected from storage unit 108 to transmission/reception unit 109 .
  • the transmitting/receiving unit 109 transmits divided data of the selected background image data to the terminal 111 .
  • the first divided data and the fourth divided data that have not been selected are not output to the terminal 111 . Therefore, the amount of data output to the terminal 111 can be reduced.
  • the first divided data and the fourth divided data do not contribute to the generation of the virtual viewpoint image, the first divided data and the fourth divided data are generated by the terminal 111 even if the first divided data and the fourth divided data are not output. It does not affect the image quality of the virtual viewpoint image.
  • step S1123 the subsequent processing is repeated for all subjects included in the field of view of the virtual camera 200 in the frame at the time of the time code.
  • step S1124 the selection unit 110 selects foreground model data included in the virtual viewpoint image from the virtual viewpoint information. For example, foreground model data for object 210 in FIG. 2 is selected.
  • step S1125 the subject 210 is divided as indicated by thin lines when viewed from above, as shown in FIG. Therefore, selection unit 110 determines that division 300-1, division 300-2, division 300-3, division 300-5, division 300-6, and division 300-7 are visible from virtual camera 200. FIG. Therefore, the selection unit 110 selects data belonging to these divisions.
  • step S1126 first, selecting section 110 selects a frame to be processed from the input timecode. This makes it possible to select the frame data of the time code by comparing the time code at the beginning of the data of each frame with the input time code, and skipping data in data size units. Alternatively, the time code and the pointer of the frame data of the time code may be stored in a table and searched for determination. In the frame data of the time code, the data size, the number of subjects, the number of cameras, and each camera ID are read, and the necessary divided data is selected. Subsequently, foreground model data is selected from the position of the subject 210 . For example, assume that it is the first subject. For the first subject, the foreground model data of division 300-1 is first selected. In FIG.
  • the foreground data included in division 300-1 is the first division data.
  • This divided data corresponds to the partial area of the subject displayed in the virtual viewpoint image, and is partial data of the foreground object.
  • management unit 107 Upon receiving the information from selection unit 110, management unit 107 reads the first divided data from storage unit 108 and outputs it.
  • the first divided data is a data set Data set of 1st sub point cloud in 1st Object .
  • the selection unit 110 selects the foreground model data of the division 300-2.
  • the foreground data included in division 300-2 is the second division data.
  • management unit 107 reads the second divided data from storage unit 108 and outputs it.
  • the second divided data is the divided data set Data set of 2nd sub point cloud in 1st Object of the background model data.
  • foreground model data corresponding to division 300-3, division 300-5, division 300-6, and division 300-7 are similarly output.
  • the foreground model data corresponding to the divisions 300-4 and 300-8 are not output. Therefore, the amount of data output to the terminal 111 can be reduced.
  • the foreground model data corresponding to the division 300-4 and the division 300-8 do not contribute to the generation of the virtual viewpoint image. does not affect
  • a foreground image is selected to determine the color of the object viewed by the virtual camera.
  • the foreground image of a camera close to virtual camera 200 is selected.
  • cameras 101-b, 101-o, 101-p, 101-q, and 101-r are photographing the visible side of the subject 210.
  • FIG. For example, all cameras that are closer to the virtual camera 200 than a plane 212 that is visible from the virtual camera 200 and that traverses the subject include the subject 210 in their angle of view. This is possible by selecting foreground images taken from those cameras based on camera IDs. Based on the camera ID, the foreground image data of each camera below the Foreground Image of 2nd Camera is selected.
  • step S1128 the selected foreground image data is read from the storage unit 108 and output to the terminal 111 via the transmission/reception unit 109.
  • steps S1123 to S1128 are repeated until the output of foreground model data and foreground image data for all subjects within the field of view is completed.
  • step S1130 the terminal 111 generates a virtual viewpoint image based on each acquired data.
  • steps S1116 to S1130 are repeated until the generation of the virtual viewpoint image ends or until the input per frame ends. When the repetition ends, the three-dimensional information processing and the virtual viewpoint image generation processing end.
  • FIG. 12 is a diagram showing the communication status of each part.
  • the terminal 111 is activated.
  • a start of generating a virtual viewpoint image is transmitted to the transmitting/receiving unit 109 of the three-dimensional information processing apparatus.
  • the transmitting/receiving unit 109 notifies each unit to start generating a virtual viewpoint image, and each unit prepares for it.
  • the terminal 111 transmits sequence data for generating virtual viewpoint images to the transmitting/receiving unit 109 . This can be determined by the user, via the terminal 111, searching for or specifying sequence data stored in the storage unit 108.
  • FIG. Information about the sequence data transmitted from terminal 111 is input to selection section 110 via transmission/reception section 109 .
  • the selection unit 110 instructs the management unit 107 to read the selected sequence.
  • the terminal 111 transmits to the transmitting/receiving unit 109 the time to start generating the virtual viewpoint image, the time code, and the virtual viewpoint information.
  • the transmitting/receiving section 109 sends these pieces of information to the selecting section 110 .
  • a selection unit 110 selects a frame for generating a virtual viewpoint image from the input time code.
  • the selection unit 110 selects divided background model data, divided background image data, divided foreground model data, and divided foreground image data based on the virtual viewpoint information.
  • Information on the data selected by the selection unit 110 is sent to the management unit 107 , and based on this, the necessary data of the frame for generating the virtual viewpoint image is read from the storage unit 108 and sent to the transmission/reception unit 109 .
  • the transmitting/receiving unit 109 transmits these data to the terminal that has made the request.
  • the terminal 111 performs rendering based on these to generate a virtual viewpoint image. Thereafter, transmission of virtual viewpoint information, selection of divided data, and generation of virtual viewpoint images are repeated in order to process the next frame.
  • the transmission end is transmitted from the terminal 111 to the transmitting/receiving unit 109, all the processing ends.
  • the processing is shown in the flowchart as a sequential flow, but it is not limited to this.
  • foreground model data and background model data may be selected and output in parallel.
  • the terminal 111 can continue to use the divided data of the previous frame as it is to generate the background. In addition, repeated transmission of the same background model data is reduced, and the amount of data transmission is reduced.
  • the three-dimensional information processing apparatus 100 may generate virtual viewpoint information.
  • the virtual viewpoint information is input to the selection unit 110, and the subsequent processing may be the same as the processing described above.
  • the data transmitted to the terminal 111 also includes virtual viewpoint information. This virtual viewpoint information may be automatically generated by the three-dimensional information processing apparatus 100 or may be input by a user other than the user operating the terminal 111 .
  • the foreground model generation unit 103 and the background model generation unit 104 generate three-dimensional shape data from images captured by a plurality of cameras, the present invention is not limited to this. It may be generated artificially. Also, although point cloud model data and foreground image data have been used as three-dimensional shape data to be stored in the storage unit 108, the present invention is not limited to this.
  • FIG. 7A is an example of a data set configuration of colored point cloud model data in which color information is added to each point of the point cloud.
  • the colored point cloud model data is divided in the same manner as the foreground model data shown in FIG. Specifically, as shown in FIG. 7(b), data is composed of each frame in the same manner as the foreground model data. The number of cameras used and the camera ID are saved. Subsequently, the number of divisions of the colored point cloud model data is described, and the data size of the colored point cloud model data of each subject is followed by the data of each divided colored point cloud model data.
  • the divided colored point cloud model data has the data size, the number of points of the divided colored point cloud model data, and the coordinates and color information of each point. Saved.
  • the colored point cloud model is used instead of the foreground model data described above. Specifically, in generating a virtual viewpoint image, colored point cloud model data is selected and transmitted to the terminal 111 .
  • the terminal 111 colors the pixel values of the point positions of the point cloud model data with color information.
  • FIG. 8(a) is an example of a data set configuration of mesh model data that constitutes a mesh or the like.
  • the mesh model it is divided like the foreground model data and the colored point cloud model data.
  • data is composed of each frame in the same manner as the foreground model data, and from the beginning, the time code, the data size of the frame, and the number of subjects are saved. .
  • the number of divisions of the mesh model data is described, and the data size of the mesh model data of each subject is followed by the data of each divided mesh model data.
  • the divided mesh model data includes the data size, the number of polygons in the divided mesh model data, and the data for each polygon, that is, the coordinates of the vertices of the polygons and the polygons. are stored in order.
  • the coordinate system describing the vertices is 3-axis data, and the color information is saved as the values of the three primary colors of RGB, but it is not limited to this.
  • the coordinate system may be a polar coordinate system or another coordinate system.
  • Color information may also be represented by information such as a uniform color space, luminance, and chromaticity.
  • mesh model data is selected instead of the foreground model data described above and transmitted to the terminal 111 . In the terminal 111, it is generated by coloring the area surrounded by the vertices of the mesh model data with color information.
  • this 3D shape data it is possible to select and specify data as easily as with the colored point cloud model data, and it is possible to reduce the amount of data compared to the colored point cloud model data, thereby reducing the cost of terminals. As a result, more terminals can be connected.
  • the mesh model data may be generated without color as data for texture mapping the foreground image data in the same manner as the foreground model data. That is, the data structure of the mesh model data may be described in a format of only shape information without color information.
  • FIGS. 10A to 10D show examples in which the background model data is composed of mesh model data.
  • the content of the header is the header itself of the background model data.
  • the data set class code of the background model data format is 0x0007.
  • the data size of the first division is saved following the data size of the background image model data. Subsequently, the polygon data of the first division is saved.
  • the divided mesh model data is first stored with a time code.
  • the size of the data, the number of polygons in the divided mesh model data, and then the data for each polygon, that is, the coordinates of the vertices of the polygons and the color information of the polygons are stored in this order.
  • a polygon may belong to either division or both divisions.
  • the polygon may be divided by the boundary line and belong to each division.
  • FIG. 2 A three-dimensional information processing apparatus 1300, which is a second embodiment for processing three-dimensional shape data, will be described using the virtual viewpoint image generation system configuration diagram of FIG. In the same figure, the same numbers are attached to the same configurations as those in FIG. 1, and the descriptions thereof are omitted.
  • This embodiment differs from the first embodiment in that a three-dimensional information processing apparatus 1300 has a virtual viewpoint image generation unit 1301 .
  • this embodiment differs from the first embodiment in the division method.
  • the model generation unit 1303 has the functions of the foreground model generation unit 103 and the background model generation unit 104 of the eleventh embodiment.
  • a configuration example of computer hardware applicable to the three-dimensional information processing apparatus 1300 according to the present embodiment is the same as that of the first embodiment, so description thereof will be omitted.
  • the terminals 1310a to 1310d transmit to the three-dimensional information processing apparatus 1300 virtual viewpoint information in which the user has set the virtual viewpoint.
  • the terminals 1310a to 1310d do not have a renderer, and only set virtual viewpoints and display virtual viewpoint images.
  • the transmission/reception unit 1308 receives virtual viewpoint information from the terminal 1310 and transmits it to the selection unit 1309 and the virtual viewpoint image generation unit 1301 . Further, the transmitting/receiving unit 1308 has a function of transmitting the generated virtual viewpoint image to the terminals 1310a to 1310d that transmitted the virtual viewpoint information.
  • a virtual viewpoint image generation unit 1301 includes a renderer, and generates a virtual viewpoint image based on the input virtual viewpoint information and the three-dimensional shape data read from the storage unit 108 .
  • a selection unit 1309 selects a data set necessary for the virtual viewpoint image generation unit 1301 to generate a virtual viewpoint image. Note that the terminals 1310a to 1310d are explained as the terminal 1310 unless otherwise specified. Also, the number of terminals 1310 is not limited to this, and may be one.
  • 16(a) to (c) show an example of the configuration of the foreground model data of the second embodiment.
  • the foreground model data set is saved in units of frames, but it is not limited to this.
  • it may be managed on an object-by-object basis.
  • the foreground model data header is the same as in the first embodiment.
  • the three-dimensional shape data is composed of point cloud model data and foreground image data will be described.
  • the time code representing the time of the first frame of the foreground model data and the data size of the frame are stored in the following order. Subsequently, the number P of subjects for generating a virtual viewpoint image at the time indicated by the time code is saved. Furthermore, the number C of cameras used for photographing at that time is stored. Subsequently, the camera ID of the camera used is saved. Subsequently, the foreground model data of each subject is stored. First, a data size is saved to represent the foreground model data of the subject. Furthermore, the division number D of the foreground model data of the subject is stored.
  • the divided foreground model data of the subject is saved.
  • a data size of the split foreground model data is saved, followed by a split foreground model data description.
  • the stored description includes the data size of the divided foreground model, followed by the number C of cameras that capture the subject and C camera IDs. ing.
  • the divided foreground model data is saved.
  • the divided foreground model data has the same configuration as in FIG. 6(b).
  • the foreground image data is also the same as in FIG. 6(b).
  • FIG. 14 shows an example of the state of division in this embodiment.
  • FIG. 14 shows an example of implementing 12 divisions.
  • the division method and number are not limited to this.
  • an area 1401-b of concentric circles is represented by taking the imaging range of the camera 101-b on the subject 210 as the range in which the subject 210 can be seen. Similar relationships are established between area 1401-d and camera 101-d, area 1401-h and camera 101-h, and area 1401-j and camera 101-j. Furthermore, the same relationship holds for area 1401-o and camera 101-o, area 1401-p and camera 101-p, area 1401-q and camera 101-q, and area 1401-r and camera 101-r.
  • the boundaries of the range where the respective regions overlap each other are defined as division boundaries.
  • Division 1402-1 includes area 1401-b and area 1401-r, and the number of cameras C is two.
  • the point data of the point cloud model data of the object 210 is included in the Data set of 1st sub point cloud in 1st Object .
  • the Number of Camera is 2, and the color of the point cloud of the divided image can be determined only from the images of the cameras 101-b and 101-r with camera IDs.
  • division 1402-2 includes area 1401-b, and the number of cameras C is one.
  • a division 1402-3 includes areas 1401-d and 1401-h, and the number of cameras C is two.
  • Division 1402-4 includes area 1401-d and the number of cameras C is one.
  • Division 1402-5 includes area 1401-j, and the number of cameras C is one.
  • a division 1402-6 includes areas 1401-j and 1401-q, and the number of cameras C is two.
  • Division 1402-7 includes region 1401-q and the number of cameras C is one.
  • Division 1402-8 includes area 1401-p and area 1401-q, and the number of cameras C is two.
  • Division 1402-9 includes area 1401-o, area 1401-p, and area 1401-q, and the number of cameras C is three.
  • a partition 1402-10 includes an area 1401-p and an area 1401-q, and the number of cameras C is two.
  • Division 1402-11 includes area 1401-b, area 1401-p, area 1401-q, and area 1401-r, and the number of cameras C is four.
  • Division 1402-12 includes area 1401-b, area 1401-q, and area 1401-r, and the number of cameras C is three. Division of these regions is uniquely determined from the position of the subject, the camera that is taking the picture, and its position.
  • the camera ID of the foreground image of each division becomes the same within the division, which has the effect of facilitating data management.
  • Embodiment 2 the information processing method of the virtual viewpoint image generation system with the above configuration will be described using the flowchart of FIG.
  • the same numbers are attached to the steps in which the operation of each unit is the same as the processing operation (FIG. 11) of the first embodiment, and the description thereof is omitted.
  • the processing shown in FIG. 15 is started when image data is received by the input unit 102 .
  • step S1100 After the sequence header is generated in step S1100, the background model data is processed in steps S1101 to S1103. The process advances to step S1104 to repeat input in units of frames from the start of shooting. Point cloud model data of each subject is generated by step S1107.
  • step S1501 the division of the foreground model data for each subject is repeated.
  • step S1508 as described in FIG. 14, it is divided into regions visible to one or more cameras.
  • step S1502 when the foreground model data of all the objects have been divided, the repetition ends.
  • a background image is generated and divided in steps S1111 to S1113 in the same manner as in the first embodiment, and saved.
  • the transmitting/receiving unit 1308 receives information necessary for the terminal 1310 to generate a virtual viewpoint image from the terminal 1310 .
  • the selection unit 1309 selects corresponding sequence data according to the input information.
  • input is repeated frame by frame from the start of virtual viewpoint image generation.
  • the background model data and background image data necessary to generate the background are selected and output through steps S1117 to S1122.
  • step S1123 the subsequent processing is repeated for all subjects included in the field of view of virtual camera 200 in the frame of the time of the time code.
  • step S1124 the selection unit 110 selects foreground model data included in the virtual viewpoint image from the virtual viewpoint information. For example, foreground model data relating to the subject 260 shown in FIG. 14 is selected.
  • the selection unit 1309 selects the divided foreground model data with reference to FIG. As shown in FIG. 14, near virtual camera 250 are cameras 101-q and 101-r. A selection unit 1309 selects the divided data of the divided foreground model data including the camera IDs. Since these camera IDs are included in division 1402-1 and division 1402-3, these division data are selected.
  • step S ⁇ b>1126 the management unit 107 acquires selection information from the selection unit 1309 and outputs these pieces of divided data from the storage unit 108 to the virtual viewpoint image generation unit 1301 . That is, the subject 260 in FIG. 14 is the first subject. Then, Data size of 1st sub point cloud of 1st Object is output as divided data of the foreground model data of the division 1402-1 . Further, Data size of 3rd sub point cloud of 1st Object is output as the divided data of the foreground model data of division 1402-3 .
  • step S1527 the selection unit 1309 selects the foreground image data of the camera IDs included in all of the divided data selected in step S1525.
  • step S ⁇ b>1128 the management unit 107 acquires information on the selected data, reads the selected data from the storage unit 108 , and outputs the data to the virtual viewpoint image generation unit 1301 .
  • step S1130 the virtual viewpoint image generation unit 1301 generates a virtual viewpoint image based on the acquired data and virtual viewpoint information. Then, the generated virtual viewpoint image is output to the transmitting/receiving unit 1308 . The transmitting/receiving unit 1308 transmits the generated virtual viewpoint image to the terminal 1310 requesting generation of the virtual viewpoint image.
  • the transmission channel is a communication channel for transmitting between the storage unit 108 and the virtual viewpoint image generation unit 1301 . Since the generated virtual viewpoint image is transmitted to the terminal 1310, the amount of data to be transmitted from the transmitting/receiving unit 1308 to the terminal 1310 is larger than that of transmitting the material data for generating the virtual viewpoint image to the terminal 1310. can be reduced.
  • visibility information may be used to generate divided data.
  • the visibility information is information indicating from which camera the constituent elements (for example, points in the case of point cloud model data) making up the three-dimensional shape data can be seen.
  • the points of the point cloud visible from a camera close to the position of the virtual camera 250 may be selected using the visibility information, and only the visible points may be output. As a result, only the points visible from the virtual camera are transmitted, so the amount of information can be further reduced.
  • the division is performed after the entire foreground model data is generated, but the present invention is not limited to this.
  • data may be divided while creating foreground model data by shape estimation.
  • shape estimation may be performed for each division, or while determining which division a point or polygon belongs to while calculating the visibility determination result.
  • the divided data to be transmitted may be transmitted with priority.
  • segment 1402-3 containing area 1401-p in front of virtual camera 200 is transmitted first.
  • the transmission amount and image quality can be controlled by thinning out the points of the divided point cloud with low priority or by thinning out the cameras that send the foreground images. It is also possible to give a higher priority to specific divisions such as faces.
  • divisions are not determined only according to the overlap of the imaging ranges of the cameras, but may be selected so that the number of point clouds is almost uniform, or the size of each division is the same. can be Basically, divisions should not overlap, but some may overlap.
  • region 1402-7 may be included in both division 1402-6 and division 1402-8. The foreground image of the points in this region will be used to color the points at the boundary of both regions, which has the effect of improving the quality of the boundary of the segmentation.
  • the dividing method may be the following method. That is, the foreground model or the like may be divided based on the virtual viewpoint information. In this case, the foreground model and the like are not split until the virtual viewpoint information is specified.
  • the storage unit 108 defines a foreground model for each subject instead of divided model data. That is, in FIG. 16, the data divided into "subs" are integrated into one. Specifically, in FIG. 16B, Data size of 1st sub point cloud of 1st Object is read as Data size of point cloud of 1st Object . Then, the Data size of the point cloud of 1st Object itself is written here.
  • Description of 1st sub point cloud of 1st Object should be read as Description of point cloud of 1st Object .
  • Data set of 1st sub point cloud in 1st Object is read as Data set of point cloud in 1st Object .
  • the Data set of Dth sub point cloud in 1st Object disappears from the Data size of 2nd sub point cloud of 1st Object .
  • the foreground model is used as an example, the same applies to the background model.
  • the selection unit 1309 Upon receiving an instruction to generate a virtual viewpoint image from the terminal 1310, the selection unit 1309 selects a virtual image from the virtual viewpoint specified by the virtual viewpoint information based on the virtual viewpoint information acquired via the transmission/reception unit 1308. Identify the foreground model contained in the relevant field of view. Further, the selection unit 1309 identifies a portion of the identified foreground model to be displayed in the virtual viewpoint image. Then, the selection unit 1309 outputs information on the specified portion to the management unit 107 . Based on the acquired information, the management unit 107 divides the foreground model stored in the storage unit 108 into a portion displayed in the virtual viewpoint image and other portions.
  • the management unit 107 outputs to the virtual viewpoint image generation unit 1301 a model of a portion corresponding to a portion displayed in the virtual viewpoint image among the divided models. Therefore, a part of the foreground model necessary for the virtual viewpoint image is output, and the amount of data to be transmitted can be reduced. In addition, since the foreground model is divided after obtaining the virtual viewpoint information, it is possible to efficiently generate necessary and sufficient divided models. Also, the data stored in the storage unit 108 is simplified.
  • the management unit 107 extracts the model of the portion corresponding to the portion displayed in the virtual viewpoint image, and converts the partial model to the virtual viewpoint image generation unit. You may make it output to 1301. FIG. In this case, the model dividing unit 1305 may not be included in the 3D information processing apparatus.
  • the partial model to be output may be specified by the terminal 1310.
  • the user may specify which partial model is to be output via the terminal 1310 operated by the user, or specify the partial model to be output by the terminal 1310 based on the virtual viewpoint information specified by the user.
  • this partial model may be a partial model divided in advance as in the first and second embodiments, or may be a partial model divided or specified based on virtual viewpoint information.
  • multiple partial models may be displayed on the terminal 1310 for the user to specify.
  • all of the multiple partial models included in the foreground model may be output.
  • all of a plurality of partial models may be output according to a user's instruction.
  • the terminals 1310a to 1310d input different virtual viewpoint information for the same frame in the same sequence at the same timing
  • the following configuration may be used. That is, the fields of view of a plurality of virtual cameras corresponding to a plurality of pieces of virtual viewpoint information respectively input by the terminals 1310a to 1310d are specified, a foreground model included in one of the fields of view is specified, and any of the foreground models is specified. A portion to be displayed in one of the virtual viewpoint images may be specified. Then, the identified portion to be displayed in any one of the virtual viewpoint images may be output to the virtual viewpoint image generation unit 1301 .
  • the virtual viewpoint image generation unit 1301 may generate a plurality of virtual viewpoint images at the same time, or may sequentially generate one virtual viewpoint image. In the latter case, the virtual viewpoint image generation unit 1301 temporarily stores the output data in a buffer and uses the data at the required timing.
  • the present invention is not limited to this.
  • an external device having a virtual viewpoint image generation unit 1301 may be provided separately from the 3D information processing device 1300 .
  • the material data (foreground model, etc.) necessary for the virtual viewpoint image is output to the external device, and the virtual viewpoint image generated by the external device is output to the transmitting/receiving unit 1308 .
  • the present disclosure provides a program that implements one or more functions of the above-described embodiments to a device or device via a network or a storage medium, and one or more processors in the device or computer of the device reads and executes the program. It can also be realized by processing to It can also be implemented by a circuit (for example, ASIC) that implements one or more functions.
  • a circuit for example, ASIC
  • the computer program code itself read from the storage medium implements the functions of the above-described embodiments, and the storage medium storing the computer program code may be used to execute the present disclosure. It also includes the case where the operating system (OS) running on the computer performs part or all of the actual processing based on the instructions of the code of the program, and the above functions are realized by the processing. . Also, the present disclosure may be realized with the following configuration.
  • the computer program code read from the storage medium is written into a memory provided in a function expansion card inserted into the computer or a function expansion unit connected to the computer.
  • the storage medium stores computer program code corresponding to the processing described above.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Processing Or Creating Images (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Image Generation (AREA)

Abstract

情報処理装置は、仮想視点情報に基づいて、オブジェクト２１０の部分領域であって、仮想視点からの見えを表す仮想視点画像に表示される部分領域を特定し、前景モデルデータのうち、特定された部分領域に対応する分割モデルデータを出力する。

Description

情報処理装置、情報処理方法、およびプログラム
　本開示は、三次元形状データを伝送する技術に関する。
　昨今、複数のカメラを異なる位置に設置して多視点で同期撮影し、当該撮影により得られた複数の画像を用いて仮想視点画像を生成する技術が注目されている。複数の画像から仮想視点画像を生成する技術によれば、例えば、サッカーやバスケットボールのハイライトシーンを様々な角度から視聴することができるため、通常の画像と比較してユーザに高臨場感を与えることができる。
　特許文献１には、複数の画像から仮想視点画像を生成するシステムについて開示されている。具体的には、複数の画像から、オブジェクトの三次元形状を示す三次元形状データが生成される。この三次元形状データを用いて、仮想視点からの見えを表す仮想視点画像が生成される。
国際公開第２０１８／１４７３２９号
　仮想視点画像の生成に関し、例えば、サーバ側で生成した三次元形状データをクライアント端末に送信し、クライアント端末で仮想視点画像を生成したいという要望がある。しかし、三次元形状データは、データ量が大きく、データの伝送をするために広い帯域を確保するため、コストが増大する可能性がある。また、伝送時間が長くなり仮想視点画像が表示されるまでに時間がかかったり、仮想視点画像のフレームレートが低下したりという問題が生じる。なお、クライアント端末で仮想視点画像を生成する場合に限らず、三次元形状データを伝送する際には、同様の課題が生じる。
　そこで、本開示では、三次元形状データの伝送負荷を軽減することを目的とする。
　本開示の情報処理装置は、仮想視点の位置と前記仮想視点からの視線方向を特定するための仮想視点情報を取得する第１の取得手段と、オブジェクトの三次元形状データを取得する第２の取得手段と、前記第１の取得手段により取得された仮想視点情報に基づいて、前記オブジェクトの部分領域であって、前記仮想視点からの見えを表す仮想視点画像に表示される部分領域を特定する特定手段と、前記第２の取得手段により取得された三次元形状データのうち、前記特定手段により特定された部分領域に対応する部分データを出力する出力手段と、を有する。
　本開示によれば、三次元形状データの伝送負荷を軽減することができる。
実施形態１に係る三次元情報処理装置を含む仮想視点画像生成システムの構成の一例を示す図である。 カメラの配置の一例を示す図である。 前景モデルの分割方法の一例を示す図である。 前景モデルの分割方法の一例を示す図である。 背景モデルの分割方法の一例を示す図である。 格納される前景モデルのデータ構造の一例を示す図である。 格納される前景モデルのデータ構造の一例を示す図である。 格納される前景モデルのデータ構造の一例を示す図である。 格納される前景モデルのデータ構造の一例を示す図である。 格納される背景モデルのデータ構造の一例を示す図である。 格納される背景モデルのデータ構造の一例を示す図である。 実施形態１に係る仮想視点画像生成システムの処理を表すフローチャートである。 実施形態１に係る仮想視点画像生成システムの各部の通信の状況を表す図である。 実施形態２に係る三次元情報処理装置を含む仮想視点画像生成システムの構成の一例を示す図である。 実施形態２に係る前景モデルの分割方法の一例を示す図である。 実施形態２に係る仮想視点画像生成システムの処理を表すフローチャートである。 格納される前景モデルのデータ構造の一例を示す図である。 三次元情報処理装置のハードウェア構成の一例を示すブロック図である。
　以下、添付の図面を参照して、本開示の実施形態に基づいて詳細に説明する。なお、以下の実施形態は本開示を限定するものではなく、本実施形態で説明されている特徴の組み合わせの全てが解決手段に必須のものとは限らない。なお、仮想視点画像とは、ユーザ及び／又は専任のオペレータ等が自由に仮想カメラの位置及び姿勢を操作することによって生成される画像であり、仮想視点からの見えを表す画像である。仮想視点画像は、自由視点画像や任意視点画像などとも呼ばれる。また、本開示では仮想視点の指定がユーザ操作により行われる場合を中心に説明するが、仮想視点の指定が画像解析の結果等に基づいて自動で行われてもよい。また、特に断りが無い限り、画像という文言が動画と静止画の両方の概念を含むものとして説明する。
　仮想カメラとは、撮像領域の周囲に実際に設置された複数の撮像装置とは異なる仮想的なカメラであって、仮想視点画像の生成に係る仮想視点を便宜的に説明するための概念である。すなわち、仮想視点画像は、撮像領域に関連付けられる仮想空間内に設定された仮想視点から撮像した画像であるとみなすことができる。そして、仮想的な当該撮像における視点の位置及び向きは仮想カメラの位置及び向きとして表すことができる。言い換えれば、仮想視点画像は、空間内に設定された仮想視点の位置にカメラが存在するものと仮定した場合に、そのカメラにより得られる撮像画像を模擬した画像であると言える。また本実施形態では、経時的な仮想視点の変遷の内容を、仮想カメラパスと表記する。ただし、本実施形態の構成を実現するために仮想カメラの概念を用いることは必須ではない。すなわち、少なくとも空間内における特定の位置を表す情報と向きを表す情報とが設定され、設定された情報に応じて仮想視点画像が生成されればよい。
　撮像装置は、物理カメラ（実カメラ）を有していればよい。また、撮像装置は、物理カメラの他、様々な画像処理を行う機能を有していてもよい。例えば、撮像装置は、前景背景分離処理を行う処理部を有していてもよい。また、撮像装置は、撮像画像のうち、一部の領域の画像を伝送する伝送制御を行う制御部を有していてもよい。また、撮像装置は、複数の物理カメラを有していてもよい。
　（実施形態１）
　競技場（スタジアム）やコンサートホールなどの施設に複数のカメラを設置し撮影を行い、生成された三次元形状データを処理する三次元情報処理装置１００について、図１の仮想視点画像生成システム構成図を用いて説明する。仮想視点画像生成システムは、カメラ１０１ａ～ｔ、入力部１０２、前景モデル生成部１０３、背景モデル生成部１０４、モデル取得部１０５、モデル分割部１０６、管理部１０７、保存部１０８、送受信部１０９、選択部１１０、端末１１１ａ～ｄを有する。なお、特に断りが無い限り、カメラ１０１ａ～ｔは、カメラ１０１として説明を行う。また、単にカメラと称する場合、実カメラまたは物理カメラを指す。また、特に断りが無い限り、端末１１１ａ～ｄは、端末１１１として説明を行う。また、三次元形状データは、以下ではモデルと呼ぶこともある。モデルは、前景や背景の三次元形状を示す三次元形状データを指す場合もあるし、三次元形状データに加え、その前景や背景の色情報をさらに有するデータを指す場合もある。
　カメラ１０１は、被写体（オブジェクト）を囲むように配置され、同期をとって撮影が行われる。同期とは、撮像のタイミングがほぼ同じに制御される状態をいう。図２にカメラ配置の一例を示す。ただし、カメラの台数、配置はこれに限定されない。ここでは、カメラ１０１ａ～ｔはそれぞれ、３か所の注視点１５０から１５２のいずれかにに向けられている。説明を簡単にするため、被写体２１０が１つの場合について説明するが、複数の被写体であっても同じ処理を行うことで実現可能である。カメラ１０１ａ～ｔは、有線ケーブルを介したネットワークで接続されており、入力部１０２に接続されている。各フレームは同時刻での撮影がされ、例えば、撮影された画像データはタイムコードやフレームの番号が付与されて、画像データを送出する。それぞれのカメラにはそれぞれカメラＩＤが割り当てられている。なお、同一の注視点に向けられている複数のカメラの光軸の交点がこの注視点であってもよい。また、同一の注視点に向けられているカメラの光軸が、注視点を通らなくてもよい。また、注視点は３か所以上でもよいし、１か所又は２か所でもよい。また、各カメラが互いに異なる注視点に向けられていてもよい。
　入力部１０２は、カメラ１０１により撮影されて取得された画像データを入力し、前景モデル生成部１０３、背景モデル生成部１０４に出力する。なお、画像データは、撮像画像データであってもよいし、撮像画像から一部の領域を抽出した画像データであってもよい。後者の場合は、例えば、入力部１０２は、前景モデル生成部１０３に、撮像画像から前景オブジェクトの領域を抽出した前景画像データを出力してもよい。入力部１０２は、背景モデル生成部１０４に対しては、撮像画像から背景オブジェクトの領域を抽出した背景画像データを出力してもよい。この場合には、後述する前景モデル生成部１０３において、被写体の部分を抽出する処理、シルエット画像を生成する処理、前景画像を生成する処理を省略することができる。言い換えると、カメラを有する撮像装置において、これらの処理が行われてもよい。
　前景モデル生成部１０３は、入力された画像データから被写体の１種類以上の三次元形状データを生成する。本実施形態では、被写体の点群モデルと前景画像、メッシュモデルを生成する。ただし、これらに限定されない。例えば、カメラからの距離画像や、点群の各点に色情報を付けた色付き点群などでも構わない。
　前景モデル生成部１０３は、同期をとって撮影された画像データから被写体の画像を抽出する。被写体の画像の抽出の方法は特に限定されないが、被写体の映っていない状態の画像を基準画像として撮影し、入力された画像との差分を用いて、被写体を抽出することが可能である。形状の推定に関しても特に方法は限定しないが、例えば、前景モデル生成部１０３は、視体積交差法（ｓｈａｐｅ　ｆｒｏｍ　ｓｉｌｈｏｕｅｔｔｅ法）を用いて三次元形状データを生成してもよい。より具体的には、前景モデル生成部１０３は、被写体部分の画素位置の画素値を１、それ以外の部分の画素位置の画素値を０としたシルエット画像を生成する。前景モデル生成部１０３は、生成されたシルエット画像を用いて、視体積交差法を用いて被写体の三次元形状データである点群モデルデータを生成する。前景モデル生成部１０３は、平行して、シルエット画像から被写体の外接矩形を求め、外接矩形を用いて入力画像の被写体画像を切り出し、これを前景画像として抽出する。また、前景モデル生成部１０３は、複数のカメラの視差画像を求め、距離画像を作って、メッシュモデルを生成する。同様に、メッシュモデルの生成の方法については特に限定されない。ただし、本実施形態では、複数種類の三次元形状データを生成するが、一種類の三次元形状データを生成する形態でも本開示を適用することができる。
　背景モデル生成部１０４は、背景モデルを生成する。例えば、スタジアムやコンサートや演劇の舞台などが背景に当たる。背景モデル生成の方法については限定されない。例えば、背景となるフィールドを有するスタジアム等の三次元形状データを生成してもよい。スタジアムの三次元形状データは、スタジアムの設計図を用いて生成されてもよい。また、設計図としてのＣＡＤデータを用いる場合は、スタジアムの三次元形状データはそのＣＡＤデータであってもよい。また、スタジアムをレーザースキャンすることにより、三次元形状データを生成してもよい。ここではスタジアム全体を１つの三次元形状データとして生成する。また、観客などの背景画像は、撮像のたびに取得されてもよい。
　モデル取得部１０５は、前景モデル生成部１０３と背景モデル生成部１０４で生成された、被写体に関する三次元形状データと背景に関する三次元形状データとを取得する。
　モデル分割部１０６は、入力された三次元形状データを複数の三次元形状データに分割する。分割の方法については、後述する。
　管理部１０７は、前景モデル生成部１０３で取得された三次元形状データや、モデル分割部１０６で分割して生成された三次元形状データを取得し、保存部１０８に保存する。保存の際にはそれぞれのデータを読み出すためのデータアクセスのためのテーブルを生成するなどして、タイムコードやフレーム番号等に関連付けてデータの読み書きができるように管理する。また、後述する選択部１１０の指示に基づき、データの出力を行う。
　保存部１０８は、入力されたデータを保存する。例えば、半導体メモリや磁気記録装置などで構成される。保存の書式に関しては後述する。データの書き込み、読出しは管理部１０７からの指示に基づいて行い、書き込まれたデータは読出し指示に従って、送受信部１０９に出力される。
　送受信部１０９は、後述する端末１１１と通信を行い、端末からの要求や、データの送受信を行う。
　選択部１１０は、端末に送信する三次元形状データを選択する選択部であり、動作については後述する。分割された三次元形状データのうちどの部分の三次元形状データを出力するか選択し、その情報を管理部１０７に出力する。
　端末１１１は、三次元情報処理装置１００から取得した三次元形状データに基づいて、ユーザが仮想視点を設定して仮想視点情報を生成し、それに基づき、仮想視点画像を表示するなどして提供する。その数はこれに限定されない。端末１１１は、１つであって構わない。
　図１７は、本実施形態に係る三次元情報処理装置１００に適用可能なコンピュータのハードウェアの構成例を示すブロック図である。ＣＰＵ１７０１は、ＲＡＭ１７０２やＲＯＭ１７０３に格納されているコンピュータプログラムやデータを用いてコンピュータ全体の制御を行うと共に、本実施形態に係る三次元情報処理装置１００が行うものとして後述する処理を実行する。すなわち、ＣＰＵ１７０１は、図１に示した三次元情報処理装置１００内の各処理部として機能することになる。
　ＲＡＭ１７０２は、外部記憶装置１７０６からロードされたコンピュータプログラムやデータ、Ｉ／Ｆ（インターフェース）１７０７を介して外部から取得したデータなどを一時的に記憶するためのエリアを有する。更に、ＲＡＭ１７０２は、ＣＰＵ１７０１が各種の処理を実行する際に用いるワークエリアを有する。すなわち、ＲＡＭ１７０２は、例えば、フレームメモリとして割り当てたり、その他の各種のエリアを適宜提供したりすることができる。
　ＲＯＭ１７０３には、本コンピュータの設定データや、ブートプログラムなどが格納されている。操作部１７０４は、キーボードやマウスなどにより構成されており、本コンピュータのユーザが操作することで、各種の指示をＣＰＵ１７０１に対して入力することができる。出力部１７０５は、ＣＰＵ１７０１による処理結果を表示する。また出力部１７０５は例えば液晶ディスプレイで構成される。
　外部記憶装置１７０６は、ハードディスクドライブ装置に代表される、大容量情報記憶装置である。外部記憶装置１７０６には、ＯＳ（オペレーティングシステム）や、図１に示した各部の機能をＣＰＵ１７０１に実現させるためのコンピュータプログラムが保存されている。更には、外部記憶装置１７０６には、処理対象としての各画像データが保存されていてもよい。
　外部記憶装置１７０６に保存されているコンピュータプログラムやデータは、ＣＰＵ１７０１による制御に従って適宜、ＲＡＭ１７０２にロードされ、ＣＰＵ１７０１による処理対象となる。Ｉ／Ｆ１７０７には、ＬＡＮやインターネット等のネットワーク、投影装置や表示装置などの他の機器を接続することができ、本コンピュータはこのＩ／Ｆ１７０７を介して様々な情報を取得したり、送出したりすることができる。１７０８は上述の各部を繋ぐバスである。
　図５（ａ）に保存部１０８で保存される三次元形状データの書式の一例を示す。三次元形状データは、一連の撮影を示すシーケンスデータとして保存される。例えば、シーケンスは、イベントやカットに対応する。管理部１０７は、シーケンス単位でデータを管理する。
　図５（ｂ）に示すように、シーケンスデータには、シーケンスヘッダが含まれており、シーケンスヘッダには、シーケンスの始まりであることを示すシーケンスヘッダスタートコードが保存される。また、このデータには、シーケンス全体に関する情報が保存される。例えば、シーケンス全体に関する情報としては、シーケンスの名称、撮影場所、撮影が開始された日時、時刻などを表すタイムコード、フレームレート、画像サイズが挙げられる。また、図５（ｃ）に示すように、シーケンス全体に関する情報には、各カメラのＩＤやパラメータの情報も含まれる。シーケンスデータには、各種の三次元形状データがデータセットという単位で保存される。シーケンスヘッダには、そのデータセットの数Ｍが記される。以下、データセット単位の情報が保存される。本実施形態では前景モデルデータのデータセットと背景モデルデータのデータセットの２つが含まれている。
　図５（ｄ）に示すように、データセット単位の情報では、最初にデータセットの識別ＩＤが付与される。識別ＩＤは、保存部１０８ないし、全データセットで唯一のＩＤが付与される。続いて、データセットの種別が保存される。本実施形態では、データセットとして、点群モデルデータ、前景画像、色付き点群データ、距離画像データ、メッシュモデルデータがあるものとする。それぞれをデータセットクラスコードとして表現することにする。データセットクラスコードは、図５（ｅ）に示す２バイトのコードとして表現されている。ただし、データの種別やコードはこれに限定されない。他の三次元形状データを表すデータでも構わない。
　続いて、図５（ｄ）に戻り、当該のデータセットへのポインターが保存される。ただし、各データセットへのアクセスのための情報であれば良く、ポインターに限定されない。例えば、保存部でファイルシステムを構築し、ファイル名としても構わない。
　本実施形態では、前景モデルのデータセットの種別として、最初に、点群モデルデータ、前景画像を例にとって説明する。
　図６（ａ）に前景モデルデータセットの構成の一例を示す。説明のために前景モデルデータセットはフレーム単位で保存されているものとするが、これに限定されない。データセットの先頭には前景モデルデータヘッダが保存されるが、ヘッダには本データセットが前景モデルのデータセットであることや、フレーム数等が保存されている。図５（ｂ）に示すように、以下順に、前景モデルデータの先頭フレームの時刻を表すタイムコード、当該フレームのデータサイズが保存されている。データサイズは、次のフレームのデータを参照するためのものであり、ヘッダにまとめて保存されていてもよい。続いて、タイムコードが示す時刻に仮想視点画像を生成するための被写体の数Ｐが保存される。さらにその時点で撮影に使用されたカメラの台数Ｃが保存される。なお、撮影に使用されたカメラの台数に代えて、オブジェクトが撮影画像に映っているカメラの台数であってもよい。続いて、使用されたカメラのカメラＩＤが保存される。
　続いて、前景モデルデータの分割数が記載される。分割は、モデル分割部１０６により行われる。本実施形態では、ｘ軸、ｙ軸、ｚ軸を設定してそれぞれを等分割する方法について説明する。本実施形態ではスタジアムの長手方向をｘ軸、短手方向をｙ軸、高さをｚ軸として定義する。これを基準座標軸とする。ただし、これに限定されない。ｘ軸方向の分割数をｄｘ、ｙ軸方向の分割数をｄｙ、ｚ軸方向の分割数をｄｚとする。分割の例を図３Ａに示す。図３Ａは、ｄｘが２、ｄｙが２、ｄｚが２の様子を表す。これによって、球体が８方向に分割される。すなわち、分割３００－１～８に分割される。分割の中心をモデルの中心（重心）とし、前景モデルを８分割する。図３Ａの左側に１つは、分割モデル３００－１を示す。また、図３Ｂに、ｄｘが２、ｄｙが２、ｄｚが１の場合を表す。図３Ｂに従う分割方法であれば、前景モデルデータは、４分割される。ただし、分割方法は、これに限定されない。例えば、スタジアムの短手方向をｘ軸、長手方向をｙ軸、高さをｚ軸としてもよいし、任意の方向をｘ軸として、それに直交するようにｙ軸、ｚ軸を決めてもよい。また、互いに直交するｘ軸、ｙ軸、ｚ軸を規定して分割を行ったが、分割する軸はこれに限られない。また、座標系以外に分割の方法を用いてもよい。例えば、被写体である人物、動物の体の部位ごと、例えば、顔や胴、手足等に分割しても構わない。
　図６（ｂ）に戻り、各分割の前景モデルのデータが続く。第１の被写体の前景モデルのデータのデータサイズが保存される。具体的には、第１の被写体の点群データの分割３００－１に含まれる点群モデルデータが保存される。分割された点群データについては、図６（ｃ）に示すように、含まれる点群のデータサイズが保存され、点群モデルを構成する点の数Ｒが保存される。以下、分割されたデータの点群データが順に保存されている。まず、最初の被写体の点群を構成する座標点数が保存される。以下、当該数の点の座標が保存される。本実施形態では座標系を３軸のデータとして保存するが、これに限定されず、極座標やその他の座標系でも構わない。このようにｘ軸、ｙ軸、ｚ軸などに平行に分割することで、座標位置で属する分割が簡単な座標比較で実現できるという効果もある。
　図６（ｂ）に示すように、以下、第１の被写体の分割された部分ごとに、点群データが保存される。さらに、第２の被写体以降の点群データに含まれる分割されたデータが、順に保存される。第Ｐ番目の被写体の点群データまでが保存される。
　続いて、図６（ｂ）に示すように、前景画像データがカメラＩＤごとに保存される。前景画像データについては、各前景画像データのデータサイズ、画像のサイズ、画素値のビット深度、画素値等が保存される。なお、画像データは例えばＪＰＥＧなどで符号化されていても構わない。以下、被写体毎に各カメラからの前景画像データを続けて保存する。なお、当該カメラに被写体が映っていない場合は、ＮＵＬＬデータを書き込むか、被写体単位で映っているカメラ数と該当するカメラＩＤを保存しても構わない。
　図９（ａ）に、背景モデルデータセットの構成の一例を示す。データセットの先頭には背景モデルデータヘッダが保存されるが、図９（ｂ）に示すように、ヘッダには本データセットが背景モデルのデータセットであること、データセットのデータサイズが保存されている。続いて、背景モデルデータのフォーマットが記載されている。ここでは、データセットクラスコードと同じとして説明するが、背景モデルデータ固有な書式、例えばＣＡＤのフォーマット等を示すための符号を拡張してももちろん構わない。本実施形態では、背景モデルデータのフォーマットのデータセットクラスコードは０ｘ０００６となる。続いて、背景モデルデータの分割数が記載される。本実施形態では、平面的にＢ個に分割する例を示して説明する。スタジアムでの仮想視点画像の主な視点はフィールドに向いているため、分割をｘ軸、ｙ軸の分割を中心にして背景の分割の指定がしやすいようにできる。ただし、これに限定されない。例えば、前景モデルデータの分割と同様にｘ軸、ｙ軸、ｚ軸を設定してそれぞれを分割する方法を用いても構わない。背景に関してはスタジアムの構造が撮影期間中に変化することがないので、シーケンスで１つ保存することとする。なお、背景モデルデータが撮影期間中に変化する場合、画像と同様にフレーム単位で生成するか、変化しない期間単位で保存しても構わない。また、座標系による分割だけではなく、各背景の内容によって分割しても構わない。例えば、フィールド面を別な分割としても構わない。また、分割数もこれに限定されない。前景と背景で異なる分割方法や分割数でも構わない。例えば、分割数を増やすと、よりデータ削減になり処理速度の向上効果が大きくなる。さらには、データ量が多いところは細かく分割することで、伝送するデータ量を適切化できる。
　続いて、図９（ｃ）に示すように、分割された背景モデルデータの詳細が記載される。例えば、分割ごとにその分割に含まれるデータの範囲を示すことができる。記述の方法は限定されないが、例えば、構造物に依存した分割として、座席のクラスや指定席、自由席などの区分、バックスクリーン方向やメインスタンド、バックスタンドなどの区域単位でも構わない。分割された背景モデルデータの範囲を適切に記載するのであれば、どのような記述を行っても構わない。本実施形態では、背景モデルデータの分割を図４に示すように４分割する例をとって説明する。フィールドのセンターを中心として、ｘ軸、ｙ軸に４５度の角度を持った線を分割の境界とする。バックスタンド側を分割１３００－１、その右側を分割１３００－２、メインスタンド側を分割１３００－３、バックスタンドに向けて左側を分割１３００－４とする。このようにスタジアムを４分割する。すなわち、記述としては、分割の中央座標、分割の境界線の位置が記述される。このように分割することで、選手の動きが長手方向に中心的に行われる競技においては、選手の移動に追従して動くカメラはｘ軸上の移動が多くなり、左右のスタンドで大きなビジョンモニターのある方向がメインに撮影される。また、メインスタンドやバックスタンドのカメラからは左右に動く選手が主体となるため、反対側のスタンドの背景が多用される。このように分割することで、背景モデルデータの更新の回数を削減することができる。
　続いて、図９（ｄ）に示すように、背景モデルデータのデータが保存される。最初に背景モデルデータのデータサイズが保存される。続いて、各分割のデータが保存される。最初に第１の分割、ここでは、分割１３００－１の背景モデルデータのデータサイズが保存される。さらに、分割１３００－１の背景モデルデータである点群のデータが保存される。点群データは最初に当該点群データの大きさが示され、当該点群データの点の数が保存され、各点の座標が保存される。最後に、図９（ｃ）に戻り、分割１３００－１の背景画像データのポインターが保存される。ポインターの指示先には分割１３００－１のモデルに貼り付ける背景画像データが保存される。すなわち、図９（ｅ）で示すように、背景画像の画像サイズやビット深度などの記述に加え、各フレームのタイムコード、データサイズ、画像データが保存される。以下、各フレームの背景画像データが保存される。以下、同様に、分割１３００－２、分割１３００－３、分割１３００－４の順にデータが保存される。
　続いて、上記の構成での仮想視点画像生成システムの情報処理方法について、図１１のフローチャートを用いて説明する。図１１で示す処理は、入力部１０２により、画像データが受信されることにより開始される。
　ステップＳ１１００において、管理部１０７は、シーケンスデータのシーケンスヘッダを生成する。そして、管理部１０７は、保存するデータセットを生成するかを決定する。
　ステップＳ１１０１において、モデル取得部１０５は、背景モデルデータを取得する。ステップＳ１１０２において、モデル分割部１０６は、背景モデルデータを所定の分割方法に基づいて、分割する。次に、ステップＳ１１０３において、管理部１０７は、分割された背景モデルデータを保存部１０８に所定のフォーマットに従って保存する。
　ステップＳ１１０４において、撮影開始からフレーム単位で入力を繰り返す。ステップＳ１１０５において、カメラ１０１ａ～ｔから画像のフレームデータを取得する。ステップＳ１１０６において、前景モデル生成部１０３は、前景画像及び、シルエット画像を生成する。ステップＳ１１０７において、前景モデル生成部１０３は、シルエット画像を用いて、被写体の点群モデルデータを生成する。
　ステップＳ１１０８において、モデル分割部１０６は、生成された被写体の点群モデルデータを所定の方法に従って分割する。本実施形態では、図３Ａのように、点群モデルは８分割されるので、点群の点の座標からいずれの分割に属するかを判断して、分割する。境界上に点が存在する場合、いずれかの分割に属させるか、両方の分割に属させても構わない。ステップＳ１１０９において、管理部１０７は、分割された前景モデルデータを保存部１０８に所定のフォーマットに従って保存する。
　ステップＳ１１１０において、管理部１０７は、ステップＳ１１０６で生成された前景画像を保存部１０８に所定のフォーマットに従って保存する。
　ステップＳ１１１１において、モデル分割部１０６は、入力された画像と前景モデル生成部１０３で生成された前景画像から、前景画像以外の領域を統合し、背景画像を生成する。背景画像の生成については特に限定しない。背景画像の生成については、既存の技術である、複数画像の繋ぎ合わせや、被写体のある部分の他のカメラからの画像や周囲の画素、他のフレームの画像による補間によって生成される。ステップＳ１１１２において、モデル分割部１０６は生成された背景画像を所定の方法に従って分割する。本実施形態では図４のように４分割にするので、それぞれの画素がどの分割に属するかを判断して分割された背景画像データを生成する。ステップＳ１１１３において、管理部１０７は分割された背景画像データを保存部１０８に所定のフォーマットに従って保存する。ステップＳ１１１４において、撮影が終了するか、フレーム単位での入力が終了するまでステップＳ１１０４からステップＳ１１１３までを繰り返す。
　ステップＳ１１１５において、送受信部１０９は、端末１１１から端末１１１で仮想視点画像生成を行うのに必要な情報を受信する。少なくとも、使用するシーケンスの情報に関する情報である。シーケンスを直接指定したり、撮影場所、日時、イベントの内容から検索を行ったりしてもよい。選択部１１０は入力された情報に従って、該当するシーケンスデータを選択する。
　ステップＳ１１１６において、仮想視点画像生成開始からフレーム単位で入力を繰り返す。ステップＳ１１１７において、送受信部１０９は、端末１１１から仮想視点情報を受信し、選択部１１０に入力する。ここで、仮想視点情報とは、仮想視点を仮想的にカメラに例えた場合、仮想カメラの位置、姿勢、画角等を含む情報である。具体的には、仮想視点情報は、仮想視点の位置、仮想視点からの視線方向などを特定するための情報である。
　ステップＳ１１１８において、選択部１１０は、取得した仮想視点情報から、仮想視点画像に含まれる背景モデルデータの分割モデルを選択する。例えば、図２における仮想カメラ２００に対して、領域２０１が仮想カメラの視野に収まるものとする。図４において、仮想カメラ２００と領域２０１の状況を示す。領域２０１には背景画像データで分割１３００－２と分割１３００－３が含まれることが判断され、これらの分割された背景モデルデータを選択する。具体的には、図９において、分割１３００－２に含まれる背景データは、第２の分割データである。同様に、分割１３００－３に含まれる背景モデルデータは第３の分割データである。第２の分割データは、当該の背景モデルデータの分割データのサイズＤａｔａ　ｓｉｚｅ　ｏｆ　２ｎｄ　Ｓｕｂ　Ｂａｃｋｇｒｏｕｎｄ　ｍｏｄｅｌ　ｄａｔａを含む。また、第２の分割データは、データセットＤａｔａ　ｓｅｔ　ｏｆ　２ｎｄ　Ｓｕｂ　Ｂａｃｋｇｒｏｕｎｄ　ｍｏｄｅｌ　ｄａｔａを含む。第３の分割データは、当該の背景モデルデータ分割データのサイズＤａｔａ　ｓｉｚｅ　ｏｆ　３ｒｄ　Ｓｕｂ　Ｂａｃｋｇｒｏｕｎｄ　ｍｏｄｅｌ　ｄａｔａを含む。また、第２の分割データは、データセットＤａｔａ　ｓｅｔ　ｏｆ　３ｒｄ　Ｓｕｂ　Ｂａｃｋｇｒｏｕｎｄ　ｍｏｄｅｌ　ｄａｔａを含む。なお、分割データは、仮想視点画像に表示される背景の部分領域に対応し、背景モデルデータの部分データである。
　ステップＳ１１１９において、選択部１１０が選択した情報は、管理部１０７に入力される。そして、管理部１０７は、保存部１０８から選択された背景モデルデータの分割モデルデータ（第２の分割モデルデータと第３の分割モデルデータ）を送受信部１０９に出力する。送受信部１０９は、選択された背景モデルデータの分割モデルデータを端末１１１に送信する。この際、背景モデルデータのうち、選択されていない第１の分割モデルデータと第４の分割モデルデータは、端末１１１に出力されない。このため、端末１１１に出力されるデータ量を削減することができる。この第１の分割モデルデータと第４の分割モデルデータは、仮想視点画像の生成には寄与しないため、第１の分割モデルデータと第４の分割モデルデータが出力されなくても、端末１１１にて生成される仮想視点画像の画質には影響しない。
　次に、ステップＳ１１２０において、選択部１１０は送受信部１０９を介して入力された仮想視点画像を生成するタイムコードから、指定されたタイムコードのフレームを選択する。ステップＳ１１２１において、選択部１１０は、仮想視点情報から、仮想視点画像に含まれる背景画像データを選択する。背景モデルデータの分割されたデータの選択と同様に領域２０１には背景画像データで分割１３００－２と分割１３００－３が含まれることが判断され、これらの分割された背景画像データを選択する。具体的には、図９において、分割１３００－２に含まれる背景画像データは第２の分割データである。第２の分割データは、Ｐｏｉｎｔｅｒ　ｏｆ　２ｎｄ　Ｓｕｂ　Ｂａｃｋｇｒｏｕｎｄ　Ｉｍａｇｅが示すデータから画像の仕様に関する情報を読出し、該当するタイムコードのフレームまで、データサイズを元にたどり、当該タイムコードの画像データである。同様に、分割１３００－３に含まれる背景画像データは第３の分割データである。第３の分割データは、Ｐｏｉｎｔｅｒ　ｏｆ　３ｒｄ　Ｓｕｂ　Ｂａｃｋｇｒｏｕｎｄ　Ｉｍａｇｅが示すデータから画像の仕様に関する情報を読出し、該当するタイムコードのフレームまで、データサイズを元にたどり、当該タイムコードの画像データである。
　ステップＳ１１２２において、選択部１１０が選択した情報は、管理部１０７に入力される。そして、管理部１０７は、保存部１０８から選択された背景画像データの分割データ（第２の分割データと第３の分割データ）を送受信部１０９に出力する。送受信部１０９は、選択された背景画像データの分割データを端末１１１に送信する。この際、背景画像データのうち、選択されていない第１の分割データと第４の分割データは、端末１１１に出力されない。このため、端末１１１に出力されるデータ量を削減することができる。この第１の分割データと第４の分割データは、仮想視点画像の生成には寄与しないため、第１の分割データと第４の分割データが出力されなくても、端末１１１にて生成される仮想視点画像の画質には影響しない。
　ステップＳ１１２３において、当該タイムコードの時刻のフレームで仮想カメラ２００の視野に含まれた全ての被写体に関して続く処理を繰り返す。ステップＳ１１２４において、選択部１１０は、仮想視点情報から、仮想視点画像に含まれる前景モデルデータを選択する。例えば、図２の被写体２１０に関する前景モデルデータを選択する。ステップＳ１１２５において、被写体２１０は、図４に示すように、上部から見て細線で示されたように分割されている。そのため、選択部１１０は、仮想カメラ２００からは分割３００－１、分割３００－２、分割３００－３、分割３００－５、分割３００－６、分割３００－７が見えていると判断される。したがって、選択部１１０は、これらの分割に属するデータを選択する。
　ステップＳ１１２６において、最初に、選択部１１０は、入力されたタイムコードから処理するフレームを選択する。これは、各フレームのデータの先頭のタイムコードと入力されたタイムコードとを比較し、データサイズ単位で読み飛ばすことで当該タイムコードのフレームデータを選択できる。なお、タイムコードと当該タイムコードのフレームデータのポインターをテーブルで保存しておき、検索して決定しても構わない。当該タイムコードのフレームのデータにおいて、データサイズ、被写体数、カメラ数と各カメラＩＤを読出し、分割されたデータで必要なものを選択する。続いて、当該被写体２１０の位置から前景モデルデータを選択する。例えば、１番目の被写体であったとする。１番目の被写体で、最初に分割３００－１の前景モデルデータを選択する。図６（ｂ）において、分割３００－１に含まれる前景データは第１の分割データである。この分割データは、仮想視点画像に表示される被写体の部分領域に対応し、前景オブジェクトの部分データである。そして、選択部１１０からの情報を受けて、管理部１０７は第１の分割データを保存部１０８から読出し、出力する。第１の分割データは、データセットＤａｔａ　ｓｅｔ　ｏｆ　１ｓｔ　ｓｕｂ　ｐｏｉｎｔ　ｃｌｏｕｄ　ｉｎ　１ｓｔ　Ｏｂｊｅｃｔである。また、選択部１１０は、分割３００－２の前景モデルデータを選択する。図６（ｂ）において、分割３００－２に含まれる前景データは第２の分割データである。そして、選択部１１０からの情報を受けて、管理部１０７は第２の分割データを保存部１０８から読出し、出力する。続いて、第２の分割データは、当該の背景モデルデータの分割データセットＤａｔａ　ｓｅｔ　ｏｆ　２ｎｄ　ｓｕｂ　ｐｏｉｎｔ　ｃｌｏｕｄ　ｉｎ　１ｓｔ　Ｏｂｊｅｃｔ　である。以下、同様に割３００－３、分割３００－５、分割３００－６、分割３００－７に相当する前景モデルデータが出力される。なお、分割３００－４、分割３００－８に相当する前景モデルデータは出力されない。このため、端末１１１に出力されるデータ量を削減することができる。この割３００－４、分割３００－８に相当する前景モデルデータは、仮想視点画像の生成には寄与しないため、このデータが出力されなくても、端末１１１にて生成される仮想視点画像の画質には影響しない。
　ステップＳ１１２７において、仮想カメラから見えるオブジェクトの色を決定するための前景画像を選択する。図２において、仮想カメラ２００に近いカメラの前景画像が選択される。例えば、被写体２１０の見える側を撮影しているカメラは１０１－ｂ、１０１－ｏ、１０１－ｐ、１０１－ｑ、１０１－ｒであることがわかる。例えば、仮想カメラ２００から見える平面で被写体を横断する平面２１２より仮想カメラ２００側にあるカメラでその画角に被写体２１０を含む全てのカメラがその対象になる。それらのカメラから撮影された前景画像をカメラＩＤに基づいて選択することで可能になる。カメラＩＤに基づいて、Ｆｏｒｅｇｒｏｕｎｄ　Ｉｍａｇｅ　ｏｆ　２ｎｄ　Ｃａｍｅｒａ以下、それぞれのカメラの前景画像データが選択される。
　ステップＳ１１２８において、選択された前景画像データは、保存部１０８から読み出され、送受信部１０９を介して端末１１１に出力される。ステップＳ１１２９において、視野内の全ての被写体について前景モデルデータと前景画像データの出力が終了するまで、ステップＳ１１２３からステップ１１２８を繰り返す。
　ステップＳ１１３０において、端末１１１は、取得した各データに基づいて、仮想視点画像を生成する。ステップＳ１１３１において、仮想視点画像の生成が終了するか、フレーム単位での入力が終了するまでステップＳ１１１６からステップＳ１１３０までを繰り返す。繰り返しが終了したら、三次元情報処理及び仮想視点画像生成処理を終了する。
　図１２は各部の通信の状況を示した図である。最初に端末１１１が起動される。三次元情報処理装置の送受信部１０９に仮想視点画像を生成の開始を送信する。送受信部１０９は、各部に仮想視点画像を生成の開始を通達し、各部はその準備を行う。続いて、端末１１１は、送受信部１０９に対して、仮想視点画像を生成するシーケンスデータを送信する。これは、ユーザが、端末１１１を介して、保存部１０８に保存されているシーケンスデータを検索したり、指定したりして決定することができる。端末１１１から送信されたシーケンスデータに関する情報は、送受信部１０９を介して選択部１１０に入力される。選択部１１０は、管理部１０７に対して選択されたシーケンスへの読出しを指示する。
　続いて、端末１１１は、送受信部１０９に対して、仮想視点画像の生成を開始する時刻、タイムコードと仮想視点情報を送信する。送受信部１０９は、これらの情報を選択部１１０に送る。選択部１１０は入力されたタイムコードから仮想視点画像を生成するフレームを選択する。また、選択部１１０は仮想視点情報に基づき、分割された背景モデルデータ、分割された背景画像データ、分割された前景モデルデータ、分割された前景画像データの選択を行う。
　そして、選択部１１０により選択されたデータの情報は、管理部１０７に送られ、これに基づいて、保存部１０８から仮想視点画像を生成するフレームの必要なデータを読出し、送受信部１０９に送る。送受信部１０９は、要求のあった端末にこれらのデータを送る。端末１１１はこれらに基づいてレンダリングを行い、仮想視点画像を生成する。以下、次のフレームの処理をするために、仮想視点情報の送信、分割データの選択、仮想視点画像の生成が繰り返される。端末１１１から送信終了が送受信部１０９に送信されると、全ての処理を終了する。
　なお、本実施形態では処理をシーケンシャルな流れとしてフローチャートに示したが、これに限定されない。例えば、前景モデルデータと背景モデルデータの選択や出力を並行して実施しても構わない。また、本実施形態において、続くフレームで選択される背景モデルデータの分割データが同じであれば、何も送信しないか、変更がないことを送信するようにしてもよい。また、端末１１１は、背景モデルデータの分割データが更新されなければ、前のフレームの分割データをそのまま使い続けるようにすれば、背景の生成が可能になる。そして、同じ背景モデルデータを繰り返し伝送することが低減され、データの伝送量が低減される。
　また、三次元情報処理装置１００は、仮想視点情報を生成するようにしてもよい。この場合、仮想視点情報が選択部１１０に入力され、それ以降の処理は上述した処理と同じにすればよい。ただし、端末１１１に送信されるデータには、仮想視点情報も含まれる。この仮想視点情報は、三次元情報処理装置１００により自動で生成されてもよいし、端末１１１を操作するユーザとは別のユーザによって入力されてもよい。
　以上の構成と動作により、三次元形状データに関して、仮想視点情報に基づいて、仮想視点画像の生成に必要なデータのみを送信して生成を行うことにより、送信するデータ量を抑え、伝送路を効率よく使用することが可能となる。また、各端末に送るデータのデータ量も削減できるため、より多くの端末の接続が可能になる。
　なお、前景モデル生成部１０３や背景モデル生成部１０４では、複数のカメラで撮影された画像からの三次元形状データの生成を行ったが、これに限定されず、コンピュータグラフィックスなどを用いて、人工的に生成しても構わない。また、保存部１０８で保存する三次元形状データとして点群モデルデータと前景画像データを用いて説明したが、これに限定されない。
　（変形例）
　以下では、保存部１０８に保存されるデータの別の例について述べる。
　＜色情報を有する点群モデルデータの例＞
　図７（ａ）は、点群の各点に色情報が付けられた色付き点群モデルデータのデータセットの構成の一例である。色付き点群モデルデータにおいて、図６に示す前景モデルデータと同様に分割されている。具体的には、図７（ｂ）で示すように、前景モデルデータと同様に各フレームでデータが構成されており、先頭から、タイムコード、当該フレームのデータサイズ、被写体の数、撮影に使用されたカメラの数、カメラＩＤが保存される。つづいて、色付き点群モデルデータの分割数が記載され、各被写体の色付き点群モデルデータのデータサイズに続いて、各分割された色付き点群モデルデータのデータが続く。また、図７（ｃ）に示すように、分割された色付き点群モデルデータはデータのサイズ、分割された色付き点群モデルデータの点の数につづいて、それぞれの点の座標と色情報が保存される。
　色付き点群モデルは、上述した前景モデルデータの代わりに用いられる。具体的には、仮想視点画像の生成にあたり、色付き点群モデルデータが選択され、端末１１１に送信される。端末１１１は、点群モデルデータの点の位置の画素値を色情報で色付けを行う。この三次元形状データを用いることで、上述した点群モデルデータと前景画像データを統合して扱えるため、データの選択、指示が簡単になり、さらに仮想視点画像の生成も簡単な処理で済むため、端末のコストダウンを図ることができる。
　＜メッシュモデルデータの例＞
　図８（ａ）は、メッシュなどを構成するメッシュモデルデータのデータセットの構成の一例である。メッシュモデルにおいて、前景モデルデータや色付き点群モデルデータと同様に分割されている。具体的には、図８（ｂ）に示すように、前景モデルデータと同様に各フレームでデータが構成されており、先頭から、タイムコード、当該フレームのデータサイズ、被写体の数が保存される。つづいて、メッシュモデルデータの分割数が記載され、各被写体のメッシュモデルデータのデータサイズに続いて、各分割されたメッシュモデルデータのデータが続く。また、図８（ｃ）に示すように、分割されたメッシュモデルデータはデータのサイズ、分割されたメッシュモデルデータのポリゴンの数に続いて、ポリゴン毎のデータ、すなわちポリゴンの頂点の座標とポリゴンの色情報が順に保存される。
　なお、頂点を記述する座標系を３軸のデータとし、色情報をＲＧＢの三原色の値で保存するが、これに限定されない。座標系では極座標やその他の座標系でも構わない。また、色情報も均等色空間や輝度、色度といった情報で表現しても構わない。仮想視点画像の生成にあたっては、上述した前景モデルデータの代わりに、メッシュモデルデータが選択され、端末１１１に送信される。端末１１１ではメッシュモデルデータの頂点に囲まれる領域を色情報で色付けすることで生成される。この三次元形状データを用いることで、色付き点群モデルデータ同様に、データの選択、指示が簡単になり、さらに色付き点群モデルデータよりデータの削減が可能になることから、端末のコストダウンを図り、より多くの端末の接続を可能にすることができる。
　なお、メッシュモデルデータを、前景モデルデータと同様に前景画像データをテクスチャマッピングするためのデータとして、色なしで生成しても構わない。つまり、メッシュモデルデータのデータ構造として、色情報のない、形状情報のみの形式で記述されてもよい。
　＜背景モデルデータの別の例＞
　背景モデルデータもメッシュモデルデータで管理することも可能である。図１０（ａ）～（ｄ）に、背景モデルデータをメッシュモデルデータで構成する例を示す。図１０（ｂ）に示すように、ヘッダの内容は背景モデルデータのヘッダそのものである。ただし、本実施形態では、背景モデルデータのフォーマットのデータセットクラスコードは０ｘ０００７となる。図１０（ｃ）に示すように、背景モデルデータがメッシュモデルである場合、背景画像モデルデータのデータサイズに続き、第１の分割のデータサイズが保存される。続いて、第１分割のポリゴンデータが保存される。図１０（ｄ）に示すように、分割されたメッシュモデルデータは最初にタイムコードが保存される。続いて、データのサイズ、分割されたメッシュモデルデータのポリゴンの数に続いて、ポリゴン毎のデータ、すなわちポリゴンの頂点の座標とポリゴンの色情報が順に保存される。
　仮想視点画像の生成での背景の生成において、データの選択、指示が簡単になり、さらに色付き点群モデルデータよりデータの削減が可能になることから、端末のコストダウンを図り、より多くの端末の接続を可能にすることができる。
　境界上にポリゴンが存在する場合、いずれかの分割に属させるか、両方の分割に属させても構わない。また、ポリゴンを境界線で分割して、それぞれの分割に属させても構わない。
　（実施形態２）
　三次元形状データを処理する実施形態２である三次元情報処理装置１３００について、図１３の仮想視点画像生成システム構成図を用いて説明する。同図において、各部の動作が図１と同じ構成に関しては、同じ番号を付し、説明を省略する。本実施形態では、三次元情報処理装置１３００が仮想視点画像生成部１３０１を有する点が、実施形態１と異なる。また、本実施形態では分割の方法が実施形態１と異なる。なお、モデル生成部１３０３は、実施形態１１の前景モデル生成部１０３と背景モデル生成部１０４の機能を有する。また、本実施形態に係る三次元情報処理装置１３００に適用可能なコンピュータのハードウェアの構成例は、実施形態１と同じであるため説明を省略する。
　端末１３１０ａ～ｄは、ユーザが仮想視点を設定した仮想視点情報を三次元情報処理装置１３００に送信する。端末１３１０ａ～ｄはレンダラを持たず、仮想視点の設定と仮想視点画像の表示のみを行う。送受信部１３０８は、実施形態１の送受信部１０９の機能に加え、端末１３１０から仮想視点情報を受信し、選択部１３０９と仮想視点画像生成部１３０１に送信する。さらに、送受信部１３０８は、生成された仮想視点画像を、仮想視点情報を送信した端末１３１０ａ～ｄに送信する機能を備える。仮想視点画像生成部１３０１はレンダラを備え、入力された仮想視点情報と保存部１０８から読み出された三次元形状データに基づいて仮想視点画像の生成を行う。選択部１３０９は仮想視点画像生成部１３０１が仮想視点画像を生成するために必要なデータセットを選択する。なお、た、特に断りが無い限り、端末１３１０ａ～ｄは、端末１３１０として説明を行う。また、端末１３１０の数は、これに限られず、１台でもよい。
　図１６（ａ）～（ｃ）に、実施形態２の前景モデルデータの構成の一例を示す。説明のために前景モデルデータセットは、フレーム単位で保存されているものとするが、これに限定されない。例えば、オブジェクト単位で管理されても構わない。前景モデルデータヘッダは実施形態１と同じである。本実施形態では三次元形状データは点群モデルデータと前景画像データで構成する例について説明する。
　図１６（ｂ）に示すように、以下順に、前景モデルデータの先頭フレームの時刻を表すタイムコード、当該フレームのデータサイズが保存されている。続いて、タイムコードが示す時刻に仮想視点画像を生成するための被写体の数Ｐが保存される。さらにその時点で撮影に使用されたカメラの台数Ｃが保存される。続いて、使用されたカメラのカメラＩＤが保存される。続いて、各被写体の前景モデルデータが格納される。最初に被写体の前景モデルデータを表すためのデータサイズが保存される。さらに、被写体の前景モデルデータの分割数Ｄが保存される。
　続いて、被写体の分割された前景モデルデータのデータが保存される。分割された前景モデルデータのデータサイズが保存され、続いて分割された前景モデルデータ記述が保存される。図１６（ｃ）に示すように、本実施形態では、保存される記述については、分割された前景モデルのデータサイズに続き、当該被写体が写るカメラの数ＣとＣ個のカメラＩＤが含まれている。続いて、分割された前景モデルデータのデータが保存される。分割された前景モデルデータは図６（ｂ）の構成と同じである。前景画像データも図６（ｂ）と同様である。
　図１４に、本実施形態の分割の様子の一例を示す。図１４では１２個の分割を実施する例を示す。ただし、分割の方法や数はこれに限定されない。例えば、カメラ１０１－ｂの被写体２１０上の撮影範囲を被写体２１０の見える範囲として同心円の領域１４０１－ｂを表す。以下、同様の関係が、領域１４０１－ｄとカメラ１０１－ｄ、領域１４０１－ｈとカメラ１０１－ｈ、領域１４０１－ｊとカメラ１０１－ｊに成り立つ。さらに、領域１４０１－оとカメラ１０１－о、領域１４０１－ｐとカメラ１０１－ｐ、領域１４０１－ｑとカメラ１０１－ｑ、領域１４０１－ｒとカメラ１０１－ｒにも同様の関係が成り立つ。ここで、それぞれの領域が重なる範囲の境界をそれぞれ分割の境界とする。
　分割１４０２－１は、領域１４０１－ｂ、領域１４０１－ｒを含み、カメラの台数Ｃは２となる。被写体２１０の点群モデルデータの点のデータがＤａｔａ　ｓｅｔ　ｏｆ　１ｓｔ　ｓｕｂ　ｐｏｉｎｔ　ｃｌｏｕｄ　ｉｎ　１ｓｔ　Ｏｂｊｅｃｔに含まれる。また、Ｎｕｍｂｅｒ　ｏｆ　Ｃａｍｅｒａは２となり、カメラＩＤがカメラ１０１－ｂとカメラ１０１－ｒの画像のみでこの分割の画像の点群の色を決定することができる。以下、同様に、分割１４０２－２は領域１４０１－ｂを含み、カメラの台数Ｃは１となる。分割１４０２－３は領域１４０１－ｄ、領域１４０１－ｈを含み、カメラの台数Ｃは２となる。分割１４０２－４は領域１４０１－ｄを含み、カメラの台数Ｃは１となる。分割１４０２－５は領域１４０１－ｊを含み、カメラの台数Ｃは１となる。分割１４０２－６は領域１４０１－ｊ、領域１４０１－ｑを含み、カメラの台数Ｃは２となる。分割１４０２－７は領域１４０１－ｑを含み、カメラの台数Ｃは１となる。分割１４０２－８は領域１４０１－ｐ、領域１４０１－ｑを含み、カメラの台数Ｃは２となる。分割１４０２－９は領域１４０１－о、領域１４０１－ｐ、領域１４０１－ｑを含み、カメラの台数Ｃは３となる。割１４０２－１０は領域１４０１－ｐ、領域１４０１－ｑを含み、カメラの台数Ｃは２となる。割１４０２－１１は領域１４０１－ｂ、領域１４０１－ｐ、領域１４０１－ｑ、領域１４０１－ｒを含み、カメラの台数Ｃは４となる。分割１４０２－１２は領域１４０１－ｂ、領域１４０１－ｑ、領域１４０１－ｒを含み、カメラの台数Ｃは３となる。これらの領域は被写体の位置、撮影しているカメラとその位置から分割は一意に決定される。
　このようにすることで、各分割の前景画像のカメラＩＤが分割内はみな同じになり、データの管理が容易になる効果がある。
　続いて、実施形態２において、上記の構成での仮想視点画像生成システムの情報処理方法について、図１５のフローチャートを用いて説明する。同図において、各部の動作が実施形態１の処理動作（図１１）と同じステップに関しては、同じ番号を付し、説明を省略する。図１５で示す処理は、入力部１０２により、画像データが受信されることにより開始される。
　ステップＳ１１００でシーケンスヘッダを生成した後に、ステップＳ１１０１からステップＳ１１０３において、背景モデルデータに関する処理を行う。ステップＳ１１０４に進み、撮影開始からフレーム単位で入力を繰り返す。ステップＳ１１０７までに各被写体の点群モデルデータが生成される。
　ステップＳ１５０１において、被写体ごとの前景モデルデータの分割を繰り返す。ステップＳ１５０８において、図１４で説明したように、１つ以上のカメラに映る領域に分割する。ステップＳ１５０２において、全ての被写体の前景モデルデータの分割が行えたら繰り返しを終了する。
　ステップＳ１１１１からステップＳ１１１３によって実施形態１と同様に、背景画像の生成と分割を行い、保存を行う。ステップＳ１１１５において、送受信部１３０８は端末１３１０から端末１３１０で仮想視点画像生成を行うのに必要な情報を受信する。選択部１３０９は、入力された情報に従って、該当するシーケンスデータを選択する。ステップＳ１１１６において、仮想視点画像生成開始からフレーム単位で入力を繰り返す。
　ステップＳ１１１７からステップＳ１１２２によって、背景を生成するのに必要な背景モデルデータと背景画像データが選択され、出力される。ステップＳ１１２３において、当該タイムコードの時刻のフレームで仮想カメラ２００の視野に含まれた全ての被写体に関して続く処理を繰り返す。ステップＳ１１２４において、選択部１１０は、仮想視点情報から、仮想視点画像に含まれる前景モデルデータを選択する。例えば、図１４で示す被写体２６０に関する前景モデルデータが選択される。
　ステップＳ１５２５において、選択部１３０９は、図１４を参照して分割された前景モデルデータの選択を行う。図１４に示すように、仮想カメラ２５０の近くにカメラ１０１－ｑと１０１－ｒが存在する。選択部１３０９は、これらのカメラのＩＤを含む分割された前景モデルデータの分割データを選択する。これらのカメラＩＤは分割１４０２－１、および分割１４０２－３に含まれているため、これらの分割データが選択される。
　ステップＳ１１２６において、選択部１３０９からの選択情報を取得して、管理部１０７は、保存部１０８から、これらの分割データを、仮想視点画像生成部１３０１に出力する。すなわち、図１４における被写体２６０が第１の被写体とされる。そして、分割１４０２－１の前景モデルデータの分割データとしてＤａｔａ　ｓｉｚｅ　ｏｆ　１ｓｔ　ｓｕｂ　ｐｏｉｎｔ　ｃｌｏｕｄ　ｏｆ　１ｓｔ　Ｏｂｊｅｃｔが出力される。さらに、分割１４０２－３の前景モデルデータの分割データとしてＤａｔａ　ｓｉｚｅ　ｏｆ　３ｒｄ　ｓｕｂ　ｐｏｉｎｔ　ｃｌｏｕｄ　ｏｆ　１ｓｔ　Ｏｂｊｅｃｔが出力される。
　ステップＳ１５２７において、選択部１３０９は、ステップＳ１５２５で選択された分割データ全てに含まれるカメラＩＤの前景画像データを選択する。ステップＳ１１２８において、管理部１０７は、その選択されたデータの情報を取得し、保存部１０８から選択されたデータを読み出し、仮想視点画像生成部１３０１に出力する。
　ステップＳ１１３０は、仮想視点画像生成部１３０１は、取得したデータ、仮想視点情報に基づいて、仮想視点画像を生成する。そして、生成された仮想視点画像は、送受信部１３０８に出力される。送受信部１３０８は、生成された仮想視点画像を、その仮想視点画像の生成を要求する端末１３１０に送信する。
　以上の構成と動作により、三次元形状データに関して、仮想視点情報に基づいて、カメラの情報に基づいて仮想視点画像の生成に必要なデータのみを送信して生成を行うことにより、送信するデータ量を抑え、伝送路を効率よく使用することが可能となる。また、各端末に送る情報の情報量も削減できるため、より多くの端末の接続が可能になる。この場合、伝送路としては、保存部１０８と仮想視点画像生成部１３０１を伝送する通信路である。なお、生成された仮想視点画像を端末１３１０に送信する構成のため、仮想視点画像を生成するための素材データを端末１３１０に送信する構成よりも、送受信部１３０８から端末１３１０への送信するデータ量を低減することができる。
　なお、分割データの生成においては、可視性情報を用いて行ってもよい。可視性情報は、三次元形状データを構成する構成要素（例えば、点群モデルデータであれば点）がどのカメラから見えているかを示す情報である。本実施形態においては、仮想カメラ２５０の位置に近いカメラから見えている点群の点について、可視性情報を用いて選択し、見えている点だけを出力してもかまわない。これにより、より仮想カメラから見えている点のみを送信するので、さらに情報量の削減が可能である。
　また、本実施形態では、全体の前景モデルデータを生成した後に分割を行ったが、これに限定されない。たとえば形状推定で前景モデルデータを作成しながら、データを分割しても構わない。例えば、形状推定を分割ごとで行うことや、可視性判定結果を算出しつつ、点やポリゴンがいずれの分割に属するかを判定しながら行っても構わない。
　以上、説明した実施形態において、伝送する分割データに優先順位を設けて伝送しても構わない。例えば、仮想カメラ２００の正面にある領域１４０１－ｐを含む分割１４０２－３を先に伝送する。これによって、帯域不足や遅延などによって他の分割の伝送が滞る場合、少なくとも見える範囲の多くをカバーして映像を生成できる効果がある。
　さらに、分割ごとに撮影されているカメラが特定できるため、分割ごとに撮影できているカメラのカメラＩＤのリストを作っていてもよい。これにより、仮想視点カメラに近傍のカメラを検出し、リストと照合することで、使用できる分割を決定するための時間と工数を削減することができる。
　また、仮想カメラの視野内に含まれる分割データに加えて、その隣の部分の分割データを送ることも可能である。これにより、領域の境界部分などで視野には入らないが画素値を決めるのに必要な情報を得ることで視野にある被写体等の画質の向上を行えるようになる。このような情報を送ることの可否を判定したり、視野にない分割の優先順位を下げたりして、画質を制御することも可能である。例えば、優先順位の低い分割の点群の点を間引いたり、前景画像を送るカメラを間引いたりして、伝送量や画質を制御することができる。また、顔等の特定の分割は優先順位を高くするといったことも可能である。
　なお、分割はカメラの撮影範囲の重なりに応じてのみ決定されるのではなく、点群の数がほぼ均一になるように選択してもよいし、それぞれの分割の大きさが同じになるようにしてもよい。基本的に分割は重ならないようにするが、一部、重さなってもよい。たとえば、図１４で領域１４０２－７が分割１４０２－６と分割１４０２－８の両方に含まれてもよい。この領域の点の前景画像は両方の領域の境界部の点の色付けに使われることになり、分割の境界部の画質を向上させる効果がある。
　（変形例）
　分割方法は、以下のような方法でもよい。すなわち、仮想視点情報に基づいて、前景モデルなどを分割するようにしてもよい。この場合、仮想視点情報が特定されるまで、前景モデルなどは分割されない。つまり、保存部１０８には、分割されたモデルのデータではなく、被写体ごとの前景モデルが規定される。つまり、図１６において、「ｓｕｂ」に分割されていたデータが一つに統合される。具体的には、図１６（ｂ）において、Ｄａｔａ　ｓｉｚｅ　ｏｆ　１ｓｔ　ｓｕｂ　ｐｏｉｎｔ　ｃｌｏｕｄ　ｏｆ　１ｓｔ　Ｏｂｊｅｃｔは、Ｄａｔａ　ｓｉｚｅ　ｏｆ　ｐｏｉｎｔ　ｃｌｏｕｄ　ｏｆ　１ｓｔ　Ｏｂｊｅｃｔとして読み替える。そして、ここには、ｐｏｉｎｔ　ｃｌｏｕｄ　ｏｆ　１ｓｔ　Ｏｂｊｅｃｔ自体のＤａｔａ　ｓｉｚｅが書き込まれる。また、Ｄｅｓｃｒｉｐｔｉｏｎ　ｏｆ　１ｓｔ　ｓｕｂ　ｐｏｉｎｔ　ｃｌｏｕｄ　ｏｆ　１ｓｔ　Ｏｂｊｅｃｔは、Ｄｅｓｃｒｉｐｔｉｏｎ　ｏｆ　ｐｏｉｎｔ　ｃｌｏｕｄ　ｏｆ　１ｓｔ　Ｏｂｊｅｃｔと読み替える。また、Ｄａｔａ　ｓｅｔ　ｏｆ　１ｓｔ　ｓｕｂ　ｐｏｉｎｔ　ｃｌｏｕｄ　ｉｎ　１ｓｔ　Ｏｂｊｅｃｔは、Ｄａｔａ　ｓｅｔ　ｏｆ　ｐｏｉｎｔ　ｃｌｏｕｄ　ｉｎ　１ｓｔ　Ｏｂｊｅｃｔと読み替える。そして、Ｄａｔａ　ｓｉｚｅ　ｏｆ　２ｎｄ　ｓｕｂ　ｐｏｉｎｔ　ｃｌｏｕｄ　ｏｆ　１ｓｔ　ＯｂｊｅｃｔからＤａｔａ　ｓｅｔ　ｏｆ　Ｄｔｈ　ｓｕｂ　ｐｏｉｎｔ　ｃｌｏｕｄ　ｉｎ　１ｓｔ　Ｏｂｊｅｃｔはなくなる。なお、前景モデルを例にしたが、背景モデルでも同様である。
　そして、端末１３１０から仮想視点画像の生成の指示を受けると、送受信部１３０８を介して取得された仮想視点情報に基づいて、選択部１３０９は、仮想視点情報により特定される仮想視点からの仮想的な視野に含まれる前景モデルを特定する。さらに選択部１３０９は、特定された前景モデルのうち、仮想視点画像に表示される部分を特定する。そして、選択部１３０９は、この特定した部分の情報を管理部１０７に出力する。管理部１０７は、取得した情報を基に、保存部１０８に保存されている前景モデルのうち、仮想視点画像に表示される部分と、それ以外の部分とに分割する。管理部１０７は、分割されたモデルのうち、仮想視点画像に表示される部分に対応する部分のモデルを、仮想視点画像生成部１３０１に出力する。このため、仮想視点画像に必要な前景モデルの一部が出力され、伝送されるデータ量を削減することが可能となる。また、仮想視点情報を取得してから、前景モデルを分割するため、必要十分な分割モデルを効率的に生成することが可能となる。また、保存部１０８に保存されるデータが簡素化される。
　なお、管理部１０７がモデル分割部１３０５を兼ねる構成を説明したが、管理部１０７は、仮想視点画像に表示される部分に対応する部分のモデルを抽出して、部分モデルを仮想視点画像生成部１３０１に出力するようにしてもよい。この場合は、モデル分割部１３０５は三次元情報処理装置に含まなくてもよい。
　また、出力される部分モデルは、端末１３１０により指定されてもよい。例えば、ユーザが、自身が操作する端末１３１０を介して、どの部分モデルを出力させるかを指定してもよいし、ユーザが指定した仮想視点情報に基づいて端末１３１０が出力させる部分モデルを特定してもよい。なお、この部分モデルは、実施形態１，２のように予め分割された部分モデルでもよいし、仮想視点情報に基づいて分割あるいは特定される部分モデルであってもよい。予め分割された部分モデルの場合、ユーザに指定させるために、複数の部分モデルが、端末１３１０に表示されてもよい。
　また、前景モデルに含まれる複数の部分モデルがすべて出力されてもよい。例えば、ユーザの指示により複数の部分モデルがすべて出力されてもよい。
　また、例えば、端末１３１０ａ～ｄが、同一タイミングで、同じシーケンスの同じフレームに対して、異なる仮想視点情報を入力する場合、例えば以下のような構成としてもよい。すなわち、端末１３１０ａ～ｄによりそれぞれ入力された複数の仮想視点情報に対応する複数の仮想カメラの視野を規定し、その視野のどれかに含まれる前景モデルを特定し、その前景モデルのうち、いずれかの仮想視点画像に表示される部分を特定してもよい。そして、特定された、いずれかの仮想視点画像に表示される部分が、仮想視点画像生成部１３０１に出力されてもよい。仮想視点画像ごとに、仮想視点画像に表示される部分を特定して出力されると、データが重複されて出力されるため、伝送されるデータ量が増えるが、上記の構成によれば、データの重複が避けられるため、伝送されるデータ量の増加を抑制できる。仮想視点画像生成部１３０１が、同時に複数の仮想視点画像を生成できる場合であってもよいし、１つの仮想視点画像を順に生成するような場合であってもよい。後者の場合は、仮想視点画像生成部１３０１において、出力されたデータをバッファに一次保存して、必要なタイミングでそのデータを利用すればよい。
　また、三次元情報処理装置１３００が、仮想視点画像生成部１３０１を有する場合を説明したが、それに限られない。例えば、三次元情報処理装置１３００とは別に仮想視点画像生成部１３０１を有する外部装置があってもよい。この場合、外部装置に仮想視点画像に必要な素材データ（前景モデルなど）が出力され、外部装置によって生成された仮想視点画像が送受信部１３０８に出力されればよい。
　（その他の実施形態）
　本開示は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介して装置又は装置に供給し、その装置又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
　また、前述した機能を実現するコンピュータプログラムのコードを記録した記憶媒体を、システムに供給し、そのシステムがコンピュータプログラムのコードを読み出し実行することによっても達成される。この場合、記憶媒体から読み出されたコンピュータプログラムのコード自体が前述した実施形態の機能を実現し、そのコンピュータプログラムのコードを記憶した記憶媒体を用いて、本開示に実行してもよい。また、そのプログラムのコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した機能が実現される場合も含まれる。また、以下のような構成で本開示が実現されてもよい。記憶媒体から読み出されたコンピュータプログラムコードを、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込む。そして、そのコンピュータプログラムのコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行って、前述した機能が実現されてもよい。本開示を上記記憶媒体に適用する場合、その記憶媒体には、先に説明した処理に対応するコンピュータプログラムのコードが格納されることになる。
　以上、本開示の実施形態について詳述したが、本開示は上述の実施形態に限定されるものではなく、本開示の要旨の範囲内において、種々の変形及び変更が可能である。
　本開示は上記実施の形態に制限されるものではなく、本開示の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために以下の請求項を添付する。
　本願は、２０２１年２月１８日提出の日本国特許出願特願２０２１－０２４１３４を基礎として優先権を主張するものであり、その記載内容の全てをここに援用する。

Claims (13)

  1. 　仮想視点の位置と前記仮想視点からの視線方向を特定するための仮想視点情報を取得する第１の取得手段と、
    　オブジェクトの三次元形状データを取得する第２の取得手段と、
    　前記第１の取得手段により取得された仮想視点情報に基づいて、前記オブジェクトの部分領域であって、前記仮想視点からの見えを表す仮想視点画像に表示される部分領域を特定する特定手段と、
    　前記第２の取得手段により取得された三次元形状データのうち、前記特定手段により特定された部分領域に対応する部分データを出力する出力手段と、を有する情報処理装置。
  2. 　前記三次元形状データは、複数の部分データを有し、
    　前記出力手段は、前記複数の部分データのうち、前記特定手段により特定された部分領域に対応する三次元形状データの構成要素を含む部分データを出力することを特徴とする請求項１に記載の情報処理装置。
  3. 　前記複数の部分データは、前記三次元形状データの位置に応じて分割されて生成されることを特徴とする請求項２に記載の情報処理装置。
  4. 　前記複数の部分データは、基準座標軸に基づいて分割されて生成されることを特徴とする請求項２又は３に記載の情報処理装置。
  5. 　前記複数の部分データは、三次元形状データを生成するために使用される撮像装置の位置に基づいて分割されて生成されることを特徴とする請求項２乃至４のいずれか１項に記載の情報処理装置。
  6. 　前記特定手段により特定された部分領域に基づいて、前記第２の取得手段により取得された三次元形状データを、複数の部分データに分割する分割手段を有し、
    　前記出力手段は、前記分割手段により分割された複数の部分データのうち、前記特定手段により特定された部分領域に対応する部分データを出力することを特徴とする請求項１に記載の情報処理装置。
  7. 　前記第１の取得手段は、複数の仮想視点情報を取得し、
    　前記特定手段は、前記オブジェクトの部分領域であって、前記複数の仮想視点情報により特定される複数の仮想視点からの見えを表す複数の仮想視点画像のいずれかに表示される部分領域を特定することを特徴とする請求項１に記載の情報処理装置。
  8. 　前記第２の取得手段により取得された三次元形状データのうち、前記特定手段により特定された部分領域に対応する部分データとは異なる部分データは出力されないように制御する制御手段を有することを特徴とする請求項１乃至７のいずれか１項に記載の情報処理装置。
  9. 　仮想視点の位置と前記仮想視点からの視線方向を特定するための仮想視点情報を取得する第１の取得工程と、
    　オブジェクトの三次元形状データを取得する第２の取得工程と、
    　前記第１の取得工程により取得された仮想視点情報に基づいて、前記オブジェクトの部分領域であって、前記仮想視点からの見えを表す仮想視点画像に表示される部分領域を特定する特定工程と、
    　前記第２の取得工程により取得された三次元形状データのうち、前記特定工程により特定された部分領域に対応する部分データを出力する出力工程と、を有する情報処理方法。
  10. 　前記三次元形状データは、複数の部分データを有し、
    　前記出力工程は、前記複数の部分データのうち、前記特定工程により特定された部分領域に対応する三次元形状データの構成要素を含む部分データを出力することを特徴とする請求項９に記載の情報処理方法。
  11. 　前記特定工程により特定された部分領域に基づいて、前記第２の取得工程により取得された三次元形状データを、複数の部分データに分割する分割工程を有し、
    　前記出力工程は、前記分割工程により分割された複数の部分データのうち、前記特定工程により特定された部分領域に対応する部分データを出力することを特徴とする請求項９に記載の情報処理方法。
  12. 　前記第２の取得工程により取得された三次元形状データのうち、前記特定工程により特定された部分領域に対応する部分データとは異なる部分データは出力されないように制御されることを特徴とする請求項９乃至１１のいずれか１項に記載の情報処理方法。
  13. 　コンピュータを、請求項１乃至８のいずれか１項に記載の情報処理装置として機能させるためのプログラム。
PCT/JP2022/004992 2021-02-18 2022-02-09 情報処理装置、情報処理方法、およびプログラム WO2022176720A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020237027348A KR20230130709A (ko) 2021-02-18 2022-02-09 정보처리 장치, 정보처리 방법, 및 기억 매체
CN202280015742.4A CN116940964A (zh) 2021-02-18 2022-02-09 信息处理设备、信息处理方法和程序
EP22756041.4A EP4296958A1 (en) 2021-02-18 2022-02-09 Information processing device, information processing method, and program
US18/450,844 US20230394701A1 (en) 2021-02-18 2023-08-16 Information processing apparatus, information processing method, and storage medium

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021024134A JP2022126205A (ja) 2021-02-18 2021-02-18 情報処理装置、情報処理方法、およびプログラム
JP2021-024134 2021-02-18

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US18/450,844 Continuation US20230394701A1 (en) 2021-02-18 2023-08-16 Information processing apparatus, information processing method, and storage medium

Publications (1)

Publication Number Publication Date
WO2022176720A1 true WO2022176720A1 (ja) 2022-08-25

Family

ID=82931618

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/004992 WO2022176720A1 (ja) 2021-02-18 2022-02-09 情報処理装置、情報処理方法、およびプログラム

Country Status (6)

Country Link
US (1) US20230394701A1 (ja)
EP (1) EP4296958A1 (ja)
JP (1) JP2022126205A (ja)
KR (1) KR20230130709A (ja)
CN (1) CN116940964A (ja)
WO (1) WO2022176720A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7459199B1 (ja) 2022-09-20 2024-04-01 キヤノン株式会社 画像処理システム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08194841A (ja) * 1995-01-17 1996-07-30 Hitachi Ltd 有限要素領域分割方法
JP2007255989A (ja) * 2006-03-22 2007-10-04 Navitime Japan Co Ltd ナビゲーションシステム、経路探索サーバ、端末装置および地図表示方法
WO2018025660A1 (ja) * 2016-08-05 2018-02-08 ソニー株式会社 画像処理装置および画像処理方法
JP2021024134A (ja) 2019-07-31 2021-02-22 株式会社パイロットコーポレーション シャープペンシル

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018147329A1 (ja) 2017-02-10 2018-08-16 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 自由視点映像生成方法及び自由視点映像生成システム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08194841A (ja) * 1995-01-17 1996-07-30 Hitachi Ltd 有限要素領域分割方法
JP2007255989A (ja) * 2006-03-22 2007-10-04 Navitime Japan Co Ltd ナビゲーションシステム、経路探索サーバ、端末装置および地図表示方法
WO2018025660A1 (ja) * 2016-08-05 2018-02-08 ソニー株式会社 画像処理装置および画像処理方法
JP2021024134A (ja) 2019-07-31 2021-02-22 株式会社パイロットコーポレーション シャープペンシル

Also Published As

Publication number Publication date
CN116940964A (zh) 2023-10-24
EP4296958A1 (en) 2023-12-27
JP2022126205A (ja) 2022-08-30
KR20230130709A (ko) 2023-09-12
US20230394701A1 (en) 2023-12-07

Similar Documents

Publication Publication Date Title
US11217006B2 (en) Methods and systems for performing 3D simulation based on a 2D video image
JP6425780B1 (ja) 画像処理システム、画像処理装置、画像処理方法及びプログラム
US10417829B2 (en) Method and apparatus for providing realistic 2D/3D AR experience service based on video image
US10917622B2 (en) Information processing apparatus, display control method, and storage medium
US8933965B2 (en) Method for calculating light source information and generating images combining real and virtual images
EP3321889A1 (en) Device and method for generating and displaying 3d map
WO2019117264A1 (ja) 仮想視点画像を生成するシステム、方法及びプログラム
KR20140100656A (ko) 전방향 영상 및 3차원 데이터를 이용한 시점 영상 제공 장치 및 방법
KR20140082610A (ko) 휴대용 단말을 이용한 증강현실 전시 콘텐츠 재생 방법 및 장치
WO2022002181A1 (zh) 自由视点视频重建方法及播放处理方法、设备及存储介质
KR102382247B1 (ko) 화상 처리 장치, 화상 처리 방법 및 컴퓨터 프로그램
CN113170213A (zh) 图像合成
CN109920043A (zh) 虚拟3d对象的立体渲染
KR20180120456A (ko) 파노라마 영상을 기반으로 가상현실 콘텐츠를 제공하는 장치 및 그 방법
JP2022105590A (ja) 情報処理装置、情報処理方法、及び、プログラム
EP3616402A1 (en) Methods, systems, and media for generating and rendering immersive video content
WO2022176720A1 (ja) 情報処理装置、情報処理方法、およびプログラム
JP4892405B2 (ja) 画像処理装置および方法
KR20210055381A (ko) 스마트 디스플레이를 통해 증강 현실 컨텐츠를 제공하는 장치, 방법 및 컴퓨터 프로그램
US20190052868A1 (en) Wide viewing angle video processing system, wide viewing angle video transmitting and reproducing method, and computer program therefor
US11830140B2 (en) Methods and systems for 3D modeling of an object by merging voxelized representations of the object
JP2019114269A (ja) 仮想視点画像を生成するシステム、方法及びプログラム
WO2023166794A1 (ja) 情報処理装置、情報処理方法、画像生成装置、画像生成方法及びプログラム
JP7378960B2 (ja) 画像処理装置、画像処理システム、画像生成方法、および、プログラム
JP7417827B2 (ja) 画像編集方法、画像表示方法、画像編集システム、及び画像編集プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22756041

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 20237027348

Country of ref document: KR

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 1020237027348

Country of ref document: KR

WWE Wipo information: entry into national phase

Ref document number: 202280015742.4

Country of ref document: CN

WWE Wipo information: entry into national phase

Ref document number: 2022756041

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2022756041

Country of ref document: EP

Effective date: 20230918