WO2021132574A1 - 送信装置及び受信装置 - Google Patents

送信装置及び受信装置 Download PDF

Info

Publication number
WO2021132574A1
WO2021132574A1 PCT/JP2020/048758 JP2020048758W WO2021132574A1 WO 2021132574 A1 WO2021132574 A1 WO 2021132574A1 JP 2020048758 W JP2020048758 W JP 2020048758W WO 2021132574 A1 WO2021132574 A1 WO 2021132574A1
Authority
WO
WIPO (PCT)
Prior art keywords
video
group
video signal
viewpoint
unit
Prior art date
Application number
PCT/JP2020/048758
Other languages
English (en)
French (fr)
Inventor
秀一 青木
Original Assignee
日本放送協会
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本放送協会 filed Critical 日本放送協会
Priority to CN202080086638.5A priority Critical patent/CN114830674B/zh
Priority to US17/757,941 priority patent/US11877021B2/en
Priority to JP2021567678A priority patent/JPWO2021132574A1/ja
Priority to EP20905870.0A priority patent/EP4084481A4/en
Publication of WO2021132574A1 publication Critical patent/WO2021132574A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2365—Multiplexing of several video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65—Transmission of management data between client and server
    • H04N21/658—Transmission by the client directed to the server
    • H04N21/6587—Control parameters, e.g. trick play commands, viewpoint selection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/85406—Content authoring involving a specific file format, e.g. MP4 format

Definitions

  • the present invention relates to a transmitting device that transmits a plurality of video signals taken from different positions and a receiving device that receives the video signals.
  • Non-Patent Document 1 As an advanced system of 360-degree video, a video system that allows users to view 360-degree video from their favorite viewpoint is being studied.
  • 3D is accompanied by a viewpoint movement in a range in which the user moves his / her head while sitting as 3DoF + (Degree of Freedom), or with a viewpoint movement in a range in which the user freely moves as 6DoF.
  • Use cases such as "image message” and "immersive 6DoF streaming" are mentioned.
  • one camera shoots images from one viewpoint.
  • a plurality of images multi-viewpoint images
  • This is a known technique called viewpoint interpolation, intermediate viewpoint image generation, etc. (see, for example, Patent Document 1).
  • OMAF Omnidirectional Media Format
  • Non-Patent Document 2 a file format for storing a 360-degree video signal of a predetermined viewpoint.
  • viewpoint interpolation a video from a desired viewpoint is generated using a plurality of video signals taken from different positions.
  • a service such as 6DoF in which a user can view an image from a freely moving viewpoint
  • the captured video signals are independent signals, and there is no information for associating them.
  • OMAF can store a fixed viewpoint video signal, it does not support processing of a plurality of video signals when the viewpoint is freely moved. Therefore, the receiving terminal has no way to specify what kind of video signals exist and how those video signals are related, and when a plurality of video signals are received, which video signals are used. There was no way to specify how to associate it.
  • An object of the present invention made in view of such circumstances is to provide a transmitting device and a receiving device capable of easily specifying a video signal required for performing viewpoint interpolation when a user changes the viewpoint position. To provide.
  • the transmitting device is a transmitting device that transmits a plurality of video signals taken from different positions to a receiving device, and the video signals are grouped into a plurality of groups according to the shooting position, and the groups are grouped. It includes a control unit that assigns an ID for identification, and a communication interface that transmits a video signal to which the ID is assigned to the receiving device.
  • control unit identifies a request ID which is an ID of a video signal corresponding to a change in the viewpoint position of a user of the receiving device, and the communication interface receives a video signal to which the request ID is given. It may be transmitted to the receiving device.
  • the communication interface corresponds to the viewpoint position of the user in the video signal group to which the request ID is given.
  • the video signal group to which the request ID is assigned is assigned. The default video signal may be transmitted.
  • the video signal is grouped into a plurality of groups having a plurality of layers according to the shooting position, and the control unit may assign a group ID to identify the group.
  • the group of the first layer among the groups of the plurality of layers is a group to which a plurality of video signals used for generating an image from a viewpoint different from the shooting position in the receiving device belong. May be good.
  • the group of the second layer among the groups of the plurality of layers may be one or more groups of the first layer to which a plurality of video signals shot in the same place belong.
  • the video signals transmitted by the communication interface and belonging to the group of the first layer may be compressed by predictive coding using the correlation between the video signals.
  • the communication interface may simultaneously transmit all the video signals to which the ID is assigned to the receiving device.
  • the video signal is grouped into a plurality of groups according to the shooting position, and the control unit may assign a group ID to identify the group.
  • the group of the first layer among the plurality of groups may be a group to which a plurality of video signals used to generate images from a viewpoint different from the shooting position in the receiving device belong. Good.
  • the group of the second layer among the plurality of groups may be one or more groups of the first layer to which the video signal photographed in the same place belongs.
  • the video signals transmitted by the communication interface and belonging to the group of the first layer may be compressed by predictive coding using the correlation between the video signals.
  • the ID and the video signal may be stored in an ISOBaseMediaFileFormat file.
  • the receiving device is a receiving device that receives a video signal transmitted by the transmitting device, and is a control unit that decodes the video signal to generate a decoded video and acquires a user's viewpoint position. And a communication interface for transmitting viewpoint information indicating the viewpoint position of the user to the transmission device.
  • the receiving device is a receiving device that receives a video signal transmitted by the transmitting device, and is a control unit that decodes the video signal to generate a decoded video and acquires a user's viewpoint position.
  • the control unit identifies the position information of the imaging device that has captured a plurality of video signals required to generate the video corresponding to the viewpoint position of the user, and obtains the decoded video corresponding to the position information. Use to perform viewpoint insertion.
  • the present invention when the user changes the viewpoint position, it is possible to easily specify the video signal required for performing viewpoint interpolation.
  • FIG. 1 is a diagram showing a video transmission system 1 according to the first embodiment, and shows an outline of transmission of a plurality of video signals taken at a plurality of places.
  • the video transmission system 1 includes a plurality of image pickup devices (cameras) 10, a plurality of first transmission devices 20, a second transmission device 30, and a reception device 40.
  • the term "place" means a predetermined area provided for a specific purpose, such as a venue, a stadium, a facility, or a park.
  • the video transmission system 1 includes three first transmission devices 20, the first transmission device 20A transmits a video signal captured at the location A, and the first transmission device 20B is captured at the location B. It will be described below assuming that the video signal is transmitted and the first transmission device 20C transmits the video signal captured at the place C.
  • the imaging device 10 adds metadata to the video signal captured at a predetermined position and transmits it to the first transmitting device 20.
  • the metadata transmitted by the image pickup device 10 is position information indicating the shooting position of the image pickup device 10, and may include information indicating the shooting direction.
  • the metadata may include distance information indicating the distance from the imaging device 10 to the photographed object.
  • the plurality of image pickup devices 10A installed at the place A add metadata to the video signals taken at the predetermined positions of the place A and transmit the metadata to the first transmission device 20A.
  • the plurality of image pickup devices 10B installed at the place B add metadata to the video signals taken at the predetermined positions of the place B and transmit the metadata to the first transmission device 20B.
  • the plurality of image pickup devices 10C installed at the place C add metadata to the video signals taken at the predetermined positions of the place C and transmit the metadata to the first transmission device 20C.
  • the first transmission device 20A receives video signals and metadata from a plurality of image pickup devices 10A, assigns an ID, and transmits the video signal and metadata to the second transmission device 30.
  • the first transmission device 20B receives the video signal and the metadata from the plurality of image pickup devices 10B, assigns an ID, and transmits the video signal and the metadata to the second transmission device 30.
  • the first transmission device 20C receives the video signal and the metadata from the plurality of image pickup devices 10C, assigns an ID, and transmits the video signal and the metadata to the second transmission device 30.
  • SDI Serial Digital Interface
  • IP Internet Protocol
  • SMPTE Society of Motion Picture and Television Engineers
  • RTP Real-Time Transport Protocol
  • the image pickup device 10 transmits the video signal to the first transmission device 20 without encoding, and the first transmission device 20 encodes the video signal and then transmits the video signal to the second transmission device 30.
  • the imaging device 10 may perform the coding, or the first transmitting device 20 may not perform the coding.
  • the second transmission device 30 aggregates the video signals transmitted from the plurality of first transmission devices 20 and transmits the video signals to the reception device 40 via the transmission line (for example, the IP network). It is not always necessary for the video signal to be aggregated in the second transmission device 30, and it is possible to use various transmission lines such as a broadcast transmission line, a terrestrial IMT (International Mobile Telecommunication) network, an optical fiber, and a Wi-Fi (registered trademark) line.
  • the first transmitting device 20 may directly transmit the video signal to the receiving device 40.
  • the receiving device 40 may be any device as long as it can receive video transmission from the first transmitting device 20 or the second transmitting device 30.
  • the receiving device 40 is, for example, a head-mounted display, VR (Virtual Reality) goggles, a tablet terminal, a smartphone, a PC (Personal Computer), or the like.
  • the first transmission device 20 includes a video reception unit 21, a video coding unit 22, a first ID assignment unit 23, a storage unit 24, and a video transmission unit 25.
  • the video coding unit 22 and the first ID assigning unit 23 form a control unit (controller).
  • the control unit may be configured by dedicated hardware such as an ASIC (Application Specific Integrated Circuit) or an FPGA (Field-Programmable Gate Array), may be configured by a processor, or may be configured by including both. May be good.
  • the video receiving unit 21 and the video transmitting unit 25 form a communication interface.
  • the video receiving unit 21 acquires video signals and metadata from a plurality of imaging devices 10 and outputs them to the video coding unit 22.
  • the video coding unit 22 transmits the video signal input from the video receiving unit 21 to H.I. It encodes with an arbitrary video coding method such as 265 / HEVC (High Efficiency Video Coding) to generate a coded video signal.
  • the video coding unit 22 may perform compression by predictive coding using the correlation between the respective video signals for efficient transmission. Then, the video coding unit 22 outputs the coded video signal to the storage unit 24.
  • the video signal is grouped into a plurality of groups according to the shooting position.
  • the plurality of video signals captured by the plurality of imaging devices 10 are grouped in units of video signal groups (used for viewpoint interpolation) used to generate images from a viewpoint position different from the shooting position. Can be done.
  • This grouping is referred to as "first layer grouping" in order to distinguish it from the grouping described later. That is, the group of the first layer is a group to which a plurality of video signals used for generating a video from a viewpoint different from the shooting position in the receiving device 40 belong.
  • the first ID assigning unit 23 inputs an ID (first group ID) for identifying a group in the first layer by the operation of the operator of the first transmission device 20, and associates the first group ID with the video signal. It is stored in the storage unit 24. That is, the first ID assigning unit 23 assigns the first group ID to the video signal.
  • the first group ID will be described with reference to FIG. FIG. 2 shows an example of shooting at a baseball stadium, and a total of 15 imaging devices 10 are installed behind the catcher of the baseball stadium, five in the horizontal direction and three in the vertical direction.
  • the position information p of these 15 imaging devices 10 is set to 1 to 15.
  • a total of 15 imaging devices 10 are installed, five in the horizontal direction and three in the vertical direction.
  • the position information p of these 15 imaging devices 10 is set to 16 to 30.
  • a total of 15 imaging devices 10 are installed, five in the horizontal direction and three in the vertical direction.
  • the position information p of these 15 imaging devices 10 is set to 31 to 45.
  • the image pickup apparatus 10 captures only the image in front of the shooting position, but may capture the entire surrounding image of 360 degrees from the shooting position.
  • the first ID assigning unit 23 uses the 15 video signals photographed from the back of the catcher as the first group ID. "I" is given, and “II” is given as the first group ID to the 15 video signals taken from the first base side, and the first group is given to the 15 video signals taken from the third base side. "III” is assigned as the ID.
  • the storage unit 24 stores the coded video signal and metadata (position information) input from the video coding unit 22 and the metadata (first group ID) input from the first ID assigning unit 23. Information indicating) is stored.
  • the video transmission unit 25 transmits the coded video signal and metadata (information indicating the position information and the first group ID) stored in the storage unit 24 to the second transmission device 30.
  • the image pickup device 10 and a part or all of the first transmission device 20 may be integrated.
  • the video reception unit 21 of the first transmission device 20 receives the coded video signal from the image pickup device 10 and outputs the coded video signal to the storage unit 24.
  • the second transmission device 30 includes a video reception unit 31, a second ID assignment unit 32, a storage unit 33, a viewing request reception unit 34, a viewpoint information reception unit 35, and a position determination unit 36. And a video transmission unit 37.
  • the second ID giving unit 32 and the position determination unit 36 form a control unit.
  • the control unit may be configured by dedicated hardware such as an ASIC or FPGA, may be configured by a processor, or may be configured by including both.
  • the video receiving unit 31, the viewing request receiving unit 34, the viewpoint information receiving unit 35, and the video transmitting unit 37 form a communication interface.
  • the video receiving unit 31 receives the coded video signals and metadata transmitted from the plurality of first transmission devices 20, and outputs the received coded video signals and metadata to the storage unit 33.
  • the video signals captured by the plurality of imaging devices 10 can be grouped in units of video signal groups captured in the same place. This grouping is referred to as "second layer grouping" in order to distinguish it from the first layer grouping described above. That is, the group of the second layer is a group of one or more first layers to which a plurality of video signals shot in the same place belong.
  • the second ID assigning unit 32 inputs an ID (second group ID) for identifying a group in the second layer by the operation of the operator of the second transmission device 30, and associates the second group ID with the video signal. It is stored in the storage unit 33. That is, the second ID assigning unit 32 assigns the second group ID to the video signal.
  • the second ID assigning unit 32 assigns, for example, “A” as the second group ID to the 45 video signals taken at the place A, and gives the 45 video signals taken at the place B, for example, For example, "B” is assigned as the second group ID, and for example, "C” is assigned as the second group ID to the 45 video signals captured at the place C.
  • FIG. 4 shows a hierarchical structure in which video signals are grouped into two layers in this way.
  • the storage unit 33 stores the coded video signal and metadata input from the video receiving unit 31 and the metadata input from the second ID giving unit 32.
  • the viewing request receiving unit 34 When the viewing request receiving unit 34 receives a viewing request indicating the content to be viewed from the receiving device 40, the viewing request receiving unit 34 outputs the viewing request to the video transmitting unit 37.
  • the viewpoint information receiving unit 35 When the viewpoint information receiving unit 35 receives the viewpoint information indicating the viewpoint position (for example, the position of the receiving device 40) of the user of the receiving device 40 from the receiving device 40, the viewpoint information receiving unit 35 outputs the viewpoint information to the position determination unit 36.
  • the viewpoint position information is a three-dimensional coordinate in the global coordinate system. Further, the viewpoint position information may be three-dimensional coordinates in the local coordinate system based on the default user position.
  • the position determination unit 36 determines whether or not the change in the viewpoint position of the user is accompanied by a change in the ID (first group ID and second group ID). judge. Specifically, the position determination unit 36 identifies the request ID, which is the ID of the video signal corresponding to the change in the viewpoint position of the user, and whether or not the request ID is the same as the ID of the video signal transmitted immediately before. To judge.
  • the position determination unit 36 When the request ID is the same as the ID of the video signal transmitted immediately before, the position determination unit 36 generates a video corresponding to the user's viewpoint position in the video signal group to which the request ID is given.
  • the position information of the plurality of image pickup devices 10 that have captured the plurality of video signals required for this purpose is output to the video transmission unit 37.
  • the position determination unit 36 obtains a shooting position corresponding to the user's viewpoint position, and transmits the position information of the image pickup device 10 arranged at a position adjacent to the shooting position or a position surrounding the shooting position. Output to.
  • the position determination unit 36 of the image pickup apparatus 10 that captures the default video signal in the video signal group to which the request ID is given.
  • the position information is output to the video transmission unit 37.
  • the video transmission unit 37 transmits a video signal to the receiving device 40.
  • transmitting a video signal means that the (multiplexed) metadata attached to the video signal is also transmitted at the same time.
  • the video transmission unit 37 can also transmit only the metadata.
  • the video signal belonging to the group of the first layer transmitted by the video transmission unit 37 is compressed by the video coding unit 22 of the first transmission device 20 by predictive coding using the correlation between the video signals. Good.
  • the video transmitting unit 37 sets the default video signal of the viewing requested content and all the ID information (first group ID and second group) related to the viewing requested content.
  • Information indicating the ID) and the position information of the imaging device 10 representing each group of the first layer are acquired from the storage unit 33 and transmitted to the receiving device 40.
  • the receiving device 40 presents to the user what kind of viewpoint position can be selected based on the ID information and the position information of the imaging device 10.
  • the video transmission unit 37 stores the video signal (video signal corresponding to the position information) captured by the image pickup device 10 having the position information from the storage unit 33. Acquire and transmit to the receiving device 40. That is, when the request ID is the same as the ID of the video signal transmitted immediately before, the video transmission unit 37 selects the video corresponding to the user's viewpoint position in the video signal group to which the request ID is given. When a plurality of video signals required for generation are transmitted and the request ID is different from the ID of the video signal transmitted immediately before, the default video signal in the video signal group to which the request ID is given is used. To send.
  • FIG. 5 is a diagram showing a file configuration example when the ID and the video signal are stored in an ISO Base Media File Format file such as OMAF.
  • the format consists of basic units called boxes.
  • each video signal can be identified by layering in the same manner.
  • one or more second-layer groups to which video signals captured in the same area belong may be grouped as a third-layer group.
  • the receiving device 40 includes a viewing request transmitting unit 41, a video receiving unit 42, a video decoding unit 43, a storage unit 44, a viewpoint position detecting unit 45, and a viewpoint information transmitting unit 46. It includes a viewpoint insertion unit 47, an operation information addition unit 48, and a display unit 49.
  • the video decoding unit 43, the viewpoint position detection unit 45, the viewpoint insertion unit 47, and the operation information addition unit 48 constitute a control unit.
  • the control unit may be configured by dedicated hardware such as an ASIC or FPGA, may be configured by a processor, or may be configured by including both.
  • the viewing request transmitting unit 41, the video receiving unit 42, and the viewpoint information transmitting unit 46 form a communication interface.
  • the viewing request transmitting unit 41 transmits a viewing request indicating the content selected by the user of the receiving device 40 to the second transmitting device 30.
  • the video receiving unit 42 receives the video signal and metadata (position information and ID information) from the second transmitting device 30.
  • the video receiving unit 42 associates the received video signal with the metadata and outputs the data to the video decoding unit 43.
  • the video decoding unit 43 decodes the video signal to generate a decoded video, and outputs the decoded video to the storage unit 44.
  • the storage unit 44 stores the decoded video generated by the video decoding unit 43.
  • the viewpoint position detection unit 45 detects the user's viewpoint position and outputs the viewpoint information indicating the detected viewpoint position to the viewpoint information transmission unit 46.
  • the viewpoint position detection unit 45 detects the viewpoint position by acquiring an image of the user's eyes captured by the imaging device included in the receiving device 40 and analyzing the image using an arbitrary known technique. ..
  • the viewpoint position detection unit 45 may be a line-of-sight sensor provided by the receiving device 40 separately from the control unit.
  • the control unit acquires the user's viewpoint position by the viewpoint position detection unit 45.
  • the viewpoint information transmission unit 46 transmits the viewpoint information detected by the viewpoint position detection unit 45 to the second transmission device 30.
  • the viewpoint information transmission unit 46 may transmit the viewpoint information transmission to the second transmission device 30 at predetermined intervals, or transmits the viewpoint information to the second transmission device 30 only when the amount of change in the viewpoint position exceeds the threshold value. You may.
  • the viewpoint interpolation unit 47 transmits a plurality of decoded images (that is, video signals corresponding to the position information obtained by the position determination unit 36) stored in the storage unit 44 in which the first group ID and the second group ID are common.
  • the viewpoint is interpolated using the decoded video), and a video corresponding to the viewpoint position detected by the viewpoint position detection unit 45 is generated. Any known technique (see, for example, Patent Document 1) can be used for viewpoint interpolation.
  • the viewpoint interpolation unit 47 outputs the decoded video interpolated from the viewpoint to the operation information addition unit 48.
  • the operation information addition unit 48 acquires the default decoded video from the storage unit 44 in response to the user's viewing request, adds the operation information to the decoded video, and outputs it to the display unit 49.
  • the operation information addition unit 48 acquires the decoded video inserted in the viewpoint from the viewpoint insertion unit 47 after the viewpoint insertion is performed by the viewpoint insertion unit 47, and adds the operation information to the decoded video. , Output to the display unit 49.
  • the operation information is information indicating to the user an operation method for changing the viewpoint position.
  • the operation information is information indicating an operation method for changing to a different viewpoint position in the same place or changing to a viewpoint position in a different place.
  • the operation information may include an icon.
  • the user can request a change in the viewpoint position by operating based on the operation information.
  • the receiving device 40 is a head-mounted display
  • the user may perform an operation based on the operation information depending on the direction of the line of sight.
  • the line-of-sight direction is detected by the viewpoint position detecting unit 45.
  • an operation based on the operation information may be performed by a screen operation such as flicking or swiping.
  • an operation based on the operation information may be performed using a remote controller.
  • the display unit 49 is, for example, a liquid crystal display or an organic EL (Electro-Luminescence) display.
  • the display unit 49 displays the decoded video and the operation information input from the operation information addition unit 48.
  • FIG. 6 shows a display example of video and operation information on the display unit 49.
  • the video 481 and the operation information 482 to 486 are displayed.
  • the operation information 485 indicates that the viewpoint position can be changed to a different place by a predetermined operation (the displayed image 481 can be changed to the image taken at the place A).
  • the operation information 486 indicates that the viewpoint position can be changed to a different place by a predetermined operation (the displayed image 481 can be changed to the image taken at the place B).
  • the viewpoint position detection unit 45 detects the viewpoint position corresponding to the operation. As a result, the user can request the second transmission device 30 to change the viewpoint position.
  • FIG. 7 is a diagram showing an operation sequence between the second transmitting device 30 and the receiving device 40.
  • step S101 the receiving device 40 transmits a viewing request indicating the content selected by the user to the second transmitting device 30 by the viewing request transmitting unit 41.
  • the second transmission device 30 receives the viewing request transmitted from the receiving device 40 by the viewing request receiving unit 34.
  • the second transmission device 30 provides all the ID information and the position information of the image pickup device 10 representing each first layer group for the content requested to be viewed by the reception device 40 by the video transmission unit 37. It transmits to the receiving device 40.
  • the receiving device 40 receives the above-mentioned information regarding the content requested for viewing from the second transmitting device 30 by the video receiving unit 42. For example, when the installation position of the image pickup device 10 is as shown in FIG. 2, the position information of the image pickup device 10 representing each group of the first layer is displayed as the position information p of the image pickup device 10 arranged in the center. Let it be 8, 23, 38.
  • the video transmission unit 37 may transmit a plurality of position information to the receiving device 40 for each grouping in the first layer.
  • step S104 the receiving device 40 receives the default video signal of the content requested for viewing from the second transmitting device 30 by the video receiving unit 42. Then, the receiving device 40 decodes the video signal by the video decoding unit 43, and displays the default video by the display unit 49.
  • step S105 the receiving device 40 transmits the viewpoint information to the second transmitting device 30 by the viewpoint information transmitting unit 46.
  • step S106 the second transmission device 30 specifies the request ID, which is the ID of the video signal corresponding to the change in the viewpoint position of the user, by the position determination unit 36.
  • the second transmission device 30 proceeds to step S107 when the request ID is the same as the ID of the video signal transmitted immediately before, and performs the process when the request ID is different from the ID of the video signal transmitted immediately before. Proceed to step S109.
  • step S107 the second transmission device 30 transmits the video signal required for generating the video corresponding to the user's viewpoint position to the reception device 40 by the video transmission unit 37.
  • step S108 the receiving device 40 performs the viewpoint interpolation processing by the viewpoint insertion unit 47 using a plurality of video signals required for the viewpoint insertion received from the second transmission device 30. Then, the receiving device 40 displays the image inserted in the viewpoint on the display unit 49. Then, the receiving device 40 returns the process to step S105.
  • step S109 the second transmission device 30 transmits the default video signal of the video signal group to which the request ID is given to the reception device 40 by the video transmission unit 37.
  • step S110 the receiving device 40 receives the default video signal whose viewpoint position is changed from the second transmitting device 30 by the video receiving unit 42. Then, the receiving device 40 decodes the video signal by the video decoding unit 43, and displays the default video by the display unit 49. Then, the receiving device 40 returns the process to step S105.
  • the video transmission system 1 that transmits a plurality of video signals shot at different positions divides the video signals into groups and assigns IDs.
  • grouping a plurality of video signals as a group in the first layer it becomes possible to easily specify a plurality of video signals to be used for viewpoint interpolation.
  • grouping a plurality of video signals as a group of the second layer it becomes possible to present to the user what kind of viewpoint position can be changed. Then, the user can view the video in which the viewpoint position is changed in the same place or the viewpoint position is changed in different places by the operation according to the operation information displayed on the display unit 49.
  • FIG. 8 is a diagram showing a video transmission system 2 according to the second embodiment.
  • the video transmission system 2 includes a plurality of image pickup devices 10, a plurality of first transmission devices 20, a second transmission device 30a, and a reception device 40a. Since the image pickup device 10 and the first transmission device 20 of the present embodiment are the same as the image pickup device 10 and the first transmission device 20 of the first embodiment, the description thereof will be omitted. Since the second transmitting device 30a and the receiving device 40a of the present embodiment are partially common to the second transmitting device 30 and the receiving device 40 of the first embodiment, the same reference numerals are given to the common configurations as appropriate. The explanation is omitted.
  • the receiving device 40a of the present embodiment further includes an ID information detecting unit 50 and a viewpoint information transmitting unit 46a instead of the viewpoint information transmitting unit 46 as compared with the receiving device 40 of the first embodiment. Is different.
  • the ID information detection unit 50 also constitutes a control unit.
  • the viewpoint information transmission unit 46a transmits the viewpoint information detected by the viewpoint position detection unit 45 to the second transmission device 30a, and the user
  • the viewpoint information (request ID) detected by the ID information detection unit 50 is transmitted to the second transmission device 30a.
  • the second transmission device 30a of the present embodiment receives the viewpoint information in place of the viewpoint information receiving unit 35, the position determination unit 36, and the video transmitting unit 37, as compared with the second transmitting device 30 of the first embodiment. The difference is that the unit 35a, the position determination unit 36a, and the video transmission unit 37a are provided.
  • the viewpoint information receiving unit 35a When the viewpoint information receiving unit 35a receives the viewpoint information that does not include the request ID, the viewpoint information receiving unit 35a outputs the viewpoint information to the position determination unit 36a as in the first embodiment.
  • the viewpoint information receiving unit 35a receives the viewpoint information including the request ID, the viewpoint information receiving unit 35a identifies the position information corresponding to the default video signal in the video signal group to which the request ID is given, and displays the specified position information as a video. It transmits to the transmission unit 37a.
  • the position determination unit 36a captures a plurality of image signals necessary for generating an image corresponding to the user's viewpoint position.
  • the position information of 10 is output to the video transmission unit 37a.
  • the position determination unit 36a receives the viewpoint information including the request ID from the viewpoint information receiving unit 35a, the position determination unit 36a corresponds to the default video signal in the video signal group to which the request ID is given.
  • the position information to be used is output to the video transmission unit 37a.
  • the image transmitting unit 37a transmits a video signal (video signal corresponding to the position information) taken by the image pickup device 10 having the position information. It is acquired from the storage unit 33 and transmitted to the receiving device 40a.
  • FIG. 9 is a diagram showing an operation sequence between the second transmitting device 30a and the receiving device 40a. Since steps S201 to S204 are the same as steps S101 to S104 of the first embodiment described with reference to FIG. 7, the description thereof will be omitted.
  • step S205 the receiving device 40a transmits the viewpoint information to the second transmitting device 30a by the viewpoint information transmitting unit 46a.
  • step S206 the second transmission device 30a determines whether or not the request ID is included in the viewpoint information by the position determination unit 36a.
  • the second transmission device 30a proceeds to the process in step S207 when the viewpoint information does not include the request ID, and proceeds to the process in step S209 when the viewpoint information includes the request ID.
  • steps S207 to S210 are the same as steps S107 to S110 of the first embodiment described with reference to FIG. 7, the description thereof will be omitted.
  • the request ID is detected not by the transmitting device 30a but by the receiving device 40a, but in this case as well, the same effect as that of the first embodiment can be obtained.
  • FIG. 10 is a diagram showing a video transmission system 3 according to a third embodiment.
  • the video transmission system 3 includes a plurality of image pickup devices 10, a plurality of first transmission devices 20, a second transmission device 30b, and a reception device 40b. Since the image pickup device 10 and the first transmission device 20 of the present embodiment are the same as the image pickup device 10 and the first transmission device 20 of the first embodiment, the description thereof will be omitted. Since the second transmitting device 30b and the receiving device 40b of the present embodiment are partially common to the second transmitting device 30 and the receiving device 40 of the first embodiment, the same reference numerals are given to the common configurations as appropriate. The explanation is omitted.
  • a transmission line for bidirectional transmission is assumed as a transmission line between the second transmission devices 30 and 30a and the reception devices 40 and 40a.
  • a transmission line for transmission in one direction is assumed as a transmission line between the second transmission device 30b and the reception device 40b.
  • the transmission line may be a transmission line corresponding to IP multicast or a transmission line corresponding to a broadcast wave.
  • IP multicast on the communication line may be transmitted by broadcast waves. Broadcasting systems that support the transmission of IP packets such as ISDB (Integrated Services Digital Broadcasting) -S3 and ATSC (Advanced Television Systems Committee) 3.0 are considered to be transmission lines similar to IP multicast in communication lines.
  • the second transmission device 30b of the present embodiment does not include the viewpoint information receiving unit 35 and the position determination unit 36, and replaces the video transmission unit 37.
  • the difference is that the video transmission unit 37b is provided.
  • the video transmission unit 37b When performing IP multicast transmission on a communication line, the video transmission unit 37b acquires all the video signals related to the content requested to be viewed from the storage unit 33 when the viewing request is input from the viewing request receiving unit 34. Then, the video transmission unit 37b simultaneously transmits all the video signals to the receiving device 40b. As in other embodiments, metadata (ID information and position information) is multiplexed on the video signal. For example, when the video signals of the content requested for viewing are grouped as shown in FIG. 4, the video transmitting unit 37b simultaneously transmits 145 video signals to the receiving device 40b.
  • metadata ID information and position information
  • the video transmitting unit 37b always acquires all the video signals related to all the contents from the storage unit 33 without the viewing request of the receiving device 40b. To do. Then, the video transmission unit 37b simultaneously transmits all the video signals related to all the contents to the receiving device 40b. Then, the selection of the content is performed in the receiving device 40b. That is, in the case of a broadcast transmission line, the viewing request transmitting unit 41 and the viewing request receiving unit 34 need not be provided.
  • the receiving device 40b of the present embodiment does not include the viewpoint information transmitting unit 46, and the ID information detecting unit 50, the position determination unit 52, and the viewpoint changing unit 53.
  • the difference is that the viewpoint insertion unit 47b and the operation information addition unit 48b are provided in place of the viewpoint insertion unit 47 and the operation information addition unit 48.
  • the ID information detection unit 50, the position determination unit 52, and the viewpoint change unit 53 also constitute a control unit.
  • the position determination unit 52 determines whether or not there is a change in the viewpoint position when the viewpoint information is input from the viewpoint position detection unit 45. For example, the position determination unit 52 determines that there is a change in the viewpoint position when the amount of change in the viewpoint position exceeds the threshold value. Then, when the position determination unit 52 determines that there is a change in the viewpoint position, the position of the plurality of image pickup devices 10 that have captured a plurality of video signals necessary for generating an image corresponding to the user's viewpoint position. The information is specified, and the specified position information is output to the viewpoint insertion unit 47b.
  • the viewpoint insertion unit 47b acquires the decoded video corresponding to the position information from the storage unit 44. Then, the viewpoint insertion unit 47b performs viewpoint interpolation using the acquired decoded video, and outputs the viewpoint-interpolated decoded video to the operation information addition unit 48b.
  • the ID information detection unit 50 assigns the image group corresponding to the new viewpoint position requested by the user.
  • the ID (request ID) that has been created is detected. Then, the ID information detection unit 50 outputs the detected request ID to the viewpoint change unit 53.
  • the viewpoint changing unit 53 acquires the default decoded video from the decoded video of the video signal group to which the request ID is given from the storage unit 44, and operates. Output to the information addition unit 48b.
  • the operation information addition unit 48b first acquires the default decoded video from the storage unit 44 at the time of content reproduction, adds the operation information to the decoded video, and outputs it to the display unit 49.
  • the operation information addition unit 48b acquires the decoded image inserted in the viewpoint from the viewpoint insertion unit 47b after the viewpoint insertion is performed by the viewpoint insertion unit 47b, and adds the operation information to the decoded image. , Output to the display unit 49.
  • the operation information adding unit 48b acquires the default decoded video in which the viewpoint position is changed from the viewpoint changing unit 53, and adds the operation information to the decoded video. And output to the display unit 49.
  • FIG. 11 is a diagram showing an operation sequence between the second transmission device 30b and the reception device 40b in the case of IP multicast transmission of a video signal.
  • step S301 the receiving device 40b transmits a viewing request indicating the content selected by the user to the second transmitting device 30b by the viewing request transmitting unit 41.
  • the second transmission device 30b receives the viewing request transmitted from the receiving device 40b by the viewing request receiving unit 34.
  • step S302 the second transmission device 30b transmits all the video signals related to the content requested for viewing from the reception device 40b to the reception device 40b together with the metadata (ID information and position information) by the video transmission unit 37b.
  • the receiving device 40b receives all the video signals related to the content requested for viewing from the second transmitting device 30b together with the metadata by the video receiving unit 42.
  • step S303 the receiving device 40b decodes the video signal by the video decoding unit 43. Then, the receiving device 40b displays the default video of the content requested for viewing by the display unit 49.
  • step S304 the receiving device 40b determines whether or not there is a change (small change) in the viewpoint position without changing the ID by the position determination unit 52.
  • the receiving device 40b advances the process to step S305 when there is a small change in the viewpoint position, and proceeds to step S306 when there is no small change in the viewpoint position.
  • step S305 the receiving device 40b performs the viewpoint interpolation processing using the plurality of decoded images by the viewpoint insertion unit 47b, and generates an image corresponding to the user's viewpoint position. Then, the receiving device 40b displays the image inserted in the viewpoint on the display unit 49. Then, the receiving device 40b returns the process to step S304.
  • step S306 the receiving device 40b determines whether or not there is a change in the viewpoint position (major change) accompanied by a change in the ID by the ID information detection unit 50.
  • the receiving device 40b detects the request ID when there is a large change in the viewpoint position, proceeds to step S307, and returns the process to step S304 when there is no large change in the viewpoint position.
  • step S307 the receiving device 40b acquires the default decoded video from the decoded video of the video signal group to which the request ID is given by the viewpoint changing unit 53. Then, the receiving device 40b displays the default image on the display unit 49.
  • step S301 In the case of broadcast transmission, the operation of step S301 is not performed, and in step S302, the second transmission device 30b uses the video transmission unit 37b to perform metadata (ID information and position) of all video signals related to all contents. Information) is transmitted to the receiving device 40b. Then, in step S303, the receiving device 40b displays the default video of the content selected by the user.
  • step S304 The operation after step S304 is the same as in the case of IP multicast transmission.
  • the second transmission device 30b transmits all the video signals to the reception device 40b together with the metadata (ID information indicating the grouping of the first layer and the second layer, and the position information). Therefore, in the receiving device 40b, when the viewpoint position is changed, the required decoded video can be specified according to the change in the viewpoint position.
  • the present invention can also be applied to the case of broadcasting or IP multicast distribution of a video signal.
  • FIG. 12 is a block diagram showing a schematic configuration of a computer that functions as a first transmitting device 20, a second transmitting device 30, 30a, 30b, or a receiving device 40, 40a, 40b.
  • the computer 100 may be a general-purpose computer, a dedicated computer, a workstation, a PC, an electronic notebook pad, or the like.
  • the program instruction may be a program code, a code segment, or the like for executing a necessary task.
  • the computer 100 includes a processor 110, a ROM (Read Only Memory) 120, a RAM (Random Access Memory) 130, a storage 140, an input unit 150, an output unit 160, and a communication interface ( I / F) 170 and.
  • the processor 110 is a CPU (Central Processing Unit), an MPU (Micro Processing Unit), a GPU (Graphics Processing Unit), a DSP (Digital Signal Processor), a SoC (System on a Chip), or the like, and is of the same type or different type. It may be composed of a plurality of processors.
  • the processor 110 controls each configuration and executes various arithmetic processes. That is, the processor 110 reads the program from the ROM 120 or the storage 140, and executes the program using the RAM 130 as a work area. The processor 110 controls each of the above configurations and performs various arithmetic processes according to the program stored in the ROM 120 or the storage 140. In the present embodiment, the program according to the present disclosure is stored in the ROM 120 or the storage 140.
  • the program may be recorded on a recording medium that can be read by the computer 100.
  • a recording medium By using such a recording medium, it is possible to install the program on the computer 100.
  • the recording medium on which the program is recorded may be a non-transitory recording medium.
  • the non-transient recording medium is not particularly limited, but may be, for example, a CD-ROM, a DVD-ROM, a USB (Universal Serial Bus) memory, or the like.
  • this program may be downloaded from an external device via a network.
  • the ROM 120 stores various programs and various data.
  • the RAM 130 temporarily stores a program or data as a work area.
  • the storage 140 is composed of an HDD (Hard Disk Drive) or an SSD (Solid State Drive), and stores various programs including an operating system and various data.
  • the input unit 150 includes one or more input interfaces that accept a user's input operation and acquire information based on the user's operation.
  • the input unit 150 is, but is not limited to, a pointing device, a keyboard, a mouse, and the like.
  • the output unit 160 includes one or more output interfaces that output information.
  • the output unit 160 is a display that outputs information as an image or a speaker that outputs information as voice, but is not limited thereto.
  • the output unit 160 also functions as an input unit 150 in the case of a touch panel type display.
  • the communication interface 170 is an interface for communicating with an external device.
  • Imaging device 20 1st transmitter 21 Video receiver 22 Video coding section 23 1st ID assignment section 24 Storage section 25 Video transmitter section 30, 30a, 30b 2nd transmitter section 31 Video receiver 32 Second ID granting unit 33 Storage unit 34 Viewing request receiving unit 35, 35a Viewpoint information receiving unit 36 Position determination unit 37 Video transmitting unit 40, 40a, 40b Receiver 41 Viewing request transmitting unit 42 Video receiving unit 43 Video decoding unit 44 Storage Section 45 Viewpoint position detection section 46,46a Viewpoint information transmission section 47,47b Viewpoint insertion section 48,48b Operation information addition section 49 Display section 50 ID information detection section 52 Position determination section 53 Viewpoint change section 100 Computer 110 Processor 120 ROM 130 RAM 140 Storage 150 Input unit 160 Output unit 170 Communication interface 180 Bus 481 Video 482 to 486 Operation information

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

異なる位置から撮影した複数の映像信号を受信装置（４０，４０ａ）に送信する送信装置（３０，３０ａ）は、映像信号は撮影位置に応じて複数のグループにグループ分けされており、グループを識別するためのＩＤを付与する制御部（３２）と、ＩＤが付与された映像信号を受信装置（４０，４０ａ）に送信する通信インターフェース（３７）と、を備える。

Description

送信装置及び受信装置 関連出願の相互参照
　本出願は、２０１９年１２月２７日に出願された日本国特許出願２０１９－２３９５６４号及び２０１９－２３９５７０号の優先権を主張するものであり、この先の出願の開示全体をここに参照のために取り込む。
　本発明は、異なる位置から撮影した複数の映像信号を送信する送信装置、及び該映像信号を受信する受信装置に関する。
　３６０度映像の発展系として、ユーザが好きな視点からの３６０度映像を見ることができる映像システムが検討されている。例えば、非特許文献１では、３ＤｏＦ＋(Degree of Freedom)としてユーザが座った状態で頭を動かした範囲の視点移動を伴う、あるいは６ＤｏＦとしてユーザが自由に動いた範囲の視点移動を伴う、「３Ｄイメージメッセージ」、「イマーシブ６ＤｏＦのストリーミング」などのユースケースが挙げられている。
　一般に、一つのカメラでは一つの視点からの映像が撮影される。複数のカメラで撮影した複数の映像（多視点映像）を用いることで、それらを撮影した位置の中間位置からの映像を生成することができる。これは、視点内挿、中間視点画像生成などと呼ばれる公知の技術である（例えば、特許文献１参照）。
　また、あらかじめ決められた視点の３６０度映像信号などを格納するファイルフォーマットとして、非特許文献２にはＯＭＡＦ（Omnidirectional Media Format）が規定されている。
　視点内挿では、異なる位置から撮影した複数の映像信号を用いて所望の視点からの映像を生成する。一方、６ＤｏＦのようにユーザが自由に動いた視点からの映像を見ることができるサービスのためには、多くの地点を中心に複数の映像を撮影し、視点内挿を行う必要がある。しかし、撮影した映像信号は互いに独立した信号であり、それらを関連付ける情報がない。ＯＭＡＦでは固定視点の映像信号を格納できるが、視点を自由に動かした場合の複数の映像信号の処理はサポートされていない。そのため、受信端末は、どのような映像信号が存在し、それらの映像信号がどのように関係するかを特定する方法がなく、また、複数の映像信号を受信した場合、それらの映像信号をどのように関連付けるかを特定する方法がなかった。
　かかる事情に鑑みてなされた本発明の目的は、ユーザが視点位置を変更した場合に、視点内挿を行うために必要となる映像信号を容易に特定することが可能な送信装置及び受信装置を提供することにある。
　一実施形態に係る送信装置は、異なる位置から撮影した複数の映像信号を受信装置に送信する送信装置であって、前記映像信号は撮影位置に応じて複数のグループにグループ分けされ、前記グループを識別するためのＩＤを付与する制御部と、前記ＩＤが付与された映像信号を前記受信装置に送信する通信インターフェースと、を備える。
　一実施形態において、前記制御部は、前記受信装置のユーザの視点位置の変化に対応する映像信号のＩＤであるリクエストＩＤを特定し、前記通信インターフェースは、前記リクエストＩＤが付与された映像信号を前記受信装置に送信してもよい。
　一実施形態において、前記通信インターフェースは、前記リクエストＩＤが、直前に送信した映像信号のＩＤと同一である場合には、該リクエストＩＤが付与された映像信号群のうち、ユーザの視点位置に対応する映像を生成するために必要となる複数の映像信号を送信し、前記リクエストＩＤが、直前に送信した映像信号のＩＤと異なる場合には、該リクエストＩＤが付与された映像信号群のうちのデフォルトの映像信号を送信してもよい。
　一実施形態において、前記映像信号は撮影位置に応じて複数階層の複数のグループにグループ分けされ、前記制御部は、前記グループを識別するためにグループＩＤを付与してもよい。
　一実施形態において、前記複数階層のグループのうちの第１階層のグループは、前記受信装置において撮影位置とは異なる視点からの映像を生成するために用いられる複数の映像信号が属するグループであってもよい。
　一実施形態において、前記複数階層のグループのうちの第２階層のグループは、同一場所内で撮影された複数の映像信号が属する、１以上の前記第１階層のグループであってもよい。
　一実施形態において、前記通信インターフェースが送信する、前記第１階層のグループに属する映像信号は、映像信号間の相関を用いた予測符号化による圧縮がなされていてもよい。
　一実施形態において、前記通信インターフェースは、前記ＩＤが付与された全ての映像信号を同時に前記受信装置に送信してもよい。
　一実施形態において、前記映像信号は撮影位置に応じて複数のグループにグループ分けされ、前記制御部は、前記グループを識別するためにグループＩＤを付与してもよい。
　一実施形態において、前記複数のグループのうちの第１階層のグループは、前記受信装置において撮影位置とは異なる視点からの映像を生成するために用いられる複数の映像信号が属するグループであってもよい。
　一実施形態において、前記複数のグループのうちの第２階層のグループは、同一場所内で撮影された映像信号が属する、１以上の前記第１階層のグループであってもよい。
　一実施形態において、前記通信インターフェースが送信する、前記第１階層のグループに属する映像信号は、映像信号間の相関を用いた予測符号化による圧縮がなされていてもよい。
　一実施形態において、前記ＩＤ及び前記映像信号は、ISO Base Media File Formatのファイルに格納されてもよい。
　一実施形態に係る受信装置は、上記送信装置により送信された映像信号を受信する受信装置であって、前記映像信号を復号して復号映像を生成するとともに、ユーザの視点位置を取得する制御部と、前記ユーザの視点位置を示す視点情報を前記送信装置に送信する通信インターフェースと、を備える。
　一実施形態に係る受信装置は、上記送信装置により送信された映像信号を受信する受信装置であって、前記映像信号を復号して復号映像を生成するとともに、ユーザの視点位置を取得する制御部を備え、前記制御部は、前記ユーザの視点位置に対応する映像を生成するために必要となる複数の映像信号を撮影した撮像装置の位置情報を特定し、前記位置情報に対応する復号映像を用いて視点内挿を行う。
　本発明によれば、ユーザが視点位置を変更した場合に、視点内挿を行うために必要となる映像信号を容易に特定することが可能となる。
第１実施形態に係る映像伝送システムの一例を示すブロック図である。 第１実施形態に係る第１グループＩＤについて説明する図である。 第１実施形態に係る第２グループＩＤについて説明する図である。 第１実施形態に係る映像信号の階層構造について説明する図である。 第１実施形態に係る映像信号を格納するファイルの構成例を示す図である。 第１実施形態に係る映像信号を格納するファイルの構成例を示す図である。 第１実施形態に係る受信装置の表示例を示す図である。 第１実施形態に係る映像伝送システムの動作例を示すシーケンス図である。 第２実施形態に係る映像伝送システムの一例を示すブロック図である。 第２実施形態に係る映像伝送システムの動作例を示すシーケンス図である。 第３実施形態に係る映像伝送システムの一例を示すブロック図である。 第３実施形態に係る映像伝送システムの動作例を示すシーケンス図である。 コンピュータの概略構成を示すブロック図である。
　以下、実施形態について、図面を参照して詳細に説明する。
＜第１実施形態＞
（映像伝送システム）
　まず、第１実施形態に係る映像伝送システムについて説明する。図１は、第１実施形態に係る映像伝送システム１を示す図であり、複数の場所で撮影された複数の映像信号の伝送の概要を示している。映像伝送システム１は、複数の撮像装置（カメラ）１０と、複数の第１送信装置２０と、第２送信装置３０と、受信装置４０と、を備える。本明細書において、「場所」とは、会場、競技場、施設、公園など、特定の目的のために設けられた所定のエリアをいう。本実施形態では、映像伝送システム１は第１送信装置２０を３つ備え、第１送信装置２０Ａは場所Ａにおいて撮影された映像信号を送信し、第１送信装置２０Ｂは場所Ｂにおいて撮影された映像信号を送信し、第１送信装置２０Ｃは場所Ｃにおいて撮影された映像信号を送信するものとして、以下説明する。
　撮像装置１０は、所定位置で撮影した映像信号にメタデータを付与して第１送信装置２０に送信する。ここで、撮像装置１０が送信するメタデータとは、撮像装置１０の撮影位置を示す位置情報であり、撮影方向を示す情報を含んでもよい。また、メタデータは、撮像装置１０から、撮影した物体までの距離を示す距離情報を含んでもよい。
　つまり、場所Ａに設置された複数の撮像装置１０Ａは、それぞれ場所Ａの所定位置で撮影した映像信号にメタデータを付与して第１送信装置２０Ａに送信する。同様に、場所Ｂに設置された複数の撮像装置１０Ｂは、それぞれ場所Ｂの所定位置で撮影した映像信号にメタデータを付与して第１送信装置２０Ｂに送信する。同様に、場所Ｃに設置された複数の撮像装置１０Ｃは、それぞれ場所Ｃの所定位置で撮影した映像信号にメタデータを付与して第１送信装置２０Ｃに送信する。
　第１送信装置２０Ａは、複数の撮像装置１０Ａから映像信号及びメタデータを受信し、ＩＤを付与して第２送信装置３０に送信する。同様に、第１送信装置２０Ｂは、複数の撮像装置１０Ｂから映像信号及びメタデータを受信し、ＩＤを付与して第２送信装置３０に送信する。同様に、第１送信装置２０Ｃは、複数の撮像装置１０Ｃから映像信号及びメタデータを受信し、ＩＤを付与して第２送信装置３０に送信する。
　撮像装置１０から第１送信装置２０への伝送、及び第１送信装置２０から第２送信装置３０への伝送には、ＳＤＩ(Serial Digital Interface)、ＩＰ(Internet Protocol)などを用いることができる。より具体的には、ＳＤＩを用いる場合には、１２Ｇ-ＳＤＩ、３Ｇ-ＳＤＩ、ＨＤ-ＳＤＩなどで伝送することができ、ＩＰを用いる場合には、ＳＭＰＴＥ（Society of Motion Picture and Television Engineers） ＳＴ ２１１０規格に基づいてＲＴＰ(Real-Time Transport Protocol)により伝送することができる。例えば、映像信号を符号化しないで伝送する場合にはＳＤＩ又はＩＰを用いて伝送し、映像信号を符号化してから伝送する場合にはＩＰを用いて伝送することが考えられる。本実施形態では、撮像装置１０は映像信号を符号化しないで第１送信装置２０へ伝送し、第１送信装置２０は映像信号を符号化してから第２送信装置３０へ伝送するものとするが、撮像装置１０で符号化を行うにしてもよいし、第１送信装置２０で符号化を行わないようにしてもよい。
　第２送信装置３０は、複数の第１送信装置２０から送信された映像信号を集約し、伝送路（例えば、ＩＰネットワーク）を介して受信装置４０に映像信号を送信する。なお、映像信号が第２送信装置３０に集約される必要は必ずしもなく、放送伝送路、地上ＩＭＴ（International Mobile Telecommunication）ネットワーク、光ファイバ、Ｗｉ－Ｆｉ（登録商標）回線などさまざまな伝送路により、第１送信装置２０が映像信号を受信装置４０に直接送信してもよい。
　受信装置４０は、第１送信装置２０又は第２送信装置３０からの映像伝送を受信可能な機器であればどのようなものであってもよい。受信装置４０は、例えば、ヘッドマウントディスプレイ、ＶＲ（Virtual Reality）ゴーグル、タブレット端末、スマートフォン、ＰＣ（Personal Computer）などである。
（第１送信装置）
　次に、第１実施形態に係る第１送信装置２０について説明する。
　図１に示すように、第１送信装置２０は、映像受信部２１と、映像符号化部２２と、第１ＩＤ付与部２３と、記憶部２４と、映像送信部２５と、を備える。映像符号化部２２と、第１ＩＤ付与部２３とは、制御部（コントローラ）を構成する。制御部は、ＡＳＩＣ(Application Specific Integrated Circuit)、ＦＰＧＡ(Field-Programmable Gate Array)などの専用のハードウェアによって構成されてもよいし、プロセッサによって構成されてもよいし、双方を含んで構成されてもよい。映像受信部２１と、映像送信部２５とは、通信インターフェースを構成する。
　映像受信部２１は、複数の撮像装置１０から映像信号及びメタデータを取得し、映像符号化部２２に出力する。
　映像符号化部２２は、映像受信部２１から入力された映像信号を、Ｈ．２６５／ＨＥＶＣ（High Efficiency Video Coding）などの任意の映像符号化方式で符号化し、符号化映像信号を生成する。映像符号化部２２は、効率的な伝送のために、それぞれの映像信号間の相関を用いた予測符号化による圧縮を行ってもよい。そして、映像符号化部２２は、符号化映像信号を、記憶部２４に出力する。
　本発明では、映像信号は撮影位置に応じて複数のグループにグループ分けされる。複数の撮像装置１０で撮影された複数の映像信号は、撮影位置とは異なる視点位置からの映像を生成するために用いられる（視点内挿に用いられる）映像信号群の単位でグループ分けすることができる。このグループ分けを、後述するグループ分けと区別するために、「第１階層のグループ分け」と称する。つまり、第１階層のグループは、受信装置４０において撮影位置とは異なる視点からの映像を生成するために用いられる複数の映像信号が属するグループである。
　第１ＩＤ付与部２３は、第１送信装置２０のオペレータの操作により、第１階層のグループを識別するためのＩＤ（第１グループＩＤ）を入力し、第１グループＩＤを映像信号と対応付けて記憶部２４に記憶させる。つまり、第１ＩＤ付与部２３は、映像信号に対して第１グループＩＤを付与する。
　図２を参照して、第１グループＩＤについて説明する。図２は、野球場で撮影する例を示しており、野球場のキャッチャー裏に、横方向に５個、縦方向に３個の合計１５の撮像装置１０が設置されている。説明の便宜上、これら１５個の撮像装置１０の位置情報ｐを１～１５とする。また、野球場の一塁側に、横方向に５個、縦方向に３個の合計１５の撮像装置１０が設置されている。説明の便宜上、これら１５個の撮像装置１０の位置情報ｐを１６～３０とする。また、野球場の三塁側に、横方向に５個、縦方向に３個の合計１５の撮像装置１０が設置されている。説明の便宜上、これら１５個の撮像装置１０の位置情報ｐを３１～４５とする。なお、撮像装置１０は、図２に示す例では撮影位置から前方の映像のみを撮影するが、撮影位置から３６０度の全周囲の映像を撮影してもよい。
　受信装置４０は、位置情報ｐ＝１～１５の撮像装置１０に撮影された映像信号を受信し、視点内挿することにより、キャッチャー裏からのある程度の範囲の視点の映像をユーザに提示することができる。例えば、受信装置４０が、位置情報ｐ＝８の撮像装置１０に撮影された映像信号を表示しており、その後ユーザが所定の範囲（例えば、半径数メートルの範囲）内で移動した場合に、ユーザの視点に対応する映像をユーザに提示することができる。同様に、受信装置４０は、位置情報ｐ＝１６～３０の撮像装置１０に撮影された映像信号を受信することにより、一塁側からのある程度の範囲の視点の映像をユーザに提示することができる。同様に、受信装置４０は、位置情報ｐ＝３１～４５の撮像装置１０に撮影された映像信号を受信することにより、三塁側からのある程度の範囲の視点の映像をユーザに提示することができる。
　例えば、図２に示すように位置情報ｐ＝１～４５の撮像装置１０により撮影した場合、第１ＩＤ付与部２３は、キャッチャー裏から撮影された１５個の映像信号に対して第１グループＩＤとして“I”を付与し、一塁側から撮影された１５個の映像信号に対して第１グループＩＤとして“II”を付与し、三塁側から撮影された１５個の映像信号に対して第１グループＩＤとして“III”を付与する。第１ＩＤ付与部２３は、映像信号の全てに第１グループＩＤを付与してもよい。また、映像符号化部２２がそれぞれの映像信号間の相関を用いた圧縮を行う場合には、第１ＩＤ付与部２３は、基準となる映像信号（例えば、位置情報ｐ＝８，２３，３８の撮像装置１０により撮影された映像信号）のみに第１グループＩＤを付与してもよい。
　再び図１を参照し、記憶部２４は、映像符号化部２２から入力された符号化映像信号及びメタデータ（位置情報）、並びに第１ＩＤ付与部２３から入力されたメタデータ（第１グループＩＤを示す情報）を、記憶する。
　映像送信部２５は、記憶部２４に記憶された符号化映像信号及びメタデータ（位置情報及び第１グループＩＤを示す情報）を、第２送信装置３０に送信する。
　なお、撮像装置１０と、第１送信装置２０の一部又は全部とは、一体となっていてもよい。例えば、撮像装置１０が映像符号化部２２の機能を有する場合には、第１送信装置２０の映像受信部２１は、撮像装置１０から符号化映像信号を受信し、記憶部２４に出力する。
（第２送信装置）
　次に、第１実施形態に係る第２送信装置３０について説明する。
　図１に示すように、第２送信装置３０は、映像受信部３１と、第２ＩＤ付与部３２と、記憶部３３と、視聴要求受信部３４と、視点情報受信部３５と、位置判定部３６と、映像送信部３７と、を備える。第２ＩＤ付与部３２と、位置判定部３６とは、制御部を構成する。制御部は、ＡＳＩＣ、ＦＰＧＡなど専用のハードウェアによって構成されてもよいし、プロセッサによって構成されてもよいし、双方を含んで構成されてもよい。映像受信部３１と、視聴要求受信部３４と、視点情報受信部３５と、映像送信部３７とは、通信インターフェースを構成する。
　映像受信部３１は、複数の第１送信装置２０から送信された符号化映像信号及びメタデータを受信し、受信した符号化映像信号及びメタデータを、記憶部３３に出力する。
　複数の撮像装置１０で撮影された映像信号は、同一場所内で撮影された映像信号群の単位でグループ分けすることができる。このグループ分けを、前述した第１階層のグループ分けと区別するために、「第２階層のグループ分け」と称する。つまり、第２階層のグループは、同一場所内で撮影された複数の映像信号が属する、１以上の第１階層のグループである。
　第２ＩＤ付与部３２は、第２送信装置３０のオペレータの操作により、第２階層のグループを識別するためのＩＤ（第２グループＩＤ）を入力し、第２グループＩＤを映像信号と対応付けて記憶部３３に記憶させる。つまり、第２ＩＤ付与部３２は、映像信号に対して第２グループＩＤを付与する。
　図３を参照して、第２グループＩＤについて説明する。図３に示す例では、第２送信装置３０は、第１送信装置２０Ａから場所Ａで撮影された映像信号を受信する。具体的には、第２送信装置３０は、位置情報ｐ＝１～１５の撮像装置１０に撮影された第１グループＩＤ＝Ｉの１５個の映像信号と、位置情報ｐ＝１６～３０の撮像装置１０に撮影された第１グループＩＤ＝IIの１５個の映像信号と、位置情報ｐ＝３１～４５の撮像装置１０に撮影された第１グループＩＤ＝IIIの１５個の映像信号を受信する。また、第２送信装置３０は、第１送信装置２０Ｂから場所Ｂで撮影された映像信号を受信する。具体的には、第２送信装置３０は、第１送信装置２０Ｂから、位置情報ｐ＝４６～６０の撮像装置１０に撮影された第１グループＩＤ＝Iの１５個の映像信号と、位置情報ｐ＝６１～７５の撮像装置１０に撮影された第１グループＩＤ＝IIの１５個の映像信号と、位置情報ｐ＝７６～９０の撮像装置１０に撮影された第１グループＩＤ＝IIIの１５個の映像信号を受信する。また、第２送信装置３０は、第１送信装置２０Ｃから場所Ｃで撮影された映像信号を受信する。具体的には、第２送信装置３０は、第１送信装置２０Ｃから、位置情報ｐ＝９１～１０５の撮像装置１０に撮影された第１グループＩＤ＝Iの１５個の映像信号と、位置情報ｐ＝１０６～１２０の撮像装置１０に撮影された第１グループＩＤ＝IIの１５個の映像信号と、位置情報ｐ＝１２１～１３５の撮像装置１０に撮影された第１グループＩＤ＝IIIの１５個の映像信号を受信する。
　また、第２ＩＤ付与部３２は、場所Ａで撮影された４５個の映像信号に対して第２グループＩＤとして例えば“Ａ”を付与し、場所Ｂで撮影された４５個の映像信号に対して第２グループＩＤとして例えば“Ｂ”を付与し、場所Ｃで撮影された４５個の映像信号に対して第２グループＩＤとして例えば“Ｃ”を付与する。
　図４に、映像信号をこのように２階層にグループ化した階層構造を示す。図３に示したように、場所Ａ、場所Ｂ、及び場所Ｃでそれぞれ４５個の映像信号が撮影されるものとする。この場合、場所Ａで撮影された４５個の映像信号は、第２グループＩＤ＝ＡのグループＡに分類され、グループＡの中でさらに、第１グループＩＤ＝Iに属する１５個の映像信号と、第１グループＩＤ＝IIに属する１５個の映像信号と、第１グループＩＤ＝IIIに属する１５個の映像信号とに分類される。また、場所Ｂで撮影された４５個の映像信号は、第２グループＩＤ＝ＢのグループＢに分類され、グループＢの中でさらに、第１グループＩＤ＝Iに属する１５個の映像信号と、第１グループＩＤ＝IIに属する１５個の映像信号と、第１グループＩＤ＝IIIに属する１５個の映像信号とに分類される。また、場所Ｃで撮影された４５個の映像信号は、第２グループＩＤ＝ＣのグループＣに分類され、グループＣの中でさらに、第１グループＩＤ＝Iに属する１５個の映像信号と、第１グループＩＤ＝IIに属する１５個の映像信号と、第１グループＩＤ＝IIIに属する１５個の映像信号とに分類される。
　再び図１を参照し、記憶部３３は、映像受信部３１から入力された符号化映像信号及びメタデータ、並びに第２ＩＤ付与部３２から入力されたメタデータを記憶する。
　視聴要求受信部３４は、受信装置４０から、視聴するコンテンツを示す視聴要求を受信すると、該視聴要求を映像送信部３７に出力する。
　視点情報受信部３５は、受信装置４０から、受信装置４０のユーザの視点位置（例えば、受信装置４０の位置）を示す視点情報を受信すると、該視点情報を位置判定部３６に出力する。例えば、視点位置情報は、グローバル座標系における三次元座標である。また、視点位置情報は、デフォルトのユーザ位置を基準とするローカル座標系における三次元座標であってもよい。
　位置判定部３６は、視点情報受信部３５から視点情報が入力されると、ユーザの視点位置の変化がＩＤ（第１グループＩＤ及び第２グループＩＤ）の変更を伴うものであるか否かを判定する。具体的には、位置判定部３６は、ユーザの視点位置の変化に対応する映像信号のＩＤであるリクエストＩＤを特定し、リクエストＩＤが直前に送信した映像信号のＩＤと同一であるか否かを判定する。
　位置判定部３６は、リクエストＩＤが、直前に送信した映像信号のＩＤと同一である場合には、該リクエストＩＤが付与された映像信号群のうち、ユーザの視点位置に対応する映像を生成するために必要となる複数の映像信号を撮影した複数の撮像装置１０の位置情報を映像送信部３７に出力する。例えば、位置判定部３６は、ユーザの視点位置に対応する撮影位置を求め、該撮影位置に隣接する位置、又は該撮影位置を取り囲む位置に配置された撮像装置１０の位置情報を映像送信部３７に出力する。
　また、位置判定部３６は、リクエストＩＤが、直前に送信した映像信号のＩＤと異なる場合には、該リクエストＩＤが付与された映像信号群のうちのデフォルトの映像信号を撮影した撮像装置１０の位置情報を映像送信部３７に出力する。
　映像送信部３７は、映像信号を受信装置４０に送信する。本明細書において、「映像信号を送信する」という場合、該映像信号に付与された（多重された）メタデータも同時に送信することを意味する。また、映像送信部３７は、メタデータのみを送信することもできる。映像送信部３７が送信する、第１階層のグループに属する映像信号は、第１送信装置２０の映像符号化部２２により、映像信号間の相関を用いた予測符号化による圧縮がなされていてもよい。
　映像送信部３７は、視聴要求受信部３４から視聴要求が入力されると、視聴要求されたコンテンツのデフォルトの映像信号、視聴要求されたコンテンツに関する全てのＩＤ情報（第１グループＩＤ及び第２グループＩＤを示す情報）、及び各第１階層のグループを代表する撮像装置１０の位置情報を記憶部３３から取得して、受信装置４０に送信する。受信装置４０は、ＩＤ情報及び撮像装置１０の位置情報をもとに、どのような視点位置を選択可能であるかをユーザに提示する。
　また、映像送信部３７は、位置判定部３６から位置情報が入力されると、該位置情報を有する撮像装置１０により撮影された映像信号（該位置情報に対応する映像信号）を記憶部３３から取得して、受信装置４０に送信する。つまり、映像送信部３７は、リクエストＩＤが、直前に送信した映像信号のＩＤと同一である場合には、該リクエストＩＤが付与された映像信号群のうち、ユーザの視点位置に対応する映像を生成するために必要となる複数の映像信号を送信し、リクエストＩＤが、直前に送信した映像信号のＩＤと異なる場合には、該リクエストＩＤが付与された映像信号群のうちのデフォルトの映像信号を送信する。
　図５は、ＩＤ及び映像信号を、ＯＭＡＦのようなISO Base Media File Formatのファイルに格納する場合の、ファイルの構成例を示す図である。該フォーマットは、ボックスと呼ばれる基本単位から構成される。
　図５Ａに示すファイル構成では、第２グループＩＤ及び第１グループＩＤが共通のｎ個の映像信号をファイルに格納する際に、第２グループＩＤと第１グループＩＤを示すボックスの下にｎ個の映像信号を格納することで、映像信号が属するグループを示している。図５Ｂに示すファイル構成では、第２グループＩＤ及び第１グループＩＤが共通のｎ個の映像信号をファイルに格納する際に、それぞれの映像信号を格納するトラックとともに、第２グループＩＤと第１グループＩＤを示すボックスを格納することで、映像信号が属するグループを示している。
　なお、本実施例では、２階層のグループ分けで説明したが、ユーザの操作のためコンテンツに応じて３階層以上のグループ分けを行ってもよい。３階層以上のグループ分けを行う場合も同様に階層化して各映像信号を識別することができる。例えば、同一地域内で撮影された映像信号が属する、１以上の第２階層のグループを、第３階層のグループとしてグループ化してもよい。
（受信装置）
　次に、第１実施形態に係る受信装置４０について説明する。
　図１に示すように、受信装置４０は、視聴要求送信部４１と、映像受信部４２と、映像復号部４３と、記憶部４４と、視点位置検出部４５と、視点情報送信部４６と、視点内挿部４７と、操作情報付加部４８と、表示部４９と、を備える。映像復号部４３と、視点位置検出部４５と、視点内挿部４７と、操作情報付加部４８とは、制御部を構成する。制御部は、ＡＳＩＣ、ＦＰＧＡなど専用のハードウェアによって構成されてもよいし、プロセッサによって構成されてもよいし、双方を含んで構成されてもよい。視聴要求送信部４１と、映像受信部４２と、視点情報送信部４６とは、通信インターフェースを構成する。
　視聴要求送信部４１は、受信装置４０のユーザが選択したコンテンツを示す視聴要求を、第２送信装置３０に送信する。
　映像受信部４２は、第２送信装置３０から映像信号及びメタデータ（位置情報及びＩＤ情報）を受信する。映像受信部４２は、受信した映像信号及びメタデータを対応付けて映像復号部４３に出力する。
　映像復号部４３は、映像信号を復号して復号映像を生成し、記憶部４４に出力する。
　記憶部４４は、映像復号部４３により生成された復号映像を記憶する。
　視点位置検出部４５は、ユーザの視点位置を検出し、検出した視点位置を示す視点情報を視点情報送信部４６に出力する。例えば、視点位置検出部４５は、受信装置４０が備える撮像装置によって撮像されたユーザの目の画像を取得し、該画像を任意の公知の技術を用いて解析することにより、視点位置を検出する。また、視点位置検出部４５は、受信装置４０が制御部とは別に備える視線センサーであってもよい。制御部は、視点位置検出部４５によりユーザの視点位置を取得する。
　視点情報送信部４６は、視点位置検出部４５により検出された視点情報を、第２送信装置３０に送信する。視点情報送信部４６は、所定間隔で視点情報送を第２送信装置３０に送信してもよいし、視点位置の変化量が閾値を超えた場合にのみ視点情報を第２送信装置３０に送信してもよい。
　視点内挿部４７は、記憶部４４に記憶された、第１グループＩＤ及び第２グループＩＤが共通の複数の復号映像（すなわち、位置判定部３６により求められた位置情報に対応する映像信号を復号した復号映像）を用いて視点内挿を行い、視点位置検出部４５により検出された視点位置に対応する映像を生成する。視点内挿には、任意の公知の技術（例えば、特許文献１参照）を用いることができる。視点内挿部４７は、視点内挿された復号映像を、操作情報付加部４８に出力する。
　操作情報付加部４８は、ユーザの視聴要求に応じて、記憶部４４からデフォルトの復号映像を取得し、該復号映像に操作情報を付加して、表示部４９に出力する。操作情報付加部４８は、視点内挿部４７による視点内挿が行われた後は、視点内挿部４７から視点内挿された復号映像を取得し、該復号映像に操作情報を付加して、表示部４９に出力する。
　ここで、操作情報とは、ユーザに対して、視点位置を変更するための操作方法を示す情報である。例えば、操作情報は、同一場所における異なる視点位置への変更、あるいは異なる場所における視点位置への変更を行うための操作方法を示す情報である。操作情報は、アイコンを含んでもよい。ユーザは、操作情報に基づいて操作することにより、視点位置の変更をリクエストすることが可能となる。例えば、受信装置４０が、ヘッドマウントディスプレイである場合には、ユーザは視線の方向により操作情報に基づく操作を行ってもよい。この時、視線方向は視点位置検出部４５により検出される。また、受信装置４０が、タブレット端末である場合には、フリック、スワイプなどの画面操作により操作情報に基づく操作を行ってもよい。また、受信装置４０が、フラットパネルディスプレイを有する非モバイル又は非ポータブルの装置である場合には、リモコンを用いて操作情報に基づく操作を行ってもよい。
　表示部４９は、例えば、液晶ディスプレイ又は有機ＥＬ（Electro-Luminescence）ディスプレイである。表示部４９は、操作情報付加部４８から入力された復号映像及び操作情報を表示する。
　図６に、表示部４９における映像及び操作情報の表示例を示す。図６に示す例では、映像４８１及び操作情報４８２～４８６を表示している。操作情報４８２は、表示中の映像４８１が場所Ｃの第１グループＩＤ＝IIの映像群に基づく映像であることを示している。操作情報４８３は、所定の操作により、場所Ｃにおける視点位置を変更可能（表示中の映像４８１を、場所Ｃの第１グループＩＤ＝Ｉの映像群に基づく映像に変更可能）なことを示している。操作情報４８４は、所定の操作により、場所Ｃにおける視点位置を変更可能（表示中の映像４８１を、場所Ｃの第１グループＩＤ＝IIIの映像群に基づく映像に変更可能）なことを示している。操作情報４８５は、所定の操作により、異なる場所に視点位置を変更可能（表示中の映像４８１を、場所Ａで撮影された映像に変更可能）なことを示している。操作情報４８６は、所定の操作により、異なる場所に視点位置を変更可能（表示中の映像４８１を、場所Ｂで撮影された映像に変更可能）なことを示している。
　ユーザが表示部４９に表示された操作情報に基づいて操作すると、視点位置検出部４５は、操作に対応する視点位置を検出する。これにより、ユーザは視点位置の変更を第２送信装置３０に要求することができる。
（動作シーケンス）
　次に、本実施形態に係る映像伝送システム１の動作シーケンスについて、図７を参照して説明する。図７は、第２送信装置３０と受信装置４０との間の動作シーケンスを示す図である。
　ステップＳ１０１において、受信装置４０は、視聴要求送信部４１により、ユーザが選択したコンテンツを示す視聴要求を、第２送信装置３０に送信する。第２送信装置３０は、視聴要求受信部３４により、受信装置４０から送信された視聴要求を受信する。
　ステップＳ１０２において、第２送信装置３０は、映像送信部３７により、受信装置４０から視聴要求されたコンテンツについて、全てのＩＤ情報、及び各第１階層のグループを代表する撮像装置１０の位置情報を受信装置４０に送信する。受信装置４０は、映像受信部４２により、第２送信装置３０から視聴要求したコンテンツに関する上記情報を受信する。例えば、撮像装置１０の設置位置が図２で示したとおりである場合、各第１階層のグループを代表する撮像装置１０の位置情報を、それぞれ中央に配置された撮像装置１０の位置情報ｐ＝８，２３，３８とする。なお、映像送信部３７は第１階層のグループ分けごとに複数の位置情報を受信装置４０に送信してもよい。
　ステップＳ１０３において、第２送信装置３０は、映像送信部３７により、受信装置４０から視聴要求されたコンテンツについて、デフォルトの映像信号を受信装置４０に送信する。第２送信装置３０は、コンテンツごとに予めデフォルトの映像信号を定めているものとする。例えば、視聴要求されたコンテンツに関する映像信号が図４に示したようにグループ分けされている場合、デフォルトの映像を、第２グループＩＤ＝Ａ、第１グループＩＤ＝Ｉの映像信号８（図２において、キャッチャー裏の中央に配置された位置情報ｐ＝８の撮像装置１０により撮像された映像信号）とする。
　ステップＳ１０４において、受信装置４０は、映像受信部４２により、第２送信装置３０から視聴要求したコンテンツのデフォルトの映像信号を受信する。そして、受信装置４０は、映像復号部４３により映像信号を復号し、表示部４９によりデフォルトの映像を表示する。
　ステップＳ１０５において、受信装置４０は、視点情報送信部４６により、視点情報を第２送信装置３０に送信する。
　ステップＳ１０６において、第２送信装置３０は、位置判定部３６により、ユーザの視点位置の変化に対応する映像信号のＩＤであるリクエストＩＤを特定する。第２送信装置３０は、リクエストＩＤが直前に送信した映像信号のＩＤと同一である場合には処理をステップＳ１０７に進め、リクエストＩＤが直前に送信した映像信号のＩＤと異なる場合には処理をステップＳ１０９に進める。
　ステップＳ１０７において、第２送信装置３０は、映像送信部３７により、ユーザの視点位置に対応する映像を生成するために必要となる映像信号を受信装置４０に送信する。
　ステップＳ１０８において、受信装置４０は、視点内挿部４７により、第２送信装置３０から受信した、視点内挿に必要となる複数の映像信号を用いて視点内挿処理を行う。そして、受信装置４０は、視点内挿された映像を表示部４９に表示する。そして、受信装置４０は、処理をステップＳ１０５に戻す。
　ステップＳ１０９において、第２送信装置３０は、映像送信部３７により、リクエストＩＤが付与された映像信号群のうちのデフォルトの映像信号を受信装置４０に送信する。
　ステップＳ１１０において、受信装置４０は、映像受信部４２により、第２送信装置３０から視点位置を変更したデフォルトの映像信号を受信する。そして、受信装置４０は、映像復号部４３により該映像信号を復号し、表示部４９によりデフォルトの映像を表示する。そして、受信装置４０は、処理をステップＳ１０５に戻す。
　以上説明したように、異なる位置で撮影した複数の映像信号を送信する映像伝送システム１は、映像信号をグループ分けしてＩＤを付与する。複数の映像信号を第１階層のグループとしてグループ化することで、視点内挿に用いるための複数の映像信号を容易に特定することができるようになる。さらに、複数の映像信号を第２階層のグループとしてグループ化することで、ユーザに対して、どのような視点位置の変更が可能かを提示することができるようになる。そして、ユーザは表示部４９に表示された操作情報に応じた操作により、同一場所内で視点位置を変更した、及び異なる場所に視点位置を変更した映像を視聴することができるようになる。
＜第２実施形態＞
　次に、第２実施形態に係る映像伝送システムについて説明する。図８は、第２実施形態に係る映像伝送システム２を示す図である。映像伝送システム２は、複数の撮像装置１０と、複数の第１送信装置２０と、第２送信装置３０ａと、受信装置４０ａと、を備える。本実施形態の撮像装置１０及び第１送信装置２０は、第１実施形態の撮像装置１０及び第１送信装置２０と同一であるため、説明を省略する。本実施形態の第２送信装置３０ａ及び受信装置４０ａは、第１実施形態の第２送信装置３０及び受信装置４０と一部共通であるため、共通の構成については同一の符号を付し、適宜説明を省略する。
　本実施形態の受信装置４０ａは、第１の実施形態の受信装置４０と比較して、ＩＤ情報検出部５０をさらに備える点と、視点情報送信部４６に代えて視点情報送信部４６ａを備える点とが相違する。ＩＤ情報検出部５０も制御部を構成する。
　ＩＤ情報検出部５０は、ユーザが表示部４９に表示された操作情報に基づく操作を行うことにより視点位置の変更を要求した場合に、ユーザが要求する新たな視点位置に対応する映像信号群に付与されたＩＤ（リクエストＩＤ）を検出する。そして、ＩＤ情報検出部５０は、検出したリクエストＩＤを視点情報として視点情報送信部４６ａに出力する。例えば、図６において、ユーザが操作情報４８３が示す矢印のアイコンに沿ってスワイプ操作をした場合には、ＩＤ情報検出部５０は、第１グループＩＤ＝Ｉ、第２グループＩＤ＝ＣをリクエストＩＤとして検出する。また、図６において、ユーザが操作情報４８５が示す矢印のアイコンに沿ってスワイプ操作をした場合には、ＩＤ情報検出部５０は、第１グループＩＤ＝デフォルト値、第２グループＩＤ＝ＡをリクエストＩＤとして検出する。なお、第１グループＩＤがデフォルト値の場合には、リクエストＩＤとして第２グループＩＤのみを含めるようにしてもよい。
　視点情報送信部４６ａは、ユーザが表示部４９に表示された操作情報に基づく操作を行わない場合には、視点位置検出部４５により検出された視点情報を第２送信装置３０ａに送信し、ユーザが表示部４９に表示された操作情報に基づく操作を行った場合には、ＩＤ情報検出部５０により検出された視点情報（リクエストＩＤ）を第２送信装置３０ａに送信する。
　本実施形態の第２送信装置３０ａは、第１の実施形態の第２送信装置３０と比較して、視点情報受信部３５、位置判定部３６、及び映像送信部３７に代えて、視点情報受信部３５ａ、位置判定部３６ａ、及び映像送信部３７ａを備える点が相違する。
　視点情報受信部３５ａは、リクエストＩＤを含まない視点情報を受信すると、第１の実施形態と同様に、該視点情報を位置判定部３６ａに出力する。また、視点情報受信部３５ａは、リクエストＩＤを含む視点情報を受信すると、リクエストＩＤが付与された映像信号群のうちのデフォルトの映像信号に対応する位置情報を特定し、特定した位置情報を映像送信部３７ａに送信する。
　位置判定部３６ａは、視点情報受信部３５ａからリクエストＩＤを含まない視点情報が入力されると、ユーザの視点位置に対応する映像を生成するために必要となる映像信号を撮影した複数の撮像装置１０の位置情報を映像送信部３７ａに出力する。また、位置判定部３６ａは、視点情報受信部３５ａからリクエストＩＤを含む視点情報が入力されると、位置判定部３６ａは、リクエストＩＤが付与された映像信号群のうちのデフォルトの映像信号に対応する位置情報を映像送信部３７ａに出力する。
　映像送信部３７ａは、視点情報受信部３５ａ又は位置判定部３６ａから位置情報が入力されると、該位置情報を有する撮像装置１０により撮影された映像信号（該位置情報に対応する映像信号）を記憶部３３から取得して、受信装置４０ａに送信する。
（動作シーケンス）
　次に、本実施形態に係る映像伝送システム２の動作シーケンスについて、図９を参照して説明する。図９は、第２送信装置３０ａと受信装置４０ａとの間の動作シーケンスを示す図である。ステップＳ２０１～ステップＳ２０４は、図７を参照して説明した第１の実施形態のステップＳ１０１～ステップＳ１０４と同一であるため、説明を省略する。
　ステップＳ２０５において、受信装置４０ａは、視点情報送信部４６ａにより、視点情報を第２送信装置３０ａに送信する。
　ステップＳ２０６において、第２送信装置３０ａは、位置判定部３６ａにより、視点情報にリクエストＩＤが含まれているか否かを判定する。第２送信装置３０ａは、視点情報にリクエストＩＤが含まれていない場合には処理をステップＳ２０７に進め、視点情報にリクエストＩＤが含まれている場合には、処理をステップＳ２０９に進める。
　ステップＳ２０７～ステップＳ２１０は、図７を参照して説明した第１の実施形態のステップＳ１０７～ステップＳ１１０と同一であるため、説明を省略する。
　以上説明したように、本実施形態ではリクエストＩＤの検出を送信装置３０ａではなく受信装置４０ａで行っているが、この場合にも第１の実施形態と同様の効果を得ることができる。
＜第３実施形態＞
　次に、第３実施形態に係る映像伝送システムについて説明する。図１０は、第３実施形態に係る映像伝送システム３を示す図である。映像伝送システム３は、複数の撮像装置１０と、複数の第１送信装置２０と、第２送信装置３０ｂと、受信装置４０ｂと、を備える。本実施形態の撮像装置１０及び第１送信装置２０は、第１実施形態の撮像装置１０及び第１送信装置２０と同一であるため、説明を省略する。本実施形態の第２送信装置３０ｂ及び受信装置４０ｂは、第１実施形態の第２送信装置３０及び受信装置４０と一部共通であるため、共通の構成については同一の符号を付し、適宜説明を省略する。
　上述した第１実施形態及び第２実施形態では、第２送信装置３０，３０ａと受信装置４０，４０ａとの間の伝送路として、双方向に伝送する伝送路を想定している。一方、本実施形態では、第２送信装置３０ｂと受信装置４０ｂとの間の伝送路として、一方向に伝送する伝送路を想定する。該伝送路は、ＩＰマルチキャストに対応した伝送路であってもよいし、放送波に対応した伝送路であってもよい。なお、通信回線でのＩＰマルチキャストは、放送波での伝送であってもよい。ＩＳＤＢ（Integrated Services Digital Broadcasting）－Ｓ３、ＡＴＳＣ（Advanced Television Systems Committee）３．０などのＩＰパケットの伝送に対応した放送システムは、通信回線におけるＩＰマルチキャストと同様の伝送路と考えられる。
　本実施形態の第２送信装置３０ｂは、第１の実施形態の第２送信装置３０と比較して、視点情報受信部３５及び位置判定部３６を備えない点と、映像送信部３７に代えて映像送信部３７ｂを備える点が相違する。
　通信回線でＩＰマルチキャスト伝送を行う場合には、映像送信部３７ｂは、視聴要求受信部３４から視聴要求が入力されると、視聴要求されたコンテンツに関する全ての映像信号を記憶部３３から取得する。そして、映像送信部３７ｂは、全ての映像信号を同時に受信装置４０ｂに送信する。映像信号には他の実施形態と同様に、メタデータ（ＩＤ情報及び位置情報）が多重化される。例えば、視聴要求されたコンテンツの映像信号が図４のようにグループ分けされた場合、映像送信部３７ｂは１４５個の映像信号を同時に受信装置４０ｂに送信する。
　一方、放送伝送を行う場合には、ユーザによる視聴要求は行われず、受信装置４０ｂの視聴要求によることなく、映像送信部３７ｂは、常に全てのコンテンツに係わる全ての映像信号を記憶部３３から取得する。そして、映像送信部３７ｂは、全てのコンテンツに係わる全ての映像信号を同時に受信装置４０ｂに送信する。そして、コンテンツの選択は、受信装置４０ｂ内で行われる。つまり、放送伝送路の場合には、視聴要求送信部４１及び視聴要求受信部３４を備えなくてよい。
　本実施形態の受信装置４０ｂは、第１の実施形態の受信装置４０と比較して、視点情報送信部４６を備えない点と、ＩＤ情報検出部５０、位置判定部５２、及び視点変更部５３をさらに備える点と、視点内挿部４７及び操作情報付加部４８に代えて視点内挿部４７ｂ及び操作情報付加部４８ｂを備える点とが相違する。ＩＤ情報検出部５０、位置判定部５２、及び視点変更部５３も制御部を構成する。
　位置判定部５２は、視点位置検出部４５から視点情報が入力されると、視点位置に変更があるか否かを判定する。例えば、位置判定部５２は、視点位置の変化量が閾値を超える場合に、視点位置に変更があると判定する。そして、位置判定部５２は、視点位置に変更があると判定した場合に、ユーザの視点位置に対応する映像を生成するために必要となる複数の映像信号を撮影した複数の撮像装置１０の位置情報を特定し、特定した位置情報を視点内挿部４７ｂに出力する。
　視点内挿部４７ｂは、位置判定部５２から位置情報が入力されると、記憶部４４から該位置情報に対応する復号映像を取得する。そして、視点内挿部４７ｂは、取得した復号映像を用いて視点内挿を行い、視点内挿された復号映像を、操作情報付加部４８ｂに出力する。
　ＩＤ情報検出部５０は、ユーザが表示部４９に表示された操作情報に基づく操作を行うことにより視点位置の変更を要求した場合に、ユーザが要求する新たな視点位置に対応する映像群に付与されたＩＤ（リクエストＩＤ）を検出する。そして、ＩＤ情報検出部５０は、検出したリクエストＩＤを視点変更部５３に出力する。
　視点変更部５３は、ＩＤ情報検出部５０からリクエストＩＤが入力されると、記憶部４４から、リクエストＩＤが付与された映像信号群の復号映像のうち、デフォルトの復号映像を取得して、操作情報付加部４８ｂに出力する。
　操作情報付加部４８ｂは、コンテンツ再生時に、まず記憶部４４からデフォルトの復号映像を取得し、該復号映像に操作情報を付加して、表示部４９に出力する。操作情報付加部４８ｂは、視点内挿部４７ｂによる視点内挿が行われた後は、視点内挿部４７ｂから視点内挿された復号映像を取得し、該復号映像に操作情報を付加して、表示部４９に出力する。操作情報付加部４８ｂは、視点変更部５３によるリクエストＩＤの検出が行われた後は、視点変更部５３から視点位置を変更したデフォルトの復号映像を取得し、該復号映像に操作情報を付加して、表示部４９に出力する。
（動作シーケンス）
　次に、本実施形態に係る映像伝送システム３の動作シーケンスについて、図１１を参照して説明する。図１１は、映像信号をＩＰマルチキャスト伝送する場合における、第２送信装置３０ｂと受信装置４０ｂとの間の動作シーケンスを示す図である。
　ステップＳ３０１において、受信装置４０ｂは、視聴要求送信部４１により、ユーザが選択したコンテンツを示す視聴要求を、第２送信装置３０ｂに送信する。第２送信装置３０ｂは、視聴要求受信部３４により、受信装置４０ｂから送信された視聴要求を受信する。
　ステップＳ３０２において、第２送信装置３０ｂは、映像送信部３７ｂにより、受信装置４０ｂから視聴要求されたコンテンツに関する全ての映像信号をメタデータ（ＩＤ情報及び位置情報）とともに受信装置４０ｂに送信する。受信装置４０ｂは、映像受信部４２により、第２送信装置３０ｂから、視聴要求したコンテンツに関する全ての映像信号をメタデータとともに受信する。
　ステップＳ３０３において、受信装置４０ｂは、映像復号部４３により、映像信号を復号する。そして、受信装置４０ｂは、表示部４９により、視聴要求したコンテンツのデフォルトの映像を表示する。
　ステップＳ３０４において、受信装置４０ｂは、位置判定部５２により、ＩＤの変更を伴わない視点位置の変更（小さな変更）があるか否かを判定する。受信装置４０ｂは、視点位置の小さな変更がある場合には処理をステップＳ３０５に進め、視点位置の小さな変更がない場合には処理をステップＳ３０６に進める。
　ステップＳ３０５において、受信装置４０ｂは、視点内挿部４７ｂにより、複数の復号映像を用いて視点内挿処理を行い、ユーザの視点位置に対応する映像を生成する。そして、受信装置４０ｂは、視点内挿された映像を表示部４９に表示する。そして、受信装置４０ｂは、処理をステップＳ３０４に戻す。
　ステップＳ３０６において、受信装置４０ｂは、ＩＤ情報検出部５０により、ＩＤの変更を伴う視点位置の変更（大きな変更）があるか否かを判定する。受信装置４０ｂは、視点位置の大きな変更がある場合にはリクエストＩＤを検出し、処理をステップＳ３０７に進め、視点位置の大きな変更がない場合には処理をステップＳ３０４に戻す。
　ステップＳ３０７において、受信装置４０ｂは、視点変更部５３により、リクエストＩＤが付与された映像信号群の復号映像のうち、デフォルトの復号映像を取得する。そして、受信装置４０ｂは、デフォルトの映像を表示部４９に表示する。
　なお、放送伝送の場合には、ステップＳ３０１の動作は行われず、ステップＳ３０２において、第２送信装置３０ｂは、映像送信部３７ｂにより、全てのコンテンツに関する全ての映像信号をメタデータ（ＩＤ情報及び位置情報）とともに受信装置４０ｂに送信する。そして、ステップＳ３０３において、受信装置４０ｂは、ユーザに選択されたコンテンツのデフォルトの映像を表示する。ステップＳ３０４以降の動作は、ＩＰマルチキャスト伝送の場合と同一である。
　以上説明したように、第２送信装置３０ｂは、全ての映像信号を、メタデータ（第１階層及び第２階層のグループ分けを示すＩＤ情報、及び位置情報）とともに受信装置４０ｂに送信する。したがって、受信装置４０ｂにおいて、視点位置に変更があった場合に、視点位置の変更に応じて必要となる復号映像を特定することができる。このように、本発明は、映像信号を放送又はＩＰマルチキャスト配信する場合にも適用することができる。
＜プログラム＞
　上述した第１送信装置２０、第２送信装置３０，３０ａ，３０ｂ、及び受信装置４０，４０ａ，４０ｂとして機能させるために、それぞれプログラム命令を実行可能なコンピュータを用いることも可能である。図１２は、第１送信装置２０、第２送信装置３０，３０ａ，３０ｂ、又は受信装置４０，４０ａ，４０ｂとして機能するコンピュータの概略構成を示すブロック図である。ここで、コンピュータ１００は、汎用コンピュータ、専用コンピュータ、ワークステーション、ＰＣ、電子ノートパッドなどであってもよい。プログラム命令は、必要なタスクを実行するためのプログラムコード、コードセグメントなどであってもよい。
　図１２に示すように、コンピュータ１００は、プロセッサ１１０と、ＲＯＭ（Read Only Memory）１２０と、ＲＡＭ（Random Access Memory）１３０と、ストレージ１４０と、入力部１５０と、出力部１６０と、通信インターフェース（Ｉ／Ｆ）１７０と、を備える。各構成は、バス１８０を介して相互に通信可能に接続されている。プロセッサ１１０は、具体的にはＣＰＵ(Central Processing Unit)、ＭＰＵ（Micro Processing Unit）、ＧＰＵ（Graphics Processing Unit）、ＤＳＰ（Digital Signal Processor）、ＳｏＣ（System on a Chip）などであり、同種又は異種の複数のプロセッサにより構成されてもよい。
　プロセッサ１１０は、各構成の制御、及び各種の演算処理を実行する。すなわち、プロセッサ１１０は、ＲＯＭ１２０又はストレージ１４０からプログラムを読み出し、ＲＡＭ１３０を作業領域としてプログラムを実行する。プロセッサ１１０は、ＲＯＭ１２０又はストレージ１４０に記憶されているプログラムに従って、上記各構成の制御及び各種の演算処理を行う。本実施形態では、ＲＯＭ１２０又はストレージ１４０に、本開示に係るプログラムが格納されている。
　プログラムは、コンピュータ１００が読み取り可能な記録媒体に記録されていてもよい。このような記録媒体を用いれば、プログラムをコンピュータ１００にインストールすることが可能である。ここで、プログラムが記録された記録媒体は、非一過性（non-transitory）の記録媒体であってもよい。非一過性の記録媒体は、特に限定されるものではないが、例えば、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ、ＵＳＢ（Universal Serial Bus）メモリなどであってもよい。また、このプログラムは、ネットワークを介して外部装置からダウンロードされる形態としてもよい。
　ＲＯＭ１２０は、各種プログラム及び各種データを格納する。ＲＡＭ１３０は、作業領域として一時的にプログラム又はデータを記憶する。ストレージ１４０は、ＨＤＤ（Hard Disk Drive）又はＳＳＤ（Solid State Drive）により構成され、オペレーティングシステムを含む各種プログラム及び各種データを格納する。
　入力部１５０は、ユーザの入力操作を受け付けて、ユーザの操作に基づく情報を取得する１つ以上の入力インターフェースを含む。例えば、入力部１５０は、ポインティングデバイス、キーボード、マウスなどであるが、これらに限定されない。
　出力部１６０は、情報を出力する１つ以上の出力インターフェースを含む。例えば、出力部１６０は、情報を画像で出力するディスプレイ、又は情報を音声で出力するスピーカであるが、これらに限定されない。なお、出力部１６０は、タッチパネル方式のディスプレイである場合には、入力部１５０としても機能する。
　通信インターフェース１７０は、外部の装置と通信するためのインターフェースである。
　上述の実施形態は代表的な例として説明したが、本発明の趣旨及び範囲内で、多くの変更及び置換ができることは当業者に明らかである。したがって、本発明は、上述の実施形態によって制限するものと解するべきではなく、請求の範囲から逸脱することなく、種々の変形及び変更が可能である。例えば、実施形態に記載の構成ブロック又は処理ステップについて、複数を１つに組み合わせたり、１つを複数に分割したりすることが可能である。
　１，２，３　　　映像伝送システム
　１０　　　　　　撮像装置
　２０　　　　　　第１送信装置
　２１　　　　　　映像受信部
　２２　　　　　　映像符号化部
　２３　　　　　　第１ＩＤ付与部
　２４　　　　　　記憶部
　２５　　　　　　映像送信部
　３０，３０ａ，３０ｂ　第２送信装置
　３１　　　　　　映像受信部
　３２　　　　　　第２ＩＤ付与部
　３３　　　　　　記憶部
　３４　　　　　　視聴要求受信部
　３５，３５ａ　　視点情報受信部
　３６　　　　　　位置判定部
　３７　　　　　　映像送信部
　４０，４０ａ，４０ｂ　受信装置
　４１　　　　　　視聴要求送信部
　４２　　　　　　映像受信部
　４３　　　　　　映像復号部
　４４　　　　　　記憶部
　４５　　　　　　視点位置検出部
　４６，４６ａ　　視点情報送信部
　４７，４７ｂ　　視点内挿部
　４８，４８ｂ　　操作情報付加部
　４９　　　　　　表示部
　５０　　　　　　ＩＤ情報検出部
　５２　　　　　　位置判定部
　５３　　　　　　視点変更部
　１００　　　　　コンピュータ
　１１０　　　　　プロセッサ
　１２０　　　　　ＲＯＭ
　１３０　　　　　ＲＡＭ
　１４０　　　　　ストレージ
　１５０　　　　　入力部
　１６０　　　　　出力部
　１７０　　　　　通信インターフェース
　１８０　　　　　バス
　４８１　　　　　映像
　４８２～４８６　操作情報

Claims (15)

  1. 　異なる位置から撮影した複数の映像信号を受信装置に送信する送信装置であって、
    　前記映像信号は撮影位置に応じて複数のグループにグループ分けされ、
    　前記グループを識別するためのＩＤを付与する制御部と、
    　前記ＩＤが付与された映像信号を前記受信装置に送信する通信インターフェースと、
    を備える送信装置。
  2. 　前記制御部は、前記受信装置のユーザの視点位置の変化に対応する映像信号のＩＤであるリクエストＩＤを特定し、
    　前記通信インターフェースは、前記リクエストＩＤが付与された映像信号を前記受信装置に送信する、請求項１に記載の送信装置。
  3. 　前記通信インターフェースは、前記リクエストＩＤが、直前に送信した映像信号のＩＤと同一である場合には、該リクエストＩＤが付与された映像信号群のうち、ユーザの視点位置に対応する映像を生成するために必要となる複数の映像信号を送信し、前記リクエストＩＤが、直前に送信した映像信号のＩＤと異なる場合には、該リクエストＩＤが付与された映像信号群のうちのデフォルトの映像信号を送信する、請求項２に記載の送信装置。
  4. 　前記映像信号は撮影位置に応じて複数のグループにグループ分けされ、
    　前記制御部は、前記グループを識別するためにグループＩＤを付与する、請求項１から３のいずれか一項に記載の送信装置。
  5. 　前記複数のグループのうちの第１階層のグループは、前記受信装置において撮影位置とは異なる視点からの映像を生成するために用いられる複数の映像信号が属するグループである、請求項４に記載の送信装置。
  6. 　前記複数のグループのうちの第２階層のグループは、同一場所内で撮影された複数の映像信号が属する、１以上の前記第１階層のグループである、請求項５に記載の送信装置。
  7. 　前記通信インターフェースが送信する、前記第１階層のグループに属する映像信号は、映像信号間の相関を用いた予測符号化による圧縮がなされている、請求項５又は６に記載の送信装置。
  8. 　前記通信インターフェースは、前記ＩＤが付与された全ての映像信号を同時に前記受信装置に送信する、請求項１に記載の送信装置。
  9. 　前記映像信号は撮影位置に応じて複数のグループにグループ分けされ、
    　前記制御部は、前記グループを識別するためにグループＩＤを付与する、請求項８に記載の送信装置。
  10. 　前記複数のグループのうちの第１階層のグループは、前記受信装置において撮影位置とは異なる視点からの映像を生成するために用いられる複数の映像信号が属するグループである、請求項９に記載の送信装置。
  11. 　前記複数のグループのうちの第２階層のグループは、同一場所内で撮影された映像信号が属する、１以上の前記第１階層のグループである、請求項１０に記載の送信装置。
  12. 　前記通信インターフェースが送信する、前記第１階層のグループに属する映像信号は、映像信号間の相関を用いた予測符号化による圧縮がなされている、請求項１０又は１１に記載の送信装置。
  13. 　前記ＩＤ及び前記映像信号は、ISO Base Media File Formatのファイルに格納される、請求項１から１２のいずれか一項に記載の送信装置。
  14. 　請求項１から７のいずれか一項、又は請求項１から７のいずれか一項に従属する請求項１３に記載の送信装置により送信された映像信号を受信する受信装置であって、
    　前記映像信号を復号して復号映像を生成するとともに、ユーザの視点位置を取得する制御部と、
    　前記ユーザの視点位置を示す視点情報を前記送信装置に送信する通信インターフェースと、
    を備える受信装置。
  15. 　請求項８から１２のいずれか一項、又は請求項８から１２のいずれか一項に従属する請求項１３に記載の送信装置により送信された映像信号を、該映像信号を撮影した撮像装置の位置情報とともに受信する受信装置であって、
    　前記映像信号を復号して復号映像を生成するとともに、ユーザの視点位置を取得する制御部を備え、
    　前記制御部は、前記ユーザの視点位置に対応する映像を生成するために必要となる複数の映像信号を撮影した撮像装置の位置情報を特定し、前記位置情報に対応する復号映像を用いて視点内挿を行う、受信装置。
     
     
PCT/JP2020/048758 2019-12-27 2020-12-25 送信装置及び受信装置 WO2021132574A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN202080086638.5A CN114830674B (zh) 2019-12-27 2020-12-25 发送装置和接收装置
US17/757,941 US11877021B2 (en) 2019-12-27 2020-12-25 Transmitting device and receiving device
JP2021567678A JPWO2021132574A1 (ja) 2019-12-27 2020-12-25
EP20905870.0A EP4084481A4 (en) 2019-12-27 2020-12-25 TRANSMISSION DEVICE AND RECEIVING DEVICE

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2019239570 2019-12-27
JP2019-239570 2019-12-27
JP2019-239564 2019-12-27
JP2019239564 2019-12-27

Publications (1)

Publication Number Publication Date
WO2021132574A1 true WO2021132574A1 (ja) 2021-07-01

Family

ID=76574322

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/048758 WO2021132574A1 (ja) 2019-12-27 2020-12-25 送信装置及び受信装置

Country Status (5)

Country Link
US (1) US11877021B2 (ja)
EP (1) EP4084481A4 (ja)
JP (1) JPWO2021132574A1 (ja)
CN (1) CN114830674B (ja)
WO (1) WO2021132574A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021054380A1 (ja) * 2019-09-20 2021-03-25 日本放送協会 符号化装置、復号装置、及びプログラム

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013038521A (ja) * 2011-08-04 2013-02-21 Canon Marketing Japan Inc ネットワークカメラシステム、制御方法、及びプログラム
JP2013061743A (ja) * 2011-09-12 2013-04-04 Canon Inc 画像処理装置および画像処理方法
WO2018021068A1 (ja) * 2016-07-29 2018-02-01 ソニー株式会社 画像処理装置および画像処理方法
JP2019008429A (ja) * 2017-06-21 2019-01-17 キヤノン株式会社 画像処理装置、画像処理システム、画像処理方法及びプログラム
JP2019047249A (ja) * 2017-08-31 2019-03-22 Kddi株式会社 表示可能解像度に基づいて配信プロファイルを決定するクライアント、プログラム及び方法
JP2019145921A (ja) * 2018-02-16 2019-08-29 キヤノン株式会社 画像処理装置、画像処理装置の制御方法及びプログラム

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130209473A1 (en) 2012-02-11 2013-08-15 Genentech, Inc. R-spondin translocations and methods using the same
JP6405539B2 (ja) * 2014-03-17 2018-10-17 パナソニックＩｐマネジメント株式会社 多視点画像に対するラベル情報の処理装置及びそのラベル情報の処理方法
JP6306952B2 (ja) 2014-06-23 2018-04-04 日本電信電話株式会社 中間視点画像生成装置、中間視点画像生成方法及びコンピュータプログラム
US10015551B2 (en) * 2014-12-25 2018-07-03 Panasonic Intellectual Property Management Co., Ltd. Video delivery method for delivering videos captured from a plurality of viewpoints, video reception method, server, and terminal device
KR102546763B1 (ko) 2016-10-17 2023-06-22 한화비전 주식회사 영상 제공 장치 및 방법
JP7401453B2 (ja) * 2018-04-05 2023-12-19 ヴィド スケール インコーポレイテッド 全方位ビデオに対する視点メタデータ
WO2019194434A1 (ko) * 2018-04-05 2019-10-10 엘지전자 주식회사 복수의 뷰포인트들에 대한 메타데이터를 송수신하는 방법 및 장치
WO2019194529A1 (ko) * 2018-04-05 2019-10-10 삼성전자 주식회사 복수의 뷰포인트들을 포함하는 3차원 컨텐트에 대한 정보를 전송하기 위한 방법 및 장치

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013038521A (ja) * 2011-08-04 2013-02-21 Canon Marketing Japan Inc ネットワークカメラシステム、制御方法、及びプログラム
JP2013061743A (ja) * 2011-09-12 2013-04-04 Canon Inc 画像処理装置および画像処理方法
WO2018021068A1 (ja) * 2016-07-29 2018-02-01 ソニー株式会社 画像処理装置および画像処理方法
JP2019008429A (ja) * 2017-06-21 2019-01-17 キヤノン株式会社 画像処理装置、画像処理システム、画像処理方法及びプログラム
JP2019047249A (ja) * 2017-08-31 2019-03-22 Kddi株式会社 表示可能解像度に基づいて配信プロファイルを決定するクライアント、プログラム及び方法
JP2019145921A (ja) * 2018-02-16 2019-08-29 キヤノン株式会社 画像処理装置、画像処理装置の制御方法及びプログラム

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
"3rd Generation Partnership Project; Technical Specification Group SA WG4 Extended Reality in 5G; (Release 16", 3GPP TR 26.928, July 2019 (2019-07-01)
"Information technology - Coded representation of immersive media - Part 2: Omnidirectional media format", ISO/IEC 23090-2, 2019
See also references of EP4084481A4

Also Published As

Publication number Publication date
US20230040392A1 (en) 2023-02-09
CN114830674B (zh) 2024-07-19
US11877021B2 (en) 2024-01-16
EP4084481A1 (en) 2022-11-02
JPWO2021132574A1 (ja) 2021-07-01
CN114830674A (zh) 2022-07-29
EP4084481A4 (en) 2023-12-27

Similar Documents

Publication Publication Date Title
KR102545195B1 (ko) 가상 현실 시스템에서 컨텐트 전송 및 재생 방법 및 장치
EP3596931B1 (en) Method and apparatus for packaging and streaming of virtual reality media content
JP7085816B2 (ja) 情報処理装置、情報提供装置、制御方法、及びプログラム
US10574933B2 (en) System and method for converting live action alpha-numeric text to re-rendered and embedded pixel information for video overlay
US10156898B2 (en) Multi vantage point player with wearable display
WO2017169369A1 (ja) 情報処理装置、情報処理方法、プログラム
US11310560B2 (en) Bitstream merger and extractor
US10664225B2 (en) Multi vantage point audio player
KR20150029461A (ko) 파노라마 영상의 스트리밍 서비스 제공 시스템에서 타일링 영상 동기화 방법
JP2020524450A (ja) 多チャネル映像のための伝送システム及びその制御方法、多チャネル映像再生方法及びその装置
US9596435B2 (en) Distribution control apparatus, distribution control method, and computer program product
JP2017123503A (ja) 映像配信装置、映像配信方法及びコンピュータプログラム
WO2021132574A1 (ja) 送信装置及び受信装置
US9338429B2 (en) Video processing apparatus capable of reproducing video content including a plurality of videos and control method therefor
JP5520146B2 (ja) 映像受信装置、及びその制御方法
GB2567136A (en) Moving between spatially limited video content and omnidirectional video content
US11153613B2 (en) Remote-controlled media studio
KR20160011158A (ko) 화면 공유 시스템 및 방법
EP3695305A1 (en) Selection of animated viewing angle in an immersive virtual environment
JP7319340B2 (ja) 配信サーバ、配信方法及びプログラム
US20210289194A1 (en) System, method, and computer program for generating volumetric video
JP2014506036A (ja) ビデオストリーム表示のシステムおよびプロトコル
EP4391550A1 (en) Processing content for extended reality applications
JP2016065958A (ja) 表示制御システム、表示制御装置、及びプログラム
JP2024116702A (ja) シーン記述編集装置及びプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20905870

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021567678

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2020905870

Country of ref document: EP

Effective date: 20220727