WO2023276007A1 - 映像配信装置、ユーザ端末、プログラム、映像配信システム及び映像配信方法 - Google Patents

映像配信装置、ユーザ端末、プログラム、映像配信システム及び映像配信方法 Download PDF

Info

Publication number
WO2023276007A1
WO2023276007A1 PCT/JP2021/024599 JP2021024599W WO2023276007A1 WO 2023276007 A1 WO2023276007 A1 WO 2023276007A1 JP 2021024599 W JP2021024599 W JP 2021024599W WO 2023276007 A1 WO2023276007 A1 WO 2023276007A1
Authority
WO
WIPO (PCT)
Prior art keywords
unit
images
image
video
encoded data
Prior art date
Application number
PCT/JP2021/024599
Other languages
English (en)
French (fr)
Inventor
俊明 久保
聡 道籏
Original Assignee
三菱電機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 三菱電機株式会社 filed Critical 三菱電機株式会社
Priority to JP2023531207A priority Critical patent/JP7462842B2/ja
Priority to PCT/JP2021/024599 priority patent/WO2023276007A1/ja
Publication of WO2023276007A1 publication Critical patent/WO2023276007A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2365—Multiplexing of several video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Definitions

  • the present disclosure relates to a video distribution device, a user terminal, a program, a video distribution system, and a video distribution method.
  • a video distribution system has been used in which a user can view a video selected from videos captured by a plurality of cameras.
  • a video distribution device accepts designation of a camera position of video data that a user wants to see, encodes video data captured at that camera position, transmits the video data to the user's terminal, and sends it to the user's terminal.
  • a system is described in which the terminal decodes the data and displays the desired video.
  • the conventional video distribution system encodes and distributes the video data at the camera position specified by the user, so it is necessary to encode as many times as the number of users. Therefore, as the number of users increases, the processing load increases significantly.
  • an object of one or more aspects of the present disclosure is to enable distribution of videos selected by users without increasing the processing load even if the number of users increases.
  • a video distribution device includes an acquisition unit that acquires a plurality of videos captured by each of a plurality of imaging devices; A synthesizing unit that generates a synthetic image by synthesizing the above images, an encoding unit that generates encoded data by encoding the synthetic image, and a distribution unit that distributes the encoded data. Characterized by
  • a user terminal encodes a composite image obtained by synthesizing two or more images in a plurality of images for each time included in each of a plurality of videos captured by each of a plurality of imaging devices.
  • a receiving unit that receives the encoded data generated by doing so, a decoding unit that acquires the synthesized image by decoding the encoded data, a separating unit that separates the two or more images from the synthesized image, It is characterized by comprising an input section for receiving an input for selecting a video to be displayed, and a display section for displaying a video image selected from among the two or more images.
  • a user terminal encodes a composite image obtained by synthesizing two or more images in a plurality of images for each time included in each of a plurality of videos captured by each of a plurality of imaging devices.
  • a receiving unit that receives the encoded data generated by the above;
  • a decoding unit that acquires the synthesized image by decoding the encoded data; It is characterized by comprising a selection unit for extracting an image corresponding to the position from the synthesized image, and a display unit for displaying the extracted image.
  • a program comprises an acquisition unit that acquires a plurality of images captured by each of a plurality of imaging devices, and a plurality of images at each time included in each of the plurality of images. function as a synthesizing unit that generates a synthetic image by synthesizing two or more images in the above, an encoding unit that generates encoded data by encoding the synthetic image, and a distribution unit that distributes the encoded data. It is characterized by
  • a program causes a computer to generate a composite image obtained by synthesizing two or more images in a plurality of images at each time included in each of a plurality of videos captured by each of a plurality of imaging devices.
  • a receiving unit that receives encoded data generated by encoding the encoded data
  • a decoding unit that acquires the synthesized image by decoding the encoded data
  • a separating unit that separates the two or more images from the synthesized image
  • a display and an input unit for receiving an input for selecting a video to be displayed
  • a display unit for displaying a video image selected from the two or more images.
  • a program causes a computer to generate a composite image obtained by synthesizing two or more images in a plurality of images for each time included in each of a plurality of videos captured by each of a plurality of imaging devices.
  • a receiving unit that receives encoded data generated by encoding the encoded data
  • a decoding unit that acquires the composite image by decoding the encoded data
  • an input unit that receives an input for selecting the position of the video to be displayed
  • the composite It is characterized by functioning as a selection unit for extracting an image corresponding to the position from the images and as a display unit for displaying the extracted image.
  • a video distribution system is a video distribution system including a video distribution device and a user terminal, wherein the video distribution device acquires a plurality of videos captured by each of a plurality of imaging devices.
  • a synthesizing unit for generating a synthesized image by synthesizing two or more images among a plurality of images for each time included in each of the plurality of videos; and encoding the synthesized image
  • the user terminal includes an encoding unit that generates encoded data and a distribution unit that distributes the encoded data, and the user terminal receives the encoded data and decodes the encoded data to generate the synthesized image.
  • a decoding unit for obtaining; a separation unit for separating the two or more images from the composite image; an input unit for receiving input for selecting a video to be displayed; and an image of video selected from the two or more images. and a display unit that displays
  • a video distribution system is a video distribution system including a video distribution device and a user terminal, wherein the video distribution device acquires a plurality of videos captured by each of a plurality of imaging devices.
  • a synthesizing unit for generating a synthesized image by synthesizing two or more images among a plurality of images for each time included in each of the plurality of videos; and encoding the synthesized image
  • the user terminal includes an encoding unit that generates encoded data and a distribution unit that distributes the encoded data, and the user terminal receives the encoded data and decodes the encoded data to generate the synthesized image.
  • a decoding unit for obtaining, an input unit for receiving an input for selecting a position of a video to be displayed, a selection unit for extracting an image corresponding to the position from the composite image, a display unit for displaying the extracted image, characterized by comprising
  • a video distribution method obtains a plurality of videos captured by each of a plurality of imaging devices, and obtains two or more images in a plurality of images for each time included in each of the plurality of videos. are combined to generate a composite image, the composite image is encoded to generate encoded data, and the encoded data is distributed.
  • FIG. 1 is a block diagram schematically showing the configuration of a video distribution system according to Embodiments 1 and 2;
  • FIG. 2 is a block diagram schematically showing the configuration of a video distribution device and a user terminal according to Embodiment 1;
  • FIG. FIG. 4 is a schematic diagram for explaining an example of video data from a plurality of cameras;
  • FIG. FIG. 4 is a schematic diagram for explaining an example of composition processing performed by a video composition unit;
  • 4A to 4F are schematic diagrams showing examples of image synthesis by a video synthesizing unit according to Embodiment 1;
  • FIG. FIG. 4 is a schematic diagram for explaining an example of encoding performed by an encoding unit;
  • 1 is a block diagram showing an example of a computer;
  • FIG. 11 is a schematic diagram showing a first modified example of synthesizing a plurality of images; It is a schematic diagram showing the 1st modification which arranges a plurality of cameras.
  • FIG. 11 is a schematic diagram showing a second modified example of arranging a plurality of cameras;
  • FIG. 11 is a schematic diagram showing a second modification of synthesizing a plurality of images; (A) to (D) are schematic diagrams showing a third modified example of synthesizing a plurality of images;
  • FIG. 12 is a block diagram schematically showing configurations of a video distribution apparatus and a user terminal according to Embodiment 2; 10A to 10E are schematic diagrams showing examples of image synthesis by a video synthesizing unit according to Embodiment 2;
  • FIG. FIG. 10 is a schematic diagram for explaining processing in a video selection unit according to Embodiment 2;
  • FIG. 1 is a block diagram schematically showing the configuration of video distribution system 100 according to Embodiment 1.
  • the video distribution system 100 includes a video distribution device 110 and user terminals 130A to 130D. Note that since the user terminals 130A to 130D are configured in the same way with respect to the function of viewing images, any one of the user terminals 130A to 130D can be is called a user terminal 130 .
  • the video distribution device 110 acquires video data captured by a plurality of cameras 101A to 101L as a plurality of imaging devices, and distributes the distribution data including the video to be viewed by the user to the user terminal 130. .
  • the video distribution device 110 can communicate with each of the plurality of cameras 101A to 101L and the user terminal 130.
  • FIG. 1 the video distribution device 110 is wirelessly connected to each of the cameras 101A to 101L, but may be connected by wire.
  • the video distribution device 110 is wirelessly connected to the user terminal 130, but may be connected by wire.
  • the number of cameras 101A to 101L may be two or more. Any one of the plurality of cameras 101A to 101L will be referred to as camera 101 when there is no particular need to distinguish among the plurality of cameras 101A to 101L.
  • FIG. 2 is a block diagram schematically showing the configuration of video distribution apparatus 110 and user terminal 130 according to the first embodiment.
  • Video distribution device 110 includes video acquisition unit 111 , video synthesis unit 112 , encoding unit 113 , encoded data storage unit 114 , video distribution unit 115 , and communication unit 116 .
  • the image acquisition unit 111 is an acquisition unit that acquires multiple images captured by each of the multiple cameras 101A to 101L. Specifically, image acquisition unit 111 receives image data representing images captured by each of cameras 101A to 101L from each of cameras 101A to 101L.
  • Video data including
  • the video synthesizing unit 112 performs synthesizing processing on a plurality of images for each time indicated by each of the plurality of video data sent from the plurality of cameras 101A to 101L.
  • the video synthesizing unit 112 synthesizes two or more images in the plurality of images.
  • the plurality of images are extracted from each of the plurality of video data sent from the plurality of cameras 101A-101L.
  • the camera 101 that captured one image included in the plurality of images is different from the camera 101 that captured all other images included in the plurality of images.
  • FIG. 4 is a schematic diagram for explaining an example of composition processing performed by the image composition unit 112.
  • image data captured by each of a plurality of cameras 101A to 101L are acquired.
  • video synthesizing unit 112 combines a plurality of images obtained from each of cameras 101A to 101L into a first group of images represented by video data from cameras 101A to 101D. , a second group consisting of images represented by video data from the cameras 101E to 101H, and a third group consisting of images represented by video data from the cameras 101I to 101L. Synthesize an image corresponding to .
  • the video synthesizing unit 112 divides the plurality of images represented by the plurality of video data obtained from each of the plurality of cameras 101A to 101L into a plurality of groups, and divides the two images included in each of the plurality of groups into groups. Combine the above images.
  • FIGS. 5A to 5F are schematic diagrams showing examples of image synthesis by the image synthesizing unit 112.
  • FIG. it is assumed that the scene shown in FIG. 5A is imaged by four cameras 101A to 101D.
  • Images Im1 to Im4 shown in FIGS. 5(B) to 5(E) respectively represent images captured by the four cameras 101A to 101D at the same time.
  • the video synthesizing unit 112 performs synthesizing by connecting the images Im1 to Im4 in the horizontal direction to generate one synthesized image.
  • the encoding unit 113 generates encoded data by encoding the synthesized image synthesized by the video synthesizing unit 112 .
  • the encoding unit 113 generates encoded data by encoding the synthesized image synthesized by the video synthesizing unit 112 for each predetermined period.
  • the encoded data storage unit 114 stores the encoded data generated by the encoding unit 113.
  • the video distribution unit 115 is a distribution unit that distributes encoded data.
  • the video distribution unit 115 reads encoded data including at least a video image viewed by the user from the encoded data storage unit 114 and causes the communication unit 116 to transmit the encoded data to the user terminal 130 as distribution data.
  • the video distribution unit 115 receives, via the communication unit 116, position information indicating the position of the video that the user terminal 130 is viewing on the user terminal 130, and distributes an image corresponding to the position indicated by the position information.
  • the encoded data included therein is read out from the encoded data storage unit 114 .
  • the communication unit 116 communicates with the user terminal 130 .
  • the communication unit 116 transmits distribution data to the user terminal 130 and receives location information from the user terminal 130 .
  • the video synthesizing unit 112, the encoding unit 113, and the video distribution unit 115 described above include, for example, a memory 10 and a CPU (Central Processing Unit) that executes a program stored in the memory 10, as shown in FIG. It can be realized by a computer 12 including a processor 11 such as a processing unit.
  • a program may be provided through a network, or recorded on a recording medium and provided. That is, such programs may be provided as program products, for example.
  • the encoded data storage unit 114 can be realized by a storage device such as an HDD (Hard Disc Drive) or an SSD (Solid State Drive).
  • the video acquisition unit 111 and the communication unit 116 can be realized by a wireless communication interface that performs wireless communication. Note that the video acquisition unit 111 and the communication unit 116 may be implemented by one wireless communication interface, or may be implemented by separate wireless communication interfaces.
  • the user terminal 130 includes a communication unit 131, a decoding unit 132, a video separation unit 133, a video storage unit 134, a video selection unit 135, an input unit 136, and a video display unit 137. .
  • the communication unit 131 communicates with the video distribution device 110 .
  • the communication unit 131 functions as a receiving unit that receives distribution data from the video distribution device 110 .
  • the communication unit 131 functions as a transmission unit that transmits the position information to the video distribution device 110 .
  • the decoding unit 132 receives distribution data from the video distribution device 110 via the communication unit 131 and decodes the received distribution data. Thereby, the decoding unit 132 can acquire the synthesized image.
  • the video separation unit 133 separates two or more images from the synthesized image acquired by the decoding unit 132 .
  • the video separating unit 133 separates the composite image acquired by the decoding unit 132 to generate an image for each camera 101 .
  • the user terminal 130 obtains in advance from the video distribution apparatus 110 position setting information, which is information indicating which position of the image corresponds to which position of the camera 101 in the distribution data. It is possible to identify the image of the camera 101 at which position the image obtained is.
  • the distribution data may include identification information for identifying the position of the composite image and the position relative to the camera 101 .
  • the video storage unit 134 stores the images separated by the video separation unit 133.
  • the video selection unit 135 receives an input of selection of a video to be displayed from the user via the input unit 136 .
  • the video selection unit 135 accepts selection of a camera position from the user via the input unit 136, sequentially reads out images of the selected camera positions from the video storage unit 134, and sends them to the video display unit 137, thereby The image of the selected camera position is displayed on the display unit 137 .
  • the video selection unit 135 generates position information indicating the camera position selected by the user, and sends the position information to the video distribution device 110 via the communication unit 131 .
  • the input unit 136 accepts input of instructions from the user. For example, the input unit 136 receives an input for selecting a camera position indicating the position of the camera 101 from the user. Thereby, the input unit 136 can receive an input for selecting an image to be displayed.
  • the image display unit 137 is a display unit that displays images by sequentially displaying images sent from the image selection unit 135 . Accordingly, the video display unit 137 can display the video selected by the user by sequentially displaying the images of the video selected by the user.
  • the decoding unit 132, the video separation unit 133, the video storage unit 134, and the video selection unit 135 of the user terminal 130 described above are stored in the memory 10 and the memory 10, for example, as shown in FIG. It can be realized by a computer 12 including a processor 11 such as a CPU that executes a program. Such a program may be provided through a network, or recorded on a recording medium and provided. That is, such programs may be provided as program products, for example.
  • the video storage unit 134 can be realized by a volatile or nonvolatile memory.
  • the communication unit 131 can be realized by a wireless communication interface that performs wireless communication.
  • the input unit 136 can be realized by an input device that receives input from the user.
  • the video display unit 137 can be realized by a display. Note that the input unit 136 and the image display unit 137 may be realized by a touch panel.
  • FIG. 8 is a flowchart showing processing in the video distribution device 110.
  • the video acquisition unit 111 receives video data representing video captured by each of the cameras 101A to 101L from each of the cameras 101A to 101L (S10).
  • the received video data is provided to video synthesizing section 112 .
  • the image synthesizing unit 112 performs synthesizing processing on a plurality of images corresponding to the same time indicated by each of the plurality of image data sent from the plurality of cameras 101A to 101L (S11). For example, the video synthesizing unit 112 divides a plurality of images represented by a plurality of video data acquired from the plurality of cameras 101A to 101L into a plurality of groups, and divides each of the plurality of groups into two or more images corresponding to the same time. composite the image of The synthesized image synthesized here is given to the encoding unit 113 .
  • the encoding unit 113 generates encoded data by encoding the synthesized image synthesized by the video synthesizing unit 112 every predetermined period (S12).
  • the encoded data is stored in encoded data storage unit 114 .
  • the video distribution unit 115 reads the encoded data including at least the video image that the user sees from the encoded data storage unit 114, and sends the encoded data as distribution data to the user terminal 130 via the communication unit 116 (S13).
  • the encoded data including at least the image of the video viewed by the user is delivered to the user terminal 130.
  • FIG. 9 is a flowchart showing processing in the user terminal 130.
  • the communication unit 131 receives distribution data from the video distribution device 110 (S20).
  • the received distribution data is applied to decoding section 132 .
  • the decoding unit 132 receives the distribution data from the communication unit 131 and decodes the received distribution data (S21). Thereby, the decoding unit 132 acquires the synthesized image and provides the synthesized image to the video separation unit 133 .
  • the video separation unit 133 separates the synthesized image acquired by the decoding unit 132 to generate an image for each camera 101 (S22).
  • the images separated here are stored in the video storage unit 134 .
  • the image selection unit 135 sequentially reads out the images of the camera positions selected by the user via the input unit 136 from the image storage unit 134 and sends them to the image display unit 137 .
  • An image of the position is displayed (S23). As described above, the user can view the video of the camera selected by the user.
  • FIGS. 10A to 10C and FIGS. 11A and 11B are schematic diagrams for explaining processing in the user terminal 130.
  • the communication unit 131 synthesizes the images captured by the cameras 101A to 101D as shown in FIG. get the delivered data.
  • the decode unit 132 decodes the distribution data to obtain a composite image as shown in FIG. 10(B).
  • the video separation unit 133 separates the composite image for each of the cameras 101A to 101D, thereby obtaining images for each of the cameras 101A to 101D as shown in FIG. 10(C).
  • an image including an image corresponding to the first user's selection is displayed.
  • the video distribution apparatus 110 connects the user terminal 130A used by the first user and the user terminal 130B used by the second user as shown in FIG. Since it is sufficient to transmit such distribution data, there is no need to generate encoded data for each user. Also, even if the user changes the position within the range of the composite image included in the distribution data, the video distribution device 110 does not need to change the distribution data, and the processing load of the video distribution device 110 is reduced. .
  • FIG. 10 shows an example in which only the distribution data generated from the composite image of the group containing the image of the video that the user is viewing is transmitted. , but not limited to such examples.
  • FIGS. 12A and 12B and FIGS. 13A and 13B are schematic diagrams for explaining modified examples of distribution data.
  • one user terminal 130 stores encoded data generated from a group of images captured by the cameras 101E to 101H and a group of images captured by the cameras 101I to 101L. and the encoded data generated from may be transmitted as distribution data.
  • the video distribution unit 115 distributes the encoded data corresponding to the first group including the images included in the video viewed on the user terminal 130 and the encoded data included in the video viewed on the user terminal 130 .
  • the communication unit 116 may be caused to transmit to the user terminal 130 the encoded data corresponding to the second group that does not include the image.
  • the second group is a group in which a user who is viewing a video made up of images included in the first group is highly likely to switch videos.
  • the decoding unit 132 of the user terminal 130 decodes each of the distribution data to generate a composite image of the images captured by the cameras 101E to 101H as shown in FIG. , and a synthesized image of the images captured by the cameras 101I to 101L.
  • the video separation unit 133 separates the respective synthesized images, thereby obtaining images captured by the cameras 101E to 101L as shown in FIG. 13(A).
  • the video distribution apparatus 110 does not need to change the distribution data to be transmitted to the user terminal 130 according to the user's selection within the range of the distribution data being transmitted to the user terminal 130.
  • the processing load on the distribution device 110 can be reduced.
  • the number of pieces of encoded data corresponding to one time and the selection of the encoded data to be transmitted to the user terminal 130 may be determined in advance according to the position of the image viewed by the user. may be changed according to the position of the video being viewed.
  • the distribution data of a group that is likely to move from the group containing the image of the video that the user is watching may be transmitted to the user terminal 130 used by the user.
  • the user terminal 130 used by the user For example, as shown in the example described with reference to FIG. 5, when a plurality of cameras 101 are arranged in a line with respect to the subject, a The encoded data generated from the group to be used may also be transmitted to the user terminal 130 used by the user.
  • Embodiment 1 a plurality of images captured by a plurality of cameras 101 are divided into a plurality of groups and synthesized, but Embodiment 1 is limited to such an example. not something.
  • all of a plurality of images captured by a plurality of cameras 101 may be combined into one image.
  • a plurality of images synthesized here are images corresponding to the same time.
  • the video distribution apparatus 110 does not need to change the encoded data to be transmitted to the user terminal 130 according to the viewing position of the user, thus reducing the processing load.
  • the user terminal 130 does not need to transmit the position information to the video distribution device 110, and the processing load is reduced.
  • Embodiment 1 for example, in FIG. 1, an example in which the plurality of cameras 101 are arranged on one straight line was shown, but Embodiment 1 is limited to such an example. not.
  • multiple cameras 101A to 101N may be arranged on multiple straight lines with respect to the subject.
  • a plurality of cameras 101A-101H may be arranged in a circle so as to surround the subject.
  • the multiple cameras 101 can be freely arranged.
  • Embodiment 1 described above, as shown in FIG. 5(F), images Im1 to Im4 captured by a plurality of cameras 101 are connected in one direction (horizontal direction in FIG. 5).
  • Embodiment 1 is not limited to such an example.
  • the image synthesizing unit 112 combines images Im1 to Im4 in two directions (the vertical direction and the horizontal direction in FIG. 17), in other words, by combining them in two rows. may be performed.
  • Embodiment 1 is not limited to such an example.
  • a plurality of images may be synthesized by connecting the pixel values forming each of the plurality of images for each corresponding pixel position. A specific example will be described with reference to FIGS.
  • FIG. 18A shows an image ImA captured by the camera 101A
  • FIG. 18B shows an image ImB captured by the camera 101B
  • FIG. 18C is an image captured by the camera 101C.
  • ImC is shown. It is also assumed that the images ImA to ImC have the same size.
  • synthesizing the images ImA to ImC will be described.
  • the composite image CIm1 can be generated.
  • the pixel values of the corresponding pixel positions of the images ImA, ImB, and ImC are arranged at the corresponding pixel positions of the composite image CIm1. can be separated.
  • the pixel values at corresponding pixel positions in each of the images ImA, ImB, and ImC may have similar pixel values. is high. In such a case, if the synthesized image is compressed, it is possible to increase the compression rate, depending on the compression technique.
  • video distribution system 200 includes video distribution device 210 and user terminals 230A to 230D.
  • user terminals 230A to 230D are similarly configured with respect to the function of viewing images, if there is no particular need to distinguish between the user terminals 230A to 230D, any one of the user terminals 230A to 230D can be used. is called a user terminal 230 .
  • the video distribution device 210 acquires the video data captured by the plurality of cameras 101A to 101L and distributes the distribution data including the video to be viewed by the user to the user terminal 230. .
  • FIG. 19 is a block diagram schematically showing configurations of the video distribution device 210 and the user terminal 230 according to the second embodiment.
  • Video distribution device 210 in Embodiment 2 includes video acquisition unit 111 , video synthesis unit 212 , encoding unit 113 , encoded data storage unit 114 , video distribution unit 115 and communication unit 116 .
  • the video acquisition unit 111, the encoding unit 113, the encoded data storage unit 114, the video delivery unit 115, and the communication unit 116 of the video distribution device 210 according to Embodiment 2 are the video acquisition unit 111, It is the same as the encoding unit 113 , the encoded data storage unit 114 , the video distribution unit 115 and the communication unit 116 .
  • the video synthesizing unit 212 is a synthesizing unit that performs synthesizing processing on a plurality of images represented by the plurality of video data sent from the plurality of cameras 101A to 101L. Here too, the video synthesizing unit 212 synthesizes two or more images in the plurality of images.
  • the video synthesizing unit 112 in Embodiment 1 simply connects the images Im1 to Im4 shown in FIGS. 5B to 5E, as shown in FIG. 5F. to generate a composite image.
  • the video synthesizing unit 212 according to Embodiment 2 synthesizes the plurality of images so that the joints of the plurality of images captured by the plurality of cameras 101 are invisible.
  • a specific example of the processing in the video synthesizing unit 212 according to the second embodiment will be described with reference to FIGS. 20(A) to (E).
  • Images Im1 to Im4 shown in FIGS. 20A to 20D respectively represent images captured by the four cameras 101A to 101D at the same time.
  • the plurality of cameras 101 are arranged so that an image captured by one camera 101 overlaps at least a portion of an image captured by another camera 101 in the connecting direction. .
  • the image synthesizing unit 212 combines the images Im1 to Im4 so that there are no overlapping portions in the horizontal direction, thereby synthesizing the images. Generate one composite image.
  • the video synthesizing unit 212 adopts any one image among a plurality of overlapping images for the overlapping portion in the connecting direction, and deletes the overlapping portion from the remaining images. So you can connect them. This makes it possible to eliminate overlapping portions in these multiple images.
  • the user terminal 230 includes a communication section 131 , a decoding section 132 , an image storage section 234 , an image selection section 235 , an input section 136 and an image display section 137 .
  • the user terminal 230 according to the second embodiment does not have the video separator 133 of the user terminal 130 according to the first embodiment.
  • the communication unit 131, the decoding unit 132, the input unit 136, and the video display unit 137 of the user terminal 230 according to Embodiment 2 correspond to the communication unit 131, the decoding unit 132, the input unit 136, and the user terminal 130 according to Embodiment 1. It is similar to the image display section 137 .
  • the video storage unit 234 stores the composite image acquired by the decoding unit 132.
  • the video selection unit 235 receives a selection of a display position, which is the position of the video to be displayed, from the user via the input unit 136, and selects an image corresponding to the selected display position as a composite image stored in the video storage unit 134. take out from Then, the video selection unit 235 sequentially sends the extracted images to the video display unit 137, thereby causing the video display unit 137 to display the video at the selected display position.
  • FIG. 21 is a schematic diagram for explaining the processing in the video selection unit 235.
  • the video selection unit 235 extracts the image SIm corresponding to the display position moved by the user from the composite image CIm2.
  • the image selection unit 235 predetermines a synthesized image reference position, which is a reference position in the synthesized image, and a display reference position indicating the display position of the user, and determines the distance between them.
  • the location information may be sent to the video distribution device 210 .
  • the distance between these positions P1 and P2 is The distance D becomes position information.
  • the video distribution device 210 can recognize which synthesized image encoded data should be transmitted. For example, in the example shown in FIG. 21, when the distance between the position P1 and the position P2 is longer than the distance between the position P1 and the rightmost position P3 in the horizontal direction of the synthesized image, the video distribution device 210 may distribute encoded data of another composite image to the user terminal 230 if there is another composite image including an image in the right direction of the composite image CIm according to the length.
  • the video distribution device 210 when the distance between the position P1 and the position P2 is negative, the video distribution device 210 generates another synthesized image including an image to the left of the synthesized image CIm according to the absolute value of the length. If there is an image, another composite image may be delivered to the user terminal 230 .
  • the user can view the video at the desired position regardless of the camera position.
  • 100, 200 video distribution system 101 camera, 110, 210 video distribution device, 111 video acquisition section, 112, 212 video synthesis section, 113 encoding section, 114 encoded data storage section, 115 video distribution section, 116 communication section, 130, 230 user terminal, 131 communication unit, 132 decoding unit, 133 video separation unit, 134, 234 video storage unit, 135, 235 video selection unit, 136 input unit, 137 video display unit.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Studio Devices (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

映像配信装置（１１０）は、複数のカメラ（１０１）のそれぞれで撮像された複数の映像を取得する映像取得部（１１１）と、その複数の映像のそれぞれに含まれる、時刻毎の複数の画像における二以上の画像を合成することで、合成画像を生成する映像合成部（１１２）と、その合成画像をエンコードすることで、エンコードデータを生成するエンコード部（１１３）と、そのエンコードデータを配信する映像配信部（１１５）とを備える。

Description

映像配信装置、ユーザ端末、プログラム、映像配信システム及び映像配信方法
　本開示は、映像配信装置、ユーザ端末、プログラム、映像配信システム及び映像配信方法に関する。
　複数のカメラで撮像された映像から、ユーザが選択した映像を見ることのできる映像配信システムが、従来から使用されている。
　例えば、特許文献１には、映像配信装置において、ユーザが見たい映像データのカメラ位置の指定を受け付けて、そのカメラ位置において撮像された映像データをエンコードして、ユーザの端末に送信し、ユーザ端末において、そのデータをデコードして所望の映像を表示するシステムが記載されている。
国際公開公報第２０１９／０５９３２５号公報
　しかしながら、従来の映像配信システムは、ユーザが指定したカメラ位置における映像データをエンコードして配信するため、最大で、ユーザ数だけエンコードを行う必要がある。このため、ユーザ数が多くなると、その処理負荷が非常に大きくなる。
　そこで、本開示の一又は複数の態様は、ユーザ数が多くなっても、処理負荷が大きくならないように、ユーザが選択した映像を配信できるようにすることを目的とする。
　本開示の一態様に係る映像配信装置は、複数の撮像装置のそれぞれで撮像された複数の映像を取得する取得部と、前記複数の映像のそれぞれに含まれる、時刻毎の複数の画像における二以上の画像を合成することで、合成画像を生成する合成部と、前記合成画像をエンコードすることで、エンコードデータを生成するエンコード部と、前記エンコードデータを配信する配信部と、を備えることを特徴とする。
　本開示の第１の態様に係るユーザ端末は、複数の撮像装置のそれぞれで撮像された複数の映像のそれぞれに含まれる、時刻毎の複数の画像における二以上の画像を合成した合成画像をエンコードすることで生成されたエンコードデータを受信する受信部と、前記エンコードデータをデコードすることで、前記合成画像を取得するデコード部と、前記合成画像から前記二以上の画像を分離する分離部と、表示する映像の選択の入力を受け付ける入力部と、前記二以上の画像の中から、選択された映像の画像を表示する表示部と、を備えることを特徴とする。
　本開示の第２の態様に係るユーザ端末は、複数の撮像装置のそれぞれで撮像された複数の映像のそれぞれに含まれる、時刻毎の複数の画像における二以上の画像を合成した合成画像をエンコードすることで生成されたエンコードデータを受信する受信部と、前記エンコードデータをデコードすることで、前記合成画像を取得するデコード部と、表示する映像の位置の選択の入力を受け付ける入力部と、前記合成画像から、前記位置に対応する画像を取り出す選択部と、前記取り出された画像を表示する表示部と、を備えることを特徴とする。
　本開示の第１の態様に係るプログラムは、コンピュータを、複数の撮像装置のそれぞれで撮像された複数の映像を取得する取得部、前記複数の映像のそれぞれに含まれる、時刻毎の複数の画像における二以上の画像を合成することで、合成画像を生成する合成部、前記合成画像をエンコードすることで、エンコードデータを生成するエンコード部、及び、前記エンコードデータを配信する配信部、として機能させることを特徴とする。
　本開示の第２の態様に係るプログラムは、コンピュータを、複数の撮像装置のそれぞれで撮像された複数の映像のそれぞれに含まれる、時刻毎の複数の画像における二以上の画像を合成した合成画像をエンコードすることで生成されたエンコードデータを受信する受信部、前記エンコードデータをデコードすることで、前記合成画像を取得するデコード部、前記合成画像から前記二以上の画像を分離する分離部、表示する映像の選択の入力を受け付ける入力部、及び、前記二以上の画像の中から、選択された映像の画像を表示する表示部、として機能させることを特徴とする。
　本開示の第３の態様に係るプログラムは、コンピュータを、複数の撮像装置のそれぞれで撮像された複数の映像のそれぞれに含まれる、時刻毎の複数の画像における二以上の画像を合成した合成画像をエンコードすることで生成されたエンコードデータを受信する受信部、前記エンコードデータをデコードすることで、前記合成画像を取得するデコード部、表示する映像の位置の選択の入力を受け付ける入力部、前記合成画像から、前記位置に対応する画像を取り出す選択部、及び、前記取り出された画像を表示する表示部、として機能させることを特徴とする。
　本開示の第１の態様に係る映像配信システムは、映像配信装置及びユーザ端末を備える映像配信システムであって、前記映像配信装置は、複数の撮像装置のそれぞれで撮像された複数の映像を取得する取得部と、前記複数の映像のそれぞれに含まれる、時刻毎の複数の画像における二以上の画像を合成することで、合成画像を生成する合成部と、前記合成画像をエンコードすることで、エンコードデータを生成するエンコード部と、前記エンコードデータを配信する配信部と、を備え、前記ユーザ端末は、前記エンコードデータを受信する受信部と、前記エンコードデータをデコードすることで、前記合成画像を取得するデコード部と、前記合成画像から前記二以上の画像を分離する分離部と、表示する映像の選択の入力を受け付ける入力部と、前記二以上の画像の中から、選択された映像の画像を表示する表示部と、を備えることを特徴とする。
　本開示の第２の態様に係る映像配信システムは、映像配信装置及びユーザ端末を備える映像配信システムであって、前記映像配信装置は、複数の撮像装置のそれぞれで撮像された複数の映像を取得する取得部と、前記複数の映像のそれぞれに含まれる、時刻毎の複数の画像における二以上の画像を合成することで、合成画像を生成する合成部と、前記合成画像をエンコードすることで、エンコードデータを生成するエンコード部と、前記エンコードデータを配信する配信部と、を備え、前記ユーザ端末は、前記エンコードデータを受信する受信部と、前記エンコードデータをデコードすることで、前記合成画像を取得するデコード部と、表示する映像の位置の選択の入力を受け付ける入力部と、前記合成画像から、前記位置に対応する画像を取り出す選択部と、前記取り出された画像を表示する表示部と、を備えることを特徴とする。
　本開示の一態様に係る映像配信方法は、複数の撮像装置のそれぞれで撮像された複数の映像を取得し、前記複数の映像のそれぞれに含まれる、時刻毎の複数の画像における二以上の画像を合成することで、合成画像を生成し、前記合成画像をエンコードすることで、エンコードデータを生成し、前記エンコードデータを配信することを特徴とする。
　本開示の一又は複数の態様によれば、ユーザ数が多くなっても、処理負荷が大きくならないように、ユーザが選択した映像を配信することができる。
実施の形態１及び２に係る映像配信システムの構成を概略的に示すブロック図である。 実施の形態１における映像配信装置及びユーザ端末の構成を概略的に示すブロック図である。 複数のカメラからの映像データの一例を説明するための概略図である。 映像合成部が行う合成処理の一例を説明するための概略図である。 （Ａ）～（Ｆ）は、実施の形態１における映像合成部による画像の合成例を示す概略図である。 エンコード部が行うエンコードの一例を説明するための概略図である。 コンピュータの一例を示すブロック図である。 映像配信装置での処理を示すフローチャートである。 ユーザ端末での処理を示すフローチャートである。 （Ａ）～（Ｃ）は、ユーザ端末での処理を説明するための概略図である。 （Ａ）及び（Ｂ）は、ユーザ端末での表示される映像を説明するための概略図である。 （Ａ）及び（Ｂ）は、配信データの変形例を説明するための概略図である。 （Ａ）及び（Ｂ）は、配信データの変形例での効果を説明するための概略図である。 複数の画像を合成する第１の変形例を示す概略図である。 複数のカメラを配置する第１の変形例を示す概略図である。 複数のカメラを配置する第２の変形例を示す概略図である。 複数の画像を合成する第２の変形例を示す概略図である。 （Ａ）～（Ｄ）は、複数の画像を合成する第３の変形例を示す概略図である。 実施の形態２における映像配信装置及びユーザ端末の構成を概略的に示すブロック図である。 （Ａ）～（Ｅ）は、実施の形態２における映像合成部による画像の合成例を示す概略図である。 実施の形態２における映像選択部での処理を説明するための概略図である。
実施の形態１．
　図１は、実施の形態１に係る映像配信システム１００の構成を概略的に示すブロック図である。
　映像配信システム１００は、映像配信装置１１０と、ユーザ端末１３０Ａ～１３０Ｄとを備える。
　なお、ユーザ端末１３０Ａ～１３０Ｄは、映像を見る機能に関して同様に構成されているため、ユーザ端末１３０Ａ～１３０Ｄの各々を特に区別する必要がない場合には、ユーザ端末１３０Ａ～１３０Ｄの何れか一つをユーザ端末１３０という。
　映像配信システム１００では、映像配信装置１１０は、複数の撮像装置としての複数のカメラ１０１Ａ～１０１Ｌで撮像された映像データを取得して、ユーザ端末１３０にユーザが見る映像を含む配信データを配信する。
　映像配信装置１１０は、複数のカメラ１０１Ａ～１０１Ｌの各々と、ユーザ端末１３０と、通信を行うことができるようにされている。例えば、図１では、映像配信装置１１０は、複数のカメラ１０１Ａ～１０１Ｌの各々と無線で接続されているが、有線で接続されていてもよい。同様に、映像配信装置１１０は、ユーザ端末１３０と無線で接続されているが、有線で接続されていてもよい。
　なお、複数のカメラ１０１Ａ～１０１Ｌの数については、二以上であればよい。また、複数のカメラ１０１Ａ～１０１Ｌの各々を特に区別する必要がない場合には、複数のカメラ１０１Ａ～１０１Ｌの何れか一つをカメラ１０１という。
　図２は、実施の形態１における映像配信装置１１０及びユーザ端末１３０の構成を概略的に示すブロック図である。
　映像配信装置１１０は、映像取得部１１１と、映像合成部１１２と、エンコード部１１３と、エンコードデータ記憶部１１４と、映像配信部１１５と、通信部１１６とを備える。
　映像取得部１１１は、複数のカメラ１０１Ａ～１０１Ｌのそれぞれで撮像された複数の映像を取得する取得部である。
　具体的には、映像取得部１１１は、複数のカメラ１０１Ａ～１０１Ｌの各々から、複数のカメラ１０１Ａ～１０１Ｌの各々で撮像された映像を示す映像データを受信する。
　図３は、複数のカメラ１０１Ａ～１０１Ｌからの映像データの一例を説明するための概略図である。
　図３に示されているように、例えば、カメラ１０１Ａからは、時刻ｔ＝１ｐに対応する画像Ａ００１、時刻ｔ＝２ｐに対応する画像Ａ００２、時刻ｔ＝３ｐに対応する画像Ａ００３、・・・を含む映像データが送られてくる。
　図２に戻り、映像合成部１１２は、複数のカメラ１０１Ａ～１０１Ｌから送られてきた複数の映像データのそれぞれで示される、時刻毎の複数の画像に対して合成処理を行う。ここでは、映像合成部１１２は、その複数の画像における二以上の画像を合成する。ここで、複数の画像は、複数のカメラ１０１Ａ～１０１Ｌから送られてきた複数の映像データのそれぞれから抽出されたものである。言い換えると、複数の画像に含まれている一つの画像を撮像したカメラ１０１は、その複数の画像に含まれている他の全ての画像を撮像したカメラ１０１と異なっている。
　図４は、映像合成部１１２が行う合成処理の一例を説明するための概略図である。
　ここでは、図３に示されているように、複数のカメラ１０１Ａ～１０１Ｌから、その各々で撮像された映像データが取得されているものとする。
　図４に示されているように、映像合成部１１２は、複数のカメラ１０１Ａ～１０１Ｌのそれぞれから得られる複数の画像を、カメラ１０１Ａ～１０１Ｄからの映像データで示される画像からなる第１のグループ、カメラ１０１Ｅ～１０１Ｈからの映像データで示される画像からなる第２のグループ、及び、カメラ１０１Ｉ～１０１Ｌからの映像データで示される画像からなる第３のグループに分けて、グループ毎に、同じ時刻に対応する画像を合成する。
　言い換えると、映像合成部１１２は、複数のカメラ１０１Ａ～１０１Ｌのそれぞれから取得される複数の映像データのそれぞれで示される複数の画像を複数のグループに分けて、複数のグループの各々に含まれる二以上の画像を合成する。
　図５（Ａ）～（Ｆ）は、映像合成部１１２による画像の合成例を示す概略図である。
　ここでは、図５（Ａ）に示されているシーンを、四台のカメラ１０１Ａ～１０１Ｄで撮像するものとする。
　図５（Ｂ）～（Ｅ）で示されている画像Ｉｍ１～Ｉｍ４は、それぞれ、同時刻において、四台のカメラ１０１Ａ～１０１Ｄで撮像された画像を示している。
　図５（Ｆ）に示されているように、映像合成部１１２は、画像Ｉｍ１～Ｉｍ４を横方向に連結することで、合成を行い、一つの合成画像を生成する。
　図２に戻り、エンコード部１１３は、映像合成部１１２で合成された合成画像をエンコードすることで、エンコードデータを生成する。
　ここでは、エンコード部１１３は、映像合成部１１２で合成された合成画像を、予め定められた期間毎にエンコードすることで、エンコードデータを生成する。
　図６は、エンコード部１１３が行うエンコードの一例を説明するための概略図である。
　ここでも、図３に示されているように、複数のカメラ１０１Ａ～１０１Ｌから、その各々で撮像された映像データが取得されているものとする。
　図６に示されているように、エンコード部１１３は、時刻ｔ＝１ｐ～時刻ｔ＝６ｐの合成画像をエンコードすることで、エンコードデータを生成する。図６に示されているように、ここでは、エンコードデータは、図４で説明したグループ毎に生成される。
　図２に戻り、エンコードデータ記憶部１１４は、エンコード部１１３で生成されたエンコードデータを記憶する。
　映像配信部１１５は、エンコードデータを配信する配信部である。
　ここでは、映像配信部１１５は、少なくともユーザが見る映像の画像を含むエンコードデータをエンコードデータ記憶部１１４から読み出し、そのエンコードデータを配信データとして、通信部１１６にユーザ端末１３０へ送信させる。
　例えば、映像配信部１１５は、ユーザ端末１３０が、ユーザ端末１３０において見られている映像の位置を示す位置情報を、通信部１１６を介して受け取り、その位置情報で示される位置に対応する画像を含むエンコードデータをエンコードデータ記憶部１１４から読み出す。
　通信部１１６は、ユーザ端末１３０と通信を行う。
　例えば、通信部１１６は、配信データをユーザ端末１３０に送信し、ユーザ端末１３０から位置情報を受信する。
　以上に記載された映像合成部１１２、エンコード部１１３及び映像配信部１１５は、例えば、図７に示されているように、メモリ１０と、メモリ１０に格納されているプログラムを実行するＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）等のプロセッサ１１とを備えるコンピュータ１２により実現することができる。このようなプログラムは、ネットワークを通じて提供されてもよく、また、記録媒体に記録されて提供されてもよい。即ち、このようなプログラムは、例えば、プログラムプロダクトとして提供されてもよい。
　なお、エンコードデータ記憶部１１４は、ＨＤＤ（Ｈａｒｄ　Ｄｉｓｃ　Ｄｒｉｖｅ）又はＳＳＤ（Ｓｏｌｉｄ　Ｓｔａｔｅ　Ｄｒｉｖｅ）等の記憶装置により実現することができる。
　また、映像取得部１１１及び通信部１１６は、無線通信を行う無線通信インターフェースにより実現することができる。なお、映像取得部１１１及び通信部１１６は、一つの無線通信インターフェースにより実現されてもよく、別々の無線通信インターフェースにより実現されてもよい。
　図２に戻り、ユーザ端末１３０は、通信部１３１と、デコード部１３２と、映像分離部１３３と、映像記憶部１３４と、映像選択部１３５と、入力部１３６と、映像表示部１３７とを備える。
　通信部１３１は、映像配信装置１１０と通信を行う。
　例えば、通信部１３１は、映像配信装置１１０からの配信データを受信する受信部として機能する。また、通信部１３１は、位置情報を映像配信装置１１０に送信する送信部として機能する。
　デコード部１３２は、通信部１３１を介して、映像配信装置１１０から配信データを受け取り、受け取った配信データをデコードする。これにより、デコード部１３２は、合成画像を取得することができる。
　映像分離部１３３は、デコード部１３２で取得された合成画像から二以上の画像を分離する。
　実施の形態１では、映像分離部１３３は、デコード部１３２で取得された合成画像を分離することで、カメラ１０１毎の画像を生成する。ここで、ユーザ端末１３０は、映像配信装置１１０から、配信データにおいて、どの位置の画像がどの位置のカメラ１０１に対応するかの情報である位置設定情報を予め取得しておくことで、分離された画像がどの位置のカメラ１０１の画像であるかを識別することができる。また、配信データに、合成画像の位置と、カメラ１０１との位置とを識別するための識別情報が含まれていてもよい。
　映像記憶部１３４は、映像分離部１３３で分離された画像を記憶する。
　映像選択部１３５は、入力部１３６を介して、ユーザから表示する映像の選択の入力を受け付ける。
　例えば、映像選択部１３５は、入力部１３６を介して、ユーザからカメラ位置の選択を受け付け、選択されたカメラ位置の画像を映像記憶部１３４から順次読み出して映像表示部１３７に送ることで、映像表示部１３７に、選択されたカメラ位置の映像を表示させる。
　また、映像選択部１３５は、ユーザにより選択されたカメラ位置を示す位置情報を生成し、通信部１３１を介して、その位置情報を映像配信装置１１０に送る。
　入力部１３６は、ユーザからの指示の入力を受け付ける。例えば、入力部１３６は、ユーザからカメラ１０１の位置を示すカメラ位置の選択の入力を受け付ける。これにより、入力部１３６は、表示する映像の選択の入力を受け付けることができる。
　映像表示部１３７は、映像選択部１３５から送られてくる画像を順次表示することにより、映像を表示する表示部である。これにより、映像表示部１３７は、ユーザが選択した映像の画像を順次表示することで、ユーザが選択した映像を表示することができる。
　以上に記載されたユーザ端末１３０のデコード部１３２、映像分離部１３３、映像記憶部１３４及び映像選択部１３５は、例えば、図７に示されているように、メモリ１０と、メモリ１０に格納されているプログラムを実行するＣＰＵ等のプロセッサ１１とを備えるコンピュータ１２により実現することができる。このようなプログラムは、ネットワークを通じて提供されてもよく、また、記録媒体に記録されて提供されてもよい。即ち、このようなプログラムは、例えば、プログラムプロダクトとして提供されてもよい。
　なお、映像記憶部１３４は、揮発性又は不揮発性のメモリにより実現することができる。
　また、通信部１３１は、無線通信を行う無線通信インターフェースにより実現することができる。
　入力部１３６は、ユーザからの入力を受け付ける入力装置により実現することができる。
　映像表示部１３７は、ディスプレイにより実現することができる。
　なお、入力部１３６及び映像表示部１３７は、タッチパネルにより実現されてもよい。
　図８は、映像配信装置１１０での処理を示すフローチャートである。
　まず、映像取得部１１１は、複数のカメラ１０１Ａ～１０１Ｌのそれぞれから、複数のカメラ１０１Ａ～１０１Ｌのそれぞれで撮像された映像を示す映像データを受信する（Ｓ１０）。受信された映像データは、映像合成部１１２に与えられる。
　映像合成部１１２は、複数のカメラ１０１Ａ～１０１Ｌから送られてきた複数の映像データのそれぞれで示される同じ時刻に対応する複数の画像に対して合成処理を行う（Ｓ１１）。例えば、映像合成部１１２は、複数のカメラ１０１Ａ～１０１Ｌから取得される複数の映像データで示される複数の画像を複数のグループに分けて、複数のグループの各々において、同じ時刻に対応する二以上の画像を合成する。ここで合成された合成画像は、エンコード部１１３に与えられる。
　エンコード部１１３は、映像合成部１１２で合成された合成画像を、予め定められた期間毎にエンコードすることで、エンコードデータを生成する（Ｓ１２）。エンコードデータは、エンコードデータ記憶部１１４に記憶される。
　映像配信部１１５は、少なくともユーザが見る映像の画像を含むエンコードデータをエンコードデータ記憶部１１４から読み出し、そのエンコードデータを配信データとして、通信部１１６を介してユーザ端末１３０に送る（Ｓ１３）。
　以上のようにして、少なくともユーザが見る映像の画像を含むエンコードデータがユーザ端末１３０に配信される。
　図９は、ユーザ端末１３０での処理を示すフローチャートである。
　まず、通信部１３１は、映像配信装置１１０からの配信データを受信する（Ｓ２０）。受信された配信データは、デコード部１３２に与えられる。
　デコード部１３２は、通信部１３１から配信データを受け取り、受け取った配信データをデコードする（Ｓ２１）。これにより、デコード部１３２は、合成画像を取得し、その合成画像を映像分離部１３３に与える。
　映像分離部１３３は、デコード部１３２で取得された合成画像を分離することで、カメラ１０１毎の画像を生成する（Ｓ２２）。ここで分離された画像は、映像記憶部１３４に記憶される。
　映像選択部１３５は、入力部１３６を介して、ユーザにより選択されたカメラ位置の画像を映像記憶部１３４から順次読み出して映像表示部１３７に送ることで、映像表示部１３７に、選択されたカメラ位置の映像を表示させる（Ｓ２３）。
　以上により、ユーザは、ユーザ自身が選択したカメラの映像を見ることができる。
　図１０（Ａ）～（Ｃ）並びに図１１（Ａ）及び（Ｂ）は、ユーザ端末１３０での処理を説明するための概略図である。
　例えば、通信部１３１は、図１０（Ａ）に示されているような、カメラ１０１Ａ～１０１Ｄで撮像された画像が合成され、時刻ｔ＝１ｐ～時刻ｔ＝６ｐまでの期間の合成画像がエンコードされた配信データを取得する。
　デコード部１３２が、その配信データをデコードすることで、図１０（Ｂ）に示されているような、合成画像が取得される。
　映像分離部１３３が、その合成画像をカメラ１０１Ａ～１０１Ｄ毎に分離することで、図１０（Ｃ）に示されているように、カメラ１０１Ａ～１０１Ｄ毎の画像が取得される。
　このような場合において、第１のユーザが図１０（Ｃ）の破線Ｌ１で示されているように、時刻ｔ＝１ｐ～時刻ｔ＝３ｐにおいてカメラ１０１Ａの位置、時刻ｔ＝４ｐにおいてカメラ１０１Ｂの位置、時刻ｔ＝５ｐにおいてカメラ１０１Ｃの位置、及び、時刻ｔ＝６ｐにおいてカメラ１０１Ｂの位置を選択した場合には、図１１（Ａ）に示されているように、第１のユーザが使用しているユーザ端末１３０Ａでは、第１のユーザの選択に応じた画像を含む映像が表示される。
　一方、第２のユーザが、その第２のユーザが使用しているユーザ端末１３０Ｂにおいて、図１０（Ｃ）の破線Ｌ２で示されているように、時刻ｔ＝１ｐ～時刻ｔ＝６ｐにおいてカメラ１０１Ｄの位置を選択した場合には、図１１（Ｂ）に示されているように、第２のユーザの選択に応じた画像を含む映像が表示される。
　以上のような場合でも、映像配信装置１１０は、第１のユーザが使用しているユーザ端末１３０Ａ及び第２のユーザが使用しているユーザ端末１３０Ｂに、図１０（Ａ）に示されているような配信データを送信すればよいため、ユーザ毎にエンコードデータを生成する必要がなくなる。
　また、ユーザが配信データに含まれている合成画像の範囲内で位置を変更しても、映像配信装置１１０は、配信データを変更する必要がなく、映像配信装置１１０の処理負荷が軽減される。
　なお、図１０に示した例では、ユーザが見ている映像の画像が含まれているグループの合成画像から生成された配信データのみが送信されている例を示したが、実施の形態１は、このような例に限定されるものではない。
　例えば、図１２（Ａ）及び（Ｂ）並びに図１３（Ａ）及び（Ｂ）は、配信データの変形例を説明するための概略図である。
　図１２（Ａ）に示されているように、一つのユーザ端末１３０に、カメラ１０１Ｅ～１０１Ｈで撮像された画像のグループから生成されたエンコードデータと、カメラ１０１Ｉ～１０１Ｌで撮像された画像のグループから生成されたエンコードデータとを、配信データとして送信するようにしてもよい。
　言い換えると、映像配信部１１５は、ユーザ端末１３０で見られている映像に含まれている画像を含む第１のグループに対応するエンコードデータと、ユーザ端末１３０で見られている映像に含まれている画像を含まない第２のグループに対応するエンコードデータとを通信部１１６にユーザ端末１３０へ送信させてもよい。ここで、第２のグループは、第１のグループに含まれている画像からなる映像を見ているユーザが映像を切り替える可能性の高いグループであることが望ましい。
　このような場合、ユーザ端末１３０のデコード部１３２は、それぞれの配信データをデコードすることで、図１２（Ｂ）に示されているように、カメラ１０１Ｅ～１０１Ｈで撮像された画像の合成画像と、カメラ１０１Ｉ～１０１Ｌで撮像された画像の合成画像とを取得することができる。
　そして、映像分離部１３３が、それぞれの合成画像を分離することで、図１３（Ａ）に示されているように、カメラ１０１Ｅ～１０１Ｌで撮像された画像が取得される。
　この場合において、ユーザが図１３（Ａ）の破線Ｌ３で示されているように、時刻ｔ＝１ｐ～時刻ｔ＝３ｐにおいてカメラ１０１Ｉの位置を選択し、時刻ｔ＝４ｐにおいてカメラ１０１Ｈの位置を選択し、時刻ｔ＝５ｐにおいてカメラ１０１Ｇの位置を選択し、及び、時刻ｔ＝６ｐにおいて、カメラ１０１Ｆの位置を選択することで、図１３（Ｂ）に示されているように、複数のグループに含まれている画像からなる映像がユーザ端末１３０に表示される。
　このような場合にも、映像配信装置１１０は、ユーザ端末１３０に送信している配信データの範囲内では、ユーザの選択に応じて、ユーザ端末１３０に送信する配信データを変える必要がなくなり、映像配信装置１１０の処理負荷を軽減することができる。
　なお、ユーザ端末１３０に送信する、一つの時刻に対応するエンコードデータの数及びそのエンコードデータの選択については、ユーザが見ている映像の位置に応じて予め定められていてもよく、また、ユーザが見ている映像の位置に応じて変化させてもよい。
　具体的には、ユーザが見ている映像の画像が含まれているグループから移動する可能性の高いグループの配信データが、そのユーザが使用しているユーザ端末１３０に送信されてもよい。例えば、図５で説明した例で示されているように、被写体に対して、複数のカメラ１０１を一列に配置した場合には、ユーザが見ている映像の画像が含まれているグループに隣接するグループから生成されたエンコードデータも、そのユーザが使用しているユーザ端末１３０に送信されればよい。
　また、例えば、図１２（Ａ）に示されている例において、ユーザがカメラ１０１Ｆ又はカメラ１０１Ｇからの映像を見ている場合には、カメラ１０１Ｅ～１０１Ｈで撮像された画像のグループから生成されたエンコードデータのみが送信され、ユーザがカメラ１０１Ｈからの映像に移動した場合に、隣接するグループであるカメラ１０１Ｉ～１０１Ｌで撮像された画像のグループから生成されたエンコードデータも送信されるようにしてもよい。
　言い換えると、ユーザが見ている位置から、別のグループに移動する可能性が高くなった場合に、移動する可能性が高くなったグループから生成されたエンコードデータも送信されるようにすればよい。
　また、以上に記載された実施の形態１では、複数のカメラ１０１で撮像された複数の画像が複数のグループに分けて合成されているが、実施の形態１は、このような例に限定されるものではない。
　例えば、図１４に示されているように、複数のカメラ１０１で撮像された複数の画像の全てが、一つの画像に合成されてもよい。ここで合成される複数の画像は、同じ時刻に対応する画像である。このような場合、映像配信装置１１０は、ユーザが見ている位置に応じて、ユーザ端末１３０に送信するエンコードデータを変える必要がなくなるため、処理負荷が軽減される。この場合には、ユーザ端末１３０も、位置情報を映像配信装置１１０に送信する必要がなくなり、処理負荷が軽減される。
　また、以上に記載された実施の形態１では、例えば、図１において、複数のカメラ１０１が一つの直線上に配置されている例を示したが、実施の形態１はこのような例に限定されない。例えば、図１５に示されているように、複数のカメラ１０１Ａ～１０１Ｎが、被写体に対して複数の直線上に配置されていてもよい。
　さらに、図１６に示されているように、複数のカメラ１０１Ａ～１０１Ｈが、被写体の周囲を囲むように円形に配置されていてもよい。
　言い換えると、複数のカメラ１０１は、自由に配置することができる。
　また、以上に記載された実施の形態１では、図５（Ｆ）に示されているように、複数のカメラ１０１で撮像された画像Ｉｍ１～Ｉｍ４を一方向（図５では横方向）に連結することで合成が行われているが、実施の形態１はこのような例に限定されるものではない。
　例えば、図１７に示されているように、映像合成部１１２は、画像Ｉｍ１～Ｉｍ４を二方向（図１７では、縦方向及び横方向）に連結、言い換えると、二列に連結することで合成を行ってもよい。
　さらに、以上に記載された実施の形態１では、図５（Ｆ）に示されているように、複数のカメラ１０１の各々で撮像された画像Ｉｍ１～Ｉｍ４を連結することにより合成が行われているが、実施の形態１は、このような例に限定されない。
　例えば、複数の画像の各々を構成する画素値を、対応する画素位置毎に連結することで、複数の画像の合成が行われてもよい。具体例を、図１８（Ａ）～（Ｄ）を用いて説明する。
　図１８（Ａ）は、カメラ１０１Ａで撮像された画像ＩｍＡを示し、図１８（Ｂ）は、カメラ１０１Ｂで撮像された画像ＩｍＢを示し、図１８（Ｃ）は、カメラ１０１Ｃで撮像された画像ＩｍＣを示しているものとする。また、画像ＩｍＡ～ＩｍＣのサイズは、同一であるものとする。ここでは、画像ＩｍＡ～ＩｍＣを合成する場合について説明する。
　このような場合、例えば、図１８（Ｄ）に示されているように、画像ＩｍＡの第１列第１行の画素位置の画素値Ａ（１，１）、画像ＩｍＢの第１列第１行の画素位置の画素値Ｂ（１，１）、画像ＩｍＣの第１列第１行の画素位置の画素値Ｃ（１，１）、画像ＩｍＡの第２列第１行の画素位置の画素値Ａ（２，１）、画像ＩｍＢの第２列第１行の画素位置の画素値Ｂ（２，１）、画像ＩｍＣの第２列第１行の画素位置の画素値Ｃ（２，１）、・・・といった順番で配列することにより、合成画像ＣＩｍ１を生成することができる。
　合成画像ＣＩｍ１では、画像ＩｍＡ、ＩｍＢ、ＩｍＣのそれぞれの対応する画素位置の画素値が、合成画像ＣＩｍ１の対応する画素位置に配置されているため、合成画像ＣＩｍ１から容易に画像ＩｍＡ、ＩｍＢ、ＩｍＣを分離することができる。
　また、例えば、画像ＩｍＡ、ＩｍＢ、ＩｍＣが、同じ被写体を撮像した画像である場合には、画像ＩｍＡ、ＩｍＢ、ＩｍＣのそれぞれにおいて対応する画素位置の画素値は、類似の画素値になる可能性が高い。このような場合において、合成画像を圧縮すると、圧縮技術にもよるが、圧縮率を高くすることも可能となる。
実施の形態２．
　図１に示されているように、実施の形態２に係る映像配信システム２００は、映像配信装置２１０と、ユーザ端末２３０Ａ～２３０Ｄとを備える。
　なお、ユーザ端末２３０Ａ～２３０Ｄも、映像を見る機能に関して同様に構成されているため、ユーザ端末２３０Ａ～２３０Ｄの各々を特に区別する必要がない場合には、ユーザ端末２３０Ａ～２３０Ｄの何れか一つをユーザ端末２３０という。
　実施の形態２に係る映像配信システム２００でも、映像配信装置２１０は、複数のカメラ１０１Ａ～１０１Ｌで撮像された映像データを取得して、ユーザ端末２３０にユーザが見る映像を含む配信データを配信する。
　図１９は、実施の形態２における映像配信装置２１０及びユーザ端末２３０の構成を概略的に示すブロック図である。
　実施の形態２における映像配信装置２１０は、映像取得部１１１と、映像合成部２１２と、エンコード部１１３と、エンコードデータ記憶部１１４と、映像配信部１１５と、通信部１１６とを備える。
　実施の形態２における映像配信装置２１０の映像取得部１１１、エンコード部１１３、エンコードデータ記憶部１１４、映像配信部１１５及び通信部１１６は、実施の形態１における映像配信装置１１０の映像取得部１１１、エンコード部１１３、エンコードデータ記憶部１１４、映像配信部１１５及び通信部１１６と同様である。
　映像合成部２１２は、複数のカメラ１０１Ａ～１０１Ｌから送られてきた複数の映像データのそれぞれで示される複数の画像に対して合成処理を行う合成部である。ここでも、映像合成部２１２は、その複数の画像における二以上の画像を合成する。
　実施の形態１における映像合成部１１２は、例えば、図５（Ｂ）～（Ｅ）に表されている画像Ｉｍ１～Ｉｍ４を、図５（Ｆ）に示されているように、単に連結することで、合成画像を生成している。
　これに対して、実施の形態２における映像合成部２１２は、複数のカメラ１０１で撮像された複数の画像のつなぎ目がわからないように、その複数の画像を合成する。
　実施の形態２における映像合成部２１２での処理の具体例を、図２０（Ａ）～（Ｅ）を用いて説明する。
　図２０（Ａ）～（Ｄ）で示されている画像Ｉｍ１～Ｉｍ４は、それぞれ、同時刻において、四台のカメラ１０１Ａ～１０１Ｄで撮像された画像を示している。
　ここでは、複数のカメラ１０１は、一つのカメラ１０１で撮像された画像が、他のカメラ１０１で撮像された画像と、連結する方向において少なくとも一部が重複するように配列されているものとする。
　このような場合、図２０（Ｅ）に示されているように、映像合成部２１２は、画像Ｉｍ１～Ｉｍ４を横方向において重複している部分がなくなるように連結することで、合成を行い、一つの合成画像を生成する。
　一例として、映像合成部２１２は、連結する方向において重複している部分を、重複している複数の画像の内、何れか一つの画像を採用し、残り画像から重複している部分を削除することで、これらを連結すればよい。これにより、これらの複数の画像において重複している部分をなくすことができる。
　図１９に戻り、ユーザ端末２３０は、通信部１３１と、デコード部１３２と、映像記憶部２３４と、映像選択部２３５と、入力部１３６と、映像表示部１３７とを備える。
　実施の形態２におけるユーザ端末２３０は、実施の形態１におけるユーザ端末１３０の映像分離部１３３を備えていない。
　また、実施の形態２におけるユーザ端末２３０の通信部１３１、デコード部１３２、入力部１３６及び映像表示部１３７は、実施の形態１におけるユーザ端末１３０の通信部１３１、デコード部１３２、入力部１３６及び映像表示部１３７と同様である。
　映像記憶部２３４は、デコード部１３２で取得された合成画像を記憶する。
　映像選択部２３５は、入力部１３６を介して、ユーザから表示する映像の位置である表示位置の選択を受け付け、選択された表示位置に対応する画像を映像記憶部１３４に記憶されている合成画像から取り出す。そして、映像選択部２３５は、取り出された画像を、順次、映像表示部１３７に送ることで、映像表示部１３７に、選択された表示位置の映像を表示させる。
　図２１は、映像選択部２３５での処理を説明するための概略図である。
　例えば、ユーザは、映像表示部１３７に表示されている映像を見ながら、画像が連結されている方向、図２１においては、横方向において、入力部１３６に表示位置を移動させることができるものとする。
　この場合、映像選択部２３５は、ユーザが移動させた表示位置に対応する画像ＳＩｍを、合成画像ＣＩｍ２から取り出す。
　このような場合、映像選択部２３５は、例えば、合成画像における基準となる位置である合成画像基準位置と、ユーザの表示位置を示す表示基準位置とを予め定めておき、これらの間の距離を位置情報として、映像配信装置２１０に送ればよい。
　例えば、合成画像ＣＩｍ２の横方向における左端の位置Ｐ１を合成画像基準位置とし、ユーザが見る画像ＳＩｍの横方向における左端の位置Ｐ２を表示基準位置とすると、これらの位置Ｐ１及びＰ２との間の距離Ｄが位置情報となる。
　このような場合、ユーザが合成画像を超えて表示位置を移動させた場合にも、映像配信装置２１０は、どの合成画像のエンコードデータを送信すればよいかを認識することができる。
　例えば、図２１に示されている例では、位置Ｐ１と、位置Ｐ２との間の距離が、位置Ｐ１と、合成画像の横方向における右端の位置Ｐ３との間の距離よりも長い場合には、映像配信装置２１０は、その長さに応じて、合成画像ＣＩｍの右方向の画像を含む別の合成画像があれば、その別の合成画像のエンコードデータをユーザ端末２３０に配信すればよい。
　また、位置Ｐ１と、位置Ｐ２との間の距離がマイナスになる場合には、映像配信装置２１０は、その長さの絶対値に応じて、合成画像ＣＩｍの左方向の画像を含む別の合成画像があれば、その別の合成画像をユーザ端末２３０に配信すればよい。
　以上のように、実施の形態２によれば、ユーザは、カメラ位置によらずに、自身が視聴したい位置の映像を見ることができる。
　１００，２００　映像配信システム、　１０１　カメラ、　１１０，２１０　映像配信装置、　１１１　映像取得部、　１１２，２１２　映像合成部、　１１３　エンコード部　、　１１４　エンコードデータ記憶部、　１１５　映像配信部、　１１６　通信部、　１３０，２３０　ユーザ端末、　１３１　通信部、　１３２　デコード部、　１３３　映像分離部、　１３４，２３４　映像記憶部、　１３５，２３５　映像選択部、　１３６　入力部、　１３７　映像表示部。

Claims (14)

  1. 　複数の撮像装置のそれぞれで撮像された複数の映像を取得する取得部と、
    　前記複数の映像のそれぞれに含まれる、時刻毎の複数の画像における二以上の画像を合成することで、合成画像を生成する合成部と、
    　前記合成画像をエンコードすることで、エンコードデータを生成するエンコード部と、
    　前記エンコードデータを配信する配信部と、を備えること
    　を特徴とする映像配信装置。
  2. 　前記合成部は、前記複数の画像を二以上のグループに分け、前記二以上のグループの各々に含まれる前記二以上の画像を合成すること
    　を特徴とする請求項１に記載の映像配信装置。
  3. 　ユーザ端末と通信を行う通信部をさらに備え、
    　前記配信部は、前記二以上のグループの内、前記ユーザ端末で見られている映像に含まれている画像を含むグループに対応する前記エンコードデータを、前記通信部に前記ユーザ端末へ送信させること
    　を特徴とする請求項２に記載の映像配信装置。
  4. 　ユーザ端末と通信を行う通信部をさらに備え、
    　前記配信部は、前記二以上のグループの内、前記ユーザ端末で見られている映像に含まれている画像を含む第１のグループに対応する前記エンコードデータと、前記二以上のグループの内、前記ユーザ端末で見られている映像に含まれている画像を含まない第２のグループに対応する前記エンコードデータと、を前記通信部に前記ユーザ端末へ送信させること
    　を特徴とする請求項２に記載の映像配信装置。
  5. 　前記合成部は、前記複数の画像の全てを一つの画像に合成することにより、前記合成画像を生成すること
    　を特徴とする請求項１に記載の映像配信装置。
  6. 　前記複数のカメラに含まれる二以上のカメラで撮像される映像は、一部が重複するように撮像されており、
    　前記合成部は、前記二以上のカメラで撮像された映像に含まれている前記二以上の画像を、前記一部の重複がなくなるように合成すること
    　を特徴とする請求項１から５の何れか一項に記載の映像配信装置。
  7. 　複数の撮像装置のそれぞれで撮像された複数の映像のそれぞれに含まれる、時刻毎の複数の画像における二以上の画像を合成した合成画像をエンコードすることで生成されたエンコードデータを受信する受信部と、
    　前記エンコードデータをデコードすることで、前記合成画像を取得するデコード部と、
    　前記合成画像から前記二以上の画像を分離する分離部と、
    　表示する映像の選択の入力を受け付ける入力部と、
    　前記二以上の画像の中から、選択された映像の画像を表示する表示部と、を備えること
    　を特徴とするユーザ端末。
  8. 　複数の撮像装置のそれぞれで撮像された複数の映像のそれぞれに含まれる、時刻毎の複数の画像における二以上の画像を合成した合成画像をエンコードすることで生成されたエンコードデータを受信する受信部と、
    　前記エンコードデータをデコードすることで、前記合成画像を取得するデコード部と、
    　表示する映像の位置の選択の入力を受け付ける入力部と、
    　前記合成画像から、前記位置に対応する画像を取り出す選択部と、
    　前記取り出された画像を表示する表示部と、を備えること
    　を特徴とするユーザ端末。
  9. 　コンピュータを、
    　複数の撮像装置のそれぞれで撮像された複数の映像を取得する取得部、
    　前記複数の映像のそれぞれに含まれる、時刻毎の複数の画像における二以上の画像を合成することで、合成画像を生成する合成部、
    　前記合成画像をエンコードすることで、エンコードデータを生成するエンコード部、及び、
    　前記エンコードデータを配信する配信部、として機能させること
    　を特徴とするプログラム。
  10. 　コンピュータを、
    　複数の撮像装置のそれぞれで撮像された複数の映像のそれぞれに含まれる、時刻毎の複数の画像における二以上の画像を合成した合成画像をエンコードすることで生成されたエンコードデータを受信する受信部、
    　前記エンコードデータをデコードすることで、前記合成画像を取得するデコード部、
    　前記合成画像から前記二以上の画像を分離する分離部、
    　表示する映像の選択の入力を受け付ける入力部、及び、
    　前記二以上の画像の中から、選択された映像の画像を表示する表示部、として機能させること
    　を特徴とするプログラム。
  11. 　コンピュータを、
    　複数の撮像装置のそれぞれで撮像された複数の映像のそれぞれに含まれる、時刻毎の複数の画像における二以上の画像を合成した合成画像をエンコードすることで生成されたエンコードデータを受信する受信部、
    　前記エンコードデータをデコードすることで、前記合成画像を取得するデコード部、
    　表示する映像の位置の選択の入力を受け付ける入力部、
    　前記合成画像から、前記位置に対応する画像を取り出す選択部、及び、
    　前記取り出された画像を表示する表示部、として機能させること
    　を特徴とするプログラム。
  12. 　映像配信装置及びユーザ端末を備える映像配信システムであって、
    　前記映像配信装置は、
    　複数の撮像装置のそれぞれで撮像された複数の映像を取得する取得部と、
    　前記複数の映像のそれぞれに含まれる、時刻毎の複数の画像における二以上の画像を合成することで、合成画像を生成する合成部と、
    　前記合成画像をエンコードすることで、エンコードデータを生成するエンコード部と、
    　前記エンコードデータを配信する配信部と、を備え、
    　前記ユーザ端末は、
    　前記エンコードデータを受信する受信部と、
    　前記エンコードデータをデコードすることで、前記合成画像を取得するデコード部と、
    　前記合成画像から前記二以上の画像を分離する分離部と、
    　表示する映像の選択の入力を受け付ける入力部と、
    　前記二以上の画像の中から、選択された映像の画像を表示する表示部と、を備えること
    　を特徴とする映像配信システム。
  13. 　映像配信装置及びユーザ端末を備える映像配信システムであって、
    　前記映像配信装置は、
    　複数の撮像装置のそれぞれで撮像された複数の映像を取得する取得部と、
    　前記複数の映像のそれぞれに含まれる、時刻毎の複数の画像における二以上の画像を合成することで、合成画像を生成する合成部と、
    　前記合成画像をエンコードすることで、エンコードデータを生成するエンコード部と、
    　前記エンコードデータを配信する配信部と、を備え、
    　前記ユーザ端末は、
    　前記エンコードデータを受信する受信部と、
    　前記エンコードデータをデコードすることで、前記合成画像を取得するデコード部と、
    　表示する映像の位置の選択の入力を受け付ける入力部と、
    　前記合成画像から、前記位置に対応する画像を取り出す選択部と、
    　前記取り出された画像を表示する表示部と、を備えること
    　を特徴とする映像配信システム。
  14. 　複数の撮像装置のそれぞれで撮像された複数の映像を取得し、
    　前記複数の映像のそれぞれに含まれる、時刻毎の複数の画像における二以上の画像を合成することで、合成画像を生成し、
    　前記合成画像をエンコードすることで、エンコードデータを生成し、
    　前記エンコードデータを配信すること
    　を特徴とする映像配信方法。
PCT/JP2021/024599 2021-06-29 2021-06-29 映像配信装置、ユーザ端末、プログラム、映像配信システム及び映像配信方法 WO2023276007A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2023531207A JP7462842B2 (ja) 2021-06-29 2021-06-29 映像配信装置、プログラム、映像配信システム及び映像配信方法
PCT/JP2021/024599 WO2023276007A1 (ja) 2021-06-29 2021-06-29 映像配信装置、ユーザ端末、プログラム、映像配信システム及び映像配信方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2021/024599 WO2023276007A1 (ja) 2021-06-29 2021-06-29 映像配信装置、ユーザ端末、プログラム、映像配信システム及び映像配信方法

Publications (1)

Publication Number Publication Date
WO2023276007A1 true WO2023276007A1 (ja) 2023-01-05

Family

ID=84691620

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/024599 WO2023276007A1 (ja) 2021-06-29 2021-06-29 映像配信装置、ユーザ端末、プログラム、映像配信システム及び映像配信方法

Country Status (2)

Country Link
JP (1) JP7462842B2 (ja)
WO (1) WO2023276007A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014024475A1 (ja) * 2012-08-10 2014-02-13 パナソニック株式会社 映像提供方法、送信装置および受信装置
WO2016174946A1 (ja) * 2015-04-28 2016-11-03 株式会社日立国際電気 映像監視システムおよび映像監視方法
WO2018088061A1 (ja) * 2016-11-08 2018-05-17 ソニー株式会社 画像転送装置、画像転送方法、プログラム、動画像生成システム
JP2018201197A (ja) * 2017-05-16 2018-12-20 アクシス アーベー ビデオカメラとクライアントデバイスとを備えるシステムおよびそれによって実行される方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014024475A1 (ja) * 2012-08-10 2014-02-13 パナソニック株式会社 映像提供方法、送信装置および受信装置
WO2016174946A1 (ja) * 2015-04-28 2016-11-03 株式会社日立国際電気 映像監視システムおよび映像監視方法
WO2018088061A1 (ja) * 2016-11-08 2018-05-17 ソニー株式会社 画像転送装置、画像転送方法、プログラム、動画像生成システム
JP2018201197A (ja) * 2017-05-16 2018-12-20 アクシス アーベー ビデオカメラとクライアントデバイスとを備えるシステムおよびそれによって実行される方法

Also Published As

Publication number Publication date
JP7462842B2 (ja) 2024-04-05
JPWO2023276007A1 (ja) 2023-01-05

Similar Documents

Publication Publication Date Title
US11902493B2 (en) Methods and apparatus for processing content based on viewing information and/or communicating content
KR102533555B1 (ko) 감축된 해상도 이미지들을 생성 및 이용하고 및/또는 재생 또는 컨텐트 분배 디바이스에 이러한 이미지들을 통신하기 위한 방법들 및 장치
KR101362941B1 (ko) 스테레오스코픽 콘텐츠 재생에 이용되는 메타 데이터의복호화 방법 및 장치
US11582496B2 (en) Method, device, and computer program for transmitting media content
JP6216513B2 (ja) コンテンツ送信装置、コンテンツ送信方法、コンテンツ再生装置、コンテンツ再生方法、プログラム、およびコンテンツ配信システム
CN115278195A (zh) 位置零时延
TW201105105A (en) Method and system for transmitting over a video interface and for compositing 3D video and 3D overlays
EP3316247B1 (en) Information processing device, information processing method, and program
WO2012103120A1 (en) Visually imperceptible matrix codes utilizing interlacing
CN110139130A (zh) 流传输数据的方法、发送和接收视频数据的方法和设备
CN113163214A (zh) 一种视频处理方法及其装置
US20210266511A1 (en) Information processing system, information processing method, and storage medium
US20190379917A1 (en) Image distribution method and image display method
TW201143362A (en) Method and system for pulldown processing for 3D video
JP6934052B2 (ja) 表示制御装置、表示制御方法及びプログラム
WO2023276007A1 (ja) 映像配信装置、ユーザ端末、プログラム、映像配信システム及び映像配信方法
CN112204960A (zh) 传输三维360度视频数据的方法、使用该方法的显示设备以及使用该方法的视频存储设备
CN108683900B (zh) 一种图像数据处理方法及装置
JP6016860B2 (ja) 立体映像配信システム、立体映像配信方法、立体映像配信装置
WO2011089556A1 (en) Method for transporting information and/or application data inside a digital video stream, and relative devices for generating and playing such video stream
CN111107293B (zh) 360度视频录制方法、装置、电子设备及存储介质
JP5940999B2 (ja) 映像再生装置、映像配信装置、映像再生方法、映像配信方法及びプログラム
JP7505483B2 (ja) 動画配信システム、及び動画配信方法
CN102036085A (zh) 发送装置、接收装置、通信系统和程序
WO2019144076A1 (en) Panoramic picture in picture video

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21948315

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2023531207

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21948315

Country of ref document: EP

Kind code of ref document: A1