WO2025192068A1 - 映像配信装置、映像配信システム、および映像配信プログラム - Google Patents

映像配信装置、映像配信システム、および映像配信プログラム

Info

Publication number
WO2025192068A1
WO2025192068A1 PCT/JP2025/002675 JP2025002675W WO2025192068A1 WO 2025192068 A1 WO2025192068 A1 WO 2025192068A1 JP 2025002675 W JP2025002675 W JP 2025002675W WO 2025192068 A1 WO2025192068 A1 WO 2025192068A1
Authority
WO
WIPO (PCT)
Prior art keywords
video
panoramic
distribution
partial
view
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
PCT/JP2025/002675
Other languages
English (en)
French (fr)
Inventor
智之 宇田川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
JVCKenwood Corp
Original Assignee
JVCKenwood Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by JVCKenwood Corp filed Critical JVCKenwood Corp
Publication of WO2025192068A1 publication Critical patent/WO2025192068A1/ja
Pending legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/24—Monitoring of processes or resources, e.g. monitoring of server load, available bandwidth, upstream requests
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2668—Creating a channel for a dedicated end-user group, e.g. insertion of targeted commercials based on end-user profiles

Definitions

  • the present invention relates to a video distribution device, a video distribution system, and a video distribution program.
  • the present invention aims to provide a video distribution device, video distribution system, and video distribution program that distributes panoramic video that allows users to easily determine the partial area they wish to view.
  • a video distribution device is communicatively connected to a plurality of panoramic cameras that capture a panoramic view of a predetermined area from different angles and generate respective panoramic videos, and a plurality of partial capture cameras that capture different partial areas within the predetermined area and generate respective partial videos.
  • the device generates a panoramic distribution video using the panoramic video captured by one of the plurality of panoramic cameras and distributes it to a viewer terminal. It also includes a distribution video generation unit that, upon receiving from the viewer terminal designation information specifying one of the partial videos captured by each of the plurality of partial capture cameras, switches the distribution video to be distributed to the viewer terminal from the panoramic distribution video to the partial video designated by the designation information.
  • the distribution video generation unit executes a panoramic video selection process that selects one panoramic video from among the plurality of panoramic videos captured by each of the plurality of panoramic cameras based on information indicating the situation within the predetermined area or information indicating the distribution status of the partial videos, and generates the panoramic distribution video using the panoramic video selected in the panoramic video selection process.
  • a video distribution system comprises a plurality of panoramic cameras that capture a panoramic view of a predetermined area from different angles and generate respective panoramic images; a plurality of partial capture cameras that capture different partial areas within the predetermined area and generate respective partial images; and a video distribution device that generates a panoramic distribution image using the panoramic image captured by one of the plurality of panoramic cameras and distributes it to a viewer terminal, and has a distribution image generation unit that, upon receiving from the viewer terminal designation information specifying one of the partial images captured by each of the plurality of partial capture cameras, switches the distribution image to be distributed to the viewer terminal from the panoramic distribution image to the partial image designated by the designation information; the distribution image generation unit executes a panoramic image selection process that selects one panoramic image from the plurality of panoramic images captured by each of the plurality of panoramic cameras based on information indicating the situation within the predetermined area or information indicating the distribution status of the partial images, and generates the panoramic distribution image using the panoramic image selected in the panoramic image selection process.
  • a video distribution program is communicably connected to a plurality of panoramic cameras that capture a panoramic view of a predetermined area from different angles and generate each panoramic video, and a plurality of partial capture cameras that capture different partial areas within the predetermined area and generate each partial video.
  • the program generates a panoramic distribution video using the panoramic video captured by one of the plurality of panoramic cameras and distributes it to a viewer terminal.
  • designation information specifying one of the partial videos captured by each of the plurality of partial capture cameras is received from the viewer terminal, the program causes a video distribution device equipped with a distribution video generation unit to switch the distribution video to be distributed to the viewer terminal from the panoramic distribution video to the partial video specified by the designation information.
  • the program executes a panoramic video selection process that selects one panoramic video from the plurality of panoramic videos captured by each of the plurality of panoramic cameras based on information indicating the situation within the predetermined area or information indicating the distribution status of the partial video, and generates the panoramic distribution video using the panoramic video selected in the panoramic video selection process and distributes it to the viewer terminal.
  • FIG. 1 is an overall diagram showing the configuration of a video distribution system according to this embodiment.
  • FIG. 2 is a block diagram showing a detailed configuration of the video distribution system according to this embodiment.
  • FIG. 3 is a sequence diagram showing the processing executed between the video distribution device and the viewer terminal in the video distribution system according to this embodiment.
  • FIG. 4A shows an example of a panoramic view distribution video distributed using a panoramic view video captured by a first panoramic view camera in the video distribution system according to this embodiment.
  • FIG. 4B shows an example of a panoramic view distribution video distributed using a panoramic view video captured by the second panoramic view camera in the video distribution system according to this embodiment.
  • FIG. 1 is an overall diagram showing the configuration of a video distribution system 1 that uses a video distribution device 30.
  • the video distribution system 1 films and distributes multiple gymnastics events held in a gymnasium X.
  • floor (women's) events are held in area ARa, which is a partial area within the gymnasium X
  • balance beam events are held in area ARb
  • vault (women's) events are held in area ARc
  • floor (men's) events are held in area ARd
  • horizontal bar events are held in area ARe
  • pommel horse events are held in area ARf.
  • the video distribution system 1 comprises two panoramic cameras, a first panoramic camera 10a and a second panoramic camera 10b, six partial camera units, a first partial camera 20a, a second partial camera 20b, a third partial camera 20c, a fourth partial camera 20d, a fifth partial camera 20e, and a sixth partial camera 20f, a video distribution device 30, and a viewer terminal 40.
  • the first panoramic camera 10a is installed near the ceiling in the front left corner when looking into gymnasium X from entrance E of gymnasium X, and the second panoramic camera 10b is installed near the ceiling in the front right corner.
  • the first partial image capture camera 20a is installed near area ARa
  • the second partial image capture camera 20b is installed near area ARb
  • the third partial image capture camera 20c is installed near area ARc
  • the fourth partial image capture camera 20d is installed near area ARd
  • the fifth partial image capture camera 20e is installed near area ARe
  • the sixth partial image capture camera 20f is installed near area ARf.
  • the number of cameras for capturing a full view is not limited to two, and any number greater than two is acceptable.
  • the number of cameras for capturing a partial view is not limited to six, and any number greater than two is acceptable.
  • Figure 1 shows only one viewer terminal 40 connected to the video distribution device 30, but in reality, multiple viewer terminals 40 are connected to the video distribution device 30 so that they can communicate with each other.
  • FIG. 2 is a block diagram showing the detailed configuration of the video distribution system 1.
  • the first panoramic camera 10a has an imaging unit 11a, an encoder 12a, and a transmission unit 13a.
  • the imaging unit 11a captures a panoramic view of the gymnasium X from a predetermined angle to generate a panoramic video.
  • the encoder 12a encodes the panoramic video generated by the imaging unit 11a.
  • the transmission unit 13a transmits the panoramic video encoded by the encoder 12a to the video distribution device 30 together with a video identifier for identifying the panoramic video.
  • the second panoramic camera 10b has an imaging unit 11b, an encoder 12b, and a transmission unit 13b.
  • the imaging unit 11b captures the panoramic view of gymnasium X from a different angle than the imaging unit 11a of the first panoramic camera 10a, and generates a panoramic video.
  • the encoder 12b encodes the panoramic video generated by the imaging unit 11b.
  • the transmission unit 13b transmits the panoramic video encoded by the encoder 12b to the video distribution device 30 together with a video identifier for identifying the panoramic video.
  • the first partial image capturing camera 20a has an imaging unit 21a, an encoder 22a, and a transmission unit 23a.
  • the imaging unit 21a captures an image of area ARa, which is a partial area within gymnasium X, and generates a partial video.
  • the encoder 22a encodes the partial video generated by the imaging unit 21a.
  • the transmission unit 23a transmits the partial video encoded by the encoder 22a to the video distribution device 30 together with a video identifier for identifying the partial video.
  • the second partial image capturing camera 20b, the third partial image capturing camera 20c, the fourth partial image capturing camera 20d, the fifth partial image capturing camera 20e, and the sixth partial image capturing camera 20f have the same configuration as the first partial image capturing camera 20a.
  • the second partial image capturing camera 20b encodes the partial video generated by capturing area ARb and transmits it to the video distribution device 30 together with a video identifier for identifying the partial video.
  • the third partial image capturing camera 20c encodes the partial video generated by capturing area ARc and transmits it to the video distribution device 30 together with a video identifier for identifying the partial video.
  • the fourth partial image capturing camera 20d encodes the partial video generated by capturing area ARd and transmits it to the video distribution device 30 together with a video identifier for identifying the partial video.
  • the fifth partial image capturing camera 20e encodes the partial video generated by capturing area ARe and transmits it to the video distribution device 30 together with a video identifier for identifying the partial video.
  • the sixth partial image capturing camera 20f captures the area ARf, encodes the generated partial image, and transmits it to the video distribution device 30 together with a video identifier for identifying the partial image.
  • the video distribution device 30 has a CPU 31.
  • the CPU 31 is, for example, a CPU (central processing unit) provided in a general-purpose microcomputer, and by installing and executing a specific video distribution program, it configures one or more of the information processing units described below.
  • CPU 31 has a panoramic video acquisition unit 311, a panoramic video distribution generation unit 312, a partial video acquisition unit 313, a distribution unit 314, and a specified information acquisition unit 315.
  • CPU 31 is also referred to as a distribution video generation unit.
  • the distribution video generation unit has a panoramic video acquisition unit 311, a panoramic video distribution generation unit 312, a partial video acquisition unit 313, a distribution unit 314, and a specified information acquisition unit 315.
  • the panoramic view video acquisition unit 311 acquires the encoded panoramic view video transmitted from the first panoramic view camera 10a and the second panoramic view camera 10b.
  • the panoramic view distribution video generation unit 312 executes a panoramic view video selection process to select the panoramic view video to be used for distribution from the panoramic view video captured by the first panoramic view camera 10a or the panoramic view video captured by the second panoramic view camera 10b. Details of the panoramic view video selection process performed by the panoramic view distribution video generation unit 312 will be described later.
  • the panoramic view distribution video generation unit 312 decodes the panoramic view video selected in the panoramic view video selection process from the encoded panoramic view videos acquired by the panoramic view video acquisition unit 311. Specifically, the panoramic view distribution video generation unit 312 decodes the panoramic view video assigned a video identifier that matches the video identifier of the panoramic view video selected in the panoramic view video selection process from the encoded panoramic view videos acquired by the panoramic view video acquisition unit 311.
  • the panoramic view distribution video generation unit 312 generates and encodes panoramic view distribution video by superimposing frame images indicating the portions captured by the first partial capture camera 20a, the second partial capture camera 20b, the third partial capture camera 20c, the fourth partial capture camera 20d, the fifth partial capture camera 20e, and the sixth partial capture camera 20f on the decoded panoramic view video.
  • the video distribution device 30 stores designation information specifying each frame image, linked to the video identifier of the partial video corresponding to the frame image.
  • the partial video acquisition unit 313 acquires the encoded partial video transmitted from the first partial image capture camera 20a, the second partial image capture camera 20b, the third partial image capture camera 20c, the fourth partial image capture camera 20d, the fifth partial image capture camera 20e, and the sixth partial image capture camera 20f.
  • the distribution unit 314 distributes the panoramic distribution video generated by the panoramic distribution video generation unit 312 to the viewer terminal 40. Furthermore, when the distribution unit 314 acquires, via the designation information acquisition unit 315 from the viewer terminal 40 to which the panoramic distribution video has been distributed, designation information designating one of the frame images within the panoramic distribution video, the distribution unit 314 switches the distribution video to be distributed to this viewer terminal 40 from the panoramic distribution video to a partial video corresponding to the frame image designated by the designation information. Specifically, the distribution unit 314 switches the distribution video to be distributed to the viewer terminal 40 from the panoramic distribution video to a partial video assigned a video identifier that matches the video identifier linked to the acquired designation information.
  • the designation information acquisition unit 315 acquires designation information from the viewer terminal 40 that designates one of the frame images within the panoramic distribution video, it sends this designation information to the distribution unit 314.
  • the viewer terminal 40 is a terminal operated by a user U who watches the distributed video, and includes a video acquisition unit 41, a decoder 42, a display unit 43, an input unit 44, and a specified information transmission unit 45.
  • the video acquisition unit 41 acquires the encoded panoramic distribution video or partial video transmitted from the video distribution device 30.
  • the decoder 42 decodes the encoded distribution video acquired by the video acquisition unit 41.
  • the display unit 43 plays the video by displaying the information decoded by the decoder 42.
  • the input unit 44 inputs information about operations performed by the user U.
  • the designation information transmission unit 45 When information about an operation to select one of the frame images in the panoramic distribution video displayed on the display unit 43 is input from the input unit 44, the designation information transmission unit 45 generates designation information that specifies the selected frame image and transmits it to the video distribution device 30.
  • the panoramic video acquisition unit 311 acquires the encoded panoramic video transmitted from the first panoramic camera 10a and the second panoramic camera 10b, and sends it to the panoramic video distribution unit 312.
  • the partial image acquisition unit 313 acquires the encoded partial images transmitted from the first partial image capture camera 20a, the second partial image capture camera 20b, the third partial image capture camera 20c, the fourth partial image capture camera 20d, the fifth partial image capture camera 20e, and the sixth partial image capture camera 20f.
  • the panoramic view distribution video generation unit 312 executes a panoramic view selection process at predetermined time intervals, for example, one minute, to select the panoramic view video to be used for distribution from the panoramic view video captured by the first panoramic view shooting camera 10a and the panoramic view video captured by the second panoramic view shooting camera 10b.
  • the following describes the panoramic view video selection processes (1) to (4) executed by the panoramic view distribution video generation unit 312.
  • panoramic view distribution video generation unit 312 determines the line of sight or facial direction of each spectator as the situation inside gymnasium X based on analysis information of the image information captured by this 360° camera, and identifies the area that each spectator is looking at. From the panoramic view video captured by first panoramic view shooting camera 10a and the panoramic view video captured by second panoramic view shooting camera 10b, panoramic view distribution video generation unit 312 identifies the panoramic view video that shows the area with the largest number of spectators in a larger size. Panoramic view distribution video generation unit 312 selects the identified panoramic view video as the panoramic view video to be used for distribution.
  • the panoramic view distribution video generation unit 312 determines that the number of spectators in gymnasium X looking at area ARa, area ARb, and area ARc is greater than the number of spectators looking at area ARd, area ARe, and area ARf, it generates a panoramic view distribution video using the panoramic view video captured by the first panoramic view shooting camera 10a, as shown in Figure 4A.
  • the panoramic video distribution generation unit 312 can generate panoramic video distribution that displays a large image of the area where the competition is currently taking place.
  • a first microphone (not shown) is installed near the first panoramic camera 10a, and a second microphone (not shown) is installed near the second panoramic camera 10b.
  • the panoramic distribution video generation unit 312 detects the sounds of the spectators' cheers picked up by the first microphone and the second microphone as the situation inside gymnasium X. Based on the detected sounds, the panoramic distribution video generation unit 312 identifies the microphone that picked up the louder sound of the spectators' cheers. The panoramic distribution video generation unit 312 also selects the panoramic video captured by the panoramic camera near the identified microphone as the panoramic video to be used for distribution.
  • the panoramic view distribution video generation unit 312 determines that the cheers of the audience picked up by the first microphone are louder than the cheers of the audience picked up by the second microphone, it will generate a panoramic view distribution video using the panoramic view video captured by the first panoramic view shooting camera 10a.
  • the panoramic view distribution video generation unit 312 generates a panoramic view distribution video using the panoramic view video captured by the second panoramic view shooting camera 10b.
  • the panoramic video distribution generation unit 312 can generate a panoramic video distribution that enlarges the areas in gymnasium X that are most exciting for the spectators.
  • the panoramic view distribution video generation unit 312 counts the number of partial videos currently being distributed to the viewer terminal 40 for each of the partial videos generated by the first partial image capturing camera 20a, the second partial image capturing camera 20b, the third partial image capturing camera 20c, the fourth partial image capturing camera 20d, the fifth partial image capturing camera 20e, and the sixth partial image capturing camera 20f, and acquires this count as information indicating the distribution status.
  • the distribution of partial videos to the viewer terminal 40 will be described later.
  • the panoramic view distribution video generation unit 312 identifies the panoramic view video captured by the first panoramic view camera 10a and the second panoramic view video captured by the second panoramic view camera 10b, which shows a larger image of the area that is the subject of the partial video with the largest number of counted distributions.
  • the panoramic view distribution video generation unit 312 selects the identified panoramic view video as the panoramic view video to be used for distribution.
  • the panoramic view distribution video generation unit 312 determines that the total number of distributions of the partial video generated by the first partial capture camera 20a, the second partial capture camera 20b, and the third partial capture camera 20c is greater than the total number of distributions of the partial video generated by the fourth partial capture camera 20d, the fifth partial capture camera 20e, and the sixth partial capture camera 20f, it generates a panoramic view distribution video using the panoramic view video captured by the first panoramic view camera 10a.
  • the panoramic broadcast video is generated using the panoramic video captured by the second panoramic capture camera 10b.
  • the panoramic distribution video generation unit 312 can generate a panoramic distribution video in which areas that are attracting high attention from viewers are displayed in a large size.
  • the panoramic view distribution video generation unit 312 pre-determines which of the above-described panoramic view video selection processes (1) to (4) will be used for each content or type of content.
  • one panoramic view video selection process from the panoramic view video selection processes (1) to (4) may be specified and set for each content or type of content, or multiple different panoramic view video selection processes may be set.
  • the panoramic video distribution generation unit 312 When setting multiple different panoramic video selection processes for a given content or type of content, the panoramic video distribution generation unit 312 sets a priority for each panoramic video selection process in advance. The panoramic video distribution generation unit 312 then executes the panoramic video selection processes in descending order of priority, and uses the first properly selected panoramic video as the video to be distributed.
  • the next highest priority panoramic video selection process (2) is executed.
  • Figure 3 is a sequence diagram showing the distribution process performed between the video distribution device 30 and the viewer terminal 40 when the panoramic video selection process is being performed at predetermined time intervals as described above.
  • the panoramic view distribution video generation unit 312 decodes the panoramic view video selected by the panoramic view video selection process described above from the encoded panoramic view videos acquired from the first panoramic view camera 10a and the second panoramic view camera 10b.
  • the panoramic view distribution video generation unit 312 generates panoramic view distribution video by superimposing frame images indicating the portions captured by the first partial view shooting camera 20a, the second partial view shooting camera 20b, the third partial view shooting camera 20c, the fourth partial view shooting camera 20d, the fifth partial view shooting camera 20e, and the sixth partial view shooting camera 20f on the decoded panoramic view video.
  • the panoramic view distribution video generation unit 312 does not have to superimpose frame images on the panoramic view video. In this case, the display unit 43 superimposes the respective frame images when the panoramic view distribution video is displayed on the viewer terminal 40.
  • the panoramic video used here is selected by one of the panoramic video selection processes (1) to (4), so the panoramic video distribution generation unit 312 can generate panoramic video distribution in which areas that are likely to be of greatest interest to viewers are displayed in large size.
  • the distribution unit 314 performs streaming distribution by encoding the panoramic view distribution video generated by the panoramic view distribution video generation unit 312 and transmitting it sequentially to multiple viewer terminals 40 (S1). Furthermore, if the panoramic view distribution video generation unit 312 does not superimpose a frame image, the distribution unit 314 transmits a selected panoramic view video from the encoded panoramic view videos acquired from the first panoramic view shooting camera 10a and the second panoramic view shooting camera 10b as the panoramic view distribution video. In this case, the distribution unit 314 may also transmit information regarding the portions captured by each of the first partial view shooting camera 20a to the sixth partial view shooting camera 20f along with the panoramic view distribution video.
  • the encoded panoramic view video delivered from the video delivery device 30 is acquired by the video acquisition unit 41 and decoded by the decoder 42.
  • the decoded panoramic view video is sequentially displayed on the display unit 43 and streamed (S2).
  • Figure 4A is an example of a panoramic view distribution image using a panoramic view image captured by the first panoramic view camera 10a.
  • the panoramic view image captured by the first panoramic view camera 10a is superimposed with a frame image Fa indicating the area ARa portion captured by the first partial view camera 20a, a frame image Fb indicating the area ARb portion captured by the second partial view camera 20b, a frame image Fc indicating the area ARc portion captured by the third partial view camera 20c, a frame image Fd indicating the area ARd portion captured by the fourth partial view camera 20d, a frame image Fe indicating the area ARe portion captured by the fifth partial view camera 20e, and a frame image Ff indicating the area ARf portion captured by the sixth partial view camera 20f.
  • the display unit 43 superimposes frame images Fa to Ff on the panoramic video based on information related to the portions captured by the first partial image capture camera 20a to the sixth partial image capture camera 20f.
  • areas ARa, ARb, and ARc, which are closer to the first panoramic camera 10a, are displayed larger than areas ARd, ARe, and ARf, which are farther from the first panoramic camera 10a.
  • FIG. 4B is an example of a distributed panoramic image using a panoramic image captured by the second panoramic camera 10b.
  • frame images Fa, Fb, Fc, Fd, Fe, and Ff are superimposed on the panoramic image captured by the second panoramic camera 10b.
  • the user U uses the input unit 44 of the viewer terminal 40 to select a frame image, for example, frame image Fa, corresponding to the position where the desired competition is displayed from the panoramic distribution video displayed on the display unit 43.
  • a frame image for example, frame image Fa
  • the designation information transmission unit 45 generates designation information that designates the selected frame image Fa and transmits it to the video distribution device 30 (S4).
  • the designation information acquisition unit 315 acquires the designation information that designates the frame image Fa within the panoramic view distribution video transmitted from the viewer terminal 40 (S5), and sends this designation information to the panoramic view distribution video generation unit 312.
  • the panoramic view distribution video generation unit 312 switches the distribution video to be distributed to the viewer terminal 40 that sent the designation information from the panoramic view distribution video to a partial video using the partial video captured by the first partial shooting camera 20a that corresponds to the frame image Fa specified in the designation information.
  • the distribution unit 314 begins processing to distribute the encoded partial video of area ARa acquired by the partial video acquisition unit 313 from the first partial shooting camera 20a to the viewer terminal 40 (S6).
  • the encoded partial video distributed from the video distribution device 30 is acquired by the video acquisition unit 41 and decoded by the decoder 42.
  • the decoded partial video is displayed on the display unit 43 and streamed (S7). This allows the user U to view the video of the desired competition in full screen display.
  • the designation information transmission unit 45 generates designation cancellation information and transmits it to the video distribution device 30 (S9).
  • the designation cancellation information transmitted from the viewer terminal 40 is acquired by the designation information acquisition unit 315 (S10), and this designation cancellation information is sent to the distribution unit 314 and the panoramic distribution video generation unit 312.
  • the panoramic view distribution video generation unit 312 When the panoramic view distribution video generation unit 312 acquires designation release information from the designation information acquisition unit 315, it executes one of the panoramic view distribution video selection processes described above to select a suitable panoramic view video, and generates and encodes panoramic view distribution video using the selected panoramic view video.
  • the distribution unit 314 acquires designation release information from the designation information acquisition unit 315, it switches the distribution video to be distributed to the viewer terminal 40 that sent the designation release information from the partial video to panoramic view distribution video.
  • the distribution unit 314 distributes the panoramic view distribution video generated by the panoramic view distribution video generation unit 312 after acquiring the designation release information to the viewer terminal 40 (S11). Thereafter, the video distribution device 30 continues to distribute the panoramic view distribution video until it acquires the next designation information from the viewer terminal 40, and proceeds to step S5 once it acquires the designation information.
  • the viewer terminal 40 proceeds to step S2 and continues streaming playback.
  • the user when a user selects a partial area that they want to view from within a panoramic image, the user can be provided with a panoramic image that makes it easy to determine which partial area they want to view.
  • the panoramic distribution video generation unit 312 of the video distribution device 30 will use a panoramic video selection process to select one panoramic video from among the multiple panoramic videos captured by each of the multiple panoramic cameras, based on information indicating the situation within gymnasium X or information indicating the distribution status of the partial video.
  • the panoramic video generation unit 312 then generates a panoramic video using the panoramic video selected in the panoramic video selection process. This makes it possible to provide the user with a panoramic video that is more accurate and makes it easier to determine the partial area they want to view.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

映像配信装置（３０）は、所定エリアの全景を異なるアングルで撮影して全景映像を生成する全景撮影用カメラ（１０ａ、１０ｂ）と、所定エリア内の異なる部分エリアを撮影して部分映像を生成する部分撮影用カメラ（２０ａ～２０ｆ）とに通信可能に接続され、全景配信映像生成部（３１２）を備える。全景配信映像生成部（３１２）は、いずれかで撮影された全景映像を用いて全景配信映像を生成して視聴者端末に配信し、複数の部分撮影用カメラそれぞれが撮影する部分映像のいずれかを指定した視聴者端末に配信する配信映像を、全景配信映像から、指定された部分映像に切り替える。全景配信映像生成部（３１２）は、所定エリア内の状況を示す情報または部分映像の配信状況を示す情報に基づいて選択した全景映像を用いて、全景配信映像を生成する。

Description

映像配信装置、映像配信システム、および映像配信プログラム
　本発明は、映像配信装置、映像配信システム、および映像配信プログラムに関する。
　所定エリアの全景を撮影した全景映像を複数の視聴者端末に配信し、複数の視聴者端末のいずれかからこの全景映像内の一部分エリアが指定されると、この視聴者端末に配信する映像を、指定された部分エリアを撮影した部分映像に切り替える技術がある。このように配信する映像を切り替えることで、ユーザが興味のある部分エリアの映像を、視聴者端末に全画面表示させて視聴することができる。
特開２０２３－９２６６５号公報
　上述した技術を利用する際に、全景映像内の部分エリアを指定する操作を視聴者端末においてユーザが手動で行う場合、全景映像の中で、全景映像を撮影するカメラから遠い被写体部分は表示が小さくなっているため、ユーザが視聴したい部分エリアであるか否かの判断をし難いという問題があった。
　本発明は、ユーザが視聴したい部分エリアを判断しやすい全景映像を配信する、映像配信装置、映像配信システム、および映像配信プログラムを提供することを目的とする。
　本実施形態の第１の態様に係る映像配信装置は、所定エリアの全景を異なるアングルで撮影してそれぞれ全景映像を生成する複数の全景撮影用カメラと、前記所定エリア内の異なる部分エリアを撮影してそれぞれ部分映像を生成する複数の部分撮影用カメラと、に通信可能に接続され、前記複数の全景撮影用カメラのいずれかで撮影された全景映像を用いて全景配信映像を生成して視聴者端末に配信し、前記視聴者端末から、前記複数の部分撮影用カメラそれぞれが撮影する部分映像のいずれかを指定する指定情報を取得すると、この視聴者端末に配信する配信映像を、全景配信映像から、前記指定情報で指定された部分映像に切り替える配信映像生成部を備え、前記配信映像生成部は、前記所定エリア内の状況を示す情報または前記部分映像の配信状況を示す情報に基づいて、前記複数の全景撮影用カメラそれぞれで撮影された複数の全景映像の中から１つの全景映像を選択する全景映像選択処理を実行し、前記全景映像選択処理で選択した全景映像を用いて、前記全景配信映像を生成する。
　本実施形態の第２の態様に係る映像配信システムは、所定エリアの全景を異なるアングルで撮影してそれぞれ全景映像を生成する複数の全景撮影用カメラと、前記所定エリア内の異なる部分エリアを撮影してそれぞれ部分映像を生成する複数の部分撮影用カメラと、前記複数の全景撮影用カメラのいずれかで撮影された全景映像を用いて全景配信映像を生成して視聴者端末に配信し、前記視聴者端末から、前記複数の部分撮影用カメラそれぞれが撮影する部分映像のいずれかを指定する指定情報を取得すると、この視聴者端末に配信する配信映像を、全景配信映像から、前記指定情報で指定された部分映像に切り替える配信映像生成部を有する映像配信装置とを備え、前記配信映像生成部は、前記所定エリア内の状況を示す情報または前記部分映像の配信状況を示す情報に基づいて、前記複数の全景撮影用カメラそれぞれで撮影された複数の全景映像の中から１つの全景映像を選択する全景映像選択処理を実行し、前記全景映像選択処理で選択した全景映像を用いて、前記全景配信映像を生成する。
　本実施形態の第３の態様に係る映像配信プログラムは、所定エリアの全景を異なるアングルで撮影してそれぞれ全景映像を生成する複数の全景撮影用カメラと、前記所定エリア内の異なる部分エリアを撮影してそれぞれ部分映像を生成する複数の部分撮影用カメラと、に通信可能に接続され、前記複数の全景撮影用カメラのいずれかで撮影された全景映像を用いて全景配信映像を生成して視聴者端末に配信し、前記視聴者端末から、前記複数の部分撮影用カメラそれぞれが撮影する部分映像のいずれかを指定する指定情報を取得すると、この視聴者端末に配信する配信映像を、全景配信映像から、前記指定情報で指定された部分映像に切り替える配信映像生成部を備えた映像配信装置に、前記所定エリア内の状況を示す情報または前記部分映像の配信状況を示す情報に基づいて、前記複数の全景撮影用カメラそれぞれで撮影された複数の全景映像の中から１つの全景映像を選択する全景映像選択処理を実行し、前記全景映像選択処理で選択した全景映像を用いて、前記全景配信映像を生成して視聴者端末に配信する機能を実現させる。
　本実施形態によれば、ユーザが視聴したい部分エリアを判断しやすい全景映像を配信する、映像配信装置、映像配信システム、および映像配信プログラムを提供することができる。
図１は、本実施形態に係る映像配信システムの構成を示す全体図である。 図２は、本実施形態に係る映像配信システムの詳細な構成を示すブロック図である。 図３は、本実施形態に係る映像配信システム内の映像配信装置と視聴者端末との間で実行される処理を示すシーケンス図である。 図４Ａは、本実施形態に係る映像配信システム内の第１全景撮影用カメラが撮影した全景映像を用いて配信された全景配信映像の一例である。 図４Ｂは、本実施形態に係る映像配信システム内の第２全景撮影用カメラが撮影した全景映像を用いて配信された全景配信映像の一例である。
　以下に、本実施形態に係る映像配信装置について、図面を参照して説明する。本実施形態では、体育館内で行われている複数種目の体操競技を撮影して配信する場合を例とする。
　［映像配信装置を利用した映像配信システムの構成］
　図１は、映像配信装置３０を利用した映像配信システム１の構成を示す全体図である。映像配信システム１は、体育館Ｘで行われている複数種目の体操競技を撮影して配信する。体育館Ｘ内では、体育館Ｘ内の部分エリアであるエリアＡＲａで床（女子）の競技が行われ、エリアＡＲｂで平均台の競技が行われ、エリアＡＲｃで跳馬（女子）の競技が行われ、エリアＡＲｄで床（男子）の競技が行われ、エリアＡＲｅで鉄棒の競技が行われ、エリアＡＲｆであん馬の競技が行われている。
　映像配信システム１は、第１全景撮影用カメラ１０ａおよび第２全景撮影用カメラ１０ｂの２台の全景撮影用カメラと、第１部分撮影用カメラ２０ａ、第２部分撮影用カメラ２０ｂ、第３部分撮影用カメラ２０ｃ、第４部分撮影用カメラ２０ｄ、第５部分撮影用カメラ２０ｅ、および第６部分撮影用カメラ２０ｆの６台の部分撮影用カメラと、映像配信装置３０と、視聴者端末４０とを備える。
　第１全景撮影用カメラ１０ａは、体育館Ｘの入口Ｅから体育館Ｘ内を見て左側手前の角の天井付近に設置され、第２全景撮影用カメラ１０ｂは右側手前の角の天井付近に設置されている。第１部分撮影用カメラ２０ａはエリアＡＲａ近傍に設置され、第２部分撮影用カメラ２０ｂはエリアＡＲｂ近傍に設置され、第３部分撮影用カメラ２０ｃはエリアＡＲｃ近傍に設置され、第４部分撮影用カメラ２０ｄはエリアＡＲｄ近傍に設置され、第５部分撮影用カメラ２０ｅはエリアＡＲｅ近傍に設置され、第６部分撮影用カメラ２０ｆはエリアＡＲｆ近傍に設置されている。
　全景撮影用カメラは、２台に限定されず、２台以上であれば何台でもよい。また、部分撮影用カメラは、６台に限定されず、２台以上であれば何台でもよい。また、図１では説明を簡略化するために映像配信装置３０に接続された視聴者端末４０を１台のみ示しているが、実際には複数台の視聴者端末４０が映像配信装置３０に通信可能に接続されている。
　図２は、映像配信システム１の詳細な構成を示すブロック図である。第１全景撮影用カメラ１０ａは、撮像部１１ａと、エンコーダ１２ａと、送信部１３ａとを有する。撮像部１１ａは、体育館Ｘ内の全景を所定のアングルで撮影して全景映像を生成する。エンコーダ１２ａは、撮像部１１ａが生成した全景映像を符号化する。送信部１３ａは、エンコーダ１２ａが符号化した全景映像を、当該全景映像を識別するための映像識別子と一緒に映像配信装置３０に送信する。
　第２全景撮影用カメラ１０ｂは、撮像部１１ｂと、エンコーダ１２ｂと、送信部１３ｂとを有する。撮像部１１ｂは、体育館Ｘ内の全景を、第１全景撮影用カメラ１０ａの撮像部１１ａと異なるアングルで撮影して全景映像を生成する。エンコーダ１２ｂは、撮像部１１ｂが生成した全景映像を符号化する。送信部１３ｂは、エンコーダ１２ｂが符号化した全景映像を、当該全景映像を識別するための映像識別子と一緒に映像配信装置３０に送信する。
　第１部分撮影用カメラ２０ａは、撮像部２１ａと、エンコーダ２２ａと、送信部２３ａを有する。撮像部２１ａは、体育館Ｘ内の一部分エリアであるエリアＡＲａを撮影して部分映像を生成する。エンコーダ２２ａは、撮像部２１ａが生成した部分映像を符号化する。送信部２３ａは、エンコーダ２２ａが符号化した部分映像を、当該部分映像を識別するための映像識別子と一緒に映像配信装置３０に送信する。
　第２部分撮影用カメラ２０ｂ、第３部分撮影用カメラ２０ｃ、第４部分撮影用カメラ２０ｄ、第５部分撮影用カメラ２０ｅ、および第６部分撮影用カメラ２０ｆは、第１部分撮影用カメラ２０ａと同様の構成を有する。第２部分撮影用カメラ２０ｂは、エリアＡＲｂを撮影して生成した部分映像を符号化して、当該部分映像を識別するための映像識別子と一緒に映像配信装置３０に送信する。第３部分撮影用カメラ２０ｃは、エリアＡＲｃを撮影して生成した部分映像を符号化して、当該部分映像を識別するための映像識別子と一緒に映像配信装置３０に送信する。第４部分撮影用カメラ２０ｄは、エリアＡＲｄを撮影して生成した部分映像を符号化して、当該部分映像を識別するための映像識別子と一緒に映像配信装置３０に送信する。第５部分撮影用カメラ２０ｅは、エリアＡＲｅを撮影して生成した部分映像を符号化して、当該部分映像を識別するための映像識別子と一緒に映像配信装置３０に送信する。第６部分撮影用カメラ２０ｆは、エリアＡＲｆを撮影して生成した部分映像を符号化して、当該部分映像を識別するための映像識別子と一緒に映像配信装置３０に送信する。
　映像配信装置３０は、ＣＰＵ３１を有する。ＣＰＵ３１は、例えば汎用のマイクロコンピュータが備えるＣＰＵ（中央処理装置）であって、所定の映像配信プログラムをインストールして実行することにより、以下に示す１又は２以上の情報処理部を構成する。
　ＣＰＵ３１は、全景映像取得部３１１と、全景配信映像生成部３１２と、部分映像取得部３１３と、配信部３１４と、指定情報取得部３１５とを有する。なお、ＣＰＵ３１は、配信映像生成部とも呼称される。この場合、配信映像生成部は、全景映像取得部３１１と、全景配信映像生成部３１２と、部分映像取得部３１３と、配信部３１４と、指定情報取得部３１５とを有する。
　全景映像取得部３１１は、第１全景撮影用カメラ１０ａおよび第２全景撮影用カメラ１０ｂから送信された、符号化された全景映像を取得する。全景配信映像生成部３１２は、第１全景撮影用カメラ１０ａで撮影された全景映像、または第２全景撮影用カメラ１０ｂで撮影された全景映像のうち、配信映像に用いる全景映像を選択する全景映像選択処理を実行する。全景配信映像生成部３１２による全景映像選択処理の詳細については、後述する。
　全景配信映像生成部３１２は、全景映像取得部３１１が取得した、符号化された全景映像のうち、全景映像選択処理で選択した全景映像を復号する。具体的には、全景配信映像生成部３１２は、全景映像取得部３１１が取得した、符号化された全景映像のうち、全景映像選択処理で選択した全景映像の映像識別子に一致する映像識別子が割り当てられた全景映像を復号する。全景配信映像生成部３１２は、復号した全景映像に、第１部分撮影用カメラ２０ａ、第２部分撮影用カメラ２０ｂ、第３部分撮影用カメラ２０ｃ、第４部分撮影用カメラ２０ｄ、第５部分撮影用カメラ２０ｅ、および第６部分撮影用カメラ２０ｆそれぞれが撮影する部分を示す枠画像を重畳した全景配信映像を生成し、符号化する。なお、映像配信装置３０は、各枠画像を指定する指定情報を、当該枠画像に対応する部分映像の映像識別子に紐付けて記憶している。
　部分映像取得部３１３は、第１部分撮影用カメラ２０ａ、第２部分撮影用カメラ２０ｂ、第３部分撮影用カメラ２０ｃ、第４部分撮影用カメラ２０ｄ、第５部分撮影用カメラ２０ｅ、および第６部分撮影用カメラ２０ｆから送信された、符号化された部分映像を取得する。
　配信部３１４は、全景配信映像生成部３１２が生成した全景配信映像を、視聴者端末４０に配信する。また配信部３１４は、全景配信映像を配信した視聴者端末４０から指定情報取得部３１５を介して、全景配信映像内の枠画像のいずれかを指定する指定情報を取得すると、この視聴者端末４０に配信する配信映像を、全景配信映像から、指定情報で指定された枠画像に対応する部分映像に切り替える。具体的には、配信部３１４は、視聴者端末４０に配信する配信映像を、全景配信映像から、取得した指定情報に紐付けられた映像識別子に一致する映像識別子が割り当てられた部分映像に切り替える。
　指定情報取得部３１５は、視聴者端末４０から、全景配信映像内の枠画像のいずれかを指定する指定情報を取得すると、この指定情報を配信部３１４に送出する。
　視聴者端末４０は、配信映像を視聴するユーザＵが操作する端末であり、映像取得部４１と、デコーダ４２と、表示部４３と、入力部４４と、指定情報送信部４５とを有する。
　映像取得部４１は、映像配信装置３０から送信された、符号化された全景配信映像または部分映像を取得する。デコーダ４２は、映像取得部４１が取得した、符号化された配信映像を復号する。表示部４３は、デコーダ４２が復号した情報を表示することで、映像を再生する。
　入力部４４は、ユーザＵによる操作の情報を入力する。指定情報送信部４５は、入力部４４から、表示部４３に表示された全景配信映像内の枠画像のいずれかを選択する操作の情報が入力されると、選択された枠画像を指定する指定情報を生成し、映像配信装置３０に送信する。
　［映像配信システム１の動作］
　映像配信システム１の動作について、説明する。映像配信システム１の稼動中、第１全景撮影用カメラ１０ａおよび第２全景撮影用カメラ１０ｂはそれぞれ、体育館Ｘ内の全景を撮影して全景映像を生成し、符号化して映像配信装置３０に順次送信する。
　また、第１部分撮影用カメラ２０ａ、第２部分撮影用カメラ２０ｂ、第３部分撮影用カメラ２０ｃ、第４部分撮影用カメラ２０ｄ、第５部分撮影用カメラ２０ｅ、および第６部分撮影用カメラ２０ｆはそれぞれ、撮影対象のエリアを撮影して部分映像を生成し、符号化して映像配信装置３０に順次送信する。
　映像配信装置３０では、第１全景撮影用カメラ１０ａおよび第２全景撮影用カメラ１０ｂからそれぞれ送信された、符号化された全景映像を全景映像取得部３１１が取得し、全景配信映像生成部３１２に送出する。
　また、第１部分撮影用カメラ２０ａ、第２部分撮影用カメラ２０ｂ、第３部分撮影用カメラ２０ｃ、第４部分撮影用カメラ２０ｄ、第５部分撮影用カメラ２０ｅ、および第６部分撮影用カメラ２０ｆからそれぞれ送信された、符号化された部分映像を、部分映像取得部３１３が取得する。
　全景配信映像生成部３１２は、所定時間間隔、例えば１分間隔で、第１全景撮影用カメラ１０ａで撮影された全景映像、および第２全景撮影用カメラ１０ｂで撮影された全景映像のうち、配信映像に用いる全景映像を選択する全景映像選択処理を実行する。全景配信映像生成部３１２が実行する全景映像選択処理(1)～(4)について、説明する。
　［全景映像選択処理(1)］
　体育館Ｘ内に、体育館Ｘの観客席を撮影する３６０°カメラ（図示せず）を設置し、全景配信映像生成部３１２がこの３６０°カメラで撮影された撮像情報の解析情報に基づいて、体育館Ｘ内の状況として各観客の視線または顔の向きを判別して、各観客が見ているエリアを特定する。全景配信映像生成部３１２は、第１全景撮影用カメラ１０ａが撮影した全景映像と、第２全景撮影用カメラ１０ｂが撮影した全景映像のうち、見ている観客数が多いエリアがより大きく映る全景映像を特定する。全景配信映像生成部３１２は、特定した全景映像を、配信映像に用いる全景映像として選択する。
　例えば全景配信映像生成部３１２は、体育館Ｘの観客のうち、エリアＡＲｄ部分、エリアＡＲｅ部分、およびエリアＡＲｆ部分を見ている観客数よりも、エリアＡＲａ部分、エリアＡＲｂ部分、およびエリアＡＲｃ部分を見ている観客数の方が多いと判断した場合には、図４Ａに示すように、第１全景撮影用カメラ１０ａが撮影した全景映像を用いて全景配信映像を生成する。
　逆に、エリアＡＲａ部分、エリアＡＲｂ部分、およびエリアＡＲｃ部分を見ている観客数よりも、エリアＡＲｄ部分、エリアＡＲｅ部分、およびエリアＡＲｆ部分を見ている観客数の方が多いと判断した場合には、全景配信映像生成部３１２は、図４Ｂに示すように、第２全景撮影用カメラ１０ｂが撮影した全景映像を用いて全景配信映像を生成する。
　このように、配信映像に用いる全景映像を選択することで、全景配信映像生成部３１２は、体育館Ｘ内の観客からの注目度が高いエリアが大きく表示された全景配信映像を生成することができる。
　［全景映像選択処理(2)］
　全景配信映像生成部３１２は、第１全景撮影用カメラ１０ａおよび第２全景撮影用カメラ１０ｂそれぞれから送信された、符号化された全景映像を復号して解析することで、体育館Ｘ内の入口Ｅから見て左半分のエリアと、右半分のエリアそれぞれの被写体の動き量を、体育館Ｘ内の状況として検出する。
　全景配信映像生成部３１２は、第１全景撮影用カメラ１０ａが撮影した全景映像と、第２全景撮影用カメラ１０ｂが撮影した全景映像のうち、被写体の動き量が多い方のエリアが大きく映っている全景映像を特定する。全景配信映像生成部３１２は、特定した全景映像を、配信映像に用いる全景映像として選択する。
　例えば全景配信映像生成部３１２は、入口Ｅから見て左半分のエリアの方が、右半分のエリアよりも被写体の動きが大きいと判断した場合には、第１全景撮影用カメラ１０ａが撮影した全景映像を用いて全景配信映像を生成する。
　逆に、入口Ｅから見て右半分のエリアの方が、左半分のエリアよりも被写体の動きが大きいと判断した場合には、全景配信映像生成部３１２は、第２全景撮影用カメラ１０ｂが撮影した全景映像を用いて全景配信映像を生成する。
　また、全景配信映像生成部３１２は、被写体の動き量を、第１部分撮影用カメラ２０ａ～第６部分撮影用カメラ２０ｆそれぞれから送信された、符号化された部分映像を復号して解析することにより検出し、被写体の動き量が多いエリアがより大きく映る全景映像を用いて全景配信映像を生成してもよい。
　このように、配信映像に用いる全景映像を選択することで、全景配信映像生成部３１２は、現在競技が行われているエリアが大きく表示された全景配信映像を生成することができる。
　［全景映像選択処理(3)］
　第１全景撮影用カメラ１０ａの近傍に第１マイク（図示せず）を設置するとともに第２全景撮影用カメラ１０ｂの近傍に第２マイク（図示せず）を設置し、全景配信映像生成部３１２が第１マイクおよび第２マイクでそれぞれ収音した観客の歓声の音声を、体育館Ｘ内の状況として検出する。全景配信映像生成部３１２は、検出した音声に基づいて、より音量の大きい観客の歓声を収音した方のマイクを特定する。また全景配信映像生成部３１２は、特定したマイク近傍の全景撮影用カメラが撮影した全景映像を、配信映像に用いる全景映像として選択する。
　例えば全景配信映像生成部３１２は、第１マイクで収音した観客の歓声の方が、第２マイクで収音した観客の歓声よりも音量が大きいと判断した場合には、第１全景撮影用カメラ１０ａが撮影した全景映像を用いて全景配信映像を生成する。
　逆に、第２マイクで収音した観客の歓声の方が、第１マイクで収音した観客の歓声よりも音量が大きいと判断した場合には、全景配信映像生成部３１２は、第２全景撮影用カメラ１０ｂが撮影した全景映像を用いて全景配信映像を生成する。
　このように、配信映像に用いる全景映像を選択することで、全景配信映像生成部３１２は、体育館Ｘ内の観客の興奮度が高いエリアが大きく表示された全景配信映像を生成することができる。
　［全景映像選択処理(4)］
　全景配信映像生成部３１２は、第１部分撮影用カメラ２０ａが生成した部分映像、第２部分撮影用カメラ２０ｂが生成した部分映像、第３部分撮影用カメラ２０ｃが生成した部分映像、第４部分撮影用カメラ２０ｄが生成した部分映像、第５部分撮影用カメラ２０ｅが生成した部分映像、および第６部分撮影用カメラ２０ｆが生成した部分映像それぞれについて、視聴者端末４０への現在の配信数を計数し、配信状況を示す情報として取得する。視聴者端末４０への部分映像の配信については、後述する。
　全景配信映像生成部３１２は、第１全景撮影用カメラ１０ａが撮影した全景映像と、第２全景撮影用カメラ１０ｂが撮影した全景映像のうち、計数した配信数が多い部分映像の被写体であるエリアが、より大きく映る全景映像を特定する。全景配信映像生成部３１２は、特定した全景映像を、配信映像に用いる全景映像として選択する。
　例えば全景配信映像生成部３１２は、第１部分撮影用カメラ２０ａが生成した部分映像、第２部分撮影用カメラ２０ｂが生成した部分映像、および第３部分撮影用カメラ２０ｃが生成した部分映像の配信数の合計値の方が、第４部分撮影用カメラ２０ｄが生成した部分映像、第５部分撮影用カメラ２０ｅが生成した部分映像、および第６部分撮影用カメラ２０ｆが生成した部分映像の配信数の合計値よりも多いと判断した場合には、第１全景撮影用カメラ１０ａが撮影した全景映像を用いて全景配信映像を生成する。
　逆に、第４部分撮影用カメラ２０ｄが生成した部分映像、第５部分撮影用カメラ２０ｅが生成した部分映像、および第６部分撮影用カメラ２０ｆが生成した部分映像の配信数の合計値の方が、第１部分撮影用カメラ２０ａが生成した部分映像、第２部分撮影用カメラ２０ｂが生成した部分映像、および第３部分撮影用カメラ２０ｃが生成した部分映像の配信数の合計値よりも多いと判断した場合には、第２全景撮影用カメラ１０ｂが撮影した全景映像を用いて全景配信映像を生成する。
　このように、配信映像に用いる全景映像を選択することで、全景配信映像生成部３１２は、視聴者からの注目度が高いエリアが大きく表示された全景配信映像を生成することができる。
　全景配信映像生成部３１２は、上述した全景映像選択処理(1)～(4)のうち、いずれを用いるかをコンテンツごとまたはコンテンツの種類ごとに予め設定する。その際、コンテンツごとまたはコンテンツの種類ごとに、全景映像選択処理(1)～(4)の中の１つの全景映像選択処理を特定して設定してもよいし、複数の異なる全景映像選択処理を設定してもよい。
　全景配信映像生成部３１２は、所定のコンテンツまたはコンテンツの種類に対して複数の異なる全景映像選択処理を設定する場合は、全景映像選択処理ごとに予め優先度を設定しておく。そして、全景配信映像生成部３１２は、優先度が高い順に全景映像選択処理を実行し、最初に適正に選択した全景映像を、配信映像に用いる。
　例えば、最も優先度が高い全景映像選択処理(1)を実行したが、観客の見ている方向が分散しており、見ている観客数が多いエリアが特定できず全景映像を適正に選択できなかったときには、次に優先度が高い全景映像選択処理(2)を実行する。このように複数の全景映像選択処理を順次実行することで、さらに精度良く確実に、配信映像に用いる全景映像を選択することができる。
　図３は、上述したように所定時間間隔で全景映像選択処理が実行されている状態で、映像配信装置３０と視聴者端末４０との間で実行される配信処理を示すシーケンス図である。
　全景配信映像生成部３１２は、第１全景撮影用カメラ１０ａおよび第２全景撮影用カメラ１０ｂから取得した、符号された全景映像のうち、上述した全景映像選択処理により選択した方の全景映像を復号する。全景配信映像生成部３１２は、復号した全景映像に、第１部分撮影用カメラ２０ａ、第２部分撮影用カメラ２０ｂ、第３部分撮影用カメラ２０ｃ、第４部分撮影用カメラ２０ｄ、第５部分撮影用カメラ２０ｅ、および第６部分撮影用カメラ２０ｆそれぞれが撮影する部分を示す枠画像を重畳した全景配信映像を生成する。また、全景配信映像生成部３１２は、全景映像に枠画像を重畳しなくてもよい。この場合には、視聴者端末４０において全景配信映像が表示される際に、表示部４３がそれぞれの枠画像を重畳する。
　ここで用いる全景映像は、全景映像選択処理(1)～(4)のいずれかにより選択されているため、全景配信映像生成部３１２は、視聴者の関心が高いと考えられるエリアが大きく表示された全景配信映像を生成することができる。
　配信部３１４は、全景配信映像生成部３１２が生成した全景配信映像を符号化して複数の視聴者端末４０に順次送信することで、ストリーミング配信を行う（Ｓ１）。また、全景配信映像生成部３１２が枠画像を重畳しない場合には、第１全景撮影用カメラ１０ａおよび第２全景撮影用カメラ１０ｂから取得した、符号された全景映像のうち選択された全景映像を全景配信映像として送信する。この場合、配信部３１４は、第１部分撮影用カメラ２０ａ～第６部分撮影用カメラ２０ｆそれぞれが撮影する部分に関する情報を全景配信映像とともに送信するようにしてもよい。
　視聴者端末４０では、映像配信装置３０から配信された、符号化された全景配信映像が、映像取得部４１で取得されてデコーダ４２で復号される。復号された全景配信映像は、表示部４３に順次表示されてストリーミング再生される（Ｓ２）。
　図４Ａは、第１全景撮影用カメラ１０ａが撮影した全景映像を用いた全景配信映像の一例である。図４Ａの全景配信映像では、第１全景撮影用カメラ１０ａが撮影した全景映像に、第１部分撮影用カメラ２０ａが撮影するエリアＡＲａ部分を示す枠画像Ｆａ、第２部分撮影用カメラ２０ｂが撮影するエリアＡＲｂ部分を示す枠画像Ｆｂ、第３部分撮影用カメラ２０ｃが撮影するエリアＡＲｃ部分を示す枠画像Ｆｃ、第４部分撮影用カメラ２０ｄが撮影するエリアＡＲｄ部分を示す枠画像Ｆｄ、第５部分撮影用カメラ２０ｅが撮影するエリアＡＲｅ部分を示す枠画像Ｆｅ、および第６部分撮影用カメラ２０ｆが撮影するエリアＡＲｆ部分を示す枠画像Ｆｆが重畳されている。また、映像配信装置３０が枠画像を重畳せずに全景配信映像をストリーミング配信する構成の場合、表示部４３が、第１部分撮影用カメラ２０ａ～第６部分撮影用カメラ２０ｆそれぞれが撮影する部分に関する情報に基づいて枠画像Ｆａ～枠画像Ｆｆを全景配信映像に重畳する。
　図４Ａ内では、第１全景撮影用カメラ１０ａから遠い位置にあるエリアＡＲｄ部分、エリアＡＲｅ部分、およびエリアＡＲｆ部分よりも、近い位置にあるエリアＡＲａ部分、エリアＡＲｂ部分、およびエリアＡＲｃ部分が大きく表示されている。
　図４Ｂは、第２全景撮影用カメラ１０ｂが撮影した全景映像を用いた全景配信映像の一例である。図４Ｂの配信映像においても、第２全景撮影用カメラ１０ｂが撮影した全景映像に、図４Ａの場合と同様に、枠画像Ｆａ、Ｆｂ、Ｆｃ、Ｆｄ、Ｆｅ、およびＦｆが重畳されている。
　図４Ｂ内では、第２全景撮影用カメラ１０ｂから遠い位置にあるエリアＡＲａ部分、エリアＡＲｂ部分、およびエリアＡＲｃ部分よりも、近い位置にあるエリアＡＲｄ部分、エリアＡＲｅ部分、およびエリアＡＲｆ部分が大きく表示されている。
　図４Ａまたは図４Ｂいずれかの全景配信映像が生成されて配信され、視聴者端末４０でストリーミング再生が行われているときに、ユーザＵが視聴者端末４０の入力部４４を用いて、表示部４３に表示された全景配信映像の中から視聴したい競技が表示されている位置に対応する枠画像、例えば枠画像Ｆａを選択する操作を行う。ユーザＵが枠画像Ｆａを選択する操作を行うと（Ｓ３の「YES」）、指定情報送信部４５が、選択された枠画像Ｆａを指定する指定情報を生成し、映像配信装置３０に送信する（Ｓ４）。
　映像配信装置３０では、視聴者端末４０から送信された、全景配信映像内の枠画像Ｆａを指定する指定情報を指定情報取得部３１５が取得し（Ｓ５）、この指定情報を全景配信映像生成部３１２に送出する。
　全景配信映像生成部３１２は、指定情報取得部３１５から取得した指定情報に基づいて、この指定情報の送信元の視聴者端末４０に配信する配信映像を、全景配信映像から、指定情報で指定された枠画像Ｆａに対応する、第１部分撮影用カメラ２０ａが撮影した部分映像を用いた部分映像に切り替える。具体的には配信部３１４は、部分映像取得部３１３が第１部分撮影用カメラ２０ａから取得した、符号化されたエリアＡＲａの部分映像を、視聴者端末４０に配信する処理を開始する（Ｓ６）。
　視聴者端末４０では、映像配信装置３０から配信された、符号化された部分映像が、映像取得部４１で取得されてデコーダ４２で復号される。復号された部分映像は、表示部４３に表示されてストリーミング再生される（Ｓ７）。これにより、ユーザＵは所望の競技の映像を、全画面表示で視聴することができる。
　その後、ユーザＵが視聴者端末４０の入力部４４を用いて、枠画像Ｆａの指定を解除して全景配信映像の表示に戻すための操作を行うと（Ｓ８の「YES」）、指定情報送信部４５が、指定解除情報を生成し、映像配信装置３０に送信する（Ｓ９）。
　映像配信装置３０では、視聴者端末４０から送信された指定解除情報を指定情報取得部３１５が取得し（Ｓ１０）、この指定解除情報を配信部３１４および全景配信映像生成部３１２に送出する。
　全景配信映像生成部３１２は、指定情報取得部３１５から指定解除情報を取得すると、上述した全景映像選択処理のいずれかを実行して好適な全景映像を選択し、選択した全景映像を用いた全景配信映像を生成して符号化する。配信部３１４は、指定情報取得部３１５から指定解除情報を取得すると、この指定解除情報の送信元の視聴者端末４０に配信する配信映像を、部分映像から全景配信映像に切り替える。その際、配信部３１４は、指定解除情報の取得後に全景配信映像生成部３１２が生成した全景配信映像を、視聴者端末４０に配信する（Ｓ１１）。その後、映像配信装置３０は、視聴者端末４０から次の指定情報を取得するまで全景配信映像の配信を続行し、指定情報を取得するとステップＳ５に移行する。
　視聴者端末４０は、映像配信装置３０から配信された配信映像が全景配信映像に切り替わると、ステップＳ２に移行して、ストリーミング再生を続行する。
　以上の実施形態によれば、ユーザが全景映像内から視聴したい部分エリアを選択する際に、視聴したい部分エリアを判断しやすい全景映像を、ユーザに提供することができる。
　上述した実施形態において、映像配信システム１内に全景撮影用カメラを３台以上設置した場合には、映像配信装置３０の全景配信映像生成部３１２は全景映像選択処理により、体育館Ｘ内の状況を示す情報または部分映像の配信状況を示す情報に基づいて、複数の全景撮影用カメラそれぞれで撮影された複数の全景映像の中から１つの全景映像を選択する。そして全景配信映像生成部３１２は、全景映像選択処理で選択した全景映像を用いて、全景配信映像を生成する。これにより、さらに精度良く、視聴したい部分エリアを判断しやすい全景映像を、ユーザに提供することができる。
　また、上述した映像配信装置３０の機能構成をプログラム化してコンピュータに組み込むことにより、当該コンピュータを映像配信装置３０として機能させる映像配信プログラムを構築することも可能である。
　本実施形態によれば、ユーザが視聴したい部分エリアを判断しやすい全景映像を配信する、映像配信装置、映像配信システム、および映像配信プログラムを提供することができる。

Claims (8)

  1. 　所定エリアの全景を異なるアングルで撮影してそれぞれ全景映像を生成する複数の全景撮影用カメラと、前記所定エリア内の異なる部分エリアを撮影してそれぞれ部分映像を生成する複数の部分撮影用カメラと、に通信可能に接続される映像配信装置であって、
    　前記複数の全景撮影用カメラのいずれかで撮影された全景映像を用いて全景配信映像を生成して視聴者端末に配信し、前記視聴者端末から、前記複数の部分撮影用カメラそれぞれが撮影する部分映像のいずれかを指定する指定情報を取得すると、この視聴者端末に配信する配信映像を、全景配信映像から、前記指定情報で指定された部分映像に切り替える配信映像生成部を備え、
    　前記配信映像生成部は、前記所定エリア内の状況を示す情報または前記部分映像の配信状況を示す情報に基づいて、前記複数の全景撮影用カメラそれぞれで撮影された複数の全景映像の中から１つの全景映像を選択する全景映像選択処理を実行し、前記全景映像選択処理で選択した全景映像を用いて、前記全景配信映像を生成する、映像配信装置。
  2. 　前記配信映像生成部は、前記所定エリア内の状況を示す情報である、前記所定エリア内にいる人が見ている部分エリア、前記所定エリア内の被写体の動き量、前記所定エリア内の音声、または、前記部分映像の配信状況を示す情報である、前記複数の部分撮影用カメラそれぞれが生成する部分映像ごとの配信数に基づいて、前記全景映像選択処理を実行する、請求項１に記載の映像配信装置。
  3. 　前記配信映像生成部は、前記全景映像選択処理として、複数の前記全景映像のうち、前記被写体を見ている人がより多い前記部分エリアがより大きく映っている全景映像を選択する、請求項２の映像配信装置。
  4. 　前記配信映像生成部は、前記全景映像選択処理として、複数の前記全景映像のうち、前記被写体の動き量がより多い前記部分エリアがより大きく映っている全景映像を選択する、請求項２の映像配信装置。
  5. 　前記配信映像生成部は、前記全景映像選択処理として、複数の前記全景映像のうち、前記配信数がより多い前記部分映像の被写体であるエリアがより大きく映っている全景映像を選択する、請求項２の映像配信装置。
  6. 　前記配信映像生成部は、複数の異なる全景映像選択処理を、予め設定された優先度が高い順に実行し、最初に適正に選択した全景映像を用いて、前記全景配信映像を生成する、請求項１に記載の映像配信装置。
  7. 　所定エリアの全景を異なるアングルで撮影してそれぞれ全景映像を生成する複数の全景撮影用カメラと、
    　前記所定エリア内の異なる部分エリアを撮影してそれぞれ部分映像を生成する複数の部分撮影用カメラと、
    　前記複数の全景撮影用カメラのいずれかで撮影された全景映像を用いて全景配信映像を生成して視聴者端末に配信し、前記視聴者端末から、前記複数の部分撮影用カメラそれぞれが撮影する部分映像のいずれかを指定する指定情報を取得すると、この視聴者端末に配信する配信映像を、全景配信映像から、前記指定情報で指定された部分映像に切り替える配信映像生成部を有する映像配信装置とを備え、
    　前記配信映像生成部は、前記所定エリア内の状況を示す情報または前記部分映像の配信状況を示す情報に基づいて、前記複数の全景撮影用カメラそれぞれで撮影された複数の全景映像の中から１つの全景映像を選択する全景映像選択処理を実行し、前記全景映像選択処理で選択した全景映像を用いて、前記全景配信映像を生成する、映像配信システム。
  8. 　所定エリアの全景を異なるアングルで撮影してそれぞれ全景映像を生成する複数の全景撮影用カメラと、前記所定エリア内の異なる部分エリアを撮影してそれぞれ部分映像を生成する複数の部分撮影用カメラと、に通信可能に接続される映像配信装置であって、
    　前記複数の全景撮影用カメラのいずれかで撮影された全景映像を用いて全景配信映像を生成して視聴者端末に配信し、前記視聴者端末から、前記複数の部分撮影用カメラそれぞれが撮影する部分映像のいずれかを指定する指定情報を取得すると、この視聴者端末に配信する配信映像を、全景配信映像から、前記指定情報で指定された部分映像に切り替える配信映像生成部を備えた前記映像配信装置に、
    　前記所定エリア内の状況を示す情報または前記部分映像の配信状況を示す情報に基づいて、前記複数の全景撮影用カメラそれぞれで撮影された複数の全景映像の中から１つの全景映像を選択する全景映像選択処理を実行し、前記全景映像選択処理で選択した全景映像を用いて、前記全景配信映像を生成して前記視聴者端末に配信する機能を実現させるための映像配信プログラム。
PCT/JP2025/002675 2024-03-14 2025-01-29 映像配信装置、映像配信システム、および映像配信プログラム Pending WO2025192068A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2024-040095 2024-03-14
JP2024040095 2024-03-14

Publications (1)

Publication Number Publication Date
WO2025192068A1 true WO2025192068A1 (ja) 2025-09-18

Family

ID=97063220

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2025/002675 Pending WO2025192068A1 (ja) 2024-03-14 2025-01-29 映像配信装置、映像配信システム、および映像配信プログラム

Country Status (1)

Country Link
WO (1) WO2025192068A1 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2023092665A (ja) * 2021-12-22 2023-07-04 株式会社Ｊｖｃケンウッド 映像配信装置
WO2023171120A1 (ja) * 2022-03-11 2023-09-14 ソニーグループ株式会社 情報処理装置、情報処理方法、およびプログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2023092665A (ja) * 2021-12-22 2023-07-04 株式会社Ｊｖｃケンウッド 映像配信装置
WO2023171120A1 (ja) * 2022-03-11 2023-09-14 ソニーグループ株式会社 情報処理装置、情報処理方法、およびプログラム

Similar Documents

Publication Publication Date Title
JP6267961B2 (ja) 映像提供方法および送信装置
US9774896B2 (en) Network synchronized camera settings
JP6432029B2 (ja) 低コストでテレビ番組を制作する方法及びシステム
US9160965B2 (en) Telepresence communications system and method
US20180225537A1 (en) Methods and apparatus relating to camera switching and/or making a decision to switch between cameras
WO2012043356A1 (ja) コンテンツ送信装置、コンテンツ送信方法、コンテンツ再生装置、コンテンツ再生方法、プログラム、およびコンテンツ配信システム
US20180249189A1 (en) Methods and apparatus for use in a system or device where switching between cameras may occur
JP2005159592A (ja) コンテンツ送信装置およびコンテンツ受信装置
US20180176628A1 (en) Information device and display processing method
US9338480B2 (en) Systems and methods to compensate for the effects of transmission delay
KR101367458B1 (ko) 멀티 앵글 방송 서비스 제공 시스템
CN102036053A (zh) 多角度播放服务提供系统
JP2009239762A (ja) テレビ会議システム、テレビ会議方法
WO2009082057A1 (en) System and method for providing customized broadcasting services in connection with video cameras
JP2003333572A (ja) 仮想観客形成装置およびその方法、仮想観客形成受信装置およびその方法ならびに仮想観客形成プログラム
WO2025192068A1 (ja) 映像配信装置、映像配信システム、および映像配信プログラム
JP2002165200A (ja) 遠隔観戦サービスシステム
US20150150040A1 (en) Interactive audio/video broadcast system, method for operating the same and user device for operation in the interactive audio/video broadcast system
JP2004023315A (ja) 視聴映像課金方法及びシステム
US20190068997A1 (en) Production of Alternative Views for Display on Different Types of Devices
KR100811022B1 (ko) 방송카메라와 연동된 주문형 방송서비스방법
JP2007104540A (ja) 撮影画像配信装置、撮影画像配信プログラム及び撮影画像配信方法
KR101261559B1 (ko) 시청자 중심 방송 제공 방법 및 시스템과 이를 위한 방송수신장치
US20180213127A1 (en) Virtual protocol
CN117939183A (zh) 多机位自由视角导播方法、系统

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2025517748

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 2025517748

Country of ref document: JP

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 25770107

Country of ref document: EP

Kind code of ref document: A1