WO2022137606A1 - 管理サーバ - Google Patents

管理サーバ Download PDF

Info

Publication number
WO2022137606A1
WO2022137606A1 PCT/JP2021/022285 JP2021022285W WO2022137606A1 WO 2022137606 A1 WO2022137606 A1 WO 2022137606A1 JP 2021022285 W JP2021022285 W JP 2021022285W WO 2022137606 A1 WO2022137606 A1 WO 2022137606A1
Authority
WO
WIPO (PCT)
Prior art keywords
distribution
camera
video
management server
user
Prior art date
Application number
PCT/JP2021/022285
Other languages
English (en)
French (fr)
Inventor
宗久 岡田
Original Assignee
株式会社エイリアンミュージックエンタープライズ
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社エイリアンミュージックエンタープライズ filed Critical 株式会社エイリアンミュージックエンタープライズ
Priority to US18/258,318 priority Critical patent/US20240031618A1/en
Priority to JP2022571018A priority patent/JP7344610B2/ja
Publication of WO2022137606A1 publication Critical patent/WO2022137606A1/ja
Priority to JP2023113961A priority patent/JP2023133328A/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/233—Processing of audio elementary streams
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/24—Monitoring of processes or resources, e.g. monitoring of server load, available bandwidth, upstream requests
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2668—Creating a channel for a dedicated end-user group, e.g. insertion of targeted commercials based on end-user profiles
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/27—Server based end-user applications
    • H04N21/274—Storing end-user multimedia data in response to end-user request, e.g. network recorder
    • H04N21/2743—Video hosting of uploaded data from client
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/482—End-user interface for program selection

Definitions

  • This disclosure relates to a management server connected to a user terminal and a distributor terminal via a network.
  • the distributor when watching a live concert video delivered online, the distributor can switch the video taken by multiple cameras so that the user can watch the video from multiple viewpoints.
  • Patent Document 1 discloses a system that acquires audio data obtained when video data is acquired and appropriately processes the audio data according to the situation of the video data.
  • the inventor of the present application appropriately visualizes the sound of a live concert actually heard at the position of the camera and the image corresponding to the position of the camera on the user terminal. Recognized the issue of not being able to provide.
  • An object of the present disclosure is to provide a management server capable of matching the image at the position of the shooting target by the camera and the sound corresponding to the position of the shooting target according to the position of the shooting target.
  • the present disclosure is a management server connected to a user terminal and a distributor terminal via a network, and is a camera extraction unit that receives a desired camera selected by the user by operating the user terminal from the user terminal.
  • the voice extraction unit that receives the voice generation data obtained by the microphone from the voice corresponding to the shooting target shot by the desired camera from the distributor terminal, and the video generation data corresponding to the shooting target are distributed. Distribution delivered to the user terminal by calculating the distance between the video extraction unit received from the user terminal and the desired camera to the shooting target, and multiplying the voice generation data by a coefficient determined according to the distance. It has a distribution audio generation unit that generates a distribution audio unit, a distribution video generation unit that generates a distribution video to be distributed to the user terminal based on the image to be photographed and the distribution audio.
  • the management server can distribute the sound heard at the position of the desired camera together with the image corresponding to the position of the desired camera, and provide the sound at the position of the shooting target to be shot by the camera.
  • FIG. 1 It is a figure which shows the outline of the configuration example of the live screen providing system in one Embodiment of this invention.
  • (A) is a diagram showing an outline of user information stored in a user information storage unit of a management server according to an embodiment of the present invention, and (b) is a diagram showing an outline of desired distribution screen information.
  • (A) is a diagram showing an outline of distributor information stored in a distributor information storage unit of a management server according to an embodiment of the present invention, and (b) is a diagram showing an outline of voice generation data. be.
  • FIG. 1 It is a figure which shows the outline of the distributor information acquisition processing and the distributor information storage processing in one Embodiment of this invention.
  • (A) is a plan view of the stage and the venue when the video to be delivered is a live concert, and (b) is the position information of each camera, the distance from each camera to each microphone, and the audio track coefficient.
  • a chart showing the relationship between the above and (c) is a diagram showing an outline of the process of calculating the distribution audio.
  • FIG. 1 is a diagram showing an outline of a configuration example of a live screen providing system 30 according to an embodiment of the present invention.
  • the live screen providing system 30 has a user terminal 100, a distributor terminal 110, and a management server 120 connected to the user terminal 100 and the distributor terminal 110 via a network.
  • Networks include those that are built either wirelessly or wired, and those that are built both wirelessly and wiredly.
  • a plurality of user terminals 100 can be connected to the management server 120, but FIG. 1 shows a single user terminal 100 for convenience.
  • the management server 120 includes a control circuit 120A, a user information storage unit 130, a distributor information storage unit 131, a distribution audio storage unit 132, a distribution video storage unit 133, a distribution screen storage unit 134, and a distribution unit. It has an audio generation unit 140, a distribution video generation unit 150, a distribution screen generation unit 160, a distribution screen providing unit 170, and a video switching unit 180.
  • the control circuit 120A is a computer having a communication unit, an input port, an output port, a central processing unit, a comparison circuit, and the like.
  • the signal transmitted from the user terminal 100 and the distributor terminal 110 is input to the input port via the communication unit.
  • the signal output from the control circuit 120A is transmitted to the user terminal 100 and the distributor terminal 110 via the output port and the communication unit.
  • the signal is an electrical signal including information, data, video, image, sound, and the like.
  • Control circuit 120A user information storage unit 130, distributor information storage unit 131, distribution audio storage unit 132, distribution video storage unit 133, distribution screen storage unit 134, distribution audio generation unit 140, distribution video generation unit. Signals are exchanged between the 150, the distribution screen generation unit 160, the distribution screen providing unit 170, and the video switching unit 180.
  • the control circuit 120A includes a user information storage unit 130, a distributor information storage unit 131, a distribution audio storage unit 132, a distribution video storage unit 133, a distribution screen storage unit 134, a distribution audio generation unit 140, and a distribution video generation unit.
  • 150, the distribution screen generation unit 160, the distribution screen providing unit 170, and the video switching unit 180 are controlled, managed, and monitored.
  • the user information storage unit 130 stores user information 200 (described later, FIG. 2) transmitted from the user terminal 100.
  • the distributor information storage unit 131 stores the distributor information 300 (described later, FIG. 3) transmitted from the distributor terminal 110.
  • the distribution audio storage unit 132 stores distribution audio 800 (described later, FIGS. 7 and 8).
  • the distribution video storage unit 133 stores the distribution video 900 (described later, FIG. 9).
  • the distribution screen storage unit 134 stores a distribution screen 1000 (described later, FIG. 10) and a screen after switching 1300 (described later, FIG. 13).
  • the distribution voice generation unit 140 extracts the desired camera 220 based on the user information 200 stored in the user information storage unit 130, acquires the distributor information 300 from the distributor terminal 110, and obtains the distributor information 300 from the distributor information 300.
  • the voice generation data 310 is extracted, the camera position information and the microphone position information corresponding to the desired camera 220 are extracted from the voice generation data 310, and each microphone is used based on the camera position information and the microphone position information.
  • Calculate the distance calculate the inverse of the number obtained by dividing the distance from each microphone by the distance from the vocal microphone as the audio track coefficient, and multiply the audio track coefficient by the volume of the track sound collected by each microphone.
  • the audio 800 for distribution is generated by mixing the sound of each track.
  • the distribution video generation unit 150 generates the distribution video 900 based on the distributor information 300 acquired with reference to the desired camera 220 and the distribution audio 800.
  • the distribution screen generation unit 160 generates the distribution screen 1000 based on the distribution audio 800 and the distribution video 900.
  • the distribution screen providing unit 170 provides the generated distribution screen 1000 to the user terminal 100.
  • FIG. 2A is a diagram showing an outline of a configuration example of user information 200 stored in the user information storage unit 130 of the management server 120 according to the embodiment of the present invention.
  • the user information 200 is composed of items such as a user ID, a user name, an age, an address, a viewing history, and desired distribution screen information 210.
  • the user ID indicates a code for the management server 120 to identify the user.
  • the user name indicates the name of the user.
  • the address indicates the user's address.
  • FIG. 2B is a diagram showing an outline of a configuration example of the desired distribution screen information 210 of the management server 120 according to the embodiment of the present invention.
  • the desired distribution screen information 210 indicates information such as a desired ID, a viewing date and time, a distributor ID, a distribution screen ID, and a desired camera 220.
  • the desired ID indicates a code for the management server 120 to identify the user's wishes.
  • the viewing date and time indicates the date and time when the user desires to view the distribution screen 1000 (details will be described later).
  • the distributor ID indicates a code for identifying the distributor.
  • the distribution screen ID indicates a code for identifying the distribution screen 1000.
  • the “desired camera 220” indicates a camera at a shooting position desired by the user among a plurality of cameras that are shooting a video to be viewed on the distribution screen 1000.
  • the desired camera 220 is selected by the user by operating the user terminal 100.
  • the desired camera 220 includes a camera (Ct) that shoots the entire stage as shown in FIG. 7 (a), a camera (Cb) that shoots with the vocalist up, a camera (Cg) that shoots with the guitarist up, and the like. Indicates a camera selected by the user from the cameras. That is, for example, when the user wants to view the image taken by the "camera that shoots the entire stage" (Ct), the desired camera 220 at this time is "Ct".
  • the positions of the cameras Ct, Cb, and Cg in the venue 700 are different from each other.
  • FIG. 3 is a diagram showing an outline of the distributor information 300 stored in the distributor information storage unit 131 of the management server 120 according to the embodiment of the present invention.
  • the distributor information 300 is composed of items such as a distributor ID, a distributor name, distribution screen information, audio generation data 310, and video generation data.
  • the distributor ID indicates a code for the management server 120 to identify the distributor.
  • the distributor name indicates the name of the distributor.
  • the distribution screen information indicates information such as a distribution screen ID and a distribution date and time.
  • the video generation data indicates information for the management server 120 to generate a video to be displayed on the distribution screen 1000.
  • the image generation data includes various data such as information about a camera corresponding to the desired camera 220, an image of a shooting target, and image quality related to the image.
  • the shooting target can also be defined as a shooting target.
  • the voice generation data 310 is composed of items such as data ID, microphone information, microphone position information, camera information, and camera position information.
  • the data ID indicates a code for the management server 120 to identify the voice generation data 310.
  • the microphone information indicates information such as the type of microphone used for distribution by the distributor, the sound collection target, the name of the microphone, and the attributes.
  • the microphone information of the microphones is for Vo shown in FIG. 7 (a).
  • the microphone (vocal microphone) 10 is indicated as "for Vo”
  • the Gt microphone 11 is indicated as “for Gt”
  • the Ba microphone 12 is indicated as “for Ba”
  • the Dr microphone 13 is indicated as "for Dr”, and the like.
  • the positions of the Vo microphone 10, the Gt microphone 11, the Ba microphone 12, and the Dr microphone 13 are different in the venue 700.
  • Microphone position information indicates information about the position of the microphone.
  • the camera information indicates information such as the type of camera used for distribution by the distributor, the shooting target, the name of the camera, and the attributes. For example, if the cameras used by the distributor for distribution are five cameras that shoot the entire stage, vocalist, guitarist, bassist, and drummer, the camera information of the cameras is "Ct”, “Cv”, and “Cv”. It is indicated as “Cb”, "Cd” and the like.
  • Camera position information indicates information about the position of the camera.
  • the management server 120 can calculate the distance to each microphone for any camera. Then, by using the calculated distance, the management server 120 can generate the distribution voice 800 (details will be described later).
  • FIG. 4 is a diagram showing an outline of the entire process according to the embodiment of the present invention.
  • step S401 the management server 120 performs user information acquisition processing and user information storage processing (described later in FIG. 5).
  • step S402 the management server 120 performs a distributor information acquisition process and a distributor information storage process (described later in FIG. 6).
  • step S403 the management server 120 performs a distribution voice generation process (described later in FIGS. 7 and 8).
  • step S404 the management server 120 performs a distribution video generation process (described later in FIG. 9).
  • step S405 the management server 120 performs a distribution screen generation process and a distribution screen storage process (described later in FIGS. 10 and 11).
  • step S406 the management server 120 performs a distribution screen provision process (described later in FIG. 12).
  • step S407 when the user switches the video, in step S407, the management server 120 performs the video switching process (described later in FIGS. 13 and 14).
  • step S408 the management server 120 performs a screen provision process (described later in FIG. 15) after switching.
  • FIG. 5A is a diagram showing an outline of the user information storage process performed in step S401 of FIG.
  • the management server 120 stores the user information 200
  • step S501 the management server 120 provides the user information input screen to the user terminal 100.
  • step S502 the user terminal 100 causes the user information input screen to be displayed on the display 100A.
  • the user terminal 100 receives the input of the user information 200 from the user in step S503.
  • the user information 200 received from the user at this time includes the desired distribution screen information 210.
  • the information input by the user may include login information of an external account (SNS or the like) or a password.
  • step S504 the user terminal 100 transmits the user information 200 that has received the input in step S503 to the management server 120.
  • step S505 the management server 120 receives the user information 200 transmitted in step S504, so that the control circuit 120A acquires the user information 200.
  • step S506 the control circuit 120A attaches a user ID to the acquired or changed user information 200, and stores the user information 200 received for input in step S503 in the user information storage unit 130.
  • FIG. 5B is a diagram showing an outline of a user information acquisition process according to an embodiment of the present invention. Hereinafter, a method for the management server 120 to acquire the user information 200 will be described.
  • the user terminal 100 accepts the input of the user ID from the user in step S507.
  • the user ID is included in the user information 200.
  • step S508 the user terminal 100 transmits the user ID that received the input in step S507 to the management server 120.
  • step S509 the management server 120 acquires the user information 200 corresponding to the key of the user ID transmitted in step S508 from the user information storage unit 130.
  • step S505, step S506, and step S509 corresponds to the process of step S401 in FIG.
  • FIG. 6A is a diagram showing an outline of the distributor information storage process performed in step S402 of FIG.
  • the management server 120 stores the distributor information 300
  • step S601 the management server 120 provides the distributor information input screen to the distributor terminal 110.
  • step S602 the distributor terminal 110 displays the distributor information input screen on the display.
  • the distributor terminal 110 inputs the distributor information 300 to the distributor. Accept from.
  • the distributor information 300 received from the distributor at this time includes the distributor information 300.
  • the information input by the distributor may include login information of an external account (SNS or the like) or a password.
  • step S604 the distributor terminal 110 transmits the distributor information 300, which has received the input in step S603, to the management server 120.
  • step S605 the management server 120 acquires the distributor information 300 by receiving the distributor information 300 transmitted in step S604.
  • step S606 the control circuit 120A of the management server 120 attaches the distributor ID to the distributor information 300 acquired or changed, and distributes the distributor information 300 that has received the input in step S603. It is stored in the information storage unit 131.
  • FIG. 6B is a diagram showing an outline of the distributor information acquisition process performed in step S402 of FIG.
  • a method for the management server 120 to acquire the distributor information 300 will be described.
  • the distributor terminal 110 accepts the input of the distributor ID from the distributor in step S607.
  • the distributor ID is included in the distributor information 300.
  • the distributor terminal 110 transmits the distributor ID that received the input in step S607 to the management server 120.
  • step S609 the management server 120 acquires the distributor information 300 corresponding to the key of the distributor ID transmitted in step S608 from the distributor information storage unit 131.
  • FIG. 7 is a diagram showing an outline of the distribution audio 800 according to the embodiment of the present invention.
  • FIG. 7A shows an outline of a plan view of a stage and a venue when, for example, the video to be delivered is a live concert.
  • a microphone 710 is installed in the stage portion
  • a camera 720 is installed in the audience seat portion.
  • an amplifier / speaker 730 is installed at a predetermined place.
  • the venue 700 is a shooting target of the camera 720.
  • the microphone 710 may be installed in the audience seat portion.
  • the camera 720 may be installed on the stage portion.
  • the camera Ct shoots the entire stage, and the camera Cg shoots with the guitarist up. Further, the Vo microphone 10 collects vocal sounds, and the Gt microphone 11 collects guitar sounds.
  • the management server 120 can upload and shoot for each performer and collect different sounds for each performer. Further, the management server 120 can obtain microphone position information and camera position information.
  • FIG. 7B shows camera position information for each camera Cb, Cg, and Ct, a distance to each microphone (Ln), an audio track coefficient ( ⁇ ), and audio for distribution 800.
  • FIG. 7B shows an outline of the flow until the management server 120 generates the distribution voice 800.
  • the data necessary for calculating the audio track coefficient ⁇ is stored in advance in the distribution audio generation unit 140 or a storage unit (not shown).
  • the management server 120 calculates the distance (Ln) based on the microphone position and the camera position of the microphone 710 for which the audio track coefficient ⁇ is to be obtained. Next, the management server 120 calculates the reciprocal of the number obtained by dividing the distance Ln from the microphone 710 by the distance L1 from the Vo microphone as the audio track coefficient ⁇ .
  • the calculation method of the audio track coefficient ⁇ is not limited to the above.
  • the audio track coefficient ⁇ may be calculated by further multiplying “the reciprocal of the number obtained by dividing the distance Ln by the distance L1” by a predetermined constant.
  • the management server 120 multiplies the calculated audio track coefficient ⁇ by the volume of the sound collected by each microphone 10, 11, 12, and 13. By mixing each track sound obtained by this, the management server 120 generates the distribution voice 800.
  • the volume of “Vo” is the loudest, followed by “Gt” and “Ba”, and “ The volume of "Dr” is the lowest and mixed. This is because the position of the camera Ct is the closest to the microphone for Vo, followed by the microphone for Gt and the microphone for Ba, and the distance from the microphone for Dr is the longest. That is, the management server 120 generates the sound that is close to the volume balance of each musical instrument that is actually heard at the position of the camera Ct as the sound for distribution 800. For the cameras Cb and Cg, the distribution audio 800 is generated in the same manner. The closer the camera is to the microphone, the louder the volume.
  • the management server 120 can generate the audio of the live concert that is actually heard at the positions of the cameras Cb, Ct, and Cg of the camera 720 as the audio 800 for distribution.
  • FIG. 8 is a diagram showing an outline of the distribution voice generation process performed in step S403 of FIG.
  • the distribution voice generation unit 140 of the management server 120 acquires the user information 200 from the user information storage unit 130.
  • step S802 the distribution voice generation unit 140 extracts the distributor ID, the distribution screen ID, and the desired camera 220 from the desired distribution screen information 210 included in the user information 200 acquired in step S801.
  • step S803 the distribution voice generation unit 140 acquires the distributor information 300 from the distributor information storage unit 131.
  • step S804 the distribution voice generation unit 140 refers to the distributor information 300 including the distributor ID and the distribution screen ID extracted in step S802 from the distributor information 300 acquired in step S803. , The corresponding voice generation data 310 is extracted.
  • step S805 the distribution voice generation unit 140 extracts camera information and camera position information corresponding to the desired camera 220 extracted in step S802 from the voice generation data 310 acquired in step S804.
  • the audio track coefficient ⁇ is calculated from the camera information and the camera position information associated with the data ID.
  • the distribution audio generation unit 140 calculates the distance (Ln) based on the microphone position and the camera position of the microphone 710 for which the audio track coefficient ⁇ is to be obtained. Next, the distribution audio generation unit 140 calculates the reciprocal of the number obtained by dividing the distance Ln from the microphone 710 by the distance L1 from the Vo microphone 10 as the audio track coefficient ⁇ .
  • the calculation method of the audio track coefficient ⁇ is not limited to the above.
  • the audio track coefficient ⁇ may be calculated by further multiplying “the reciprocal of the number obtained by dividing the distance Ln by the distance L1” by a predetermined constant.
  • step S806 the distribution audio generation unit 140 generates the distribution audio 800 by mixing and mastering each track sound based on the audio track coefficient ⁇ calculated in step S805.
  • the distribution audio generation unit 140 multiplies the calculated audio track coefficient ⁇ by the volume of the sound collected by each microphone. By mixing the track sounds obtained in this manner, the distribution audio generation unit 140 generates the distribution audio 800.
  • step S807 the distribution voice generation unit 140 stores the distribution voice 800 generated in step S806 in the distribution voice storage unit 132.
  • step S808 the distribution audio generation unit 140 requests the distribution video generation unit 150 to generate the distribution video 900.
  • FIG. 9 is a diagram showing an outline of the video generation process for distribution performed in step S404 of FIG.
  • the distribution video generation unit 150 of the management server 120 receives the generation request for the distribution video 900 requested in step S808.
  • step S902 the distribution video generation unit 150 acquires the user information 200 of the user requesting the generation of the distribution video 900 from the user information storage unit 130.
  • step S903 the distribution video generation unit 150 extracts the distributor ID and the desired camera 220 included in the desired distribution screen information 210 of the user information 200 acquired in step S902.
  • step S904 the distribution video generation unit 150 refers to the distributor ID and the desired camera 220 extracted in step S903, acquires the corresponding distributor information 300 from the distributor information storage unit 131, and obtains the corresponding distributor information 300 from the distributor information storage unit 131.
  • the corresponding distribution voice 800 is acquired from the distribution voice storage unit 132.
  • the distribution video generation unit 150 uses the distribution audio 800 of the camera Ct for the distributor whose distributor ID is B0001. get.
  • step S905 the distribution video generation unit 150 generates the distribution video 900 based on the distributor information 300 and the distribution audio 800 acquired in step S904.
  • the distribution video 900 is generated by referring to the video generation data included in the distributor information 300 and distributing the distribution audio 800 corresponding to the desired camera 220 in synchronization with the video.
  • the distribution video generation unit 150 stores the distribution video 900 generated in step S905 in the distribution video storage unit 133.
  • step S907 the distribution video generation unit 150 requests the distribution screen generation unit 160 to generate the distribution screen 1000.
  • FIG. 10 is a diagram showing an outline of the distribution screen 1000 according to the embodiment of the present invention.
  • the distribution screen 1000 includes a video display area 1010, a desired camera display area 1020, and a video switching tab 1030.
  • the distribution screen 1000 is displayed on the display 100A of the user terminal 100.
  • the video display area 1010 displays the contents of the distribution video 900.
  • the method of displaying the video display area 1010 is not particularly limited.
  • the desired camera display area 1020 displays the contents of the desired camera 220 selected by the user. For example, when the user wants to view an image of the entire stage, the desired camera 220 is "camera Ct", and the desired camera display area 1020 is displayed by a name such as "floor”. In addition, "floor” is a name corresponding to "camera Ct”. Further, the method of displaying the desired camera display area 1020 is not particularly limited.
  • the desired camera display area 1020 has a function for the user to select a desired camera when he / she wishes to switch the image displayed on the distribution screen 1000 provided by the user. That is, a plurality of cameras Cb, Ct, and Cg are displayed in the desired camera display area 1020, and the user can select a desired camera from the plurality of cameras Cb, Ct, and Cg.
  • the video switching tab 1030 indicates a tab for notifying the management server 120 of the video switching instruction when the user wishes to switch the video displayed on the distribution screen 1000 provided. That is, when the video switching tab 1030 receives a tap or click input from the user, the management server 120 notifies the management server 120 of the video switching instruction.
  • the management server 120 displays the distribution screen 1000 that distributes the sound of the live concert actually heard at each position of the cameras Cb, Cg, and Ct in the camera 720 together with the image corresponding to the position of the camera. It can be provided to the user terminal 100.
  • FIG. 11 is a diagram showing an outline of the distribution screen generation process performed in step S405 of FIG.
  • the distribution screen generation unit 160 of the management server 120 receives the generation request for the distribution screen 1000 requested in step S907.
  • step S1102 the distribution screen generation unit 160 acquires the distribution voice 800 required for generating the distribution screen 1000 from the distribution voice storage unit 132.
  • step S1103 the distribution screen generation unit 160 acquires the distribution video 900 required for generating the distribution screen 1000 from the distribution video storage unit 133.
  • step S1104 the distribution screen generation unit 160 generates the distribution screen 1000 based on the distribution audio 800 acquired in step S1102 and the distribution video 900 acquired in step S1103.
  • step S1105 the distribution screen generation unit 160 stores the distribution screen 1000 generated in step S1104 in the distribution screen storage unit 134.
  • step S1106 the distribution screen generation unit 160 requests the distribution screen providing unit 170 to provide the distribution screen 1000.
  • FIG. 12 is a diagram showing an outline of a configuration example of the distribution screen providing process performed in step S406 of FIG.
  • the distribution screen providing unit 170 of the management server 120 receives the request for providing the distribution screen 1000 requested in step S1106.
  • step S1202 the distribution screen providing unit 170 extracts the distribution screen 1000 to be provided from the distribution screen storage unit 134.
  • the distribution screen providing unit 170 extracts the user information 200 about the user who wants to provide the distribution screen 1000 extracted in step S1202 from the user information storage unit 130.
  • step S1204 the distribution screen providing unit 170 provides the distribution screen 1000 to the user terminal 100.
  • step S1205 the user terminal 100 causes the display 100A to display the distribution screen 1000 provided by the management server 120 in step S1204.
  • step S1206 when the user terminal 100 wishes to switch the image displayed on the distribution screen 1000 provided by the user, the user terminal 100 displays a plurality of cameras Cb, Cg, Ct in the desired camera display area 1020. Among them, the selection of the desired camera 220 is accepted from the user who has selected the desired camera.
  • step S1207 the user terminal 100 determines whether or not the press input of the video switching tab 1030 has been received from the user. If the user terminal 100 determines YES in step S1207, the management server 120 performs the process of step S1208. If the user terminal 100 determines NO in step S1207, the user terminal 100 ends this process.
  • step S1208 when the management server 120 wishes to switch the video displayed on the distribution screen 1000 provided by the user, the management server 120 notifies the management server 120 of the video switching instruction. After that, the management server 120 requests the video switching unit 180 for the video switching request of the distribution screen 1000.
  • the management server 120 provides the user with the sound of the live concert actually heard at the position of the camera 720 (desired camera 220) desired by the user as the distribution screen 1000 together with the image corresponding to the position of the camera. can.
  • FIG. 13 is a diagram showing an outline of the screen after switching 1300 according to the embodiment of the present invention.
  • the post-switching screen 1300 includes a video display area 1310, a desired camera display area 1320, and a re-switching tab 1330. After switching, the screen 1300 is displayed on the display 100A of the user terminal 100.
  • the video display area 1310 displays the contents of the distribution video 900 after switching the camera.
  • the method of displaying the video display area 1310 is not particularly limited.
  • the desired camera display area 1320 displays the contents of the desired camera 220 newly selected by the user.
  • the method of displaying the desired camera display area 1320 is not particularly limited.
  • the desired camera display area 1320 has a function for the user to select a desired camera when he / she wishes to switch the image displayed on the screen 1300 after switching provided by the user again. That is, a plurality of cameras are displayed in the desired camera display area 1320, and the user can select a desired camera from the plurality of cameras.
  • the re-switching tab 1330 indicates a tab for notifying the management server 120 of the re-switching instruction when the user wishes to switch the video displayed on the screen 1300 after switching again. That is, when the re-switching tab 1330 receives a tap or click input from the user, the management server 120 notifies the management server 120 of the re-switching instruction.
  • FIG. 14 is a diagram showing an outline of the video switching process performed in step S407 of FIG.
  • the video switching unit 180 of the management server 120 receives the video switching request of the distribution screen 1000 requested in step S1207 or the reswitching request of the post-switching screen 1300 requested in step S1508.
  • step S1402 the video switching unit 180 acquires the distribution audio 800 corresponding to the desired camera 220 selected in step S1206 or step S1506 from the distribution audio storage unit 132.
  • step S1403 the video switching unit 180 acquires the distribution video 900 corresponding to the desired camera 220 selected in step S1206 or step S1506 from the distribution video storage unit 133.
  • step S1404 the video switching unit 180 generates a screen 1300 after switching based on the distribution audio 800 acquired in step S1402 and the distribution video 900 acquired in step S1403.
  • step S1405 the video switching unit 180 stores the switched screen 1300 generated in step S1404 in the distribution screen storage unit 134.
  • step S1406 the video switching unit 180 requests the distribution screen providing unit 170 to provide the screen 1300 after switching.
  • FIG. 15 is a diagram showing an outline of the post-switching screen providing process performed in step S408 of FIG.
  • the distribution screen providing unit 170 of the management server 120 receives the request for providing the screen after switching 1300 requested in step S1406.
  • step S1502 the distribution screen providing unit 170 extracts the switching screen 1300 to be provided from the distribution screen storage unit 134.
  • step S1503 the distribution screen providing unit 170 extracts the user information 200 about the user who wants to provide the switched screen 1300 extracted in step S1502 from the user information storage unit 130.
  • step S1504 the distribution screen providing unit 170 provides the screen 1300 after switching to the display 100A of the user terminal 100.
  • the user terminal 100 displays the switched screen 1300 provided by the management server 120 in step S1504 on the display of the terminal.
  • step S1506 when the user terminal 100 wishes to switch the image displayed on the screen 1300 after switching provided by the user again, among the plurality of cameras displayed in the desired camera display area 1320, the user terminal 100 wants to switch again. , Accepts the selection of the desired camera 220 from the user who has selected the desired camera.
  • step S1507 the user terminal 100 determines whether or not the push input of the re-switching tab 1330 has been received from the user. If the user terminal 100 determines YES in step S1507, the management server 120 performs the process of step S1508. If the user terminal 100 determines NO in step S1507, the user terminal 100 ends this step.
  • step S1508 when the management server 120 wishes to switch the video displayed on the screen 1300 after switching provided by the user again, the management server 120 notifies the management server 120 of the re-switching instruction. After that, the management server 120 requests the video switching unit 180 to request re-switching of the screen 1300 after switching. After that, the management server 120 proceeds to the process of step S1401 and repeats the subsequent processes.
  • the management server 120 can provide the user with the post-switching screen 1300 in which the distribution audio 800 and the distribution video 900 are switched according to the switching of the desired camera 220.
  • the configuration of the live screen providing system 30 in the second embodiment is the same as that in the first embodiment.
  • the distribution sound 810 in the present embodiment the monitor sound of the performer playing on the stage or the wearable microphone is attached to the performer, and the sound collected by the wearable microphone is adopted as it is. That is, the distribution audio 810 in the present embodiment is not generated by using the camera position, the microphone position, and the audio track coefficient as shown in FIG. 7.
  • the management server 120 distributes the sound of the live concert actually being heard by the performer uploaded by the camera 720 (desired camera 220) desired by the user, together with the image corresponding to the position of the camera. It can be provided to the user as the screen 1000.
  • the user wants a video to upload the bassist, he / she can watch the "sound that the bassist is listening to on the stage" together with the video, and the user himself stands on the stage as a bassist and listens there. You can experience the sound in a simulated manner.
  • the audio and video related to the distribution are not limited to those related to the "live concert”. That is, the audio and video related to the distribution are intended for all activities of live distribution using a camera and a microphone, such as "lectures, seminars, sports such as baseball and soccer", and are the same as in the first and second embodiments. Each process related to the system and implementation of is applicable.
  • the management server 120 can provide the user with the sound of sports or the like actually heard at the position of the camera 720 (desired camera 220) desired by the user as the distribution screen 1000 together with the image corresponding to the position of the camera.
  • the management server 120 displays the sound of the live concert actually heard at the position of the camera 720 (desired camera 220) desired by the user as an image corresponding to the position of the camera. At the same time, it can be provided to the user terminal 100 as a distribution screen 1000.
  • the management server 120 can provide the user terminal 100 with the switched screen 1300 in which the distribution audio 800 and the distribution video 900 are switched according to the switching of the desired camera 220.
  • the user simply switches the desired camera 220 in the distribution screen 1000 to present a desired viewpoint in the live concert venue, specifically, a sound heard in a predetermined direction and a predetermined position. You can experience it with a feeling.
  • FIG. 16 is a plan view showing, for example, a stage of a video to be distributed and another example of the venue 700.
  • the venue 700 there are a first area 22 where the audience is, a second area 23 where the back band is, a third area 24 where the orchestra is, and a chorus so as to surround the predetermined position P1 where the camera 20 and the microphone 21 are provided.
  • the fourth area 25 in which the user is located is divided.
  • the predetermined position P1 is located in the fifth area 26, which is outside the first area 22, the second area 23, the third area 24, and the fourth area 25.
  • the first area 22, the second area 23, the third area 24, and the fourth area 25 are located within a range of different angles within a range of 360 degrees in the circumferential direction centered on the predetermined position P1. ..
  • the predetermined position P1 is located in front of the first area 22, the second area 23, the third area 24, and the fourth area 25.
  • the first area 22 is located within a range of approximately 90 degrees on the left side centered on the predetermined position P1, and the second area is located within a range of approximately 90 degrees on the upper side centered on the predetermined position P1.
  • 23 is located
  • the third area 24 is located within a range of approximately 90 degrees on the right side centered on the predetermined position P1
  • the fourth area 25 is located within a range of approximately 90 degrees on the lower side centered on the predetermined position P1. Is located.
  • the first area 22, the second area 23, the third area 24, and the fourth area 25 do not overlap each other. Further, in FIG.
  • the first area 22, the second area 23, the third area 24, and the fourth area 25 are represented by substantially quadrangular plane shapes in the venue 700, but are circular, elliptical, triangular, and the like. But it may be. Further, the positional relationship between the first area 22, the second area 23, the third area 24, and the fourth area 25 in the circumferential direction centered on the predetermined position P1 is not limited to that shown in FIG.
  • the camera 20 and the microphone 21 may be placed on the floor or hung from the ceiling.
  • the camera 20 is a 360-degree camera, captures an omnidirectional 360-degree image centered on a predetermined position P1, and signals the image to be transmitted to the distributor terminal 110 shown in FIG. Further, the camera 20 uses the zoom function to select a subject located at an arbitrary distance from the lens among subjects having different distances from the lens to the subject in a state where the shooting direction is the same, and the image of the subject is imaged. It is possible to magnify and shoot clearly.
  • the camera 20 is displayed as a desired camera on the display 100A of the user terminal 100.
  • the management server 120 controls the direction of the video captured by the camera 20 within a range of 360 degrees centered on the camera 20, specifically.
  • the clockwise angle ⁇ 1 can be calculated for the direction Q1 having the angle ⁇ 1 with respect to the straight line P2.
  • the management server 120 can calculate the distance from the camera 20 to the subject reflected in the image in the direction Q1 taken by the camera 20.
  • the straight line P2 is a virtual line passing through the predetermined position P1 and is located at substantially the center of the first area 22 in FIG. 16 for convenience, but is not limited to this position.
  • the microphone 21 is a super-directional 360-degree microphone, has a function of recording sound in all directions of 360 degrees in all directions centered on a predetermined position P1, and has a function of recording sound within a predetermined distance range from a predetermined position P1 at each position. It has a function to record every time. The distance that can be picked up by the microphone 21 is determined by the sound picking function of the microphone 21. The microphone 21 converts the recorded voice into a signal and transmits it to the distributor terminal 110.
  • the user changes the direction Q1 as seen from the camera 20 by operating the image switching tab 1030 as shown in FIG. 13, and changes the distance L3 from the camera 20 to obtain the desired position P3. Can be selected.
  • the management server 120 when the management server 120 generates the distribution voice 800 as in FIG. 8, the camera 20 is extracted as the desired camera 220 in step S802. Further, the management server 120 generates the distribution audio 800 by processing the video information taken by the camera 20 and the audio information obtained from the microphone 21 in steps S805 and S806 of FIG.
  • the audio track coefficient is set to "1.00" at a position at a predetermined distance from the predetermined position P1, and the audio track coefficient is set to be relatively small as the distance L3 becomes relatively large.
  • the same effect as that of the other embodiments can be obtained.
  • the user terminal includes not only a smartphone but also various types of user terminals such as a notebook PC, a tablet terminal, and VR (Virtual Reality) goggles.
  • the distribution screen 1000 in FIG. 10 is displayed with VR goggles.
  • the functions of the desired camera display area 1020 and the image switching tab 1030 are achieved by a controller attached to the VR goggles, a smartphone or a tablet terminal capable of communicating with the VR goggles, or the like.
  • the screen 1300 after switching in FIG. 13 is displayed with VR goggles.
  • the functions of the desired camera display area 1320 and the re-switching tab 1330 are achieved by a controller attached to the VR goggles, a smartphone or a tablet terminal capable of communicating with the VR goggles, or the like.
  • each of the above configurations, functions, and processing units may be partially or wholly realized by hardware (for example, an integrated circuit).
  • each of the above configurations, functions, and processing units is installed-type software via a network or by a storage medium such as a disk, or a network-type application such as an ASP, in which a processor interprets and executes a program that realizes each function. It may be realized.
  • Information such as programs, tables, and files that realize each function can be placed in a memory, a hard disk, a recording device such as an SSD (Solid State Drive), or a recording medium such as an IC card, an SD card, or a DVD.
  • SSD Solid State Drive
  • the image taken by the camera may be sports, drama, or the like.
  • a camera and a microphone are installed at a predetermined position in a baseball field, and the cheering seat, bench, infield, outfield, back of the net, etc. are photographed with the camera, and the image and sound in the direction to the camera and at a predetermined distance from the camera are captured. It can be processed and provided to the user terminal.
  • the distributor terminal may be provided at either a baseball field or a television station.
  • a camera and a microphone can be mounted on a relay vehicle, the front and rear of the relay vehicle can be targeted for shooting, and the sound of the shooting target can be provided to the user terminal.
  • the distributor terminal may be provided on either a relay vehicle or a television station.
  • the position of the main stage is different from the position of the backyard and dressing room. Then, from the situation where the predetermined scene on the main stage is shot by the camera 20 and the sound is acquired by the microphone 21, the voice of some performers on the next morning is heard from the dressing room by switching the scene. There may be an audible production, or a production in which the voice of a part of the performer can be heard from the sleeves of the backyard. In such a case, the target position to be photographed by the camera 20 can be switched from the main stage to the dressing room or the sleeve of the backyard, and the sound can be acquired by the microphone 21. By switching the shooting position with the camera 20 in this way, the user who sees the display 100A on the user terminal 100 can be impressed by "Actually, such a thing was done.”
  • the predetermined position P1 may be arranged in the fifth area 26.
  • the predetermined position P1 is between the first area 22 and the second area 23, between the second area 23 and the third area 24, between the third area 24 and the fourth area 25, and the first area. It may even be located between 22 and the fourth area 25.
  • the predetermined position P1 may be arranged at any of the rear of the first area 22, the rear of the second area 23, the rear of the third area 24, and the rear of the fourth area 25.
  • the camera 20 and the microphone 21 may be arranged at different positions. In this case, if the positional relationship between the camera 20 and the microphone 21 and the distance between the camera 20 and the microphone 21 are determined, the position of the shooting target and the sound at the position of the shooting target are matched in step S404 of FIG. It is possible to perform video generation processing for distribution.
  • the camera 20 is an example of a desired camera
  • the control circuit 120A is an example of a camera extraction unit, an audio extraction unit, and a video extraction unit. be.
  • the position P3 is an example of a photographing target.
  • the shooting target can also be defined as a shooting target.
  • the audio track coefficient is an example of a predetermined coefficient.
  • the camera 20 is an example of a 360-degree camera
  • the microphone 21 is an example of a 360-degree microphone.
  • the Vo microphone 10 is an example of a vocal microphone.
  • the management server of the present disclosure can be used in the field of providing video and audio to a user terminal.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

【課題】カメラで撮影する位置に応じた映像及び音声をユーザ端末に提供可能な管理サーバを構築する。 【解決手段】ユーザ端末１００及び配信者端末１１０にネットワークを介して接続される管理サーバ１２０であって、希望カメラをユーザ端末１００から受信するカメラ抽出部と、マイクにより入手した音声生成用データを配信者端末１１０から受信する音声抽出部と、撮影対象に対応する映像生成用データを配信者端末１１０から受信する映像抽出部と、希望カメラから撮影対象までの距離を算出し、距離に応じて定まる係数を音声生成用データに乗算することにより、ユーザ端末１００に配信する配信用音声を生成する配信用音声生成部と、撮影対象の映像、及び配信用音声に基づいて、ユーザ端末１００に配信する配信用映像を生成する配信用映像生成部と、を有する管理サーバ１２０が構成されている。

Description

管理サーバ
　本開示は、ユーザ端末及び配信者端末に対しネットワークを介して接続される管理サーバに関する。
　従来、オンラインで配信されるライブ・コンサートの映像を視聴する際、配信者が複数のカメラで撮影された映像を切り替えることで、ユーザは複数の視点からの映像を視聴できる。
　しかし、音声については、カメラの切替えと無関係にミックスされた単一の音声を聞くため、ユーザは、ライブ・コンサート会場内の任意の視点毎に異なって聞こえるはずの臨場感のある音を体験できなかった。例えば、特許文献１には、映像データを取得した際に得られた音声データを取得し、映像データの状況に応じて、音声データを適切に処理するシステムが開示されている。
特開２０１８－１１７３１２号公報
　本願発明者は、特許文献１に記載されているシステムによると、カメラの位置で実際に聞こえるライブ・コンサートの音声と、当該カメラの位置に応じた映像とを、適切に映像化してユーザ端末にすることが提供できない、という課題を認識した。
　本開示の目的は、カメラによる撮影対象の位置における映像と、撮影対象の位置に応じた音声とを、撮影対象の位置に追従して整合させることの可能な管理サーバを提供することである。
　本開示は、ユーザ端末及び配信者端末にネットワークを介して接続される管理サーバであって、ユーザが前記ユーザ端末を操作して選択する希望カメラを、前記ユーザ端末から受信するカメラ抽出部と、前記希望カメラによって撮影される撮影対象に対応する音声をマイクにより入手した音声生成用データを、前記配信者端末から受信する音声抽出部と、前記撮影対象に対応する映像生成用データを、前記配信者端末から受信する映像抽出部と、前記希望カメラから前記撮影対象までの距離を算出し、前記距離に応じて定まる係数を前記音声生成用データに乗算することにより、前記ユーザ端末に配信する配信用音声を生成する配信用音声生成部と、前記撮影対象の映像、及び前記配信用音声に基づいて、前記ユーザ端末に配信する配信用映像を生成する配信用映像生成部と、を有する。
　本開示によれば、管理サーバは、希望カメラの位置で聞こえる音声を、希望カメラの位置に応じた映像とともに配信し、カメラで撮影する撮影対象の位置の音声を提供できる。
本発明の一実施の形態におけるライブ画面提供システムの構成例の概要を示す図である。 （ａ）は、本発明の一実施の形態における管理サーバのユーザ情報記憶部に記憶されているユーザ情報の概要を示す図、（ｂ）は、希望配信画面情報の概要を示す図である。 （ａ）は、本発明の一実施の形態における管理サーバの配信者情報記憶部に記憶されている配信者情報の概要を示す図、（ｂ）は、音声生成用データの概要を示す図である。 本発明の一実施の形態における全体処理の概要を示すフローチャート図である。 本発明の一実施の形態におけるユーザ情報取得処理およびユーザ情報記憶処理の概要を示す図である。 本発明の一実施の形態における配信者情報取得処理および配信者情報記憶処理の概要を示す図である。 （ａ）は、配信する映像がライブ・コンサートである時の、ステージおよび会場の平面図、（ｂ）は、各カメラの位置情報と、各カメラから各マイクまでの距離と、オーディオトラック係数との関係を示す図表、（ｃ）は、配信用音声を算出する処理の概要を示す図である。 本発明の一実施の形態における配信用音声生成処理の概要を示すフローチャートである。 本発明の一実施の形態における配信用映像生成処理の概要を示すフローチャートである。 本発明の一実施の形態における配信画面の概要を示す図である。 本発明の一実施の形態における配信画面生成処理の概要を示すフローチャートである。 本発明の一実施の形態における配信画面提供処理の概要を示すフローチャートである。 本発明の一実施の形態における切替後画面の概要を示す図である。 本発明の一実施の形態における映像切替処理の概要を示すフローチャートである。 本発明の一実施の形態における切替後画面提供処理の概要を示すフローチャートである。 本発明の一実施の形態における切替後画面提供処理の概要を示す図である。
　以下、本発明を実施するための形態について図を参照しながら説明する。なお、これはあくまでも一例であって、本発明の技術的範囲はこれに限られるものではない。また、実施の形態を説明するための全図において、同一部には原則として同一の符号を付し、その繰り返しの説明は省略する。
　［第１の実施形態］
　＜システム構成＞
　図１は、本発明の一実施の形態におけるライブ画面提供システム３０の構成例の概要を示す図である。
　図１に示されるように、ライブ画面提供システム３０は、ユーザ端末１００と、配信者端末１１０と、ユーザ端末１００と配信者端末１１０とネットワークを介して接続される管理サーバ１２０とを有する。ネットワークは、無線または有線の何れかによって構築されているもの、無線及び有線の両方によって構築されているもの、を含む。ユーザ端末１００は、管理サーバ１２０に複数を接続可能であるが、図１では便宜上、単数のユーザ端末１００が示されている。
　管理サーバ１２０は、制御回路１２０Ａと、ユーザ情報記憶部１３０と、配信者情報記憶部１３１と、配信用音声記憶部１３２と、配信用映像記憶部１３３と、配信画面記憶部１３４と、配信用音声生成部１４０と、配信用映像生成部１５０と、配信画面生成部１６０と、配信画面提供部１７０と、映像切替部１８０と、を有する。制御回路１２０Ａは、通信部、入力ポート、出力ポート、中央演算処理装置、比較回路等を有するコンピュータである。ユーザ端末１００及び配信者端末１１０から送信される信号は、通信部を介して入力ポートに入力される。制御回路１２０Ａから出力される信号は、出力ポート及び通信部を介して、ユーザ端末１００及び配信者端末１１０へ送信される。上記信号は、情報、データ、映像、画像、音声等を含む電気信号である。
　制御回路１２０Ａと、ユーザ情報記憶部１３０、配信者情報記憶部１３１、配信用音声記憶部１３２、配信用映像記憶部１３３、配信画面記憶部１３４、配信用音声生成部１４０、配信用映像生成部１５０、配信画面生成部１６０、配信画面提供部１７０、映像切替部１８０との間で信号の行き来が行われる。制御回路１２０Ａは、ユーザ情報記憶部１３０、配信者情報記憶部１３１、配信用音声記憶部１３２、配信用映像記憶部１３３、配信画面記憶部１３４、配信用音声生成部１４０、配信用映像生成部１５０、配信画面生成部１６０、配信画面提供部１７０、映像切替部１８０を制御、管理及び監視する。
　ユーザ情報記憶部１３０には、ユーザ端末１００から送信されるユーザ情報２００（後述、図２）が記憶されている。配信者情報記憶部１３１には、配信者端末１１０から送信される配信者情報３００（後述、図３）が記憶されている。配信用音声記憶部１３２には、配信用音声８００（後述、図７、図８）が記憶されている。配信用映像記憶部１３３には、配信用映像９００（後述、図９）が記憶されている。配信画面記憶部１３４には、配信画面１０００（後述、図１０）および切替後画面１３００（後述、図１３）が記憶されている。
　配信用音声生成部１４０は、ユーザ情報記憶部１３０に記憶されているユーザ情報２００に基づいて、希望カメラ２２０を抽出し、配信者端末１１０から配信者情報３００を取得し、配信者情報３００から音声生成用データ３１０を抽出し、音声生成用データ３１０の中から希望カメラ２２０に応じたカメラ位置情報とマイク位置情報とを抽出し、カメラ位置情報とマイク位置情報とに基づいて各マイクからの距離を算出し、各マイクからの距離をボーカル用マイクからの距離で除算した数の逆数をオーディオトラック係数として算出し、オーディオトラック係数を各マイクで集音したトラック音の音量に乗算して得た各トラック音をミックスすることで配信用音声８００を生成する。
　配信用映像生成部１５０は、希望カメラ２２０を参照し取得した配信者情報３００と配信用音声８００とに基づいて配信用映像９００を生成する。配信画面生成部１６０は、配信用音声８００と配信用映像９００とに基づいて、配信画面１０００を生成する。配信画面提供部１７０は、生成した配信画面１０００をユーザ端末１００に提供する。
　＜ユーザ情報記憶部＞
　図２（ａ）は、本発明の一実施の形態における管理サーバ１２０のユーザ情報記憶部１３０に記憶されているユーザ情報２００の構成例の概要を示す図である。図２（ａ）に示されるように、ユーザ情報２００は、ユーザＩＤ、ユーザ名、年齢、住所、視聴履歴、希望配信画面情報２１０、等の項目により構成される。ユーザＩＤは、管理サーバ１２０が、ユーザを識別するための符号を示す。ユーザ名は、ユーザの氏名を示す。住所は、ユーザの住所を示す。
　図２（ｂ）は、本発明の一実施の形態における管理サーバ１２０の希望配信画面情報２１０の構成例の概要を示す図である。希望配信画面情報２１０は、希望ＩＤ、視聴日時、配信者ＩＤ、配信画面ＩＤ、希望カメラ２２０、等の情報を示す。
　希望ＩＤは、管理サーバ１２０が、ユーザの希望を識別するための符号を示す。視聴日時は、ユーザが配信画面１０００（詳細は後述する）の視聴を希望する日時を示す。配信者ＩＤは、配信者を識別するための符号を示す。配信画面ＩＤは、配信画面１０００を識別するための符号を示す。
　「希望カメラ２２０」は、配信画面１０００で視聴する映像を撮影している複数のカメラのうち、ユーザが視聴を希望する撮影位置にあるカメラを示す。希望カメラ２２０は、ユーザがユーザ端末１００を操作して選択する。
　例えば、希望カメラ２２０は、図７（ａ）のようにステージ全体を撮影するカメラ（Ｃｔ）、ボーカリストをアップして撮影するカメラ（Ｃｂ）、ギタリストをアップして撮影するカメラ（Ｃｇ）等のカメラからユーザによって選定されるカメラを示す。すなわち、例えばユーザが「ステージ全体を撮影するカメラ」（Ｃｔ）で撮影された映像の視聴を希望している場合、この時の希望カメラ２２０は「Ｃｔ」となる。カメラＣｔ，Ｃｂ，Ｃｇは、会場７００内における位置がそれぞれ異なる。
　＜配信者情報記憶部＞
　図３は、本発明の一実施の形態における管理サーバ１２０の配信者情報記憶部１３１に記憶されている配信者情報３００の概要を示す図である。
　図３（ａ）に示されるように、配信者情報３００は、配信者ＩＤ、配信者名、配信画面情報、音声生成用データ３１０、映像生成用データ、等の項目により構成される。
　配信者ＩＤは、管理サーバ１２０が、配信者を識別するための符号を示す。配信者名は、配信者の名称を示す。配信画面情報は、配信画面ＩＤや配信日時等の情報を示す。
　映像生成用データは、管理サーバ１２０が、配信画面１０００に表示させる映像を生成するための情報を示す。例えば、映像生成用データは、希望カメラ２２０に対応するカメラについての情報や、撮影対象を撮影した映像、映像に関する画質等の各種データが含まれる。撮影対象は、撮影目標と定義することも可能である。
　図３（ｂ）に示されるように、音声生成用データ３１０は、データＩＤ、マイク情報、マイク位置情報、カメラ情報、カメラ位置情報、等の項目により構成される。データＩＤは、管理サーバ１２０が、音声生成用データ３１０を識別するための符号を示す。
　マイク情報は、配信者が配信する際に用いるマイクの種類や集音対象、マイクの名称、属性等の情報を示す。例えば、配信者が配信する際に用いるマイクが、ボーカル、ギター、ベース、ドラムの音を集音する４本のマイクである場合、当該マイクのマイク情報は、図７（ａ）に示すＶｏ用マイク（ボーカル用マイク）１０が「Ｖｏ用」、Ｇｔ用マイク１１が「Ｇｔ用」、Ｂａ用マイク１２が「Ｂａ用」、Ｄｒ用マイク１３が「Ｄｒ用」等と示される。Ｖｏ用マイク１０、Ｇｔ用マイク１１、Ｂａ用マイク１２、Ｄｒ用マイク１３は、会場７００内における位置がそれぞれ異なる。
　マイク位置情報は、マイクの位置についての情報を示す。例えば、マイク位置情報は、平面座標を利用して表示される。すなわち、「Ｖｏ用マイク１０」のマイク位置情報は、「ｘ＝〇〇、ｙ＝〇〇」のように示される。
　カメラ情報は、配信者が配信する際に用いるカメラの種類や撮影対象、カメラの名称、属性等の情報を示す。例えば、配信者が配信する際に用いるカメラが、ステージ全体、ボーカリスト、ギタリスト、ベーシスト、ドラマーを撮影する５個のカメラである場合、当該カメラのカメラ情報は、「Ｃｔ」、「Ｃｖ」、「Ｃｂ」、「Ｃｄ」等と示される。
　カメラ位置情報は、カメラの位置についての情報を示す。例えば、カメラ位置情報は、平面座標を利用して表示される。すなわち、「Ｃｔ」のカメラ位置情報は、「ｘ＝〇〇、ｙ＝〇〇」のように示される。
　このように、マイク情報、マイク位置情報、カメラ情報、カメラ位置情報を得ることにより、管理サーバ１２０は、任意のカメラについて各マイクまでの距離を算出できる。そして算出した距離を利用することにより、管理サーバ１２０は、配信用音声８００を生成できる（詳細は後述する）。
　＜全体処理＞
　図４は、本発明の一実施の形態における全体処理の概要を示す図である。
　まず、ステップＳ４０１にて、管理サーバ１２０はユーザ情報取得処理およびユーザ情報記憶処理（図５で後述する）を行う。まず、ステップＳ４０２にて、管理サーバ１２０は配信者情報取得処理および配信者情報記憶処理（図６で後述する）を行う。
　次に、ステップＳ４０３にて、管理サーバ１２０は配信用音声生成処理（図７、図８で後述する）を行う。次に、ステップＳ４０４にて、管理サーバ１２０は配信用映像生成処理（図９で後述する）を行う。次に、ステップＳ４０５にて、管理サーバ１２０は配信画面生成処理および配信画面記憶処理（図１０、図１１で後述する）を行う。次に、ステップＳ４０６にて、管理サーバ１２０は配信画面提供処理（図１２で後述する）を行う。
　次に、ユーザが映像の切替を行う場合、ステップＳ４０７にて、管理サーバ１２０は、映像切替処理（図１３、図１４で後述する）を行う。次に、ステップＳ４０８にて、管理サーバ１２０は切替後画面提供処理（図１５で後述する）を行う。
　＜ユーザ情報記憶処理＞
　図５（ａ）は、図４のステップＳ４０１で行われるユーザ情報記憶処理の概要を示す図である。以下、管理サーバ１２０が、ユーザ情報２００を記憶する方法について説明する。
　まず、ステップＳ５０１にて、管理サーバ１２０は、ユーザ情報入力画面をユーザ端末１００に提供する。次に、ステップＳ５０２にて、ユーザ端末１００は、ユーザ情報入力画面をディスプレイ１００Ａに表示させる。
　その後、ユーザがライブ画面提供システム３０を初めて利用する場合、または、希望配信画面情報２１０を変更（更新）する場合、ステップＳ５０３にて、ユーザ端末１００は、ユーザ情報２００の入力をユーザから受け付ける。なお、この際ユーザから受け付けたユーザ情報２００は、希望配信画面情報２１０を含む。また、ユーザが入力する情報には、外部アカウント（ＳＮＳ等）のログイン情報や、パスワードを含めても良い。
　次に、ステップＳ５０４にて、ユーザ端末１００は、ステップＳ５０３で入力を受け付けたユーザ情報２００を管理サーバ１２０に送信する。次に、ステップＳ５０５にて、管理サーバ１２０は、ステップＳ５０４で送信されたユーザ情報２００を受信することにより、制御回路１２０Ａがユーザ情報２００を取得する。
　次に、ステップＳ５０６にて、制御回路１２０Ａは、取得または変更したユーザ情報２００にユーザＩＤを付して、ステップＳ５０３にて入力を受け付けたユーザ情報２００をユーザ情報記憶部１３０に記憶させる。
　＜ユーザ情報取得処理＞
　図５（ｂ）は、本発明の一実施の形態におけるユーザ情報取得処理の概要を示す図である。以下、管理サーバ１２０が、ユーザ情報２００を取得する方法について説明する。
　ユーザがライブ画面提供システム３０を２回目以降利用する場合、ステップＳ５０７にて、ユーザ端末１００はユーザＩＤの入力をユーザから受け付ける。なお、ユーザＩＤは、ユーザ情報２００に含まれる。
　次に、ステップＳ５０８にて、ユーザ端末１００は、ステップＳ５０７で入力を受け付けたユーザＩＤを管理サーバ１２０に送信する。
　その後、ステップＳ５０９にて、管理サーバ１２０は、ステップＳ５０８で送信されたユーザＩＤのキーに対応するユーザ情報２００をユーザ情報記憶部１３０から取得する。ステップＳ５０５，ステップＳ５０６，ステップＳ５０９の処理が、図４のステップＳ４０１の処理に相当する。
　＜配信者情報記憶処理＞
　図６（ａ）は、図４のステップＳ４０２で行われる配信者情報記憶処理の概要を示す図である。以下、管理サーバ１２０が、配信者情報３００を記憶する方法について説明する。
　まず、ステップＳ６０１にて、管理サーバ１２０は、配信者情報入力画面を配信者端末１１０に提供する。次に、ステップＳ６０２にて、配信者端末１１０は、配信者情報入力画面をディスプレイに表示させる。
　その後、配信者がライブ画面提供システム３０を初めて利用する場合、または、配信者情報３００を変更（更新）する場合、ステップＳ６０３にて、配信者端末１１０は、配信者情報３００の入力を配信者から受け付ける。なお、この際配信者から受け付けた配信者情報３００は、配信者情報３００を含む。また、配信者が入力する情報には、外部アカウント（ＳＮＳ等）のログイン情報や、パスワードを含めても良い。
　次に、ステップＳ６０４にて、配信者端末１１０は、ステップＳ６０３で入力を受け付けた配信者情報３００を管理サーバ１２０に送信する。次に、ステップＳ６０５にて、管理サーバ１２０は、ステップＳ６０４で送信された配信者情報３００を受信することにより、配信者情報３００を取得する。
　次に、ステップＳ６０６にて、管理サーバ１２０の制御回路１２０Ａは、取得または変更した配信者情報３００に配信者ＩＤを付して、ステップＳ６０３にて入力を受け付けた配信者情報３００を、配信者情報記憶部１３１に記憶させる。
　＜配信者情報取得処理＞
　図６（ｂ）は、図４のステップＳ４０２で行われる配信者情報取得処理の概要を示す図である。以下、管理サーバ１２０が、配信者情報３００を取得する方法について説明する。
　配信者がライブ画面提供システム３０を２回目以降利用する場合、ステップＳ６０７にて、配信者端末１１０は配信者ＩＤの入力を配信者から受け付ける。なお、配信者ＩＤは、配信者情報３００に含まれる。次に、ステップＳ６０８にて、配信者端末１１０は、ステップＳ６０７で入力を受け付けた配信者ＩＤを管理サーバ１２０に送信する。
　その後、ステップＳ６０９にて、管理サーバ１２０は、ステップＳ６０８で送信された配信者ＩＤのキーに対応する配信者情報３００を配信者情報記憶部１３１から取得する。
　＜配信用音声＞
　図７は、本発明の一実施の形態における配信用音声８００の概要を示す図である。図７（ａ）は、例えば、配信する映像がライブ・コンサートである時の、ステージおよび会場の平面図の概要を示す。図７（ａ）で示されるように、会場７００には、ステージ部分にマイク７１０が設置され、客席部分にカメラ７２０が設置される。また、会場７００には、所定の場所にアンプ・スピーカー７３０が設置される。会場７００は、カメラ７２０の撮影対象である。なお、マイク７１０は客席部分に設置しても良い。また、カメラ７２０は、ステージ部分に設置しても良い。
　図７で示されるように、例えば、カメラＣｔは、ステージ全体を撮影し、カメラＣｇは、ギタリストをアップして撮影する。また、Ｖｏ用マイク１０は、ボーカルの音を集音し、Ｇｔ用マイク１１は、ギターの音を集音する。このように、各マイク７１０とカメラ７２０を会場７００内の所定の位置に設置することで、管理サーバ１２０は、演奏者ごとにアップして撮影し、演奏者ごとに異なる音を集音できる。また、管理サーバ１２０は、マイク位置情報、カメラ位置情報を得ることができる。
　図７（ｂ）は、各カメラＣｂ，Ｃｇ，Ｃｔについてのカメラ位置情報と、各マイクまでの距離（Ｌｎ）、オーディオトラック係数（α）、配信用音声８００を示す。
　図７（ｂ）で示されるように、例えば、カメラＣｔは、Ｖｏ用マイク１０までの距離Ｌ１が「３．０ｍ」であり、Ｇｔ用マイク１１までの距離Ｌ２が「５．０ｍ」であった場合、Ｖｏ用マイク１０のオーディオトラック係数αを「１．００」とすると、Ｇｔ用マイク１１で集音した音に対するオーディオトラック係数αの数値は「０．６」と算出される。つまり、カメラからマイクまでの距離が遠くなるほど、オーディオトラック係数は小さくなる。また、カメラＣｂ，Ｃｇについても、同様にオーディオトラック係数αを算出する。図７（ｃ）は、管理サーバ１２０が配信用音声８００を生成するまでの流れの概要を示す。オーディオトラック係数αを算出するために必要なデータは、配信用音声生成部１４０、または図示しない記憶部に予め記憶されている。
　まず、管理サーバ１２０は、オーディオトラック係数αを求めたいマイク７１０のマイク位置とカメラ位置とに基づいて距離（Ｌｎ）を算出する。次に、管理サーバ１２０は、当該マイク７１０からの距離ＬｎをＶｏ用マイクからの距離Ｌ１で除算して得た数の逆数をオーディオトラック係数αとして算出する。
　なお、オーディオトラック係数αの算出方法は上記に限られない。例えば、オーディオトラック係数αは、「距離Ｌｎを距離Ｌ１で除算して得た数の逆数」に対してさらに所定の定数を乗算することで算出してもよい。
　次に、管理サーバ１２０は、算出したオーディオトラック係数αを、各マイク１０，１１，１２，１３で集音した音の音量に乗算する。これにより得た各トラック音をミックスすることで、管理サーバ１２０は、配信用音声８００を生成する。
　図７（ｂ）および（ｃ）で示されるように、例えば、カメラＣｔについての配信用音声８００（Ｈｔ）は、「Ｖｏ」の音量が最も大きく、次いで「Ｇｔ」、「Ｂａ」となり、「Ｄｒ」の音量が最も小さくミックスされる。これは、カメラＣｔの位置が、Ｖｏ用マイクとの距離が最も近く、次いでＧｔ用マイク、Ｂａ用マイクとなり、Ｄｒ用マイクとの距離が最も遠くなっているためである。すなわち、管理サーバ１２０は、カメラＣｔの位置で実際に聞こえる各楽器の音量バランスに近似した音声を配信用音声８００として生成する。カメラＣｂ，Ｃｇについても、同様にして配信用音声８００を生成する。カメラとマイクとの距離が近いほど、音量が大きくなる。
　このようにして、管理サーバ１２０は、カメラ７２０のカメラＣｂ，Ｃｔ，Ｃｇの位置で、それぞれ実際に聞こえるライブ・コンサートの音声を配信用音声８００として生成できる。
　＜配信用音声生成処理＞
　図８は、図４のステップＳ４０３で行われる配信用音声生成処理の概要を示す図である。まず、ステップＳ８０１にて、管理サーバ１２０の配信用音声生成部１４０は、ユーザ情報記憶部１３０からユーザ情報２００を取得する。
　次に、ステップＳ８０２にて、配信用音声生成部１４０は、ステップＳ８０１で取得したユーザ情報２００に含まれる希望配信画面情報２１０のうち、配信者ＩＤと配信画面ＩＤと希望カメラ２２０を抽出する。
　次に、ステップＳ８０３にて、配信用音声生成部１４０は、配信者情報記憶部１３１から配信者情報３００を取得する。次に、ステップＳ８０４にて、配信用音声生成部１４０は、ステップＳ８０３で取得した配信者情報３００の中からステップＳ８０２で抽出した配信者ＩＤと配信画面ＩＤとを含む配信者情報３００を参照し、対応する音声生成用データ３１０を抽出する。
　次に、ステップＳ８０５にて、配信用音声生成部１４０は、ステップＳ８０４で取得した音声生成用データ３１０の中からステップＳ８０２で抽出した希望カメラ２２０に応じたカメラ情報とカメラ位置情報を抽出し、当該データＩＤに紐づくマイク情報とマイク位置情報とからオーディオトラック係数αを算出する。
　具体的には、まず、配信用音声生成部１４０は、オーディオトラック係数αを求めたいマイク７１０のマイク位置とカメラ位置とに基づいて距離（Ｌｎ）を算出する。次に、配信用音声生成部１４０は、当該マイク７１０からの距離ＬｎをＶｏ用マイク１０からの距離Ｌ１で除算して得た数の逆数をオーディオトラック係数αとして算出する。
　なお、オーディオトラック係数αの算出方法は上記に限られない。例えば、オーディオトラック係数αは、「距離Ｌｎを距離Ｌ１で除算して得た数の逆数」に対してさらに所定の定数を乗算することで算出してもよい。
　次に、ステップＳ８０６にて、配信用音声生成部１４０は、ステップＳ８０５で算出したオーディオトラック係数αに基づいて各トラック音をミックス及びマスタリングすることにより配信用音声８００を生成する。
　具体的には、配信用音声生成部１４０は、算出したオーディオトラック係数αを、各マイクで集音した音の音量に乗算する。これにより得た各トラック音をミックス等することで、配信用音声生成部１４０は、配信用音声８００を生成する。
　次に、ステップＳ８０７にて、配信用音声生成部１４０は、ステップＳ８０６で生成した配信用音声８００を配信用音声記憶部１３２に記憶する。次に、ステップＳ８０８にて、配信用音声生成部１４０は、配信用映像９００の生成を配信用映像生成部１５０に要求する。
　＜配信用映像生成処理＞
　図９は、図４のステップＳ４０４で行われる配信用映像生成処理の概要を示す図である。まず、ステップＳ９０１にて、管理サーバ１２０の配信用映像生成部１５０は、ステップＳ８０８で要求された配信用映像９００の生成リクエストを受け付ける。
　次に、ステップＳ９０２にて、配信用映像生成部１５０は、配信用映像９００の生成を要求するユーザのユーザ情報２００をユーザ情報記憶部１３０から取得する。
　次に、ステップＳ９０３にて、配信用映像生成部１５０は、ステップＳ９０２で取得したユーザ情報２００の希望配信画面情報２１０に含まれる、配信者ＩＤと希望カメラ２２０を抽出する。
　次に、ステップＳ９０４にて、配信用映像生成部１５０は、ステップＳ９０３で抽出した配信者ＩＤと希望カメラ２２０を参照し、対応する配信者情報３００を配信者情報記憶部１３１から取得して、対応する配信用音声８００を配信用音声記憶部１３２から取得する。
　例えば、配信者ＩＤが「Ｂ０００１」で、希望カメラ２２０が「カメラＣｔ」である場合、配信用映像生成部１５０は、配信者ＩＤがＢ０００１である配信者について、カメラＣｔの配信用音声８００を取得する。次に、ステップＳ９０５にて、配信用映像生成部１５０は、ステップＳ９０４で取得した配信者情報３００と配信用音声８００とに基づいて配信用映像９００を生成する。
　具体的には、配信者情報３００に含まれる映像生成用データを参照し、希望カメラ２２０に対応した配信用音声８００を映像に同期させて配信することにより配信用映像９００を生成する。次に、ステップＳ９０６にて、配信用映像生成部１５０は、ステップＳ９０５で生成した配信用映像９００を配信用映像記憶部１３３に記憶する。
　次に、ステップＳ９０７にて、配信用映像生成部１５０は、配信画面１０００の生成を配信画面生成部１６０に要求する。
　＜配信画面＞
　図１０は、本発明の一実施の形態における配信画面１０００の概要を示す図である。図１０に示されるように、配信画面１０００は、映像表示領域１０１０と、希望カメラ表示領域１０２０と、映像切替タブ１０３０と、を含む。なお、配信画面１０００は、ユーザ端末１００のディスプレイ１００Ａに表示される。
　映像表示領域１０１０は、配信用映像９００の内容を表示させる。なお、映像表示領域１０１０の表示のさせ方については特に限定されない。
　希望カメラ表示領域１０２０は、ユーザが選定した希望カメラ２２０の内容を表示させる。例えば、ユーザがステージ全体を撮影した映像の視聴を希望している場合、希望カメラ２２０は「カメラＣｔ」であり、希望カメラ表示領域１０２０は、「フロア」等の名称で表示させる。なお、「フロア」は、「カメラＣｔ」に対応する名称である。また、希望カメラ表示領域１０２０の表示のさせ方については、特に限定されない。
　また、希望カメラ表示領域１０２０は、ユーザが提供された配信画面１０００に表示される映像の切替えを希望する場合にユーザが所望のカメラを選択するための機能を有する。すなわち、希望カメラ表示領域１０２０に複数のカメラＣｂ，Ｃｔ，Ｃｇが表示され、その中からユーザが所望のカメラを選択することができる。
　映像切替タブ１０３０は、ユーザが提供された配信画面１０００に表示される映像の切替えを希望する場合、映像切替指示を管理サーバ１２０に通知するためのタブを示す。すなわち、映像切替タブ１０３０がユーザからタップまたはクリックの入力を受け付けることにより、管理サーバ１２０は、映像切替指示を管理サーバ１２０に通知する。
　このようにして、管理サーバ１２０は、カメラ７２０のうちカメラＣｂ，Ｃｇ，Ｃｔのそれぞれの位置で実際に聞こえるライブ・コンサートの音声を、当該カメラの位置に応じた映像とともに配信する配信画面１０００をユーザ端末１００に提供できる。
　＜配信画面生成処理＞
　図１１は、図４のステップＳ４０５で行われる配信画面生成処理の概要を示す図である。まず、ステップＳ１１０１にて、管理サーバ１２０の配信画面生成部１６０は、ステップＳ９０７で要求された配信画面１０００の生成リクエストを受け付ける。
　次に、ステップＳ１１０２にて、配信画面生成部１６０は、配信画面１０００の生成に必要な配信用音声８００を配信用音声記憶部１３２から取得する。
　次に、ステップＳ１１０３にて、配信画面生成部１６０は、配信画面１０００の生成に必要な配信用映像９００を配信用映像記憶部１３３から取得する。次に、ステップＳ１１０４にて、配信画面生成部１６０は、ステップＳ１１０２で取得した配信用音声８００と、ステップＳ１１０３で取得した配信用映像９００とに基づいて配信画面１０００を生成する。
　次に、ステップＳ１１０５にて、配信画面生成部１６０は、ステップＳ１１０４で生成した配信画面１０００を配信画面記憶部１３４に記憶する。次に、ステップＳ１１０６にて、配信画面生成部１６０は、配信画面１０００の提供を配信画面提供部１７０に要求する。
　＜配信画面提供処理＞
　図１２は、図４のステップＳ４０６で行われる配信画面提供処理の構成例の概要を示す図である。まず、ステップＳ１２０１にて、管理サーバ１２０の配信画面提供部１７０は、ステップＳ１１０６で要求された配信画面１０００の提供リクエストを受け付ける。
　次に、ステップＳ１２０２にて、配信画面提供部１７０は、提供したい配信画面１０００を配信画面記憶部１３４から抽出する。次に、ステップＳ１２０３にて、配信画面提供部１７０は、ステップＳ１２０２で抽出した配信画面１０００を提供したいユーザについてのユーザ情報２００をユーザ情報記憶部１３０から抽出する。
　次に、ステップＳ１２０４にて、配信画面提供部１７０は、ユーザ端末１００に配信画面１０００を提供する。次に、ステップＳ１２０５にて、ユーザ端末１００は、ステップＳ１２０４で管理サーバ１２０から提供された配信画面１０００を、ディスプレイ１００Ａに表示させる。
　次に、ステップＳ１２０６にて、ユーザ端末１００は、ユーザが提供された配信画面１０００に表示される映像の切替えを希望する場合、希望カメラ表示領域１０２０に表示される複数のカメラＣｂ，Ｃｇ，Ｃｔのうち、所望のカメラを選択したユーザから当該希望カメラ２２０の選択を受け付ける。
　次に、ステップＳ１２０７にて、ユーザ端末１００は、ユーザから映像切替タブ１０３０の押下入力を受付けたか否かを判定する。ユーザ端末１００がステップＳ１２０７でＹＥＳと判断すると、管理サーバ１２０は、ステップＳ１２０８の処理を行う。ユーザ端末１００がステップＳ１２０７でＮＯと判断すると、ユーザ端末１００は、本工程を終了する。
　ステップＳ１２０８にて、管理サーバ１２０は、ユーザが提供された配信画面１０００に表示される映像の切替えを希望する場合、映像切替指示を管理サーバ１２０に通知する。その後、管理サーバ１２０は、配信画面１０００の映像切替リクエストを映像切替部１８０に要求する。
　このようにして、管理サーバ１２０は、ユーザの希望するカメラ７２０（希望カメラ２２０）の位置で実際に聞こえるライブ・コンサートの音声を、当該カメラの位置に応じた映像とともに配信画面１０００としてユーザに提供できる。
　＜切替後画面＞
　図１３は、本発明の一実施の形態における切替後画面１３００の概要を示す図である。図１３に示されるように、切替後画面１３００は、映像表示領域１３１０と、希望カメラ表示領域１３２０と、再切替タブ１３３０と、を含む。なお、切替後画面１３００は、ユーザ端末１００のディスプレイ１００Ａに表示される。
　映像表示領域１３１０は、カメラを切替えた後の配信用映像９００の内容を表示させる。なお、映像表示領域１３１０の表示のさせ方については特に限定されない。
　希望カメラ表示領域１３２０は、ユーザが新たに選定した希望カメラ２２０の内容を表示させる。なお、希望カメラ表示領域１３２０の表示のさせ方については特に限定されない。
　また、希望カメラ表示領域１３２０は、ユーザが提供された切替後画面１３００に表示される映像の再度の切替えを希望する場合、ユーザが所望のカメラを選択するための機能を有する。すなわち、希望カメラ表示領域１３２０に複数のカメラが表示され、その中からユーザが所望のカメラを選択することができる。
　再切替タブ１３３０は、ユーザが提供された切替後画面１３００に表示される映像の再度の切替えを希望する場合、再切替指示を管理サーバ１２０に通知するためのタブを示す。すなわち、再切替タブ１３３０がユーザからタップまたはクリックの入力を受け付けることにより、管理サーバ１２０は、再切替指示を管理サーバ１２０に通知する。
　＜映像切替処理＞
　図１４は、図４のステップＳ４０７で行われる映像切替処理の概要を示す図である。まず、ステップＳ１４０１にて、管理サーバ１２０の映像切替部１８０は、ステップＳ１２０７で要求された配信画面１０００の映像切替リクエストまたはステップＳ１５０８で要求された切替後画面１３００の再切替リクエストを受け付ける。
　次に、ステップＳ１４０２にて、映像切替部１８０は、ステップＳ１２０６またはステップＳ１５０６で選択された希望カメラ２２０に対応した配信用音声８００を配信用音声記憶部１３２から取得する。次に、ステップＳ１４０３にて、映像切替部１８０は、ステップＳ１２０６またはステップＳ１５０６で選択された希望カメラ２２０に対応した配信用映像９００を配信用映像記憶部１３３から取得する。
　次に、ステップＳ１４０４にて、映像切替部１８０は、ステップＳ１４０２で取得した配信用音声８００と、ステップＳ１４０３で取得した配信用映像９００とに基づいて切替後画面１３００を生成する。
　次に、ステップＳ１４０５にて、映像切替部１８０は、ステップＳ１４０４で生成した切替後画面１３００を配信画面記憶部１３４に記憶する。次に、ステップＳ１４０６にて、映像切替部１８０は、切替後画面１３００の提供を配信画面提供部１７０に要求する。
　＜切替後画面提供処理＞
　図１５は、図４のステップＳ４０８で行われる切替後画面提供処理の概要を示す図である。まず、ステップＳ１５０１にて、管理サーバ１２０の配信画面提供部１７０は、ステップＳ１４０６で要求された切替後画面１３００の提供リクエストを受け付ける。
　次に、ステップＳ１５０２にて、配信画面提供部１７０は、提供したい切替後画面１３００を配信画面記憶部１３４から抽出する。次に、ステップＳ１５０３にて、配信画面提供部１７０は、ステップＳ１５０２で抽出した切替後画面１３００を提供したいユーザについてのユーザ情報２００をユーザ情報記憶部１３０から抽出する。
　次に、ステップＳ１５０４にて、配信画面提供部１７０は、ユーザ端末１００のディスプレイ１００Ａに切替後画面１３００を提供する。次に、ステップＳ１５０５にて、ユーザ端末１００は、ステップＳ１５０４で管理サーバ１２０から提供された切替後画面１３００を、端末のディスプレイに表示させる。
　次に、ステップＳ１５０６にて、ユーザ端末１００は、ユーザが提供された切替後画面１３００に表示される映像の再度の切替えを希望する場合、希望カメラ表示領域１３２０に表示される複数のカメラのうち、所望のカメラを選択したユーザから当該希望カメラ２２０の選択を受け付ける。
　次に、ステップＳ１５０７にて、ユーザ端末１００は、ユーザから再切替タブ１３３０の押下入力を受付けたか否かを判定する。ユーザ端末１００は、ステップＳ１５０７でＹＥＳと判断すると、管理サーバ１２０は、ステップＳ１５０８の処理を行う。ユーザ端末１００が、ステップＳ１５０７でＮＯと判断すると、ユーザ端末１００は、本工程を終了する。
　ステップＳ１５０８にて、管理サーバ１２０は、ユーザが提供された切替後画面１３００に表示される映像の再度の切替えを希望する場合、再切替指示を管理サーバ１２０に通知する。その後、管理サーバ１２０は、切替後画面１３００の再切替リクエストを映像切替部１８０に要求する。その後、管理サーバ１２０は、ステップＳ１４０１の工程へ進行し、以降の処理を繰り返し行う。
　このようにして、管理サーバ１２０は、希望カメラ２２０の切替えに追従して、配信用音声８００および配信用映像９００を切替えた切替後画面１３００をユーザに提供できる。
　［第２の実施形態］
　第２の実施形態におけるライブ画面提供システム３０の構成は、第１の実施形態と同様である。
＜配信用音声＞
　本実施形態における配信用音声８１０は、ステージ上で演奏している演者のモニター音、または当該演者にウェアラブルマイクを装着させ、そのウェアラブルマイクが集音した音をそのまま採用する。すなわち、本実施形態における配信用音声８１０は、図７で示されるようにカメラ位置、マイク位置、オーディオトラック係数を利用して生成されるものではない。
　このようにして、管理サーバ１２０は、ユーザの希望するカメラ７２０（希望カメラ２２０）でアップしている演者が実際に聞いているライブ・コンサートの音声を、当該カメラの位置に応じた映像とともに配信画面１０００としてユーザに提供できる。
　例えば、ユーザがベーシストをアップする映像を希望している場合、当該映像とともに「ベーシストがステージ上で聞いている音」を視聴でき、ユーザ自身があたかもベーシストとしてステージ上に立って、そこで聞いている音を疑似体験することができる。
　［第３の実施形態］
　第３の実施形態におけるライブ画面提供システム３０の構成は、第１および第２の実施形態と同様である。
　本実施形態において、配信に係る音声と映像は「ライブ・コンサート」についてのものに限定されない。すなわち、配信に係る音声と映像は、「講演、セミナー、野球やサッカー等のスポーツ」など、カメラとマイクを用いてライブ配信を行うあらゆる活動を対象とし、第１および第２の実施形態と同様のシステムと実施に係る各処理を適用できる。
　これにより、管理サーバ１２０は、ユーザの希望するカメラ７２０（希望カメラ２２０）の位置で実際に聞こえるスポーツ等の音声を、当該カメラの位置に応じた映像とともに配信画面１０００としてユーザに提供できる。
　＜本実施の形態の効果＞
　以上説明した本発明の実施の形態によれば、管理サーバ１２０は、ユーザの希望するカメラ７２０（希望カメラ２２０）の位置で実際に聞こえるライブ・コンサートの音声を、当該カメラの位置に応じた映像とともに配信画面１０００としてユーザ端末１００に提供できる。
　また、管理サーバ１２０は、希望カメラ２２０の切替えに追従して、配信用音声８００および配信用映像９００を切替えた切替後画面１３００をユーザ端末１００に提供できる。
　このようにして、ユーザは、配信画面１０００内で希望カメラ２２０を切替える操作を行うだけで、ライブ・コンサート会場内の所望の視点、具体的には、所定方向及び所定位置で聞こえる音を、臨場感をもって体験できる。
　［第４の実施形態］
　ライブ画面提供システム３０を利用可能な第４の実施形態が、図１６に示されている。図１６は、例えば、配信する映像のステージおよび会場７００の他の例を示す平面図である。会場７００には、カメラ２０及びマイク２１が設けられた所定位置Ｐ１を囲むように、観客が居る第１エリア２２、バックバンドが居る第２エリア２３、オーケストラが居る第３エリア２４、合唱隊が居る第４エリア２５が区画されている。所定位置Ｐ１は、第１エリア２２、第２エリア２３、第３エリア２４、第４エリア２５から外れた第５エリア２６に位置する。そして、所定位置Ｐ１を中心とする円周方向で３６０度の範囲内において、第１エリア２２、第２エリア２３、第３エリア２４、第４エリア２５は、それぞれ異なる角度の範囲内に位置する。所定位置Ｐ１は、第１エリア２２、第２エリア２３、第３エリア２４、第４エリア２５から見て前方に位置する。
　図１６においては、便宜上、所定位置Ｐ１を中心とする左側で略９０度の範囲内に第１エリア２２が位置し、所定位置Ｐ１を中心とする上側で略９０度の範囲内に第２エリア２３が位置し、所定位置Ｐ１を中心とする右側で略９０度の範囲内に第３エリア２４が位置し、所定位置Ｐ１を中心とする下側で略９０度の範囲内に第４エリア２５が位置している。また、図１６に示す例では、第１エリア２２、第２エリア２３、第３エリア２４、第４エリア２５同士は、重なっていない。さらに、図１６において、第１エリア２２、第２エリア２３、第３エリア２４、第４エリア２５は、会場７００における平面形状がそれぞれ略四角形で表されているが、円形、楕円形、三角形などでもよい。さらに、所定位置Ｐ１を中心とする円周方向で、第１エリア２２、第２エリア２３、第３エリア２４、第４エリア２５同士の位置関係は、図１６に示すものに限定されない。
　カメラ２０及びマイク２１は、床に置かれていてもよいし、天井から吊り下げられていてもよい。カメラ２０は、３６０度カメラであり、所定位置Ｐ１を中心として全方位３６０度の映像を撮影し、かつ、映像を信号化して、図１に示す配信者端末１１０へ送信する。また、カメラ２０はズーム機能により、撮影しようとする方向が同じである状態において、レンズから被写体までの距離が異なる被写体のうち、レンズから任意の距離に位置する被写体を選択し、その被写体の映像を拡大、かつ、鮮明に撮影可能である。なお、カメラ２０は、ユーザ端末１００のディスプレイ１００Ａに希望カメラとして表示される。
　配信者端末１１０から管理サーバ１２０へ映像情報が送信されると、管理サーバ１２０は、カメラ２０を中心とする３６０度の範囲内で、カメラ２０が撮影している映像の方向、具体的には、直線Ｐ２に対して角度θ１を有する方向Ｑ１について、時計回りの角度θ１を算出可能である。また、管理サーバ１２０は、カメラ２０から、カメラ２０が撮影している方向Ｑ１の映像に映る被写体までの距離を算出可能である。直線Ｐ２は、所定位置Ｐ１を通過する仮想線であり、図１６では、便宜上、第１エリア２２の略中央に位置しているが、この位置に限定されない。
　マイク２１は、超指向性３６０度マイクであり、所定位置Ｐ１を中心としする全方位３６０度のあらゆる方向での音声を録音する機能、かつ、所定位置Ｐ１から所定距離範囲内の音声を各位置毎に録音する機能を有する。マイク２１で収音可能な距離は、マイク２１の収音機能により定まる。マイク２１は、録音した音声を信号化して配信者端末１１０へ送信する。
　ユーザは、例えば、図１３に示すような映像切替タブ１０３０を操作することにより、カメラ２０から見た方向Ｑ１を変更し、かつ、カメラ２０からの距離Ｌ３を変更することにより、希望する位置Ｐ３を選択可能である。
　そして、管理サーバ１２０が、図８と同様に配信用音声８００を生成する場合、ステップＳ８０２における希望カメラ２２０としてカメラ２０を抽出する。さらに、管理サーバ１２０は、図８のステップＳ８０５およびステップＳ８０６において、カメラ２０で撮影した映像情報、及びマイク２１から得られる音声情報を処理することにより、配信用音声８００を生成する。
　具体的には、方向Ｑ１において、カメラ２０からの距離Ｌ３における位置Ｐ３での配信用音声８００を生成可能である。この場合、オーディオトラック係数は、所定位置Ｐ１から所定距離の位置で「１．００」に設定されており、距離Ｌ３が相対的に大きくなるほど、オーディオトラック係数が相対的に小さく設定される。第４実施形態においても、他の実施形態と同様の効果を得られる。
　以上、本発明者によってなされた発明を実施の形態に基づき具体的に説明したが、本発明は前記実施の形態に限定されるものではなく、その要旨を逸脱しない範囲で種々変更可能である。たとえば、ユーザ端末は、スマートフォン以外にも、ノート型ＰＣや、タブレット端末、ＶＲ（Virtual Reality ）ゴーグル等の様々な形態のユーザ端末を全て含むものである。
　なお、ユーザ端末がＶＲゴーグルの場合、図１０の配信画面１０００は、ＶＲゴーグルで表示される。希望カメラ表示領域１０２０及び映像切替タブ１０３０の機能は、ＶＲゴーグルに付属されるコントーラ、または、ＶＲゴーグルと通信可能なスマートフォン、タブレット端末等により達成される。
　また、ユーザ端末がＶＲゴーグルの場合、図１３の切替後画面１３００は、ＶＲゴーグルで表示される。希望カメラ表示領域１３２０及び再切替タブ１３３０の機能は、ＶＲゴーグルに付属されるコントーラ、または、ＶＲゴーグルと通信可能なスマートフォン、タブレット端末等により達成される。
　また、上記した実施の形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施の形態の構成の一部を他の実施の形態の構成に置き換えることが可能であり、また、ある実施の形態の構成に他の実施の形態の構成を加えることも可能である。また、各実施の形態の構成の一部について、他の構成の追加、削除、置換しても良い。
　また、上記の各構成、機能、処理部は、それらの一部又は全部を、ハードウェア（例えば、集積回路）で実現してもよい。また、上記の各構成、機能、処理部は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行するネットワーク経由もしくはディスク等記憶媒体によるインストール型のソフトウェア、また、ＡＳＰなどのネットワーク型アプリケーションで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、ＳＳＤ（Solid State Drive ）等の記録装置、または、ＩＣカード、ＳＤカード、ＤＶＤ等の記録媒体に置くことができる。
　さらに、カメラで撮影する映像は、スポーツ、ドラマなどであってもよい。例えば、野球場の所定位置にカメラ及びマイクを設置し、応援席、ベンチ、内野、外野、ネット裏などをカメラで撮影する撮影対象とし、カメラに対する方向、及びカメラから所定距離における映像及び音声を処理し、ユーザ端末へ提供可能である。なお、配信者端末は、野球場またはテレビ局の何れに設けられていてもよい。さらに、駅伝またはマラソン競技などにおいて、カメラ及びマイクを中継車に搭載し、中継車の前方及び後方等を撮影対象とし、撮影対象における音声を、ユーザ端末へ提供可能である。なお、配信者端末は、中継車または、テレビ局の何れに設けられていてもよい。
　さらに、会場７００に設けられたメインステージでドラマを演じる場合、メインステージの位置と、バックヤード及び楽屋の位置とは異なる。そして、メインステージでの所定のシーンをカメラ２０で撮影し、かつ、マイク２１で音声を取得している状況から、シーンの切り替わりで、次の日の朝における一部演者の声が、楽屋から聞こえるような演出、または、バックヤードの袖から一部演者の声が聞こえる演出等が行われることがある。このような場合、カメラ２０で撮影する目標位置を、メインステージから楽屋、またはバックヤードの袖に切り替え、かつ、マイク２１でその音声を取得するように切り替えることが可能である。このように、カメラ２０で撮影する位置を切り替えることにより、ユーザ端末１００でディスプレイ１００Ａを見るユーザは、「実は、こんなことが行われていたんだ。」と感動することができる。
　ユーザは、撮影対象の位置として、第２エリア２３、第３エリア２４、第４エリア２５の何れかのエリア内の位置を選択することも可能である。また、所定位置Ｐ１は、第５エリア２６内に配置されていてもよい。この場合、所定位置Ｐ１は、第１エリア２２と第２エリア２３との間、第２エリア２３と第３エリア２４との間、第３エリア２４と第４エリア２５との間、第１エリア２２と第４エリア２５との間の何れかに配置さえれていてもよい。さらに、所定位置Ｐ１は、第１エリア２２の後方、第２エリア２３の後方、第３エリア２４の後方、第４エリア２５の後方の何れかに配置されていてもよい。
　さらに、図１６に示された会場７００の平面視において、カメラ２０とマイク２１とが異なる位置に配置されていてもよい。この場合、カメラ２０とマイク２１との位置関係、及びカメラ２０とマイク２１との距離が定まれば、図４のステップＳ４０４において、撮影対象の位置と、撮影対象の位置における音声とを整合させて配信用映像生成処理を行うことが可能である。
　本開示で説明した事項の技術的意味の一例は、次の通りである、カメラ２０は、希望カメラの一例であり、制御回路１２０Ａは、カメラ抽出部、音声抽出部及び映像抽出部の一例である。位置Ｐ３は、撮影対象の一例である。撮影対象は、撮影目標と定義することも可能である。オーディオトラック係数は、所定の係数の一例である。カメラ２０は、３６０度カメラの一例であり、マイク２１は、３６０度マイクの一例である。Ｖｏ用マイク１０は、ボーカルマイクの一例である。
　本開示の管理サーバは、映像及び音声をユーザ端末に提供する分野で利用可能である。
　１００…ユーザ端末
　１１０…配信者端末
　１２０…管理サーバ
　１３０…ユーザ情報記憶部
　１３１…配信者情報記憶部
　１３２…配信用音声記憶部
　１３３…配信用映像記憶部
　１３４…配信画面記憶部
　１４０…配信用音声生成部
　１５０…配信用映像生成部
　１６０…配信画面生成部
　１７０…配信画面提供部
　１８０…映像切替部
　２００…ユーザ情報
　３００…配信者情報
　８００…配信用音声
　９００…配信用映像
　１０００…配信画面
　１３００…切替後画面

Claims (6)

  1. 　ユーザ端末及び配信者端末にネットワークを介して接続される管理サーバであって、
    　ユーザが前記ユーザ端末を操作して選択する希望カメラを、前記ユーザ端末から受信するカメラ抽出部と、
    　前記希望カメラによって撮影される撮影対象に対応する音声をマイクにより入手した音声生成用データを、前記配信者端末から受信する音声抽出部と、
    　前記撮影対象に対応する映像生成用データを、前記配信者端末から受信する映像抽出部と、
    　前記希望カメラから前記撮影対象までの距離を算出し、前記距離に応じて定まる係数を前記音声生成用データに乗算することにより、前記ユーザ端末に配信する配信用音声を生成する配信用音声生成部と、
    　前記撮影対象の映像、及び前記配信用音声に基づいて、前記ユーザ端末に配信する配信用映像を生成する配信用映像生成部と、
    　を有する、管理サーバ。
  2. 　請求項１記載の管理サーバにおいて、
    　前記希望カメラは、位置が異なる前記撮影対象をそれぞれ撮影可能な複数のカメラのうちから前記ユーザ端末の操作により選択されるカメラであり、
    　前記マイクは、位置が異なる前記撮影対象からそれぞれ音声を入手可能な複数のカメラを含み、
    　前記配信用音声生成部は、前記希望カメラの位置情報と、複数の前記マイクのそれぞれの位置情報とに基づいて、前記希望カメラから各マイクまでの距離をそれぞれ算出し、前記希望カメラから前記マイクに含まれるボーカルマイク以外の前記マイクまでの距離を、前記希望カメラから前記ボーカルマイクまでの距離で除算した数の逆数を所定の前記係数として算出し、所定の前記係数を各マイクで集音したトラック音の音量に乗算して得た各トラック音をミックスすることで、前記配信用音声を生成する、
    　管理サーバ。
  3. 　請求項２記載の管理サーバにおいて、
    　前記配信用音声及び前記配信用映像に基づいて、配信画面を生成する配信画面生成部と、
    　生成した前記配信画面を前記ユーザ端末に提供する配信画面提供部と、
    　を有する、管理サーバ。
  4. 　請求項３記載の管理サーバにおいて、
    　前記ユーザ端末が前記配信画面に含まれる映像切替タブの押下入力をユーザから受付けた場合に、ユーザによって新たに選択された前記希望カメラに対応した前記配信用音声と前記配信用映像とに基づいて切替後画面を生成する映像切替部を有し、
    　前記配信画面提供部は、生成した前記切替後画面を前記ユーザ端末に提供する、管理サーバ。
  5. 　請求項４記載の管理サーバにおいて、
    　前記映像切替部は、前記ユーザ端末が前記切替後画面に含まれる再切替タブの押下入力をユーザから受付けた場合に、ユーザによって新たに選択された前記希望カメラに対応した前記配信用音声と前記配信用映像とに基づいて、前記切替後画面を新たに生成する、管理サーバ。
  6. 　請求項１記載の管理サーバにおいて、
    　前記配信者端末は、前記希望カメラに接続され、かつ、前記撮影対象で発生する音声を入手するマイクに接続され、
    　前記希望カメラは、所定位置を中心とする円周方向で３６０度の範囲内に存在する前記撮影対象を撮影可能な３６０度カメラを含み、
    　前記マイクは、前記所定位置を中心とする円周方向で３６０度の範囲内に存在する前記撮影対象で発生する音声を入手可能な３６０度マイクを含む、管理サーバ。
PCT/JP2021/022285 2020-12-22 2021-06-11 管理サーバ WO2022137606A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US18/258,318 US20240031618A1 (en) 2020-12-22 2021-06-11 Management server
JP2022571018A JP7344610B2 (ja) 2020-12-22 2021-06-11 管理サーバ
JP2023113961A JP2023133328A (ja) 2020-12-22 2023-07-11 管理サーバ

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020212642 2020-12-22
JP2020-212642 2020-12-22

Publications (1)

Publication Number Publication Date
WO2022137606A1 true WO2022137606A1 (ja) 2022-06-30

Family

ID=82158903

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/022285 WO2022137606A1 (ja) 2020-12-22 2021-06-11 管理サーバ

Country Status (3)

Country Link
US (1) US20240031618A1 (ja)
JP (2) JP7344610B2 (ja)
WO (1) WO2022137606A1 (ja)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003219389A (ja) * 2002-01-18 2003-07-31 Nippon Telegr & Teleph Corp <Ntt> 映像配信方法及びシステム及び装置及びユーザ端末及び映像配信プログラム及び映像配信プログラムを格納した記憶媒体
JP2008131379A (ja) * 2006-11-21 2008-06-05 Yamaha Corp 配信システム、および端末装置
JP2013250838A (ja) * 2012-06-01 2013-12-12 Nintendo Co Ltd 情報処理プログラム、情報処理装置、情報処理システム、および情報処理方法
JP5777185B1 (ja) * 2014-05-16 2015-09-09 株式会社ユニモト 全周動画配信システム、全周動画配信方法、通信端末装置およびそれらの制御方法と制御プログラム
WO2015162947A1 (ja) * 2014-04-22 2015-10-29 ソニー株式会社 情報再生装置及び情報再生方法、並びに情報記録装置及び情報記録方法
JP2016165162A (ja) * 2016-06-16 2016-09-08 株式会社ハーツクリエイション 動画配信システム
JP2020167629A (ja) * 2019-03-29 2020-10-08 日本放送協会 受信装置、配信サーバ及び受信プログラム

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003219389A (ja) * 2002-01-18 2003-07-31 Nippon Telegr & Teleph Corp <Ntt> 映像配信方法及びシステム及び装置及びユーザ端末及び映像配信プログラム及び映像配信プログラムを格納した記憶媒体
JP2008131379A (ja) * 2006-11-21 2008-06-05 Yamaha Corp 配信システム、および端末装置
JP2013250838A (ja) * 2012-06-01 2013-12-12 Nintendo Co Ltd 情報処理プログラム、情報処理装置、情報処理システム、および情報処理方法
WO2015162947A1 (ja) * 2014-04-22 2015-10-29 ソニー株式会社 情報再生装置及び情報再生方法、並びに情報記録装置及び情報記録方法
JP5777185B1 (ja) * 2014-05-16 2015-09-09 株式会社ユニモト 全周動画配信システム、全周動画配信方法、通信端末装置およびそれらの制御方法と制御プログラム
JP2016165162A (ja) * 2016-06-16 2016-09-08 株式会社ハーツクリエイション 動画配信システム
JP2020167629A (ja) * 2019-03-29 2020-10-08 日本放送協会 受信装置、配信サーバ及び受信プログラム

Also Published As

Publication number Publication date
JP2023133328A (ja) 2023-09-22
JP7344610B2 (ja) 2023-09-14
JPWO2022137606A1 (ja) 2022-06-30
US20240031618A1 (en) 2024-01-25

Similar Documents

Publication Publication Date Title
US10171769B2 (en) Sound source selection for aural interest
JP6241802B1 (ja) 映像配信システム、ユーザ端末装置および映像配信方法
CN110447071B (zh) 信息处理装置、信息处理方法和记录程序的可拆卸介质
KR100901111B1 (ko) 삼차원 가상 공간 콘텐츠를 이용한 영상제공시스템
JP2016010021A (ja) 画像・音声配信システム、画像・音声配信装置および画像・音声配信プログラム
US20180227694A1 (en) Audio capture for multi point image capture systems
WO2022137606A1 (ja) 管理サーバ
Susal et al. Immersive audio for VR
CN113545096B (zh) 信息处理装置和信息处理系统
JP7378851B2 (ja) 表示装置
JP7429266B2 (ja) イベントカスタム型のオーディオコンテンツをレンダリングするためのコンピュータシステムおよび方法
US20180167755A1 (en) Distributed Audio Mixing
KR20190064394A (ko) 360도 가상현실 분할 서클 비젼 표시 장치 및 방법
WO2022070379A1 (ja) 信号処理システム、信号処理装置、及び信号処理方法
JP7089815B1 (ja) サーバ
JP7170495B2 (ja) 情報処理装置、情報処理システム、情報処理方法及びコンピュータプログラム
US20210320959A1 (en) System and method for real-time massive multiplayer online interaction on remote events
WO2022234699A1 (ja) 動画配信装置、表示制御装置、動画配信システム、動画配信方法およびプログラム
KR101950852B1 (ko) 메타데이터를 이용한 자유선택시점 영상 제공 장치 및 방법
WO2024084943A1 (ja) 情報処理装置、情報処理方法、プログラム
US20230262271A1 (en) System and method for remotely creating an audio/video mix and master of live audio and video
JP2007134808A (ja) 音声配信装置、音声配信方法、音声配信プログラム、および記録媒体
US20230269435A1 (en) System and method for the creation and management of virtually enabled studio
JP7052453B2 (ja) サーバー、方法、プログラム及びシステム
KR20240044403A (ko) 참여형 콘텐츠 처리 시스템 및 그 제어방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21909767

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022571018

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 18258318

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21909767

Country of ref document: EP

Kind code of ref document: A1