WO2024004052A1 - 動画に提供情報を重畳する動画配信 - Google Patents

動画に提供情報を重畳する動画配信 Download PDF

Info

Publication number
WO2024004052A1
WO2024004052A1 PCT/JP2022/025840 JP2022025840W WO2024004052A1 WO 2024004052 A1 WO2024004052 A1 WO 2024004052A1 JP 2022025840 W JP2022025840 W JP 2022025840W WO 2024004052 A1 WO2024004052 A1 WO 2024004052A1
Authority
WO
WIPO (PCT)
Prior art keywords
distribution
video
information
depth
region
Prior art date
Application number
PCT/JP2022/025840
Other languages
English (en)
French (fr)
Inventor
航 菊地
Original Assignee
楽天モバイル株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 楽天モバイル株式会社 filed Critical 楽天モバイル株式会社
Priority to JP2024519560A priority Critical patent/JP7524501B2/ja
Priority to US18/008,614 priority patent/US12120378B2/en
Priority to PCT/JP2022/025840 priority patent/WO2024004052A1/ja
Publication of WO2024004052A1 publication Critical patent/WO2024004052A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4316—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for displaying supplemental content in a region of the screen, e.g. an advertisement in a separate window
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/2187—Live feed
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4728—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for selecting a Region Of Interest [ROI], e.g. for requesting a higher resolution version of a selected region
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65—Transmission of management data between client and server
    • H04N21/658—Transmission by the client directed to the server
    • H04N21/6587—Control parameters, e.g. trick play commands, viewpoint selection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Definitions

  • the present disclosure relates to video distribution in which provided information is superimposed on a video.
  • a terminal device displays a video distributed from a video distribution server in a video display area, and displays some comments received from a comment distribution server that manages comments regarding the video in the video display area.
  • a technique has been disclosed that displays the video so as to be superimposed on the displayed video.
  • the broadcaster may hold items such as products or flip boards and explain the items.
  • provided information such as comments is superimposed on the video as in the technique described above, there is a problem in that the provided information overlaps with the item, making it difficult to see the item that the broadcaster is trying to show. .
  • the present disclosure has been made in view of the above circumstances, and aims to provide a technology that can display provided information in streaming video without interfering with viewing the information included in the video. do.
  • the information processing device includes: An information processing device for streaming video based on a distance image taken of a distributor,
  • the information processing device includes one or more processors,
  • the processor includes: obtaining a depth distribution in the distance image; determining a threshold based on the obtained depth distribution; In the distance image, specifying a far region whose depth is larger than the threshold value and a nearby region whose depth is smaller than the threshold value, Provided to a viewer terminal to which the video is streamed, along with the video, provided information is superimposed on the background with the distant area in the background and the nearby area in the foreground, and the background on which the provided information is superimposed.
  • a process is performed to provide control information for overlaying the foreground on top of the foreground.
  • a display control method includes: A computer that streams video based on distance images taken of the broadcaster. obtaining a depth distribution in the distance image; determining a threshold value based on the obtained depth distribution; In the distance image, specifying a far region whose depth is larger than the threshold value and a nearby region whose depth is smaller than the threshold value, Provided to a viewer terminal to which the video is streamed, along with the video, provided information is superimposed on the background with the distant area in the background and the nearby area in the foreground, and the background on which the provided information is superimposed. Provide control information for overlaying the foreground.
  • the recording medium is A computer that streams video based on distance images taken of the broadcaster. obtaining a depth distribution in the distance image; determining a threshold value based on the obtained depth distribution; In the distance image, specifying a far region whose depth is larger than the threshold value and a nearby region whose depth is smaller than the threshold value, Provided to a viewer terminal to which the video is streamed, along with the video, provided information is superimposed on the background with the distant area in the background and the nearby area in the foreground, and the background on which the provided information is superimposed. A program for executing a process of providing control information for overlaying the foreground is recorded.
  • provided information can be displayed in a streaming video without interfering with viewing the information included in the video.
  • FIG. 1 is a diagram showing the overall configuration of a video distribution system according to an embodiment.
  • FIG. 1 is a block diagram showing a hardware configuration of an information processing device according to an embodiment. It is a diagram showing a functional configuration of a distribution server according to an embodiment.
  • FIG. 2 is a diagram for explaining a video received from a distributor terminal according to an embodiment.
  • FIG. 3 is a diagram for explaining provided information according to the embodiment.
  • FIG. 3 is a diagram showing how provided information is displayed on the screen of the viewer terminal according to the embodiment.
  • FIG. 3 is a diagram for explaining a far region and a nearby region according to an embodiment.
  • FIG. 2 is a diagram for explaining the background of the embodiment.
  • FIG. 3 is a diagram for explaining the foreground according to the embodiment.
  • FIG. 1 is a block diagram showing a hardware configuration of an information processing device according to an embodiment. It is a diagram showing a functional configuration of a distribution server according to an embodiment.
  • FIG. 2 is a diagram for
  • FIG. 3 is a diagram showing how provided information is displayed on the screen of the viewer terminal according to the embodiment.
  • FIG. 3 is a diagram showing how provided information is displayed on the screen of the viewer terminal according to the embodiment.
  • FIG. 6 is a diagram illustrating how a nearby area and a far area are displayed in different display modes on the screen of the distributor terminal according to the embodiment.
  • 7 is a flowchart showing display control processing according to the embodiment.
  • a video distribution system 1 is a system that provides a video distribution service. As shown in FIG. 1, the video distribution system 1 includes a distribution server 100, a distributor terminal 200, and a plurality of viewer terminals 300, each of which can communicate via a computer communication network 400 such as the Internet. Connected.
  • the distribution server 100 is a device that manages the video distribution service provided by the video distribution system 1. Specifically, distribution server 100 manages videos received from distributor terminal 200. Furthermore, the distribution server 100 receives provided information from a plurality of viewer terminals 300 while distributing the video. The distribution server 100 then distributes the video received from the distributor terminal 200 and the provided information to the viewer terminal 300 in response to a request from the viewer terminal 300.
  • the provided information is information provided by the viewer of the video being distributed, and is information provided by the viewer of the viewer terminal 300.
  • the provided information is, for example, a viewer's comment regarding the video.
  • the distributor terminal 200 is a terminal used by a distributor who distributes videos. For example, the distributor uses the distributor terminal 200 to transmit a video shot of himself to the distribution server 100, and distributes the video to the viewer terminal 300 via the distribution server 100.
  • the viewer terminal 300 is a terminal used by a viewer who views a distributed video. For example, a viewer logs into a video distribution service managed by the distribution server 100 from the viewer terminal 300 and views a video distributed from the distributor terminal 200 via the distribution server 100. Further, for example, the viewer inputs provided information using the viewer terminal 300 while viewing a distributed video, and the viewer terminal 300 transmits the input provided information to the distribution server 100.
  • FIG. 2 is a block diagram showing the hardware configuration of an information processing device 500 that implements the distribution server 100, the distributor terminal 200, and the viewer terminal 300.
  • the information processing device 500 includes a CPU (Central Processing Unit) 11, a ROM (Read Only Memory) 12, a RAM (Random Access Memory) 13, a recording medium 14, an output device 15, It includes a communication device 16 and an input device 17. Each component is connected by a bus 18.
  • CPU Central Processing Unit
  • ROM Read Only Memory
  • RAM Random Access Memory
  • the CPU 11 controls the operation of the entire information processing device 500, is connected to each component, and exchanges control signals and data.
  • the ROM 12 records an operating recording medium and various data necessary for controlling the operation of the entire information processing device 500.
  • the RAM 13 is for temporarily recording data and a recording medium, and holds the recording medium and data read from the recording medium 14, as well as other data necessary for communication.
  • the recording medium 14 is composed of a hard disk, flash memory, etc., and records data to be processed by the information processing device 500.
  • the output device 15 includes a display device such as an LCD (Liquid Crystal Display) and a backlight, and an audio output device such as a speaker.
  • the output device 15 outputs, for example, data output from the CPU 11 under the control of the CPU 11.
  • the communication device 16 includes a communication interface for connecting the information processing apparatus 500 to a computer communication network 400 such as the Internet, and communicates with other information processing apparatuses etc. via the communication device 16.
  • the input device 17 includes input devices such as buttons, a keyboard, a touch panel, a microphone, a camera, and an optical scanner.
  • the input device 17 receives an operation input from a user of the information processing apparatus 500 and outputs a signal corresponding to the received operation input to the CPU 11.
  • the distribution server 100 functionally includes an acquisition unit 101, a determination unit 102, a specification unit 103, and a provision unit 104.
  • the CPU 11 and the communication device 16 cooperate to function as the acquisition unit 101 and the provision unit 104, and the CPU 11 functions as the determination unit 102 and the identification unit 103.
  • the distribution server 100 streams a video based on a distance image of the distributor.
  • a distance image is an image in which the value of each pixel indicates the distance to the subject.
  • the distance image may be obtained by being photographed with dedicated hardware such as a depth camera, or may be obtained by performing distance estimation processing on a video taken with a general-purpose camera. . Therefore, the distance image may be generated by the distributor terminal 200 that shoots the video, or may be generated based on the video received by the distribution server 100. The distance image is used by the acquisition unit 101 to acquire the depth distribution, as will be described later.
  • the video that the distribution server 100 delivers to the viewer terminal 300 includes a video in which the distributor is photographed, and provided information provided by the viewer using the viewer terminal 300.
  • FIG. 4 shows an image 610 of a moving image received from the distributor terminal 200.
  • An image 610 shows a broadcaster 601 holding an item 602 in front of his body and explaining the item 602.
  • FIG. 5 shows an image 620 that includes provided information 603 to 605 received from the viewer terminal 300.
  • Each of the provided information 603 to 605 is provided by a plurality of viewers who are viewing the video being distributed.
  • the provided information is placed at an arbitrary position, such as a random position, by the distribution server 100, for example.
  • Distribution server 100 transmits information for superimposing image 620 on image 610 to viewer terminal 300.
  • FIG. 6 shows how a video distributed from the distribution server 100 is displayed on the screen 310 of the viewer terminal 300.
  • provided information 603 to 605 are displayed superimposed on a video shot of the distributor 601.
  • the provided information 603 continues to move from the outside of the screen 310 toward the inside in the direction of the arrow 606 and disappears from the screen.
  • the provided information 605 overlaps the item 602, and the item 602 is hidden by the provided information 605, making it difficult to see.
  • a method for displaying the provided information so that the provided information 605 does not hide the item 602 will be described.
  • the acquisition unit 101 in FIG. 3 acquires the depth distribution in the distance image.
  • the acquisition unit 101 receives the distance image of image 610 in FIG. 4 from the distributor terminal 200, and acquires the depth distribution of the subject in the distance image.
  • the acquired depth distribution includes a distribution D1 indicating the depth of the distributor 601 and a distribution D2 indicating the depth of the item 602. Therefore, the obtained depth distribution can be considered to be a mixed distribution.
  • the determining unit 102 determines a threshold value based on the acquired depth distribution.
  • the determining unit 102 separates the acquired depth distribution into a first distribution and a second distribution, and divides the obtained depth distribution into a first representative value of the first distribution and a second representative value of the second distribution. If and are sufficiently spaced apart, an intermediate value between the first representative value and the second representative value is determined as the threshold value.
  • the first representative value is, for example, a value representative of the first distribution, such as the mean, median, or mode of the first distribution.
  • the second representative value is a value representing the second distribution, such as the average value, median value, and mode of the second distribution.
  • the first representative value will be the average value of the first distribution
  • the second representative value will be the average value of the second distribution.
  • the determining unit 102 separates the obtained depth distributions by setting the distribution D1 indicating the depth of the distributor 601 as the first distribution and the distribution D2 indicating the depth of the item 602 as the second distribution.
  • a known method for separating the obtained depth distribution into the first distribution and the second distribution a known method such as an EM (Expectation Maximization) algorithm for a normal mixture distribution is adopted, for example.
  • the determining unit 102 determines that the distribution D1 is The intermediate value ( ⁇ 1+ ⁇ 2)/2 between the average value ⁇ 1 and the average value ⁇ 2 of the distribution D2 is set as the threshold value.
  • the determining unit 102 determines that the difference between the first representative value and the second representative value is greater than the sum of the standard deviation of the first distribution and the standard deviation of the second distribution multiplied by a predetermined value. In this case, it is determined that the first representative value of the first distribution and the second representative value of the second distribution are sufficiently separated.
  • the determining unit 102 determines that the difference ( ⁇ 1 ⁇ 2) between the average value ⁇ 1 of the distribution D1 indicating the depth of the distributor 601 and the average value ⁇ 2 of the distribution D2 indicating the depth of the item 602 is the standard deviation ⁇ 1 of the distribution D1. and standard deviation ⁇ 2 of distribution D2 multiplied by a positive constant ⁇ (( ⁇ 1 + ⁇ 2) ⁇ ⁇ ), the mean value ⁇ 1 of distribution D1 and the mean value ⁇ 2 of distribution D2 are sufficiently separated. It is determined that there is.
  • the positive constant ⁇ is set to a value of 1 to 2, for example, but can be set as appropriate by the administrator of the distribution server 100.
  • the specifying unit 103 specifies, in the distance image, a far region whose depth is greater than the threshold value and a nearby region whose depth is smaller than the threshold value.
  • the far area is an area whose depth is greater than the threshold value, and is an area that is relatively far from the front of the screen.
  • the nearby area is an area whose depth is smaller than a threshold value, and is an area relatively near the front of the screen.
  • the identifying unit 103 determines whether items 602 are included in the video received from the distributor terminal 200.
  • the area is specified as a nearby area, and areas other than the nearby area that include the distributor 601 and other areas other than the distributor 601 are identified as distant areas.
  • the specifying unit 103 corrects the nearby region to a region of a predetermined shape, and corrects the far region to a region other than the region of a predetermined shape.
  • the predetermined shape is any shape such as a rectangle or an ellipse, and can be arbitrarily determined by the administrator of the distribution server 100.
  • the region of the predetermined shape is a region that includes a neighboring region and is larger than the neighboring region. Therefore, the region of the predetermined shape includes a nearby region before correction and a part of a far region before correction.
  • the predetermined shape is assumed to be a rectangle, and the region of the predetermined shape has an area obtained by multiplying the area of the neighboring region by a positive constant ⁇ ( ⁇ is larger than 1), and the center thereof overlaps with the center of the neighboring region before correction.
  • FIG. 7 shows a near region 607 after correction and a far region 608 after correction.
  • the neighborhood area 607 includes the entire area where the item 602 is displayed.
  • the far area 608 includes areas other than the nearby area 607.
  • the providing unit 104 superimposes provided information on the background, with the distant area in the background and the nearby area in the foreground, together with the video, on the viewer terminal 300 to which the video is streamed, and displays the background on which the provided information is superimposed. Provides control information for overlaying the foreground on top of the foreground.
  • the control information is information for controlling the display mode of the provided information displayed on the viewer terminal 300.
  • the distribution server 100 transmits control information to the viewer terminal 300 used by the viewer, and causes the viewer terminal 300 to display provided information provided by the viewer based on the control information.
  • the providing unit 104 provides control information that causes the provided information to be displayed so that it continues to move from outside the screen of the viewer terminal toward the inside and disappears from the screen.
  • the providing unit 104 continues to move the provided information 603 to 605 in the direction of the arrow 606 from outside the screen 310 toward the inside as time passes, and provides control information that disappears outside the screen 310.
  • FIG. 8 shows a background 630 of the image 610
  • FIG. 9 shows a foreground 640 of the image 610
  • the background 630 is a representation of the far region 608 of the image 610 in FIG. 7
  • the foreground 640 is a representation of only the nearby region 607 of the image 610 of FIG.
  • the providing unit 104 generates control information in which the image 620 including the provided information 603 to 605 in FIG. 5 is superimposed on the background 630 in FIG. 8, and the foreground 640 in FIG. 9 is superimposed thereon. That is, the providing unit 104 generates control information that overlays the layer of the provided information image 620 in FIG. 5 on the background 630 layer, and overlays the foreground 640 layer thereon. Then, the providing unit 104 transmits the generated control information along with the video to the viewer terminal 300 to which the video is streamed.
  • FIG. 10 shows a video displayed on the screen 310 of the viewer terminal 300 based on the control information transmitted from the distribution server 100.
  • the provided information 605 is displayed behind the neighborhood area containing the item 602.
  • FIG. 11 shows the screen 310 a few seconds after FIG. 10.
  • the provided information 605 moves in the direction indicated by the arrow 606 and is displayed behind the nearby area including the item 602 and in front of the far area including the distributor 601.
  • the providing unit 104 displays the currently captured video or distance image on the distributor terminal 200 where the distributor shoots the video, and displays the far region and the nearby region in different ways in the distance image. Provides control information to be displayed in a specific manner.
  • the providing unit 104 applies a red filter to one area and a blue filter to the other area, thereby generating control information that causes the far area and the nearby area to be displayed in different display modes. Send to.
  • FIG. 12 shows how a video is displayed on the screen 210 of the distributor terminal 200 based on the control information transmitted from the distribution server 100.
  • the nearby area 607 and the far area 608 are displayed in different display modes.
  • the distributor 601 can check whether the item 602 in his possession is in the foreground and not hidden behind the provided information while shooting the video.
  • the operation of the distribution server 100 of this embodiment will be explained using FIG. 13.
  • the display control process in FIG. 13 is executed, for example, for each frame of a video distributed by the distribution server 100.
  • the acquisition unit 101 acquires the depth distribution in the distance image (step S101).
  • the acquisition unit 101 receives the distance image of image 610 in FIG. 4 from the distributor terminal 200, and acquires the depth distribution of the subject in the distance image.
  • the determining unit 102 separates the acquired depth distribution into a first distribution and a second distribution (step S102).
  • the determining unit 102 separates the obtained depth distribution using a known method, with the distribution D1 indicating the depth of the distributor 601 as a first distribution and the distribution D2 indicating the depth of the item 602 as a second distribution.
  • the determining unit 102 determines whether the first representative value of the first distribution and the second representative value of the second distribution are sufficiently apart (step S103). When determining that the first representative value and the second representative value are sufficiently separated (step S103; YES), the determining unit 102 determines a threshold value (step S104). On the other hand, if the determining unit 102 determines that the first representative value and the second representative value are not sufficiently separated (step S103; NO), the process ends.
  • the difference ( ⁇ 1- ⁇ 2) between the average value ⁇ 1 of the distribution D1 indicating the depth of the distributor 601 and the average value ⁇ 2 of the distribution D2 indicating the depth of the item 602 is the standard deviation ⁇ 1 of the distribution D1 and the standard deviation ⁇ 1 of the distribution D2. If the value is larger than the sum of the deviation ⁇ 2 multiplied by 1 (( ⁇ 1+ ⁇ 2) ⁇ 1), the determining unit 102 determines that the first representative value and the second representative value are sufficiently separated. Then, the determining unit 102 sets the intermediate value ( ⁇ 1+ ⁇ 2)/2 between the average value ⁇ 1 of the distribution D1 and the average value ⁇ 2 of the distribution D2 as a threshold value. On the other hand, if the difference ( ⁇ 1- ⁇ 2) is less than or equal to the number (( ⁇ 1+ ⁇ 2) ⁇ 1), the determining unit 102 determines that the first representative value and the second representative value are not sufficiently separated, and processes end.
  • the specifying unit 103 specifies, in the distance image, a far region whose depth is greater than the threshold value and a nearby region whose depth is smaller than the threshold value (step S105).
  • the specifying unit 103 specifies a region including the item 602 as a nearby region in the video received from the distributor terminal 200, corrects the specified nearby region with a region of a predetermined shape, and specifies the nearby region 607. Further, the specifying unit 103 specifies an area other than the nearby area 607 that includes the distributor 601 and an area other than the distributor 601 as a far area 608 .
  • the providing unit 104 superimposes provided information on the background, with the distant area in the background and the nearby area in the foreground, together with the video, on the viewer terminal 300 to which the video is streamed, and displays the background on which the provided information is superimposed. Control information for overlaying the foreground is provided (step S106).
  • the providing unit 104 generates control information for superimposing the image 620 including the provided information 603 to 605 in FIG. 5 on the background 630 in FIG. 8, and then superimposing the foreground 640 in FIG. 9 on top of the image 620. Then, the providing unit 104 transmits the generated control information along with the video to the viewer terminal 300 to which the video is streamed.
  • a streaming video it is possible to identify a nearby area relatively nearer in depth based on a distance image, and display the nearby area as a foreground overlapping the provided information. .
  • provided information can be displayed on something that is relatively shown in the foreground, such as an item mentioned by a distributor, without overlapping it. Therefore, in a streaming video, the provided information can be displayed without interfering with the viewing of the information included in the video.
  • the present embodiment it is possible to specify a relatively far-distance region based on the distance image, and display the provided information in a superimposed manner with the far-field region as the background.
  • the provided information can be displayed so as to be superimposed on the video of the distributor displayed in a distant area. Therefore, the viewer can watch the broadcaster while looking at the provided information.
  • the provided information provided by the viewer can be moved and displayed on the screen. Therefore, even if the provided information is hidden in a nearby area, it is possible to grasp the entire provided information as time passes.
  • the nearby region can be corrected to a region of a predetermined shape including the near region, and the far region can be corrected to a region excluding the region of the predetermined shape.
  • the depth distribution obtained from the distance image is separated into two distributions as a mixed distribution, and if the representative values of the two separated distributions are sufficiently separated, Determine the intermediate value as the threshold. Thereby, it is possible to appropriately determine a threshold value for specifying a nearby region and a far region from the separated distributions.
  • the threshold value when determining the threshold value, if the difference between the representative values of the two distributions is larger than the sum of the standard deviations of the two distributions multiplied by a predetermined value, Determine that the representative values are sufficiently spaced apart. Thereby, it is possible to appropriately determine whether the representative values of the two separated distributions are sufficiently apart based on the information obtained from the distributions.
  • the currently captured distance image can be displayed on the screen of the distributor terminal where the distributor shoots the video, and the distant area and the nearby area can be displayed in different display modes. .
  • This allows the distributor to confirm, while shooting, whether the object that he or she wants to display relatively in the foreground on the screen is in the foreground and not hidden behind the provided information.
  • the video distribution system 1 includes one distribution server 100, but the present invention is not limited to this.
  • the functions of distribution server 100 may be realized by multiple servers.
  • the distribution server 100 includes at least one processor.
  • these processors may perform the processing executed by the acquisition unit 101, the determination unit 102, the identification unit 103, and the provision unit 104 in a distributed manner.
  • the distribution server 100 provides the control information, but the present invention is not limited to this, and the viewer terminal 300 may provide the control information to the viewer terminal 300 itself. That is, the viewer terminal 300 may have the functions of the acquisition section 101, the determination section 102, the identification section 103, and the provision section 104.
  • the video is a video shot by the distributor himself/herself, but the present invention is not limited to this, and any video may be used as long as the depth distribution of the shooting space can be obtained.
  • the video may be, for example, one in which an avatar is photographed in a virtual space.
  • the personal computer or information terminal device can function as the distribution server 100 according to the embodiment. It is also possible to do so.
  • Non-transitory storage media can be distributed and sold independently of computers.
  • the non-temporary recording medium refers to a tangible recording medium. Examples of non-temporary recording media include compact disks, flexible disks, hard disks, magneto-optical disks, digital video disks, magnetic tapes, semiconductor memories, and the like.
  • the term "transitory recording medium” refers to the transmission medium (propagation signal) itself.
  • the temporary recording medium is, for example, an electrical signal, an optical signal, an electromagnetic wave, or the like.
  • the temporary storage area is an area for temporarily storing data and a recording medium, and is, for example, a volatile memory such as a RAM.
  • An information processing device for streaming video based on a distance image taken of a distributor includes one or more processors, The processor includes: obtaining a depth distribution in the distance image; determining a threshold based on the obtained depth distribution; In the distance image, specifying a far region whose depth is larger than the threshold value and a nearby region whose depth is smaller than the threshold value, Provided to a viewer terminal to which the video is streamed, along with the video, provided information is superimposed on the background with the distant area in the background and the nearby area in the foreground, and the background on which the provided information is superimposed.
  • An information processing device that performs a process of providing control information for overlaying the foreground.
  • the provided information is information provided by the viewer of the viewer terminal
  • the processor includes: The information processing device according to [1], which performs a process of providing control information for displaying the provided information so that it continues to move from outside the screen of the viewer terminal toward the inside and disappears outside the screen. .
  • the processor includes: correcting the neighboring region to a region of a predetermined shape including the neighboring region; correcting the far region to a region excluding the region of the predetermined shape;
  • the information processing device according to [1] or [2], which executes a process of making the corrected far area the background and the corrected nearby area the foreground.
  • the obtained depth distribution is a mixture distribution
  • the processor includes: Separating the obtained depth distribution into a first distribution and a second distribution, If the first representative value of the first distribution and the second representative value of the second distribution are sufficiently apart, the intermediate value between the first representative value and the second representative value is set. , is determined as the threshold value.
  • the information processing apparatus according to any one of [1] to [3].
  • the processor includes: When the difference between the first representative value and the second representative value is larger than the sum of the standard deviation of the first distribution and the standard deviation of the second distribution multiplied by a predetermined value, The information processing device according to [4], which executes a process of determining that the first representative value of the first distribution and the second representative value of the second distribution are sufficiently separated.
  • the processor includes: Displaying a currently captured video or a distance image on a distributor terminal where the distributor shoots a video, and displaying the far region and the nearby region in different display modes in the distance image.
  • the information processing device according to any one of [1] to [5], which executes a process of providing control information.
  • a computer that streams video based on distance images taken of the broadcaster. obtaining a depth distribution in the distance image; determining a threshold based on the obtained depth distribution; In the distance image, specifying a far region whose depth is larger than the threshold value and a nearby region whose depth is smaller than the threshold value, Provided to a viewer terminal to which the video is streamed, along with the video, provided information is superimposed on the background with the distant area in the background and the nearby area in the foreground, and the background on which the provided information is superimposed.
  • a display control method comprising: providing control information for overlaying the foreground.
  • a computer that streams video based on distance images taken of the broadcaster. obtaining a depth distribution in the distance image; determining a threshold value based on the obtained depth distribution; In the distance image, specifying a far region whose depth is larger than the threshold value and a nearby region whose depth is smaller than the threshold value, Provided to a viewer terminal to which the video is streamed, along with the video, provided information is superimposed on the background with the distant area in the background and the nearby area in the foreground, and the background on which the provided information is superimposed.
  • a computer-readable recording medium having recorded thereon a program for executing a process of providing control information for overlaying the foreground.
  • Video distribution system 11 CPU, 12 ROM, 13 RAM, 14 recording medium, 15 output device, 16 communication device, 17 input device, 18 bus, 100 distribution server, 101 acquisition unit, 102 determination unit, 103 identification unit, 104 Providing unit, 200 Distributor terminal, 210, 310 Screen, 300 Viewer terminal, 400 Computer communication network, 500 Information processing device, 601 Distributor, 602 Item, 603-605 Providing information, 606 Arrow, 607 Nearby area, 608 Distance Area, 610, 620 Image, 630 Background, 640 Foreground

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Databases & Information Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

配信者を撮影した距離画像に基づいて動画をストリーミング配信するための情報処理装置において、取得部（１０１）は、距離画像における奥行きの分布を取得する。決定部（１０２）は、取得された奥行きの分布に基づいて、閾値を決定する。特定部（１０３）は、距離画像において、奥行きが閾値より大きい遠方領域と、奥行きが閾値より小さい近傍領域と、を特定する。提供部（１０４）は、動画がストリーミング配信される視聴者端末（３００）に、動画と共に、遠方領域を背景に、近傍領域を前景にして、背景の上に提供情報を重ね、当該提供情報が重ねられた背景の上に前景を重ねる制御情報を提供する。

Description

動画に提供情報を重畳する動画配信
　本開示は、動画に提供情報を重畳する動画配信に関する。
　近年、ストリーミング配信される動画に、動画について提供される提供情報を重畳して、視聴者の端末に表示させる技術が知られている。
　例えば、特許文献１には、端末装置が、動画配信サーバから配信される動画を動画表示領域に表示し、動画に関するコメントを管理するコメント配信サーバから受信したコメントの一部を、動画表示領域に表示された動画に重ねるように表示する技術が開示されている。
特開２０２２－０４６５７７号公報
　ストリーミング配信される動画では、配信者が商品やフリップボード等のアイテムを所持し、アイテムについて説明する場合がある。このような場合、上記の技術のように、コメントのような提供情報を動画に重畳すると、アイテムに提供情報が重なってしまい、配信者が見せようとしているアイテムが見にくくなってしまうという問題がある。
　本開示は、上記事情に鑑みてなされたものであり、ストリーミング配信される動画において、動画に含まれる情報の視聴を妨げることなく提供情報を表示させることが可能な技術を提供することを目的とする。
　本開示の第１の観点に係る情報処理装置は、
　配信者を撮影した距離画像に基づいて動画をストリーミング配信するための情報処理装置であって、
　前記情報処理装置は、１以上のプロセッサを備え、
　前記プロセッサは、
　前記距離画像における奥行きの分布を取得し、
　前記取得された奥行きの分布に基づいて、閾値を決定し、
　前記距離画像において、奥行きが前記閾値より大きい遠方領域と、奥行きが前記閾値より小さい近傍領域と、を特定し、
　前記動画がストリーミング配信される視聴者端末に、前記動画と共に、前記遠方領域を背景に、前記近傍領域を前景にして、前記背景の上に提供情報を重ね、当該提供情報が重ねられた前記背景の上に前記前景を重ねる制御情報を提供する
　処理を実行する。
　本開示の第２の観点に係る表示制御方法は、
　配信者を撮影した距離画像に基づいて動画をストリーミング配信するためのコンピュータが、
　前記距離画像における奥行きの分布を取得し、
　前記取得された奥行きの分布に基づいて、閾値を決定し、
　前記距離画像において、奥行きが前記閾値より大きい遠方領域と、奥行きが前記閾値より小さい近傍領域と、を特定し、
　前記動画がストリーミング配信される視聴者端末に、前記動画と共に、前記遠方領域を背景に、前記近傍領域を前景にして、前記背景の上に提供情報を重ね、当該提供情報が重ねられた前記背景の上に前記前景を重ねる制御情報を提供する。
　本開示の第３の観点に係る記録媒体は、
　配信者を撮影した距離画像に基づいて動画をストリーミング配信するためのコンピュータに、
　前記距離画像における奥行きの分布を取得し、
　前記取得された奥行きの分布に基づいて、閾値を決定し、
　前記距離画像において、奥行きが前記閾値より大きい遠方領域と、奥行きが前記閾値より小さい近傍領域と、を特定し、
　前記動画がストリーミング配信される視聴者端末に、前記動画と共に、前記遠方領域を背景に、前記近傍領域を前景にして、前記背景の上に提供情報を重ね、当該提供情報が重ねられた前記背景の上に前記前景を重ねる制御情報を提供する
　処理を実行させるためのプログラムを記録する。
　本開示によれば、ストリーミング配信される動画において、動画に含まれる情報の視聴を妨げることなく提供情報を表示させることができる。
実施形態に係る動画配信システムの全体構成を示す図である。 実施形態に係る情報処理装置のハードウェア構成を示すブロック図である。 実施形態に係る配信サーバの機能構成を示す図である。 実施形態に係る配信者端末から受信する動画を説明するための図である。 実施形態に係る提供情報を説明するための図である。 実施形態に係る視聴者端末の画面に提供情報が表示された様子を示す図である。 実施形態に係る遠方領域と近傍領域とを説明するための図である。 実施形態に係る背景を説明するための図である。 実施形態に係る前景を説明するための図である。 実施形態に係る視聴者端末の画面に提供情報が表示された様子を示す図である。 実施形態に係る視聴者端末の画面に提供情報が表示された様子を示す図である。 実施形態に係る配信者端末の画面に近傍領域と遠方領域とが異なる表示態様で表示された様子を示す図である。 実施形態に係る表示制御処理を示すフローチャートである。
（１．全体構成）
　本開示の実施形態に係る動画配信システム１は、動画配信サービスを提供するシステムである。動画配信システム１は、図１に示すように、配信サーバ１００と、配信者端末２００と、複数の視聴者端末３００と、を含み、それぞれがインターネット等のコンピュータ通信網４００を介して通信可能に接続される。
　配信サーバ１００は、動画配信システム１が提供する動画配信サービスを管理する装置である。具体的には、配信サーバ１００は、配信者端末２００から受信した動画を管理する。また、配信サーバ１００は、動画の配信中に、複数の視聴者端末３００から提供情報を受信する。そして、配信サーバ１００は、視聴者端末３００からの要求に応じて、配信者端末２００から受信した動画と、提供情報とを視聴者端末３００に配信する。
　ここで、提供情報とは、配信中の動画の視聴者から提供される情報であって、視聴者端末３００の視聴者により提供される情報である。提供情報は、例えば、動画に関する視聴者のコメントである。
　配信者端末２００は、動画を配信する配信者が使用する端末である。配信者は、例えば、配信者端末２００を用いて、自身を撮影した動画を配信サーバ１００に送信し、配信サーバ１００を介して視聴者端末３００に動画を配信する。
　視聴者端末３００は、配信された動画を視聴する視聴者が使用する端末である。視聴者は、例えば、配信サーバ１００が管理する動画配信サービスに視聴者端末３００からログインし、配信サーバ１００を介して配信者端末２００から配信される動画を視聴する。また、視聴者は、例えば、配信される動画を視聴中に、視聴者端末３００を用いて提供情報を入力し、視聴者端末３００は、入力された提供情報を配信サーバ１００に送信する。
（２．情報処理装置のハードウェア構成）
　図２は、配信サーバ１００、配信者端末２００及び視聴者端末３００を実現する情報処理装置５００のハードウェア構成を示すブロック図である。
　情報処理装置５００は、図２に示すように、ＣＰＵ（Central Processing Unit）１１と、ＲＯＭ（Read Only Memory）１２と、ＲＡＭ（Random Access Memory）１３と、記録媒体１４と、出力デバイス１５と、通信デバイス１６と、入力デバイス１７と、を備える。各構成要素は、バス１８により接続されている。
　ＣＰＵ１１は、情報処理装置５００全体の動作を制御し、各構成要素と接続され、制御信号やデータをやりとりする。
　ＲＯＭ１２には、情報処理装置５００全体の動作制御に必要なオペレーティングの記録媒体や各種のデータが記録される。
　ＲＡＭ１３は、データや記録媒体を一時的に記録するためのもので、記録媒体１４から読み出した記録媒体やデータ、その他、通信に必要なデータ等が保持される。
　記録媒体１４は、ハードディスクやフラッシュメモリ等から構成され、情報処理装置５００で処理するデータを記録する。
　出力デバイス１５は、ＬＣＤ（Liquid Crystal Display）及びバックライト等の表示装置や、スピーカ等の音声出力装置を備える。出力デバイス１５は、ＣＰＵ１１による制御の下、例えば、ＣＰＵ１１から出力されたデータを出力する。
　通信デバイス１６は、情報処理装置５００をインターネット等のコンピュータ通信網４００に接続するための通信インタフェースを含み、通信デバイス１６を介して他の情報処理装置等とやりとりをする。
　入力デバイス１７は、ボタン、キーボード、タッチパネル、マイク、カメラ、光学スキャナ等の入力装置を備える。入力デバイス１７は、情報処理装置５００の使用者から操作入力を受け付け、受け付けた操作入力に対応する信号をＣＰＵ１１に出力する。
（３．実施形態の配信サーバの機能構成）
　配信サーバ１００の機能構成について、図３を用いて説明する。
　配信サーバ１００は、機能的には、取得部１０１と、決定部１０２と、特定部１０３と、提供部１０４と、を備える。本実施形態において、ＣＰＵ１１及び通信デバイス１６が協働して、取得部１０１及び提供部１０４として機能し、ＣＰＵ１１が、決定部１０２及び特定部１０３として機能する。
　以下では、動画配信サービスにおいて配信される動画は、配信者が自身を撮影したものであるとする。配信サーバ１００は、配信者を撮影した距離画像に基づいて動画をストリーミング配信する。
　距離画像とは、各画素の値が被写体までの距離を示す画像である。距離画像は、デプスカメラのような専用ハードウェアにより撮影されて得られたものでもよいし、汎用的なカメラにより撮影された動画について距離推定処理を行うことにより得られたものであってもよい。したがって、距離画像は、動画を撮影する配信者端末２００が生成してもよいし、配信サーバ１００が受信した動画に基づいて生成してもよい。距離画像は、後述するように、取得部１０１による奥行きの分布の取得に用いられる。
　配信サーバ１００が視聴者端末３００に配信する動画には、配信者を撮影した動画と、視聴者端末３００を使用する視聴者から提供される提供情報と、が含まれる。図４に、配信者端末２００から受信した動画の画像６１０を示す。画像６１０は、配信者６０１が、アイテム６０２を体の前に所持して、アイテム６０２について説明している様子を示している。また、図５に、視聴者端末３００から受信した提供情報６０３～６０５が含まれる画像６２０を示す。提供情報６０３～６０５のそれぞれは、配信されている動画を視聴中の複数の視聴者により提供されたものである。提供情報は、配信サーバ１００により、例えば、ランダムな位置等、任意の位置に配置される。配信サーバ１００は、画像６１０に画像６２０を重畳するための情報を、視聴者端末３００に送信する。
　図６に、配信サーバ１００から配信された動画が視聴者端末３００の画面３１０に表示されている様子を示す。画面３１０では、提供情報６０３～６０５が、配信者６０１を撮影した動画に重畳して表示されている。提供情報６０３は、時間経過と共に、画面３１０の外から中に向かって、矢印６０６の方向に移動し続け、画面の外へ消える。
　図６の画面３１０では、提供情報６０５がアイテム６０２の上に重なり、アイテム６０２が提供情報６０５に隠されて見にくくなっている。以下では、提供情報６０５がアイテム６０２を隠さないように、提供情報を表示する手法について説明する。
　図３の取得部１０１は、距離画像における奥行きの分布を取得する。
　例えば、取得部１０１は、図４の画像６１０の距離画像を配信者端末２００から受信し、距離画像における被写体の奥行きの分布を取得する。
　ここで、取得された奥行きの分布には、配信者６０１の奥行きを示す分布Ｄ１と、アイテム６０２の奥行きを示す分布Ｄ２とが含まれる。したがって、取得された奥行きの分布は混合分布であると見なすことができる。
　決定部１０２は、取得された奥行きの分布に基づいて、閾値を決定する。
　具体的には、決定部１０２は、取得された奥行きの分布を、第１分布と、第２分布と、に分離し、第１分布の第１代表値と、第２分布の第２代表値と、が十分に離間していれば、第１代表値と、第２代表値と、の中間の値を、閾値として決定する。
　第１代表値とは、例えば、第１分布の平均値、中央値、最頻値等の第１分布を代表する値である。また、第２代表値とは、例えば、第２分布の平均値、中央値、最頻値等の第２分布を代表する値である。以下では、第１代表値を、第１分布の平均値、第２代表値を、第２分布の平均値とする。
　例えば、決定部１０２は、配信者６０１の奥行きを示す分布Ｄ１を第１分布、アイテム６０２の奥行きを示す分布Ｄ２を第２分布として、取得された奥行きの分布を分離する。なお、取得された奥行きの分布を、第１分布と第２分布とに分離する手法としては、例えば、正規混合分布に対するＥＭ（Expectation Maximization）アルゴリズムのような既知の手法を採用する。次に、決定部１０２は、配信者６０１の奥行きを示す分布Ｄ１の平均値μ１と、アイテム６０２の奥行きを示す分布Ｄ２の平均値μ２と、とが十分に離間していれば、分布Ｄ１の平均値μ１と分布Ｄ２の平均値μ２との中間の値（μ１＋μ２）／２を、閾値とする。
　ここで、決定部１０２は、第１代表値と第２代表値との差が、第１分布の標準偏差と第２分布の標準偏差との和に、所定の値を乗じた値よりも大きい場合に、第１分布の第１代表値と、第２分布の第２代表値と、が十分に離間していると判断する。
　例えば、決定部１０２は、配信者６０１の奥行きを示す分布Ｄ１の平均値μ１と、アイテム６０２の奥行きを示す分布Ｄ２の平均値μ２との差（μ１－μ２）が、分布Ｄ１の標準偏差σ１と分布Ｄ２の標準偏差σ２との和に正定数αを乗じた数（（σ１＋σ２）×α）より大きい場合に、分布Ｄ１の平均値μ１と分布Ｄ２の平均値μ２とが十分に離間していると判断する。なお、正定数αは、例えば、１～２の値が設定されるが、配信サーバ１００の管理者により適宜設定可能である。
　特定部１０３は、距離画像において、奥行きが閾値より大きい遠方領域と、奥行きが閾値より小さい近傍領域と、を特定する。
　遠方領域は、奥行きが閾値より大きい領域であり、相対的に画面の手前から遠方にある領域である。近傍領域は、奥行きが閾値より小さい領域であり、相対的に画面の手前の近傍にある領域である。
　例えば、閾値が、分布Ｄ１の平均値μ１と分布Ｄ２の平均値μ２の中間の値（μ１＋μ２）／２とすると、特定部１０３は、配信者端末２００から受信した動画のうち、アイテム６０２を含む領域を近傍領域として特定し、近傍領域以外の領域であって、配信者６０１を含む領域及び配信者６０１以外のその他の領域を遠方領域として特定する。
　ここで、特定部１０３は、近傍領域を所定形状の領域に補正し、遠方領域を所定形状の領域以外の領域に補正する。
　所定形状とは、矩形、楕円形等の任意の形状であり、配信サーバ１００の管理者が任意に定めることができる。所定形状の領域とは、近傍領域を含む、近傍領域よりも大きな領域である。したがって、所定形状の領域は、補正前の近傍領域と、補正前の遠方領域の一部を含む。
　距離画像の精度によっては、特定された近傍領域にアイテム６０２の端の部分が含まれないことが考えられる。よって、特定された近傍領域を含む所定形状の領域に補正することにより、近傍領域にアイテム６０２全体を含めるようにすることができる。以下では、所定形状を矩形とし、所定形状の領域は、近傍領域の面積に正定数β（βは１より大きい）を乗じた面積を有し、中心が補正前の近傍領域の中心と重なる領域であるとする。
　図７に補正後の近傍領域６０７及び補正後の遠方領域６０８を示す。近傍領域６０７には、アイテム６０２が映された領域が全て含まれる。遠方領域６０８には、近傍領域６０７以外の領域が含まれる。
　提供部１０４は、動画がストリーミング配信される視聴者端末３００に、動画と共に、遠方領域を背景に、近傍領域を前景にして、背景の上に提供情報を重ね、当該提供情報が重ねられた背景の上に前景を重ねる制御情報を提供する。
　制御情報とは、視聴者端末３００に表示される提供情報の表示態様を制御するための情報である。配信サーバ１００は、視聴者が使用する視聴者端末３００に制御情報を送信し、視聴者端末３００に、視聴者から提供された提供情報を制御情報に基づいて表示させる。
　ここで、提供部１０４は、提供情報を、視聴者端末の画面の外から中に向かって移動し続け、画面の外へ消えるように表示させる制御情報を提供する。
　例えば、提供部１０４は、提供情報６０３～６０５を、時間経過と共に、画面３１０の外から中に向かって、矢印６０６の方向に移動させ続け、画面３１０の外へ消える制御情報を提供する。
　図８に、画像６１０の背景６３０、図９に、画像６１０の前景６４０を示す。背景６３０は、図７の画像６１０のうち遠方領域６０８を映したものであり、前景６４０は、図７の画像６１０のうち近傍領域６０７のみを映したものである。提供部１０４は、図８の背景６３０の上に、図５の提供情報６０３～６０５が含まれる画像６２０を重ね、さらに、その上に図９の前景６４０を重ねた制御情報を生成する。すなわち、提供部１０４は、背景６３０のレイヤの上に、図５の提供情報の画像６２０のレイヤを重ね、その上に前景６４０のレイヤを重ねる制御情報を生成する。そして、提供部１０４は、動画がストリーミング配信される視聴者端末３００に、動画と共に、生成した制御情報を送信する。
　図１０に、配信サーバ１００から送信された制御情報に基づいて、視聴者端末３００の画面３１０に表示される動画の様子を示す。図１０の画面３１０では、提供情報６０５は、アイテム６０２を含む近傍領域の後ろに表示される。
　図１１に、図１０から数秒後の画面３１０の様子を示す。図１１の画面３１０では、提供情報６０５は、矢印６０６が示す方向に移動し、アイテム６０２を含む近傍領域の後ろであって、配信者６０１を含む遠方領域の前に表示される。
　また、提供部１０４は、配信者が動画を撮影する配信者端末２００に、現在撮影されている動画、又は、距離画像を表示し、距離画像において、遠方領域と、近傍領域とを、異なる表示態様で表示させる制御情報を提供する。
　例えば、提供部１０４は、一方の領域に赤色フィルタをかけ、他方の領域に青色フィルタをかけることにより、遠方領域と近傍領域とを異なる表示態様で表示させる制御情報を生成し、配信者端末２００に送信する。
　図１２に、配信サーバ１００から送信された制御情報に基づいて動画が配信者端末２００の画面２１０に表示されている様子を示す。図１２の画面２１０では、近傍領域６０７と遠方領域６０８とが異なる表示態様で表示される。配信者６０１は、動画の撮影中に、所持しているアイテム６０２が提供情報に隠れずに前景になっているかを確認することができる。
（４．実施形態の配信サーバの動作）
　本実施形態の配信サーバ１００の動作について、図１３を用いて説明する。図１３の表示制御処理は、例えば、配信サーバ１００が配信する動画のフレーム毎に実行される。
　取得部１０１は、距離画像における奥行きの分布を取得する（ステップＳ１０１）。
　例えば、取得部１０１は、図４の画像６１０の距離画像を配信者端末２００から受信し、距離画像における被写体の奥行きの分布を取得する。
　決定部１０２は、取得された奥行きの分布を、第１分布と、第２分布と、に分離する（ステップＳ１０２）。
　例えば、決定部１０２は、取得された奥行きの分布を、既知の手法により、配信者６０１の奥行きを示す分布Ｄ１を第１分布、アイテム６０２の奥行きを示す分布Ｄ２を第２分布として分離する。
　次に、決定部１０２は、第１分布の第１代表値と、第２分布の第２代表値と、が十分に離間しているか否かを判断する（ステップＳ１０３）。決定部１０２は、第１代表値と、第２代表値と、が十分に離間していると判断すると（ステップＳ１０３；ＹＥＳ）、閾値を決定する（ステップＳ１０４）。一方、決定部１０２は、第１代表値と、第２代表値と、が十分に離間していないと判断すると（ステップＳ１０３；ＮＯ）、処理を終了する。
　例えば、配信者６０１の奥行きを示す分布Ｄ１の平均値μ１と、アイテム６０２の奥行きを示す分布Ｄ２の平均値μ２との差（μ１－μ２）が、分布Ｄ１の標準偏差σ１と分布Ｄ２の標準偏差σ２との和に１を乗じた数（（σ１＋σ２）×１）より大きい場合、決定部１０２は、第１代表値と、第２代表値と、が十分に離間していると判断する。そして、決定部１０２は、分布Ｄ１の平均値μ１と分布Ｄ２の平均値μ２との中間の値（μ１＋μ２）／２を、閾値とする。一方、差（μ１－μ２）が数（（σ１＋σ２）×１）以下の場合、決定部１０２は、第１代表値と、第２代表値と、が十分に離間していないと判断し、処理を終了する。
　特定部１０３は、距離画像において、奥行きが閾値より大きい遠方領域と、奥行きが閾値より小さい近傍領域と、を特定する（ステップＳ１０５）。
　例えば、特定部１０３は、配信者端末２００から受信した動画のうち、アイテム６０２を含む領域を近傍領域として特定し、特定した近傍領域を所定形状の領域により補正し、近傍領域６０７を特定する。また、特定部１０３は、近傍領域６０７以外の領域であって、配信者６０１を含む領域及び配信者６０１以外のその他の領域を遠方領域６０８として特定する。
　提供部１０４は、動画がストリーミング配信される視聴者端末３００に、動画と共に、遠方領域を背景に、近傍領域を前景にして、背景の上に提供情報を重ね、当該提供情報が重ねられた背景の上に前景を重ねる制御情報を提供する（ステップＳ１０６）。
　例えば、提供部１０４は、図８の背景６３０の上に、図５の提供情報６０３～６０５が含まれる画像６２０を重ね、さらに、その上に図９の前景６４０を重ねる制御情報を生成する。そして、提供部１０４は、動画がストリーミング配信される視聴者端末３００に、動画と共に、生成した制御情報を送信する。
　配信者が撮影される動画において、配信者がアイテムについて言及する場合、アイテムは配信者よりも奥行きが相対的に手前側に配置されることが多い。本実施形態によれば、ストリーミング配信される動画において、距離画像に基づき奥行きが相対的に手前側の近傍領域を特定し、近傍領域を前景として提供情報の上に重ねるように表示することができる。これにより、動画において、配信者が言及するアイテムのような、相対的に手前側に映されているものに、提供情報を重ねることなく表示することができる。したがって、ストリーミング配信される動画において、動画に含まれる情報の視聴を妨げることなく提供情報を表示させることができる。
　また、本実施形態によれば、距離画像に基づき奥行きが相対的に遠方の遠方領域を特定し、遠方領域を背景として提供情報を上に重ねるように表示することができる。これにより、遠方領域に映されている配信者の映像に提供情報を重ねるように表示することができる。したがって、視聴者は、提供情報を見ながら配信者の様子を視聴することができる。
　また、本実施形態によれば、視聴者により提供された提供情報を画面において移動させて表示することができる。これにより、提供情報が近傍領域に隠されてしまったとしても、時間経過に伴い、提供情報の全体を把握することができる。
　また、本実施形態によれば、近傍領域を、近傍領域を含む所定形状の領域に補正し、遠方領域を、所定形状の領域を除いた領域に補正することができる。これにより、距離画像の精度が低い場合でも、相対的に手前側に映されているものを適切に近傍領域に含めることができ、相対的に手前側に映されているものに提供情報を重ねることなく表示することができる。
　また、本実施形態によれば、距離画像から取得された奥行きの分布を混合分布として２つの分布に分離し、分離した２つの分布の代表値が十分に離間していれば、それら代表値の中間の値を閾値として決定する。これにより、近傍領域と遠方領域とを特定するための閾値を、分離された分布から適切に決定することができる。
　また、本実施形態によれば、閾値の決定に際し、２つの分布の代表値の差が、２つの分布の標準偏差の和に所定の値を乗じた値よりも大きい場合に、２つの分布の代表値が十分に離間していると判断する。これにより、分離した２つの分布の代表値が十分に離間しているか否かを、分布から得られる情報に基づいて適切に判断することができる。
　また、本実施形態によれば、配信者が動画を撮影する配信者端末の画面に、現在撮影されている距離画像を表示し、遠方領域と近傍領域とを異なる表示態様で表示させることができる。これにより、配信者は、撮影をしながら、画面において相対的に手前に映したいものが提供情報に隠れずに前景となっているかを確認することができる。
（５．変形例）
　以上、本開示の実施形態を説明したが、本開示を実施するにあたっては、種々の形態による変形及び応用が可能である。
　上記実施形態において、動画配信システム１には１つの配信サーバ１００が含まれているが、これに限らない。配信サーバ１００の機能は、複数のサーバにより実現されてもよい。また、配信サーバ１００は、少なくとも１つ以上のプロセッサを備える。例えば、配信サーバ１００が２以上のプロセッサを備える場合、これらのプロセッサが、取得部１０１、決定部１０２、特定部１０３及び提供部１０４が実行する処理を、分散しておこなってもよい。
　また、上記実施形態において、配信サーバ１００が制御情報を提供するとしたが、これに限らず、視聴者端末３００が制御情報を、視聴者端末３００自身に提供してもよい。つまり、視聴者端末３００は、取得部１０１、決定部１０２、特定部１０３及び提供部１０４の機能を有しても良い。
　また、上記実施形態において、動画は、配信者が自身を撮影したものであるとするとしたが、これに限らず、撮影空間の奥行きの分布を取得できるものであればどのような動画でもよい。動画は、例えば、仮想空間においてアバターが撮影されたものでもよい。
　また、上記実施形態に係る配信サーバ１００の動作を規定するプログラムを、既存のパーソナルコンピュータ又は情報端末装置に適用することで、当該パーソナルコンピュータ又は情報端末装置を、実施形態に係る配信サーバ１００として機能させることも可能である。
　また、上記プログラムは、非一時的な（non-transitory）記録媒体に記録されてもよい。非一時的な記録媒体は、コンピュータとは独立して配布・販売することができる。ここで、非一時的な記録媒体とは、有形な（tangible）記録媒体をいう。非一時的な記録媒体は、例えば、コンパクトディスク、フレキシブルディスク、ハードディスク、光磁気ディスク、ディジタルビデオディスク、磁気テープ、半導体メモリ等である。また、一時的な（transitory）記録媒体とは、伝送媒体（伝搬信号）それ自体を示す。一時的な記録媒体は、例えば、電気信号、光信号、電磁波等である。なお、一時的な（temporary）記憶領域とは、データや記録媒体を一時的に記憶するための領域であり、例えば、ＲＡＭ等の揮発性メモリである。
（付記）
［１］
　配信者を撮影した距離画像に基づいて動画をストリーミング配信するための情報処理装置であって、
　前記情報処理装置は、１以上のプロセッサを備え、
　前記プロセッサは、
　前記距離画像における奥行きの分布を取得し、
　前記取得された奥行きの分布に基づいて、閾値を決定し、
　前記距離画像において、奥行きが前記閾値より大きい遠方領域と、奥行きが前記閾値より小さい近傍領域と、を特定し、
　前記動画がストリーミング配信される視聴者端末に、前記動画と共に、前記遠方領域を背景に、前記近傍領域を前景にして、前記背景の上に提供情報を重ね、当該提供情報が重ねられた前記背景の上に前記前景を重ねる制御情報を提供する
　処理を実行する情報処理装置。
［２］
　前記提供情報は、前記視聴者端末の視聴者により提供される情報であり、
　前記プロセッサは、
　前記提供情報を、前記視聴者端末の画面の外から中に向かって移動し続け、前記画面の外へ消えるように表示させる制御情報を提供する
　処理を実行する［１］に記載の情報処理装置。
［３］
　前記プロセッサは、
　前記近傍領域を、当該近傍領域を含む所定形状の領域に補正し、
　前記遠方領域を、前記所定形状の領域を除いた領域に補正し、
　前記補正された遠方領域を前記背景に、前記補正された近傍領域を前記前景にする
　処理を実行する［１］又は［２］に記載の情報処理装置。
［４］
　前記取得された奥行きの分布は混合分布であり、
　前記プロセッサは、
　前記取得された奥行きの分布を、第１分布と、第２分布と、に分離し、
　前記第１分布の第１代表値と、前記第２分布の第２代表値と、が十分に離間していれば、前記第１代表値と、前記第２代表値と、の中間の値を、前記閾値として決定する
　処理を実行する［１］から［３］のいずれか１つに記載の情報処理装置。
［５］
　前記プロセッサは、
　前記第１代表値と前記第２代表値との差が、前記第１分布の標準偏差と前記第２分布の標準偏差との和に、所定の値を乗じた値よりも大きい場合に、前記第１分布の第１代表値と、前記第２分布の第２代表値と、が十分に離間していると判断する
　処理を実行する［４］に記載の情報処理装置。
［６］
　前記プロセッサは、
　前記配信者が動画を撮影する配信者端末に、現在撮影されている動画、又は、距離画像を表示し、前記距離画像において、前記遠方領域と、前記近傍領域とを、異なる表示態様で表示させる制御情報を提供する
　処理を実行する［１］から［５］のいずれか１つに記載の情報処理装置。
［７］
　配信者を撮影した距離画像に基づいて動画をストリーミング配信するためのコンピュータが、
　前記距離画像における奥行きの分布を取得し、
　前記取得された奥行きの分布に基づいて、閾値を決定し、
　前記距離画像において、奥行きが前記閾値より大きい遠方領域と、奥行きが前記閾値より小さい近傍領域と、を特定し、
　前記動画がストリーミング配信される視聴者端末に、前記動画と共に、前記遠方領域を背景に、前記近傍領域を前景にして、前記背景の上に提供情報を重ね、当該提供情報が重ねられた前記背景の上に前記前景を重ねる制御情報を提供する
　表示制御方法。
［８］
　配信者を撮影した距離画像に基づいて動画をストリーミング配信するためのコンピュータに、
　前記距離画像における奥行きの分布を取得し、
　前記取得された奥行きの分布に基づいて、閾値を決定し、
　前記距離画像において、奥行きが前記閾値より大きい遠方領域と、奥行きが前記閾値より小さい近傍領域と、を特定し、
　前記動画がストリーミング配信される視聴者端末に、前記動画と共に、前記遠方領域を背景に、前記近傍領域を前景にして、前記背景の上に提供情報を重ね、当該提供情報が重ねられた前記背景の上に前記前景を重ねる制御情報を提供する
　処理を実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
　本開示は、本開示の広義の精神と範囲を逸脱することなく、様々な実施の形態及び変形が可能とされるものである。また、上述した実施の形態は、この発明を説明するためのものであり、本開示の範囲を限定するものではない。すなわち、本開示の範囲は、実施の形態ではなく、特許請求の範囲によって示される。そして、特許請求の範囲内及びそれと同等の発明の意義の範囲内で施される様々な変形が、この発明の範囲内とみなされる。
　本開示によれば、ストリーミング配信される動画において、動画に含まれる情報の視聴を妨げることなく提供情報を表示させることができる動画配信に好適に採用され得る。
１　動画配信システム、１１　ＣＰＵ、１２　ＲＯＭ、１３　ＲＡＭ、１４　記録媒体、１５　出力デバイス、１６　通信デバイス、１７　入力デバイス、１８　バス、１００　配信サーバ、１０１　取得部、１０２　決定部、１０３　特定部、１０４　提供部、２００　配信者端末、２１０，３１０　画面、３００　視聴者端末、４００　コンピュータ通信網、５００　情報処理装置、６０１　配信者、６０２　アイテム、６０３～６０５　提供情報、６０６　矢印、６０７　近傍領域、６０８　遠方領域、６１０，６２０　画像、６３０　背景、６４０　前景

Claims (8)

  1. 　配信者を撮影した距離画像に基づいて動画をストリーミング配信するための情報処理装置であって、
    　前記情報処理装置は、１以上のプロセッサを備え、
    　前記プロセッサは、
    　前記距離画像における奥行きの分布を取得し、
    　前記取得された奥行きの分布に基づいて、閾値を決定し、
    　前記距離画像において、奥行きが前記閾値より大きい遠方領域と、奥行きが前記閾値より小さい近傍領域と、を特定し、
    　前記動画がストリーミング配信される視聴者端末に、前記動画と共に、前記遠方領域を背景に、前記近傍領域を前景にして、前記背景の上に提供情報を重ね、当該提供情報が重ねられた前記背景の上に前記前景を重ねる制御情報を提供する
    　処理を実行する情報処理装置。
  2. 　前記提供情報は、前記視聴者端末の視聴者により提供される情報であり、
    　前記プロセッサは、
    　前記提供情報を、前記視聴者端末の画面の外から中に向かって移動し続け、前記画面の外へ消えるように表示させる制御情報を提供する
    　処理を実行する請求項１に記載の情報処理装置。
  3. 　前記プロセッサは、
    　前記近傍領域を、当該近傍領域を含む所定形状の領域に補正し、
    　前記遠方領域を、前記所定形状の領域を除いた領域に補正し、
    　前記補正された遠方領域を前記背景に、前記補正された近傍領域を前記前景にする
    　処理を実行する請求項１に記載の情報処理装置。
  4. 　前記取得された奥行きの分布は混合分布であり、
    　前記プロセッサは、
    　前記取得された奥行きの分布を、第１分布と、第２分布と、に分離し、
    　前記第１分布の第１代表値と、前記第２分布の第２代表値と、が十分に離間していれば、前記第１代表値と、前記第２代表値と、の中間の値を、前記閾値として決定する
    　処理を実行する請求項１に記載の情報処理装置。
  5. 　前記プロセッサは、
    　前記第１代表値と前記第２代表値との差が、前記第１分布の標準偏差と前記第２分布の標準偏差との和に、所定の値を乗じた値よりも大きい場合に、前記第１分布の第１代表値と、前記第２分布の第２代表値と、が十分に離間していると判断する
    　処理を実行する請求項４に記載の情報処理装置。
  6. 　前記プロセッサは、
    　前記配信者が動画を撮影する配信者端末に、現在撮影されている動画、又は、距離画像を表示し、前記距離画像において、前記遠方領域と、前記近傍領域とを、異なる表示態様で表示させる制御情報を提供する
    　処理を実行する請求項１に記載の情報処理装置。
  7. 　配信者を撮影した距離画像に基づいて動画をストリーミング配信するためのコンピュータが、
    　前記距離画像における奥行きの分布を取得し、
    　前記取得された奥行きの分布に基づいて、閾値を決定し、
    　前記距離画像において、奥行きが前記閾値より大きい遠方領域と、奥行きが前記閾値より小さい近傍領域と、を特定し、
    　前記動画がストリーミング配信される視聴者端末に、前記動画と共に、前記遠方領域を背景に、前記近傍領域を前景にして、前記背景の上に提供情報を重ね、当該提供情報が重ねられた前記背景の上に前記前景を重ねる制御情報を提供する
    　表示制御方法。
  8. 　配信者を撮影した距離画像に基づいて動画をストリーミング配信するためのコンピュータに、
    　前記距離画像における奥行きの分布を取得し、
    　前記取得された奥行きの分布に基づいて、閾値を決定し、
    　前記距離画像において、奥行きが前記閾値より大きい遠方領域と、奥行きが前記閾値より小さい近傍領域と、を特定し、
    　前記動画がストリーミング配信される視聴者端末に、前記動画と共に、前記遠方領域を背景に、前記近傍領域を前景にして、前記背景の上に提供情報を重ね、当該提供情報が重ねられた前記背景の上に前記前景を重ねる制御情報を提供する
    　処理を実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
PCT/JP2022/025840 2022-06-28 2022-06-28 動画に提供情報を重畳する動画配信 WO2024004052A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2024519560A JP7524501B2 (ja) 2022-06-28 2022-06-28 動画に提供情報を重畳する動画配信
US18/008,614 US12120378B2 (en) 2022-06-28 2022-06-28 Video distribution in which provided information is superimposed on video
PCT/JP2022/025840 WO2024004052A1 (ja) 2022-06-28 2022-06-28 動画に提供情報を重畳する動画配信

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2022/025840 WO2024004052A1 (ja) 2022-06-28 2022-06-28 動画に提供情報を重畳する動画配信

Publications (1)

Publication Number Publication Date
WO2024004052A1 true WO2024004052A1 (ja) 2024-01-04

Family

ID=89382157

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/025840 WO2024004052A1 (ja) 2022-06-28 2022-06-28 動画に提供情報を重畳する動画配信

Country Status (3)

Country Link
US (1) US12120378B2 (ja)
JP (1) JP7524501B2 (ja)
WO (1) WO2024004052A1 (ja)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000241131A (ja) * 1998-12-22 2000-09-08 Matsushita Electric Ind Co Ltd レンジファインダ装置および撮像装置
JP2004297245A (ja) * 2003-03-26 2004-10-21 Fujitsu Ltd ストリーミング配信方法
JP2008199645A (ja) * 2008-03-24 2008-08-28 Fujitsu Ltd ストリーミング配信方法
JP2012120098A (ja) * 2010-12-03 2012-06-21 Linkt Co Ltd 情報提供システム
JP2014086775A (ja) * 2012-10-19 2014-05-12 Nippon Telegr & Teleph Corp <Ntt> 映像コミュニケーションシステム及び映像コミュニケーション方法
JP2021051757A (ja) * 2018-05-07 2021-04-01 アップル インコーポレイテッドＡｐｐｌｅ Ｉｎｃ． クリエイティブカメラ

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4263218B2 (ja) 2006-12-11 2009-05-13 株式会社ドワンゴ コメント配信システム、コメント配信サーバ、端末装置、コメント配信方法、及びプログラム
US20160182971A1 (en) * 2009-12-31 2016-06-23 Flickintel, Llc Method, system and computer program product for obtaining and displaying supplemental data about a displayed movie, show, event or video game
JP5571269B2 (ja) * 2012-07-20 2014-08-13 パナソニック株式会社 コメント付き動画像生成装置およびコメント付き動画像生成方法
WO2016012875A1 (en) * 2014-07-23 2016-01-28 Comigo Ltd. Reducing interference of an overlay with underlying content
US10176303B1 (en) * 2015-01-15 2019-01-08 Linx Systems, Inc. Efficient management, control, and evaluation of captured digital media
CA3019567A1 (en) * 2016-03-30 2017-10-05 Covenant Eyes, Inc. Applications, systems and methods to monitor, filter and/or alter output of a computing device
KR102589628B1 (ko) * 2016-12-13 2023-10-13 로비 가이드스, 인크. 미디어 자산의 관심 객체의 이동 경로를 예측하고 이동 경로에 오버레이를 배치하는 것을 회피함으로써 오버레이에 의한 미디어 자산의 가림을 최소화하기 위한 시스템 및 방법
JP6931290B2 (ja) * 2017-03-03 2021-09-01 キヤノン株式会社 画像生成装置およびその制御方法
CN107181976B (zh) * 2017-04-28 2021-01-29 华为技术有限公司 一种弹幕显示方法及电子设备
WO2019229304A2 (en) * 2018-06-01 2019-12-05 Nokia Technologies Oy Method and apparatus for signaling user interactions on overlay and grouping overlays to background for omnidirectional content
US10757347B1 (en) * 2019-05-08 2020-08-25 Facebook, Inc. Modifying display of an overlay on video data based on locations of regions of interest within the video data

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000241131A (ja) * 1998-12-22 2000-09-08 Matsushita Electric Ind Co Ltd レンジファインダ装置および撮像装置
JP2004297245A (ja) * 2003-03-26 2004-10-21 Fujitsu Ltd ストリーミング配信方法
JP2008199645A (ja) * 2008-03-24 2008-08-28 Fujitsu Ltd ストリーミング配信方法
JP2012120098A (ja) * 2010-12-03 2012-06-21 Linkt Co Ltd 情報提供システム
JP2014086775A (ja) * 2012-10-19 2014-05-12 Nippon Telegr & Teleph Corp <Ntt> 映像コミュニケーションシステム及び映像コミュニケーション方法
JP2021051757A (ja) * 2018-05-07 2021-04-01 アップル インコーポレイテッドＡｐｐｌｅ Ｉｎｃ． クリエイティブカメラ

Also Published As

Publication number Publication date
JPWO2024004052A1 (ja) 2024-01-04
US20240244288A1 (en) 2024-07-18
JP7524501B2 (ja) 2024-07-29
US12120378B2 (en) 2024-10-15

Similar Documents

Publication Publication Date Title
US9473741B2 (en) Teleconference system and teleconference terminal
US20150181265A1 (en) Network synchronized camera settings
TWI479452B (zh) 修正數位影像的裝置及方法
US20130051659A1 (en) Stereoscopic image processing device and stereoscopic image processing method
US20120307023A1 (en) Disparity distribution estimation for 3d tv
US20230058952A1 (en) Audio apparatus and method of operation therefor
WO2013054160A1 (en) Light sensitive, low height, and high dynamic range camera
EP3550847A1 (en) Smart television signal source-based method for displaying floating menu and smart television
JP2021513773A (ja) 仮想現実ライブストリーミングにおいて視野角を同期させるための方法および装置
US20110242273A1 (en) Image processing apparatus, multi-eye digital camera, and program
CN113438436A (zh) 一种视频播放方法、视频会议方法、直播方法及相关设备
CN110730340B (zh) 基于镜头变换的虚拟观众席展示方法、系统及存储介质
KR20210038129A (ko) 영상 처리 방법 및 이를 지원하는 전자 장치
US11706378B2 (en) Electronic device and method of controlling electronic device
CN112004100B (zh) 将多路音视频源集合成单路音视频源的驱动方法
CN113438550B (zh) 一种视频播放方法、视频会议方法、直播方法及相关装置
WO2024004052A1 (ja) 動画に提供情報を重畳する動画配信
KR101838342B1 (ko) 화상 처리 장치, 화상 처리 방법, 및 기록매체
US20140253670A1 (en) Information processing device, display control system, and computer program product
CN116847116A (zh) 一种视频处理系统、方法、装置及存储介质
US20130120549A1 (en) Display processing apparatus and display processing method
JP5388032B2 (ja) 遠隔コミュニケーションシステム、制御装置、制御方法およびプログラム
US12101199B1 (en) Conference system for use of multiple devices
TWI502960B (zh) 二維轉三維轉換裝置及其方法
JP5646716B2 (ja) 映像表示装置及び映像表示方法

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 18008614

Country of ref document: US

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22949328

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2024519560

Country of ref document: JP

Kind code of ref document: A