WO2023157124A1 - ライブ配信中に映像を表示する配信者端末、表示方法、および、記録媒体 - Google Patents

ライブ配信中に映像を表示する配信者端末、表示方法、および、記録媒体 Download PDF

Info

Publication number
WO2023157124A1
WO2023157124A1 PCT/JP2022/006174 JP2022006174W WO2023157124A1 WO 2023157124 A1 WO2023157124 A1 WO 2023157124A1 JP 2022006174 W JP2022006174 W JP 2022006174W WO 2023157124 A1 WO2023157124 A1 WO 2023157124A1
Authority
WO
WIPO (PCT)
Prior art keywords
video
distributor
unit
viewer
live
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2022/006174
Other languages
English (en)
French (fr)
Inventor
航 菊地
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Rakuten Mobile Inc
Original Assignee
Rakuten Mobile Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Rakuten Mobile Inc filed Critical Rakuten Mobile Inc
Priority to US17/783,933 priority Critical patent/US12477157B2/en
Priority to PCT/JP2022/006174 priority patent/WO2023157124A1/ja
Priority to JP2024500767A priority patent/JP7583975B2/ja
Publication of WO2023157124A1 publication Critical patent/WO2023157124A1/ja
Anticipated expiration legal-status Critical
Priority to JP2024192789A priority patent/JP7844590B2/ja
Ceased legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/2187—Live feed
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/60—Extraction of image or video features relating to illumination properties, e.g. using a reflectance or lighting model
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4318—Generation of visual interfaces for content selection or interaction; Content or additional data rendering by altering the content in the rendering process, e.g. blanking, blurring or masking an image region
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/812—Monomedia components thereof involving advertisement data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring

Definitions

  • the present disclosure relates to a distributor terminal, a display method, and a recording medium that display video during live distribution.
  • Live commerce is electronic commerce in which a distributor distributes a live video introducing a product, and viewers watching the live video can purchase the product.
  • an exhibitor distributes a live video (live video) via his/her own terminal (distributor terminal), and a viewer watching the live video asks the seller a question.
  • An on-line commercial transaction support system is disclosed in which a product can be purchased while performing a transaction.
  • a distributor distributes its own live video, instead of displaying the live video captured by the camera (capturing unit) on the display unit of the distributor terminal as it is, It is common to display a mirror image in which an image is reversed (mirror inversion).
  • the distributor carries out distribution while checking the mirror image displayed on the display unit of the distributor's terminal in the same way as confirming one's own appearance in front of a mirror.
  • objects containing character information for notifying viewers may be synthesized. be.
  • such an object is also displayed in reverse on the display unit of the distributor's terminal, so there is a problem that the readability of the character information included in the object is remarkably deteriorated for the distributor.
  • the present disclosure has been made to solve the problems described above, and aims to provide a distributor terminal, a display method, and a recording medium that can appropriately support the distributor.
  • a distributor terminal includes: Transmission of viewer video for distribution to viewer terminals, which is a video in which an object is synthesized at a predetermined synthesis position in a live video shot by a shooting unit; display of video for a distributor, which is a video obtained by synthesizing the object with a mirror image obtained by inverting the live video, wherein the video is synthesized by synthesizing the object at a position of the mirror image with respect to the synthesizing position; a processor that runs characterized by comprising
  • the processor A display mode of the object to be combined with the live video and the mirror image may be changed according to an operation by the distributor on the object in the video for the distributor.
  • Changing the display mode may include changing at least one of size, shape, color, pattern, brightness, and brightness of the object.
  • the processor when the object is moved to a new position in the video for the distributor by an operation from the distributor, the object synthesized with the live video is changed to a normal image position with respect to the new position. may be executed.
  • Transition information for transitioning to a sales server that sells products may be added to the object.
  • the object may include character information.
  • a display method includes: the computer Transmission of viewer video for distribution to viewer terminals, which is a video in which an object is synthesized at a predetermined synthesis position in a live video shot by a shooting unit; display of video for a distributor, which is a video obtained by synthesizing the object with a mirror image obtained by inverting the live video, wherein the video is synthesized by synthesizing the object at a position of the mirror image with respect to the synthesizing position; is characterized by executing
  • a recording medium includes to the computer, Transmission of viewer video for distribution to viewer terminals, which is a video in which an object is synthesized at a predetermined synthesis position in a live video shot by a shooting unit; Display of a video for a distributor, which is a video obtained by synthesizing the object with a mirror image image obtained by inverting the live video, wherein the object is synthesized at a position of the mirror image with respect to the synthesis position; characterized by recording a program for executing
  • FIG. 1 is a schematic diagram showing an example of the overall configuration of a live distribution system according to Embodiment 1 of the present disclosure
  • FIG. 1 is a block diagram showing an example of a schematic configuration of a typical information processing device in which a distributor terminal or the like is realized
  • FIG. 4 is a block diagram showing an example of a functional configuration of a distribution server
  • FIG. 3 is a block diagram showing an example of a functional configuration of a distributor terminal according to Embodiment 1
  • FIG. FIG. 4 is a schematic diagram showing an example of how a distributor is photographed
  • FIG. 4 is a schematic diagram showing an example of a live video that is being shot
  • FIG. 10 is a schematic diagram showing an example of a viewer video in which an object is combined with a live video
  • FIG. 10 is a schematic diagram showing an example of a distributor's video in which an object is combined with a mirror image and displayed on the distributor's terminal;
  • FIG. 11 is a schematic diagram showing a state in which an object in a video for a distributor is pinched (pinch-out) by the distributor;
  • FIG. 10 is a schematic diagram showing how the size of an object synthesized with a viewer-use video changes in response to a pinch operation by a distributor;
  • FIG. 10 is a schematic diagram showing a state when an object in a video for a distributor is dragged by the distributor;
  • FIG. 10 is a schematic diagram showing how the position of an object synthesized with a viewer-use video changes in response to a drag operation by a distributor; 5 is a flowchart for explaining distribution processing according to the first embodiment;
  • FIG. 10 is a schematic diagram showing an example of the overall configuration of a live distribution system according to Embodiment 2 of the present disclosure; It is a block diagram showing an example of functional composition of a sales server.
  • FIG. 11 is a block diagram showing an example of a functional configuration of a distributor terminal according to Embodiment 2;
  • FIG. 4 is a schematic diagram showing an example of live video captured for live commerce;
  • FIG. 10 is a schematic diagram showing an example of a viewer video in which a plurality of objects are combined with a live video;
  • FIG. 10 is a schematic diagram showing an example of a distributor's video in which a plurality of objects are combined with a mirror image is displayed on the distributor's terminal;
  • FIG. 4 is a schematic diagram showing an example of a viewer video displayed on a viewer terminal; It is a schematic diagram which shows an example of the sales page displayed on a viewer terminal.
  • FIG. 1 is a schematic diagram showing an example of the overall configuration of a live distribution system 1 according to Embodiment 1 of the present disclosure.
  • a distribution server 100 that manages distribution
  • a distributor terminal 200 that is used by a distributor
  • a viewer terminal 300 that is used by a viewer can communicate via the Internet 900. It is connected to the. It is assumed that a large number of viewer terminals 300 exist according to the number of viewers who use the system.
  • the distribution server 100 is, for example, a server computer or the like, and manages the live distribution system 1 as a whole.
  • the distribution server 100 receives a video (video for viewers, which will be described later) sent from the distributor terminal 200 and distributes it to the viewer terminal 300 .
  • video video for viewers, which will be described later
  • the following description assumes that video includes not only video data but also audio data.
  • the distributor terminal 200 is, for example, a terminal such as a smartphone, tablet, or PC (Personal Computer), and is used by a distributor who distributes live video. As will be described later, the distributor takes an image of himself/herself from the image capturing unit (image capturing unit 210 described later) of the distributor terminal 200 and performs live distribution. At this time, a mirror image image obtained by inverting the captured live image is displayed on the display unit (display unit 260 described later), so the distributor checks his or her own actions while viewing the mirror image image.
  • the distributor takes an image of himself/herself from the image capturing unit (image capturing unit 210 described later) of the distributor terminal 200 and performs live distribution. At this time, a mirror image image obtained by inverting the captured live image is displayed on the display unit (display unit 260 described later), so the distributor checks his or her own actions while viewing the mirror image image.
  • the viewer terminal 300 is, for example, a terminal such as a smartphone, tablet, or PC, and is used by viewers who watch the live distribution. The viewer operates the viewer terminal 300 to log in to the distribution server 100 , and then views the live video distributed from the distributor terminal 200 via the distribution server 100 .
  • the information processing device 400 includes a CPU (Central Processing Unit) 401, a ROM (Read Only Memory) 402, a RAM (Random Access Memory) 403, a NIC (Network Interface Card) 404, an image It includes a processing unit 405 , an audio processing unit 406 , an auxiliary storage unit 407 , an interface 408 , an imaging unit 409 , an operation unit 410 and a display unit 411 .
  • a CPU Central Processing Unit
  • ROM Read Only Memory
  • RAM Random Access Memory
  • NIC Network Interface Card
  • the CPU 401 controls the operation of the entire information processing device 400, and is connected to each component to exchange control signals and data.
  • the ROM 402 records an IPL (Initial Program Loader) that is executed immediately after the power is turned on. By executing this, the program stored in the auxiliary storage unit 407 is read out to the RAM 403, and the CPU 401 loads the program. Execution begins.
  • IPL Initial Program Loader
  • the RAM 403 is for temporarily storing data and programs, and holds programs and data read from the auxiliary storage unit 407, as well as other data necessary for communication.
  • the NIC 404 is for connecting the information processing device 400 to a computer communication network such as the Internet. Consists of analog modems for connecting to the Internet using telephone lines, ISDN (Integrated Services Digital Network) modems, ADSL (Asymmetric Digital Subscriber Line) modems, cable modems for connecting to the Internet using cable television lines, etc. be done.
  • ISDN Integrated Services Digital Network
  • ADSL Asymmetric Digital Subscriber Line
  • the image processing unit 405 processes the image data read from the auxiliary storage unit 407 or the like by the CPU 401 or an image arithmetic processor (not shown) included in the image processing unit 405, and then processes the image data in the image processing unit 405. Record in a frame memory (not shown).
  • the image information recorded in the frame memory is converted into a video signal at a predetermined synchronization timing and output to the display unit 411 via the interface 408 or the like.
  • the image processing unit 405 under the control of the CPU 401, the image processing unit 405 generates an image that is required in the course of the processing performed by the information processing device 400, and causes the display unit 411 to display the image.
  • the audio processing unit 406 converts the music data and audio data read from the auxiliary storage unit 407 and the like into audio signals and outputs them to the outside via the interface 408 and the like. Note that when the information processing apparatus 400 includes a speaker inside, the audio processing unit 406 outputs the converted audio signal to the speaker. In other words, under the control of the CPU 401, the audio processing unit 406 generates music sounds and sounds to be generated during the processing performed by the information processing device 400, and outputs the music sounds and the like from internal or external speakers. Let
  • the auxiliary storage unit 407 is a hard disk, SSD (Solid State Drive), or the like, and stores various programs and various data necessary for controlling the operation of the information processing apparatus 400 as a whole.
  • the auxiliary storage unit 407 stores a program for implementing the distributor terminal 200 and the like according to the embodiment. Under the control of the CPU 401, the auxiliary storage unit 407 reads the stored programs and data as appropriate and temporarily stores them in the RAM 403 or the like.
  • the interface 408 conforms to standards such as HDMI (registered trademark), USB (Universal Serial Bus), and I2C (Inter-Integrated Circuit), and is connected to the imaging unit 409, the operation unit 410, and the display unit 411. be done. Note that the interface 408 may transmit and receive necessary information to and from other connected external devices.
  • the imaging unit 409 is, for example, a single-focal lens and an imaging device (CMOS: Complementary Metal Oxide Semiconductor or CCD: Charge Coupled Device) with a predetermined number of pixels, and shoots still images or moving images.
  • CMOS Complementary Metal Oxide Semiconductor
  • CCD Charge Coupled Device
  • the operation unit 410 accepts operation input from a worker or the like who uses the information processing device 400 .
  • the display unit 411 draws an image corresponding to the image data output by the image processing unit 405 and presents it to the operator or the like who uses the information processing device 400 .
  • the information processing device 400 may be provided with a drive unit such as a DVD (Digital Versatile Disc)-ROM.
  • the information processing device 400 reads programs and data from a DVD-ROM or the like mounted on the drive unit, and operates in the same manner as described above.
  • FIG. 1 When the information processing device 400 is powered on, a program that functions as the distribution server 100 and the distributor terminal 200 according to the first embodiment is executed, and the distribution server 100 and the distributor terminal 200 according to the first embodiment are executed. is realized.
  • the viewer terminal 300 is similarly realized by the information processing device 400, but since it has almost the same configuration as the distributor terminal 200, the explanation is omitted.
  • FIG. 3 is a block diagram showing an example of the functional configuration of the distribution server 100.
  • the distribution server 100 includes a receiver 110 , a transmitter 120 , a storage 130 and a controller 140 .
  • the receiving unit 110 receives various information sent from the distributor terminal 200 and the viewer terminal 300 via the Internet 900 .
  • the receiving unit 110 receives video (video for viewers, which will be described later) sent from the distributor terminal 200 .
  • the receiving unit 110 receives a login request or the like from the viewer terminal 300 .
  • the NIC 404 described above can function as such a receiving unit 110 .
  • the transmission unit 120 transmits various information to the viewer terminal 300 and the like via the Internet 900.
  • the transmission unit 120 is controlled by the control unit 140 (distribution control unit 142 described later) and distributes the video received from the distributor terminal 200 to the viewer terminal 300 .
  • the NIC 404 described above can function as such a transmission unit 120 .
  • the storage unit 130 stores various information necessary for processing in the distribution server 100 .
  • the storage unit 130 stores IDs and passwords of viewers who use the viewer terminal 300 .
  • the auxiliary storage unit 407 and the like described above can function as such a storage unit 130 .
  • the control unit 140 controls the distribution server 100 as a whole.
  • This control unit 140 includes, for example, a management unit 141 and a distribution control unit 142 .
  • the management unit 141 collates the ID, password, etc. sent from the viewer terminal 300 requesting login with the ID, password, etc. stored in the storage unit 130 to authenticate the viewer.
  • the distribution control unit 142 controls the receiving unit 110 and the transmitting unit 120 to distribute the video received from the distributor terminal 200 to the viewer terminal 300.
  • the above-described CPU 401 and the like can function as the control unit 140 configured as described above.
  • FIG. 4 is a block diagram showing an example of the functional configuration of the distributor terminal 200 according to the first embodiment.
  • the distributor terminal 200 includes an imaging unit 210 , a transmission/reception unit 220 , an operation reception unit 230 , a storage unit 240 , a control unit 250 and a display unit 260 .
  • the photographing unit 210 is, for example, a camera arranged inside the distributor terminal 200 (on the display unit 260 side), and photographs the distributor.
  • a distributor terminal 200 supported by a tripod or the like is arranged in front of the distributor DI to photograph the distributor DI. Then, the photographing unit 210 outputs the live video LV including the distributor DI as shown in FIG. Note that the imaging unit 409 described above can function as such an imaging unit 210 .
  • the transmission/reception unit 220 transmits/receives various information to/from the distribution server 100 via the Internet 900 .
  • the transmission/reception unit 220 is controlled by the control unit 250 (distribution unit 252, which will be described later), and transmits the viewer video, which will be described later, to the distribution server 100 (distributes it to the viewer terminal 300 via the distribution server 100).
  • the NIC 404 described above can function as such a transmission/reception unit 220 .
  • the operation reception unit 230 is a touch panel or pointing device (mouse, etc.) and receives various operations from the distributor.
  • the operation accepting unit 230 accepts an operation directed to a distributor video (more specifically, an object described later) displayed on the display unit 260 .
  • the operation unit 410 described above can function as such an operation reception unit 230 .
  • the storage unit 240 stores various information necessary for processing in the distributor terminal 200.
  • the storage unit 240 stores information about an object to be synthesized with a live video or the like, a synthesis position of the object, and the like.
  • the object is a caption (banner) containing character information for notifying viewers in live distribution.
  • the compositing position is the position where the object is composited in the live video. In other words, the combining position is defined with reference to the live video.
  • the auxiliary storage unit 407 and the like described above can function as such a storage unit 240 .
  • the control unit 250 controls the distributor terminal 200 as a whole.
  • the control unit 250 includes, for example, a generation unit 251, a distribution unit 252, and a change unit 253.
  • the generating unit 251 generates a video for viewers by combining objects at predetermined combining positions in the live video captured by the capturing unit 210 .
  • the generation unit 251 generates a viewer video in which the object OJ is combined with the live video LV as shown in FIG.
  • FIG. 7 shows a case where an object OJ including simple character information "ABC" is synthesized, but this is for the purpose of facilitating the explanation. to synthesize an object OJ containing necessary character information.
  • the generation unit 251 generates a video for the distributor by synthesizing an object with a mirror image image obtained by inverting the live video. Note that the position where the object is synthesized with the mirror image is different from the above-described synthesis position. That is, the generation unit 251 synthesizes the object at the mirror image position with respect to the synthesis position in the mirror image video. For example, the generating unit 251 generates a broadcaster video by combining the object OJ with the mirror image video MV, as shown in FIG. It should be noted that FIG. 8 shows how the video for the distributor is displayed on the display unit 260 .
  • the distributor DI can normally read the character information of the object OJ synthesized with the mirror image MV displayed on the display unit 260, and by pointing to the object OJ normally, the above-described figure can be read. 7, the object OJ is also pointed correctly. As a result, it is possible to appropriately support the distributor performing live distribution.
  • the distribution unit 252 transmits the viewer video generated by the generation unit 251 to the distribution server 100 for distribution to the viewer terminal 300 . That is, the distribution unit 252 controls the transmission/reception unit 220 to transmit the viewer video as shown in FIG. Distribute video.
  • the changing unit 253 changes the display mode of the object to be combined with the live video and the mirror image video according to the distributor's operation on the object in the video for the distributor. For example, the changing unit 253 changes the size of the object OJ in response to a pinch operation on the object OJ in the video for distributor shown in FIG. 8 displayed on the display unit 260 . Specifically, when the operation accepting unit 230 accepts a pinch-out to the object OJ by the distributor (an operation in which the object OJ is pressed with two fingers and spreads the fingers), the changing unit 253 causes the operation accepting unit 230 to As shown in 9, the size of the object OJ is enlarged.
  • the change unit 253 changes the object OJ. reduce size.
  • the changing unit 253 also updates the object information stored in the storage unit 240 . For example, as shown in FIG. 9, when the size of the object OJ is increased, the changing unit 253 also increases the value of the object information (eg, display magnification) in the storage unit 240 .
  • the above-described generation unit 251 enlarges the size of the object and synthesizes it with the live video as well. That is, as shown in FIG.
  • the generation unit 251 generates the viewer video by combining the object OJ whose size is enlarged with the live video LV. After the distributor releases the finger, the generation unit 251 generates the video for the distributor by synthesizing the object OJ with the mirror image video MV according to the updated object information and the like. , the enlarged object OJ will be maintained.
  • changing the display mode of the object according to such an operation from the distributor is not limited to the size of the object.
  • the changing unit 253 may change any of the shape, color, pattern, brightness, and brightness of the object according to the operation from the distributor.
  • the distributor can directly operate the object in the mirror image displayed on the display unit 260 during the distribution to change the display mode of the object according to the intention.
  • the changing unit 253 changes the object to be synthesized with the live video to the position of the normal image with respect to the new position. For example, when the operation reception unit 230 receives a drag operation to the object OJ (an operation to move the object OJ while pressing it with a finger), the change unit 253 performs the drag operation on the object OJ as shown in FIG. Move to a new position according to It should be noted that the changing unit 253 also updates the compositing position of the object stored in the storage unit 240 when the object OJ in the distributor video is moved.
  • the changing unit 253 changes the composition position to the position of the normal image with respect to the new position of the object OJ moved in the video for distributor.
  • the generation unit 251 generates a viewer video in which the object OJ is appropriately moved and combined with the live video LV. Then, after the distributor releases his/her finger, the generation unit 251 generates video for the distributor by synthesizing the object OJ at the mirror image position of the mirror image video MV with respect to the updated synthesis position.
  • the position of the moved object OJ is also maintained in the human image. In this way, the distributor can directly operate the object in the mirror image displayed on the display unit 260 during distribution to freely move the object.
  • the display unit 260 displays the video for the distributor generated by the generation unit 251 and the like. That is, the display unit 260 displays the images for the distributor as shown in FIGS. 8, 9, and 11 described above.
  • FIG. 13 is a flowchart for explaining distribution processing according to the first embodiment. This distribution process starts when the distributor starts live distribution, and ends when the live distribution ends. In other words, the distribution process is executed by the distributor terminal 200 while the live distribution is being performed.
  • the distributor terminal 200 generates a video for viewers in which an object is synthesized at the synthesis position of the shot live video (step S11). That is, the control unit 250 (generating unit 251) generates a viewer image obtained by synthesizing the object OJ with the live image LV as shown in FIG. Generate.
  • the distributor terminal 200 generates a video for the distributor by synthesizing the object at the position of the mirror image with respect to the synthesis position in the mirror image (step S12). That is, the control unit 250 (generating unit 251) performs distribution in which the object OJ is synthesized with the mirror image video MV as shown in FIG. generate a video for the user.
  • the distributor terminal 200 distributes the video for viewers and displays the video for the distributor on the display unit 260 (step S13). That is, the control unit 250 (distribution unit 252 ) transmits the viewer video generated in step S ⁇ b>11 described above to the distribution server 100 for distribution to the viewer terminal 300 . That is, the control unit 250 controls the transmitting/receiving unit 220 to transmit the viewer video as shown in FIG. Distribute video.
  • the display unit 260 displays the image for the distributor generated in step S12 described above. That is, the display unit 260 displays the image for the distributor as shown in FIG. 8 described above.
  • the distributor DI can normally read the character information of the object OJ that is combined with the mirror image MV, and by pointing to the object OJ normally, in the viewer video of FIG. Object OJ will be correctly pointed to. As a result, it is possible to appropriately support the distributor performing live distribution.
  • the distributor terminal 200 determines whether or not an object has been operated (step S14). That is, the control unit 250 determines whether or not the operation accepting unit 230 has accepted an operation directed to an object in the video for the distributor displayed on the display unit 260 .
  • step S14 determines that the object has not been operated (step S14; No)
  • the process returns to step S11 described above.
  • step S14 when it is determined that an object has been operated (step S14; Yes), the distributor terminal 200 determines whether or not the operation is a pinch operation (step S15).
  • step S15 When the distributor terminal 200 determines that it is a pinch operation (step S15; Yes), it changes the size of the object (step S16). That is, the control unit 250 (change unit 253) changes the size of the object according to the pinch operation on the object in the video for distributor. Specifically, if the object is pinched out, the control unit 250 enlarges the size of the object OJ as shown in FIG. 9 described above. Conversely, when pinching in on an object, the control unit 250 reduces the size of the object. Note that when the size of the object in the distributor video is changed, the control unit 250 also updates the object information stored in the storage unit 240 . For example, as shown in FIG.
  • the control unit 250 when the size of the object OJ is increased, the control unit 250 also increases the value of the object information in the storage unit 240.
  • FIG. 10 the control unit 250 enlarges the size of the object and synthesizes it with the live video as well. That is, as shown in FIG. 10 described above, the control unit 250 generates a video for viewers by synthesizing the enlarged object OJ with the live video LV. After the distributor releases his/her finger, the control unit 250 generates a video for the distributor by synthesizing the object with the mirror image in accordance with the updated object information. Enlarged objects will be kept.
  • the distributor terminal 200 After changing the size of the object in this way, the distributor terminal 200 returns the processing to step S11 described above.
  • step S15 determines whether or not the operation is a drag operation (step S17).
  • step S17 When the distributor terminal 200 determines that it is not a drag operation (step S17; No), the process returns to step S11 described above.
  • the distributor terminal 200 changes the object synthesis position (step S18). That is, as shown in FIG. 11, the control unit 250 (change unit 253) moves the object OJ in the distributor video to a new position according to the drag operation. It should be noted that the control unit 250 also updates the synthesis position of the object stored in the storage unit 240 when moving the object OJ in the video for the distributor. Specifically, the control unit 250 changes the composition position to the position of the normal image with respect to the new position of the object OJ moved in the distributor video.
  • control unit 250 (generating unit 251) generates a viewer video in which the object OJ is appropriately moved and combined with the live video LV, as shown in FIG. Then, after the distributor releases the finger, the control unit 250 generates a video for the distributor by synthesizing the object at the position of the mirror image in the mirror image of the updated synthesis position. The position of the moved object is maintained in the video as well.
  • the distributor terminal 200 After changing the composition position of the object in this way, the distributor terminal 200 returns the processing to step S11 described above.
  • the object OJ is synthesized at an appropriate position in the mirror image MV.
  • the object OJ is also correctly pointed to in the viewer video of FIG. As a result, it is possible to appropriately support the distributor performing live distribution.
  • the distributor can directly operate the object in the mirror image displayed on the display unit 260 during distribution to change the display mode of the object according to the intention.
  • the object in the mirror image displayed on the display unit 260 can be directly manipulated during distribution to freely move the object.
  • FIG. 14 is a schematic diagram showing an example of the overall configuration of the live distribution system 2 according to Embodiment 2 of the present disclosure.
  • This live distribution system 2 is a system compatible with live commerce, and includes, for example, a distribution server 100 that manages distribution, a sales server 500 that manages sales, a distributor terminal 600 used by a distributor, A viewer terminal 300 used by the viewer is communicably connected via the Internet 900 .
  • the distribution server 100 and the viewer terminal 300 have the same configuration as the distribution server 100 and the viewer terminal 300 in the live distribution system 1 of FIG. 1 described above. Also, it is assumed that a large number of viewer terminals 300 exist according to the number of viewers who use the system.
  • the sales server 500 is, for example, a server computer or the like, and sells products introduced by the distributor during distribution from the distributor terminal 600 . More specifically, the product is sold to the viewer terminal 300 (viewer) who has transitioned according to transition information for transitioning to the sales server 500 (more specifically, product sales page).
  • the distributor terminal 600 is, for example, a terminal such as a smartphone, tablet, or PC, and is used by a distributor who distributes live video. Distributor terminal 600 distributes to viewer terminal 300 a video for viewers in which an object (purchase button, which will be described later), etc. to which transition information for purchasing a product introduced in the distribution is added is synthesized with a live video. do.
  • FIG. 15 When the information processing device 400 is powered on, a program that functions as the sales server 500 and the distributor terminal 600 according to the second embodiment is executed, and the sales server 500 and the distributor terminal 600 according to the second embodiment are executed. is realized.
  • FIG. 15 is a block diagram showing an example of the functional configuration of the sales server 500. As shown in FIG. As illustrated, the sales server 500 includes a transmission/reception section 510, a storage section 520, and a control section 530. FIG.
  • the transmitting/receiving unit 510 transmits/receives various information to/from the viewer terminal 300 via the Internet 900 .
  • the transmitting/receiving unit 510 transmits a product sales page to the viewer terminal 300 in response to access from the viewer terminal 300 according to the transition information.
  • the NIC 404 described above can function as such a transmission/reception unit 510 .
  • the storage unit 520 stores various information necessary for processing in the sales server 500.
  • the storage unit 520 stores detailed information, price information, and inventory information about products to be sold.
  • the storage unit 520 also stores personal information (ID, name, address, credit card number, etc.) of the viewer using the viewer terminal 300 .
  • the auxiliary storage unit 407 and the like described above can function as such a storage unit 520 .
  • the control unit 530 controls the sales server 500 as a whole.
  • the control unit 530 includes a sales processing unit 531, for example.
  • the sales processing unit 531 confirms the sale of the product according to the operation from the viewer terminal 300 (viewer) who viewed the product sales page.
  • the above-described CPU 401 and the like can function as the control unit 530 configured as described above.
  • FIG. 16 is a block diagram showing an example of the functional configuration of the distributor terminal 600 according to the second embodiment.
  • the distributor terminal 600 includes an imaging unit 210 , a transmission/reception unit 220 , an operation reception unit 230 , a storage unit 640 , a control unit 650 and a display unit 260 .
  • the photographing unit 210, the transmitting/receiving unit 220, the operation receiving unit 230, and the display unit 260 are similar to the photographing unit 210, the transmitting/receiving unit 220, the operation receiving unit 230, and the display unit 260 in the distributor terminal 200 of FIG. It has the same configuration as Note that the photographing unit 210 outputs a live video LV including the product PD to be introduced and the distributor DI as shown in FIG. 17 .
  • the storage unit 640 stores various information necessary for processing in the distributor terminal 600 .
  • the storage unit 640 stores transition information for purchasing products introduced during distribution, in addition to information about objects to be combined with live video and the like, object combining positions, and the like.
  • the transition information is link information to the sales page of the corresponding product in sales server 500 .
  • the auxiliary storage unit 407 and the like described above can function as such a storage unit 640 .
  • the control unit 650 controls the distributor terminal 600 as a whole.
  • the control unit 650 includes an addition unit 651, a generation unit 251, a distribution unit 252, and a change unit 253, for example.
  • the generating unit 251, the distributing unit 252, and the changing unit 253 have the same configuration as the generating unit 251, the distributing unit 252, and the changing unit 253 in the distributor terminal 200 (control unit 250) of FIG. .
  • the addition unit 651 adds the transition information of the product being introduced during distribution to a specific object (purchase button, for example) stored in the storage unit 640 . Note that when the transition information of the product that has already been introduced has been added to the object, the adding unit 651 overwrites the transition information of the currently introduced product and adds it to the object. When an object to which such transition information is added is tap-operated on the viewer terminal 300 , it is possible to transition to the sales page of the corresponding product on the sales server 500 .
  • the generation unit 251 generates a video for viewers by synthesizing necessary objects at predetermined synthesis positions in the live video shot by the shooting unit 210 .
  • the generation unit 251 generates a viewer video in which the objects OJ1 and OJ2 are combined with the live video LV, as shown in FIG.
  • the object OJ1 is a caption (banner) for explaining the product PD, and includes character information such as the product name and price.
  • Object OJ2 is a purchase button, and includes text information of “purchase” and transition information added by the adding unit 651 .
  • the generation unit 251 generates a video for the distributor by synthesizing an object with a mirror image image obtained by inverting the live video.
  • the generation unit 251 generates a video for the distributor by combining the objects OJ1 and OJ2 with the mirror image video MV, as shown in FIG. do.
  • FIG. 19 shows how the video for the distributor is displayed on the display unit 260 .
  • the distributor DI can normally read the character information of the objects OJ1 and OJ2 synthesized with the mirror image MV displayed on the display unit 260, and can normally point to the objects OJ1 and OJ2.
  • the objects OJ1 and OJ2 are correctly indicated in the above-described viewer video of FIG. 18 as well. As a result, it is possible to appropriately support the distributor performing live distribution.
  • the changing unit 253 changes the display mode of the object to be combined with the live video and the mirror image according to the distributor's operation on the object in the distributor's video. Further, as in the first embodiment described above, when an object in the video for the distributor is moved to a new position by an operation from the distributor, the changing unit 253 moves the object to be synthesized with the live video to the new position. Change to the position of the normal image with respect to .
  • FIG. 3 (Operation on viewer terminal 300) A viewer's operation on the viewer terminal 300 will be described below with reference to FIGS. 20 and 21.
  • FIG. 20 A viewer's operation on the viewer terminal 300 will be described below with reference to FIGS. 20 and 21.
  • the viewer's terminal 300 displays the viewer's video as shown in FIG. 20 on the display unit, for example. Then, when the viewer wishes to purchase the product PD introduced during the distribution, the viewer taps the object OJ2.
  • the viewer terminal 300 accesses the sales server 500 according to the transition information added to the object OJ2, and displays the sales page SP as shown in FIG. 21 on the display unit. Note that the viewer terminal 300 may display an authentication screen for logging in to the sales server 500 before displaying the sales page. Then, when the purchase is confirmed on the sales page SP, the sale is completed.
  • the distributor can normally transmit the character information of the objects OJ1 and OJ2 to be combined with the mirror image MV displayed on the display unit 260 as shown in FIG.
  • the objects OJ1 and OJ2 are correctly pointed to in the viewer video of FIG.
  • the control units 250 and 650 of the distributor terminals 200 and 600 include the generation unit 251 and the like, and the distributor terminals 200 and 600 synthesize the object with the live video and the mirror image video.
  • the same configuration as the generation unit 251 and the like may be added to the control unit 140 of the distribution server 100 .
  • the distribution server 100 synthesizes the object with the live video and the mirror image video, and the distributor terminals 200 and 600 display the video for the distributor returned from the distribution server 100 on the display unit 260 .
  • the distributor can normally read the character information of the object synthesized with the mirror image displayed on the display unit 260, and by pointing to these objects normally, the viewer can , the object will be correctly pointed to. As a result, it is possible to appropriately support the distributor performing live distribution.
  • Embodiments 1 and 2 above the case of synthesizing an object containing character information with a live video and a mirror image has been described. Appropriately applicable. Specifically, when synthesizing two bottle image objects into a live image and a mirror image image, the distributor checks the image of the objects and, as they are arranged, says, "The right side is the salt bottle, and the left side is the pepper bottle. It is possible to correctly explain such as
  • the programs executed by the distributor terminals 200, 600, etc. are CD-ROM (Compact Disc Read Only Memory), DVD (Digital Versatile Disc), MO (Magneto-Optical Disk), USB It is also possible to distribute by storing in a computer-readable recording medium such as a memory or a memory card. By installing such a program on a specific or general-purpose computer, it is possible to make the computer function as the distributor terminals 200 and 600 in the first and second embodiments.
  • the above program may be stored in a disk device possessed by a server device on a communication network such as the Internet, for example, superimposed on a carrier wave and downloaded to a computer.
  • the above processing can also be achieved by starting and executing the program while transferring it via a communication network.
  • the above processing can also be achieved by causing all or part of a program to be executed on a server device and executing the program while the computer transmits and receives information regarding the processing via a communication network.
  • the distributor terminal characterized by: [4]
  • the processor Further, when the object is moved to a new position in the video for the distributor by an operation from the distributor, the object synthesized with the live video is changed to a normal image position with respect to the new position.
  • the distributor terminal according to any one of [1] to [3], characterized by: [5] Transition information for transitioning to a sales server that sells products is added to the object,
  • the distributor terminal according to any one of [1] to [4], characterized by: [6] the object includes character information;
  • a display method characterized by executing [8] to the computer, Transmission of viewer video for distribution to viewer terminals, which is a video in which an object is synthesized at a predetermined synthesis position
  • the present disclosure can be suitably adopted for a distributor terminal, display method, and recording medium that can appropriately support the distributor.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Computer Security & Cryptography (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

生成部（２５１）は、撮影部（２１０）により撮影されているライブ映像内における所定の合成位置にオブジェクトを合成した視聴者用映像を生成する。また、生成部（２５１）は、ライブ映像を反転させた鏡像映像にオブジェクトを合成した映像であって、合成位置に対する鏡像の位置にオブジェクトを合成した配信者用映像を生成する。配信部（２５２）は、生成部（２５１）によって生成された視聴者用映像を視聴者端末に向けた配信のために配信サーバへ送信する。表示部（２６０）は、生成部（２５１）によって生成された配信者用映像を表示する。

Description

ライブ配信中に映像を表示する配信者端末、表示方法、および、記録媒体
　本開示は、ライブ配信中に映像を表示する配信者端末、表示方法、および、記録媒体に関する。
　近年、「ライブコマース」と呼ばれる電子商取引が注目されている。このライブコマースとは、配信者が商品について紹介するライブ映像を配信し、そのライブ映像を視聴している視聴者が商品を購入できるという形態の電子商取引である。
　例えば、特許文献１には、出品者（配信者）が自身の端末（配信者端末）を介してライブ動画（ライブ映像）を配信し、ライブ動画を視聴している視聴者が出品者に質問を行うなどしながら商品を購入できるオンライン商取引支援システムが開示されている。
特開２０２０－４２５５１号公報
　上述したライブコマースに限られず、配信者が自身のライブ映像を配信する場合において、配信者端末の表示部に、カメラ（撮影部）によって撮影されているライブ映像をそのまま表示するのではなく、ライブ映像を反転（鏡面反転）させた鏡像映像を表示するのが一般的である。つまり、配信者は、鏡の前で自身の姿を確認するのと同じように、配信者端末の表示部に表示される鏡像映像を確認しながら配信を行うことになる。
　このようなライブ映像では、例えば、視聴者に報知するための文字情報を含んだオブジェクト（ライブコマースであれば、商品の購入ボタンや商品の特徴が記された字幕等）が合成されることもある。その際、配信者端末の表示部では、そのようなオブジェクトも反転されて表示されるため、配信者にとって、オブジェクトに含まれる文字情報の可読性が著しく低下してしまうという問題があった。なお、ライブ映像を反転させた後の鏡像映像に、オブジェクトを合成することも考えられるが、単純にライブ映像と同じ位置にオブジェクトを合成してしまうと、配信者がオブジェクトを指し示すような動作をした場合に、視聴者が視聴しているライブ画像におけるオブジェクトとは異なる位置を指し示してしまうことも起こり得る。
　本開示は、上述のような課題を解決するためになされたものであり、配信者を適切に支援することのできる配信者端末、表示方法、および、記録媒体を提供することを目的とする。
　本開示の第１の観点に係る配信者端末は、
　撮影部により撮影されているライブ映像内における所定の合成位置にオブジェクトを合成した映像であって、視聴者端末に向けた配信のための視聴者用映像の送信と、
　前記ライブ映像を反転させた鏡像映像に前記オブジェクトを合成した映像であって、前記合成位置に対する鏡像の位置に前記オブジェクトを合成した配信者用映像の表示と、
　を実行するプロセッサ、
　を備えることを特徴とする。
　また、上記観点に係る配信者端末において、
　前記プロセッサは、
　前記配信者用映像内における前記オブジェクトに対する配信者からの操作に従って、前記ライブ映像及び前記鏡像映像に合成する前記オブジェクトについての表示態様の変更、を更に実行するようにしてもよい。
　また、上記観点に係る配信者端末において、
　前記表示態様の変更には、前記オブジェクトの大きさ、形状、色彩、模様、明度、輝度の少なくとも１つの変更が含まれるようにしてもよい。
　また、上記観点に係る配信者端末において、
　前記プロセッサは、
　配信者からの操作によって前記配信者用映像内における前記オブジェクトが新たな位置へ移動されると、前記ライブ映像に合成する前記オブジェクトについての前記新たな位置に対する正像の位置への変更、を更に実行するようにしてもよい。
　また、上記観点に係る配信者端末において、
　前記オブジェクトには、商品を販売する販売サーバへ遷移するための遷移情報が付加されていてもよい。
　また、上記観点に係る配信者端末において、
　前記オブジェクトには、文字情報が含まれていてもよい。
　本開示の第２の観点に係る表示方法は、
　コンピュータが、
　撮影部により撮影されているライブ映像内における所定の合成位置にオブジェクトを合成した映像であって、視聴者端末に向けた配信のための視聴者用映像の送信と、
　前記ライブ映像を反転させた鏡像映像に前記オブジェクトを合成した映像であって、前記合成位置に対する鏡像の位置に前記オブジェクトを合成した配信者用映像の表示と、
　を実行することを特徴とする。
　本開示の第３の観点に係る記録媒体は、
　コンピュータに、
　撮影部により撮影されているライブ映像内における所定の合成位置にオブジェクトを合成した映像であって、視聴者端末に向けた配信のための視聴者用映像の送信、
　前記ライブ映像を反転させた鏡像映像に前記オブジェクトを合成した映像であって、前記合成位置に対する鏡像の位置に前記オブジェクトを合成した配信者用映像の表示、
　を実行させるためのプログラムを記録したことを特徴とする。
　本開示によれば、配信者を適切に支援することができる。
本開示の実施形態１に係るライブ配信システムの全体構成の一例を示す模式図である。 配信者端末等が実現される典型的な情報処理装置の概要構成の一例を示すブロック図である。 配信サーバの機能構成の一例を示すブロック図である。 実施形態１に係る配信者端末の機能構成の一例を示すブロック図である。 配信者を撮影する様子の一例を示す模式図である。 撮影されているライブ映像の一例を示す模式図である。 ライブ映像にオブジェクトが合成された視聴者用映像の一例を示す模式図である。 鏡像映像にオブジェクトが合成された配信者用映像が配信者端末に表示されている場合の一例を示す模式図である。 配信者用映像内のオブジェクトが配信者によりピンチ操作（ピンチアウト）された場合の様子を示す模式図である。 配信者のピンチ操作に応じて、視聴者用映像に合成されるオブジェクトの大きさが変化する様子を示す模式図である。 配信者用映像内のオブジェクトが配信者によりドラッグ操作された場合の様子を示す模式図である。 配信者のドラッグ操作に応じて、視聴者用映像に合成されるオブジェクトの位置が変化する様子を示す模式図である。 実施形態１に係る配信処理を説明するためのフローチャートである。 本開示の実施形態２に係るライブ配信システムの全体構成の一例を示す模式図である。 販売サーバの機能構成の一例を示すブロック図である。 実施形態２に係る配信者端末の機能構成の一例を示すブロック図である。 ライブコマースのために撮影されているライブ映像の一例を示す模式図である。 ライブ映像に複数のオブジェクトが合成された視聴者用映像の一例を示す模式図である。 鏡像映像に複数のオブジェクトが合成された配信者用映像が配信者端末に表示されている場合の一例を示す模式図である。 視聴者端末に表示される視聴者用映像の一例を示す模式図である。 視聴者端末に表示される販売ページの一例を示す模式図である。
　以下、本開示の実施形態について、図面を参照しながら詳細に説明する。なお、図中同一または相当部分には同一符号を付す。また、以下では、配信者端末が、映像にオブジェクトを合成する場合について説明するが、後述するように、配信サーバにおいて、映像にオブジェクトを合成する場合でも、同様に本開示を適用することができる。すなわち、以下に説明する実施形態は説明のためのものであり、本開示の範囲を制限するものではない。従って、当業者であればこれらの各要素または全要素をこれと均等なものに置換した実施形態を採用することが可能であるが、これらの実施形態も本開示の範囲に含まれる。
（実施形態１）
　図１は、本開示の実施形態１に係るライブ配信システム１の全体構成の一例を示す模式図である。このライブ配信システム１は、一例として、配信を管理する配信サーバ１００と、配信者に使用される配信者端末２００と、視聴者に使用される視聴者端末３００とがインターネット９００を介して通信可能に接続されている。なお、視聴者端末３００は、システムを利用する視聴者の数に応じて、多数存在しているものとする。
　配信サーバ１００は、例えば、サーバ用のコンピュータ等であり、ライブ配信システム１全体を管理する。配信サーバ１００は、配信者端末２００から送られた映像（後述する視聴者用映像）を受信して、視聴者端末３００に向けて配信する。なお、本開示において映像には、映像データだけでなく、音声データも含まれているものとして、以下説明する。
　配信者端末２００は、例えば、スマートフォン、タブレット、ＰＣ（Personal Computer）等の端末であり、ライブ映像の配信を行う配信者に使用される。配信者は、後述するように、配信者端末２００の撮影部（後述する撮影部２１０）から自身を撮影して、ライブ配信を行う。その際、撮影されたライブ映像を反転させた鏡像映像が表示部（後述する表示部２６０）に表示されるため、配信者は、その鏡像映像を見ながら、自身の動作等を確認する。
　視聴者端末３００は、例えば、スマートフォン、タブレット、ＰＣ等の端末であり、ライブ配信を視聴する視聴者に使用される。視聴者は、視聴者端末３００を操作して、配信サーバ１００へログインするなどした後に、配信サーバ１００を介して配信者端末２００から配信されるライブ映像を視聴する。
（情報処理装置４００の概要構成）
　本開示の実施形態１に係る配信サーバ１００、及び、配信者端末２００等が実現される典型的な情報処理装置４００について説明する。
　情報処理装置４００は、図２に示すように、ＣＰＵ（Central Processing Unit）４０１と、ＲＯＭ（Read Only Memory）４０２と、ＲＡＭ（Random Access Memory）４０３と、ＮＩＣ（Network Interface Card）４０４と、画像処理部４０５と、音声処理部４０６と、補助記憶部４０７と、インターフェース４０８と、撮影ユニット４０９と、操作ユニット４１０と、表示ユニット４１１とを備える。
　ＣＰＵ　４０１は、情報処理装置４００全体の動作を制御し、各構成要素と接続され制御信号やデータをやりとりする。
　ＲＯＭ　４０２には、電源投入直後に実行されるＩＰＬ（Initial Program Loader）が記録され、これが実行されることにより、補助記憶部４０７に記憶されたプログラムをＲＡＭ　４０３に読み出してＣＰＵ　４０１による当該プログラムの実行が開始される。
　ＲＡＭ　４０３は、データやプログラムを一時的に記憶するためのもので、補助記憶部４０７から読み出されたプログラムやデータ、その他、通信に必要なデータ等が保持される。
　ＮＩＣ　４０４は、情報処理装置４００をインターネット等のコンピュータ通信網に接続するためのものであり、ＬＡＮ（Local Area Network）を構成する際に用いられる１０ＢＡＳＥ－Ｔ／１００ＢＡＳＥ－Ｔ規格にしたがうものや、電話回線を用いてインターネットに接続するためのアナログモデム、ＩＳＤＮ（Integrated Services Digital Network）モデム、ＡＤＳＬ（Asymmetric Digital Subscriber Line）モデム、ケーブルテレビジョン回線を用いてインターネットに接続するためのケーブルモデム等から構成される。
　画像処理部４０５は、補助記憶部４０７等から読み出された画像データをＣＰＵ　４０１や画像処理部４０５が備える画像演算プロセッサ（図示せず）によって加工処理した後、これを画像処理部４０５が備えるフレームメモリ（図示せず）に記録する。フレームメモリに記録された画像情報は、所定の同期タイミングでビデオ信号に変換され、インターフェース４０８等を介して表示ユニット４１１に出力される。つまり、画像処理部４０５は、ＣＰＵ　４０１の制御の下、情報処理装置４００が行う処理の進行の中で必要となる画像を生成し、その画像を表示ユニット４１１に表示させる。
　音声処理部４０６は、補助記憶部４０７等から読み出された音楽データや音声データを音声信号に変換し、インターフェース４０８等を介して外部に出力する。なお、情報処理装置４００が内部にスピーカを備えている場合において、音声処理部４０６は、変換した音声信号を当該スピーカに出力する。つまり、音声処理部４０６は、ＣＰＵ　４０１の制御の下、情報処理装置４００が行う処理の進行の中で発生させるべき楽曲音や音声を生成し、その楽曲音等を内部又は外部のスピーカから出力させる。
　補助記憶部４０７は、ハードディスク、ＳＳＤ（Solid State Drive）等であり、情報処理装置４００全体の動作制御に必要な各種のプログラムや各種のデータを記憶する。例えば、補助記憶部４０７には、実施形態に係る配信者端末２００等を実現するためのプログラムが記憶される。そして、ＣＰＵ　４０１の制御によって、補助記憶部４０７は、記憶されたプログラムやデータを適宜読み出し、これらをＲＡＭ　４０３等に一時的に記憶させる。
　インターフェース４０８は、例えば、ＨＤＭＩ（登録商標）、ＵＳＢ（Universal Serial Bus）、Ｉ２Ｃ（Inter-Integrated Circuit）等の規格に準拠しており、撮影ユニット４０９、操作ユニット４１０、及び、表示ユニット４１１が接続される。なお、インターフェース４０８は、この他に接続された外部機器との間で必要な情報を送受信してもよい。
　撮影ユニット４０９は、例えば、単焦点のレンズ、及び、所定画素数の撮像素子（ＣＭＯＳ；Complementary Metal Oxide SemiconductorやＣＣＤ；Charge Coupled Device）等であり、静止画又は動画を撮影する。
　操作ユニット４１０は、情報処理装置４００を利用する作業者等の操作入力を受け付ける。
　表示ユニット４１１は、画像処理部４０５により出力された画像データに応じた画像を描画し、情報処理装置４００を利用する作業者等に提示する。
　この他に、情報処理装置４００は、補助記憶部４０７の代わりに、ＤＶＤ（Digital Versatile Disc）－ＲＯＭ等のドライブユニットを備えるようにしてもよい。この場合、情報処理装置４００は、ドライブユニットに装着されるＤＶＤ－ＲＯＭ等からプログラムやデータを読み出して、上記と同様に動作する。
　以下、上記の情報処理装置４００において実現される配信サーバ１００、及び、配信者端末２００の機能等について、図３～図１２を参照して説明する。情報処理装置４００に電源が投入されると、実施形態１に係る配信サーバ１００、及び、配信者端末２００として機能させるプログラムが実行され、実施形態１に係る配信サーバ１００、及び、配信者端末２００が実現される。なお、視聴者端末３００も同様に情報処理装置４００によって実現されるが、配信者端末２００とほとんど同じ構成であるため、説明については省略する。
（配信サーバ１００の機能構成）
　図３は、配信サーバ１００の機能構成の一例を示すブロック図である。図示するように、配信サーバ１００は、受信部１１０と、送信部１２０と、記憶部１３０と、制御部１４０とを備える。
　受信部１１０は、インターネット９００を介して配信者端末２００や視聴者端末３００から送られる種々の情報を受信する。例えば、受信部１１０は、配信者端末２００から送られた映像（後述する視聴者用映像）を受信する。また、受信部１１０は、視聴者端末３００からログイン要求等を受信する。なお、上述したＮＩＣ　４０４が、このような受信部１１０として機能しうる。
　送信部１２０は、視聴者端末３００等に向けた種々の情報を、インターネット９００を介して送信する。例えば、送信部１２０は、制御部１４０（後述する配信制御部１４２）に制御され、配信者端末２００から受信した映像を視聴者端末３００へ配信する。なお、上述したＮＩＣ　４０４が、このような送信部１２０として機能しうる。
　記憶部１３０は、配信サーバ１００における処理に必要な種々の情報を記憶する。例えば、記憶部１３０は、視聴者端末３００を使用する視聴者のＩＤやパスワード等を記憶する。なお、上述した補助記憶部４０７等が、このような記憶部１３０として機能しうる。
　制御部１４０は、配信サーバ１００全体を制御する。この制御部１４０は、例えば、管理部１４１、及び、配信制御部１４２を含んでいる。
　管理部１４１は、例えば、ログインを要求する視聴者端末３００から送られるＩＤやパスワード等と、記憶部１３０に記憶されるＩＤやパスワード等とを照合し、視聴者を認証する。
　配信制御部１４２は、受信部１１０及び送信部１２０を制御し、配信者端末２００から受信した映像を視聴者端末３００へ配信する。
　上述したＣＰＵ　４０１等が、このような構成からなる制御部１４０として機能しうる。
（配信者端末２００の機能構成）
　図４は、実施形態１に係る配信者端末２００の機能構成の一例を示すブロック図である。図示するように、配信者端末２００は、撮影部２１０と、送受信部２２０と、操作受付部２３０と、記憶部２４０と、制御部２５０と、表示部２６０とを備える。
　撮影部２１０は、例えば、配信者端末２００の内側（表示部２６０側）に配置されたカメラであり、配信者を撮影する。一例として、図５に示すように、三脚等で支えられた配信者端末２００が配信者ＤＩの前面に配置され、配信者ＤＩを撮影する。そして、撮影部２１０は、図６に示すような配信者ＤＩを含んだライブ映像ＬＶを出力する。なお、上述した撮影ユニット４０９が、このような撮影部２１０として機能しうる。
　図４に戻って、送受信部２２０は、インターネット９００を介した配信サーバ１００との間で種々の情報を送受信する。例えば、送受信部２２０は、制御部２５０（後述する配信部２５２）により制御され、後述する視聴者用映像を配信サーバ１００へ送信する（配信サーバ１００を介して視聴者端末３００へ配信する）。なお、上述したＮＩＣ　４０４が、このような送受信部２２０として機能しうる。
　操作受付部２３０は、タッチパネルやポインティングデバイス（マウス等）であり、配信者からの各種の操作を受け付ける。例えば、操作受付部２３０は、表示部２６０に表示される配信者用映像（より詳細には、後述するオブジェクト）に向けた操作を受け付ける。なお、上述した操作ユニット４１０が、このような操作受付部２３０として機能しうる。
　記憶部２４０は、配信者端末２００における処理に必要な種々の情報を記憶する。例えば、記憶部２４０は、ライブ映像等に合成するためのオブジェクトについての情報やオブジェクトの合成位置等を記憶する。一例として、オブジェクトは、ライブ配信において、視聴者へ報知するための文字情報を含んだ字幕（バナー）である。また、合成位置は、ライブ映像内におけるオブジェクトを合成する位置である。つまり、合成位置は、ライブ映像を基準として規定されている。なお、上述した補助記憶部４０７等が、このような記憶部２４０として機能しうる。
　制御部２５０は、配信者端末２００全体を制御する。この制御部２５０は、例えば、生成部２５１、配信部２５２、及び、変更部２５３を含んでいる。
　生成部２５１は、撮影部２１０により撮影されているライブ映像内における所定の合成位置にオブジェクトを合成した視聴者用映像を生成する。例えば、生成部２５１は、記憶部２４０に記憶されたオブジェクトの情報及び合成位置に従って、図７に示すように、ライブ映像ＬＶにオブジェクトＯＪを合成した視聴者用映像を生成する。なお、図７では、「ＡＢＣ」という単純な文字情報が含まれているオブジェクトＯＪを合成する場合を示しているが、説明を容易にするためであり、実際には、視聴者へ報知するために必要な文字情報が含まれているオブジェクトＯＪを合成するものとする。
　また同時に、生成部２５１は、ライブ映像を反転させた鏡像映像にオブジェクトを合成した配信者用映像を生成する。なお、鏡像映像にオブジェクトを合成する位置は、上述した合成位置とは異なっている。つまり、生成部２５１は、鏡像映像内における、合成位置に対する鏡像の位置にオブジェクトを合成する。例えば、生成部２５１は、記憶部２４０に記憶されたオブジェクトの情報及び合成位置に対する鏡像の位置に従って、図８に示すように、鏡像映像ＭＶにオブジェクトＯＪを合成した配信者用映像を生成する。なお、図８では、配信者用映像が表示部２６０に表示されている様子を示している。これより、配信者ＤＩは、表示部２６０に表示される鏡像映像ＭＶに合成されるオブジェクトＯＪの文字情報を普通に読むことができ、また、そのオブジェクトＯＪを普通に指し示すことで、上述した図７の視聴者用映像においても、オブジェクトＯＪが正しく指し示されることになる。この結果、ライブ配信を行っている配信者を適切に支援することができる。
　図４に戻って、配信部２５２は、生成部２５１により生成された視聴者用映像を視聴者端末３００に向けた配信のために配信サーバ１００へ送信する。すなわち、配信部２５２は、送受信部２２０を制御して、上述した図７に示すような視聴者用映像を配信サーバ１００へ送信し、その配信サーバ１００を介して視聴者端末３００へ視聴者用映像を配信する。
　変更部２５３は、配信者用映像内におけるオブジェクトに対する配信者からの操作に従って、ライブ映像及び鏡像映像に合成するオブジェクトの表示態様を変更する。例えば、変更部２５３は、表示部２６０に表示されている図８に示すような配信者用映像内におけるオブジェクトＯＪへのピンチ操作に応じて、オブジェクトＯＪの大きさを変更する。具体的に、変更部２５３は、操作受付部２３０にて、配信者によるオブジェクトＯＪへのピンチアウト（２本指でオブジェクトＯＪを押した状態で、それらの指を開く操作）を受け付けると、図９に示すように、オブジェクトＯＪの大きさを拡大させる。逆に、変更部２５３は、操作受付部２３０にて、配信者によるオブジェクトＯＪへのピンチイン（２本指でオブジェクトＯＪを押した状態で、それらの指を閉じる操作）を受け付けると、オブジェクトＯＪの大きさを縮小させる。なお、変更部２５３は、配信者用映像内のオブジェクトＯＪの大きさを変更すると、記憶部２４０に記憶されているオブジェクトの情報も更新する。例えば、図９のように、オブジェクトＯＪの大きさを拡大させると、変更部２５３は、記憶部２４０におけるオブジェクトの情報（一例として、表示倍率）についても値を大きくする。これにより、ライブ映像に対しても、上述した生成部２５１が、オブジェクトの大きさを拡大させて合成することになる。つまり、生成部２５１は、図１０に示すように、大きさを拡大させたオブジェクトＯＪをライブ映像ＬＶに合成させた視聴者用映像を生成することになる。そして、配信者が指を離した後では、生成部２５１が更新後のオブジェクトの情報等に従って、鏡像映像ＭＶにオブジェクトＯＪを合成した配信者用映像を生成することになるため、配信者用映像においても拡大されたオブジェクトＯＪが維持されることになる。
　なお、このような配信者からの操作に従って、オブジェクトの表示態様を変更するのは、オブジェクトの大きさに限られない。変更部２５３は、配信者からの操作に従って、オブジェクトの形状、色彩、模様、明度、輝度の何れかを変更するようにしてもよい。これらのように、配信者は、表示部２６０に表示される鏡像映像内のオブジェクトを、配信中に直接操作して、そのオブジェクトを意図に沿った表示態様に変更することができる。
　また、変更部２５３は、配信者からの操作によって配信者用映像内におけるオブジェクトが新たな位置へ移動されると、ライブ映像に合成するオブジェクトをその新たな位置に対する正像の位置へ変更する。例えば、変更部２５３は、操作受付部２３０にて、オブジェクトＯＪへのドラッグ操作（オブジェクトＯＪを指で押した状態で移動させる操作）を受け付けると、図１１に示すように、オブジェクトＯＪをドラッグ操作に応じた新たな位置へ移動させる。なお、変更部２５３は、配信者用映像内のオブジェクトＯＪを移動させると、記憶部２４０に記憶されているオブジェクトの合成位置も更新する。具体的に変更部２５３は、合成位置を、配信者用映像内で移動させたオブジェクトＯＪの新たな位置に対する正像の位置へ変更する。これにより、生成部２５１は、図１２に示すように、ライブ映像ＬＶに対してもオブジェクトＯＪを適切に移動して合成させた視聴者用映像を生成することになる。そして、配信者が指を離した後では、生成部２５１が、更新後の合成位置に対する鏡像映像ＭＶにおける鏡像の位置に、オブジェクトＯＪを合成した配信者用映像を生成することになるため、配信者用映像においても移動したオブジェクトＯＪの位置が維持されることになる。このように、配信者は、表示部２６０に表示される鏡像映像内のオブジェクトを、配信中に直接操作して、そのオブジェクトを自由に移動させることができる。
　なお、上述したＣＰＵ　４０１等が、このような構成からなる制御部２５０として機能しうる。
　図４に戻って、表示部２６０は、上述した生成部２５１等により生成された配信者用映像を表示する。つまり、表示部２６０は、上述した図８、図９、及び、図１１に示すような配信者用映像を表示する。
（配信者端末２００の動作）
　以下、配信者端末２００の動作について図１３を参照して説明する。図１３は、実施形態１に係る配信処理を説明するためのフローチャートである。この配信処理は、配信者によるライブ配信が開始されると開始され、ライブ配信が終了すると終了する。つまり、配信処理は、ライブ配信が行われている間に渡って配信者端末２００にて実行される。
　まず、配信者端末２００は、撮影されたライブ映像の合成位置にオブジェクトを合成した視聴者用映像を生成する（ステップＳ１１）。すなわち、制御部２５０（生成部２５１）は、記憶部２４０に記憶されたオブジェクトの情報及び合成位置に従って、上述した図７に示すように、ライブ映像ＬＶにオブジェクトＯＪを合成した視聴者用映像を生成する。
　配信者端末２００は、鏡像映像における、合成位置に対する鏡像の位置にオブジェクトを合成した配信者用映像を生成する（ステップＳ１２）。すなわち、制御部２５０（生成部２５１）は、記憶部２４０に記憶されたオブジェクトの情報及び合成位置に対する鏡像の位置に従って、上述した図８に示すように、鏡像映像ＭＶにオブジェクトＯＪを合成した配信者用映像を生成する。
　配信者端末２００は、視聴者用映像を配信し、配信者用映像を表示部２６０に表示する（ステップＳ１３）。すなわち、制御部２５０（配信部２５２）は、上述したステップＳ１１にて生成した視聴者用映像を視聴者端末３００に向けた配信のために配信サーバ１００へ送信する。つまり、制御部２５０は、送受信部２２０を制御して、上述した図７に示すような視聴者用映像を配信サーバ１００へ送信し、その配信サーバ１００を介して視聴者端末３００へ視聴者用映像を配信する。また、表示部２６０は、上述したステップＳ１２にて生成した配信者用映像を表示する。つまり、表示部２６０は、上述した図８に示すような配信者用映像を表示する。これより、配信者ＤＩは、鏡像映像ＭＶに合成されるオブジェクトＯＪの文字情報を普通に読むことができ、また、そのオブジェクトＯＪを普通に指し示すことで、図７の視聴者用映像においても、オブジェクトＯＪが正しく指し示されることになる。この結果、ライブ配信を行っている配信者を適切に支援することができる。
　配信者端末２００は、オブジェクトへの操作があったか否かを判別する（ステップＳ１４）。つまり、制御部２５０は、表示部２６０に表示される配信者用映像内のオブジェクトに向けた操作を、操作受付部２３０にて受け付けたかどうかを判別する。
　配信者端末２００は、オブジェクトへの操作がなかったと判別すると（ステップＳ１４；Ｎｏ）、上述したステップＳ１１に処理を戻す。
　一方、オブジェクトへの操作があったと判別した場合（ステップＳ１４；Ｙｅｓ）に、配信者端末２００は、その操作がピンチ操作であるか否かを判別する（ステップＳ１５）。
　配信者端末２００は、ピンチ操作であると判別すると（ステップＳ１５；Ｙｅｓ）、オブジェクトの大きさを変更する（ステップＳ１６）。すなわち、制御部２５０（変更部２５３）は、配信者用映像内におけるオブジェクトへのピンチ操作に応じて、オブジェクトの大きさを変更する。具体的に、制御部２５０は、オブジェクトへのピンチアウトであれば、上述した図９に示すように、オブジェクトＯＪの大きさを拡大させる。逆に、オブジェクトへのピンチインであれば、制御部２５０は、オブジェクトの大きさを縮小させる。なお、制御部２５０は、配信者用映像内のオブジェクトの大きさを変更すると、記憶部２４０に記憶されているオブジェクトの情報も更新する。例えば、図９のように、オブジェクトＯＪの大きさを拡大させると、制御部２５０は、記憶部２４０におけるオブジェクトの情報についても値を大きくする。これにより、制御部２５０は、ライブ映像に対しても、オブジェクトの大きさを拡大させて合成することになる。つまり、制御部２５０は、上述した図１０に示すように、大きさを拡大させたオブジェクトＯＪをライブ映像ＬＶに合成させた視聴者用映像を生成することになる。そして、配信者が指を離した後では、制御部２５０が更新後のオブジェクトの情報等に従って、鏡像映像にオブジェクトを合成した配信者用映像を生成することになるため、配信者用映像においても拡大されたオブジェクトが維持されることになる。
　このようにオブジェクトの大きさを変更すると、配信者端末２００は、上述したステップＳ１１に処理を戻す。
　一方、ピンチ操作でないと判別した場合（ステップＳ１５；Ｎｏ）に、配信者端末２００は、その操作がドラッグ操作であるか否かを判別する（ステップＳ１７）。
　配信者端末２００は、ドラッグ操作でないと判別すると（ステップＳ１７；Ｎｏ）、上述したステップＳ１１に処理を戻す。
　一方、ドラッグ操作であると判別した場合（ステップＳ１７；Ｙｅｓ）に、配信者端末２００は、オブジェクトの合成位置を変更する（ステップＳ１８）。すなわち、制御部２５０（変更部２５３）は、図１１に示すように、配信者用映像内のオブジェクトＯＪをドラッグ操作に応じた新たな位置へ移動させる。なお、制御部２５０は、配信者用映像内のオブジェクトＯＪを移動させると、記憶部２４０に記憶されているオブジェクトの合成位置も更新する。具体的に制御部２５０は、合成位置を、配信者用映像内で移動させたオブジェクトＯＪの新たな位置に対する正像の位置へ変更する。これにより、制御部２５０（生成部２５１）は、図１２に示すように、ライブ映像ＬＶに対してもオブジェクトＯＪを適切に移動して合成させた視聴者用映像を生成することになる。そして、配信者が指を離した後では、制御部２５０が、更新後の合成位置に対する鏡像映像における鏡像の位置に、オブジェクトを合成した配信者用映像を生成することになるため、配信者用映像においても移動したオブジェクトの位置が維持されることになる。
　こうしてオブジェクトの合成位置を変更すると、配信者端末２００は、上述したステップＳ１１に処理を戻す。
　なお、図１３に示す配信処理では、配信者からのピンチ操作に従って、オブジェクトの大きさを変更する場合について説明したが、このようなオブジェクトの大きさ以外に、オブジェクトの形状、色彩、模様、明度、輝度の何れかを変更するようにしてもよい。
　このような配信処理によって、図８に示すように、鏡像映像ＭＶにおける適切な位置にオブジェクトＯＪが合成されるため、配信者は、オブジェクトＯＪの文字情報を普通に読むことができ、また、そのオブジェクトＯＪを普通に指し示すことで、図７の視聴者用映像においても、オブジェクトＯＪが正しく指し示されることになる。この結果、ライブ配信を行っている配信者を適切に支援することができる。
　また、配信処理によって、配信者は、表示部２６０に表示される鏡像映像内のオブジェクトを、配信中に直接操作して、そのオブジェクトを意図に沿った表示態様に変更することができる。
　また、配信処理によって、表示部２６０に表示される鏡像映像内のオブジェクトを、配信中に直接操作して、そのオブジェクトを自由に移動させることができる。
（実施形態２）
　上記の実施形態１では、シンプルなライブ配信システム１について説明したが、ライブコマースに対応したライブ配信システムであってもよい。以下、ライブコマースに対応したライブ配信システムについて説明する。
　図１４は、本開示の実施形態２に係るライブ配信システム２の全体構成の一例を示す模式図である。このライブ配信システム２は、ライブコマースに対応したシステムであって、一例として、配信を管理する配信サーバ１００と、販売を管理する販売サーバ５００と、配信者に使用される配信者端末６００と、視聴者に使用される視聴者端末３００とがインターネット９００を介して通信可能に接続されている。なお、配信サーバ１００及び視聴者端末３００は、上述した図１のライブ配信システム１における配信サーバ１００及び視聴者端末３００と同じ構成である。また、視聴者端末３００は、システムを利用する視聴者の数に応じて、多数存在しているものとする。
　販売サーバ５００は、例えば、サーバ用のコンピュータ等であり、配信者端末６００からの配信中に配信者によって紹介される商品を販売する。より詳細には、販売サーバ５００（より詳細には、商品の販売ページ）へ遷移する遷移情報に従って遷移して来た視聴者端末３００（視聴者）に商品を販売する。
　配信者端末６００は、例えば、スマートフォン、タブレット、ＰＣ等の端末であり、ライブ映像の配信を行う配信者に使用される。配信者端末６００は、配信において紹介している商品を購入するための遷移情報が付加されたオブジェクト（後述する購入ボタン）等をライブ映像に合成した視聴者用映像を、視聴者端末３００へ配信する。
　以下、上述した図２の情報処理装置４００において実現される販売サーバ５００、及び、配信者端末６００の機能等について、図１５～図１９を参照して説明する。情報処理装置４００に電源が投入されると、実施形態２に係る販売サーバ５００、及び、配信者端末６００として機能させるプログラムが実行され、実施形態２に係る販売サーバ５００、及び、配信者端末６００が実現される。
（販売サーバ５００の機能構成）
　図１５は、販売サーバ５００の機能構成の一例を示すブロック図である。図示するように、販売サーバ５００は、送受信部５１０と、記憶部５２０と、制御部５３０とを備える。
　送受信部５１０は、インターネット９００を介した視聴者端末３００との間で種々の情報を送受信する。例えば、送受信部５１０は、遷移情報に従った視聴者端末３００からのアクセスに応答して、商品の販売ページを視聴者端末３００へ送信する。なお、上述したＮＩＣ　４０４が、このような送受信部５１０として機能しうる。
　記憶部５２０は、販売サーバ５００における処理に必要な種々の情報を記憶する。例えば、記憶部５２０は、販売する商品についての詳細情報、価格情報、及び、在庫情報を記憶する。また、記憶部５２０は、視聴者端末３００を使用する視聴者の個人情報（ＩＤ、氏名、住所、及び、クレジットカード番号等）を記憶する。なお、上述した補助記憶部４０７等が、このような記憶部５２０として機能しうる。
　制御部５３０は、販売サーバ５００全体を制御する。この制御部５３０は、例えば、販売処理部５３１を含んでいる。
　販売処理部５３１は、商品の販売ページを閲覧した視聴者端末３００（視聴者）からの操作に従って、商品の販売を確定する。
　上述したＣＰＵ　４０１等が、このような構成からなる制御部５３０として機能しうる。
（配信者端末６００の機能構成）
　図１６は、実施形態２に係る配信者端末６００の機能構成の一例を示すブロック図である。図示するように、配信者端末６００は、撮影部２１０と、送受信部２２０と、操作受付部２３０と、記憶部６４０と、制御部６５０と、表示部２６０とを備える。なお、撮影部２１０、送受信部２２０、操作受付部２３０、及び、表示部２６０は、上述した図４の配信者端末２００における撮影部２１０、送受信部２２０、操作受付部２３０、及び、表示部２６０と同じ構成である。なお、撮影部２１０は、図１７に示すような紹介する商品ＰＤ、及び、配信者ＤＩを含んだライブ映像ＬＶを出力する。
　図１６に戻って、記憶部６４０は、配信者端末６００における処理に必要な種々の情報を記憶する。例えば、記憶部６４０は、ライブ映像等に合成するためのオブジェクトについての情報やオブジェクトの合成位置等の他に、配信中に紹介する商品を購入するための遷移情報を記憶する。例えば、遷移情報は、販売サーバ５００における該当する商品の販売ページへのリンク情報である。なお、上述した補助記憶部４０７等が、このような記憶部６４０として機能しうる。
　制御部６５０は、配信者端末６００全体を制御する。この制御部６５０は、例えば、付加部６５１、生成部２５１、配信部２５２、及び、変更部２５３を含んでいる。なお、生成部２５１、配信部２５２、及び、変更部２５３は、上述した図４の配信者端末２００（制御部２５０）における生成部２５１、配信部２５２、及び、変更部２５３と同じ構成である。
　付加部６５１は、記憶部６４０に記憶される特定のオブジェクト（一例として、購入ボタン）に、配信中に紹介されている商品の遷移情報を付加する。なお、既に紹介を終えた商品の遷移情報がオブジェクトに付加されている場合に、付加部６５１は、現在紹介されている商品の遷移情報を上書きしてオブジェクトに付加する。このような遷移情報が付加されたオブジェクトが視聴者端末３００にてタップ操作されると、販売サーバ５００における該当する商品の販売ページへ遷移することができる。
　そして、生成部２５１は、撮影部２１０により撮影されているライブ映像内における所定の合成位置に必要なオブジェクトを合成した視聴者用映像を生成する。例えば、生成部２５１は、記憶部６４０に記憶されたオブジェクトの情報及び合成位置に従って、図１８に示すように、ライブ映像ＬＶにオブジェクトＯＪ１，ＯＪ２を合成した視聴者用映像を生成する。なお、オブジェクトＯＪ１は、商品ＰＤを説明するための字幕（バナー）であり、商品名や価格等の文字情報が含まれている。また、オブジェクトＯＪ２は、購入ボタンであり、「購入」の文字情報と、付加部６５１によって付加された遷移情報とが含まれている。
　また同時に、生成部２５１は、ライブ映像を反転させた鏡像映像にオブジェクトを合成した配信者用映像を生成する。例えば、生成部２５１は、記憶部６４０に記憶されたオブジェクトの情報及び合成位置に対する鏡像の位置に従って、図１９に示すように、鏡像映像ＭＶにオブジェクトＯＪ１，ＯＪ２を合成した配信者用映像を生成する。なお、図１９では、配信者用映像が表示部２６０に表示されている様子を示している。これより、配信者ＤＩは、表示部２６０に表示される鏡像映像ＭＶに合成されるオブジェクトＯＪ１，ＯＪ２の文字情報を普通に読むことができ、また、それらオブジェクトＯＪ１，ＯＪ２を普通に指し示すことで、上述した図１８の視聴者用映像においても、オブジェクトＯＪ１，ＯＪ２が正しく指し示されることになる。この結果、ライブ配信を行っている配信者を適切に支援することができる。
　なお、変更部２５３は、上述した実施形態１と同様に、配信者用映像内におけるオブジェクトに対する配信者からの操作に従って、ライブ映像及び鏡像映像に合成するオブジェクトの表示態様を変更する。また、変更部２５３は、上述した実施形態１と同様に、配信者からの操作によって配信者用映像内におけるオブジェクトが新たな位置へ移動されると、ライブ映像に合成するオブジェクトをその新たな位置に対する正像の位置へ変更する。
　なお、上述したＣＰＵ　４０１等が、このような構成からなる制御部６５０として機能しうる。
（視聴者端末３００での操作）
　以下、視聴者端末３００での視聴者の操作について図２０、及び、図２１を参照して説明する。
　配信者端末６００から視聴者用映像が配信されると、視聴者端末３００は、例えば、図２０に示すような視聴者用映像を表示部に表示する。そして、配信中に紹介された商品ＰＤの購入を望む場合、視聴者は、オブジェクトＯＪ２をタップ操作することになる。
　視聴者がオブジェクトＯＪ２をタップ操作すると、視聴者端末３００は、オブジェクトＯＪ２に付加された遷移情報に従って、販売サーバ５００へアクセスし、図２１に示すような販売ページＳＰを表示部に表示する。なお、販売ページを表示する前に、視聴者端末３００は、販売サーバ５００へログインするための認証画面を表示するようにしてもよい。そして、販売ページＳＰにて購入が確定されると、販売が完了する。
　このように、ライブコマースに対応したライブ配信システム２によっても、配信者は、表示部２６０に表示される図１９に示すような鏡像映像ＭＶに合成されるオブジェクトＯＪ１，ＯＪ２の文字情報を普通に読むことができ、また、それらオブジェクトＯＪ１，ＯＪ２を普通に指し示すことで、図１８の視聴者用映像においても、オブジェクトＯＪ１，ＯＪ２が正しく指し示されることになる。この結果、ライブ配信を行っている配信者を適切に支援することができる。
（他の実施形態）
　上記の実施形態１，２では、配信者端末２００，６００の制御部２５０，６５０に生成部２５１等が含まれており、配信者端末２００，６００が、オブジェクトをライブ映像及び鏡像映像に合成する場合について説明したが、この生成部２５１等と同じ構成を配信サーバ１００の制御部１４０に付加するようにしてもよい。この場合、配信サーバ１００側で、オブジェクトをライブ映像及び鏡像映像に合成し、配信者端末２００，６００が、配信サーバ１００から返される配信者用映像を表示部２６０に表示することになる。この場合も、配信者は、表示部２６０に表示される鏡像映像に合成されるオブジェクトの文字情報を普通に読むことができ、また、それらオブジェクトを普通に指し示すことで、視聴者用映像においても、オブジェクトが正しく指し示されることになる。この結果、ライブ配信を行っている配信者を適切に支援することができる。
　上記の実施形態１，２では、文字情報を含んだオブジェクトをライブ映像及び鏡像映像に合成する場合について説明したが、例えば、複数の画像を含んだオブジェクトをライブ映像及び鏡像映像に合成する場合でも適宜適用可能である。具体的に、２つの瓶の画像のオブジェクトをライブ映像及び鏡像映像に合成する場合に、配信者は、オブジェクトの画像を確認し、その並びのまま、「右側が塩瓶で、左側が胡椒瓶です」といった説明を正しく行うことができる。
　上記の実施形態１，２では、配信者端末２００，６００等によって実行されるプログラムは、ＣＤ－ＲＯＭ（Compact Disc Read Only Memory），ＤＶＤ（Digital Versatile Disc），ＭＯ（Magneto-Optical Disk），ＵＳＢメモリ，メモリカード等のコンピュータ読み取り可能な記録媒体に格納して配布することも可能である。そして、かかるプログラムを特定の又は汎用のコンピュータにインストールすることによって、当該コンピュータを上記の実施形態１，２における配信者端末２００，６００として機能させることも可能である。
　また、上記のプログラムをインターネットといった通信ネットワーク上のサーバ装置が有するディスク装置に格納しておき、例えば、搬送波に重畳させて、コンピュータにダウンロードするようにしてもよい。また、通信ネットワークを介してプログラムを転送しながら起動実行することによっても、上述の処理を達成することができる。さらに、プログラムの全部又は一部をサーバ装置上で実行させ、その処理に関する情報をコンピュータが通信ネットワークを介して送受信しながらプログラムを実行することによっても、上述の処理を達成することができる。
　なお、上述の機能を、ＯＳ（Operating System）が分担して実現する場合又はＯＳとアプリケーションとの協働により実現する場合等には、ＯＳ以外の部分のみを上記の記録媒体に格納して配布してもよく、また、コンピュータにダウンロードしてもよい。
［１］
　撮影部により撮影されているライブ映像内における所定の合成位置にオブジェクトを合成した映像であって、視聴者端末に向けた配信のための視聴者用映像の送信と、
　前記ライブ映像を反転させた鏡像映像に前記オブジェクトを合成した映像であって、前記合成位置に対する鏡像の位置に前記オブジェクトを合成した配信者用映像の表示と、
　を実行するプロセッサ、
　を備えることを特徴とする配信者端末。
［２］
　前記プロセッサは、
　前記配信者用映像内における前記オブジェクトに対する配信者からの操作に従って、前記ライブ映像及び前記鏡像映像に合成する前記オブジェクトについての表示態様の変更、を更に実行する、
　ことを特徴とする［１］に記載の配信者端末。
［３］
　前記表示態様の変更には、前記オブジェクトの大きさ、形状、色彩、模様、明度、輝度の少なくとも１つの変更が含まれる、
　ことを特徴とする［２］に記載の配信者端末。
［４］
　前記プロセッサは、
　配信者からの操作によって前記配信者用映像内における前記オブジェクトが新たな位置へ移動されると、前記ライブ映像に合成する前記オブジェクトについての前記新たな位置に対する正像の位置への変更、を更に実行する、
　ことを特徴とする［１］乃至［３］の何れか１つに記載の配信者端末。
［５］
　前記オブジェクトには、商品を販売する販売サーバへ遷移するための遷移情報が付加されている、
　ことを特徴とする［１］乃至［４］の何れか１つに記載の配信者端末。
［６］
　前記オブジェクトには、文字情報が含まれている、
　ことを特徴とする［１］乃至［５］の何れか１つに記載の配信者端末。
［７］
　コンピュータが、
　撮影部により撮影されているライブ映像内における所定の合成位置にオブジェクトを合成した映像であって、視聴者端末に向けた配信のための視聴者用映像の送信と、
　前記ライブ映像を反転させた鏡像映像に前記オブジェクトを合成した映像であって、前記合成位置に対する鏡像の位置に前記オブジェクトを合成した配信者用映像の表示と、
　を実行することを特徴とする表示方法。
［８］
　コンピュータに、
　撮影部により撮影されているライブ映像内における所定の合成位置にオブジェクトを合成した映像であって、視聴者端末に向けた配信のための視聴者用映像の送信、
　前記ライブ映像を反転させた鏡像映像に前記オブジェクトを合成した映像であって、前記合成位置に対する鏡像の位置に前記オブジェクトを合成した配信者用映像の表示、
　を実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
　本開示は、配信者を適切に支援することのできる配信者端末、表示方法、および、記録媒体に好適に採用され得る。
　１，２　ライブ配信システム
　１００　配信サーバ
　１１０　受信部
　１２０　送信部
　１３０　記憶部
　１４０　制御部
　１４１　管理部
　１４２　配信制御部
　２００，６００　配信者端末
　２１０　撮影部
　２２０　送受信部
　２３０　操作受付部
　２４０，６４０　記憶部
　２５０，６５０　制御部
　２５１　生成部
　２５２　配信部
　２５３　変更部
　６５１　付加部
　２６０　表示部
　３００　視聴者端末
　４００　情報処理装置
　４０１　ＣＰＵ
　４０２　ＲＯＭ
　４０３　ＲＡＭ
　４０４　ＮＩＣ
　４０５　画像処理部
　４０６　音声処理部
　４０７　補助記憶部
　４０８　インターフェース
　４０９　撮影ユニット
　４１０　操作ユニット
　４１１　表示ユニット
　５００　販売サーバ
　５１０　送受信部
　５２０　記憶部
　５３０　制御部
　５３１　販売処理部
　９００　インターネット

Claims (8)

  1. 　撮影部により撮影されているライブ映像内における所定の合成位置にオブジェクトを合成した映像であって、視聴者端末に向けた配信のための視聴者用映像の送信と、
    　前記ライブ映像を反転させた鏡像映像に前記オブジェクトを合成した映像であって、前記合成位置に対する鏡像の位置に前記オブジェクトを合成した配信者用映像の表示と、
    　を実行するプロセッサ、
    　を備えることを特徴とする配信者端末。
  2. 　前記プロセッサは、
    　前記配信者用映像内における前記オブジェクトに対する配信者からの操作に従って、前記ライブ映像及び前記鏡像映像に合成する前記オブジェクトについての表示態様の変更、を更に実行する、
    　ことを特徴とする請求項１に記載の配信者端末。
  3. 　前記表示態様の変更には、前記オブジェクトの大きさ、形状、色彩、模様、明度、輝度の少なくとも１つの変更が含まれる、
    　ことを特徴とする請求項２に記載の配信者端末。
  4. 　前記プロセッサは、
    　配信者からの操作によって前記配信者用映像内における前記オブジェクトが新たな位置へ移動されると、前記ライブ映像に合成する前記オブジェクトについての前記新たな位置に対する正像の位置への変更、を更に実行する、
    　ことを特徴とする請求項１に記載の配信者端末。
  5. 　前記オブジェクトには、商品を販売する販売サーバへ遷移するための遷移情報が付加されている、
    　ことを特徴とする請求項１に記載の配信者端末。
  6. 　前記オブジェクトには、文字情報が含まれている、
    　ことを特徴とする請求項１に記載の配信者端末。
  7. 　コンピュータが、
    　撮影部により撮影されているライブ映像内における所定の合成位置にオブジェクトを合成した映像であって、視聴者端末に向けた配信のための視聴者用映像の送信と、
    　前記ライブ映像を反転させた鏡像映像に前記オブジェクトを合成した映像であって、前記合成位置に対する鏡像の位置に前記オブジェクトを合成した配信者用映像の表示と、
    　を実行することを特徴とする表示方法。
  8. 　コンピュータに、
    　撮影部により撮影されているライブ映像内における所定の合成位置にオブジェクトを合成した映像であって、視聴者端末に向けた配信のための視聴者用映像の送信、
    　前記ライブ映像を反転させた鏡像映像に前記オブジェクトを合成した映像であって、前記合成位置に対する鏡像の位置に前記オブジェクトを合成した配信者用映像の表示、
    　を実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
PCT/JP2022/006174 2022-02-16 2022-02-16 ライブ配信中に映像を表示する配信者端末、表示方法、および、記録媒体 Ceased WO2023157124A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
US17/783,933 US12477157B2 (en) 2022-02-16 2022-02-16 Streamer terminal, display method, and non-transitory computer readable medium for displaying video during live streaming
PCT/JP2022/006174 WO2023157124A1 (ja) 2022-02-16 2022-02-16 ライブ配信中に映像を表示する配信者端末、表示方法、および、記録媒体
JP2024500767A JP7583975B2 (ja) 2022-02-16 2022-02-16 ライブ配信中に映像を表示する配信者端末、表示方法、および、プログラム
JP2024192789A JP7844590B2 (ja) 2022-02-16 2024-11-01 ライブ配信中に映像を表示する配信者端末、表示方法、および、プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2022/006174 WO2023157124A1 (ja) 2022-02-16 2022-02-16 ライブ配信中に映像を表示する配信者端末、表示方法、および、記録媒体

Publications (1)

Publication Number Publication Date
WO2023157124A1 true WO2023157124A1 (ja) 2023-08-24

Family

ID=87577821

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/006174 Ceased WO2023157124A1 (ja) 2022-02-16 2022-02-16 ライブ配信中に映像を表示する配信者端末、表示方法、および、記録媒体

Country Status (3)

Country Link
US (1) US12477157B2 (ja)
JP (2) JP7583975B2 (ja)
WO (1) WO2023157124A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7681781B1 (ja) * 2024-09-19 2025-05-22 ＰａｙＰａｙ株式会社 決済アプリケーションプログラム、情報処理装置、及び情報処理方法

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114125492B (zh) * 2022-01-24 2022-07-15 阿里巴巴（中国）有限公司 直播内容生成方法以及装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008054331A (ja) * 2007-09-19 2008-03-06 Toshiba Corp 画像処理方法及びその装置
JP2016509683A (ja) * 2012-12-18 2016-03-31 ヴィルコフスキー，ニッシ 外観を撮像及び表示する装置、システム及び方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8982109B2 (en) 2005-03-01 2015-03-17 Eyesmatch Ltd Devices, systems and methods of capturing and displaying appearances
JP6313666B2 (ja) 2014-06-06 2018-04-18 株式会社ソニー・インタラクティブエンタテインメント 画像処理装置、画像処理方法及び画像処理プログラム
JP6305614B1 (ja) 2017-09-04 2018-04-04 株式会社ドワンゴ コンテンツ配信サーバ、コンテンツ配信方法およびコンテンツ配信プログラム
US10573077B2 (en) * 2018-03-02 2020-02-25 The Matilda Hotel, LLC Smart mirror for location-based augmented reality
JP7068977B2 (ja) 2018-09-11 2022-05-17 株式会社メルカリ オンライン商取引支援システムにおける方法及びプログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008054331A (ja) * 2007-09-19 2008-03-06 Toshiba Corp 画像処理方法及びその装置
JP2016509683A (ja) * 2012-12-18 2016-03-31 ヴィルコフスキー，ニッシ 外観を撮像及び表示する装置、システム及び方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7681781B1 (ja) * 2024-09-19 2025-05-22 ＰａｙＰａｙ株式会社 決済アプリケーションプログラム、情報処理装置、及び情報処理方法

Also Published As

Publication number Publication date
JP7844590B2 (ja) 2026-04-13
JPWO2023157124A1 (ja) 2023-08-24
US20240187655A1 (en) 2024-06-06
US12477157B2 (en) 2025-11-18
JP7583975B2 (ja) 2024-11-14
JP2025010376A (ja) 2025-01-20

Similar Documents

Publication Publication Date Title
US11778278B2 (en) Server and method
JP7844590B2 (ja) ライブ配信中に映像を表示する配信者端末、表示方法、および、プログラム
CN114442972B (zh) 一种投屏方法及电子设备
WO2021218325A1 (zh) 视频处理方法、装置、计算机可读介质和电子设备
WO2020077856A1 (zh) 视频拍摄方法、装置、电子设备及计算机可读存储介质
JP7660312B2 (ja) 配信システム、ライブ配信装置、ライブ配信方法及びプログラム
CN116264603B (zh) 直播信息处理方法、装置、设备和存储介质
US20240296195A1 (en) System, method and computer-readable medium for recommendation
US12393319B2 (en) Display method, non-transitory readable storage medium, and chip
US11025603B2 (en) Service providing system, service delivery system, service providing method, and non-transitory recording medium
US20240430490A1 (en) Computer-readable storage medium, terminal, and server
JP7633544B2 (ja) プログラム、撮影装置
CN112514405A (zh) 内容发布服务器、内容发布方法及程序
JP2025019816A (ja) サーバおよびコンピュータプログラム
US12348822B2 (en) System, method and computer-readable medium for video processing
US11722726B2 (en) Television apparatus and display method
TWI482472B (zh) 多媒體內容傳播伺服器、多媒體內容傳播方法及相關的電腦程式產品
US12309217B2 (en) System and method for playlist generation
US20230297218A1 (en) Terminal and method
TW516312B (en) Image conversion method
CN120825607A (zh) 一种图像处理方法、装置及存储介质
JP2025112215A (ja) 撮影装置、及びプログラム
CN105072334B (zh) 一种数据处理方法及电子终端
JP2018101965A (ja) 動画を配信するためのシステム、方法、及び、これらに用いられるプログラム
CN113099552A (zh) 可插拔设备及传屏方法

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 17783933

Country of ref document: US

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22927027

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2024500767

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 22927027

Country of ref document: EP

Kind code of ref document: A1

WWG Wipo information: grant in national office

Ref document number: 17783933

Country of ref document: US