WO2021095573A1 - 情報処理システム、情報処理方法及びプログラム - Google Patents

情報処理システム、情報処理方法及びプログラム Download PDF

Info

Publication number
WO2021095573A1
WO2021095573A1 PCT/JP2020/040878 JP2020040878W WO2021095573A1 WO 2021095573 A1 WO2021095573 A1 WO 2021095573A1 JP 2020040878 W JP2020040878 W JP 2020040878W WO 2021095573 A1 WO2021095573 A1 WO 2021095573A1
Authority
WO
WIPO (PCT)
Prior art keywords
viewer
sight
line
effect
performer
Prior art date
Application number
PCT/JP2020/040878
Other languages
English (en)
French (fr)
Inventor
俊一 本間
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to CN202080077588.4A priority Critical patent/CN114651448B/zh
Priority to US17/767,746 priority patent/US20240077941A1/en
Priority to JP2021556021A priority patent/JPWO2021095573A1/ja
Publication of WO2021095573A1 publication Critical patent/WO2021095573A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/2187—Live feed
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/258—Client or end-user data management, e.g. managing client capabilities, user preferences or demographics, processing of multiple end-users preferences to derive collaborative data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H04N21/44218—Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program

Definitions

  • This technology relates to an information processing system, information processing method, and program that can present information about the viewer to the performer in a system that distributes the content obtained by capturing the performance of the performer to the viewer in real time via a network.
  • video distribution such as movie content has been realized by a one-way system in which content data is distributed from a distributor to a viewer and the viewer enjoys the distributed content.
  • the communication means for transmitting from the viewer to the distributor is mainly text information and voice information.
  • the communication means for transmitting from the viewer to the distributor is mainly text information and voice information.
  • character information by superimposing the character information input by the viewer on the distributed video, communication is realized not only between the distributor and the viewer but also between the viewers.
  • Patent Document 1 discloses a means for a plurality of users to perform equal text-based communication in the same virtual space.
  • Patent Document 2 discloses means for users using the same content to grasp each other's states.
  • the distributor acquires the image and audio data of the performer in real time and distributes those data.
  • the content is distributed to the movie theater as the content displayed on the screen, and to each household as the content that can be viewed on the TV or the content that can be viewed on the HMD (Head Mount Display).
  • HMD Head Mount Display
  • the purpose of this technology is information processing, an information processing system that enables performers who appear in content delivered in real time to perform according to the reaction of viewers in remote areas. To provide methods and programs.
  • the information processing system has a control unit.
  • the control unit is a line-of-sight parameter that indicates the line-of-sight of the viewer in the coordinate system of the space in which the viewer exists from the terminal of the viewer who is playing back the content in which the performance of the performer is captured in real time via the network. Is acquired together with the viewer identification information that identifies the viewer. Further, the control unit converts the acquired line-of-sight parameter into a line-of-sight parameter indicating the virtual line-of-sight of the viewer in the coordinate system of the space in which the performer exists. Then, the control unit outputs the line-of-sight information indicating the virtual line-of-sight of the viewer to the output device in the space where the performer exists, based on the converted line-of-sight parameter.
  • the line-of-sight information may be image information, audio information, or may include virtual position information of a viewer.
  • the output device may be a display.
  • the control unit calculates the intersection coordinates of the display and the virtual line of sight based on the converted line-of-sight parameters, and uses the line-of-sight information as the line-of-sight information at the intersection coordinates of the display.
  • the image corresponding to the viewer may be output at the corresponding position.
  • the performer can grasp that the viewer in a remote place is looking at himself / herself just by looking at the display, and can react appropriately such as looking at it or performing a performance.
  • the image may be, for example, a viewer's avatar image.
  • the control unit When the intersection coordinates corresponding to a predetermined number or more of the viewers exist in the predetermined area of the display, the control unit displays a predetermined one image showing the viewer group instead of the image corresponding to each of the viewers. It may be output.
  • the information processing system can prevent the images corresponding to a plurality of viewers from being displayed in an overlapping manner and reducing the visibility of the performer.
  • the control unit may acquire attribute information indicating the attributes of the viewer together with the line-of-sight parameters, and may change the output mode of the image according to the attribute information.
  • the information processing system to change the image according to the attributes of each viewer so that the performer can respond in detail accordingly.
  • the attributes are, for example, age, gender, nationality, place of residence, viewing time, the number of views and purchases of the content in which the same performer appears, the distance to the performer in the coordinate system of the content, and the like.
  • the change of the attribute mode is, for example, adding a frame of a different color to the avatar image, changing the size of the avatar image, changing the transparency, and the like.
  • the control unit may determine whether or not the viewer is looking at the performer based on the converted line-of-sight parameter, and may change the output mode of the image according to the determination result. ..
  • the information processing system makes it possible to grasp whether or not each viewer is facing the performer, and to perform a performance according to the viewer's line of sight, for example, to perform a performance toward the viewer who is looking at the performer. be able to.
  • the control unit sets the coordinates of the first intersection corresponding to the first viewer having the first viewer identification information calculated at the first time and the second time after the first time.
  • the image corresponding to the viewer is moved on the trajectory connecting the first intersection coordinates to the second intersection coordinates. It may be displayed while making it.
  • the information processing system may further have a storage unit that stores information indicating a plurality of types of effects that can be reproduced together with the image in association with the effect identification information that identifies the effect.
  • the control unit receives the effect reproduction request including the viewer identification information and the effect identification information from the viewer's terminal, the effect corresponding to the effect identification information is converted into the viewer identification information. It may be output from the vicinity of the corresponding intersection coordinates.
  • the effect that is the target of the effect reproduction request may be associated with an arbitrary input (gesture, button, etc.) on the viewer's terminal.
  • the control unit may output a predetermined one effect instead of the effect corresponding to each of the viewers. Good.
  • the information processing system can prevent the effects corresponding to a plurality of viewers from being displayed in an overlapping manner and reducing the visibility of the performer.
  • control unit When the control unit receives an effect reproduction request having the same effect identification information from the predetermined number or more viewers, the control unit may output one predetermined effect instead of the effect corresponding to each viewer. ..
  • Multiple speakers may be installed at different positions on the display.
  • the control unit exists in the vicinity of the intersection coordinates corresponding to the viewer identification information. It may be output from a speaker.
  • the information processing system can reproduce the effect as if the viewer is speaking to the performer, and the performer can grasp it.
  • the control unit acquires the line-of-sight parameter indicating the line-of-sight of the performer, and is the inner product of the line-of-sight vector obtained from the line-of-sight parameter of the performer and the line-of-sight vector obtained from the line-of-sight parameter indicating the virtual line of sight of the viewer.
  • a predetermined effect may be output from the vicinity of the intersection coordinates corresponding to the viewer identification information.
  • the information processing system can make the performer know that the viewer has met the viewer and perform the performance accordingly.
  • the control unit acquires the line-of-sight parameter indicating the line-of-sight of the performer, and for each of the plurality of viewers, from the line-of-sight vector obtained from the line-of-sight parameter of the performer and the line-of-sight parameter indicating the virtual line-of-sight of each viewer.
  • the number of times the absolute value of the inner product with the obtained line-of-sight vector becomes less than a predetermined threshold is counted, and the value corresponding to each number of times of each viewer is associated with the vicinity of the intersection coordinates corresponding to each viewer.
  • the histogram may be displayed on the above display.
  • the performer can raise the satisfaction level of the entire viewer by performing in a direction in which the line of sight of the viewer matches the viewer infrequently based on this histogram.
  • the line-of-sight parameter indicating the line-of-sight of the viewer in the coordinate system of the space in which the viewer exists is set to the viewer. Obtained with viewer identification information to identify The acquired line-of-sight parameter is converted into a line-of-sight parameter indicating the virtual line-of-sight of the viewer in the coordinate system of the space in which the performer exists. Based on the converted line-of-sight parameter, the line-of-sight information indicating the virtual line-of-sight of the viewer is output to an output device in the space where the performer exists.
  • Programs related to other forms of this technology can be applied to information processing devices. From the viewer's terminal, which is playing back the content in which the performance of the performer is captured in real time via the network, the line-of-sight parameter indicating the line-of-sight of the viewer in the coordinate system of the space in which the viewer exists is set to the viewer.
  • the steps to get along with the viewer identification information to identify The step of converting the acquired line-of-sight parameter into a line-of-sight parameter indicating the virtual line-of-sight of the viewer in the coordinate system of the space in which the performer exists, and Based on the converted line-of-sight parameter, the step of outputting the line-of-sight information indicating the virtual line-of-sight of the viewer to the output device in the space where the performer exists is executed.
  • FIG. 18 It is a figure which showed the case where a performer, a plurality of viewers, and a display have a certain positional relationship in the above-mentioned content distribution system.
  • FIG. 18 it is a diagram showing how information expressing the viewing state of another viewer is added to the content viewed by a certain viewer.
  • FIG. 18 it is a diagram showing a state in which information expressing a viewer's viewing state is added by virtually moving / enlarging the display to the content viewed by a certain viewer.
  • FIG. 1 is a diagram showing a configuration of a content distribution system according to an embodiment of the present technology.
  • FIG. 1 is a diagram showing the overall configuration of the system
  • FIG. 2 is a diagram showing an example of equipment installation in a content shooting studio possessed by the system.
  • this system is connected to a viewer information management server, a performer output system 300, a content creation server 400, a content distribution server 500 in a content shooting studio, and the like, via a network 50 such as the Internet. It also has a plurality of viewer output systems 200.
  • the content creation server 400 uses the above-mentioned studio dedicated to content creation to create content in which the performance of the performer is photographed in real time.
  • the created content is streamed to the viewer via the network 50.
  • the content delivered to the viewer is VR (Virtual Reality) content composed based on the 3D model and surround sound.
  • VR Virtual Reality
  • the studio is equipped with shooting equipment including one or more cameras 51 and a microphone 52 for content creation, and the content creation server 400 creates distribution content based on the captured data. To do.
  • the viewer information management server 100 appropriately acquires and manages information on the viewer's viewing state such as the viewer's virtual line of sight and virtual position from the viewer output system 200.
  • the performer output system 300 has one or more displays 53 for outputting information on the viewing state of the viewer to the performer who appears in the content.
  • the viewer information management server 100 transmits information such as the viewing state of the viewer received from the viewer output system 200 to the content creation server 400, and the content creation server 400 changes the distributed content according to the information. It is also possible.
  • the content created / changed by the content creation server 400 is distributed from the content distribution server 500 to each content viewer (viewer output system 200) by the content distribution server 500 via the network 50.
  • FIG. 3 is a diagram showing the hardware configuration of the viewer information management server 100.
  • the viewer information management server 100 includes a CPU (Central Processing Unit) 11, a ROM (Read Only Memory) 12, and a RAM (Random Access Memory) 13. Further, the viewer information management server 100 may include a host bus 14, a bridge 15, an external bus 16, an interface 17, an input device 18, an output device 19, a storage device 20, a drive 21, a connection port 22, and a communication device 23. .. Further, the viewer information management server 100 may include an image pickup device 26 and a sensor 27, if necessary. The viewer information management server 100 may have a processing circuit such as a DSP (Digital Signal Processor), an ASIC (Application Specific Integrated Circuit), or an FPGA (Field-Programmable Gate Array) in place of or in combination with the CPU 11. Good.
  • DSP Digital Signal Processor
  • ASIC Application Specific Integrated Circuit
  • FPGA Field-Programmable Gate Array
  • the CPU 11 functions as an arithmetic processing device and a control device, and controls all or a part of the operation in the viewer information management server 100 according to various programs recorded in the ROM 12, the RAM 13, the storage device 20, or the removable recording medium 24. To do.
  • the ROM 12 stores programs, calculation parameters, and the like used by the CPU 11.
  • the RAM 13 primarily stores a program used in the execution of the CPU 11 and parameters that are appropriately changed in the execution.
  • the CPU 11, ROM 12, and RAM 13 are connected to each other by a host bus 14 composed of an internal bus such as a CPU bus. Further, the host bus 14 is connected to an external bus 16 such as a viewer information management server I (Peripheral Component Interconnect / Interface) bus via a bridge 15.
  • I Peripheral Component Interconnect / Interface
  • the input device 18 is a device operated by a user, such as a touch panel, physical buttons, switches, and levers.
  • the input device 18 may be, for example, a remote control device using infrared rays or other radio waves, or an externally connected device 25 such as a smartphone or smart watch that supports the operation of the viewer information management server 100.
  • the input device 18 includes an input control circuit that generates an input signal based on the information input by the user and outputs the input signal to the CPU 11. By operating the input device 18, the user inputs various data to the viewer information management server 100 and instructs the viewer information management server 100 to perform processing operations.
  • the output device 19 is composed of a device capable of notifying the user of the acquired information using sensations such as sight, hearing, and touch.
  • the output device 19 may be, for example, a display device such as an LCD (Liquid Crystal Display) or an organic EL (Electro-Luminescence) display, an audio output device such as a speaker, or the like.
  • the output device 19 outputs the result obtained by the processing of the viewer information management server 100 as a video such as a text or an image, a voice such as a voice or a sound, or a vibration.
  • the storage device 20 is a data storage device configured as an example of a storage unit of the viewer information management server 100.
  • the storage device 20 is composed of, for example, a magnetic storage device such as an HDD (Hard Disk Drive), a semiconductor storage device, an optical storage device, an optical magnetic storage device, or the like.
  • the storage device 20 includes, for example, a program executed by the CPU 11, various data, various data acquired from the outside, data acquired from the viewer output system 200 (line-of-sight parameters described later, avatar images of each viewer, etc.), and the like. To store.
  • the drive 21 is a reader / writer for a removable recording medium 24 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory, and is built in or externally attached to the viewer information management server 100.
  • the drive 21 reads the information recorded on the mounted removable recording medium 24 and outputs the information to the RAM 13. Further, the drive 21 writes a record on the mounted removable recording medium 24.
  • the connection port 22 is a port for connecting the device to the viewer information management server 100.
  • the connection port 22 may be, for example, a USB (Universal Serial Bus) port, an IEEE1394 port, a SCSI (Small Computer System Interface) port, or the like. Further, the connection port 22 may be an RS-232C port, an optical audio terminal, an HDMI (registered trademark) (High-Definition Multimedia Interface) port, or the like.
  • the communication device 23 is, for example, a communication interface composed of a communication device for connecting to the communication network 50.
  • the communication device 23 may be, for example, a communication card for LAN (Local Area Network), Bluetooth (registered trademark), Wi-Fi, or WUSB (Wireless USB). Further, the communication device 23 may be a router for optical communication, a router for ADSL (Asymmetric Digital Subscriber Line), a modem for various communications, or the like.
  • the communication device 23 transmits / receives a signal or the like to / from the Internet or another communication device using a predetermined protocol such as TCP / IP.
  • the communication network 50 connected to the communication device 23 is a network connected by wire or wirelessly, and may include, for example, the Internet, a home LAN, infrared communication, radio wave communication, satellite communication, and the like.
  • the image pickup device 26 uses, for example, an image pickup element such as a CMOS (Complementary Metal Oxide Semiconductor) or a CCD (Charge Coupled Device), and various members such as a lens for controlling the image formation of a subject image on the image pickup device. It is a camera that captures a real space and generates an captured image. The image pickup device 26 may capture a still image or may capture a moving image.
  • an image pickup element such as a CMOS (Complementary Metal Oxide Semiconductor) or a CCD (Charge Coupled Device)
  • various members such as a lens for controlling the image formation of a subject image on the image pickup device. It is a camera that captures a real space and generates an captured image.
  • the image pickup device 26 may capture a still image or may capture a moving image.
  • the sensor 27 is, for example, various sensors such as an acceleration sensor, an angular velocity sensor, a geomagnetic sensor, an illuminance sensor, a temperature sensor, a pressure sensor, a depth sensor, or a sound sensor (microphone).
  • Each of the above components may be configured by using general-purpose members, or may be configured by hardware specialized for the function of each component. Such a configuration can be appropriately changed depending on the technical level at the time of implementation.
  • the viewer output system 200, the performer output system 300, the content creation server 400, and the content distribution server 500 also have hardware for functioning as a computer similar to that of the viewer information management server 100. ..
  • FIG. 4 is a diagram showing a flowchart of the content distribution process.
  • FIG. 5 is a diagram showing a display example of the content when there are viewers having different positions and attitudes with respect to the content.
  • the content viewer receives the content and views the content through the viewer output system of each viewer.
  • the viewer output system 200 is, for example, a head-mounted display having a head tracking function capable of estimating the position and orientation of the viewer's head.
  • the viewer output system 200 initializes the position and orientation of the viewer's head in the coordinate system of the content (coordinate system in the space where the performer exists) (step 41), and the content is provided by the head tracking function. The position and orientation of the viewer's head in the coordinate system are estimated (step 42).
  • the viewer output system 200 projects the 3D content distributed according to this position / orientation on the virtual image plane (step 43), and outputs the projected content to the display (step 44).
  • SLAM Simultaneous Localization And Mapping
  • IMU Inertial Measurement Unit
  • Binocular stereoscopic vision which is generally used for viewing VR content, requires the position and orientation of the viewer's left and right eyes, but these can be calculated by using the estimated head position to both eyes. it can.
  • the viewer 1 looking at the content from the side (Fig. A) and the viewer 2 looking at the content from the front (Fig. B) have heads.
  • the appearance of the content will differ depending on the position and posture.
  • the viewer output system 200 uses an input device such as a controller to position and orient the head. It is also possible to move virtually.
  • the content distribution system of the present embodiment provides an effect showing the viewer's virtual line-of-sight information (including the viewer's virtual position information) and the viewer's reaction to the performer during the content distribution process. , Can be presented to the performer.
  • the content distribution system can add an effect indicating the reaction of the viewer to the content during the content distribution process. The details of these processes will be described below.
  • FIG. 6 is a flowchart showing the flow of the viewer's line-of-sight information and effect presentation processing to the performer.
  • the viewer output system 200 first calculates the viewer's line-of-sight parameter in the content coordinate system (step 51).
  • the viewer output system 200 may obtain this by converting the line-of-sight parameters defined in advance in the head mount display coordinate system (coordinate system of the space in which the viewer exists) into the content coordinate system, or the viewer output. If the system 200 has a device for estimating the line-of-sight direction of the viewer in real time, the parameters may be obtained by converting the parameters into the content coordinate system.
  • the line-of-sight parameter may be output separately for the right eye and the left eye, but here it is limited to one parameter in some way, such as adopting either one or obtaining the average of the left and right eyes. Think about it.
  • the viewer output system 200 uses the premise that the viewer always faces the performer instead of using the position of the viewer's eyes, and draws a straight line connecting the performer's head position and the viewer's head position, for example. It may be used as a line-of-sight parameter. Further, the viewer output system 200 may determine the line-of-sight parameter with a specific direction in the body coordinate system of the head-mounted display as the line-of-sight direction.
  • the line-of-sight parameter in the content coordinate system may be calculated by the viewer information management server 100 on the studio side instead of the viewer output system 200.
  • the viewer output system 200 transmits the line-of-sight parameter of the viewer in the head-mounted display coordinate system to the viewer information management server 100
  • the viewer information management server 100 transmits the line-of-sight parameter to the line-of-sight of the content coordinate system. Convert to parameters.
  • the viewer output system 200 transmits the viewer's line-of-sight parameter expressed in the content coordinate system to the viewer information management server 100 (step 52).
  • the viewer information management server 100 performs processing required by the performer output system 300 for the line-of-sight parameters sent from each viewer.
  • the viewer information management server 100 when the viewer information management server 100 outputs the viewer's avatar image as the line-of-sight information in the performer output system 300, the viewer information management server 100 associates the line-of-sight parameter with the viewer's avatar image that sent the information. Processing may be performed.
  • the viewer information management server 100 (CPU 11) has position and orientation information of the display 53 installed in the studio in the content coordinate system, and the display 53 is based on the viewer's line-of-sight parameter also expressed in the content coordinate system. And the coordinates of the intersection of the viewer's line of sight are calculated (step 53).
  • the viewer information management server 100 expresses each display 53 by a plane equation, and if the viewer's line-of-sight parameter is expressed by a linear equation, the display 53 The coordinates of the intersection of and the line of sight can be calculated.
  • the viewer information management server 100 may obtain the intersection coordinates in each display coordinate system after converting the line-of-sight parameter into each display coordinate system.
  • the viewer information management server 100 (CPU 11) causes the performer output system 300 to output the viewer's line-of-sight information to the display 53 in a form that the performer can recognize based on the calculated intersection coordinates (step 54). ).
  • the corresponding avatar images 71a, 71b, and 71c are displayed at the intersection coordinates I of the virtual line of sight VL1 of the viewer 1, the virtual line of sight VL2 of the viewer 2, the virtual line of sight VL3 of the viewer 3, and the display 53, respectively. Has been done.
  • the performer P recognizes the line of sight of the viewer V at a remote location and the direction in which the viewer V exists in real time by looking at the avatar image 71 displayed on the display 53, and there. You will be able to take appropriate actions such as looking at the person and performing toward it.
  • the virtual line of sight VL is also shown in FIG. It is shown that the avatar image 71 moves accordingly.
  • this enables the viewer V to have a communication experience (for example, the line of sight is aligned) as if the performer P and himself / herself are physically close to each other.
  • the viewer's line of sight may be concentrated on the same coordinates on the display 53 of the performer output system 300.
  • the visibility of the performer is lowered because the plurality of avatar images 71 overlap each other.
  • the viewer information management server 100 causes the performer output system 300 to display the plurality of avatar images 71 for each viewer by replacing them with other images expressing the concentration of the eyes of the plurality of viewers. You may.
  • the performer output system 300 replaces the viewer's avatar image 71 group with the image A and displays the viewpoints of Y or more people.
  • the image B may be replaced with an image B different from the image A and displayed.
  • the performer output system 300 may display a heat map showing the degree of concentration of the line of sight on the display 53 instead of the avatar image 71.
  • the viewer information management server 100 uses the viewer attribute information managed by the viewer information management server 100 or the viewer attribute information given to the line-of-sight parameter information acquired from the viewer output system 200, and outputs the performer.
  • the viewer's avatar image 71 displayed on the display of the system 300 may be changed or processed.
  • the viewer information management server 100 uses the viewer's age, gender, nationality, place of residence, viewing time, the number of views and purchases of content in which the same performer appears, the distance to the performer in the content coordinate system, and other viewing.
  • the avatar image 71 may be framed with a different color, the size of the avatar image 71 may be changed, or the transparency may be changed.
  • the viewer information management server 100 expresses the projection destination plane of the projector in the content coordinate system, so that the viewer's avatar image 71 is similar to the case where the display 53 is used. Etc. can be calculated at the position to be drawn.
  • a plurality of cameras 51 and microphones 52 are arranged on the same plane as the display 53 (for example, as shown in FIG. 9).
  • An embedded display device (in a matrix) may be used.
  • the viewer information management server 100 uses the viewer information management server 100, for example, as shown in FIG.
  • the size of the avatar image 71 and the color of the frame may be changed, or the avatar image 71 itself may not be displayed depending on whether the avatar image 71 is facing or not.
  • the corresponding avatar images 71A and 71B are displayed in the usual sizes, but the virtual line of sight VL3 is the performer. Since it does not face P, the corresponding avatar image 71C is displayed smaller than the avatar images 71A and 71B.
  • Whether or not the viewer's line of sight is directed toward the performer P can be determined, for example, by whether or not the performer is included in a viewing cone of an arbitrary size centered on the viewer's line of sight.
  • the position of the viewer information (avatar image 71) displayed on the performer output system 300 may be updated at arbitrary intervals.
  • the viewer information management server 100 connects two intersections when the line of sight of a certain viewer and the intersection position c (t) of the display are different from the intersection position c (t-1) for the same viewer calculated immediately before.
  • the viewer information may be moved so as to move on the trajectory.
  • the content distributor creates an effect that allows the viewer to request playback from the performer output system, as shown in the effect table of FIG. 12A.
  • the effect table In the effect table, the effect ID that identifies the effect and the content of the effect indicated by the effect ID are associated with each other.
  • the effect table is stored in, for example, the storage device 20 of the viewer information management server 100.
  • Each viewer registers an action for issuing a playback request for each effect according to his / her own input device, as shown in the viewer action table of FIGS. 12B1 to B3.
  • the action here means the input of a specific command or movement to the device included in the viewer output system 200.
  • the viewer output system 200 first acquires the effect ID of the effect to be played back from the action of the viewer (step 61).
  • the viewer 1 in FIG. 12B repeatedly moves the head up and down to issue a playback request for the effect in the performer output system 300 for the effect with the effect ID: 1000.
  • a viewer having a viewing environment having a head tracking function may use the movement of the head for a request as in viewer 1 in FIG. 12B, and a viewer using a motion controller is viewer 2.
  • a specific motion may be used for the request, as in.
  • the viewer output system 200 transmits an effect reproduction request corresponding to the effect ID to the viewer information management server 100 (step 62).
  • the effect reproduction request of each viewer is sent to the viewer information management server 100 as data in which the viewer ID that identifies the viewer and the effect ID are associated with each other.
  • the viewer information management server 100 (CPU 11) reproduces the effect corresponding to the effect ID at a position (for example, in the vicinity of the avatar image 71) corresponding to the intersection coordinates of the performer output system 300 based on the intersection coordinates. (Step 63).
  • the visual effect 72 of the effect ID: 1004 (rainbow) of FIG. 12A is reproduced in response to the reproduction request from the viewer 1, and in response to the reproduction request from the viewer 2, FIG.
  • the visual effect 72 of the effect ID: 1003 (star) of 12A is reproduced, and the visual effect 72 of the effect ID 1000 (“cute” balloon comment) of FIG. 12A is reproduced in response to the reproduction request from the viewer 3.
  • effect reproduction requests may be concentrated near the same coordinates of the display 51 of the performer output system 300. At this time, if the effect requested for each viewer is played back, the visibility of the performer will be lowered due to the overlapping of a plurality of effects.
  • the viewer information management server 100 may cause the performer output system 300 to play the effects of the plurality of viewers by replacing them with other effects expressing the concentration of the plurality of effect playback requests. ..
  • the performer output system 300 replaces each viewer's effect with a special effect expressing the concentration of the effect and reproduces the effect. You may.
  • the viewer information management server 100 uses the viewer attribute information managed by the viewer information management server 100 or the viewer attribute information given to the line-of-sight parameter information acquired from the viewer output system 200, and outputs the performer. You may control the size of the effect played by the system 300 and the type of effect you can request.
  • the viewer information management server 100 controls the types of effects that can be requested according to the viewing time of the viewer, the number of views of the content in which the same performer appears, the number of purchases, and other parameters associated with the viewer. You may.
  • the viewer information management server 100 may reproduce an effect that does not approach the line-of-sight position in order to express the excitement of the entire viewer.
  • a special effect indicating the same effect for example, a visual displayed over the entire display 53
  • the effect may be reproduced by the performer output system 300.
  • the performer output system 300 may include an audio reproduction device such as a speaker. This allows the viewer to request sound effects as well as visual effects.
  • the content distributor creates an effect that allows the viewer to request the distribution content. Similarly, each viewer registers an action for issuing a request for granting each effect according to his / her own input device.
  • a table related to this effect (for example, one having the same format as shown in FIG. 12) is also stored in the storage device 20 of the viewer management server 100, for example.
  • FIG. 15 is a flowchart showing a flow from a viewer's request for adding an effect to the distribution of VR content to which the effect is applied to the viewer. Further, FIG. 16 is a conceptual diagram showing the flow.
  • the CPU 11 of the viewer information management server 100 receives the effect addition request of each viewer from the viewer output system 200 of each viewer (step 151).
  • the effect addition request is received as data in which the viewer ID and the effect ID are associated with each other.
  • the CPU 11 specifies the effect ID from the effect addition request (step 152).
  • the CPU 11 transmits an effect grant request including the effect ID to the content creation server 400 (step 153).
  • the content to which the effect corresponding to the effect ID is given by the content creation server 400 is distributed from the content distribution server 500 to the viewer output system 200 (step 154).
  • the effect addition request may be sent directly to the content creation server 400 without going through the viewer information management server 100.
  • the effect is given to the content by the content creation server 400, and each viewer is given the effect. It is delivered to the viewer output system 200 of.
  • each viewer can visually recognize the added effect from different lines of sight L1, L2, and L3.
  • the viewers 1 and 3 can know in real time how the viewer 2 reacts to the content.
  • effect application requests may be concentrated near the same position of the content (for example, around the performer). At this time, if the requested effect is given to each viewer, the visibility of the viewer is lowered due to the overlapping of a plurality of effects.
  • the viewer information management server 100 may cause the content creation server 400 to give the effects of a plurality of viewers by replacing them with other effects expressing the concentration of the plurality of effect grant requests. ..
  • the content creation server 400 may replace the effect of each viewer with a special effect expressing the concentration of the effect.
  • the viewer information management server 100 uses the viewer attribute information managed by the viewer information management server 100 or the viewer attribute information given to the line-of-sight parameter information acquired from the viewer output system 200 to be used as content. You may control the size of the effect to be given and the type of effect that can be requested.
  • the viewer information management server 100 controls the types of effects that can be requested to be given according to the viewing time of the viewer, the number of views of the content in which the same performer appears, the number of purchases, and other parameters associated with the viewer. You may.
  • a special effect for example, a visual effect displayed over the entire content
  • a special effect for example, a visual effect displayed over the entire content
  • the viewer information management server 100 intentionally issues a request by using the viewer attribute information managed by the viewer information management server 100 or the viewer attribute information given to the line-of-sight parameter information.
  • the VR content may be changed without the need for it.
  • the viewer information management server 100 stores a viewer residential area attribute table showing the number of viewers for each residential area of viewers around the world.
  • the content creation server 400 is a landmark representing each region (for example, Tokyo Tower in Japan, Statue of Liberty in the United States, Pisa in Italy) according to the number of viewers in the place of residence.
  • the display size of a 3D model such as the Leaning Tower of Pisa or the statue of Merlion in Singapore may be changed and combined with the background of the performer P to create the content.
  • the number of viewers is in the order of Japan, the United States, Italy, and Singapore, so the size of the 3D model is in the order of Tokyo Tower, Statue of Liberty, Leaning Tower of Pisa, and Merlion statue as the background of the content. Is set.
  • a method of adding the viewing state of other viewers (viewer's position, etc.) to the distributed content and viewing the content can be considered.
  • the additional content effect
  • the additional content may appear at a position that hinders the viewing of the delivered content, or the delivered content may be buried in the additional content. Problems such as disappearing occur.
  • FIG. 18 shows a case where the performer P, a plurality of virtual viewers V, and the display 53 have a certain positional relationship.
  • the avatar content expressing the viewing state of the other viewer is added to the content viewed by the viewer V1 based on the viewing position of the other viewer or the position of the avatar image 71 of the other viewer.
  • additional content may appear near the intersection coordinate I in the viewing cone of the viewer 1, and the viewing of the distributed content of the viewer V1 may be hindered.
  • the content creation server 400 virtually moves and enlarges the display 53 based on the position of the viewer V1 as shown in FIG. 20, and sets the intersection of the line of sight of another viewer and the virtual display 53. By using it at the display position of the additional content, it is possible to add the content expressing the viewing state of another viewer to the distributed content without interfering with the viewing of the viewer V1.
  • the position and size of the above virtual display may be changed arbitrarily.
  • the content creation server 400 may be set so that the virtual display always comes behind the viewing position of the viewer V1 with respect to the content.
  • the content creation server 400 may use an arbitrary plane, spherical surface, or a combination thereof to obtain an intersection with the line of sight of another viewer instead of the virtual display, and use it as the display position of the additional content.
  • the viewer information management server 100 may share the viewing state only to the members of the group or community to which each viewer belongs (for example, obtained from SNS or the like). Further, the content creation server 400 may replace the viewer's avatar content 72 with an image that is easier to draw (lower resolution).
  • the effect addition position may be adjusted appropriately.
  • three specific cases will be described, but the present invention is not limited to these.
  • the content creation server 400 keeps the quality of the playback effect viewed by each viewer constant by adjusting the playback position of the effect so that the effect is played in the viewing cone of each viewer. be able to.
  • FIG. 22 shows how the effect playback position of “Random Rays” requested by another viewer is adjusted according to the viewing cone VC of viewer 1.
  • the upper figure of the figure shows before adjustment, and the lower figure of the same figure shows after adjustment.
  • the reproduction positions of ray2 and ray4, which were located outside the viewing cone VC in the upper figure, are in the viewing cone VC in the lower figure. It is adjusted so that it can be seen with.
  • the viewer's line-of-sight direction may be the center, or the head direction may be the center.
  • the effect requested by another viewer may be played in the space between the viewer and the performer.
  • the viewer output system 200 of the viewer will use the target effect. It is conceivable to stop the reproduction of. However, using this means may prevent one viewer from seeing the effect requested by another viewer with a different perspective.
  • each viewer output system 200 may adjust the center of occurrence of the reproduction effect according to the line-of-sight direction of each viewer and the position of the performer.
  • the effect center is a coordinate that serves as a reference for determining the playback position of an effect that has or does not have a specific attribute.
  • FIG. 23 shows the area A in which the effect generation center set centering on the performer P can be set.
  • a circle having a radius r [m] horizontal to the ground is set to a height h [m] and its center is set as a performer P, but the setting method of the area A is not limited.
  • FIG. 24 shows how the effect generation center C is set for each viewer using the set area A.
  • the effect generation center C maps each viewer's line of sight L to the plane where the effect generation center settable area A exists, and is far from the viewer at the intersection of the mapped line of sight and the effect generation center settable area A. It is set as a person.
  • any viewer can view the effect requested by other viewers without hindering the viewing of the distributed content.
  • the content creation server 400 is not the viewer output system 200, but the content creation server 400 is used by each viewer from each viewer output system 200 via the viewer information management server 100 or directly. It may be executed by receiving the line-of-sight parameter of.
  • the effect to be played has a text attribute
  • the effect having the text attribute is played on the plane of the background content having a certain spread or more.
  • background contents Plane1 and Plane2 having different plane parameters are arranged ahead of the line of sight (L1 and L2) of the viewer 1 and the viewer 2.
  • the content creation server 400 not the viewer output system 200, obtains the line-of-sight parameters of each viewer from each viewer output system 200 via the viewer information management server 100 or directly. It may be executed by receiving.
  • the content creation server 400 may reflect only the effect reproduction request of another viewer having a line-of-sight parameter close to that viewer in the content delivered to a certain viewer.
  • the content creation server 400 sets the number of rays to be reproduced for one reproduction request to n.
  • the book may be y, which is larger than x.
  • the content creation server 400 does not give the effect that the playback position is determined according to the line-of-sight information of the viewer to the content distributed from the content distribution server 500, and the output system 200 of each viewer relates to the effect. By transmitting information and giving an effect, it is possible to reduce the load on the content creation server 400 and the content distribution server 500.
  • an effect that changes the display posture according to the viewer's line-of-sight direction or has an attribute that does not change an effect that changes the display posture according to the orientation of the performer or has an attribute that does not change, in the viewing cone between the viewer and the performer
  • an effect that has an attribute that is not displayed in an effect that has an attribute that is played back with the distance between the viewer and the performer as a parameter
  • the content distribution system enables the performer to grasp the virtual line of sight of the viewer in the same space as himself / herself, and makes the performer a remote viewer. On the other hand, it is possible to perform an appropriate performance according to the reaction of the viewer.
  • the performer and the viewer can communicate as if they are physically close to each other even in a remote place.
  • the viewer's action is mapped to the effect ID and sent to the viewer information management server 100, the amount of communication data for expressing the viewer's action is significantly reduced.
  • the content distribution system can share the experience among viewers who are viewing common content by reflecting the actions of the viewers in the distributed content.
  • the content distribution system can differentiate the services provided for each viewer by controlling the effects that can be requested to be played / granted for each viewer.
  • the viewer information providing server 100 or the content creation server 300 determines that a specific communication has been established between the performer and the viewer, and the content delivered by the target viewer or all of the contents. It is conceivable to enhance the communication experience by adding a special effect to the viewer's distributed content.
  • the establishment of specific communication includes, for example, the case where the line of sight of the performer and the viewer match, the case where the viewer receives a specific effect reproduction request for a specific performance of the performer, and the like.
  • the viewer information management server 100 or the content creation server 300 determines whether or not the line of sight of the performer and the viewer match, for example, the line of sight of the performer is directed toward the avatar image 71 of a certain viewer on the display.
  • the absolute value of the inner product of the line-of-sight vectors of the performer and the viewer may be determined by whether or not it is less than a predetermined threshold value such that the line-of-sight vectors are substantially parallel.
  • the viewer information management server 100 outputs a special visual effect or sound effect from the vicinity of the avatar image (intersection coordinates) corresponding to the viewer on the display 53 when the line of sight of the performer and the viewer match. You may let me.
  • the viewer information management server 100 counts the number of times the line of sight is matched to each viewer, so that the value indicating how often the line of sight is matched in each direction is the coordinate of each intersection of the display 53. It can be displayed as a histogram in association with I. Based on this information, the performer can increase the satisfaction of the entire viewer by performing in a direction in which the viewer and the line of sight are infrequently aligned.
  • FIG. 14 shows an example in which a frequency histogram 73 showing the above frequency is displayed on the display 53.
  • the value of the frequency histogram 73 it is conceivable to use a value obtained by dividing the total number of times the viewer and the line of sight meet in each direction by the number of viewers existing in that direction.
  • a content distribution system imposes a higher viewing fee than usual on a viewer who uses a specific viewing position on the premise that the performer frequently communicates with the viewing position.
  • a content distribution system imposes a higher viewing fee than usual on a viewer who uses a specific viewing position on the premise that the performer frequently communicates with the viewing position.
  • the content was shot by the camera 51 fixed to the shooting studio, but instead of the camera 51, the content may be shot while moving by, for example, a drone.
  • the present technology can have the following configurations. (1) From the viewer's terminal, which is playing back the content in which the performance of the performer is captured in real time via the network, the line-of-sight parameter indicating the line-of-sight of the viewer in the coordinate system of the space in which the viewer exists is set to the viewer. Obtained with viewer identification information to identify The acquired line-of-sight parameter is converted into a line-of-sight parameter indicating the virtual line-of-sight of the viewer in the coordinate system of the space in which the performer exists.
  • An information processing system including a control unit that outputs line-of-sight information indicating the virtual line-of-sight of the viewer to an output device in the space in which the performer exists based on the converted line-of-sight parameters.
  • the output device is a display.
  • the control unit calculates the intersection coordinates of the display and the virtual line of sight based on the converted line-of-sight parameters, and uses the line-of-sight information as the line-of-sight information at a position corresponding to the intersection coordinates of the display.
  • An information processing system that outputs images corresponding to.
  • (3) The information processing system according to (2) above.
  • the control unit When the intersection coordinates corresponding to a predetermined number or more of the viewers exist in the predetermined area of the display, the control unit displays a predetermined one image showing the viewer group instead of the images corresponding to the respective viewers.
  • the control unit is an information processing system that acquires attribute information indicating the attributes of the viewer together with the line-of-sight parameters and changes the output mode of the image according to the attribute information.
  • the control unit determines whether or not the viewer is looking at the performer based on the converted line-of-sight parameter, and changes the output mode of the image according to the determination result. ..
  • a storage unit further includes a storage unit that stores information indicating a plurality of types of effects that can be reproduced together with the image in association with the effect identification information that identifies the effect.
  • the control unit When the control unit receives an effect reproduction request including the viewer identification information and the effect identification information from the viewer's terminal, the control unit corresponds to the effect corresponding to the effect identification information to the viewer identification information.
  • An information processing system that outputs information from the vicinity of the intersection coordinates.
  • the control unit outputs a predetermined one effect in place of the effect corresponding to each viewer when an effect reproduction request corresponding to the predetermined number or more of the viewers exists in the predetermined area of the display. system. (9) The information processing system according to (7) or (8) above.
  • the control unit receives an effect reproduction request having the same effect identification information from the predetermined number or more viewers, the information processing system outputs a predetermined one effect instead of the effect corresponding to each viewer. ..
  • the information processing system according to any one of (7) to (9) above.
  • a plurality of speakers are installed at different positions on the display.
  • the control unit transfers the sound effect from a speaker existing in the vicinity of the intersection coordinates corresponding to the viewer identification information.
  • Information processing system to output.
  • (11) The information processing system according to any one of (2) to (10) above.
  • the control unit acquires a line-of-sight parameter indicating the performer's line of sight, and is an inner product of a line-of-sight vector obtained from the performer's line-of-sight parameter and a line-of-sight vector obtained from the viewer's virtual line-of-sight parameter.
  • An information processing system that outputs a predetermined effect from the vicinity of the intersection coordinates corresponding to the viewer identification information when it is determined that the absolute value is less than a predetermined threshold value.
  • the information processing system according to any one of (2) to (10) above.
  • the control unit acquires a line-of-sight parameter indicating the line-of-sight of the performer, and for each of a plurality of viewers, from a line-of-sight vector obtained from the line-of-sight parameter of the performer and a line-of-sight parameter indicating a virtual line-of-sight of each viewer.
  • the number of times the absolute value of the inner product with the obtained line-of-sight vector becomes less than a predetermined threshold is counted, and the value corresponding to each number of times of each viewer is associated with the vicinity of the intersection coordinates corresponding to each viewer.
  • An information processing system that displays the resulting vector on the display. (13) From the viewer's terminal, which is playing back the content in which the performance of the performer is captured in real time via the network, the line-of-sight parameter indicating the line-of-sight of the viewer in the coordinate system of the space in which the viewer exists is set to the viewer.
  • the acquired line-of-sight parameter is converted into a line-of-sight parameter indicating the virtual line-of-sight of the viewer in the coordinate system of the space in which the performer exists.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Social Psychology (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Graphics (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

【課題】リアルタイムで配信されるコンテンツに出演する演者に、遠隔地の視聴者の反応に応じたパフォーマンスを行わせること。 【解決手段】情報処理システムは、制御部を有する。上記制御部は、演者のパフォーマンスが撮像されたコンテンツを、ネットワークを介してリアルタイムに再生中の視聴者の端末から、上記視聴者の存在する空間の座標系における当該視聴者の視線を示す視線パラメータを、当該視聴者を識別する視聴者識別情報と共に取得する。また制御部は、上記取得された視線パラメータを、上記演者が存在する空間の座標系における当該視聴者の仮想的な視線を示す視線パラメータに変換する。そして制御部は、上記変換された視線パラメータを基に、上記視聴者の上記仮想的な視線を示す視線情報を、上記演者の存在する空間内の出力装置へ出力する。

Description

情報処理システム、情報処理方法及びプログラム
　本技術は、演者によるパフォーマンスを撮影したコンテンツを、ネットワークを介してリアルタイムに視聴者へ配信するシステムにおいて、演者に視聴者に関する情報を提示可能な情報処理システム、情報処理方法及びプログラムに関する。
　ネットワーク技術の発達に伴い、遠隔地へのコンテンツ配信サービスは成長を続けている。例えば映画コンテンツをはじめとする動画配信は、配信者から視聴者へコンテンツデータを配信し、視聴者は配信されたコンテンツを楽しむという一方向性のシステムで実現されてきた。
　近年では、例えばリアルタイム動画配信サービスにおいて、配信者と視聴者がお互いにコミュニケーションを取ることが可能な双方向性のシステムが実現されている。このシステムによってコンテンツそのものだけではなく、コンテンツを通したコミュニケーションを体験するという新しい価値が提供されている。
　このようなシステムにおける、視聴者から配信者に発信するためのコミュニケーション手段は、主に文字情報や音声情報である。特に文字情報については、配信される動画上に視聴者によって入力された文字情報を重畳することによって、配信者と視聴者だけでなく、視聴者同士のコミュニケーションを実現している。
　ネットワークを介したコミュニケーションを実現する手段として、例えば下記特許文献１には、複数のユーザ同士が同じ仮想空間で対等なテキストベースのコミュニケーションをとる手段について開示されている。
　また下記特許文献２には、同じコンテンツを利用しているユーザが互いの状態を把握するための手段について開示されている。
特開２００９－２１１５２８号公報 特許第６５１９４６８号公報
　従来技術では、配信者と視聴者のコミュニケーションの手段としては主にテキスト情報と音声情報が用いられてきた。しかし、これらネットワークを介してとられるコミュニケーションと、これまで物理的に近い距離（相手が見える距離）でとられていたコミュニケーションとには、体験として大きなかい離がある。
　例えば、ある限られた場所で開催される音楽ライブコンサートを、遠隔地にいる顧客にも体験してもらうために、配信者が演者の画像や音声データをリアルタイムに取得し、それらのデータを配信用コンテンツデータに変換し、ネットワークを介して映画館や各家庭に配信するサービスを考える。この場合コンテンツは、映画館へはスクリーン上に映し出されるコンテンツとして、また、各家庭へは、テレビで見ることができるコンテンツや、ＨＭＤ（Head Mount Display）で見ることができるコンテンツとして配信される。
　実際に音楽ライブコンサートが行われている会場では、演者はどれくらいの観客がいるのか、観客がどこにいるか、物理的にどのように分布しているか、自分の演技・演出・パフォーマンスに対してどのような反応をしているか、などを確認しながら次の行動を適切に決定することができる。また、観客の立場では、演者が自分の位置や反応を見ながら次の行動を決めているため、自分の方向に視線を向けてもらえたり、演者の呼びかけに対して答える・答えられるといった、いわゆる「コールアンドレスポンス」といった演出を楽しむことができたり、自分以外の観客の反応を感じることができたりするなど、音楽を聴く以外のコミュニケーションを体験することができる。
　一方、これらのコミュニケーション体験は、従来のテキストや音声を用いたネットワークを介するコミュニケーション手段を用いて再現することは難しい。そのため、同じ音楽ライブコンサートの観客でも、実際の会場で得られる体験と、ネットワークを介した遠隔地で得られる体験には大きな隔たりがある。
　また、ネットワーク技術の発達により、個人単位でのライブストリーミングサービスを利用したコンテンツ配信も活発に行われるようになった。このようなコンテンツ配信は、実際の撮影現場には視聴者は存在せず、ネットワークを介した遠隔地にのみ視聴者が存在する形態で行われることが多い。この環境では、演者は視聴者を直接見たり、視聴者の視線を感じたりすることができないため、どこへ視線を向けて、どの方向を向いてパフォーマンスをすればよいか分からず、適切な行動ができない。更に、自身のパフォーマンスに対する視聴者の反応を見ることができないため、次の行動を適切に決めることができない、などの問題がある。
　上記特許文献１及び２に記載の各技術においても、コンテンツに出演している演者と視聴者とのコミュニケーションや視聴者の反応を演者に伝える点については開示がない。
　以上のような事情に鑑み、本技術の目的は、リアルタイムで配信されるコンテンツに出演する演者に、遠隔地の視聴者の反応に応じたパフォーマンスを行わせることが可能な情報処理システム、情報処理方法及びプログラムを提供することにある。
　上記目的を達成するため、本技術の一形態に係る情報処理システムは、制御部を有する。上記制御部は、演者のパフォーマンスが撮像されたコンテンツを、ネットワークを介してリアルタイムに再生中の視聴者の端末から、上記視聴者の存在する空間の座標系における当該視聴者の視線を示す視線パラメータを、当該視聴者を識別する視聴者識別情報と共に取得する。また制御部は、上記取得された視線パラメータを、上記演者が存在する空間の座標系における当該視聴者の仮想的な視線を示す視線パラメータに変換する。そして制御部は、上記変換された視線パラメータを基に、上記視聴者の上記仮想的な視線を示す視線情報を、上記演者の存在する空間内の出力装置へ出力する。
　これにより情報処理システムは、演者に視聴者の仮想的な視線を把握させることが可能となり、演者に、遠隔地の視聴者に対しても、視聴者の反応に応じた適切なパフォーマンスを行わせることができる。上記視線情報は、画像情報でもよいし音声情報でもよく、また視聴者の仮想的な位置情報を含んでいてもよい。
　上記出力装置はディスプレイであってもよい。この場合上記制御部は、上記制御部は、上記変換された視線パラメータを基に、上記ディスプレイと上記仮想的な視線との交点座標を算出し、上記視線情報として、上記ディスプレイの当該交点座標に対応する位置に上記視聴者に対応する画像を出力させてもよい。
　これにより演者はディスプレイを見るだけで遠隔地の視聴者が自らに視線を向けていることを把握し、それに対して視線を向けたり、パフォーマンスを行う等、適切に反応することができる。上記画像は、例えば視聴者のアバター画像であってもよい。
　上記制御部は、所定数以上の視聴者に対応する上記交点座標が上記ディスプレイの所定領域に存在する場合、上記各視聴者に対応する画像に代えて視聴者群を示す所定の１つの画像を出力させてもよい。
　これにより情報処理システムは、複数の視聴者に対応する画像が重なって表示されて演者の視認性が下がるのを防止できる。
　上記制御部は、上記視聴者の属性を示す属性情報を上記視線パラメータと共に取得し、当該属性情報に応じて上記画像の出力態様を変更してもよい。
　これにより情報処理システムは、各視聴者の属性に応じて画像を変更することで、演者にそれに応じた細かな対応をさせることができる。ここで属性とは、例えば年齢、性別、国籍、居住地、視聴時間、同じ演者が出演するコンテンツの視聴回数や購入回数、コンテンツの座標系における演者との距離等である。属性態様の変更とは、例えば、アバター画像に異なる色の枠を付けたり、アバター画像の大きさを変えたり、透過度を変えること等である。
　上記制御部は、上記変換された視線パラメータを基に、上記視聴者が上記演者に視線を向けているか否かを判定し、当該判定結果に応じて上記画像の出力態様を変更してもよい。
　これにより情報処理システムは、各視聴者が演者の方を向いているか否かを把握させ、例えば視線を向けている視聴者に向けてパフォーマンスする等、視聴者の視線に応じたパフォーマンスを行わせることができる。
　上記制御部は、第１の時刻に算出された第１の視聴者識別情報を有する第１の視聴者に対応する第１の交点座標と、上記第１の時刻より後の第２の時刻に算出された上記第１の視聴者に対応する第２の交点座標とが異なる場合、上記視聴者に対応する画像を上記第１の交点座標から上記第２の交点座標とを結ぶ軌跡上で移動させながら表示させてもよい。
　これにより情報処理システムは、演者にパフォーマンス中の視聴者の移動を把握させそれに応じたパフォーマンスを行わせることができる。
　上記情報処理システムは、上記画像と共に再生可能な複数種類のエフェクトを示す情報を、当該エフェクトを識別するエフェクト識別情報と対応付けて記憶する記憶部をさらに有してもよい。この場合上記制御部は、上記視聴者の端末から、上記視聴者識別情報及び上記エフェクト識別情報を含むエフェクト再生リクエストを受信した場合、当該エフェクト識別情報に対応するエフェクトを、上記視聴者識別情報に対応する上記交点座標の近傍から出力させてもよい。
　これにより情報処理システムは、演者に視聴者の反応や盛り上がりを把握させることが可能となり、それに応じたパフォーマンスを行わせることができる。ここでエフェクト再生リクエストの対象となるエフェクトは、視聴者の端末における任意の入力（ジェスチャやボタン等）と紐付けられていてもよい。
　上記制御部は、上記所定数以上の視聴者に対応するエフェクト再生リクエストが上記ディスプレイの所定領域について存在する場合、上記各視聴者に対応するエフェクトに代えて所定の１つのエフェクトを出力させてもよい。
　これにより情報処理システムは、複数の視聴者に対応するエフェクトが重なって表示されて演者の視認性が下がるのを防止できる。
　上記制御部は、上記所定数以上の視聴者から同一のエフェクト識別情報を有するエフェクト再生リクエストを受信した場合、上記各視聴者に対応するエフェクトに代えて所定の１つのエフェクトを出力させてもよい。
　これにより情報処理システムは、視聴者全体の盛り上がりを演者に把握させることができる。
　上記ディスプレイ上の異なる位置には複数のスピーカが設置されていてもよい。この場合上記制御部は、上記エフェクト再生リクエストに含まれる上記エフェクト識別情報に対応するエフェクトがサウンドエフェクトである場合、当該サウンドエフェクトを、上記視聴者識別情報に対応する上記交点座標の近傍に存在するスピーカから出力させてもよい。
　これにより情報処理システムは、あたかも視聴者が演者に声をかけているかのようなエフェクトを再生でき、演者にそれを把握させることができる。
　上記制御部は、上記演者の視線を示す視線パラメータを取得し、当該演者の視線パラメータから得られる視線ベクトルと、上記視聴者の仮想的な視線を示す視線パラメータから得られる視線ベクトルとの内積の絶対値が所定の閾値未満であるであると判断した場合、上記視聴者識別情報に対応する上記交点座標の近傍から所定のエフェクトを出力させてもよい。
　これにより情報処理システムは、演者に視聴者と目が合ったことを把握させ、それに応じたパフォーマンスを行わせることができる。
　上記制御部は、上記演者の視線を示す視線パラメータを取得し、複数の視聴者毎に、当該演者の視線パラメータから得られる視線ベクトルと、当該各視聴者の仮想的な視線を示す視線パラメータから得られる視線ベクトルとの内積の絶対値が所定の閾値未満となった回数をカウントし、上記各視聴者の各回数に対応する値を、各視聴者に対応する上記交点座標の近傍に対応付けたヒストグラムを上記ディスプレイに表示させてもよい。
　これにより演者は、このヒストグラムをもとに、視聴者と視線の合った頻度の低い方向へパフォーマンスを行うことで、視聴者全体の満足度を上げることができる。
　本技術の他の形態に係る情報処理方法は、
　演者のパフォーマンスが撮像されたコンテンツを、ネットワークを介してリアルタイムに再生中の視聴者の端末から、上記視聴者の存在する空間の座標系における当該視聴者の視線を示す視線パラメータを、当該視聴者を識別する視聴者識別情報と共に取得し、
　上記取得された視線パラメータを、上記演者が存在する空間の座標系における当該視聴者の仮想的な視線を示す視線パラメータに変換し、
　上記変換された視線パラメータを基に、上記視聴者の上記仮想的な視線を示す視線情報を、上記演者の存在する空間内の出力装置へ出力する、ことを含む。
　本技術の他の形態に係るプログラムは、情報処理装置に、
　演者のパフォーマンスが撮像されたコンテンツを、ネットワークを介してリアルタイムに再生中の視聴者の端末から、上記視聴者の存在する空間の座標系における当該視聴者の視線を示す視線パラメータを、当該視聴者を識別する視聴者識別情報と共に取得するステップと、
　上記取得された視線パラメータを、上記演者が存在する空間の座標系における当該視聴者の仮想的な視線を示す視線パラメータに変換するステップと、
　上記変換された視線パラメータを基に、上記視聴者の上記仮想的な視線を示す視線情報を、上記演者の存在する空間内の出力装置へ出力するステップと、を実行させる。
　以上のように、本技術によれば、リアルタイムで配信されるコンテンツに出演する演者に、遠隔地の視聴者の反応に応じたパフォーマンスを行わせることができる。しかし、当該効果は本技術を限定するものではない。
本技術の一実施形態に係るコンテンツ配信システムの構成を示した図である。 上記コンテンツ配信システムのスタジオにおける機材設置例を示した図である。 上記コンテンツ配信システムが有する視聴者情報管理サーバのハードウェア構成を示した図である。 上記コンテンツ配信システムによるコンテンツ配信処理の流れを示したフローチャートである。 上記コンテンツ配信システムにおいてコンテンツに対し異なる位置姿勢を持つ視聴者がいる場合の表示例を示した図である。 上記コンテンツ配信システムによる視聴者情報表示処理の流れを示したフローチャートである。 上記コンテンツ配信システムにおける演者に対する視聴者の視線情報の提示例を示した図である。 上記コンテンツ配信システムにおいて視聴者の移動に応じた視線情報の表示例を示した図である。 上記コンテンツ配信システムのスタジオにおける機材設置例の変形例を示した図である。 上記コンテンツ配信システムにおいて、異なる視線を有する異なる視聴者の情報が同じ位置に表示される例を示した図である。 上記コンテンツ配信システムにおいて、視聴者の視線が演者の方を向いているか否かに応じた視線情報の表示例を示した図である。 上記コンテンツ配信システムにおいて視聴者がリクエスト可能な演者に対するエフェクトとそのためのアクションとの関係を示した表である。 上記コンテンツ配信システムにおける視聴者から演者に対するエフェクトの表示例を示した図である。 上記コンテンツ配信システムにおいて演者と視聴者の視線が合った回数を示すヒストグラムの表示例を示した図である。 上記コンテンツ配信システムが視聴者からのリクエストに応じてコンテンツにエフェクトを付与する流れを示したフローチャートである。 上記コンテンツ配信システムにおいてが視聴者からのリクエストに応じてコンテンツにエフェクトを付与する流れを示した概念図である。 上記コンテンツ配信システムにおけるコンテンツに対するエフェクトの付与処理の変形例を示した図である。 上記コンテンツ配信システムにおいて、演者、複数の視聴者、ディスプレイが、ある位置関係を持つ場合を示した図である。 図１８の場合において、ある視聴者が視聴するコンテンツに対して、他視聴者の視聴状態を表現する情報が付加された様子を示した図である。 図１８の場合において、ある視聴者が視聴するコンテンツに対して、仮想的にディスプレイを移動・拡大して視聴者の視聴状態を表現する情報が付加された様子を示した図である。 上記コンテンツ配信システムにおける視聴者からのリクエストによる光線のエフェクトの再生例を示した図である。 図２１のエフェクトの再生位置の調整例を示した図である。 上記コンテンツ配信システムにおいて演者を中心として設定されたエフェクト発生中心を設定可能な領域を示した図である。 図２３の例で設定された領域を用いて、視聴者ごとにエフェクト発生中心が設定される様子を示した図である。 上記コンテンツ配信システムにおいて視線の異なる各視聴者に対して異なる平面パラメータを持つ背景コンテンツが配置された例を示した図である。 図２５の場合におけるエフェクトの再生例を示した図である。
　以下、本技術に係る実施形態を、図面を参照しながら説明する。
［システムの概要］
　図１は、本技術の一実施形態に係るコンテンツ配信システムの構成を示した図である。
　図１は、当該システムの全体構成を示した図であり、図２は、当該システムが有するコンテンツ撮影スタジオにおける機材設置例を示した図である。
　両図に示すように、本システムは、コンテンツ撮影スタジオ内の視聴者情報管理サーバ、演者出力システム３００、コンテンツ作成サーバ４００、コンテンツ配信サーバ５００と、それらとインターネット等のネットワーク５０を介して接続された複数の視聴者出力システム２００とを有する。
　コンテンツ作成サーバ４００は、コンテンツ作成専用の上記スタジオを用いて、リアルタイムに演者のパフォーマンスを撮影したコンテンツを作成する。作成されたコンテンツは、ネットワーク５０を介して視聴者にストリーミング配信される。
　視聴者に配信されるコンテンツは、３Ｄモデルとサラウンド音声をベースに構成されるＶＲ(Virtual Reality)コンテンツである。図２に示すように、上記スタジオは、コンテンツ作成のために１台以上のカメラ５１およびマイク５２を含む撮影機材を備え、コンテンツ作成サーバ４００が、当該撮影されたデータを基に配信コンテンツを作成する。
　視聴者情報管理サーバ１００は、視聴者の仮想視線や仮想位置等の視聴者の視聴状態に関する情報を適宜視聴者出力システム２００から取得して管理する。
　演者出力システム３００は、コンテンツに出演する演者に対して視聴者の視聴状態に関する情報を出力するための、１台以上のディスプレイ５３を有する。
　視聴者情報管理サーバ１００は、視聴者出力システム２００から受信した視聴者の視聴状態等の情報をコンテンツ作成サーバ４００に送信し、コンテンツ作成サーバ４００は、当該情報に応じて配信コンテンツに変化を加えることも可能である。
　コンテンツ作成サーバ４００で作成・変更されたコンテンツは、コンテンツ配信サーバ５００からネットワーク５０を介して、コンテンツ配信サーバ５００によって各コンテンツ視聴者（視聴者出力システム２００）へ配信される。
［視聴者情報管理サーバのハードウェア構成］
　図３は、上記視聴者情報管理サーバ１００のハードウェア構成を示した図である。
　同図に示すように、視聴者情報管理サーバ１００は、ＣＰＵ（Central Processing Unit）１１、ＲＯＭ（Read Only Memory）１２、およびＲＡＭ（Random Access Memory）１３を含む。また、視聴者情報管理サーバ１００は、ホストバス１４、ブリッジ１５、外部バス１６、インタフェース１７、入力装置１８、出力装置１９、ストレージ装置２０、ドライブ２１、接続ポート２２、通信装置２３を含んでもよい。さらに、視聴者情報管理サーバ１００は、必要に応じて、撮像装置２６、およびセンサ２７を含んでもよい。視聴者情報管理サーバ１００は、ＣＰＵ１１に代えて、またはこれとともに、ＤＳＰ（Digital Signal Processor）、ＡＳＩＣ（Application Specific Integrated Circuit）、またはＦＰＧＡ（Field-Programmable Gate Array）などの処理回路を有してもよい。
　ＣＰＵ１１は、演算処理装置および制御装置として機能し、ＲＯＭ１２、ＲＡＭ１３、ストレージ装置２０、またはリムーバブル記録媒体２４に記録された各種プログラムに従って、視聴者情報管理サーバ１００内の動作全般またはその一部を制御する。ＲＯＭ１２は、ＣＰＵ１１が使用するプログラムや演算パラメータなどを記憶する。ＲＡＭ１３は、ＣＰＵ１１の実行において使用するプログラムや、その実行において適宜変化するパラメータなどを一次記憶する。ＣＰＵ１１、ＲＯＭ１２、およびＲＡＭ１３は、ＣＰＵバスなどの内部バスにより構成されるホストバス１４により相互に接続されている。さらに、ホストバス１４は、ブリッジ１５を介して、視聴者情報管理サーバＩ（Peripheral Component Interconnect/Interface）バスなどの外部バス１６に接続されている。
　入力装置１８は、例えば、タッチパネル、物理ボタン、スイッチおよびレバーなど、ユーザによって操作される装置である。入力装置１８は、例えば、赤外線やその他の電波を利用したリモートコントロール装置であってもよいし、視聴者情報管理サーバ１００の操作に対応したスマートフォンやスマートウォッチなどの外部接続機器２５であってもよい。入力装置１８は、ユーザが入力した情報に基づいて入力信号を生成してＣＰＵ１１に出力する入力制御回路を含む。ユーザは、この入力装置１８を操作することによって、視聴者情報管理サーバ１００に対して各種のデータを入力したり処理動作を指示したりする。
　出力装置１９は、取得した情報をユーザに対して視覚や聴覚、触覚などの感覚を用いて通知することが可能な装置で構成される。出力装置１９は、例えば、ＬＣＤ（Liquid Crystal Display）または有機ＥＬ（Electro-Luminescence）ディスプレイなどの表示装置、スピーカなどの音声出力装置などでありうる。出力装置１９は、視聴者情報管理サーバ１００の処理により得られた結果を、テキストもしくは画像などの映像、音声もしくは音響などの音声、またはバイブレーションなどとして出力する。
　ストレージ装置２０は、視聴者情報管理サーバ１００の記憶部の一例として構成されたデータ格納用の装置である。ストレージ装置２０は、例えば、ＨＤＤ（Hard Disk Drive）などの磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス、または光磁気記憶デバイスなどにより構成される。ストレージ装置２０は、例えばＣＰＵ１１が実行するプログラムや各種データ、および外部から取得した各種のデータ、並びに、視聴者出力システム２００から取得したデータ（後述する視線パラメータや各視聴者のアバター画像等）などを格納する。
　ドライブ２1は、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブル記録媒体２４のためのリーダライタであり、視聴者情報管理サーバ１００に内蔵、あるいは外付けされる。ドライブ２1は、装着されているリムーバブル記録媒体２４に記録されている情報を読み出して、ＲＡＭ１３に出力する。また、ドライブ２1は、装着されているリムーバブル記録媒体２４に記録を書き込む。
　接続ポート２２は、機器を視聴者情報管理サーバ１００に接続するためのポートである。接続ポート２２は、例えば、ＵＳＢ（Universal Serial Bus）ポート、ＩＥＥＥ１３９４ポート、ＳＣＳＩ（Small Computer System Interface）ポートなどでありうる。また、接続ポート２２は、ＲＳ－２３２Ｃポート、光オーディオ端子、ＨＤＭＩ（登録商標）（High-Definition Multimedia Interface）ポートなどであってもよい。接続ポート２２に外部接続機器２５を接続することで、視聴者情報管理サーバ１００と外部接続機器２５との間で各種のデータが交換されうる。
　通信装置２３は、例えば、通信ネットワーク５０に接続するための通信デバイスなどで構成された通信インタフェースである。通信装置２３は、例えば、ＬＡＮ（Local Area Network）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、Ｗｉ－Ｆｉ、またはＷＵＳＢ（Wireless USB）用の通信カードなどでありうる。また、通信装置２３は、光通信用のルータ、ＡＤＳＬ（Asymmetric Digital Subscriber Line）用のルータ、または、各種通信用のモデムなどであってもよい。通信装置２３は、例えば、インターネットや他の通信機器との間で、ＴＣＰ／ＩＰなどの所定のプロトコルを用いて信号などを送受信する。また、通信装置２３に接続される通信ネットワーク５０は、有線または無線によって接続されたネットワークであり、例えば、インターネット、家庭内ＬＡＮ、赤外線通信、ラジオ波通信または衛星通信などを含みうる。
　撮像装置２６は、例えば、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）またはＣＣＤ（Charge Coupled Device）などの撮像素子、および撮像素子への被写体像の結像を制御するためのレンズなどの各種の部材を用いて実空間を撮像し、撮像画像を生成するカメラである。撮像装置２６は、静止画を撮像するものであってもよいし、また動画を撮像するものであってもよい。
　センサ２７は、例えば、加速度センサ、角速度センサ、地磁気センサ、照度センサ、温度センサ、気圧センサ、デプスセンサ、または音センサ（マイクロフォン）などの各種のセンサである。
　上記の各構成要素は、汎用的な部材を用いて構成されていてもよいし、各構成要素の機能に特化したハードウェアにより構成されていてもよい。かかる構成は、実施する時々の技術レベルに応じて適宜変更されうる。
　図示しないが、視聴者出力システム２００、演者出力システム３００、コンテンツ作成サーバ４００及びコンテンツ配信サーバ５００も、上記視聴者情報管理サーバ１００が有するのと同様の、コンピュータとして機能するためのハードウェアを有する。
［コンテンツ配信システムの動作］
　次に、以上のように構成されたコンテンツ配信システムの動作について説明する。当該動作は、視聴者情報管理サーバ１００のＣＰＵ１１及び通信部等のハードウェアと、ＲＯＭ１２、ＲＡＭ１３、ストレージ装置２０、またはリムーバブル記録媒体２４に記憶されたソフトウェアとの協働により実行される。
　図４は、コンテンツ配信処理のフローチャートを示した図である。また図５は、コンテンツに対し異なる位置姿勢を持つ視聴者がいる場合のコンテンツの表示例を示した図である。
　コンテンツ視聴者は、コンテンツを受信し、各視聴者の持つ視聴者出力システムを通してコンテンツを視聴する。ここで、視聴者出力システム２００は、例えば、視聴者の頭部の位置姿勢の推定が可能なヘッドトラッキング機能を持つヘッドマウントディスプレイである。
　図４に示すように、視聴者出力システム２００は、コンテンツの座標系（演者が存在する空間における座標系）における視聴者頭部の位置姿勢を初期化し（ステップ４１）、ヘッドトラッキング機能により、コンテンツ座標系における視聴者の頭部の位置姿勢を推定する（ステップ４２）。
　続いて視聴者出力システム２００は、この位置姿勢に応じて配信された３Ｄコンテンツを仮想画像平面上に投影し（ステップ４３）、投影したコンテンツをディスプレイに出力する（ステップ４４）。
　ヘッドトラッキング機能を実現する技術として、例えばカメラとＩＭＵ（Inertial Measurement Unit）センサを用いたＳＬＡＭ(Simultaneous Localization And Mapping)技術が挙げられる。
　一般にＶＲコンテンツの視聴に用いられる両眼立体視には、視聴者の左右の眼の位置姿勢が必要だが、これらは推定された頭部位置から両眼へのオフセットを用いることで計算することができる。
　図５に示すように、コンテンツ座標系においてコンテンツを真横から見ている視聴者１と（同図Ａ）、コンテンツを正面から見ている視聴者２（同図Ｂ）とでは、その頭部の位置・姿勢に応じてコンテンツの見え方が異なることになる。
　ヘッドトラッキング機能の有無に関わらず、視聴者出力システム２００が視聴者の実際の頭部の位置姿勢を推定して使用する代わりに、視聴者が、コントローラ等の入力デバイスによって、頭部の位置姿勢を仮想的に動かすことも可能である。
　本実施形態のコンテンツ配信システムは、上記コンテンツの配信処理中に、演者に対して視聴者の仮想的な視線情報（視聴者の仮想的な位置情報を含む）及び視聴者の反応を示すエフェクトを、演者に提示することが可能である。またその一方でコンテンツ配信システムは、コンテンツの配信処理中に、視聴者の反応を示すエフェクトをコンテンツに付与することが可能である。以下、これらの処理の詳細について説明する。
［演者に対する視聴者の視線情報の提示］
　図６は、上記演者に対する視聴者の視線情報及びエフェクトの提示処理の流れを示したフローチャートである。
　同図の左側のフローに示すように、まず、視聴者出力システム２００が、コンテンツ座標系における視聴者の視線パラメータを計算する（ステップ５１）。
　視聴者出力システム２００はこれを、あらかじめヘッドマウントディスプレイ座標系（視聴者が存在する空間の座標系）で定義された視線パラメータをコンテンツ座標系に変換することで求めてもよいし、視聴者出力システム２００がリアルタイムに視聴者の視線方向を推定する装置を持つ場合は、そのパラメータをコンテンツ座標系に変換することで求めてもよい。
　視線パラメータは、右眼と左眼とで個別に出力される場合もあるが、ここではどちらか一方を採用する、もしくは左右の平均を取得する、など、何らかの方法でひとつのパラメータに限定されることを考える。また視聴者出力システム２００は、視聴者の眼の位置を使うかわりに、視聴者は常に演者の方向を向いている前提を用いて、例えば演者頭部位置と視聴者頭部位置を結ぶ直線を視線パラメータとして用いてもよい。また視聴者出力システム２００は、ヘッドマウントディスプレイの機体座標系における特定の方向を視線方向として視線パラメータを決めてもよい。
　当該コンテンツ座標系における視線パラメータは、視聴者出力システム２００ではなく、スタジオ側の視聴者情報管理サーバ１００によって算出されてもよい。この場合、視聴者出力システム２００は、上記ヘッドマウントディスプレイ座標系における視聴者の視線パラメータを視聴者情報管理サーバ１００へ送信し、視聴者情報管理サーバ１００が、当該視線パラメータをコンテンツ座標系の視線パラメータへと変換する。
　続いて、視聴者出力システム２００は、コンテンツ座標系で表現された視聴者の視線パラメータを視聴者情報管理サーバ１００に送信する（ステップ５２）。
　視聴者情報管理サーバ１００は、各視聴者から送られた視線パラメータに対し、演者出力システム３００が必要とする処理を行う。
　例えば、視聴者情報管理サーバ１００は、演者出力システム３００において、視線情報として視聴者のアバター画像を出力する場合には、視線パラメータとその情報を送った視聴者のアバター画像との紐付けを行う処理を行ってもよい。
　視聴者情報管理サーバ１００（ＣＰＵ１１）は、スタジオに設置されたディスプレイ５３の、コンテンツ座標系における位置姿勢情報を持ち、同じくコンテンツ座標系で表現された視聴者の視線パラメータをもとに、ディスプレイ５３と視聴者の視線の交点座標を計算する（ステップ５３）。
　例えば、演者出力システム３００が複数のディスプレイ５３から構成される場合、視聴者情報管理サーバ１００は、各ディスプレイ５３を平面方程式で表現し、視聴者の視線パラメータを直線方程式で表現すれば、ディスプレイ５３と視線の交点座標を計算することができる。
　これは、ディスプレイ５３が曲面であった場合にも適用できる。または、視聴者情報管理サーバ１００は、視線パラメータを各ディスプレイ座標系に変換した後に、各ディスプレイ座標系における交点座標を求めてもよい。
　続いて、視聴者情報管理サーバ１００（ＣＰＵ１１）は、上記算出した交点座標をもとに、演者出力システム３００に、視聴者の視線情報を演者が認識できる形でディスプレイ５３に出力させる（ステップ５４）。
　これは、例えば図７に示すように、コンテンツ座標系で表現された交点座標Ｉをディスプレイ座標系に変換し、対応する位置に各視聴者のアバター画像７１を表示することで実現できる。同図の例では、視聴者１の仮想視線ＶＬ１、視聴者２の仮想視線ＶＬ２、視聴者３の仮想視線ＶＬ３とディスプレイ５３の交点座標Ｉに、それぞれ対応するアバター画像７１ａ、７１ｂ、７１ｃが表示されている。
　図８に示すように、演者Ｐは、ディスプレイ５３に表示されたアバター画像７１を見ることで、遠隔地にいる視聴者Ｖの視線や、視聴者Ｖの存在する方向をリアルタイムに認識し、そこに視線を向けたり、そこに向かってパフォーマンスを行うなど、適切な行動をとることができるようになる。同図の例では、同図Ｂに示すように視聴者Ｖがｔ１、ｔ２、ｔ３と時系列で右から左へ視線Ｌを移動させるに応じて、同図Ａに示すように仮想視線ＶＬも移動し、それに応じてアバター画像７１も移動する様子が示されている。
　また、これにより視聴者Ｖは、あたかも演者Ｐと自身が物理的に近い距離にいるかのようなコミュニケーション体験（例えば視線が合うなど）ができるようになる。
[視線情報の提示に関する変形例]
　以下、上記演者への視聴者の視線情報の提示に関する変形例について説明する。
　視聴者の数が増えると、演者出力システム３００のディスプレイ５３上の同じ座標に視聴者の視線が集中する場合がある。このとき、視聴者毎に設定されたアバター画像７１等を表示すると、複数のアバター画像７１が重なるなどして、演者の視認性が下がってしまう。
　このような場合、視聴者情報管理サーバ１００は、演者出力システム３００に、視聴者毎の複数のアバター画像７１を、複数の視聴者の視線の集中を表現する他の画像等に差し替えて表示させてもよい。
　例えば、Ｘ人以上の視点がディスプレイ５３上の所定面積以下の領域内に集まった場合、演者出力システム３００は、視聴者のアバター画像７１群を画像Ａに差し替えて表示し、Ｙ人以上の視点が上記領域内に集まった場合、上記画像Ａとは異なる画像Ｂに差し替えて表示するようにしてもよい。また、演者出力システム３００は、アバター画像７１の代わりに、視線の集中具合を表すヒートマップをディスプレイ５３に表示してもよい。
　視聴者情報管理サーバ１００は、当該視聴者情報管理サーバ１００が管理する視聴者属性情報、または、視聴者出力システム２００から取得した視線パラメータ情報に付与されてきた視聴者属性情報を使い、演者出力システム３００のディスプレイに表示する視聴者のアバター画像７１を変更、または、加工してもよい。
　例えば、視聴者情報管理サーバ１００は、視聴者の年齢や、性別、国籍、住居地、視聴時間、同じ演者が出演するコンテンツの視聴回数や購入回数、コンテンツ座標系における演者との距離、その他視聴者に紐付くパラメータに応じて、アバター画像７１に異なる色の枠を付けたり、アバター画像７１の大きさを変えたり、透過度を変えたりしてもよい。
　演者出力システム３００の映像出力装置として、ディスプレイ５３以外の使用も考えられる。例えば、プロジェクターを用いる場合は、視聴者情報管理サーバ１００は、プロジェクターの投影先平面をコンテンツ座標系で表現しておくことで、ディスプレイ５３を使用した場合と同じように、視聴者のアバター画像７１等を描画すべき位置を計算することができる。
　また、演者に対するディスプレイ５１の視認性を向上させるために、図２に示したような構成に代えて、図９に示すように、ディスプレイ５３と同じ平面に複数のカメラ５１やマイク５２が（例えばマトリクス状に）埋め込まれた表示装置が用いられてもよい。
　図１０に示すように、演者出力システム３００において異なる視聴者の情報、例えばアバター画像７１が、ディスプレイ５３の同じ位置に表示されていても、視聴者が演者の方へ視線を向けていない場合も考えられる（視線ＶＬ１は演者Ｐを向いているが、視線ＶＬ２は演者Ｐの方を向いていない）。
　そこで、演者Ｐに対してより正確な視聴者Ｖの視線情報を伝えるために、視聴者情報管理サーバ１００は、例えば図１１に示すように、視聴者Ｖの視線がコンテンツ座標系において演者Ｐの方を向いている場合と、そうでない場合とで、アバター画像７１のサイズや枠の色を変えたり、アバター画像７１そのものを表示しないようにしてもよい。
　同図の例では、仮想視線ＶＬ１とＶＬ２は演者Ｐの方を向いているため、それらに対応する各アバター画像７１Ａ及び７１Ｂは通常通りの大きさで表示されているが、仮想視線ＶＬ３は演者Ｐの方を向いていないため、それに対応するアバター画像７１Ｃは、アバター画像７１Ａ及び７１Ｂに比べて小さく表示されている。
　視聴者の視線が演者Ｐの方を向いているか否かは、例えば視聴者の視線を中心とする任意のサイズのビューイングコーン内に演者が含まれているか否かによって判定することができる。
　演者出力システム３００に表示する視聴者情報（アバター画像７１）の位置は、任意の間隔で更新されてもよい。視聴者情報管理サーバ１００は、ある視聴者の視線とディスプレイの交点位置ｃ（ｔ）が、直前に計算された同じ視聴者に対する交点位置ｃ（ｔ－1）と異なる場合、２つの交点を結ぶ軌跡上を移動するように視聴者情報を動かしてもよい。
［演者に対する視聴者のエフェクトの提示］
　次に、演者出力システム３００において視聴者の視線以外の情報を追加で表示することで、視聴者の反応や盛り上がりといった情報を演者に伝える手段について述べる。
　演者は、これらの情報を得ることによって、視聴者に向けて適切なパフォーマンスを行うことができる。コンテンツ配信者は、図１２Ａのエフェクトテーブルのように、視聴者が演者出力システムに再生リクエストが可能なエフェクトを作成する。当該エフェクトテーブルは、エフェクトを識別するエフェクトＩＤと、それが示すエフェクトの内容とが対応付けられたものである。当該エフェクトテーブルは、例えば視聴者情報管理サーバ１００のストレージ装置２０に記憶される。
　各視聴者は、図１２Ｂ１～Ｂ３の視聴者アクションテーブルのように、自身が持つ入力デバイスに合わせて、各エフェクトの再生リクエストを発行するためのアクションを登録する。ここでのアクションとは、視聴者出力システム２００が有するデバイスへの特定のコマンドや動きの入力を意味している。
　図６の右側のフローに示すように、まず、視聴者出力システム２００は、視聴者のアクションから再生リクエスト対象のエフェクトのエフェクトＩＤを取得する（ステップ６１）。
　例えば、図１２Ｂにおける視聴者１は、頭部の繰り返し上下運動を行うことで、エフェクトＩＤ：１０００のエフェクトに対して、演者出力システム３００におけるエフェクトの再生リクエストを発行する。ヘッドトラッキング機能を持つ視聴環境を持つ視聴者は、図１２Ｂにおける視聴者１のように、頭部の動きをリクエストに用いてもよいし、モーションコントローラを使用している視聴者は、視聴者２のように、特定のモーションをリクエストに用いてもよい。
　続いて視聴者出力システム２００は、上記エフェクトＩＤに対応するエフェクト再生リクエストを視聴者情報管理サーバ１００へ送信する（ステップ６２）。
　当該各視聴者のエフェクト再生リクエストは、視聴者を識別する視聴者ＩＤと上記エフェクトＩＤとが関連付けられたデータとして視聴者情報管理サーバ１００に送られる。
　そして視聴者情報管理サーバ１００（ＣＰＵ１１）は、上記交点座標を基に、演者出力システム３００の当該交点座標に対応する位置（例えばアバター画像７１の近傍）に上記エフェクトＩＤに対応するエフェクトを再生させる（ステップ６３）。
　例えば、図１３に示すように、視聴者１からの再生リクエストに応じて、図１２ＡのエフェクトＩＤ：１００４（虹）のビジュアルエフェクト７２が再生され、視聴者２からの再生リクエストに応じて、図１２ＡのエフェクトＩＤ：１００３（星）のビジュアルエフェクト７２が再生され、視聴者３からの再生リクエストに応じて、図１２ＡのエフェクトＩＤ１０００（「かわいい」の吹き出しコメント）のビジュアルエフェクト７２が再生される。
　[演者に対するエフェクト提示処理の変形例]
　以下、演者に対するエフェクト提示処理の変形例について説明する。
　上記視線情報と同様に、視聴者の数が増えると、演者出力システム３００のディスプレイ５１の同じ座標付近にエフェクト再生リクエストが集中する場合がある。このとき、視聴者毎にリクエストされたエフェクトを再生すると、複数のエフェクトが重なるなどして演者の視認性が下がってしまう。
　このような場合、視聴者情報管理サーバ１００は、演者出力システム３００に、複数の視聴者のエフェクトを、当該複数のエフェクト再生リクエストの集中を表現する、他のエフェクトに差し替えて再生させてもよい。
　例えば、Ｘ人以上から同じエフェクト再生リクエストをディスプレイ５３上の所定領域内について受けた場合、演者出力システム３００は、各視聴者のエフェクトを、エフェクトの集中を表現する特別なエフェクトに差し替えて再生してもよい。
　視聴者情報管理サーバ１００は、当該視聴者情報管理サーバ１００が管理する視聴者属性情報、または、視聴者出力システム２００から取得した視線パラメータ情報に付与されてきた視聴者属性情報を使い、演者出力システム３００で再生されるエフェクトのサイズや、リクエスト可能なエフェクトの種類を制御してもよい。
　例えば、視聴者情報管理サーバ１００は、視聴者の視聴時間や、同じ演者が出演するコンテンツの視聴回数、購入回数、その他視聴者に紐付くパラメータに応じて、リクエスト可能なエフェクトの種類を制御してもよい。
　視聴者情報管理サーバ１００は、視聴者全体の盛り上がりを表現するために、視線位置に寄らないエフェクトを再生してもよい。
　例えば、視聴者情報管理サーバ１００は、特定のタイミングで、特定の数以上の視聴者から同じエフェクト再生リクエストを受けた場合、それを示す特別なエフェクト（例えばディスプレイ５３全体に亘って表示されるビジュアルエフェクト）を演者出力システム３００に再生させてもよい。
　演者出力システム３００は、スピーカ等の音声再生デバイスを含んでもよい。これにより、視聴者は、ビジュアルエフェクトだけでなくサウンドエフェクトのリクエストが可能になる。
　例えば、図９と同様の形式でディスプレイ５３に複数のスピーカを埋め込んだ表示デバイスを用いることによって、サウンドエフェクトの再生リクエストを発行した視聴者に対応するアバター画像７１（交点座標Ｉ）の近傍のスピーカから、当該視聴者からリクエストされたサウンドエフェクトを再生することなどが可能になる。
［コンテンツに対するエフェクトの付与］
　次に、視聴者のアクションに応じて、配信コンテンツに特定のエフェクトを加えることによって、同じ配信コンテンツを視聴している視聴者同士に、お互いがどのような反応をしているかリアルタイムに知らせる方法について説明する。
　上記演者に対して提示されるエフェクトと同様に、コンテンツ配信者は、視聴者が配信コンテンツに付与リクエストが可能なエフェクトを作成する。各視聴者も同様に、自身が持つ入力デバイスに合わせて、各エフェクトの付与リクエストを発行するためのアクションを登録する。このエフェクトに関するテーブル（例えば図１２に示したのと同様の形式のもの）も、例えば上記視聴者管理サーバ１００のストレージ装置２０に記憶される。
　図１５は、ある視聴者のエフェクト付与リクエストから、エフェクトが付与されたＶＲコンテンツが視聴者に配信されるまでの流れを示すフローチャートである。また図１６は当該流れを示した概念図である。
　図１５に示すように、まず、視聴者情報管理サーバ１００のＣＰＵ１１は、各視聴者の視聴者出力システム２００から、各視聴者のエフェクト付与リクエストを受信する（ステップ１５１）。当該エフェクト付与リクエストは、視聴者ＩＤとエフェクトＩＤが関連付けられたデータとして受信される。
　続いてＣＰＵ１１は、上記エフェクト付与リクエストからエフェクトＩＤを特定する（ステップ１５２）。
　続いてＣＰＵ１１は、上記エフェクトＩＤを含むエフェクトの付与リクエストをコンテンツ作成サーバ４００へ送信する（ステップ１５３）。
　そして、コンテンツ作成サーバ４００によって上記エフェクトＩＤに対応するエフェクトが付与されたコンテンツが、コンテンツ配信サーバ５００から視聴者出力システム２００へ配信される（ステップ１５４）。
　上記エフェクト付与リクエストは、視聴者情報管理サーバ１００を経ずにコンテンツ作成サーバ４００に直接送られてもよい。
　図１６に示すように、視聴者２から例えば演者Ｐの周囲を輝かせるビジュアルリクエストが視聴者情報管理サーバ１００に送信されると、当該エフェクトがコンテンツ作成サーバ４００によってコンテンツに付与され、各視聴者の視聴者出力システム２００へ配信される。これにより、各視聴者は、異なる視線Ｌ１，Ｌ２，Ｌ３から、当該付与されたエフェクトを視認できる。特に、視聴者１及び３は、視聴者２がコンテンツに対してどのような反応をしているのかをリアルタイムで知ることができる。
[コンテンツに対するエフェクトの付与に関する変形例]
　以下、コンテンツに対するエフェクト付与処理の変形例について説明する。
　上記演者に対するエフェクトの提示処理において説明したのと同様の変形が可能である。
　すなわち、上記演者に対して提示される視線情報やエフェクトと同様に、視聴者の数が増えると、コンテンツの同じ位置付近（例えば演者の周囲）にエフェクト付与リクエストが集中する場合がある。このとき、視聴者毎にリクエストされたエフェクトを付与すると、複数のエフェクトが重なるなどして視聴者の視認性が下がってしまう。
　このような場合、視聴者情報管理サーバ１００は、コンテンツ作成サーバ４００に、複数の視聴者のエフェクトを、当該複数のエフェクト付与リクエストの集中を表現する、他のエフェクトに差し替えて付与させてもよい。
　例えば、Ｘ人以上から同じエフェクト付与リクエストを受けた場合、コンテンツ作成サーバ４００は、各視聴者のエフェクトを、エフェクトの集中を表現する特別なエフェクトに差し替えて付与してもよい。
　視聴者情報管理サーバ１００は、当該視聴者情報管理サーバ１００が管理する視聴者属性情報、または、視聴者出力システム２００から取得した視線パラメータ情報に付与されてきた視聴者属性情報を使い、コンテンツに付与されるエフェクトのサイズや、リクエスト可能なエフェクトの種類を制御してもよい。
　例えば、視聴者情報管理サーバ１００は、視聴者の視聴時間や、同じ演者が出演するコンテンツの視聴回数、購入回数、その他視聴者に紐付くパラメータに応じて、付与リクエスト可能なエフェクトの種類を制御してもよい。
　また、コンテンツ作成サーバ４００は、特定のタイミングで、特定の数以上の視聴者から同じエフェクト付与リクエストを受けた場合、それを示す特別なエフェクト（例えばコンテンツ全体に亘って表示されるビジュアルエフェクト）を付与してもよい。
　視聴者情報管理サーバ１００は、当該視聴者情報管理サーバ１００の管理する視聴者属性情報、または、視線パラメータ情報に付与されてきた視聴者属性情報を使い、視聴者が意図的にリクエストを発行することなく、ＶＲコンテンツを変化させてもよい。
　例えば、図１７に示すように、視聴者情報管理サーバ１００は、世界各地の視聴者の居住地毎の視聴者数を示す視聴者居住地区属性テーブルを記憶しておく。そしてコンテンツ作成サーバ４００は、当該居住地における視聴者数の数に応じて、各地を代表するランドマーク（例えば、日本であれば東京タワー、アメリカ合衆国であれば自由の女神像、イタリアであればピサの斜塔、シンガポールであればマーライオン像等）等の３Ｄモデルの表示サイズを変化させ、演者Ｐの背景に合成してコンテンツを作成してもよい。
　同図の例では、視聴者数が日本、アメリカ、イタリア、シンガポールの順に多いため、コンテンツの背景として、東京タワー、自由の女神像、ピサの斜塔、マーライオン像の順に３Ｄモデルの大きさが設定されている。
[コンテンツに対するエフェクトの付与に関する拡張例]
　視聴者の視線情報および位置情報と、演者の視線情報および位置情報を用いることで、視聴者同士の視聴状態の共有や、コンテンツへのエフェクトの追加をより効果的に行うことができる。以下、いくつかの例について説明する。
・視聴者同士の視聴状態の共有
　視聴状態の共有方法のひとつとして、他視聴者の視聴状態（視聴者の位置等）を配信コンテンツに付加し、コンテンツを視聴する方法が考えられる。この時、無条件に他視聴者の視聴状態が配信コンテンツに付加されると、配信コンテンツの視聴の妨げとなる位置に付加コンテンツ（エフェクト）が現れたり、配信コンテンツが付加コンテンツに埋もれて見られなくなる、といった問題が発生する。
　図１８は、演者Ｐ、仮想的な複数の視聴者Ｖ、ディスプレイ５３がある位置関係を持つ場合を示している。このとき、視聴者Ｖ１が視聴するコンテンツに対し、他視聴者の視聴位置、または、他視聴者のアバター画像７１の位置に基づき、他視聴者の視聴状態を表現するアバターコンテンツが付加されると、図１９に示す通り、視聴者１のビューイングコーン内の交点座標Ｉ付近に付加コンテンツ（アバターコンテンツ７２）が現れ、視聴者Ｖ１の配信コンテンツの視聴が妨げられる可能性がある。
　この問題に対し、コンテンツ作成サーバ４００は、図２０のように、視聴者Ｖ１の位置を基準に、仮想的にディスプレイ５３を移動・拡大し、他視聴者の視線と仮想ディスプレイ５３との交点を付加コンテンツの表示位置に用いることで、視聴者Ｖ１の視聴を妨げることなく、配信コンテンツへ他視聴者の視聴状態を表現するコンテンツを付加することができる。
　上記仮想ディスプレイの位置やサイズの変更は任意で行われてもよい。例えば、コンテンツ作成サーバ４００は、コンテンツに対する視聴者Ｖ１の視聴位置より仮想ディスプレイが必ず後方に来るように設定してもよい。
　またコンテンツ作成サーバ４００は、仮想ディスプレイの代わりに、任意の平面や球面、またはその組み合わせを用いて他視聴者の視線との交点を求め、それを付加コンテンツの表示位置に用いてもよい。
　視聴者の数が多い場合、全視聴者のアバター画像７１がコンテンツに付加されると、コンテンツ作成サーバ４００の処理負荷が増大したり、付加コンテンツが過密になることによるコンテンツ全体の質が劣化してしまうことが考えられる。
　これに対し、視聴者情報管理サーバ１００は、各視聴者が属するグループまたはコミュニティのメンバー（例えばＳＮＳ等から取得される）に限定して、視聴状態の共有を行ってもよい。またコンテンツ作成サーバ４００は、視聴者のアバターコンテンツ７２をより描画が簡易な（解像度の低い）画像に置換してもよい。
・エフェクトの再生位置の調整
　上記エフェクト付与リクエストによって付与されたエフェクトを視聴者間で共有する場合、エフェクト付与位置が適切に調整されてもよい。ここでは３つの具体的なケースについて述べるが、これらに限定するものではない。
（ケース１：各視聴者のビューイングコーン内でエフェクトを再生）
　他視聴者からの付与リクエストによってあるエフェクトが再生されても、ビューイングコーン内でエフェクトが再生されない限り、視聴者は気付くことができない。
　例えば、図２１に示すように、コンテンツ座標系内にランダムに光線のエフェクトを再生する「Random Rays」というエフェクトを想定する。このエフェクトが再生される場合、各視聴者のビューイングコーンの位置によって、各視聴者が見ることのできる光線の数が変わってしまう。
　これに対し、コンテンツ作成サーバ４００は、各視聴者のビューイングコーン内でエフェクトが再生されるように、エフェクトの再生位置を調節することで、各視聴者が見る再生エフェクトの質を一定に保つことができる。
　図２２は、他視聴者からリクエストされた「Random Rays」のエフェクト再生位置が、視聴者1のビューイングコーンＶＣに合わせて調整される様子を示している。同図上図が調整前、同図下図が調整後を示しており、上図においてビューイングコーンＶＣから外れた位置にあったｒａｙ２およびｒａｙ４の再生位置が、下図においては、ビューイングコーンＶＣ内で視認可能なように調整されている。
　このようにエフェクト再生位置を決定するビューイングコーンＶＣの作成は、視聴者の視線方向が中心とされてもよいし、頭部方向が中心とされてもよい。
（ケース２：各視聴者の視線方向と演者の位置によってエフェクト発生中心を調整）
　ある視聴者から付与リクエストされたエフェクトが、他視聴者に配信されるコンテンツに対しても同じように付与されると、リクエスト元の視聴者とは別の視点から配信コンテンツを視聴している視聴者にとって、視聴の妨げになる可能性がある。
　例えば、視聴者と演者の間の空間で他視聴者がリクエストしたエフェクトが再生される場合が挙げられる。この問題を避ける手段の一つとして、特定の属性を持つ、または持たないエフェクトが、視聴者と演者の間の空間で再生されようとした場合、その視聴者の視聴者出力システム２００では対象エフェクトの再生を中止する、といった手段が考えられる。しかしこの手段を用いられると、ある視聴者が、異なる視点を持つ他視聴者からリクエストされたエフェクトを見ることができなくなる可能性がある。
　この問題に対し、各視聴者出力システム２００は、各視聴者の視線方向と演者の位置によって、再生エフェクトの発生中心を調整してもよい。
　ここでは演者の位置を基準として定義される演者座標系において、エフェクト発生中心を設定することを考える。エフェクト発生中心は、特定の属性を持つ、または持たないエフェクトの再生位置を決める基準となる座標である。
　図２３は、演者Ｐを中心として設定されたエフェクト発生中心を設定可能な領域Ａを表している。ここでは例として、地面と水平な半径ｒ［ｍ］の円を高さｈ［ｍ］に、その中心を演者Ｐとして設定しているが、領域Ａの設定方法を制限するものではない。
　図２４は、上記設定された領域Ａを用いて、視聴者ごとにエフェクト発生中心Ｃが設定される様子を示している。エフェクト発生中心Ｃは、各視聴者の視線Ｌを、エフェクト発生中心設定可能領域Ａが存在する平面へ写像し、写像された視線とエフェクト発生中心設定可能領域Ａの交点のうち、視聴者から遠い方として設定されている。
　同図では、視聴者ごとに異なるエフェクト発生中心Ｃ１～Ｃ３が設定されていることが分かる。同図の状態で、例えば視聴者２（視線Ｌ２に対応）があるエフェクト再生リクエストを発行した場合、視聴者１（視線Ｌ１に対応）の視聴者出力システム２００Ａは、視聴者１のエフェクト発生中心Ｃ１の位置にエフェクトを再生し、視聴者３の出力システム２００Ｃは、視聴者３のエフェクト発生中心Ｃ３の位置にエフェクトを再生する。
　これにより、どの視聴者にとっても配信コンテンツの視聴が妨げることなく、他視聴者のリクエストしたエフェクトが視聴可能となる。
　上記領域Ａ及びエフェクト発生中心Ｃの設定処理は、各視聴者出力システム２００ではなく、コンテンツ作成サーバ４００が、視聴者情報管理サーバ１００を介してまたは直接、各視聴者出力システム２００から各視聴者の視線パラメータを受信することで実行してもよい。
（ケース３：各視聴者の視線方向とエフェクト属性によってエフェクト再生位置を調整）
　特定の属性を持つエフェクトに対し、視聴者の視線方向と背景コンテンツの属性を用いて再生位置が調整されることで、各視聴者に適切なエフェクト再生が可能になる。
　例として、再生するエフェクトがテキスト属性を持ち、当該テキスト属性を持つエフェクトは、ある一定以上の広がりを持つ背景コンテンツの平面上で再生されると定義する。図２５では、視聴者１と視聴者２の視線（Ｌ１及びＬ２）の先には、それぞれ異なる平面パラメータを持つ背景コンテンツＰｌａｎｅ１およびＰｌａｎｅ２が配置されている。
　このとき、テキスト属性を持つエフェクトの再生リクエストが発生した場合、図２６に示すように、視聴者１の視聴者出力システム２００ＡはＰｌａｎｅ１上にエフェクトを再生し、視聴者２の視聴者出力システム２００ＢはＰｌａｎｅ２上にエフェクトを再生する。
　これにより、テキスト属性を持つエフェクトを各視聴者に適した形で再生することができる。なお、視聴者の視線の先に適切な平面が存在しない場合、視聴者から見た演者の後方に仮想的な平面を作成し、その平面上にエフェクトを再生するなどが考えられる。
　上記各背景コンテンツの表示処理は、各視聴者出力システム２００ではなく、コンテンツ作成サーバ４００が、視聴者情報管理サーバ１００を介してまたは直接、各視聴者出力システム２００から各視聴者の視線パラメータを受信することで実行してもよい。
・配信コンテンツへのエフェクト付加の処理や処理位置
　大量のエフェクト再生リクエストが発生した場合、配信コンテンツにエフェクトを付加するための処理量増大による配信の遅延や、通信データの増大といった問題が発生する。この問題を避けるために、視聴者の視線情報を用いて再生リクエストのフィルタリング処理を行うことが考えられる。
　例えば、コンテンツ作成サーバ４００は、ある視聴者に配信するコンテンツには、その視聴者と近い視線パラメータを持つ他視聴者のエフェクト再生リクエストのみを反映してもよい。
　他にも、同時視聴者の数によって、エフェクトの効果を調整することが考えられる。例えば、図２１、図２２で説明した「Random Rays」エフェクトの場合、コンテンツ作成サーバ４００は、同時視聴者数がＸ人以上であれば、ひとつの再生リクエストに対して再生する光線の数をｎ本とし、同時視聴者数が上記Ｘよりも大きいＹ人以上であれば、上記ｘよりも大きいｙ本としてもよい。
　また、コンテンツ作成サーバ４００は、視聴者の視線情報に応じて再生位置が決定するエフェクトについては、コンテンツ配信サーバ５００から配信されるコンテンツに付与せず、各視聴者の出力システム２００に当該エフェクトに関する情報を送信してエフェクトを付与させることによって、コンテンツ作成サーバ４００やコンテンツ配信サーバ５００の負荷を下げることが可能になる。
・エフェクトの属性によって異なる再生方法を用いる
　エフェクトが持つ属性によって再生方法を変える方法として、上述したもの以外にも次のような属性が考えられる。
　例えば、視聴者の視線方向に応じて表示姿勢を変える、または変えない属性を持つエフェクト、演者の向きによって表示姿勢を変える、または変えない属性を持つエフェクト、視聴者と演者間のビューイングコーン内には表示されない属性を持つエフェクト、視聴者と演者の距離をパラメータとして再生が行われる属性を持つエフェクト、演者と視聴者の視線の一致度をパラメータとして再生が行われる属性を持つエフェクト等が考えられる。
　以上説明したように、本実施形態によれば、コンテンツ配信システムは、演者に自身と同じ空間内で視聴者の仮想的な視線を把握させることが可能となり、演者に、遠隔地の視聴者に対しても、視聴者の反応に応じた適切なパフォーマンスを行わせることができる。
　また上記に伴い、演者と視聴者は、遠隔地においても物理的に近距離にいるかのようなコミュニケーションをとることができる。
　また、各視聴者は、各自が持つ入力デバイスに合わせてエフェクト再生のリクエストが設定可能なため、どのデバイスからでも同じリクエストの送信ができる。（所持デバイスによる差が吸収される。）
　また、視聴者のアクションがエフェクトＩＤにマッピングされて視聴者情報管理サーバ１００に送られるため、視聴者のアクションを表現するための通信データ量が大幅に削減される。
　また、コンテンツ配信者がリクエスト可能なエフェクトを作成するため、例えば任意のテキストが利用可能なコミュニケーションで起きる、悪意のあるアクションが排除される。
　また、コンテンツ配信システムは、視聴者のアクションを配信コンテンツに反映することによって、共通のコンテンツを視聴している視聴者同士に体験を共有させることができる。
　また、コンテンツ配信システムは、視聴者ごとに再生・付与リクエスト可能なエフェクトを制御することによって、視聴者ごとに提供するサービスを差別化できる。
［変形例］
　本発明は上述の実施形態にのみ限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変更され得る。
　上述の実施形態において、視聴者情報提供サーバ１００またはコンテンツ作成サーバ３００は、演者と視聴者との間で特定のコミュニケーションが成立したと判断された場合に、対象視聴者の配信コンテンツ、または、全視聴者の配信コンテンツに特別なエフェクトを付与することで、コミュニケーション体験をエンハンスすることが考えられる。特定のコミュニケーションの成立としては、例えば、演者と視聴者の視線が合った場合や、演者の特定のパフォーマンスに対して、視聴者の特定のエフェクト再生リクエストを受けた場合などが挙げられる。
　視聴者情報管理サーバ１００またはコンテンツ作成サーバ３００は、演者と視聴者の視線が合ったかどうかを、例えば、演者の視線が、ディスプレイ上のある視聴者のアバター画像７１の方向を向いている、かつ、演者とその視聴者の視線ベクトルの内積の絶対値が、両視線ベクトルがほぼ平行となるような所定の閾値未満であるか否かによって判定すればよい。
　また、視聴者情報管理サーバ１００は、演者と視聴者の視線が合った場合に、ディスプレイ５３上の当該視聴者に対応するアバター画像（交点座標）の近傍から特別なビジュアルエフェクトまたはサウンドエフェクトを出力させてもよい。
　また、視聴者情報管理サーバ１００は、各視聴者に対して視線が合った回数をカウントしておくことで、各方向でどのくらいの頻度で視線が合ったかを示す値をディスプレイ５３の各交点座標Ｉと対応付けてヒストグラムとして表示することができる。演者はこの情報をもとに、視聴者と視線の合った頻度の低い方向へパフォーマンスを行うことで、視聴者全体の満足度を上げることができる。
　図１４は、上記頻度を示す頻度ヒストグラム７３がディスプレイ５３に表示された例を示す。頻度ヒストグラム７３の値としては、各方向に存在する視聴者と視線が合った回数の総和を、その方向に存在する視聴者数で割った値を使うこと等が考えられる。
　また、遠隔地でも演者と視聴者が実体験に近いコミュニケーションを取れることにより、ライブストリーミングサービスにおける特定の視聴位置に対して付加価値を付けることが可能になる。
　例えば、コンテンツ配信システムは、特定の視聴位置に向けて演者が頻繁にコミュニケーションを取ることを前提に、その位置を利用する視聴者に対して、通常より高い視聴料を課しつつ、その視聴位置を利用できる視聴者数を限定するなどによって、高付加価値な視聴位置を作ることができる。
　上述の実施形態において、コンテンツは撮影スタジオに固定されたカメラ５１によって撮影されたが、カメラ５１に代えて、例えばドローンによって移動しながら撮影されてもよい。
［その他］
　本技術は以下のような構成もとることができる。
（１）
　　演者のパフォーマンスが撮像されたコンテンツを、ネットワークを介してリアルタイムに再生中の視聴者の端末から、前記視聴者の存在する空間の座標系における当該視聴者の視線を示す視線パラメータを、当該視聴者を識別する視聴者識別情報と共に取得し、
　　前記取得された視線パラメータを、前記演者が存在する空間の座標系における当該視聴者の仮想的な視線を示す視線パラメータに変換し、
　　前記変換された視線パラメータを基に、前記視聴者の前記仮想的な視線を示す視線情報を、前記演者の存在する空間内の出力装置へ出力する
　制御部
　を具備する情報処理システム。
（２）
　上記（１）に記載の情報処理システムであって、
　前記出力装置はディスプレイであり、
　前記制御部は、前記変換された視線パラメータを基に、前記ディスプレイと前記仮想的な視線との交点座標を算出し、前記視線情報として、前記ディスプレイの当該交点座標に対応する位置に前記視聴者に対応する画像を出力させる
　情報処理システム。
（３）
　上記（２）に記載の情報処理システムであって、
　前記制御部は、所定数以上の視聴者に対応する前記交点座標が前記ディスプレイの所定領域に存在する場合、前記各視聴者に対応する画像に代えて視聴者群を示す所定の１つの画像を出力させる
　情報処理システム。
（４）
　上記（２）または（３）に記載の情報処理システムであって、
　前記制御部は、前記視聴者の属性を示す属性情報を前記視線パラメータと共に取得し、当該属性情報に応じて前記画像の出力態様を変更する
　情報処理システム。
（５）
　上記（２）～（４）のいずれかに記載の情報処理システムであって、
　前記制御部は、前記変換された視線パラメータを基に、前記視聴者が前記演者に視線を向けているか否かを判定し、当該判定結果に応じて前記画像の出力態様を変更する
　情報処理システム。
（６）
　上記（２）～（５）のいずれかに記載の情報処理システムであって、
　前記制御部は、第１の時刻に算出された第１の視聴者識別情報を有する第１の視聴者に対応する第１の交点座標と、前記第１の時刻より後の第２の時刻に算出された前記第１の視聴者に対応する第２の交点座標とが異なる場合、前記視聴者に対応する画像を前記第１の交点座標から前記第２の交点座標とを結ぶ軌跡上で移動させながら表示させる
　情報処理システム。
（７）
　上記（２）～（６）のいずれかに記載の情報処理システムであって、
　前記画像と共に再生可能な複数種類のエフェクトを示す情報を、当該エフェクトを識別するエフェクト識別情報と対応付けて記憶する記憶部をさらに具備し、
　前記制御部は、前記視聴者の端末から、前記視聴者識別情報及び前記エフェクト識別情報を含むエフェクト再生リクエストを受信した場合、当該エフェクト識別情報に対応するエフェクトを、前記視聴者識別情報に対応する前記交点座標の近傍から出力させる
　情報処理システム。
（８）
　上記（７）に記載の情報処理システムであって、
　前記制御部は、前記所定数以上の視聴者に対応するエフェクト再生リクエストが前記ディスプレイの所定領域について存在する場合、前記各視聴者に対応するエフェクトに代えて所定の１つのエフェクトを出力させる
　情報処理システム。
（９）
　上記（７）または（８）に記載の情報処理システムであって、
　前記制御部は、前記所定数以上の視聴者から同一のエフェクト識別情報を有するエフェクト再生リクエストを受信した場合、前記各視聴者に対応するエフェクトに代えて所定の１つのエフェクトを出力させる
　情報処理システム。
（１０）
　上記（７）～（９）のいずれかに記載の情報処理システムであって、
　前記ディスプレイ上の異なる位置には複数のスピーカが設置されており、
　前記制御部は、前記エフェクト再生リクエストに含まれる前記エフェクト識別情報に対応するエフェクトがサウンドエフェクトである場合、当該サウンドエフェクトを、前記視聴者識別情報に対応する前記交点座標の近傍に存在するスピーカから出力させる
　情報処理システム。
（１１）
　上記（２）～（１０）のいずれかに記載の情報処理システムであって、
　前記制御部は、前記演者の視線を示す視線パラメータを取得し、当該演者の視線パラメータから得られる視線ベクトルと、前記視聴者の仮想的な視線を示す視線パラメータから得られる視線ベクトルとの内積の絶対値が所定の閾値未満であるであると判断した場合、前記視聴者識別情報に対応する前記交点座標の近傍から所定のエフェクトを出力させる
　情報処理システム。
（１２）
　上記（２）～（１０）のいずれかに記載の情報処理システムであって、
　前記制御部は、前記演者の視線を示す視線パラメータを取得し、複数の視聴者毎に、当該演者の視線パラメータから得られる視線ベクトルと、当該各視聴者の仮想的な視線を示す視線パラメータから得られる視線ベクトルとの内積の絶対値が所定の閾値未満となった回数をカウントし、前記各視聴者の各回数に対応する値を、各視聴者に対応する前記交点座標の近傍に対応付けたヒストグラムを前記ディスプレイに表示させる
　情報処理システム。
（１３）
　演者のパフォーマンスが撮像されたコンテンツを、ネットワークを介してリアルタイムに再生中の視聴者の端末から、前記視聴者の存在する空間の座標系における当該視聴者の視線を示す視線パラメータを、当該視聴者を識別する視聴者識別情報と共に取得し、
　前記取得された視線パラメータを、前記演者が存在する空間の座標系における当該視聴者の仮想的な視線を示す視線パラメータに変換し、
　前記変換された視線パラメータを基に、前記視聴者の前記仮想的な視線を示す視線情報を、前記演者の存在する空間内の出力装置へ出力する
　情報処理方法。
（１４）
　情報処理装置に、
　演者のパフォーマンスが撮像されたコンテンツを、ネットワークを介してリアルタイムに再生中の視聴者の端末から、前記視聴者の存在する空間の座標系における当該視聴者の視線を示す視線パラメータを、当該視聴者を識別する視聴者識別情報と共に取得するステップと、
　前記取得された視線パラメータを、前記演者が存在する空間の座標系における当該視聴者の仮想的な視線を示す視線パラメータに変換するステップと、
　前記変換された視線パラメータを基に、前記視聴者の前記仮想的な視線を示す視線情報を、前記演者の存在する空間内の出力装置へ出力するステップと
　を実行させるプログラム。
　１１…ＣＰＵ
　１８…入力装置
　１９…出力装置
　２０…ストレージ装置
　２６…撮像装置
　２３…通信装置
　５１…カメラ
　５２…マイク
　５３…ディスプレイ
　７１…アバター画像
　７２…エフェクト
　７３…ヒストグラム
　１００…視聴者情報管理サーバ
　２００…演者出力システム
　３００…視聴者出力システム
　４００…コンテンツ作成サーバ
　５００…コンテンツ配信サーバ
　Ｐ…演者
　Ｖ…視聴者
　Ｌ…視線
　ＶＬ…仮想視線

Claims (14)

  1. 　　演者のパフォーマンスが撮像されたコンテンツを、ネットワークを介してリアルタイムに再生中の視聴者の端末から、前記視聴者の存在する空間の座標系における当該視聴者の視線を示す視線パラメータを、当該視聴者を識別する視聴者識別情報と共に取得し、
    　　前記取得された視線パラメータを、前記演者が存在する空間の座標系における当該視聴者の仮想的な視線を示す視線パラメータに変換し、
    　　前記変換された視線パラメータを基に、前記視聴者の前記仮想的な視線を示す視線情報を、前記演者の存在する空間内の出力装置へ出力する
    　制御部
    　を具備する情報処理システム。
  2. 　請求項１に記載の情報処理システムであって、
    　前記出力装置はディスプレイであり、
    　前記制御部は、前記変換された視線パラメータを基に、前記ディスプレイと前記仮想的な視線との交点座標を算出し、前記視線情報として、前記ディスプレイの当該交点座標に対応する位置に前記視聴者に対応する画像を出力させる
    　情報処理システム。
  3. 　請求項２に記載の情報処理システムであって、
    　前記制御部は、所定数以上の視聴者に対応する前記交点座標が前記ディスプレイの所定領域に存在する場合、前記各視聴者に対応する画像に代えて視聴者群を示す所定の１つの画像を出力させる
    　情報処理システム。
  4. 　請求項２に記載の情報処理システムであって、
    　前記制御部は、前記視聴者の属性を示す属性情報を前記視線パラメータと共に取得し、当該属性情報に応じて前記画像の出力態様を変更する
    　情報処理システム。
  5. 　請求項２に記載の情報処理システムであって、
    　前記制御部は、前記変換された視線パラメータを基に、前記視聴者が前記演者に視線を向けているか否かを判定し、当該判定結果に応じて前記画像の出力態様を変更する
    　情報処理システム。
  6. 　請求項２に記載の情報処理システムであって、
    　前記制御部は、第１の時刻に算出された第１の視聴者識別情報を有する第１の視聴者に対応する第１の交点座標と、前記第１の時刻より後の第２の時刻に算出された前記第１の視聴者に対応する第２の交点座標とが異なる場合、前記視聴者に対応する画像を前記第１の交点座標から前記第２の交点座標とを結ぶ軌跡上で移動させながら表示させる
    　情報処理システム。
  7. 　請求項２に記載の情報処理システムであって、
    　前記画像と共に再生可能な複数種類のエフェクトを示す情報を、当該エフェクトを識別するエフェクト識別情報と対応付けて記憶する記憶部をさらに具備し、
    　前記制御部は、前記視聴者の端末から、前記視聴者識別情報及び前記エフェクト識別情報を含むエフェクト再生リクエストを受信した場合、当該エフェクト識別情報に対応するエフェクトを、前記視聴者識別情報に対応する前記交点座標の近傍から出力させる
    　情報処理システム。
  8. 　請求項７に記載の情報処理システムであって、
    　前記制御部は、前記所定数以上の視聴者に対応するエフェクト再生リクエストが前記ディスプレイの所定領域について存在する場合、前記各視聴者に対応するエフェクトに代えて所定の１つのエフェクトを出力させる
    　情報処理システム。
  9. 　請求項７に記載の情報処理システムであって、
    　前記制御部は、前記所定数以上の視聴者から同一のエフェクト識別情報を有するエフェクト再生リクエストを受信した場合、前記各視聴者に対応するエフェクトに代えて所定の１つのエフェクトを出力させる
    　情報処理システム。
  10. 　請求項７に記載の情報処理システムであって、
    　前記ディスプレイ上の異なる位置には複数のスピーカが設置されており、
    　前記制御部は、前記エフェクト再生リクエストに含まれる前記エフェクト識別情報に対応するエフェクトがサウンドエフェクトである場合、当該サウンドエフェクトを、前記視聴者識別情報に対応する前記交点座標の近傍に存在するスピーカから出力させる
    　情報処理システム。
  11. 　請求項２に記載の情報処理システムであって、
    　前記制御部は、前記演者の視線を示す視線パラメータを取得し、当該演者の視線パラメータから得られる視線ベクトルと、前記視聴者の仮想的な視線を示す視線パラメータから得られる視線ベクトルとの内積の絶対値が所定の閾値未満であるであると判断した場合、前記視聴者識別情報に対応する前記交点座標の近傍から所定のエフェクトを出力させる
    　情報処理システム。
  12. 　請求項２に記載の情報処理システムであって、
    　前記制御部は、前記演者の視線を示す視線パラメータを取得し、複数の視聴者毎に、当該演者の視線パラメータから得られる視線ベクトルと、当該各視聴者の仮想的な視線を示す視線パラメータから得られる視線ベクトルとの内積の絶対値が所定の閾値未満となった回数をカウントし、前記各視聴者の各回数に対応する値を、各視聴者に対応する前記交点座標の近傍に対応付けたヒストグラムを前記ディスプレイに表示させる
    　情報処理システム。
  13. 　演者のパフォーマンスが撮像されたコンテンツを、ネットワークを介してリアルタイムに再生中の視聴者の端末から、前記視聴者の存在する空間の座標系における当該視聴者の視線を示す視線パラメータを、当該視聴者を識別する視聴者識別情報と共に取得し、
    　前記取得された視線パラメータを、前記演者が存在する空間の座標系における当該視聴者の仮想的な視線を示す視線パラメータに変換し、
    　前記変換された視線パラメータを基に、前記視聴者の前記仮想的な視線を示す視線情報を、前記演者の存在する空間内の出力装置へ出力する
    　情報処理方法。
  14. 　情報処理装置に、
    　演者のパフォーマンスが撮像されたコンテンツを、ネットワークを介してリアルタイムに再生中の視聴者の端末から、前記視聴者の存在する空間の座標系における当該視聴者の視線を示す視線パラメータを、当該視聴者を識別する視聴者識別情報と共に取得するステップと、
    　前記取得された視線パラメータを、前記演者が存在する空間の座標系における当該視聴者の仮想的な視線を示す視線パラメータに変換するステップと、
    　前記変換された視線パラメータを基に、前記視聴者の前記仮想的な視線を示す視線情報を、前記演者の存在する空間内の出力装置へ出力するステップと
    　を実行させるプログラム。
PCT/JP2020/040878 2019-11-15 2020-10-30 情報処理システム、情報処理方法及びプログラム WO2021095573A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202080077588.4A CN114651448B (zh) 2019-11-15 2020-10-30 信息处理系统、信息处理方法和程序
US17/767,746 US20240077941A1 (en) 2019-11-15 2020-10-30 Information processing system, information processing method, and program
JP2021556021A JPWO2021095573A1 (ja) 2019-11-15 2020-10-30

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019207477 2019-11-15
JP2019-207477 2019-11-15

Publications (1)

Publication Number Publication Date
WO2021095573A1 true WO2021095573A1 (ja) 2021-05-20

Family

ID=75912321

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/040878 WO2021095573A1 (ja) 2019-11-15 2020-10-30 情報処理システム、情報処理方法及びプログラム

Country Status (4)

Country Link
US (1) US20240077941A1 (ja)
JP (1) JPWO2021095573A1 (ja)
CN (1) CN114651448B (ja)
WO (1) WO2021095573A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023276252A1 (ja) * 2021-06-30 2023-01-05 ソニーグループ株式会社 情報処理装置、情報処理方法及びプログラム
WO2023047637A1 (ja) * 2021-09-22 2023-03-30 ソニーグループ株式会社 情報処理装置およびプログラム
WO2023079859A1 (ja) * 2021-11-08 2023-05-11 ソニーグループ株式会社 情報処理装置及び情報処理方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019126101A (ja) * 2014-07-18 2019-07-25 ソニー株式会社 情報処理装置及び方法、表示制御装置及び方法、プログラム、並びに情報処理システム
JP2019192178A (ja) * 2018-04-27 2019-10-31 株式会社コロプラ プログラム、情報処理装置、および方法

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8358328B2 (en) * 2008-11-20 2013-01-22 Cisco Technology, Inc. Multiple video camera processing for teleconferencing
JP4775671B2 (ja) * 2008-12-26 2011-09-21 ソニー株式会社 情報処理装置および方法、並びにプログラム
US8154615B2 (en) * 2009-06-30 2012-04-10 Eastman Kodak Company Method and apparatus for image display control according to viewer factors and responses
JP5783629B2 (ja) * 2011-07-08 2015-09-24 株式会社ドワンゴ 映像表示システム、映像表示方法、映像表示制御プログラム、動作情報送信プログラム
JP6039915B2 (ja) * 2011-07-08 2016-12-07 株式会社ドワンゴ ステージ演出システム、演出制御サブシステム、ステージ演出システムの動作方法、演出制御サブシステムの動作方法、およびプログラム
US9538133B2 (en) * 2011-09-23 2017-01-03 Jie Diao Conveying gaze information in virtual conference
KR101751708B1 (ko) * 2012-08-17 2017-07-11 한국전자통신연구원 시청행태 인식기반의 시청률 및 광고효과 분석 방법 및 시스템
CN105323531A (zh) * 2014-06-30 2016-02-10 三亚中兴软件有限责任公司 视频会议热点场景的检测方法和装置
JP2017062598A (ja) * 2015-09-24 2017-03-30 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
WO2018074037A1 (ja) * 2016-10-21 2018-04-26 株式会社Ｍｙｔｈ 情報処理システム
JP6946600B2 (ja) * 2017-02-27 2021-10-06 日本製紙クレシア株式会社 吸収性補助パッド及びその使用方法
JP2018163460A (ja) * 2017-03-24 2018-10-18 ソニー株式会社 情報処理装置、および情報処理方法、並びにプログラム
US10269571B2 (en) * 2017-07-12 2019-04-23 Applied Materials, Inc. Methods for fabricating nanowire for semiconductor applications
JP6972789B2 (ja) * 2017-08-31 2021-11-24 日本精機株式会社 ヘッドアップディスプレイ装置
SG11202006693SA (en) * 2018-01-19 2020-08-28 Esb Labs Inc Virtual interactive audience interface
CN110244778B (zh) * 2019-06-20 2022-09-06 京东方科技集团股份有限公司 一种基于人眼追踪的平视随动控制系统和控制方法
WO2022031872A1 (en) * 2020-08-04 2022-02-10 Owl Labs Inc. Designated view within a multi-view composited webcam signal
WO2022046810A2 (en) * 2020-08-24 2022-03-03 Owl Labs Inc. Merging webcam signals from multiple cameras

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019126101A (ja) * 2014-07-18 2019-07-25 ソニー株式会社 情報処理装置及び方法、表示制御装置及び方法、プログラム、並びに情報処理システム
JP2019192178A (ja) * 2018-04-27 2019-10-31 株式会社コロプラ プログラム、情報処理装置、および方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023276252A1 (ja) * 2021-06-30 2023-01-05 ソニーグループ株式会社 情報処理装置、情報処理方法及びプログラム
WO2023047637A1 (ja) * 2021-09-22 2023-03-30 ソニーグループ株式会社 情報処理装置およびプログラム
WO2023079859A1 (ja) * 2021-11-08 2023-05-11 ソニーグループ株式会社 情報処理装置及び情報処理方法

Also Published As

Publication number Publication date
JPWO2021095573A1 (ja) 2021-05-20
CN114651448B (zh) 2024-10-18
CN114651448A (zh) 2022-06-21
US20240077941A1 (en) 2024-03-07

Similar Documents

Publication Publication Date Title
US11700286B2 (en) Multiuser asymmetric immersive teleconferencing with synthesized audio-visual feed
US10645369B2 (en) Stereo viewing
WO2021095573A1 (ja) 情報処理システム、情報処理方法及びプログラム
WO2016009864A1 (ja) 情報処理装置、表示装置、情報処理方法、プログラム、および情報処理システム
Lelyveld Virtual reality primer with an emphasis on camera-captured VR
TWI530157B (zh) 多視角影像之顯示系統、方法及其非揮發性電腦可讀取紀錄媒體
US10681276B2 (en) Virtual reality video processing to compensate for movement of a camera during capture
JP2016537903A (ja) バーチャルリアリティコンテンツのつなぎ合わせおよび認識
US11647354B2 (en) Method and apparatus for providing audio content in immersive reality
WO2022209129A1 (ja) 情報処理装置、情報処理方法、およびプログラム
WO2020206647A1 (zh) 跟随用户运动控制播放视频内容的方法和装置
US20200225467A1 (en) Method for projecting immersive audiovisual content
WO2021161894A1 (ja) 情報処理システム、情報処理方法及びプログラム
WO2020053412A1 (en) A system for controlling audio-capable connected devices in mixed reality environments
CN110910508B (zh) 一种图像显示方法、装置和系统
WO2019146426A1 (ja) 画像処理装置、画像処理方法、プログラム、および投影システム
US11863902B2 (en) Techniques for enabling high fidelity magnification of video
US20220180664A1 (en) Frame of reference for motion capture
WO2022220306A1 (ja) 映像表示システム、情報処理装置、情報処理方法、及び、プログラム
WO2021179102A1 (zh) 实境仿真全景系统及其使用方法
CN116941234A (zh) 用于运动捕捉的参考系

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20888250

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 17767746

Country of ref document: US

ENP Entry into the national phase

Ref document number: 2021556021

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20888250

Country of ref document: EP

Kind code of ref document: A1