WO2022118747A1 - 情報処理装置、情報処理方法、プログラム及び情報処理システム - Google Patents

情報処理装置、情報処理方法、プログラム及び情報処理システム Download PDF

Info

Publication number
WO2022118747A1
WO2022118747A1 PCT/JP2021/043342 JP2021043342W WO2022118747A1 WO 2022118747 A1 WO2022118747 A1 WO 2022118747A1 JP 2021043342 W JP2021043342 W JP 2021043342W WO 2022118747 A1 WO2022118747 A1 WO 2022118747A1
Authority
WO
WIPO (PCT)
Prior art keywords
tactile
unit
information processing
information
stamp
Prior art date
Application number
PCT/JP2021/043342
Other languages
English (en)
French (fr)
Inventor
諒 横山
佑輔 中川
亜由美 中川
洋平 福馬
鎮 伊藤
貴義 山崎
Original Assignee
ソニーグループ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーグループ株式会社 filed Critical ソニーグループ株式会社
Priority to CN202180079618.XA priority Critical patent/CN116457750A/zh
Priority to JP2022566883A priority patent/JPWO2022118747A1/ja
Priority to DE112021006306.5T priority patent/DE112021006306T5/de
Publication of WO2022118747A1 publication Critical patent/WO2022118747A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1626—Constructional details or arrangements for portable computers with a single-body enclosure integrating a flat display, e.g. Personal Digital Assistants [PDAs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04847—Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0486—Drag-and-drop
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output

Definitions

  • This disclosure relates to information processing devices, information processing methods, programs and information processing systems.
  • a viewer of the content sends data such as illustrations and texts to an artist or the like who distributes the content on the Internet, or remits money together with them.
  • "Throwing money” can be mentioned.
  • the viewer can obtain a higher value-added experience.
  • the viewer's satisfaction with the content is increased, and the purchasing motivation for such "things” is increased.
  • a device for presenting a tactile stimulus such as vibration to a user has been proposed.
  • the jacket-type tactile presentation device described in Patent Document 1 can be mentioned.
  • Such a tactile presentation device is attached to a user in an attraction of a movie theater or a theme park, and is controlled to be synchronized with the playback content to be viewed by the user, thereby making the provided playback content more realistic. It can be amplified.
  • an information processing device an information processing method, a program, and information capable of providing a viewer with a real-time and interactive high-value-added experience by using such a tactile presentation device.
  • each control including presentation unit information that specifies a presentation unit that presents a tactile stimulus by a tactile presentation device and morphological information that specifies a form of the tactile stimulus in response to an input from a first user.
  • a first acquisition unit that acquires a command
  • a generation unit that generates each tactile control signal for presenting the tactile stimulus to the presentation unit in response to each control command
  • a second tactile control signal The first distribution unit includes a first distribution unit that distributes information to the tactile presentation device attached to the user's body, and the first acquisition unit satisfies a predetermined condition for input from a plurality of the first users.
  • an information processing apparatus is provided that acquires a new control command different from each control command corresponding to each of the inputs from the plurality of first users.
  • the presentation unit information that specifies the presentation unit that presents the tactile stimulus by the tactile presentation device and the morphological information that specifies the form of the tactile stimulus are specified in response to the input from the first user.
  • the first acquisition unit includes a first distribution unit that distributes a control signal to the tactile presentation device mounted on the body of the second user, and the first acquisition unit is predetermined to receive input from a plurality of the first users. When the conditions are satisfied, the presenter information specified by the identification information corresponding to each of the inputs from the plurality of first users, the presenter information different from the form information, and the form information are specified.
  • An information processing device is provided that acquires other identification information.
  • the information processing apparatus specifies the presentation unit information for designating the presentation unit for presenting the tactile stimulus by the tactile presentation device and the form of the tactile stimulus in response to the input from the first user. Acquiring each control command including morphological information, generating each tactile control signal for presenting the tactile stimulus to the presenting unit in response to each of the control commands, and generating each of the tactile control signals.
  • the input from the plurality of first users satisfies a predetermined condition
  • the input from the plurality of first users includes the delivery to the tactile presentation device worn on the body of the second user.
  • An information processing method is provided for acquiring a new control command different from each of the control commands corresponding to each of the inputs.
  • a program is provided that acquires a new control command different from each of the control commands corresponding to each of the inputs from the user.
  • an information processing system including an information processing device and a distribution device, and the information processing device presents a tactile stimulus by a tactile presentation device in response to an input from a first user.
  • a first acquisition unit that acquires each control command including presentation unit information that specifies a presentation unit and morphological information that specifies a form of the tactile stimulus, and the tactile stimulus to the presentation unit in response to each control command. It has a generation unit for generating each tactile control signal for presenting, and a first distribution unit for distributing each tactile control signal to the tactile presentation device mounted on the body of a second user.
  • the first acquisition unit When the input from the plurality of first users satisfies a predetermined condition, the first acquisition unit is different from the control command corresponding to each of the inputs from the plurality of first users.
  • Information processing that acquires a control command and has an image generation unit that superimposes a predetermined image generated based on the input on a real space image distributed to the first user. The system is provided.
  • FIG. 2 is a flowchart (No.
  • FIG. 1 is a system diagram (No. 1) showing a schematic configuration example of the information processing system 10 according to the first modification of the embodiment of the present disclosure.
  • FIG. 2 is a system diagram (No. 2) showing a schematic configuration example of the information processing system 10 according to the first modification of the embodiment of the present disclosure.
  • FIG. 1 is a system diagram (No. 1) showing a schematic configuration example of the information processing system 10 according to the first modification of the embodiment of the present disclosure.
  • FIG. 2 is a system diagram (No. 2) showing a schematic configuration example of the information processing system 10 according to the first modification of the embodiment of the present disclosure.
  • FIG. 1 is a system diagram (No. 1) showing a schematic configuration example of the information processing system 10 according to the first modification of the embodiment of the present disclosure.
  • FIG. 2 is a system diagram (No. 2) showing a schematic configuration example of the information processing system 10 according to the first modification of the embodiment of the present disclosure.
  • FIG. 1 is a system diagram (No. 1) showing a schematic configuration example of the
  • FIG. 3 is a system diagram (No. 3) showing a schematic configuration example of the information processing system 10 according to the first modification of the embodiment of the present disclosure.
  • FIG. 4 is a system diagram (No. 4) showing a schematic configuration example of the information processing system 10 according to the first modification of the embodiment of the present disclosure.
  • FIG. 5 is a system diagram (No. 5) showing a schematic configuration example of the information processing system 10 according to the first modification of the embodiment of the present disclosure.
  • FIG. 6 is a system diagram (No. 6) showing a schematic configuration example of the information processing system 10 according to the first modification of the embodiment of the present disclosure.
  • FIG. 7 is a system diagram (No. 7) showing a schematic configuration example of the information processing system 10 according to the first modification of the embodiment of the present disclosure.
  • FIG. 7 is a system diagram (No. 7) showing a schematic configuration example of the information processing system 10 according to the first modification of the embodiment of the present disclosure.
  • FIG. 8 is a system diagram (No. 8) showing a schematic configuration example of the information processing system 10 according to the first modification of the embodiment of the present disclosure.
  • FIG. 1 is a system diagram (No. 1) showing a schematic configuration example of the information processing system 10 according to the second modification of the embodiment of the present disclosure.
  • FIG. 2 is a system diagram (No. 2) showing a schematic configuration example of the information processing system 10 according to the second modification of the embodiment of the present disclosure.
  • FIG. 3 is a system diagram (No. 3) showing a schematic configuration example of the information processing system 10 according to the second modification of the embodiment of the present disclosure.
  • FIG. 4 is a system diagram (No. 4) showing a schematic configuration example of the information processing system 10 according to the second modification of the embodiment of the present disclosure.
  • the present inventors are diligently studying whether it is possible to provide a viewer with a higher value-added experience, and present tactile stimuli such as vibration to the wearer.
  • a tactile presentation device haptics device
  • a distributor 800 for viewing or distributing performance or content is equipped with, for example, a best-type tactile presentation device 100. Get it.
  • the tactile presentation device 100 has a plurality of tactile stimulating units (for example, an actuator or the like) inside. Further, when the tactile stimulus unit receives a predetermined signal, the tactile stimulus unit can present the tactile stimulus to the distributor 800 who is the wearer.
  • the viewer 900 selects one tactile stimulating effect stamp 850 from the plurality of tactile stimulating effect stamps 850 displayed on the display unit 702 of the user terminal 700, and the selected tactile sensation.
  • the stamp 850 with a stimulating effect is transmitted.
  • a predetermined tactile control signal corresponding to the tactile stimulus given to the stamp 850 is transmitted to the tactile stimulus unit (so-called “throwing money” with a tactile stimulus effect. Will be done). Further, the tactile stimulator unit presents the tactile stimulus corresponding to the selected stamp 850 with the tactile stimulus effect to the wearer based on the received predetermined tactile control signal.
  • the distributor 800 perceives the presented tactile stimulus and takes an action
  • the viewer 900 confirms the action induced by the tactile stimulus presented by the stamp 850 transmitted by the viewer 900 in real time. can do.
  • the action induced by the tactile stimulus related to the stamp 850 transmitted by the viewer can be confirmed in real time, the viewer 900 can feel that he / she is directly interacting with the distributor 800. That is, it is possible to obtain an experience with higher added value.
  • FIG. 3 is a system diagram showing a schematic configuration example of the information processing system 10 according to the embodiment of the present disclosure.
  • the distributor 800 and the viewer 900 exist in different spaces or the same space. That is, in the information processing system 10, the viewer 900 may, for example, directly view the appearance of the distributor 800 or may view the delivered video of the distributor 800.
  • the distributor 800 has a tactile presentation device 100, a drive amplifier / interface 200, a speaker 202, and a monitor.
  • a 204, a microphone (hereinafter referred to as a microphone) 206, and a camera 208 are arranged.
  • a haptics server (information processing device) 300, a distribution data editing server 400, and a live distribution server 500 are arranged.
  • a smartphone or tablet as an example of the user terminal 700 is arranged on the viewer 900 side.
  • Each device included in the information processing system 10 includes, for example, a wired / wireless LAN (Local Area Network), Wi-Fi (registered trademark), Bluetooth (registered trademark), and a mobile communication network (LTE (Long Term Evolution), 5G. (Fifth generation mobile communication method)), etc. can be transmitted to and received from each other via various communication networks.
  • the number of each device included in the information processing system 10 is not limited to the number shown in FIG. 3, and may be further increased. Further, the information processing system 10 may include a device (not shown in FIG. 3).
  • the information processing system 10 includes general-purpose PCs (Personal Computers), game consoles, mobile phones, portable media players, speakers, projectors, displays (digital signage, etc.), headphones, smart glasses, wearable devices such as smart watches, and the like. Can include.
  • PCs Personal Computers
  • game consoles mobile phones
  • portable media players portable media players
  • speakers portable projectors
  • displays digital signage, etc.
  • headphones smart glasses
  • wearable devices such as smart watches, and the like.
  • distribution data incorporating a haptics server 300 that manages the presentation of tactile stimuli and an application that edits video and audio distributed to the viewer 900. It may be operated by a business different from the live distribution server 500 that manages the distribution to the editing server 400 and the viewer 900. That is, in the present embodiment, the business operator that manages and operates each server is not particularly limited, and the business operators that operate each server may be all different, or a part or all of the server. May be operated by a common business operator. The outline of each apparatus included in the information processing system 10 according to the present embodiment will be described below.
  • the tactile presentation device 100 is composed of, for example, a device that can be worn on the body.
  • the tactile presentation device 100 assumes, for example, a vest type (sleeveless outerwear shape) device worn by the distributor 800.
  • the vest-type tactile presentation device 100 has a plurality of tactile stimulators (not shown) inside.
  • a predetermined number for example, 6
  • the shape of the tactile presentation device 100 is not limited to the vest type, and may be a jacket shape having sleeves.
  • one or more tactile stimulating portions may be arranged not only in the chest and abdomen of the distributor 800 but also in the positions corresponding to both arms of the distributor 800.
  • the tactile presentation device 100 is not limited to the shape of a jacket, and may be in the shape of trousers, shoes, a belt, a hat, gloves, a mask, or the like.
  • one microphone 206 may be arranged on each of the left and right sides, or one microphone 206 may be arranged on one of the left and right sides, or three or more microphones 206 may be arranged on the shoulder portion of the tactile presentation device 100. It may be arranged. Further, the microphone 206 may be arranged around the distributor 800 as another device independent of the tactile presentation device 100. Further, the tactile presentation device 100 includes a wearing state detection sensor (for example, a fastener type sensor, a pressure sensor, etc.) for detecting the wearing state of the tactile presentation device 100 (not shown), and the operation and posture of the distributor 800.
  • a wearing state detection sensor for example, a fastener type sensor, a pressure sensor, etc.
  • IMU Inertial sensor
  • biometric information sensor for detecting biometric information of distributor 800 (eg, heartbeat, pulse, brain wave, breathing, sweating, myoelectric potential, skin temperature).
  • a sensor that senses skin electrical resistance, eye movement, pupil diameter, etc.) (not shown) or the like may be built-in. The detailed configuration of the tactile presentation device 100 will be described later.
  • the drive amplifier / interface 200 is an interface for transmitting and receiving tactile control signals between the tactile presentation device 100 and the haptics server 300.
  • the drive amplifier / interface 200 acquires the profile information (functional information, etc.) of the tactile presentation device 100 from the tactile presentation device 100, or converts and amplifies the tactile control signal generated by the haptics server 300. It can be transmitted to the tactile presentation device 100.
  • the monitor 204 can display, for example, an image of the distributor 800 captured by the camera 208 described later toward the distributor 800, and further, the monitor 204 can display a text, an icon, or an image of the distributor 800 on the image of the distributor 800. Animations and the like can be superimposed and displayed.
  • the monitor 204 is realized by a liquid crystal display (LCD: Liquid Crystal Display) device, an OLED (Organic Light Emitting Diode) device, or the like.
  • the display unit (not shown) of the monitor 204 may be provided as a unit integrated with the input unit (not shown). In this case, the input unit may be provided, for example, on the display unit. It is realized by the superimposed touch panel. Further, in the present embodiment, the monitor 204 may be provided with a speaker 202 that outputs audio to the distributor 800.
  • the camera 208 is one or a plurality of visible light cameras that capture the distributor 800 from one viewpoint or multiple viewpoints, and the images taken by the camera 208 are the haptics server 300, the distribution data editing server 400, and the live distribution server. It is transmitted to the user terminal 700 on the viewer 900 side via the 500.
  • the camera 208 may take an image of a real object or the like around or around the distributor 800.
  • the camera 208 has a lens system composed of an image pickup lens, an aperture, a zoom lens, a focus lens, and the like, and a drive system that causes the lens system to perform a focus operation and a zoom operation.
  • the camera 208 has a solid-state image sensor array and the like that generate an image pickup signal by photoelectrically converting the image pickup light obtained by the lens system.
  • the solid-state image sensor array may be realized by, for example, a CCD (Charge Coupled Device) sensor array, a CMOS (Complementary Metal Oxide Sensor) sensor array, or the like.
  • the haptics server 300 receives the stamp (control command) 850 with a tactile stimulus effect input from the viewer 900 via the live distribution server 500, generates a tactile control signal according to the stamp 850, and generates a tactile control signal. Can be transmitted to the tactile presentation device 100.
  • Each stamp 850 with a tactile stimulus effect is associated with each predetermined control command, and each control command has information (position information) that specifies a perceptual position for presenting a vibration stimulus (specifically, for example, tactile sensation).
  • position information that specifies a perceptual position for presenting a vibration stimulus (specifically, for example, tactile sensation).
  • control command may include a tactile stimulating unit (not shown) provided in the tactile presentation device 100 and identification information (ID) for designating the morphological information.
  • the haptics server 300 is provided on the tactile presentation device 100 so as to present a vibration stimulus with a specified waveform at a specified perceptual position at a specified perceptual position by the control command.
  • a tactile control signal (waveform data) to be input to the tactile stimulus unit is generated and transmitted to the tactile presentation device 100.
  • control command associated with each stamp 850 with a tactile stimulus effect may include only the identification information (ID) of the stamp 850.
  • the haptics server 300 refers to the received identification information of the stamp 850, and based on the data associated with the identification information stored in advance, the tactile control signal (waveform data) corresponding to the stamp 850. May be generated.
  • the "perceptual position" includes the movement path of the perceptual position and the perceptual range having a predetermined width. The detailed configuration of the haptics server 300 will be described later.
  • the distribution data editing server 400 can edit the video by the camera 208 received via the haptics server 300 and the audio by the microphone 206 received via the haptics server 300. Further, the distribution data editing server 400 transmits the edited video and audio data to the user terminal 700 via the live distribution server 500, and outputs the edited video and audio data to the speaker 202 and the monitor 204 via the haptics server 300. be able to. For example, the distribution data editing server 400 superimposes the image of the stamp 850 input from the viewer 900 and the video effect associated with the stamp 850 on the image of the distributor 800 captured by the camera 208 for distribution. It is possible to generate video data for the purpose. The detailed configuration of the distribution data editing server 400 will be described later.
  • the live distribution server 500 can distribute an image of the distributor 800 or the like, an image for selecting the stamp 850 with a tactile stimulus effect, or the like to the user terminal 700.
  • the live distribution server 500 can authenticate via Web API (Application Programming Interface) and monitor the stamp 850 with a tactile stimulus effect transmitted from the viewer 900.
  • Web API Application Programming Interface
  • the haptics server 300, the distribution data editing server 400, and the live distribution server 500 may be realized by a single device or may be realized by a plurality of devices, and are particularly limited. It's not a thing. The details will be described later.
  • the user terminal 700 is a terminal used by the viewer 900 or installed in the vicinity of the viewer 900, for example, for the viewer 900 to input the stamp 850 with the tactile stimulus effect. Then, the user terminal 700 receives the stamp (control command) 850 with the tactile stimulus effect input from the viewer 900, and transmits the received stamp 850 to the haptics server 300 via the live distribution server 500. Further, the user terminal 700 uses, for example, the live distribution server 500 to display the image of the distributor 800 to which the image effect associated with the received stamp 850 is applied and the tactile stimulus associated with the stamp 850 is presented. Can be received and displayed via.
  • the user terminal 700 receives the identification information (ID) of the stamp 850, reads out the information of the video effect associated with the identification information from its own storage unit (not shown), and processes it by itself. You may go, or you may receive a video that has already been subjected to video effects.
  • the user terminal 700 can be a wearable device such as a smartphone, a tablet-type PC (Personal Computer), a mobile phone, a laptop-type PC, or an HMD (Head Mounted Display).
  • the user terminal 700 may be a dedicated device installed in a room provided by a business operator such as a karaoke box. The detailed configuration of the user terminal 700 will be described later.
  • FIG. 4 is a diagram showing an external configuration example of the tactile presentation device 100 according to the present embodiment
  • FIG. 5 is a diagram showing a functional configuration example of the tactile presentation device 100 according to the present embodiment.
  • the tactile presentation device 100 is a device that is attached to a part of the body of the distributor 800 and vibrates according to the stamp (control command) 850 to give a tactile stimulus to the distributor 800.
  • the vest type tactile presentation device 100 has a plurality of tactile stimulators 106 inside, as described above.
  • the tactile stimulus unit 106 is composed of, for example, an actuator, is driven by a tactile control signal generated by a haptics server 300 to generate vibration, and presents such vibration as a tactile stimulus.
  • the actuator for example, an eccentric motor, a linear vibrator, a piezoelectric element, or the like can be used.
  • the tactile presentation device 100 has a communication unit 102, a control unit 104, the above-mentioned tactile stimulation unit 106, and an operation unit 108.
  • a communication unit 102 the tactile presentation device 100 has a communication unit 102, a control unit 104, the above-mentioned tactile stimulation unit 106, and an operation unit 108.
  • each functional block of the tactile presentation device 100 will be sequentially described.
  • the communication unit 102 is wirelessly connected to the haptics server 300 via the drive amplifier / interface 200, and can transmit and receive information to and from the haptics server 300.
  • the control unit 104 is a controller, and can drive the tactile stimulus unit 106 based on the tactile control signal input via the communication unit 102 described above.
  • various programs stored in a ROM (Read Only Memory) inside the tactile presentation device 100 by a CPU (Central Processing Unit), an MPU (Micro Processing Unit), or the like are stored in a RAM (Random Access Memory). ) Is executed as a work area.
  • the control unit 104 can also be realized by an integrated circuit such as an ASIC (Application Specific Integrated Circuit) or an FPGA (Field Programmable Gate Array).
  • the operation unit 108 is an operation device such as a touch sensor, a pressure sensor, a proximity sensor, a button, a switch, and a lever operated by the distributor 800, and for example, the intensity of the tactile stimulus presented by the distributor 800 is weakened. Or can stop the presentation of tactile stimuli.
  • the detailed configuration of the tactile presentation device 100 according to the present embodiment has been specifically described above, the detailed configuration of the tactile presentation device 100 according to the present embodiment is not limited to the examples shown in FIGS. 4 and 5. ..
  • the tactile presentation device 100 is not limited to the best type wearable device as described above, but is a wearable device that can be attached to a part of the user's body (earlobe, neck, arm, wrist, ankle, etc.). You may. More specifically, wearable devices include ear device type, anklet type, ring type, glove type, bracelet (wristband) type, collar type, eyewear type, headwear type, pad type, batch type, and clothing type. Various methods / forms of wearable devices such as the above can be mentioned.
  • the tactile presentation device 100 may be configured as an on-hand type mounted on a device held by the distributor 800, for example, a smartphone, a tablet, a camera, a game controller, a portable music player, or the like, and may be a pen type or a stick. It may be a mold or a handle type. Further, the tactile presentation device 100 is not limited to the wearable type and the on-hand type, and may be configured as a slate / floor type mounted on furniture such as a bed, a chair, a table, or various facilities.
  • the tactile presentation device 100 will be described as presenting the tactile stimulus (vibration) to the distributor 800, but the present invention is not limited to this, and the tactile stimulus is substituted or used instead of the tactile stimulus.
  • the tactile stimulus is substituted or used instead of the tactile stimulus.
  • wind, electrical stimulus, ultrasonic wave, force sensation, heat, humidity, scent, etc. may be given to the distributor 800.
  • the present invention is not limited to presenting the tactile stimulus to the distributor 800, and the viewer 900 who has selected the stamp 850 or the viewer who simply enjoys the distribution of the distributor 800.
  • a tactile stimulus or the like may be presented to the 900.
  • FIG. 6 is a diagram showing a functional configuration example of the haptics server 300 according to the embodiment of the present disclosure.
  • the haptics server 300 includes a communication unit 302, a camera image acquisition unit 304, a microphone sound acquisition unit 306, a stamp acquisition unit 308, a tactile signal generation unit 310, and a distributor status acquisition unit. It mainly has a 312, an output image acquisition unit 314, an output audio acquisition unit 316, and a storage unit 318.
  • each functional block of the haptics server 300 will be sequentially described.
  • the communication unit (distribution unit) 302 can transmit and receive information to and from the tactile presentation device 100, the speaker 202, the monitor 204, and the camera 208.
  • the communication unit 302 is a communication interface having a function of transmitting and receiving data, and is realized by a communication device (not shown) such as a communication antenna, a transmission / reception circuit, and a port.
  • the communication unit 302 transmits a tactile control signal to the tactile presentation device 100, transmits video data (including, for example, text information) from the distribution data editing server 400 to the monitor 204, and distributes the video data.
  • the voice data (predetermined voice) from the data editing server 400 can be transmitted to the speaker 202.
  • a camera image acquisition unit 304 a microphone sound acquisition unit 306, a stamp acquisition unit 308, a tactile signal generation unit 310, a distributor state acquisition unit 312, an output image acquisition unit 314, and an output sound acquisition unit 316 will be described.
  • These functional units are realized by, for example, a CPU, an MPU, or the like executing various programs stored in a ROM or the like inside the haptics server 300 using the RAM as a work area.
  • the camera image acquisition unit 304 can acquire a real space image on the distributor 800 side or an image of the distributor 800 from the camera 208 and transmit it to the distribution data editing server 400 via the communication unit 302.
  • the microphone voice acquisition unit 306 can acquire the environmental sound in the real space on the distributor 800 side and the voice of the distributor 800 from the microphone 206 and transmit the sound to the distribution data editing server 400 via the communication unit 302. ..
  • the stamp acquisition unit 308 includes position information (presentation unit information) and the tactile sensation that designates a presentation position for presenting the tactile stimulus by the tactile presentation device 100 associated with the stamp 850 with the tactile stimulus effect input from the viewer 900.
  • a control command including morphological information for designating a stimulus morphology can be acquired and output to a tactile signal generation unit 310 described later.
  • the stamp acquisition unit 308 may acquire a control command including only the identification information (ID) associated with the stamp 850 with the tactile stimulus effect and output it to the tactile signal generation unit 310 described later.
  • ID identification information
  • the tactile signal generation unit 310 can generate a tactile control signal for controlling the tactile presentation device 100 based on a control command associated with the stamp 850 with a tactile stimulus effect input from the viewer 900. Specifically, the tactile signal generation unit 310 is designated based on a control command including a perceived position (position information) of the vibration stimulus, a waveform type of the vibration stimulus, an intensity information (morphology information) of the vibration stimulus, and the like. Input to each tactile stimulus unit 106 (specifically, a vibration actuator) provided in the tactile presentation device 100 so as to present a vibration stimulus with a specified waveform at a specified perceptual position with a specified intensity. Generate waveform data for.
  • the tactile control signal may include information instructing the presentation of the vibration stimulus at the presentation timing, frequency, interval, and presentation time of the tactile stimulus based on the control command. Further, the tactile signal generation unit 310 refers to the control command including only the identification information (ID) associated with the stamp 850 with the tactile stimulus effect input from the viewer 900, and refers to the identification information stored in advance. A tactile control signal (including perceived position, waveform type, intensity information, etc.) corresponding to the stamp 850 may be generated based on the associated data.
  • ID identification information
  • a tactile control signal including perceived position, waveform type, intensity information, etc.
  • the tactile signal generation unit 310 may adjust the tactile control signal according to the wearing condition of the tactile presentation device 100 of the distributor 800 and the profile (function, etc.) of the tactile presentation device 100.
  • the tactile signal generation unit 310 can transmit the generated tactile control signal to the tactile presentation device 100 mounted on the body of the distributor 800 via the communication unit 302.
  • the distributor state acquisition unit 312 acquires, for example, sensing data acquired by a wearing state detection sensor (not shown) for detecting the wearing state of the tactile presentation device 100, and outputs the sensing data or the like to the above-mentioned tactile signal generation unit 310. be able to.
  • the output image acquisition unit 314 can acquire edited video data (predetermined image, text information) from the distribution data editing server 400 and transmit it to the monitor 204 via the communication unit 302.
  • the output voice acquisition unit 316 can acquire the edited voice data or the like from the distribution data editing server 400 and transmit it to the speaker 202 via the communication unit 302.
  • the storage unit 318 stores a ROM that stores programs and arithmetic parameters used for processing of the tactile signal generation unit 310, a RAM that temporarily stores parameters that change as appropriate, and an HDD that stores various databases (DBs). Realized from the device.
  • the storage unit 318 stores a tactile data library (perceived position, vibration waveform pattern, etc.) generated in advance in association with the identification information (ID) of each stamp 850, and uses this to store the tactile data library (perceived position, vibration waveform pattern, etc.).
  • the above-mentioned tactile signal generation unit 310 can also generate a tactile control signal.
  • the storage unit 318 may store information such as the number of tactile stimulating units 106 of the tactile presentation device 100, their positions, frequency characteristics, maximum input voltage, and the like as profile information of the tactile presentation device 100.
  • the tactile signal generation unit 310 can adjust the tactile control signal with reference to such profile information.
  • the detailed configuration of the haptics server 300 according to the present embodiment has been specifically described above, the detailed configuration of the haptics server 300 according to the present embodiment is not limited to the example shown in FIG.
  • FIG. 7 is a diagram showing a functional configuration example of the distribution data editing server 400 according to the embodiment of the present disclosure.
  • the distribution data editing server 400 includes a communication unit 402, a camera image acquisition unit 404, an image generation unit 406, a stamp acquisition unit 408, a microphone voice acquisition unit 410, and a voice generation unit 412. It mainly has an output voice acquisition unit 414 and a storage unit 416.
  • each functional block of the distribution data editing server 400 will be sequentially described.
  • the communication unit 402 can send and receive information to and from the haptics server 300 and the live distribution server 500.
  • the communication unit 402 is a communication interface having a function of transmitting and receiving data, and is realized by a communication device (not shown) such as a communication antenna, a transmission / reception circuit, and a port.
  • a camera image acquisition unit 404 an image generation unit 406, a stamp acquisition unit 408, a microphone sound acquisition unit 410, a sound generation unit 412, and an output sound acquisition unit 414 will be described.
  • These functional units are realized by, for example, a CPU, an MPU, or the like executing various programs stored in a ROM or the like inside the distribution data editing server 400 using the RAM as a work area.
  • the camera image acquisition unit 404 may acquire a real space image on the distributor 800 side or an image of the distributor 800 from the camera 208 via the haptics server 300 and output the image to the image generation unit 406 described later. can.
  • the image generation unit 406 can generate image data to be presented to the viewer 900 or the distributor 800.
  • the image generation unit 406 can generate video data such that virtual objects such as icons, animations, and texts are superimposed and displayed on the image of the distributor 800.
  • the virtual object can be an animation or the like in which a bomb that is displayed at the same time as a tactile stimulus is presented bursts.
  • the virtual object may be an image corresponding to the stamp 850 with a tactile stimulus effect input from the viewer 900.
  • the image generation unit 406 has a heart shape. It is possible to generate video data such that the stamp 850 is superimposed and displayed on the image of the distributor 800.
  • the image generation unit 406 may apply, for example, a video effect associated with the stamp 850 input from the viewer 900 to the image of the distributor 800. Further, for example, when the tactile presentation device 100 is not attached to the body of the distributor 800 and the tactile stimulus cannot be presented to the distributor 800, the image generation unit 406 may use the viewer 900 or the like instead of the tactile stimulus. It is also possible to generate the video data presented in.
  • stamp acquisition unit 408 The stamp acquisition unit 408 can acquire the information of the stamp 850 with the tactile stimulus effect input from the viewer 900 and output it to the image generation unit 406 and the voice generation unit 412.
  • the microphone voice acquisition unit 410 can acquire the voice of the distributor 800 from the microphone 206 via the haptics server 300 and output it to the voice generation unit 412 described later.
  • the audio generation unit 412 can generate audio data to be presented to the viewer 900 or the distributor 800.
  • the voice generation unit 412 can generate voice data as if the bomb that was output at the same time as the tactile stimulus was presented burst.
  • the voice generation unit 412 may generate voice data of the voice corresponding to the stamp 850 with the tactile stimulus effect input from the viewer 900.
  • the voice generation unit 412 generates voice data in which the bark of the wild bird is superimposed on the singing voice of the distributor 800 or the like.
  • the voice generation unit 412 may generate voice data in which the voice of the viewer 900 acquired by the user terminal 700 is superimposed on the singing voice of the distributor 800 or the like. Further, for example, when the tactile presentation device 100 is not attached to the body of the distributor 800 and the tactile stimulus cannot be presented to the distributor 800, the voice generation unit 412 may use the viewer 900 or the like instead of the tactile stimulus. It is also possible to generate audio data to be output to.
  • the output voice acquisition unit 414 can acquire the voice input from the viewer 900 using the user terminal 700 and output it to the voice generation unit 412.
  • the storage unit 416 has a ROM for storing programs and arithmetic parameters used for processing in the image generation unit 406 and the output sound acquisition unit 414, a RAM for temporarily storing parameters that change as appropriate, and various databases (DB). It is realized from a storage device such as an HDD for storing.
  • the storage unit 416 stores an image and audio data library generated in advance in association with the identification information (ID) of each stamp 850, and uses this to store the image generation unit 406 and output audio.
  • the acquisition unit 414 generates video data and audio data.
  • the detailed configuration of the distribution data editing server 400 according to the present embodiment has been specifically described above, the detailed configuration of the distribution data editing server 400 according to the present embodiment is not limited to the example shown in FIG.
  • FIG. 8 is a diagram showing a functional configuration example of the live distribution server 500 according to the embodiment of the present disclosure.
  • the live distribution server 500 includes a communication unit 502, a GUI control unit 504, a stamp acquisition unit 506, an audio data acquisition unit 508, an image data acquisition unit 510, and a tactile signal acquisition unit 512. It mainly has a viewer information acquisition unit 514, a distribution control unit 516, and a storage unit 518.
  • each functional block of the live distribution server 500 will be sequentially described.
  • the communication unit 502 can send and receive information to and from the user terminal 700, the distribution data editing server 400, and the haptics server 300.
  • the communication unit 502 is a communication interface having a function of transmitting and receiving data, and is realized by a communication device (not shown) such as a communication antenna, a transmission / reception circuit, and a port.
  • the functional unit is realized by, for example, using a CPU, an MPU, or the like to execute various programs stored in a ROM or the like inside the live distribution server 500 using the RAM as a work area.
  • the GUI control unit 504 can control the user terminal 700 of the viewer 900 and display a screen for inputting a stamp (control command) 850 with a tactile stimulus effect. Specifically, the GUI control unit 504 causes the display unit 702 of the user terminal 700 to display a screen as shown in FIG. 2 as a screen for selecting the stamp 850 with the tactile stimulus effect. On the selection screen (stamp selection screen), a large number of stamps 850 with a tactile stimulus effect are displayed. Each stamp 850 with a tactile stimulus effect is associated with a control command for the tactile presentation device 100, and the viewer 900 can input a control command by selecting the stamp 850 displayed on the selection screen. can.
  • the image of the stamp 850 with the tactile stimulus effect intuitively reminds the tactile stimulus, the feeling (message), etc. that the viewer 900 wants to send to the distributor 800.
  • the GUI control unit 504 may display an image on the display unit 702 of the user terminal 700 in which a stamp without the tactile stimulus effect can be selected in addition to the stamp 850 with the tactile stimulus effect. ..
  • stamp acquisition unit 506 acquires the information (for example, ID) of the stamp 850 with the tactile stimulus effect input from the viewer 900 and transmits it to the distribution data editing server 400 and the haptics server 300 via the communication unit 502. be able to. Further, the stamp acquisition unit 506 may acquire command information such as a tactile control signal and an image table control signal corresponding to the above input from the user terminal 700.
  • the voice data acquisition unit 508 can acquire voice data from the distribution data editing server 400 and transmit it to the user terminal 700 via the communication unit 502.
  • the image data acquisition unit 510 can acquire image data from the distribution data editing server 400 and transmit it to the user terminal 700 via the communication unit 502.
  • the tactile signal acquisition unit 512 can acquire a tactile control signal from the haptics server 300 and transmit it to the user terminal 700.
  • the vibration device may reproduce the tactile stimulus corresponding to the stamp 850 selected by the viewer 900.
  • the viewer information acquisition unit 514 can acquire, for example, the identification information (for example, ID) of the viewer 900 transmitted from the user terminal 700 and authenticate the viewer 900.
  • the distribution control unit 516 controls transmission of data from the audio data acquisition unit 508, the image data acquisition unit 510, and the tactile signal acquisition unit 512 to the user terminal 700 of the viewer 900 authenticated by the viewer information acquisition unit 514. can do.
  • the storage unit 518 stores a ROM that stores programs and arithmetic parameters used for processing in the live distribution server 500, a RAM that temporarily stores parameters that change as appropriate, and an HDD that stores various databases (DBs). Realized from the device.
  • the storage unit 518 may store the identification information of the viewer 900, and further, the information of the control command acquired in the past by the viewer 900 and the stamp (control command) 850 used may be stored in the viewer 900. It may be stored in association with the identification information of.
  • the live distribution server 500 refers to the information stored in the storage unit 518, and the stamp (control command) 850 that is frequently used by the viewer 900, or conversely, the stamp that is frequently used by the viewer 900.
  • Control command) 850 may be selected and further have a recommendation section (not shown) that recommends the selected stamp 850 with a tactile stimulus effect toward the viewer 900.
  • the recommendation unit may recommend the viewer 900 to input the stamp 850 to the distributor 800 who has not obtained a predetermined number or more of the stamp 850 in the past.
  • FIG. 9 is a diagram showing a functional configuration example of the user terminal 700 according to the present embodiment.
  • the user terminal 700 mainly includes a display unit 702, an operation input unit 704, a speaker 706, a communication unit 708, a control unit 710, a storage unit 712, and a sensor unit 720. ..
  • each functional block of the user terminal 700 will be sequentially described.
  • the display unit 702 can display, for example, a selection screen for selecting a stamp (control command) 850 with a tactile stimulus effect, an image of the distributor 800, or the like toward the viewer 900. Further, the display unit 702 can superimpose and display text, an icon, an animation, or the like on the image of the distributor 800.
  • the display unit 702 is realized by a liquid crystal display device, an OLED device, or the like.
  • the operation input unit 704 has a tactile stimulus effect linked by the viewer 900 to a control command including, for example, a position information that specifies a presentation position for presenting the tactile stimulus and a morphological information that specifies the form of the tactile stimulus.
  • the selection result of the stamp 850 is input.
  • the operation input unit 704 may directly input a control command.
  • the operation input unit 704 is realized by a switch, a button, a touch panel, a lever, or the like. Further, the content of the operation input by the operation input unit 704 may be displayed by the display unit 702 described above.
  • the operation input unit 704 is provided so as to be superimposed on the display unit 702 described above, and information on an input operation from the viewer 900 to the position selection screen for designating the presentation position displayed by the display unit 702. (For example, location information) can be accepted.
  • the speaker 706 can reproduce sound according to the control of the control unit 710 described later.
  • the speaker 706 may be provided in the user terminal 700, or may be a device separate from the user terminal 700, such as a pair of earphone speakers (not shown).
  • the communication unit 708 can send and receive information to and from the live distribution server 500, and in detail, the information of the stamp (control command) 850 with a tactile stimulus effect input to the viewer 900 is used in the live distribution server. It can be sent to 500.
  • the communication unit 708 can receive the information transmitted from the live distribution server 500.
  • the communication unit 708 is a communication interface having a function of transmitting and receiving data, and is realized by a communication device (not shown) such as a communication antenna, a transmission / reception circuit, and a port.
  • the control unit 710 is a controller of the user terminal 700, and is realized by, for example, using a CPU, an MPU, or the like to execute various programs stored in a ROM or the like inside the user terminal 700 using the RAM as a work area. ..
  • the storage unit 712 is realized from a storage device such as a ROM that stores programs and arithmetic parameters used for processing of the control unit 710 described above, and a RAM or the like that temporarily stores parameters that change as appropriate.
  • the sensor unit 720 can acquire sensing data regarding an operation (vibration given to the user terminal 700, etc.) from the viewer 900.
  • the sensor unit 720 mainly includes a camera 722, a microphone 724, a gyro sensor 726, and an acceleration sensor 728, as shown in FIG.
  • the above-mentioned sensor is an example, and the present embodiment is not limited to this.
  • the camera 722 captures, for example, the operation of the viewer 900 and outputs the captured image to the control unit 710 described above. Then, the control unit 710 can extract a predetermined motion by the viewer 900 from the image captured by the camera 722 and acquire a control command related to the extracted motion.
  • the camera 722 has a lens system composed of an image pickup lens, an aperture, a zoom lens, a focus lens, and the like, and a drive system that causes the lens system to perform a focus operation and a zoom operation.
  • the camera 722 has a solid-state image sensor array and the like that generate an image pickup signal by photoelectrically converting the image pickup light obtained by the lens system.
  • the solid-state image sensor array may be realized by, for example, a CCD sensor array, a CMOS sensor array, or the like.
  • the camera 722 may include a ToF (Time of Flat) sensor (not shown).
  • the ToF sensor for example, irradiates the subject with irradiation light having a predetermined period, detects the reflected light reflected by the subject, and detects the phase difference and time difference between the irradiation light and the reflected light, thereby detecting the subject.
  • Depth information can be acquired.
  • the depth information of the subject is depth information which is one of the distance information from the ToF sensor to each point on the surface of the subject. Then, by aggregating the depth information of a plurality of points on the subject surface, it is possible to obtain shape information regarding the uneven shape of the subject surface, that is, external shape information of the subject.
  • the microphone 724 collects the sound of the viewer 900 and outputs the collected sound data to the control unit 710 described above. Then, the control unit 710 may extract a voice pattern by the viewer 900 from the voice collected by the microphone 724 and acquire a control command related to the extracted voice pattern (for example, a stamp by the voice of the viewer 900). Designation of 850, etc.).
  • the gyro sensor 726 is realized by, for example, a 3-axis gyro sensor, and detects the angular velocity (rotational speed) of the movement of the user terminal 700 by the viewer 900.
  • the acceleration sensor 728 is realized by, for example, a 3-axis acceleration sensor (also referred to as a G sensor), and detects the acceleration of the movement of the user terminal 700 by the viewer 900.
  • the sensory data from these sensors can be used to recognize the operation performed by the viewer 900 on the user terminal 700, and further, it is possible to acquire a control command related to the recognized operation.
  • the detailed configuration of the user terminal 700 according to the present embodiment is not limited to the example shown in FIG. 9, and is, for example, vibration.
  • the viewer may further have a vibration device (oscillator) for notifying the viewer 900. That is, although not shown in FIG. 9, the user terminal 700 may be equipped with a vibration device that reproduces a tactile stimulus, or may be a tactile presentation device 100 attached to the body of the viewer 900.
  • FIGS. 10 to 18 are explanatory views for explaining a display example according to the present embodiment
  • FIGS. 11, 13, and 14 are explanations for explaining a tactile stimulus presentation example according to the present embodiment. It is a figure.
  • the viewer 900 selects a stamp 850 with a tactile stimulating effect, which is composed of a plurality of heart shapes.
  • the input stamp 850 may be displayed next to the comment 860 of the viewer 900.
  • the tactile stimulating unit 106 at the tactile position specified by the control command associated with the selected stamp 850 of the tactile presentation device 100 attached to the body of the distributor 800 vibrates. As a result, the tactile stimulus is presented to the distributor 800.
  • the information processing system 10 may distribute the image of the stamp 850 superimposed on the image of the distributor 800 (Augmented Reality; AR display) to the viewer 900. .. Specifically, the position on which the stamp 850 is superimposed may be the perceptual position specified by the control command associated with the stamp 850. At this time, the information processing system 10 may distribute the comment 860 of the viewer 900 who views the image of the same distributor 800 together with the above image. Further, in the present embodiment, the information processing system 10 automatically selects the stamp 850 based on the comment input by the viewer 900, and the tactile stimulus associated with the automatically selected stamp 850 is generated. It may be presented to the distributor 800.
  • the virtual object superimposed on the image of the distributor 800 may be an animation image.
  • the stamp 852 input by the viewer 900 is a firework, and according to the stamp 852, an animation image of the fireworks (an image in which light spreads from the center to the outer periphery) 852 is superimposed on the image of the distributor 800. Will be done.
  • the tactile sensation of the tactile presentation device 100 attached to the body of the distributor 800 is synchronized with the change of the animation image 852.
  • the tactile position where the stimulus is presented ie, the tactile stimulus unit 106 where the tactile stimulus is presented) changes.
  • the tactile stimulus unit 106 that presents the tactile stimulus of the tactile presentation device 100 is synchronized with the image that the light spreads from the center of the fireworks animation image 852 to the outer periphery, from the tactile stimulus unit 106 located at the center. It changes to the tactile stimulating unit 106 located on the outer circumference.
  • the change in the animation image 852 is not limited to being synchronized with the change in the tactile position, and is synchronized with, for example, any of the changes in the frequency, waveform, and intensity of the tactile control signal. You may.
  • the tactile position (that is, the tactile sensation) in which the tactile stimulus of the tactile presentation device 100 worn on the body of the distributor 800 is presented in synchronization with the change of the animation image 852.
  • the viewer 900 may be presented with specific information that the tactile stimulus unit 106) on which the stimulus is presented changes. For example, on the user terminal 700 of the viewer 900 shown in FIG. 14, a display 842 indicating which portion (tactile stimulating unit 106) is vibrating is displayed. In the example of FIG. 14, when the animation image 852 changes, the tactile position changes, so that the display of the display 842 also changes. Further, on the display 842, the color, shade of color, brightness, etc.
  • a specific waveform image 840 of the tactile stimulus during reproduction is also displayed.
  • the waveform image may be displayed in a deformed shape, and the color of the waveform, the shade of the color, the brightness, the thickness of the line, and the like may change according to the change in the intensity of the tactile stimulus.
  • the virtual object superimposed on the image of the stamp 850 or the distributor 800 is not limited to the one prepared in advance, and the operation of the viewer 900 is performed. It may be composed of a locus drawn by. Specifically, the viewer 900 may form a stamp 850 indicating one word by arranging a plurality of stamps 850a along a trajectory determined by the viewer (in FIG. 15, the word "LOVE"). Forming a stamp 850 consisting of). Further, the stamp 850 of FIG. 15 may be an animation image in which a plurality of small stamps 850a appear in an order along a trajectory drawn by the viewer 900 to create the character "LOVE".
  • the stamp 850 and the virtual object prepared in advance may be deformed according to the shape of the object in the real space to be superimposed.
  • the shape and size of the eyeglass-shaped stamp 850 are changed according to the shape and size of the face of the distributor 800, and the stamp 850 is superimposed on the image of the face of the distributor 800. do.
  • the stamp 850 itself or the coin for purchasing the stamp 850 is used. It may be generated.
  • the distributor 800 prepares coins for prizes and specifies conditions under which a lottery can be performed (specifically, for example, input a secret word or an arbitrary comment). hold. Then, the viewer 900 can win coins by lottery by participating in the lottery when the designated conditions are satisfied. Then, the viewer 900 can purchase the stamp 850 with a tactile stimulating effect with the acquired coins.
  • the viewer 900 predicts the winning / losing result. Then, if the prediction is correct, the viewer 900 can obtain the stamp 850 with a tactile stimulating effect as a gift.
  • the viewer 900 can obtain a bonus by logging in to a predetermined application or site once a day.
  • the bonus may be a stamp 850 with a tactile stimulus effect or a virtual currency in which the stamp 850 can be purchased.
  • the viewer 900 obtains the bonus when he / she visits the predetermined store (detected by the position sensor mounted on the user terminal 700). good.
  • the viewer 900 may be able to obtain more stamps 850 or higher-priced stamps (rare stamps) 850.
  • the distributor 800 can purchase the stamp 850 with a tactile stimulating effect and the stamp 850 as a privilege limited to the subscription service subscriber by opening the subscription function. Currency may be provided.
  • the viewer 900 can support the distributor 800 by subscribing to the subscription service of the favorite distributor 800, and can use the above-mentioned benefits limited to the subscriber. can.
  • the viewer 900 can feel as if he / she is directly communicating with the distributor 800. That is, the viewer 900 can obtain a real-time and interactive high-value-added experience.
  • FIG. 19 is an explanatory diagram for explaining the present embodiment
  • FIG. 20 is an explanatory diagram for explaining a display example according to the present embodiment.
  • one viewer 900 may enjoy distribution from a plurality of distributors 800a, 800b, and 800c at the same time.
  • the viewer 900 selects a method of selecting a distributor 800 for transmitting a stamp (control command) 850 with a tactile stimulus effect, and which distributor 800 experiences the presented tactile stimulus. The method will be described.
  • the viewer 900 when the viewer 900 is displaying the distribution screens from the plurality of distributors 800a, 800b, 800c on the display unit 702 of the user terminal 700, the viewer.
  • the 900 may simultaneously transmit the same stamp 850 to all or some of these distributors 800a, 800b, and 800c.
  • the viewer 900 selects the distribution screen of the distributor 800 who wants to present the tactile stimulus or an icon (not shown) superimposed on the distribution screen, thereby transmitting the stamp 850 to the distributor 800. You may decide. More specifically, for example, the viewer 900 touch-operates the distribution screen of the distributor 800 to be transmitted and then touch-operates the stamp 850 to give the distributor 800 a stamp 850 with a tactile stimulus effect. Can be sent.
  • voice input may be used as a means for selecting the distributor 800 to transmit. For example, calling the name of the distributor 800, speaking the position of the distribution screen (right side, lower side, etc.), or information on an object located in the real space included in the distribution image of the distributor 800 (for example, a chair, distribution). The color of the clothes of the distributor 800, the accessories worn by the distributor 800, etc.) and the information of the virtual object superimposed on the image of the distributor 800 may be uttered. Further, in the present embodiment, the position of the line of sight of the viewer 900 may be used as a means for selecting the distributor 800 to transmit.
  • an icon 870 indicating whether or not the tactile presentation is acceptable is displayed in the upper right of each distribution screen.
  • the icon 870a indicates that the distributor 800b can receive the tactile control signal
  • the icon 870b indicates that the distributor 800b cannot receive the tactile control signal. Therefore, the viewer 900 can refer to such an icon 870 to determine the distributor 800 to send the stamp 850.
  • the viewer 900 can operate the icon 870 shown next to the comment display 860, so that the tactile presentation device 100 worn by the viewer 900 can accept the tactile stimulus. You can set whether or not. Specifically, the viewer 900 can switch between receiving and not receiving the tactile control signal by long-tapping the icon 870b shown next to the comment display 860, for example. .. Further, in the present embodiment, the viewer 900 operates the icon 870 shown next to the comment display 860 of the other viewer 900, so that the tactile control input by the other viewer 900 is performed. The signal may be set to whether or not the tactile presentation device 100 worn by the user can accept the tactile stimulus.
  • the viewing is performed.
  • Person 900 can experience the tactile stimulus corresponding to the stamp 850 transmitted to the distributor 800 by the tactile presentation device 100 or the vibration device.
  • the tactile stimulus experienced by the viewer 900 may be a tactile stimulus corresponding to the stamp 850 selected by the viewer 900, and the stamp transmitted by the distributor 800 selected by the viewer 900 from another viewer 900. It may be a tactile stimulus corresponding to 850.
  • the viewer 900 can select in advance the distributor 800 corresponding to the tactile stimulus to be experienced by operating the icon 870 on the upper right of each distribution screen shown in FIG. 20.
  • the tactile stimuli presented to each distributor 800 are superimposed (specifically, the waveform of each tactile control signal is superimposed). ), May be presented to the viewer 900.
  • the ratio of superimposing the tactile stimulus is the degree of interest regarding each distribution of the viewer 900 (the number of stamps 850 transmitted, the number of comments 860 transmitted, the ratio of time that the line of sight stays, etc.). It may be decided accordingly.
  • the viewer 900 is presented to the distributor 800 according to the degree of interest regarding each distribution (the number of stamps 850 transmitted, the number of comments transmitted, the time ratio during which the line of sight remains, etc.). The intensity of the tactile stimulus, the presentation time, and the like may change.
  • the viewers 900 may transmit the stamp 850 with the tactile stimulating effect to each other.
  • the stamp 850 selected by one viewer 900 may be transmitted only to the other viewer 900 set by one viewer 900.
  • only the stamp 850 from one viewer 900 set by the other viewer 900 may be transmitted to the other viewer 900.
  • the viewer 900 may set in advance whether or not the tactile control signal from another viewer 900 can be received.
  • the viewer 900 may be, for example, a figure. As shown in 20, by long-tapping the icon 870b shown next to the comment display 860 of the user, it is possible to switch between receiving and not receiving the tactile control signal.
  • the viewer 900 operates the icon 870 shown next to the comment display 860 of the other viewer 900 to control the tactile sensation input by the other viewer 900.
  • the signal may be set to whether or not the tactile presentation device 100 worn by the user can accept the tactile stimulus. Further, in the present embodiment, for example, as shown in FIG. 20, it is preferable to display the number of viewers 900 who can receive the tactile control signal on the display 880 toward the viewer 900.
  • FIGS. 21 and 22 are flowcharts of an example of the information processing method according to the present embodiment.
  • an example of the information processing method according to the present embodiment includes a plurality of steps from step S101 to step S102. The details of each step included in an example of the information processing method according to the present embodiment will be described below.
  • the information processing system 10 is based on the setting information from the distributor 800 and the viewer 900 that the tactile control signal can be received or not received, and the tactile control signal of the tactile presentation device 100 of each distributor 800 or the viewer 900. Enable / disable reception (step S101). Next, the information processing system 10 causes the monitor 204 of the distributor 800 and the user terminal 700 of the viewer 900 to display the setting information (step S102). When the viewer 900 is viewing on the browser, it is preferable that the above settings are stored in the haptics server 300 as the setting values associated with the identification information of the viewer 900.
  • an example of the information processing method according to the present embodiment includes a plurality of steps from step S201 to step S205. The details of each step included in an example of the information processing method according to the present embodiment will be described below.
  • the haptics server 300 and the distribution data editing server 400 of the information processing system 10 have information on the stamp 850 input from the viewer 900 (type of stamp 850, input viewer 900, information on the transmitted distributor 800, etc.). Is received (step S201).
  • the haptics server 300 and the distribution data editing server 400 of the information processing system 10 simultaneously receive the video / audio / vibration data itself. You may.
  • the distribution data editing server 400 of the information processing system 10 superimposes a video effect on the distribution screen of the corresponding distributor 800 or reproduces an acoustic effect according to the information of the received stamp 850. (Step S202).
  • step S203 the haptics server 300 of the information processing system 10 determines whether the tactile presentation device 100 of the distributor 800 or the viewer 900 corresponding to the information of the stamp 850 can receive the tactile control signal corresponding to the stamp 850. Is determined (step S203).
  • the haptics server 300 proceeds to step S204 when it is determined that reception is possible (step S203: Yes), and ends the process when it is determined that reception is not possible (step S203: No).
  • the haptics server 300 of the information processing system 10 reads out each parameter of the tactile control signal associated with the stamp 850 (step S204). Next, the haptics server 300 outputs a tactile control signal from the tactile presentation device 100 according to each read parameter (step S205).
  • the distributor 800 for transmitting the stamp 850 with the tactile stimulating effect can be easily selected. .. Further, in the present embodiment, the viewer 900 experiences the tactile stimulus presented to one or a plurality of distributors 800, and the viewers 900 transmit the stamp 850 with the tactile stimulus effect to each other. Can be done. That is, according to the present embodiment, the viewer 900 can obtain a real-time and interactive high-value-added experience.
  • FIG. 23 is an explanatory diagram for explaining an input example according to the third embodiment of the present disclosure.
  • the viewer 900 performs a drag operation (specifically, a finger touch) such as pulling the icon 890 displayed on the display unit 702 of the user terminal 700.
  • the strength or type of the tactile control signal presented to the distributor 800 can be set by performing a drag operation relatively toward the lower part of the screen from the operation start position and then releasing the operation).
  • the intensity or type of the tactile control signal presented to the distributor 800 is determined according to the distance, time or speed at which the viewer 900 pulls the icon 890.
  • the tactile stimulus may be presented to the distributor 800 at the timing when the viewer 900 releases the finger from the icon 890.
  • the tactile stimulus may be presented to the distributor 800 associated with the position corresponding to the vector 910 in the opposite direction to the vector corresponding to the locus of the drag operation.
  • FIG. 24 is a flowchart of an example of the information processing method according to the present embodiment.
  • an example of the information processing method according to the present embodiment includes a plurality of steps from step S301 to step S310. The details of each step included in an example of the information processing method according to the present embodiment will be described below.
  • the user terminal 700 of the information processing system 10 detects the input start position (the place where the touch operation is started) of the viewer 900 with respect to the screen of the user terminal 700 (step S301).
  • the haptics server 300 measures the distance between the current input position and the input start position (step S302).
  • step S303 the user terminal 700 of the information processing system 10 determines whether or not the distance measured in step S302 is equal to or greater than a predetermined distance.
  • step S303: Yes the user terminal 700 determines that the distance is equal to or longer than the predetermined distance
  • step S304 the user terminal 700 proceeds to step S304, and when it determines that the distance is not equal to or longer than the predetermined distance (step S303: No), the process ends. do.
  • the user terminal 700 of the information processing system 10 shifts to the drag operation input mode (step S304).
  • the user terminal 700 detects the input end position (the position where the finger is away from the screen) and measures the distance between the input end position and the input start position (step S305).
  • step S306 determines whether or not the distance measured in step S305 is equal to or greater than a predetermined distance.
  • step S306 determines whether or not the distance measured in step S305 is equal to or greater than a predetermined distance.
  • step S306: Yes the process proceeds to step S307, and when it is determined that the distance is not equal to or longer than the predetermined distance (step S306: No), the process ends. do.
  • the user terminal 700 of the information processing system 10 determines the distribution screen of the distributor 800 on the vector from the input end position to the input start position (step S307). Then, the user terminal 700 transmits the target screen information of the distributor 800, the information of the stamp 850, the operation distance information, and the like to the haptics server 300 and the like (step S308). Next, the haptics server 300 determines the strength of the tactile control signal according to the operation distance information (step S309). Next, the distribution data editing server 400 displays a video effect on the distribution screen of the target distributor 800, and the haptics server 300 outputs a tactile control signal from the tactile presentation device 100 (step S310).
  • FIG. 25 is an explanatory diagram for explaining an input example according to the present embodiment.
  • the viewer 900 swipes the icon 890 displayed on the display unit 702 of the user terminal 700 at the upper part of the screen (or the distributor's distribution relative to the finger touch start position). You may swipe toward the screen) quickly and then release). Again, the strength of the tactile control signal presented by the distributor 800 is determined according to the distance or speed of the swipe operation.
  • FIG. 26 is a flowchart of an example of the information processing method according to the present embodiment.
  • an example of the information processing method according to the present embodiment includes a plurality of steps from step S401 to step S410. The details of each step included in an example of the information processing method according to the present embodiment will be described below.
  • the user terminal 700 of the information processing system 10 receives a predetermined trigger (a specific stamp 850 is input, the distributor 800 switches the mode, the viewer 900 switches the mode, etc.), and the drag input is performed.
  • the mode is switched (step S401).
  • the user terminal 700 detects an operation of touching the screen of the viewer 900 and starts inputting (step S402).
  • the information processing system 10 determines the length of the trajectory to be drawn and the stamp used for drawing according to the distance moved by the viewer 900 while touching the screen. The number is determined and drawn (step S403).
  • step S404 the user terminal 700 of the information processing system 10 determines whether or not the non-operation time has elapsed for a predetermined time or more. If the user terminal 700 determines that the time is longer than the predetermined time (step S404: Yes), the user terminal 700 proceeds to step S405, and if it is determined that the time is not longer than the predetermined time (step S404: No), the user terminal 700 proceeds to step S402. Return to processing.
  • the user terminal 700 of the information processing system 10 measures the total distance (or the number of stamps to be used) of the drawn locus (step S405).
  • step S406 determines whether or not the distance measured in step S405 is equal to or greater than a predetermined distance (or a predetermined number) (step S406). If the user terminal 700 determines that the distance is longer than the predetermined distance (step S406: Yes), the process proceeds to step S407, and if it is determined that the distance is not longer than the predetermined distance (step S406: No), the user terminal 700 proceeds to step S408. Proceed to processing.
  • the user terminal 700 of the information processing system 10 or the haptics server 300 switches the type of the tactile control signal to be presented based on the determination in step S406 (step S407).
  • the haptics server 300 determines the tactile control signal to be presented and reads out each parameter of the tactile control signal (step S408).
  • the haptics server 300 determines the strength of the tactile control signal according to the distance of the locus, the number of stamps 850 used, and the like (step S409).
  • the haptics server 300 outputs a tactile control signal from the tactile presentation device 100 (step S410).
  • the viewer 900 may be set by tapping the back surface facing the display unit 702 of the user terminal 700. Specifically, the viewer 900 selects the stamp 850 by tapping the display unit 702, and determines the timing of presenting the tactile stimulus by tapping the back surface. The tap operation on the back surface can be detected by the acceleration sensor 728 built in the user terminal 700. Further, in the present embodiment, the timing of presenting the tactile stimulus may be determined at the timing when the tap operations by the plurality of viewers 900 are synchronized.
  • the tactile stimulus may be edited and set by operating the display unit 702, but also various sensors and other devices built in the user terminal 700 may be used, for example.
  • the viewer 900 performs a touch operation such as giving vibration to the user terminal 700 and a motion operation such as changing the holding angle to change the waveform and intensity of the tactile stimulus. May be edited.
  • the motion operation is detected by the gyro sensor 726 or the acceleration sensor 728 built in the user terminal 700, and the waveform of the tactile stimulus or the like is determined based on the detected sensing data. can.
  • the shape or character (trajectory) drawn by the viewer 900 is recognized, the wording is extracted from the recognition result, and the stamp 850 or the tactile control signal associated with the extracted wording is selected. You may do it. In that case, not only the operation on the touch panel (not shown) of the user terminal 700 but also characters and shapes may be drawn in the air. In this case, for example, a character or a shape may be recognized by an IMU sensor (not shown) mounted on the arm of the viewer 900.
  • the tactile control signal can be edited by voice input.
  • FIG. 27 is an explanatory diagram for explaining an input example according to the present embodiment.
  • the viewer 900 utters a voice having a predetermined rhythm to the user terminal 700, and the utterance is detected by a microphone 724 built in the user terminal 700.
  • the haptics server 300 may set the frequency of the tactile control signal according to the rhythm of the voice by using the sensing data detected by the microphone 724.
  • the voice input mode is switched to (when released, the voice input mode ends), or the microphone icon 892 is displayed. The input start and end may be switched each time the touch is made.
  • the timing of presentation is determined by voice instead of tap operation. It can be said that voice input is an effective means. Further, when a predetermined music or rhythm is output to the viewer 900 and the rhythm or timing of the spoken voice of the music and the viewer 900 match, the strength of the tactile control signal becomes stronger or other parameters change. You may.
  • the viewer 900 speaks an onomatopoeia (tuck-up, gummer, tremble, etc.), the name of the stamp 850 (heart, bouquet, etc.), etc., the same.
  • a word may be extracted from the spoken voice, and a stamp 850 or a tactile stimulus associated with the extracted word may be selected.
  • the strength of the tactile control signal may be increased or other parameters may be changed according to the sound pressure (volume) of the spoken voice.
  • the viewer 900 may set the presentation timing of the tactile stimulus, the distributor 800 to be presented, and each parameter of the tactile control signal by various input methods. can. Since the viewer 900 can be easily set in this way, according to the present embodiment, the viewer 900 can obtain a real-time and interactive high-value-added experience.
  • FIG. 28 is an explanatory diagram for explaining an input example according to the present embodiment.
  • the clock starts and the user terminal 700 displays the remaining time.
  • the viewer 2 selects the meat stamp 850b and the viewer 3 selects the lettuce stamp 850c within a predetermined time
  • the hamburger stamp in which these stamps 850a, 850b, and 850c are combined is selected. It changes to 850d.
  • the tactile stimulus associated with the stamp 850d is different from the tactile stimulus associated with the other stamps 850a, 850b, and 850c.
  • the video effect of the stamp 850 changes or the image effect of the stamp 850 changes.
  • the tactile stimulus presented to the distributor 800 may change.
  • FIG. 29 is a flowchart of an example of the information processing method according to the present embodiment.
  • an example of the information processing method according to the present embodiment includes a plurality of steps from step S501 to step S507. The details of each step included in an example of the information processing method according to the present embodiment will be described below.
  • the distribution data editing server 400 of the information processing system 10 receives the information of the stamp 850 (identification information of the stamp 850) transmitted from the user terminal 700 (step S501).
  • the distribution data editing server 400 of the information processing system 10 determines whether or not the selected stamp 850 supports synthesis (step S502).
  • the distribution data editing server 400 determines that the composition is supported (step S502: Yes)
  • the process proceeds to step 503, and when it is determined that the composition is not supported (step S502: No), the distribution data editing server 400 proceeds to step 503. End the process.
  • the distribution data editing server 400 reads out the waiting time corresponding to the selected stamp 850 and distributes it (step S503).
  • the distributed user terminal 700 presents the remaining time to each viewer 900 by displaying a text, displaying a time bar, or the like based on the waiting time.
  • the distribution data editing server 400 determines whether or not the stamp 850 input from the other viewer 900 within a predetermined time satisfies the predetermined composition condition (step S504).
  • the distribution data editing server 400 determines that the synthesis condition is satisfied (step S504: Yes)
  • the process proceeds to step 505, and when it is determined that the synthesis condition is not satisfied (step S504: No), processing is performed. finish.
  • the distribution data editing server 400 of the information processing system 10 distributes the identification information and the video effect of the special stamp 850 to be displayed when the synthesis condition is satisfied, and causes the user terminal 700 to display the special stamp 850 (step S505). At this time, the previously input image of the stamp 850 displayed on the user terminal 700 may be erased. Further, the haptics server 300 reads out the tactile control signal associated with the special stamp 850 selected in step S505 (step S506). Next, the haptics server 300 outputs a tactile control signal (a signal different from the tactile control signal corresponding to the stamp 850) from the tactile presentation device 100 (step S507). In the present embodiment, in step S506, the haptics server 300 receives the identification information associated with the special stamp 850 selected in step S505, and tactile control is performed based on the received identification information. The signal may be read out.
  • a new stamp 850 or tactile stimulus can be transmitted to the distributor 800 in cooperation with another viewer 900. Since such transmission can be performed, according to the present embodiment, the viewer 900 can obtain a real-time and interactive high-value-added experience.
  • the haptics server 300 of the information processing system 10 has the number of tactile stimuli (stamp 850) reproduced at the same time, the intensity of the tactile control signal, the presentation time, the heat of the tactile stimulus unit 106, and the like. Is compared with a predetermined threshold value according to the characteristics of the tactile stimulating unit 106. Then, when the haptics server 300 determines that the threshold value has been exceeded, the haptics server 300 limits the tactile stimuli to be reproduced at the same time. Further, when the limitation is applied, the haptics server 300 temporarily stops the presentation of the tactile stimulus, or stacks the tactile stimulus of each stamp 850, and when the above parameter falls below the threshold value, the tactile stimulus is stored. You may resume the presentation of. In the present embodiment, the temperature of the tactile stimulating unit 106 is transmitted from the tactile presentation device 100 to the haptics server 300.
  • FIGS. 30 and 31 are explanatory views for explaining a display example according to the present embodiment.
  • the user terminal 700 may stop only the presentation of the tactile stimulus and display the stamp 852 or the like as it is. Further, at this time, the user terminal 700 may display the icon 870b indicating the pause and display 850 indicating that there is no stamp that can be selected by the viewer 900.
  • the user terminal 700 may perform the display as shown in FIG. 31. Further, at this time, the user terminal 700 may display an icon 872 indicating that it is in a stopped state, or may display the number of stamps 850 or tactile stimuli in the stack as shown by reference numeral 874.
  • FIG. 32 is a flowchart of an example of the information processing method according to the present embodiment.
  • an example of the information processing method according to the present embodiment includes a plurality of steps from step S601 to step S607. The details of each step included in an example of the information processing method according to the present embodiment will be described below.
  • the haptics server 300 and the distribution data editing server 400 of the information processing system 10 receive the information (ID and the like) of the stamp 850 transmitted from the user terminal 700 (step S601).
  • the haptics server 300 of the information processing system 10 determines whether the number of stamps 850 being played exceeds the threshold value (step S602). If it is determined that the haptics server 300 is exceeded (step S602: Yes), the process proceeds to step S606, and if it is determined that the haptics server 300 is not exceeded (step S602: No), the process proceeds to step S603.
  • the distribution data editing server 400 of the information processing system 10 distributes the received stamp 850 to other viewers 900 and the distributor 800 (step S603).
  • the haptics server 300 of the information processing system 10 reads out the parameters of the tactile control signal corresponding to the stamp 850 and outputs them from the tactile presentation device 100 (step S604).
  • the distribution data editing server 400 of the information processing system 10 reads and displays the video effect corresponding to the stamp 850 (step S605).
  • the haptics server 300 of the information processing system 10 includes information to the effect that the tactile presentation device 100 cannot present the tactile stimulus in the information to be distributed (step S606).
  • the user terminal 700 displays an icon or text indicating that the tactile presentation device 100 cannot present the tactile stimulus (step S607).
  • a video effect may be used to reciprocate a part of the delivered video 950 or video 950 to the left or right according to the frequency of the tactile control signal.
  • the cycle for reciprocating the image 950 is shortened as the frequency of the tactile control signal is higher.
  • the region of the image 950 to be reciprocated may be determined according to the frequency of the tactile control signal exceeding the threshold value. For example, as shown in FIG. 33, the lower the frequency of the tactile control signal, the reciprocating the image closer to the lower part of the image 950.
  • the folding when the image 950 is reciprocated from side to side, the folding may be continuous or discontinuous, and the degree thereof may be switched. For example, as shown in FIG. 35, when the vibration frequency component is relatively low, the folding of the image deformation is continuous (region 960b), and when the vibration frequency component is relatively high, the folding of the image deformation is discontinuous (region 960a). ). By doing so, in the image 950, the image effect with a softer impression is applied as the frequency becomes lower. In this embodiment, not only the frequency for reciprocating the image 950 to the left and right but also the interval, waveform, and the like may change according to the frequency of the tactile control signal.
  • FIG. 35 will be described with reference to FIG. 36 showing the position of the image for each unit time in the folding of the image deformation.
  • the image position changes in proportion to the passage of a unit time, and when the image position reaches the end, it starts to change in the opposite direction.
  • the image position is determined according to the following mathematical formulas (1) and (2).
  • the video position is determined according to the elapsed time t and the mathematical formula (1), and when the end is reached, the video position x is determined according to the elapsed time t and the mathematical formula (2).
  • ⁇ in mathematical formulas (1) and (2) is an arbitrary coefficient.
  • the image position x is determined according to the elapsed time t and the mathematical formula (3).
  • ⁇ and ⁇ in the formula (3) are arbitrary coefficients.
  • the determination of the video position in the folding back of the video deformation is determined by the frequency component, intensity, type of video content, type of video effect, and metadata associated with the video content or video effect of the tactile control signal. Can be done based on.
  • the entire image 950 may be reciprocated left and right, but only the predetermined area 970 in the image 950 may be reciprocated left and right.
  • the area 970 in which the distributor 800 is displayed may be reciprocated from side to side.
  • only the image of the stamp 850 superimposed on the image of the distributor 800 may be reciprocated from side to side.
  • the type of the video deformation may be determined based on the metadata. For example, if metadata such as "fall” is added to the stamp 850, which has an image effect such as an object falling from above, the image 950 can be reciprocated up and down instead of left and right. good.
  • FIG. 38 is a flowchart of an example of the information processing method according to the present embodiment.
  • an example of the information processing method according to the present embodiment includes a plurality of steps from step S701 to step S706. The details of each step included in an example of the information processing method according to the present embodiment will be described below.
  • the user terminal 700 of the information processing system 10 transmits the information of the stamp 850 to the haptics server 300 (step S701).
  • the haptics server 300 reads out the tactile control signal corresponding to the stamp 850 (step S702).
  • the haptics server 300 of the information processing system 10 determines whether the distributor 800 or the viewer 900 has the tactile presentation device 100 (step S703). If it is determined that the haptics server 300 is possessed (step S703: Yes), the process proceeds to step S704, and if it is determined that the haptics server 300 is not possessed (step S703: No), the process proceeds to step S705.
  • the haptics server 300 of the information processing system 10 outputs a tactile control signal corresponding to the stamp 850 from the tactile presentation device 100 (step S704).
  • the haptics server 300 of the information processing system 10 analyzes the frequency component included in the tactile control signal and the intensity (step S705).
  • the distribution data editing server 400 of the information processing system 10 deforms the video 950 based on the analysis result in step S705 (step S706).
  • the video 950 is shaken left and right, but also the audio data to be distributed to the viewer 900 and the distributor 800 is subjected to a process of shaking the sound image up and down by the sound image localization technique. good.
  • the blower type device may output wind (for example, hot air, cold air, etc.) or wear it on the body.
  • the temperature of the temperature presentation device (equipped with a Pelche element, etc.) may be changed.
  • the fragrance may be presented by a discharger that discharges the fragrance.
  • the vibration of the tactile stimulus can be presented by another modal. Therefore, according to the present embodiment, the viewer 900 can obtain a real-time and interactive high-value-added experience.
  • FIGS. 39 to 41 are explanatory views for explaining a display example according to the present embodiment.
  • the viewer 900 may be able to occupy each of the tactile stimulating units 106. .. That is, the viewer 900 other than the exclusive viewer 900 cannot present the tactile stimulus using the corresponding tactile stimulator unit 106.
  • the viewer 900 may pay a predetermined amount, make a bulk purchase, or subscribe.
  • the presentation of the tactile stimulating unit 106 located around the tactile stimulating unit 106 designated by the high-priced stamp 850 may be stopped.
  • the tactile stimulating unit 106 may be assigned to each group.
  • the left side is a display example of the user terminal 700 of the viewer 900 that occupies a part of the tactile stimulating unit 106
  • the right side is a display example of the viewer 900 that does not occupy a part of the tactile stimulating unit 106.
  • This is a display example of the user terminal 700.
  • the user terminal 700 of the viewer 900 that does not occupy a part of the tactile stimulating unit 106 displays that the stamp 850 corresponding to the occupied tactile stimulating unit 106 cannot be selected.
  • the left side is a display example of the user terminal 700 of the viewer 900 that occupies a part of the tactile stimulating unit 106
  • the right side is a viewer who does not occupy a part of the tactile stimulating unit 106.
  • It is a display example of the user terminal 700 of 900.
  • the user terminal 700 of the viewer 900 that does not occupy a part of the tactile stimulating unit 106 displays that the occupied tactile stimulating unit 106 cannot be selected.
  • the left side is a display example of the user terminal 700 of the viewer 900 that occupies the entire tactile stimulating unit 106
  • the right side is the display example of the viewer 900 that does not occupy the entire tactile stimulating unit 106.
  • This is a display example of the user terminal 700.
  • the user terminal 700 of the viewer 900 that does not occupy the entire tactile stimulus unit 106 displays that the stamp 850 cannot be selected because all the tactile stimulus units 106 are occupied.
  • the left side is a display example of the user terminal 700 of the viewer 900 who has paid a high amount of money or has a high rank (for example, premium course, gold rank, etc.), and the right side is the above.
  • the other viewer 900 can input the tactile control signal.
  • the viewer 900 who has paid a low amount or has a low rank for example, basic course, bronze rank, etc.
  • the haptic control signal may be canceled immediately by the viewer 900 who has paid a low amount or is ranked low.
  • the tactile stimulus unit 106 capable of presenting the tactile stimulus may be switched according to the category of the content being delivered. For example, in the case of make-up distribution or live game distribution, the tactile stimulus unit 106 corresponding to the hand or arm used for make-up or game is set so as not to present the tactile stimulus. Also, in the case of flea market distribution (or live commerce), the best-type tactile presentation device 100 is taken off in order to try on clothes, so the tactile stimulus unit 106 corresponding to the torso should not be presented with tactile stimuli. Set. In this case, when the tactile presentation device 100 is attached, the stacked tactile stimuli may be presented in order.
  • the types of the tactile presentation devices 100 worn by the distributor 800 and the viewer 900 are different (the reproducible frequency band is different, or the actuators are mounted) in the battle type distribution or the like.
  • the tactile stimulus is performed using only the tactile stimulator 106 which is a common part (common reproducible frequency range, minimum value of vibration intensity that can be output, common actuator part). You may present it.
  • each tactile stimulator 106 may be merged and output from a specific tactile stimulator 106. Specifically, the tactile stimuli to be presented to the shoulders and arms are merged and output from one tactile stimulus unit 106 mounted on the wrist. Further, when merging the tactile stimuli, the priority may be set in advance for each body part or the tactile stimulating part 106 in order to determine the mixing ratio.
  • the tactile stimulus unit 106 corresponding to the wrist
  • the intensity of the output tactile control signal is the intensity of the tactile control signal given to the shoulder ⁇ 0.8 + the intensity of the tactile control signal given to the arm ⁇ 0.2.
  • the meaning (positive system, negative system, etc.) can be set in advance for each tactile stimulating unit 106, and the meaning (positive system, negative system, etc.) is collated with the metadata associated with the stamp 850 to correspond to the metadata.
  • the tactile stimulus unit 106 having meaning may be determined as the tactile stimulus unit 106 that presents the tactile stimulus.
  • FIG. 42 is a flowchart of an example of the information processing method according to the present embodiment.
  • an example of the information processing method according to the present embodiment includes a plurality of steps from step S801 to step S806. The details of each step included in an example of the information processing method according to the present embodiment will be described below.
  • the haptics server 300 of the information processing system 10 detects the distribution category (step S801).
  • the haptics server 300 reads out the information of the tactile stimulating unit 106 that cannot present the tactile sensation for the detected category (step S802).
  • the haptics server 300 reads out the information of the tactile stimulating unit 106 associated with the stamp 850 (step S803).
  • the haptics server 300 of the information processing system 10 determines whether or not the tactile stimulus unit 106 that cannot present the tactile stimulus is included (step S804). If it is determined that the haptics server 300 is included (step S804: Yes), the process proceeds to step S805, and if it is determined that the haptics server 300 is not included (step S804: No), the process is terminated.
  • the haptics server 300 of the information processing system 10 makes the stamp 850 unselectable and delivers that the stamp 850 cannot be selected (step S805).
  • the user terminal 700 of the information processing system 10 is changed to a display suggesting that the stamp 850 cannot be selected (step S806).
  • the tactile stimulus unit 106 may be occupied by the viewer 900, the tactile stimulus unit 106 presented by the tactile stimulus may be changed by the delivered content, or the tactile stimulus unit 100 may be used.
  • the tactile stimulus can be changed according to the type. By doing so, according to the present embodiment, the viewer 900 can obtain a real-time and interactive high-value-added experience.
  • the stamp 850 it may be possible to set a time range (from what time to what time, how many minutes) in which the stamp 850 can be selected, and the number to be thrown within that time. In this embodiment, for example, by bidding, the number of minutes each viewer 900 can input the stamp 850 may be determined.
  • Ninth embodiment in the case of distribution in which the number of viewers 900 is relatively small or the number of stamps 850 transmitted is not active (the number of transmission stamps 850 per unit time is smaller than the threshold value).
  • a chat text or the like may be used as a trigger to present a tactile stimulus corresponding to the chat text to the distributor 800.
  • it is possible to increase the motivation for the distribution of the distributor 800. For example, when a comment including a keyword or a pictogram preset by the distributor 800 is posted by the viewer 900, it may be detected and a tactile stimulus may be presented.
  • the type of video effect may be switched or the intensity of the presented tactile stimulus may be increased.
  • the timing for setting the keyword may be before the start of distribution or may be appropriately set during distribution (for example, in a situation where a quiz is given, the keyword that is the correct answer is set each time. etc).
  • the tactile stimulus may be presented by triggering the new viewer 900 to enter the distribution room of the distributor 800.
  • a plurality of viewers 900 can post the same comment at the same time (within a certain period of time), post a comment containing the same pictogram, or use the same stamp 850 (however, tactile stimulation).
  • the tactile stimulus may be presented by using the timing of posting (which does not correspond to) as a trigger.
  • the viewer 900 can obtain a real-time and interactive high-value-added experience.
  • the embodiment of the present disclosure can be applied not only to the live distribution and the like as described above, but also to, for example, the stamp 850 and the like exchanged on the SNS (Social Networking Service).
  • the user terminal 700 vibrates or the like to give a tactile stimulus to the person to whom the stamp 850 is sent.
  • Modification 1 of the information processing system 10 of the present disclosure >> Further, with reference to FIGS. 43 to 50, a modified example of the information processing system 10 according to the embodiment of the present disclosure will be described. 43 to 50 are system diagrams showing a schematic configuration example of the information processing system 10 according to the first modification of the embodiment of the present disclosure.
  • the haptics server 300a also has the functions of the distribution data editing server 400 and the live distribution server 500 described above. In this case, the management of the haptics server 300a can be performed by one business operator.
  • the haptics server 600 may be included as a part of the function of the storage unit 318 of the haptics server 300.
  • the haptics server 600 stores a tactile data library (vibration waveform pattern, etc.) generated in advance in association with the identification information (ID) of each stamp 850.
  • the haptics server 600 may store, for example, information such as the number of tactile stimulating units 106 of the tactile presentation device 100, their positions, frequency characteristics, maximum input voltage, and the like as profile information of the tactile presentation device 100.
  • the haptics server 300 also has the function of the distribution data editing server 400 described above.
  • the business operator who manages the presentation for the tactile stimulus and the business operator who manages the distribution can be different.
  • the information stored in the haptics server 600 is provided to the haptics server 300 via the live distribution server 500.
  • the information stored in the haptics server 600 is transmitted to the haptics server 300 via the live distribution server 500 and the distribution data editing server 400. Provided.
  • the haptics server 600 may be included as a part of the function of the storage unit 318 of the haptics server 300. ..
  • the haptics server 600 may cooperate with the live distribution server 500 to perform distribution to the user terminal 700.
  • the live distribution server 500 acquires the information of the stamp 850 from the user terminal 700 and distributes a video or the like. Further, the haptics server 300 acquires the identification information (ID) of each stamp 850 from the live distribution server 500. Further, the haptics server 300 refers to the above identification information and generates a tactile control signal associated with each stamp 850 based on the information in the haptics server 600. In FIG. 50, the haptics data is assumed to be the identification information of the tactile control signal (waveform data) corresponding to the stamp 850 or the tactile control signal itself.
  • Modification 2 of the information processing system 10 of the present disclosure is applied to a system including a plurality of devices, such as cloud computing (cloud), which is premised on connection to a network (or communication between each device). May be done. Therefore, variations of the positions (cloud side or local side) of each server in the information processing system 10 according to the present embodiment on the network will be described with reference to FIGS. 51 to 54.
  • 51 to 54 are system diagrams showing a schematic configuration example of the information processing system 10 according to the second modification of the embodiment of the present disclosure.
  • the local control device 350 corresponds to the haptics server 300 in the above-described embodiment of the present disclosure
  • the live distribution server 500 is the live distribution server 500 in the above-mentioned embodiment of the present disclosure. It corresponds to the distribution data editing server 400.
  • the haptics data is assumed to be the identification information of the tactile control signal (waveform data) corresponding to the stamp 850 or the tactile control signal itself.
  • the local control device 350 is installed on the distributor 800 side.
  • the live distribution server 500 is arranged on the cloud side.
  • the local control device 350 is composed of a PC or the like, and is equipped with a browser and software for implementing the present embodiment (displaying the stamp 850 and executing transmission / reception to / from the live distribution server 500). ..
  • the local control device 350 is equipped with software and a database for controlling the tactile presentation device 100.
  • each device and software installed on the distributor side of the information processing system 10 may be provided by the same business operator or may be provided by another business operator. Further, the business operator may be the same as or different from the business operator that manages / operates the live distribution server 500.
  • the information processing system 10 shown in FIG. 52 includes a haptics server 600 arranged on the cloud side, unlike the information processing system 10 shown in FIG. 51.
  • the local control device 350 is composed of a PC or the like, and can acquire the identification information of the tactile control signal (waveform data) associated with the identification information (stamp information) of the stamp 850 from the haptics server 600.
  • the haptics server 600 may be a local device installed on the distributor 800 side.
  • the information processing system 10 shown in FIG. 53 includes a haptics server 600 arranged on the cloud side, similarly to the information processing system 10 shown in FIG. 52.
  • the information processing system 10 shown in FIG. 53 is associated with the identification information (stamp information) of the stamp 850 by the local control device 350 via the live distribution server 500.
  • the identification information and the like of the tactile control signal (waveform data) obtained is acquired from the haptics server 600.
  • the local control device 350 is installed on the distributor 800 side.
  • the live distribution server 500 and the haptics server 600 are arranged on the cloud side.
  • the information processing system 10 shown in FIG. 54 is different from the information processing system 10 shown in FIG. 53, and the local control device 350 is associated with the identification information (stamp information) of the stamp 850 via the haptics server 600.
  • the video, audio signal, etc. are acquired from the live distribution server 500.
  • the haptics server 300 refers to the received identification information of the stamp 850 and attaches the stamp 850 to the stamp 850 based on the data associated with the identification information stored in advance. Generate / output the corresponding tactile control signal. Therefore, a specific method of presenting the tactile stimulus in the embodiment of the present disclosure will be described with reference to FIG. 55.
  • FIG. 55 is an explanatory diagram for explaining a method of presenting a tactile stimulus according to an embodiment of the present disclosure.
  • the waveform data of the tactile stimulus associated with the identification information of the stamp 850 is the tactile stimulus that presents the tactile stimulus. It is prepared and stored so as to correspond to the unit 106. Then, the haptics server 300 or the haptics server 600 transmits a plurality of waveform data associated with the received identification information of the stamp 850 to the drive amplifier / interface 200. Further, the drive amplifier / interface 200 can present the tactile stimulus by driving the designated tactile stimulus units 106a to 106f based on the received waveform data.
  • the waveform data is prepared to correspond to the tactile stimulus unit 106 that presents the tactile stimulus, but the present embodiment is not limited to this.
  • the waveform data of the tactile stimulus associated with the identification information of the stamp 850 is prepared and stored in the haptics server 300 or the haptics server 600 without being associated with the tactile stimulus unit 106 that presents the tactile stimulus.
  • the haptics server 300, the haptics server 600, or the drive amplifier / interface 200 provides information on the specifications of the tactile presentation device 100 (number, position, maximum vibration intensity given, etc.) of the tactile presentation device 100. It is assumed that the information is acquired from 100 or the information is stored in advance.
  • the haptics server 300 or the haptics server 600 links each of the plurality of waveform data associated with the received identification information of the stamp 850 to each tactile stimulating unit 106 according to the specifications of the tactile presentation device 100. Attach (match). By doing so, for example, when the number of waveform data prepared in advance and the number of tactile stimulating units 106 are not the same, the haptics server 300 or the haptics server 600 meets the specifications of the tactile presentation device 100. Only the combined waveform data can be transmitted. Then, the haptics server 300 or the haptics server 600 transmits the waveform data associated with each tactile stimulus unit 106 to the drive amplifier / interface 200, and the drive amplifier / interface 200 receives each tactile stimulus unit 106. It is possible to present a tactile stimulus by driving based on the generated waveform data.
  • FIG. 56 is an explanatory diagram for explaining a display example according to a modified example of the embodiment of the present disclosure.
  • the viewer 900 has been described as selecting the stamp 850 with a tactile stimulating effect.
  • the viewer 900 is not limited to this, and may be able to select a stamp with a tactile stimulus effect as well as a stamp without a tactile stimulus effect.
  • FIG. 56 is a display example of the user terminal 700 of the viewer 900, and in the display example, the stamp 856 with the tactile stimulus effect and the stamps 854a and 854b without the tactile stimulus effect are displayed.
  • the viewer 900 can select either the stamp 850 with the tactile stimulus effect or the stamp 854 without the tactile stimulus effect.
  • FIG. 57 is a hardware configuration diagram showing an example of a computer that realizes the functions of the haptics server 300.
  • the computer 1000 includes a CPU 1100, a RAM 1200, a ROM (Read Only Memory) 1300, an HDD (Hard Disk Drive) 1400, a communication interface 1500, and an input / output interface 1600. Each part of the computer 1000 is connected by a bus 1050.
  • the CPU 1100 operates based on the program stored in the ROM 1300 or the HDD 1400, and controls each part. For example, the CPU 1100 expands the program stored in the ROM 1300 or the HDD 1400 into the RAM 1200, and executes processing corresponding to various programs.
  • the ROM 1300 stores a boot program such as a BIOS (Basic Input Output System) executed by the CPU 1100 when the computer 1000 is started, a program depending on the hardware of the computer 1000, and the like.
  • BIOS Basic Input Output System
  • the HDD 1400 is a computer-readable recording medium that non-temporarily records a program executed by the CPU 1100 and data used by such a program.
  • the HDD 1400 is a recording medium for recording an information processing program according to the present disclosure, which is an example of program data 1450.
  • the communication interface 1500 is an interface for the computer 1000 to connect to an external network 1550 (for example, the Internet).
  • the CPU 1100 receives data from another device or transmits data generated by the CPU 1100 to another device via the communication interface 1500.
  • the input / output interface 1600 is an interface for connecting the input / output device 1650 and the computer 1000.
  • the CPU 1100 receives data from an input device such as a keyboard or mouse via the input / output interface 1600. Further, the CPU 1100 transmits data to an output device such as a display or a printer via the input / output interface 1600. Further, the input / output interface 1600 may function as a media interface for reading a program or the like recorded on a predetermined recording medium (media).
  • the media includes, for example, an optical recording medium such as a DVD (Digital Versaille Disc), a PD (Phase change rewritable Disc), a magneto-optical recording medium such as an MO (Magnet-Optical disc), a tape medium, a magnetic recording medium, a semiconductor memory, or the like.
  • an optical recording medium such as a DVD (Digital Versaille Disc), a PD (Phase change rewritable Disc), a magneto-optical recording medium such as an MO (Magnet-Optical disc), a tape medium, a magnetic recording medium, a semiconductor memory, or the like.
  • the CPU 1100 of the computer 1000 when the computer 1000 functions as the haptics server 300 according to the embodiment of the present disclosure, the CPU 1100 of the computer 1000 generates a tactile control signal by executing an information processing program loaded on the RAM 1200. Realize the function. Further, the HDD 1400 stores an information processing program or the like according to the embodiment of the present disclosure. The CPU 1100 reads the program data 1450 from the HDD 1400 and executes the program, but as another example, these programs may be acquired from another device via the external network 1550.
  • the information processing device may be applied to a system including a plurality of devices, which is premised on connection to a network (or communication between each device), such as cloud computing. .. That is, the information processing device according to the present embodiment described above can be realized as an information processing system that performs processing according to the information processing method according to the present embodiment by, for example, a plurality of devices.
  • the embodiment described above may include, for example, a program for making a computer function as an information processing apparatus according to the present embodiment, and a non-temporary tangible medium in which the program is recorded. Further, the above program may be distributed via a communication line (including wireless communication) such as the Internet.
  • each step in the processing of each of the above-described embodiments does not necessarily have to be processed in the order described.
  • each step may be processed in an appropriately reordered manner.
  • each step may be partially processed in parallel or individually instead of being processed in chronological order.
  • the processing method of each step does not necessarily have to be processed according to the described method, and may be processed by another method, for example, by another functional block.
  • the present technology can have the following configurations.
  • the first control command including the presentation unit information for designating the presentation unit for presenting the tactile stimulus by the tactile presentation device and the morphological information for specifying the form of the tactile stimulus is acquired.
  • Acquisition department and A generation unit that generates each tactile control signal for presenting the tactile stimulus to the presentation unit in response to each control command.
  • a first distribution unit that distributes each of the tactile control signals to the tactile presentation device attached to the body of the second user. Equipped with The first acquisition unit is different from the control command corresponding to each of the inputs from the plurality of first users when the input from the plurality of first users satisfies a predetermined condition.
  • Get control commands Information processing equipment.
  • the control command is associated with the stamp displayed on the stamp selection screen in advance.
  • Each of the first users inputs by selecting the stamp displayed on the stamp selection screen.
  • (3) The information processing device according to (2) above, wherein the first user sets the timing for presenting the tactile stimulus by tapping the device displaying the stamp selection screen.
  • (4) The information processing apparatus according to (3) above, wherein the tactile stimulus is presented based on the timing at which the tap operations of the plurality of first users are synchronized.
  • the first distribution unit causes the tactile control signal. Temporarily stop the delivery of The information processing device according to (1) above. (7) The information processing apparatus according to (6) above, further comprising a notification unit that notifies the plurality of first users when the distribution of each tactile control signal is temporarily stopped. (8) The information processing apparatus according to (1) above, wherein the tactile control signal specifies at least one parameter of the presentation timing, frequency, interval, waveform, presentation time and intensity of the tactile stimulus. (9) A second distribution unit that distributes a predetermined image to a display device that displays the image toward the second user is further provided.
  • the second distribution unit vibrates at least a part of the predetermined image in a predetermined direction according to the frequency.
  • Delivering the predetermined image that has undergone image processing The information processing apparatus according to (8) above.
  • the voice distribution unit When the tactile presentation device is not attached to the body of the second user, the voice distribution unit performs voice processing to vibrate the sound image of the predetermined voice in a predetermined direction according to the frequency. Deliver the above-mentioned predetermined voice, The information processing apparatus according to (8) above. (13) The information processing device according to (1) above, wherein the generation unit selects the presentation unit that presents the tactile stimulus according to the state of the second user. (14) The stamp selection screen is distributed to the display device from another information processing device capable of communicating with the display device that displays an image toward the first user. The information processing device according to (2) above. (15) The other information processing apparatus acquires command information according to the input of the first user. The information processing apparatus according to (14) above.
  • a second acquisition unit that acquires a predetermined image in response to an input from the first user, and a second acquisition unit.
  • a third distribution unit that distributes the predetermined image to a display device that displays the image toward the first user. Further prepare, The information processing device according to (1) above.
  • each identification information for specifying the presentation unit information that specifies the presentation unit that presents the tactile stimulus by the tactile presentation device and the morphological information that specifies the form of the tactile stimulus is acquired.
  • a generation unit that generates each tactile control signal for presenting the tactile stimulus to the presentation unit according to the identification information.
  • a first distribution unit that distributes each of the tactile control signals to the tactile presentation device attached to the body of the second user.
  • the first acquisition unit is specified by the identification information corresponding to each of the inputs from the plurality of first users when the input from the plurality of first users satisfies a predetermined condition.
  • the presenting unit information different from the presenting unit information and the morphological information, and other identification information to which the morphological information is specified are acquired.
  • Information processing equipment (18) With information processing equipment In response to the input from the first user, each control command including the presentation unit information that specifies the presentation unit that presents the tactile stimulus by the tactile presentation device and the morphological information that specifies the form of the tactile stimulus is acquired. , In response to each of the control commands, each tactile control signal for presenting the tactile stimulus to the presenting unit is generated.
  • a function of delivering each tactile control signal to the tactile presentation device mounted on the body of a second user is a program that realizes When the input from the plurality of first users satisfies a predetermined condition, a new control command different from each control command corresponding to each of the inputs from the plurality of first users is acquired.
  • There is an information processing system that includes an information processing device and a distribution device. The information processing device is In response to the input from the first user, the first control command including the presentation unit information for designating the presentation unit for presenting the tactile stimulus by the tactile presentation device and the morphological information for specifying the form of the tactile stimulus is acquired.
  • a first distribution unit that distributes each of the tactile control signals to the tactile presentation device attached to the body of the second user.
  • the first acquisition unit is different from the control command corresponding to each of the inputs from the plurality of first users when the input from the plurality of first users satisfies a predetermined condition.
  • Get control commands The distribution device is It has an image generation unit that superimposes a predetermined image generated based on the input on an image in real space distributed to the first user.
  • Information processing system (21) The information processing system according to (20) above, wherein the distribution device is configured by a device on the cloud.
  • Tactile presentation device 102 302, 402, 502, 708 Communication unit 104, 710 Control unit 106, 106a, 106b, 106c, 106d, 106e, 106f Tactile stimulus unit 108 Operation unit 200 Drive amplifier / interface 202, 706 Speaker 204 Monitor 206, 724 Microphone 208, 722 Camera 300, 300a Haptics server 304, 404 Camera image acquisition unit 306, 410 Microphone sound acquisition unit 308, 408, 506 Stamp acquisition unit 310 Tactile signal generation unit 312 Distributor status acquisition Unit 314 Output image acquisition unit 316, 414 Output audio acquisition unit 318, 416, 518, 712 Storage unit 350 Local side control device 400 Distribution data editing server 406 Image generation unit 412 Audio generation unit 500 Live distribution server 504 GUI control unit 508 Audio Data acquisition unit 510 Image data acquisition unit 512 Tactile signal acquisition unit 514 Viewer information acquisition unit 516 Distribution control unit 600 Haptics server 700 User terminal 702 Display unit 704 Operation input unit 104, 710 Control

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

第１のユーザからの入力に応じて、触覚提示デバイスによって触覚刺激を提示する提示部を指定する提示部情報と前記触覚刺激の形態を指定する形態情報とを含む各制御コマンドを取得する第１の取得部（３０８）と、前記各制御コマンドに応じて、前記提示部に前記触覚刺激を提示するための各触覚制御信号を生成する生成部（３０２）と、前記各触覚制御信号を第２のユーザの身体に装着された前記触覚提示デバイスに配信する第１の配信部（３０２）とを備える、情報処理装置（３００）を提供する。

Description

情報処理装置、情報処理方法、プログラム及び情報処理システム
　本開示は、情報処理装置、情報処理方法、プログラム及び情報処理システムに関する。
　近年、消費者の消費活動は、商品の単なる購入である「モノ消費」から、付加価値の高い体験に対して対価を支払う「コト消費」へと移り変わっている。例えば、音楽やアニメーション等といったエンタテイメント分野においても、消費者は、アーティスト（配信者）等の生のパフォーマンスを視聴するといった一方向の体験だけでなく、さらにアーティストやファン同士の交流等といった、リアルタイムで、且つ、インタラクティブな、より付加価値の高い体験を強く求めるようになってきている。
　例えば、このような体験の一例としては、インターネット上でコンテンツを配信しているアーティスト等に対して、当該コンテンツの視聴者が、イラスト、テキスト等のデータを送信したり、これらとともに送金したりするといった「投げ銭」を挙げることができる。このような「投げ銭」を介して、アーティストと視聴者との間でコミュニケーションを行うことにより、視聴者はより付加価値の高い体験を得ることができる。その結果、視聴者の、コンテンツに対する満足感がより高まったり、このような「コト」に対する購買意欲が増したりすることとなる。
国際公開第２０１８／００８２１７号
　ところで、従来から、振動などの触覚刺激をユーザに提示するための装置が提案されている。例えば、その一例として、上記特許文献１に記載のジャケット型の触覚提示デバイスを挙げることができる。このような触覚提示デバイスは、映画館やテーマパークのアトラクション等において、ユーザに装着され、ユーザが視聴する再生コンテンツと同期するように制御されることにより、提供される再生コンテンツの臨場感をより増幅させることができる。
　そこで、本開示では、このような触覚提示デバイスを利用して、リアルタイムで、且つ、インタラクティブな付加価値の高い体験を視聴者に提供することができる、情報処理装置、情報処理方法、プログラム及び情報処理システムを提案する。
　本開示によれば、第１のユーザからの入力に応じて、触覚提示デバイスによって触覚刺激を提示する提示部を指定する提示部情報と前記触覚刺激の形態を指定する形態情報とを含む各制御コマンドを取得する第１の取得部と、前記各制御コマンドに応じて、前記提示部に前記触覚刺激を提示するための各触覚制御信号を生成する生成部と、前記各触覚制御信号を第２のユーザの身体に装着された前記触覚提示デバイスに配信する第１の配信部と、を備え、前記第１の取得部は、複数の前記第１のユーザからの入力が所定の条件を満たした場合、前記複数の第１のユーザからの入力のそれぞれに対応する前記各制御コマンドとは異なる新たな制御コマンドを取得する、情報処理装置が提供される。
　また、本開示によれば、第１のユーザからの入力に応じて、触覚提示デバイスによって触覚刺激を提示する提示部を指定する提示部情報と前記触覚刺激の形態を指定する形態情報とを特定するための各識別情報を取得する第１の取得部と、前記各識別情報に応じて、前記提示部に前記触覚刺激を提示するための各触覚制御信号を生成する生成部と、前記各触覚制御信号を第２のユーザの身体に装着された前記触覚提示デバイスに配信する第１の配信部とを備え、前記第１の取得部は、複数の前記第１のユーザからの入力が所定の条件を満たした場合、前記複数の第１のユーザからの入力のそれぞれに対応する前記各識別情報で特定された前記提示部情報及び前記形態情報とは異なる前記提示部情報及び前記形態情報が特定された他の識別情報を取得する、情報処理装置が提供される。
　また、本開示によれば、情報処理装置により、第１のユーザからの入力に応じて、触覚提示デバイスによって触覚刺激を提示する提示部を指定する提示部情報と前記触覚刺激の形態を指定する形態情報とを含む各制御コマンドを取得することと、前記各制御コマンドに応じて、前記提示部に前記触覚刺激を提示するための各触覚制御信号を生成することと、前記各触覚制御信号を第２のユーザの身体に装着された前記触覚提示デバイスに配信することとを含み、複数の前記第１のユーザからの入力が所定の条件を満たした場合、前記複数の第１のユーザからの入力のそれぞれに対応する前記各制御コマンドとは異なる新たな制御コマンドを取得する、情報処理方法が提供される。
　また、本開示によれば、コンピュータに、第１のユーザからの入力に応じて、触覚提示デバイスによって触覚刺激を提示する提示部を指定する提示部情報と前記触覚刺激の形態を指定する形態情報とを含む各制御コマンドを取得する機能と、前記各制御コマンドに応じて、前記提示部に前記触覚刺激を提示するための各触覚制御信号を生成する機能と、前記各触覚制御信号を第２のユーザの身体に装着された前記触覚提示デバイスに配信する機能と、を実現させるプログラムであって、複数の前記第１のユーザからの入力が所定の条件を満たした場合、前記複数の第１のユーザからの入力のそれぞれに対応する前記各制御コマンドとは異なる新たな制御コマンドを取得する、プログラムが提供される。
　さらに、本開示によれば、情報処理装置と、配信装置とを含む情報処理システムあって、前記情報処理装置は、第１のユーザからの入力に応じて、触覚提示デバイスによって触覚刺激を提示する提示部を指定する提示部情報と前記触覚刺激の形態を指定する形態情報とを含む各制御コマンドを取得する第１の取得部と、前記各制御コマンドに応じて、前記提示部に前記触覚刺激を提示するための各触覚制御信号を生成する生成部と、前記各触覚制御信号を第２のユーザの身体に装着された前記触覚提示デバイスに配信する第１の配信部とを有し、前記第１の取得部は、複数の前記第１のユーザからの入力が所定の条件を満たした場合、前記複数の第１のユーザからの入力のそれぞれに対応する前記各制御コマンドとは異なる新たな制御コマンドを取得し、前記配信装置は、前記第１のユーザに向けて配信される実空間の画像に、前記入力に基づいて生成される所定の画像を重畳する画像生成部を有する、情報処理システムが提供される。
本開示の実施形態の概要を説明するための説明図（その１）である。 本開示の実施形態の概要を説明するための説明図（その２）である。 本開示の実施形態に係る情報処理システム１０の概略的構成例を示したシステム図である。 本開示の実施形態に係る触覚提示デバイス１００の外観構成例を示す図である。 本開示の実施形態に係る触覚提示デバイス１００の機能構成例を示す図である。 本開示の実施形態に係るハプティクス用サーバ３００の機能構成例を示す図である。 本開示の実施形態に係る配信データ編集サーバ４００の機能構成例を示す図である。 本開示の実施形態に係るライブ配信サーバ５００の機能構成例を示す図である。 本開示の実施形態に係るユーザ端末７００の機能構成例を示す図である。 本開示の第１の実施形態に係る表示例を説明するための説明図（その１）である。 本開示の第１の実施形態に係る触覚刺激提示例を説明するための説明図（その１）である。 本開示の第１の実施形態に係る表示例を説明するための説明図（その２）である。 本開示の第１の実施形態に係る触覚刺激提示例を説明するための説明図（その２）である。 本開示の第１の実施形態に係る触覚刺激提示例を説明するための説明図（その３）である。 本開示の第１の実施形態に係る表示例を説明するための説明図（その３）である。 本開示の第１の実施形態に係る表示例を説明するための説明図（その４）である。 本開示の第１の実施形態に係る表示例を説明するための説明図（その５）である。 本開示の第１の実施形態に係る表示例を説明するための説明図（その６）である。 本開示の第２の実施形態を説明するための説明図である。 本開示の第２の実施形態に係る表示例を説明するための説明図である。 本開示の第２の実施形態に係る情報処理方法の一例のフローチャート図（その１）である。 本開示の第２の実施形態に係る情報処理方法の一例のフローチャート図（その２）である。 本開示の第３の実施形態に係る入力例を説明するための説明図（その１）である。 本開示の第３の実施形態に係る情報処理方法の一例のフローチャート図（その１）である。 本開示の第３の実施形態に係る入力例を説明するための説明図（その２）である。 本開示の第３の実施形態に係る情報処理方法の一例のフローチャート図（その２）である。 本開示の第３の実施形態に係る入力例を説明するための説明図（その３）である。 本開示の第４の実施形態に係る入力例を説明するための説明図である。 本開示の第４の実施形態に係る情報処理方法の一例のフローチャート図である。 本開示の第５の実施形態に係る表示例を説明するための説明図（その１）である。 本開示の第５の実施形態に係る表示例を説明するための説明図（その２）である。 本開示の第５の実施形態に係る情報処理方法の一例のフローチャート図である。 本開示の第６の実施形態に係る表示例を説明するための説明図（その１）である。 本開示の第６の実施形態に係る表示例を説明するための説明図（その２）である。 本開示の第６の実施形態に係る表示例を説明するための説明図（その３）である。 本開示の第６の実施形態に係る表示例を説明するための説明図（その４）である。 本開示の第６の実施形態に係る表示例を説明するための説明図（その５）である。 本開示の第６の実施形態に係る情報処理方法の一例のフローチャート図である。 本開示の第７の実施形態に係る表示例を説明するための説明図（その１）である。 本開示の第７の実施形態に係る表示例を説明するための説明図（その２）である。 本開示の第７の実施形態に係る表示例を説明するための説明図（その３）である。 本開示の第７の実施形態に係る情報処理方法の一例のフローチャート図である。 本開示の実施形態の変形例１に係る情報処理システム１０の概略的構成例を示したシステム図（その１）である。 本開示の実施形態の変形例１に係る情報処理システム１０の概略的構成例を示したシステム図（その２）である。 本開示の実施形態の変形例１に係る情報処理システム１０の概略的構成例を示したシステム図（その３）である。 本開示の実施形態の変形例１に係る情報処理システム１０の概略的構成例を示したシステム図（その４）である。 本開示の実施形態の変形例１に係る情報処理システム１０の概略的構成例を示したシステム図（その５）である。 本開示の実施形態の変形例１に係る情報処理システム１０の概略的構成例を示したシステム図（その６）である。 本開示の実施形態の変形例１に係る情報処理システム１０の概略的構成例を示したシステム図（その７）である。 本開示の実施形態の変形例１に係る情報処理システム１０の概略的構成例を示したシステム図（その８）である。 本開示の実施形態の変形例２に係る情報処理システム１０の概略的構成例を示したシステム図（その１）である。 本開示の実施形態の変形例２に係る情報処理システム１０の概略的構成例を示したシステム図（その２）である。 本開示の実施形態の変形例２に係る情報処理システム１０の概略的構成例を示したシステム図（その３）である。 本開示の実施形態の変形例２に係る情報処理システム１０の概略的構成例を示したシステム図（その４）である。 本開示の実施形態に係る触覚刺激の提示方法について説明するための説明図である。 本開示の実施形態の変形例に係る表示例を説明するための説明図である。 ハプティクス用サーバ３００の機能を実現するコンピュータの一例を示すハードウェア構成図である。
　以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。また、本明細書及び図面において、異なる実施形態の類似する構成要素については、同一の符号の後に異なるアルファベットを付して区別する場合がある。ただし、類似する構成要素の各々を特に区別する必要がない場合、同一符号のみを付する。
　なお、説明は以下の順序で行うものとする。
　　１．　本開示の実施形態の概要
　　２．　本開示の情報処理システム１０の概要
　　　　　２．１　情報処理システム１０の概要
　　　　　２．２　触覚提示デバイス１００の詳細構成
　　　　　２．３　ハプティクス用サーバ３００の詳細構成
　　　　　２．４　配信データ編集サーバ４００の詳細構成
　　　　　２．５　ライブ配信サーバ５００の詳細構成
　　　　　２．６　ユーザ端末７００の詳細構成
　　３．　第１の実施形態
　　４．　第２の実施形態
　　５．　第３の実施形態
　　６．　第４の実施形態
　　７．　第５の実施形態
　　８．　第６の実施形態
　　９．　第７の実施形態
　　１０．　第８の実施形態
　　１１．　第９の実施形態
　　１２．　まとめ
　　１３．　本開示の情報処理システム１０の変形例１
　　１４．　本開示の情報処理システム１０の変形例２
　　１５．　触覚刺激の出力方法
　　１６．　スタンプ表示の変形例について
　　１７．　ハードウェア構成について
　　１８．　補足
　＜＜１．　本開示の実施形態の概要＞＞
　まずは、本開示の実施形態の詳細を説明する前に、図１及び図２を参照して、本発明者らが創作した本開示の実施形態の概要について説明する。図１及び図２は、本開示の実施形態の概要を説明するための説明図である。
　先に説明したように、近年、消費者の消費活動は、「モノ消費」から「コト消費」へと移り変わっている。特に、エンタテイメント分野においては、消費者は、アーティスト等の生のパフォーマンスを視聴するといった一方向の体験だけでなく、さらにアーティストとの交流等といった、リアルタイムで、且つ、インタラクティブな、より付加価値の高い体験を強く求めるようになってきている。
　そこで、このような状況を鑑みて、本発明者らは、より付加価値の高い体験を視聴者に提供することができないものかと鋭意検討を進め、振動等の触覚刺激を被装着者に提示する触覚提示デバイス（ハプティクス・デバイス）を利用することを着想した。本発明者らは、このような触覚提示デバイスを利用することにより、視聴者はより付加価値の高い体験を得ることができると考えたのである。
　このような着想に基づいて創作された本開示の実施形態においては、図１に示すように、パフォーマンスやコンテンツを視聴させる又は配信する配信者８００に、例えばベスト型の触覚提示デバイス１００を装着してもらう。当該触覚提示デバイス１００は、内部に複数の触覚刺激部（例えば、アクチュエータ等）を有する。また、当該触覚刺激部は、所定の信号を受信すると触覚刺激を被装着者である配信者８００に提示することができる。次に、図２に示すように、視聴者９００は、ユーザ端末７００の表示部７０２に表示された複数の触覚刺激効果付きスタンプ８５０から１つの触覚刺激効果付きスタンプ８５０を選択し、選択した触覚刺激効果付きスタンプ８５０の送信を行う。そして、選択した触覚刺激効果付きスタンプ８５０の送信によって、上記触覚刺激部に、当該スタンプ８５０に付与された触覚刺激に対応する所定の触覚制御信号が送信される（いわゆる、触覚刺激効果付き「投げ銭」を行うこととなる）。さらに、当該触覚刺激部は、受信した所定の触覚制御信号に基づき、選択された触覚刺激効果付きスタンプ８５０に対応する触覚刺激を被装着者に提示することとなる。
　そこで、配信者８００は、提示された触覚刺激を知覚し、アクションを起こすこととなれば、視聴者９００は、自身が送信したスタンプ８５０によって提示された触覚刺激により誘起されたアクションをリアルタイムで確認することができる。そして、自身が送信したスタンプ８５０に係る触覚刺激により誘起されたアクションをリアルタイムで確認することができれば、視聴者９００は、配信者８００と直接的にやり取りを行っているように感じることができ、すなわち、より付加価値の高い体験を得ることができる。
　このように、本発明者らが創作した本開示の実施形態においては、視聴者９００から、イラスト、アニメーション、テキスト等の視覚情報や、音楽等の聴覚情報だけでなく、触覚情報を、配信者８００に送ることができる。従って、本開示の実施形態によれば、視聴者９００に対して、リアルタイムで、且つ、インタラクティブな付加価値の高い体験を提供することができ、視聴者９００の、パフォーマンスやコンテンツに対する満足感がより高まったり、このような「コト」に対する購買意欲が増したりすることとなる。以下に、本発明者らが創作した本開示の実施形態の詳細を順次説明する。
　＜＜２．　本開示の情報処理システム１０の概要＞＞
　＜２．１　情報処理システム１０の概要＞
　まずは、図３を参照して、本開示の実施形態に係る情報処理システム１０の概要を説明する。図３は、本開示の実施形態に係る情報処理システム１０の概略的構成例を示したシステム図である。以下の説明においては、配信者８００と視聴者９００とは異なる空間又は同一空間に存在するものとする。すなわち、当該情報処理システム１０においては、視聴者９００は、例えば、直接的に配信者８００の姿を視聴してもよく、配信された配信者８００の映像を視聴してもよい。
　詳細には、図３に示すように、本実施形態に係る情報処理システム１０においては、例えば、配信者８００側には、触覚提示デバイス１００と、駆動アンプ／インタフェース２００と、スピーカ２０２と、モニタ２０４と、マイクロフォン（以下、マイクと称する）２０６と、カメラ２０８とが配置される。また、当該情報処理システム１０においては、配信者８００側と視聴者９００側との間には、例えば、ハプティクス用サーバ（情報処理装置）３００と、配信データ編集サーバ４００と、ライブ配信サーバ５００（他の情報処理装置）とが配置される。さらに、当該情報処理システム１０においては、視聴者９００側には、ユーザ端末７００の一例としてのスマートフォンやタブレットが配置される。当該情報処理システム１０に含まれる各装置は、例えば有線／無線ＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）、又はＷｉ－Ｆｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、携帯通信網（ＬＴＥ（Ｌｏｎｇ　Ｔｅｒｍ　Ｅｖｏｌｕｔｉｏｎ）、５Ｇ（第５世代の移動体通信方式））等のような各種の通信ネットワークを介して互いに送受信することができる。なお、情報処理システム１０に含まれる各装置の数は、図３に図示された数に限定されるものではなく、さらに多くてもよい。また、情報処理システム１０は、図３において図示されない装置を含んでいてもよい。例えば、情報処理システム１０は、汎用ＰＣ（Ｐｅｒｓｏｎａｌ　Ｃｏｍｐｕｔｅｒ）、ゲーム機、携帯電話、携帯型メディアプレーヤ、スピーカ、プロジェクタ、ディスプレイ（デジタルサイネージ等）、ヘッドフォン、スマートグラス、スマートウォッチ等のウェアラブルデバイス等を含むことができる。
　なお、図３に示す情報処理システム１０においては、例えば、触覚刺激の提示を管理するハプティクス用サーバ３００と、視聴者９００へ配信される映像や音声の編集等を行うアプリケーションが内蔵された配信データ編集サーバ４００及び視聴者９００への配信を管理するライブ配信サーバ５００とは異なる事業者によって運営されていてもよい。すなわち、本実施形態においては、各サーバを管理、運営する事業者は特に限定されるものではなく、各サーバを運営する事業者は全て異なっていてもよく、もしくは、サーバの一部又は全部については、共通する事業者によって運営されていてもよい。以下に、本実施形態に係る情報処理システム１０に含まれる各装置の概略について説明する。
　（触覚提示デバイス１００）
　触覚提示デバイス１００は、例えば身体に装着可能な装置により構成される。本実施形態では、触覚提示デバイス１００は、例えば、配信者８００に着用されるベスト型（袖なしの上着形状）の装置を想定する。ベスト型の触覚提示デバイス１００は、先に説明したように、内部に複数の触覚刺激部（図示省略）を有する。触覚刺激部は、例えば、触覚提示デバイス１００の内部において、配信者８００の正面側および背面側にそれぞれ所定の個数（例えば６個）ずつ配置され得る。一例として、正面側に配置されている個々の触覚刺激部と、背面側に配置されている個々の触覚刺激部とは、向かい合う位置関係で配置される。
　なお、本実施形態においては、触覚提示デバイス１００の形状は、ベスト型に限定されず、袖を有した上着形状であってもよい。この場合、配信者８００の胸部及び腹部だけでなく、配信者８００の両腕に対応する位置にも、触覚刺激部が１個以上配置されるようにしてもよい。また、本実施形態においては、触覚提示デバイス１００は、上着形状に限定されず、ズボン、靴、ベルト、帽子、手袋、又はマスク等の形状であってもよい。
　また、触覚提示デバイス１００の肩部分には、左右にそれぞれ１個ずつマイク２０６を配置してもよく、もしくは、左右の一方に１個のマイク２０６を配置してもよく、もしくは、３個以上配置してもよい。さらに、マイク２０６は、触覚提示デバイス１００とは独立した他の装置として、配信者８００の周囲に配置されていてもよい。さらに、触覚提示デバイス１００には、触覚提示デバイス１００の装着状態を検知するための装着状態検知センサ（例えば、ファスナ型のセンサ、圧力センサ等）（図示省略）、配信者８００の動作や姿勢を検知するための慣性センサ（Ｉｎｅｒｔｉａｌ　Ｍｅａｓｕｒｅｍｅｎｔ　Ｕｎｉｔ：ＩＭＵ）（図示省略）、配信者８００の生体情報を検知するための生体情報センサ（例えば、心拍、脈拍、脳波、呼吸、発汗、筋電位、皮膚温度、皮膚電気抵抗、眼球運動、又は、瞳孔径等をセンシングするセンサ）（図示省略）等が内蔵されていてもよい。なお、触覚提示デバイス１００の詳細構成については後述する。
　（駆動アンプ／インタフェース２００）
　駆動アンプ／インタフェース２００は、触覚提示デバイス１００とハプティクス用サーバ３００との間で、触覚制御信号の送受信を行うインタフェースである。例えば、駆動アンプ／インタフェース２００は、触覚提示デバイス１００から触覚提示デバイス１００のプロファイル情報（機能情報等）を取得したり、ハプティクス用サーバ３００により生成された触覚制御信号を信号変換、増幅して、触覚提示デバイス１００に送信したりすることができる。
　（モニタ２０４）
　モニタ２０４は、例えば、後述するカメラ２０８で撮像された配信者８００の映像等を配信者８００に向けて表示することができ、さらに、モニタ２０４は、配信者８００の画像に、テキスト、アイコン又はアニメーション等を重畳表示することができる。例えば、モニタ２０４は、液晶ディスプレイ（ＬＣＤ：Ｌｉｑｕｉｄ　Ｃｒｙｓｔａｌ　Ｄｉｓｐｌａｙ）装置、ＯＬＥＤ（Ｏｒｇａｎｉｃ　Ｌｉｇｈｔ　Ｅｍｉｔｔｉｎｇ　Ｄｉｏｄｅ）装置等により実現される。また、本実施形態においては、モニタ２０４の表示部（図示省略）は、入力部（図示省略）と一体のユニットとして設けられていてもよく、この場合、当該入力部は、例えば上記表示部に重畳されたタッチパネルにより実現される。さらに、本実施形態においては、モニタ２０４に、配信者８００に対して音声を出力するスピーカ２０２が設けられていてもよい。
　（カメラ２０８）
　カメラ２０８は、配信者８００を１視点又は多視点から撮像する１個又は複数の可視光カメラであり、カメラ２０８によって撮影された映像は、ハプティクス用サーバ３００、配信データ編集サーバ４００及びライブ配信サーバ５００を介して、視聴者９００側のユーザ端末７００へ送信される。なお、当該カメラ２０８は、配信者８００の周囲又は周囲に存在する実物体等を撮像してもよい。詳細には、カメラ２０８は、撮像レンズ、絞り、ズームレンズ、及びフォーカスレンズ等により構成されるレンズ系、当該レンズ系に対してフォーカス動作やズーム動作を行わせる駆動系を有する。さらに、カメラ２０８は、上記レンズ系で得られる撮像光を光電変換して撮像信号を生成する固体撮像素子アレイ等をそれぞれ有する。なお、当該固体撮像素子アレイは、例えばＣＣＤ（Ｃｈａｒｇｅ　Ｃｏｕｐｌｅｄ　Ｄｅｖｉｃｅ）センサアレイや、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ　Ｍｅｔａｌ　Ｏｘｉｄｅ　Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサアレイ等により実現されてもよい。
　（ハプティクス用サーバ３００）
　ハプティクス用サーバ３００は、視聴者９００から入力された触覚刺激効果付きスタンプ（制御コマンド）８５０を、ライブ配信サーバ５００を介して受け付け、当該スタンプ８５０に従って触覚制御信号を生成し、生成した触覚制御信号を触覚提示デバイス１００に送信することができる。各触覚刺激効果付きスタンプ８５０は、各所定の制御コマンドと紐づけられており、各制御コマンドには、振動刺激を提示する知覚位置を指定する情報（位置情報）（詳細には、例えば、触覚刺激を提示する触覚刺激部を指定する情報等）、振動刺激の波形種類や強度等を指定する情報（形態情報）等が含まれる。また、上記制御コマンドには、触覚提示デバイス１００に設けられた触覚刺激部（図示省略）や上記形態情報を指定する識別情報（ＩＤ）を含むことができる。詳細には、ハプティクス用サーバ３００は、当該制御コマンドで、指定された知覚位置において、指定された強度で、指定された波形による振動刺激を提示するよう、触覚提示デバイス１００に設けられた個々の触覚刺激部へ入力する触覚制御信号（波形データ）を生成し、触覚提示デバイス１００へ送信する。さらに、各触覚刺激効果付きスタンプ８５０に紐づけられている制御コマンドは、当該スタンプ８５０の識別情報（ＩＤ）のみを含むようにしてもよい。この場合、ハプティクス用サーバ３００は、受け付けたスタンプ８５０の識別情報を参照して、予め格納された当該識別情報に紐づけられたデータに基づいて、スタンプ８５０に対応する触覚制御信号（波形データ）を生成してもよい。なお、本明細書においては、「知覚位置」には、知覚位置の移動経路や、所定の広さを持った知覚範囲も含むものとする。また、ハプティクス用サーバ３００の詳細構成については後述する。
　（配信データ編集サーバ４００）
　配信データ編集サーバ４００は、ハプティクス用サーバ３００を介して受信したカメラ２０８による映像を編集したり、ハプティクス用サーバ３００を介して受信したマイク２０６による音声を編集したりすることができる。さらに、配信データ編集サーバ４００は、編集した映像及び音声データを、ライブ配信サーバ５００を介してユーザ端末７００へ送信したり、ハプティクス用サーバ３００を介して、スピーカ２０２及びモニタ２０４に出力したりすることができる。例えば、配信データ編集サーバ４００は、カメラ２０８で撮像された配信者８００の画像に、視聴者９００から入力されたスタンプ８５０の画像やスタンプ８５０に紐づけられた映像エフェクトを重畳させて、配信のための映像データを生成することができる。なお、配信データ編集サーバ４００の詳細構成については後述する。
　（ライブ配信サーバ５００）
　ライブ配信サーバ５００は、配信者８００等の画像等や触覚刺激効果付きスタンプ８５０を選択するための画像等をユーザ端末７００へ配信することができる。例えば、ライブ配信サーバ５００は、Ｗｅｂ　ＡＰＩ（Ａｐｐｌｉｃａｔｉｏｎ　Ｐｒｏｇｒａｍｍｉｎｇ　Ｉｎｔｅｒｆａｃｅ）を介して認証を行い、視聴者９００から送信された触覚刺激効果付きスタンプ８５０等を監視することができる。なお、ライブ配信サーバ５００の詳細構成については後述する。
　さらに、本実施形態においては、ハプティクス用サーバ３００、配信データ編集サーバ４００及びライブ配信サーバ５００は、単一の装置によって実現されてもよく、複数の装置によって実現されてもよく、特に限定されるものではない。この詳細については、後述する。
　（ユーザ端末７００）
　ユーザ端末７００は、視聴者９００によって使用され、もしくは、視聴者９００の近傍に設置され、例えば、視聴者９００が上記触覚刺激効果付きスタンプ８５０等を入力するための端末である。そして、ユーザ端末７００は、視聴者９００から入力された触覚刺激効果付きスタンプ（制御コマンド）８５０を受け付け、受け付けた当該スタンプ８５０を、ライブ配信サーバ５００を介して、ハプティクス用サーバ３００へ送信する。また、ユーザ端末７００は、例えば、受け付けた当該スタンプ８５０に紐づけられた映像エフェクトが施され、スタンプ８５０に紐づけられた触覚刺激が提示された配信者８００の映像を、ライブ配信サーバ５００を介して受信し、表示することができる。その際、ユーザ端末７００は、スタンプ８５０の識別情報（ＩＤ）を受信して、自身の記憶部（図示省略）から当該識別情報に紐づけられた映像エファクトの情報を読み出して、自身で処理を行ってもよく、もしくは、既に映像エフェクトが施された映像を受信してもよい。例えば、ユーザ端末７００は、スマートフォン、タブレット型ＰＣ（Ｐｅｒｓｏｎａｌ　Ｃｏｍｐｕｔｅｒ）、携帯電話、ラップトップ型ＰＣ、ＨＭＤ（Ｈｅａｄ　Ｍｏｕｎｔｅｄ　Ｄｉｓｐｌａｙ）等のウェアラブルデバイスであることができる。また、ユーザ端末７００は、カラオケボックス等の事業者が提供する部屋に設置された専用装置であってもよい。なお、ユーザ端末７００の詳細構成については後述する。
　＜２．２　触覚提示デバイス１００の詳細構成＞
　次に、図４及び図５を参照して、触覚提示デバイス１００の詳細構成を説明する。図４は、本実施形態に係る触覚提示デバイス１００の外観構成例を示す図であり、図５は、本実施形態に係る触覚提示デバイス１００の機能構成例を示す図である。先に説明したように、触覚提示デバイス１００は、配信者８００の身体の一部に装着され、スタンプ（制御コマンド）８５０に従って振動等することにより、配信者８００に触覚刺激を与える装置である。
　図４に示すように、例えばベスト型の触覚提示デバイス１００は、先に説明したように、内部に複数の触覚刺激部１０６を有する。当該触覚刺激部１０６は、例えばアクチュエータから構成され、ハプティクス用サーバ３００によって生成される触覚制御信号により駆動して振動を発生させ、かかる振動を触覚刺激として提示する。アクチュエータとしては、例えば、偏心モータや、リニア・バイブレータ、圧電素子等を用いることができる。
　さらに、触覚提示デバイス１００は、図５に示すように、通信部１０２と、制御部１０４と、上述した触覚刺激部１０６と、操作部１０８とを有する。以下に、触覚提示デバイス１００の各機能ブロックについて順次説明する。
　（通信部１０２）
　通信部１０２は、駆動アンプ／インタフェース２００を介して、ハプティクス用サーバ３００と無線で接続され、ハプティクス用サーバ３００との間で情報の送受信を行うことができる。
　（制御部１０４）
　制御部１０４は、コントローラであり、上述した通信部１０２を介して入力された触覚制御信号に基づいて触覚刺激部１０６を駆動させることができる。制御部１０４は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）やＭＰＵ（Ｍｉｃｒｏ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）等によって、触覚提示デバイス１００の内部のＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）等に記憶されている各種プログラムがＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）を作業領域として実行されることにより実現される。また、制御部１０４は、例えば、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ　Ｓｐｅｃｉｆｉｃ　Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ）やＦＰＧＡ（Ｆｉｅｌｄ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）等の集積回路により実現することもできる。
　（操作部１０８）
　操作部１０８は、配信者８００によって操作されるタッチセンサ、圧力センサ、近接センサ、ボタン、スイッチ、及びレバー等の操作デバイスであり、例えば、配信者８００により、提示された触覚刺激の強度を弱くしたり、触覚刺激の提示を停止したりすることができる。
　以上、本実施形態に係る触覚提示デバイス１００の詳細構成について具体的に説明したが、本実施形態に係る触覚提示デバイス１００の詳細構成は図４及び図５に示す例に限定されるものではない。
　また、触覚提示デバイス１００は、上述したようなベスト型のウェアラブルデバイスであることに限らず、ユーザの身体の一部（耳たぶ、首、腕、手首、足首等）に装着可能なウェアラブルデバイスであってもよい。より具体的には、ウェアラブルデバイスとしては、イヤーデバイス型、アンクレット型、指輪型、グローブ型、腕輪（リストバンド）型、首輪型、アイウェア型、ヘッドウェア型、パッド型、バッチ型、衣服型等の各種の方式／形態のウェアラブルデバイスを挙げることができる。また、触覚提示デバイス１００は、配信者８００が手に持つ機器、例えば、スマートフォン、タブレット、カメラ、ゲームコントローラ、携帯型音楽プレーヤ等に搭載されるオンハンド型として構成されてもよく、ペン型、スティック型、ハンドル型であってもよい。さらに、触覚提示デバイス１００は、ウェアラブル型やオンハンド型に限らず、ベッドや椅子、テーブルといった家具又は各種設備に搭載されるスレート／フロア型として構成されてもよい。
　さらに、本開示の実施形態においては、触覚提示デバイス１００により配信者８００に触覚刺激（振動）を提示するものとして説明するが、これに限定されるものではなく、触覚刺激の代わりに、又は、触覚刺激ともに、風、電気的刺激、超音波、力覚、熱、湿気、香り等を配信者８００に与えてもよい。また、本開示の実施形態においては、配信者８００に対して触覚刺激を提示することに限定されるものではなく、スタンプ８５０を選択した視聴者９００や、単に配信者８００の配信を楽しむ視聴者９００に対して触覚刺激等を提示してもよい。
　＜２．３　ハプティクス用サーバ３００の詳細構成＞
　次に、図６を参照して、本開示の実施形態に係るハプティクス用サーバ３００の詳細構成について説明する。図６は、本開示の実施形態に係るハプティクス用サーバ３００の機能構成例を示す図である。図６に示すように、ハプティクス用サーバ３００は、通信部３０２と、カメラ画像取得部３０４と、マイク音声取得部３０６と、スタンプ取得部３０８と、触覚信号生成部３１０と、配信者状態取得部３１２と、出力画像取得部３１４と、出力音声取得部３１６と、記憶部３１８とを主に有する。以下に、ハプティクス用サーバ３００の各機能ブロックについて順次説明する。
　（通信部３０２）
　通信部（配信部）３０２は、触覚提示デバイス１００、スピーカ２０２、モニタ２０４、及び、カメラ２０８との間で情報の送受信を行うことができる。通信部３０２は、データの送受信を行う機能を有する通信インタフェースであって、通信アンテナ、送受信回路やポート等の通信デバイス（図示省略）により実現される。具体的には、通信部３０２は、触覚提示デバイス１００に触覚制御信号を送信したり、配信データ編集サーバ４００からの映像データ（例えば、テキスト情報をも含む）をモニタ２０４へ送信したり、配信データ編集サーバ４００からの音声データ（所定の音声）をスピーカ２０２へ送信したりすることができる。
　次に、カメラ画像取得部３０４、マイク音声取得部３０６、スタンプ取得部３０８、触覚信号生成部３１０、配信者状態取得部３１２、出力画像取得部３１４、及び、出力音声取得部３１６を説明する。これらの機能部は、例えば、ＣＰＵやＭＰＵ等によって、ハプティクス用サーバ３００の内部のＲＯＭ等に記憶されている各種プログラムがＲＡＭを作業領域として実行されることにより実現される。
　（カメラ画像取得部３０４）
　カメラ画像取得部３０４は、カメラ２０８から、配信者８００側の実空間の画像や、配信者８００の画像を取得し、通信部３０２を介して、配信データ編集サーバ４００へ送信することができる。
　（マイク音声取得部３０６）
　マイク音声取得部３０６は、マイク２０６から、配信者８００側の実空間の環境音や、配信者８００の音声を取得し、通信部３０２を介して、配信データ編集サーバ４００へ送信することができる。
　（スタンプ取得部３０８）
　スタンプ取得部３０８は、視聴者９００から入力された触覚刺激効果付きスタンプ８５０に紐づけられた、触覚提示デバイス１００によって触覚刺激を提示する提示位置を指定する位置情報（提示部情報）と当該触覚刺激の形態を指定する形態情報とを含む制御コマンドを取得し、後述する触覚信号生成部３１０に出力することができる。また、スタンプ取得部３０８は、触覚刺激効果付きスタンプ８５０に紐づけられた識別情報（ＩＤ）のみ含む制御コマンドを取得し、後述する触覚信号生成部３１０に出力してもよい。
　（触覚信号生成部３１０）
　触覚信号生成部３１０は、視聴者９００から入力された触覚刺激効果付きスタンプ８５０に紐づけられた制御コマンドに基づいて、触覚提示デバイス１００を制御するための触覚制御信号を生成することができる。具体的には、触覚信号生成部３１０は、振動刺激の知覚位置（位置情報）、振動刺激の波形種類、及び、振動刺激の強度情報（形態情報）等が含まれる制御コマンドに基づいて、指定された知覚位置において、指定された強度で、指定された波形による振動刺激を提示するよう、触覚提示デバイス１００に設けられた個々の触覚刺激部１０６（具体的には、振動アクチュエータ）へ入力するための波形データを生成する。なお、触覚制御信号には、上記制御コマンドに基づく、触覚刺激の提示タイミング、周波数、間隔、及び、提示時間で振動刺激を提示するよう指示する情報が含まれていてもよい。また、触覚信号生成部３１０は、視聴者９００から入力された触覚刺激効果付きスタンプ８５０に紐づけられた識別情報（ＩＤ）のみを含む制御コマンドを参照して、予め格納された当該識別情報に紐づけられたデータに基づいて、スタンプ８５０に対応する触覚制御信号（知覚位置、波形種類、強度情報等を含む）を生成してもよい。
　さらに、触覚信号生成部３１０は、制御コマンドで指定されている振動刺激の周波数や強度が広い帯域（例えば５０～５００Ｈｚ）を持つものであれば、触覚提示デバイス１００の機能に応じて狭帯域（例えば１００Ｈｚ）に圧縮して、波形データを生成してもよい。さらに、触覚信号生成部３１０は、配信者８００の触覚提示デバイス１００の装着状況や触覚提示デバイス１００のプロファイル（機能等）に応じて、触覚制御信号を調整してもよい。
　また、触覚信号生成部３１０は、生成した触覚制御信号を、通信部３０２を介して、配信者８００の身体に装着された触覚提示デバイス１００へ送信することができる。
　（配信者状態取得部３１２）
　配信者状態取得部３１２は、例えば、触覚提示デバイス１００の装着状態を検知するための装着状態検知センサ（図示省略）で取得したセンシングデータ等を取得し、上述した触覚信号生成部３１０に出力することができる。
　（出力画像取得部３１４）
　出力画像取得部３１４は、配信データ編集サーバ４００から、編集された映像データ（所定の画像、テキスト情報）を取得し、通信部３０２を介して、モニタ２０４へ送信することができる。
　（出力音声取得部３１６）
　出力音声取得部３１６は、配信データ編集サーバ４００から、編集された音声データ等を取得し、通信部３０２を介して、スピーカ２０２へ送信することができる。
　（記憶部３１８）
　記憶部３１８は、触覚信号生成部３１０の処理に用いられるプログラムや演算パラメータ等を記憶するＲＯＭ、適宜変化するパラメータ等を一時記憶するＲＡＭ、及び、各種データベース（ＤＢ）を格納するＨＤＤ等の記憶装置から実現される。例えば、記憶部３１８は、各スタンプ８５０の識別情報（ＩＤ）に紐づけられて、予め生成された触覚データライブラリ（知覚位置、振動波形パターン等）が格納されており、これを利用して、上述した触覚信号生成部３１０は触覚制御信号を生成することもできる。さらに、記憶部３１８は、例えば、触覚提示デバイス１００の触覚刺激部１０６の個数、その位置、周波数特性、最大入力電圧等といった情報を、触覚提示デバイス１００のプロファイル情報として格納してもよい。触覚信号生成部３１０は、このようなプロファイル情報を参照して、触覚制御信号を調整することができる。
　以上、本実施形態に係るハプティクス用サーバ３００の詳細構成について具体的に説明したが、本実施形態に係るハプティクス用サーバ３００の詳細構成は図６に示す例に限定されるものではない。
　＜２．４　配信データ編集サーバ４００の詳細構成＞
　次に、図７を参照して、本開示の実施形態に係る配信データ編集サーバ４００の詳細構成について説明する。図７は、本開示の実施形態に係る配信データ編集サーバ４００の機能構成例を示す図である。図７に示すように、配信データ編集サーバ４００は、通信部４０２と、カメラ画像取得部４０４と、画像生成部４０６と、スタンプ取得部４０８と、マイク音声取得部４１０と、音声生成部４１２と、出力音声取得部４１４と、記憶部４１６とを主に有する。以下に、配信データ編集サーバ４００の各機能ブロックについて順次説明する。
　（通信部４０２）
　通信部４０２は、ハプティクス用サーバ３００及びライブ配信サーバ５００との間で情報の送受信を行うことができる。通信部４０２は、データの送受信を行う機能を有する通信インタフェースであって、通信アンテナ、送受信回路やポート等の通信デバイス（図示省略）により実現される。
　次に、カメラ画像取得部４０４、画像生成部４０６、スタンプ取得部４０８、マイク音声取得部４１０、音声生成部４１２、及び、出力音声取得部４１４を説明する。これらの機能部は、例えば、ＣＰＵやＭＰＵ等によって、配信データ編集サーバ４００の内部のＲＯＭ等に記憶されている各種プログラムがＲＡＭを作業領域として実行されることにより実現される。
　（カメラ画像取得部４０４）
　カメラ画像取得部４０４は、ハプティクス用サーバ３００を介して、カメラ２０８から、配信者８００側の実空間の画像や、配信者８００の画像を取得し、後述する画像生成部４０６に出力することができる。
　（画像生成部４０６）
　画像生成部４０６は、視聴者９００又は配信者８００に提示するための画像データを生成することができる。例えば、画像生成部４０６は、アイコン、アニメーション、テキスト等の仮想オブジェクトを、配信者８００の画像に重畳表示するような映像データを生成することができる。より具体的には、上記仮想オブジェクトは、触覚刺激が提示されると同時に表示される爆弾が破裂したようなアニメーション等であることができる。また、上記仮想オブジェクトは、視聴者９００から入力された触覚刺激効果付きスタンプ８５０に対応する画像であってもよく、例えば、ハート形のスタンプ８５０の場合、画像生成部４０６は、ハートの形状のスタンプ８５０を配信者８００の画像に重畳表示するような映像データを生成することができる。さらに、画像生成部４０６は、例えば、配信者８００の画像に対して、視聴者９００から入力されたスタンプ８５０に紐づけられた映像エフェクトを施してもよい。また、画像生成部４０６は、例えば、触覚提示デバイス１００が配信者８００の身体に装着されていないことから、当該配信者８００に触覚刺激を提示できない場合に、触覚刺激の代わりに視聴者９００等に提示される映像データを生成することもできる。
　（スタンプ取得部４０８）
　スタンプ取得部４０８は、視聴者９００から入力された触覚刺激効果付きスタンプ８５０の情報を取得し、画像生成部４０６及び音声生成部４１２に出力することができる。
　（マイク音声取得部４１０）
　マイク音声取得部４１０は、ハプティクス用サーバ３００を介して、マイク２０６から、配信者８００の音声を取得し、後述する音声生成部４１２に出力することができる。
　（音声生成部４１２）
　音声生成部４１２は、視聴者９００又は配信者８００に提示するための音声データを生成することができる。例えば、音声生成部４１２は、触覚刺激が提示されると同時に出力される爆弾が破裂したような音声データを生成することができる。また、音声生成部４１２は、視聴者９００から入力された触覚刺激効果付きスタンプ８５０に対応する音声の音声データを生成してもよい。例えば、野鳥の形のスタンプ８５０の場合、音声生成部４１２は、野鳥の鳴き声を配信者８００の歌声等に重畳した音声データを生成する。さらに、音声生成部４１２は、ユーザ端末７００により取得した視聴者９００の音声を配信者８００の歌声等に重畳した音声データを生成してもよい。また、音声生成部４１２は、例えば、触覚提示デバイス１００が配信者８００の身体に装着されていないことから、当該配信者８００に触覚刺激を提示できない場合に、触覚刺激の代わりに視聴者９００等に出力される音声データを生成することもできる。
　（出力音声取得部４１４）
　出力音声取得部４１４は、ユーザ端末７００を用いて視聴者９００から入力された音声を取得し、音声生成部４１２に出力することができる。
　（記憶部４１６）
　記憶部４１６は、画像生成部４０６や出力音声取得部４１４での処理に用いられるプログラムや演算パラメータ等を記憶するＲＯＭ、適宜変化するパラメータ等を一時記憶するＲＡＭ、及び、各種データベース（ＤＢ）を格納するＨＤＤ等の記憶装置から実現される。例えば、記憶部４１６は、各スタンプ８５０の識別情報（ＩＤ）に紐づけられて、予め生成された画像、音声データライブラリを格納しており、これを利用して、画像生成部４０６や出力音声取得部４１４は、映像データや音声データを生成する。
　以上、本実施形態に係る配信データ編集サーバ４００の詳細構成について具体的に説明したが、本実施形態に係る配信データ編集サーバ４００の詳細構成は図７に示す例に限定されるものではない。
　＜２．５　ライブ配信サーバ５００の詳細構成＞
　次に、図８を参照して、本開示の実施形態に係るライブ配信サーバ５００の詳細構成について説明する。図８は、本開示の実施形態に係るライブ配信サーバ５００の機能構成例を示す図である。図８に示すように、ライブ配信サーバ５００は、通信部５０２と、ＧＵＩ制御部５０４と、スタンプ取得部５０６と、音声データ取得部５０８と、画像データ取得部５１０と、触覚信号取得部５１２と、視聴者情報取得部５１４と、配信制御部５１６と、記憶部５１８とを主に有する。以下に、ライブ配信サーバ５００の各機能ブロックについて順次説明する。
　（通信部５０２）
　通信部５０２は、ユーザ端末７００、配信データ編集サーバ４００及びハプティクス用サーバ３００との間で情報の送受信を行うことができる。通信部５０２は、データの送受信を行う機能を有する通信インタフェースであって、通信アンテナ、送受信回路やポート等の通信デバイス（図示省略）により実現される。
　次に、ＧＵＩ制御部５０４、スタンプ取得部５０６、音声データ取得部５０８、画像データ取得部５１０、触覚信号取得部５１２、視聴者情報取得部５１４、及び、配信制御部５１６を説明するが、これらの機能部は、例えば、ＣＰＵやＭＰＵ等によって、ライブ配信サーバ５００の内部のＲＯＭ等に記憶されている各種プログラムがＲＡＭを作業領域として実行されることにより実現される。
　（ＧＵＩ制御部５０４）
　ＧＵＩ（Ｇｒａｐｈｉｃａｌ　Ｕｓｅｒ　Ｉｎｔｅｒｆａｃｅ）制御部５０４は、視聴者９００の有するユーザ端末７００を制御して、触覚刺激効果付きスタンプ（制御コマンド）８５０を入力するための画面を表示することができる。詳細には、ＧＵＩ制御部５０４は、触覚刺激効果付きスタンプ８５０を選択するための画面として図２に示すような画面を、ユーザ端末７００の表示部７０２に表示させる。当該選択画面（スタンプ選択画面）には、多数の触覚刺激効果付きスタンプ８５０が表示されている。各触覚刺激効果付きスタンプ８５０は、触覚提示デバイス１００に対する制御コマンドと紐づけられており、視聴者９００は、当該選択画面に表示されたスタンプ８５０を選択することにより、制御コマンドを入力することができる。なお、本実施形態においては、触覚刺激効果付きスタンプ８５０のイメージは、視聴者９００が配信者８００に送信したい触覚刺激や想い（メッセージ）等を直感的に想起させるものであることが好ましい。また、後述するように、ＧＵＩ制御部５０４は、触覚刺激効果付きスタンプ８５０以外に、触覚刺激効果の付いていないスタンプも選択可能な画像を、ユーザ端末７００の表示部７０２に表示させてもよい。
　（スタンプ取得部５０６）
　スタンプ取得部５０６は、視聴者９００から入力された触覚刺激効果付きスタンプ８５０の情報（例えば、ＩＤ）を取得し、通信部５０２を介して、配信データ編集サーバ４００及びハプティクス用サーバ３００へ送信することができる。さらに、スタンプ取得部５０６は、ユーザ端末７００から、上記入力に対応する触覚制御信号や画像表制御信号等のコマンド情報を取得してもよい。
　（音声データ取得部５０８）
　音声データ取得部５０８は、通信部５０２を介して、配信データ編集サーバ４００から音声データを取得し、ユーザ端末７００へ送信することができる。
　（画像データ取得部５１０）
　画像データ取得部５１０は、通信部５０２を介して、配信データ編集サーバ４００から画像データを取得し、ユーザ端末７００へ送信することができる。
　（触覚信号取得部５１２）
　触覚信号取得部５１２は、ハプティクス用サーバ３００から触覚制御信号を取得し、ユーザ端末７００へ送信することができる。例えば、ユーザ端末７００に振動デバイス（図示省略）が搭載されている場合には、当該振動デバイスにより、視聴者９００が選択したスタンプ８５０に対応する触覚刺激を再現してもよい。
　（視聴者情報取得部５１４）
　視聴者情報取得部５１４は、例えば、ユーザ端末７００から送信された視聴者９００の識別情報（例えば、ＩＤ）を取得し、視聴者９００に対して認証を行うことができる。
　（配信制御部５１６）
　配信制御部５１６は、音声データ取得部５０８、画像データ取得部５１０及び触覚信号取得部５１２からのデータの、視聴者情報取得部５１４で認証された視聴者９００のユーザ端末７００への送信を制御することができる。
　（記憶部５１８）
　記憶部５１８は、ライブ配信サーバ５００での処理に用いられるプログラムや演算パラメータ等を記憶するＲＯＭ、適宜変化するパラメータ等を一時記憶するＲＡＭ、及び、各種データベース（ＤＢ）を格納するＨＤＤ等の記憶装置から実現される。例えば、記憶部５１８は、視聴者９００の識別情報を格納してもよく、さらには、視聴者９００が過去に取得した制御コマンドや使用したスタンプ（制御コマンド）８５０の情報を、当該視聴者９００の識別情報に紐づけて格納してもよい。
　以上、本実施形態に係るライブ配信サーバ５００の詳細構成について具体的に説明したが、本実施形態に係るライブ配信サーバ５００の詳細構成は図８に示す例に限定されるものではない。例えば、ライブ配信サーバ５００は、記憶部５１８に格納された情報を参照して、視聴者９００によって高い頻度で利用されているスタンプ（制御コマンド）８５０や、逆に低い頻度で利用されているスタンプ（制御コマンド）８５０を選択し、視聴者９００に向けて、選択した触覚刺激効果付きスタンプ８５０を推奨する推奨部（図示省略）をさらに有していてもよい。また、当該推奨部は、過去に所定の数以上のスタンプ８５０を得ていない配信者８００へのスタンプ８５０の入力を、視聴者９００に対して推奨してもよい。
　＜２．６　ユーザ端末７００の詳細構成＞
　次に、図９を参照して、本開示の実施形態に係るユーザ端末７００の詳細構成について説明する。図９は、本実施形態に係るユーザ端末７００の機能構成例を示す図である。図９に示すように、ユーザ端末７００は、表示部７０２と、操作入力部７０４と、スピーカ７０６と、通信部７０８と、制御部７１０と、記憶部７１２と、センサ部７２０とを主に有する。以下に、ユーザ端末７００の各機能ブロックについて順次説明する。
　（表示部７０２）
　表示部７０２は、例えば、触覚刺激効果付きスタンプ（制御コマンド）８５０を選択するための選択画面や、配信者８００の画像等を視聴者９００に向けて表示することができる。さらに、表示部７０２は、配信者８００の画像に、テキスト、アイコン又はアニメーション等を重畳表示することができる。表示部７０２は、液晶ディスプレイ装置、ＯＬＥＤ装置等により実現される。
　（操作入力部７０４）
　操作入力部７０４は、視聴者９００によって、例えば、触覚刺激を提示する提示位置を指定する位置情報と触覚刺激の形態を指定する形態情報とを含む制御コマンドに紐づけられた、触覚刺激効果付きスタンプ８５０の選択結果が入力される。もしくは、操作入力部７０４は、直接制御コマンドが入力されてもよい。例えば、操作入力部７０４は、スイッチ、ボタン、タッチパネル、又は、レバー等により実現される。また、操作入力部７０４により入力された操作の内容は、上述した表示部７０２によって表示されてもよい。また、当該操作入力部７０４は、上述した表示部７０２に重畳するように設けられ、表示部７０２によって表示された提示位置を指定するための位置選択画面に対する、視聴者９００からの入力操作の情報（例えば、位置情報）を受け付けることができる。
　（スピーカ７０６）
　スピーカ７０６は、後述する制御部７１０の制御に従って、音声を再生することができる。なお、スピーカ７０６は、ユーザ端末７００に設けられていてもよく、もしくは、１対のイヤホンスピーカ（図示省略）等といった、ユーザ端末７００と別体の装置であってもよい。
　（通信部７０８）
　通信部７０８は、ライブ配信サーバ５００との間で情報の送受信を行うことができ、詳細には、視聴者９００に入力された触覚刺激効果付きスタンプ（制御コマンド）８５０の情報を、ライブ配信サーバ５００へ送信することができる。また、通信部７０８は、ライブ配信サーバ５００から送信された情報を受信することができる。例えば、通信部７０８は、データの送受信を行う機能を有する通信インタフェースであって、通信アンテナ、送受信回路やポート等の通信デバイス（図示省略）により実現される。
　（制御部７１０）
　制御部７１０は、ユーザ端末７００のコントローラであり、例えば、ＣＰＵやＭＰＵ等によって、ユーザ端末７００の内部のＲＯＭ等に記憶されている各種プログラムがＲＡＭを作業領域として実行されることにより実現される。
　（記憶部７１２）
　記憶部７１２は、上述した制御部７１０の処理に用いられるプログラムや演算パラメータ等を記憶するＲＯＭ、及び、適宜変化するパラメータ等を一時記憶するＲＡＭ等の記憶装置から実現される。
　（センサ部７２０）
　センサ部７２０は、視聴者９００からの操作（ユーザ端末７００に与えられる振動等）に関するセンシングデータを取得することができる。例えば、センサ部７２０は、図９に示されるように、カメラ７２２、マイク７２４、ジャイロセンサ７２６、及び、加速度センサ７２８を主に含む。なお、上述したセンサは一例であり、本実施形態はこれに限定されるものではない。
　カメラ７２２は、例えば、視聴者９００の動作等を撮像し、撮像画像を上述した制御部７１０に出力する。そして、当該制御部７１０は、カメラ７２２によって撮像された画像から視聴者９００による所定の動作を抽出し、抽出した動作に係る制御コマンドを取得することができる。詳細には、カメラ７２２は、撮像レンズ、絞り、ズームレンズ、及びフォーカスレンズ等により構成されるレンズ系、当該レンズ系に対してフォーカス動作やズーム動作を行わせる駆動系を有する。さらに、カメラ７２２は、上記レンズ系で得られる撮像光を光電変換して撮像信号を生成する固体撮像素子アレイ等をそれぞれ有する。なお、当該固体撮像素子アレイは、例えば、ＣＣＤセンサアレイや、ＣＭＯＳセンサアレイ等により実現されてもよい。また、カメラ７２２は、ＴｏＦ（Ｔｉｍｅ　ｏｆ　Ｆｌｉｇｈｔ）センサ（図示省略）を含んでもよい。ＴｏＦセンサは、例えば、被写体に所定の周期を持つ照射光を照射し、当該被写体で反射された反射光を検出し、照射光と反射光との位相差や時間差を検出することで、被写体の深度（ｄｅｐｔｈ）情報を取得することができる。ここで被写体の深度情報とは、上記ＴｏＦセンサから被写体表面上の各点までの距離の情報の１つである深度の情報である。そして、被写体表面の複数の点の深度情報を集約することにより、被写体表面の凹凸形状に関する形状情報、すなわち、被写体の外形情報を得ることができる。
　マイク７２４は、視聴者９００の音声を集音し、集音した音声データを上述した制御部７１０に出力する。そして、当該制御部７１０は、マイク７２４によって集音した音声から視聴者９００による音声パターンを抽出し、抽出した音声パターンに係る制御コマンドを取得してもよい（例えば、視聴者９００の音声によるスタンプ８５０の指定等）。
　ジャイロセンサ７２６は、例えば、３軸ジャイロセンサにより実現され、視聴者９００によるユーザ端末７００の動きの角速度（回転速度）を検知する。また、加速度センサ７２８は、例えば、３軸加速度センサ（Ｇセンサとも呼ばれる）により実現され、視聴者９００によるユーザ端末７００の動きの加速度を検知する。本実施形態においては、これらのセンサによるセンシングデータにより、視聴者９００がユーザ端末７００に対して行った動作を認識することができ、さらに認識した動作に係る制御コマンドを取得することができる。
　以上、本実施形態に係るユーザ端末７００の詳細構成について具体的に説明したが、本実施形態に係るユーザ端末７００の詳細構成は、図９に示す例に限定されるものではなく、例えば、振動することにより、視聴者９００に通知を行う振動デバイス（振動子）をさらに有していてもよい。すなわち、ユーザ端末７００は、図９に図示しないものの、触覚刺激を再現する振動デバイスを搭載していてもよく、もしくは、視聴者９００の身体に装着された触覚提示デバイス１００であってもよい。
　＜＜３．　第１の実施形態＞＞
　まずは、図１０から図１８を参照して、本開示の第１の実施形態を説明する。図１０、１２、１５から１８は、本実施形態に係る表示例を説明するための説明図であり、図１１、１３、１４は、本実施形態に係る触覚刺激提示例を説明するための説明図である。
　図１０に示す例では、視聴者９００は、複数のハートの形状からなる、触覚刺激効果付きスタンプ８５０を選択するものとする。このような場合、図１０に示すユーザ端末７００においては、入力したスタンプ８５０は、当該視聴者９００のコメント８６０の横に表示されてもよい。そして、図１１に示すように、配信者８００の身体に装着された触覚提示デバイス１００の、選択したスタンプ８５０に紐づけられた制御コマンドで指定された触覚位置の触覚刺激部１０６が振動することにより、配信者８００に触覚刺激が提示されることとなる。
　この際、図１０に示すように、情報処理システム１０は、配信者８００の画像にスタンプ８５０の画像を重畳表示（Ａｕｇｍｅｎｔｅｄ　Ｒｅａｌｉｔｙ；ＡＲ表示）した画像を視聴者９００に向けて配信してもよい。具体的には、スタンプ８５０が重畳される位置は、当該スタンプ８５０の紐づけられた制御コマンドで指定された知覚位置であってもよい。この際、情報処理システム１０は、同一の配信者８００の画像を視聴する視聴者９００のコメント８６０を、上記画像とともに配信してもよい。また、本実施形態においては、情報処理システム１０により、視聴者９００が入力したコメントに基づいて、スタンプ８５０が自動的に選択され、自動的に選択されたスタンプ８５０に紐づけられた触覚刺激が配信者８００に提示されてもよい。
　また、本実施形態においては、図１２に示すように、配信者８００の画像に重畳される仮想オブジェクトは、アニメーション画像であってもよい。図１２に示す例では、視聴者９００によって入力されたスタンプ８５２は、花火であり、スタンプ８５２に従って、配信者８００の画像には花火のアニメーション画像（中心から外周へ光が広がるイメージ）８５２が重畳される。そして、この場合、図１３に示すように、選択したスタンプ８５２に紐づけられた制御コマンドに従い、アニメーション画像８５２の変化と同期して、配信者８００に身体に装着された触覚提示デバイス１００の触覚刺激が提示される触覚位置（すなわち、触覚刺激が提示される触覚刺激部１０６）が変化する。具体的には、花火のアニメーション画像８５２の中心から外周へ光が広がるイメージに同期して、触覚提示デバイス１００の、触覚刺激を提示する触覚刺激部１０６が、中心に位置する触覚刺激部１０６から外周に位置する触覚刺激部１０６へと変化する。なお、本実施形態においては、アニメーション画像８５２の変化は、触覚位置の変化に同期することに限定されるものではなく、例えば、触覚制御信号の、周波数、波形、強度の変化のいずれかと同期してもよい。
　さらに、上記実施形態は、図１４に示すように、アニメーション画像８５２の変化と同期して、配信者８００に身体に装着された触覚提示デバイス１００の触覚刺激が提示される触覚位置（すなわち、触覚刺激が提示される触覚刺激部１０６）が変化することを、具体的な情報を示すことにより、視聴者９００に提示してもよい。例えば、図１４に示す、視聴者９００に有するユーザ端末７００には、どの部位（触覚刺激部１０６）が振動しているかを示す表示８４２が表示する。図１４の例では、アニメーション画像８５２が変化すると触覚位置が変化するため、表示８４２の表示も変化する。また、表示８４２では、各触覚位置で提示される触覚刺激の強度の変化に応じて、振動部位の色、色の濃淡、明るさ等が変化してもよい。さらに、図１４の例では、再生中の触覚刺激の具体的な波形イメージ８４０も表示される。なお、波形イメージは、デフォルメされて表示されてもよく、触覚刺激の強度の変化に応じて、波形の色、色の濃淡、明るさ、線の太さ等が変化してもよい。
　また、図１５に示すように、本実施形態においては、スタンプ８５０や配信者８００の画像に重畳される仮想オブジェクトは、事前に準備されたものに限定されるものではなく、視聴者９００の操作により描かれた軌跡等で構成されてもよい。詳細には、視聴者９００は、複数のスタンプ８５０ａを、自身が決定した軌跡に沿って並べることにより、１つの文言を示すスタンプ８５０を形成してもよい（図１５では、「ＬＯＶＥ」という文言からなるスタンプ８５０を形成している）。また、図１５のスタンプ８５０は、複数の小さなスタンプ８５０ａが、視聴者９００が描いた軌跡に沿った順番で現れて、「ＬＯＶＥ」という文字を作り出すアニメーション画像であってもよい。
　また、図１６に示すように、本実施形態においては、事前に準備されたスタンプ８５０や仮想オブジェクトは、重畳される実空間のオブジェクトの形状に応じて変形されてもよい。例えば、図１６に示す例では、配信者８００の顔の形状や大きさにあわせて、眼鏡型のスタンプ８５０の形状や大きさを変化させ、当該スタンプ８５０を配信者８００の顔の画像に重畳する。
　さらに、本実施形態においては、くじ引きの結果、ログインボーナス（来店ボーナス）、サブスクリプションサービス、勝敗予想等に基づく、視聴者９００のギフトとして、スタンプ８５０自体、又は、スタンプ８５０を購入するコイン等を発生させてもよい。
　例えば、図１７に示す例では、配信者８００が、賞品のコインを用意し、くじ引きを行うことができる条件（具体的には、例えば、合言葉や任意のコメントを入力する等）を指定して開催する。そして、視聴者９００は、指定条件を満たした場合に、上記くじ引きに参加することで、抽選でコインを獲得することができる。そして、視聴者９００は、獲得したコインで、触覚刺激効果付きスタンプ８５０を購入することができる。
　また、例えば、図１８に示す例では、二人の配信者８００ａ，８００ｂが所定のゲームを行う場合、その勝敗結果を視聴者９００が予想する。そして、予想が当たった場合に、視聴者９００は、ギフトとして、触覚刺激効果付きスタンプ８５０を獲得することができる。
　さらに、本実施形態においては、例えば、所定のアプリケーションやサイトに一日１ログインすることにより、視聴者９００はボーナスを獲得することができる。当該ボーナスは、触覚刺激効果付きスタンプ８５０であったり、当該スタンプ８５０を購入することができる仮想通貨であったりすることができる。また、本実施形態においては、所定のアプリケーション等に対するログインだけでなく、視聴者９００は、所定の店舗に来店した場合（ユーザ端末７００に搭載された位置センサによって検知）もボーナスを獲得してもよい。また、連続してログインすることにより、視聴者９００は、より多くのスタンプ８５０が獲得出来たり、高額なスタンプ（レアスタンプ）８５０が獲得出来たりしてもよい。
　さらに、本実施形態においては、配信者８００は、サブスクリプション機能を開放することで、サブスクリプションサービス加入者限定の特典として、触覚刺激効果付きスタンプ８５０や、当該スタンプ８５０を購入することができる仮想通貨を提供してもよい。このようにすることで、視聴者９００は、お気に入りの配信者８００のサブスクリプションサービスに加入することで、配信者８００を支援することができ、且つ、加入者限定の上記特典を利用することができる。
　以上説明したように、第１の実施形態においては、視聴者９００が選択した触覚刺激効果付きスタンプ８５０に対応する触覚刺激を配信者８００に提示する提示のやり方や、触覚刺激を提示する際に、視聴者９００や配信者８００に提示される画像を工夫することにより、視聴者９００は、配信者８００と直接的にやり取りを行っているように感じることができる。すなわち、視聴者９００は、リアルタイムで、且つ、インタラクティブな付加価値の高い体験を得ることができる。
　＜＜４．　第２の実施形態＞＞
　また、視聴者９００は、複数の配信者８００からの配信を同時に楽しむ場合がある。このような場合に適用した本開示の第２の実施形態を、図１９及び図２０を用いて説明する。図１９は、本実施形態を説明するための説明図であり、図２０は、本実施形態に係る表示例を説明するための説明図である。例えば、図１９に示すように、一人の視聴者９００は、複数の配信者８００ａ、８００ｂ、８００ｃからの配信を同時に楽しむ場合がある。本実施形態においては、視聴者９００が、触覚刺激効果付きスタンプ（制御コマンド）８５０を送信する配信者８００を選択する方法や、どの配信者８００が提示された触覚刺激を体感するかを選択する方法について、説明する。
　例えば、本実施形態においては、図１９に示すように、視聴者９００がユーザ端末７００の表示部７０２に、複数の配信者８００ａ、８００ｂ、８００ｃからの配信画面を表示しているとき、視聴者９００は、これら配信者８００ａ、８００ｂ、８００ｃの全員又は一部の人に同一スタンプ８５０を同時に送信してもよい。もしくは、本実施形態においては、視聴者９００は、触覚刺激を提示したい配信者８００の配信画面や配信画面に重畳するアイコン（図示省略）を選択することにより、スタンプ８５０を送信する配信者８００を決定してもよい。より具体的には、例えば、視聴者９００は、送信したい配信者８００の配信画面をタッチ操作した後、スタンプ８５０をタッチ操作することにより、配信者８００に対して、触覚刺激効果付きスタンプ８５０を送信することができる。
　また、本実施形態においては、送信する配信者８００の選択の手段として、音声入力を用いてもよい。例えば、配信者８００の名前を呼びかけたり、配信画面の位置（右側、下側等）を発話したり、配信者８００の配信画像に含まれる実空間に位置するオブジェクトの情報（例えば、椅子、配信者８００の服の色、配信者８００が身に着けているアクセサリー等）や、配信者８００の画像に重畳された仮想オブジェクトの情報を発話したりしてもよい。また、本実施形態においては、送信する配信者８００の選択の手段として、視聴者９００の視線の位置を用いてもよい。
　また、本実施形態においては、図２０に示すように、例えば、各配信画面の右上に、触覚提示を受け入れ可能かどうかのアイコン８７０が表示されることが好ましい。例えば、アイコン８７０ａは、配信者８００ｂが触覚制御信号を受信可能であることを示し、一方、アイコン８７０ｂは、配信者８００ｂが触覚制御信号を受信不可であることを示す。従って、視聴者９００は、このようなアイコン８７０を参照して、スタンプ８５０を送信する配信者８００を決定することができる。
　また、図２０に示すように、視聴者９００は、自身のコメント表示８６０の横に示されたアイコン８７０に対して操作を行うことにより、自身が装着する触覚提示デバイス１００が触覚刺激を受け入れ可能かどうかを設定することができる。具体的には、視聴者９００は、例えば、自身のコメント表示８６０の横に示されたアイコン８７０ｂに対してロングタップすることで、触覚制御信号を受信可能又は受信不可を切り替え設定することができる。さらに、本実施形態においては、視聴者９００は、他の視聴者９００のコメント表示８６０の横に示されたアイコン８７０に対して操作を行うことにより、当該他の視聴者９００が入力した触覚制御信号を、自身が装着する触覚提示デバイス１００が触覚刺激を受け入れ可能かどうかを設定するようにしてもよい。
　また、本実施形態においては、視聴者９００が触覚提示デバイス１００を装着していたり、当該視聴者９００の有するユーザ端末７００に振動デバイス（図示省略）が搭載されていたりする場合には、当該視聴者９００は、触覚提示デバイス１００又は当該振動デバイスにより、配信者８００に送信されたスタンプ８５０に対応する触覚刺激を体感することができる。なお、視聴者９００が体感する触覚刺激は、自身が選択したスタンプ８５０に対応する触覚刺激であってもよく、当該視聴者９００が選択した配信者８００が他の視聴者９００から送信されたスタンプ８５０に対応する触覚刺激であってもよい。この場合、視聴者９００は、図２０に示す各配信画面の右上のアイコン８７０に対して操作を行うことにより、体感したい触覚刺激に対応する配信者８００を予め選択することができる。
　また、本実施形態においては、視聴者９００が、複数の配信者８００を選択した場合、各配信者８００に提示された触覚刺激が重畳されて（詳細には、各触覚制御信号の波形が重畳される）、当該視聴者９００に提示されてもよい。また、本実施形態においては、触覚刺激を重畳する割合は、視聴者９００の各配信に関する興味度（送信したスタンプ８５０の数、送信したコメント８６０の数、視線が留まっている時間割合等）に応じて、決定してもよい。さらに、本実施形態においては、視聴者９００の各配信に関する興味度（送信したスタンプ８５０の数、送信したコメント数、視線が留まっている時間割合等）に応じて、配信者８００に提示される触覚刺激の強度や提示時間等が変化してもよい。
　また、本実施形態においては、配信者８００が触覚提示デバイス１００を装着していない場合に、視聴者９００同士で触覚刺激効果付きスタンプ８５０を送信し合えるようにしてもよい。この場合、一方の視聴者９００が設定した他方の視聴者９００に対してのみ、一方の視聴者９００が選択したスタンプ８５０が送信されてもよい。もしくは、他方の視聴者９００が設定した一方の視聴者９００からのスタンプ８５０のみが、他方の視聴者９００に送信されてもよい。また、本実施形態においては、視聴者９００は、他の視聴者９００からの触覚制御信号の受信可能かどうかを事前に設定してもよく、具体的には、視聴者９００は、例えば、図２０に示すように、自身のコメント表示８６０の横に示されたアイコン８７０ｂに対してロングタップすることで、触覚制御信号を受信可能又は受信不可を切り替え設定することができる。もしくは、本実施形態においては、視聴者９００は、他の視聴者９００のコメント表示８６０の横に示されたアイコン８７０に対して操作を行うことにより、当該他の視聴者９００が入力した触覚制御信号を、自身が装着する触覚提示デバイス１００が触覚刺激を受け入れ可能かどうかを設定するようにしてもよい。さらに、本実施形態においては、例えば、図２０に示すように、視聴者９００に向けて、触覚制御信号の受信可能な視聴者９００の数を表示８８０に表示することが好ましい。
　次に、本実施形態に係る情報処理方法の一例を図２１及び図２２を参照して説明する。図２１及び図２２は、本実施形態に係る情報処理方法の一例のフローチャート図である。
　まずは、設定時の情報処理方法を、図２１を参照して説明する。図２１に示すように、本実施形態に係る情報処理方法の一例には、ステップＳ１０１からステップＳ１０２までの複数のステップが含まれている。以下に、本実施形態に係る情報処理方法の一例に含まれる各ステップの詳細を説明する。
　情報処理システム１０は、配信者８００及び視聴者９００からの、触覚制御信号の受信可能又は受信不可の設定情報に基づき、各配信者８００又は視聴者９００の触覚提示デバイス１００の、触覚制御信号の受信の有効／無効を設定する（ステップＳ１０１）。次に、情報処理システム１０は、配信者８００のモニタ２０４や視聴者９００のユーザ端末７００に、設定情報を表示させる（ステップＳ１０２）。なお、視聴者９００がブラウザで視聴している場合は、視聴者９００の識別情報に紐づく設定値として、上記設定がハプティクス用サーバ３００に保存されることが好ましい。
　次に、触覚刺激提示時の情報処理方法を、図２２を参照して説明する。図２２に示すように、本実施形態に係る情報処理方法の一例には、ステップＳ２０１からステップＳ２０５までの複数のステップが含まれている。以下に、本実施形態に係る情報処理方法の一例に含まれる各ステップの詳細を説明する。
　情報処理システム１０のハプティクス用サーバ３００及び配信データ編集サーバ４００は、視聴者９００から入力されたスタンプ８５０の情報（スタンプ８５０の種類、入力した視聴者９００、送信される配信者８００の情報等）を受信する（ステップＳ２０１）。なお、本実施形態においては、視聴者９００がブラウザで閲覧している場合等は、情報処理システム１０のハプティクス用サーバ３００及び配信データ編集サーバ４００は、同時に映像・音響・振動データ自体を受信してもよい。次に、情報処理システム１０の配信データ編集サーバ４００は、受信したスタンプ８５０の情報に応じて、該当する配信者８００の配信画面の上に映像エフェクトを重ねて表示したり、音響エフェクトを再生したりする（ステップＳ２０２）。
　次に、情報処理システム１０のハプティクス用サーバ３００は、上記スタンプ８５０の情報に対応する配信者８００や視聴者９００の触覚提示デバイス１００が、上記スタンプ８５０に対応する触覚制御信号が受信可能かどうかを判断する（ステップＳ２０３）。ハプティクス用サーバ３００は、受信可能と判断した場合（ステップＳ２０３：Ｙｅｓ）には、ステップＳ２０４へ進み、受信不可と判断した場合（ステップＳ２０３：Ｎｏ）には、処理を終了する。
　情報処理システム１０のハプティクス用サーバ３００は、スタンプ８５０に紐づけられた触覚制御信号の各パラメータを読み出す（ステップＳ２０４）。次に、ハプティクス用サーバ３００は、読みだした各パラメータに応じて、触覚制御信号を触覚提示デバイス１００から出力する（ステップＳ２０５）。
　以上説明したように、本実施形態においては、視聴者９００が複数の配信者８００からの配信を同時に楽しむ場合に、触覚刺激効果付きスタンプ８５０を送信する配信者８００を容易に選択することができる。また、本実施形態においては、視聴者９００は、一人又は複数の配信者８００に提示された触覚刺激を体感したり、視聴者９００同士で、触覚刺激効果付きスタンプ８５０を送信し合ったりすることができる。すなわち、本実施形態によれば、視聴者９００は、リアルタイムで、且つ、インタラクティブな付加価値の高い体験を得ることができる。
　＜＜５．　第３の実施形態＞＞
　次に、視聴者９００に、触覚制御信号の各パラメータの設定や、触覚刺激効果付きスタンプ８５０を送信する配信者８００の設定方法についての本開示の第３の実施形態を、図２３を参照して説明する。図２３は、本開示の第３の実施形態に係る入力例を説明するための説明図である。
　例えば、本実施形態においては、図２３に示すように、視聴者９００は、ユーザ端末７００の表示部７０２に表示されたアイコン８９０に対して、引っ張るようなドラッグ操作（詳細には、指のタッチ操作開始位置から相対的に画面下部に向かってドラッグ操作をした後に、離す操作）により、配信者８００に提示する触覚制御信号の強度又は種類を設定することができる。本実施形態においては、視聴者９００がアイコン８９０を引っ張った距離、時間又は速度に応じて、配信者８００に提示される触覚制御信号の強度又は種類が決定される。また、この際、視聴者９００が、アイコン８９０から指を離したタイミングで、配信者８００に触覚刺激が提示されてもよい。さらにこの際、ドラッグ操作の軌跡に対応するベクトルと反対向きのベクトル９１０に対応する位置に紐づけられた配信者８００に触覚刺激が提示されるようにしてもよい。
　次に、本実施形態に係る情報処理方法を、図２４を参照して説明する。図２４は、本実施形態に係る情報処理方法の一例のフローチャート図である。図２４に示すように、本実施形態に係る情報処理方法の一例には、ステップＳ３０１からステップＳ３１０までの複数のステップが含まれている。以下に、本実施形態に係る情報処理方法の一例に含まれる各ステップの詳細を説明する。
　情報処理システム１０のユーザ端末７００は、視聴者９００の、ユーザ端末７００の画面に対する、入力開始位置（タッチ操作を開始した個所）を検出する（ステップＳ３０１）。次に、ハプティクス用サーバ３００は、現在の入力位置と上記入力開始位置との間の距離を測定する（ステップＳ３０２）。
　次に、情報処理システム１０のユーザ端末７００は、ステップＳ３０２で測定した距離が所定の距離以上かどうかを判断する（ステップＳ３０３）。ユーザ端末７００は、所定の距離以上であると判断した場合（ステップＳ３０３：Ｙｅｓ）には、ステップＳ３０４へ進み、所定の距離以上でないと判断した場合（ステップＳ３０３：Ｎｏ）には、処理を終了する。
　次に、情報処理システム１０のユーザ端末７００は、ドラッグ操作入力モードに移行する（ステップＳ３０４）。ユーザ端末７００は、入力終了位置（指が画面から離れた位置）を検出し、入力終了位置と入力開始位置との間の距離を測定する（ステップＳ３０５）。
　次に、情報処理システム１０のユーザ端末７００は、ステップＳ３０５で計測した距離が所定の距離以上かどうかを判断する（ステップＳ３０６）。ユーザ端末７００は、所定の距離以上であると判断した場合（ステップＳ３０６：Ｙｅｓ）には、ステップＳ３０７へ進み、所定の距離以上でないと判断した場合（ステップＳ３０６：Ｎｏ）には、処理を終了する。
　次に、情報処理システム１０のユーザ端末７００は、上記入力終了位置から入力開始位置に向かうベクトル上にある、配信者８００の配信画面を判定する（ステップＳ３０７）。そして、ユーザ端末７００は、対象となる、配信者８００の画面情報、スタンプ８５０の情報、操作距離情報等をハプティクス用サーバ３００等に送信する（ステップＳ３０８）。次に、ハプティクス用サーバ３００は、操作距離情報に応じて、触覚制御信号の強度を決定する（ステップＳ３０９）。次に、配信データ編集サーバ４００は、対象となる配信者８００の配信画面に映像エフェクトを表示し、ハプティクス用サーバ３００は、触覚提示デバイス１００から触覚制御信号を出力する（ステップＳ３１０）。
　また、本実施形態においては、他の設定方法を用いてもよい。他の設定方法について、図２５を参照して説明する。図２５は、本実施形態に係る入力例を説明するための説明図である。
　図２５に示すように、視聴者９００は、ユーザ端末７００の表示部７０２に表示されたアイコン８９０に対して、スワイプ動作（指のタッチ開始位置から相対的に画面上部（あるいは、配信者の配信画面）に向かって素早くスワイプ操作後、離す）を行ってもよい。この場合も、スワイプ動作の距離又は速度に応じて、配信者８００の提示される触覚制御信号の強度が決定される。
　次に、本実施形態に係る情報処理方法を、図２６を参照して説明する。図２６は、本実施形態に係る情報処理方法の一例のフローチャート図である。図２６に示すように、本実施形態に係る情報処理方法の一例には、ステップＳ４０１からステップＳ４１０までの複数のステップが含まれている。以下に、本実施形態に係る情報処理方法の一例に含まれる各ステップの詳細を説明する。
　情報処理システム１０のユーザ端末７００は、所定のトリガー（特定のスタンプ８５０が入力された、配信者８００がモード切り替えをした、視聴者９００がモード切り替えをした等)を受信したことにより、ドラッグ入力モードに切り替わる（ステップＳ４０１）。次に、ユーザ端末７００は、視聴者９００の画面への触る操作を検出し、入力を開始する（ステップＳ４０２）。
　情報処理システム１０（具体的には、ユーザ端末７００又は配信データ編集サーバ４００）は、視聴者９００が画面上を触りながら動かした距離に応じて、描画する軌跡の長さや、描画に使用するスタンプ数を決定し、描画する（ステップＳ４０３）。
　次に、情報処理システム１０のユーザ端末７００は、無操作時間が所定の時間以上経過したかを判断する（ステップＳ４０４）。ユーザ端末７００は、所定の時間以上であると判断した場合（ステップＳ４０４：Ｙｅｓ）には、ステップＳ４０５へ進み、所定の時間以上でないと判断した場合（ステップＳ４０４：Ｎｏ）には、ステップＳ４０２の処理へ戻る。
　情報処理システム１０のユーザ端末７００は、描画された軌跡の総距離（又は、使用するスタンプ数）を計測する（ステップＳ４０５）。
　次に、情報処理システム１０のユーザ端末７００は、ステップＳ４０５で計測された距離が所定の距離（又は、所定の数）以上かどうかを判断する（ステップＳ４０６）。ユーザ端末７００は、所定の距離以上であると判断した場合（ステップＳ４０６：Ｙｅｓ）には、ステップＳ４０７へ進み、所定の距離以上でないと判断した場合（ステップＳ４０６：Ｎｏ）には、ステップＳ４０８の処理へ進む。
　情報処理システム１０のユーザ端末７００又はハプティクス用サーバ３００は、ステップＳ４０６での判断に基づき、提示されるべき触覚制御信号の種類を切り替える（ステップＳ４０７）。ハプティクス用サーバ３００は、提示されるべき触覚制御信号を決定し、触覚制御信号の各パラメータを読み出す（ステップＳ４０８）。ハプティクス用サーバ３００は、軌跡の距離又は使用されたスタンプ８５０の数等に応じて、触覚制御信号の強度を決定する（ステップＳ４０９）。次に、ハプティクス用サーバ３００は、触覚提示デバイス１００から触覚制御信号を出力する（ステップＳ４１０）。
　また、本実施形態においては、視聴者９００は、ユーザ端末７００の表示部７０２と対向する裏面をタップすることにより設定してもよい。詳細には、視聴者９００は、表示部７０２に対するタップ操作でスタンプ８５０を選択し、上記裏面に対するタップ操作で触覚刺激を提示するタイミングを決定する。なお、上記裏面に対するタップ操作は、ユーザ端末７００に内蔵された加速度センサ７２８により検出することができる。また、本実施形態においては、複数の視聴者９００によるタップ操作が同期したタイミングで、触覚刺激を提示するタイミングが決定されてもよい。
　また、本実施形態においては、表示部７０２に対する操作によって、触覚刺激を編集、設定するだけでなく、例えば、ユーザ端末７００に内蔵されている各種のセンサや他の装置を利用してもよい。本実施形態においては、例えば、視聴者９００は、ユーザ端末７００に対して、振動を与える等のタッチ操作、保持角度を変化させる等のモーション操作を行うことにより、触覚刺激の波形や強度変化等を編集してもよい。詳細には、本実施形態においては、ユーザ端末７００に内蔵されたジャイロセンサ７２６や加速度センサ７２８によって当該モーション操作を検知し、検知したセンシングデータに基づいて、触覚刺激の波形等を決定することができる。
　また、本実施形態においては、視聴者９００が描いた形や文字（軌跡）を認識し、認識結果から文言を抽出し、抽出した文言に紐づけられたスタンプ８５０や触覚制御信号を選択するようにしてもよい。その際には、ユーザ端末７００のタッチパネル（図示省略）に対しての操作だけでなく、空中に文字や形を描いてもよい。この場合、例えば、視聴者９００の腕に装着されたＩＭＵセンサ（図示省略）によって、文字や形を認識してよい。
　また、図２７に示すように、音声入力によっても、触覚制御信号を編集等することができる。図２７は、本実施形態に係る入力例を説明するための説明図である。例えば、視聴者９００は、ユーザ端末７００に対して所定のリズムを持った音声を発話し、当該発話をユーザ端末７００に内蔵されたマイク７２４で検知させる。そして、ハプティクス用サーバ３００は、マイク７２４で検知したセンシングデータを利用して、上記音声のリズムに応じて、触覚制御信号の周波数を設定してもよい。また、本実施形態においては、例えば、図２７に示すように、視聴者９００がマイクアイコン８９２に触れている間、音声入力モードに切り替わったり(離すと音声入力モードが終了)、マイクアイコン８９２に触れる度に入力開始と終了が切り替わったりしてもよい。
　なお、例えば、音楽のリズムに合わせて、複数のスタンプ８５０に紐づけられた触覚刺激を連続して配信者８００に提示したい場合には、タップ操作ではなく、音声により提示のタイミングを決定することができることから、音声入力は有効な手段であるといえる。また、所定の音楽やリズムを視聴者９００に向けて出力し、当該音楽と視聴者９００の発話音声のリズムやタイミングが一致すると、触覚制御信号の強度が強くなったり、その他パラメータが変化したりしてもよい。
　また、本実施形態においては、視聴者９００がオノマトペ（ツンツン（ｓｔｕｃｋ-ｕｐ）、ガーン（ｂｕｍｍｅｒ）、ゾワゾワ（ｔｒｅｍｂｌｅ）等）やスタンプ８５０の名称（ハート、花束等）等を発話した場合、その発話音声から文言を抽出し、抽出した文言に紐づけられたスタンプ８５０や触覚刺激を選択するようにしてもよい。その際、発話音声の音圧（音量）に応じて、触覚制御信号の強度が強くなったり、その他パラメータが変化したりしてもよい。
　以上説明したように、本開示の実施形態においては、様々な入力方法によって、視聴者９００は、触覚刺激の提示タイミングや、提示する配信者８００や、触覚制御信号の各パラメータを設定することができる。このように視聴者９００が容易に設定を行うことができることから、本実施形態によれば、視聴者９００は、リアルタイムで、且つ、インタラクティブな付加価値の高い体験を得ることができる。
　＜＜６．　第４の実施形態＞＞
　また、本開示においては、複数の視聴者９００が、所定の種類のスタンプ８５０を所定の時間内に選択した場合、そのスタンプ８５０の組み合わせに応じて、新たなスタンプ８５０に変化して、新たな触覚刺激に変化してもよい。このような本開示の第４の実施形態を、図２８を参照して説明する。図２８は、本実施形態に係る入力例を説明するための説明図である。
　例えば、図２８に示すように、視聴者１がバンズのスタンプ８５０ａを選択した場合、時計がスタートし、ユーザ端末７００は、残り時間を表示する。次に、所定の時間内に、視聴者２がミートのスタンプ８５０ｂを選択し、さらに、視聴者３がレタスのスタンプ８５０ｃを選択した場合、これらスタンプ８５０ａ、８５０ｂ、８５０ｃが組み合わされたハンバーガーのスタンプ８５０ｄに変化する。そして、当該スタンプ８５０ｄに紐づけられた触覚刺激は、他のスタンプ８５０ａ、８５０ｂ、８５０ｃに紐づけられた触覚刺激と異なるものとする。すなわち、本実施形態においては、所定の時間内に、複数の視聴者９００が所定の種類のスタンプ８５０を選択し、所定の条件がそろった場合には、スタンプ８５０の映像エフェクトが変化したり、配信者８００に提示される触覚刺激が変化したりする。
　次に、本実施形態に係る情報処理方法を、図２９を参照して説明する。図２９は、本実施形態に係る情報処理方法の一例のフローチャート図である。図２９に示すように、本実施形態に係る情報処理方法の一例には、ステップＳ５０１からステップＳ５０７までの複数のステップが含まれている。以下に、本実施形態に係る情報処理方法の一例に含まれる各ステップの詳細を説明する。
　情報処理システム１０の配信データ編集サーバ４００は、は、ユーザ端末７００から送信されたスタンプ８５０の情報（スタンプ８５０の識別情報）を受信する（ステップＳ５０１）。
　次に、情報処理システム１０の配信データ編集サーバ４００は、選択されたスタンプ８５０が合成に対応しているかどうかを判断する（ステップＳ５０２）。配信データ編集サーバ４００は、合成に対応していると判断した場合（ステップＳ５０２：Ｙｅｓ）には、ステップ５０３へ進み、合成に対応していないと判断した場合（ステップＳ５０２：Ｎｏ）には、処理を終了する。
　次に、配信データ編集サーバ４００は、選択されたスタンプ８５０に対応した待機時間を読み出し、配信する（ステップＳ５０３）。この際、配信されたユーザ端末７００は、待機時間に基づき、残り時間を、テキスト表示したり、タイムバーを表示したり等することにより、各視聴者９００に提示する。
　次に、配信データ編集サーバ４００は、所定の時間内に他の視聴者９００から入力されたスタンプ８５０が、所定の合成条件を満たしたかどうかを判断する（ステップＳ５０４）。配信データ編集サーバ４００は、合成条件を満たしたと判断した場合（ステップＳ５０４：Ｙｅｓ）には、ステップ５０５へ進み、合成条件を満たしていないと判断した場合（ステップＳ５０４：Ｎｏ）には、処理を終了する。
　情報処理システム１０の配信データ編集サーバ４００は、合成条件を満たした場合に表示すべき特殊スタンプ８５０の識別情報や映像エフェクトを配信し、ユーザ端末７００に特殊スタンプ８５０を表示させる（ステップＳ５０５）。なお、この際、ユーザ端末７００の表示されていたこれまで入力されたスタンプ８５０の画像が消去されてもよい。さらに、ハプティクス用サーバ３００は、ステップＳ５０５で選択された特殊スタンプ８５０に紐づけられた触覚制御信号を読み出す（ステップＳ５０６）。次に、ハプティクス用サーバ３００は、触覚提示デバイス１００から触覚制御信号（スタンプ８５０に対応した触覚制御信号とは異なる信号）を出力する（ステップＳ５０７）。なお、本実施形態においては、上記ステップＳ５０６において、ハプティクス用サーバ３００は、ステップＳ５０５で選択された特殊スタンプ８５０に紐づけられた識別情報を受信して、受信した識別情報に基づいて、触覚制御信号を読み出してもよい。
　以上説明したように、本開示の実施形態においては、他の視聴者９００と協力して、新たなスタンプ８５０や触覚刺激を配信者８００に送信することができる。このような送信を行うことができることから、本実施形態によれば、視聴者９００は、リアルタイムで、且つ、インタラクティブな付加価値の高い体験を得ることができる。
　＜＜７．　第５の実施形態＞＞
　ところで、一人の配信者８００に多数のスタンプ８５０が同時に送信された場合、当該配信者８００に装着された触覚提示デバイス１００の触覚刺激部１０６は、その動作により発熱し、動作異常を起こしたりする恐れがある。そこで、以下においては、本開示の第５の実施形態として、同時に再生される触覚刺激に制限をかけ、触覚提示デバイス１００の触覚刺激部１０６に負担がかかることを避けることができる実施形態を説明する。
　例えば、本実施形態においては、情報処理システム１０のハプティクス用サーバ３００は、同時に再生される触覚刺激（スタンプ８５０）の数、触覚制御信号の強度、提示時間、又は、触覚刺激部１０６の熱等を、触覚刺激部１０６の特性に応じてあらかじめ決められた閾値と比較する。そして、ハプティクス用サーバ３００は、閾値を超えたと判断した場合には、同時に再生される触覚刺激に制限をかける。さらに、制限がかかった場合、ハプティクス用サーバ３００は、触覚刺激の提示を一時的に停止したり、各スタンプ８５０の触覚刺激をスタックしておき、上記パラメータが閾値を下回った際に、触覚刺激の提示を再開したりしてもよい。なお、本実施形態においては、触覚刺激部１０６の温度については、触覚提示デバイス１００からハプティクス用サーバ３００へ送信されるものとする。
　また、一時停止の際には、視聴者９００に１次停止を通知することが好ましい。例えば、通知の表示例を、図３０及び図３１を参照して説明する。図３０及び図３１は、本実施形態に係る表示例を説明するための説明図である。
　例えば、図２７に示すように、ユーザ端末７００は、触覚刺激の提示のみ停止して、スタンプ８５２の表示等はそのまま表示してもよい。また、この際、ユーザ端末７００は、一時停止を示すアイコン８７０ｂを表示するとともに、視聴者９００が選択することができるスタンプがない旨を示す表示８５０を行ってもよい。
　また、触覚刺激だけでなく、映像表示も停止する場合には、ユーザ端末７００は、図３１に示すような表示を行ってもよい。また、この際、ユーザ端末７００は、停止状態ある旨のアイコン８７２を表示させたり、符号８７４に示すように、スタック中のスタンプ８５０又は触覚刺激の数を表示したりしてもよい。
　次に、本実施形態に係る情報処理方法を、図３２を参照して説明する。図３２は、本実施形態に係る情報処理方法の一例のフローチャート図である。図３２に示すように、本実施形態に係る情報処理方法の一例には、ステップＳ６０１からステップＳ６０７までの複数のステップが含まれている。以下に、本実施形態に係る情報処理方法の一例に含まれる各ステップの詳細を説明する。
　情報処理システム１０のハプティクス用サーバ３００及び配信データ編集サーバ４００は、ユーザ端末７００から送信されたスタンプ８５０の情報(ＩＤ等)を受信する（ステップＳ６０１）。
　次に、情報処理システム１０のハプティクス用サーバ３００は、再生中のスタンプ８５０の数が閾値を超えているかを判断する（ステップＳ６０２）。ハプティクス用サーバ３００は、超えていると判断した場合（ステップＳ６０２：Ｙｅｓ）には、ステップＳ６０６へ進み、超えていないと判断した場合（ステップＳ６０２：Ｎｏ）には、ステップＳ６０３へ進む。
　情報処理システム１０の配信データ編集サーバ４００は、受信したスタンプ８５０を他の視聴者９００や配信者８００に配信する（ステップＳ６０３）。情報処理システム１０のハプティクス用サーバ３００は、スタンプ８５０に対応する触覚制御信号のパラメータを読み出し、触覚提示デバイス１００から出力する（ステップＳ６０４）。情報処理システム１０の配信データ編集サーバ４００は、スタンプ８５０に対応する映像エフェクトを読み出し、表示する（ステップＳ６０５）。
　情報処理システム１０のハプティクス用サーバ３００は、配信する情報に、触覚提示デバイス１００が触覚刺激の提示不可になっている旨の情報を含める（ステップＳ６０６）。ユーザ端末７００は、触覚提示デバイス１００が触覚刺激の提示不可になっていることを示すアイコンやテキストを表示する（ステップＳ６０７）。
　以上説明したように、本実施形態によれば、同時に再生される触覚刺激に制限をかけ、触覚提示デバイス１００の触覚刺激部１０６に負担がかかることを避けることができる。
　＜＜８．　第６の実施形態＞＞
　ところで、本開示においては、例えば、配信者８００が触覚提示デバイス１００を装着していない場合、配信者８００が触覚刺激を受け付けたくない場合、触覚提示デバイス１００の電池容量が少ない場合等の際、触覚刺激に代わって、他のモーダル、例えば、映像によって触覚刺激の振動を提示してもよい。そこで、このような場合の提示方法を、本開示の第５の実施形態として、図３３から図３７を参照して、説明する。図３３から図３７は、本実施形態に係る表示例を説明するための説明図である。
　本実施形態においては、例えば、図３３に示すように、触覚制御信号の周波数に応じて、配信される映像９５０又は映像９５０の一部を左右に往復させるようか映像エフェクトを用いてもよい。詳細には、例えば、映像９５０を往復させる周期は、触覚制御信号の周波数が高いほど短くする。また、本実施形態においては、閾値を超えた触覚制御信号の周波数に応じて、往復させる映像９５０の領域を決定してもよい。例えば、図３３に示すように、触覚制御信号の周波数が低いほど、映像９５０の下部に近い映像を往復させる。
　また、図３４に示すように、閾値を超えた触覚制御信号の周波数が複数あった場合（例えば、比較的低い周波数領域と、高い周波数領域との２つの周波数領域が閾値を超えた場合）には、配信される映像９５０の下部及び上部を往復させる。
　また、本実施形態においては、映像９５０を左右に往復させる際に、その折り返しを連続的にするか、非連続にするか、またその度合いを切り替えても良い。例えば、図３５に示すように、振動周波数成分が比較的低い場合は、映像変形の折返しを連続的にし（領域９６０ｂ）、比較的高い場合は、映像変形の折返しを非連続にする（領域９６０ａ）。このようにすることで、映像９５０において、低い周波数ほど柔らかい印象の映像エフェクトが施されることとなる。なお、本実施形態においては、触覚制御信号の周波数に応じて、映像９５０の左右に往復させる際の周波数だけではなく、間隔、波形等が変化してもよい。
　より詳細には、映像変形の折返しにおける単位時間ごとの映像の位置を示す図３６を用いて、図３５の例を説明する。図３６に示すように、図３５の例では、映像位置が単位時間の経過に比例して変化し、映像位置が終端に到達すると、逆方向に変化し始める。
　図３６の左側に示す比較的周波数が高い場合には（領域９６０ａ）、下記の数式（１）、数式（２）に従って、映像位置が決定される。最初に、経過時間ｔと数式（１）とに従って映像位置が決定され、終端に到達したら経過時間ｔと数式（２）とに従って映像位置ｘが決定される。なお、数式（１）、（２）中のαは、任意の係数である。
Figure JPOXMLDOC01-appb-M000001
　図３６の右側に示す比較的周波数が低い場合には（領域９６０ｂ）、経過時間ｔと数式（３）とに従って映像位置ｘが決定される。なお、数式（３）中のα、βは、任意の係数である。
Figure JPOXMLDOC01-appb-M000002
　なお、本実施形態においては、映像変形の折返しにおける映像位置の決定は、触覚制御信号の周波数成分、強度、映像コンテンツの種類、映像エフェクトの種類、映像コンテンツや映像エフェクトに紐付けられたメタデータに基づいて、行うことができる。
　また、本実施形態においては、映像９５０の全体にわたって左右に往復させるだけではなく、映像９５０中の所定の領域９７０のみを左右に往復させてもよい。例えば、図３７においては、配信者８００が表示されている領域９７０を左右に往復させてもよい。もしくは、本実施形態においては、配信者８００の画像に重畳されたスタンプ８５０の画像のみを左右に往復させてもよい。
　また、本実施形態においては、映像コンテンツに紐付いたメタデータがある場合、メタデータに基づいて、上記映像変形の種類を決定しても良い。例えば、上から物が落ちてきたような映像効果のあるスタンプ８５０に対して、「落下」のようなメタデータが付与されていた場合、映像９５０は、左右ではなく、上下に往復させてもよい。
　次に、本実施形態に係る情報処理方法を、図３８を参照して説明する。図３８は、本実施形態に係る情報処理方法の一例のフローチャート図である。図３８に示すように、本実施形態に係る情報処理方法の一例には、ステップＳ７０１からステップＳ７０６までの複数のステップが含まれている。以下に、本実施形態に係る情報処理方法の一例に含まれる各ステップの詳細を説明する。
　情報処理システム１０のユーザ端末７００は、スタンプ８５０の情報をハプティクス用サーバ３００へ送信する（ステップＳ７０１）。ハプティクス用サーバ３００は、スタンプ８５０に対応する触覚制御信号を読み出す（ステップＳ７０２）。
　次に、情報処理システム１０のハプティクス用サーバ３００は、配信者８００や視聴者９００が触覚提示デバイス１００を有しているかどうかを判断する（ステップＳ７０３）。ハプティクス用サーバ３００は、有していると判断した場合（ステップＳ７０３：Ｙｅｓ）には、ステップＳ７０４へ進み、有していないと判断した場合（ステップＳ７０３：Ｎｏ）には、ステップＳ７０５へ進む。
　情報処理システム１０のハプティクス用サーバ３００は、スタンプ８５０に対応する触覚制御信号を触覚提示デバイス１００から出力する（ステップＳ７０４）。
　情報処理システム１０のハプティクス用サーバ３００は、触覚制御信号に含まれている周波数成分と、強度とを解析する（ステップＳ７０５）。情報処理システム１０の配信データ編集サーバ４００は、ステップＳ７０５での解析結果に基づいて、映像９５０を変形させる（ステップＳ７０６）。
　また、本実施形態においては、映像９５０を左右に振るだけでなく、視聴者９００や配信者８００に配信する音声データに対して、音像定位技術によって、音像を上下などに揺らす処理を行ってもよい。
　また、本実施形態においては、配信者８００が触覚提示デバイス１００を装着していない場合、送風機型のデバイスにより、風(例えば、温風、冷風等)を出力しても良いし、体に装着した温度提示デバイス(ペルチェ素子などを搭載)の温度を変化させてもよい。また、本実施形態においては、芳香剤を吐出する吐出器により芳香剤を提示してもよい。
　以上説明したように、本実施形態においては、配信者８００が触覚提示デバイス１００を装着していない場合等であっても、他のモーダルによって触覚刺激の振動を提示することができる。従って、本実施形態によれば、視聴者９００は、リアルタイムで、且つ、インタラクティブな付加価値の高い体験を得ることができる。
　＜＜９．　第７の実施形態＞＞
　次に、図３９から図４１を参照して、本開示の第７の実施形態を説明する。図３９から図４１は、本実施形態に係る表示例を説明するための説明図である。
　本実施形態においては、例えば、配信者８００の装着する触覚提示デバイス１００が複数の触覚刺激部１０６を有している場合、触覚刺激部１０６ごとに、視聴者９００が専有できるようにしてもよい。すなわち、専有している視聴者９００以外の視聴者９００は、該当する触覚刺激部１０６を用いて触覚刺激を提示することができない。例えば、触覚刺激部１０６を占有するためには、視聴者９００は、所定の金額を支払ったり、一括購入したり、サブスクリプションできたりするものとする。また、本実施形態においては、金額の高いスタンプ８５０で指定された触覚刺激部１０６の周囲に位置する、触覚刺激部１０６の提示が停止されてもよい。また、視聴者９００をいくつかのグループ（地域で分けたり、ランクで分けたり、等）に分けられる場合、グループ毎に、触覚刺激部１０６が割り当てられてもよい。
　例えば、図３９においては、左側が触覚刺激部１０６の一部を占有する視聴者９００のユーザ端末７００の表示例であり、右側が触覚刺激部１０６の一部を占有していない視聴者９００のユーザ端末７００の表示例である。この場合、触覚刺激部１０６の一部を占有していない視聴者９００のユーザ端末７００は、占有されている触覚刺激部１０６に対応するスタンプ８５０を選択できない旨を表示する。
　また、例えば、図４０においては、左側が触覚刺激部１０６の一部を占有する視聴者９００のユーザ端末７００の表示例であり、右側が触覚刺激部１０６の一部を占有していない視聴者９００のユーザ端末７００の表示例である。この場合、触覚刺激部１０６の一部を占有していない視聴者９００のユーザ端末７００は、占有されている触覚刺激部１０６が選択できない旨を表示する。
　また、例えば、図４１においては、左側が触覚刺激部１０６の全部を占有する視聴者９００のユーザ端末７００の表示例であり、右側が触覚刺激部１０６の全部を占有していない視聴者９００のユーザ端末７００の表示例である。この場合、触覚刺激部１０６の全部を占有していない視聴者９００のユーザ端末７００は、全ての触覚刺激部１０６が占有されていることから、スタンプ８５０が選択できない旨を表示する。もしくは、図４１の表示例は、左側が、高い金額を支払った又は高いランク（例えば、プレミアムコース、ゴールドランク等）とされた視聴者９００のユーザ端末７００の表示例であり、右側が、上記視聴者９００が触覚制御信号を入力した際の、他の視聴者９００のユーザ端末７００の表示例であってもよい。この場合、高い金額を支払った等の視聴者９００が入力した触覚制御信号に係る触覚刺激の提示が終了した後には、他の視聴者９００は、触覚制御信号の入力が可能となる。もしくは、本実施形態においては、低い金額を支払った又は低いランク（例えば、ベーシックコース、ブロンズランク等）とされた視聴者９００が触覚制御信号を入力した直後に、高い金額を支払った又は高いランクとされた視聴者９００が触覚制御信号を入力した場合、低い金額を支払った又は低いランクとされた視聴者９００が触覚制御信号は即座に提示がキャンセルされるようにしてもよい。
　また、本実施形態においては、配信中のコンテンツのカテゴリに応じて、触覚刺激を提示可能な触覚刺激部１０６を切り替えてもよい。例えば、メイク配信やゲーム実況系の配信であれば、メイクやゲームに使用する手や腕に対応する触覚刺激部１０６を触覚刺激の提示をさせないように設定する。また、フリーマーケットに関する配信（又は、ライブコマース）であれば、服を試着するためにベスト型の触覚提示デバイス１００を脱ぐので、胴体に対応する触覚刺激部１０６を触覚刺激の提示をさせないように設定する。この場合、触覚提示デバイス１００を装着した場合に、スタックしていた触覚刺激を順番に提示してもよい。
　また、本実施形態においては、対戦型の配信などで、配信者８００や視聴者９００が装着している触覚提示デバイス１００の種類が異なる（再生可能な周波数帯域が異なったり、搭載されているアクチュエータの数が異なったりなど）場合、共通の部位（共通の再生可能な周波数領域、出力可能な振動強度の最小値、共通のアクチュエータ部位）である触覚刺激部１０６のみを使用して、触覚刺激を提示してもよい。
　詳細には、搭載された触覚刺激部１０６の多い方に最適化された触覚制御信号に対して、搭載された触覚刺激部１０６の少ないほうに触覚制御信号を合わせるために、各触覚刺激部１０６に与えられる制御信号をマージして特定の触覚刺激部１０６から出力してもよい。具体的には、肩と腕に提示予定だった触覚刺激をマージして、手首に搭載された１つの触覚刺激部１０６から出力する。また、触覚刺激をマージする際には、混合比率を決定するために、予め身体の部位又は触覚刺激部１０６ごとに優先度を設定しておいてもよい。具体的には、例えば、肩の優先度が４に、腕の優先度１に設定されていた場合（数字が大きいほうが、優先度が高いものとする）、手首に対応する触覚刺激部１０６から出力される触覚制御信号の強度は、肩に与えられる触覚制御信号の強度×０．８＋腕に与えられる触覚制御信号の強度×０．２となる。
　また、本実施形態においては、予め、触覚刺激部１０６ごとに意味（ポジティブ系・ネガティブ系等）を設定できるようにしておき、スタンプ８５０に紐付いたメタデータと照合して、メタデータと対応する意味を持つ触覚刺激部１０６を、触覚刺激を提示する触覚刺激部１０６として決定してもよい。
　次に、本実施形態に係る情報処理方法を、図４２を参照して説明する。図４２は、本実施形態に係る情報処理方法の一例のフローチャート図である。図４２に示すように、本実施形態に係る情報処理方法の一例には、ステップＳ８０１からステップＳ８０６までの複数のステップが含まれている。以下に、本実施形態に係る情報処理方法の一例に含まれる各ステップの詳細を説明する。
　情報処理システム１０のハプティクス用サーバ３００は、配信のカテゴリを検出する（ステップＳ８０１）。ハプティクス用サーバ３００は、検出したカテゴリに対して、触覚提示不可な触覚刺激部１０６の情報を読み出す（ステップＳ８０２）。次に、ハプティクス用サーバ３００は、スタンプ８５０に紐付いた触覚刺激部１０６の情報を読み出す（ステップＳ８０３）。
　次に、情報処理システム１０のハプティクス用サーバ３００は、触覚刺激提示不可な触覚刺激部１０６を含んでいるかを判断する（ステップＳ８０４）。ハプティクス用サーバ３００は、含んでいると判断した場合（ステップＳ８０４：Ｙｅｓ）には、ステップＳ８０５へ進み、含んでいないと判断した場合（ステップＳ８０４：Ｎｏ）には、処理を終了する。
　情報処理システム１０のハプティクス用サーバ３００は、スタンプ８５０を選択不可状態にし、選択不可になったことを配信する（ステップＳ８０５）。情報処理システム１０のユーザ端末７００は、スタンプ８５０が選択不可であることを示唆する表示に変更する（ステップＳ８０６）。
　以上説明したように、本開示の実施形態においては、視聴者９００によって触覚刺激部１０６を占有したり、配信のコンテンツによって触覚刺激の提示する触覚刺激部１０６を変化させたり、触覚提示デバイス１００の種類に応じて、触覚刺激を変化させることができる。このようにすることで、本実施形態によれば、視聴者９００は、リアルタイムで、且つ、インタラクティブな付加価値の高い体験を得ることができる。
　＜＜１０．　第８の実施形態＞＞
　本開示の第８の実施形態においては、視聴者９００同士で、タイミングやリズムをあわせて同時にスタンプ８５０を入力することで、当該スタンプ８５０に紐付けられた触覚刺激とは別のものに切り替わって提示されてもよい。
　また、本実施形態においては、スタンプ８５０を選択することができる時間範囲（何時から何時まで、何分間）や、その時間内に投げられる数を設定できるようにしてもよい。本実施形態においては、例えば、入札により、各視聴者９００が何分間スタンプ８５０を入力できるかの数を決定してもよい。
　＜＜１１．　第９の実施形態＞＞
　また、本実施形態においては、視聴者９００の数が比較的少ない配信や、スタンプ８５０の送信数が活発でない（単位時間あたりの送信スタンプ８５０の数が、閾値よりも小さい）配信の場合に、チャットテキスト等をトリガーにして、チャットテキストに応じた触覚刺激を配信者８００に提示してもよい。このようにすることで、配信者８００の配信に対するモチベーションを高めることができる。例えば、配信者８００が予め設定しておいたキーワードや絵文字を含むコメントが視聴者９００により投稿されたら、それを検出して、触覚刺激を提示してもよい。さらに、コメント中の合致したキーワードの数や、合致した絵文字の数に応じて、映像エフェクトの種類を切り替えたり、提示される触覚刺激の強度を強めたりしてもよい。この場合、キーワードを設定するタイミングとして、配信を開始する前でもよいし、配信中に適宜設定してもよい(例えば、クイズを出題するような場面で、その都度、正解となるキーワードを設定する等)。
　また、本実施形態においては、新規の視聴者９００が、配信者８００の配信ルームに入場するのをトリガーとして、触覚刺激を提示してもよい。また、本実施形態においては、複数の視聴者９００が同時(一定時間内)に、同一のコメントを投稿したり、同一の絵文字を含むコメントを投稿したり、同一のスタンプ８５０（ただし、触覚刺激と対応していない）を投稿したタイミングをトリガーとして、触覚刺激を提示してもよい。
　＜＜１２．　まとめ＞＞
　以上説明したように、本開示の各実施形態によれば、視聴者９００は、リアルタイムで、且つ、インタラクティブな付加価値の高い体験を得ることができる。
　なお、本開示の実施形態は、上述したようなライブ配信等に適用されるだけではなく、例えば、ＳＮＳ（Ｓｏｃｉａｌ　Ｎｅｔｗｏｒｋｉｎｇ　Ｓｅｒｖｉｃｅ）上でやり取りされるスタンプ８５０等に適用することも可能である。その場合、例えば、触覚提示デバイス１００の代わりに、ユーザ端末７００が振動等することにより、スタンプ８５０を送付した相手に、触覚刺激を与えることができる。
　＜＜１３．　本開示の情報処理システム１０の変形例１＞＞
　さらに、図４３から図５０を参照して、本開示の実施形態に係る情報処理システム１０の変形例を説明する。図４３から図５０は、本開示の実施形態の変形例１に係る情報処理システム１０の概略的構成例を示したシステム図である。
　まず、図４３に示す情報処理システム１０においては、ハプティクス用サーバ３００ａは、上述した配信データ編集サーバ４００及びライブ配信サーバ５００の機能をも担う。この場合、ハプティクス用サーバ３００ａの管理は、１つの事業者によって行うことができる。
　また、図４４に示す情報処理システム１０においては、ハプティクス用サーバ３００の記憶部３１８の機能の一部を担うものとして、ハプティクスサーバ６００が含まれていてもよい。この場合、ハプティクスサーバ６００は、各スタンプ８５０の識別情報（ＩＤ）に紐づけられて、予め生成された触覚データライブラリ（振動波形パターン等）が格納する。また、ハプティクスサーバ６００は、例えば、触覚提示デバイス１００の触覚刺激部１０６の個数、その位置、周波数特性、最大入力電圧等といった情報を、触覚提示デバイス１００のプロファイル情報として格納してもよい。
　また、図４５に示す情報処理システム１０においては、ハプティクス用サーバ３００は、上述した配信データ編集サーバ４００の機能をも担う。この場合、触覚刺激に提示を管理する事業者と、配信を管理する事業者とは異なる事業者であることができる。
　また、図４６に示す情報処理システム１０においては、図４５の例と異なり、ハプティクスサーバ６００に格納された情報は、ライブ配信サーバ５００を介して、ハプティクス用サーバ３００に提供される。
　また、図４７に示す情報処理システム１０においては、図４５の例と異なり、ハプティクスサーバ６００に格納された情報は、ライブ配信サーバ５００及び配信データ編集サーバ４００を介して、ハプティクス用サーバ３００に提供される。
　また、図４８に示す情報処理システム１０においては、図４３の例とは異なり、ハプティクス用サーバ３００の記憶部３１８の機能の一部を担うものとして、ハプティクスサーバ６００が含まれていてもよい。
　また、図４９に示す情報処理システム１０においては、ハプティクスサーバ６００が、ライブ配信サーバ５００と協働して、ユーザ端末７００への配信を行ってもよい。
　また、図５０に示す情報処理システム１０においては、ライブ配信サーバ５００は、ユーザ端末７００からスタンプ８５０の情報を取得し、映像等の配信を行う。また、ハプティクス用サーバ３００は、ライブ配信サーバ５００から各スタンプ８５０の識別情報（ＩＤ）を取得する。さらに、ハプティクス用サーバ３００は、上記識別情報を参照して、ハプティクスサーバ６００内の情報に基づき、各スタンプ８５０に紐づけられた触覚制御信号を生成する。なお、図５０においては、ハプティクスデータは、スタンプ８５０に対応する触覚制御信号（波形データ）の識別情報又は触覚制御信号自体であるものとする。
　＜＜１４．　本開示の情報処理システム１０の変形例２＞＞
　本開示の実施形態に係る情報処理システム１０は、例えばクラウドコンピューティング（クラウド）等のように、ネットワークへの接続（または各装置間の通信）を前提とした、複数の装置からなるシステムに適用されてもよい。そこで、本実施形態に係る情報処理システム１０における各サーバのネットワーク上の位置（クラウド側又はローカル側）のバリエーションについて、図５１から図５４を参照して説明する。図５１から図５４は、本開示の実施形態の変形例２に係る情報処理システム１０の概略的構成例を示したシステム図である。なお、これらの図においては、ローカル側制御装置３５０は、上述した本開示の実施形態におけるハプティクス用サーバ３００に対応し、ライブ配信サーバ５００は、上述した本開示の実施形態におけるライブ配信サーバ５００と配信データ編集サーバ４００とに対応するものとする。さらに、これらの図においては、ハプティクスデータは、スタンプ８５０に対応する触覚制御信号（波形データ）の識別情報又は触覚制御信号自体であるものとする。
　まず、図５１に示す情報処理システム１０においては、ローカル側制御装置３５０は、配信者８００側に設置される。一方、ライブ配信サーバ５００は、クラウド側に配置される。また、ローカル側制御装置３５０は、ＰＣ等で構成され、本実施形態を実施するためのブラウザやソフトウェア（スタンプ８５０の表示や、ライブ配信サーバ５００との間の送受信を実行する）が搭載される。さらに、ローカル側制御装置３５０は、触覚提示デバイス１００を制御するためのソフトウェアやデータベースが搭載される。また、これら情報処理システム１０の配信者側に設置される各装置とソフトウェアとは同一事業者によって提供されてもよく、別の事業者によって提供されてもよい。さらに、上記事業者は、ライブ配信サーバ５００を管理／運営する事業者と同一であっても、異なっていてもよい。
　次に、図５２に示す情報処理システム１０においては、図５１に示す情報処理システム１０と異なり、クラウド側に配置されたハプティクスサーバ６００を含む。ローカル側制御装置３５０は、ＰＣ等で構成され、スタンプ８５０の識別情報（スタンプ情報）に紐づけられた触覚制御信号（波形データ）の識別情報等をハプティクスサーバ６００から取得することができる。なお、図５２に示す情報処理システム１０においては、ハプティクスサーバ６００は、配信者８００側に設置されたローカルな装置であってもよい。
　次に、図５３に示す情報処理システム１０においては、図５２に示す情報処理システム１０と同様に、クラウド側に配置されたハプティクスサーバ６００を含む。しかしながら、図５３に示す情報処理システム１０は、図５２に示す情報処理システム１０と異なり、ローカル側制御装置３５０は、ライブ配信サーバ５００を介して、スタンプ８５０の識別情報（スタンプ情報）に紐づけられた触覚制御信号（波形データ）の識別情報等をハプティクスサーバ６００から取得する。
　また、図５４に示す情報処理システム１０においては、ローカル側制御装置３５０は、配信者８００側に設置される。一方、ライブ配信サーバ５００及びハプティクスサーバ６００は、クラウド側に配置される。図５４に示す情報処理システム１０は、図５３に示す情報処理システム１０と異なり、ローカル側制御装置３５０は、ハプティクスサーバ６００を介して、スタンプ８５０の識別情報（スタンプ情報）に紐づけられた映像、音声信号等をライブ配信サーバ５００から取得する。
　＜＜１５．　触覚刺激の出力方法＞＞
　先に説明した本開示の実施形態においては、ハプティクス用サーバ３００は、受け付けたスタンプ８５０の識別情報を参照して、予め格納された当該識別情報に紐づけられたデータに基づいて、スタンプ８５０に対応する触覚制御信号を生成／出力する。そこで、本開示の実施形態における、触覚刺激の具体的な提示の方法について、図５５を参照して説明する。図５５は、本開示の実施形態に係る触覚刺激の提示方法について説明するための説明図である。
　本実施形態においては、例えば、図５５に示すように、ハプティクス用サーバ３００又はハプティクスサーバ６００に、スタンプ８５０の識別情報に紐づけられた触覚刺激の波形データが、触覚刺激を提示する触覚刺激部１０６と対応するように準備され、格納されている。そして、ハプティクス用サーバ３００又はハプティクスサーバ６００は、受け付けたスタンプ８５０の識別情報に紐づけられた複数の波形データを駆動アンプ／インタフェース２００へ送信する。さらに、駆動アンプ／インタフェース２００は、指定された触覚刺激部１０６ａ～１０６ｆを受信した波形データに基づいて駆動することにより、触覚刺激を提示することができる。
　なお、上記説明では、波形データは触覚刺激を提示する触覚刺激部１０６と対応するように準備されていると説明したが、本実施形態においてはこれに限定されるものではない。例えば、ハプティクス用サーバ３００又はハプティクスサーバ６００に、スタンプ８５０の識別情報に紐づけられた触覚刺激の波形データが、触覚刺激を提示する触覚刺激部１０６と紐づけられることなく準備され、格納されている。また、ハプティクス用サーバ３００、ハプティクスサーバ６００、又は、駆動アンプ／インタフェース２００は、触覚提示デバイス１００のスペック（触覚刺激部１０６の数、位置、与えられる最大振動強度等）の情報を触覚提示デバイス１００から取得する、もしくは、当該情報を予め格納しているものとする。
　そして、ハプティクス用サーバ３００又はハプティクスサーバ６００は、受け付けたスタンプ８５０の識別情報に紐づけられた複数の波形データのそれぞれを、触覚提示デバイス１００のスペックに応じて、各触覚刺激部１０６に紐づける（マッチングする）。このようにすることで、例えば、予め準備された波形データの数と触覚刺激部１０６の数とが同じでない場合には、ハプティクス用サーバ３００又はハプティクスサーバ６００は、触覚提示デバイス１００のスペックにあわせた波形データのみを送信することができる。そして、ハプティクス用サーバ３００又はハプティクスサーバ６００は、各触覚刺激部１０６に紐づけられた波形データを、駆動アンプ／インタフェース２００へ送信し、駆動アンプ／インタフェース２００は、各触覚刺激部１０６を受信した波形データに基づいて駆動することにより、触覚刺激を提示することができる。
　＜＜１６．　スタンプ表示の変形例について＞＞
　さらに、図５６を参照して、本開示の実施形態の変形例に係る表示例を説明する。図５６は、本開示の実施形態の変形例に係る表示例を説明するための説明図である。これまで説明した本開示の実施形態においては、視聴者９００は、触覚刺激効果付きスタンプ８５０を選択するものとして説明していた。しかしながら、本開示においては、視聴者９００は、これに限定されるものではなく、触覚刺激効果付きスタンプ８５０とともに、触覚刺激効果無しスタンプも選択できるようにしてもよい。
　例えば、図５６においては、視聴者９００のユーザ端末７００の表示例であり、当該表示例においては、触覚刺激効果付きスタンプ８５６とともに、触覚刺激効果無しスタンプ８５４ａ、８５４ｂが表示されている。本変形例においては、このような表示に対して操作を行うことにより、視聴者９００は、触覚刺激効果付きスタンプ８５０も、触覚刺激効果無しスタンプ８５４も選択することができる。
　＜＜１７．　ハードウェア構成について＞＞
　上述してきた各実施形態に係るハプティクス用サーバ３００等の情報処理装置は、例えば図５７に示すような構成のコンピュータ１０００によって実現される。以下、本開示の各実施形態に係るハプティクス用サーバ３００を例に挙げて説明する。図５７は、ハプティクス用サーバ３００の機能を実現するコンピュータの一例を示すハードウェア構成図である。コンピュータ１０００は、ＣＰＵ１１００、ＲＡＭ１２００、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）１３００、ＨＤＤ（Ｈａｒｄ　Ｄｉｓｃ　Ｄｒｉｖｅ）１４００、通信インタフェース１５００、及び入出力インタフェース１６００を有する。コンピュータ１０００の各部は、バス１０５０によって接続される。
　ＣＰＵ１１００は、ＲＯＭ１３００又はＨＤＤ１４００に格納されたプログラムに基づいて動作し、各部の制御を行う。例えば、ＣＰＵ１１００は、ＲＯＭ１３００又はＨＤＤ１４００に格納されたプログラムをＲＡＭ１２００に展開し、各種プログラムに対応した処理を実行する。
　ＲＯＭ１３００は、コンピュータ１０００の起動時にＣＰＵ１１００によって実行されるＢＩＯＳ（Ｂａｓｉｃ　Ｉｎｐｕｔ　Ｏｕｔｐｕｔ　Ｓｙｓｔｅｍ）等のブートプログラムや、コンピュータ１０００のハードウェアに依存するプログラム等を格納する。
　ＨＤＤ１４００は、ＣＰＵ１１００によって実行されるプログラム、及び、かかるプログラムによって使用されるデータ等を非一時的に記録する、コンピュータが読み取り可能な記録媒体である。具体的には、ＨＤＤ１４００は、プログラムデータ１４５０の一例である本開示に係る情報処理プログラムを記録する記録媒体である。
　通信インタフェース１５００は、コンピュータ１０００が外部ネットワーク１５５０（例えばインターネット）と接続するためのインタフェースである。例えば、ＣＰＵ１１００は、通信インタフェース１５００を介して、他の機器からデータを受信したり、ＣＰＵ１１００が生成したデータを他の機器へ送信したりする。
　入出力インタフェース１６００は、入出力デバイス１６５０とコンピュータ１０００とを接続するためのインタフェースである。例えば、ＣＰＵ１１００は、入出力インタフェース１６００を介して、キーボードやマウス等の入力デバイスからデータを受信する。また、ＣＰＵ１１００は、入出力インタフェース１６００を介して、ディスプレイやプリンタ等の出力デバイスにデータを送信する。また、入出力インタフェース１６００は、所定の記録媒体（メディア）に記録されたプログラム等を読み取るメディアインターフェイスとして機能してもよい。メディアとは、例えばＤＶＤ（Ｄｉｇｉｔａｌ　Ｖｅｒｓａｔｉｌｅ　Ｄｉｓｃ）、ＰＤ（Ｐｈａｓｅ　ｃｈａｎｇｅ　ｒｅｗｒｉｔａｂｌｅ　Ｄｉｓｋ）等の光学記録媒体、ＭＯ（Ｍａｇｎｅｔｏ－Ｏｐｔｉｃａｌ　ｄｉｓｋ）等の光磁気記録媒体、テープ媒体、磁気記録媒体、または半導体メモリ等である。
　例えば、コンピュータ１０００が本開示の実施形態に係るハプティクス用サーバ３００として機能する場合、コンピュータ１０００のＣＰＵ１１００は、ＲＡＭ１２００上にロードされた情報処理プログラムを実行することにより、触覚制御信号を生成する等の機能を実現する。また、ＨＤＤ１４００には、本開示の実施形態に係る情報処理プログラム等が格納される。なお、ＣＰＵ１１００は、プログラムデータ１４５０をＨＤＤ１４００から読み取って実行するが、他の例として、外部ネットワーク１５５０を介して、他の装置からこれらのプログラムを取得してもよい。
　また、本実施形態に係る情報処理装置は、例えばクラウドコンピューティング等のように、ネットワークへの接続（または各装置間の通信）を前提とした、複数の装置からなるシステムに適用されてもよい。つまり、上述した本実施形態に係る情報処理装置は、例えば、複数の装置により本実施形態に係る情報処理方法に係る処理を行う情報処理システムとして実現することも可能である。
　＜＜１８．　補足＞＞
　また、以上に説明した実施形態は、例えば、コンピュータを本実施形態に係る情報処理装置として機能させるためのプログラム、及びプログラムが記録された一時的でない有形の媒体を含むことができる。また、上記プログラムをインターネット等の通信回線（無線通信も含む）を介して頒布してもよい。
　さらに、上述した各実施形態の処理における各ステップは、必ずしも記載された順序に沿って処理されなくてもよい。例えば、各ステップは、適宜順序が変更されて処理されてもよい。また、各ステップは、時系列的に処理される代わりに、一部並列的に又は個別的に処理されてもよい。さらに、各ステップの処理方法についても、必ずしも記載された方法に沿って処理されなくてもよく、例えば、他の機能ブロックによって他の方法で処理されていてもよい。
　以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
　また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、又は上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
　なお、本技術は以下のような構成を取ることができる。
（１）
　第１のユーザからの入力に応じて、触覚提示デバイスによって触覚刺激を提示する提示部を指定する提示部情報と前記触覚刺激の形態を指定する形態情報とを含む各制御コマンドを取得する第１の取得部と、
　前記各制御コマンドに応じて、前記提示部に前記触覚刺激を提示するための各触覚制御信号を生成する生成部と、
　前記各触覚制御信号を第２のユーザの身体に装着された前記触覚提示デバイスに配信する第１の配信部と、
　を備え、
　前記第１の取得部は、複数の前記第１のユーザからの入力が所定の条件を満たした場合、前記複数の第１のユーザからの入力のそれぞれに対応する前記各制御コマンドとは異なる新たな制御コマンドを取得する、
　情報処理装置。
（２）
　前記制御コマンドは、スタンプ選択画面に表示されたスタンプに予め紐づけられており、
　前記各第１のユーザは、前記スタンプ選択画面に表示された前記スタンプを選択することにより、入力を行う、
　上記（１）に記載の情報処理装置。
（３）
　前記スタンプ選択画面を表示するデバイスをタップ操作することにより、前記第１のユーザは、前記触覚刺激を提示するタイミングを設定する、上記（２）に記載の情報処理装置。
（４）
　前記複数の第１のユーザの前記タップ操作が同期したタイミングに基づき、前記触覚刺激が提示される、上記（３）に記載の情報処理装置。
（５）
　前記複数の第１のユーザからの入力の数に応じて、前記新たな制御コマンドに対応する前記触覚刺激の強度、又は、提示時間が変化する、上記（１）に記載の情報処理装置。
（６）
　前記第１の配信部は、所定の時間内に生成された前記各触覚制御信号のパラメータが、前記提示部の特性に基づいて予め定められた閾値を超えた場合には、前記各触覚制御信号の配信を一時的に停止する、
　上記（１）に記載の情報処理装置。
（７）
　前記各触覚制御信号の配信を一時的に停止した場合に、前記複数の第１のユーザに通知を行う通知部をさらに備える、上記（６）に記載の情報処理装置。
（８）
　前記触覚制御信号は、前記触覚刺激の提示タイミング、周波数、間隔、波形、提示時間及び強度のうちの少なくとも１つのパラメータを指定する、上記（１）に記載の情報処理装置。
（９）
　所定の画像を前記第２のユーザに向けて画像を表示する表示デバイスに配信する第２の配信部をさらに備え、
　前記触覚提示デバイスが前記第２のユーザの身体に装着されていない場合には、前記第２の配信部は、前記周波数に応じて、前記所定の画像の少なくとも一部を所定の方向に振動させる画像処理がなされた前記所定の画像を配信する、
　上記（８）に記載の情報処理装置。
（１０）
　前記画像処理においては、前記周波数に応じて、前記所定の画像のうちの振動させる領域が決定される、上記（９）に記載の情報処理装置。
（１１）
　前記画像処理においては、前記触覚刺激の前記パラメータに応じて、前記所定の画像を振幅させる、周波数、間隔、波形が変化する、上記（９）又は（１０）に記載の情報処理装置。
（１２）
　所定の音声を前記第２のユーザに向けて出力する音声出力デバイスに配信する音声配信部をさらに備え、
　前記触覚提示デバイスが前記第２のユーザの身体に装着されていない場合には、前記音声配信部は、前記周波数に応じて、前記所定の音声の音像を所定の方向に振動させる音声処理がなされた前記所定の音声を配信する、
　上記（８）に記載の情報処理装置。
（１３）
　前記生成部は、前記第２のユーザの状態に応じて、前記触覚刺激を提示する前記提示部を選択する、上記（１）に記載の情報処理装置。
（１４）
　前記スタンプ選択画面は、前記第１のユーザに向けて画像を表示する表示デバイスと通信可能な他の情報処理装置から前記表示デバイスに配信される、
　上記（２）に記載の情報処理装置。
（１５）
　前記他の情報処理装置は、前記第１のユーザの入力に応じたコマンド情報を取得する、
　上記（１４）に記載の情報処理装置。
（１６）
　前記第１のユーザからの入力に応じて、所定の画像を取得する第２の取得部と、
　前記所定の画像を前記第１のユーザに向けて画像を表示する表示デバイスに配信する第３の配信部と、
　をさらに備える、
　上記（１）に記載の情報処理装置。
（１７）
　第１のユーザからの入力に応じて、触覚提示デバイスによって触覚刺激を提示する提示部を指定する提示部情報と前記触覚刺激の形態を指定する形態情報とを特定するための各識別情報を取得する第１の取得部と、
　前記各識別情報に応じて、前記提示部に前記触覚刺激を提示するための各触覚制御信号を生成する生成部と、
　前記各触覚制御信号を第２のユーザの身体に装着された前記触覚提示デバイスに配信する第１の配信部と、
　を備え、
　前記第１の取得部は、複数の前記第１のユーザからの入力が所定の条件を満たした場合、前記複数の第１のユーザからの入力のそれぞれに対応する前記各識別情報で特定された前記提示部情報及び前記形態情報とは異なる前記提示部情報及び前記形態情報が特定された他の識別情報を取得する、
　情報処理装置。
（１８）
　情報処理装置により、
　第１のユーザからの入力に応じて、触覚提示デバイスによって触覚刺激を提示する提示部を指定する提示部情報と前記触覚刺激の形態を指定する形態情報とを含む各制御コマンドを取得することと、
　前記各制御コマンドに応じて、前記提示部に前記触覚刺激を提示するための各触覚制御信号を生成することと、
　前記各触覚制御信号を第２のユーザの身体に装着された前記触覚提示デバイスに配信することと、
　を含み、
　複数の前記第１のユーザからの入力が所定の条件を満たした場合、前記複数の第１のユーザからの入力のそれぞれに対応する前記各制御コマンドとは異なる新たな制御コマンドを取得する、
　情報処理方法。
（１９）
　コンピュータに、
　第１のユーザからの入力に応じて、触覚提示デバイスによって触覚刺激を提示する提示部を指定する提示部情報と前記触覚刺激の形態を指定する形態情報とを含む各制御コマンドを取得する機能と、
　前記各制御コマンドに応じて、前記提示部に前記触覚刺激を提示するための各触覚制御信号を生成する機能と、
　前記各触覚制御信号を第２のユーザの身体に装着された前記触覚提示デバイスに配信する機能と、
　を実現させるプログラムであって、
　複数の前記第１のユーザからの入力が所定の条件を満たした場合、前記複数の第１のユーザからの入力のそれぞれに対応する前記各制御コマンドとは異なる新たな制御コマンドを取得する、
　プログラム。
（２０）
　情報処理装置と、配信装置とを含む情報処理システムあって、
　前記情報処理装置は、
　第１のユーザからの入力に応じて、触覚提示デバイスによって触覚刺激を提示する提示部を指定する提示部情報と前記触覚刺激の形態を指定する形態情報とを含む各制御コマンドを取得する第１の取得部と、
　前記各制御コマンドに応じて、前記提示部に前記触覚刺激を提示するための各触覚制御信号を生成する生成部と、
　前記各触覚制御信号を第２のユーザの身体に装着された前記触覚提示デバイスに配信する第１の配信部と、
　を有し、
　前記第１の取得部は、複数の前記第１のユーザからの入力が所定の条件を満たした場合、前記複数の第１のユーザからの入力のそれぞれに対応する前記各制御コマンドとは異なる新たな制御コマンドを取得し、
　前記配信装置は、
　前記第１のユーザに向けて配信される実空間の画像に、前記入力に基づいて生成される所定の画像を重畳する画像生成部を有する、
　情報処理システム。
（２１）
　前記配信装置は、クラウド上の装置により構成される、上記（２０）に記載の情報処理システム。
　　１０　　情報処理システム
　　１００　　触覚提示デバイス
　　１０２、３０２、４０２、５０２、７０８　　通信部
　　１０４、７１０　　制御部
　　１０６、１０６ａ、１０６ｂ、１０６ｃ、１０６ｄ、１０６ｅ、１０６ｆ　触覚刺激部
　　１０８　　操作部
　　２００　　駆動アンプ／インタフェース
　　２０２、７０６　　スピーカ
　　２０４　　モニタ
　　２０６、７２４　　マイク
　　２０８、７２２　　カメラ
　　３００、３００ａ　　ハプティクス用サーバ
　　３０４、４０４　　カメラ画像取得部
　　３０６、４１０　　マイク音声取得部
　　３０８、４０８、５０６　　スタンプ取得部
　　３１０　　触覚信号生成部
　　３１２　　配信者状態取得部
　　３１４　　出力画像取得部
　　３１６、４１４　　出力音声取得部
　　３１８、４１６、５１８、７１２　　記憶部
　　３５０　　ローカル側制御装置
　　４００　　配信データ編集サーバ
　　４０６　　画像生成部
　　４１２　　音声生成部
　　５００　　ライブ配信サーバ
　　５０４　　ＧＵＩ制御部
　　５０８　　音声データ取得部
　　５１０　　画像データ取得部
　　５１２　　触覚信号取得部
　　５１４　　視聴者情報取得部
　　５１６　　配信制御部
　　６００　　ハプティクスサーバ
　　７００　　ユーザ端末
　　７０２　　表示部
　　７０４　　操作入力部
　　７２０　　センサ部
　　７２６　　ジャイロセンサ
　　７２８　　加速度センサ
　　８００、８００ａ、８００ｂ、８００ｃ　　配信者
　　８４０　　波形イメージ
　　８４２、８７２、８７４、８８０、９８０　　表示
　　８５０、８５０ａ、８５０ｂ、８５０ｃ、８５０ｄ、８５２、８５４、８５４ａ、８５４ｂ、８５６　　スタンプ
　　８６０　　コメント
　　８７０ａ、８７０ｂ、８９０、８９２　　アイコン
　　９００　　視聴者
　　９１０　　ベクトル
　　９５０　　表示画像
　　９６０ａ、９６０ｂ、９７０　　領域

Claims (21)

  1. 　第１のユーザからの入力に応じて、触覚提示デバイスによって触覚刺激を提示する提示部を指定する提示部情報と前記触覚刺激の形態を指定する形態情報とを含む各制御コマンドを取得する第１の取得部と、
    　前記各制御コマンドに応じて、前記提示部に前記触覚刺激を提示するための各触覚制御信号を生成する生成部と、
    　前記各触覚制御信号を第２のユーザの身体に装着された前記触覚提示デバイスに配信する第１の配信部と、
    　を備え、
    　前記第１の取得部は、複数の前記第１のユーザからの入力が所定の条件を満たした場合、前記複数の第１のユーザからの入力のそれぞれに対応する前記各制御コマンドとは異なる新たな制御コマンドを取得する、
    　情報処理装置。
  2. 　前記制御コマンドは、スタンプ選択画面に表示されたスタンプに予め紐づけられており、
    　前記各第１のユーザは、前記スタンプ選択画面に表示された前記スタンプを選択することにより、入力を行う、
    　請求項１に記載の情報処理装置。
  3. 　前記スタンプ選択画面を表示するデバイスをタップ操作することにより、前記第１のユーザは、前記触覚刺激を提示するタイミングを設定する、請求項２に記載の情報処理装置。
  4. 　前記複数の第１のユーザの前記タップ操作が同期したタイミングに基づき、前記触覚刺激が提示される、請求項３に記載の情報処理装置。
  5. 　前記複数の第１のユーザからの入力の数に応じて、前記新たな制御コマンドに対応する前記触覚刺激の強度、又は、提示時間が変化する、請求項１に記載の情報処理装置。
  6. 　前記第１の配信部は、所定の時間内に生成された前記各触覚制御信号のパラメータが、前記提示部の特性に基づいて予め定められた閾値を超えた場合には、前記各触覚制御信号の配信を一時的に停止する、
    　請求項１に記載の情報処理装置。
  7. 　前記各触覚制御信号の配信を一時的に停止した場合に、前記複数の第１のユーザに通知を行う通知部をさらに備える、請求項６に記載の情報処理装置。
  8. 　前記触覚制御信号は、前記触覚刺激の提示タイミング、周波数、間隔、波形、提示時間及び強度のうちの少なくとも１つのパラメータを指定する、請求項１に記載の情報処理装置。
  9. 　所定の画像を前記第２のユーザに向けて画像を表示する表示デバイスに配信する第２の配信部をさらに備え、
    　前記触覚提示デバイスが前記第２のユーザの身体に装着されていない場合には、前記第２の配信部は、前記周波数に応じて、前記所定の画像の少なくとも一部を所定の方向に振動させる画像処理がなされた前記所定の画像を配信する、
    　請求項８に記載の情報処理装置。
  10. 　前記画像処理においては、前記周波数に応じて、前記所定の画像のうちの振動させる領域が決定される、請求項９に記載の情報処理装置。
  11. 　前記画像処理においては、前記触覚刺激の前記パラメータに応じて、前記所定の画像を振幅させる、周波数、間隔、波形が変化する、請求項９に記載の情報処理装置。
  12. 　所定の音声を前記第２のユーザに向けて出力する音声出力デバイスに配信する音声配信部をさらに備え、
    　前記触覚提示デバイスが前記第２のユーザの身体に装着されていない場合には、前記音声配信部は、前記周波数に応じて、前記所定の音声の音像を所定の方向に振動させる音声処理がなされた前記所定の音声を配信する、
    　請求項８に記載の情報処理装置。
  13. 　前記生成部は、前記第２のユーザの状態に応じて、前記触覚刺激を提示する前記提示部を選択する、請求項１に記載の情報処理装置。
  14. 　前記スタンプ選択画面は、前記第１のユーザに向けて画像を表示する表示デバイスと通信可能な他の情報処理装置から前記表示デバイスに配信される、
    　請求項２に記載の情報処理装置。
  15. 　前記他の情報処理装置は、前記第１のユーザの入力に応じたコマンド情報を取得する、
    　請求項１４に記載の情報処理装置。
  16. 　前記第１のユーザからの入力に応じて、所定の画像を取得する第２の取得部と、
    　前記所定の画像を前記第１のユーザに向けて画像を表示する表示デバイスに配信する第３の配信部と、
    　をさらに備える、
    　請求項１に記載の情報処理装置。
  17. 　第１のユーザからの入力に応じて、触覚提示デバイスによって触覚刺激を提示する提示部を指定する提示部情報と前記触覚刺激の形態を指定する形態情報とを特定するための各識別情報を取得する第１の取得部と、
    　前記各識別情報に応じて、前記提示部に前記触覚刺激を提示するための各触覚制御信号を生成する生成部と、
    　前記各触覚制御信号を第２のユーザの身体に装着された前記触覚提示デバイスに配信する第１の配信部と、
    　を備え、
    　前記第１の取得部は、複数の前記第１のユーザからの入力が所定の条件を満たした場合、前記複数の第１のユーザからの入力のそれぞれに対応する前記各識別情報で特定された前記提示部情報及び前記形態情報とは異なる前記提示部情報及び前記形態情報が特定された他の識別情報を取得する、
    　情報処理装置。
  18. 　情報処理装置により、
    　第１のユーザからの入力に応じて、触覚提示デバイスによって触覚刺激を提示する提示部を指定する提示部情報と前記触覚刺激の形態を指定する形態情報とを含む各制御コマンドを取得することと、
    　前記各制御コマンドに応じて、前記提示部に前記触覚刺激を提示するための各触覚制御信号を生成することと、
    　前記各触覚制御信号を第２のユーザの身体に装着された前記触覚提示デバイスに配信することと、
    　を含み、
    　複数の前記第１のユーザからの入力が所定の条件を満たした場合、前記複数の第１のユーザからの入力のそれぞれに対応する前記各制御コマンドとは異なる新たな制御コマンドを取得する、
    　情報処理方法。
  19. 　コンピュータに、
    　第１のユーザからの入力に応じて、触覚提示デバイスによって触覚刺激を提示する提示部を指定する提示部情報と前記触覚刺激の形態を指定する形態情報とを含む各制御コマンドを取得する機能と、
    　前記各制御コマンドに応じて、前記提示部に前記触覚刺激を提示するための各触覚制御信号を生成する機能と、
    　前記各触覚制御信号を第２のユーザの身体に装着された前記触覚提示デバイスに配信する機能と、
    　を実現させるプログラムであって、
    　複数の前記第１のユーザからの入力が所定の条件を満たした場合、前記複数の第１のユーザからの入力のそれぞれに対応する前記各制御コマンドとは異なる新たな制御コマンドを取得する、
    　プログラム。
  20. 　情報処理装置と、配信装置とを含む情報処理システムあって、
    　前記情報処理装置は、
    　第１のユーザからの入力に応じて、触覚提示デバイスによって触覚刺激を提示する提示部を指定する提示部情報と前記触覚刺激の形態を指定する形態情報とを含む各制御コマンドを取得する第１の取得部と、
    　前記各制御コマンドに応じて、前記提示部に前記触覚刺激を提示するための各触覚制御信号を生成する生成部と、
    　前記各触覚制御信号を第２のユーザの身体に装着された前記触覚提示デバイスに配信する第１の配信部と、
    　を有し、
    　前記第１の取得部は、複数の前記第１のユーザからの入力が所定の条件を満たした場合、前記複数の第１のユーザからの入力のそれぞれに対応する前記各制御コマンドとは異なる新たな制御コマンドを取得し、
    　前記配信装置は、
    　前記第１のユーザに向けて配信される実空間の画像に、前記入力に基づいて生成される所定の画像を重畳する画像生成部を有する、
    　情報処理システム。
  21. 　前記配信装置は、クラウド上の装置により構成される、請求項２０に記載の情報処理システム。
PCT/JP2021/043342 2020-12-04 2021-11-26 情報処理装置、情報処理方法、プログラム及び情報処理システム WO2022118747A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202180079618.XA CN116457750A (zh) 2020-12-04 2021-11-26 信息处理装置、信息处理方法、程序和信息处理系统
JP2022566883A JPWO2022118747A1 (ja) 2020-12-04 2021-11-26
DE112021006306.5T DE112021006306T5 (de) 2020-12-04 2021-11-26 Informationsverarbeitungsvorrichtung, informationsverarbeitungsverfahren, programm und informationsverarbeitungssystem

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020202223 2020-12-04
JP2020-202223 2020-12-04

Publications (1)

Publication Number Publication Date
WO2022118747A1 true WO2022118747A1 (ja) 2022-06-09

Family

ID=81853498

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/043342 WO2022118747A1 (ja) 2020-12-04 2021-11-26 情報処理装置、情報処理方法、プログラム及び情報処理システム

Country Status (4)

Country Link
JP (1) JPWO2022118747A1 (ja)
CN (1) CN116457750A (ja)
DE (1) DE112021006306T5 (ja)
WO (1) WO2022118747A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130198625A1 (en) * 2012-01-26 2013-08-01 Thomas G Anderson System For Generating Haptic Feedback and Receiving User Inputs
WO2019159459A1 (ja) * 2018-02-16 2019-08-22 ソニー株式会社 情報処理装置、情報処理方法及び記録媒体
WO2020017261A1 (ja) * 2018-07-20 2020-01-23 ソニー株式会社 情報処理装置、情報処理方法及びプログラム

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3483701B1 (en) 2016-07-07 2023-11-01 Sony Group Corporation Information processing device, information processing method, and program

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130198625A1 (en) * 2012-01-26 2013-08-01 Thomas G Anderson System For Generating Haptic Feedback and Receiving User Inputs
WO2019159459A1 (ja) * 2018-02-16 2019-08-22 ソニー株式会社 情報処理装置、情報処理方法及び記録媒体
WO2020017261A1 (ja) * 2018-07-20 2020-01-23 ソニー株式会社 情報処理装置、情報処理方法及びプログラム

Also Published As

Publication number Publication date
CN116457750A (zh) 2023-07-18
DE112021006306T5 (de) 2023-11-16
JPWO2022118747A1 (ja) 2022-06-09

Similar Documents

Publication Publication Date Title
WO2020138107A1 (ja) 配信ユーザの動きに基づいて生成されるキャラクタオブジェクトのアニメーションを含む動画をライブ配信する動画配信システム、動画配信方法及び動画配信プログラム
JP2018007828A (ja) プログラム及び電子機器
JPWO2019234879A1 (ja) 情報処理システム、情報処理方法およびコンピュータプログラム
JP7369674B2 (ja) プログラム、方法、および視聴端末
US11941177B2 (en) Information processing device and information processing terminal
JP7437480B2 (ja) プログラム、方法、およびコンピュータ
US20230009322A1 (en) Information processing device, information processing terminal, and program
US20230033892A1 (en) Information processing device and information processing terminal
WO2022118747A1 (ja) 情報処理装置、情報処理方法、プログラム及び情報処理システム
WO2022118746A1 (ja) 情報処理装置、情報処理方法、プログラム及び情報処理システム
WO2022118748A1 (ja) 情報処理装置、情報処理方法、プログラム及び情報処理システム
US20240295925A1 (en) Information processing device, information processing method, program, and information processing system
US11983324B2 (en) Information processing device, information processing terminal, and program
JP6754859B1 (ja) プログラム、方法、およびコンピュータ
JP7445723B1 (ja) プログラムおよび情報処理システム
JP7379427B2 (ja) 配信ユーザの動きに基づいて生成されるキャラクタオブジェクトのアニメーションを含む動画をライブ配信する動画配信システム、動画配信方法及び動画配信プログラム
WO2022113329A1 (ja) 方法、コンピュータ可読媒体、コンピュータシステム、および情報処理装置
WO2022137523A1 (ja) ゲーム方法、コンピュータ可読媒体、および情報処理装置
WO2022137377A1 (ja) 情報処理方法、コンピュータ可読媒体、コンピュータシステム、および情報処理装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21900501

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022566883

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 18039165

Country of ref document: US

Ref document number: 202180079618.X

Country of ref document: CN

WWE Wipo information: entry into national phase

Ref document number: 112021006306

Country of ref document: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21900501

Country of ref document: EP

Kind code of ref document: A1