WO2021145024A1 - 情報処理装置、情報処理端末及びプログラム - Google Patents

情報処理装置、情報処理端末及びプログラム Download PDF

Info

Publication number
WO2021145024A1
WO2021145024A1 PCT/JP2020/035880 JP2020035880W WO2021145024A1 WO 2021145024 A1 WO2021145024 A1 WO 2021145024A1 JP 2020035880 W JP2020035880 W JP 2020035880W WO 2021145024 A1 WO2021145024 A1 WO 2021145024A1
Authority
WO
WIPO (PCT)
Prior art keywords
tactile
unit
information
information processing
user
Prior art date
Application number
PCT/JP2020/035880
Other languages
English (en)
French (fr)
Inventor
伊藤 鎮
猛史 荻田
亜由美 中川
洋平 福馬
諒 横山
Original Assignee
ソニーグループ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーグループ株式会社 filed Critical ソニーグループ株式会社
Priority to DE112021000549.9T priority Critical patent/DE112021000549T5/de
Priority to US17/781,241 priority patent/US20230009322A1/en
Priority to JP2021571278A priority patent/JPWO2021145454A1/ja
Priority to PCT/JP2021/001367 priority patent/WO2021145454A1/ja
Priority to CN202180008481.9A priority patent/CN114930274A/zh
Publication of WO2021145024A1 publication Critical patent/WO2021145024A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016Input arrangements with force or tactile feedback as computer generated output to the user
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/02Marketing; Price estimation or determination; Fundraising
    • G06Q30/0283Price estimation or determination
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition

Definitions

  • This disclosure relates to information processing devices, information processing terminals and programs.
  • a viewer of the content sends data such as illustrations and texts to an artist or the like who distributes the content on the Internet, or remits money together with the data.
  • "Throwing money” can be mentioned.
  • the viewer can obtain a higher value-added experience.
  • the viewer's satisfaction with the content will increase, and the willingness to purchase such "things” will increase.
  • a device for presenting a tactile stimulus such as vibration to a user has been proposed.
  • the jacket-type tactile presentation device described in Patent Document 1 can be mentioned.
  • Such a tactile presentation device is attached to a user in an attraction of a movie theater or a theme park, and is controlled so as to be synchronized with the playback content viewed by the user, thereby making the provided playback content more realistic. It can be amplified.
  • control commands corresponding to the presentation unit information that specifies the presentation unit that presents the tactile stimulus by the tactile presentation device and the morphological information that specifies the form of the tactile stimulus, which are input from the first user are acquired.
  • An information processing device including a distribution unit that distributes to a tactile presentation device is provided.
  • an input unit for inputting a control command including presentation unit information for designating a presentation unit for presenting a tactile stimulus by a tactile presentation device and morphological information for specifying a form of the tactile stimulus, and an input unit.
  • An information processing terminal includes a transmission unit that generates a tactile control signal corresponding to the control command and transmits the tactile control command to an information processing device that distributes the control command to the tactile presentation device.
  • the information processing apparatus acquires a control command input from the first user, receives a live distribution image of the second user, and displays the received live distribution image.
  • a program that functions as a control unit that displays the acquired control command on the server and transmits the acquired control command to the server via the communication unit.
  • a tactile control signal is generated in response to the control command, and the tactile control signal is produced by the tactile control signal.
  • the presentation unit information that is delivered to the tactile presentation device attached to the body of the second user and specifies the presentation unit that presents the tactile stimulus of the tactile presentation device corresponding to the control command and the form of the tactile stimulus are specified.
  • a program is provided that performs tactile presentation via the tactile presentation device based on the morphological information.
  • the present disclosure includes a control unit that receives a control command input from the first user and receives an image of live distribution of the second user, and generates a tactile control signal in response to the control command. Then, the tactile control signal is delivered to the tactile presentation device attached to the body of the second user, and the presentation unit information for designating the presentation unit that presents the tactile stimulus of the tactile presentation device corresponding to the control command is provided.
  • An information processing device that performs tactile presentation via the tactile presentation device is provided based on the morphological information that specifies the form of the tactile stimulus.
  • the present inventors diligently study whether it is possible to provide a viewer with a higher value-added experience, and present a tactile stimulus such as vibration to the wearer.
  • the idea was to use a tactile presentation device (haptics device).
  • the present inventors considered that by using such a tactile presentation device, the viewer can obtain a higher value-added experience.
  • an artist 602 for viewing or distributing a performance or content is equipped with, for example, a best-type tactile presentation device 100.
  • the tactile presentation device 100 has a plurality of tactile stimulating units (for example, an actuator or the like) inside. Further, when the tactile stimulus unit receives a predetermined signal, the tactile stimulus unit can present the tactile stimulus to the wearer. Then, as shown in FIG. 2, the viewer 600 selects one stamp 700 with a tactile stimulus effect from the plurality of stamps 700 with a tactile stimulus effect displayed on the display unit 302 of the user terminal 300, and selects the tactile stimulus.
  • a predetermined tactile control signal corresponding to the tactile stimulus given to the stamp 700 is transmitted to the tactile stimulus unit (so-called "throwing money" with the tactile stimulus effect). Will be). Further, the tactile stimulus unit presents the tactile stimulus corresponding to the selected stamp 700 with the tactile stimulus effect to the wearer based on the received predetermined tactile control signal. Therefore, if the artist 602 perceives the presented tactile stimulus and takes an action, the viewer 600 confirms the action induced by the tactile stimulus presented by the stamp 700 transmitted by the artist in real time. be able to.
  • the viewer 600 can feel as if he / she is directly interacting with the artist 602, that is, , You can get a higher value-added experience.
  • FIG. 3 is a system diagram showing a schematic configuration example of the information processing system 10 according to the first embodiment of the present disclosure.
  • the artist (second user) 602 and the viewer (first user) 600 exist in different spaces or the same space. That is, in the information processing system 10, the viewer 600 may directly view the appearance of the artist 602 or may view the delivered video of the artist 602, for example.
  • the information processing system 10 includes, for example, a tactile presentation device 100, a monitor 110, a camera 120, a server (information processing device) 200, and a user terminal (information processing device).
  • An information processing terminal) 300 can include a smartphone 300a and a tablet 300b as an example.
  • the server 200 and other devices include, for example, a wired / wireless LAN (Local Area Network), Wi-Fi (registered trademark), Bluetooth (registered trademark), mobile communication network (LTE (Long Term Evolution), 5G (fifth) It can send and receive to and from each other via various communication networks such as generation mobile communication method)).
  • the number of each device included in the information processing system 10 is not limited to the number shown in FIG.
  • the information processing system 10 may include a device (not shown in FIG. 3).
  • the information processing system 10 includes general-purpose PCs (Personal Computers), game consoles, mobile phones, portable media players, speakers, projectors, displays (digital signage, etc.), headphones, smart glasses, wearable devices such as smart watches, and the like. Can include. The outline of each device included in the information processing system 10 according to the present embodiment will be described below.
  • the tactile presentation device 100 is composed of, for example, a device that can be worn on the body.
  • a vest type worn by artist 602 is assumed.
  • the vest type tactile presentation device 100 has a plurality of tactile stimulating portions inside.
  • a predetermined number for example, 6) of tactile stimulating units may be arranged on the front side and the back side of the artist 602 inside the tactile presentation device 100.
  • the individual tactile stimulating portions arranged on the front side and the individual tactile stimulating portions arranged on the back side are arranged in a positional relationship facing each other.
  • the shape of the tactile presentation device 100 is not limited to the vest type, and may be a jacket shape having sleeves.
  • one or more tactile stimulating portions may be arranged not only in the chest and abdomen of the artist 602 but also in positions corresponding to both arms of the artist 602.
  • the tactile presentation device 100 is not limited to the outerwear shape, and may be trousers, shoes, a belt, a hat, gloves, a mask, or the like.
  • one microphone (hereinafter, referred to as a microphone) (not shown) may be arranged on each of the left and right sides, or one microphone may be arranged on one of the left and right sides. It may be arranged, or 3 or more may be arranged. Further, the microphone may be arranged around the artist 602 as another device independent of the tactile presentation device 100. Further, the tactile presentation device 100 detects the movement and posture of the artist 602, a wearing state detection sensor (for example, a fastener type sensor, a pressure sensor, etc.) for detecting the wearing state of the tactile presentation device 100 (not shown).
  • a wearing state detection sensor for example, a fastener type sensor, a pressure sensor, etc.
  • IMU Inertial Measurement Unit
  • biometric information sensor for detecting biometric information of artist 602 (eg, heartbeat, pulse, brain wave, breathing, sweating, myoelectric potential, skin temperature, skin)
  • a sensor that senses electrical resistance, eye movement, pupil diameter, etc.) (not shown) or the like may be built-in. The detailed configuration of the tactile presentation device 100 will be described later.
  • the monitor 110 can display an image of the artist 602 captured by the camera 120 described later toward the artist 602, and the monitor 110 further displays text, an icon, an animation, or the like on the image of the artist 602. It can be superimposed and displayed.
  • the monitor 110 is realized by a liquid crystal display (LCD: Liquid Crystal Display) device and an OLED (Organic Light Emitting Mode) device.
  • the display unit (not shown) of the monitor 110 may be provided as a unit integrated with the input unit (not shown). In this case, the input unit may be provided, for example, on the display unit. It is realized by the superimposed touch panel.
  • the monitor 110 may be provided with a speaker (not shown) that outputs sound to the artist 602.
  • the camera 120 is one or a plurality of visible light cameras that capture the artist 602 from one viewpoint or multiple viewpoints, and the captured image is transmitted to the user terminal 300 or the monitor 110 of the viewer 600 via the server 200.
  • the camera 120 may take an image of a real object or the like around or existing around the artist 602.
  • the camera 120 includes a lens system composed of an image pickup lens, an aperture, a zoom lens, a focus lens, and the like, and a drive system that causes the lens system to perform a focus operation and a zoom operation.
  • the camera 120 includes a solid-state image sensor array and the like that generate an image pickup signal by photoelectrically converting the image pickup light obtained by the lens system.
  • the solid-state image sensor array may be realized by, for example, a CCD (Charge Coupled Device) sensor array or a CMOS (Complementary Metal Oxide Sensor) sensor array.
  • the server 200 can receive the stamp (control command) 700 with the tactile stimulus effect input from the viewer 600, generate a tactile control signal according to the stamp 700, and transmit the generated tactile control signal to the tactile presentation device 100.
  • Each stamp 700 with a tactile stimulus effect is associated with each predetermined control command, and each control command includes information (position information) that specifies a perceptual position for presenting a vibration stimulus, and the waveform type and intensity of the vibration stimulus. Information (form information) that specifies, etc. is included.
  • the control command may include a tactile stimulus unit provided in the tactile presentation device 100 and identification information (ID) for designating the morphological information.
  • the server 200 is provided with an individual tactile stimulus provided in the tactile presentation device 100 so that the control command presents a vibration stimulus with a specified waveform at a specified perceptual position at a specified intensity.
  • a tactile control signal (waveform data) to be input to the unit is generated and transmitted to the tactile presentation device 100.
  • the "perceived position" includes the movement path of the perceived position and the perceived range having a predetermined width.
  • the server 200 may be realized by a single device or may be realized by a plurality of devices, and is not particularly limited.
  • the server 200 may be realized by a dedicated server for the tactile presentation device 100 (not shown) and a distribution server that distributes content (not shown).
  • the dedicated server for the tactile presentation device 100 authenticates via Web API (Application Programming Interface), monitors the stamp 700 with the tactile stimulus effect transmitted from the viewer 600, and monitors the tactile presentation device 100.
  • the distribution server distributes an image of the artist 602 or the like, an image for selecting the stamp 700 with the tactile stimulus effect, or the like to the user terminal 300.
  • the server 200 may include, for example, a payment server (not shown) that makes payments regarding the use of the information processing system 10. The detailed configuration of the server 200 will be described later.
  • the user terminal 300 is a terminal used by the viewer 600 or installed in the vicinity of the viewer 600 for the viewer 600 to input the stamp 700 with the tactile stimulus effect or the like. Then, the user terminal 300 receives the stamp (control command) 700 with the tactile stimulus effect input from the viewer 600, and transmits the received stamp 700 to the server 200.
  • the user terminal 300 can be a wearable device such as a smartphone 300a, a tablet PC (Personal Computer) 300b, a mobile phone, a laptop PC, or an HMD (Head Mounted Display). The detailed configuration of the user terminal 300 will be described later.
  • FIG. 4 is a diagram showing an appearance configuration example of the tactile presentation device 100 according to the present embodiment
  • FIG. 5 is a diagram showing a functional configuration example of the tactile presentation device 100 according to the present embodiment.
  • the tactile presentation device 100 is a device that is attached to a part of the body of the artist 602 and vibrates according to a control command to give the artist 602 a tactile stimulus.
  • the vest type tactile presentation device 100 has a plurality of tactile stimulating units 106 inside, as described above.
  • the tactile stimulus unit 106 is composed of, for example, an actuator, is driven by a tactile control signal generated by the server 200 to generate vibration, and presents such vibration as a tactile stimulus.
  • the actuator for example, an eccentric motor, a linear vibrator, a piezoelectric element, or the like can be used.
  • the tactile presentation device 100 has a communication unit 102, a control unit 104, and the above-mentioned tactile stimulation unit 106.
  • the communication unit 102 is connected to the server 200 by wire or wirelessly, and transmits / receives information to / from the server 200.
  • the control unit 104 is a controller, and drives the tactile stimulus unit 106 based on the tactile control signal input via the communication unit 102 described above.
  • various programs stored in a ROM (Read Only Memory) inside the tactile presentation device 100 by a CPU (Central Processing Unit), an MPU (Micro Processing Unit), or the like are stored in a RAM (Random Access Memory). ) Is executed as a work area.
  • the control unit 104 can also be realized by an integrated circuit such as an ASIC (Application Specific Integrated Circuit) or an FPGA (Field Programmable Gate Array).
  • the detailed configuration of the tactile presentation device 100 according to the present embodiment has been specifically described above, the detailed configuration of the tactile presentation device 100 according to the present embodiment is not limited to the examples shown in FIGS. 4 and 5. ..
  • the tactile presentation device 100 is not limited to the wearable type as described above, and may be configured as an on-hand type mounted on a device held by the artist 602, for example, a smartphone, a game controller, a portable music player, or the like. .. Further, the tactile presentation device 100 is not limited to the wearable type and the on-hand type, and may be configured as a slate / floor type mounted on furniture such as a bed or a chair or various facilities.
  • FIG. 6 is a diagram showing a functional configuration example of the server 200 according to the present embodiment.
  • the server 200 mainly includes a communication unit 202, a control unit 210, and a storage unit 240.
  • each functional block of the server 200 will be described in sequence.
  • the communication unit 202 can send and receive information to and from the tactile presentation device 100, the monitor 110, the camera 120, and the user terminal (information processing terminal) 300.
  • the communication unit 202 is a communication interface having a function of transmitting and receiving data, and is realized by a communication device (not shown) such as a communication antenna, a transmission / reception circuit, and a port.
  • the control unit 210 is a controller, and is realized by, for example, a CPU, an MPU, or the like executing various programs stored in a ROM or the like inside the server 200 using the RAM as a work area.
  • the control unit 210 includes a GUI control unit 212, a viewer side input unit (acquisition unit) 214, a distributor side input unit 216, a generation unit 218, a determination unit 220, and an output control.
  • a unit (distribution unit) 222 or the like can be included.
  • the GUI (Graphical User Interface) control unit 212 controls the user terminal 300 of the viewer 600 and displays a screen for inputting a stamp (control command) 700 with a tactile stimulus effect.
  • the GUI control unit 212 causes the display unit 302 of the user terminal 300 to display a screen as shown in FIG. 2 as a screen for selecting the stamp 700 with the tactile stimulus effect.
  • a large number of stamps 700 with a tactile stimulus effect are displayed on the selection screen (stamp selection screen).
  • Each stamp 700 with a tactile stimulus effect is associated with a control command for the tactile presentation device 100, and the viewer 600 can input a control command by selecting the stamp 700 displayed on the selection screen. can.
  • the viewer-side input unit 214 is a position information for designating a presentation position for presenting the tactile stimulus by the tactile presentation device 100, which is associated with the stamp 700 with the tactile stimulus effect input from the viewer 600, and a form of the tactile stimulus. Acquires a control command including the form information for specifying the above, and outputs the control command to the generation unit 218 described later.
  • the distributor side input unit 216 acquires, for example, sensing data acquired by a wearing state detection sensor (not shown) for detecting the wearing state of the tactile presentation device 100, and outputs the sensing data or the like to the generation unit 218 described later.
  • the generation unit 218 generates a tactile control signal for controlling the tactile presentation device 100 based on the control command associated with the stamp 700 with the tactile stimulus effect input from the viewer 600, and the determination unit 220 described later. Output to. Specifically, the generation unit 218 is a control command based on a control command including a perceived position (position information) of the vibration stimulus, a waveform type of the vibration stimulus, an intensity information (morphology information) of the vibration stimulus, and the like. , Generates waveform data to be input to individual tactile stimulus units provided in the tactile presentation device 100 so as to present a vibration stimulus with a specified waveform at a specified perceptual position and at a specified intensity.
  • the tactile control signal may include information instructing the vibration stimulus to be presented at the presentation timing, frequency, interval, and presentation time of the tactile stimulus based on the control command. Further, if the generation unit 218 has a wide band (for example, 50 to 500 Hz) of the vibration stimulus specified by the control command, the generation unit 218 has a narrow band (for example, 100 Hz) according to the function of the tactile presentation device 100. ) May be compressed to generate waveform data.
  • a wide band for example, 50 to 500 Hz
  • the generation unit 218 has a narrow band (for example, 100 Hz) according to the function of the tactile presentation device 100. ) May be compressed to generate waveform data.
  • the generation unit 218 may adjust the tactile control signal according to the wearing condition of the tactile presentation device 100 of the artist 602. For example, the generation unit 218 adjusts the tactile control signal according to the contact rate between the tactile presentation device 100 and the body of the artist 602. More specifically, the generation unit 218 adjusts the tactile stimulation unit 106 at a position where the contact rate is low so as not to present the tactile vibration.
  • the generation unit 218 may adjust the tactile control signal according to the attribute information (for example, age, gender, height, weight, physique, etc.) and biological information of the artist 602. For example, the generation unit 218 may adjust the perceived position, intensity, and the like according to the age of the artist 602. More specifically, when the artist 602 is 6 years old, the generator 218 may adjust the intensity of the tactile stimulus presented to be half the intensity when the artist 602 is an adult.
  • the generation unit 218 generates a presentation control signal (for example, a non-wearing control signal or the like) for presenting a predetermined image or a predetermined sound to the viewer 600 or the artist 602 together with the tactile control signal.
  • a presentation control signal for example, a non-wearing control signal or the like
  • the predetermined image can be a virtual object such as an icon, an animation, or a text that is superimposed on the image of the artist 602 or projected on the artist 602, and more specifically, the viewer 600. It may be a trajectory of the thrown money moving from to the artist 602, or an animation such as a bomb bursting displayed at the same time as the tactile stimulus is presented.
  • the viewer 600 is used instead of the tactile stimulus. It can be an image or sound output to.
  • the determination unit 220 determines whether or not to transmit the tactile control signal to the tactile presentation device 100 based on the control command, the content of the tactile control signal, the attribute information of the viewer 600 or the artist 602, and the like. For example, when the presentation position and the intensity restricted by the artist 602 are specified in advance by the control command input from the viewer 600, the determination unit 220 generates a tactile control signal based on the control command. Is determined not to be transmitted to the tactile presentation device 100. Further, the determination unit 220 generates a tactile sensation when the same presentation position is continuously specified by different viewers 600, or when a continuous control command is input from the same viewer 600. It may be determined that the control signal is not transmitted to the tactile presentation device 100. Further, in such a case, the generation unit 218 may change the presentation position of the tactile stimulus.
  • the output control unit 222 transmits the generated tactile control signal to the tactile presentation device 100 mounted on the body of the artist 602 via the communication unit 202.
  • the storage unit 240 is a ROM (Hard Disk Drive) that stores a ROM that stores programs and arithmetic parameters used for processing of the control unit 210, a RAM that temporarily stores parameters that change as appropriate, and various databases (DBs). It is realized from a storage device such as.
  • the storage unit 240 can include a viewer profile 242, a distributor profile 244, and a distribution data DB 246, as shown in FIG.
  • the viewer profile 242 and the distributor profile 244 store the attribute information of the viewer 600 and the artist 602, respectively.
  • the viewer profile 242 may store the control command acquired by the viewer 600 in the past and the information of the control command used in association with the identification information of the viewer 600, and the distributor profile 244 may store the information.
  • the information of the control command transmitted by the artist 602 in the past may be stored in association with the identification information of the artist 602.
  • the distribution data DB 246 stores a tactile data library (vibration waveform pattern, etc.) generated in advance in association with the identification information of each stamp 700, and the generation unit 218 described above uses this. Generates a tactile control signal.
  • the distribution data DB 246 may store, for example, information such as the number of tactile stimulating units 106 of the tactile presentation device 100, their positions, frequency characteristics, maximum input voltage, and the like as profile information of the tactile presentation device 100.
  • the generation unit 218 can adjust the tactile control signal with reference to such profile information.
  • the server 200 refers to the viewer profile 242 and the distributor profile 244 to issue control commands that are frequently used by the viewer 600 or artist 602, or conversely, control commands that are used infrequently. It may further have a recommendation section (not shown) that is selected and recommends the stamp 700 with a tactile stimulus effect associated with the selected control command toward the viewer 600. In addition, the recommendation section may recommend the stamp 700 with a tactile stimulus effect recommended by the artist 602 to the viewer 600.
  • FIG. 7 is a diagram showing a functional configuration example of the user terminal 300 according to the present embodiment.
  • the user terminal 300 includes a display unit 302, an operation input unit 304, a speaker 306, a communication unit (transmission unit) (price acquisition unit) 308, a control unit 310, and a storage unit 312.
  • the sensor unit 320 is mainly provided.
  • each functional block of the user terminal 300 will be sequentially described.
  • the display unit 302 can display, for example, a selection screen for selecting a stamp (control command) 700 with a tactile stimulus effect, an image of the artist 602, or the like toward the viewer 600. Further, the display unit 302 can superimpose and display text, an icon, an animation, or the like on the image of the artist 602.
  • the display unit 302 is realized by a liquid crystal display device, an OLED device, or the like.
  • the operation input unit 304 is a stamp with a tactile stimulus effect associated with a control command including position information for designating a presentation position for presenting the tactile stimulus and morphological information for designating the form of the tactile stimulus by the viewer 600.
  • the selection result of 700 is input.
  • the operation input unit 304 may directly input a control command.
  • the operation input unit 304 is realized by a switch, a button, a touch panel, a lever, or the like. Further, the content of the operation input by the operation input unit 304 may be displayed by the display unit 302 described above.
  • the operation input unit 304 is provided so as to be superimposed on the display unit 302 described above, and information on an input operation from the viewer 600 on a position selection screen for designating a presentation position displayed by the display unit 304. (For example, location information) can be accepted.
  • the speaker 306 reproduces an audio signal or the like according to the control of the control unit 310 described later.
  • the speaker 306 may be provided in the user terminal 300, or may be a device separate from the user terminal 300, such as a pair of earphone speakers (not shown).
  • the communication unit 308 can send and receive information to and from the server 200, and in detail, transmits the information of the stamp (control command) 700 with the tactile stimulus effect input to the viewer 600 to the server 200. be able to.
  • the communication unit 308 can receive information transmitted from the server 200 (for example, information such as the price of the stamp (control command) 700 with a tactile stimulus effect).
  • the communication unit 308 is a communication interface having a function of transmitting and receiving data, and is realized by a communication device (not shown) such as a communication antenna, a transmission / reception circuit, and a port.
  • the control unit 310 is a controller of the user terminal 300, and is realized by, for example, a CPU, an MPU, or the like executing various programs stored in a ROM or the like inside the user terminal 300 using the RAM as a work area. ..
  • the storage unit 312 is realized from a storage device such as a ROM that stores programs and calculation parameters used for processing of the control unit 310 described above, and a RAM or the like that temporarily stores parameters that change as appropriate.
  • the sensor unit 320 can acquire sensing data regarding an operation (vibration given to the user terminal, etc.) from the viewer 600.
  • the sensor unit 320 mainly includes a camera 322, a microphone 324, a gyro sensor 326, and an acceleration sensor 328, as shown in FIG.
  • the above-mentioned sensor is an example, and the present embodiment is not limited to this.
  • the camera 322 captures, for example, the operation of the viewer 600 and outputs the captured image to the control unit 310 described above. Then, the control unit 310 can extract a predetermined motion by the viewer 600 from the image captured by the camera 322 and acquire a control command related to the extracted motion.
  • the camera 322 includes a lens system composed of an image pickup lens, an aperture, a zoom lens, a focus lens, and the like, and a drive system that causes the lens system to perform a focus operation and a zoom operation.
  • the camera 322 includes a solid-state image sensor array and the like that generate an image pickup signal by photoelectrically converting the image pickup light obtained by the lens system.
  • the solid-state image sensor array may be realized by, for example, a CCD sensor array or a CMOS sensor array.
  • the camera 322 may include a ToF (Time of Flight) sensor (not shown).
  • the ToF sensor irradiates the subject with irradiation light having a predetermined period, detects the reflected light reflected by the subject, and detects the phase difference and time difference between the irradiation light and the reflected light to detect the subject's subject.
  • Depth information can be acquired.
  • the depth information of the subject is depth information which is one of the distance information from the ToF sensor to each point on the surface of the subject. Then, by aggregating the depth information of a plurality of points on the subject surface, it is possible to obtain shape information regarding the uneven shape of the subject surface, that is, external shape information of the subject.
  • the microphone 324 collects the sound of the viewer 600 and outputs the collected sound information to the control unit 310 described above. Then, the control unit 310 can extract a predetermined voice pattern by the viewer 600 from the voice collected by the microphone 324 and acquire a control command related to the extracted voice pattern.
  • the gyro sensor 326 is realized by, for example, a 3-axis gyro sensor, and detects the angular velocity (rotational speed) of the movement of the user terminal 300 by the viewer 600.
  • the acceleration sensor 328 is realized by, for example, a three-axis acceleration sensor (also referred to as a G sensor), and detects the acceleration of the movement of the user terminal 300 by the viewer 600.
  • the operation performed by the viewer 600 on the user terminal 300 can be recognized by the sensing data obtained by these sensors, and the control command related to the recognized operation can be acquired.
  • the detailed configuration of the user terminal 300 according to the present embodiment is not limited to the example shown in FIG. 7, and is, for example, vibration. By doing so, it may further have a vibration device (not shown) that notifies the viewer 600.
  • FIG. 8 is a flowchart of an example of the information processing method according to the present embodiment. Further, FIGS. 9 to 12 are explanatory views for explaining a display example according to the present embodiment. As shown in FIG. 8, an example of the information processing method according to the present embodiment includes a plurality of steps from step S101 to step S106. The details of each step included in an example of the information processing method according to the present embodiment will be described below.
  • the viewer 600 selects one stamp 700 with a tactile stimulus effect from the stamp 700 with a tactile stimulus effect displayed on the display unit 302 of the user terminal 300, and transmits the selected stamp 700 to the server 200.
  • the tactile stimulus corresponding to the control command associated with the stamp 700 can be reproduced.
  • the user terminal 300 vibrates in response to the tactile stimulus.
  • the server 200 acquires the information of the stamp 700 with the tactile stimulus effect, which is transmitted from the user terminal 300 and is selected by the viewer 600 and is associated with the control command (step S101).
  • the server 200 refers to the distribution data DB 246 and the like, and acquires the position information that specifies the presentation position for presenting the tactile stimulus, which is included in the control command associated with the acquired stamp 700 (step S102). ..
  • the server 200 refers to the distribution data DB 246 and the like, and acquires the form information that specifies the form of the tactile stimulus included in the control command associated with the acquired stamp 700 (step S103).
  • the server 200 generates waveform data as a tactile control signal for controlling the tactile presentation device 100 based on the position information and the morphological information acquired in the above steps S102 and S103 (step S104).
  • the server 200 determines whether or not to transmit the generated tactile control signal to the tactile presentation device 100 based on, for example, the attribute information of the artist 602 (NG determination) (step S105).
  • the server 200 determines that the tactile control signal is transmitted to the tactile presentation device 100 in step S105 described above, the server 200 transmits the generated tactile control signal to the tactile presentation device 100 mounted on the body of the artist 602 ( Step S106), the process is terminated.
  • the server 200 may notify the viewer 600 via the user terminal 300 that the tactile control signal is not transmitted.
  • the artist 602 perceives the tactile stimulus presented through the tactile presentation device 100 and takes an action.
  • the viewer 600 can confirm the action of the artist 602 induced by the tactile stimulus presented by the stamp 700 transmitted by the viewer 600 in real time. Then, if the action induced by the tactile stimulus related to the stamp 700 transmitted by itself can be confirmed in real time, the viewer 600 can feel as if he / she is in direct contact with the artist 602, and the artist 602 and the artist 602 can feel that the action is in direct contact with the artist 602. You can get a sense of unity.
  • the tactile presentation device 100 is displayed on the display unit 302 of the user terminal 300.
  • Display 800 or the like may be superimposed and displayed on the image or the like of 602. At this time, it is preferable that the display 800 is superimposed and displayed at the position where the tactile stimulus is presented.
  • the display 800 may have a design corresponding to the design of the stamp 700 with the tactile stimulus effect selected by the viewer 600. For example, if the stamp 700 is designed to punch out a heart, the display 800 can also be designed to punch out a heart.
  • the displayed image when the tactile stimulus is presented, the displayed image may be shaken up, down, left and right in accordance with the tactile stimulus on the display unit 302 of the user terminal 300.
  • the tactile stimulus when the tactile stimulus is presented by the tactile presentation device 100 attached to the body of the artist 602, the user terminal 300 of the viewer 600 who has transmitted the tactile stimulus may be vibrated.
  • the user terminal 300 of the artist 602 or another viewer 600 existing around the viewer 600 may also be vibrated.
  • an icon (predetermined icon) 806 such as a coin and the icon 806 are on the viewer 600 side.
  • the locus 808 that moves from to the artist 602 may be displayed on the display unit 302 of the user terminal 300, the display unit of the monitor 110 (not shown), or the like. By displaying such a locus 808, the viewer 600 can realize that the stamp 700 transmitted by the viewer 600 is transmitted to the artist 602.
  • the comment 810 input by the artist 602 who perceives the tactile stimulus via, for example, the distributor terminal (not shown) is displayed on the display unit of the user terminal 300. It may be displayed on 302 or the like.
  • the server 200 may stop transmitting the tactile control signal, and in this case, the tactile presentation of the artist 602.
  • the tactile control signal may be transmitted.
  • the notification 804 indicating the cancellation may be displayed on, for example, the display unit 302 of the user terminal 300, or the user terminal 300. May be vibrated to notify.
  • the above-mentioned wearing control signal is applied to the avatar 802 instead of the artist 602.
  • An animation imagining that the tactile stimulus is presented may be displayed on the display unit 302 or the like of the user terminal 300.
  • the display 800 is superimposed and displayed at the position on the avatar 802 corresponding to the position where the tactile stimulus is presented.
  • the tactile stimulus corresponding to the stamp 700 with the tactile stimulus effect selected by the viewer 600 can be presented to the artist 602. Therefore, in the present embodiment, if the artist 602 perceives the presented tactile stimulus and takes an action, the viewer 600 is induced by the tactile stimulus presented by the stamp 700 transmitted by the artist. You can check the action in real time. Then, according to the present embodiment, if the viewer 600 can confirm the action induced by the tactile stimulus related to the stamp 700 transmitted by himself / herself in real time, it seems that the viewer 600 is directly communicating with the artist 602. That is, you can get a real-time and interactive high-value-added experience.
  • the tactile presentation device 100 when the tactile presentation device 100 is attached to the body of the viewer 600, it corresponds to "throwing back" by the artist 602, that is, the stamp 700 with the tactile stimulus effect selected by the artist 602.
  • the tactile stimulus to be performed may be presented to the viewer 600.
  • the tactile stimulus presented by the stamp 700 transmitted by the viewer 600 is the starting point and the tactile stimulus is returned from the artist 602 to the viewer 600, the viewer 600 You can feel that you are communicating directly with artist 602.
  • the tactile stimulus is generated by the tactile presentation device 100 of the viewer 600. It is also presented to the viewer 600.
  • the server 200 acquires the stamp 700 with the tactile stimulus effect input from the artist 602, and generates a tactile control signal in response to the control command associated with the acquired stamp 700. Then, the generated tactile control signal is transmitted to the tactile presentation device 100 mounted on the body of the viewer 600.
  • the user terminal 300 is used instead of the tactile presentation device 100. May be good.
  • the server 200 outputs voice, vibrates, blinks, etc. to the user terminal 300 in response to the control command associated with the stamp 700 with the tactile stimulus effect input from the artist 602. It is controlled so that it is done.
  • the server 200 acquires the stamp 700 with the tactile stimulus effect input from the artist 602, the control command associated with the acquired stamp 700, and the user terminal 300.
  • a user terminal control signal is generated based on the function information (attribute information), and the generated user terminal control signal is transmitted to the user terminal 300.
  • Second embodiment the viewer 600 inputs the control command by selecting the stamp 700 associated with the predetermined control command.
  • the viewer 600 is not limited to such a form, and for example, the viewer 600 can freely edit the tactile stimulus (control command) itself. In this way, if the tactile stimulus can be freely edited by the viewer 600, for example, the viewer 600 can confirm the action of the artist 602 induced by the tactile stimulus edited by himself / herself in real time. , You can feel that you are in direct contact with artist 602. Therefore, with reference to FIGS. 13 and 14, an embodiment related to such an editing method will be described below as a second embodiment. 13 and 14 are explanatory views for explaining a display example according to the second embodiment of the present disclosure.
  • the viewer 600 obtains position information for designating a perceptual position for presenting a tactile stimulus by operating the position selection screen displayed on the display unit 302 of the user terminal 300 as shown in FIG. You can enter it.
  • the human body model display 812 is shown on the position selection screen, and further, at a position corresponding to the tactile stimulating unit 106 of the tactile presentation device 100 on the human body model display 812. Shows a plurality of regions 814. Therefore, the viewer 600 can set and input the perceptual position by aligning the marker 816 with the area 814 of the perceptual position to be selected.
  • the perceived position is not limited to the pinpoint setting and input.
  • the movement path of the perceived position may be set and input by tracing the human body model display 812.
  • a perception range having a predetermined width may be set and input. Then, the viewer side input unit 214 of the server 200 acquires the position information input to the position selection screen.
  • the tactile stimulus can be presented to the perceptual position desired by the viewer 600 based on the following principle.
  • the illusion phenomenon of phantom sensation is medically known. Phantom sensation is an illusion that when stimuli are presented to different positions on the skin at the same time, humans perceive only one stimulus between the presented stimulus positions. Therefore, in the present embodiment, by using such a phantom sensation, for example, when two tactile stimulus units 106 are made to present tactile stimuli at the same time, the positions of the tactile stimuli perceived are two tactile sensations. It can be located between the stimulators 106.
  • the tactile stimuli that can be presented by the plurality of tactile stimulus units 106 can be presented without changing the arrangement interval of the individual tactile stimulus units 106.
  • the range can be expanded.
  • the setting input is not limited to the position selection screen as shown in FIG.
  • the sensor when the body of the viewer 600 is equipped with the same best type sensor (first sensor) as the tactile presentation device 100, and the sensor can detect the touch operation by the viewer 600, The viewer 600 may input the setting of the perceived position by operating the sensor. Then, the viewer side input unit 214 of the server 200 acquires the position information input to the sensor.
  • the sensor is not limited to being worn on the body of the viewer 600, and may be mounted on, for example, a doll (not shown).
  • the waveform type, intensity, presentation timing, frequency, interval, presentation time, etc. of the vibration stimulus can be edited and set.
  • the waveform type, intensity, presentation timing, frequency, interval, presentation time, etc. of the vibration stimulus can be edited and set.
  • the interval, presentation time, etc. can be edited.
  • the waveform 826 is displayed on the time axis on the edit screen, and the viewer 600 edits the waveform 826 by performing an operation on the waveform 826. Can be done.
  • a cursor or the like is displayed on the editing screen, and the viewer 600 can set the intensity, frequency, etc. of the tactile stimulus by moving the cursor 824 (FIG. 14 shows, for example, the tactile sensation).
  • An edit screen is shown in which the speed at which the stamp 700 with a stimulus effect is thrown and the frequency of the tactile stimulus can be set). Then, the viewer side input unit 214 of the server 200 acquires the form information input to the form selection screen.
  • the numerical range and the like that can be edited by the viewer 600 may be set in advance based on the attribute information of the artist 602. For example, for the male artist 602, the intensity can be set in a wide numerical range, and for the female artist 602, the intensity can be set in a narrow numerical range.
  • the perceptual sensitivity differs depending on the position on the body, and in addition, the perceptual sensitivity also differs for each individual. Therefore, in the present embodiment, data (for example, sensitivity coefficient) indicating the perceptual sensitivity of the artist 602 for each position on the body is stored as the distributor profile 244, and the generation unit 218 stores the distributor profile 244. With reference to the information, the intensity and the like set by the viewer 600 are appropriately adjusted according to the artist 602. By doing so, it is possible to avoid causing discomfort to the artist 602 due to the tactile stimulus edited by the viewer 600.
  • the viewer 600 can also set a control command so as to present a tactile stimulus when a predetermined condition is satisfied. For example, when a predetermined time specified in the control command is reached, or when the artist 602 utters a predetermined keyword (for example, the utterance of the artist 602 is detected by a microphone provided in the tactile presentation device 100).
  • a predetermined condition such as when the artist 602 performs a predetermined operation (for example, the operation of the artist 602 is detected by the camera 120)
  • the server 200 transmits a tactile control signal related to the control command. It may be delivered to the tactile presentation device 100.
  • the above-mentioned predetermined conditions can be set by, for example, the viewer 600.
  • the viewer 600 can also set the form, size, display speed, animation display speed, and the like of the virtual object displayed when the tactile stimulus is presented.
  • the tactile stimulus is edited and set by the operation on the position selection screen, the edit screen, etc. as described above, but also various sensors built in the user terminal 300 (second). Sensor) or other devices may be used.
  • the viewer 600 performs a touch operation such as giving vibration to the user terminal 300 and a motion operation such as changing the holding angle to change the waveform and intensity of the tactile stimulus. May be edited.
  • the motion operation is detected by the gyro sensor 326 and the acceleration sensor 328 built in the user terminal 300, and the detected sensing data is acquired by the viewer side input unit 214 of the server 200. Further, the generation unit 218 of the server 200 generates a waveform or the like based on the acquired sensing data.
  • the viewer 600 causes the gyro sensor 326 and the acceleration sensor 328 built in the user terminal 300 to detect a motion having a predetermined rhythm. Then, the server 200 sets the frequency of the tactile stimulus based on the rhythm extracted from the sensing data detected by the gyro sensor 326 and the acceleration sensor 328. Further, for example, the viewer 600 utters a voice having a predetermined rhythm to the user terminal 300, and the utterance is detected by a microphone (sound sensor) 324 built in the user terminal 300. Then, the server 200 sets the frequency of the tactile stimulus by using the sensing data detected by the microphone 324. Further, for example, the viewer 600 causes the camera (imaging device) 322 built in the user terminal 300 to image its own motion. Then, the server 200 may analyze the captured image obtained by the camera 322, extract a predetermined motion, and generate the waveform data of the tactile stimulus by using the extracted motion.
  • a part of the body may be imaged by the camera 322 built in the user terminal 300, and the server 200 may set the perceived position according to the position included in the captured image.
  • the location on the body may be specified based on the external shape information by the ToF sensor (not shown) included in the camera 322.
  • the intensity of the tactile stimulus may be set according to the angle of view of the captured image. For example, when the angle of view is narrow, the intensity is set high, and when the angle of view is wide, the intensity is set weak.
  • the perceived position may be set to the arm.
  • the setting terminal is not limited to the user terminal 300, and includes an electronic musical instrument having MIDI (Musical Instrument Digital Interface), a turntable, a game interface (stick type, etc.), and the like. It can also be used.
  • MIDI Musical Instrument Digital Interface
  • a turntable a turntable
  • a game interface a game interface (stick type, etc.), and the like. It can also be used.
  • the server 200 may be restricted so that the edits and inputs are sequentially performed, or the viewers 600 edit. You may limit the editing input in order according to the order of starting and the amount of money paid. Further, the server 200 may notify the viewer 600 who is waiting for the turn to edit and input the time until the turn is reached (see FIG. 16).
  • the server 200 refers to the information of the distributor profile 244, and determines that the tactile stimulus edited by the viewer 600 is a tactile stimulus that the artist 602 refuses to receive or is close to it (NG determination). ), The transmission of the tactile control signal may be stopped. In this case, the server 200 notifies the corresponding viewer 600, the operator of the information processing system 10, and the like that the tactile stimulus edited by the viewer 600 corresponds to the tactile stimulus that the artist 602 refuses to receive. Or, it can be refunded to the corresponding viewer 600. Alternatively, in such a case, the server 200 may adjust the perceptual position, intensity, and the like so that the tactile stimulus edited by the viewer 600 does not correspond to the tactile stimulus that the artist 602 refuses to receive.
  • the viewer 600 himself / herself may confirm the tactile stimulus before transmitting the tactile stimulus to the tactile presentation device 100 attached to the artist 602.
  • the server 200 sends the same tactile control signal to the tactile presentation device 100 as the tactile control signal related to the edited tactile stimulus.
  • the viewer 600 can confirm through the tactile presentation device 100 attached to the viewer 600.
  • the user terminal 300 may be used for confirmation.
  • the server 200 generates a control signal (user terminal control signal) corresponding to the tactile control signal related to the edited tactile stimulus based on the functional information (attribute information) of the user terminal 300, and transmits the control signal (user terminal control signal) to the user terminal 300. do.
  • the user terminal 300 outputs voice from the speaker (voice output device) 306, blinks light on the display unit (blinking device) 302, or vibrates device (not shown) according to the transmitted control signal. Can be vibrated, which allows the viewer 600 to confirm.
  • the tactile stimulus edited by the viewer 600 may be exchanged among a plurality of viewers 600 as a stamp 700 with a tactile stimulus effect.
  • FIG. 15 is an explanatory diagram for explaining the third embodiment of the present disclosure
  • a stamp 700 with a tactile stimulus effect is simultaneously transmitted from a plurality of viewers 600 to one artist 602.
  • the artist 602 will be uncomfortable due to the plurality of tactile stimuli.
  • tactile stimuli are given at the same time, the artist 602 cannot perceive individually and cannot take an action for each tactile stimulus. As a result, it becomes difficult for the viewer 600 to feel as if he / she is directly interacting with the artist 602 through the tactile stimulus by the stamp 700 transmitted by the viewer 600.
  • FIG. 16 is an explanatory diagram for explaining a display example according to the third embodiment of the present disclosure
  • FIGS. 17 to 20 are explanatory views for explaining the third embodiment of the present disclosure. ..
  • the server 200 when a plurality of control commands 702 (or stamps 700) are transmitted from the plurality of viewers 600, the server 200 temporarily executes these control commands 702.
  • the tactile control signal is generated and transmitted to the tactile presentation device 100 by sequentially processing in the input order (predetermined rule) of the control command 702.
  • the server 200 when a plurality of control commands 702 are transmitted from the plurality of viewers 600, the server 200 temporarily suspends the acquisition of the plurality of control commands 702 and inputs the control command 702. It may be acquired in order.
  • the server 200 notifies the viewer 600 waiting for the turn of the time until the turn is reached via the display unit 302 of the user terminal 300. Display 818 may be displayed.
  • the tactile stimulus is sequentially presented to the artist 602, it is possible to prevent the artist 602 from getting discomfort, and the tactile stimulus can be individually applied. Since it can be perceived, it is possible to take action for each tactile stimulus.
  • the server 200 when the server 200 acquires a plurality of control commands 702 (or stamps 700) within a predetermined time, the number of acquired control commands 702 is increased.
  • the intensity of the tactile stimulus may be adjusted to generate a tactile control signal as one tactile stimulus and transmitted to the tactile presentation device 100.
  • the server 200 increases the intensity of the tactile stimulus as the number of acquired same control commands 702 (for example, the perceived position and waveform type are the same) increases.
  • the intensity may be increased according to the number of acquired control commands 702, but also the upper limit of the intensity may be set or the intensity may be subtracted in consideration of the burden on the artist 602 and the like.
  • the server 200 may change the waveform of the tactile stimulus according to the number of acquired control commands 702, may adjust the presentation time, or adjust the perceptual position. It is also good and is not particularly limited. Further, in the present embodiment, for example, the tactile control signal as one tactile stimulus is generated by adjusting to one perceptual position based on the perceptual position specified by the continuously acquired control command 702. May be good. More specifically, when the right shoulder and the left shoulder are specified as the perceived positions in the continuously acquired control command 702, the server 200 receives the generated tactile control signal between the right shoulder and the left shoulder. Set a certain neck as the perceptual position.
  • the server 200 is in the order according to the amount paid by the viewer 600 when the control command 702 (or the stamp 700) is input (predetermined rule). Then, the process may be performed. For example, the server 200 preferentially processes the control command 702, which is paid a large amount when the control command 702 is input. That is, since the viewer 600 buys the priority of interaction with the artist 602, the viewer 600 who wants to interact with the artist 602 as soon as possible pays a larger amount of money. In other words, such an order of processing can motivate the viewer 600 to pay a higher amount.
  • the server 200 when the server 200 acquires a plurality of the same control command 702 (or stamp 700) within a predetermined time, the acquired control command 702 Depending on the order, for example, the intensity of the presentation of the tactile stimulus may be sequentially increased. By doing so, it is possible to promote cooperation between a plurality of viewers 600, that is, exchange, and obtain a higher value-added experience.
  • the server 200 may adjust the tactile stimulus according to the synchronization of the transmission of the plurality of control commands 702 (or stamp 700) of the plurality of viewers 600. More specifically, when the control command 702 having the same content is synchronously transmitted from a plurality of different viewers 600 (so-called execution of a "mission" by the plurality of viewers 600), the server 200 is synchronized. The intensity of the tactile stimulus may be adjusted according to the degree of. Further, in the present embodiment, the server 200 generates a tactile control signal only when the number of control commands 702 having the same content acquired from a plurality of different viewers 600 exceeds a predetermined number (predetermined conditions). , May be sent. Alternatively, the server 200 may generate and transmit a tactile control signal only when the types of the plurality of control commands 702 acquired from the plurality of different viewers 600 are predetermined types.
  • the server 200 (specifically, the viewer side input unit 214) issues only the control command 702 that specifies the perceived position separated by a predetermined distance from the perceived position presented immediately before. It may be accepted and processed.
  • a stamp with a tactile stimulus effect is obtained according to the contact rate between the tactile presentation device 100 and the body of the artist 602, the perceived position, the attribute information of the viewer 600 or the artist 602, and the like.
  • the price of 700 may be determined dynamically. In the present embodiment, by determining the price of the stamp 700 according to such conditions, the price of the stamp 700 is determined according to the value of the experience felt by the viewer 600. Therefore, the price of the stamp 700 is determined for the viewer 600. Therefore, it is possible to give a feeling of conviction and satisfaction regarding the purchase of the stamp 700.
  • FIG. 21 is a diagram showing a functional configuration example of the server 200a according to the present embodiment.
  • the server 200a mainly includes a communication unit 202, a control unit 210a, and a storage unit 240a, as in the first embodiment described above.
  • each functional block of the server 200a will be sequentially described, but since the communication unit 202 is common to the first embodiment, the description thereof will be omitted here.
  • Control unit 210a The control unit 210a is a controller, and as shown in FIG. 21, the GUI control unit 212, the viewer side input unit 214, and the distributor side input unit 216 (not shown in FIG. 21) are the same as in the first embodiment.
  • the price determination unit 224 includes the position information and form information included in the control command 702 associated with the acquired stamp 700, and the tactile presentation device 100 and the artist 602 acquired from the distributor side input unit 216 (not shown in FIG. 21).
  • the price of the stamp 700 (or the input of the control command 702) is determined based on the contact rate with the body or the attribute information of the viewer 600 or the artist 602 acquired from the storage unit 240a.
  • the price determination unit 224 may determine the price by referring to the information of the price data DB 248 stored in the storage unit 240a described later.
  • Settlement Department 226 For example, when the settlement unit 226 receives a settlement instruction from the user terminal 300 via the communication unit 202, the settlement unit 226 of the stamp 700 (or the input of the control command 702) is based on the price determined by the price determination unit 224. Make a payment regarding the purchase.
  • the storage unit 240a includes the viewer profile 242, the distributor profile 244, and the distribution data DB 246, as in the first embodiment, and further includes the stamp 700 (or the control command 702).
  • a price DB 248 that stores information used to determine the price (for input).
  • the detailed configuration example of the server 200a according to the present embodiment has been specifically described above, the detailed configuration of the server 200a according to the present embodiment is not limited to the example shown in FIG. , The determination unit 220 may be further included as in the first embodiment.
  • FIG. 22 is a flowchart of an example of the information processing method according to the present embodiment.
  • the information processing method according to the present embodiment includes a plurality of steps from step S201 to step S208. The details of each step included in the information processing method according to the present embodiment will be described below.
  • the viewer 600 selects one stamp 700 with a tactile stimulus effect from the stamp 700 with a tactile stimulus effect displayed on the display unit 302 of the user terminal 300, and transmits the selected stamp 700 to the server 200a.
  • the server 200a displays the information of the stamp 700 with the tactile stimulus effect transmitted from the user terminal 300 and associated with the control command 702 selected by the viewer 600, as in the step S101 of the first embodiment. Acquire (step S201).
  • the server 200a refers to the information of the price data DB 248, and the position information and the morphological information included in the acquired control command 702, the contact rate between the tactile presentation device 100 and the body of the artist 602, or the viewer 600.
  • the price of the stamp 700 is determined according to the attribute information of the artist 602 (step S202). The details of the price determination will be described later as an example.
  • the server 200a receives the payment instruction from the user terminal 300, the server 200a makes a payment regarding the purchase of the stamp 700 based on the price determined in the above step S202 (step S203). At this time, it is preferable that the server 200a notifies the viewer 600 of whether or not the payment processing is possible.
  • step S207 NG determination
  • step S203 settlement process of step S203 is performed only when it is determined that the generated tactile control signal is transmitted to the tactile presentation device 100. That is, each step may not be performed in the order shown in FIG.
  • Example> The present embodiment has been described above. Next, an example of the present embodiment will be described more concretely with reference to FIGS. 23 to 25, showing specific examples. 23 to 25 are explanatory views for explaining a display example according to an embodiment of the present embodiment. It should be noted that the examples shown below are merely examples of the present embodiment, and the present embodiment is not limited to the following examples.
  • Example 1 By the way, depending on the body shape of the artist 602, the contact between the tactile stimulus unit 106 of the tactile presentation device 100 and the body of the artist 602 may be poor, and the tactile stimulus may not be presented as intended by the viewer 600. Then, when the tactile stimulus presented as intended and the tactile stimulus not presented as intended are set at a uniform price, it is conceivable to give the viewer 600 a sense of unfairness. Therefore, in this embodiment, in order to avoid giving such an unfair feeling, the tactile stimulus presented as intended and the tactile stimulus not presented as intended are set at different prices.
  • the server 200a is a mounting state detection sensor (for example, a fastener type sensor, a pressure sensor, etc.) for detecting the mounting state provided in the tactile presentation device 100 (not shown). Based on the sensing data, the price of the stamp 700 (or the input of the control command 702) is determined. For example, when the control command 702 associated with the selected stamp 700 includes an instruction to use the tactile stimulating unit 106 having a high contact rate with the body of the artist 602, the server 200a includes the stamp 700. Set the price high. On the other hand, when the control command 702 includes an instruction to use the tactile stimulating unit 106 having a low contact rate with the body of the artist 602, the server 200a sets the price of the stamp 700 low.
  • the sensing data of the wearing state detection sensor can be taken into the server 200a, for example, triggered by the detection that the artist 602 wears the tactile presentation device 100. ..
  • the server 200a has a perceptual position where the perceptual sensitivity of the tactile stimulus is high and a perceptual position where the perceptual sensitivity of the tactile stimulus is low for each artist 602. Determines the price of the stamp 700 for the tactile stimulus presented at each perceptual position. For example, if the control command 702 associated with the selected stamp 700 includes an instruction to use the tactile stimulus unit 106 at the perceptual position with high perceptual sensitivity, the server 200a charges the stamp 700. Is set high. On the other hand, when the control command 702 includes an instruction to use the tactile stimulus unit 106 at a perceptual position having low perceptual sensitivity, the server 200a sets the price of the stamp 700 low.
  • the server 200a stores an index or the like indicating the perceptual sensitivity for each perceptual position of the artist 602 as the distributor profile 244, and the stamp 700 (or control) is based on the stored index.
  • the price is not limited to the determination according to the perceptual sensitivity, and for example, the popularity of the stamp 700 and the tactile stimulus (waveform, perceived position, etc.) from the viewer 600 and the artist 602
  • the price may be determined according to (which can be estimated from the frequency of selection, etc.) and is not particularly limited.
  • the server 200a determines the price of the stamp 700 (or the input of the control command 702) according to the attribute information of the viewer 600 (for example, purchase record, member rank, member course, etc.). For example, in the present embodiment, the server 200a stores the amount of money paid by the viewer 600 when purchasing the stamp 700 as a viewer profile 242 in association with the identification information of the viewer 600. Based on the total amount of money stored, the price of the stamp 700 (or the input of the control command 702) newly purchased by the viewer 600 is determined. In this embodiment, for example, the server 200a may set the purchase price of the stamp 700 lower as the amount paid by the viewer 600 so far increases, and conversely, the purchase price of the stamp 700 is set higher. You may.
  • the price is not limited to the determination of the price according to the purchase amount so far, for example, the member rank set according to the purchase amount so far and before the purchase of the stamp.
  • the price may be determined according to the member course (for example, trial course, new enrollment course, advanced course, etc.) to which the viewer 600 joins, and is not particularly limited.
  • the server 200a may display a screen as shown in FIG. 23 as a selection screen of the stamp 700 on the display unit 302 of the user terminal 300. On the screen, for example, the price of the stamp 700, the member rank of the viewer 600, and the purchase points given to the viewer 600 according to the purchase record are displayed.
  • the waveform type and intensity of the tactile stimulus that the viewer 600 can select according to not only the price but also the attribute information of the viewer 600 (for example, purchase record, member rank, member course, etc.), A range such as a perceived position may be determined.
  • the server 200a is set so that the larger the amount paid by the viewer 600 so far, the larger the upper limit of the tactile stimuli that can be selected.
  • the server 200a may be set so that the order in which the stamp 700 can be transmitted is prioritized according to the attribute information of the viewer 600 as well as the selectable range. For example, in the server 200a, the larger the amount paid by the viewer 600 so far, the higher the order in which the stamp 700 can be transmitted is prioritized.
  • the server 200a may display a screen as shown in FIG. 24 as a selection screen of the stamp 700 on the display unit 302 of the user terminal 300.
  • a button for upgrading the position or order is displayed.
  • the position selection as shown in FIG. 25 Transition to the screen.
  • the human body model display 812 is shown, and on the human body model display 812, the area 814 corresponding to the tactile stimulus unit 106 that can be selected by the viewer 600 is shown.
  • the price is displayed. Therefore, the viewer 600 can select a desired tactile position by performing an operation on the area 814 while checking the price.
  • the motivation to purchase the stamp 700 can be further enhanced by enabling the stamp 700 with the tactile stimulus effect to be exchanged and collected among a plurality of viewers 600.
  • the selection screen of the stamp 700 with the tactile stimulus effect and the stamp 700 itself are automatically set to the user terminal 300 of the viewer 600. Deliver to the target. Then, the viewer 600 is urged to transmit the stamp 700 to the artist 602 during distribution.
  • a stamp 700 with a tactile stimulating effect (so-called "", which has a rare value that is not normally distributed by limiting the place and date (for example, limiting the date and time when the artist is performing at a live venue) Rare stamps ”) may be distributed to the viewer 600.
  • the viewer 600 wants the stamp 700 having a high rarity value, for example, he / she comes to visit the live venue, so that the ability to attract customers at the live venue can be improved. If the rare stamp is being distributed, the viewer 600 may be able to obtain it automatically by connecting to a communication, or it may be obtained by performing a process such as a purchase procedure, in particular. It is not limited.
  • stamps 700 with a tactile stimulus effect acquired through such a stamp selection screen can be exchanged among a plurality of viewers 600 through SNS (Social Networking Service), and the number and types of stamps 700 collected can be disclosed as a ranking. You may do it.
  • the server 200 associates the stamp 700 information acquired by the viewer 600 with the identification information of the viewer 600 and stores it as a viewer profile 242.
  • the server 200 when the server 200 can collect a predetermined type of stamp 700 with a tactile stimulus effect (when a predetermined condition is satisfied), the server 200 has a new stamp 700 with a tactile stimulus effect (for example,).
  • a "rare stamp" may be given to the viewer 600. By doing so, the viewer 600 will collect and purchase a predetermined type of stamp because he / she wants the stamp 700 having a high rare value, so that the purchase motivation of the stamp 700 can be further enhanced. can.
  • the purchase motivation of the stamp 700 with the tactile stimulating effect can be further enhanced by providing the game property.
  • FIG. 26 is a diagram showing a functional configuration example of the server 200b according to the present embodiment.
  • the server 200b mainly includes a communication unit 202, a control unit 210b, and a storage unit 240a, as in the first and fourth embodiments described above.
  • each functional block of the server 200b will be sequentially described, but since the communication unit 202 and the storage unit 240a are common to the first and fourth embodiments, the description thereof will be omitted here.
  • the control unit 210b is a controller, and as shown in FIG. 26, the GUI control unit 212, the viewer side input unit 214, the distributor side input unit 216, the generation unit 218, and the output are the same as in the first embodiment. It includes a control unit (distribution unit) 222, and further includes a point giving unit 228. Since the GUI control unit 212, the viewer side input unit 214, the distributor side input unit 216, the generation unit 218, and the output control unit 222 are common to the first embodiment, the description thereof will be omitted. Only the granting unit 228 will be described.
  • Point giving part 228 acquires the evaluation for the tactile stimulus input from the artist 602 who perceived the tactile stimulus via the distributor side input unit 216, and points to the viewer 600 according to the acquired evaluation. Is given. The given points are stored in the viewer profile 242 of the storage unit 240a in association with the identification information of the viewer 600.
  • FIGS. 27 and 28 are explanatory views for explaining a display example according to the present embodiment.
  • the artist 602 evaluates the tactile stimulus by the thrown stamp 700, and the server 200b gives points to each viewer 600 according to the evaluation. Further, the server 200b determines the victory or defeat of the two viewers 600 according to the number of points given, and the display unit 302 of the user terminal 300 shows the result of the victory or defeat as shown in FIG. 27. The screen may be displayed. Further, as shown in FIG. 28, the server 200b may repeat such battles and show a ranking based on the total number of points given to each viewer 600.
  • the evaluation by the artist 602 is not limited to the case where the evaluation is manually input by the artist 602, for example, the sensing data of the biometric information sensor (not shown) attached to the body of the artist 602.
  • the evaluation may be based on. For example, the greater the increase in the heart rate of the artist 602 caused by the tactile stimulus, the higher the evaluation.
  • the sensing data obtained by the biometric information sensor of the artist 602 may be displayed on the user terminal 300, for example.
  • the purchase motivation of the stamp 700 with the tactile stimulating effect can be further enhanced by giving the game property.
  • FIG. 29 is a diagram showing a functional configuration example of the server 200c according to this modification.
  • the server 200c mainly includes a communication unit 202, a control unit 210c, and a storage unit 240, as in the first embodiment described above.
  • each functional block of the server 200c will be described in sequence, but since the communication unit 202 and the storage unit 240 are common to the first embodiment, the description thereof will be omitted here, and only the control unit 210c will be described.
  • the control unit 210c is a controller, and as shown in FIG. 29, the GUI control unit 212, the viewer side input unit 214, the distributor side input unit 216, the generation unit 218, and the determination unit are the same as in the first embodiment. 220 and an output control unit (distribution unit) 222 are included. Further, in this modification, the distributor side input unit 216 acquires, for example, sensing data of various sensors provided in the tactile presentation device 100 and outputs the sensing data to the determination unit 220.
  • FIG. 30 is a flowchart of an example of an information processing method according to a modified example of the present embodiment
  • FIG. 31 is an explanatory diagram for explaining a display example according to the modified example of the present embodiment.
  • the information processing method according to this modification includes a plurality of steps from step S301 to step S308. The details of each step included in the information processing method according to this modification will be described below.
  • the server 200c performs the processes from step S301 to step S304, but since it is the same as steps S101 to S104 in the first embodiment shown in FIG. 8, the processing of these steps will be described here. Is omitted.
  • the server 200c displays an icon such as a coin and a locus 808 in which the icon moves from the viewer 600 side to the artist 602, as shown in FIG. 31, on the display unit 302 of the user terminal 300 and the monitor 110.
  • AR Augmented Reality
  • the speed at which the locus 808 and the locus 808 are displayed can be set before the viewer 600 throws the stamp 700 with the tactile stimulus effect, or is corrected after being displayed. You can also do it.
  • a predetermined voice may be output from a speaker (not shown) of the user terminal 300 or the monitor 110 at the time of AR display.
  • the artist 602 visually recognizes the locus 808 displayed on the display unit (not shown) of the monitor 110 and operates in response to the locus 808 (for example, an operation of escaping from the falling position of the icon estimated from the locus 808).
  • the server 200c acquires sensing data regarding the operation of the artist 602 (step S306).
  • the escape motion of the artist 602 can be detected by the camera 120
  • the touch operation can be detected by the touch panel (not shown) provided on the monitor 110
  • the utterance of the artist 602 is a tactile presentation device. It can be detected by a microphone (not shown) provided in 100.
  • the server 200c determines whether or not to present the tactile stimulus in the tactile presentation device 100 based on the sensing data acquired in step S306 described above (step S307). For example, in the server 200c, when the escape operation of the artist 602 is performed at a predetermined timing, the timing of the touch operation of the artist 602 is a predetermined timing, or the utterance of the artist 602 is a predetermined keyword (for example,). As shown in FIG. 31), it is determined that the tactile stimulus is not presented. Further, in this modification, when a plurality of stamps 700 (or control commands 702) of a predetermined number or more are sent at the same time, even if a predetermined operation of the artist 602 is detected, a tactile sensation is obtained. The stimulus may be presented.
  • a desired keyword can be input or selected, and the keyword may be displayed on the monitor 110.
  • the server 200c may determine that the tactile stimulus is not presented or is performed.
  • step S308 the server 200c performs the process of step S308, but since it is the same as step S106 in the first embodiment shown in FIG. 8, the description thereof is omitted here.
  • not only the viewer 600 but also the artist 602 can play a kind of virtual dodgeball-like game such as throwing stamps 700 to each other and avoiding the thrown stamp 700. ..
  • the viewer 600 can feel that he / she is directly interacting with the artist 602 in a thrilling manner, and can obtain a higher value-added experience.
  • the server 200c determines whether or not to present the tactile stimulus according to the combination of the type of the stamp 700, the attribute information of the artist 602, the attribute information of the viewer 600, and the like. May be good.
  • FIG. 32 is an explanatory diagram for explaining a display example according to a modified example of the present embodiment.
  • the intensity of the tactile stimulus is determined by the value of the level meter when throwing the stamp 700 with the tactile stimulus effect.
  • an animation of the cursor 820 that specifies the intensity of the tactile stimulus is displayed on the display unit 302 of the user terminal 300.
  • the cursor 820 is constantly moving left and right.
  • an icon 822 such as a bow and arrow is displayed on the display unit 302.
  • the viewer 600 can throw the stamp 700 by swiping the icon 822 and performing an operation such as moving the fingertip away from the screen.
  • the viewer side input unit 214 of the server 200c acquires the intensity corresponding to the position of the cursor 820 when the release operation is performed as the intensity of the tactile stimulus related to the thrown stamp 700.
  • the strength to be set is determined by chance.
  • the viewer 600 needs to carefully operate the icon 822 based on the movement of the cursor 820, which requires skill. Therefore, for example, if the viewer 600 cannot set the desired intensity, the viewer 600 will repeatedly throw the stamp 700 until it can be set. That is, since the present modification provides a game having both skill and chance, it is possible to provide the viewer 600 with a more entertaining experience.
  • this modification is not limited to the operation for the icon 822, for example, the intensity of the tactile stimulus, etc., depending on the speed of the motion operation such as changing the holding angle of the user terminal 300 of the viewer 600. May be set, and is not particularly limited.
  • the cursor 820 is not limited to being an animation, and may be a cursor 820 that can be moved by the operation of the viewer 600.
  • the viewer-side input unit 214 of the server 200c acquires the intensity corresponding to the position where the cursor 820 is moved by the operation of the viewer 600 as the intensity of the tactile stimulus related to the thrown stamp 700.
  • the server 200 predicts noise according to the waveform given to the tactile stimulus unit 106.
  • the server 200 can predict noise by giving various waveforms to the tactile stimulus unit 106 in advance and referring to a database (DB) (not shown) obtained by machine learning the generated noise. .. Then, the server 200 can avoid deterioration of the voice due to the noise by canceling the predicted noise from the voice collected by the microphone (not shown) provided on the shoulder portion of the tactile presentation device 100.
  • DB database
  • the server 200 may adjust the waveform to be canceled according to the distance between the microphone (not shown) provided on the shoulder portion of the tactile presentation device 100 and the tactile stimulating unit 106. Further, for example, when the artist 602 is performing in the studio, the microphone may collect the noise generated by the reflection on the wall of the studio. In such a case, the server 200 may adjust the waveform to be canceled according to the distance between the microphone provided on the shoulder portion of the tactile presentation device 100 and the wall.
  • the microphone (not shown) is provided with directivity, and the microphone concentrates the sound of the artist 602.
  • the frequency range in which the microphone can collect sound may be limited to avoid collecting noise due to the vibration of the tactile stimulus unit 106.
  • the artist 602 can be presented with the tactile stimulus corresponding to the stamp 700 with the tactile stimulus effect selected by the viewer 600. Therefore, in the present embodiment, if the artist 602 perceives the presented tactile stimulus and takes an action, the viewer 600 is induced by the tactile stimulus presented by the stamp 700 transmitted by the artist. You can check the action in real time. Then, according to the present embodiment, if the viewer 600 can confirm the action induced by the tactile stimulus related to the stamp 700 transmitted by himself / herself in real time, it seems that the viewer 600 is directly communicating with the artist 602. That is, you can get a real-time and interactive high-value-added experience.
  • the embodiment of the present disclosure can be applied not only to the live distribution and the like as described above, but also to, for example, the stamp 700 and the like exchanged on the SNS.
  • the user terminal 300 vibrates or the like to give a tactile stimulus to the person who sent the stamp 700.
  • FIG. 33 is a hardware configuration diagram showing an example of a computer that realizes the function of the server 200.
  • the computer 1000 includes a CPU 1100, a RAM 1200, a ROM (Read Only Memory) 1300, an HDD (Hard Disk Drive) 1400, a communication interface 1500, and an input / output interface 1600.
  • Each part of the computer 1000 is connected by a bus 1050.
  • the CPU 1100 operates based on the program stored in the ROM 1300 or the HDD 1400, and controls each part. For example, the CPU 1100 expands the program stored in the ROM 1300 or the HDD 1400 into the RAM 1200 and executes processing corresponding to various programs.
  • the ROM 1300 stores a boot program such as a BIOS (Basic Input Output System) executed by the CPU 1100 when the computer 1000 is started, a program depending on the hardware of the computer 1000, and the like.
  • BIOS Basic Input Output System
  • the HDD 1400 is a computer-readable recording medium that non-temporarily records a program executed by the CPU 1100 and data used by the program.
  • the HDD 1400 is a recording medium for recording an information processing program according to the present disclosure, which is an example of program data 1450.
  • the communication interface 1500 is an interface for the computer 1000 to connect to an external network 1550 (for example, the Internet).
  • the CPU 1100 receives data from another device or transmits data generated by the CPU 1100 to another device via the communication interface 1500.
  • the input / output interface 1600 is an interface for connecting the input / output device 1650 and the computer 1000.
  • the CPU 1100 receives data from an input device such as a keyboard or mouse via the input / output interface 1600. Further, the CPU 1100 transmits data to an output device such as a display or a printer via the input / output interface 1600.
  • the input / output interface 1600 may function as a media interface for reading a program or the like recorded on a predetermined recording medium (media).
  • the media includes optical recording media such as DVD (Digital entirely Disc) and PD (Phase change rewritable Disc), magneto-optical recording media such as MO (Magnet-Optical disc), tape media, magnetic recording media, semiconductor memory, and the like. Is.
  • the CPU 1100 of the computer 1000 has a function of generating a tactile control signal by executing an information processing program loaded on the RAM 1200.
  • the HDD 1400 stores an information processing program or the like according to the embodiment of the present disclosure.
  • the CPU 1100 reads the program data 1450 from the HDD 1400 and executes the program, but as another example, these programs may be acquired from another device via the external network 1550.
  • the information processing device may be applied to a system including a plurality of devices, which is premised on connection to a network (or communication between each device), such as cloud computing. .. That is, the information processing device according to the present embodiment described above can be realized as, for example, an information processing system that performs processing related to the information processing method according to the present embodiment by a plurality of devices.
  • the embodiment described above may include, for example, a program for making the computer function as an information processing device according to the present embodiment, and a non-temporary tangible medium in which the program is recorded. Further, the above program may be distributed via a communication line (including wireless communication) such as the Internet.
  • each step in the processing of each of the above-described embodiments does not necessarily have to be processed in the order described.
  • each step may be processed in an appropriately reordered manner.
  • each step may be partially processed in parallel or individually instead of being processed in chronological order.
  • the processing method of each step does not necessarily have to be processed according to the described method, and may be processed by another method, for example, by another functional block.
  • the present technology can have the following configurations.
  • An acquisition unit that acquires control commands corresponding to the presentation unit information that specifies the presentation unit that presents the tactile stimulus by the tactile presentation device and the morphological information that specifies the form of the tactile stimulus, which are input from the first user.
  • a generation unit that generates a tactile control signal for presenting the tactile stimulus to the presentation unit in response to the control command.
  • a distribution unit that distributes the tactile control signal to the tactile presentation device attached to the body of the second user, and a distribution unit.
  • Information processing device (2)
  • the control command is associated with the stamp displayed on the stamp selection screen in advance. The first user inputs the control command by selecting the stamp displayed on the stamp selection screen.
  • the information processing device according to (1) above.
  • the information processing device which issues a new control command when the plurality of control commands acquired by the first user satisfy a predetermined condition.
  • the storage unit stores information on the amount of money paid by each of the first users in association with the identification information of the first user.
  • the storage unit acquires an evaluation for the tactile stimulus input from the second user who perceives the tactile stimulus, and inputs the evaluation information to the control command corresponding to the tactile stimulus. Stored in association with the identification information of 1 user, The information processing device according to (6) above.
  • a determination unit for determining whether or not to present the tactile stimulus in the tactile presentation device based on the operation of the second user is further provided.
  • the information processing device according to any one of (1) to (9) above.
  • the operation is at least one of an imaging device that captures the second user, a motion sensor that acquires the motion data of the second user, and a sound sensor that collects the spoken voice of the second user. Detected from The information processing device according to (10) above.
  • the determination unit determines that the tactile stimulus is not presented when the second user performs a predetermined operation or when the second user utters a predetermined keyword.
  • the information processing apparatus according to 10).
  • the acquisition unit displays a cursor that specifies the strength of the tactile stimulus, and accepts the designation of the strength by the operation of the first user with respect to the cursor.
  • the information processing device according to any one of (1) to (12) above.
  • the acquisition unit displays an animation in which the cursor moves, and receives the designation of the strength by the operation of the first user according to the position of the cursor when the operation of the first user is accepted.
  • the information processing device according to (13) above.
  • a transmission unit that generates a tactile control signal corresponding to the input control command and transmits the input control command to an information processing device that distributes the tactile control command to the tactile presentation device.
  • Information processing terminal equipped with (16) The information processing apparatus according to (1) above, wherein the presentation unit information includes information on a presentation position.
  • the tactile presentation device includes a tactile stimulator.
  • the information processing device according to (1) above, wherein the presentation unit information includes ID information of the tactile stimulation unit.
  • the tactile control signal is a tactile control ID corresponding to the control command.
  • the tactile presentation device performs tactile presentation based on the presentation unit information corresponding to the tactile control ID and the morphological information.
  • the information processing device according to (1) above.
  • the control command is a billing process.
  • Information processing device Acquires the control command input from the first user, receives the live stream image of the second user, and receives the image.
  • the received live distribution image is displayed on the display unit, and the image is displayed on the display unit.
  • the acquired control command is transmitted to the server via the communication unit.
  • a program that functions as a control unit A tactile control signal is generated in response to the control command.
  • the tactile control signal is delivered to the tactile presentation device worn on the body of the second user.
  • the tactile presentation is performed via the tactile presentation device.
  • program. (21) Receives the control command input from the first user and It is equipped with a control unit that receives live-streamed images of a second user.
  • a tactile control signal is generated in response to the control command.
  • the tactile control signal is delivered to the tactile presentation device worn on the body of the second user.
  • the tactile presentation is performed via the tactile presentation device.
  • Information processing system 100 Tactile presentation device 102, 202, 308 Communication unit 104, 210, 210a, 210b, 210c, 310 Control unit 106 Tactile stimulation unit 110 Monitor 120, 222 Camera 200, 200a, 200b, 200c Server 212 GUI control unit 214 Viewer side input unit 216 Distributor side input unit 218 Generation unit 220 Judgment unit 222 Output control unit 224 Price determination unit 226 Payment unit 228 Point granting unit 240, 240a, 312 Storage unit 242 Viewer profile 244 Distributor profile 246 Distribution Data DB 248 Price data DB 300 User terminal 300a Smartphone 300b Tablet 302 Display unit 304 Operation input unit 306 Speaker 320 Sensor unit 324 Microphone 326 Gyro sensor 328 Accelerometer 600 Viewer 602 Artist 700 Stamp 702 Control command 800 Display 802 Avatar 804 Notification 806, 822 Icon 808 Comment 812 Model display 814 Area 816 Marker 820, 824 Cursor 826 Waveform

Abstract

第1のユーザから入力された、触覚提示デバイスによって触覚刺激を提示する提示部を指定する提示部情報と前記触覚刺激の形態を指定する形態情報に対応する制御コマンドを取得する取得部(214)と、前記制御コマンドに応じて、前記提示部に前記触覚刺激を提示するための触覚制御信号を生成する生成部(218)と、前記触覚制御信号を第2のユーザの身体に装着された前記触覚提示デバイスに配信する配信部(222)と、を備える、情報処理装置を提供する。

Description

情報処理装置、情報処理端末及びプログラム
 本開示は、情報処理装置、情報処理端末及びプログラムに関する。
 近年、消費者の消費活動は、商品の単なる購入である「モノ消費」から、付加価値の高い体験に対して対価を支払う「コト消費」へと移り変わっている。例えば、音楽やアニメーション等といったエンタテイメント分野においても、消費者は、アーティスト等の生のパフォーマンスを視聴するといった一方向の体験だけでなく、さらにアーティストやファン同士の交流等といった、リアルタイムで、且つ、インタラクティブな、より付加価値の高い体験を強く求めるようになってきている。
 例えば、このような体験の一例としては、インターネット上でコンテンツを配信しているアーティスト等に対して、当該コンテンツの視聴者が、イラスト、テキスト等のデータを送信したり、これらとともに送金したりするといった「投げ銭」を挙げることができる。このような「投げ銭」を介して、アーティストと視聴者との間でコミュニケーションを行うことにより、視聴者はより付加価値の高い体験を得ることができる。その結果、視聴者の、コンテンツに対する満足感がより高まったり、このような「コト」に対する購買意欲が増したりすることとなる。
国際公開第2018/008217号
 ところで、従来から、振動などの触覚刺激をユーザに提示するための装置が提案されている。例えば、その一例として、上記特許文献1に記載のジャケット型の触覚提示デバイスを挙げることができる。このような触覚提示デバイスは、映画館やテーマパークのアトラクション等において、ユーザに装着され、ユーザが視聴する再生コンテンツと同期するように制御されることにより、提供される再生コンテンツの臨場感をより増幅させることができる。
 そこで、本開示では、このような触覚提示デバイスを利用して、リアルタイムで、且つ、インタラクティブな付加価値の高い体験を視聴者に提供することができる、情報処理装置、情報処理端末及びプログラムを提案する。
 本開示によれば、第1のユーザから入力された、触覚提示デバイスによって触覚刺激を提示する提示部を指定する提示部情報と前記触覚刺激の形態を指定する形態情報に対応する制御コマンドを取得する取得部と、前記制御コマンドに応じて、前記提示部に前記触覚刺激を提示するための触覚制御信号を生成する生成部と、前記触覚制御信号を第2のユーザの身体に装着された前記触覚提示デバイスに配信する配信部と、を備える、情報処理装置が提供される。
 また、本開示によれば、触覚提示デバイスによって触覚刺激を提示する提示部を指定する提示部情報と前記触覚刺激の形態を指定する形態情報とを含む制御コマンドが入力される入力部と、入力された前記制御コマンドを、当該制御コマンドに応じた触覚制御信号を生成して、前記触覚提示デバイスに配信する情報処理装置に送信する送信部と、を備える、情報処理端末が提供される。
 また、本開示によれば、情報処理装置を、第1のユーザから入力された制御コマンドを取得し、第2のユーザのライブ配信の画像を受信し、前記受信したライブ配信の画像を表示部に表示させ、前記取得した制御コマンドをサーバへ通信部を介して送信する、制御部として機能させるプログラムであって、前記制御コマンドに応じて触覚制御信号が生成され、前記触覚制御信号が、前記第2のユーザの身体に装着された触覚提示デバイスに配信され、前記制御コマンドに対応する前記触覚提示デバイスの触覚刺激を提示する提示部を指定する提示部情報と前記触覚刺激の形態を指定する形態情報とに基づいて、前記触覚提示デバイスを介して触覚提示を行う、プログラムが提供される。
 さらに、本開示によれば、第1のユーザから入力された制御コマンドを受信し、第2のユーザのライブ配信の画像を受信する制御部を備え、前記制御コマンドに応じて触覚制御信号を生成し、前記触覚制御信号が前記第2のユーザの身体に装着された触覚提示デバイスへ配信し、前記制御コマンドに対応する前記触覚提示デバイスの触覚刺激を提示する提示部を指定する提示部情報と前記触覚刺激の形態を指定する形態情報とに基づいて、前記触覚提示デバイスを介して触覚提示を行う、情報処理装置が提供される。
本開示の実施形態の概要を説明するための説明図(その1)である。 本開示の実施形態の概要を説明するための説明図(その2)である。 本開示の第1の実施形態に係る情報処理システム10の概略的構成例を示したシステム図である。 本開示の第1の実施形態に係る触覚提示デバイス100の外観構成例を示す図である。 本開示の第1の実施形態に係る触覚提示デバイス100の機能構成例を示す図である。 本開示の第1の実施形態に係るサーバ200の機能構成例を示す図である。 本開示の第1の実施形態に係るユーザ端末300の機能構成例を示す図である。 本開示の第1の実施形態に係る情報処理方法の一例のフローチャート図である。 本開示の第1の実施形態に係る表示例を説明するための説明図(その1)である。 本開示の第1の実施形態に係る表示例を説明するための説明図(その2)である。 本開示の第1の実施形態に係る表示例を説明するための説明図(その3)である。 本開示の第1の実施形態に係る表示例を説明するための説明図(その4)である。 本開示の第2の実施形態に係る表示例を説明するための説明図(その1)である。 本開示の第2の実施形態に係る表示例を説明するための説明図(その2)である。 本開示の第3の実施形態を説明するための説明図(その1)である。 本開示の第3の実施形態に係る表示例を説明するための説明図である。 本開示の第3の実施形態を説明するための説明図(その2)である。 本開示の第3の実施形態を説明するための説明図(その3)である。 本開示の第3の実施形態を説明するための説明図(その4)である。 本開示の第3の実施形態を説明するための説明図(その5)である。 本開示の第4の実施形態に係るサーバ200aの機能構成例を示す図である。 本開示の第4の実施形態に係る情報処理方法の一例のフローチャート図である。 本開示の第4の実施形態の実施例に係る表示例を説明するための説明図(その1)である。 本開示の第4の実施形態の実施例に係る表示例を説明するための説明図(その2)である。 本開示の第4の実施形態の実施例に係る表示例を説明するための説明図(その3)である。 本開示の第6の実施形態に係るサーバ200bの機能構成例を示す図である。 本開示の第6の実施形態に係る表示例を説明するための説明図(その1)である。 本開示の第6の実施形態に係る表示例を説明するための説明図(その2)である。 本開示の第6の実施形態の変形例に係るサーバ200cの機能構成例を示す図である。 本開示の第6の実施形態の変形例に係る情報処理方法の一例フローチャート図である。 本開示の第6の実施形態の変形例に係る表示例を説明するための説明図(その1)である。 本開示の第6の実施形態の変形例に係る表示例を説明するための説明図(その2)である。 サーバ200の機能を実現するコンピュータの一例を示すハードウェア構成図である。
 以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。また、本明細書及び図面において、異なる実施形態の類似する構成要素については、同一の符号の後に異なるアルファベットを付して区別する場合がある。ただし、類似する構成要素の各々を特に区別する必要がない場合、同一符号のみを付する。
 なお、説明は以下の順序で行うものとする。
  1. 本開示の実施形態の概要
  2. 第1の実施形態
     2.1 情報処理システム10の概要
     2.2 触覚提示デバイス100の詳細構成
     2.3 サーバ200の詳細構成
     2.3 ユーザ端末300の詳細構成
     2.4 情報処理方法
     2.5 変形例
  3. 第2の実施形態
  4. 第3の実施形態
  5. 第4の実施形態
     5.1 サーバ200aの詳細構成
     5.2 情報処理方法
     5.3 実施例
  6. 第5の実施形態
  7. 第6の実施形態
     7.1 サーバ200bの詳細構成
     7.2 実施形態
     7.3 変形例1
     7.4 変形例2
     7.5 変形例3
  8. まとめ
  9. ハードウェア構成について
  10. 補足
 <<1. 本開示の実施形態の概要>>
 まずは、本開示の実施形態の詳細を説明する前に、図1及び図2を参照して、本発明者らが創作した本開示の実施形態の概要について説明する。図1及び図2は、本開示の実施形態の概要を説明するための説明図である。
 先に説明したように、近年、消費者の消費活動は、「モノ消費」から「コト消費」へと移り変わっている。特に、エンタテイメント分野においては、消費者は、アーティスト等の生のパフォーマンスを視聴するといった一方向の体験だけでなく、さらにアーティストとの交流等といった、リアルタイムで、且つ、インタラクティブな、より付加価値の高い体験を強く求めるようになってきている。
 そこで、このような状況を鑑みて、本発明者らは、より付加価値の高い体験を視聴者に提供することができないものかと鋭意検討を進め、振動等の触覚刺激を被装着者に提示する触覚提示デバイス(ハプティクス・デバイス)を利用することを着想した。本発明者らは、このような触覚提示デバイスを利用することにより、視聴者はより付加価値の高い体験を得ることができると考えたのである。
 このような着想に基づいて創作された本開示の実施形態においては、図1に示すように、パフォーマンスやコンテンツを視聴させる又は配信するアーティスト602に、例えばベスト型の触覚提示デバイス100を装着してもらう。当該触覚提示デバイス100は、内部に複数の触覚刺激部(例えば、アクチュエータ等)を有する。また、当該触覚刺激部は、所定の信号を受信すると触覚刺激を被装着者に提示することができる。そして、図2に示すように、視聴者600は、ユーザ端末300の表示部302に表示された複数の触覚刺激効果付きスタンプ700から1つの触覚刺激効果付きスタンプ700を選択し、選択した触覚刺激効果付きスタンプ700の送信を行うと、上記触覚刺激部に、当該スタンプ700に付与された触覚刺激に対応する所定の触覚制御信号が送信される(いわゆる、触覚刺激効果付き「投げ銭」を行うこととなる)。さらに、当該触覚刺激部は、受信した所定の触覚制御信号に基づき、選択された触覚刺激効果付きスタンプ700に対応する触覚刺激を被装着者に提示することとなる。そこで、アーティスト602は、提示された触覚刺激を知覚し、アクションを起こすこととなれば、視聴者600は、自身が送信したスタンプ700によって提示された触覚刺激により誘起されたアクションをリアルタイムで確認することができる。そして、自身が送信したスタンプ700に係る触覚刺激により誘起されたアクションをリアルタイムで確認することができれば、視聴者600は、アーティスト602と直接的にやり取りを行っているように感じることができ、すなわち、より付加価値の高い体験を得ることができる。
 このように、本発明者らが創作した本開示の実施形態においては、視聴者600から、イラスト、アニメーション、テキスト等視覚情報や、音楽等の聴覚情報だけでなく、触覚情報を、アーティスト602に送ることができる。従って、本開示の実施形態によれば、視聴者600に対して、リアルタイムで、且つ、インタラクティブな付加価値の高い体験を提供することができ、視聴者600の、パフォーマンスやコンテンツに対する満足感がより高まったり、このような「コト」に対する購買意欲が増したりすることとなる。以下に、本発明者らが創作した本開示の実施形態の詳細を順次説明する。
 <<2. 第1の実施形態>>
 <2.1 情報処理システム10の概要>
 まずは、図3を参照して、本開示の第1の実施形態に係る情報処理システム10の概要を説明する。図3は、本開示の第1の実施形態に係る情報処理システム10の概略的構成例を示したシステム図である。以下の説明においては、アーティスト(第2のユーザ)602と視聴者(第1のユーザ)600とは異なる空間又は同一空間に存在するものとする。すなわち、当該情報処理システム10においては、視聴者600は、例えば、直接的にアーティスト602の姿を視聴してもよく、配信されたアーティスト602の映像を視聴してもよい。
 詳細には、図3に示すように、本実施形態に係る情報処理システム10は、例えば、触覚提示デバイス100と、モニタ110と、カメラ120と、サーバ(情報処理装置)200と、ユーザ端末(情報処理端末)300の一例としてのスマートフォン300a及びタブレット300bとを含むことができる。サーバ200と他の装置とは、例えば有線/無線LAN(Local Area Network)、又はWi-Fi(登録商標)、Bluetooth(登録商標)、携帯通信網(LTE(Long Term Evolution)、5G(第5世代の移動体通信方式))等のような各種の通信ネットワークを介して互いに送受信することができる。なお、情報処理システム10に含まれる各装置の数は、図3に図示された数に限定されるものではなく、さらに多くてもよい。また、情報処理システム10は、図3において図示されない装置を含んでいてもよい。例えば、情報処理システム10は、汎用PC(Personal Computer)、ゲーム機、携帯電話、携帯型メディアプレーヤ、スピーカ、プロジェクタ、ディスプレイ(デジタルサイネージ等)、ヘッドフォン、スマートグラス、スマートウォッチ等のウェアラブルデバイス等を含むことができる。以下に、本実施形態に係る情報処理システム10に含まれる各装置の概略について説明する。
 (触覚提示デバイス100)
 触覚提示デバイス100は、例えば身体に装着可能な装置により構成される。本実施形態では、例えば、アーティスト602に着用されるベスト型(袖なしの上着形状)を想定する。ベスト型の触覚提示デバイス100は、先に説明したように、内部に複数の触覚刺激部を有する。触覚刺激部は、例えば、触覚提示デバイス100の内部において、アーティスト602の正面側および背面側にそれぞれ所定の個数(例えば6個)ずつ配置され得る。一例として、正面側に配置されている個々の触覚刺激部と、背面側に配置されている個々の触覚刺激部は、向かい合う位置関係で配置される。
 なお、本実施形態においては、触覚提示デバイス100の形状は、ベスト型に限定されず、袖を有した上着形状であってもよい。この場合、アーティスト602の胸部及び腹部だけでなく、アーティスト602の両腕に対応する位置にも、触覚刺激部が1個以上配置されるようにしてもよい。また、本実施形態においては、触覚提示デバイス100は、上着形状に限定されず、ズボン、靴、ベルト、帽子、手袋、又はマスク等であってもよい。
 また、触覚提示デバイス100の肩部分には、左右にそれぞれ1つずつマイクロフォン(以下、マイクと称する)(図示省略)を配置してもよく、もしくは、左右の一方に1個のマイクを配置してもよく、もしくは、3個以上配置してもよい。さらに、マイクは、触覚提示デバイス100とは独立した他の装置として、アーティスト602の周囲に配置されていてもよい。さらに、触覚提示デバイス100には、触覚提示デバイス100の装着状態を検知するための装着状態検知センサ(例えば、ファスナ型のセンサ、圧力センサ等)(図示省略)、アーティスト602の動作や姿勢を検知するための慣性センサ(Inertial Measurement Unit:IMU)(図示省略)、アーティスト602の生体情報を検知するための生体情報センサ(例えば、心拍、脈拍、脳波、呼吸、発汗、筋電位、皮膚温度、皮膚電気抵抗、眼球運動、又は、瞳孔径等をセンシングするセンサ)(図示省略)等が内蔵されていてもよい。なお、触覚提示デバイス100の詳細構成については後述する。
 (モニタ110)
 モニタ110は、例えば、後述するカメラ120で撮像されたアーティスト602の画像等をアーティスト602に向けて表示することができ、さらに、モニタ110は、アーティスト602の画像に、テキスト、アイコン又はアニメーション等を重畳表示することができる。例えば、モニタ110は、液晶ディスプレイ(LCD:Liquid Crystal Display)装置、OLED(Organic Light Emitting Diode)装置により実現される。また、本実施形態においては、モニタ110の表示部(図示省略)は、入力部(図示省略)と一体のユニットとして設けられていてもよく、この場合、当該入力部は、例えば上記表示部に重畳されたタッチパネルにより実現される。さらに、本実施形態においては、モニタ110に、アーティスト602に対して音声を出力するスピーカ(図示省略)が設けられていてもよい。
 (カメラ120)
 カメラ120は、アーティスト602を1視点又は多視点から撮像する1つ又は複数の可視光カメラであり、撮像画像は、サーバ200を介して、視聴者600の有するユーザ端末300やモニタ110へ送信される。なお、当該カメラ120は、アーティスト602の周囲又は周囲に存在する実物体等を撮像してもよい。詳細には、カメラ120は、撮像レンズ、絞り、ズームレンズ、及びフォーカスレンズ等により構成されるレンズ系、当該レンズ系に対してフォーカス動作やズーム動作を行わせる駆動系を有する。さらに、カメラ120は、上記レンズ系で得られる撮像光を光電変換して撮像信号を生成する固体撮像素子アレイ等をそれぞれ有する。なお、当該固体撮像素子アレイは、例えばCCD(Charge Coupled Device)センサアレイや、CMOS(Complementary Metal Oxide Semiconductor)センサアレイにより実現されてもよい。
 (サーバ200)
 サーバ200は、視聴者600から入力された触覚刺激効果付きスタンプ(制御コマンド)700を受け付け、当該スタンプ700に従って触覚制御信号を生成し、生成した触覚制御信号を触覚提示デバイス100に送信することができる。各触覚刺激効果付きスタンプ700は、各所定の制御コマンドと紐づけられており、各制御コマンドには、振動刺激を提示する知覚位置を指定する情報(位置情報)、振動刺激の波形種類や強度等を指定する情報(形態情報)が含まれる。また、上記制御コマンドには、触覚提示デバイス100に設けられた触覚刺激部や上記形態情報を指定する識別情報(ID)を含むことができる。詳細には、サーバ200は、当該制御コマンドで、指定された知覚位置において、指定された強度で、指定された波形による振動刺激を提示するよう、触覚提示デバイス100に設けられた個々の触覚刺激部へ入力する触覚制御信号(波形データ)を生成し、触覚提示デバイス100へ送信する。なお、本明細書においては、「知覚位置」には、知覚位置の移動経路や、所定の広さを持った知覚範囲も含むものとする。
 さらに、本実施形態においては、サーバ200は、図3に示すように、単一の装置によって実現されてもよく、複数の装置によって実現されてもよく、特に限定されるものではない。例えば、サーバ200は、触覚提示デバイス100のための専用サーバ(図示省略)と、コンテンツを配信する配信サーバ(図示省略)とで実現されてもよい。この場合、触覚提示デバイス100のための専用サーバは、Web API(Application Programming Interface)を介して認証を行い、視聴者600から送信された触覚刺激効果付きスタンプ700等を監視し、触覚提示デバイス100を制御する。一方、配信サーバは、アーティスト602等の画像等や触覚刺激効果付きスタンプ700を選択するための画像等をユーザ端末300へ配信する。さらに、サーバ200は、例えば、本情報処理システム10の利用に関して決済を行う決済サーバ(図示省略)が含まれていてもよい。なお、サーバ200の詳細構成については後述する。
 (ユーザ端末300)
 ユーザ端末300は、視聴者600によって使用され、もしくは、視聴者600の近傍に設置され、視聴者600が上記触覚刺激効果付きスタンプ700等を入力するための端末である。そして、ユーザ端末300は、視聴者600から入力された触覚刺激効果付きスタンプ(制御コマンド)700を受け付け、受け付けた当該スタンプ700をサーバ200へ送信する。例えば、ユーザ端末300は、スマートフォン300a、タブレット型PC(Personal Computer)300b、携帯電話、ラップトップ型PC、HMD(Head Mounted Display)等のウェアラブルデバイスであることができる。なお、ユーザ端末300の詳細構成については後述する。
 <2.2 触覚提示デバイス100の詳細構成>
 次に、図4及び図5を参照して、触覚提示デバイス100の詳細構成を説明する。図4は、本実施形態に係る触覚提示デバイス100の外観構成例を示す図であり、図5は、本実施形態に係る触覚提示デバイス100の機能構成例を示す図である。先に説明したように、触覚提示デバイス100は、アーティスト602の身体の一部に装着され、制御コマンドに従って振動等することにより、アーティスト602に触覚刺激を与える装置である。
 図4に示すように、例えばベスト型の触覚提示デバイス100は、先に説明したように、内部に複数の触覚刺激部106を有する。当該触覚刺激部106は、例えばアクチュエータから構成され、サーバ200によって生成される触覚制御信号により駆動して振動を発生させ、かかる振動を触覚刺激として提示する。アクチュエータとしては、例えば、偏心モータや、リニア・バイブレータ、圧電素子等を用いることができる。
 さらに、触覚提示デバイス100は、図5に示すように、通信部102と、制御部104と、上述した触覚刺激部106とを有する。通信部102は、サーバ200と有線又は無線で接続され、サーバ200との間で情報の送受信を行う。制御部104は、コントローラであり、上述した通信部102を介して入力された触覚制御信号に基づいて触覚刺激部106を駆動させる。制御部104は、例えば、CPU(Central Processing Unit)やMPU(Micro Processing Unit)等によって、触覚提示デバイス100の内部のROM(Read Only Memory)等に記憶されている各種プログラムがRAM(Random Access Memory)を作業領域として実行されることにより実現される。また、制御部104は、例えば、ASIC(Application Specific Integrated Circuit)やFPGA(Field Programmable Gate Array)等の集積回路により実現することもできる。
 以上、本実施形態に係る触覚提示デバイス100の詳細構成について具体的に説明したが、本実施形態に係る触覚提示デバイス100の詳細構成は図4及び図5に示す例に限定されるものではない。
 また、触覚提示デバイス100は、上述したようなウェアラブル型に限らず、アーティスト602が手に持つ機器、例えば、スマートフォン、ゲームコントローラ、携帯型音楽プレーヤ等に搭載されるオンハンド型として構成されてもよい。また、触覚提示デバイス100は、ウェアラブル型やオンハンド型に限らず、ベッドや椅子といった家具又は各種設備に搭載されるスレート/フロア型として構成されてもよい。
 <2.3 サーバ200の詳細構成>
 次に、図6を参照して、本開示の実施形態に係るサーバ200の詳細構成について説明する。図6は、本実施形態に係るサーバ200の機能構成例を示す図である。図6に示すように、サーバ200は、通信部202と、制御部210と、記憶部240とを主に有する。以下に、サーバ200の各機能ブロックについて順次説明する。
 (通信部202)
 通信部202は、触覚提示デバイス100、モニタ110、カメラ120、及び、ユーザ端末(情報処理端末)300との間で情報の送受信を行うことができる。通信部202は、データの送受信を行う機能を有する通信インターフェイスであって、通信アンテナ、送受信回路やポート等の通信デバイス(図示省略)により実現される。
 (制御部210)
 制御部210は、コントローラであり、例えば、CPUやMPU等によって、サーバ200の内部のROM等に記憶されている各種プログラムがRAMを作業領域として実行されることにより実現される。詳細には、図6に示すように、制御部210は、GUI制御部212、視聴者側入力部(取得部)214、配信者側入力部216、生成部218、判定部220、及び出力制御部(配信部)222等を含むことができる。
 GUI(Graphical User Interface)制御部212は、視聴者600の有するユーザ端末300を制御して、触覚刺激効果付きスタンプ(制御コマンド)700を入力するための画面を表示する。詳細には、GUI制御部212は、触覚刺激効果付きスタンプ700選択するための画面として図2に示すような画面を、ユーザ端末300の表示部302に表示させる。当該選択画面(スタンプ選択画面)には、多数の触覚刺激効果付きスタンプ700が表示されている。各触覚刺激効果付きスタンプ700は、触覚提示デバイス100に対する制御コマンドと紐づけられており、視聴者600は、当該選択画面に表示されたスタンプ700を選択することにより、制御コマンドを入力することができる。なお、本実施形態においては、触覚刺激効果付きスタンプ700のイメージは、視聴者600がアーティスト602に送信したい触覚刺激や想い(メッセージ)等を直感的に想起させるものであることが好ましい。
 視聴者側入力部214は、視聴者600から入力された触覚刺激効果付きスタンプ700に紐づけられた、触覚提示デバイス100によって触覚刺激を提示する提示位置を指定する位置情報と当該触覚刺激の形態を指定する形態情報とを含む制御コマンドを取得し、後述する生成部218に出力する。
 配信者側入力部216は、例えば、触覚提示デバイス100の装着状態を検知するための装着状態検知センサ(図示省略)で取得したセンシングデータ等を取得し、後述する生成部218に出力する。
 生成部218は、視聴者600から入力された触覚刺激効果付きスタンプ700に紐づけられた制御コマンドに基づいて、触覚提示デバイス100を制御するための触覚制御信号を生成し、後述する判定部220へ出力する。具体的には、生成部218は、振動刺激の知覚位置(位置情報)、振動刺激の波形種類、及び、振動刺激の強度情報(形態情報)等が含まれる制御コマンドに基づいて、制御コマンドで、指定された知覚位置において、指定された強度で、指定された波形による振動刺激を提示するよう、触覚提示デバイス100に設けられた個々の触覚刺激部へ入力するための波形データを生成する。なお、触覚制御信号には、上記制御コマンドに基づく、触覚刺激の提示タイミング、周波数、間隔、及び、提示時間で振動刺激を提示するよう指示する情報が含まれていてもよい。さらに、生成部218は、制御コマンドで指定されている振動刺激の周波数や強度が広い帯域(例えば50~500Hz)を持つものであれば、触覚提示デバイス100の機能に応じて狭帯域(例えば100Hz)に圧縮して、波形データを生成してもよい。
 さらに、生成部218は、アーティスト602の触覚提示デバイス100の装着状況に応じて、触覚制御信号を調整してもよい。例えば、生成部218は、触覚提示デバイス100とアーティスト602の身体との接触率に応じて、触覚制御信号を調整する。より具体的には、生成部218は、接触率が低い位置にある触覚刺激部106については触覚振動を提示しないように調整する。また、生成部218は、アーティスト602の属性情報(例えば、年齢、性別、身長、体重、体格等)や生体情報に応じて、触覚制御信号を調整してもよい。例えば、生成部218は、アーティスト602の年齢に応じて、知覚位置や強度等を調整してもよい。より具体的には、アーティスト602が6歳である場合には、生成部218は、提示する触覚刺激の強度をアーティスト602が成人である場合の強度の半分になるように調整してもよい。
 さらに、生成部218は、触覚制御信号とともに、所定の画像又は所定の音声を視聴者600又はアーティスト602に提示するための提示制御信号(一例としては、非装着時制御信号等)を生成してもよい。例えば、所定の画像とは、アーティスト602の画像に重畳表示されたり、アーティスト602に投影されたりする、アイコン、アニメーション、テキスト等の仮想オブジェクトであることができ、より具体的には、視聴者600からアーティスト602まで投げ銭が移動する軌跡であったり、触覚刺激が提示されると同時に表示される爆弾が破裂したようなアニメーション等であったりする。また、所定の画像又は所定の音声は、例えば、触覚提示デバイス100がアーティスト602の身体に装着されていないことから、当該アーティスト602に触覚刺激を提示できない場合に、触覚刺激の代わりに視聴者600に出力される画像や音声であることができる。
 判定部220は、制御コマンドや触覚制御信号の内容、視聴者600又はアーティスト602の属性情報等に基づいて、触覚制御信号を触覚提示デバイス100へ送信するかどうかの可否を判定する。例えば、判定部220は、視聴者600から入力された制御コマンドによって、アーティスト602が予め制限している提示位置や強度が指定されていた場合には、当該制御コマンドに基づいて生成した触覚制御信号を触覚提示デバイス100へ送信しないと判定する。また、判定部220は、異なる視聴者600から連続して同一の提示位置が指定された場合や、同一の視聴者600から連続的な制御コマンドの入力等があった場合には、生成した触覚制御信号を触覚提示デバイス100へ送信しないと判定してもよい。さらに、このような場合、生成部218は、触覚刺激の提示位置の変更を行ってもよい。
 出力制御部222は、生成した触覚制御信号を、通信部202を介して、アーティスト602の身体に装着された触覚提示デバイス100へ送信する。
 (記憶部240)
 記憶部240は、制御部210の処理に用いられるプログラムや演算パラメータ等を記憶するROM、適宜変化するパラメータ等を一時記憶するRAM、及び、各種データベース(DB)を格納するHDD(Hard Disk Drive)等の記憶装置から実現される。例えば、記憶部240は、図6に示すように、視聴者プロファイル242、配信者プロファイル244及び配信データDB246を含むことができる。視聴者プロファイル242及び配信者プロファイル244は、それぞれ視聴者600及びアーティスト602の属性情報を格納する。さらに、視聴者プロファイル242は、視聴者600が過去に取得した制御コマンドや使用した制御コマンドの情報を、当該視聴者600の識別情報に紐づけて格納してもよく、配信者プロファイル244は、アーティスト602が過去に送信された制御コマンドの情報を、当該アーティスト602の識別情報に紐づけて格納してもよい。また、配信データDB246は、各スタンプ700の識別情報に紐づけられて、予め生成された触覚データライブラリ(振動波形パターン等)が格納されており、これを利用して、上述した生成部218は触覚制御信号を生成する。さらに、配信データDB246は、例えば、触覚提示デバイス100の触覚刺激部106の個数、その位置、周波数特性、最大入力電圧等といった情報が、触覚提示デバイス100のプロファイル情報として格納されてもよい。生成部218は、このようなプロファイル情報を参照して、触覚制御信号を調整することができる。
 以上、本実施形態に係るサーバ200の詳細構成について具体的に説明したが、本実施形態に係るサーバ200の詳細構成は図6に示す例に限定されるものではない。例えば、サーバ200は、視聴者プロファイル242や配信者プロファイル244を参照して、視聴者600又はアーティスト602によって高い頻度で利用されている制御コマンドや、逆に低い頻度で利用されている制御コマンドを選択し、視聴者600に向けて、選択した制御コマンドに紐づけられた触覚刺激効果付きスタンプ700を推奨する推奨部(図示省略)をさらに有していてもよい。また、当該推奨部は、アーティスト602が推奨する触覚刺激効果付きスタンプ700を、視聴者600に対して推奨してもよい。
 <2.3 ユーザ端末300の詳細構成>
 次に、図7を参照して、本開示の実施形態に係るユーザ端末300の詳細構成について説明する。図7は、本実施形態に係るユーザ端末300の機能構成例を示す図である。図7に示すように、ユーザ端末300は、表示部302と、操作入力部304と、スピーカ306と、通信部(送信部)(価格取得部)308と、制御部310と、記憶部312と、センサ部320とを主に有する。以下に、ユーザ端末300の各機能ブロックについて順次説明する。
 (表示部302)
 表示部302は、例えば、触覚刺激効果付きスタンプ(制御コマンド)700を選択するための選択画面や、アーティスト602の画像等を視聴者600に向けて表示することができる。さらに、表示部302は、アーティスト602の画像に、テキスト、アイコン又はアニメーション等を重畳表示することができる。表示部302は、液晶ディスプレイ装置、OLED装置等により実現される。
 (操作入力部304)
 操作入力部304は、視聴者600によって、触覚刺激を提示する提示位置を指定する位置情報と前記触覚刺激の形態を指定する形態情報とを含む制御コマンドに紐づけられた、触覚刺激効果付きスタンプ700の選択結果が入力される。もしくは、操作入力部304は、直接制御コマンドが入力されてもよい。例えば、操作入力部304は、スイッチ、ボタン、タッチパネル、又は、レバー等により実現される。また、操作入力部304により入力された操作の内容は、上述した表示部302によって表示されてもよい。また、当該操作入力部304は、上述した表示部302に重畳するように設けられ、表示部304によって表示された提示位置を指定するための位置選択画面に対する、視聴者600からの入力操作の情報(例えば、位置情報)を受け付けることができる。
 (スピーカ306)
 スピーカ306は、後述する制御部310の制御に従って、音声信号等を再生する。なお、スピーカ306は、ユーザ端末300に設けられていてもよく、もしくは、1対のイヤホンスピーカ(図示省略)等といった、ユーザ端末300と別体の装置であってもよい。
 (通信部308)
 通信部308は、サーバ200との間で情報の送受信を行うことができ、詳細には、視聴者600に入力された触覚刺激効果付きスタンプ(制御コマンド)700の情報を、サーバ200へ送信することができる。また、通信部308は、サーバ200から送信された情報(例えば、触覚刺激効果付きスタンプ(制御コマンド)700の価格等の情報)を受信することができる。例えば、通信部308は、データの送受信を行う機能を有する通信インターフェイスであって、通信アンテナ、送受信回路やポート等の通信デバイス(図示省略)により実現される。
 (制御部310)
 制御部310は、ユーザ端末300のコントローラであり、例えば、CPUやMPU等によって、ユーザ端末300の内部のROM等に記憶されている各種プログラムがRAMを作業領域として実行されることにより実現される。
 (記憶部312)
 記憶部312は、上述した制御部310の処理に用いられるプログラムや演算パラメータ等を記憶するROM、及び、適宜変化するパラメータ等を一時記憶するRAM等の記憶装置から実現される。
 (センサ部320)
 センサ部320は、視聴者600からの操作(ユーザ端末に与えられる振動等)に関するセンシングデータを取得することができる。例えば、センサ部320は、図7に示されるように、カメラ322、マイク324、ジャイロセンサ326、及び加速度センサ328を主に含む。なお、上述したセンサは一例であり、本実施形態はこれに限定されるものではない。
 カメラ322は、例えば、視聴者600の動作等を撮像し、撮像画像を上述した制御部310に出力する。そして、当該制御部310は、カメラ322によって撮像された画像から視聴者600による所定の動作を抽出し、抽出した動作に係る制御コマンドを取得することができる。詳細には、カメラ322は、撮像レンズ、絞り、ズームレンズ、及びフォーカスレンズ等により構成されるレンズ系、当該レンズ系に対してフォーカス動作やズーム動作を行わせる駆動系を有する。さらに、カメラ322は、上記レンズ系で得られる撮像光を光電変換して撮像信号を生成する固体撮像素子アレイ等をそれぞれ有する。なお、当該固体撮像素子アレイは、例えばCCDセンサアレイや、CMOSセンサアレイにより実現されてもよい。また、カメラ322は、ToF(Time of Flight)センサ(図示省略)を含んでもよい。ToFセンサは、例えば、被写体に所定の周期を持つ照射光を照射し、当該被写体で反射された反射光を検出し、照射光と反射光との位相差や時間差を検出することで、被写体の深度(depth)情報を取得することができる。ここで被写体の深度情報とは、上記ToFセンサから被写体表面上の各点までの距離の情報の1つである深度の情報である。そして、被写体表面の複数の点の深度情報を集約することにより、被写体表面の凹凸形状に関する形状情報、すなわち、被写体の外形情報を得ることができる。
 マイク324は、視聴者600の音声を集音し、集音した音声情報を上述した制御部310に出力する。そして、当該制御部310は、マイク324によって集音した音声から視聴者600による所定の音声パターンを抽出し、抽出した音声パターンに係る制御コマンドを取得することができる。
 ジャイロセンサ326は、例えば、3軸ジャイロセンサにより実現され、視聴者600によるユーザ端末300の動きの角速度(回転速度)を検知する。また、加速度センサ328は、例えば、3軸加速度センサ(Gセンサとも呼ばれる)により実現され、視聴者600によるユーザ端末300の動きの加速度を検知する。本実施形態においては、これらのセンサによるセンシングデータにより、視聴者600がユーザ端末300に対して行った動作を認識することができ、さらに認識した動作に係る制御コマンドを取得することができる。
 以上、本実施形態に係るユーザ端末300の詳細構成について具体的に説明したが、本実施形態に係るユーザ端末300の詳細構成は、図7に示す例に限定されるものではなく、例えば、振動することにより、視聴者600に通知を行う振動デバイス(図示省略)をさらに有していてもよい。
 <2.4 情報処理方法>
 以上、本実施形態に係る情報処理システム10の各装置について詳細に説明した。次に、本実施形態に係る情報処理方法に一例について、図8から図12を参照して説明する。図8は、本実施形態に係る情報処理方法の一例のフローチャート図である。また、図9から図12は、本実施形態に係る表示例を説明するための説明図である。図8に示すように、本実施形態に係る情報処理方法の一例には、ステップS101からステップS106までの複数のステップが含まれている。以下に、本実施形態に係る情報処理方法の一例に含まれる各ステップの詳細を説明する。
 まずは、視聴者600は、ユーザ端末300の表示部302に表示された触覚刺激効果付きスタンプ700から1つの触覚刺激効果付きスタンプ700を選択し、選択したスタンプ700をサーバ200へ送信する。なお、本実施形態においては、送信する前に、例えば視聴者600が表示されたスタンプ700をタップすることにより、スタンプ700に紐づけられた制御コマンドに対応する触覚刺激を再現するようにしてもよく、この場合、例えば、ユーザ端末300は、当該触覚刺激に対応するように振動する。
 そして、サーバ200は、ユーザ端末300から送信された、視聴者600が選択した、制御コマンドと紐づけられた触覚刺激効果付きスタンプ700の情報を取得する(ステップS101)。
 次に、サーバ200は、配信データDB246等を参照して、取得したスタンプ700に紐づけられた制御コマンドに含まれる、触覚刺激を提示する提示位置を指定する位置情報を取得する(ステップS102)。
 さらに、サーバ200は、配信データDB246等を参照して、取得したスタンプ700に紐づけられた制御コマンドに含まれる、触覚刺激の形態を指定する形態情報を取得する(ステップS103)。
 そして、サーバ200は、上述のステップS102及びステップS103で取得した位置情報及び形態情報に基づき、触覚提示デバイス100を制御するための触覚制御信号として波形データを生成する(ステップS104)。
 次に、サーバ200は、例えば、アーティスト602の属性情報等に基づいて、生成した触覚制御信号を触覚提示デバイス100へ送信するかどうかの可否を判定する(NG判定)(ステップS105)。
 そして、サーバ200は、上述したステップS105で触覚制御信号を触覚提示デバイス100へ送信すると判定した場合には、生成した触覚制御信号をアーティスト602の身体に装着された触覚提示デバイス100へ送信し(ステップS106)、処理を終了する。一方、サーバ200は、上述したステップS105で触覚制御信号を触覚提示デバイス100へ送信しないと判定した場合には、送信しない旨を、ユーザ端末300を介して視聴者600に通知してもよい。
 そして、アーティスト602は、触覚提示デバイス100を介して提示された触覚刺激を知覚し、アクションを起こすこととなる。視聴者600は、自身が送信したスタンプ700によって提示された触覚刺激により誘起された、アーティスト602のアクションをリアルタイムで確認することができる。そして、自身が送信したスタンプ700に係る触覚刺激により誘起されたアクションをリアルタイムで確認することができれば、視聴者600は、アーティスト602と直接的に触れ合っているように感じることができ、アーティスト602との一体感を得ることができる。
 なお、本実施形態においては、アーティスト602の身体に装着された触覚提示デバイス100によって触覚刺激が提示されるだけでなく、例えば、図9に示すように、ユーザ端末300の表示部302において、アーティスト602の画像等に表示800等を重畳表示してもよい。この際、表示800は、触覚刺激が提示される位置に、重畳表示されることが好ましい。また、本実施形態においては、視聴者600によって選択された触覚刺激効果付きスタンプ700のデザインに応じたデザインを持つ表示800であってもよい。例えば、スタンプ700がハートを打ち抜くようなデザインであれば、表示800もハートを打ち抜くようなデザインであることができる。さらに、本実施形態においては、触覚刺激が提示される際に、ユーザ端末300の表示部302において、表示された画像が当該触覚刺激に合わせて上下左右に揺れたりしてもよい。さらに、本実施形態においては、アーティスト602の身体に装着された触覚提示デバイス100によって触覚刺激が提示される際に、該当する触覚刺激を送信した視聴者600のユーザ端末300を振動させてもよく、もしくは、アーティスト602や上記視聴者600の周囲に存在する他の視聴者600のユーザ端末300も併せて振動させてもよい。
 さらに、本実施形態においては、生成した触覚制御信号を触覚提示デバイス100へ送信する際、図10に示すように、コイン等のアイコン(所定のアイコン)806と、当該アイコン806が視聴者600側からアーティスト602まで移動する軌跡808とを、ユーザ端末300の表示部302や、モニタ110の表示部(図示省略)等に表示してもよい。このような軌跡808を表示することにより、視聴者600は、自身が送信したスタンプ700がアーティスト602へ送信されていることを実感することができる。
 また、本実施形態においては、図11に示すように、上記触覚刺激を知覚したアーティスト602によって、例えば、配信者端末(図示省略)を介して入力されたコメント810を、ユーザ端末300の表示部302等に表示してもよい。
 さらに、本実施形態においては、アーティスト602が触覚提示デバイス100を装着していない場合には、サーバ200は、触覚制御信号の送信を中止してもよく、さらに、この場合、アーティスト602の触覚提示デバイス100の装着を新たに検出した場合に、触覚制御信号の送信を行ってもよい。また、触覚制御信号の送信を中止した場合には、図12に示すように、中止した旨の通知804を、例えばユーザ端末300の表示部302等に表示してもよく、もしくは、ユーザ端末300を振動させて通知してもよい。
 また、本実施形態においては、アーティスト602が触覚提示デバイス100を装着していない場合には、図12に示すように、上述した被装着時制御信号によって、アーティスト602の代わりとなるアバター802に対して触覚刺激が提示されたことをイメージするようなアニメーションを、ユーザ端末300の表示部302等に表示してもよい。この際、触覚刺激が提示される位置に対応するアバター802上の位置に、表示800が重畳表示されることが好ましい。
 以上のように、本実施形態によれば、視聴者600が選択した触覚刺激効果付きスタンプ700に対応する触覚刺激をアーティスト602に提示することができる。そこで、本実施形態においては、アーティスト602は、提示された触覚刺激を知覚し、アクションを起こすこととなれば、視聴者600は、自身が送信したスタンプ700によって提示された触覚刺激により誘起されたアクションをリアルタイムで確認することができる。そして、本実施形態によれば、視聴者600は、自身が送信したスタンプ700に係る触覚刺激により誘起されたアクションをリアルタイムで確認することができれば、アーティスト602と直接的にやり取りを行っているように感じることができ、すなわち、リアルタイムで、且つ、インタラクティブな付加価値の高い体験を得ることができる。
 <2.5 変形例>
 また、本実施形態においては、視聴者600の身体に触覚提示デバイス100が装着されていた場合には、アーティスト602による「投げ返し」、すなわち、アーティスト602が選択した触覚刺激効果付きスタンプ700に対応する触覚刺激を視聴者600に提示してもよい。本変形例によれば、視聴者600が送信したスタンプ700によって提示された触覚刺激が起点となって、アーティスト602から触覚刺激が当該視聴者600に返された際には、視聴者600は、アーティスト602と直接的にコミュニケーションを行っているように感じることができる。
 本変形例においては、例えば、上述の第1の実施形態と同様に、アーティスト602が触覚刺激効果付きスタンプ700を選択し、送信を行うと、視聴者600の触覚提示デバイス100によって、触覚刺激が視聴者600にも提示される。詳細には、本変形例においては、サーバ200は、アーティスト602から入力された触覚刺激効果付きスタンプ700を取得し、取得したスタンプ700に紐づけられた制御コマンドに応じて、触覚制御信号を生成し、生成した触覚制御信号を視聴者600の身体に装着された触覚提示デバイス100に送信する。
 また、本変形例においては、アーティスト602による「投げ返し」の際、視聴者600の身体に触覚提示デバイス100が装着されていない場合には、触覚提示デバイス100の代わりにユーザ端末300を用いてもよい。
 本変形例においては、例えば、サーバ200は、アーティスト602から入力された触覚刺激効果付きスタンプ700に紐づけられた制御コマンドに応じて、ユーザ端末300に対して、音声出力、振動、又は点滅等と行わせるように制御する。詳細には、本変形例においては、この場合、サーバ200は、アーティスト602から入力された触覚刺激効果付きスタンプ700を取得し、取得したスタンプ700に紐づけられた制御コマンドと、ユーザ端末300の機能情報(属性情報)とに基づいて、ユーザ端末用制御信号を生成し、生成したユーザ端末用制御信号をユーザ端末300に送信する。
 <<3. 第2の実施形態>>
 上述した第1の実施形態においては、視聴者600は、予め決められた制御コマンドと紐づけられたスタンプ700を選択することにより、制御コマンドの入力を行っていたが、本開示の実施形態はこのような形態に限定されるものではなく、例えば、視聴者600は、触覚刺激(制御コマンド)自体を自由に編集することもできる。このように、視聴者600により触覚刺激を自由に編集することができれば、例えば、視聴者600は、自身が編集した触覚刺激により誘起された、アーティスト602のアクションをリアルタイムで確認することができることから、アーティスト602と直接的に触れ合っているように感じることができる。そこで、図13及び図14を参照して、このような編集方法に係る実施形態を第2の実施形態として、以下に説明する。図13及び図14は、本開示の第2の実施形態に係る表示例を説明するための説明図である。
 まずは、視聴者600は、図13に示すような、ユーザ端末300の表示部302に表示された位置選択画面に対して操作を行うことにより、触覚刺激を提示する知覚位置を指定する位置情報を入力することができる。詳細には、図13に示すように、位置選択画面には、人体モデル表示812が示されており、さらに、当該人体モデル表示812上の触覚提示デバイス100の触覚刺激部106に該当する位置には複数の領域814が示されている。そこで、視聴者600は、選択したい知覚位置の領域814にマーカ816を合わせることにより、知覚位置を設定入力することができる。なお、本実施形態においては、ピンポイントで知覚位置を設定入力することに限定されるものではなく、例えば、人体モデル表示812をなぞって知覚位置の移動経路を設定入力してもよく、もしくは、所定の広さを持った知覚範囲を設定入力してもよい。そして、サーバ200の視聴者側入力部214は、位置選択画面に対して入力された位置情報を取得することとなる。
 なお、本実施形態においては、触覚刺激部106の設置個所や設置数が限定されていても、以下のような原理で、視聴者600が所望する知覚位置に触覚刺激を提示することができる。詳細には、ファントムセンセーションという錯覚現象が医学的に知られている。ファントムセンセーションは、皮膚上の異なる位置に対して同時に刺激が提示されると、人間は、提示された刺激位置の間において刺激を1つだけ知覚するような錯覚現象のことである。そこで、本実施形態においては、このようなファントムセンセーションを利用することにより、例えば、2個の触覚刺激部106に同時に触覚刺激を提示させると、知覚される触覚刺激の位置は、2個の触覚刺激部106の間の位置とすることができる。また、本実施形態においては、複数の触覚刺激部106の出力強度を変化させることにより、個々の触覚刺激部106の配置間隔を変えることなく、複数の触覚刺激部106により提示可能な触覚刺激の範囲を拡大することができる。
 また、本実施形態においては、図13に示すような位置選択画面による設定入力に限定されるものではない。例えば、視聴者600の身体に触覚提示デバイス100と同様のベスト型のセンサ(第1のセンサ)が装着されており、当該センサにより視聴者600によるタッチ操作を検知することができる場合には、視聴者600は当該センサに対して操作を行うことにより、知覚位置の設定入力を行ってもよい。そして、サーバ200の視聴者側入力部214は、上記センサに対して入力された位置情報を取得することとなる。また、上記センサは、視聴者600の身体の装着されていることに限定されるものではなく、例えば、人形(図示省略)に装着されていてもよい。
 さらに、本実施形態においては、振動刺激の波形種類や、強度、提示タイミング、周波数、間隔、及び、提示時間等についても編集、設定できる。例えば、図14に示すような、ユーザ端末300の表示部302に表示された編集画面(形態選択画面)に対して操作を行うことにより、触覚刺激の波形種類や、強度、提示タイミング、周波数、間隔、及び、提示時間等を編集することができる。詳細には、図14に示すように、編集画面には、時間軸上に波形826が表示されており、当該波形826に対して操作を行うことにより、視聴者600は波形826を編集することができる。さらに、当該編集画面には、カーソル等が表示されており、視聴者600は、カーソル824を移動させることにより、触覚刺激の強度、周波数等を設定することができる(図14は、例えば、触覚刺激効果付きスタンプ700を投げる速度(スピード)と、触覚刺激の周波数とを設定することができる編集画面を示している)。そして、サーバ200の視聴者側入力部214は、形態選択画面に対して入力された形態情報を取得することとなる。
 なお、本実施形態においては、視聴者600により編集できる数値範囲等は、アーティスト602の属性情報に基づいて予め設定されていてもよい。例えば、男性のアーティスト602に対しては、強度については広い数値範囲で設定可能とし、女性のアーティスト602に対しては、強度については狭い数値範囲で設定可能とする。
 さらに、身体上の位置によって知覚感度が異なり、加えて個人毎にも知覚感度が異なる。そこで、本実施形態においては、アーティスト602の身体上の位置ごとの知覚感度を示すデータ(例えば、感度係数)等を配信者プロファイル244として格納しておき、生成部218は、配信者プロファイル244の情報を参照し、視聴者600から設定された強度等を、アーティスト602に応じて適切に調整する。このようにすることで、視聴者600が編集した触覚刺激によりアーティスト602に対して不快感を生じさせることを、避けることができる。
 また、本実施形態においては、視聴者600は、所定の条件を満たした場合に触覚刺激を提示するように、制御コマンドを設定することもできる。例えば、制御コマンドに指定された、所定の時刻に到達した場合、所定のキーワードをアーティスト602が発話した場合(例えば、アーティスト602の発話は、触覚提示デバイス100に設けられたマイクで検知する。)、所定の動作をアーティスト602がした場合(例えば、アーティスト602の動作は、カメラ120で検知する。)等、所定の条件を満たした場合に、サーバ200は、当該制御コマンドに係る触覚制御信号を触覚提示デバイス100に配信するようにしてもよい。そして、上記所定の条件は、例えば、視聴者600によって設定することができる。さらに、本実施形態においては、視聴者600は、触覚刺激を提示する際に表示される仮想オブジェクトの形態、大きさ、表示速度、アニメーションの表示速度等も設定することができる。
 また、本実施形態においては、上述したような位置選択画面や編集画面等に対する操作によって、触覚刺激を編集、設定するだけでなく、例えば、ユーザ端末300に内蔵されている各種のセンサ(第2のセンサ)や他の装置を利用してもよい。
 本実施形態においては、例えば、視聴者600は、ユーザ端末300に対して、振動を与える等のタッチ操作、保持角度を変化させる等のモーション操作を行うことにより、触覚刺激の波形や強度変化等を編集してもよい。詳細には、本実施形態においては、ユーザ端末300に内蔵されたジャイロセンサ326や加速度センサ328によって当該モーション操作を検知し、検知したセンシングデータをサーバ200の視聴者側入力部214が取得する。さらに、サーバ200の生成部218は、取得したセンシングデータに基づいて、波形等を生成する。
 より具体的には、例えば、視聴者600は、所定のリズムを持ったモーションをユーザ端末300に内蔵されたジャイロセンサ326や加速度センサ328に検知させる。そして、サーバ200は、ジャイロセンサ326や加速度センサ328が検知したセンシングデータから抽出されたリズムに基づき、触覚刺激の周波数を設定する。また、例えば、視聴者600は、ユーザ端末300に対して所定のリズムを持った音声を発話し、当該発話をユーザ端末300に内蔵されたマイク(サウンドセンサ)324で検知させる。そして、サーバ200は、マイク324で検知したセンシングデータを利用して、触覚刺激の周波数を設定する。また、例えば、視聴者600は、自身のモーションをユーザ端末300に内蔵されたカメラ(撮像デバイス)322に撮像させる。そして、サーバ200は、カメラ322によって得られた撮像画像を解析して、所定の動きを抽出し、抽出した動きを利用することにより、触覚刺激の波形データを生成してもよい。
 また、本実施形態においては、ユーザ端末300に内蔵されたカメラ322によって、身体の一部を撮像し、サーバ200は、撮像画像に含まれる位置に応じて、知覚位置を設定してもよく、この場合、カメラ322に含まれるToFセンサ(図示省略)による外形情報に基づいて、身体上のどこであるかを特定してもよい。さらに、この際、当該撮像画像の画角に応じて、触覚刺激の強度を設定してもよい。例えば、画角が狭いと強度を高く設定し、画角が広いと強度を弱く設定する。さらに、上記カメラ322によって、例えば、視聴者600の身体の一部(例えば、腕)上を移動する視聴者600の手が撮影された場合には、知覚位置を腕に設定してもよい。
 また、本実施形態においては、設定用の端末は、ユーザ端末300に限定されるものではなく、MIDI(Musical Instrument Digital Interface)を有する電子楽器、ターンテーブル、ゲーム用インタフェース(スティック型等)等を用いることもできる。
 なお、サーバ200は、複数の視聴者600が、同時に編集、入力を行おうとしている場合には、順次、編集、入力を行わせるように制限をかけてもよく、もしくは、視聴者600が編集を着手した順や支払った金額の順に従って、順次編集入力を行わせるように制限をかけてもよい。また、サーバ200は、編集、入力する順番を待っている視聴者600に向けては、自身の順番になるまでの時間を通知するようにしてもよい(図16 参照)。
 さらに、サーバ200は、配信者プロファイル244の情報を参照し、視聴者600が編集した触覚刺激が、アーティスト602が受取を拒否する触覚刺激であったり、それに近いものであったりすると判定(NG判定)した場合には、触覚制御信号の送信を中止してもよい。この場合、サーバ200は、該当する視聴者600や本情報処理システム10の運営者等に、視聴者600が編集した触覚刺激が、アーティスト602が受取を拒否する触覚刺激に該当する旨を通知したり、該当する視聴者600に返金したりすることができる。もしくは、このような場合、サーバ200は、視聴者600が編集した触覚刺激が、アーティスト602が受取を拒否する触覚刺激に該当しなくなるように、知覚位置や強度等を調整してもよい。
 また、本実施形態においては、自身で編集した触覚刺激を確認したい場合には、アーティスト602に装着された触覚提示デバイス100へ送信する前に、視聴者600自身で確認してもよい。
 例えば、視聴者600の身体に触覚提示デバイス100が装着されている場合には、サーバ200が、当該触覚提示デバイス100に対して、編集した触覚刺激に係る触覚制御信号と同一の触覚制御信号を送信することにより、自身に装着された触覚提示デバイス100を介して視聴者600は確認することが可能となる。また、視聴者600の身体に触覚提示デバイス100が装着されていない場合には、ユーザ端末300を用いて確認してもよい。この場合、サーバ200は、ユーザ端末300の機能情報(属性情報)に基づいて、編集した触覚刺激に係る触覚制御信号に対応する制御信号(ユーザ端末制御信号)を生成し、ユーザ端末300に送信する。そして、ユーザ端末300は、送信された制御信号に応じて、スピーカ(音声出力デバイス)306から音声を出力したり、表示部(点滅デバイス)302で光が点滅したり、振動デバイス(図示省略)が振動したりさせることができ、これによって、視聴者600は確認することが可能となる。
 さらに、本実施形態においては、視聴者600が編集した触覚刺激は、触覚刺激効果付きスタンプ700として、複数の視聴者600間で交換されてもよい。
 <<4. 第3の実施形態>>
 ところで、本開示の第3の実施形態を説明するための説明図である図15に示すように、複数の視聴者600から、一人のアーティスト602へ、同時に触覚刺激効果付きスタンプ700が送信される場合がある。このような場合、同時に投げられたスタンプ700に応じて複数の触覚刺激がアーティスト602に同時に提示されてしまった場合、当該アーティスト602は、複数の触覚刺激により不快感を生じることとなる。さらに、同時に触覚刺激が与えられた場合には、アーティスト602は個別に知覚することができず、それぞれの触覚刺激に対してアクションを行うことができない。その結果、視聴者600は、自身が送信したスタンプ700による触覚刺激を介して、アーティスト602と直接的にやり取りを行っているように感じることが難しくなる。
 そこで、本開示の第3の実施形態においては、上述したような不快感や、個別の触覚刺激を知覚できないような状況を避けるべく、複数の視聴者600から複数の触覚刺激効果付きスタンプ700が同時に送信された場合には、以下に説明するような処理を行う。図16から図20を参照して、本実施形態に係る処理について説明する。図16は、本開示の第3の実施形態に係る表示例を説明するための説明図であり、図17から図20は、本開示の第3の実施形態を説明するための説明図である。
 例えば、本実施形態においては、図17に示すように、サーバ200は、複数の視聴者600から複数の制御コマンド702(もしくは、スタンプ700)が送信された場合には、これら制御コマンド702を一時的にためておき、制御コマンド702の入力順(所定のルール)に順次処理を行って、触覚制御信号を生成し、触覚提示デバイス100に送信する。なお、本実施形態においては、サーバ200は、複数の視聴者600から複数の制御コマンド702が送信された場合には、複数の制御コマンド702の取得を一時的に中止し、制御コマンド702の入力順に順次取得してもよい。このような場合、図16に示すように、サーバ200は、順番を待っている視聴者600に向けて、ユーザ端末300の表示部302を介して、自身の順番になるまでの時間を通知する表示818を表示してもよい。
 このように、本実施形態おいては、順次、アーティスト602に触覚刺激が提示されるようになることから、当該アーティスト602が不快感を得ることを避けることができ、また、個別に触覚刺激を知覚することができることから、それぞれの触覚刺激に対してアクションを行うことができる。
 また、本実施形態においては、図18に示すように、サーバ200は、所定の時間内に複数の制御コマンド702(もしくは、スタンプ700)を取得した場合には、取得した制御コマンド702の数に応じて例えば触覚刺激の強度等を調整して、1つの触覚刺激としての触覚制御信号を生成し、触覚提示デバイス100に送信してもよい。例えば、サーバ200は、取得した同一の制御コマンド702(例えば、知覚位置及び波形種類等が同一)の数が多くなるほど、触覚刺激の強度を強くしていく。また、単に取得した制御コマンド702の数に応じて強度を強くするだけでなく、アーティスト602の負担等を考慮して、強度の上限を設けたり、強度を減算処理したりしてもよい。
 また、本実施形態においては、サーバ200は、取得した制御コマンド702の数に応じて、触覚刺激の波形を変化させてもよく、提示する時間を調整してもよく、知覚位置を調整してもよく、特に限定されるものではない。さらに、本実施形態においては、例えば、連続して取得した制御コマンド702で指定された知覚位置に基づいて、1つの知覚位置に調整して、1つの触覚刺激としての触覚制御信号を生成してもよい。より具体的には、サーバ200は、連続して取得した制御コマンド702において、知覚位置として、右肩及び左肩が指定されていた場合、生成した触覚制御信号においては、右肩と左肩の間にある首元を知覚位置として設定する。
 また、本実施形態においては、図19に示すように、サーバ200は、制御コマンド702(もしくは、スタンプ700)の入力の際に視聴者600から支払われた金額に応じた順(所定のルール)で、処理を行ってもよい。例えば、サーバ200は、制御コマンド702の入力の際に支払われた金額が高い制御コマンド702を優先的に処理する。すなわち、視聴者600にとっては、アーティスト602との交流の優先順位を買うようなこととなることから、早くアーティスト602と交流したい視聴者600は、より多くの金額を支払うこととなる。言い換えると、このような処理の順番にすることにより、視聴者600に対して、より高い金額を支払う動機づけを行うことができる。
 また、本実施形態においては、図20に示すように、サーバ200は、所定の時間内に複数の同一の制御コマンド702(もしくは、スタンプ700)を取得した場合には、取得した制御コマンド702の順番に応じて、例えば、触覚刺激の提示の強度を順次強くしてもよい。このようにすることで、複数の視聴者600間での連携、すなわち、交流を促し、より付加価値の高い体験を得ることができる。
 また、本実施形態においては、サーバ200は、複数の視聴者600の複数の制御コマンド702(もしくは、スタンプ700)の送信の同期性に応じて、触覚刺激を調整してもよい。より具体的には、サーバ200は、異なる複数の視聴者600から、同一内容の制御コマンド702が同期して送信された場合(いわゆる、複数の視聴者600による「ミッション」の実行)、同期性の程度に応じて、触覚刺激の強度を調整してもよい。さらに、本実施形態においては、サーバ200は、異なる複数の視聴者600から取得した同一内容の制御コマンド702の数が所定の数を超えた場合(所定の条件)にのみ、触覚制御信号を生成、送信を行ってもよい。もしくは、サーバ200は、異なる複数の視聴者600から取得した複数の制御コマンド702の種類が所定の種類である場合にのみ、触覚制御信号を生成、送信を行ってもよい。
 さらに、本実施形態においては、所定の時間内に複数の同一の知覚位置を指定する制御コマンド702(もしくは、スタンプ700)を連続的に取得した場合には、そのままアーティスト602に複数の触覚刺激として提示されてしまった場合、当該アーティスト602は複数の触覚刺激により、不快感を生じることとなる。そこで、本実施形態においては、サーバ200(詳細には、視聴者側入力部214)は、直前に提示された知覚位置に対して所定の距離だけ離れた知覚位置を指定する制御コマンド702のみを受け付け、処理するようにしてもよい。
 <<5. 第4の実施形態>>
 さらに、本開示の第4の実施形態においては、触覚提示デバイス100とアーティスト602の身体との接触率や、知覚位置、視聴者600又はアーティスト602の属性情報等に応じて、触覚刺激効果付きスタンプ700の価格を動的に決定してもよい。本実施形態においては、このような条件に応じてスタンプ700の価格を決定することにより、視聴者600が感じる体験の価値に応じてスタンプ700の価格が決定されることから、視聴者600に対して、スタンプ700の購入に係る納得感や満足感を生じさせることができる。
 <5.1 サーバ200aの詳細構成>
 まずは、図21を参照して、本実施形態に係るサーバ200aの詳細構成例について説明する。図21は、本実施形態に係るサーバ200aの機能構成例を示す図である。図21に示すように、サーバ200aは、上述した第1の実施形態と同様に、通信部202と、制御部210aと、記憶部240aとを主に有する。以下に、サーバ200aの各機能ブロックについて順次説明するが、通信部202は第1の実施形態と共通するため、ここではその説明を省略する。
 (制御部210a)
 制御部210aは、コントローラであり、図21に示すように、第1の実施形態と同様に、GUI制御部212、視聴者側入力部214、配信者側入力部216(図21では図示省略)、生成部218、出力制御部(配信部)222を含み、さらに、価格決定部224及び決済部226を含む。なお、GUI制御部212、視聴者側入力部214、配信者側入力部216、生成部218、及び出力制御部222は、第1の実施形態と共通するため、ここではこれらの説明を省略し、価格決定部224及び決済部226のみを説明する。
 ~価格決定部224~
 価格決定部224は、取得したスタンプ700に紐づけられた制御コマンド702に含まれる位置情報や形態情報、配信者側入力部216(図21では図示省略)から取得した触覚提示デバイス100とアーティスト602の身体との接触率、もしくは、記憶部240aから取得した視聴者600又はアーティスト602の属性情報に基づいて、スタンプ700(もしくは、制御コマンド702の入力に対する)の価格を決定する。この際、価格決定部224は、後述する記憶部240aに格納された価格データDB248の情報を参照して、価格を決定してもよい。
 ~決済部226~
 決済部226は、例えば、通信部202を介してユーザ端末300から決済指示を受け取った場合には、価格決定部224によって決定した価格に基づき、スタンプ700(もしくは、制御コマンド702の入力に対する)の購入に関する決済を行う。
 (記憶部240a)
 (記憶部240a)
 記憶部240aは、図21に示すように、第1の実施形態と同様に、視聴者プロファイル242、配信者プロファイル244、及び、配信データDB246を含み、さらに、スタンプ700(もしくは、制御コマンド702の入力に対する)の価格を決定するために用いる情報を格納する価格DB248を含む。
 以上、本実施形態に係るサーバ200aの詳細構成例について具体的に説明したが、本実施形態に係るサーバ200aの詳細構成は図21に示す例に限定されるものではなく、例えば、サーバ200aは、第1の実施形態と同様に、判定部220をさらに含んでいてもよい。
 <5.2 情報処理方法>
 以上、本実施形態に係るサーバ200aについて説明した。次に、本実施形態に係る情報処理方法の一例について、図22を参照して説明する。図22は、本実施形態に係る情報処理方法の一例のフローチャート図である。図22に示すように、本実施形態に係る情報処理方法には、ステップS201からステップS208までの複数のステップが含まれている。以下に、本実施形態に係る情報処理方法に含まれる各ステップの詳細を説明する。
 まずは、視聴者600は、ユーザ端末300の表示部302に表示された触覚刺激効果付きスタンプ700から1つの触覚刺激効果付きスタンプ700を選択し、選択したスタンプ700をサーバ200aへ送信する。そして、サーバ200aは、第1の実施形態のステップS101と同様に、ユーザ端末300から送信された、視聴者600が選択した、制御コマンド702と紐づけられた触覚刺激効果付きスタンプ700の情報を取得する(ステップS201)。
 次に、サーバ200aは、価格データDB248の情報を参照して、取得した制御コマンド702に含まれる位置情報や形態情報、触覚提示デバイス100とアーティスト602の身体との接触率、もしくは、視聴者600又はアーティスト602の属性情報に応じて、スタンプ700の価格を決定する(ステップS202)。なお、価格の決定の詳細については、実施例として後述する。
 そして、サーバ200aは、ユーザ端末300から決済指示を受け取った場合には、上述のステップS202で決定した価格に基づき、スタンプ700の購入に関する決済を行う(ステップS203)。この際、サーバ200aは、決済処理の可否についての通知を視聴者600に行うことが好ましい。
 次に、サーバ200aは、ステップS204からステップS208の処理を行うこととなるが、図8に示す、第1の実施形態におけるステップS102からステップS106と同様であるため、ここでは説明を省略する。なお、本実施形態においては、図22のステップS207(NG判定)を行い、生成した触覚制御信号を触覚提示デバイス100へ送信すると判定された場合にのみ、ステップS203の決済処理を行うようにしてもよく、すなわち、図22に示す順序で各ステップが行われていなくてもよい。
 <5.3 実施例>
 以上、本実施形態について説明した。次に、図23から図25を参照して、具体的な実施例を示しながら、本実施形態の例をより具体的に説明する。図23から図25は、本実施形態の実施例に係る表示例を説明するための説明図である。なお、以下に示す実施例は、本実施形態のあくまでも一例であって、本実施形態が下記の実施例に限定されるものではない。
 (実施例1)
 ところで、アーティスト602の体型によっては、触覚提示デバイス100の触覚刺激部106とアーティスト602の身体との接触が悪く、触覚刺激が視聴者600の意図したように提示されない場合がある。そして、意図したように提示される触覚刺激と、意図したように提示されない触覚刺激とを一律の価格に設定した場合、視聴者600に不公平感を与えることが考えられる。そこで、本実施例においては、このような不公平感を与えることを避けるべく、意図したように提示される触覚刺激と、意図したように提示されない触覚刺激とを、異なる価格に設定する。詳細には、本実施例においては、サーバ200aは、触覚提示デバイス100に設けられた装着状態を検知するための装着状態検知センサ(例えば、ファスナ型のセンサ、圧力センサ等)(図示省略)のセンシングデータに基づき、スタンプ700(もしくは、制御コマンド702の入力に対する)の価格を決定する。例えば、サーバ200aは、選択されたスタンプ700に紐づけられた制御コマンド702に、アーティスト602の身体との接触率の高い触覚刺激部106を用いる指示が含まれている場合には、当該スタンプ700の価格を高く設定する。一方、サーバ200aは、上記制御コマンド702に、アーティスト602の身体との接触率の低い触覚刺激部106を用いる指示が含まれている場合には、当該スタンプ700の価格を低く設定する。なお、本実施例においては、装着状態検知センサのセンシングデータは、例えば、アーティスト602が触覚提示デバイス100を装着したことを検知したことをトリガーにして、サーバ200aに取り込まれることができるものとする。
 (実施例2)
 本実施例では、サーバ200aは、アーティスト602ごとに、触覚刺激の知覚感度が高い知覚位置と、触覚刺激の知覚感度が低い知覚位置とがあることから、サーバ200aは、知覚位置ごとの知覚感度の違いにより、各知覚位置に提示される触覚刺激に係るスタンプ700の価格を決定する。例えば、サーバ200aは、選択されたスタンプ700に紐づけられた制御コマンド702に、知覚感度の高い知覚位置にある触覚刺激部106を用いる指示が含まれている場合には、当該スタンプ700の価格を高く設定する。一方、サーバ200aは、上記制御コマンド702に、知覚感度の低い知覚位置にある触覚刺激部106を用いる指示が含まれている場合には、当該スタンプ700の価格を低く設定する。そこで、本実施例においては、サーバ200aは、アーティスト602の知覚位置ごとの知覚感度を示す指数等を配信者プロファイル244として格納しておき、格納された指数に基づいて、スタンプ700(もしくは、制御コマンド702の入力に対する)の価格を決定する。また、本実施例においては、知覚感度に応じて価格を決定することに限定されるものではなく、例えば、スタンプ700や触覚刺激(波形、知覚位置等)に対する視聴者600やアーティスト602からの人気(選択される頻度等から推定できる)に応じて、価格を決定してもよく、特に限定されるものではない。
 (実施例3)
 本実施例では、サーバ200aは、視聴者600の属性情報(例えば、購入実績、会員ランク、会員コース等)に応じて、スタンプ700(もしくは、制御コマンド702の入力に対する)の価格を決定する。例えば、本実施例においては、サーバ200aは、これまで視聴者600がスタンプ700の購入の際に支払った金額を、当該視聴者600の識別情報に紐づけて、視聴者プロファイル242として格納し、格納された金額の総計に基づいて、当該視聴者600が新たに購入するスタンプ700(もしくは、制御コマンド702の入力に対する)の価格を決定する。本実施例においては、サーバ200aは、例えば、当該視聴者600がこれまで支払った金額が多いほど、スタンプ700の購入価格を低く設定してもよく、逆に、スタンプ700の購入価格を高く設定してもよい。また、本実施例においては、これまでの購入金額に応じて価格を決定することに限定されるものではなく、例えば、これまでの購入金額に応じて設定される会員ランクや、スタンプの購入前に視聴者600が加入する会員コース(例えば、おためしコース、新規入会コース、上級コース等)に応じて、価格を決定してもよく、特に限定されるものではない。この際、サーバ200aは、ユーザ端末300の表示部302に、スタンプ700の選択画面として、図23に示されるような画面を表示させてもよい。当該画面には、例えば、スタンプ700の価格をともに、視聴者600の会員ランクや、購入実績に応じて視聴者600に与えられる購入ポイントが表示されている。
 また、本実施例においては、価格だけでなく、視聴者600の属性情報(例えば、購入実績、会員ランク、会員コース等)に応じて、視聴者600が選択できる触覚刺激の波形種類、強度、知覚位置等の範囲が決定されてもよい。例えば、サーバ200aは、当該視聴者600がこれまで支払った金額が多いほど、選択可能な触覚刺激の上限が大きくなるように設定する。さらに、本実施例においては、サーバ200aは、選択可能な範囲だけでなく、視聴者600の属性情報に応じて、スタンプ700を送信できる順番が優先されるように設定してもよい。例えば、サーバ200aは、当該視聴者600がこれまで支払った金額が多いほど、スタンプ700を送信できる順番が優先される。この際、サーバ200aは、ユーザ端末300の表示部302に、スタンプ700の選択画面として、図24に示されるような画面を表示させてもよい。当該画面には、例えば、位置や順番をアップグレードするボタンが表示され、例えば、視聴者600が、位置をアップグレードするボタンに対して操作を行った場合には、図25に示されるような位置選択画面に遷移する。そして、当該位置選択画面においては、人体モデル表示812が示されており、当該人体モデル表示812上には、当該視聴者600が選択可能な触覚刺激部106に該当する領域814が示され、併せてその価格が表示されている。そこで、視聴者600は、価格を確認しながら、領域814に対して操作を行うことにより、所望の触覚位置を選択することができる。以上にように、上述した本実施例においては、例えば、多くスタンプ700を購入した、又は、多額に支払った視聴者600を優遇するような仕組みを提供することができることから、スタンプ700の購入意欲をより増進することができる。
 <<6. 第5の実施形態>>
 また、本実施形態においては、触覚刺激効果付きスタンプ700を複数の視聴者600間で交換したり、収集したりできるようにすることにより、スタンプ700の購入意欲をより増進することができる。
 詳細には、本実施形態においては、例えば、アーティスト602のパフォーマンス映像の配信中に、自動的に、触覚刺激効果付きスタンプ700の選択画面やスタンプ700自体を視聴者600の有するユーザ端末300に自動的に配信する。そして、視聴者600に対して、配信中に、当該スタンプ700を当該アーティスト602に送信することを促すようにする。また、場所や日時を限定して(例えば、ライブ会場で、当該アーティストがパフォーマンス中の日時に限定する等)、通常では配信等しないような希少価値のある触覚刺激効果付きスタンプ700(いわゆる、「レアスタンプ」)を視聴者600に配信してもよい。このようにすることで、視聴者600は、希少価値の高いスタンプ700が欲しいために、例えば、ライブ会場に足を運ぶようになることから、ライブ会場の集客力を向上させることができる。なお、上記レアスタンプは、配信中であれば、視聴者600は、通信接続することにより自動的に取得できてもよく、もしくは、購入手続き等の処理を行うことで取得できてもよく、特に限定されるものではない。
 さらに、このようなスタンプ選択画面を介して取得した触覚刺激効果付きスタンプ700を複数の視聴者600間でSNS(Social Networking Service)を通じて交換したり、集めたスタンプ700の数や種類をランキングとして公開したりしてもよい。例えば、本実施形態においては、サーバ200は、これまで視聴者600が取得したスタンプ700の情報を、当該視聴者600の識別情報に紐づけて、視聴者プロファイル242として格納する。また、本実施形態においては、サーバ200は、所定の種類の触覚刺激効果付きスタンプ700を収集できた場合(所定の条件を満たした場合)には、新たな触覚刺激効果付きスタンプ700(例えば、「レアスタンプ」)を当該視聴者600に付与してもよい。このようにすることで、視聴者600は、希少価値の高いスタンプ700が欲しいために、所定の種類のスタンプを収集、購入するようになることから、スタンプ700の購入意欲をより増進することができる。
 <<7. 第6の実施形態>>
 また、本実施形態においては、ゲーム性を持たせることにより、触覚刺激効果付きスタンプ700の購入意欲をより増進することができる。
 <7.1 サーバ200bの詳細構成>
 まずは、図26を参照して、本実施形態に係るサーバ200bの詳細構成について説明する。図26は、本実施形態に係るサーバ200bの機能構成例を示す図である。図26に示すように、サーバ200bは、上述した第1及び第4の実施形態と同様に、通信部202と、制御部210bと、記憶部240aとを主に有する。以下に、サーバ200bの各機能ブロックについて順次説明するが、通信部202及び記憶部240aは第1及び第4の実施形態と共通するため、ここでは説明を省略する。
 (制御部210b)
 制御部210bは、コントローラであり、図26に示すように、第1の実施形態と同様に、GUI制御部212、視聴者側入力部214、配信者側入力部216、生成部218、及び出力制御部(配信部)222を含み、さらに、ポイント付与部228を含む。なお、GUI制御部212、視聴者側入力部214、配信者側入力部216、生成部218、及び出力制御部222は、第1の実施形態と共通するため説明を省略し、以下では、ポイント付与部228のみを説明する。
 ~ポイント付与部228~
 ポイント付与部228は、触覚刺激を知覚したアーティスト602から入力された、当該触覚刺激に対する評価を、配信者側入力部216を介して取得し、取得した評価に応じて、当該視聴者600にポイントを付与する。なお、付与したポイントは、当該視聴者600の識別情報に紐づけて、記憶部240aの視聴者プロファイル242に格納される。
 <7.2 実施形態>
 以上、本実施形態に係るサーバ200bについて説明した。次に、本実施形態について、図27及び図28を参照して説明する。図27及び図28は、本実施形態に係る表示例を説明するための説明図である。
 ここでは、例えば、一人のアーティスト602に対して、二人の視聴者600が触覚刺激効果付きスタンプ700を投げあい(送信しあい)、その評価を競い合うゲームを想定する。まずは、アーティスト602は、投げられたスタンプ700による触覚刺激に対して評価を行い、サーバ200bは、当該評価に応じて、各視聴者600に対してポイントを付与する。さらに、サーバ200bは、付与したポイントの数に応じて、二人の視聴者600の勝敗を決定し、ユーザ端末300の表示部302に、勝敗結果を示す画面として、図27に示されるような画面を表示させてもよい。また、サーバ200bは、図28に示すように、このような対戦を重ねて、各視聴者600に付与されたポイント数の総計に基づく、ランキングを示してもよい。
 さらに、本実施形態においては、アーティスト602による評価は、アーティスト602によって手入力される場合に限定されるだけでなく、例えば、アーティスト602の身体に装着された生体情報センサ(図示省略)のセンシングデータに基づく評価であってもよい。例えば、触覚刺激によって生じたアーティスト602の心拍数の増加量が多いほど、高い評価を与えるようにする。なお、本実施形態においては、アーティスト602の生体情報センサによるセンシングデータは、例えば、ユーザ端末300に表示されてもよい。
 このように、本実施形態においては、ゲーム性を持たせることにより、触覚刺激効果付きスタンプ700の購入意欲をより増進することができる。
 <7.3 変形例1>
 また、本実施形態においては、視聴者600から触覚刺激効果付きスタンプ700が投げられるだけでなく、例えば、アーティスト602が投げられたスタンプ700に対して所定の動作を行った場合には、当該スタンプ700に係る触覚刺激が提示されないといった、アーティスト602を交えたゲームとすることもできる。以下に、このようなゲームに係る変形例を説明する。
 (サーバ200cの詳細構成)
 まずは、図29を参照して、本変形例に係るサーバ200cの詳細構成について説明する。図29は、本変形例に係るサーバ200cの機能構成例を示す図である。図29に示すように、サーバ200cは、上述した第1の実施形態と同様に、通信部202と、制御部210cと、記憶部240とを主に有する。以下に、サーバ200cの各機能ブロックについて順次説明するが、通信部202及び記憶部240は第1の実施形態と共通するため、ここでは説明を省略し、制御部210cのみを説明する。
 制御部210cは、コントローラであり、図29に示すように、第1の実施形態と同様に、GUI制御部212、視聴者側入力部214、配信者側入力部216、生成部218、判定部220、及び、出力制御部(配信部)222を含む。さらに、本変形例においては、配信者側入力部216は、例えば、触覚提示デバイス100に設けられた各種センサのセンシングデータ等を取得し、判定部220に出力する。
 (情報処理方法)
 以上、本変形例に係るサーバ200cについて説明した。次に、本変形例に係る情報処理方法について、図30及び図31を参照して説明する。図30は、本実施形態の変形例に係る情報処理方法の一例のフローチャート図であり、図31は、本実施形態の変形例に係る表示例を説明するための説明図である。図30に示すように、本変形例に係る情報処理方法には、ステップS301からステップS308までの複数のステップが含まれている。以下に、本変形例に係る情報処理方法に含まれる各ステップの詳細を説明する。
 まずは、サーバ200cは、ステップS301からステップS304の処理を行うこととなるが、図8に示す、第1の実施形態におけるステップS101からステップS104ちと同様であるため、ここではこれらステップの処理の説明を省略する。
 次に、サーバ200cは、図31に示すような、コイン等のアイコンと、当該アイコンが視聴者600側からアーティスト602まで移動する軌跡808とを、ユーザ端末300の表示部302、及び、モニタ110の表示部(図示省略)等に、例えば、AR(Augmented Reality)表示する(ステップS305)。なお、本変形例においては、軌跡808や軌跡808が表示される速度は、視聴者600が、触覚刺激効果付きスタンプ700を投げる前に設定することができ、もしくは、表示された後に、修正することもできる。さらに、本変形例においては、AR表示の際に、所定の音声を、ユーザ端末300やモニタ110のスピーカ(図示省略)等から出力してもよい。
 そして、アーティスト602は、モニタ110の表示部(図示省略)等に表示された軌跡808を視認し、それに反応するように動作する(例えば、軌跡808から推定される上記アイコンの落下位置から逃げる動作、所定の端末(例えば、モニタ110)に対してタッチ操作を行う動作、キーワードを発話する動作等)。次に、サーバ200cは、アーティスト602の動作に関するセンシングデータを取得する(ステップS306)。例えば、上記アーティスト602の逃げる動作は、カメラ120によって検知することができ、タッチ操作は、モニタ110に設けられたタッチパネル(図示省略)によって検知することができ、アーティスト602の発話は、触覚提示デバイス100に設けられたマイク(図示省略)によって検知することができる。
 次に、サーバ200cは、上述したステップS306において取得したセンシングデータに基づいて、触覚提示デバイス100において触覚刺激を提示するか否かを判定する(ステップS307)。例えば、サーバ200cは、アーティスト602の逃げる動作が所定のタイミングで行われた場合や、アーティスト602のタッチ操作のタイミングが所定のタイミングであった場合や、アーティスト602の発話が所定のキーワード(例えば、図31に示すように、消えろ)であった場合には、触覚刺激の提示を行わないと判定する。また、本変形例においては、所定の数以上の複数のスタンプ700(もしくは、制御コマンド702)が同時に送付された場合には、アーティスト602の所定の動作が検知された場合であっても、触覚刺激の提示を行うようにしてもよい。また、本変形例においては、視聴者600が、触覚刺激効果付きスタンプ700を投げる際に、所望するキーワードを入力又は選択することができ、さらに当該キーワードがモニタ110に表示されてもよい。この場合、アーティスト602が、モニタ110に表示されたキーワードを正しく発話できたことが検知された場合に、サーバ200cは、触覚刺激の提示を行わない又は行うと判定するようにしてもよい。このようにすることで、本変形例によれば、視聴者600は、アーティスト602のパフォーマンスを視聴するといった一方向の体験だけでなく、さらにアーティスト602との交流等といった、リアルタイムで、且つ、インタラクティブな、より付加価値の高い体験を得ることができる。
 そして、サーバ200cは、ステップS308の処理を行うこととなるが、図8に示す、第1の実施形態におけるステップS106と同様であるため、ここでは説明を省略する。
 本変形例においては、視聴者600だけでなく、アーティスト602を交えて、スタンプ700を投げ合って、投げられたスタンプ700を避けるといった、一種の仮想的などドッチボールのようなゲームを行うことができる。その結果、視聴者600は、アーティスト602と直接的にスリリングなやり取りを行っているように感じることができ、より付加価値の高い体験を得ることができる。
 なお、本変形例においては、アーティスト602の所定の動作を検知した場合に、触覚刺激の提示を行わないことに限定されるものではなく、アーティスト602の所定の動作を検知した場合に、触覚刺激の強度等を変更してもよい。また、触覚刺激の提示を行わない場合には、ユーザ端末300を介して、所定の音声(例えば、消滅音等)を出力してもよく、もしくは、ユーザ端末300を振動させてもよい。さらに、本変形例においては、サーバ200cは、スタンプ700の種類、アーティスト602の属性情報、視聴者600の属性情報等の、組み合わせに応じて、触覚刺激を提示するか否かの判定を行ってもよい。
 <7.4 変形例2>
 また、視聴者600が触覚刺激効果付きスタンプ700を投げる際に、偶然性及び技能性を加味して投げるスタンプ700の内容が決定されるようにすることにより、よりゲーム性を高めてもよい。このような変形例を、図32を参照して説明する。図32は、本実施形態の変形例に係る表示例を説明するための説明図である。
 本変形例においては、例えば、触覚刺激効果付きスタンプ700を投げる際のレベルメータの値によって、触覚刺激の強度が決定されるものとする。詳細には、図32に示すように、ユーザ端末300の表示部302に、触覚刺激の強度を指定するカーソル820のアニメーションを表示する。当該アニメーションにおいては、カーソル820は、左右に常に移動しているものとする。さらに、表示部302には、例えば、弓矢のようなアイコン822が表示されている。視聴者600は、当該アイコン822に対してスワイプし、指先を画面から離すような操作を行うことにより、スタンプ700を投げることができる。そして、サーバ200cの視聴者側入力部214は、離す動作を行った際の、カーソル820の位置に該当する強度を、投げたスタンプ700に係る触覚刺激の強度として取得する。
 本変形例においては、カーソル820が常に左右に動いていることから、設定される強度は、偶然に決まるものである。加えて、所望する強度に設定しようとするためには、視聴者600は、カーソル820の動きを踏まえて、アイコン822に対する操作を注意深く行う必要があり、技能を必要とする。そこで、例えば、視聴者600は、所望の強度に設定できなかった場合には、設定できるまで何度も繰り返しスタンプ700を投げることとなる。すなわち、本変形例は、技能性と偶然性との両面を持つゲームを提供するものであることから、より娯楽性の高い体験を視聴者600に提供することができる。
 なお、本変形例は、アイコン822に対する操作に限定されるものではなく、例えば、視聴者600の、ユーザ端末300の保持角度を変化させる等のモーション操作の速度に応じて、触覚刺激の強度等を設定してもよく、特に限定されるものではない。また、本変形例においては、カーソル820はアニメーションであることに限定されるものではなく、視聴者600の操作により移動することができるカーソル820であってもよい。この場合、サーバ200cの視聴者側入力部214は、視聴者600の操作により当該カーソル820を移動させた位置に該当する強度を、投げたスタンプ700に係る触覚刺激の強度として取得する。
 <7.5 変形例3>
 本開示の実施形態及び変形例においては、触覚提示デバイス100に設けられた触覚刺激部106の振動によるノイズが、触覚提示デバイス100の肩部分に設けられたマイク(図示省略)に入ってしまうことがある。そこで、以下においては、マイクにおける触覚刺激部106の振動によるノイズをキャンセルするための変形例を説明する。
 詳細には、サーバ200は、触覚刺激部106に与えられた波形に応じて、ノイズを予測する。例えば、サーバ200は、あらかじめ触覚刺激部106に様々な波形を与え、発生したノイズを機械学習して得られたデータベース(DB)(図示省略)を参照することにより、ノイズを予測することができる。そして、サーバ200は、触覚提示デバイス100の肩部分に設けられたマイク(図示省略)で集音した音声から、予測したノイズをキャンセルすることにより、ノイズにより音声の劣化を避けることができる。
 なお、本変形例においては、サーバ200は、触覚提示デバイス100の肩部分に設けられたマイク(図示省略)と触覚刺激部106との距離に応じて、キャンセルする波形を調整してもよい。また、例えば、アーティスト602がスタジオ内でパフォーマンスを行っている場合には、スタジオの壁に反射して生じるノイズを当該マイクが集音してしまうこともある。そのような場合には、サーバ200は、触覚提示デバイス100の肩部分に設けられたマイクと壁との距離に応じて、キャンセルする波形を調整してもよい。
 また、本変形例においては、触覚刺激部106の振動によるノイズをキャンセルする手段としては、上記マイク(図示省略)に指向性を持たせて、マイクがアーティスト602の音声を集中的に集音するようにしてもよく、もしくは、マイクが集音できる周波数領域を限定して、触覚刺激部106の振動によるノイズの集音を避けるようにしてもよい。
 <<8. まとめ>>
 以上説明したように、本開示の実施形態においては、視聴者600が選択した触覚刺激効果付きスタンプ700に対応する触覚刺激をアーティスト602に提示することができる。そこで、本実施形態においては、アーティスト602は、提示された触覚刺激を知覚し、アクションを起こすこととなれば、視聴者600は、自身が送信したスタンプ700によって提示された触覚刺激により誘起されたアクションをリアルタイムで確認することができる。そして、本実施形態によれば、視聴者600は、自身が送信したスタンプ700に係る触覚刺激により誘起されたアクションをリアルタイムで確認することができれば、アーティスト602と直接的にやり取りを行っているように感じることができ、すなわち、リアルタイムで、且つ、インタラクティブな付加価値の高い体験を得ることができる。
 なお、本開示の実施形態は、上述したようなライブ配信等に適用されるだけではなく、例えば、SNS上でやり取りされるスタンプ700等に適用することも可能である。その場合、例えば、触覚提示デバイス100の代わりに、ユーザ端末300が振動等することにより、スタンプ700を送付した相手に、触覚刺激を与えることができる。
 <<9. ハードウェア構成について>>
 上述してきた各実施形態に係るサーバ200等の情報処理装置は、例えば図33に示すような構成のコンピュータ1000によって実現される。以下、本開示の各実施形態に係るサーバ200を例に挙げて説明する。図33は、サーバ200の機能を実現するコンピュータの一例を示すハードウェア構成図である。コンピュータ1000は、CPU1100、RAM1200、ROM(Read Only Memory)1300、HDD(Hard Disk Drive)1400、通信インターフェイス1500、及び入出力インターフェイス1600を有する。コンピュータ1000の各部は、バス1050によって接続される。
 CPU1100は、ROM1300又はHDD1400に格納されたプログラムに基づいて動作し、各部の制御を行う。例えば、CPU1100は、ROM1300又はHDD1400に格納されたプログラムをRAM1200に展開し、各種プログラムに対応した処理を実行する。
 ROM1300は、コンピュータ1000の起動時にCPU1100によって実行されるBIOS(Basic Input Output System)等のブートプログラムや、コンピュータ1000のハードウェアに依存するプログラム等を格納する。
 HDD1400は、CPU1100によって実行されるプログラム、及び、かかるプログラムによって使用されるデータ等を非一時的に記録する、コンピュータが読み取り可能な記録媒体である。具体的には、HDD1400は、プログラムデータ1450の一例である本開示に係る情報処理プログラムを記録する記録媒体である。
 通信インターフェイス1500は、コンピュータ1000が外部ネットワーク1550(例えばインターネット)と接続するためのインターフェイスである。例えば、CPU1100は、通信インターフェイス1500を介して、他の機器からデータを受信したり、CPU1100が生成したデータを他の機器へ送信したりする。
 入出力インターフェイス1600は、入出力デバイス1650とコンピュータ1000とを接続するためのインターフェイスである。例えば、CPU1100は、入出力インターフェイス1600を介して、キーボードやマウス等の入力デバイスからデータを受信する。また、CPU1100は、入出力インターフェイス1600を介して、ディスプレイやプリンタ等の出力デバイスにデータを送信する。また、入出力インターフェイス1600は、所定の記録媒体(メディア)に記録されたプログラム等を読み取るメディアインターフェイスとして機能してもよい。メディアとは、例えばDVD(Digital Versatile Disc)、PD(Phase change rewritable Disk)等の光学記録媒体、MO(Magneto-Optical disk)等の光磁気記録媒体、テープ媒体、磁気記録媒体、または半導体メモリ等である。
 例えば、コンピュータ1000が本開示の実施形態に係るサーバ200として機能する場合、コンピュータ1000のCPU1100は、RAM1200上にロードされた情報処理プログラムを実行することにより、触覚制御信号を生成する等の機能を実現する。また、HDD1400には、本開示の実施形態に係る情報処理プログラム等が格納される。なお、CPU1100は、プログラムデータ1450をHDD1400から読み取って実行するが、他の例として、外部ネットワーク1550を介して、他の装置からこれらのプログラムを取得してもよい。
 また、本実施形態に係る情報処理装置は、例えばクラウドコンピューティング等のように、ネットワークへの接続(または各装置間の通信)を前提とした、複数の装置からなるシステムに適用されてもよい。つまり、上述した本実施形態に係る情報処理装置は、例えば、複数の装置により本実施形態に係る情報処理方法に係る処理を行う情報処理システムとして実現することも可能である。
 <<10. 補足>>
 また、以上に説明した実施形態は、例えば、コンピュータを本実施形態に係る情報処理装置として機能させるためのプログラム、及びプログラムが記録された一時的でない有形の媒体を含むことができる。また、上記プログラムをインターネット等の通信回線(無線通信も含む)を介して頒布してもよい。
 さらに、上述した各実施形態の処理における各ステップは、必ずしも記載された順序に沿って処理されなくてもよい。例えば、各ステップは、適宜順序が変更されて処理されてもよい。また、各ステップは、時系列的に処理される代わりに、一部並列的に又は個別的に処理されてもよい。さらに、各ステップの処理方法についても、必ずしも記載された方法に沿って処理されなくてもよく、例えば、他の機能ブロックによって他の方法で処理されていてもよい。
 以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
 また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、又は上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
 なお、本技術は以下のような構成を取ることができる。
(1)
 第1のユーザから入力された、触覚提示デバイスによって触覚刺激を提示する提示部を指定する提示部情報と前記触覚刺激の形態を指定する形態情報に対応する制御コマンドを取得する取得部と、
 前記制御コマンドに応じて、前記提示部に前記触覚刺激を提示するための触覚制御信号を生成する生成部と、
 前記触覚制御信号を第2のユーザの身体に装着された前記触覚提示デバイスに配信する配信部と、
 を備える、情報処理装置。
(2)
 前記制御コマンドは、スタンプ選択画面に表示されたスタンプに予め紐づけられており、
 前記第1のユーザは、スタンプ選択画面に表示された前記スタンプを選択することにより、前記制御コマンドを入力する、
 上記(1)に記載の情報処理装置。
(3)
 前記スタンプは複数の前記第1のユーザ間で交換される、上記(2)に記載の情報処理装置。
(4)
 前記提示部情報及び前記形態情報のうちの少なくとも一方に基づいて、前記制御コマンドの入力に対する価格を決定する価格決定部をさらに備える、上記(1)~(3)のいずれか1つに記載の情報処理装置。
(5)
 前記価格決定部は、前記第1のユーザの属性情報及び前記第2のユーザの属性情報の少なくとも一方に基づいて、前記価格を決定する、上記(4)に記載の情報処理装置。
(6)
 前記第1のユーザが取得した前記制御コマンドを、前記第1のユーザの識別情報に紐づけて格納する記憶部をさらに備える、上記(1)~(5)のいずれか1つに記載の情報処理装置。
(7)
 前記第1のユーザが取得した複数の前記制御コマンドが所定の条件を満たした場合に、新たな制御コマンドを発行する、上記(6)に記載の情報処理装置。
(8)
 前記記憶部は、前記第1のユーザのそれぞれが支払った金額の情報を、前記第1のユーザの識別情報に紐づけて格納する、上記(7)に記載の情報処理装置。
(9)
 前記記憶部は、前記触覚刺激を知覚した前記第2のユーザから入力された、前記触覚刺激に対する評価を取得し、前記評価の情報を、前記触覚刺激に対応する前記制御コマンドを入力した前記第1のユーザの識別情報に紐づけて格納する、
 上記(6)に記載の情報処理装置。
(10)
 前記第2のユーザの動作に基づき、前記触覚提示デバイスにおいて前記触覚刺激を提示するか否かを判定する判定部をさらに備える、
 上記(1)~(9)のいずれか1つに記載の情報処理装置。
(11)
 前記動作は、前記第2のユーザを撮像する撮像デバイス、前記第2のユーザのモーションデータを取得するモーションセンサ、及び、前記第2のユーザの発話音声を集音するサウンドセンサのうちの少なくとも1つから検出される、
 上記(10)に記載の情報処理装置。
(12)
 前記判定部は、前記第2のユーザが所定の動作を行った場合、又は、前記第2のユーザが所定のキーワードを発話した場合に、前記触覚刺激の提示を行わないと判定する、上記(10)に記載の情報処理装置。
(13)
 前記取得部は、前記触覚刺激の強さを指定するカーソルを表示し、当該カーソルに対する前記第1のユーザの操作による前記強さの指定を受け付ける、
 上記(1)~(12)のいずれか1つに記載の情報処理装置。
(14)
 前記取得部は、前記カーソルが移動するアニメーションを表示し、前記第1のユーザの操作を受け付けた際の前記カーソルの位置に応じて、前記第1のユーザの操作による前記強さの指定を受け付ける、
 上記(13)に記載の情報処理装置。
(15)
 触覚提示デバイスによって触覚刺激を提示する提示部を指定する提示部情報と前記触覚刺激の形態を指定する形態情報とを含む制御コマンドが入力される入力部と、
 入力された前記制御コマンドを、当該制御コマンドに応じた触覚制御信号を生成して、前記触覚提示デバイスに配信する情報処理装置に送信する送信部と、
 を備える、情報処理端末。
(16)
 前記提示部情報は、提示位置の情報を含む上記(1)に記載の情報処理装置。
(17)
 前記触覚提示デバイスは触覚刺激部を含み、
 前記提示部情報は、前記触覚刺激部のID情報を含む、上記(1)に記載の情報処理装置。
(18)
 前記触覚制御信号は、前記制御コマンドに対応する触覚制御IDであり、
 前記触覚提示デバイスは、前記触覚制御IDに対応する前記提示部情報と前記形態情報とに基づいて触覚提示を行う、
 上記(1)に記載の情報処理装置。
(19)
 前記制御コマンドは、課金処理である。
 上記(1)に記載の情報処理装置。
(20)
 情報処理装置を、
  第1のユーザから入力された制御コマンドを取得し
  第2のユーザのライブ配信の画像を受信し、
  前記受信したライブ配信の画像を表示部に表示させ、
  前記取得した制御コマンドをサーバへ通信部を介して送信する、
 制御部として機能させるプログラムであって、
 前記制御コマンドに応じて触覚制御信号が生成され、
 前記触覚制御信号が、前記第2のユーザの身体に装着された触覚提示デバイスに配信され、
 前記制御コマンドに対応する前記触覚提示デバイスの触覚刺激を提示する提示部を指定する提示部情報と前記触覚刺激の形態を指定する形態情報とに基づいて、前記触覚提示デバイスを介して触覚提示を行う、
 プログラム。
(21)
 第1のユーザから入力された制御コマンドを受信し、
 第2のユーザのライブ配信の画像を受信する
 制御部を備え、
 前記制御コマンドに応じて触覚制御信号を生成し、
 前記触覚制御信号が前記第2のユーザの身体に装着された触覚提示デバイスへ配信し、
 前記制御コマンドに対応する前記触覚提示デバイスの触覚刺激を提示する提示部を指定する提示部情報と前記触覚刺激の形態を指定する形態情報とに基づいて、前記触覚提示デバイスを介して触覚提示を行う、
 情報処理装置。
  10  情報処理システム
  100  触覚提示デバイス
  102、202、308  通信部
  104、210、210a、210b、210c、310  制御部
  106  触覚刺激部
  110  モニタ
  120、322  カメラ
  200、200a、200b、200c  サーバ
  212  GUI制御部
  214  視聴者側入力部
  216  配信者側入力部
  218  生成部
  220  判定部
  222  出力制御部
  224  価格決定部
  226  決済部
  228  ポイント付与部
  240、240a、312  記憶部
  242  視聴者プロファイル
  244  配信者プロファイル
  246  配信データDB
  248  価格データDB
  300  ユーザ端末
  300a  スマートフォン
  300b  タブレット
  302  表示部
  304  操作入力部
  306  スピーカ
  320  センサ部
  324  マイク
  326  ジャイロセンサ
  328  加速度センサ
  600  視聴者
  602  アーティスト
  700  スタンプ
  702  制御コマンド
  800  表示
  802  アバター
  804  通知
  806、822  アイコン
  808  軌跡
  810  コメント
  812  モデル表示
  814  領域
  816  マーカ
  820、824  カーソル
  826  波形

Claims (21)

  1.  第1のユーザから入力された、触覚提示デバイスによって触覚刺激を提示する提示部を指定する提示部情報と前記触覚刺激の形態を指定する形態情報に対応する制御コマンドを取得する取得部と、
     前記制御コマンドに応じて、前記提示部に前記触覚刺激を提示するための触覚制御信号を生成する生成部と、
     前記触覚制御信号を第2のユーザの身体に装着された前記触覚提示デバイスに配信する配信部と、
     を備える、情報処理装置。
  2.  前記制御コマンドは、スタンプ選択画面に表示されたスタンプに予め紐づけられており、
     前記第1のユーザは、スタンプ選択画面に表示された前記スタンプを選択することにより、前記制御コマンドを入力する、
     請求項1に記載の情報処理装置。
  3.  前記スタンプは複数の前記第1のユーザ間で交換される、請求項2に記載の情報処理装置。
  4.  前記提示部情報及び前記形態情報のうちの少なくとも一方に基づいて、前記制御コマンドの入力に対する価格を決定する価格決定部をさらに備える、請求項1に記載の情報処理装置。
  5.  前記価格決定部は、前記第1のユーザの属性情報及び前記第2のユーザの属性情報の少なくとも一方に基づいて、前記価格を決定する、請求項4に記載の情報処理装置。
  6.  前記第1のユーザが取得した前記制御コマンドを、前記第1のユーザの識別情報に紐づけて格納する記憶部をさらに備える、請求項1に記載の情報処理装置。
  7.  前記第1のユーザが取得した複数の前記制御コマンドが所定の条件を満たした場合に、新たな制御コマンドを発行する、請求項6に記載の情報処理装置。
  8.  前記記憶部は、前記第1のユーザのそれぞれが支払った金額の情報を、前記第1のユーザの識別情報に紐づけて格納する、請求項7に記載の情報処理装置。
  9.  前記記憶部は、前記触覚刺激を知覚した前記第2のユーザから入力された、前記触覚刺激に対する評価を取得し、前記評価の情報を、前記触覚刺激に対応する前記制御コマンドを入力した前記第1のユーザの識別情報に紐づけて格納する、
     請求項6に記載の情報処理装置。
  10.  前記第2のユーザの動作に基づき、前記触覚提示デバイスにおいて前記触覚刺激を提示するか否かを判定する判定部をさらに備える、
     請求項1に記載の情報処理装置。
  11.  前記動作は、前記第2のユーザを撮像する撮像デバイス、前記第2のユーザのモーションデータを取得するモーションセンサ、及び、前記第2のユーザの発話音声を集音するサウンドセンサのうちの少なくとも1つから検出される、
     請求項10に記載の情報処理装置。
  12.  前記判定部は、前記第2のユーザが所定の動作を行った場合、又は、前記第2のユーザが所定のキーワードを発話した場合に、前記触覚刺激の提示を行わないと判定する、請求項10に記載の情報処理装置。
  13.  前記取得部は、前記触覚刺激の強さを指定するカーソルを表示し、当該カーソルに対する前記第1のユーザの操作による前記強さの指定を受け付ける、
     請求項1に記載の情報処理装置。
  14.  前記取得部は、前記カーソルが移動するアニメーションを表示し、前記第1のユーザの操作を受け付けた際の前記カーソルの位置に応じて、前記第1のユーザの操作による前記強さの指定を受け付ける、
     請求項13に記載の情報処理装置。
  15.  触覚提示デバイスによって触覚刺激を提示する提示部を指定する提示部情報と前記触覚刺激の形態を指定する形態情報とを含む制御コマンドが入力される入力部と、
     入力された前記制御コマンドを、当該制御コマンドに応じた触覚制御信号を生成して、前記触覚提示デバイスに配信する情報処理装置に送信する送信部と、
     を備える、情報処理端末。
  16.  前記提示部情報は、提示位置の情報を含む請求項1に記載の情報処理装置。
  17.  前記触覚提示デバイスは触覚刺激部を含み、
     前記提示部情報は、前記触覚刺激部のID情報を含む、請求項1に記載の情報処理装置。
  18.  前記触覚制御信号は、前記制御コマンドに対応する触覚制御IDであり、
     前記触覚提示デバイスは、前記触覚制御IDに対応する前記提示部情報と前記形態情報とに基づいて触覚提示を行う、
     請求項1に記載の情報処理装置。
  19.  前記制御コマンドは、課金処理である。
     請求項1に記載の情報処理装置。
  20.  情報処理装置を、
      第1のユーザから入力された制御コマンドを取得し
      第2のユーザのライブ配信の画像を受信し、
      前記受信したライブ配信の画像を表示部に表示させ、
      前記取得した制御コマンドをサーバへ通信部を介して送信する、
     制御部として機能させるプログラムであって、
     前記制御コマンドに応じて触覚制御信号が生成され、
     前記触覚制御信号が、前記第2のユーザの身体に装着された触覚提示デバイスに配信され、
     前記制御コマンドに対応する前記触覚提示デバイスの触覚刺激を提示する提示部を指定する提示部情報と前記触覚刺激の形態を指定する形態情報とに基づいて、前記触覚提示デバイスを介して触覚提示を行う、
     プログラム。
  21.  第1のユーザから入力された制御コマンドを受信し、
     第2のユーザのライブ配信の画像を受信する
     制御部を備え、
     前記制御コマンドに応じて触覚制御信号を生成し、
     前記触覚制御信号が前記第2のユーザの身体に装着された触覚提示デバイスへ配信し、
     前記制御コマンドに対応する前記触覚提示デバイスの触覚刺激を提示する提示部を指定する提示部情報と前記触覚刺激の形態を指定する形態情報とに基づいて、前記触覚提示デバイスを介して触覚提示を行う、
     情報処理装置。
PCT/JP2020/035880 2020-01-16 2020-09-23 情報処理装置、情報処理端末及びプログラム WO2021145024A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
DE112021000549.9T DE112021000549T5 (de) 2020-01-16 2021-01-15 Informationsverarbeitungsvorrichtung, informationsverarbeitungsendgerät und programm
US17/781,241 US20230009322A1 (en) 2020-01-16 2021-01-15 Information processing device, information processing terminal, and program
JP2021571278A JPWO2021145454A1 (ja) 2020-01-16 2021-01-15
PCT/JP2021/001367 WO2021145454A1 (ja) 2020-01-16 2021-01-15 情報処理装置、情報処理端末及びプログラム
CN202180008481.9A CN114930274A (zh) 2020-01-16 2021-01-15 信息处理设备、信息处理终端和程序

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US202062961914P 2020-01-16 2020-01-16
US62/961,914 2020-01-16

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/781,241 Continuation-In-Part US20230009322A1 (en) 2020-01-16 2021-01-15 Information processing device, information processing terminal, and program

Publications (1)

Publication Number Publication Date
WO2021145024A1 true WO2021145024A1 (ja) 2021-07-22

Family

ID=76864107

Family Applications (2)

Application Number Title Priority Date Filing Date
PCT/JP2020/035880 WO2021145024A1 (ja) 2020-01-16 2020-09-23 情報処理装置、情報処理端末及びプログラム
PCT/JP2021/001367 WO2021145454A1 (ja) 2020-01-16 2021-01-15 情報処理装置、情報処理端末及びプログラム

Family Applications After (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/001367 WO2021145454A1 (ja) 2020-01-16 2021-01-15 情報処理装置、情報処理端末及びプログラム

Country Status (5)

Country Link
US (1) US20230009322A1 (ja)
JP (1) JPWO2021145454A1 (ja)
CN (1) CN114930274A (ja)
DE (1) DE112021000549T5 (ja)
WO (2) WO2021145024A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023037463A1 (ja) * 2021-09-09 2023-03-16 豊田合成株式会社 触感提示装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09212331A (ja) * 1996-02-01 1997-08-15 Seiko Epson Corp 携帯用情報収集装置およびその情報管理方法
WO2016151794A1 (ja) * 2015-03-25 2016-09-29 エヌ・ティ・ティ・ソフトウェア株式会社 通信制御装置、ユーザ端末、及びプログラム
JP2018195068A (ja) * 2017-05-17 2018-12-06 日本電産コパル株式会社 振動パターン情報伝送システム
JP2019003708A (ja) * 2018-10-15 2019-01-10 日本電信電話株式会社 電子装置および皮膚覚提示システム
JP2019144629A (ja) * 2018-02-16 2019-08-29 ソニー株式会社 情報処理装置、情報処理方法及び記録媒体

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6750877B2 (en) * 1995-12-13 2004-06-15 Immersion Corporation Controlling haptic feedback for enhancing navigation in a graphical environment
EP3110606B1 (en) * 2014-02-24 2021-09-15 Sony Group Corporation Smart wearable devices and methods for automatically configuring capabilities with biology and environment capture sensors
US9875625B2 (en) * 2015-12-18 2018-01-23 Immersion Corporation Systems and methods for multifunction haptic output devices
DE112017001918T5 (de) * 2016-04-07 2018-12-20 Sony Corporation System, Endgerätevorrichtung, Verfahren und Aufzeichnungsmedium
WO2018008217A1 (ja) 2016-07-07 2018-01-11 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09212331A (ja) * 1996-02-01 1997-08-15 Seiko Epson Corp 携帯用情報収集装置およびその情報管理方法
WO2016151794A1 (ja) * 2015-03-25 2016-09-29 エヌ・ティ・ティ・ソフトウェア株式会社 通信制御装置、ユーザ端末、及びプログラム
JP2018195068A (ja) * 2017-05-17 2018-12-06 日本電産コパル株式会社 振動パターン情報伝送システム
JP2019144629A (ja) * 2018-02-16 2019-08-29 ソニー株式会社 情報処理装置、情報処理方法及び記録媒体
JP2019003708A (ja) * 2018-10-15 2019-01-10 日本電信電話株式会社 電子装置および皮膚覚提示システム

Also Published As

Publication number Publication date
DE112021000549T5 (de) 2022-12-01
JPWO2021145454A1 (ja) 2021-07-22
WO2021145454A1 (ja) 2021-07-22
CN114930274A (zh) 2022-08-19
US20230009322A1 (en) 2023-01-12

Similar Documents

Publication Publication Date Title
JP7389855B2 (ja) 配信ユーザの動きに基づいて生成されるキャラクタオブジェクトのアニメーションを含む動画をライブ配信する動画配信システム、動画配信方法及び動画配信プログラム
JP2018007828A (ja) プログラム及び電子機器
JPWO2019234879A1 (ja) 情報処理システム、情報処理方法およびコンピュータプログラム
WO2020027226A1 (ja) 表示制御システム、表示制御方法、及び、表示制御プログラム
WO2021145452A1 (ja) 情報処理装置及び情報処理端末
WO2021145454A1 (ja) 情報処理装置、情報処理端末及びプログラム
WO2021145451A1 (ja) 情報処理装置及び情報処理端末
JP7437480B2 (ja) プログラム、方法、およびコンピュータ
WO2021145025A1 (ja) 情報処理装置、情報処理端末及びプログラム
JP7366821B2 (ja) 映像表示プログラム
JP6754859B1 (ja) プログラム、方法、およびコンピュータ
WO2022118746A1 (ja) 情報処理装置、情報処理方法、プログラム及び情報処理システム
WO2022118748A1 (ja) 情報処理装置、情報処理方法、プログラム及び情報処理システム
WO2022118747A1 (ja) 情報処理装置、情報処理方法、プログラム及び情報処理システム
JP2021041241A (ja) プログラム及び電子機器
WO2022113329A1 (ja) 方法、コンピュータ可読媒体、コンピュータシステム、および情報処理装置
WO2022137523A1 (ja) ゲーム方法、コンピュータ可読媒体、および情報処理装置
JP2021037404A (ja) プログラム及び電子機器

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20913746

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20913746

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP