WO2018110003A1 - 情報処理装置、情報処理方法、およびプログラム - Google Patents

情報処理装置、情報処理方法、およびプログラム Download PDF

Info

Publication number
WO2018110003A1
WO2018110003A1 PCT/JP2017/032617 JP2017032617W WO2018110003A1 WO 2018110003 A1 WO2018110003 A1 WO 2018110003A1 JP 2017032617 W JP2017032617 W JP 2017032617W WO 2018110003 A1 WO2018110003 A1 WO 2018110003A1
Authority
WO
WIPO (PCT)
Prior art keywords
virtual object
onomatopoeia
user
information
unit
Prior art date
Application number
PCT/JP2017/032617
Other languages
English (en)
French (fr)
Inventor
石川　毅
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to JP2018556181A priority Critical patent/JP6863391B2/ja
Priority to US16/347,006 priority patent/US20190287285A1/en
Publication of WO2018110003A1 publication Critical patent/WO2018110003A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/014—Hand-worn input/output arrangements, e.g. data gloves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/60—Rotation of a whole image or part thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/013—Force feedback applied to a game

Definitions

  • the present disclosure relates to an information processing apparatus, an information processing method, and a program.
  • Patent Document 1 when an object is relatively moved in a state where two objects are in contact with each other in a virtual space, an output of a sound or a tactile stimulus is output according to roughness information of the contact surface of the object.
  • the technology to control is described.
  • the present disclosure proposes a new and improved information processing apparatus, information processing method, and program capable of controlling the display of an image adapted to the user's motion when a virtual object is displayed.
  • an acquisition unit that acquires user motion information for a virtual object displayed by the display unit, and an output control unit that controls display of an image including onomatopoeia according to the motion information and the virtual object
  • An information processing apparatus is provided.
  • the processor controls the display of an image including onomatopoeia according to the motion information and the virtual object obtained by the user according to the motion information of the virtual object displayed by the display unit. And an information processing method is provided.
  • the computer displays an image including onomatopoeia according to the motion information and the virtual object according to the acquisition unit that acquires the motion information of the user with respect to the virtual object displayed by the display unit.
  • a program is provided for functioning as an output control unit to be controlled.
  • FIG. 5 is a sequence diagram showing a part of a processing flow according to the embodiment.
  • FIG. 5 is a sequence diagram showing a part of a processing flow according to the embodiment.
  • 5 is a flowchart showing a flow of “control method determination processing” according to the embodiment. It is explanatory drawing which showed the structural example of the information processing system by the application example of the embodiment. It is the figure which showed the example of a display of onomatopoeia when a user touches a virtual object in the situation where another user is not browsing a virtual object by the example of application.
  • a plurality of constituent elements having substantially the same functional configuration may be distinguished by adding different alphabets after the same reference numeral.
  • a plurality of constituent elements having substantially the same functional configuration are distinguished as the stimulation output unit 20a and the stimulation output unit 20b as necessary.
  • only the same reference numerals are given.
  • the stimulus output unit 20 when there is no need to particularly distinguish the stimulus output unit 20a and the stimulus output unit 20b, they are simply referred to as the stimulus output unit 20.
  • the information processing system includes an information processing apparatus 10, a stimulus output unit 20, an HMD (Head Mounted Display) 30, and a communication network 32.
  • an information processing apparatus 10 a stimulus output unit 20
  • an HMD Head Mounted Display
  • the stimulus output unit 20 can be, for example, an actuator for presenting a desired skin sensation to the user.
  • the stimulus output unit 20 outputs a stimulus related to the skin sensation, for example, according to control information received from the information processing apparatus 10 described later.
  • the skin sensation may include, for example, touch, pressure, warmth, and pain.
  • a stimulus related to skin sensation is referred to as a tactile stimulus.
  • the output of the tactile stimulus may include generating a vibration.
  • the stimulus output unit 20 can be attached to a user (for example, a user's hand) as shown in FIG. In this case, the stimulus output unit 20 can output a tactile stimulus to a part (for example, a hand or a fingertip) on which the stimulus output unit 20 is mounted.
  • a user for example, a user's hand
  • the stimulus output unit 20 can output a tactile stimulus to a part (for example, a hand or a fingertip) on which the stimulus output unit 20 is mounted.
  • the stimulus output unit 20 may include various sensors such as an acceleration sensor and a gyroscope. In this case, the stimulus output unit 20 can sense the body movement (for example, hand movement) of the user wearing the stimulus output unit 20. Further, the stimulus output unit 20 can transmit the sensing result to the information processing apparatus 10 via the communication network 32 as motion information of the user.
  • the HMD 30 is a head-mounted device having a display unit as shown in FIG. 1, for example.
  • the HMD 30 may be a shielded head mounted display or a transmissive head mounted display.
  • the HMD 30 can be an optical see-through device.
  • the HMD 30 may include a left-eye lens and a right-eye lens (or goggle-type lens) and a display unit (not shown).
  • the display unit can project an image using at least a part of each of the left-eye lens and the right-eye lens (or at least a part of the goggle-type lens) as a projection plane.
  • the HMD 30 can be a video see-through type device.
  • the HMD 30 may include a camera that captures the front of the HMD 30 and a display unit (not shown) that displays an image captured by the camera.
  • the HMD 30 can sequentially display images captured by the camera on the display unit. Thereby, the user can see the scenery ahead of the user through the video displayed on the display unit.
  • the said display part can be comprised by a liquid crystal display (LCD: Liquid Crystal Display), OLED (Organic Light Emitting Diode), etc., for example.
  • LCD Liquid Crystal Display
  • OLED Organic Light Emitting Diode
  • the HMD 30 can display video or output audio according to control information received from the information processing apparatus 10, for example.
  • the HMD 30 displays a virtual object according to control information received from the information processing apparatus 10.
  • the virtual object includes, for example, 3D data generated by CG (Computer Graphics), 3D data obtained from the sensing result of the real object, and the like.
  • the information processing apparatus 10 is an example of an information processing apparatus in the present disclosure.
  • the information processing apparatus 10 controls the operations of the HMD 30 and the stimulus output unit 20 via, for example, a communication network 32 described later.
  • the information processing apparatus 10 causes the HMD 30 to display VR (Virtual Reality) or AR (Augmented Reality) video.
  • the information processing apparatus 10 causes the stimulation output unit 20 to output a predetermined tactile stimulus at a predetermined timing (for example, when an image is displayed by the HMD 30).
  • the information processing apparatus 10 may be, for example, a server, a general-purpose PC (Personal Computer), a tablet terminal, a mobile phone such as a game machine or a smartphone, a portable music player, or a robot.
  • a server a general-purpose PC (Personal Computer)
  • a tablet terminal a mobile phone such as a game machine or a smartphone
  • a portable music player or a robot.
  • FIG. 1 only one information processing apparatus 10 is illustrated.
  • the present invention is not limited to such an example, and the functions of the information processing apparatus 10 according to the present embodiment are realized by the cooperation of a plurality of computers. May be realized.
  • the communication network 32 is a wired or wireless transmission path for information transmitted from a device connected to the communication network 32.
  • the communication network 32 may include a public line network such as a telephone line network, the Internet, a satellite communication network, various local area networks (LANs) including the Ethernet (registered trademark), a wide area network (WAN), and the like.
  • LANs local area networks
  • WAN wide area network
  • the communication network 32 may include a dedicated line network such as an IP-VPN (Internet Protocol-Virtual Private Network).
  • the stimulus output unit 20 can output a stimulus (hereinafter sometimes referred to as “target tactile stimulus”).
  • target tactile stimulus a stimulus
  • the stimulus output unit 20 may not be able to output the target tactile stimulus depending on the strength of the target tactile stimulus and the performance of the stimulus output unit 20, for example.
  • the information processing apparatus 10 acquires user motion information for a virtual object displayed by the HMD 30, and displays an image including onomatopoeia (hereinafter referred to as an onomatopoeia image) according to the motion information and the virtual object. Can be controlled. Thereby, the user's motion with respect to the virtual object and visual information adapted to the virtual object can be presented to the user.
  • an onomatopoeia image an image including onomatopoeia
  • Onomatopoeia is considered to be an effective method for presenting skin sensation as visual information, as used in comics and novels, for example.
  • the onomatopoeia may include an onomatopoeia (for example, a character string expressing a sound emitted from an object) and an imitation word (for example, a character string expressing the state of an object or human emotion).
  • FIG. 2 is a functional block diagram illustrating a configuration example of the information processing apparatus 10 according to the present embodiment.
  • the information processing apparatus 10 includes a control unit 100, a communication unit 120, and a storage unit 122.
  • Control unit 100 The control unit 100 may be configured to include a processing circuit such as a CPU (Central Processing Unit) 150 and a GPU (Graphics Processing Unit), which will be described later.
  • the control unit 100 comprehensively controls the operation of the information processing apparatus 10. As illustrated in FIG. 2, the control unit 100 includes an information acquisition unit 102, a determination unit 104, a selection unit 106, and an output control unit 108.
  • the information acquisition unit 102 is an example of an acquisition unit in the present disclosure.
  • the information acquisition unit 102 acquires the motion information of the user wearing the stimulus output unit 20.
  • the information acquisition unit 102 acquires motion information received from the stimulus output unit 20.
  • a sensing result by another sensor such as a camera installed in the HMD 30
  • another sensor such as a camera
  • the information acquisition unit 102 acquires, from the stimulus output unit 20, user motion information for the virtual object when the virtual object is displayed on the HMD 30.
  • the information acquisition unit 102 acquires, from the stimulus output unit 20, the sensing result of the operation of the user touching the virtual object when the virtual object is displayed on the HMD 30 as the motion information.
  • the information acquisition unit 102 acquires attribute information of the virtual object displayed by the HMD 30.
  • attribute information for each virtual object is determined in advance by the producer, and the virtual object and attribute information can be associated with each other and registered in the object DB 124 described later.
  • the information acquisition unit 102 can acquire the attribute information of the virtual object displayed by the HMD 30 from the object DB 124.
  • the attribute information can include, for example, texture information (for example, texture type) associated with each surface included in the virtual object.
  • texture information for example, texture type
  • the texture information may be produced by a producer, or may be specified based on image recognition for an image obtained by photographing a real object corresponding to the virtual object.
  • the image recognition can be performed using a method such as machine learning or deep learning.
  • the object DB 124 is, for example, a database that stores virtual object identification information and attribute information in association with each other.
  • FIG. 3 is an explanatory diagram showing a configuration example of the object DB 124.
  • an object ID 1240, attribute information 1242, and a skin sensation 1244 can be associated with each other.
  • the attribute information 1242 includes a texture 1246.
  • the skin sensation 1244 includes, for example, a tactile sensation 1248, a pressure sensation 1250, a thermal sensation 1252, and a pain sensation 1254.
  • the texture 1246 stores texture information (such as texture type) associated with the corresponding virtual object.
  • the tactile sensation 1248, the pressure sensation 1250, the thermal sensation 1252 and the pain sensation 1254 are respectively the reference value of the tactile parameter, the reference value of the pressure sensation, A reference value or a reference value of a parameter relating to pain sensation is stored.
  • the determination unit 104 determines the user's movement with respect to the virtual object displayed by the HMD 30 based on the motion information acquired by the information acquisition unit 102. For example, the determination unit 104 determines whether the user is in contact with the virtual object displayed by the HMD 30 (for example, whether it is touched) based on the acquired motion information. If it is determined that the user is in contact with the virtual object, the determination unit 104 further determines how the user touches the virtual object.
  • the touching method of the user includes, for example, a touching strength, a touching speed, a touching direction, and the like.
  • the determination unit 104 can further determine the target skin sensation according to the way the user touches the virtual object. For example, texture information and target skin sensation information (such as parameter values of each sensation) can be associated and stored in a predetermined table. In this case, the determination unit 104 first specifies the texture information of the surface determined to be in contact with the user among the surfaces included in the virtual object displayed by the HMD 30, and the determination unit 104 Based on the texture information of the specified surface, how the user touches the surface, and the predetermined table, target skin sensation information can be specified.
  • the predetermined table may be the object DB 124.
  • the texture information and the target skin sensation information may not be associated with each other.
  • the information processing apparatus 10 (the control unit 100) first acquires sound data associated with the texture information of the surface for each surface included in the virtual object displayed by the HMD 30, and acquires the sound data.
  • the target skin sensation information may be dynamically generated based on the obtained sound data and a known technique.
  • each texture information and sound data can be stored in association with each other.
  • the determination unit 104 can also determine whether there is reception information from the stimulation output unit 20 or transmission information to the stimulation output unit 20 or the HMD 30.
  • the reception information includes, for example, an output signal output from the stimulus output unit 20.
  • the transmission information includes, for example, a feedback signal to the HMD 30.
  • the determination unit 104 determines whether or not the stimulus output unit 20 is in contact with the user (for example, whether or not the stimulus output unit 20 is worn by the user), for example, whether or not the stimulus output unit 20 has received the stimulus output unit 20 Or based on received data (such as motion information). For example, when there is no reception from the stimulus output unit 20 for a predetermined time or when the motion information received from the stimulus output unit 20 indicates that the stimulus output unit 20 is stationary, the determination unit 104 Determines that the stimulus output unit 20 is not in contact with the user.
  • the selection unit 106 selects the onomatopoeia to be displayed according to the attribute information acquired by the information acquisition unit 102 and the determination result by the determination unit 104.
  • Onomatopoeia selection example 1 For example, an onomatopoeia is predetermined for each virtual object by the producer, and the virtual object and the onomatopoeia can be associated with each other and further registered in the object DB 124. In this case, the selection unit 106 can first extract the onomatopoeia associated with the virtual object determined to be in contact with the user from one or more virtual objects displayed by the HMD 30 from the object DB 124. Then, the selection unit 106 can select the extracted onomatopoeia as a display target onomatopoeia.
  • the onomatopoeia is predetermined by the producer for each texture, and the texture and onomatopoeia can be associated with each other and registered in a predetermined table (not shown).
  • the selection unit 106 first selects the onomatopoeia associated with the texture information of the surface determined to be in contact with the user among the surfaces included in the virtual object displayed by the HMD 30 in the predetermined table. Can be extracted from Then, the selection unit 106 can select the extracted onomatopoeia as a display target onomatopoeia.
  • the selection unit 106 can select any one of a plurality of types of onomatopoeia registered in advance as a display target onomatopoeia based on the determination result by the determination unit 104.
  • the plurality of types of onomatopoeia may be stored in advance in the storage unit 122 or may be stored in another device connected to the communication network 32.
  • the selection unit 106 selects the plurality of times according to the direction of change in the contact position when it is determined that the user is touching the virtual object and the virtual object. Any of the types of onomatopoeia can be selected as the onomatopoeia to be displayed. As an example, the selection unit 106 selects one of the plurality of types of onomatopoeia as a display target onomatopoeia according to the determination result of the direction in which the user touches the virtual object and the virtual object. .
  • FIG. 4 is an explanatory diagram showing a display example of the frame image 40 including the virtual object 50 in the HMD 30.
  • the surface 500 included in the virtual object 50 is associated with a texture including a large number of pebbles.
  • the selection unit 106 is associated with the surface 500.
  • the onomatopoeia “rough” is selected as the onomatopoeia to be displayed from among the plurality of types of onomatopoeia.
  • the selection unit 106 selects a different type of onomatopoeia from “rough” as a display target. You can choose as onomatopoeia.
  • the selection unit 106 determines whether the plurality of touches change according to the speed of change of the contact position when it is determined that the user is touching the virtual object and the virtual object. It is also possible to select any one of the types of onomatopoeia as the onomatopoeia to be displayed. For example, the selection unit 106 selects one of the plurality of types of onomatopoeia as a display target onomatopoeia according to the determination result of the speed at which the user touches the virtual object and the virtual object.
  • the selection unit 106 is selected when the speed at which the user touches the virtual object is less than the predetermined speed.
  • An onomatopoeia different from the first onomatopoeia is selected as the onomatopoeia to be displayed.
  • the selection unit 106 displays an abbreviated expression of the first onomatopoeia or an emphasized expression of the first onomatopoeia as a display target. You may choose as onomatopoeia.
  • the emphasized expression of the first onomatopoeia may include a character string in which a predetermined symbol (for example, “!”) Is added to the end of the first onomatopoeia.
  • the above functions will be described in more detail with reference to FIG. 4 and FIG.
  • the surface of the virtual object 50 is determined. It is assumed that the user touches 500 at a predetermined speed or more.
  • the selection unit 106 is selected in the example illustrated in FIG. 4 as illustrated in FIG. A different onomatopoeia (“rough” in the example shown in FIG. 5) than onomatopoeia (“rough”) is selected as the onomatopoeia to be displayed.
  • the selection unit 106 selects any one of the plurality of types of onomatopoeia according to the strength of contact when the user touches the virtual object and the virtual object. It is also possible to select as the onomatopoeia to be displayed.
  • the selection unit 106 selects any one of the plurality of types of onomatopoeia according to the distance between the virtual object and the user and the virtual object. Can also be selected as the onomatopoeia to be displayed. For example, when the virtual object is an animal having many hairs (such as a dog) and the user touches only the tip of the hair (that is, the distance between the animal and the user's hand is large) ), The selection unit 106 selects an onomatopoeia such as “sarabashi” as the onomatopoeia to be displayed from among the plurality of types of onomatopoeia.
  • the selection unit 106 selects the plurality of types of onomatopoeia. , “Onomatopoeia” such as “Mushakusha” is selected as the onomatopoeia to be displayed.
  • the selection unit 106 determines the target skin sensation determined by the determination unit 104. Based on the information, it is possible to select any one of the plurality of types of onomatopoeia as the onomatopoeia to be displayed. For example, the selection unit 106 first sets four types of parameter values (that is, tactile parameter values, pressure sensation parameter values, and thermal sensation parameter values) included in the target skin sensation information determined by the determination unit 104. , And pain parameter values), each of the plurality of types of onomatopoeia is evaluated. Then, the selection unit 106 identifies the onomatopoeia having the highest evaluation value, and selects the identified onomatopoeia as the display target onomatopoeia.
  • the selection unit 106 identifies the onomatopoeia having the highest evaluation value, and selects the identified onomatopoeia as the display target onomatopoeia.
  • the selection unit 106 can further select one of the plurality of types of onomatopoeia as a display target onomatopoeia according to the profile of the user wearing the HMD 30. It is.
  • the profile may include, for example, age, gender, and language used (such as a native language).
  • the selection unit 106 selects one of the onomatopoates of the user's language included in the plurality of types of onomatopoeia as a display target onomatopoeia based on the determination result of the movement of the user touching the virtual object. Choose as. Further, the selection unit 106 selects one of the plurality of types of onomatopoeia as a display target onomatopoeia according to the determination result of the movement of the user touching the virtual object, and the age and sex of the user. select.
  • the selection unit 106 first identifies a plurality of types of onomatopoeia according to the determination result of the movement of the user touching the virtual object, and then identifies the identified plurality of From the types of onomatopoeia, a simpler onomatopoeia (for example, onomatopoeia used by a child) is selected as the onomatopoeia to be displayed.
  • Output control unit 108 controls video display on the HMD 30. For example, the output control unit 108 causes the communication unit 120 to transmit display control information for displaying a virtual object to the HMD 30. Further, the output control unit 108 controls the output of the tactile stimulus to the stimulus output unit 20. For example, the output control unit 108 causes the stimulation output unit 20 to transmit output control information for outputting a tactile stimulus to the communication unit 120.
  • the output control unit 108 displays the onomatopoeia image on the HMD 30 based on the determination result by the determination unit 104.
  • the output control unit 108 displays the onomatopoeia selected by the selection unit 106 as illustrated in FIG. 4, for example.
  • the included onomatopoeia image is displayed on the HMD 30 in the vicinity of the position where it is determined that the user is in contact with the virtual object.
  • the output control unit 108 determines whether or not the stimulus output unit 20 is attached to the user and whether or not the user is in contact with the virtual object displayed on the HMD 30.
  • the onomatopoeia image is displayed on the HMD 30 according to the result. For example, when it is determined that the user is touching the virtual object while it is determined that the stimulus output unit 20 is not worn by the user, the output control unit 108 displays the onomatopoeia image as the HMD 30. To display.
  • the output control unit 108 is determined by the determination unit 104. Whether to display the onomatopoeia image on the HMD 30 is determined based on the information on the tactile stimulus corresponding to the determined target skin sensation and the information on the tactile stimulus that can be output by the stimulus output unit 20. For example, when it is determined that the stimulus output unit 20 can output the target tactile stimulus, the output control unit 108 causes the stimulus output unit 20 to output the target tactile stimulus and outputs the onomatopoeia image. It decides not to display on HMD30.
  • the output control unit 108 visually recognizes the onomatopoeia image according to the tactile stimulus amount to be output to the stimulus output unit 20.
  • the sex may be changed (increased or decreased).
  • Parameters relating to visibility include various parameters such as display size, display time, color, brightness, and transparency.
  • the output control unit 108 may increase the amount of onomatopoeia movement as a parameter relating to visibility. Further, the output control unit 108 may statically change the shape in order to increase the visibility, or may add an additional effect other than onomatopoeia.
  • An example of a static shape change is a font change.
  • the output control unit 108 may increase (or decrease) the visibility of the onomatopoeia to emphasize feedback, or increase (or decrease) the tactile stimulus amount. In the case of (decrease), the output control unit 108 may reduce (or increase) the visibility of the onomatopoeia to balance the feedback. Further, the relationship between the tactile stimulus amount and the change in visibility may be set to be proportional or inversely proportional, and the tactile stimulus amount and the visibility may be associated in stages.
  • the output control unit 108 is closest to the target tactile stimulus within a range in which the stimulus output unit 20 can output.
  • the tactile stimulus is output to the stimulus output unit 20 and the onomatopoeia image is determined to be displayed on the HMD 30.
  • the limit value of the performance of the stimulus output unit 20 may be set as the upper limit value or the lower limit value of the range that the stimulus output unit 20 can output, or the upper limit value / lower limit value arbitrarily set by the user. It may be set. Note that the arbitrarily set upper limit value may be smaller than the limit value (upper limit value) of the performance of the stimulus output unit 20. Further, the arbitrarily set lower limit value may be larger than the performance limit value (lower limit value).
  • the output control unit 108 can dynamically change the display mode of the onomatopoeia image based on a predetermined reference. For example, the output control unit 108 changes the display mode of the onomatopoeia image according to the change direction of the contact position when it is determined that the user is in contact with the virtual object displayed on the HMD 30. May be. As an example, the output control unit 108 may change the display mode of the onomatopoeia image according to the determination result of the direction in which the user touches the virtual object.
  • the output control unit 108 may change the display mode of the onomatopoeia image according to the touching speed of the user when it is determined that the user touches the virtual object displayed on the HMD 30. Good. For example, when it is determined that the user is touching the virtual object, the output control unit 108 may decrease the length of the display time of the onomatopoeia image as the touching speed of the user increases. . Further, for example, when the onomatopoeia image is a moving image, the output control unit 108 increases the speed at which the user touches the virtual object when it is determined that the user touches the virtual object. The image display speed may be increased.
  • the output control unit 108 may increase the display size of the onomatopoeia image as the speed at which the user touches the virtual object when it is determined that the user is touching the virtual object.
  • 6 shows an example in which the same virtual object 50 as the example shown in FIG. 4 is displayed on the HMD 30 and the user touches the virtual object 50 at a faster speed than the example shown in FIG. It is explanatory drawing.
  • the output control unit 108 increases the display size of the onomatopoeia image as the speed of the user touching the virtual object 50 when it is determined that the user touches the virtual object 50. It may be larger.
  • the output control unit 108 may change the display frequency of the onomatopoeia image according to the determination result of how the user touches the virtual object. According to these control examples, it is possible to emphasize and present the skin sensation when the user touches the virtual object.
  • the output control unit 108 may change the display mode of the onomatopoeia image (for example, a font of characters) according to the user profile.
  • the output control unit 108 displays the onomatopoeia image on the HMD 30 according to the movement of the user with respect to the virtual object.
  • the present invention is not limited to this example.
  • the output control unit 108 may display the display effect on the HMD 30 (instead of the onomatopoeia image) in accordance with the movement of the user with respect to the virtual object.
  • the output control unit 108 adds a display effect to the virtual object and causes the HMD 30 to display the virtual object. Also good.
  • the output control unit 108 may add the gloss expression 502 to the virtual object 50 and display the virtual object 50 on the HMD 30.
  • the communication unit 120 can be configured to include a communication device 162 described later, for example.
  • the communication unit 120 transmits and receives information to and from other devices.
  • the communication unit 120 receives motion information from the stimulus output unit 20.
  • the communication unit 120 transmits display control information to the HMD 30 or transmits output control information to the stimulus output unit 20 according to the control of the output control unit 108.
  • Storage unit 122 can be configured to include, for example, a storage device 160 described later.
  • the storage unit 122 stores various types of data and various types of software. For example, as illustrated in FIG. 2, the storage unit 122 stores the object DB 124.
  • the configuration of the information processing apparatus 10 according to the present embodiment is not limited to the above-described example.
  • the object DB 124 may be stored in another device (not shown) connected to the communication network 32 instead of being stored in the storage unit 122.
  • the communication unit 120 of the information processing apparatus 10 requests device information (device ID or the like) to be acquired from the stimulus output unit 20 worn by the user according to the control of the control unit 100. Is transmitted (S101). And the stimulus output part 20 will transmit device information to the information processing apparatus 10, if the said acquisition request is received (S103).
  • the output control unit 108 of the information processing apparatus 10 transmits display control information for causing the HMD 30 to display a predetermined video including a virtual object to the HMD 30 (S105). Then, the HMD 30 displays a predetermined video according to the display control information (S107).
  • the stimulus output unit 20 senses the user's movement (S109). Then, the stimulus output unit 20 transmits the sensing result as motion information to the information processing apparatus 10 (S111). Thereafter, when the predetermined time has elapsed (S113: Yes), the stimulus output unit 20 performs the process of S109 again.
  • the determination unit 104 of the information processing apparatus 10 determines whether or not the user is touching the virtual object displayed on the HMD 30 based on the motion information ( S115). If it is determined that the user does not touch the virtual object (S115: No), the determination unit 104 waits until new motion information is received, and then performs the process of S115 again.
  • the information processing apparatus 10 performs a “control method determination process” described later (S117).
  • the communication unit 120 of the information processing apparatus 10 performs S117 according to the control of the output control unit 108.
  • the display control information generated in (1) is transmitted to the HMD 30 (S123).
  • the HMD 30 displays the displayed virtual object and the onomatopoeia image in association with each other according to the received display control information (S125).
  • the communication unit 120 of the information processing device 10 performs control according to the control of the output control unit 108 in S117.
  • the generated output control information is transmitted to the stimulus output unit 20 (S127).
  • the stimulus output unit 20 outputs a tactile stimulus according to the received output control information (S129).
  • control method determination processing the flow of the “control method determination process” in S117 will be described in detail with reference to FIG.
  • the information acquisition unit 102 of the information processing device 10 has an attribute associated with a virtual object that is determined to be touched by a user among one or more virtual objects displayed on the HMD 30. Get information.
  • the determination unit 104 identifies the target skin sensation according to the user's touch on the virtual object and the attribute information of the virtual object determined in S115, and corresponds to the target skin sensation.
  • the tactile stimulus information to be identified is specified (S151).
  • the selection unit 106 selects the onomatopoeia to be displayed according to the determination result of how the user touches the virtual object and the attribute information of the virtual object (S153).
  • the output control unit 108 specifies tactile stimulus information that can be output by the stimulus output unit 20 based on the device information received in S103 (S155).
  • the output control unit 108 determines whether or not the stimulus output unit 20 can output the target tactile stimulus specified in S151 based on the information specified in S155 (S157).
  • the output control unit 108 performs output control for causing the stimulus output unit 20 to output the target tactile stimulus.
  • Information is generated (S159).
  • the output control unit 108 determines not to display the onomatopoeia image on the HMD 30 (S161). Then, the “control method determination process” ends.
  • the output control unit 108 outputs the target tactile sense within a range that the stimulus output unit 20 can output.
  • Output control information for causing the stimulus output unit 20 to output the tactile stimulus closest to the stimulus is generated (S163).
  • the output control unit 108 determines to display the onomatopoeia image including the onomatopoeia selected in S153 on the HMD 30 (S165). Then, the output control unit 108 generates display control information for displaying the onomatopoeia image on the HMD 30 (S167). Then, the “control method determination process” ends.
  • the information processing apparatus 10 acquires user motion information for the virtual object displayed by the HMD 30, and according to the motion information and the virtual object, Controls the display of onomatopoeia images. Thereby, the user's motion with respect to the virtual object and visual information adapted to the virtual object can be presented to the user.
  • the information processing apparatus 10 when it is determined that the user has touched the virtual object, the information processing apparatus 10 outputs the determination result of how the user touches and the target tactile stimulus corresponding to the virtual object. If possible, the onomatopoeia image is not displayed on the HMD 30.
  • the information processing apparatus 10 causes the HMD 30 to display an onomatopoeia image. Therefore, when the stimulus output unit 20 cannot output a target tactile stimulus (that is, a tactile stimulus corresponding to the target skin sensation), the information processing apparatus 10 uses visual information such as an onomatopoeia image to It can supplement the presentation of the target skin sensation. Therefore, the target skin sensation can be appropriately presented to the user.
  • FIG. 11 is an explanatory diagram showing a configuration example of an information processing system according to this application example.
  • a certain user 2a can wear the stimulus output unit 20 and the HMD 30a, and another user 2b can wear the HMD 30b.
  • the video including the virtual object can be displayed on the HMD 30a and the HMD 30b.
  • the user 2b may be located near the user 2a, or may be located in a remote place where the user 2a is located.
  • Other contents are the same as those of the information processing system shown in FIG.
  • the output control unit 108 displays an onomatopoeia image according to a determination result of how a user 2a touches a virtual object and whether another user 2b is viewing the video of the virtual object. It is possible to control.
  • the output control unit 108 wears an onomatopoeia image corresponding to the way the user 2a touches the virtual object by the user 2a. Displayed on both the HMD 30a and the HMD 30b worn by the user 2b. As an example, in this case, the output control unit 108 displays an onomatopoeia image corresponding to how the user 2a touches the virtual object on the two HMDs 30 in the vicinity of the place where the user 2a touches the virtual object.
  • the onomatopoeia image is not displayed on any HMD 30.
  • the user 2b can visually know the skin sensation when the user 2a touches the virtual object. Further, the user 2a can know whether or not the user 2b is browsing the video of the virtual object.
  • the output control unit 108 may display the onomatopoeia image on the HMD 30a (mounted by the user 2a) without rotating the onomatopoeia image. Good.
  • the output control unit 108 displays the onomatopoeia image on both the HMD 30a worn by the user 2a and the HMD 30b worn by the user 2b. You may rotate and display.
  • FIGS. 12 and 13 are explanatory diagrams showing a scene in which the user 2a wearing the stimulus output unit 20 touches the animal virtual object 50.
  • FIG. For example, when another user 2b is not viewing the video of the virtual object 50, the output control unit 108 rotates the onomatopoeia image 54 (including the onomatopoeia “mushroom”) as shown in FIG. Without being displayed only on the HMD 30a.
  • the output control unit 108 rotates the onomatopoeia image 54, for example, around a predetermined rotation axis A as shown in FIG. , Display on both HMD 30a and HMD 30b. According to this display example, the user 2a can know whether another user 2b is viewing the video of the virtual object 50 or not.
  • the output control unit 108 is worn by another user 2b among the images displayed on the HMD 30a worn by the user 2a.
  • the display mode of the area currently displayed on the HMD 30b may be changed.
  • the output control unit 108 may display the region currently displayed on the HMD 30b in a translucent manner in the image displayed on the HMD 30a. According to this display example, when the onomatopoeia image is displayed on the HMD 30a, the user 2a can know whether another user 2b is browsing the onomatopoeia image.
  • the HMD 30a is in the home where the child lives (ie, the home). It is possible to superimpose and display the image of the father. This allows the child to experience as if the father was at home.
  • the information processing apparatus 10 can display the onomatopoeia image on the HMD 30 based on the determination result of the movement of the user with respect to the object present at home displayed on the HMD 30. For example, the information processing apparatus 10 determines the onomatopoeia to be displayed according to how the father touches an object at home (for example, when a device operation switch is pressed) and the object. And an onomatopoeia image including the selected onomatopoeia may be displayed on the HMD 30 worn by the father.
  • the information processing apparatus 10 selects the onomatopoeia to be displayed according to how the child touches an object present at home and the object, and the onomatopoeia image including the selected onomatopoeia is selected. , It may be displayed on the HMD 30 worn by the father.
  • the skin sensation obtained when the father or child touches an object in the home is visually presented to the father. can do.
  • the information processing apparatus 10 includes a CPU 150, a ROM (Read Only Memory) 152, a RAM (Random Access Memory) 154, a bus 156, an interface 158, a storage device 160, and a communication device 162.
  • the CPU 150 functions as an arithmetic processing unit and a control unit, and controls the overall operation in the information processing apparatus 10 according to various programs. Further, the CPU 150 realizes the function of the control unit 100 in the information processing apparatus 10.
  • the CPU 150 is configured by a processor such as a microprocessor.
  • the ROM 152 stores programs used by the CPU 150 and control data such as calculation parameters.
  • the RAM 154 temporarily stores, for example, a program executed by the CPU 150 and data in use.
  • the bus 156 includes a CPU bus and the like.
  • the bus 156 connects the CPU 150, the ROM 152, and the RAM 154 to each other.
  • the interface 158 connects the storage device 160 and the communication device 162 to the bus 156.
  • the storage device 160 is a data storage device that functions as the storage unit 122.
  • the storage device 160 includes, for example, a storage medium, a recording device that records data on the storage medium, a reading device that reads data from the storage medium, or a deletion device that deletes data recorded on the storage medium.
  • the communication device 162 is a communication interface configured by a communication device (for example, a network card) for connecting to the communication network 32, for example. Further, the communication device 162 may be a wireless LAN compatible communication device, an LTE (Long Term Evolution) compatible communication device, or a wire communication device that performs wired communication. This communication device 162 functions as the communication unit 120.
  • a communication device for example, a network card
  • LTE Long Term Evolution
  • the configuration of the information processing system according to the above-described embodiment is not limited to the example illustrated in FIG.
  • the HMD 30 and the information processing apparatus 10 may be configured integrally.
  • each component included in the control unit 100 described above may be included in the HMD 30.
  • the HMD 30 can control the output of the tactile stimulus to the stimulus output unit 20.
  • the projector may be arranged in the real space where the user 2 is located. Then, the information processing apparatus 10 may cause the projector to project a video such as a virtual object on a projection target (for example, a wall) in the real space.
  • the display unit in the present disclosure may be a projector. In this case, the information processing system may not include the HMD 30.
  • each step in the processing flow of the above-described embodiment does not necessarily have to be processed in the order described.
  • the steps may be processed by changing the order as appropriate.
  • Each step may be processed in parallel or individually instead of being processed in time series. Further, some of the described steps may be omitted, or another step may be further added.
  • An information processing apparatus comprising: (2) The acquisition unit further acquires attribute information associated with the virtual object, The information processing apparatus according to (1), wherein the output control unit controls display of an image including the onomatopoeia according to the motion information and the attribute information.
  • the information processing apparatus further includes a determination unit that determines whether the user is in contact with the virtual object based on the motion information, When the determination unit determines that the user is in contact with the virtual object, the output control unit causes the display unit to display an image including the onomatopoeia according to (2). Information processing device.
  • the output control unit changes a display mode of an image including the onomatopoeia according to a change direction of a contact position when it is determined that the user is in contact with the virtual object. ).
  • the output control unit changes a display mode of an image including the onomatopoeia according to a change speed of a contact position when it is determined that the user is in contact with the virtual object.
  • the output control unit reduces the display time of the image including the onomatopoeia as the speed of change of the contact position when it is determined that the user is in contact with the virtual object is increased.
  • the output control unit increases the display size of the image including the onomatopoeia as the change speed of the contact position when it is determined that the user is in contact with the virtual object is larger.
  • the information processing apparatus further includes a selection unit that selects any one of a plurality of types of onomatopoeia according to the attribute information, The information processing apparatus according to any one of (3) to (7), wherein the output control unit causes the display unit to display an image including onomatopoeia selected by the selection unit.
  • the selection unit further selects one of the plurality of types of onomatopoeia according to the direction of change in the contact position when it is determined that the user is in contact with the virtual object.
  • the information processing apparatus according to (8).
  • the selection unit further selects any of the plurality of types of onomatopoeia according to a change speed of a contact position when it is determined that the user is in contact with the virtual object.
  • the information processing apparatus according to (8) or (9).
  • (11) The information processing apparatus according to any one of (8) to (10), wherein the selection unit further selects any one of the plurality of types of onomatopoeia according to a profile of the user.
  • the output control unit When the determination unit determines that the user is in contact with the virtual object, the output control unit further stimulates a tactile stimulus according to the motion information and the attribute information.
  • the information processing apparatus according to any one of (3) to (11), wherein the information is output to an output unit.
  • the determination unit further determines the presence or absence of reception information or transmission information of the stimulus output unit, When it is determined that there is no reception information or transmission information and the user is in contact with the virtual object, the output control unit causes the display unit to display an image including the onomatopoeia.
  • the information processing apparatus according to (12).
  • the determination unit further determines the presence or absence of reception information or transmission information of the stimulus output unit, When it is determined that the reception information or the transmission information is present and the user is touching the virtual object, the output control unit sets a target corresponding to how the user touches the virtual object.
  • the information processing apparatus according to (12) or (13), wherein an image including the onomatopoeia is displayed on the display unit on the basis of the tactile stimulus and information related to the tactile stimulus that can be output by the stimulus output unit.
  • the output control unit displays an image including the onomatopoeia on the display unit. Processing equipment.
  • the determination unit further determines the presence or absence of reception information or transmission information of the stimulus output unit, When it is determined that the reception information or the transmission information is present and the user is touching the virtual object, the output control unit sets a target corresponding to how the user touches the virtual object.
  • the information processing apparatus according to any one of (12) to (15), wherein the visibility of an image including the onomatopoeia is changed based on a tactile stimulus of the tactile stimulus and a tactile stimulus amount output by the stimulus output unit .
  • the output control unit further controls display of an image including the onomatopoeia according to whether the virtual object is displayed by a plurality of display units, or any one of (3) to (16).
  • the information processing apparatus according to item.
  • (18) The information according to (17), wherein when the virtual object is displayed by the plurality of display units, the output control unit rotates and displays an image including the onomatopoeia on the plurality of display units. Processing equipment.
  • Information processing apparatus 20 Stimulus output unit 30 HMD 32 communication network 100 control unit 102 information acquisition unit 104 determination unit 106 selection unit 108 output control unit 120 communication unit 122 storage unit 124 object DB

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)

Abstract

【課題】仮想オブジェクトが表示される際のユーザのモーションに適応した画像の表示を制御することが可能な、情報処理装置、情報処理方法、およびプログラムを提案する。 【解決手段】表示部により表示される仮想オブジェクトに対するユーザのモーション情報を取得する取得部と、前記モーション情報と前記仮想オブジェクトとに応じて、オノマトペを含む画像の表示を制御する出力制御部と、を備える、情報処理装置。

Description

情報処理装置、情報処理方法、およびプログラム
　本開示は、情報処理装置、情報処理方法、およびプログラムに関する。
　従来、例えば、振動などの触覚刺激をユーザに提示するための技術が各種提案されている。
　例えば、下記特許文献１には、仮想空間において２つのオブジェクトが接触した状態で相対的にオブジェクトが移動された場合に、オブジェクトの接触面の粗さ情報に応じて、音声または触覚刺激の出力を制御する技術が記載されている。
特開２０１５－１７０１７４号公報
　しかしながら、特許文献１に記載の技術では、仮想空間内のオブジェクトが表示される際のユーザのモーションが異なっても、表示される映像は変化しない。
　そこで、本開示では、仮想オブジェクトが表示される際のユーザのモーションに適応した画像の表示を制御することが可能な、新規かつ改良された情報処理装置、情報処理方法、およびプログラムを提案する。
　本開示によれば、表示部により表示される仮想オブジェクトに対するユーザのモーション情報を取得する取得部と、前記モーション情報と前記仮想オブジェクトとに応じて、オノマトペを含む画像の表示を制御する出力制御部と、を備える、情報処理装置が提供される。
　また、本開示によれば、表示部により表示される仮想オブジェクトに対するユーザのモーション情報を取得することと、前記モーション情報と前記仮想オブジェクトとに応じて、オノマトペを含む画像の表示をプロセッサが制御することと、を含む、情報処理方法が提供される。
　また、本開示によれば、コンピュータを、表示部により表示される仮想オブジェクトに対するユーザのモーション情報を取得する取得部と、前記モーション情報と前記仮想オブジェクトとに応じて、オノマトペを含む画像の表示を制御する出力制御部、として機能させるための、プログラムが提供される。
　以上説明したように本開示によれば、仮想オブジェクトが表示される際のユーザのモーションに適応した画像の表示を制御することができる。なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
本開示の実施形態による情報処理システムの構成例を示した説明図である。 同実施形態による情報処理装置１０の構成例を示した機能ブロック図である。 同実施形態によるオブジェクトＤＢ１２４の構成例を示した説明図である。 ＨＭＤ３０に表示される仮想オブジェクトに対してユーザが触れた際のオノマトペの表示例を示した図である。 ＨＭＤ３０に表示される仮想オブジェクトに対してユーザが触れた際のオノマトペの表示例を示した図である。 ＨＭＤ３０に表示される仮想オブジェクトに対してユーザが触れた際のオノマトペの表示例を示した図である。 ＨＭＤ３０に表示される仮想オブジェクトに対してユーザが触れた際の表示エフェクトの表示例を示した図である。 同実施形態による処理の流れの一部を示したシーケンス図である。 同実施形態による処理の流れの一部を示したシーケンス図である。 同実施形態による「制御方法判定処理」の流れを示したフローチャートである。 同実施形態の応用例による情報処理システムの構成例を示した説明図である。 同応用例による、別のユーザが仮想オブジェクトを閲覧していない状況において、仮想オブジェクトに対してユーザが触れた際のオノマトペの表示例を示した図である。 同応用例による、別のユーザが仮想オブジェクトを閲覧している状況において、仮想オブジェクトに対してユーザが触れた際のオノマトペの表示例を示した図である。 同実施形態による情報処理装置１０のハードウェア構成例を示した説明図である。
　以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
　また、本明細書及び図面において、実質的に同一の機能構成を有する複数の構成要素を、同一の符号の後に異なるアルファベットを付して区別する場合もある。例えば、実質的に同一の機能構成を有する複数の構成要素を、必要に応じて刺激出力部２０ａおよび刺激出力部２０ｂのように区別する。ただし、実質的に同一の機能構成を有する複数の構成要素の各々を特に区別する必要がない場合、同一符号のみを付する。例えば、刺激出力部２０ａおよび刺激出力部２０ｂを特に区別する必要が無い場合には、単に刺激出力部２０と称する。
　また、以下に示す項目順序に従って当該「発明を実施するための形態」を説明する。
　１．情報処理システムの構成
　２．実施形態の詳細な説明
　３．ハードウェア構成
　４．変形例
＜＜１．情報処理システムの構成＞＞
　まず、本開示の実施形態による情報処理システムの構成について、図１を参照して説明する。図１に示すように、本実施形態による情報処理システムは、情報処理装置１０、刺激出力部２０、ＨＭＤ（Ｈｅａｄ　Ｍｏｕｎｔｅｄ　Ｄｉｓｐｌａｙ）３０、および、通信網３２を有する。
　＜１－１．刺激出力部２０＞
　｛１－１－１．触覚刺激の出力｝
　刺激出力部２０は、例えば、所望の皮膚感覚をユーザに提示するためのアクチュエータであり得る。刺激出力部２０は、例えば、後述する情報処理装置１０から受信される制御情報に従って、皮膚感覚に関する刺激を出力する。ここで、皮膚感覚は、例えば触覚、圧覚、温冷覚、および、痛覚を含み得る。なお、以下では、皮膚感覚に関する刺激を触覚刺激と称する。また、触覚刺激の出力とは、振動を発生させることを含み得る。
　また、刺激出力部２０は、図１に示したようにユーザ（例えばユーザの手など）に装着され得る。この場合、刺激出力部２０は、刺激出力部２０が装着されている部位（例えば手や指先など）に対して触覚刺激を出力し得る。
　｛１－１－２．ユーザの動きのセンシング｝
　また、刺激出力部２０は、例えば加速度センサやジャイロスコープなどの各種のセンサを有し得る。この場合、刺激出力部２０は、刺激出力部２０を装着しているユーザの身体の動き（例えば手の動きなど）をセンシングすることが可能である。また、刺激出力部２０は、センシング結果を当該ユーザのモーション情報として通信網３２を介して情報処理装置１０へ送信することが可能である。
　＜１－２．ＨＭＤ３０＞
　ＨＭＤ３０は、例えば図１に示したような、表示部を有する頭部装着型デバイスである。ＨＭＤ３０は、遮蔽型のヘッドマウントディスプレイであってもよいし、透過型のヘッドマウントディスプレイであってもよい。例えば、ＨＭＤ３０は、光学シースルー型のデバイスであり得る。この場合、ＨＭＤ３０は、左目用レンズおよび右目用レンズ（または、ゴーグル型レンズ）と表示部（図示省略）とを有し得る。そして、当該表示部は、左目用レンズおよび右目用レンズのそれぞれ少なくとも一部の領域（または、ゴーグル型レンズのうち少なくとも一部の領域）を投影面として映像を投影し得る。
　または、ＨＭＤ３０は、ビデオシースルー型のデバイスであり得る。この場合、ＨＭＤ３０は、ＨＭＤ３０の前方を撮影するカメラと、当該カメラにより撮影された映像を表示する表示部（図示省略）とを有し得る。例えば、ＨＭＤ３０は、当該カメラにより撮影された映像を当該表示部に逐次表示し得る。これにより、ユーザは、当該表示部に表示される映像を介して、ユーザの前方の風景を見ることができる。なお、当該表示部は、例えば、液晶ディスプレイ（ＬＣＤ：Ｌｉｑｕｉｄ　Ｃｒｙｓｔａｌ　Ｄｉｓｐｌａｙ）や、ＯＬＥＤ（Ｏｒｇａｎｉｃ　Ｌｉｇｈｔ　Ｅｍｉｔｔｉｎｇ　Ｄｉｏｄｅ）などにより構成され得る。
　このＨＭＤ３０は、例えば情報処理装置１０から受信される制御情報に従って、映像を表示したり、音声を出力することが可能である。例えば、ＨＭＤ３０は、情報処理装置１０から受信される制御情報に従って、仮想オブジェクトを表示する。なお、仮想オブジェクトは、例えばＣＧ（Ｃｏｍｐｕｔｅｒ　Ｇｒａｐｈｉｃｓ）により生成される３Ｄデータや、実オブジェクトのセンシング結果から得られる３Ｄデータなどを含む。
　＜１－３．情報処理装置１０＞
　情報処理装置１０は、本開示における情報処理装置の一例である。情報処理装置１０は、例えば、後述する通信網３２を介して、ＨＭＤ３０や刺激出力部２０の動作を制御する。例えば、情報処理装置１０は、ＶＲ（Ｖｉｒｔｕａｌ　Ｒｅａｌｉｔｙ）やＡＲ（Ａｕｇｍｅｎｔｅｄ　Ｒｅａｌｉｔｙ）の映像をＨＭＤ３０に表示させる。また、情報処理装置１０は、所定のタイミング（例えばＨＭＤ３０による映像の表示時など）に所定の触覚刺激を刺激出力部２０に出力させる。
　ここで、情報処理装置１０は、例えば、サーバ、汎用ＰＣ（Ｐｅｒｓｏｎａｌ　Ｃｏｍｐｕｔｅｒ）、タブレット型端末、ゲーム機、スマートフォンなどの携帯電話、携帯型音楽プレーヤ、または、ロボットなどであり得る。なお、図１では、情報処理装置１０が一台だけ図示されているが、かかる例に限定されず、複数台のコンピュータが協同して動作することにより、本実施形態による情報処理装置１０の機能が実現されてもよい。
　＜１－４．通信網３２＞
　通信網３２は、通信網３２に接続されている装置から送信される情報の有線、または無線の伝送路である。例えば、通信網３２は、電話回線網、インターネット、衛星通信網などの公衆回線網や、Ｅｔｈｅｒｎｅｔ（登録商標）を含む各種のＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）、ＷＡＮ（Ｗｉｄｅ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）などを含んでもよい。また、通信網３２は、ＩＰ－ＶＰＮ（Ｉｎｔｅｒｎｅｔ　Ｐｒｏｔｏｃｏｌ－Ｖｉｒｔｕａｌ　Ｐｒｉｖａｔｅ　Ｎｅｔｗｏｒｋ）などの専用回線網を含んでもよい。
　＜１－５．課題の整理＞
　以上、本実施形態による情報処理システムの構成について説明した。ところで、従来、所望の皮膚感覚をユーザに提示するための技術が研究されている。しかしながら、現状では、提示可能な皮膚感覚の範囲に制限があったり、また、提示可能な皮膚感覚の程度も各技術によって異なっている。
　例えば、ＨＭＤ３０に表示される仮想オブジェクトに対してユーザが触れる動きをした際には、当該仮想オブジェクトに対するユーザの触れ方に関連付けて、例えば制作者により予め定められた目標の皮膚感覚に対応する触覚刺激（以下、「目標の触覚刺激」と称する場合がある）を刺激出力部２０が出力可能であることが望まれる。しかしながら、刺激出力部２０は、例えば目標の触覚刺激の強さや、刺激出力部２０の性能によっては、当該目標の触覚刺激を出力できない場合がある。
　そこで、上記事情を一着眼点にして、本実施形態による情報処理装置１０を創作するに至った。情報処理装置１０は、ＨＭＤ３０により表示される仮想オブジェクトに対するユーザのモーション情報を取得し、そして、当該モーション情報と当該仮想オブジェクトとに応じて、オノマトペを含む画像（以下、オノマトペ画像と称する）の表示を制御することが可能である。これにより、当該仮想オブジェクトに対するユーザのモーションと、当該仮想オブジェクトとに適応した視覚情報をユーザに提示することができる。
　なお、オノマトペは、例えばコミックや小説などでも利用されているように、皮膚感覚を視覚情報として提示するための有効な手法であると考えられる。ここで、オノマトペは、擬音語（例えば、物体が発する音を表現した文字列）、および、擬態語（例えば、物体の状態や人間の感情などを表現した文字列）を含み得る。
＜＜２．実施形態の詳細な説明＞＞
　＜２－１．構成＞
　次に、本実施形態による情報処理装置１０の構成について詳細に説明する。図２は、本実施形態による情報処理装置１０の構成例を示した機能ブロック図である。図２に示すように、情報処理装置１０は、制御部１００、通信部１２０、および、記憶部１２２を有する。
　｛２－１－１．制御部１００｝
　制御部１００は、例えば、後述するＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）１５０やＧＰＵ（Ｇｒａｐｈｉｃｓ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）などの処理回路を含んで構成され得る。制御部１００は、情報処理装置１０の動作を統括的に制御する。また、図２に示すように、制御部１００は、情報取得部１０２、判定部１０４、選択部１０６、および、出力制御部１０８を有する。
　｛２－１－２．情報取得部１０２｝
　（２－１－２－１．モーション情報の取得）
　情報取得部１０２は、本開示における取得部の一例である。情報取得部１０２は、刺激出力部２０を装着するユーザのモーション情報を取得する。例えば、モーション情報が刺激出力部２０によりセンシングされる場合には、情報取得部１０２は、刺激出力部２０から受信されるモーション情報を取得する。または、刺激出力部２０を装着するユーザが装着する他のセンサ（例えばＨＭＤ３０に設置されるカメラなど）や、当該ユーザが位置する環境内に設置された他のセンサ（カメラなど）によるセンシング結果が受信される場合には、情報取得部１０２は、当該センシング結果を解析（例えば画像認識など）し、そして、解析結果を当該ユーザのモーション情報として取得してもよい。
　例えば、情報取得部１０２は、ＨＭＤ３０に仮想オブジェクトが表示されている際の、当該仮想オブジェクトに対するユーザのモーション情報を刺激出力部２０から取得する。一例として、情報取得部１０２は、ＨＭＤ３０に仮想オブジェクトが表示されている際の、当該仮想オブジェクトに対してユーザが触れる動作のセンシング結果を当該モーション情報として刺激出力部２０から取得する。
　（２－１－２－２．仮想オブジェクトの属性情報の取得）
　また、情報取得部１０２は、ＨＭＤ３０により表示されている仮想オブジェクトの属性情報を取得する。例えば、仮想オブジェクトごとの属性情報が予め制作者により定められ、そして、仮想オブジェクトと属性情報とが関連付けて、後述するオブジェクトＤＢ１２４に登録され得る。この場合、情報取得部１０２は、ＨＭＤ３０により表示されている仮想オブジェクトの属性情報をオブジェクトＤＢ１２４から取得し得る。
　ここで、属性情報は、例えば、仮想オブジェクトが含む個々の面に関連付けられているテクスチャの情報（例えばテクスチャの種類など）を含み得る。なお、テクスチャの情報は、制作者により制作されてもよいし、または、当該仮想オブジェクトに対応する実オブジェクトが撮影された画像に対する画像認識に基づいて特定されてもよい。ここで、画像認識は、例えば機械学習やディープラーニングなどの方法を用いて行われ得る。
　‐オブジェクトＤＢ１２４
　オブジェクトＤＢ１２４は、例えば、仮想オブジェクトの識別情報と属性情報とを関連付けて格納するデータベースである。図３は、オブジェクトＤＢ１２４の構成例を示した説明図である。図３に示したように、オブジェクトＤＢ１２４では、例えば、オブジェクトＩＤ１２４０、属性情報１２４２、および、皮膚感覚１２４４が関連付けられ得る。また、属性情報１２４２は、テクスチャ１２４６を含む。また、皮膚感覚１２４４は、例えば、触覚１２４８、圧覚１２５０、温冷覚１２５２、および、痛覚１２５４を含む。ここで、テクスチャ１２４６には、該当の仮想オブジェクトに関連付けられているテクスチャの情報（テクスチャの種類など）が格納される。また、触覚１２４８、圧覚１２５０、温冷覚１２５２、および、痛覚１２５４にはそれぞれ、該当のテクスチャに関連付けられている、触覚に関するパラメータの基準値、圧覚に関するパラメータの基準値、温冷覚に関するパラメータの基準値、または、痛覚に関するパラメータの基準値が格納される。
　｛２－１－３．判定部１０４｝
　（２－１－３－１．ユーザの動きの判定）
　判定部１０４は、ＨＭＤ３０により表示されている仮想オブジェクトに対するユーザの動きを、情報取得部１０２により取得されたモーション情報に基づいて判定する。例えば、判定部１０４は、ＨＭＤ３０により表示されている仮想オブジェクトに対してユーザが接触しているか否か（例えば触れているか否か）を、取得されたモーション情報に基づいて判定する。また、当該仮想オブジェクトに対してユーザが接触していると判定した場合には、判定部１０４は、さらに、当該仮想オブジェクトに対するユーザの触れ方を判定する。ここで、ユーザの触れ方は、例えば、触れる強さ、触れる速度、および、触れる方向などを含む。
　（２－１－３－２．目標の皮膚感覚の判定）
　また、判定部１０４は、さらに、当該仮想オブジェクトに対するユーザの触れ方に応じて、目標の皮膚感覚を判定することが可能である。例えば、テクスチャの情報と目標の皮膚感覚の情報（各感覚のパラメータの値など）とが関連付けて、所定のテーブルに格納され得る。この場合、判定部１０４は、まず、ＨＭＤ３０により表示されている仮想オブジェクトに含まれる面のうち、ユーザが接触していると判定される面のテクスチャ情報を特定し、そして、判定部１０４は、特定した面のテクスチャ情報と、当該面に対するユーザの触れ方と、当該所定のテーブルとに基づいて、目標の皮膚感覚の情報を特定し得る。なお、所定のテーブルは、オブジェクトＤＢ１２４であってもよい。
　なお、変形例として、テクスチャ情報と目標の皮膚感覚の情報とは関連付けられていなくてもよい。この場合、情報処理装置１０（制御部１００）は、まず、ＨＭＤ３０により表示されている仮想オブジェクトに含まれる面ごとに、当該面のテクスチャ情報に関連付けられている音データを取得し、そして、取得した音データと公知の技術とに基づいて目標の皮膚感覚の情報を動的に生成してもよい。なお、通信網３２に接続された他の装置（図示省略）または記憶部１２２において、個々のテクスチャ情報と音データとは関連付けて格納され得る。
　（２－１－３－３．受信情報または送信情報の有無の判定）
　また、判定部１０４は、刺激出力部２０からの受信情報、または、刺激出力部２０やＨＭＤ３０への送信情報の有無を判定することも可能である。ここで、受信情報は、例えば、刺激出力部２０が出力する出力信号などを含む。また、送信情報は、例えば、ＨＭＤ３０へのフィードバック信号などを含む。
　（２－１－３－４．刺激出力部２０の接触の有無の判定）
　また、判定部１０４は、刺激出力部２０がユーザに接触しているか否か（例えば、刺激出力部２０がユーザに装着されているか否かなど）を、例えば刺激出力部２０からの受信の有無や受信されるデータ（モーション情報など）などに基づいて判定することが可能である。例えば、刺激出力部２０からの受信が所定の時間以上無い場合や、刺激出力部２０から受信されたモーション情報が、刺激出力部２０が静止していることを示す場合などには、判定部１０４は、刺激出力部２０がユーザに接触していないと判定する。
　｛２－１－４．選択部１０６｝
　選択部１０６は、情報取得部１０２により取得された属性情報と、判定部１０４による判定結果とに応じて表示対象のオノマトペを選択する。
　（２－１－４－１．オノマトペの選択例１）
　例えば、仮想オブジェクトごとにオノマトペが予め制作者により定められ、そして、仮想オブジェクトとオノマトペとが関連付けてオブジェクトＤＢ１２４にさらに登録され得る。この場合、選択部１０６は、まず、ＨＭＤ３０により表示されている一以上の仮想オブジェクトのうちユーザが接触していると判定される仮想オブジェクトに関連付けられているオノマトペをオブジェクトＤＢ１２４から抽出し得る。そして、選択部１０６は、抽出したオノマトペを表示対象のオノマトペとして選択し得る。
　または、テクスチャごとにオノマトペが予め制作者により定められ、そして、テクスチャとオノマトペとが関連付けて所定のテーブル（図示省略）に登録され得る。この場合、選択部１０６は、まず、ＨＭＤ３０により表示されている仮想オブジェクトに含まれる面のうち、ユーザが接触していると判定された面のテクスチャ情報に関連付けられているオノマトペを当該所定のテーブルから抽出し得る。そして、選択部１０６は、抽出したオノマトペを表示対象のオノマトペとして選択し得る。
　（２－１－４－２．オノマトペの選択例２）
　または、選択部１０６は、予め登録されている複数の種類のオノマトペのうちのいずれかを、判定部１０４による判定結果に基づいて表示対象のオノマトペとして選択することも可能である。なお、当該複数の種類のオノマトペは、予め記憶部１２２に記憶されてもよいし、または、通信網３２に接続された他の装置に記憶されてもよい。
　‐触れる方向に応じた選択
　例えば、選択部１０６は、当該仮想オブジェクトに対してユーザが接触していると判定された際の接触位置の変化の方向と、当該仮想オブジェクトとに応じて、当該複数の種類のオノマトペのうちのいずれかを表示対象のオノマトペとして選択することが可能である。一例として、選択部１０６は、当該仮想オブジェクトに対してユーザが触れる方向の判定結果と、当該仮想オブジェクトとに応じて、当該複数の種類のオノマトペのうちのいずれかを表示対象のオノマトペとして選択する。
　ここで、図４を参照して、上記の機能についてより詳細に説明する。図４は、ＨＭＤ３０における、仮想オブジェクト５０を含むフレーム画像４０の表示例を示した説明図である。なお、図４に示した例では、仮想オブジェクト５０に含まれる面５００は、多数の小石を含むテクスチャと関連付けられているものとする。この場合、図４に示したように、面５００に対して、面５００と平行な方向に触れる動きをユーザが行ったと判定される場合には、選択部１０６は、面５００に関連付けられているテクスチャと、面５００に対してユーザが触れる方向の判定結果とに応じて、当該複数の種類のオノマトペの中から「ザラザラ」というオノマトペを表示対象のオノマトペとして選択する。なお、図４に示した例で、面５００に対して垂直方向に触れる動きをユーザが行ったと判定される場合には、選択部１０６は、「ザラザラ」とは異なる種類のオノマトペを表示対象のオノマトペとして選択し得る。
　‐触れる速度に応じた選択
　また、選択部１０６は、当該仮想オブジェクトに対してユーザが接触していると判定された際の接触位置の変化の速度と、当該仮想オブジェクトとに応じて、当該複数の種類のオノマトペのうちのいずれかを表示対象のオノマトペとして選択することも可能である。例えば、選択部１０６は、当該仮想オブジェクトに対してユーザが触れる速度の判定結果と、当該仮想オブジェクトとに応じて、当該複数の種類のオノマトペのうちのいずれかを表示対象のオノマトペとして選択する。
　例えば、当該仮想オブジェクトに対してユーザが触れる速度が所定の速度以上である場合には、選択部１０６は、当該仮想オブジェクトに対してユーザが触れる速度が所定の速度未満である場合に選択される第１のオノマトペとは異なるオノマトペを表示対象のオノマトペとして選択する。一例として、当該仮想オブジェクトに対してユーザが触れる速度が所定の速度以上である場合には、選択部１０６は、当該第１のオノマトペの省略表現や当該第１のオノマトペの強調表現を表示対象のオノマトペとして選択してもよい。なお、第１のオノマトペの強調表現は、第１のオノマトペの末尾に所定の記号（例えば「！」など）を付加した文字列を含み得る。
　ここで、図４および図５を参照して、上記の機能についてより詳細に説明する。なお、図４に示した例では、仮想オブジェクト５０の面５００に対して所定の速度未満でユーザが触れることが判定されたものとし、また、図５に示した例では、仮想オブジェクト５０の面５００に対してユーザが所定の速度以上で触れる動きが判定されたものとする。この場合、面５００に対して所定の速度以上の速度でユーザが触れることが判定された場合には、図５に示したように、選択部１０６は、図４に示した例で選択されるオノマトペ（「ザラザラ」）とは異なるオノマトペ（図５に示した例では「ザッ」）を表示対象のオノマトペとして選択する。
　‐触れる強さに応じた選択
　また、選択部１０６は、当該仮想オブジェクトに対してユーザが触れた際の接触の強さと、当該仮想オブジェクトとに応じて、当該複数の種類のオノマトペのうちのいずれかを表示対象のオノマトペとして選択することも可能である。
　‐仮想オブジェクトとユーザとの距離に応じた選択
　また、選択部１０６は、当該仮想オブジェクトとユーザとの間の距離と、当該仮想オブジェクトとに応じて、当該複数の種類のオノマトペのうちのいずれかを表示対象のオノマトペとして選択することも可能である。例えば、仮想オブジェクトが、多くの毛を有する動物（犬など）であり、かつ、毛の先端部分のみにユーザが触れている場合（つまり、当該動物とユーザの手との間の距離が大きい場合）には、選択部１０６は、当該複数の種類のオノマトペの中から、「さらさら」といったオノマトペを表示対象のオノマトペとして選択する。また、当該動物の皮膚の近くをユーザが触れている場合（つまり、当該動物とユーザの手との間の距離が小さい場合）には、選択部１０６は、当該複数の種類のオノマトペの中から、「もしゃもしゃ」といったオノマトペを表示対象のオノマトペとして選択する。
　‐目標の皮膚感覚に応じた選択
　また、仮想オブジェクトに対してユーザが触れていることが判定部１０４により判定された際には、選択部１０６は、判定部１０４により判定された目標の皮膚感覚の情報に基づいて、当該複数の種類のオノマトペのうちのいずれかを表示対象のオノマトペとして選択することも可能である。例えば、選択部１０６は、まず、判定部１０４により判定された目標の皮膚感覚の情報に含まれる４種類のパラメータの値（つまり、触覚のパラメータ値、圧覚のパラメータ値、温冷覚のパラメータ値、および、痛覚のパラメータ値）に基づいて、当該複数の種類のオノマトペの各々を評価する。そして、選択部１０６は、評価値が最も高いオノマトペを特定し、そして、特定したオノマトペを表示対象のオノマトペとして選択する。
　‐ユーザに応じた選択
　また、選択部１０６は、さらに、ＨＭＤ３０を装着しているユーザのプロファイルに応じて、当該複数の種類のオノマトペのうちのいずれかを表示対象のオノマトペとして選択することも可能である。ここで、プロファイルは、例えば年齢、性別、および、使用言語（母国語など）などを含み得る。
　例えば、選択部１０６は、当該複数の種類のオノマトペに含まれる当該ユーザの使用言語のオノマトペのうちのいずれかを、当該仮想オブジェクトに対してユーザが触れる動きの判定結果に基づいて表示対象のオノマトペとして選択する。また、選択部１０６は、当該仮想オブジェクトに対してユーザが触れる動きの判定結果と、当該ユーザの年齢や性別とに応じて、当該複数の種類のオノマトペのうちのいずれかを表示対象のオノマトペとして選択する。例えば、当該ユーザが子どもである場合には、選択部１０６は、まず、当該仮想オブジェクトに対してユーザが触れる動きの判定結果に応じた複数の種類のオノマトペを特定し、そして、特定した複数の種類のオノマトペの中から、より簡易な表現のオノマトペ（例えば、子どもが使用するオノマトペなど）を表示対象のオノマトペとして選択する。
　｛２－１－５．出力制御部１０８｝
　出力制御部１０８は、ＨＭＤ３０に対して映像の表示を制御する。例えば、出力制御部１０８は、仮想オブジェクトを表示させるための表示制御情報をＨＭＤ３０へ通信部１２０に送信させる。また、出力制御部１０８は、刺激出力部２０に対する触覚刺激の出力を制御する。例えば、出力制御部１０８は、触覚刺激を出力させるための出力制御情報を刺激出力部２０へ通信部１２０に送信させる。
　（２－１－５－１．オノマトペ画像の表示判定）
　例えば、出力制御部１０８は、判定部１０４による判定結果に基づいて、オノマトペ画像をＨＭＤ３０に表示させる。一例として、仮想オブジェクトに対してユーザが接触していると判定部１０４により判定された際には、出力制御部１０８は、例えば図４に示したように、選択部１０６により選択されたオノマトペを含むオノマトペ画像を、当該仮想オブジェクトに対してユーザが接触していると判定される位置の近辺にＨＭＤ３０に表示させる。
　より詳細には、出力制御部１０８は、刺激出力部２０がユーザに装着されているか否かの判定結果と、ＨＭＤ３０に表示されている仮想オブジェクトに対してユーザが接触しているか否かの判定結果とに応じて、オノマトペ画像をＨＭＤ３０に表示させる。例えば、刺激出力部２０がユーザに装着されていないと判定されている間において、当該仮想オブジェクトに対してユーザが触れていると判定された際には、出力制御部１０８は、オノマトペ画像をＨＭＤ３０に表示させる。
　また、刺激出力部２０がユーザに装着されていると判定されている間において、当該仮想オブジェクトに対してユーザが触れていると判定される際には、出力制御部１０８は、判定部１０４により判定された目標の皮膚感覚に対応する触覚刺激の情報と、刺激出力部２０が出力可能な触覚刺激に関する情報とに基づいて、当該オノマトペ画像をＨＭＤ３０に表示させるか否かを決定する。例えば、当該目標の触覚刺激を刺激出力部２０が出力可能であると判定される場合には、出力制御部１０８は、当該目標の触覚刺激を刺激出力部２０に出力させるとともに、当該オノマトペ画像をＨＭＤ３０に表示させないことを決定する。あるいは、当該目標の触覚刺激を刺激出力部２０が出力可能であると判定される場合には、出力制御部１０８は、刺激出力部２０に出力させる触覚刺激量に応じて、当該オノマトペ画像の視認性を変化（増加あるいは減少）させても良い。視認性に関連するパラメータとしては、表示サイズ、表示時間、色、輝度、透過度等の種々のパラメータが含まれる。また、オノマトペの形状が動的に変化される場合、出力制御部１０８は、視認性に関するパラメータとしてオノマトペの動作量を増加させてもよい。また、出力制御部１０８は、視認性を増加させるために静的に形状を変化させたり、オノマトペ以外の追加エフェクトを加えても良い。静的な形状変化の一例として、フォントの変更が挙げられる。これらの視認性に関する要素の変更は、適宜２つ以上が組み合わされても良い。なお、触覚刺激量が増加（あるいは減少）した場合には、出力制御部１０８は、オノマトペの視認性を増加（あるいは減少）させてフィードバックを強調しても良いし、触覚刺激量が増加（あるいは減少）した場合には、出力制御部１０８は、オノマトペの視認性を減少（あるいは増加）させてフィードバックのバランスを図っても良い。また、触覚刺激量と視認性の変化との関係は比例または反比例になるように設定されてもよいし、触覚刺激量と視認性とは段階的に対応付けられても良い。
　また、当該目標の触覚刺激を刺激出力部２０が出力可能ではないと判定される場合には、出力制御部１０８は、刺激出力部２０が出力可能な範囲内で当該目標の触覚刺激に最も近い触覚刺激を刺激出力部２０に出力させるとともに、当該オノマトペ画像をＨＭＤ３０に表示させることを決定する。なお、刺激出力部２０が出力可能な範囲の上限値または下限値として、刺激出力部２０の性能の限界値が設定されても良く、あるいは、ユーザによって任意に設定される上限値・下限値が設定されても良い。なお、任意に設定可能な上限値は刺激出力部２０の性能の限界値（上限値）よりも小さくなり得る。また、任意に設定可能な下限値は性能の限界値（下限値）よりも大きくなり得る。
　（２－１－５－２．オノマトペ画像の表示態様の変更）
　‐変更例１
　また、出力制御部１０８は、当該オノマトペ画像の表示態様を所定の基準に基いて動的に変更することが可能である。例えば、出力制御部１０８は、ＨＭＤ３０に表示されている仮想オブジェクトに対してユーザが接触していると判定された際の接触位置の変化の方向に応じて、当該オノマトペ画像の表示態様を変更してもよい。一例として、出力制御部１０８は、当該仮想オブジェクトに対してユーザが触れる方向の判定結果に応じて、当該オノマトペ画像の表示態様を変更してもよい。
　‐変更例２
　また、出力制御部１０８は、ＨＭＤ３０に表示されている仮想オブジェクトに対してユーザが触れていると判定された際の、ユーザが触れる速度に応じて、当該オノマトペ画像の表示態様を変更してもよい。例えば、出力制御部１０８は、当該仮想オブジェクトに対してユーザが触れていると判定された際の、ユーザが触れる速度が大きいほど、当該オノマトペ画像の表示時間の長さをより小さくしてもよい。また、例えば当該オノマトペ画像が動画像である場合などには、出力制御部１０８は、当該仮想オブジェクトに対してユーザが触れていると判定された際の、ユーザが触れる速度が大きいほど、当該オノマトペ画像の表示速度をより速くしてもよい。
　または、出力制御部１０８は、当該仮想オブジェクトに対してユーザが触れていると判定される際の、ユーザが触れる速度が大きいほど、当該オノマトペ画像の表示サイズをより大きくしてもよい。図６は、図４に示した例と同じ仮想オブジェクト５０がＨＭＤ３０に表示されており、かつ、仮想オブジェクト５０に対して、図４に示した例よりも速い速度でユーザが触れる例を示した説明図である。図４および図６に示したように、出力制御部１０８は、仮想オブジェクト５０に対してユーザが触れていると判定された際の、ユーザが触れる速度が大きいほど、当該オノマトペ画像の表示サイズをより大きくしてもよい。
　また、出力制御部１０８は、当該仮想オブジェクトに対するユーザの触れ方の判定結果に応じて、当該オノマトペ画像の表示頻度を変更してもよい。これらの制御例によれば、仮想オブジェクトに対してユーザが触れた際の皮膚感覚をより強調して提示することができる。
　また、出力制御部１０８は、ユーザのプロファイルに応じて、当該オノマトペ画像の表示態様（例えば文字のフォントなど）を変更してもよい。
　（２－１－５－３．オノマトペ以外の表示例）
　なお、上記の説明では、出力制御部１０８が、仮想オブジェクトに対するユーザの動きに応じて、オノマトペ画像をＨＭＤ３０に表示させる例について説明したが、かかる例に限定されない。例えば、出力制御部１０８は、仮想オブジェクトに対するユーザの動きに応じて、表示エフェクトを（オノマトペ画像の代わりに）ＨＭＤ３０に表示させてもよい。一例として、ＨＭＤ３０に表示されている仮想オブジェクトに対してユーザが触れていると判定された際には、出力制御部１０８は、当該仮想オブジェクトに対して表示エフェクトを付加してＨＭＤ３０に表示させてもよい。
　ここで、図７を参照して、上記の機能についてより詳細に説明する。例えば、図７に示したフレーム画像４０ａのように、仮想オブジェクト５０がＨＭＤ３０に表示されている状況において、仮想オブジェクト５０に含まれる面５００に対してユーザが触れたと判定されたとする。この場合、図７に示したフレーム画像４０ｂのように、出力制御部１０８は、仮想オブジェクト５０に対して光沢表現５０２を付加してＨＭＤ３０に表示させてもよい。
　｛２－１－６．通信部１２０｝
　通信部１２０は、例えば、後述する通信装置１６２を含んで構成され得る。通信部１２０は、他の装置との間で情報の送受信を行う。例えば、通信部１２０は、モーション情報を刺激出力部２０から受信する。また、通信部１２０は、出力制御部１０８の制御に従って、表示制御情報をＨＭＤ３０へ送信したり、また、出力制御情報を刺激出力部２０へ送信する。
　｛２－１－７．記憶部１２２｝
　記憶部１２２は、例えば、後述するストレージ装置１６０を含んで構成され得る。記憶部１２２は、各種のデータ、および、各種のソフトウェアを記憶する。例えば、図２に示したように、記憶部１２２は、オブジェクトＤＢ１２４を記憶する。
　なお、本実施形態による情報処理装置１０の構成は、上述した例に限定されない。例えば、オブジェクトＤＢ１２４は、記憶部１２２に記憶される代わりに、通信網３２に接続された他の装置（図示省略）に記憶されてもよい。
　＜２－２．処理の流れ＞
　以上、本実施形態の構成について説明した。次に、本実施形態による処理の流れの一例について、図８～図１０を参照して説明する。なお、以下では、仮想オブジェクトを含む映像を情報処理装置１０がＨＭＤ３０に表示させる場面における処理の流れの例について説明する。また、ここでは、ユーザが刺激出力部２０を装着しているものとする。
　｛２－２－１．全体の処理の流れ｝
　図８に示したように、まず、情報処理装置１０の通信部１２０は、制御部１００の制御に従って、ユーザが装着している刺激出力部２０に対してデバイス情報（デバイスＩＤなど）の取得要求を送信する（Ｓ１０１）。そして、刺激出力部２０は、当該取得要求を受信すると、デバイス情報を情報処理装置１０へ送信する（Ｓ１０３）。
　その後、情報処理装置１０の出力制御部１０８は、仮想オブジェクトを含む所定の映像をＨＭＤ３０に表示させるための表示制御情報をＨＭＤ３０へ送信する（Ｓ１０５）。そして、ＨＭＤ３０は、当該表示制御情報に従って、所定の映像を表示する（Ｓ１０７）。
　その後、刺激出力部２０は、ユーザの動きをセンシングする（Ｓ１０９）。そして、刺激出力部２０は、センシング結果をモーション情報として情報処理装置１０へ送信する（Ｓ１１１）。その後、所定の時間が経過した場合には（Ｓ１１３：Ｙｅｓ）、刺激出力部２０は、再びＳ１０９の処理を行う。
　また、Ｓ１１１においてモーション情報が受信されると、情報処理装置１０の判定部１０４は、ＨＭＤ３０に表示されている仮想オブジェクトに対してユーザが触れているか否かを当該モーション情報に基づいて判定する（Ｓ１１５）。当該仮想オブジェクトに対してユーザが触れていないと判定された場合には（Ｓ１１５：Ｎｏ）、判定部１０４は、モーション情報が新たに受信されるまで待機した後、再びＳ１１５の処理を行う。
　一方、当該仮想オブジェクトに対してユーザが触れていると判定された場合には（Ｓ１１５：Ｙｅｓ）、情報処理装置１０は、後述する「制御方法判定処理」を行う（Ｓ１１７）。
　ここで、図９を参照して、Ｓ１１７よりも後の処理の流れについて説明する。図９に示したように、オノマトペ画像をＨＭＤ３０に表示させることがＳ１１７において決定された場合には（Ｓ１２１：Ｙｅｓ）、情報処理装置１０の通信部１２０は、出力制御部１０８の制御に従って、Ｓ１１７で生成された表示制御情報をＨＭＤ３０へ送信する（Ｓ１２３）。そして、ＨＭＤ３０は、受信した表示制御情報に従って、表示している仮想オブジェクトと当該オノマトペ画像とを関連付けて表示する（Ｓ１２５）。
　また、オノマトペ画像をＨＭＤ３０に表示させないことがＳ１１７において決定された場合（Ｓ１２１：Ｎｏ）、または、Ｓ１２３の後には、情報処理装置１０の通信部１２０は、出力制御部１０８の制御に従って、Ｓ１１７で生成された出力制御情報を刺激出力部２０へ送信する（Ｓ１２７）。そして、刺激出力部２０は、受信した出力制御情報に従って触覚刺激を出力する（Ｓ１２９）。
　｛２－２－２．制御方法判定処理｝
　ここで、図１０を参照して、Ｓ１１７における「制御方法判定処理」の流れについて詳細に説明する。図１０に示したように、まず、情報処理装置１０の情報取得部１０２は、ＨＭＤ３０に表示されている一以上の仮想オブジェクトのうち、ユーザが触れたと判定された仮想オブジェクトに関連付けられている属性情報を取得する。そして、判定部１０４は、Ｓ１１５で判定された、当該仮想オブジェクトに対するユーザの触れ方と、当該仮想オブジェクトの属性情報とに応じて目標の皮膚感覚を特定し、そして、当該目標の皮膚感覚に対応する触覚刺激の情報を特定する（Ｓ１５１）。
　続いて、選択部１０６は、当該仮想オブジェクトに対するユーザの触れ方の判定結果と、当該仮想オブジェクトの属性情報とに応じて、表示対象のオノマトペを選択する（Ｓ１５３）。
　続いて、出力制御部１０８は、刺激出力部２０が出力可能な触覚刺激の情報を、Ｓ１０３で受信されたデバイス情報に基づいて特定する（Ｓ１５５）。
　続いて、出力制御部１０８は、Ｓ１５１で特定された目標の触覚刺激を刺激出力部２０が出力可能であるか否かを、Ｓ１５５で特定された情報に基づいて判定する（Ｓ１５７）。刺激出力部２０が当該目標の触覚刺激を出力可能であると判定した場合には（Ｓ１５７：Ｙｅｓ）、出力制御部１０８は、当該目標の触覚刺激を刺激出力部２０に出力させるための出力制御情報を生成する（Ｓ１５９）。そして、出力制御部１０８は、オノマトペ画像をＨＭＤ３０に表示させないことを決定する（Ｓ１６１）。そして、当該「制御方法判定処理」は終了する。
　一方、刺激出力部２０が当該目標の触覚刺激を出力可能ではないと判定した場合には（Ｓ１５７：Ｎｏ）、出力制御部１０８は、刺激出力部２０が出力可能な範囲内で当該目標の触覚刺激に最も近い触覚刺激を刺激出力部２０に出力させるための出力制御情報を生成する（Ｓ１６３）。
　続いて、出力制御部１０８は、Ｓ１５３で選択されたオノマトペを含むオノマトペ画像をＨＭＤ３０に表示させることを決定する（Ｓ１６５）。そして、出力制御部１０８は、当該オノマトペ画像をＨＭＤ３０に表示させるための表示制御情報を生成する（Ｓ１６７）。そして、当該「制御方法判定処理」は終了する。
　＜２－３．効果＞
　以上説明したように、本実施形態によれば、情報処理装置１０は、ＨＭＤ３０により表示されている仮想オブジェクトに対するユーザのモーション情報を取得し、そして、当該モーション情報と当該仮想オブジェクトとに応じて、オノマトペ画像の表示を制御する。これにより、当該仮想オブジェクトに対するユーザのモーションと、当該仮想オブジェクトとに適応した視覚情報をユーザに提示することができる。
　例えば、当該仮想オブジェクトに対してユーザが触れたと判定された際に、情報処理装置１０は、ユーザの触れ方の判定結果と当該仮想オブジェクトとに対応する目標の触覚刺激を刺激出力部２０が出力可能である場合には、オノマトペ画像をＨＭＤ３０に表示させない。また、当該目標の触覚刺激を刺激出力部２０が出力可能ではない場合には、情報処理装置１０は、オノマトペ画像をＨＭＤ３０に表示させる。従って、目標の触覚刺激（つまり、目標の皮膚感覚に対応する触覚刺激）を刺激出力部２０が出力できない場合には、情報処理装置１０は、オノマトペ画像などの視覚情報を用いることにより、ユーザに対する目標の皮膚感覚の提示を補うことができる。従って、目標の皮膚感覚を適切にユーザに提示することができる。
　＜２－４．応用例＞
　以上、本実施形態について説明した。ところで、あるユーザが実オブジェクトまたは仮想オブジェクトを触れている際に当該ユーザが得る皮膚感覚を、例えば当該ユーザ以外の他のユーザが知ることが可能であることも望まれる。
　｛２－４－１．概要｝
　次に、本実施形態の応用例について説明する。図１１は、本応用例による情報処理システムの構成例を示した説明図である。図１１に示したように、本応用例では、あるユーザ２ａが刺激出力部２０およびＨＭＤ３０ａを装着しており、かつ、別のユーザ２ｂがＨＭＤ３０ｂを装着し得る。そして、仮想オブジェクトを含む映像がＨＭＤ３０ａおよびＨＭＤ３０ｂに表示され得る。ここで、ユーザ２ｂは、ユーザ２ａの近くに位置していてもよいし、または、ユーザ２ａがいる場所の遠隔地に位置していてもよい。なお、その他の内容については、図１に示した情報処理システムと同様であるので、説明を省略する。
　｛２－４－２．構成｝
　次に、本応用例による構成について説明する。なお、上述した実施形態と同様の機能を有する構成要素については説明を省略する。
　（出力制御部１０８）
　本応用例による出力制御部１０８は、仮想オブジェクトに対する、あるユーザ２ａの触れ方の判定結果と、別のユーザ２ｂが当該仮想オブジェクトの映像を閲覧しているか否かと応じて、オノマトペ画像の表示を制御することが可能である。
　‐表示例１
　例えば、別のユーザ２ｂが当該仮想オブジェクトの映像を閲覧している場合には、出力制御部１０８は、仮想オブジェクトに対する、あるユーザ２ａの触れ方に対応するオノマトペ画像を、ユーザ２ａが装着しているＨＭＤ３０ａ、および、ユーザ２ｂが装着しているＨＭＤ３０ｂの両方に表示させる。一例として、この場合、出力制御部１０８は、仮想オブジェクトに対するユーザ２ａの触れ方に対応するオノマトペ画像を、当該仮想オブジェクトに対してユーザ２ａが触れている場所の近辺に、当該２つのＨＭＤ３０に表示させる。また、別のユーザ２ｂが当該仮想オブジェクトの映像を閲覧していない場合（例えばユーザ２ｂがＨＭＤ３０ｂを装着していない場合など）には、オノマトペ画像をいずれのＨＭＤ３０にも表示させない。この表示例によれば、ユーザ２ｂは、仮想オブジェクトに対してユーザ２ａが触れた際の皮膚感覚を視覚的に知ることができる。また、ユーザ２ａは、ユーザ２ｂが当該仮想オブジェクトの映像を閲覧しているか否かを知ることができる。
　‐表示例２
　または、別のユーザ２ｂが当該仮想オブジェクトの映像を閲覧していない場合には、出力制御部１０８は、オノマトペ画像を回転させずに、（ユーザ２ａが装着している）ＨＭＤ３０ａに表示させてもよい。また、ユーザ２ｂが当該仮想オブジェクトの映像を閲覧している場合には、出力制御部１０８は、ユーザ２ａが装着しているＨＭＤ３０ａ、および、ユーザ２ｂが装着しているＨＭＤ３０ｂの両方に、オノマトペ画像を回転させて表示させてもよい。
　ここで、図１２および図１３を参照して、上記の機能についてより詳細に説明する。図１２および図１３は、刺激出力部２０を装着しているユーザ２ａが、動物の仮想オブジェクト５０に対して触れる場面を示した説明図である。例えば、別のユーザ２ｂが仮想オブジェクト５０の映像を閲覧していない場合には、出力制御部１０８は、図１２に示したように、（「もしゃもしゃ」というオノマトペを含む）オノマトペ画像５４を回転させずにＨＭＤ３０ａのみに表示させる。また、別のユーザ２ｂが仮想オブジェクト５０の映像を閲覧している場合には、出力制御部１０８は、図１３に示したように、オノマトペ画像５４を例えば所定の回転軸Ａ回りに回転させて、ＨＭＤ３０ａおよびＨＭＤ３０ｂの両方に表示させる。この表示例によれば、ユーザ２ａは、別のユーザ２ｂが仮想オブジェクト５０の映像を閲覧しているか否かを知ることができる。
　‐表示例３
　また、例えば、仮想オブジェクトを含む映像が自由視点映像である場合などには、出力制御部１０８は、ユーザ２ａが装着しているＨＭＤ３０ａに表示されている画像のうち、別のユーザ２ｂが装着しているＨＭＤ３０ｂに現在表示されている領域に関しては表示態様を変更してもよい。例えば、出力制御部１０８は、ＨＭＤ３０ａに表示されている画像のうち、ＨＭＤ３０ｂに現在表示されている領域に関しては半透明で表示させてもよい。この表示例によれば、ＨＭＤ３０ａにオノマトペ画像が表示された際に、ユーザ２ａは、別のユーザ２ｂが当該オノマトペ画像を閲覧しているか否かを知ることができる。
　｛２－４－３．効果｝
　以上説明したように、本応用例によれば、刺激出力部２０を装着しているユーザ２ａが仮想オブジェクトに触れる際に刺激出力部２０によりユーザ２ａに提示され得る皮膚感覚を、別のユーザ２ｂは、オノマトペ画像を介して知ることができる。
　｛２－４－４．適用例｝
　次に、本応用例の適用例について説明する。この適用例では、遠隔地にいる複数のユーザが装着するＨＭＤ３０が、同じ仮想空間の内部の映像を表示することを想定する。これにより、当該複数のユーザはあたかも当該仮想空間内に一緒にいるかのような体験をすることができる。または、本適用例による情報処理装置１０は、遠隔地に位置する別のユーザ２ｂの映像を、ユーザ２ａが位置する実空間に重畳して、ユーザ２ａが装着する透過型のＨＭＤ３０に表示させてもよい。これにより、ユーザ２ａは、ユーザ２ａが位置する実空間内にあたかもユーザ２ｂが居るかのような体験をすることができる。
　例えば、父親が単身赴任している家庭において、当該父親の家族（例えば子ども）が例えば光学シースルー型のＨＭＤ３０ａを装着している場合、ＨＭＤ３０ａは、当該子どもが住む家（つまり自宅）の中で当該父親の映像を重畳表示することが可能である。これにより、子どもは、父親があたかも自宅の中に一緒にいるかのような体験をすることができる。
　この場合、情報処理装置１０は、ＨＭＤ３０に表示される、自宅に存在する物体に対するユーザの動きの判定結果に基づいて、オノマトペ画像をＨＭＤ３０に表示させることが可能である。例えば、情報処理装置１０は、自宅に存在する物体に対して父親が触った際（例えば機器の操作用のスイッチを押下した場合など）の触り方と、当該物体とに応じて表示対象のオノマトペを選択し、そして、選択したオノマトペを含むオノマトペ画像を、当該父親が装着しているＨＭＤ３０に表示させてもよい。また、情報処理装置１０は、自宅に存在する物体に対して子どもが触った際の触り方と、当該物体とに応じて表示対象のオノマトペを選択し、そして、選択したオノマトペを含むオノマトペ画像を、父親が装着しているＨＭＤ３０に表示させてもよい。
　この適用例によれば、父親が遠隔地に位置する場合であっても、父親や子どもが自宅内の物体に対して触れた際に得られる皮膚感覚を、当該父親に対して視覚的に提示することができる。
＜＜３．ハードウェア構成＞＞
　次に、本実施形態による情報処理装置１０のハードウェア構成について、図１４を参照して説明する。図１４に示すように、情報処理装置１０は、ＣＰＵ１５０、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）１５２、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）１５４、バス１５６、インターフェース１５８、ストレージ装置１６０、および通信装置１６２を備える。
　ＣＰＵ１５０は、演算処理装置および制御装置として機能し、各種プログラムに従って情報処理装置１０内の動作全般を制御する。また、ＣＰＵ１５０は、情報処理装置１０において制御部１００の機能を実現する。なお、ＣＰＵ１５０は、マイクロプロセッサなどのプロセッサにより構成される。
　ＲＯＭ１５２は、ＣＰＵ１５０が使用するプログラムや演算パラメータなどの制御用データなどを記憶する。
　ＲＡＭ１５４は、例えば、ＣＰＵ１５０により実行されるプログラムや、使用中のデータなどを一時的に記憶する。
　バス１５６は、ＣＰＵバスなどから構成される。このバス１５６は、ＣＰＵ１５０、ＲＯＭ１５２、および、ＲＡＭ１５４を相互に接続する。
　インターフェース１５８は、ストレージ装置１６０および通信装置１６２を、バス１５６と接続する。
　ストレージ装置１６０は、記憶部１２２として機能する、データ格納用の装置である。ストレージ装置１６０は、例えば、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置、または記憶媒体に記録されたデータを削除する削除装置などを含む。
　通信装置１６２は、例えば通信網３２などに接続するための通信デバイス（例えばネットワークカードなど）等で構成された通信インターフェースである。また、通信装置１６２は、無線ＬＡＮ対応通信装置、ＬＴＥ（Ｌｏｎｇ　Ｔｅｒｍ　Ｅｖｏｌｕｔｉｏｎ）対応通信装置、または有線による通信を行うワイヤー通信装置であってもよい。この通信装置１６２は、通信部１２０として機能する。
＜＜４．変形例＞＞
　以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示はかかる例に限定されない。本開示の属する技術の分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
　＜４－１．変形例１＞
　例えば、上述した実施形態による情報処理システムの構成は、図１に示した例に限定されない。一例として、ＨＭＤ３０と情報処理装置１０とは一体的に構成されてもよい。例えば、上述した制御部１００に含まれる各構成要素はＨＭＤ３０が有してもよい。この場合、ＨＭＤ３０が、刺激出力部２０に対して触覚刺激の出力を制御し得る。
　また、ユーザ２が位置する実空間内にプロジェクタが配置されてもよい。そして、情報処理装置１０は、例えば仮想オブジェクトなどの映像を当該実空間内の投影対象（例えば壁など）に対して当該プロジェクタに投影させてもよい。なお、この変形例では、本開示における表示部は、プロジェクタであってもよい。また、この場合、当該情報処理システムは、ＨＭＤ３０を有しなくてもよい。
　＜４－２．変形例２＞
　また、上述した実施形態の処理の流れにおける各ステップは、必ずしも記載された順序に沿って処理されなくてもよい。例えば、各ステップは、適宜順序が変更されて処理されてもよい。また、各ステップは、時系列的に処理される代わりに、一部並列的に又は個別的に処理されてもよい。また、記載されたステップのうちの一部が省略されたり、または、別のステップがさらに追加されてもよい。
　また、上述した実施形態によれば、ＣＰＵ１５０、ＲＯＭ１５２、およびＲＡＭ１５４などのハードウェアを、上述した実施形態による情報処理装置１０の各構成と同等の機能を発揮させるためのコンピュータプログラムも提供可能である。また、当該コンピュータプログラムが記録された記録媒体も提供される。
　また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
　なお、以下のような構成も本開示の技術的範囲に属する。
（１）
　表示部により表示される仮想オブジェクトに対するユーザのモーション情報を取得する取得部と、
　前記モーション情報と前記仮想オブジェクトとに応じて、オノマトペを含む画像の表示を制御する出力制御部と、
を備える、情報処理装置。
（２）
　前記取得部は、前記仮想オブジェクトに関連付けられている属性情報をさらに取得し、
　前記出力制御部は、前記モーション情報と前記属性情報とに応じて、前記オノマトペを含む画像の表示を制御する、前記（１）に記載の情報処理装置。
（３）
　前記情報処理装置は、前記仮想オブジェクトに対して前記ユーザが接触しているか否かを前記モーション情報に基づいて判定する判定部をさらに備え、
　前記仮想オブジェクトに対して前記ユーザが接触していると前記判定部により判定された場合に、前記出力制御部は、前記オノマトペを含む画像を前記表示部に表示させる、前記（２）に記載の情報処理装置。
（４）
　前記出力制御部は、前記仮想オブジェクトに対して前記ユーザが接触していると判定された際の接触位置の変化の方向に応じて、前記オノマトペを含む画像の表示態様を変更する、前記（３）に記載の情報処理装置。
（５）
　前記出力制御部は、前記仮想オブジェクトに対して前記ユーザが接触していると判定された際の接触位置の変化の速度に応じて、前記オノマトペを含む画像の表示態様を変更する、前記（３）または（４）に記載の情報処理装置。
（６）
　前記出力制御部は、前記仮想オブジェクトに対して前記ユーザが接触していると判定された際の接触位置の変化の速度が大きいほど、前記オノマトペを含む画像の表示時間をより小さくする、前記（５）に記載の情報処理装置。
（７）
　前記出力制御部は、前記仮想オブジェクトに対して前記ユーザが接触していると判定された際の接触位置の変化の速度が大きいほど、前記オノマトペを含む画像の表示サイズをより大きくする、前記（５）または（６）に記載の情報処理装置。
（８）
　前記情報処理装置は、複数の種類のオノマトペのうちのいずれかを前記属性情報に応じて選択する選択部をさらに備え、
　前記出力制御部は、前記選択部により選択されたオノマトペを含む画像を前記表示部に表示させる、前記（３）～（７）のいずれか一項に記載の情報処理装置。
（９）
　前記選択部は、さらに、前記仮想オブジェクトに対して前記ユーザが接触していると判定された際の接触位置の変化の方向に応じて、前記複数の種類のオノマトペのうちのいずれかを選択する、前記（８）に記載の情報処理装置。
（１０）
　前記選択部は、さらに、前記仮想オブジェクトに対して前記ユーザが接触していると判定された際の接触位置の変化の速度に応じて、前記複数の種類のオノマトペのうちのいずれかを選択する、前記（８）または（９）に記載の情報処理装置。
（１１）
　前記選択部は、さらに、前記ユーザのプロファイルに応じて、前記複数の種類のオノマトペのうちのいずれかを選択する、前記（８）～（１０）のいずれか一項に記載の情報処理装置。
（１２）
　前記仮想オブジェクトに対して前記ユーザが接触していると前記判定部により判定された場合には、前記出力制御部は、さらに、前記モーション情報と前記属性情報とに応じた、触覚に関する刺激を刺激出力部に出力させる、前記（３）～（１１）のいずれか一項に記載の情報処理装置。
（１３）
　前記判定部は、前記刺激出力部の受信情報または送信情報の有無をさらに判定し、
　前記受信情報または送信情報が無く、かつ、前記仮想オブジェクトに対して前記ユーザが接触していると判定された場合には、前記出力制御部は、前記オノマトペを含む画像を前記表示部に表示させる、前記（１２）に記載の情報処理装置。
（１４）
　前記判定部は、前記刺激出力部の受信情報または送信情報の有無をさらに判定し、
　前記受信情報または送信情報が有り、かつ、前記仮想オブジェクトに対して前記ユーザが触れていると判定された場合には、前記出力制御部は、前記仮想オブジェクトに対する前記ユーザの触れ方に対応する目標の触覚刺激と、前記刺激出力部が出力可能な触覚刺激に関する情報とに基づいて、前記オノマトペを含む画像を前記表示部に表示させる、前記（１２）または（１３）に記載の情報処理装置。
（１５）
　前記目標の触覚刺激を前記刺激出力部が出力可能ではないと判定された場合には、前記出力制御部は、前記オノマトペを含む画像を前記表示部に表示させる、前記（１４）に記載の情報処理装置。
（１６）
　前記判定部は、前記刺激出力部の受信情報または送信情報の有無をさらに判定し、
　前記受信情報または送信情報が有り、かつ、前記仮想オブジェクトに対して前記ユーザが触れていると判定された場合には、前記出力制御部は、前記仮想オブジェクトに対する前記ユーザの触れ方に対応する目標の触覚刺激と、前記刺激出力部が出力する触覚刺激量に基づいて、前記オノマトペを含む画像の視認性を変化させる、前記（１２）～（１５）のいずれか一項に記載の情報処理装置。
（１７）
　前記出力制御部は、さらに、前記仮想オブジェクトが複数の表示部により表示されているか否かに応じて、前記オノマトペを含む画像の表示を制御する、前記（３）～（１６）のいずれか一項に記載の情報処理装置。
（１８）
　前記仮想オブジェクトが前記複数の表示部により表示されている場合には、前記出力制御部は、前記オノマトペを含む画像を回転して前記複数の表示部に表示させる、前記（１７）に記載の情報処理装置。
（１９）
　表示部により表示される仮想オブジェクトに対するユーザのモーション情報を取得することと、
　前記モーション情報と前記仮想オブジェクトとに応じて、オノマトペを含む画像の表示をプロセッサが制御することと、
を含む、情報処理方法。
（２０）
　コンピュータを、
　表示部により表示される仮想オブジェクトに対するユーザのモーション情報を取得する取得部と、
　前記モーション情報と前記仮想オブジェクトとに応じて、オノマトペを含む画像の表示を制御する出力制御部、
として機能させるための、プログラム。
（２１）
　前記目標の触覚刺激を前記刺激出力部が出力可能であると判定される場合には、前記出力制御部は、前記目標の触覚刺激を前記刺激出力部に出力させるとともに、前記オノマトペを含む画像を前記表示部に表示させない、前記（１４）または（１５）に記載の情報処理装置。
１０　情報処理装置
２０　刺激出力部
３０　ＨＭＤ
３２　通信網
１００　制御部
１０２　情報取得部
１０４　判定部
１０６　選択部
１０８　出力制御部
１２０　通信部
１２２　記憶部
１２４　オブジェクトＤＢ

Claims (20)

  1. 　表示部により表示される仮想オブジェクトに対するユーザのモーション情報を取得する取得部と、
    　前記モーション情報と前記仮想オブジェクトとに応じて、オノマトペを含む画像の表示を制御する出力制御部と、
    を備える、情報処理装置。
  2. 　前記取得部は、前記仮想オブジェクトに関連付けられている属性情報をさらに取得し、
    　前記出力制御部は、前記モーション情報と前記属性情報とに応じて、前記オノマトペを含む画像の表示を制御する、請求項１に記載の情報処理装置。
  3. 　前記情報処理装置は、前記仮想オブジェクトに対して前記ユーザが接触しているか否かを前記モーション情報に基づいて判定する判定部をさらに備え、
    　前記仮想オブジェクトに対して前記ユーザが接触していると前記判定部により判定された場合に、前記出力制御部は、前記オノマトペを含む画像を前記表示部に表示させる、請求項２に記載の情報処理装置。
  4. 　前記出力制御部は、前記仮想オブジェクトに対して前記ユーザが接触していると判定された際の接触位置の変化の方向に応じて、前記オノマトペを含む画像の表示態様を変更する、請求項３に記載の情報処理装置。
  5. 　前記出力制御部は、前記仮想オブジェクトに対して前記ユーザが接触していると判定された際の接触位置の変化の速度に応じて、前記オノマトペを含む画像の表示態様を変更する、請求項３に記載の情報処理装置。
  6. 　前記出力制御部は、前記仮想オブジェクトに対して前記ユーザが接触していると判定された際の接触位置の変化の速度が大きいほど、前記オノマトペを含む画像の表示時間をより小さくする、請求項５に記載の情報処理装置。
  7. 　前記出力制御部は、前記仮想オブジェクトに対して前記ユーザが接触していると判定された際の接触位置の変化の速度が大きいほど、前記オノマトペを含む画像の表示サイズをより大きくする、請求項５に記載の情報処理装置。
  8. 　前記情報処理装置は、複数の種類のオノマトペのうちのいずれかを前記属性情報に応じて選択する選択部をさらに備え、
    　前記出力制御部は、前記選択部により選択されたオノマトペを含む画像を前記表示部に表示させる、請求項３に記載の情報処理装置。
  9. 　前記選択部は、さらに、前記仮想オブジェクトに対して前記ユーザが接触していると判定された際の接触位置の変化の方向に応じて、前記複数の種類のオノマトペのうちのいずれかを選択する、請求項８に記載の情報処理装置。
  10. 　前記選択部は、さらに、前記仮想オブジェクトに対して前記ユーザが接触していると判定された際の接触位置の変化の速度に応じて、前記複数の種類のオノマトペのうちのいずれかを選択する、請求項８に記載の情報処理装置。
  11. 　前記選択部は、さらに、前記ユーザのプロファイルに応じて、前記複数の種類のオノマトペのうちのいずれかを選択する、請求項８に記載の情報処理装置。
  12. 　前記仮想オブジェクトに対して前記ユーザが接触していると前記判定部により判定された場合には、前記出力制御部は、さらに、前記モーション情報と前記属性情報とに応じた、触覚に関する刺激を刺激出力部に出力させる、請求項３に記載の情報処理装置。
  13. 　前記判定部は、前記刺激出力部の受信情報または送信情報の有無をさらに判定し、
    　前記受信情報または送信情報が無く、かつ、前記仮想オブジェクトに対して前記ユーザが接触していると判定された場合には、前記出力制御部は、前記オノマトペを含む画像を前記表示部に表示させる、請求項１２に記載の情報処理装置。
  14. 　前記判定部は、前記刺激出力部の受信情報または送信情報の有無をさらに判定し、
    　前記受信情報または送信情報が有り、かつ、前記仮想オブジェクトに対して前記ユーザが触れていると判定された場合には、前記出力制御部は、前記仮想オブジェクトに対する前記ユーザの触れ方に対応する目標の触覚刺激と、前記刺激出力部が出力可能な触覚刺激に関する情報とに基づいて、前記オノマトペを含む画像を前記表示部に表示させる、請求項１２に記載の情報処理装置。
  15. 　前記目標の触覚刺激を前記刺激出力部が出力可能ではないと判定された場合には、前記出力制御部は、前記オノマトペを含む画像を前記表示部に表示させる、請求項１４に記載の情報処理装置。
  16. 　前記判定部は、前記刺激出力部の受信情報または送信情報の有無をさらに判定し、
    　前記受信情報または送信情報が有り、かつ、前記仮想オブジェクトに対して前記ユーザが触れていると判定された場合には、前記出力制御部は、前記仮想オブジェクトに対する前記ユーザの触れ方に対応する目標の触覚刺激と、前記刺激出力部が出力する触覚刺激量に基づいて、前記オノマトペを含む画像の視認性を変化させる、請求項１２に記載の情報処理装置。
  17. 　前記出力制御部は、さらに、前記仮想オブジェクトが複数の表示部により表示されているか否かに応じて、前記オノマトペを含む画像の表示を制御する、請求項３に記載の情報処理装置。
  18. 　前記仮想オブジェクトが前記複数の表示部により表示されている場合には、前記出力制御部は、前記オノマトペを含む画像を回転して前記複数の表示部に表示させる、請求項１７に記載の情報処理装置。
  19. 　表示部により表示される仮想オブジェクトに対するユーザのモーション情報を取得することと、
    　前記モーション情報と前記仮想オブジェクトとに応じて、オノマトペを含む画像の表示をプロセッサが制御することと、
    を含む、情報処理方法。
  20. 　コンピュータを、
    　表示部により表示される仮想オブジェクトに対するユーザのモーション情報を取得する取得部と、
    　前記モーション情報と前記仮想オブジェクトとに応じて、オノマトペを含む画像の表示を制御する出力制御部、
    として機能させるための、プログラム。
PCT/JP2017/032617 2016-12-12 2017-09-11 情報処理装置、情報処理方法、およびプログラム WO2018110003A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2018556181A JP6863391B2 (ja) 2016-12-12 2017-09-11 情報処理装置、情報処理方法、およびプログラム
US16/347,006 US20190287285A1 (en) 2016-12-12 2017-09-11 Information processing device, information processing method, and program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016240011 2016-12-12
JP2016-240011 2016-12-12

Publications (1)

Publication Number Publication Date
WO2018110003A1 true WO2018110003A1 (ja) 2018-06-21

Family

ID=62558442

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/032617 WO2018110003A1 (ja) 2016-12-12 2017-09-11 情報処理装置、情報処理方法、およびプログラム

Country Status (3)

Country Link
US (1) US20190287285A1 (ja)
JP (1) JP6863391B2 (ja)
WO (1) WO2018110003A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11279037B2 (en) * 2018-05-31 2022-03-22 National University Corporation Nagoya University Force-sense visualization apparatus, robot, and force-sense visualization program

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012018544A (ja) * 2010-07-07 2012-01-26 Canon Inc 音声出力装置、音声出力方法、及びプログラム
JP2015026098A (ja) * 2013-07-24 2015-02-05 株式会社Ｎｔｔドコモ 通信端末、文字表示方法、プログラム
WO2015121990A1 (ja) * 2014-02-14 2015-08-20 楽天株式会社 表示制御装置、表示制御装置の制御方法、プログラム、及び情報記憶媒体

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101069213B (zh) * 2004-11-30 2010-07-14 松下电器产业株式会社 场景修饰表现生成装置以及场景修饰表现生成方法
JP4989383B2 (ja) * 2007-09-10 2012-08-01 キヤノン株式会社 情報処理装置、情報処理方法
JP2011216071A (ja) * 2010-03-15 2011-10-27 Sony Corp 情報処理装置、情報処理方法及びプログラム
WO2014073346A1 (ja) * 2012-11-09 2014-05-15 ソニー株式会社 情報処理装置、情報処理方法およびコンピュータ読み取り可能な記録媒体
US20140189507A1 (en) * 2012-12-27 2014-07-03 Jaime Valente Systems and methods for create and animate studio
KR102306538B1 (ko) * 2015-01-20 2021-09-29 삼성전자주식회사 콘텐트 편집 장치 및 방법
US10089397B2 (en) * 2015-12-25 2018-10-02 Fuji Xerox Co., Ltd. Diagnostic device, diagnostic system, diagnostic method, and non-transitory computer-readable medium

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012018544A (ja) * 2010-07-07 2012-01-26 Canon Inc 音声出力装置、音声出力方法、及びプログラム
JP2015026098A (ja) * 2013-07-24 2015-02-05 株式会社Ｎｔｔドコモ 通信端末、文字表示方法、プログラム
WO2015121990A1 (ja) * 2014-02-14 2015-08-20 楽天株式会社 表示制御装置、表示制御装置の制御方法、プログラム、及び情報記憶媒体

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11279037B2 (en) * 2018-05-31 2022-03-22 National University Corporation Nagoya University Force-sense visualization apparatus, robot, and force-sense visualization program

Also Published As

Publication number Publication date
US20190287285A1 (en) 2019-09-19
JP6863391B2 (ja) 2021-04-21
JPWO2018110003A1 (ja) 2019-10-24

Similar Documents

Publication Publication Date Title
EP3616040B1 (en) Augmented reality system comprising light-emitting user input device
US20230274511A1 (en) Displaying virtual content in augmented reality using a map of the world
US9659381B2 (en) Real time texture mapping for augmented reality system
US10360715B2 (en) Storage medium, information-processing device, information-processing system, and avatar generating method
US10516870B2 (en) Information processing device, information processing method, and program
US20180190022A1 (en) Dynamic depth-based content creation in virtual reality environments
EP3040814A1 (en) Systems and methods for generating haptically enhanced objects for augmented and virtual reality applications
JP6959365B2 (ja) 中心窩レンダリングシステムにおけるシャドーの最適化及びメッシュスキンの適応
US11493989B2 (en) Modes of user interaction
US11422626B2 (en) Information processing device, and information processing method, for outputting sensory stimulation to a user
BR112012000391B1 (pt) método, meio legível por computador para executar o método e sistema para aplicar atributos inidcativos de um temperamento do usuário a uma representação visual
JP6802393B2 (ja) 中心窩レンダリングシステムにおける、遅延ライティングの最適化、パーティクルの中心窩適応、及びシミュレーションモデル
US11750873B2 (en) Video distribution device, video distribution method, and video distribution process
US20220254125A1 (en) Device Views and Controls
JP6863391B2 (ja) 情報処理装置、情報処理方法、およびプログラム
CN112823528B (zh) 信息处理装置、信息处理方法和信息处理程序
KR102079321B1 (ko) 유무선 웹을 통한 아바타 서비스 시스템 및 방법
WO2015030623A1 (en) Methods and systems for locating substantially planar surfaces of 3d scene
US20230350539A1 (en) Representations of messages in a three-dimensional environment
CN106484114B (zh) 基于虚拟现实的交互控制方法及装置
CN117331434A (zh) 在3d环境内定位内容
CN117616365A (zh) 用于动态选择对象的操作模态的方法和设备
JP2023503170A (ja) 拡張現実を用いてプレイヤのインタラクションを向上させるシステム及び方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17881937

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2018556181

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17881937

Country of ref document: EP

Kind code of ref document: A1