WO2016185740A1 - 情報処理装置、情報処理方法、およびプログラム - Google Patents

情報処理装置、情報処理方法、およびプログラム Download PDF

Info

Publication number
WO2016185740A1
WO2016185740A1 PCT/JP2016/053681 JP2016053681W WO2016185740A1 WO 2016185740 A1 WO2016185740 A1 WO 2016185740A1 JP 2016053681 W JP2016053681 W JP 2016053681W WO 2016185740 A1 WO2016185740 A1 WO 2016185740A1
Authority
WO
WIPO (PCT)
Prior art keywords
user
sound
virtual character
information
information processing
Prior art date
Application number
PCT/JP2016/053681
Other languages
English (en)
French (fr)
Inventor
健太郎 木村
智彦 後藤
俊助 望月
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to EP20176465.1A priority Critical patent/EP3723391A1/en
Priority to US15/559,586 priority patent/US10477336B2/en
Priority to CN201680027350.4A priority patent/CN107534824B/zh
Priority to EP16796135.8A priority patent/EP3300392B1/en
Priority to JP2017518777A priority patent/JP6673346B2/ja
Publication of WO2016185740A1 publication Critical patent/WO2016185740A1/ja
Priority to US16/658,485 priority patent/US11128972B2/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S5/00—Pseudo-stereo systems, e.g. in which additional channel signals are derived from monophonic signals by means of phase shifting, time delay or reverberation 
    • H04S5/02—Pseudo-stereo systems, e.g. in which additional channel signals are derived from monophonic signals by means of phase shifting, time delay or reverberation  of the pseudo four-channel type, e.g. in which rear channel signals are derived from two-channel stereo signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M3/00—Automatic or semi-automatic exchanges
    • H04M3/42—Systems providing special services or facilities to subscribers
    • H04M3/42365—Presence services providing information on the willingness to communicate or the ability to communicate in terms of media capability or network connectivity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00—Stereophonic arrangements
    • H04R5/02—Spatial or constructional arrangements of loudspeakers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S1/00—Two-channel systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
    • H04S7/303—Tracking of listener position or orientation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2460/00—Details of hearing devices, i.e. of ear- or headphones covered by H04R1/10 or H04R5/033 but not provided for in any of their subgroups, or of hearing aids covered by H04R25/00 but not provided for in any of its subgroups
    • H04R2460/07—Use of position data from wide-area or local-area positioning systems in hearing devices, e.g. program or information selection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/03—Aspects of down-mixing multi-channel audio to configurations with lower numbers of playback channels, e.g. 7.1 -> 5.1
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/11—Positioning of individual sound objects, e.g. moving airplane, within a sound field

Definitions

  • the present disclosure relates to an information processing apparatus, an information processing method, and a program.
  • Patent Document 1 With regard to entertainment during movement, for example, in Patent Document 1 below, the user's intimacy can be obtained by controlling the interaction of characters displayed on the screen according to the rhythm of the user's body during movement, and the movement itself can be enjoyed as entertainment.
  • An information processing apparatus has been proposed.
  • Patent Document 1 since the character image is displayed on the display screen, entertainment cannot be enjoyed when it is difficult to see the screen while walking or running. Moreover, in the above-mentioned Patent Document 1, there is a case where a voice or vibration in which the character interacts is output according to the user's physical rhythm, but it is taken into consideration until the character feels reality. Not.
  • the present disclosure proposes an information processing apparatus, a control method, and a program that can present the presence of a virtual object in real space.
  • the relative localization position of the sound source of the virtual object with respect to the user is calculated based on information regarding the virtual object perceived to exist in the real space by sound image localization and information regarding the user's state.
  • an information processing apparatus comprising: a calculation unit; and a sound image localization unit that performs audio signal processing of the sound source so as to localize a sound image at the calculated localization position.
  • the relative localization position of the sound source of the virtual object with respect to the user is calculated based on information on the virtual object perceived to exist in the real space by sound image localization and information on the state of the user.
  • a sound image localization unit that performs sound signal processing of the sound source so as to localize a sound image at the calculated localization position.
  • the relative localization position of the sound source of the virtual object with respect to the user based on the information on the virtual object that causes the computer to perceive the sound to be present in the real space and the information on the state of the user
  • a sound image localization unit for performing sound signal processing of the sound source so as to localize a sound image at the calculated localization position.
  • the information processing apparatus 1 is a neckband type information processing terminal that is hung on the neck of a user A, for example, and includes a speaker and various sensors (acceleration sensor, gyro sensor, geomagnetic sensor, An absolute positioning unit).
  • the information processing apparatus 1 has a function of causing the user to perceive that the virtual character 20 really exists in the real space by the sound image localization technology that spatially arranges audio information.
  • the virtual character 20 is an example of a virtual object.
  • the virtual character when presenting voice information as if a virtual character with a height of 170 cm is standing on the right side of the user, if the user with a height of 170 cm has stopped, by locating the voice of the virtual character on the right side of the user, The virtual character can be perceived as being next to it. However, if the height of the user is 150 cm and the voice of the virtual character is localized on the right side in the same way as a 170 cm user, the virtual character's height is perceived as if it is 150 cm, and the original virtual The reality of the character's height cannot be felt.
  • the voice of the virtual character is localized on the right side when the user is stationary, it can feel as if the virtual character is on the right side, but when the user starts walking forward, If there is no change in the position of the character's voice, the movement of the virtual character is not felt and the reality is impaired. In other words, if the virtual character actually exists, the virtual character will start walking slightly behind the user's movement, so the voice position will change slightly to the right back of the user, and the footsteps of the walking Sounds should be heard. Furthermore, sounds corresponding to the movement of the virtual character should be heard, such as footsteps and shortness of breath when the virtual character is running, and sounds of the bicycle when riding the bicycle. As described above, if the position of the voice of the virtual character according to the user's movement or the sound that should be heard according to the movement of the virtual character is not heard, the reality of the virtual character is greatly impaired and a sense of incongruity occurs.
  • the information processing apparatus 1 appropriately calculates a relative three-dimensional position for localizing the sound that causes the virtual character to perceive based on the user's state and the information on the virtual character, so that the virtual object in the real space It is possible to present the presence of Specifically, for example, the information processing apparatus 1 determines the relative height at which the voice of the virtual character is localized based on the height and state of the user A (standing, sitting, etc.) and the height information of the virtual character. By calculating and sound image localization, the user can feel the size of the virtual character. In addition, the information processing apparatus 1 can give reality to the movement of the virtual character by changing the sound of the virtual character according to the state and movement of the user A.
  • the information processing apparatus 1 responds based on the type of sound such that the sound of the voice of the virtual character is localized at the mouth (head) of the virtual character and the footstep of the virtual character is localized at the foot of the virtual character. Control is performed so that the position of the virtual character is localized.
  • FIG. 2 is a perspective view illustrating an example of an external configuration of the information processing apparatus 1 according to the present embodiment.
  • the neckband type information processing apparatus 1 has a mounting unit (a mounting portion) shaped so as to make a half turn from both sides of the neck to the back side (back side), and is placed on the user's neck. It is worn by the user.
  • FIG. 2 shows a perspective view in a state where the mounting unit is mounted by the user.
  • words indicating directions such as up, down, left and right, front and back are used, and these directions indicate directions viewed from the center of the user's body (for example, the position of the pigeon tail) in the user's upright posture.
  • “right” indicates the direction of the user's right side
  • “left” indicates the direction of the user's left side
  • “up” indicates the direction of the user's head
  • “down” Indicates the direction of the user's foot.
  • “front” indicates a direction in which the user's body faces
  • “rear” indicates a direction on the user's back side.
  • the mounting unit may be mounted in close contact with the user's neck or may be mounted separately.
  • Other shapes of the neck-mounted mounting unit include, for example, a pendant type mounted on the user by a neck strap, or a headset type having a neck band passing through the back of the neck instead of a head band applied to the head. Conceivable.
  • the usage form of the wearing unit may be a form used by being directly worn on the human body.
  • the form that is directly worn and used refers to a form that is used without any object between the wearing unit and the human body.
  • the case where the mounting unit shown in FIG. 2 is mounted so as to be in contact with the skin of the user's neck corresponds to this embodiment.
  • various forms such as a headset type and a glasses type that are directly attached to the head are conceivable.
  • the usage mode of the mounting unit may be a mode in which the mounting unit is used by being indirectly mounted on the human body.
  • the form that is used by being indirectly worn refers to a form that is used in the state where some object exists between the wearing unit and the human body.
  • the wearing unit shown in FIG. 2 is worn so as to be hidden under the collar of a shirt so as to be in contact with the user from the top of the clothes, it corresponds to this embodiment.
  • various forms such as a pendant type attached to the user by a neck strap and a broach type fastened to clothes by a fastener or the like are conceivable.
  • the information processing apparatus 1 has a plurality of microphones 12 (12A, 12B), cameras 13 (13A, 13B), and speakers 15 (15A, 15B).
  • the microphone 12 acquires sound data such as user sound or ambient environmental sound.
  • the camera 13 captures an image of the surroundings and acquires image data.
  • the speaker 15 reproduces audio data.
  • the speaker 15 according to the present embodiment reproduces a sound signal subjected to sound image localization processing of a virtual character that is perceived by the user as if it actually exists in the real space.
  • FIG. 2 shows a configuration in which the information processing apparatus 1 is provided with two microphones 12, cameras 13, and speakers 15, this embodiment is not limited to this.
  • the information processing apparatus 1 may include one microphone 12 and one camera 13, or may include three or more microphones 12, cameras 13, and speakers 15.
  • FIG. 3 is a block diagram illustrating an example of the internal configuration of the information processing apparatus 1 according to the present embodiment.
  • the information processing apparatus 1 includes a control unit 10, a communication unit 11, a microphone 12, a camera 13, a 9-axis sensor 14, a speaker 15, a position positioning unit 16, and a storage unit 17.
  • the control unit 10 functions as an arithmetic processing device and a control device, and controls the overall operation in the information processing device 1 according to various programs.
  • the control unit 10 is realized by an electronic circuit such as a CPU (Central Processing Unit) or a microprocessor, for example.
  • the control unit 10 may include a ROM (Read Only Memory) that stores programs to be used, calculation parameters, and the like, and a RAM (Random Access Memory) that temporarily stores parameters that change as appropriate.
  • control unit 10 includes a state / action detection unit 10a, a virtual character action determination unit 10b, a scenario update unit 10c, a relative position calculation unit 10d, a sound image localization unit 10e, and an audio output. It functions as a control unit 10f and a reproduction history / feedback storage control unit 10g.
  • the state / behavior detection unit 10a detects the user's state and recognizes the behavior based on the detected state, and outputs the detected state and the recognized behavior to the virtual character behavior determination unit 10b. Specifically, the state / behavior detection unit 10a acquires information such as position information, moving speed, direction, and ear (or head) height as information related to the user's state.
  • the user state is information that can be uniquely specified at the detected timing and can be calculated and acquired as numerical values from various sensors.
  • position information is acquired from the position positioning unit 16.
  • the moving speed is acquired from the position measurement unit 16, an acceleration sensor included in the 9-axis sensor 14, the camera 13, or the like.
  • the orientation is acquired by a gyro sensor, an acceleration sensor, a geomagnetic sensor, or the camera 13 included in the 9-axis sensor 14.
  • the height of the ear (or head) is obtained from the user's physique data, acceleration sensor, and gyro sensor.
  • the moving speed and direction may be acquired using SLAM (Simultaneous Localization and Mapping) that calculates the motion based on the change of the feature points in the video continuously captured by the camera 13.
  • SLAM Simultaneous Localization and Mapping
  • the height of the ear can be calculated based on the user's physique data.
  • physique data of the user for example, as shown on the left side of FIG. 4, height H1, sitting height H2, and distance H3 from the ear to the top of the head are set and stored in the storage unit 17.
  • the state / behavior detection unit 10a calculates the height of the ear as follows.
  • “E1 (head tilt)” can be detected by an acceleration sensor, a gyro sensor, or the like as the tilt of the upper body as shown in the right of FIG.
  • Ear height height-sitting height + (sitting height-distance from ear to crown) x E1 (head tilt)
  • the state / behavior detection unit 10a may estimate the ear height as follows.
  • the state / behavior detection unit 10a can also recognize the user behavior by referring to the previous and next states.
  • User actions include, for example, “stopped”, “walking”, “running”, “sitting”, “sitting down”, “riding in a car”, “sitting a bicycle” ”,“ Facing the character ”or the like.
  • the state / behavior detection unit 10 a uses a predetermined behavior recognition engine based on information detected by the 9-axis sensor 14 (acceleration sensor, gyro sensor, geomagnetic sensor) and position information detected by the position positioning unit 16. It is also possible to recognize user behavior.
  • the virtual character action determination unit 10b determines a virtual action in the real space of the virtual character 20 (or includes selection of a scenario) according to the user action recognized by the state / action detection unit 10a, and the determined action Sound content corresponding to is selected from the scenario.
  • the virtual character action determination unit 10b virtually performs the same action as the user, such as causing the virtual character 20 to walk when the user is walking, and running the virtual character 20 to follow the user when the user is running.
  • the presence of the virtual character can be presented by letting the character take it.
  • the virtual character action determining unit 10b selects a sound source corresponding to the action of the virtual character from a sound source list (sound content) stored in advance as a content scenario. At this time, for a sound source with a limited number of playbacks, the virtual character action determination unit 10b determines whether or not playback is possible based on the playback log.
  • the virtual character action determination unit 10b is a sound source corresponding to the action of the virtual character, and a sound source (such as a sound source of a favorite virtual character) that matches the user's preference, or a specification associated with the current location (location). The sound source of the virtual character may be selected.
  • the virtual character action determination unit 10b selects voice sound content (for example, speech or breathing) when the action of the determined virtual character is stopped, and voice sound content and footstep sound content when walking. (For example, the sound of shoes set to be worn by a virtual character such as the sound of high heels) is selected.
  • the virtual character action determination unit 10b selects a breathless sound as a voice sound content when the determined virtual character action is running, a rubbing sound, a sound of a heel (a key ring attached to a bag) ), Footsteps, etc.
  • the virtual character action determination unit 10b selects a sound of a bicycle, a sound of riding a bicycle, a sound of a kite put in a bicycle cage, or the like. In this manner, sound content is selected according to the action of the virtual character, and sounding according to the action is executed (that is, sound content not corresponding to the action is not selected and reproduced).
  • the scenario update unit 10c updates the scenario because the scenario progresses when the sound content corresponding to the action of the virtual character determined by the virtual character action determination unit 10b is selected from the scenario.
  • the scenario is stored in the storage unit 17, for example.
  • the relative position calculation unit 10d calculates a relative three-dimensional position (xy coordinate position and height) that localizes the sound source (sound content) of the virtual character selected by the virtual character action determination unit 10b. Specifically, the relative position calculation unit 10d first sets the position of the part of the virtual character corresponding to the type of the sound source with reference to the action of the virtual character determined by the virtual character action determination unit 10b.
  • the part of the virtual character 20 and the corresponding sound source type will be described with reference to FIG.
  • FIG. 5 is a diagram for explaining the correspondence between the parts of the virtual character 20 and the sound source types.
  • the virtual character 20 is divided into parts such as a head 21, a torso 22, a foot 24, and a hand-held accessory 23 (such as a heel held in the hand).
  • a sound source type for example, a sound source of a voice, a sound source of clothing, a sound source of belongings (such as a key ring attached to a bag or a bag), a sound source of a footstep or a sound source of a vehicle is assumed.
  • the sound source for rubs is associated with the body 22, the sound source for belongings is associated with the hand-held accessory 23, and the sound source for footsteps is associated with the foot 24.
  • the sound source of the vehicle is associated with the periphery of the virtual character assuming that the virtual character is on a vehicle (bicycle, motorcycle, automobile, etc.). Further, the height (C2 to C4) of each part may be calculated based on the height C1 of the virtual character 20 or may be stored in advance. Information such as the height C1 of the virtual character 20, the height of each part (C2 to C4), the correspondence between the part and the sound source type, and the like is stored in the storage unit 17 as setting information of the virtual character 20, for example.
  • the relative position calculation unit 10d further calculates the height of the sound source based on the corresponding part according to the state / action of the virtual character 20. For example, the relative position calculation unit 10d may determine the position of the head depending on whether the virtual character is stationary, walking, running (with body tilt), sitting, or lying. Calculate the position of copper, the position of feet, the position of belongings, etc.
  • the relative position calculation unit 10d calculates the height of the sound content with respect to the user from the positional relationship between the height and direction of the user's ear (or head) and the height of each sound source.
  • the relative position calculation unit 10d calculates the xy coordinate position according to the user action and the action of the virtual character along with the height.
  • An example of the sound image localization position (three-dimensional position including the xy coordinate position and height) calculated by the relative position calculation unit 10d in this way will be described with reference to FIGS.
  • FIGS. 6 to 8 are diagrams for explaining an example of sound image localization according to the action and height of the virtual character and the state of the user according to the present embodiment.
  • a scenario is assumed in which, for example, when the user A returns from a school or work place to a station near his home and is walking toward his home, the virtual character finds the user A, calls out, and returns together.
  • the virtual character action determining unit 10b triggers an event (sound content content) by detecting that the state / action detecting unit 10a has detected that the user A has arrived at the nearest station near his home and walked out of the ticket gate. Offer).
  • the relative position calculation unit 10d is a few meters behind the user A as the xy coordinate position of the sound source of the voice sound content V1 (“A!”) To be reproduced first. Then, the localization direction of the angle F1 is calculated with respect to the user's ear. Next, the relative position calculation unit 10d calculates the xy coordinate position of the sound source of the footstep sound content V2 chasing the user A so as to gradually approach the user A (the localization direction of the angle F2 with respect to the user's ear).
  • the relative position calculation unit 10d calculates the localization direction of the angle F3 with respect to the user's ear, which is a position immediately behind the user A as the xy coordinate position of the sound source of the voice sound content V3 ("Please come back!). .
  • the sound image localization position (localization direction and distance to the user) is calculated according to the action and dialogue of the virtual character so that there is no sense of incongruity when it is assumed that the virtual character actually exists in the real space. By doing so, the movement of the virtual character can be made to feel more realistic.
  • the relative position calculation unit 10d calculates the height of the sound image localization position according to the part of the virtual character corresponding to the type of sound content. For example, when the height of the user's ear is higher than the head of the virtual character, as shown in the lower part of FIG. 6, the height of the sound source of the virtual character's voice sound content V1, V3 is lower than the height of the user's ear. (An angle G1 downward with respect to the user's ear). Further, since the sound source of the footstep sound content V2 of the virtual character is the foot of the virtual character, it is below the sound source of the voice (below the angle G2 with respect to the user's ear).
  • the height of the sound image localization position in consideration of the state (standing, sitting, etc.) and the size (height) of the virtual character By calculating, the presence of the virtual character can be made more realistic.
  • the relative position calculation unit 10 d determines that the sound source position of the sound content V4 of the virtual character voice is the front of the user A. Calculate to be In this case as well, the height of the sound source of the voice of the virtual character 20 is a relative height according to the height of the virtual character and the user (for example, below the angle G1 with respect to the user's ear), as shown in the lower part of FIG. )
  • the virtual character 20 When the user A starts walking, the virtual character 20 is also determined to walk at the same speed as the user A, and an event is performed in which the virtual character 20 speaks to the user A while walking.
  • the virtual character action determination unit 10b may use a dialogue according to today's temperature and weather, such as “It is cold today”, “Today there seems to have been an incident in J prefecture”, “Today's stock price ...
  • the line corresponding to the taste of the user A is selected from the daily news. These lines may be automatically generated from real-time current information.
  • the virtual character action determination unit 10b since the virtual character 20 is also walking at the same speed as the user A, the virtual character action determination unit 10b also selects footstep sound content.
  • the relative position calculation unit 10d arranges the sound contents V5 and V6 on the right side of the user A, for example, as shown in FIG. 8 according to the action that the virtual character 20 is also walking at the same speed as the user A. Further, as shown in the lower part of FIG. 8, the relative position calculation unit 10d has the voice sound content V5 positioned slightly below the user A (below the angle G1 with respect to the user), and the footstep sound content V6 is virtual. The sound image localization position is calculated so as to be located at the foot of the character 20 (below the angle G2 with respect to the user).
  • the scenario may have a plurality of branch points, and different events may be performed according to the user's behavior. For example, as described with reference to FIG. 7, when the user A stops and does not face the virtual character, the voice of the virtual character 20 is far away with the sound content “Please wait. The event that the scenario ends may be performed (because the user A keeps walking).
  • the information processing apparatus 1 advertises concert information or the like in a virtual character conversation with the user A, and the user A performs a Yes operation (for example, taps a neckband-type wearing unit).
  • the concert information may be registered in the user A schedule.
  • the relative position calculation unit 10d outputs the calculated sound image localization position (three-dimensional position) for each sound content to the sound image localization unit 10e.
  • the sound image localization unit 10e localizes the corresponding sound content (sound source) selected by the virtual character action determination unit 10b at the sound image localization position for each sound content calculated by the relative position calculation unit 10d. Perform signal processing.
  • the audio output control unit 10f controls the speaker 15 to reproduce the audio signal processed by the sound image localization unit 10e.
  • the information processing apparatus 1 localizes the sound content corresponding to the movement of the virtual character according to the user's state / action at an appropriate position, distance, and height with respect to the user.
  • the reality of the movement and size of the character can be presented, and the presence of the virtual character in the real space can be increased.
  • the reproduction history / feedback storage control unit 10g performs control so that the sound source (sound content) output by the audio output control unit 10f is stored in the storage unit 17 as a history (reproduction log).
  • the reproduction history / feedback storage control unit 10g stores, as feedback, a user reaction such as a user turning around in a voice direction or stopping and listening to a voice when the voice output control unit 10f outputs a voice. Control to memorize. As a result, the control unit 10 can learn user preferences, and the virtual character action determination unit 10b described above can select sound content according to the user preferences.
  • the communication unit 11 is a communication module for transmitting and receiving data to and from other devices by wire / wireless.
  • the communication unit 11 is a system such as a wired LAN (Local Area Network), wireless LAN, Wi-Fi (Wireless Fidelity (registered trademark)), infrared communication, Bluetooth (registered trademark), short-range / non-contact communication, and the like. Wirelessly or directly via a network access point.
  • the communication unit 11 transmits data acquired by the microphone 12, the camera 13, and the 9-axis sensor 14. May be.
  • the action of the virtual character, selection of the sound content, calculation of the sound image localization position, sound image localization processing, and the like are performed by another device.
  • the communication unit 11 receives the data acquired by them and outputs the data to the control unit 10. Also good.
  • the communication unit 11 may receive the sound content selected by the control unit 10 from another device such as a server on the cloud.
  • the microphone 12 collects the user's voice and the surrounding environment, and outputs it to the control unit 10 as voice data.
  • the camera 13 photoelectrically converts a lens system including an imaging lens, an aperture, a zoom lens, a focus lens, and the like, a drive system that causes the lens system to perform a focus operation and a zoom operation, and imaging light obtained by the lens system.
  • a solid-state image pickup device array for generating an image pickup signal.
  • the solid-state imaging device array may be realized by, for example, a CCD (Charge Coupled Device) sensor array or a CMOS (Complementary Metal Oxide Semiconductor) sensor array.
  • the camera 13 may be provided so that the front of the user can be imaged in a state where the information processing apparatus 1 (mounting unit) is mounted on the user.
  • the camera 13 can capture the movement of the surrounding scenery according to the movement of the user. Further, the camera 13 may be provided so that the user's face can be imaged in a state where the information processing apparatus 1 is worn by the user. In this case, the information processing apparatus 1 can specify the position and expression of the user's ear from the captured image. In addition, the camera 13 outputs captured image data that is a digital signal to the control unit 10.
  • the 9-axis sensor 14 includes a 3-axis gyro sensor (detection of angular velocity (rotational speed)), a 3-axis acceleration sensor (also referred to as G sensor, detection of acceleration during movement), and a 3-axis geomagnetic sensor (compass, absolute direction (azimuth) ) Detection).
  • the 9-axis sensor 14 has a function of sensing the state of the user wearing the information processing apparatus 1 or the surrounding state.
  • the 9-axis sensor 14 is an example of a sensor unit, and the present embodiment is not limited thereto.
  • a speed sensor or a vibration sensor may be further used, or an acceleration sensor, a gyro sensor, and a geomagnetic sensor may be used. At least one of them may be used.
  • the sensor unit may be provided in a device different from the information processing device 1 (mounting unit), or may be provided in a distributed manner in a plurality of devices.
  • an acceleration sensor, a gyro sensor, and a geomagnetic sensor may be provided in a device (for example, an earphone) attached to the head, and a speed sensor or a vibration sensor may be provided in a smartphone.
  • the 9-axis sensor 14 outputs information indicating the sensing result to the control unit 10.
  • the speaker 15 reproduces the audio signal processed by the sound image localization unit 10e according to the control of the audio output control unit 10f.
  • the speaker 15 can also convert a plurality of sound sources at arbitrary positions / directions into stereo sound and output the sound.
  • the position positioning unit 16 has a function of detecting the current position of the information processing apparatus 1 based on an externally acquired signal.
  • the positioning unit 16 is realized by a GPS (Global Positioning System) positioning unit, receives a radio wave from a GPS satellite, detects a position where the information processing apparatus 1 exists, and detects the position.
  • the position information is output to the control unit 10.
  • the information processing apparatus 1 detects a position by, for example, Wi-Fi (registered trademark), Bluetooth (registered trademark), transmission / reception with a mobile phone / PHS / smartphone, or short-range communication. There may be.
  • the storage unit 17 stores programs and parameters for the above-described control unit 10 to execute each function.
  • the storage unit 17 according to the present embodiment includes scenarios (various sound contents), virtual character setting information (shape, height, etc.), user information (name, age, home, occupation, workplace, physique data, hobbies / preferences, etc.) ).
  • the information stored in the storage unit 17 may be stored in another device such as a server on the cloud.
  • the configuration of the information processing apparatus 1 according to the present embodiment has been specifically described above.
  • FIG. 9 is a flowchart showing audio processing according to the present embodiment.
  • step S103 the state / behavior detection unit 10a of the information processing apparatus 1 is detected by various sensors (microphone 12, camera 13, 9-axis sensor 14, or position positioning unit 16). Based on the information, the user state and behavior are detected.
  • the virtual character action determining unit 10b determines the action of the virtual character to be reproduced according to the detected state and action of the user.
  • the virtual character action determining unit 10b may be the same action as the detected user action (walking together if the user is walking, running together if running, sitting together if sitting, sitting together if sleeping) Decide to sleep.
  • step S109 the virtual character action determining unit 10b selects a sound source (sound content) corresponding to the determined action of the virtual character from the scenario.
  • the relative position calculation unit 10d determines the relative position (three-dimensional position) of the selected sound source, the detected user state, user behavior, physique data such as the height of the user registered in advance, It is calculated based on setting information such as the action of the virtual character and the height of the virtual character registered in advance.
  • step S115 the scenario update unit 10c updates the scenario according to the determined action of the virtual character and the selected sound content (that is, proceeds to the next event).
  • step S118 the sound image localization unit 10e performs sound image localization processing on the corresponding sound content so that the sound image is localized at the calculated relative position of the sound image.
  • step S121 the audio output control unit 10f controls to reproduce the audio signal subjected to the sound image localization process from the speaker 15.
  • step S124 the reproduction history / feedback storage control unit 10g stores the history of the reproduced sound content (that is, the sound output) and the user feedback on the sound content in the storage unit 17.
  • step S127 the above steps S103 to S124 are repeated until the scenario event ends.
  • the scenario starts when the user walks out of the nearest station and starts, and ends when the user arrives at the home.
  • the scenario according to the present embodiment is not limited to the example described above, and various scenarios can be considered.
  • it may be a scenario associated with a store such as a convenience store where the target product is sold.
  • the scenario starts with the entry into a predetermined convenience store as a trigger, and the scenario ends when the user exits the convenience store.
  • a predetermined poster such as an animation that the user has recently seen or a poster for a product promoted by a favorite idol
  • a merchandise advertisement scenario starts. Specifically, the information processing device 1 is approaching with the sound of the convenience store door opening, and the footsteps approached, “Oh! Did you see the poster?
  • the information processing apparatus 1 localizes the sound source of the virtual character's voice at a predetermined angle with respect to the user's ear in consideration of the height of the user and the height of the virtual character. As a result, the user can feel as if a virtual character has actually entered the store and called out in the vicinity of his / her own, and the feeling of seeing the recommended product has come out. Will improve.
  • the information processing apparatus 1 makes a sound content such as “The candy is very delicious!” As shown in FIG. V7 is reproduced with the voice of the virtual character collaborating with the product.
  • Virtual characters include fictional characters such as anime and dramas, real people such as idols, actresses / actors, and talents, and non-human animals.
  • the information processing apparatus 1 controls the sound image localization position of the sound content V7 to an appropriate height of the virtual character that is at the right rear of the user A and is opposite to the height of the user A, as shown in FIG. To do. Thereby, the user A feels the presence of a virtual character (for example, a favorite idol) realistically. Further, when the user A feels that he / she is talking to himself / herself, the user A feels to buy the recommended product, and the advertising effect is improved.
  • a virtual character for example, a favorite idol
  • the user can experience the size of the virtual character in the real space more realistically. it can. This deepens the user's understanding and attachment to the virtual character. For example, the user knows that a character felt large in the game is smaller than his / her height when the character image is localized and reproduced in the real space according to the present embodiment.
  • the information processing apparatus 1 can present the reality of the movement of the virtual character by playing back the sound (footsteps, rubbing sound, heel sound, etc.) accompanying the determined movement of the virtual character.
  • the information processing apparatus 1 is an information processing system including a headphone (or earphone, eyewear, etc.) provided with a speaker 15 and a mobile terminal (smartphone, etc.) mainly having the function of the control unit 10. It may be realized. At this time, the mobile terminal transmits the sound signal subjected to the sound image localization process to the headphones for reproduction.
  • the speaker 15 is not limited to being mounted on a device worn by the user, and may be realized by, for example, an environmental speaker installed around the user. In this case, the environmental speaker is an arbitrary speaker around the user. It is possible to localize the sound image at the position.
  • the presence of the virtual character is presented only by voice.
  • the present embodiment is not limited to this.
  • the information processing apparatus 1 is an eyewear type
  • the present embodiment is based on this embodiment. It is also possible to combine the sound image localization and the superimposed display of the virtual character video in the real space to give the virtual character more reality.
  • this technique can also take the following structures.
  • a calculation unit that calculates a relative localization position of a sound source of the virtual object with respect to the user based on information on the virtual object perceived to exist in the real space by sound image localization and information on the state of the user;
  • a sound image localization unit that performs audio signal processing of the sound source so as to localize a sound image at the calculated localization position;
  • An information processing apparatus comprising: (2) The information processing apparatus according to (1), wherein the relative localization position of the sound image is a three-dimensional position including a height.
  • the information processing apparatus includes: The information processing apparatus according to (2), further including an audio output control unit configured to control an audio signal processed by the sound image localization unit to be reproduced from an audio output unit.
  • the information regarding the state of the user is the information processing apparatus according to (3), including the absolute position, moving speed, direction, head position, ear height, or behavior recognized from the user.
  • the virtual object is a virtual character
  • the information processing apparatus includes: An action determining unit that determines a virtual action in the real space of the virtual character according to the recognized action of the user, and selects a sound content corresponding to the determined action from a scenario as a sound image of the virtual object.
  • the information processing apparatus according to (4) The information processing apparatus according to (5), wherein the calculation unit calculates a localization position of the sound content based on a sound source type of the selected sound content.
  • the sound source type of the sound content is a voice sound source, a footstep sound source, a clothing sound source, a personal sound source, or a vehicle sound source
  • the calculation unit is configured to localize the sound content based on a relative relationship between a height of a part of the virtual character corresponding to the sound source type and a height of the user's head based on information on the user's state.
  • the information processing apparatus according to (6), wherein the information is calculated.
  • the calculation unit calculates the height based on a relative positional relationship with the user's ear.
  • the part of the virtual character is a head, torso, legs, shoes, a bag possessed by the virtual character, or a vehicle on which the virtual character is riding,
  • the information processing apparatus according to (7) or (8), wherein the position of the part of the virtual character is calculated based on the information related to the virtual object and the action of the determined virtual character.
  • the information processing apparatus includes: An update unit that updates the scenario when the sound content corresponding to the determined action of the virtual character is selected from the scenario; The information processing apparatus according to any one of (5) to (9).

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Stereophonic System (AREA)
  • User Interface Of Digital Computer (AREA)
  • Circuit For Audible Band Transducer (AREA)

Abstract

【課題】現実空間における仮想物体の存在感を提示することが可能な情報処理装置、情報処理方法、およびプログラムを提供する。 【解決手段】音像定位により現実空間に存在するよう知覚させる仮想物体に関する情報と、ユーザの状態に関する情報とに基づいて、前記ユーザに対する前記仮想物体の音源の相対的な定位位置を算出する算出部と、前記算出された定位位置に音像を定位させるよう前記音源の音声信号処理を行う音像定位部と、を備える、情報処理装置。

Description

情報処理装置、情報処理方法、およびプログラム
　本開示は、情報処理装置、情報処理方法、およびプログラムに関する。
　情報処理および情報通信技術の発展に伴い、コンピュータが広く普及し、日常生活の支援や娯楽にも積極的に利用されている。最近では、エンタテインメントの分野においてもコンピュータ処理が利用させるようになり、このようなエンタテインメントはオフィスや家庭内など特定の場所で作業するユーザに利用されるだけでなく、移動中のユーザにおいても必要とされる。
　移動中のエンタテインメントに関し、例えば下記特許文献１では、移動中のユーザの身体のリズムに応じて画面に表示するキャラクタのインタラクションを制御することでユーザの親密感を得て、移動そのものをエンタテインメントとして楽しませる情報処理装置が提案されている。
特開２００３－３０５２７８号公報
　しかしながら、上記特許文献１では、表示画面にキャラクタの画像が表示されるため、歩行中や走行中に画面を見ることが困難な場合はエンタテインメントを楽しむことができない。また、上記特許文献１では、ユーザの身体リズムに応じてキャラクタがインタラクションを行う音声や振動が出力される場合もあるが、キャラクタがそこに実在しているようなリアリティを感じることまでは考慮されていない。
　そこで、本開示では、現実空間における仮想物体の存在感を提示することが可能な情報処理装置、制御方法、およびプログラムを提案する。
　本開示によれば、音像定位により現実空間に存在するよう知覚させる仮想物体に関する情報と、ユーザの状態に関する情報とに基づいて、前記ユーザに対する前記仮想物体の音源の相対的な定位位置を算出する算出部と、前記算出された定位位置に音像を定位させるよう前記音源の音声信号処理を行う音像定位部と、を備える、情報処理装置を提案する。
　本開示によれば、音像定位により現実空間に存在するよう知覚させる仮想物体に関する情報と、ユーザの状態に関する情報とに基づいて、前記ユーザに対する前記仮想物体の音源の相対的な定位位置を算出部により算出することと、前記算出された定位位置に音像を定位させるよう前記音源の音声信号処理を音像定位部により行うことと、を含む、情報処理方法を提案する。
　本開示によれば、コンピュータを、音像定位により現実空間に存在するよう知覚させる仮想物体に関する情報と、ユーザの状態に関する情報とに基づいて、前記ユーザに対する前記仮想物体の音源の相対的な定位位置を算出する算出部と、前記算出された定位位置に音像を定位させるよう前記音源の音声信号処理を行う音像定位部と、として機能させるための、プログラムを提案する。
　以上説明したように本開示によれば、現実空間における仮想物体の存在感を提示することが可能となる。
　なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
本開示の一実施形態による情報処理装置の概要について説明する図である。 本実施形態による情報処理装置の外観構成の一例を示す斜視図である。 本実施形態による情報処理装置の内部構成の一例を示すブロック図である。 本実施形態による予め設定されたユーザの体格データについて説明する図である。 本実施形態による仮想キャラクタの部位と音源種別の対応について説明する図である。 本実施形態による仮想キャラクタの行動および身長とユーザの状態に応じた音像定位の一例について説明する図である。 本実施形態による仮想キャラクタの行動および身長とユーザの状態に応じた音像定位の一例について説明する図である。 本実施形態による仮想キャラクタの行動および身長とユーザの状態に応じた音像定位の一例について説明する図である。 本実施形態による情報処理装置の音声処理を示すフローチャートである。 本実施形態による仮想キャラクタの行動および身長とユーザの状態に応じた音像定位の他の例について説明する図である。
　以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
　また、説明は以下の順序で行うものとする。
　１．本開示の一実施形態による情報処理装置の概要
　２．構成
　　２－１．外観構成
　　２－２．内部構成
　３．動作
　４．まとめ
　＜＜１．本開示の一実施形態による情報処理装置の概要＞＞
　まず、本開示の一実施形態による情報処理装置の概要について、図１を参照して説明する。図１に示すように、本実施形態による情報処理装置１は、例えばユーザＡの首に掛けられるネックバンド型の情報処理端末であって、スピーカおよび各種センサ（加速度センサ、ジャイロセンサ、地磁気センサ、絶対位置測位部等）を有する。かかる情報処理装置１は、音声情報を空間的に配置する音像定位技術により、現実空間に仮想キャラクタ２０が本当に存在しているようユーザに知覚させる機能を有する。なお仮想キャラクタ２０は仮想物体の一例である。
　ここで、図１に示すようにユーザＡが立っている場所に仮想キャラクタ２０があたかも存在するような、現実世界と関係性の強いコンテンツをユーザＡに提供する場合、次のような点に留意する必要がある。
　例えば身長１７０ｃｍの仮想キャラクタがユーザの右側に立っているかのように音声情報を提示する場合、身長１７０ｃｍのユーザが立ち止まった状態であれば、ユーザの右側に仮想キャラクタの声を定位させることで、当該仮想キャラクタが隣に居るように知覚させることができる。しかしながら、ユーザの身長が１５０ｃｍの場合、１７０ｃｍのユーザと同じ様に右側に仮想キャラクタの声を定位させると仮想キャラクタの身長が自身と同じ１５０ｃｍであるかのように知覚してしまい、本来の仮想キャラクタの身長のリアリティを感じさせることができない。
　また、ユーザが静止している場合に右側に仮想キャラクタの声が定位されると、仮想キャラクタが右側に居るかのように感じることができるが、ユーザが前方に向かって歩き始めた際に仮想キャラクタの声の位置に変化が無いと、仮想キャラクタの動きが感じられず、リアリティが損なわれる。すなわち、実際に仮想キャラクタが存在しているならば、仮想キャラクタはユーザの動きに少し遅れて歩き出すため、声の位置がユーザのやや右後ろに変化し、歩く足音や所持している鞄の音等が聞こえるべきである。さらに、仮想キャラクタが走る場合には走る足音や息切れ、自転車に乗っている場合には自転車の音というように、仮想キャラクタの動きに応じた音が聞こえるべきである。このように、ユーザの動きに応じて仮想キャラクタの声の位置や、仮想キャラクタの動きに応じて聞こえるはずの音が聞こえないと、仮想キャラクタのリアリティが大きく損なわれ、違和感が生じる。
　そこで、本実施形態による情報処理装置１は、ユーザの状態と仮想キャラクタの情報に基づいて、仮想キャラクタを知覚させる音を定位させる相対的な３次元位置を適切に算出し、現実空間における仮想物体の存在感をよりリアルに提示することを可能とする。具体的には、例えば情報処理装置１は、ユーザＡの身長や状態（立っている、座っている等）と仮想キャラクの身長情報に基づいて、仮想キャラクタの声を定位させる相対的な高さを算出し、音像定位することで、仮想キャラクタの大きさをユーザに実感させることができる。また、情報処理装置１は、ユーザＡの状態や動きに応じて仮想キャラクタの音を変化させることで、仮想キャラクタの動きにリアリティを持たせることができる。この際、情報処理装置１は、仮想キャラクタの声の音は仮想キャラクタの口元（頭部）に定位させ、仮想キャラクタの足音は仮想キャラクタの足元に定位する等、音の種別に基づいて対応する仮想キャラクタの部位に定位させるよう制御する。
　以上、本実施形態による情報処理装置１の概要について説明した。続いて、本実施形態による情報処理装置１の構成について図２および図３を参照して説明する。
　＜＜２．構成＞＞
　＜２－１．外観構成＞
　図２は、本実施形態による情報処理装置１の外観構成の一例を示す斜視図である。図２に示すように、ネックバンド型の情報処理装置１は、首の両側から後ろ側（背中側）にかけて半周回するような形状の装着ユニット（装着部）を有し、ユーザの首にかけられることでユーザに装着される。図２では、装着ユニットをユーザが装着した状態における斜視図を示す。なお、本明細書では、上下左右前後といった方向を示す言葉を用いるが、これらの方向はユーザの直立姿勢における、ユーザの体の中心（例えば鳩尾の位置）からみた方向を示すものとする。例えば、「右」とはユーザの右半身側の方向を示し、「左」とはユーザの左半身側の方向を示し、「上」とはユーザの頭側の方向を示し、「下」とはユーザの足側の方向を示すものとする。また、「前」とはユーザの体が向く方向を示し、「後」とはユーザの背中側の方向を示すものとする。
　図２に示すように、装着ユニットは、ユーザの首に密着して装着されてもよいし、離間して装着されてもよい。なお首かけ型の装着ユニットの他の形状としては、例えば首下げ紐によりユーザに装着されるペンダント型や、頭にかけるヘッドバンドの代わりに首の後ろ側を通るネックバンドを有するヘッドセット型が考えられる。
　また、装着ユニットの使用形態は、人体に直接的に装着されて使用される形態であってもよい。直接的に装着されて使用される形態とは、装着ユニットと人体との間に何らの物体も存在しない状態で使用される形態を指す。例えば、図２に示す装着ユニットがユーザの首の肌に接するように装着される場合は本形態に該当する。他にも、頭部に直接的に装着されるヘッドセット型やメガネ型等の多様な形態が考えられる。
　若しくは、装着ユニットの使用形態は、人体に間接的に装着されて使用される形態であってもよい。間接的に装着されて使用される形態とは、装着ユニットと人体との間に何らかの物体が存在する状態で使用される形態を指す。例えば、図２に示した装着ユニットが、シャツの襟の下に隠れるように装着される等、服の上からユーザに接するように装着される場合は、本形態に該当する。他にも、首下げ紐によりユーザに装着されるペンダント型や、衣服に留め具等で留められるブローチ型等の多様な形態が考えられる。
　また、情報処理装置１は、図２に示すように、複数のマイクロホン１２（１２Ａ、１２Ｂ）、カメラ１３（１３Ａ、１３Ｂ）、スピーカ１５（１５Ａ、１５Ｂ）を有している。マイクロホン１２は、ユーザ音声又は周囲の環境音等の音声データを取得する。カメラ１３は、周囲の様子を撮像し撮像データを取得する。また、スピーカ１５は、音声データの再生を行う。特に本実施形態によるスピーカ１５は、現実空間に実際に存在しているかのようにユーザに知覚させる仮想キャラクタの音像定位処理された音声信号を再生する。
　なお図２では、情報処理装置１にマイクロホン１２、カメラ１３、およびスピーカ１５がそれぞれ２つ設けられる構成を示したが、本実施形態はこれに限定されない。例えば、情報処理装置１は、マイクロホン１２およびカメラ１３をそれぞれ１つ有していてもよいし、マイクロホン１２、カメラ１３、およびスピーカ１５をそれぞれ３つ以上有していてもよい。
　＜２－２．内部構成＞
　続いて、本実施形態による情報処理装置１の内部構成について図３を参照して説明する。図３は、本実施形態による情報処理装置１の内部構成の一例を示すブロック図である。図３に示すように、情報処理装置１は、制御部１０、通信部１１、マイクロホン１２、カメラ１３、９軸センサ１４、スピーカ１５、位置測位部１６、および記憶部１７を有する。
　（制御部１０）
　制御部１０は、演算処理装置および制御装置として機能し、各種プログラムに従って情報処理装置１内の動作全般を制御する。制御部１０は、例えばＣＰＵ（Central　Processing　Unit）、マイクロプロセッサ等の電子回路によって実現される。また、制御部１０は、使用するプログラムや演算パラメータ等を記憶するＲＯＭ（Read　Only　Memory）、及び適宜変化するパラメータ等を一時記憶するＲＡＭ（Random　Access　Memory）を含んでいてもよい。
　また、本実施形態による制御部１０は、図３に示すように、状態・行動検出部１０ａ、仮想キャラクタ行動決定部１０ｂ、シナリオ更新部１０ｃ、相対位置算出部１０ｄ、音像定位部１０ｅ、音声出力制御部１０ｆ、および再生履歴・フィードバック記憶制御部１０ｇとして機能する。
　状態・行動検出部１０ａは、ユーザの状態の検出、また、検出した状態に基づく行動の認識を行い、検出した状態や認識した行動を仮想キャラクタ行動決定部１０ｂに出力する。具体的には、状態・行動検出部１０ａは、位置情報、移動速度、向き、耳（または頭部）の高さといった情報を、ユーザの状態に関する情報として取得する。ユーザ状態は、検出したタイミングで一意に特定可能であって、各種センサから数値として算出・取得できる情報である。
　例えば位置情報は、位置測位部１６から取得される。また、移動速度は、位置測位部１６、９軸センサ１４に含まれる加速度センサ、またはカメラ１３等から取得される。向きは、９軸センサ１４に含まれるジャイロセンサ、加速度センサ、および地磁気センサ、若しくはカメラ１３により取得される。耳（または頭部）の高さは、ユーザの体格データ、加速度センサ、およびジャイロセンサから取得される。また、移動速度および向きは、カメラ１３により継続的に周囲を撮像した映像における特徴点の変化をベースに動きを算出するSLAM（Simultaneous Localization and Mapping）を用いて取得してもよい。
　また、耳（または頭部）の高さは、ユーザの体格データに基づいて算出され得る。ユーザの体格データとしては、例えば図４左に示すように、身長Ｈ１、座高Ｈ２、および耳から頭頂までの距離Ｈ３が設定され、記憶部１７に記憶される。状態・行動検出部１０ａは、例えば以下のように耳の高さを算出する。なお『Ｅ１（頭の傾き）』は、図４右に示すように、上半身の傾きとして加速度センサやジャイロセンサ等により検出され得る。
　（式１）
　ユーザが立っている場合：
　耳の高さ＝身長－座高＋（座高－耳から頭頂までの距離）×Ｅ１（頭の傾き）
　（式２）
　ユーザが座っている／寝転んでいる場合：
　耳の高さ＝（座高－耳から頭頂までの距離）×Ｅ１（頭の傾き）
　また、頭の傾きがゼロ（直立）に近い場合、状態・行動検出部１０ａは、下記のように耳の高さの概算を行ってもよい。
　（式３）
　ユーザが立っている場合：
　耳の高さ≒身長－耳から頭頂までの距離
　（式４）
　ユーザが座っている／寝転んでいる場合：
　耳の高さ≒座高－耳から頭頂までの距離
　また、状態・行動検出部１０ａは、前後の状態を参照することでユーザ行動を認識することも可能である。ユーザ行動としては、例えば「立ち止まっている」、「歩いている」、「走っている」、「座っている」、「寝転んでいる」、「車に乗っている」、「自転車を漕いでいる」、「キャラクタの方を向いている」等が想定される。状態・行動検出部１０ａは、９軸センサ１４（加速度センサ、ジャイロセンサ、地磁気センサ）により検出された情報や、位置測位部１６により検出された位置情報に基づいて、所定の行動認識エンジンを用いてユーザ行動を認識することも可能である。
　仮想キャラクタ行動決定部１０ｂは、状態・行動検出部１０ａにより認識されたユーザ行動に応じて、仮想キャラクタ２０の現実空間における仮想的な行動を決定し（またはシナリオの選択も含む）、決定した行動に対応する音コンテンツをシナリオから選択する。
　例えば仮想キャラクタ行動決定部１０ｂは、ユーザが歩いている時は仮想キャラクタ２０も歩かせ、ユーザが走っている時は仮想キャラクタ２０もユーザの後を追いかけるよう走らせる等、ユーザと同じ行動を仮想キャラクタに取らせることで、仮想キャラクタの存在感を提示することができる。
また、仮想キャラクタ行動決定部１０ｂは、仮想キャラクタの行動が決定すると、コンテンツのシナリオとして予め記憶している音源リスト（音コンテンツ）の中で、仮想キャラクタの行動に対応する音源を選択する。この際、再生回数に制限がある音源については、仮想キャラクタ行動決定部１０ｂは再生ログに基づいて再生可否を判断する。また、仮想キャラクタ行動決定部１０ｂは、仮想キャラクタの行動に対応する音源であって、かつユーザの嗜好に合う音源（好きな仮想キャラクターの音源等）や、現在地（場所）に紐付けられた特定の仮想キャラクタの音源を選択してもよい。
　例えば仮想キャラクタ行動決定部１０ｂは、決定された仮想キャラクタの行動が立ち止まっている場合は声の音コンテンツ（例えばセリフや呼吸）を選択し、歩いている場合は声の音コンテンツと足音の音コンテンツ（例えばハイヒールの音など仮想キャラクタが履いていると設定されている靴の音）を選択する。また、仮想キャラクタ行動決定部１０ｂは、決定された仮想キャラクタの行動が走っている場合は声の音コンテンツとして息切れの音の選択や、衣擦れの音、鞄の音（鞄に付けられているキーホルダーの音等）、走る足音等を選択する。また、仮想キャラクタ行動決定部１０ｂは、決定された仮想キャラクタの行動が自転車に乗っている場合、自転車の音、自転車を漕ぐ音、自転車の籠に入れられた鞄の音等を選択する。このように、仮想キャラクタの行動に応じて、音コンテンツを選択し、行動に応じた鳴らし分けを実行する（すなわち、行動に対応しない音コンテンツは選択せず、再生しない）。
　シナリオ更新部１０ｃは、仮想キャラクタ行動決定部１０ｂにより決定された仮想キャラクタの行動に対応する音コンテンツがシナリオから選択されることで、シナリオが進むため、シナリオの更新を行う。当該シナリオは、例えば記憶部１７に記憶されている。
　相対位置算出部１０ｄは、仮想キャラクタ行動決定部１０ｂにより選択された仮想キャラクタの音源（音コンテンツ）を定位する相対的な３次元位置（ｘｙ座標位置および高さ）を算出する。具体的には、まず相対位置算出部１０ｄは、音源の種別に対応する仮想キャラクタの部位の位置を、仮想キャラクタ行動決定部１０ｂにより決定された仮想キャラクタの行動を参照して設定する。ここで、仮想キャラクタ２０の部位と、対応する音源の種別について図５を参照して説明する。
　図５は、仮想キャラクタ２０の部位と音源種別の対応について説明する図である。図５に示すように、仮想キャラクタ２０は、頭部２１、胴体２２、足元２４、手持ちアクセサリ２３（手に持っている鞄等）といった部位に分けられる。音源種別は、例えば声の音源、衣擦れの音源、持ち物（鞄や鞄に付けられているキーホルダー等）の音源、足音の音源、または乗り物の音源等が想定され、声の音源は頭部２１（特に口元）、衣擦れの音源は胴体２２、持ち物の音源は手持ちアクセサリ２３、足音の音源は足元２４に対応付けられる。また、乗り物の音源は、仮想キャラクタが乗り物（自転車、自動二輪車、自動車等）に乗っていることを想定し、仮想キャラクタの周辺に対応付けられる。また、各部位の高さ（Ｃ２～Ｃ４）は、仮想キャラクタ２０の身長Ｃ１に基づいて算出されてもよいし、予め記憶されていてもよい。仮想キャラクタ２０の身長Ｃ１や各部位の高さ（Ｃ２～Ｃ４）、部位と音源種別の対応付け等の情報は、仮想キャラクタ２０の設定情報として例えば記憶部１７に記憶される。
　相対位置算出部１０ｄは、対応する部位に基づく音源の高さを、さらに仮想キャラクタ２０の状態・行動に応じて算出する。例えば相対位置算出部１０ｄは、仮想キャラクタが立ち止まっている状態、歩いている場合、走っている場合（身体の傾きあり）、座っている状態、または寝転んでいる状態に応じて、頭部の位置、銅の位置、足の位置、持ち物の位置等を算出する。
　そして、相対位置算出部１０ｄは、ユーザの耳（または頭部）の高さおよび向きと、各音源の高さとの位置関係から、ユーザに対する音コンテンツの高さを算出する。また、相対位置算出部１０ｄは、高さと共に、ユーザ行動および仮想キャラクタの行動に応じてｘｙ座標位置を算出する。このように相対位置算出部１０ｄにより算出される音像定位位置（ｘｙ座標位置および高さを含む３次元位置）の一例について、図６～図８を参照して説明する。
　図６～図８は、本実施形態による仮想キャラクタの行動および身長とユーザの状態に応じた音像定位の一例について説明する図である。ここでは、例えばユーザＡが学校や勤務先から自宅近くの駅に帰ってきて自宅に向かって歩いている場合に仮想キャラクタがユーザＡを見つけて声を掛け、一緒に帰るといったシナリオを想定する。仮想キャラクタ行動決定部１０ｂは、状態・行動検出部１０ａにより、ユーザＡが自宅近くの最寄駅に到着し、改札を出て歩き出したことが検出されたことをトリガとしてイベント（音コンテンツの提供）を開始する。
　まずは仮想キャラクタ２０が、図６に示すように、歩いているユーザＡを見つけて声を掛けるといったイベントが行われる。具体的には、相対位置算出部１０ｄは、図６上に示すように、最初に再生する声の音コンテンツＶ１（「あ！」）の音源のｘｙ座標位置としてユーザＡの数メートル後方であってユーザの耳に対して角度Ｆ１の定位方向を算出する。次いで相対位置算出部１０ｄは、ユーザＡを追いかける足音の音コンテンツＶ２の音源のｘｙ座標位置としてユーザＡに徐々に近付くよう算出する（ユーザの耳に対して角度Ｆ２の定位方向）。そして相対位置算出部１０ｄは、声の音コンテンツＶ３（「おかえりなさい！」）の音源のｘｙ座標位置としてユーザＡのすぐ後ろの位置であってユーザの耳に対して角度Ｆ３の定位方向を算出する。このように仮想キャラクタが実際に現実空間に存在して行動していると想定した場合に違和感の無いよう、仮想キャラクタの行動とセリフに合わせて音像定位位置（ユーザに対する定位方向および距離）を算出することで、仮想キャラクタの動きをよりリアルに感じさせることができる。
　また、相対位置算出部１０ｄは、音コンテンツの種別に対応する仮想キャラクタの部位に応じて音像定位位置の高さを算出する。例えばユーザの耳の高さが仮想キャラクタの頭部より高い場合、図６下に示すように、仮想キャラクタの声の音コンテンツＶ１、Ｖ３の音源の高さはユーザの耳の高さより下になる（ユーザの耳に対して角度Ｇ１下方）。また、仮想キャラクタの足音の音コンテンツＶ２の音源は仮想キャラクタの足元であるため、声の音源よりも下になる（ユーザの耳に対して角度Ｇ２下方）。このように仮想キャラクタが実際に現実空間に存在していると想定した場合に仮想キャラクタの状態（立っている、座っている等）と大きさ（身長）を考慮して音像定位位置の高さを算出することで、仮想キャラクタの存在感をよりリアルに感じさせることができる。
　次いで、図７上に示すように、ユーザＡが立ち止まって仮想キャラクタ２０が居る方向に振り向いた場合、相対位置算出部１０ｄは、仮想キャラクタの声の音コンテンツＶ４の音源の位置はユーザＡの正面となるよう算出する。なおこの際も、仮想キャラクタ２０の声の音源の高さは、図７下に示すように、仮想キャラクタとユーザの身長に応じた相対的な高さ（例えばユーザの耳に対して角度Ｇ１下方）となる。
　そして、ユーザＡが歩き出すと、仮想キャラクタ２０もユーザＡと同じ速度で歩く行動に決定され、歩きながら仮想キャラクタ２０がユーザＡに対して話しかけるイベントが行われる。例えば、仮想キャラクタ行動決定部１０ｂは、「今日は寒いですね」といった今日の気温や天気に応じたセリフや、「今日はＪ県で事件があったみたいです」「今日の株価は・・・」というような、一日のニュースからユーザＡの嗜好に応じたセリフが選択される。これらのセリフは、リアルタイムの時事情報から自動的に生成されてもよい。また、仮想キャラクタ行動決定部１０ｂは、仮想キャラクタ２０もユーザＡと同じ速度で歩いているため、足音の音コンテンツも選択する。相対位置算出部１０ｄは、仮想キャラクタ２０もユーザＡと同じ速度で歩いているという行動に応じて、図８に示すように、例えばユーザＡの右側に音コンテンツＶ５、Ｖ６を配置する。また、相対位置算出部１０ｄは、図８下に示すように、声の音コンテンツＶ５はユーザＡに対して少し下（ユーザに対して角度Ｇ１下方）に位置し、足音の音コンテンツＶ６は仮想キャラクタ２０の足元（ユーザに対して角度Ｇ２下方）に位置するよう音像定位位置を算出する。
　なおシナリオは複数の分岐点を持ち、ユーザの行動に応じて異なるイベントが行われるようにしてもよい。例えば図７を参照して説明したようにユーザＡが立ち止まって仮想キャラクタの方向を向かなかった場合、「待ってよ～。止まってくださーい」という音コンテンツと共に仮想キャラクタ２０の声が遠くなり（ユーザＡが歩き続けるため）、シナリオが終了するイベントが行われてもよい。
　また、情報処理装置１は、ユーザＡに対する仮想キャラクタの会話の中で、コンサート情報等の宣伝が行われ、ユーザＡがＹｅｓの操作（例えばネックバンド型の装着ユニットをタップする等）を行うと、当該コンサート情報をユーザＡのスケジュールに登録する処理を行ってもよい。
　以上、音像定位位置の具体例について説明した。相対位置算出部１０ｄは、算出した音コンテンツ毎の音像定位位置（３次元位置）を、音像定位部１０ｅに出力する。
　音像定位部１０ｅは、相対位置算出部１０ｄにより算出された音コンテンツ毎の音像定位位置に、仮想キャラクタ行動決定部１０ｂにより選択された対応する音コンテンツ（音源）を定位させるよう、音コンテンツの音声信号処理を行う。
　音声出力制御部１０ｆは、音像定位部１０ｅにより処理された音声信号をスピーカ１５で再生するよう制御する。これにより、本実施形態による情報処理装置１は、ユーザの状態・行動に応じた仮想キャラクタの動きに対応する音コンテンツを、ユーザに対して適切な位置、距離、高さで音像定位し、仮想キャラクタの動きや大きさのリアリティを提示し、現実空間における仮想キャラクタの存在感を増すことができる。
　再生履歴・フィードバック記憶制御部１０ｇは、音声出力制御部１０ｆで音声出力された音源（音コンテンツ）を履歴（再生ログ）として記憶部１７に記憶するよう制御する。
　また、再生履歴・フィードバック記憶制御部１０ｇは、音声出力制御部１０ｆで音声出力された際に、ユーザが声の方向に振り向いたり、立ち止まって話を聞いたりといったユーザの反応をフィードバックとして記憶部１７に記憶するよう制御する。これにより制御部１０はユーザ嗜好を学習することが可能となり、上述した仮想キャラクタ行動決定部１０ｂにおいてユーザ嗜好に応じた音コンテンツを選択することができる。
　（通信部１１）
　通信部１１は、有線／無線により他の装置との間でデータの送受信を行うための通信モジュールである。通信部１１は、例えば有線ＬＡＮ（Local　Area　Network）、無線ＬＡＮ、Ｗｉ－Ｆｉ（Wireless　Fidelity、登録商標）、赤外線通信、Ｂｌｕｅｔｏｏｔｈ（登録商標）、近距離／非接触通信等の方式で、外部機器と直接、またはネットワークアクセスポイントを介して無線通信する。
　例えば、上述した制御部１０の各機能がスマートフォン又はクラウド上のサーバ等の他の装置に含まれる場合、通信部１１は、マイクロホン１２、カメラ１３、および９軸センサ１４により取得されたデータを送信してもよい。この場合、他の装置により、仮想キャラクタの行動決定や、音コンテンツの選択、音像定位位置の算出、音像定位処理等が行われる。他にも、例えばマイクロホン１２、カメラ１３、または９軸センサ１４が別箇の装置に設けられる場合には、通信部１１は、それらにより取得されたデータを受信して制御部１０に出力してもよい。また、通信部１１は、制御部１０により選択される音コンテンツを、クラウド上のサーバ等の他の装置から受信してもよい。
　（マイクロホン１２）
　マイクロホン１２は、ユーザの音声や周囲の環境を収音し、音声データとして制御部１０に出力する。
　（カメラ１３）
　カメラ１３は、撮像レンズ、絞り、ズームレンズ、及びフォーカスレンズ等により構成されるレンズ系、レンズ系に対してフォーカス動作やズーム動作を行わせる駆動系、レンズ系で得られる撮像光を光電変換して撮像信号を生成する固体撮像素子アレイ等を有する。固体撮像素子アレイは、例えばＣＣＤ（Ｃｈａｒｇｅ　Ｃｏｕｐｌｅｄ　Ｄｅｖｉｃｅ）センサアレイや、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ　Ｍｅｔａｌ　Ｏｘｉｄｅ　Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサアレイにより実現されてもよい。例えば、カメラ１３は、情報処理装置１（装着ユニット）がユーザに装着された状態で、ユーザの前方を撮像可能に設けられてもよい。この場合、カメラ１３は、例えばユーザの動きに応じた周囲の景色の動きを撮像することが可能となる。また、カメラ１３は、情報処理装置１がユーザに装着された状態で、ユーザの顔を撮像可能に設けられてもよい。この場合、情報処理装置１は、撮像画像からユーザの耳の位置や表情を特定することが可能となる。また、カメラ１３は、デジタル信号とされた撮像画像のデータを制御部１０へ出力する。
　（９軸センサ１４）
　９軸センサ１４は、３軸ジャイロセンサ（角速度（回転速度）の検出）、３軸加速度センサ（Ｇセンサとも称す。移動時の加速度の検出）、および３軸地磁気センサ（コンパス、絶対方向（方位）の検出）を含む。９軸センサ１４は、情報処理装置１を装着したユーザの状態または周囲の状態をセンシングする機能を有する。なお９軸センサ１４は、センサ部の一例であって、本実施形態はこれに限定されず、例えば速度センサまたは振動センサ等をさらに用いてもよいし、加速度センサ、ジャイロセンサ、および地磁気センサのうち少なくともいずれかを用いてもよい。また、センサ部は、情報処理装置１（装着ユニット）とは別の装置に設けられていてもよいし、複数の装置に分散して設けられていてもよい。例えば、加速度センサ、ジャイロセンサ、および地磁気センサが頭部に装着されたデバイス（例えばイヤホン）に設けられ、速度センサや振動センサがスマートフォンに設けられてもよい。９軸センサ１４は、センシング結果を示す情報を制御部１０へ出力する。
　（スピーカ１５）
　スピーカ１５は、音声出力制御部１０ｆの制御に従って、音像定位部１０ｅにより処理された音声信号を再生する。また、スピーカ１５は、任意の位置／方向の複数の音源をステレオ音声に変換して出力することも可能である。
　（位置測位部１６）
　位置測位部１６は、外部からの取得信号に基づいて情報処理装置１の現在位置を検知する機能を有する。具体的には、例えば位置測位部１６は、ＧＰＳ（Global　Positioning　System）測位部により実現され、ＧＰＳ衛星からの電波を受信して、情報処理装置１が存在している位置を検知し、検知した位置情報を制御部１０に出力する。また、情報処理装置１は、ＧＰＳの他、例えばＷｉ－Ｆｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、携帯電話・ＰＨＳ・スマートフォン等との送受信、または近距離通信等により位置を検知するものであってもよい。
　（記憶部１７）
　記憶部１７は、上述した制御部１０が各機能を実行するためのプログラムやパラメータを格納する。また、本実施形態による記憶部１７は、シナリオ（各種音コンテンツ）、仮想キャラクタの設定情報（形状、身長等）、ユーザ情報（氏名、年齢、自宅、職業、職場、体格データ、趣味・嗜好等）を格納する。なお記憶部１７に格納される情報の少なくとも一部は、クラウド上のサーバ等の別装置に格納されていてもよい。
　以上、本実施形態による情報処理装置１の構成について具体的に説明した。
　　＜＜３．動作＞＞
　続いて、本実施形態による情報処理装置１の音声処理について図９を参照して説明する。図９は、本実施形態による音声処理を示すフローチャートである。
　図９に示すように、まず、ステップＳ１０３において、情報処理装置１の状態・行動検出部１０ａは、各種センサ（マイクロホン１２、カメラ１３、９軸センサ１４、または位置測位部１６）により検出された情報に基づいて、ユーザ状態および行動を検出する。
　次に、ステップＳ１０６において、仮想キャラクタ行動決定部１０ｂは、検出されたユーザの状態、行動に応じて、再生する仮想キャラクタの行動を決定する。例えば仮想キャラクタ行動決定部１０ｂは、検出されたユーザの行動と同じ行動（ユーザが歩いていれば一緒に歩く、走っていれば一緒に走る、座っていれば一緒に座る、寝ていれば一緒に寝る等）に決定する。
　次いで、ステップＳ１０９において、仮想キャラクタ行動決定部１０ｂは、決定した仮想キャラクタの行動に対応する音源（音コンテンツ）をシナリオから選択する。
　次に、ステップＳ１１２において、相対位置算出部１０ｄは、選択された音源の相対位置（３次元位置）を、検出されたユーザ状態、ユーザ行動、予め登録されたユーザの身長等の体格データ、決定された仮想キャラクタの行動、および予め登録された仮想キャラクタの身長等の設定情報に基づいて算出する。
　次いで、ステップＳ１１５において、シナリオ更新部１０ｃは、決定された仮想キャラクタの行動や選択された音コンテンツに応じてシナリオを更新する（すなわち、次のイベントに進める）。
　次に、ステップＳ１１８において、音像定位部１０ｅは、算出された音像の相対位置に当該音像を定位させるよう、対応の音コンテンツに対して音像定位処理を行う。
　続いて、ステップＳ１２１において、音声出力制御部１０ｆは、音像定位処理された音声信号をスピーカ１５から再生するよう制御する。
　次いで、ステップＳ１２４において、再生履歴・フィードバック記憶制御部１０ｇにより、再生された（すなわち音声出力された）音コンテンツの履歴、および当該音コンテンツに対するユーザのフィードバックを、記憶部１７に記憶する。
　そして、ステップＳ１２７において、シナリオのイベントが終了するまで上記Ｓ１０３～Ｓ１２４が繰り返される。例えば最寄駅に帰ってきて駅から自宅に着くまでの間におけるシナリオでは、最寄駅から出て歩き出したことをトリガとしてシナリオが始まり、ユーザが自宅に着くとシナリオが終了する。
　なお、本実施形態によるシナリオは上述した例に限定されず、様々考え得る。例えば、対象商品が販売されているコンビニエンスストア等の店舗に紐付けられたシナリオであってもよい。この場合、所定のコンビニエンスストアに入ったことをトリガとしてシナリオが始まり、ユーザがコンビニエンスストアから出るとシナリオが終了する。例えばユーザがコンビニエンスストアに入って、店内に貼り出されている所定のポスター（ユーザが最近見ているアニメや好きなアイドルが宣伝している商品のポスター等）を見ていることが状態・行動検出部１０ａにより検出されると、商品宣伝のシナリオが始まる。具体的には、情報処理装置１は、コンビニエンスストアのドアが開く音と共に、足音が近づいて来て、「あ！ポスター見てくれましたか？このお菓子、ＣＭソングを私達が歌っているんですよ！」というような仮想キャラクタの声をユーザの近くに音像定位して再生する。この際、情報処理装置１は、ユーザの身長と仮想キャラクタの身長とを考慮してユーザの耳に対して所定角度の高さに仮想キャラクタの声の音源を定位する。これにより、ユーザは、実際に店内に仮想キャラクタが入ってきて自分の近くで声を掛けてきたように感じることができ、薦められた商品を見て見ようかという気持ちが出てきて、宣伝効果が向上する。
　また、対象商品の棚の前に居ることがカメラ１３の撮像画像から検出されると、情報処理装置１は、図１０に示すように、「そのお菓子、すごく美味しいですよ！」といった音コンテンツＶ７を、当該商品とコラボレーションしている仮想キャラクタの声で再生する。仮想キャラクタは、アニメやドラマといった架空のキャラクタの他、アイドル、女優/俳優、タレント等の実在の人物、また、人間以外の動物も含まれる。
　情報処理装置１は、音コンテンツＶ７の音像定位位置を、例えば図１０に示すように、ユーザＡの右後ろであって、また、ユーザＡの身長に相対する仮想キャラクタの適切な高さに制御する。これによりユーザＡは、仮想キャラクタ（例えば好きなアイドル）の存在感をリアルに感じる。また、本当に自分の傍で話しかけられているように感じると、ユーザＡは、薦めされたその商品を買おうという気持ちが出てきて、宣伝効果も向上する。
　　＜＜４．まとめ＞＞
　上述したように、本開示の実施形態による情報処理システムでは、ユーザの状態と仮想キャラクタの情報に基づいて、仮想キャラクタ（仮想物体の一例）を知覚させる音を定位させる相対的な３次元位置を適切に算出し、現実空間における仮想キャラクタの存在感をよりリアルに提示することを可能とする。
　例えば、ユーザの身長と仮想キャラクタの身長とを考慮して仮想キャラクタの声の音像定位位置の高さを算出することで、仮想キャラクタの現実空間における大きさをよりリアルにユーザに体験させることができる。これによりユーザは、仮想キャラクタに対する理解や愛着が深まる。例えばユーザは、ゲーム内では大きく感じたキャラクタが、本実施形態により現実空間に音像定位されて再生されると、自分の身長よりは小さいことが分かる。
　また、情報処理装置１は、決定された仮想キャラクタの動きに伴う音（足音、衣擦れの音、鞄の音等）も再生することで、仮想キャラクタの動きのリアリティを提示することができる。
　また、仮想キャラクタが発話していない間も、足音や衣擦れの音など仮想キャラクタの行動に伴う音を提示することで、仮想キャラクタが現実空間に存在することをユーザに提示することができる。
　以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本技術はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
　例えば、上述した情報処理装置１に内蔵されるＣＰＵ、ＲＯＭ、およびＲＡＭ等のハードウェアに、情報処理装置１の機能を発揮させるためのコンピュータプログラムも作成可能である。また、当該コンピュータプログラムを記憶させたコンピュータ読み取り可能な記憶媒体も提供される。
　また、本実施形態による情報処理装置１は、スピーカ１５が設けられたヘッドホン（またはイヤホン、アイウェア等）と、主に制御部１０の機能を有するモバイル端末（スマートフォン等）を含む情報処理システムにより実現されていてもよい。この際、モバイル端末は、音像定位処理した音声信号をヘッドホンに送信して再生させる。また、スピーカ１５は、ユーザに装着される装置に搭載される場合に限定されず、例えばユーザの周囲に設置された環境スピーカにより実現されてもよく、この場合環境スピーカは、ユーザの周囲の任意の位置に音像定位することが可能である。
　また、上述した実施形態では、音声のみでの仮想キャラクタの存在感を提示していたが、本実施形態はこれに限定されず、例えば情報処理装置１がアイウェア型の場合、本実施形態による音像定位と、仮想キャラクタ映像の現実空間への重畳表示を組み合わせて、さらに仮想キャラクタにリアリティを持たせることも可能である。
　また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
　なお、本技術は以下のような構成も取ることができる。
（１）
　音像定位により現実空間に存在するよう知覚させる仮想物体に関する情報と、ユーザの状態に関する情報とに基づいて、前記ユーザに対する前記仮想物体の音源の相対的な定位位置を算出する算出部と、
　前記算出された定位位置に音像を定位させるよう前記音源の音声信号処理を行う音像定位部と、
を備える、情報処理装置。
（２）
　前記音像の相対的な定位位置は、高さを含む３次元位置である、前記（１）に記載の情報処理装置。
（３）
　前記情報処理装置は、
　前記音像定位部により処理された音声信号を音声出力部から再生するよう制御する音声出力制御部をさらに備える、前記（２）に記載の情報処理装置。
（４）
　前記ユーザの状態に関する情報は、前記ユーザの絶対位置、移動速度、向き、頭の位置、耳の高さ、またはこれらから認識される行動を含む、前記（３）に記載の情報処理装置。
（５）
　前記仮想物体は仮想キャラクタであって、
　前記情報処理装置は、
　認識された前記ユーザの行動に応じて前記仮想キャラクタの現実空間における仮想的な行動を決定し、決定した行動に対応する音コンテンツを前記仮想物体の音像としてシナリオから選択する行動決定部をさらに備える、前記（４）に記載の情報処理装置。
（６）
　前記算出部は、前記選択された音コンテンツの音源種別に基づいて、当該音コンテンツの定位位置を算出する、前記（５）に記載の情報処理装置。
（７）
　前記音コンテンツの音源種別は、声の音源、足音の音源、衣擦れの音源、持ち物の音源、または乗り物の音源であって、
　前記算出部は、前記音源種別に対応する前記仮想キャラクタの部位の高さと、前記ユーザの状態に関する情報に基づく前記ユーザの頭部の高さとの相対関係に基づいて、前記音コンテンツを定位させる高さを算出する、前記（６）に記載の情報処理装置。
（８）
　前記算出部は、前記ユーザの耳との相対的な位置関係に基づいて前記高さを算出する、前記（７）に記載の情報処理装置。
（９）
　前記仮想キャラクタの部位は、頭、胴体、足、靴、前記仮想キャラクタが所持する鞄、または前記仮想キャラクタが乗っている乗り物であって、
　前記仮想キャラクタの部位の位置は、前記仮想物体に関する情報および前記決定された仮想キャラクタの行動に基づき算出される、前記（７）または（８）に記載の情報処理装置。
（１０）
　前記情報処理装置は、
　前記決定された仮想キャラクタの行動に対応する前記音コンテンツが前記シナリオから選択された際、前記シナリオを更新する更新部をさらに備える、
前記（５）～（９）のいずれか１項に記載の情報処理装置。
（１１）
　音像定位により現実空間に存在するよう知覚させる仮想物体に関する情報と、ユーザの状態に関する情報とに基づいて、前記ユーザに対する前記仮想物体の音源の相対的な定位位置を算出部により算出することと、
　前記算出された定位位置に音像を定位させるよう前記音源の音声信号処理を音像定位部により行うことと、
を含む、情報処理方法。
（１２）
　コンピュータを、
　音像定位により現実空間に存在するよう知覚させる仮想物体に関する情報と、ユーザの状態に関する情報とに基づいて、前記ユーザに対する前記仮想物体の音源の相対的な定位位置を算出する算出部と、
　前記算出された定位位置に音像を定位させるよう前記音源の音声信号処理を行う音像定位部と、
として機能させるための、プログラム。
　１　　情報処理装置
　１０　　制御部
　１０ａ　　状態・行動検出部
　１０ｂ　　仮想キャラクタ行動決定部
　１０ｃ　　シナリオ更新部
　１０ｄ　　相対位置算出部
　１０ｅ　　音像定位部
　１０ｆ　　音声出力制御部
　１０ｇ　　再生履歴・フィードバック記憶制御部
　１１　　通信部
　１２　　マイクロホン
　１３　　カメラ
　１４　　９軸センサ
　１５　　スピーカ
　１６　　位置測位部
　１７　　記憶部
　２０　　仮想キャラクタ

Claims (12)

  1. 　音像定位により現実空間に存在するよう知覚させる仮想物体に関する情報と、ユーザの状態に関する情報とに基づいて、前記ユーザに対する前記仮想物体の音源の相対的な定位位置を算出する算出部と、
    　前記算出された定位位置に音像を定位させるよう前記音源の音声信号処理を行う音像定位部と、
    を備える、情報処理装置。
  2. 　前記音像の相対的な定位位置は、高さを含む３次元位置である、請求項１に記載の情報処理装置。
  3. 　前記情報処理装置は、
    　前記音像定位部により処理された音声信号を音声出力部から再生するよう制御する音声出力制御部をさらに備える、請求項２に記載の情報処理装置。
  4. 　前記ユーザの状態に関する情報は、前記ユーザの絶対位置、移動速度、向き、頭の位置、耳の高さ、またはこれらから認識される行動を含む、請求項３に記載の情報処理装置。
  5. 　前記仮想物体は仮想キャラクタであって、
    　前記情報処理装置は、
    　認識された前記ユーザの行動に応じて前記仮想キャラクタの現実空間における仮想的な行動を決定し、決定した行動に対応する音コンテンツを前記仮想物体の音像としてシナリオから選択する行動決定部をさらに備える、請求項４に記載の情報処理装置。
  6. 　前記算出部は、前記選択された音コンテンツの音源種別に基づいて、当該音コンテンツの定位位置を算出する、請求項５に記載の情報処理装置。
  7. 　前記音コンテンツの音源種別は、声の音源、足音の音源、衣擦れの音源、持ち物の音源、または乗り物の音源であって、
    　前記算出部は、前記音源種別に対応する前記仮想キャラクタの部位の高さと、前記ユーザの状態に関する情報に基づく前記ユーザの頭部の高さとの相対関係に基づいて、前記音コンテンツを定位させる高さを算出する、請求項６に記載の情報処理装置。
  8. 　前記算出部は、前記ユーザの耳との相対的な位置関係に基づいて前記高さを算出する、請求項７に記載の情報処理装置。
  9. 　前記仮想キャラクタの部位は、頭、胴体、足、靴、前記仮想キャラクタが所持する鞄、または前記仮想キャラクタが乗っている乗り物であって、
    　前記仮想キャラクタの部位の位置は、前記仮想物体に関する情報および前記決定された仮想キャラクタの行動に基づき算出される、請求項７に記載の情報処理装置。
  10. 　前記情報処理装置は、
    　前記決定された仮想キャラクタの行動に対応する前記音コンテンツが前記シナリオから選択された際、前記シナリオを更新する更新部をさらに備える、
    請求項５に記載の情報処理装置。
  11. 　音像定位により現実空間に存在するよう知覚させる仮想物体に関する情報と、ユーザの状態に関する情報とに基づいて、前記ユーザに対する前記仮想物体の音源の相対的な定位位置を算出部により算出することと、
    　前記算出された定位位置に音像を定位させるよう前記音源の音声信号処理を音像定位部により行うことと、
    を含む、情報処理方法。
  12. 　コンピュータを、
    　音像定位により現実空間に存在するよう知覚させる仮想物体に関する情報と、ユーザの状態に関する情報とに基づいて、前記ユーザに対する前記仮想物体の音源の相対的な定位位置を算出する算出部と、
    　前記算出された定位位置に音像を定位させるよう前記音源の音声信号処理を行う音像定位部と、
    として機能させるための、プログラム。
PCT/JP2016/053681 2015-05-18 2016-02-08 情報処理装置、情報処理方法、およびプログラム WO2016185740A1 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
EP20176465.1A EP3723391A1 (en) 2015-05-18 2016-02-08 Information processing device, information processing method, and program
US15/559,586 US10477336B2 (en) 2015-05-18 2016-02-08 Information processing device, information processing method, and program
CN201680027350.4A CN107534824B (zh) 2015-05-18 2016-02-08 信息处理设备、信息处理方法和程序
EP16796135.8A EP3300392B1 (en) 2015-05-18 2016-02-08 Information-processing device, information-processing method, and program
JP2017518777A JP6673346B2 (ja) 2015-05-18 2016-02-08 情報処理装置、情報処理方法、およびプログラム
US16/658,485 US11128972B2 (en) 2015-05-18 2019-10-21 Information processing device, information processing method, and program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015-100638 2015-05-18
JP2015100638 2015-05-18

Related Child Applications (2)

Application Number Title Priority Date Filing Date
US15/559,586 A-371-Of-International US10477336B2 (en) 2015-05-18 2016-02-08 Information processing device, information processing method, and program
US16/658,485 Continuation US11128972B2 (en) 2015-05-18 2019-10-21 Information processing device, information processing method, and program

Publications (1)

Publication Number Publication Date
WO2016185740A1 true WO2016185740A1 (ja) 2016-11-24

Family

ID=57319795

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/053681 WO2016185740A1 (ja) 2015-05-18 2016-02-08 情報処理装置、情報処理方法、およびプログラム

Country Status (5)

Country Link
US (2) US10477336B2 (ja)
EP (2) EP3723391A1 (ja)
JP (1) JP6673346B2 (ja)
CN (1) CN107534824B (ja)
WO (1) WO2016185740A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018190099A1 (ja) * 2017-04-10 2018-10-18 ヤマハ株式会社 音声提供装置、音声提供方法及びプログラム
WO2019026597A1 (ja) * 2017-07-31 2019-02-07 ソニー株式会社 情報処理装置、情報処理方法、並びにプログラム
WO2019187488A1 (ja) * 2018-03-30 2019-10-03 ソニー株式会社 情報処理装置、情報処理方法、および、プログラム
WO2019228038A1 (zh) * 2018-05-29 2019-12-05 腾讯科技（深圳）有限公司 定位信息提示方法和装置、存储介质及电子装置

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3280154B1 (en) * 2016-08-04 2019-10-02 Harman Becker Automotive Systems GmbH System and method for operating a wearable loudspeaker device
US10579879B2 (en) * 2016-08-10 2020-03-03 Vivint, Inc. Sonic sensing
JP2018101452A (ja) * 2016-12-20 2018-06-28 カシオ計算機株式会社 出力制御装置、コンテンツ記憶装置、出力制御方法、コンテンツ記憶方法、プログラム及びデータ構造
KR102590801B1 (ko) * 2017-11-23 2023-10-17 주식회사 넥슨코리아 게임 서비스를 제공하기 위한 장치, 방법 및 컴퓨터 프로그램
US10674305B2 (en) * 2018-03-15 2020-06-02 Microsoft Technology Licensing, Llc Remote multi-dimensional audio
CN108492363B (zh) * 2018-03-26 2020-03-10 Oppo广东移动通信有限公司 基于增强现实的结合方法、装置、存储介质及电子设备
CN111903136A (zh) * 2018-03-29 2020-11-06 索尼公司 信息处理装置、信息处理方法和程序
US11323757B2 (en) * 2018-03-29 2022-05-03 Sony Group Corporation Information processing apparatus, information processing method, and program
JP6953354B2 (ja) * 2018-05-24 2021-10-27 グリー株式会社 ゲーム処理プログラム、ゲーム処理方法、および、ゲーム処理装置
CN108854069B (zh) * 2018-05-29 2020-02-07 腾讯科技（深圳）有限公司 音源确定方法和装置、存储介质及电子装置
CN109597481B (zh) * 2018-11-16 2021-05-04 Oppo广东移动通信有限公司 Ar虚拟人物绘制方法、装置、移动终端及存储介质
EP3859516A1 (en) * 2020-02-03 2021-08-04 Nokia Technologies Oy Virtual scene
CN112612445A (zh) * 2020-12-28 2021-04-06 维沃移动通信有限公司 音频播放方法和装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004348647A (ja) * 2003-05-26 2004-12-09 Hitachi Ltd ヒューマン・コミュニケーション・システム
JP2013005021A (ja) * 2011-06-13 2013-01-07 Sony Corp 情報処理装置、情報処理方法及びプログラム

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003521202A (ja) * 2000-01-28 2003-07-08 レイク テクノロジー リミティド 地理的な環境で使用される空間オーディオシステム。
JP2003305278A (ja) 2002-04-15 2003-10-28 Sony Corp 情報処理装置及び情報処理方法、記憶媒体、並びにコンピュータ・プログラム
JP2005020455A (ja) * 2003-06-26 2005-01-20 Ricoh Co Ltd 音声ガイダンス装置およびオフィス機器
US7585252B2 (en) * 2007-05-10 2009-09-08 Sony Ericsson Mobile Communications Ab Personal training device using multi-dimensional spatial audio
US20120031487A1 (en) 2010-02-24 2012-02-09 Iowa State University Research Foundation, Inc. Nanoscale High-Aspect-Ratio Metallic Structure and Method of Manufacturing Same
US9361729B2 (en) * 2010-06-17 2016-06-07 Microsoft Technology Licensing, Llc Techniques to present location information for social networks using augmented reality
US9111326B1 (en) * 2010-12-21 2015-08-18 Rawles Llc Designation of zones of interest within an augmented reality environment
US20140133658A1 (en) * 2012-10-30 2014-05-15 Bit Cauldron Corporation Method and apparatus for providing 3d audio
CH706680A2 (de) * 2012-06-25 2013-12-31 Fritz Menzer Verfahren und Vorrichtung zur auditorischen Unterstützung von sportlicher Betätigung.
US8903104B2 (en) * 2013-04-16 2014-12-02 Turtle Beach Corporation Video gaming system with ultrasonic speakers

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004348647A (ja) * 2003-05-26 2004-12-09 Hitachi Ltd ヒューマン・コミュニケーション・システム
JP2013005021A (ja) * 2011-06-13 2013-01-07 Sony Corp 情報処理装置、情報処理方法及びプログラム

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2018190099A1 (ja) * 2017-04-10 2020-02-27 ヤマハ株式会社 音声提供装置、音声提供方法及びプログラム
WO2018190099A1 (ja) * 2017-04-10 2018-10-18 ヤマハ株式会社 音声提供装置、音声提供方法及びプログラム
CN110495190B (zh) * 2017-04-10 2021-08-17 雅马哈株式会社 语音提供设备、语音提供方法和程序记录介质
CN110495190A (zh) * 2017-04-10 2019-11-22 雅马哈株式会社 语音提供设备、语音提供方法和程序
US10820132B2 (en) 2017-04-10 2020-10-27 Yamaha Corporation Voice providing device and voice providing method
CN110999327B (zh) * 2017-07-31 2022-01-14 索尼公司 信息处理装置、信息处理方法以及程序
CN110999327A (zh) * 2017-07-31 2020-04-10 索尼公司 信息处理装置、信息处理方法以及程序
JPWO2019026597A1 (ja) * 2017-07-31 2020-07-27 ソニー株式会社 情報処理装置、情報処理方法、並びにプログラム
EP3664476A4 (en) * 2017-07-31 2020-12-23 Sony Corporation INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING METHOD AND PROGRAM
US11051120B2 (en) 2017-07-31 2021-06-29 Sony Corporation Information processing apparatus, information processing method and program
WO2019026597A1 (ja) * 2017-07-31 2019-02-07 ソニー株式会社 情報処理装置、情報処理方法、並びにプログラム
JP7115480B2 (ja) 2017-07-31 2022-08-09 ソニーグループ株式会社 情報処理装置、情報処理方法、並びにプログラム
JP7456463B2 (ja) 2017-07-31 2024-03-27 ソニーグループ株式会社 情報処理装置、情報処理方法、並びにプログラム
WO2019187488A1 (ja) * 2018-03-30 2019-10-03 ソニー株式会社 情報処理装置、情報処理方法、および、プログラム
WO2019228038A1 (zh) * 2018-05-29 2019-12-05 腾讯科技（深圳）有限公司 定位信息提示方法和装置、存储介质及电子装置
US11241625B2 (en) 2018-05-29 2022-02-08 Tencent Technology (Shenzhen) Company Limited Positioning information prompting method and apparatus, storage medium, and electronic device

Also Published As

Publication number Publication date
EP3300392A1 (en) 2018-03-28
CN107534824B (zh) 2019-10-18
EP3300392B1 (en) 2020-06-17
EP3723391A1 (en) 2020-10-14
US20200053498A1 (en) 2020-02-13
JPWO2016185740A1 (ja) 2018-03-08
JP6673346B2 (ja) 2020-03-25
US11128972B2 (en) 2021-09-21
EP3300392A4 (en) 2018-12-12
CN107534824A (zh) 2018-01-02
US10477336B2 (en) 2019-11-12
US20180048976A1 (en) 2018-02-15

Similar Documents

Publication Publication Date Title
WO2016185740A1 (ja) 情報処理装置、情報処理方法、およびプログラム
US11017431B2 (en) Information processing apparatus and information processing method
JP5821307B2 (ja) 情報処理装置、情報処理方法及びプログラム
WO2018100800A1 (ja) 情報処理装置及び情報処理方法、並びにコンピュータ・プログラム
US11638869B2 (en) Information processing device and information processing method
CN110999327B (zh) 信息处理装置、信息处理方法以及程序
US20200264837A1 (en) Information processing apparatus and information processing method
US11806621B2 (en) Gaming with earpiece 3D audio
WO2018101279A1 (ja) 情報処理装置及び情報処理方法、並びにコンピュータ・プログラム
WO2018092486A1 (ja) 情報処理装置、方法及びプログラム
WO2018190099A1 (ja) 音声提供装置、音声提供方法及びプログラム
JP2020042593A (ja) プログラム、情報処理装置、および方法
WO2022149497A1 (ja) 情報処理装置、情報処理方法およびコンピュータプログラム
WO2022149496A1 (ja) エンタテインメントシステムおよびロボット

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16796135

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2017518777

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 15559586

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE