WO2022009783A1 - 情報処理装置、情報処理方法、及び音響出力装置 - Google Patents

情報処理装置、情報処理方法、及び音響出力装置 Download PDF

Info

Publication number
WO2022009783A1
WO2022009783A1 PCT/JP2021/025021 JP2021025021W WO2022009783A1 WO 2022009783 A1 WO2022009783 A1 WO 2022009783A1 JP 2021025021 W JP2021025021 W JP 2021025021W WO 2022009783 A1 WO2022009783 A1 WO 2022009783A1
Authority
WO
WIPO (PCT)
Prior art keywords
notification
sound
sound field
user
sounds
Prior art date
Application number
PCT/JP2021/025021
Other languages
English (en)
French (fr)
Inventor
出 田中
Original Assignee
ソニーグループ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーグループ株式会社 filed Critical ソニーグループ株式会社
Priority to US18/003,374 priority Critical patent/US20230247380A1/en
Priority to DE112021003645.9T priority patent/DE112021003645T5/de
Publication of WO2022009783A1 publication Critical patent/WO2022009783A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16Sound input; Sound output
    • G06F3/167Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S7/00Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30Control circuits for electronic adaptation of the sound field
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16Sound input; Sound output
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16Sound input; Sound output
    • G06F3/165Management of the audio stream, e.g. setting of volume, audio stream path
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00Details of transducers, loudspeakers or microphones
    • H04R1/10Earpieces; Attachments therefor ; Earphones; Monophonic headphones
    • H04R1/1041Mechanical or electronic switches, or control elements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S7/00Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30Control circuits for electronic adaptation of the sound field
    • H04S7/302Electronic adaptation of stereophonic sound system to listener position or orientation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S7/00Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30Control circuits for electronic adaptation of the sound field
    • H04S7/302Electronic adaptation of stereophonic sound system to listener position or orientation
    • H04S7/303Tracking of listener position or orientation
    • H04S7/304For headphones
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/60Substation equipment, e.g. for use by subscribers including speech amplifiers
    • H04M1/6033Substation equipment, e.g. for use by subscribers including speech amplifiers for providing handsfree use or a loudspeaker mode in telephone sets
    • H04M1/6041Portable telephones adapted for handsfree use
    • H04M1/6058Portable telephones adapted for handsfree use involving the use of a headset accessory device connected to the portable telephone
    • H04M1/6066Portable telephones adapted for handsfree use involving the use of a headset accessory device connected to the portable telephone including a wireless connection
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/72Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S2400/00Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/11Positioning of individual sound objects, e.g. moving airplane, within a sound field
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S2420/00Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/01Enhancing the perception of the sound image or of the spatial distribution using head related transfer functions [HRTF's] or equivalents thereof, e.g. interaural time difference [ITD] or interaural level difference [ILD]

Definitions

  • This disclosure relates to an information processing device, an information processing method, and an acoustic output device.
  • the notification sound may be sounded by the application program of the information terminal.
  • the notification sound may be mixed with the music being viewed and difficult to recognize.
  • the present disclosure provides an information processing device, an information processing method, and an acoustic output device that can enhance the recognition of the notification sound sounded through headphones or the like.
  • the information processing device is an information processing device that controls a plurality of notification sounds output from an output unit, and the position where the plurality of notification sounds are sounded in a virtual sound field is set for each of the plurality of notification sounds. It is provided with a notification sound arrangement unit that is arranged differently from the above.
  • the information processing device the information processing method, and the sound output device according to the present disclosure, it is possible to enhance the recognition of the notification sound sounded through headphones or the like.
  • FIG. 3 is a block diagram showing an example of a software configuration in the information terminal according to the second embodiment of the present disclosure when the two-channel stereo technology is applied.
  • FIG. 1 is a block diagram showing an example of the hardware configuration of the acoustic output device 1 according to the first embodiment of the present disclosure. As shown in FIG. 1, the acoustic output device 1 of the first embodiment includes an information terminal 100 and headphones 200.
  • the information terminal 100 as an information processing device is, for example, a smartphone, a mobile phone, a tablet, or the like.
  • the information terminal 100 includes a control unit 110, an input device 106, and a display device 107.
  • the control unit 110 is configured as a computer including a CPU (Central Processing Unit) 101, a ROM (Read Only Memory) 102, a RAM (Random Access Memory) 103, a storage device 104, and an I / O (In / Out) port 105. ing.
  • CPU Central Processing Unit
  • ROM Read Only Memory
  • RAM Random Access Memory
  • I / O In / Out
  • the CPU 101 reads, for example, various programs stored in the ROM 102, expands them on the RAM 103, and operates according to those programs. As a result, the CPU 101 can realize various functions as an information processing device.
  • the ROM 102 stores, for example, a basic program 108 such as an OS (Operating System) and various application programs executed by the CPU 101.
  • the basic program 108 is a program for operating the entire information terminal 100 and operating various application programs on the information terminal 100.
  • the basic program 108 has a function of setting, for example, a sound field which is a virtual space having a three-dimensional spread, and arranging a position in the sound field where various notification sounds by the above application program are sounded.
  • Such a function of the basic program 108 is realized by using, for example, a stereophonic technique that simulates a three-dimensional direction, distance, and spread when reproducing a sound.
  • the stereophonic technology may also be referred to as 3D audio technology, VPT (Virtualphones Technology), or the like.
  • the storage device 104 is, for example, an HDD (Hard Disk Drive) or an SDD (Solid State Drive), and is used as an auxiliary storage area.
  • HDD Hard Disk Drive
  • SDD Solid State Drive
  • the I / O port 105 is connected to the headphone 200 or the like, which is an external device of the information terminal 100, and transmits various acoustic data including a notification sound or the like to the headphone 200.
  • the input device 106 is a device that allows the user to input various instructions.
  • the input device 106 may be integrally configured with the display device 107, for example, a touch panel or the like.
  • the display device 107 is, for example, a liquid crystal display (LCD: Liquid Crystal Display) or an organic EL (Electroluminescence) display, and displays various information to the user.
  • LCD Liquid Crystal Display
  • organic EL Electrode
  • the headphone 200 as an output device includes, for example, two speakers that can be worn on the left and right ears of the user.
  • the headphone 200 is connected to, for example, the information terminal 100, and outputs various sounds based on the sound data transmitted from the information terminal 100.
  • the information terminal 100 may be configured as, for example, a personal computer, a smart speaker, a television device, or the like, in addition to the smartphones, mobile phones, tablets, and the like mentioned above.
  • the input device 106 mentioned above may be configured as an external device separate from the information terminal 100 such as a keyboard or a mouse, and may be connected to the information terminal 100.
  • the display device 107 may be configured as an external device separate from the information terminal 100 and may be connected to the information terminal 100.
  • an earphone, a speaker of a stereo component device, or the like may be connected to the information terminal 100.
  • the number of speakers may be three or more.
  • a plurality of speakers may be integrally configured with the information terminal 100.
  • the acoustic output device 1 can have various hardware configurations.
  • FIG. 2 is a block diagram showing an example of the software configuration of the information terminal 100 according to the first embodiment of the present disclosure.
  • the information terminal 100 includes an application layer 400 and a basic program (OS) layer 300 as a software configuration.
  • OS basic program
  • the application layer 400 includes various application programs executed by the information terminal 100.
  • application programs included in the application layer 400 for example, there are a music player 401, an A application 402, a B application 403, a music player 404, and a notification setting application 405.
  • the music player 401 is an application program capable of playing music as viewing content for, for example, 2-channel stereo.
  • the A application 402 is an application program having a notification function including a setting UI (User Interface) that enables various settings of the notification sound by the user, a transmission function of the notification sound, and the like.
  • the A application 402 can transmit, for example, a notification sound for 2-channel stereo.
  • the B application 403 is an application program having a notification function including a setting UI that enables various settings of the notification sound by the user and a function of transmitting the notification sound.
  • the B application 403 can transmit a notification sound for, for example, 3D audio.
  • the music player 404 is an application program capable of playing music as viewing content for, for example, 3D audio.
  • the application layer 400 may include, for example, an application program for playing a game, an application program for viewing a moving image, or the like as an application program capable of playing content for viewing other than music.
  • these application programs may be able to play audio, BGM, sound effects, etc. included in the game and the moving image as the content for viewing.
  • the notification sound transmitted by the A application 402 and the B application 403 for example, a notification sound for notifying the reception of an email or a message, a notification sound for notifying the arrival of a phone call, a posting on SNS (Social Networking Service), etc.
  • Examples include a notification sound for notifying that there was a problem, a notification sound for notifying that the time has been set by the user, and the like.
  • Types of such notification sounds include, for example, melody, chime, alarm sound, voice, and the like.
  • Items that can be set by the user on the A application 402 and the B application 403 for these notification sounds include, for example, on / off of the notification sound, selection of the type of notification sound, and the volume of the notification sound. .. Even on the same application program, it may be possible to make the above settings different depending on the notification content of the notification sound. Regarding this, for example, regarding the notification sound for notifying the receipt of an e-mail, the type of the notification sound may be different depending on whether the e-mail is from a friend or the boss.
  • the notification setting application 405 is, for example, a standard application program in the above-mentioned basic program 108 (see FIG. 1).
  • the notification setting application 405 is provided with a notification sound arrangement setting function and the like, and also retains personalization information and the like, and enables various settings by the user for various notification sounds such as the A application 402 and the B application 403. , So-called user interface (UI: User Interface).
  • UI User Interface
  • the user can make a setting for arranging a desired notification sound at a desired position in the virtual sound field described above. As a result, the user can adjust the direction in which each notification sound is heard, the distance, the volume, and the like. If the volume of the notification sound is also set on the application program such as the A application 402 and the B application 403, the setting on the notification setting application 405 may be prioritized.
  • the notification setting application 405 generates sound field information 311 in which the positions where the notification sounds are sounded are arranged in a virtual sound field for various notification sounds based on the acquired user settings.
  • the sound field information 311 may be a plurality of notification sounds by the same application program, or may be generated for each notification sound.
  • the personal optimization information includes information for optimizing the arrangement setting of the notification sound in the sound field using the above-mentioned stereophonic technology or the like for each user. How the sound reaches the left and right ears of the user differs depending on the individual user, and can be expressed by, for example, a head related transfer function (HRTF).
  • HRTF head related transfer function
  • personalization information includes head related transfer functions optimized for individual users. Individual users can optimize the head-related transfer function in the initial settings of the notification setting application 405 and generate personal optimization information.
  • a predetermined measurement is performed to optimize the head related transfer function.
  • the measurement method for example, a method of outputting a test sound in a predetermined closed environment and collecting the sound of the test sound to the ears of a user in the closed environment with an ear microphone or the like worn by the user is used. be.
  • dummy dolls equipped with ear microphones may be placed in various environments and the test sounds output in those environments may be collected.
  • the head-related transfer function is optimized, for example, from the sound collection result of the ear microphone attached to the user, or by referring to the sound collection result of the ear microphone attached to the dummy doll in addition to the sound collection result described above. be able to.
  • the head-related transfer function may be optimized by estimation based on the image pickup data of the user's ear imaged by the user himself / herself.
  • the basic program 108 exerts various functions for collectively processing acoustic data including various notification sounds by various application programs.
  • the basic program 108 outputs the notification sound for 3D audio of the B application 403 and the music for 3D audio of the music player 404 from the headphone 200 as a 2-channel stereo, so that the decoding process 302, the rendering process 303, and the virtualizer are output. It has a function to perform rise processing 304 and the like.
  • the virtualization process 304 is a process of arranging a position where the notification sound of the transmission target sounds based on the user setting in the virtually set sound field.
  • the notification sound transmitted by the A app 402 is for 2-channel stereo. Since the basic program 108 collectively processes the notification sound of the A application 402 together with the notification sound for the 3D audio of the B application 403, the up-conversion process 301 is temporarily performed on the notification sound data of the A application 402. After that, the decoding process 302, the rendering process 303, the virtualization process 304, and the like are performed.
  • the notification sound data to be processed is selected from the sound field information 311 generated by the notification setting application 405.
  • the virtualization process 304 is performed using the corresponding sound field information 311.
  • the basic program 108 performs the virtualization process 304 based on the instruction of the music player 404 when performing the virtualization process 304 on the music data or the like of the music player 404. As a result, each of the sounds of the plurality of channels included in the music data is arranged at a predetermined position in the sound field.
  • the basic program 108 is a head-related transfer function (HRTF) optimized for each user from the personal optimization information held by the notification setting application 405. ) 312 is extracted and virtualized processing 304 is performed based on the head related transfer function 312 so as to be suitable for each user.
  • HRTF head-related transfer function
  • the basic program 108 includes notification sound data of A application 402 and B application 403 subjected to virtualization processing 304, music data of music player 404, and music data for unprocessed 2-channel stereo of music player 401. ,
  • the mixing process 305 that mixes the data to be output is performed and output.
  • FIG. 3 is a block diagram showing an example of the functional configuration of the acoustic output device 1 according to the first embodiment of the present disclosure.
  • the control unit 110 has a display control unit 111, an input reception unit 112, a setting control unit 113, and a notification sound as functional configurations.
  • the arrangement unit 114, the output control unit 115, the personalization information storage unit 116, and the sound field information storage unit 117 are realized.
  • the display control unit 111 controls the display unit 120 to display various information.
  • the display unit 120 is realized by, for example, a display device 107 under the control of the CPU 101 that executes the basic program 108.
  • the input receiving unit 112 controls the input unit 130 to receive inputs such as various instructions from the input unit 130 by a user or the like.
  • the input unit 130 is realized by, for example, an input device 106 under the control of the CPU 101 that executes the basic program 108.
  • the setting control unit 113 has a UI function that enables various settings by the user regarding various notification sounds generated according to the application program.
  • the setting control unit 113 generates sound field information based on various settings by the user and stores it in the sound field information storage unit 117.
  • Sound field information is generated for each of a plurality of notification sounds, for example, and includes setting information of a position where each notification sound is sounded in a virtual sound field.
  • the position where a predetermined notification sound is sounded is represented by, for example, coordinates in the sound field.
  • the notification sound arrangement unit 114 sets a virtual sound field.
  • the virtual sound field is, for example, a virtual space having a three-dimensional spread centered on the head of a user wearing headphones 200. Further, the notification sound arrangement unit 114 arranges a position where various notification sounds are sounded in the above virtual sound field based on the sound field information stored in the sound field information storage unit 117, and includes the notification sound. Generate acoustic data.
  • the notification sound arrangement unit 114 adjusts the arrangement of various notification sounds based on the personal optimization information stored in the personal optimization information storage unit 116.
  • the notification sound arrangement unit 114 adjusts the arrangement of the notification sound according to each user based on the personalization information, thereby suppressing an error due to individual differences in the way of hearing the set notification sound. be able to.
  • the output control unit 115 outputs, for example, the sound including the notification sound from the output unit 210 based on the acoustic data generated by the notification sound arrangement unit 114. As a result, the user can hear each notification sound as if they were sounding at different positions in the virtual sound field.
  • the output unit 210 is realized by, for example, the headphones 200 under the control of the CPU 101 that executes the basic program 108.
  • Personal optimization information is stored in the personal optimization information storage unit 116.
  • the sound field information storage unit 117 stores sound field information based on settings by the user such as arrangement of various notification sounds.
  • the sound field information is generated for each of various application programs possessed by, for example, the information terminal 100, and can be stored in the sound field information storage unit 117. Further, the individual sound field information may include the setting of each arrangement of the plurality of notification sounds generated by one application program.
  • the personal optimization information storage unit 116 and the sound field information storage unit 117 are realized by, for example, a storage device 104 under the control of the CPU 101 that executes the basic program 108.
  • FIG. 4 is a diagram showing an example of a notification sound setting screen 121 displayed on the information terminal 100 according to the first embodiment of the present disclosure.
  • the user can, for example, launch the notification setting application 405 (see FIG. 2) of the information terminal 100 and display the notification sound setting screen 121 on the display device 107 of the information terminal 100.
  • the notification setting application 405 enables the user to make various settings on the notification sound setting screen 121.
  • the input receiving unit 112 included in the control unit 110 of the information terminal 100 receives the user's instruction. Further, the display control unit 111 causes the display unit 120 to display the notification sound setting screen 121 according to the user's instruction received by the input reception unit 112. The setting control unit 113 enables the user to make various settings on the notification sound setting screen 121.
  • the notification sound setting screen 121 On the notification sound setting screen 121, for example, a spherical SFS that looks like a sound field set by the notification sound arrangement unit 114 is displayed. In this case, the central portion of the spherical SFS corresponds to the position of the user's head. Further, the notification sound setting screen 121 displays, for example, a selection screen PSa including a plurality of preset directions as the direction in which the notification sound is heard by the user.
  • the "direction in which the notification sound can be heard by the user" on the selection screen PSa is a display in which the position where the notification sound is sounded in the sound field is mainly expressed by the user.
  • the user can select one of the preset directions for the notification sound currently set as the target from the selection screen PSa.
  • the user can also tap the X-direction arrows AXp, AXm, Y-direction arrows AYp, AYm, and the Z-direction arrows AZp, AZm around the spherical SFS to fine-tune the direction in which the notification sound is heard. can.
  • a point PNT indicating the position where the notification sound is sounded is displayed in the spherical SFS. Further, on the X-axis, Y-axis, and Z-axis in the sphere SFS, bars BRx, BRy, and BRz indicating the X-coordinate, Y-coordinate, and Z-coordinate of the point PNT in the sphere SFS are displayed, respectively.
  • the position of the point PNT moves according to the user's operation, and the lengths of the bars BRx, BRy, and BRz also change. Further, each time the position of the point PNT moves by the user's operation, the notification sound is sounded at the position in the sound field corresponding to the position of the point PNT in the spherical SFS. This allows the user to check how the notification sound sounds at the set position.
  • These displays on the notification sound setting screen 121 are controlled by the display control unit 111, for example, based on the instruction of the setting control unit 113.
  • the notification sound setting screen 121 displayed based on the instruction of the setting control unit 113 is not limited to the example of FIG. If the user can visually or intuitively grasp the position of the notification sound in the sound field and can assist the user in setting the notification sound, the display and operation method of the notification sound setting screen. Can be anything.
  • the setting control unit 113 tries to set the position where the notification sound that is currently set is sounding close to a predetermined range with respect to the setting position of another notification sound that has already been set, for example. Issue a warning by at least one of an alarm, a voice, a message, and the like. As a result, it is possible to prevent the user from being unable to distinguish between the two or more notification sounds because the set positions in the sound field are too close to each other.
  • the setting control unit 113 generates sound field information including the setting contents for each of various notification sounds by the user, and stores the sound field information in the sound field information storage unit 117.
  • the position where various notification sounds are sounded is represented by, for example, the coordinates in the sound field.
  • the notification sound arrangement unit 114 When actually outputting the notification sound from the output unit 210, the notification sound arrangement unit 114 refers to the sound field information of the notification sound to be output and arranges the position where the notification sound is sounded in the virtual sound field. .. Further, the notification sound arrangement unit 114 adjusts the position where the notification sound is sounded so as to match the user who has set the notification sound, based on the personal optimization information stored in the personal optimization information storage unit 116.
  • FIG. 5 is a diagram showing an example of a notification sound confirmation screen 122 displayed on the information terminal 100 according to the first embodiment of the present disclosure.
  • the notification setting application 405 causes the display device 107 of the information terminal 100 to display the notification sound confirmation screen 122 according to an instruction from the user.
  • the input receiving unit 112 included in the control unit 110 of the information terminal 100 receives the user's instruction.
  • the display control unit 111 causes the display unit 120 to display the notification sound confirmation screen 122 according to the user's instruction received by the input reception unit 112.
  • a spherical SFS that looks like a sound field set by the notification sound arrangement unit 114 is displayed.
  • the icons ICa to ICe of the application program corresponding to the notification sounds are displayed at the positions where the various notification sounds are sounded.
  • the display positions of these icons ICa to ICe are determined by the display control unit 111, for example, based on the information acquired by the setting control unit 113 from the plurality of sound field information of the sound field information storage unit 117.
  • notification sound confirmation screen 122 With such a notification sound confirmation screen 122, the user can visually confirm the correspondence between the positions where various notification sounds are sounded in the sound field. Therefore, from the notification sound confirmation screen 122, it is possible to confirm whether or not there is a notification sound that is difficult to distinguish due to overlapping with each other.
  • the notification sound confirmation screen 122 is not limited to the example of FIG. Any display of the notification sound confirmation screen may be used as long as the user can visually or intuitively grasp the positional relationship of the plurality of notification sounds in the sound field.
  • the notification sound arrangement unit 114 may be capable of not only statically arranging the positions where various notification sounds are sounded in the sound field but also dynamically arranging them.
  • the position where the notification sound is sounded is dynamically arranged in the sound field, the user hears the notification sound as if it were sounded while moving in the sound field. Ergonomically, it is said that cognition is further enhanced for moving objects.
  • the function of dynamically arranging the notification sound is based on such a theory.
  • FIG. 6 is a diagram showing another example of the notification sound setting screen 123 displayed on the information terminal 100 according to the first embodiment of the present disclosure.
  • the setting control unit 113 enables the user to set to dynamically arrange the positions where various notification sounds are sounded.
  • a spherical SFS resembling a sound field set by the notification sound arrangement unit 114 is displayed.
  • a selection screen PSb including a plurality of preset movements is displayed as the movement of the notification sound that can be heard by the user.
  • the user can select one of the preset movements for the notification sound currently set as the target from the selection screen PSb.
  • the locus OB representing the movement at the position where the notification sound is sounded is displayed.
  • the point PNT is also displayed on the locus OB.
  • the notification sound is sounded while moving in the sound field so as to correspond to the locus OEB in the spherical SFS. As a result, the user can check how the notification sound is heard when the notification sound is sounded by the set movement.
  • These displays on the notification sound setting screen 123 are controlled by the display control unit 111, for example, based on the instruction of the setting control unit 113.
  • the notification sound setting screen 123 displayed based on the instruction of the setting control unit 113 is not limited to the example of FIG. If the user can visually or intuitively grasp the movement of the position where the notification sound is sounded in the sound field and can assist the user in setting the notification sound, display the notification sound setting screen and display the notification sound.
  • the operation method may be any.
  • the setting control unit 113 When the movement of the position where the notification sound currently set is sounded is set to overlap with other notification sounds that have already been set, the setting control unit 113 provides an alarm, a voice, and an alarm. Issue a warning by at least one of the messages. As a result, it is possible to prevent the user from being unable to distinguish between the two or more notification sounds due to overlapping trajectories in the sound field.
  • the setting control unit 113 generates sound field information including the setting contents for each of various notification sounds by the user, and stores the sound field information in the sound field information storage unit 117.
  • the loci of various notification sounds are represented by, for example, the coordinates in the sound field.
  • the notification sound arrangement unit 114 When actually outputting the notification sound from the output unit 210, the notification sound arrangement unit 114 refers to the sound field information of the notification sound to be output, and traces the position where the notification sound is sounded in the virtual sound field. Deploy. Further, the notification sound arrangement unit 114 adjusts the trajectory of the position where the notification sound sounds so as to match the user who has set the notification sound, based on the personal optimization information stored in the personal optimization information storage unit 116. do.
  • FIG. 7 is a diagram showing another example of the notification sound confirmation screen 124 displayed on the information terminal 100 according to the first embodiment of the present disclosure.
  • the notification setting application 405 causes the display device 107 of the information terminal 100 to display the notification sound confirmation screen 124 according to an instruction from the user.
  • the input receiving unit 112 included in the control unit 110 of the information terminal 100 receives the user's instruction.
  • the display control unit 111 causes the display unit 120 to display the notification sound confirmation screen 122 according to the user's instruction received by the input reception unit 112.
  • a spherical SFS that looks like a sound field set by the notification sound arrangement unit 114 is displayed.
  • the icons ICf to ICh of the application program corresponding to those notification sounds are displayed on the loci OBf to OBh indicating the movement of the position where various notification sounds are sounded.
  • the display positions of the loci OBf to OBh and the icons ICf to ICh are determined by the display control unit 111, for example, based on the information acquired by the setting control unit 113 from the plurality of sound field information of the sound field information storage unit 117. To.
  • notification sound confirmation screen 124 With such a notification sound confirmation screen 124, the user can visually confirm the correspondence between the trajectories of various notification sounds in the sound field. Therefore, from the notification sound confirmation screen 124, it is possible to confirm whether or not there is a notification sound that is difficult to distinguish due to overlapping trajectories.
  • the notification sound confirmation screen 124 is not limited to the example of FIG. 7. Any display of the notification sound confirmation screen may be used as long as the user can visually or intuitively grasp the positional relationship of the trajectories of the plurality of notification sounds in the sound field.
  • FIG. 8 is a flow chart showing an example of a processing procedure by the information terminal 100 according to the first embodiment of the present disclosure. At the time of the process shown in FIG. 8, it is assumed that the personal optimization information is stored in advance in the personal optimization information storage unit 116 of the information terminal 100.
  • the input receiving unit 112 receives the instruction by the user (step S101).
  • step S102 confirmation screen
  • the setting control unit 113 is the sound field for each notification sound from the sound field information storage unit 117. Acquire information (step S103).
  • the setting control unit 113 issues an instruction to the display control unit 111 to display a confirmation screen showing the position of the notification sound that has already been set.
  • the display control unit 111 causes the display unit 120 to display the notification sound confirmation screen according to the instruction from the setting control unit 113 (step S104).
  • the display control unit 111 causes the display unit 120 to display the notification sound setting screen (step S105). ).
  • the input receiving unit 112 receives various settings by the user (step S106).
  • the setting control unit 113 issues an instruction to the display control unit 111 to change the setting screen according to various operations of the user from the input unit 130.
  • the display control unit 111 controls the display unit 120 so that a screen corresponding to various operations of the user is displayed according to an instruction from the setting control unit 113.
  • the setting control unit 113 determines whether the position or locus or the like to be set by the user with respect to the notification sound to be set is close to the position or locus or the like of another notification sound that has already been set (step). S107). If it is not close to another notification sound within a predetermined range (step S107: No), the setting control unit 113 proceeds to step S109.
  • step S107 When it is close to another notification sound within a predetermined range (step S107: Yes), the setting control unit 113 issues a warning by an alarm, voice, message, etc. (step S108), and re-enters the setting to the user. (Step S106).
  • the setting control unit 113 generates sound field information including the position or locus of the notification sound to be set in the virtual sound field based on the setting content from the user received by the input reception unit 112 (step S109). ).
  • the setting control unit 113 stores the generated sound field information in the sound field information storage unit 117 (step S110).
  • the notification sound arrangement unit 114 determines whether or not there is an instruction to send a notification sound having a predetermined content from any of the application programs (step S111). If there is no notification sound transmission instruction from any of the application programs (step S111: No), the notification sound arrangement unit 114 waits for the notification sound transmission instruction from the application program.
  • the notification sound arrangement unit 114 refers to the sound field information storage unit 117, and the sound of the notification sound that receives the transmission instruction.
  • the notification sound to be transmitted is arranged in the sound field based on the field information (step S112).
  • the notification sound arrangement unit 114 refers to the personal optimization information storage unit 116, and based on the personal optimization information of the user who has set the notification sound, the notification sound of the notification sound in the sound field is adapted to the user.
  • the position is adjusted (step S113).
  • the notification sound arrangement unit 114 is playing music or other viewing content by the music player 404 (see FIG. 2) (step S114: Yes), the notification sound arrangement unit 114 is the notification sound data arranged in the sound field and the viewing content. The data is mixed (step S115), and if it is not being played back (step S114: No), acoustic data is generated using only the notification sound data (step S116).
  • the notification sound arrangement unit 114 passes the generated acoustic data to the output control unit 115, and the output control unit 115 transmits the acoustic data from the notification sound arrangement unit 114 to the output unit 210 for output (step S117).
  • the sound of the viewing content has a sense of spaciousness, and even if the notification sound is sounded during playback of the viewing content, it easily blends into the sound of the viewing content, and how to improve the recognition of the notification sound. Issues tend to become apparent.
  • the positions where the plurality of notification sounds are sounded in the virtual sound field are arranged differently for each of the plurality of notification sounds.
  • the notification sound sounded through headphones or the like can be given an effect, and the recognition of the notification sound can be enhanced. Therefore, it is possible to prevent the notification sound from being overlooked. Further, it becomes easy to distinguish a plurality of notification sounds to be sounded for each application program or each notification content without checking the screen of the information terminal 100.
  • the position where at least one notification sound of the plurality of notification sounds sounds in the sound field is dynamically arranged.
  • the notification sound dynamically arranged at the sound field in the sound field is output from the headphone 200 as if the notification sound is sounded while moving in the sound field.
  • the effect of producing the notification sound sounded through the headphone 200 is further increased, and the recognition of the notification sound can be further enhanced.
  • the information terminal 100 includes a setting control unit that allows the user to set the position where a plurality of notification sounds are sounded in the sound field. As a result, the user can arrange the desired notification sound at a desired position in the virtual sound field.
  • the user is made to select a preset position as a position where a plurality of notification sounds are sounded in the sound field.
  • a preset position as a position where a plurality of notification sounds are sounded in the sound field.
  • the user is made to fine-tune the position of the plurality of notification sounds in the sound field from the preset position.
  • the usability of the notification sound setting screens 121 and 123 is improved, and the user can make settings more suitable for the request.
  • a warning is issued when the positions where a plurality of notification sounds in the sound field are sounded are set close to each other within a predetermined range.
  • the user is made to collectively set the position where the plurality of notification sounds transmitted by the plurality of application programs are sounded in the sound field.
  • This enables versatile settings for multiple application programs.
  • complicated work such as setting for each of a plurality of application programs becomes unnecessary, and usability can be improved.
  • a point PNT indicating a position where the notification sound to be set sounds is displayed in the spherical SFS which is regarded as a sound field according to the setting by the user.
  • a locus OB in which the position where the notification sound to be set sounds moves in the spherical SFS which is regarded as a sound field is displayed according to the setting by the user.
  • the user can intuitively or visually grasp the position or trajectory of the notification sound to be set. Further, since the information terminal 100 collectively processes the notification sounds, it is possible to set various notification sounds of various application programs on the common setting screens 121 and 123, and various notification sounds can be set. The style can be unified. Therefore, the setting by the user can be strongly assisted, and the usability can be improved.
  • the notification sound confirmation screen 122 has icons ICa to ICe indicating each of the positions where a plurality of notification sounds are sounded in the spherical SFS which is regarded as a sound field according to the setting by the user. Is placed. Further, on the notification sound confirmation screen 124, each of the loci OBf to OBh in which the positions where the plurality of notification sounds are sounded move in the spherical SFS which is regarded as a sound field are arranged according to the setting by the user.
  • the user can intuitively or visually grasp the position or trajectory of the notification sound to be set, and the notification sounds are close to each other or overlap each other. It is possible to assist the user in avoiding such problems. Further, since the information terminal 100 collectively processes the notification sounds, the various notification sounds of various application programs can be collectively displayed on the confirmation screens 122 and 124, and the settings for the individual notification sounds can be set. It will be easier to compare the contents.
  • a position where a plurality of notification sounds are sounded in the sound field is arranged based on the personal optimization information adjusted for the user by the head related transfer function.
  • the head related transfer function optimized for each user is shared by all application programs, it is possible to suppress variations in each application program or notification sound, and to suppress multiple notification sounds. Can be accurately reproduced, and the recognition of the notification sound by the user can be further improved.
  • the basic program 108 such as the OS collectively performs the process of arranging the position of the notification sound in the sound field across various application programs.
  • an application program such as an audio driver can be used to realize batch processing for the notification sound.
  • the above-mentioned basic program 108 is merely an example, and the type and method of the program that performs batch processing for the notification sound does not matter.
  • FIG. 9 is a block diagram showing an example of the software configuration of the information terminal 100a according to the first modification of the first embodiment of the present disclosure.
  • the information terminal 100a of the first modification is different from the above-described first embodiment in that the reproduction position of the viewing content is moved in the sound field.
  • the information terminal 100a includes an application layer 400a and a basic program (OS) layer 300a as a software configuration.
  • OS basic program
  • the application layer 400a includes, for example, an application program such as a music player 401, an A application 402, a B application 403, a music player 404, and a notification setting application 405a. Of these, except for the notification setting application 405a, it is the same as the application program exemplified in the above-described first embodiment.
  • the notification setting application 405a is, for example, a standard application program in the basic program included in the information terminal 100a of the first modification.
  • the notification setting application 405a is a user interface (UI) provided with a sound arrangement setting function and the like, holds personal optimization information and the like, and enables various settings by the user for various sounds including notification sounds.
  • UI user interface
  • the sound arrangement setting function of the notification setting application 405a it is possible not only to arrange the position where various notification sounds are sounded in the sound field, but also to move the position where the appreciation content such as music is played in the sound field. ..
  • the user can make a setting to place a desired notification sound at a desired position in the sound field. Further, when the notification sound is sounded while the viewing content is being played, the user can make a setting to temporarily move the playback position of the viewing content being played in the sound field. As a result, when the notification sound is sounded, the user can play the viewing content in a different audible direction, distance, volume, and the like.
  • the notification setting application 405a has a position where the notification sound of the A application 402 and the notification sound of the B application 403 are sounded in the virtual sound field based on various settings acquired by the user of the notification setting application 405a. Each of the indicated sound field information 311 is generated.
  • the notification setting application 405a indicates the moving positions of the music of the music player 401 and the music of the music player 404 in the virtual sound field based on various settings acquired by the user of the notification setting application 405a. Sound field information 311a is generated respectively.
  • the basic program of the modification 1 exhibits various functions for collectively processing various acoustic data by various application programs.
  • the basic program of the modification 1 has the notification sound for 2-channel stereo transmitted by the A application 402 and the notification sound for 3D audio transmitted by the B application 403, as in the case of the first embodiment. Process all at once.
  • the basic program of the first modification is configured to collectively process the music for 3D audio played by the music player 404 as well as the music for the 2-channel stereo played by the music player 401. Is preferable.
  • the basic program of the modification 1 performs the up-conversion process 301a on the music data of the music player 401 and the notification sound data of the A application 402.
  • the basic program of the modification 1 includes the up-converted music data of the music player 401, the music data of the music player 404, the up-converted notification sound data of the A application 402, the notification sound data of the B application 403, and the like.
  • the decoding process 302, the rendering process 303, the virtualization process 304a, and the like are performed.
  • the basic program of the first modification is the notification of the processing target among the sound field information 311 generated by the notification setting application 405a when the virtualization process 304a is performed on the notification sound data of the A application 402 and the B application 403.
  • the virtualization process 304a is performed using the sound field information 311 corresponding to the sound data.
  • each of the two channels of sound included in the music data of the music player 401 is arranged at a predetermined position in the sound field spreading to the left and right.
  • each of the sounds of the plurality of channels included in the music data of the music player 404 is arranged at a predetermined position of the sound field that spreads three-dimensionally.
  • the basic program of the first modification is generated by the notification setting application 405a when the notification sound of at least one of the A application 402 and the B application 403 is sounded while playing at least one of the music of the music players 401 and 404.
  • the virtualization process 304a is performed using the sound field information 311a corresponding to the music data to be processed.
  • the basic program of the modification 1 performs the virtualization process 304a using the sound field information 311 corresponding to the notification sound data to be processed among the sound field information 311 generated by the notification setting application 405a.
  • the basic program of the modification 1 extracts the head-related transfer function (HRTF) 312 optimized for each user from the personal optimization information held by the notification setting application 405a. Then, based on the head-related transfer function 312, the virtualization process 304a is performed so as to be suitable for each user.
  • HRTF head-related transfer function
  • the basic program of the first modification is mixing of the notification sound data of the A application 402 and the B application 403 subjected to the virtualization process 304a and the music data of the music players 401 and 404, which are to be output. Process 305 and output.
  • the user can set how to move the playback position of the viewing content when the notification sound sounds while the viewing content such as music is being played. Specific examples of the movement of the playback position of the viewing content as described above are given below.
  • the viewing content that has been heard spread throughout the sound field so as to surround the user's head is heard at the timing when the notification sound is heard.
  • the playback position of the viewing content can be temporarily moved so that the sound can be heard from, for example, only one point in a predetermined direction based on the above. At this time, the volume of the viewing content may be lowered.
  • the playback position and volume of the viewing content are restored.
  • the content for viewing that has been heard spread in the sound field extending to the left and right of the user's head is displayed on the user's head at the timing when the notification sound is sounded.
  • the playback position of the viewing content can be moved so that it can be heard from only one of the left and right directions as a reference. At this time, the volume of the viewing content may be lowered.
  • the playback position and volume of the viewing content are restored.
  • the playback position of the viewing content may be moved to a position opposite to the position where the notification sound of the transmission target sounds. That is, for example, when the notification sound is set to be heard from the left side of the user, the destination of the playback position of the viewing content is set to the right side of the user. Further, for example, when the notification sound is set to be heard from above the user's line of sight, the destination of the playback position of the viewing content is set to be below the user's line of sight.
  • the user can hear the content by moving so that the playback position of the viewing content is separated from the position where the notification sound is sounded at the timing when the notification sound is sounded.
  • the notification sound itself may be sounded from one point in the sound field by being statically arranged at a predetermined position in the sound field, and by being dynamically arranged in the sound field. , You may sound while moving in the sound field.
  • the CPU of the information terminal 100a executes, for example, the basic program of the first modification, so that the display control unit, the input reception unit, the setting control unit, the notification sound arrangement unit, and the output control unit corresponding to the above-described first embodiment 1 are executed. It can be considered that the above-mentioned functions are realized by the personal optimization information storage unit and the sound field information storage unit, and the above-mentioned various processes are performed.
  • the position where the viewing content is sounded is moved in the sound field. Let me. As a result, the degree of separation between the viewing content being viewed by the user and the notification sound suddenly transmitted is increased, and the recognition of the notification sound can be further enhanced.
  • Modification 2 Next, the information terminal of the second modification of the first embodiment will be described.
  • the function of arranging the position where the notification sound is sounded at a predetermined position in the sound field is applied to the route guidance application.
  • a route guidance application program having a function of guiding a route or a movement route using public transportation or the like is executed.
  • the route guidance application program transmits a route guidance voice as a notification sound.
  • the route guidance voice indicates the direction of travel and the point and direction of turning left and right, for example, north, south, east, and west.
  • the basic program of the modification 2 processes the voice of the route guidance, and arranges the position where the voice sounds at the position corresponding to the content of the guidance in the sound field. That is, in the basic program of the second modification, the direction in which the voice is heard and the direction in which the voice guides are matched. As a result, the user feels that the route guidance voice is heard from the direction in which it should go.
  • the arrangement of the route guidance voice in the sound field in the information terminal of the modification 2 may be set by default, or may be configured to be configurable by the user.
  • the CPU of the information terminal of the modification example 2 executes, for example, the basic program of the modification example 2, so that the display control unit, the input reception unit, the setting control unit, and the notification sound arrangement unit corresponding to the above-described first embodiment are executed.
  • the output control unit, the personalization information storage unit, and the sound field information storage unit realize the above functions, and the above various processes may be performed.
  • the position where the route guidance voice sounds is matched with the direction in which the voice guides.
  • the user can know the direction to go without checking the screen of the information terminal even when the route is guided in the north, south, east, and west in a place where the user does not know the land.
  • FIG. 10 is a block diagram showing an example of the software configuration of the information terminal 100b according to the third modification of the first embodiment of the present disclosure.
  • the information terminal 100b of the modification 3 is different from the above-described first embodiment in that the position where the notification sound is sounded is arranged in the sound field spreading to the left and right.
  • the information terminal 100b includes an application layer 400b and a basic program (OS) layer 300b as a software configuration.
  • OS basic program
  • the application layer 400b includes, for example, a music player 401, an A application 402, a C application 406, a notification setting application 405b, and the like as various application programs executed by the information terminal 100b.
  • the music player 401 and the A application 402 are the same as the application programs exemplified in the above-described first embodiment.
  • C-appli 406 includes a setting UI that allows the user to turn on / off the notification sound, select the type of notification sound, and set various settings for the volume of the notification sound, and a function for transmitting the notification sound for 2-channel stereo. It is an application program that has a notification function.
  • the notification setting application 405b is, for example, a standard application program in the basic program included in the information terminal 100b.
  • the notification setting application 405b is a user interface (UI) provided with a notification sound arrangement setting function and the like, and enables various settings by the user for various notification sounds of the A application 402 and the C application 406.
  • UI user interface
  • the basic program of the modification 3 performs the balance process 304b on the acoustic data including various notification sounds by various application programs.
  • the balance process 304b is a process of arranging the position where the notification sound or the like sounds by adjusting the left-right balance in the sound field spreading to the left and right.
  • the basic program of the modification 3 arranges the position where the notification sound is sounded, for example, by using the 2-channel stereo technique.
  • the basic program of the modification 3 sets a sound field that spreads in the left-right direction with respect to the user's head, and adjusts the left-right balance to arrange a position where the notification sound is sounded in the sound field.
  • the position where the notification sound sounds in the sound field in the left-right direction may be statically arranged or dynamically arranged.
  • the sound field information 311b used at this time is generated based on the user setting, and the position where the notification sound is sounded in the sound field spreading in the left-right direction is represented by coordinates or the like.
  • the music data of the music player 401 may be collectively subjected to the balance processing 304b in the same manner as the notification sound data of the A application 402 and the C application 406.
  • the basic program of the modification 3 performs the balance process 304b for adjusting the left-right balance in the sound field spreading in the left-right direction based on the instruction of the music player 401.
  • the basic program of the third modification is a mixing process 305b that mixes the notification sound data of the A application 402 and the C application 406 to which the balance process 304b is applied, and the music data of the music player 401 to be output. And output.
  • the CPU of the information terminal 100b executes, for example, the basic program of the third modification, so that the display control unit, the input reception unit, the setting control unit, the notification sound arrangement unit, and the output control unit corresponding to the above-described first embodiment 1 are executed.
  • the sound field information storage unit realizes the above-mentioned function, and it can be considered that the above-mentioned various processes are performed.
  • the second embodiment will be described with reference to the drawings.
  • the information terminal of the second embodiment is different from the above-described first embodiment in that each application program has a function of arranging a position where a notification sound is sounded at a predetermined position in the sound field.
  • FIG. 11 is a block diagram showing an example of a software configuration of the information terminal 500 according to the second embodiment of the present disclosure when the stereophonic technology is applied.
  • the information terminal 500 includes an application layer 450 and a basic program (OS) layer 350 as a software configuration.
  • OS basic program
  • the application layer 450 includes, for example, a music player 407, a D application 408, an E application 409, and the like as various application programs executed by the information terminal 500.
  • Music player 407 is an application program that can play music as viewing content.
  • the music that can be played by the music player 407 may be for 2-channel stereo or 3D audio.
  • the music player 407 may have a function of performing decoding processing, rendering processing, and virtualizing processing. As a result, music for 3D audio can be output from headphones or the like as 2-channel stereo.
  • the D application 408 is an application program having a notification function including a setting UI that enables various settings of the notification sound by the user and a function of transmitting the notification sound for 3D audio.
  • the setting UI includes, for example, a notification sound arrangement setting function capable of setting a position where a notification sound is sounded in a sound field having a three-dimensional spread.
  • the D application 408 holds personal optimization information in order to adapt the arrangement of the position where the notification sound is sounded to each user.
  • the D application 408 has a function of performing decoding processing, rendering processing, and virtualizing processing on the notification sound data.
  • the virtualization process is performed based on the sound field information generated by the user setting acquired by the setting UI and the personal optimization information.
  • the notification sound for 3D audio can be output from a headphone or the like as a 2-channel stereo.
  • the E-appli 409 is an application program having a notification function including a setting UI that enables various settings of the notification sound by the user and a function of transmitting a notification sound for 3D audio.
  • the setting UI includes, for example, a notification sound arrangement setting function capable of setting a position where a notification sound is sounded in a sound field having a three-dimensional spread.
  • the E-appli 409 holds personal optimization information in order to adapt the arrangement of the position where the notification sound is sounded to each user.
  • the E-appli 409 has a function of performing decoding processing, rendering processing, and virtualizing processing on the notification sound data.
  • the virtualization process is performed based on the sound field information generated by the user setting acquired by the setting UI and the personal optimization information.
  • the notification sound for 3D audio can be output from a headphone or the like as a 2-channel stereo.
  • the personal optimization information held by each D-appli 408 and E-appli 409 is acquired from the user for each individual D-appli 408 and E-appli 409, for example, at the time of initial setting.
  • the basic program of the information terminal 500 is a mixing process that mixes data to be output among various notification sound data, music data, and the like that have been virtualized by various application programs. Do 305 and output.
  • each application program acquires user settings, performs decoding processing, rendering processing, and virtualization processing, and three-dimensionally based on the acquired user settings. It has a function of arranging the position where the notification sound is sounded in the sound field that spreads out.
  • the CPU of the information terminal 500 individually executes, for example, the D application 408 and the E application 409, so that the display control unit, the input reception unit, the setting control unit, and the notification sound arrangement unit corresponding to the above-described first embodiment can be used. It can be considered that the above functions are realized by the output control unit, the personal optimization information storage unit, and the sound field information storage unit, and the above various processes are performed.
  • FIG. 12 is a block diagram showing an example of a software configuration of the information terminal 600 according to the second embodiment of the present disclosure when the two-channel stereo technology is applied.
  • the information terminal 600 includes an application layer 460 and a basic program (OS) layer 360 as a software configuration.
  • OS basic program
  • the application layer 460 includes, for example, a music player 401, an F application 411, a G application 412, and the like as various application programs executed by the information terminal 600.
  • the music player 401 is the same as that exemplified in the above-described first embodiment.
  • the F application 411 is an application program having a notification function including a setting UI that enables various settings of the notification sound by the user and a transmission function of the notification sound for 2-channel stereo.
  • the setting UI includes, for example, a notification sound arrangement setting function capable of setting a position where a notification sound is sounded in a sound field having a spread to the left and right.
  • the user can set the position where various notification sounds are sounded in the sound field that spreads to the left and right by the setting UI.
  • the F application 411 generates sound field information based on user settings, and generates notification sound data whose left-right balance is adjusted by balance processing using this sound field information.
  • the G application 412 is an application program having a notification function including a setting UI that enables various settings of the notification sound by the user and a transmission function of the notification sound for 2-channel stereo.
  • the setting UI includes, for example, a notification sound arrangement setting function capable of setting a position where a notification sound is sounded in a sound field having a spread to the left and right.
  • the user can set the position where various notification sounds are sounded in the sound field that spreads to the left and right by the setting UI.
  • the G application 412 generates sound field information based on user settings, and generates notification sound data whose left-right balance is adjusted by balance processing using this sound field information.
  • the basic program of the information terminal 600 is a mixing process 305b that mixes data to be output among various notification sound data, music data, and the like that have been balanced by various application programs. And output.
  • each application program acquires user settings and adjusts the left / right balance based on the acquired user settings to notify the sound field spreading to the left and right. It has a function to arrange the position where the sound is produced.
  • the CPU of the information terminal 600 individually executes, for example, the F application 411 and the G application 412, so that the display control unit, the input reception unit, the setting control unit, and the notification sound arrangement unit corresponding to the above-described first embodiment can be used. It can be considered that the above functions are realized by the output control unit and the sound field information storage unit, and the above various processes are performed.
  • the information terminals of the above-described first and second embodiments and the first to third modifications thereof are assumed to be a computer including, for example, a CPU, a ROM, a RAM, and an I / O port.
  • the information terminal may have a configuration provided with an ASIC (Application Specific Integrated Circuit) dedicated to the applications described in the above-described first and second embodiments and modifications 1 to 3 thereof.
  • ASIC Application Specific Integrated Circuit
  • the information terminals of the above-described first and second embodiments and the first to third modifications thereof are provided with a ROM in which a program related to information processing of the notification sound is stored.
  • a program can be stored and provided in a recording medium or the like so that it can be read by a computer, for example.
  • the recording medium is, for example, a magnetic disk, an optical disk, a magneto-optical disk, a flash memory, or the like.
  • the above program may be distributed, for example, via a network without using a recording medium.
  • An information processing device that controls multiple notification sounds output from the output unit. It is provided with a notification sound arranging unit that arranges the positions where the plurality of notification sounds are sounded differently for each of the plurality of notification sounds in a virtual sound field. Information processing equipment.
  • the notification sound arrangement unit is The position where at least one of the plurality of notification sounds sounds in the sound field is dynamically arranged.
  • the notification sound whose sounding position in the sound field is dynamically arranged is output from the output unit as if the notification sound is sounded while moving in the sound field.
  • the plurality of notification sounds include voices that guide the route.
  • the notification sound arrangement unit is Matching the position where the voice sounds with the direction guided by the voice, The information processing apparatus according to any one of (1) to (3) above.
  • the notification sound arrangement unit is When at least one notification sound of the plurality of notification sounds is sounded while the viewing content is being output from the output unit, the position where the viewing content is sounded is moved in the sound field.
  • the information processing apparatus according to any one of (1) to (4) above.
  • the notification sound arrangement unit is The position where the viewing content is sounded is moved so as to be away from the position where the notification sound which is sounded when the viewing content is output from the output unit.
  • the information processing device according to (5) above.
  • a setting control unit for letting the user set the position where the plurality of notification sounds are sounded in the sound field.
  • the information processing apparatus according to any one of (1) to (6) above.
  • the setting control unit The user is made to select a preset position as the position where the plurality of notification sounds are sounded in the sound field.
  • the information processing device according to (7) above.
  • the setting control unit The user is allowed to fine-tune the position of the plurality of notification sounds in the sound field from the preset position.
  • the information processing apparatus according to (8) above. (10)
  • the setting control unit A warning is issued when the positions of the plurality of notification sounds in the sound field are set close to each other within a predetermined range.
  • the information processing apparatus according to (9) above.
  • the plurality of notification sounds are transmitted by an application program executed by the information processing apparatus.
  • the setting control unit is realized by the application program.
  • the information processing apparatus according to any one of (7) to (10) above.
  • the plurality of notification sounds are transmitted by a plurality of application programs executed by the information processing apparatus, respectively.
  • the setting control unit The user is made to collectively set the position where the plurality of notification sounds transmitted by the plurality of application programs are sounded in the sound field.
  • the information processing apparatus according to any one of (7) to (10) above.
  • the information processing apparatus is a virtual space having a three-dimensional spread, and is On the setting screen, According to the setting by the user, the position where the notification sound to be set sounds is displayed in the sphere as if it were the sound field.
  • the information processing apparatus according to (13) above.
  • the display control unit It is a screen that can display the positions where the plurality of notification sounds are sounded in the sound field, and each of the positions where the plurality of notification sounds are sounded is arranged in a sphere resembling the sound field according to the setting by the user.
  • the sound field is a virtual space having a three-dimensional spread.
  • a setting control unit that allows the user to set the position where the plurality of notification sounds are sounded in the sound field. It is a screen that can be set to dynamically arrange the position where the plurality of notification sounds are sounded in the sound field, and the sound of the notification sound to be set among the plurality of notification sounds according to the setting by the user. It further includes a display control unit that displays a setting screen on the display unit that shows the trajectory of the movement of the position where the notification sound of the setting target sounds in the sphere that looks like a field.
  • the information processing apparatus according to (2) or (3) above.
  • the display control unit It is a screen capable of displaying a locus in which the positions of the plurality of notification sounds in the sound field move, and the positions of the plurality of notification sounds in the sphere resembling the sound field are set according to the setting by the user. A confirmation screen in which each of the moving trajectories is arranged is displayed on the display unit.
  • the information processing apparatus according to (16) above.
  • the notification sound arrangement unit is The position where the plurality of notification sounds sound in the sound field based on the personalization information adjusted for the user by the head-related transfer function representing how the sound reaches the left and right ears of the user. Place, The information processing apparatus according to any one of (14) to (17) above.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • General Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)
  • Stereophonic System (AREA)

Abstract

本開示にかかる情報処理装置は、出力部から出力される複数の通知音を制御する情報処理装置であって、仮想的な音場において複数の通知音が鳴る位置を複数の通知音ごとに異ならせて配置する通知音配置部を備える。

Description

情報処理装置、情報処理方法、及び音響出力装置
 本開示は、情報処理装置、情報処理方法、及び音響出力装置に関する。
 スマートフォン等の情報端末にヘッドフォンを装着して音楽等を鑑賞中に、情報端末のアプリケーションプログラムによって通知音が鳴らされることがある。この場合、通知音が鑑賞中の音楽と混ざり合って認知し難い場合がある。
特開2013-162284号公報
 本開示では、ヘッドフォン等を通じて鳴らされる通知音の認知性を高めることができる情報処理装置、情報処理方法、及び音響出力装置を提供する。
 本開示にかかる情報処理装置は、出力部から出力される複数の通知音を制御する情報処理装置であって、仮想的な音場において前記複数の通知音が鳴る位置を前記複数の通知音ごとに異ならせて配置する通知音配置部を備える。
 本開示にかかる情報処理装置、情報処理方法、及び音響出力装置によれば、ヘッドフォン等を通じて鳴らされる通知音の認知性を高めることができる。
本開示の実施形態1にかかる音響出力装置のハードウェア構成の一例を示すブロック図である。 本開示の実施形態1にかかる情報端末のソフトウェア構成の一例を示すブロック図である。 本開示の実施形態1にかかる音響出力装置の機能構成の一例を示すブロック図である。 本開示の実施形態1にかかる情報端末に表示される通知音の設定画面の一例を示す図である。 本開示の実施形態1にかかる情報端末に表示される通知音の確認画面の一例を示す図である。 本開示の実施形態1にかかる情報端末に表示される通知音の設定画面の他の例を示す図である。 本開示の実施形態1にかかる情報端末に表示される通知音の確認画面の他の例を示す図である。 本開示の実施形態1にかかる情報端末による処理の手順の一例を示すフロー図である。 本開示の実施形態1の変形例1にかかる情報端末のソフトウェア構成の一例を示すブロック図である。 本開示の実施形態1の変形例3にかかる情報端末のソフトウェア構成の一例を示すブロック図である。 本開示の実施形態2にかかる情報端末であって、立体音響技術が適用されている場合のソフトウェア構成の一例を示すブロック図である。 本開示の実施形態2にかかる情報端末であって、2チャンネルステレオ技術が適用されている場合のソフトウェア構成の一例を示すブロック図である。
 以下に、本開示の実施形態について図面に基づいて詳細に説明する。なお、以下の各実施形態において、同様の部位には同一の符号を付することにより重複する説明を省略する。
[実施形態1]
 実施形態1について図面を用いて説明する。
(音響出力装置の構成例)
 図1は、本開示の実施形態1にかかる音響出力装置1のハードウェア構成の一例を示すブロック図である。図1に示すように、実施形態1の音響出力装置1は、情報端末100及びヘッドフォン200を備える。
 情報処理装置としての情報端末100は例えばスマートフォン、携帯電話、またはタブレット等である。情報端末100は、制御部110、入力装置106、及び表示装置107を備える。
 制御部110は、CPU(Central Processing Unit)101、ROM(Read Only Memory)102、RAM(Random Access Memory)103、記憶装置104、及びI/O(In/Out)ポート105を備えるコンピュータとして構成されている。
 CPU101は、例えばROM102に格納されている各種プログラムを読み出してRAM103上に展開し、それらのプログラムにしたがって動作する。これにより、CPU101は、情報処理装置としての種々の機能を実現することができる。
 ROM102には、例えばOS(Operating System)等の基本プログラム108をはじめ、CPU101において実行される種々のアプリケーションプログラム等が格納されている。基本プログラム108は、情報端末100の全体を動作させ、また、情報端末100上で様々なアプリケーションプログラムを動作させるためのプログラムである。
 CPU101において実行される種々のアプリケーションプログラムの中には、メールを受信したこと、電話の着信があったこと等をユーザに知らせる各種の通知音を発信可能なプログラムがある。基本プログラム108は、例えば3次元的な広がりを有する仮想空間である音場を設定し、その音場において、上記のアプリケーションプログラムによる各種の通知音が鳴る位置を配置する機能を有する。これにより、各種の通知音がヘッドフォン200から出力された場合、ユーザには、それぞれの通知音が異なる方向から異なる距離(近さ/遠さ)で聴こえるように感じられる。
 基本プログラム108のこのような機能は、例えば音を再生する際に3次元的な方向、距離、及び広がりを疑似的に再現する立体音響技術を用いて実現される。立体音響技術は、3Dオーディオ技術、またはVPT(Virtualphones Technology)などとも呼ばれることがある。
 記憶装置104は、例えばHDD(Hard Disk Drive)またはSDD(Solid State Drive)等であり、補助記憶領域として使用される。
 I/Oポート105は、情報端末100の外部機器であるヘッドフォン200等に接続され、通知音等を含む各種音響データをヘッドフォン200へと送信する。
 入力装置106は、ユーザが各種指示を入力可能な装置である。入力装置106は、例えばタッチ式パネル等のように表示装置107と一体に構成されていてもよい。
 表示装置107は、例えば液晶ディスプレイ(LCD:Liquid Crystal Display)または有機EL(Electro Luminescence)ディスプレイ等であり、ユーザに対して種々の情報を表示する。
 出力装置としてのヘッドフォン200は、例えばユーザの左右の耳に装着可能な2つのスピーカを備える。ヘッドフォン200は、例えば情報端末100に接続され、情報端末100から送信される音響データに基づいて種々の音響を出力する。
 なお、情報端末100は、上記に挙げたスマートフォン、携帯電話、及びタブレット等のほか、例えばパーソナルコンピュータ、スマートスピーカ、またはテレビジョン装置等として構成されていてもよい。
 また、上記に挙げた入力装置106は、キーボードまたはマウス等の情報端末100とは別体の外部機器として構成され、情報端末100に接続されていてもよい。表示装置107が、情報端末100とは別体の外部機器として構成され、情報端末100に接続されていてもよい。
 また、上記に挙げたヘッドフォン200の代わりに、イヤフォン、またはステレオコンポーネント機器のスピーカ等が情報端末100に接続された構成であってもよい。スピーカは3つ以上であってもよい。複数のスピーカが、情報端末100と一体に構成されていてもよい。
 以上のように、音響出力装置1は種々のハードウェア構成を取り得る。
 図2は、本開示の実施形態1にかかる情報端末100のソフトウェア構成の一例を示すブロック図である。図2に示すように、情報端末100は、ソフトウェア構成として、アプリケーションレイヤ400と、基本プログラム(OS)レイヤ300と、を含む。
 アプリケーションレイヤ400には、情報端末100により実行される種々のアプリケーションプログラムが含まれる。図2の例では、アプリケーションレイヤ400に含まれるアプリケーションプログラムとして、例えばミュージックプレイヤ401、Aアプリ402、Bアプリ403、ミュージックプレイヤ404、及び通知設定アプリ405がある。
 ミュージックプレイヤ401は、例えば2チャンネルステレオ向けの鑑賞用コンテンツとしての音楽を再生可能なアプリケーションプログラムである。
 Aアプリ402は、ユーザによる通知音の各種設定を可能にする設定UI(User Interface)、及び通知音の発信機能等を含む通知機能を有するアプリケーションプログラムである。Aアプリ402は、例えば2チャンネルステレオ向けの通知音を発信可能である。
 Bアプリ403は、ユーザによる通知音の各種設定を可能にする設定UI、及び通知音の発信機能等を含む通知機能を有するアプリケーションプログラムである。Bアプリ403は、例えば3Dオーディオ向けの通知音を発信可能である。
 ミュージックプレイヤ404は、例えば3Dオーディオ向けの鑑賞用コンテンツとしての音楽を再生可能なアプリケーションプログラムである。
 なお、音楽以外の鑑賞用コンテンツを再生可能なアプリケーションプログラムとして、例えばゲーム遊興用のアプリケーションプログラム、及び動画像視聴用のアプリケーションプログラム等がアプリケーションレイヤ400に含まれていてもよい。この場合、鑑賞用コンテンツとして、ゲーム及び動画像に含まれる音声、BGM、効果音等をこれらのアプリケーションプログラムが再生可能であってよい。
 また、Aアプリ402及びBアプリ403により発信される通知音の例としては、例えばメールまたはメッセージ等の受信を知らせる通知音、電話の着信を知らせる通知音、SNS(Social Networking Service)等に投稿があったことを知らせる通知音、ユーザが設定した時刻になったことを知らせる通知音等が挙げられる。このような通知音の種類としては、例えばメロディ、チャイム、アラーム音、及び音声等がある。
 ユーザが、これらの通知音に対して、Aアプリ402及びBアプリ403上で設定可能な項目としては、例えば通知音のオン/オフ、通知音の種類の選択、及び通知音の音量等がある。同一のアプリケーションプログラム上であっても、通知音の通知内容によって上記の設定を異ならせることが可能であってもよい。これについては、例えばメールの受信を知らせる通知音について、友人からのメールの場合と上司からのメールの場合とで通知音の種類を異ならせる等の例が挙げられる。
 通知設定アプリ405は、例えば上述の基本プログラム108(図1参照)における標準アプリケーションプログラムである。通知設定アプリ405は、通知音配置設定機能等を備え、また、個人適正化情報等を保持し、Aアプリ402及びBアプリ403等の各種の通知音について、ユーザによる種々の設定を可能にする、所謂、ユーザインターフェース(UI:User Interface)である。
 通知設定アプリ405上で、ユーザは、上述の仮想的な音場の所望の位置に所望の通知音を配置する設定を行うことができる。これにより、ユーザは、それぞれの通知音が聴こえる方向、距離、及び音量等を調整することができる。通知音の音量について、Aアプリ402及びBアプリ403等のアプリケーションプログラム上でも設定がなされていた場合には、通知設定アプリ405上での設定が優先されるようになっていてもよい。
 通知設定アプリ405は、取得したユーザ設定に基づいて、各種の通知音について、仮想的な音場にそれらの通知音が鳴る位置が配置された音場情報311をそれぞれ生成する。音場情報311は、同じアプリケーションプログラムによる複数の通知音であっても、それぞれの通知音に対して生成されてもよい。
 個人適正化情報は、上述の立体音響技術等を用いた通知音の音場における配置設定をユーザごとに適正化するための情報を含む。ユーザの左右の耳に音がどのように届くかは個々人のユーザによって異なり、例えば頭部伝達関数(HRTF:Head Related Transfer Function)によって表すことができる。個人適正化情報は、個々人のユーザに対して適正化された頭部伝達関数を含む。個々のユーザは、通知設定アプリ405における初期設定等で、頭部伝達関数の適正化を行って、個人適正化情報を生成することができる。
 個人適正化情報の生成にあたっては、例えば頭部伝達関数の適正化するため所定の測定が行われる。測定方法の一例としては、例えば所定の閉環境内でテスト音を出力し、閉環境内にいるユーザの耳へのテスト音の響き方を、ユーザが装着したイアマイクロフォン等により集音する方法がある。これに加えて、イアマイクロフォンを装着したダミー人形を様々な環境下に配置し、それらの環境下で出力されたテスト音を集音してもよい。
 上記により、例えばユーザに装着したイアマイクロフォンの集音結果から、あるいは、前記の集音結果に加えてダミー人形に装着したイアマイクロフォンの集音結果も参照して、頭部伝達関数を適正化することができる。
 また、より簡便な測定方法としては、例えばユーザ自身が撮像したユーザの耳の撮像データに基づいて、推定により頭部伝達関数を適正化してもよい。
 基本プログラムレイヤ300において、基本プログラム108は、種々のアプリケーションプログラムによる各種の通知音を含む音響データを一括して処理するための種々の機能を発揮する。
 例えば、基本プログラム108は、Bアプリ403の3Dオーディオ向けの通知音、及びミュージックプレイヤ404の3Dオーディオ向けの音楽を2チャンネルステレオとしてヘッドフォン200から出力するため、デコード処理302、レンダリング処理303、及びバーチャライズ処理304等を行う機能を有する。
 ここで、バーチャライズ処理304は、仮想的に設定された音場に、ユーザ設定に基づいて発信対象の通知音が鳴る位置を配置する処理である。
 また、Aアプリ402が発信する通知音は2チャンネルステレオ向けである。基本プログラム108は、Aアプリ402の通知音も、Bアプリ403の3Dオーディオ向けの通知音等と共に一括して処理するため、Aアプリ402の通知音データに対して、一旦、アップコンバート処理301を行った後、デコード処理302、レンダリング処理303、及びバーチャライズ処理304等を行う。
 基本プログラム108は、Aアプリ402及びBアプリ403の通知音データに対してバーチャライズ処理304をする際には、通知設定アプリ405が生成した音場情報311のうち、処理対象の通知音データに対応する音場情報311を用いてバーチャライズ処理304を行う。
 基本プログラム108は、ミュージックプレイヤ404の音楽データ等に対してバーチャライズ処理304をする際には、ミュージックプレイヤ404の指示に基づいてバーチャライズ処理304を行う。これにより、音楽データに含まれる複数チャンネルの音響のそれぞれが音場の所定位置に配置される。
 通知音データ及び音楽データのいずれのバーチャライズ処理304においても、基本プログラム108は、通知設定アプリ405が保有する個人適正化情報から、個々のユーザに対して適正化された頭部伝達関数(HRTF)312を抽出し、頭部伝達関数312に基づいて、個々のユーザに適合するようバーチャライズ処理304を行う。
 基本プログラム108は、バーチャライズ処理304を施したAアプリ402及びBアプリ403の通知音データ、並びにミュージックプレイヤ404の音楽データと、ミュージックプレイヤ401の未処理の2チャンネルステレオ向けの音楽データとのうち、出力対象となっているデータを混ぜ合わせるミキシング処理305をして出力する。
 図3は、本開示の実施形態1にかかる音響出力装置1の機能構成の一例を示すブロック図である。
 図3に示すように、例えば情報端末100のCPU101が基本プログラム108を実行することにより、制御部110には、機能構成として、表示制御部111、入力受付部112、設定制御部113、通知音配置部114、出力制御部115、個人適正化情報格納部116、及び音場情報格納部117が実現される。
 表示制御部111は、表示部120を制御して種々の情報を表示させる。表示部120は、例えば基本プログラム108を実行するCPU101の制御下にある表示装置107によって実現される。
 入力受付部112は、入力部130を制御して、ユーザ等による入力部130からの各種指示等の入力を受け付ける。入力部130は、例えば基本プログラム108を実行するCPU101の制御下にある入力装置106によって実現される。
 設定制御部113は、アプリケーションプログラムにしたがって生成される各種の通知音に関し、ユーザによる種々の設定を可能にするUI機能を有する。設定制御部113は、ユーザによる各種設定に基づき音場情報を生成し、音場情報格納部117に格納する。
 音場情報は例えば複数の通知音ごとに生成され、仮想的な音場において個々の通知音が鳴る位置の設定情報を含む。音場情報においては、所定の通知音が鳴る位置が、例えば音場における座標等で表されている。
 通知音配置部114は仮想的な音場を設定する。仮想的な音場は、例えばヘッドフォン200を装着したユーザの頭部を中心とする3次元的な広がりを有する仮想空間である。また、通知音配置部114は、音場情報格納部117に格納される音場情報に基づいて、上記の仮想的な音場において各種の通知音が鳴る位置を配置して、通知音を含む音響データを生成する。
 その際、通知音配置部114は、個人適正化情報格納部116に格納される個人適正化情報に基づいて、各種の通知音の配置を調整する。通知音配置部114が、個人適正化情報に基づいて個々のユーザに合わせて通知音の配置を調整することで、設定した通知音の聴こえ方に個人差による誤差が生じてしまうのを抑制することができる。
 出力制御部115は、通知音配置部114が生成した音響データに基づいて、例えば通知音を含む音響を出力部210から出力させる。これにより、ユーザには、仮想的な音場内の異なる位置でそれぞれの通知音が鳴っているかのように聴こえる。出力部210は、例えば基本プログラム108を実行するCPU101の制御下にあるヘッドフォン200によって実現される。
 個人適正化情報格納部116には、個人適正化情報が格納されている。
 音場情報格納部117には、各種の通知音の配置等のユーザによる設定に基づく音場情報が格納される。音場情報は、例えば情報端末100が有する各種のアプリケーションプログラムごとに生成され、音場情報格納部117に格納されることができる。また、個々の音場情報には、1つのアプリケーションプログラムによって生成される複数の通知音のそれぞれの配置の設定が含まれていてもよい。
 個人適正化情報格納部116及び音場情報格納部117は、例えば基本プログラム108を実行するCPU101の制御下にある記憶装置104によって実現される。
(情報端末の機能例)
 次に、図4~図7を用いて、実施形態1の情報端末100の機能例について説明する。図4は、本開示の実施形態1にかかる情報端末100に表示される通知音の設定画面121の一例を示す図である。
 図4に示すように、ユーザは、例えば情報端末100の通知設定アプリ405(図2参照)を立ち上げて、情報端末100の表示装置107に通知音の設定画面121を表示させることができる。通知設定アプリ405は、通知音の設定画面121上において、ユーザが様々な設定を行うことを可能にする。
 以上の内容を、上述の図3の構成に基づいて説明することもできる。ユーザが、情報端末100の入力部130から、通知音の設定画面121を表示させる指示を入力すると、情報端末100の制御部110が備える入力受付部112が、ユーザの指示を受け付ける。また、表示制御部111は、入力受付部112が受け付けたユーザの指示にしたがって、表示部120に通知音の設定画面121を表示させる。設定制御部113は、通知音の設定画面121上において、ユーザが様々な設定を行うことを可能にする。
 通知音の設定画面121には、例えば通知音配置部114により設定される音場に見立てた球体SFSが表示される。この場合、球体SFSの中心部がユーザの頭部位置に相当する。また、通知音の設定画面121には、通知音がユーザに聴こえる方向として、例えばプリセットされた複数の方向を含む選択画面PSaが表示される。ここで、選択画面PSaにある「通知音がユーザに聴こえる方向」とは、音場において通知音が鳴る位置を、ユーザを主体に表現した表示である。
 ユーザは、選択画面PSaの中から、現在の設定対象となっている通知音について、プリセットされたいずれかの方向を選択することができる。また、ユーザは、球体SFSの周囲のX方向の矢印AXp、AXm、Y方向の矢印AYp、AYm、及びZ方向の矢印AZp、AZmをタップして、通知音が聴こえる方向を微調整することができる。
 これら一連のユーザによる操作において、球体SFSの中には通知音が鳴る位置を示すポイントPNTが表示される。また、球体SFS内のX軸、Y軸、及びZ軸に、球体SFS内におけるポイントPNTのX座標、Y座標、及びZ座標を示すバーBRx,BRy、BRzがそれぞれ表示される。
 ポイントPNTの位置は、ユーザの操作に応じて移動するとともに、バーBRx,BRy、BRzの長短も変化する。また、ユーザの操作により、ポイントPNTの位置が移動するごとに、球体SFS内におけるポイントPNTの位置に対応する音場内における位置で通知音が鳴る。これにより、ユーザは、設定した位置で通知音が鳴った場合、どのように聴こえるかを確認することができる。
 通知音の設定画面121におけるこれらの表示は、例えば設定制御部113の指示に基づいて、表示制御部111により制御される。ただし、設定制御部113の指示に基づいて表示される通知音の設定画面121は図4の例に限られない。音場における通知音の鳴る位置を、ユーザが視覚的または直感的に把握することができ、ユーザによる通知音の設定を補助することが可能であれば、通知音の設定画面の表示および操作手法はどのようなものであってもよい。
 設定制御部113は、現在の設定対象となっている通知音の鳴る位置が、例えば既に設定済みの他の通知音の設定位置に対して所定範囲内に近接して設定されようとした場合には、アラーム、音声、及びメッセージ等の少なくともいずれかによる警告を発する。これにより、2つ以上の通知音の音場における設定位置が近すぎて、ユーザがこれらの通知音を聴き分けられないという事態が起きるのを抑制できる。
 また、設定制御部113は、ユーザによる各種の通知音ごとの設定内容を含む音場情報を生成し、音場情報格納部117に格納する。音場情報において、各種通知音が鳴る位置は、例えば音場内の座標で表されている。
 実際に、出力部210から通知音を出力する際には、通知音配置部114が、出力させる通知音の音場情報を参照して、仮想的な音場内に通知音が鳴る位置を配置する。また、通知音配置部114は、個人適正化情報格納部116に格納される個人適正化情報に基づいて、通知音の設定を行ったユーザに適合するように通知音が鳴る位置を調整する。
 ユーザは、以上のように設定された複数の通知音の音場における設定位置を通知設定アプリ405上で確認することも可能である。図5は、本開示の実施形態1にかかる情報端末100に表示される通知音の確認画面122の一例を示す図である。
 図5に示すように、通知設定アプリ405は、ユーザからの指示にしたがって、情報端末100の表示装置107に通知音の確認画面122を表示させる。換言すれば、ユーザが、情報端末100の入力部130から、通知音の確認画面122を表示させる指示を入力すると、情報端末100の制御部110が備える入力受付部112が、ユーザの指示を受け付ける。また、表示制御部111は、入力受付部112が受け付けたユーザの指示にしたがって、表示部120に通知音の確認画面122を表示させる。
 通知音の確認画面122には、例えば通知音配置部114により設定される音場に見立てた球体SFSが表示される。球体SFSの中には、各種の通知音が鳴る位置に、例えばそれらの通知音に対応するアプリケーションプログラムのアイコンICa~ICeが表示される。これらのアイコンICa~ICeの表示位置は、例えば設定制御部113が、音場情報格納部117の複数の音場情報から取得した情報に基づいて、表示制御部111によって決定される。
 このような通知音の確認画面122により、ユーザは、音場における各種の通知音が鳴る位置の対応関係を視覚的に確認することができる。したがって、通知音の確認画面122からも、互いに重なり合ったりして聴き分け難い通知音がないかを確認することができる。
 ただし、通知音の確認画面122は図5の例に限られない。複数の通知音の音場における位置関係を、ユーザが視覚的または直感的に把握することが可能であれば、通知音の確認画面の表示はどのようなものであってもよい。
 ところで、通知音配置部114は、音場において各種の通知音が鳴る位置を静的に配置するだけでなく、動的に配置することが可能であってもよい。音場において通知音の鳴る位置が動的に配置されると、ユーザには、その通知音が音場内を移動しながら鳴らされているかのように聴こえる。人間工学的に、動きのあるものに対しては認知性がいっそう高まるとされている。通知音を動的に配置する機能は、このような理論に基づく。
 図6は、本開示の実施形態1にかかる情報端末100に表示される通知音の設定画面123の他の例を示す図である。図6に示す通知音の設定画面123において、設定制御部113は、各種の通知音が鳴る位置を動的に配置させる設定をユーザが行うことを可能にする。
 図6に示すように、通知音の設定画面123には、例えば通知音配置部114により設定される音場に見立てた球体SFSが表示される。また、通知音の設定画面123には、ユーザに聴こえる通知音の動きとして、例えばプリセットされた複数の動きを含む選択画面PSbが表示される。
 ユーザは、選択画面PSbの中から、現在の設定対象となっている通知音について、プリセットされたいずれかの動きを選択することができる。ユーザがいずれかの動きを選択すると、通知音が鳴る位置の動きを表す軌跡OBが表示される。軌跡OB上にはポイントPNTも表示される。また、球体SFS内における軌跡OEBに対応するように、音場内を移動しながら通知音が鳴る。これにより、ユーザは、設定した動きで通知音が鳴った場合、どのように聴こえるかを確認することができる。
 通知音の設定画面123におけるこれらの表示は、例えば設定制御部113の指示に基づいて、表示制御部111により制御される。ただし、設定制御部113の指示に基づいて表示される通知音の設定画面123は図6の例に限られない。音場における通知音の鳴る位置の動きを、ユーザが視覚的または直感的に把握することができ、ユーザによる通知音の設定を補助することが可能であれば、通知音の設定画面の表示および操作手法はどのようなものであってもよい。
 設定制御部113は、現在の設定対象となっている通知音の鳴る位置の動きが、例えば既に設定済みの他の通知音と重複して設定されようとした場合には、アラーム、音声、及びメッセージ等の少なくともいずれかによる警告を発する。これにより、2つ以上の通知音の音場における軌跡が重なり合って、ユーザがこれらの通知音を聴き分けられないという事態が起きるのを抑制できる。
 また、設定制御部113は、ユーザによる各種の通知音ごとの設定内容を含む音場情報を生成し、音場情報格納部117に格納する。音場情報において、各種通知音の軌跡は、例えば音場内の座標で表されている。
 実際に、出力部210から通知音を出力する際には、通知音配置部114が、出力させる通知音の音場情報を参照して、仮想的な音場内に通知音が鳴る位置の軌跡を配置する。また、通知音配置部114は、個人適正化情報格納部116に格納される個人適正化情報に基づいて、通知音の設定を行ったユーザに適合するように通知音が鳴る位置の軌跡を調整する。
 ユーザは、以上のように設定された複数の通知音の音場における軌跡を通知設定アプリ405上で確認することも可能である。図7は、本開示の実施形態1にかかる情報端末100に表示される通知音の確認画面124の他の例を示す図である。
 図7に示すように、通知設定アプリ405は、ユーザからの指示にしたがって、情報端末100の表示装置107に通知音の確認画面124を表示させる。換言すれば、ユーザが、情報端末100の入力部130から、通知音の確認画面122を表示させる指示を入力すると、情報端末100の制御部110が備える入力受付部112が、ユーザの指示を受け付ける。また、表示制御部111は、入力受付部112が受け付けたユーザの指示にしたがって、表示部120に通知音の確認画面122を表示させる。
 通知音の確認画面124には、例えば通知音配置部114により設定される音場に見立てた球体SFSが表示される。球体SFSの中には、各種の通知音が鳴る位置の移動を示す軌跡OBf~OBh上に、例えばそれらの通知音に対応するアプリケーションプログラムのアイコンICf~IChが表示される。これらの軌跡OBf~OBh及びアイコンICf~IChの表示位置は、例えば設定制御部113が、音場情報格納部117の複数の音場情報から取得した情報に基づいて、表示制御部111によって決定される。
 このような通知音の確認画面124により、ユーザは、音場における各種の通知音の軌跡の対応関係を視覚的に確認することができる。したがって、通知音の確認画面124からも、互いに軌跡が重なり合ったりして聴き分け難い通知音がないかを確認することができる。
 ただし、通知音の確認画面124は図7の例に限られない。複数の通知音の音場における軌跡の位置関係を、ユーザが視覚的または直感的に把握することが可能であれば、通知音の確認画面の表示はどのようなものであってもよい。
(情報端末による処理例)
 次に、図8を用いて実施形態1の情報端末100による処理例について説明する。図8は、本開示の実施形態1にかかる情報端末100による処理の手順の一例を示すフロー図である。なお、図8に示す処理の際、情報端末100の個人適正化情報格納部116には、予め個人適正化情報が格納されているものとする。
 図8に示すように、ユーザが情報端末100の入力部130から通知音の設定画面または確認画面を表示させる指示を入力すると、入力受付部112はユーザによる指示を受け付ける(ステップS101)。
 入力受付部112が受け付けた指示が通知音の確認画面の表示指示であった場合(ステップS102:確認画面)、設定制御部113は、音場情報格納部117から個々の通知音についての音場情報を取得する(ステップS103)。
 設定制御部113は、取得した音場情報に基づいて、既に設定済みの通知音の位置が示された確認画面を表示するよう表示制御部111に指示を出す。表示制御部111は、設定制御部113からの指示にしたがって、表示部120に通知音の確認画面を表示させる(ステップS104)。
 入力受付部112が受け付けた指示が通知音の設定画面の表示指示であった場合(ステップS102:設定画面)、表示制御部111は、表示部120に通知音の設定画面を表示させる(ステップS105)。
 通知音の設定画面においてユーザが各種の設定を行うと、入力受付部112はユーザによる各種設定を受け受ける(ステップS106)。このとき、設定制御部113は、入力部130からのユーザの各種操作に応じて設定画面を変化させるよう表示制御部111に指示を出す。表示制御部111は、設定制御部113からの指示にしたがって、ユーザの各種操作に応じた画面が表示されるよう表示部120を制御する。
 設定制御部113は、設定対象の通知音に対してユーザが設定しようとしている位置または軌跡等が、既に設定済みの他の通知音の位置または軌跡等と近接していないかを判定する(ステップS107)。他の通知音と所定範囲内に近接していなければ(ステップS107:No)、設定制御部113はステップS109へと処理を進める。
 他の通知音と所定範囲内に近接していた場合(ステップS107:Yes)、設定制御部113は、アラーム、音声、及びメッセージ等による警告を発し(ステップS108)、ユーザに設定の再入力をさせる(ステップS106)。
 設定制御部113は、入力受付部112が受け付けたユーザからの設定内容に基づいて、仮想的な音場における設定対象の通知音の鳴る位置または軌跡等を含む音場情報を生成する(ステップS109)。設定制御部113は、生成した音場情報を音場情報格納部117に格納する(ステップS110)。
 通知音配置部114は、いずれかのアプリケーションプログラムから所定内容の通知音の発信指示があったか否かを判定する(ステップS111)。いずれのアプリケーションプログラムからも通知音の発信指示がなければ(ステップS111:No)、通知音配置部114は、アプリケーションプログラムからの通知音の発信指示を待ち受ける。
 いずれかのアプリケーションプログラムから通知音の発信指示があった場合には(ステップS111:Yes)、通知音配置部114は、音場情報格納部117を参照し、発信指示を受けた通知音の音場情報に基づいて発信対象の通知音を音場に配置する(ステップS112)。
 通知音配置部114は、個人適正化情報格納部116を参照し、上記の通知音の設定をしたユーザの個人適正化情報に基づいて、そのユーザに適合するように音場における上記通知音の位置を調整する(ステップS113)。
 通知音配置部114は、ミュージックプレイヤ404(図2参照)等による音楽などの鑑賞用コンテンツが再生中であれば(ステップS114:Yes)、音場に配置した通知音のデータと鑑賞用コンテンツのデータとをミックスし(ステップS115)、再生中でなければ(ステップS114:No)通知音のデータのみを用いて、音響データを生成する(ステップS116)。
 通知音配置部114は、生成した音響データを出力制御部115に渡し、出力制御部115は、通知音配置部114からの音響データを出力部210に送信して出力させる(ステップS117)。
 以上により、実施形態1の情報端末100による処理が終了する。
(概括)
 スマートフォン等の情報端末にヘッドフォンを装着して音楽等の鑑賞用コンテンツを聴く際、ユーザは情報端末の画面を見ていないことが多い。そこで、各種アプリケーションプログラムは様々な通知音を用意している。しかしながら、通知音が音楽等の鑑賞用コンテンツと混ざると認知し難く、通知音を聞き逃してしまう場合がある。また、アプリケーションプログラムごと、または通知の内容ごとに複数の通知音が用いられるため、情報端末の画面を確認することなく通知音同士を区別することが困難な場合もある。
 近年では、音楽等の鑑賞用コンテンツの再生に立体音響技術等を用いることなども提唱されてきている。このため、鑑賞用コンテンツにおける音響に広がり感があり、鑑賞用コンテンツの再生中に通知音を鳴らしても、鑑賞用コンテンツの音響に溶け込んでしまいやすく、如何に通知音の認知性を高めるかという課題が顕在化しやすい傾向にある。
 実施形態1の情報端末100によれば、仮想的な音場において複数の通知音が鳴る位置を複数の通知音ごとに異ならせて配置する。これにより、例えば鑑賞用コンテンツと混ざり合った場合でも、ヘッドフォン等を通じて鳴らされる通知音に演出効果を持たせることができ、通知音の認知性を高めることができる。よって、通知音を聞き逃してしまうことを抑制できる。また、アプリケーションプログラムごと、または通知の内容ごとに鳴らされる複数の通知音を、情報端末100の画面を確認することなく区別することが容易になる。
 実施形態1の情報端末100によれば、複数の通知音の少なくとも1つの通知音が音場において鳴る位置を動的に配置する。音場において鳴る位置を動的に配置された通知音は、通知音が音場内を移動しながら鳴らされているかのようにヘッドフォン200から出力される。これにより、ヘッドフォン200を通じて鳴らされる通知音の演出効果がいっそう増して、通知音の認知性をよりいっそう高めることができる。
 実施形態1の情報端末100によれば、音場における複数の通知音の鳴る位置をユーザに設定させる設定制御部を備える。これにより、ユーザは、仮想的な音場において所望の通知音を所望の位置に配置することができる。
 実施形態1の情報端末100によれば、音場における複数の通知音の鳴る位置として、プリセットされた位置をユーザに選択させる。これにより、ユーザの負担が軽減され、ユーザは簡便に通知音についての設定を行うことができる。
 実施形態1の情報端末100によれば、ユーザに、音場における複数の通知音の鳴る位置を、プリセットされた位置から微調整させる。これにより、通知音の設定画面121,123のユーザビリティが向上し、ユーザが、より要望に合った設定を行うことができる。
 実施形態1の情報端末100によれば、音場における複数の通知音の鳴る位置が所定範囲内に近接して設定されようとした場合に警告を発する。これにより、複数の通知音が鳴る位置が音場内で近接しすぎ、通知音同士を聴き分けられないという不都合が生じるのを抑制することができる。よって、適正にユーザを補助することができ、ユーザビリティが向上する。
 実施形態1の情報端末100によれば、複数のアプリケーションプログラムによってそれぞれ発信される複数の通知音が音場において鳴る位置を一括してユーザに設定させる。これにより、複数のアプリケーションプログラムに対して汎用性のある設定が可能となる。また、例えば複数のアプリケーションプログラムごとに設定を行う等の煩雑な作業が不要となり、ユーザビリティを向上させることができる。
 実施形態1の情報端末100によれば、通知音の設定画面121には、ユーザによる設定にしたがって、音場に見立てた球体SFS内に設定対象の通知音が鳴る位置を示すポイントPNTが表示される。また、通知音の設定画面123には、ユーザによる設定にしたがって、音場に見立てた球体SFS内に設定対象の通知音の鳴る位置が移動する軌跡OBが表示される。
 このように、設定画面121,123をグラフィカルに表示することにより、ユーザが直感的または視覚的に設定対象の通知音が鳴る位置または軌跡を把握することができる。また、情報端末100では通知音についての処理を一括して行うので、共通の設定画面121,123上で種々のアプリケーションプログラムの各種通知音の設定を行うことが可能となり、各種の通知音の設定様式を統一することができる。よって、ユーザによる設定を強力に補助することができ、ユーザビリティを向上させることができる。
 実施形態1の情報端末100によれば、通知音の確認画面122には、ユーザによる設定にしたがって、音場に見立てた球体SFS内に複数の通知音が鳴る位置のそれぞれを示すアイコンICa~ICeが配置される。また、通知音の確認画面124には、ユーザによる設定にしたがって、音場に見立てた球体SFS内に複数の通知音の鳴る位置が移動する軌跡OBf~OBhのそれぞれが配置される。
 このように、確認画面122,124をグラフィカルに表示することにより、ユーザが直感的または視覚的に設定対象の通知音が鳴る位置または軌跡を把握することができ、通知音同士が近接したり重なり合ったりすることを回避できるようユーザを補助することができる。また、情報端末100では通知音についての処理を一括して行うので、種々のアプリケーションプログラムの各種通知音を、まとめて確認画面122,124上に表示することができ、個々の通知音についての設定内容を比較することが容易となる。
 実施形態1の情報端末100によれば、頭部伝達関数がユーザに対して調整された個人適正化情報に基づいて、音場において複数の通知音が鳴る位置を配置する。これにより、個々のユーザによる通知音の聴こえ方の誤差を低減し、ユーザが指定した位置および軌跡で通知音が鳴っているように通知音の鳴る位置を音場内に配置することができる。また、ユーザ個人に対して適正化された頭部伝達関数の情報が、全てのアプリケーションプログラムで共有されているので、アプリケーションプログラムごと、または、通知音ごとのバラつきを抑制して、複数の通知音を精度よく再現することができ、ユーザによる通知音の認知性をいっそう向上させることができる。
 なお、上述の実施形態1では、OS等の基本プログラム108が、各種のアプリケーションプログラムを跨いで、音場における通知音の位置等を配置する処理を一括して行うこととした。しかし、基本プログラム108に限らず、例えばオーディオドライバ等のアプリケーションプログラム等を用いても、通知音についての一括処理を実現させることが可能である。このように、上述の基本プログラム108は単なる一例であり、通知音についての一括処理を行うプログラムの種類および方式等は問わない。
(変形例1)
 次に、図9を用いて、実施形態1の変形例1の情報端末100aについて説明する。図9は、本開示の実施形態1の変形例1にかかる情報端末100aのソフトウェア構成の一例を示すブロック図である。変形例1の情報端末100aは、鑑賞用コンテンツの再生位置を音場内にて移動させる点が上述の実施形態1と異なる。
 図9に示すように、情報端末100aは、ソフトウェア構成として、アプリケーションレイヤ400aと、基本プログラム(OS)レイヤ300aと、を含む。
 図9の例では、アプリケーションレイヤ400aには、例えばミュージックプレイヤ401、Aアプリ402、Bアプリ403、ミュージックプレイヤ404、及び通知設定アプリ405a等のアプリケーションプログラムが含まれる。これらのうち、通知設定アプリ405a以外は、上述の実施形態1で例示したアプリケーションプログラムと同様である。
 通知設定アプリ405aは、例えば変形例1の情報端末100aが備える基本プログラムにおける標準アプリケーションプログラムである。通知設定アプリ405aは、音響配置設定機能等を備え、また、個人適正化情報等を保持し、通知音を含む各種音響について、ユーザによる種々の設定を可能にするユーザインターフェース(UI)である。
 通知設定アプリ405aの音響配置設定機能によれば、音場において各種の通知音が鳴る位置を配置するのみならず、音場において音楽等の鑑賞用コンテンツが再生される位置を移動させることもできる。
 通知設定アプリ405a上で、ユーザは、音場内の所望の位置に所望の通知音を配置する設定を行うことができる。また、ユーザは、鑑賞用コンテンツを再生している最中に通知音が鳴る場合には、再生中の鑑賞用コンテンツの再生位置を音場内で一時的に移動させる設定を行うことができる。これにより、ユーザは、通知音が鳴らされる際に、それまでとは聴こえる方向、距離、及び音量等を異ならせて鑑賞用コンテンツを再生させることができる。
 通知設定アプリ405aは、通知設定アプリ405aが取得したユーザによる各種設定に基づいて、Aアプリ402の通知音およびBアプリ403の通知音について、仮想的な音場にそれらの通知音が鳴る位置が示された音場情報311をそれぞれ生成する。
 また、通知設定アプリ405aは、通知設定アプリ405aが取得したユーザによる各種設定に基づいて、ミュージックプレイヤ401の音楽およびミュージックプレイヤ404の音楽について、仮想的な音場におけるそれらの移動位置が示された音場情報311aをそれぞれ生成する。
 基本プログラムレイヤ300aにおいて、変形例1の基本プログラムは、種々のアプリケーションプログラムによる各種の音響データを一括して処理するための種々の機能を発揮する。
 このとき、変形例1の基本プログラムは、上述の実施形態1の場合と同様、Aアプリ402が発信する2チャンネルステレオ向けの通知音と、Bアプリ403が発信する3Dオーディオ向けの通知音とを一括して処理する。
 加えて、変形例1の基本プログラムは、ミュージックプレイヤ404が再生する3Dオーディオ向けの音楽の処理と共に、ミュージックプレイヤ401が再生する2チャンネルステレオ向けの音楽の処理も一括して行えるよう構成されていることが好ましい。
 すなわち、変形例1の基本プログラムは、ミュージックプレイヤ401の音楽データ、及びAアプリ402の通知音データに対して、アップコンバート処理301aを行う。
 また、変形例1の基本プログラムは、ミュージックプレイヤ401のアップコンバートされた音楽データ及びミュージックプレイヤ404の音楽データ、並びにAアプリ402のアップコンバートされた通知音データ及びBアプリ403の通知音データ等に対して、デコード処理302、レンダリング処理303、及びバーチャライズ処理304a等を行う。
 変形例1の基本プログラムは、Aアプリ402及びBアプリ403の通知音データに対してバーチャライズ処理304aをする際には、通知設定アプリ405aが生成した音場情報311のうち、処理対象の通知音データに対応する音場情報311を用いてバーチャライズ処理304aを行う。
 変形例1の基本プログラムは、ミュージックプレイヤ401,404の音楽データ等に対してバーチャライズ処理304aをする際には、ミュージックプレイヤ401,404の指示に基づいてバーチャライズ処理304aを行う。これにより、ミュージックプレイヤ401の音楽データに含まれる2チャンネルの音響のそれぞれが、左右に広がる音場の所定位置に配置される。また、ミュージックプレイヤ404の音楽データに含まれる複数チャンネルの音響のそれぞれが、3次元的に広がる音場の所定位置に配置される。
 変形例1の基本プログラムは、ミュージックプレイヤ401,404の少なくともいずれかの音楽を再生中に、Aアプリ402及びBアプリ403の少なくともいずれかの通知音を鳴らす場合には、通知設定アプリ405aが生成した音場情報311aのうち、処理対象の音楽データに対応する音場情報311aを用いてバーチャライズ処理304aを行う。また、変形例1の基本プログラムは、通知設定アプリ405aが生成した音場情報311のうち、処理対象の通知音データに対応する音場情報311を用いてバーチャライズ処理304aを行う。
 いずれのバーチャライズ処理304aにおいても、変形例1の基本プログラムは、通知設定アプリ405aが保有する個人適正化情報から、個々のユーザに対して適正化された頭部伝達関数(HRTF)312を抽出し、頭部伝達関数312に基づいて、個々のユーザに適合するようバーチャライズ処理304aを行う。
 変形例1の基本プログラムは、バーチャライズ処理304aを施したAアプリ402及びBアプリ403の通知音データ、並びにミュージックプレイヤ401,404の音楽データのうち、出力対象となっているデータを混ぜ合せるミキシング処理305をして出力する。
 上述のように、ユーザは、音楽等の鑑賞用コンテンツを再生中に通知音が鳴る場合に、鑑賞用コンテンツの再生位置をどのように移動させるかを設定することができる。上記のような鑑賞コンテンツの再生位置の移動について、以下に具体例を挙げる。
 3Dオーディオ向け音楽を再生している場合の一例としては、例えばユーザの頭部を取り巻くように音場内の全体に広がって聴こえていた鑑賞用コンテンツが、通知音が鳴るタイミングで、ユーザの頭部を基準に所定の方向の例えば一点のみから聴こえるように、鑑賞用コンテンツの再生位置を一時的に移動させることができる。このとき、鑑賞用コンテンツの音量を下げてもよい。通知音が鳴りやむと、鑑賞用コンテンツの再生位置および音量は元に戻る。
 2チャンネルステレオ向け音楽を再生している場合の一例としては、例えばユーザの頭部の左右に延びる音場内に広がって聴こえていた鑑賞用コンテンツが、通知音が鳴るタイミングで、ユーザの頭部を基準に左右の一方方向のみから聴こえるように、鑑賞用コンテンツの再生位置を移動させることができる。このとき、鑑賞用コンテンツの音量を下げてもよい。通知音が鳴りやむと、鑑賞用コンテンツの再生位置および音量は元に戻る。
 なお、鑑賞用コンテンツの再生位置を移動させる設定では、例えば発信対象の通知音が鳴る位置とは対極の位置に鑑賞用コンテンツの再生位置の移動設定をしてもよい。つまり、例えば通知音がユーザの左側から聴こえる設定となっている場合には、鑑賞用コンテンツの再生位置の移動先をユーザの右側にする。また例えば、通知音がユーザの目線より上方から聴こえる設定となっている場合には、鑑賞用コンテンツの再生位置の移動先をユーザの目得線より下方にする。
 これにより、ユーザには、通知音が鳴るタイミングで、その通知音が鳴る位置から鑑賞用コンテンツの再生位置が離れるように移動して聴こえる。
 また、上記いずれの場合においても、通知音自体は、音場内の所定位置に静的に配置されることにより、音場内の一点から鳴ってもよく、音場内に動的に配置されることにより、音場内を移動しながら鳴ってもよい。
 なお、情報端末100aのCPUが、例えば変形例1の基本プログラムを実行することにより、上述の実施形態1に対応する表示制御部、入力受付部、設定制御部、通知音配置部、出力制御部、個人適正化情報格納部、及び音場情報格納部によって上記の機能が実現され、上記の種々の処理が行われると捉えることもできる。
 変形例1の情報端末100aによれば、出力部から鑑賞用コンテンツが出力されている時に複数の通知音の少なくとも1つの通知音を鳴らす場合には、音場において鑑賞用コンテンツが鳴る位置を移動させる。これにより、ユーザが鑑賞中の鑑賞用コンテンツと、唐突に発信される通知音との分離度が高まって、通知音の認知性をよりいっそう高めることができる。
(変形例2)
 次に、実施形態1の変形例2の情報端末について説明する。変形例2の情報端末では、音場における所定位置に通知音が鳴る位置を配置する機能が、経路案内アプリに対して適用される。
 変形例2の情報端末では、道順または公共交通機関等を利用した移動の経路等を案内する機能を有する経路案内用アプリケーションプログラムが実行される。経路案内用アプリケーションプログラムは、通知音として経路案内の音声を発信する。経路案内の音声は、進行方向と右左折する地点および方向とを例えば東西南北で指示する。
 変形例2の基本プログラムは、経路案内の音声を処理し、音場において案内の内容に対応する位置に音声が鳴る位置を配置する。つまり、変形例2の基本プログラムは、音声が聴こえる方向と音声が案内する方向とを一致させる。これにより、ユーザには、経路案内の音声が進むべき方向から聴こえてくるように感じられる。
 なお、変形例2の情報端末における経路案内の音声の音場内での配置は、デフォルトで設定されていてもよく、ユーザが設定可能に構成されていてもよい。この場合、変形例2の情報端末のCPUが、例えば変形例2の基本プログラムを実行することにより、上述の実施形態1に対応する表示制御部、入力受付部、設定制御部、通知音配置部、出力制御部、個人適正化情報格納部、及び音場情報格納部によって上記の機能が実現され、上記の種々の処理が行われてもよい。
 変形例2の情報端末によれば、経路案内の音声が鳴る位置を音声が案内する方向と一致させる。これにより、ユーザは、土地勘のない場所で例えば東西南北で経路を案内された場合でも、情報端末の画面を確認することなく進むべき方向を知ることができる。
(変形例3)
 次に、図10を用いて、実施形態1の変形例3の情報端末100bについて説明する。図10は、本開示の実施形態1の変形例3にかかる情報端末100bのソフトウェア構成の一例を示すブロック図である。変形例3の情報端末100bは、左右に広がる音場において通知音が鳴る位置を配置する点が上述の実施形態1とは異なる。
 図10に示すように、情報端末100bは、ソフトウェア構成として、アプリケーションレイヤ400bと、基本プログラム(OS)レイヤ300bと、を含む。
 図10の例では、アプリケーションレイヤ400bには、情報端末100bにより実行される種々のアプリケーションプログラムとして、例えばミュージックプレイヤ401、Aアプリ402、Cアプリ406、及び通知設定アプリ405b等が含まれる。これらのうち、ミュージックプレイヤ401及びAアプリ402は、上述の実施形態1で例示したアプリケーションプログラムと同様である。
 Cアプリ406は、ユーザによる通知音のオン/オフ、通知音の種類の選択、及び通知音の音量の各種設定を可能にする設定UI、及び2チャンネルステレオ向けの通知音の発信機能等を含む通知機能を有するアプリケーションプログラムである。
 通知設定アプリ405bは、例えば情報端末100bが備える基本プログラムにおける標準アプリケーションプログラムである。通知設定アプリ405bは、通知音配置設定機能等を備え、Aアプリ402及びCアプリ406の各種の通知音について、ユーザによる種々の設定を可能にするユーザインターフェース(UI)である。
 基本プログラムレイヤ300bにおいて、変形例3の基本プログラムは、種々のアプリケーションプログラムによる各種の通知音を含む音響データに対して、バランス処理304bを施す。バランス処理304bは、左右に広がる音場において左右のバランスを調整することにより、通知音等の鳴る位置を配置する処理である。
 バランス処理304bにおいて、変形例3の基本プログラムは、例えば2チャンネルステレオ技術を用いて通知音が鳴る位置を配置する。この場合、変形例3の基本プログラムは、ユーザの頭部を基準に左右方向に広がる音場を設定し、左右のバランスを調整することで、音場において通知音が鳴る位置を配置する。このとき、左右方向の音場において通知音が鳴る位置を静的に配置してもよく、動的に配置してもよい。
 また、このとき用いられる音場情報311bは、ユーザ設定に基づいて生成されており、左右方向に広がる音場における通知音の鳴る位置が座標等で表されている。
 また、変形例3の基本プログラムは、例えばミュージックプレイヤ401の音楽データ等に対しても、Aアプリ402及びCアプリ406の通知音データと同様に、一括してバランス処理304bを施してもよい。この場合、変形例3の基本プログラムは、ミュージックプレイヤ401の指示に基づいて、左右方向に広がる音場における左右のバランスを調整するバランス処理304bを行う。
 変形例3の基本プログラムは、バランス処理304bを施したAアプリ402及びCアプリ406の通知音データ、並びにミュージックプレイヤ401の音楽データのうち、出力対象となっているデータを混ぜ合わせるミキシング処理305bをして出力する。
 各種の通知音がこのように設定され、出力されることで、ユーザには、左右いずれかの方向から、異なる距離、及び異なる音量等で通知音が鳴るように聴こえることとなる。
 なお、情報端末100bのCPUが、例えば変形例3の基本プログラムを実行することにより、上述の実施形態1に対応する表示制御部、入力受付部、設定制御部、通知音配置部、出力制御部、及び音場情報格納部によって上記の機能が実現され、上記の種々の処理が行われると捉えることもできる。
[実施形態2]
 実施形態2について図面を用いて説明する。実施形態2の情報端末は、個々のアプリケーションプログラムが、音場における所定位置に通知音が鳴る位置を配置する機能を有する点が、上述の実施形態1とは異なる。
 図11は、本開示の実施形態2にかかる情報端末500であって、立体音響技術が適用されている場合のソフトウェア構成の一例を示すブロック図である。図11に示すように、情報端末500は、ソフトウェア構成として、アプリケーションレイヤ450と、基本プログラム(OS)レイヤ350と、を含む。
 図11の例では、アプリケーションレイヤ450には、情報端末500により実行される種々のアプリケーションプログラムとして、例えばミュージックプレイヤ407、Dアプリ408、及びEアプリ409等が含まれる。
 ミュージックプレイヤ407は、鑑賞用コンテンツとしての音楽を再生可能なアプリケーションプログラムである。ミュージックプレイヤ407が再生可能な音楽は、2チャンネルステレオ向けであっても、3Dオーディオ向けであってもよい。
 3Dオーディオ向けの音楽が再生可能な場合、ミュージックプレイヤ407は、デコード処理、レンダリング処理、及びバーチャライズ処理を行う機能を有していてもよい。これにより、3Dオーディオ向けの音楽を2チャンネルステレオとしてヘッドフォン等から出力することができる。
 Dアプリ408は、ユーザによる通知音の各種設定を可能にする設定UI、及び3Dオーディオ向けの通知音の発信機能等を含む通知機能を有するアプリケーションプログラムである。ここで、設定UIは、例えば3次元的な広がりを有する音場において通知音が鳴る位置を設定可能な通知音配置設定機能を備える。また、Dアプリ408は、個々のユーザに通知音が鳴る位置の配置を適合させるため、個人適正化情報を保持していることが好ましい。
 これらに加えて、Dアプリ408は、通知音データに対して、デコード処理、レンダリング処理、及びバーチャライズ処理を行う機能を有している。バーチャライズ処理は、設定UIが取得したユーザ設定により生成された音場情報、及び個人適正化情報に基づいて行われる。これらの処理により、3Dオーディオ向けの通知音を2チャンネルステレオとしてヘッドフォン等から出力することができる。
 Eアプリ409は、ユーザによる通知音の各種設定を可能にする設定UI、及び3Dオーディオ向けの通知音の発信機能等を含む通知機能を有するアプリケーションプログラムである。ここで、設定UIは、例えば3次元的な広がりを有する音場において通知音が鳴る位置を設定可能な通知音配置設定機能を備える。また、Eアプリ409は、個々のユーザに通知音が鳴る位置の配置を適合させるため、個人適正化情報を保持していることが好ましい。
 これらに加えて、Eアプリ409は、通知音データに対して、デコード処理、レンダリング処理、及びバーチャライズ処理を行う機能を有している。バーチャライズ処理は、設定UIが取得したユーザ設定により生成された音場情報、及び個人適正化情報に基づいて行われる。これらの処理により、3Dオーディオ向けの通知音を2チャンネルステレオとしてヘッドフォン等から出力することができる。
 なお、個々のDアプリ408及びEアプリ409が保有する個人適正化情報は、個々のDアプリ408及びEアプリ409ごとに、例えば初期設定時等にユーザから取得される。
 基本プログラムレイヤ350において、情報端末500の基本プログラムは、種々のアプリケーションプログラムによりバーチャライズ処理が施された各種の通知音データ及び音楽データ等のうち、出力対象となっているデータを混ぜ合わせるミキシング処理305をして出力する。
 以上のように、実施形態2の情報端末500では、個々のアプリケーションプログラムが、ユーザ設定を取得して、デコード処理、レンダリング処理、及びバーチャライズ処理を行って、取得したユーザ設定に基づいて3次元的に広がる音場において通知音が鳴る位置を配置する機能を有する。
 なお、情報端末500のCPUが、例えばDアプリ408及びEアプリ409を個々に実行することにより、上述の実施形態1に対応する表示制御部、入力受付部、設定制御部、通知音配置部、出力制御部、個人適正化情報格納部、及び音場情報格納部によって上記の機能がそれぞれ実現され、上記の種々の処理が行われると捉えることもできる。
 図12は、本開示の実施形態2にかかる情報端末600であって、2チャンネルステレオ技術が適用されている場合のソフトウェア構成の一例を示すブロック図である。図12に示すように、情報端末600は、ソフトウェア構成として、アプリケーションレイヤ460と、基本プログラム(OS)レイヤ360と、を含む。
 図12の例では、アプリケーションレイヤ460には、情報端末600により実行される種々のアプリケーションプログラムとして、例えばミュージックプレイヤ401、Fアプリ411、Gアプリ412等が含まれる。これらのアプリケーションプログラムのうち、ミュージックプレイヤ401は、上述の実施形態1で例示したものと同様である。
 Fアプリ411は、ユーザによる通知音の各種設定を可能にする設定UI、及び2チャンネルステレオ向けの通知音の発信機能等を含む通知機能を有するアプリケーションプログラムである。ここで、設定UIは、例えば左右への広がりを有する音場において通知音が鳴る位置を設定可能な通知音配置設定機能を備える。
 ユーザは、設定UIにより左右に広がる音場において各種の通知音が鳴る位置を設定することができる。Fアプリ411は、ユーザ設定に基づき音場情報を生成し、この音場情報を用いたバランス処理により、左右のバランスが調整された通知音データを生成する。
 Gアプリ412は、ユーザによる通知音の各種設定を可能にする設定UI、及び2チャンネルステレオ向けの通知音の発信機能等を含む通知機能を有するアプリケーションプログラムである。ここで、設定UIは、例えば左右への広がりを有する音場において通知音が鳴る位置を設定可能な通知音配置設定機能を備える。
 ユーザは、設定UIにより左右に広がる音場において各種の通知音が鳴る位置を設定することができる。Gアプリ412は、ユーザ設定に基づき音場情報を生成し、この音場情報を用いたバランス処理により、左右のバランスが調整された通知音データを生成する。
 基本プログラムレイヤ360において、情報端末600の基本プログラムは、種々のアプリケーションプログラムによりバランス処理が施された各種の通知音データ及び音楽データ等のうち、出力対象となっているデータを混ぜ合わせるミキシング処理305bをして出力する。
 以上のように、実施形態2の情報端末600では、個々のアプリケーションプログラムが、ユーザ設定を取得して、取得したユーザ設定に基づいて左右のバランス調整を行うことで、左右に広がる音場において通知音が鳴る位置を配置する機能を有する。
 なお、情報端末600のCPUが、例えばFアプリ411及びGアプリ412を個々に実行することにより、上述の実施形態1に対応する表示制御部、入力受付部、設定制御部、通知音配置部、出力制御部、及び音場情報格納部によって上記の機能がそれぞれ実現され、上記の種々の処理が行われると捉えることもできる。
 なお、本明細書に記載された効果はあくまで例示であって限定されるものでは無く、また他の効果があってもよい。
[その他の実施形態]
 上述の実施形態1,2及びその変形例1~3の情報端末は、例えばCPU、ROM、RAM、及びI/Oポートを備えるコンピュータであることとした。しかし、情報端末は、上述の実施形態1,2及びその変形例1~3等で述べた用途向け専用のASIC(Application Specific Integrated Circuit)を備える構成を有していてもよい。
 上述の実施形態1,2及びその変形例1~3の情報端末は、通知音の情報処理に関するプログラムが格納されたROMを備えることとした。このようなプログラムは、例えばコンピュータでの読み取りが可能なように記録媒体等に格納されて提供されることができる。記録媒体は、例えば磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリ等である。また、上記のプログラムは、記録媒体を用いずに、例えばネットワークを介して配信されてもよい。
 本技術は以下のような構成も採ることができる。
(1)
 出力部から出力される複数の通知音を制御する情報処理装置であって、
 仮想的な音場において前記複数の通知音が鳴る位置を前記複数の通知音ごとに異ならせて配置する通知音配置部を備える、
情報処理装置。
(2)
 前記通知音配置部は、
 前記複数の通知音の少なくとも1つの通知音が前記音場において鳴る位置を動的に配置する、
上記(1)に記載の情報処理装置。
(3)
 前記音場において鳴る位置を動的に配置された前記通知音は、前記通知音が前記音場内を移動しながら鳴らされているかのように前記出力部から出力される、
上記(2)に記載の情報処理装置。
(4)
 前記複数の通知音には経路を案内する音声が含まれ、
 前記通知音配置部は、
 前記音声が鳴る位置を前記音声が案内する方向と一致させる、
上記(1)乃至(3)のいずれかに記載の情報処理装置。
(5)
 前記通知音配置部は、
 前記出力部から鑑賞用コンテンツが出力されている時に前記複数の通知音の少なくとも1つの通知音を鳴らす場合には、前記音場において前記鑑賞用コンテンツが鳴る位置を移動させる、
上記(1)乃至(4)のいずれかに記載の情報処理装置。
(6)
 前記通知音配置部は、
 前記出力部から前記鑑賞用コンテンツが出力されている時に鳴らされる前記通知音が鳴る位置から離れるように、前記鑑賞用コンテンツが鳴る位置を移動させる、
上記(5)に記載の情報処理装置。
(7)
 前記音場における前記複数の通知音の鳴る位置をユーザに設定させる設定制御部を更に備える、
上記(1)乃至(6)のいずれかに記載の情報処理装置。
(8)
 前記設定制御部は、
 前記音場における前記複数の通知音の鳴る位置として、プリセットされた位置を前記ユーザに選択させる、
上記(7)に記載の情報処理装置。
(9)
 前記設定制御部は、
 前記ユーザに、前記音場における前記複数の通知音の鳴る位置を、前記プリセットされた位置から微調整させる、
上記(8)に記載の情報処理装置。
(10)
 前記設定制御部は、
 前記音場における前記複数の通知音の鳴る位置が所定範囲内に近接して設定されようとした場合に警告を発する、
上記(9)に記載の情報処理装置。
(11)
 前記複数の通知音は、前記情報処理装置で実行されるアプリケーションプログラムによって発信され、
 前記設定制御部は、前記アプリケーションプログラムによって実現される、
上記(7)乃至(10)のいずれかに記載の情報処理装置。
(12)
 前記複数の通知音は、前記情報処理装置で実行される複数のアプリケーションプログラムによってそれぞれ発信され、
 前記設定制御部は、
 前記複数のアプリケーションプログラムによってそれぞれ発信される前記複数の通知音が前記音場において鳴る位置を一括して前記ユーザに設定させる、
上記(7)乃至(10)のいずれかに記載の情報処理装置。
(13)
 前記音場における前記複数の通知音の鳴る位置を設定可能な画面であって、前記複数の通知音のうち設定対象の通知音について、前記音場における前記設定対象の通知音の鳴る位置を前記ユーザが視覚的に把握可能な設定画面を表示部に表示させる表示制御部を更に備える、
上記(7)乃至(12)のいずれかに記載の情報処理装置。
(14)
 前記音場は3次元的な広がりを有する仮想空間であって、
 前記設定画面には、
 前記ユーザによる設定にしたがって、前記音場に見立てた球体内に前記設定対象の通知音の鳴る位置が表示される、
上記(13)に記載の情報処理装置。
(15)
 前記表示制御部は、
 前記音場における前記複数の通知音の鳴る位置を表示可能な画面であって、前記ユーザによる設定にしたがって、前記音場に見立てた球体内に前記複数の通知音が鳴る位置のそれぞれが配置された確認画面を前記表示部に表示させる、
上記(14)に記載の情報処理装置。
(16)
 前記音場は3次元的な広がりを有する仮想空間であり、
 前記音場における前記複数の通知音の鳴る位置をユーザに設定させる設定制御部と、
 前記音場における前記複数の通知音の鳴る位置を動的に配置させる設定が可能な画面であって、前記ユーザによる設定にしたがって、前記複数の通知音のうち設定対象の通知音について、前記音場に見立てた球体内に前記設定対象の通知音の鳴る位置が移動する軌跡が示される設定画面を表示部に表示させる表示制御部と、を更に備える、
上記(2)または(3)に記載の情報処理装置。
(17)
 前記表示制御部は、
 前記音場における前記複数の通知音の鳴る位置が移動する軌跡を表示可能な画面であって、前記ユーザによる設定にしたがって、前記音場に見立てた球体内に前記複数の通知音の鳴る位置が移動する軌跡のそれぞれが配置された確認画面を前記表示部に表示させる、
上記(16)に記載の情報処理装置。
(18)
 前記通知音配置部は、
 前記ユーザの左右の耳に音がどのように届くかを表した頭部伝達関数が前記ユーザに対して調整された個人適正化情報に基づいて、前記音場において前記複数の通知音が鳴る位置を配置する、
上記(14)乃至(17)のいずれかに記載の情報処理装置。
(19)
 出力部から出力される複数の通知音を制御する情報処理方法であって、
 仮想的な音場において前記複数の通知音が鳴る位置を前記複数の通知音ごとに異ならせて配置する、
情報処理方法。
(20)
 複数の通知音を出力する出力部と、
 前記出力部から出力される前記複数の通知音を制御する制御部と、を備え、
 前記制御部は、
 仮想的な音場において前記複数の通知音が鳴る位置を前記複数の通知音ごとに異ならせて配置する、
音響出力装置。
 本開示のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これらの実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これらの実施形態およびその変形例は、発明の範囲および要旨に含まれると同様に、請求の範囲に記載された発明とその均等の範囲に含まれる。
 1 音響出力装置
 100,100a,100b,500,600 情報端末
 110 制御部
 111 表示制御部
 112 入力受付部
 113 設定制御部
 114 通知音配置部
 115 出力制御部
 116 個人適正化情報格納部
 117 音場情報格納部
 120 表示部
 121,123 設定画面
 122,124 確認画面
 130 入力部
 200 ヘッドフォン
 210 出力部

Claims (20)

  1.  出力部から出力される複数の通知音を制御する情報処理装置であって、
     仮想的な音場において前記複数の通知音が鳴る位置を前記複数の通知音ごとに異ならせて配置する通知音配置部を備える、
    情報処理装置。
  2.  前記通知音配置部は、
     前記複数の通知音の少なくとも1つの通知音が前記音場において鳴る位置を動的に配置する、
    請求項1に記載の情報処理装置。
  3.  前記音場において鳴る位置を動的に配置された前記通知音は、前記通知音が前記音場内を移動しながら鳴らされているかのように前記出力部から出力される、
    請求項2に記載の情報処理装置。
  4.  前記複数の通知音には経路を案内する音声が含まれ、
     前記通知音配置部は、
     前記音声が鳴る位置を前記音声が案内する方向と一致させる、
    請求項1に記載の情報処理装置。
  5.  前記通知音配置部は、
     前記出力部から鑑賞用コンテンツが出力されている時に前記複数の通知音の少なくとも1つの通知音を鳴らす場合には、前記音場において前記鑑賞用コンテンツが鳴る位置を移動させる、
    請求項1に記載の情報処理装置。
  6.  前記通知音配置部は、
     前記出力部から前記鑑賞用コンテンツが出力されている時に鳴らされる前記通知音が鳴る位置から離れるように、前記鑑賞用コンテンツが鳴る位置を移動させる、
    請求項5に記載の情報処理装置。
  7.  前記音場における前記複数の通知音の鳴る位置をユーザに設定させる設定制御部を更に備える、
    請求項1に記載の情報処理装置。
  8.  前記設定制御部は、
     前記音場における前記複数の通知音の鳴る位置として、プリセットされた位置を前記ユーザに選択させる、
    請求項7に記載の情報処理装置。
  9.  前記設定制御部は、
     前記ユーザに、前記音場における前記複数の通知音の鳴る位置を、前記プリセットされた位置から微調整させる、
    請求項8に記載の情報処理装置。
  10.  前記設定制御部は、
     前記音場における前記複数の通知音の鳴る位置が所定範囲内に近接して設定されようとした場合に警告を発する、
    請求項9に記載の情報処理装置。
  11.  前記複数の通知音は、前記情報処理装置で実行されるアプリケーションプログラムによって発信され、
     前記設定制御部は、前記アプリケーションプログラムによって実現される、
    請求項7に記載の情報処理装置。
  12.  前記複数の通知音は、前記情報処理装置で実行される複数のアプリケーションプログラムによってそれぞれ発信され、
     前記設定制御部は、
     前記複数のアプリケーションプログラムによってそれぞれ発信される前記複数の通知音が前記音場において鳴る位置を一括して前記ユーザに設定させる、
    請求項7に記載の情報処理装置。
  13.  前記音場における前記複数の通知音の鳴る位置を設定可能な画面であって、前記複数の通知音のうち設定対象の通知音について、前記音場における前記設定対象の通知音の鳴る位置を前記ユーザが視覚的に把握可能な設定画面を表示部に表示させる表示制御部を更に備える、
    請求項7に記載の情報処理装置。
  14.  前記音場は3次元的な広がりを有する仮想空間であって、
     前記設定画面には、
     前記ユーザによる設定にしたがって、前記音場に見立てた球体内に前記設定対象の通知音の鳴る位置が表示される、
    請求項13に記載の情報処理装置。
  15.  前記表示制御部は、
     前記音場における前記複数の通知音の鳴る位置を表示可能な画面であって、前記ユーザによる設定にしたがって、前記音場に見立てた球体内に前記複数の通知音が鳴る位置のそれぞれが配置された確認画面を前記表示部に表示させる、
    請求項14に記載の情報処理装置。
  16.  前記音場は3次元的な広がりを有する仮想空間であり、
     前記音場における前記複数の通知音の鳴る位置をユーザに設定させる設定制御部と、
     前記音場における前記複数の通知音の鳴る位置を動的に配置させる設定が可能な画面であって、前記ユーザによる設定にしたがって、前記複数の通知音のうち設定対象の通知音について、前記音場に見立てた球体内に前記設定対象の通知音の鳴る位置が移動する軌跡が示される設定画面を表示部に表示させる表示制御部と、を更に備える、
    請求項2に記載の情報処理装置。
  17.  前記表示制御部は、
     前記音場における前記複数の通知音の鳴る位置が移動する軌跡を表示可能な画面であって、前記ユーザによる設定にしたがって、前記音場に見立てた球体内に前記複数の通知音の鳴る位置が移動する軌跡のそれぞれが配置された確認画面を前記表示部に表示させる、
    請求項16に記載の情報処理装置。
  18.  前記通知音配置部は、
     前記ユーザの左右の耳に音がどのように届くかを表した頭部伝達関数が前記ユーザに対して調整された個人適正化情報に基づいて、前記音場において前記複数の通知音が鳴る位置を配置する、
    請求項14に記載の情報処理装置。
  19.  出力部から出力される複数の通知音を制御する情報処理方法であって、
     仮想的な音場において前記複数の通知音が鳴る位置を前記複数の通知音ごとに異ならせて配置する、
    情報処理方法。
  20.  複数の通知音を出力する出力部と、
     前記出力部から出力される前記複数の通知音を制御する制御部と、を備え、
     前記制御部は、
     仮想的な音場において前記複数の通知音が鳴る位置を前記複数の通知音ごとに異ならせて配置する、
    音響出力装置。
PCT/JP2021/025021 2020-07-08 2021-07-01 情報処理装置、情報処理方法、及び音響出力装置 WO2022009783A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US18/003,374 US20230247380A1 (en) 2020-07-08 2021-07-01 Information processing apparatus, information processing method, and sound output apparatus
DE112021003645.9T DE112021003645T5 (de) 2020-07-08 2021-07-01 Informationsverarbeitungseinrichtung, informationsverarbeitungsverfahren undtonausgabeeinrichtung

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020118004 2020-07-08
JP2020-118004 2020-07-08

Publications (1)

Publication Number Publication Date
WO2022009783A1 true WO2022009783A1 (ja) 2022-01-13

Family

ID=79552574

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/025021 WO2022009783A1 (ja) 2020-07-08 2021-07-01 情報処理装置、情報処理方法、及び音響出力装置

Country Status (3)

Country Link
US (1) US20230247380A1 (ja)
DE (1) DE112021003645T5 (ja)
WO (1) WO2022009783A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005269231A (ja) * 2004-03-18 2005-09-29 Hitachi Ltd 携帯端末
JP2016021169A (ja) * 2014-07-15 2016-02-04 Kddi株式会社 仮想音源を提供情報位置に配置する携帯端末、音声提示プログラム及び音声提示方法
WO2017168602A1 (ja) * 2016-03-30 2017-10-05 三菱電機株式会社 報知制御装置および報知制御方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6065369B2 (ja) 2012-02-03 2017-01-25 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005269231A (ja) * 2004-03-18 2005-09-29 Hitachi Ltd 携帯端末
JP2016021169A (ja) * 2014-07-15 2016-02-04 Kddi株式会社 仮想音源を提供情報位置に配置する携帯端末、音声提示プログラム及び音声提示方法
WO2017168602A1 (ja) * 2016-03-30 2017-10-05 三菱電機株式会社 報知制御装置および報知制御方法

Also Published As

Publication number Publication date
US20230247380A1 (en) 2023-08-03
DE112021003645T5 (de) 2023-06-29

Similar Documents

Publication Publication Date Title
US11785134B2 (en) User interface that controls where sound will localize
EP3424229B1 (en) Systems and methods for spatial audio adjustment
EP2589231B1 (en) Facilitating communications using a portable communication device and directed sound output
CN105325014A (zh) 基于用户跟踪的声场调节
US10496360B2 (en) Emoji to select how or where sound will localize to a listener
CN114072761A (zh) 用于控制针对扩展现实体验的音频渲染的用户接口
US11736862B1 (en) Audio system and method of augmenting spatial audio rendition
US11297456B2 (en) Moving an emoji to move a location of binaural sound
KR101916380B1 (ko) 영상 정보에 기반하여 가상 스피커를 재생하기 위한 음원 재생 장치
TWI709131B (zh) 音訊場景處理技術
WO2022009783A1 (ja) 情報処理装置、情報処理方法、及び音響出力装置
CN114339582B (zh) 双通道音频处理、方向感滤波器生成方法、装置以及介质
WO2019230567A1 (ja) 情報処理装置および音発生方法
US10419870B1 (en) Applying audio technologies for the interactive gaming environment
US20230370801A1 (en) Information processing device, information processing terminal, information processing method, and program
JP7472091B2 (ja) オンライン通話管理装置及びオンライン通話管理プログラム
US20230362571A1 (en) Information processing device, information processing terminal, information processing method, and program
CN114520950A (zh) 音频输出方法、装置、电子设备及可读存储介质
WO2024134736A1 (ja) ヘッドマウントディスプレイ装置および立体音響の制御方法
JP2022075574A (ja) 音声信号処理装置、音声信号処理装置の制御方法、及びプログラム
CN117676002A (zh) 音频处理方法及电子设备

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21838274

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 21838274

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP