WO2018110269A1 - Ｈｒｔｆ測定方法、ｈｒｔｆ測定装置、およびプログラム - Google Patents

Ｈｒｔｆ測定方法、ｈｒｔｆ測定装置、およびプログラム Download PDF

Info

Publication number
WO2018110269A1
WO2018110269A1 PCT/JP2017/042532 JP2017042532W WO2018110269A1 WO 2018110269 A1 WO2018110269 A1 WO 2018110269A1 JP 2017042532 W JP2017042532 W JP 2017042532W WO 2018110269 A1 WO2018110269 A1 WO 2018110269A1
Authority
WO
WIPO (PCT)
Prior art keywords
user
hrtf
target
measurement
speaker
Prior art date
Application number
PCT/JP2017/042532
Other languages
English (en)
French (fr)
Inventor
哲 曲谷地
祐基 光藤
誉 今
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to US16/466,897 priority Critical patent/US11159906B2/en
Priority to CN201780075539.5A priority patent/CN110036655B/zh
Priority to JP2018556541A priority patent/JP6992767B2/ja
Priority to EP17881564.3A priority patent/EP3554098A4/en
Publication of WO2018110269A1 publication Critical patent/WO2018110269A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
    • H04S7/303—Tracking of listener position or orientation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R29/00—Monitoring arrangements; Testing arrangements
    • H04R29/001—Monitoring arrangements; Testing arrangements for loudspeakers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K15/00—Acoustics not otherwise provided for
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00—Stereophonic arrangements
    • H04R5/02—Spatial or constructional arrangements of loudspeakers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00—Stereophonic arrangements
    • H04R5/033—Headphones for stereophonic communication
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00—Stereophonic arrangements
    • H04R5/04—Circuit arrangements, e.g. for selective connection of amplifier inputs/outputs to loudspeakers, for loudspeaker detection, or for adaptation of settings to personal preferences or hearing impairments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/40—Visual indication of stereophonic sound image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2430/00—Signal processing covered by H04R, not provided for in its groups
    • H04R2430/20—Processing of the output signals of the acoustic transducers of an array for obtaining a desired directivity characteristic
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00—Stereophonic arrangements
    • H04R5/027—Spatial or constructional arrangements of microphones, e.g. in dummy heads
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/01—Enhancing the perception of the sound image or of the spatial distribution using head related transfer functions [HRTF's] or equivalents thereof, e.g. interaural time difference [ITD] or interaural level difference [ILD]

Definitions

  • the present technology relates to an HRTF measurement method, an HRTF measurement device, and a program, and more particularly, to an HRTF measurement method, an HRTF measurement device, and a program that can acquire an individual's head-related transfer function more easily.
  • This binaural reproduction technique is generally called an auditory display (hereinafter also referred to as VAD (Virtual Auditory Display)), and uses a head-related transfer function (hereinafter also referred to as HRTF (Head-related transfer function)). Realized.
  • VAD Visual Auditory Display
  • HRTF Head-related transfer function
  • the head-related transfer function expresses information about how sound is transmitted from all directions surrounding the human head to the eardrum as a function of frequency and direction of arrival.
  • the auditory display is a system that uses this principle.
  • the characteristics of the head-related transfer function used for an auditory display are determined by the manner of reflection and diffraction of the pinna and the head, individual differences occur due to differences in pinna and head shape. For this reason, in the auditory display, it is important to use an individual's head-related transfer function for accurate sound field perception and localization.
  • This technology has been made in view of such a situation, and makes it possible to more easily acquire an individual's head-related transfer function.
  • the HRTF measurement device displays an image indicating a target direction that is a direction that the user should face, and the measurement sound is output when the front direction of the user matches the target direction. HRTF is measured based on the result of picking up the measurement sound with a microphone that is output from a speaker and mounted on the user's ear.
  • An HRTF measurement apparatus includes a display control unit that displays an image indicating a target direction that is a direction that a user should face, and a measurement sound that is output from a speaker when the front direction of the user matches the target direction. And an HRTF measurement unit that measures HRTF based on the result of picking up the measurement sound with a microphone attached to the user's ear.
  • a program causes a computer to display an image indicating a target direction that is a direction that a user should face, and to output measurement sound from a speaker when the front direction of the user matches the target direction. Then, based on the result of picking up the measurement sound with a microphone attached to the user's ear, a process for measuring HRTF is executed.
  • an image indicating a target direction that is a direction that the user should face is displayed, and when the front direction of the user matches the target direction, a measurement sound is output from a speaker, and the user HRTF is measured based on the result of picking up the measurement sound with a microphone attached to the ear of the person.
  • program can be provided by being transmitted through a transmission medium or by being recorded on a recording medium.
  • the HRTF measuring device may be an independent device or an internal block constituting one device.
  • an individual's head-related transfer function can be obtained more easily.
  • FIG. 18 is a block diagram illustrating a configuration example of an embodiment of a computer to which the present technology is applied.
  • the head-related transfer function expresses information on how sound is transmitted from all directions surrounding the human head to the binaural membrane as a function of frequency and direction of arrival.
  • a headphone is obtained when a target sound is synthesized with HRTFs from a predetermined direction and presented with headphones HD11.
  • the sound is perceived as coming from not the HD 11 but the direction of the HRTF used, for example, any of the speakers SP1 to SP8 arranged around the user.
  • the head-related transfer function H (x, ⁇ ) as a strict definition is the transfer characteristic H 1 (x, ⁇ ) from the sound source position x in the state where the user's head exists in the free space to the user's eardrum position. ) Is normalized by the transfer characteristic H 0 (x, ⁇ ) from the sound source position x to the head center O in the absence of the head. That is, the head-related transfer function H (x, ⁇ ) for the sound source position x is obtained by the following equation (1).
  • HRTF Binaural Room Impulse Response
  • the head-related transfer function H (x, ⁇ ) varies depending on the auricle and head shape, it is desirable to measure the individual head-related transfer function H (x, ⁇ ) for each user. .
  • FIG. 2 is a diagram showing the experimental situation.
  • the subject listens to the sound as the correct direction output from each of the speakers SP21 to SP26.
  • test stimuli subjects are allowed to listen to three types of test stimuli: a music signal that is convoluted with the person's HRTF, a person that is convoluted with another person's HRTF, and a person that is convoluted with the dummy head's HRTF.
  • HRTF of another person the HRTF of the previous subject when 10 subjects were tested in order was used.
  • the HRTF of the last (tenth) subject was used.
  • FIG. 4 is a graph showing the results of the evaluation experiment.
  • Fig. 4A shows the result of the response when listening to the test stimulus convoluted with the person's HRTF.
  • Fig. 4B shows the result of the response when listening to the test stimulus convoluted with another person's HRTF.
  • 4C shows the response results when listening to the test stimulus that convolves the HRTF of the dummy head.
  • the horizontal axis represents the presentation stimulus
  • the vertical axis represents the answer.
  • the size of the circle in the graph increases in proportion to the number of answers.
  • the user is seated on the center of the spherical speaker array in which the speakers SP1 to SP8 are actually arranged, and the microphone MC is attached to the user's ear canal entrance.
  • a measurement signal sound such as TSP (Time Stretched Pulse) is output in order from each speaker SP1 to SP8 and measured.
  • a measurement signal sound is output at each location while moving the speaker SP, and the measurement proceeds.
  • a traverse device TRV that allows the speaker SP to draw a trajectory on a spherical surface
  • FIG. 7 shows the configuration of the first embodiment of the HRTF measurement system to which the technology of the present disclosure is applied.
  • the HRTF measuring system 1 shown in FIG. 7 includes an AR glass 11, an HRTF measuring device 12, and a speaker 13.
  • the AR glasses 11 are glasses that can display an AR (Augmented Reality) image, and are worn by a user as a measurement subject who measures HRTF.
  • the AR glass 11 displays a predetermined AR image in the user's field of view based on the AR image signal supplied from the HRTF measurement device 12.
  • the AR glass 11 includes an angle sensor 21, an operation button 22, and a microphone 23.
  • the angle sensor 21 is composed of, for example, a gyro sensor (angular velocity sensor), an acceleration sensor, an inertial sensor, a geomagnetic sensor, and the like, and the angle (orientation) and rotational operation of the head of the user wearing the AR glass 11 are determined. It is a sensor for detecting.
  • the angle sensor 21 supplies an angle detection signal indicating the detected angle to the HRTF measuring device 12.
  • the operation button 22 is composed of, for example, a push button, receives a user operation, and detects a predetermined timing.
  • the operation button 22 supplies an operation signal corresponding to the detected user operation to the HRTF measurement device 12.
  • the microphone 23 is attached to the user's ear and detects ambient sounds.
  • the microphone 23 detects sound for HRTF measurement (measurement sound) output from the speaker 13 and supplies a sound signal corresponding to the detected measurement sound to the HRTF measurement device 12.
  • the microphone 23 can have a noise canceling function.
  • the HRTF measuring device 12 outputs the measurement sound from the speaker 13 and acquires the sound signal of the measurement sound detected by the microphone 23 to calculate (measure) the HRTF dedicated to the user.
  • the HRTF measuring device 12 supplies an AR image signal for displaying an AR image serving as a guide image for measuring HRTF to the AR glass 11 and displays the AR image on the AR glass 11.
  • the user moves to a predetermined position (orientation) with respect to the speaker 13 according to the AR image displayed on the AR glass 11.
  • the HRTF measuring device 12 supplies the measurement signal to the speaker 13 and outputs the measurement sound from the speaker 13.
  • the sound signal of the measurement sound detected by the microphone 23 is acquired, and the HRTF dedicated to the user is calculated (measured).
  • the speaker 13 outputs a measurement sound based on the measurement signal supplied from the HRTF measurement device 12.
  • the angle sensor 21, the operation button 22, and the microphone 23 are described as being integrally formed with the AR glass 11 as a part of the AR glass 11. 11 may be configured as a single unit.
  • HRTF measuring device 12 measures HRTFs at a plurality of angles to be measured by rotating the user himself / herself with respect to one fixed speaker 13 instead of arranging a plurality of speakers 13 at various angles.
  • the HRTF measuring device 12 has a list (hereinafter referred to as a target list) that stores the direction that the user should face corresponding to the angle of the HRTF to be measured.
  • a target list a list that stores the direction that the user should face corresponding to the angle of the HRTF to be measured.
  • the angle of the HRTF to be measured is referred to as a target angle
  • the direction that the user should face is referred to as a target direction.
  • FIG. 8 shows an example in which the target list has 16 target TGs each having the target directions TG1 to TG16.
  • the 16 target directions TG1 to TG16 are horizontal planes passing through the user's head (ear). It is on the circumference where the distance between the user and the speaker 13 is the radius.
  • the 16 target directions TG1 to TG16 are set with the position (direction) of the speaker 13 as a reference direction BL (hereinafter referred to as a reference direction BL).
  • the user when the user wants to measure the HRTF of 90 degrees to the right, the user needs to face 90 degrees to the left with respect to the speaker 13, so the target direction when the target angle is 90 degrees to the left is 90 ° to the left. Degree.
  • the target list in the present embodiment is the direction that the user should face when measuring the HRTF. Only the target direction is stored.
  • target direction TG is stored in the target list, but both the target direction TG and the corresponding target angle may be stored. Conversely, only a plurality of target angles can be stored in the target list.
  • HRTF measuring device 12 sets a plurality of target directions TG based on a target list after setting a reference direction BL based on a user operation.
  • a message such as “Please turn the front of the body toward the speaker” is displayed as an AR image.
  • the user presses the operation button 22 with the front of the body facing the speaker 13.
  • the HRTF measuring device 12 detects pressing of the operation button 22, sets the direction in which the user is currently facing as the reference direction BL, assuming that the speaker 13 is in the direction, and determines the 16 target directions TG1 to TG16.
  • the HRTF measurement device 12 determines, based on the angle detection signal supplied from the angle sensor 21, that the front direction FC to which the user is facing matches the target direction TGn to which the user is to be directed, the measurement sound Is output from the speaker 13 and a measurement sound signal (hereinafter referred to as a sound signal) detected by the microphone 23 is acquired to measure the HRTF dedicated to the user in the target direction TGn.
  • a measurement sound signal hereinafter referred to as a sound signal
  • HRTFs of each of the 16 target directions TG1 to TG16 are measured by executing the above processing in order of the target directions TG1, TG2, TG3,.
  • HRTF of target angle can be measured.
  • the AR glass 11 is used.
  • the same can be achieved by a VR head mounted display using VR (Virtual Reality) technology instead of the AR glass 11. .
  • the reference direction BL is set, and the 16 target directions TG1 to TG16 can be determined.
  • a sensor for detecting a VR head mounted display is provided on the speaker 13, and the HRTF measuring device 12 displays the position of the speaker 13 in the reference direction BL as a VR image based on the detection result of the sensor,
  • the speaker 13 displayed as a VR image may be moved so as to be in the front direction.
  • FIG. 9 is a block diagram showing a detailed configuration of the AR glass 11, the HRTF measuring device 12, and the speaker 13 constituting the HRTF measuring system 1.
  • an AR image display unit 24 is added to the AR glass 11.
  • the AR image display unit 24 displays an AR image based on the AR image signal supplied from the HRTF measurement device 12.
  • the HRTF measurement device 12 includes a microphone amplifier 51, an AD conversion unit 52, a user front direction detection unit 53, a target direction setting unit 54, a display control unit 55, a coincidence determination unit 56, a DA conversion unit 57, a speaker amplifier 58, and an HRTF measurement unit. 59, and a recording unit 60.
  • the microphone amplifier 51 amplifies the analog sound signal supplied from the microphone 23 and supplies it to the AD converter 52.
  • the AD conversion unit 52 converts the analog sound signal supplied from the microphone amplifier 51 into a digital sound signal (AD conversion) and supplies the digital sound signal to the HRTF measurement unit 59.
  • the user front direction detection unit 53 detects (calculates) the front direction FC facing the user based on the angle detection signal supplied from the angle sensor 21 of the AR glass 11, and the display control unit 55 and the coincidence determination unit 56. To supply.
  • the target direction setting unit 54 acquires the target list recorded in the recording unit 60, sets the target direction TG of the user based on the acquired target list, the display control unit 55, the coincidence determination unit 56, and the HRTF It supplies to the measurement part 59.
  • the display control unit 55 determines the user front direction FC and the target direction based on the user front direction FC supplied from the user front direction detection unit 53 and the user target direction TG supplied from the target direction setting unit 54.
  • An AR image in which TG is represented by a predetermined figure or symbol is generated, and the AR image signal is supplied to the AR image display unit 24.
  • the AR image functions as a guide image that guides the direction in which the user is facing to the target direction TG.
  • the operation signal output from the operation button 22 of the AR glass 11 is supplied to the display control unit 55, the HRTF measurement unit 59, and the like.
  • the coincidence determination unit 56 determines the direction in which the user is facing and the target based on the user's front direction FC supplied from the user front direction detection unit 53 and the user's target direction TG supplied from the target direction setting unit 54. It is determined whether the directions TG match, and the determination result is supplied to the HRTF measuring unit 59.
  • the speaker amplifier 58 amplifies the analog measurement signal supplied from the DA converter 57 and supplies the amplified signal to the speaker 13.
  • the DA conversion unit 57 converts the digital measurement signal supplied from the HRTF measurement unit 59 into an analog measurement signal (DA conversion) and supplies the analog measurement signal to the speaker amplifier 58.
  • a TSP Time Stretched Pulse
  • the HRTF measurement unit 59 converts the measurement signal acquired from the recording unit 60 into the DA conversion unit 57. To supply. Thereby, the measurement sound is output from the speaker 13 when the direction in which the user is facing matches the target direction TG.
  • the HRTF measurement unit 59 acquires the sound signal of the measurement sound supplied from the AD conversion unit 52, calculates an impulse response (HRTF) by performing an analysis using an inverse function, and records the impulse response (HRTF) in the recording unit 60.
  • the recording unit 60 includes, for example, an HDD (Hard Disk Drive), a semiconductor memory, and the like, and records data necessary for HRTF measurement. Specifically, the recording unit 60 is created based on a target list in which a plurality of target directions TG with respect to the reference direction BL are listed, measurement sound acoustic data (measurement signal), and measurement sound acquired by the microphone 23. The HRTF for each target direction TG of each user is stored.
  • HDD Hard Disk Drive
  • the AR glass 11, the HRTF measuring device 12, and the speaker 13 are configured as described above.
  • the control signal, sound signal, or image signal exchanged between the AR glass 11, the HRTF measuring device 12, and the speaker 13 is an HDMI (registered trademark) (High-Definition Multimedia Interface) cable or USB (Universal Serial Bus). ) It may be transmitted by wired communication using a cable or the like, or may be transmitted by wireless communication such as Bluetooth (registered trademark) or Wi-Fi.
  • the HRTF measuring device 12 may be configured integrally with either the AR glass 11 or the speaker 13.
  • step S ⁇ b> 1 the target direction setting unit 54 acquires the target list recorded in the recording unit 60.
  • step S ⁇ b> 2 the display control unit 55 supplies the AR image signal for displaying the message “Please direct the front of the body to the speaker and press the operation button” to the AR image display unit 24 of the AR glass 11.
  • the AR image display unit 24 of the AR glass 11 displays an AR image that displays a message “Please direct the front of the body to the speaker and press the operation button”.
  • step S3 the display control unit 55 determines whether the operation button is pressed based on the operation signal from the AR glass 11, and waits until it is determined that the operation button 22 is pressed.
  • step S3 If it is determined in step S3 that the operation button 22 has been pressed, the process proceeds to step S4, and the display control unit 55 displays the current angle (direction) represented by the angle detection signal supplied from the angle sensor 21. And set in the reference direction BL.
  • step S5 immediately after the reference direction BL is set, a variable n for designating a predetermined target direction TGn among the plurality of target directions TG described in the target list is set to 1. Accordingly, the target direction TG1 is set in the process of the first step S5.
  • step S ⁇ b> 6 the user front direction detection unit 53 calculates the front direction FC that the user is facing based on the angle detection signal supplied from the angle sensor 21 of the AR glass 11, and displays the display control unit 55 and the coincidence determination unit. 56.
  • step S7 the display control unit 55 indicates the target direction TGn and the user front direction FC based on the set target direction TGn and the user front direction FC supplied from the user front direction detection unit 53.
  • the generated AR image is generated, and the AR image signal is supplied to the AR image display unit 24.
  • the AR image display unit 24 of the AR glass 11 displays an AR image showing the target direction TG and the front direction FC of the user.
  • step S ⁇ b> 8 the coincidence determination unit 56 is directed to the user based on the user front direction FC supplied from the user front direction detection unit 53 and the user target direction TGn set by the target direction setting unit 54. It is determined whether the current direction matches the target direction TGn.
  • step S8 when it is determined that the angle difference between the front direction FC of the user and the target direction TGn is within a predetermined range set in advance, the direction in which the user faces matches the target direction TGn. Determined.
  • step S8 If it is determined in step S8 that the direction in which the user is facing does not match the target direction TGn, the process returns to step S8. As a result, the AR image indicating the front direction FC and the target direction TG of the user is updated until it is determined that the direction in which the user is facing matches the target direction TGn, and is displayed on the AR glass 11.
  • step S8 If it is determined in step S8 that the direction in which the user is facing matches the target direction TGn, the process proceeds to step S9, and the match determination unit 56 displays the determination result indicating the match as the HRTF measurement unit 59.
  • the HRTF measurement unit 59 outputs the measurement sound from the speaker 13. That is, the HRTF measurement unit 59 supplies the measurement signal acquired from the recording unit 60 to the DA conversion unit 57, and the measurement signal is DA-converted and amplified, and then supplied to the speaker 13 as the measurement sound. Is output from.
  • the HRTF measurement unit 59 acquires the sound signal of the measurement sound detected by the microphone 23 of the AR glass 11, and measures the HRTF in the target direction TGn. That is, the HRTF measurement unit 59 acquires the sound signal of the measurement sound supplied from the microphone 23 of the AR glass 11 via the microphone amplifier 51 and the AD conversion unit 52, and performs an inverse function analysis to obtain an impulse response. Calculate and record in the recording unit 60.
  • step S11 the HRTF measurement unit 59 determines whether HRTFs have been measured for all target directions TG in the target list.
  • step S11 If it is determined in step S11 that HRTFs have not been measured for all target directions TG in the target list, the process proceeds to step S12, and the target direction setting unit 54 sets the variable n for specifying the target direction TGn to 1 only. Increment. Thereafter, the process returns to step S5. In step S5, the updated target direction TGn is set, and the subsequent processing is repeated.
  • step S11 if it is determined in step S11 that HRTFs have been measured for all target directions TG in the target list, the HRTF measurement process ends.
  • HRTF measurement system 1 can measure a desired HRTF using only one fixed speaker 13 by executing the HRTF measurement process as described above.
  • HRTF measurement output of measurement sound
  • the HRTF measurement may be started when the user presses the operation button 22 and the button is operated. In this case, the user can determine the measurement start timing.
  • the movement of the user's head during HRTF measurement is monitored, and if any value such as displacement, speed, or acceleration deviates from a predetermined range, the measurement is repeated. May be.
  • the plurality of target directions TG for measuring HRTF are set by reading the target list recorded in the recording unit 60. May be input.
  • FIG. 11 shows an image showing the target direction TG displayed in the AR image showing the target direction TG and the user's front direction FC when the user's direction is directed to the predetermined target direction TG, and the front of the user
  • An example of an image showing a direction FC is shown.
  • an image 71 indicating the target direction TG is displayed with a symbol (image) of a circle ( ⁇ ), and an image 72 indicating the front direction FC of the user is indicated by a cross ( ⁇ ) symbol ( Image).
  • an image 71 showing the target direction TG and an image 72 showing the user's front direction FC are 12A
  • an image 71 indicating the target direction TG is displayed.
  • the display is changed to indicate that the front direction FC of the current user has approached the first range R1 with respect to the target direction TG.
  • the image 71 indicating the target direction TG is changed to a display in which a shadow (blurring) is added around the circle as a display indicating that the target direction TG has approached the first range R1.
  • the difference in angle between the front direction FC of the current user and the target direction TG is within the second range R2 (first range R1> second range R2), and the front direction FC of the current user is
  • the image 71 indicating the target direction TG indicates that the current user's front direction FC matches the target direction TG, as shown in FIG. Change to display.
  • the image 71 representing the target direction TG is a display indicating that the current user's front direction FC matches the target direction TG, and the color inside the circle (inner circumference) is different from the normal color.
  • the display is changed to a color (for example, black to red).
  • the display of the image 71 indicating the target direction TG according to the difference in angle between the front direction FC of the current user and the target direction TG By changing (color or figure), it is possible to present to the user the degree of approach to the target direction TG.
  • the display of the image 71 indicating the target direction TG is changed according to the angle difference between the user's front direction FC and the target direction TG.
  • the display of the image 72 may be changed.
  • an image 71 indicating the target direction TG and an image 72 indicating the user's front direction FC are simultaneously displayed. It can be displayed.
  • the target direction TG exists outside the user's field of view, for example, when the target direction TG is in the back direction, the image 71 indicating the target direction TG cannot be displayed, and the user cannot display the target direction TG. I don't know where.
  • the display control unit 55 for example, as shown in FIG. 13, instead of the image 71 showing the target direction TG, the user in the target direction TG A guide image 73 that guides is displayed.
  • the guide image 73 is represented by an arc-shaped arrow having a predetermined curvature so as to be distinguished from the up / down / left / right arrow 142 described later in FIG.
  • FIG. 13A shows the case where the target direction TG is outside the user's field of view and is far away, in other words, the angle difference between the current user's front direction FC and the target direction TG is greater than the third range R3.
  • An example of the guidance image 73 is shown.
  • FIG. 13B shows that when the target direction TG is outside the user's field of view and close, in other words, the angle difference between the current user's front direction FC and the target direction TG is larger than the fourth range R4, and An example of the guide image 73 in the case where it is within the third range R3 (third range R3> fourth range R4) is shown.
  • the guide image 73 is represented by an arrow indicating the rotation direction.
  • the display of the length of the arrow in the guidance image 73 may be changed so as to be proportional to the angle difference between the user's front direction FC and the target direction TG, or may be displayed by switching in a plurality of stages.
  • the user may have a horizontal tilt (roll) of the head that is not horizontal, so an AR image including information on the horizontal tilt of the head (roll information) is displayed in the AR glass. 11 may be displayed.
  • FIG. 15 shows an example of an image showing the target direction TG and an image showing the front direction FC of the user when the horizontal inclination of the head is included.
  • the image 81 indicating the target direction TG is displayed as an image in which a circle (small circle) smaller than that is adjacent (circumscribed) to a circle (large circle) depicting a cross inside. Is done.
  • the direction of the small circle represents upward (over the head), and the example of FIG. 15 corresponds to a display in which the user is inclined to the left in the horizontal direction of the head.
  • the image 82 indicating the front direction FC of the user is displayed as a cross image having arrows in four directions, up, down, left, and right.
  • display in the up / down / left / right directions is not necessarily required, but is attached to make the relationship with the target direction TG easier to understand.
  • FIG. 16 shows a display example in which the degree of coincidence regarding the direction is fed back with the image 81 indicating the target direction TG including the roll information and the image 82 indicating the front direction FC of the user.
  • FIG. 16A shows an example of feedback display when the direction is approaching.
  • FIG. 16B shows an example of feedback display when the directions match.
  • the display control unit 55 changes to a display in which a shadow (blur) is added around the great circle of the image 81 indicating the target direction TG, as shown in FIG.
  • the display control unit 55 sets the color inside (inner circumference) of the great circle of the image 81 indicating the target direction TG different from the normal color as shown in FIG. 16B. (For example, from black to red).
  • FIG. 17 shows a display example in which the degree of coincidence regarding the roll is fed back with an image 81 indicating the target direction TG including the roll information and an image 82 indicating the front direction FC of the user.
  • FIG. 17A shows an example of feedback display when the roll is approaching.
  • FIG. 17B shows an example of feedback display when the roles match.
  • the display control unit 55 adds a shadow (blur) to the periphery of the cross and the small circle having the four-direction arrows in the image 82 indicating the front direction FC of the user, as shown in A of FIG. Change to the added display.
  • the display control unit 55 sets the color of the cross and the small circle having the four-direction arrows of the image 82 indicating the front direction FC of the user to the normal color as shown in FIG. 17B. Change to a different predetermined color (eg, black to red).
  • a different predetermined color eg, black to red
  • FIG. 18 shows an example of feedback display when both the roll and the direction match.
  • the image shown in FIG. 16B and the image shown in FIG. 17B is mixed. That is, as shown in FIG. 18, the color of the cross having the inside (inner circumference) and the small circle of the great circle of the image 81 showing the target direction TG and the four-direction arrows of the image 82 showing the front direction FC of the user Is changed from a normal color to a predetermined color (for example, black to red).
  • a predetermined color for example, black to red
  • the display control unit 55 matches only the direction and the roll.
  • the display can be different between the case and the case where both the direction and the roll match.
  • FIG. 19 illustrates a configuration of a second embodiment of the HRTF measurement system to which the technology of the present disclosure is applied.
  • the HRTF measurement device 12 in addition to the AR glass 11, the HRTF measurement device 12, and the speaker 13, a camera 101 is newly provided.
  • the AR glass 11 according to the second embodiment is provided with a plurality of markers MK that can be imaged (recognized) by the camera 101.
  • markers MK that can be imaged (recognized) by the camera 101.
  • three markers MK1 to MK3 are attached to the AR glass 11.
  • the angle sensor 21 is omitted.
  • the speaker 13 according to the second embodiment is also provided with a plurality of markers MK that can be imaged (recognized) by the camera 101.
  • markers MK that can be imaged (recognized) by the camera 101.
  • two markers MK11 and MK12 are attached to the speaker 13.
  • the camera 101 includes, for example, an imaging element such as a CMOS (Complementary Metal Oxide Semiconductor) sensor or a CCD (Charge Coupled Device), and is attached to the three markers MK1 to MK3 attached to the AR glass 11 and the speaker 13. Two markers MK11 and MK12 are imaged, and a captured image obtained as a result is supplied to the HRTF measuring apparatus 12.
  • the camera 101 may be a stereo camera in which two image sensors are arranged at a predetermined interval.
  • the HRTF measuring device 12, the speaker 13, and the camera 101 can be configured as an integrated device.
  • An apparatus in which these are integrated can be realized by, for example, a smartphone or a personal computer.
  • the HRTF measuring device 12, the speaker 13, and the camera 101 are configured as an integrated device, the two markers MK11 and MK12 are omitted.
  • FIG. 20 is a block diagram illustrating a detailed configuration example of the HRTF measurement system 1 according to the second embodiment.
  • the angle sensor 21 is omitted in the AR glass 11. Further, in the HRTF measurement device 12, the user front direction detection unit 53 in the first embodiment is replaced with a user front direction detection unit 111. Further, as described above, the camera 101 is added.
  • the image (captured image) captured by the camera 101 is supplied to the user front direction detection unit 111 of the HRTF measurement device 12.
  • the user front direction detection unit 111 detects the three markers MK1 to MK3 attached to the AR glass 11 included in the captured image supplied from the camera 101, and the two markers MK11 and MK12 attached to the speaker 13. To do.
  • the user front direction detection unit 111 calculates the position of the AR glass 11 on the three-dimensional coordinate system with a predetermined position as the origin, based on the detected three markers MK1 to MK3.
  • the position of the AR glass 11 is equivalent to the position of the head of the user wearing the AR glass 11.
  • the user front direction detection unit 111 calculates the position of the speaker 13 on the three-dimensional coordinate system based on the two detected markers MK11 and MK12.
  • the user front direction detection unit 111 detects (calculates) the front direction FC facing the user from the position of the AR glass 11 and the position of the speaker 13 obtained by calculation, with the position of the speaker 13 as a reference, This is supplied to the display control unit 55 and the coincidence determination unit 56.
  • the user front direction detection unit 111 also calculates the distance from the speaker 13 to the user from the position of the AR glass 11 and the position of the speaker 13 obtained by the calculation, and the calculated distance is displayed in the display control unit 55 and the coincidence determination unit. 56.
  • the position and orientation estimation technique such as SLAM (Simultaneously13Localization And Mapping) may be used to calculate the position and distance of the AR glass 11 with the position of the speaker 13 as a reference.
  • SLAM Simultaneously13Localization And Mapping
  • target distances a plurality of target directions TG with respect to a predetermined reference direction BL and distances from the speaker 13 to the user (hereinafter referred to as target distances) are recorded. .
  • step S21 the target direction setting unit 54 acquires the target list recorded in the recording unit 60.
  • a plurality of target directions TG and a target distance from the speaker 13 to the user are recorded in the target list of the second embodiment.
  • step S22 immediately after the reference direction BL is set, a variable n for designating a predetermined target direction TGn among the plurality of target directions TG described in the target list is set to 1. Therefore, the target direction TG1 is set in the process of the first step S22.
  • step S ⁇ b> 23 the user front direction detection unit 111 determines the front direction FC facing the user and the distance from the speaker 13 to the user based on the captured image supplied from the camera 101, with the position of the speaker 13 as a reference. calculate.
  • the user front direction detection unit 111 includes three markers MK1 to MK3 attached to the AR glass 11 included in the image captured by the camera 101, two markers MK11 attached to the speaker 13, and The position of MK12 is detected. Then, the user front direction detection unit 111 determines the front direction FC that the user is facing based on the position of the speaker 13 based on the positions of the detected three markers MK1 to MK3 and the two markers MK11 and MK12. calculate. The user front direction detection unit 111 also calculates a distance from the speaker 13 to the user. The calculated front direction FC of the user and the distance to the user are supplied to the display control unit 55 and the coincidence determination unit 56.
  • step S24 the display control unit 55 determines the target direction TGn, the front of the user based on the set target direction TGn, the user's front direction FC and the distance to the user supplied from the user front direction detection unit 111.
  • An AR image indicating the direction FC and the distance to the user is generated, and the AR image signal is supplied to the AR image display unit 24.
  • the AR image display unit 24 of the AR glass 11 displays an AR image indicating the target direction TGn, the front direction FC of the user, and the distance to the user.
  • step S25 the coincidence determination unit 56 receives the user's front direction FC and the distance to the user supplied from the user front direction detection unit 111, and the user's target direction TGn and the target distance set by the target direction setting unit 54. Based on the above, it is determined whether the direction and distance that the user is facing match the target direction TGn and the target distance.
  • step S25 when it is determined that the angle difference between the front direction FC of the user and the target direction TGn is within a predetermined range set in advance, the direction in which the user faces matches the target direction TGn. Determined.
  • the distance to the user when it is determined that the distance difference between the distance to the user supplied from the user front direction detection unit 111 and the target distance is within a predetermined range set in advance, the speaker It is determined that the distance from 13 to the user matches the target distance.
  • step S25 If it is determined in step S25 that the direction and distance that the user is facing do not match the target direction TGn and the target distance, the process returns to step S25. Thereby, the AR image indicating the target direction TGn, the front direction FC of the user, and the distance to the user is updated until it is determined that the direction and distance the user is facing match the target direction TGn and the target distance. Displayed on the AR glass 11.
  • step S25 If it is determined in step S25 that the direction and distance that the user is facing match the target direction TGn and the target distance, the process proceeds to step S26, and the match determination unit 56 determines that the match is the same. Is supplied to the HRTF measurement unit 59, and the HRTF measurement unit 59 outputs the measurement sound from the speaker 13. That is, the HRTF measurement unit 59 supplies the measurement signal acquired from the recording unit 60 to the DA conversion unit 57. The measurement signal is DA-converted and amplified, and then supplied to the speaker 13. 13 is output.
  • the HRTF measurement unit 59 acquires the sound signal of the measurement sound detected by the microphone 23 of the AR glass 11, and measures the HRTF in the target direction TGn. That is, the HRTF measurement unit 59 acquires the sound signal of the measurement sound supplied from the microphone 23 of the AR glass 11 via the microphone amplifier 51 and the AD conversion unit 52, and performs an inverse function analysis to obtain an impulse response. Calculate and record in the recording unit 60.
  • step S28 the HRTF measurement unit 59 determines whether HRTFs have been measured for all target directions TG in the target list.
  • step S28 If it is determined in step S28 that HRTFs have not been measured for all target directions TG in the target list, the process proceeds to step S29, and the target direction setting unit 54 sets the variable n for specifying the target direction TGn to 1 only. Increment. Thereafter, the process returns to step S22. In step S22, the updated target direction TGn is set, and the subsequent processing is repeated.
  • step S28 if it is determined in step S28 that HRTFs have been measured for all target directions TG in the target list, the HRTF measurement process ends.
  • HRTF measurement system 1 can measure a desired HRTF using only one fixed speaker 13 by executing the HRTF measurement process as described above.
  • the second embodiment not only the front direction FC facing the user is matched with the target direction TG, but also the distance from the speaker 13 to the user is measured by combining the target directions TG among the plurality of target directions TG. Can do. Thereby, HRTF can be measured with higher accuracy than in the first embodiment.
  • the user front direction detection unit 111 determines the position of the user (the AR glass 11 worn by the user) and the speaker 13 based on the marker MK included in the image captured by the camera 101.
  • the method for detecting the position and distance between the user and the speaker 13 is not limited to this.
  • a detection device that detects the position and distance between the user and the speaker 13 such as thermography, a ToF sensor that measures the distance to the subject using the ToF (Time of Flight) method, and a distance measurement that uses the structure light method. If it is. Further, the position and distance may be detected separately by different devices.
  • the user is guided so as to match not only the target direction but also the distance to the speaker 13 for the plurality of target directions TG stored in the target list.
  • the distances up to 13 may not be controlled so as to match.
  • the HRTF measurement unit 59 records the distance to the speaker 13 when measuring the HRTF in each target direction TGn in the recording unit 60 together with the measurement result of HRTF, It is possible to correct the HRTF that adjusts the time difference according to the distance difference when the HRTF in each target direction TGn is measured.
  • the target list a plurality of target directions TG with respect to a predetermined reference direction BL and the distance from the speaker 13 to the user are recorded, but the distance to the user is omitted as in the first embodiment. May be.
  • the HRTF in each target direction TG can be measured according to the distance when the first target direction TG1 is measured as a reference.
  • a plurality of distances from the speaker 13 to the user may be recorded in the recording unit 60, and the user-specific HRTF may be measured for a plurality of different distances.
  • the AR image displayed on the AR glass 11 displays the distance to the speaker 13 to the user. Is possible.
  • FIG. 22 shows an example of an image showing the front direction FC of the user that feeds back the distance information to the speaker 13 to the user.
  • the display control unit 55 displays arrows in four directions, up, down, left, and right.
  • the image 121 indicating the front direction FC of the user using the cross is displayed in an enlarged manner, and when the current user distance is long (the distance from the speaker 13 is long), the image 121 indicating the front direction FC of the user is reduced and displayed. .
  • Display is performed by adding a dashed-line quadrilateral 122 to an image 121 indicating the front direction FC of the user using a cross having four vertical, horizontal, and horizontal arrows.
  • the size of the image 121 indicating the front direction FC of the user when the current user distance is equal to the target distance is, for example, the front direction FC of the user when the distance information is not included as illustrated in FIG.
  • the size of the image 121 shown can be the same.
  • not only the direction (angle) based on the position of the speaker 13 but also the vertical and horizontal positions can be detected, so that not only the target direction TG but also the vertical and horizontal positions are guided. It is possible to display.
  • FIG. 23 shows a display example in the case where position information of the user in the vertical and horizontal directions with respect to the speaker 13 is fed back to the user.
  • the display control unit 55 expresses the depth outside the image 121 indicating the front direction FC of the user as shown in FIG.
  • the AR image to which the diagonal line 141 of the book is added is displayed.
  • Two oblique lines 141 represent that the movement instruction to the user is not a rotation operation but a parallel movement operation.
  • the display control unit 55 selects the up arrow image 142U, the down arrow image 142D, and the right arrow image 142R corresponding to the direction in which the shift is corrected. Or the left arrow image 142L is displayed outside the image 121 indicating the front direction FC of the user. In the example of FIG. 23, as a display example when the distances are the same, a broken-line rectangle 122 is also displayed outside the image 121 indicating the front direction FC of the user.
  • the second embodiment it is possible to display an AR image including information on the distance to the speaker 13 and an AR image including position information of the upper, lower, left, and right users with respect to the speaker 13.
  • the target angle or target direction stored in the target list is defined by two pieces of information: horizontal angle and elevation angle. This can be achieved.
  • the target angle is defined by two pieces of information of the horizontal angle and the elevation angle, but for the target direction, the horizontal angle, the elevation angle, and It is defined by three pieces of information of the role. Even in one target direction, HRTFs with different target angles can be measured by changing the roll.
  • the HRTF is measured in order from the first target list TG1 among the plurality of target lists TG1 to TGN stored in the target list.
  • the target direction TG is selected at random Good.
  • a plurality of target directions TG may be displayed at the same time, and the user may select a desired target direction TG.
  • the above-described HRTF measurement system 1 can take a cloud computing configuration in which some functions are shared by one or more devices via a network and are jointly processed.
  • the target list recorded in the recording unit 60 and the HRTF as a measurement result can be stored in the information processing apparatus on the cloud.
  • the threshold value for determining whether the target direction TG and the target distance are far, close, or coincident is set in advance.
  • the threshold can be arbitrarily set.
  • feedback information to be displayed as an AR image may be selected (designated) using the setting screen.
  • the display examples of the various AR images described above for feeding back position information and direction information to the user are merely examples, and are not limited to the examples described above.
  • the feedback information may be given visually to the user as in the above-described AR image, may be given using other modals such as sound and vibration, or may be combined.
  • the series of processes described above can be executed by hardware or can be executed by software.
  • a program constituting the software is installed in the computer.
  • the computer includes, for example, a general-purpose personal computer that can execute various functions by installing a microcomputer incorporated in dedicated hardware and various programs.
  • FIG. 24 is a block diagram showing an example of the hardware configuration of a computer that executes the above-described series of processing by a program.
  • a CPU Central Processing Unit
  • ROM Read Only Memory
  • RAM Random Access Memory
  • An input / output interface 205 is further connected to the bus 204.
  • An input unit 206, an output unit 207, a storage unit 208, a communication unit 209, and a drive 211 are connected to the input / output interface 205.
  • the input unit 206 includes a keyboard, a mouse, a microphone, and the like.
  • the output unit 207 includes a display, a speaker, and the like.
  • the storage unit 208 includes a hard disk, a nonvolatile memory, and the like.
  • the communication unit 209 includes a network interface and the like.
  • the imaging unit 210 includes an imaging element such as a CCD (Charge Coupled Device) or a CMOS (Complementary Metal Oxide Semiconductor) sensor.
  • the imaging unit 210 images a subject and supplies image data of the captured subject to the CPU 201 or the like via the input / output interface 205.
  • the drive 211 drives a removable recording medium 212 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory.
  • a removable recording medium 212 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory.
  • the CPU 201 loads, for example, the program stored in the storage unit 208 to the RAM 203 via the input / output interface 205 and the bus 204 and executes the program. HRTF measurement process is performed.
  • the program can be installed in the storage unit 208 via the input / output interface 205 by attaching the removable recording medium 212 to the drive 211. Further, the program can be received by the communication unit 209 via a wired or wireless transmission medium such as a local area network, the Internet, or digital satellite broadcasting, and can be installed in the storage unit 208. In addition, the program can be installed in the ROM 202 or the storage unit 208 in advance.
  • the system means a set of a plurality of components (devices, modules (parts), etc.), and it does not matter whether all the components are in the same housing. Accordingly, a plurality of devices housed in separate housings and connected via a network and a single device housing a plurality of modules in one housing are all systems. .
  • Embodiments of the present technology are not limited to the above-described embodiments, and various modifications can be made without departing from the gist of the present technology.
  • the present technology can take a cloud computing configuration in which one function is shared by a plurality of devices via a network and is jointly processed.
  • each step described in the above flowchart can be executed by one device or can be shared by a plurality of devices.
  • the plurality of processes included in the one step can be executed by being shared by a plurality of apparatuses in addition to being executed by one apparatus.
  • this technique can also take the following structures.
  • HRTF measuring device Display an image that shows the target direction that the user should face, When the front direction of the user and the target direction coincide with each other, measurement sound is output from a speaker, and measurement of the HRTF is performed based on a result of collecting the measurement sound with a microphone attached to the user's ear.
  • HRTF measurement method (2) The HRTF measurement method according to (1), wherein an image indicating a front direction of the user is displayed together with an image indicating the target direction.
  • a display control unit for displaying an image indicating a target direction, which is a direction that the user should face, When the front direction of the user and the target direction coincide with each other, measurement sound is output from a speaker, and measurement of the HRTF is performed based on a result of collecting the measurement sound with a microphone attached to the user's ear.
  • HRTF measuring device with HRTF measuring unit.
  • the said display control part displays the image which shows the said user's front direction with the image which shows the said target direction.
  • the HRTF measuring apparatus as described in said (11).
  • the detection device is an imaging device that images the user and the speaker;
  • the information for specifying the target direction is at least one of the target direction or a target angle that is an angle of an HRTF to be measured.
  • the HRTF measuring apparatus according to (16).
  • the information specifying the target direction includes a distance from the speaker to the user.
  • HRTF measurement system 11 AR glasses, 12 HRTF measurement device, 13 speakers, 21 angle sensor, 22 operation buttons, 23 microphones, 53 user front direction detection unit, 54 target direction setting unit, 55 display control unit, 56 match determination unit , 59 HRTF measurement unit, 60 recording unit, 101 camera, 111 user front direction detection unit, 201 CPU, 202 ROM, 203 RAM, 206 input unit, 207 output unit, 208 storage unit, 209 communication unit, 210 imaging unit, 211 drive

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Otolaryngology (AREA)
  • Stereophonic System (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本技術は、個人の頭部伝達関数をより簡単に取得することができるようにするHRTF測定方法、HRTF測定装置、およびプログラムに関する。 HRTF測定装置は、ユーザの向くべき方向であるターゲット方向を示す画像を表示させる。HRTF測定装置は、ユーザの正面方向とターゲット方向が一致した場合に、測定音をスピーカから出力させて、ユーザの耳に装着したマイクロホンで測定音を収音した結果を基に、HRTFの測定を行う。本技術は、例えば、頭部伝達関数を測定する装置等に適用できる。

Description

ＨＲＴＦ測定方法、ＨＲＴＦ測定装置、およびプログラム
　本技術は、HRTF測定方法、HRTF測定装置、およびプログラムに関し、特に、個人の頭部伝達関数をより簡単に取得することができるようにしたHRTF測定方法、HRTF測定装置、およびプログラムに関する。
　近年、音声の分野において、全周囲からの空間情報を収録、伝送、再生する系の開発および普及が進んでいる。スーパーハイビジョンにおいては、22.2チャネルの３次元マルチチャネル音響での放送が計画されている。また、バーチャルリアリティの分野においても、全周囲を取り囲む映像に加え、音声においても全周囲を取り囲む信号を再生するものが普及しつつある。
　このような全周囲からの音情報を再現する方法としては、スピーカを全周囲に配置する方法が考えられるが、設置規模やコストの面から映画館や大規模施設などに限定され、一般家庭での普及には至らないと考えられる。そこで、ヘッドフォンを用いたバイノーラル再生技術というものが注目されている。
　このバイノーラル再生技術は、一般に聴覚ディスプレイ（以下、VAD（Virtual Auditory Display）ともいう。）と呼ばれており、頭部伝達関数（以下、HRTF（Head-related transfer function）ともいう。）を用いて実現される。
　頭部伝達関数とは、人間の頭部を取り囲むあらゆる方向から両耳鼓膜までの音の伝わり方に関する情報を周波数と到来方向の関数として表現したものである。目的となる音声に対して、所定の方向からのHRTFを合成したものをヘッドフォンで提示した場合に、聴取者にとっては、ヘッドフォンからではなく、その用いたHRTFの方向から音が到来しているかのように知覚される。聴覚ディスプレイ（VAD）は、この原理を利用したシステムである。
　聴覚ディスプレイを用いて仮想的なスピーカを複数再現することで、現実には困難な多数のスピーカアレイシステムでの再生を、ヘッドフォン提示で実現することが可能となる。
　しかしながら、聴覚ディスプレイに用いられる頭部伝達関数は、耳介や頭部の反射や回折の仕方によりその特性が決まるため、耳介や頭部形状の違いにより個人差が生じてしまう。そのため、聴覚ディスプレイにおいては個人の頭部伝達関数を用いることが、正確な音場の知覚・定位にとって重要である。
　個人の頭部伝達関数を取得するためには、例えば、球状スピーカアレイなどを用いて測定する方法がある（例えば、特許文献１参照）。
特開２００７－２５１２４８号公報
　しかしながら、球状スピーカアレイなどを用いた測定方法は、大掛かりな装置が必要となり、コストがかかることから、実用上の問題が存在する。
　本技術は、このような状況に鑑みてなされたものであり、個人の頭部伝達関数をより簡単に取得することができるようにするものである。
　本技術の一側面のHRTF測定方法は、HRTF測定装置が、ユーザの向くべき方向であるターゲット方向を示す画像を表示させ、前記ユーザの正面方向と前記ターゲット方向が一致した場合に、測定音をスピーカから出力させて、前記ユーザの耳に装着したマイクロホンで前記測定音を収音した結果を基に、HRTFの測定を行う。
　本技術の一側面のHRTF測定装置は、ユーザの向くべき方向であるターゲット方向を示す画像を表示させる表示制御部と、前記ユーザの正面方向と前記ターゲット方向が一致した場合に、測定音をスピーカから出力させて、前記ユーザの耳に装着したマイクロホンで前記測定音を収音した結果を基に、HRTFの測定を行うHRTF測定部とを備える。
　本技術の一側面のプログラムは、コンピュータに、ユーザの向くべき方向であるターゲット方向を示す画像を表示させ、前記ユーザの正面方向と前記ターゲット方向が一致した場合に、測定音をスピーカから出力させて、前記ユーザの耳に装着したマイクロホンで前記測定音を収音した結果を基に、HRTFの測定を行う処理を実行させるためのものである。
　本技術の一側面においては、ユーザの向くべき方向であるターゲット方向を示す画像が表示され、前記ユーザの正面方向と前記ターゲット方向が一致した場合に、測定音がスピーカから出力されて、前記ユーザの耳に装着したマイクロホンで前記測定音を収音した結果を基に、HRTFの測定が行われる。
　なお、プログラムは、伝送媒体を介して伝送することにより、又は、記録媒体に記録して、提供することができる。
　HRTF測定装置は、独立した装置であっても良いし、１つの装置を構成している内部ブロックであっても良い。
　本技術の一側面によれば、個人の頭部伝達関数をより簡単に取得することができる。
　なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
バイノーラル再生技術を説明する図である。 ユーザ本人の頭部伝達関数の効果を検証する実験結果を説明する図である。 ユーザ本人の頭部伝達関数の効果を検証する実験結果を説明する図である。 ユーザ本人の頭部伝達関数の効果を検証する実験結果を説明する図である。 頭部伝達関数の他の測定方法を説明する図である。 頭部伝達関数の他の測定方法を説明する図である。 本技術を適用したHRTF測定システムの第１の実施形態の構成を示す図である。 HRTF測定の手順について説明する図である。 第１の実施形態のHRTF測定システムの詳細構成を示すブロック図である。 第１の実施形態のHRTF測定処理を説明するフローチャートである。 ユーザの正面方向とターゲット方向を示す画像を示す図である。 ユーザの正面方向とターゲット方向との差分に応じた表示例を示す図である。 ターゲット方向が視野範囲外に存在する場合の表示例を示す図である。 ロールを説明する図である。 ロール情報も含むユーザの正面方向とターゲット方向を示す画像を示す図である。 方向に関する一致具合を示すフィードバック表示例を示す図である。 ロールに関する一致具合を示すフィードバック表示例を示す図である。 ロールと方向の両方が一致した場合のフィードバック表示例を示す図である。 本技術を適用したHRTF測定システムの第２の実施形態の構成を示す図である。 第２の実施形態のHRTF測定システムの詳細構成を示すブロック図である。 第２の実施形態のHRTF測定処理を説明するフローチャートである。 距離情報をフィードバックする表示例を示す図である。 上下左右方向の位置情報をフィードバックする表示例を示す図である。 本技術を適用したコンピュータの一実施の形態の構成例を示すブロック図である。
　以下、本技術を実施するための形態（以下、実施形態という）について説明する。なお、説明は以下の順序で行う。
１．バイノーラル再生技術
２．ユーザ本人の頭部伝達関数の効果を検証する実験結果
３．HRTF測定システムの第１の実施形態
４．HRTF測定システムの第２の実施形態
５．変形例
６．コンピュータ構成例
＜１．バイノーラル再生技術＞
　初めに、頭部伝達関数（HRTF）を用いたバイノーラル再生技術について簡単に説明する。
　頭部伝達関数とは、上述したように、人間の頭部を取り囲むあらゆる方向から両耳鼓膜までの音の伝わり方に関する情報を周波数と到来方向の関数として表現したものである。
　図１に示されるように、目的となる音声に対して、所定の方向からのHRTFを合成したものをヘッドフォンHD11で提示した場合に、聴取者（以下、単に、ユーザという。）にとっては、ヘッドフォンHD11からではなく、その用いたHRTFの方向、例えば、ユーザの周囲に配置されたスピーカSP１乃至SP８のいずれかから、音が到来しているかのように知覚される。
　厳密な定義としての頭部伝達関数H(x,ω)は、自由空間内においてユーザの頭部が存在する状態での音源位置xから、ユーザの鼓膜位置までの伝達特性H1(x,ω)を、頭部が存在しない状態での音源位置xから頭部中心Oまでの伝達特性H0(x,ω)で正規化したものである。すなわち、音源位置xについての頭部伝達関数H(x,ω)は、次式（１）により得られるものである。
Figure JPOXMLDOC01-appb-M000001
　頭部伝達関数H(x,ω)を任意の音声信号に畳み込み、ヘッドフォンなどにより提示することで、ユーザに対してあたかも畳み込んだ頭部伝達関数H(x,ω)の方向、つまり音源位置xの方向から音が聞こえてくるかのような錯覚を与えることができる。
　なお、自由空間ではなく、残響のある部屋において測定した場合などでは、HRTFとともに部屋の残響が含まれる。この場合は、一般にBinaural Room Impulse Response (BRIR) と呼ばれるが、本明細書においては、特別な断りがない限り、自由空間であるか否か、および、H0(x,ω)で正規化しているか否かを問わず、HRTFまたは頭部伝達関数と総称することとする。
　頭部伝達関数H(x,ω)は、耳介や頭部形状の違いにより個人差が生じてしまうため、ユーザごとに個別の頭部伝達関数H(x,ω)を測定することが望ましい。
＜２．ユーザ本人の頭部伝達関数の効果を検証する実験結果＞
　図２乃至図４を参照して、ユーザ本人とそれ以外のHRTFを用いた場合を比較して、ユーザ専用のHRTFの効果を実験した結果について説明する。
　図２は、実験状況を示す図である。
　実験では、１０人のユーザに被験者になってもらい、被験者に対して様々な位置（方向）に設置したスピーカSP２１乃至SP２６のそれぞれから両耳までのHRTF、即ち本人専用のHRTFが測定された。また、平均的なユーザのHRTFとして、図３のようなダミーヘッド（HATS：Head and Torso Simulator, 4100, B&K社製）でも、HRTFが測定された。
　評価実験の手順は、以下の通りである。
　被験者は、スピーカSP２１乃至SP２６のそれぞれから出力される正解方向としての音を聴取する。
　次に、被験者は、ヘッドフォンを装着し、試験刺激を聴取し、定位した方向（仮想のスピーカSP２１乃至SP２６の方向）を回答する。この試験刺激として、音楽信号に、本人のHRTFを畳み込んだもの、他人のHRTFを畳み込んだもの、および、ダミーヘッドのHRTFを畳み込んだもの、の３種類の試験刺激を被験者に聴取させる。ここで、他人のHRTFとしては、１０人の被験者を順番に実験した際の、一つ前の被験者のHRTFが用いられた。最初の被験者については、最後（１０番目）の被験者のHRTFが用いられた。
　図４は、評価実験の結果を示すグラフである。
　図４のAは、本人のHRTFを畳み込んだ試験刺激を聴取させた場合の回答結果を示している。
　図４のBは、他人のHRTFを畳み込んだ試験刺激を聴取させた場合の回答結果を示している。
　図４のCは、ダミーヘッドのHRTFを畳み込んだ試験刺激を聴取させた場合の回答結果を示している。
　図４のA乃至Cのグラフにおいて、横軸は提示刺激、縦軸は回答を示している。グラフ内の丸の大きさは、回答の数に比例して大きくなっている。グラフ内の斜めの線は、ｙ＝ｘの直線を示しており、回答が、この直線に近いほど、より正確に定位できることを表す。
　図４のA乃至Cの回答結果を見て明らかなように、圧倒的に本人のHRTFを使用した刺激が正確に音像定位できていることがわかる。
　以上のように、ユーザ専用のHRTFを測定することが非常に有用である。
　ところで、HRTFを測定する方法としては、図５に示されるように、実際にスピーカSP１乃至SP８を配置した球状スピーカアレイの中心にユーザを座らせ、ユーザの外耳道入口にマイクロホンMCを装着した状態で、それぞれのスピーカSP１乃至SP８から順にTSP(Time Stretched Pulse)などの測定用信号音を出力して、測定するものが一般的である。
　あるいはまた、図６に示されるように、スピーカSPが球面上の軌跡を描けるようなトラバース装置TRVを用いて、スピーカSPを動かしながらそれぞれの場所で測定用信号音を出力し、測定を進めていく方法も存在する。
　しかしながら、これらの方法は、大規模な測定システムとなるため、より簡単な構成でHRTFを測定する方法が望まれている。
＜３．HRTF測定システムの第１の実施形態＞
　そこで、以下では、より簡単な構成で頭部伝達関数（HRTF）を測定することを実現したHRTF測定システムについて説明する。
＜システム構成例＞
　図７は、本開示の技術を適用したHRTF測定システムの第１の実施形態の構成を示している。
　図７に示されるHRTF測定システム１は、ARグラス１１、HRTF測定装置１２、及び、スピーカ１３により構成される。
　ARグラス１１は、AR（Augmented Reality：拡張現実）画像を表示可能なメガネであり、HRTFを測定する測定対象者としてのユーザによって装着される。ARグラス１１は、HRTF測定装置１２から供給されるAR画像信号に基づいて、ユーザの視野内に、所定のAR画像を表示する。
　ARグラス１１は、角度センサ２１、操作ボタン２２、及び、マイクロホン２３を備えている。
　角度センサ２１は、例えば、例えば、ジャイロセンサ（角速度センサ）、加速度センサ、慣性センサ、地磁気センサなどで構成され、ARグラス１１を装着しているユーザの頭部の角度（向き）や回転動作を検出するためのセンサである。角度センサ２１は、検出した角度を示す角度検出信号を、HRTF測定装置１２に供給する。
　操作ボタン２２は、例えば、押下式のボタンで構成され、ユーザの操作を受け付けて、所定のタイミングを検出する。操作ボタン２２は、検出したユーザの操作に対応する操作信号を、HRTF測定装置１２に供給する。
　マイクロホン２３は、ユーザの耳に装着され、周囲の音を検出する。マイクロホン２３は、スピーカ１３から出力されるHRTF測定用の音（測定音）を検出し、検出した測定音に対応する音信号を、HRTF測定装置１２に供給する。マイクロホン２３は、ノイズキャンセル機能を備えることができる。
　HRTF測定装置１２は、測定音をスピーカ１３から出力させるとともに、マイクロホン２３で検出された測定音の音信号を取得して、ユーザ専用のHRTFを算出（測定）する。
　より具体的には、HRTF測定装置１２は、HRTFを測定する際のガイド画像となるAR画像を表示させるAR画像信号をARグラス１１に供給し、AR画像をARグラス１１に表示させる。ユーザは、ARグラス１１に表示されたAR画像に従って、スピーカ１３に対して所定の位置（向き）に移動する。HRTF測定装置１２は、角度センサ２１から供給される角度検出信号に基づいて、所定の位置に移動したことを検出すると、測定用信号をスピーカ１３に供給して、測定音をスピーカ１３から出力させるとともに、マイクロホン２３で検出された測定音の音信号を取得して、ユーザ専用のHRTFを算出（測定）する。
　スピーカ１３は、HRTF測定装置１２から供給される測定用信号に基づいて、測定音を出力する。
　なお、本実施の形態では、角度センサ２１、操作ボタン２２、および、マイクロホン２３が、ARグラス１１の一部として、ARグラス１１と一体に形成されるものとして説明するが、これらは、ARグラス１１とは別に単体で構成されてもよい。
＜HRTF測定の手順＞
　図８を参照して、HRTF測定システム１によるHRTF測定の手順について説明する。
　HRTF測定装置１２は、スピーカ１３を様々な角度に複数配置する代わりに、固定された一つのスピーカ１３に対してユーザ自身が回転することで、測定したい複数の角度におけるHRTFを測定する。
　HRTF測定装置１２は、測定したいHRTFの角度に対応する、ユーザの向くべき方向を格納したリスト（以下、ターゲットリストという。）を有している。以下では、測定したいHRTFの角度をターゲット角度と称し、ユーザの向くべき方向をターゲット方向と称することとする。
　図８は、ターゲットリストがターゲット方向TG１乃至TG１６からなる１６個の各ターゲットTGを有している場合の例である。
　本実施の形態では、説明を簡単にするため、ユーザの頭部（耳）を通る水平面上のみを考えることとし、１６個のターゲット方向TG１乃至TG１６は、ユーザの頭部（耳）を通る水平面上の、ユーザとスピーカ１３間の距離を半径とする円周上にある。１６個のターゲット方向TG１乃至TG１６は、スピーカ１３の位置（方向）を基準の方向BL（以下、基準方向BLという。）として設定される。
　例えば、ユーザに対して右９０度のHRTFを測定したい場合、ユーザは、スピーカ１３に対して左９０度の方向に向く必要があるので、ターゲット角度が右９０度の場合のターゲット方向は左９０度となる。
　このように、ターゲット角度とターゲット方向は、どちらか一方が定まれば、他方が定まる関係にあるので、本実施の形態におけるターゲットリストには、HRTFを測定する際にユーザの向くべき方向であるターゲット方向のみが格納されているものとする。
　なお、ターゲットリストには、ターゲット方向TGのみが格納されるものとするが、ターゲット方向TGと、それに対応するターゲット角度の両方が格納されるようにしてもよい。逆に、ターゲットリストには、複数のターゲット角度のみが格納されるようにすることもできる。
　HRTF測定装置１２は、ユーザの操作に基づいて基準方向BLを設定した後、ターゲットリストに基づいて複数のターゲット方向TGを設定する。
　例えば、ユーザがARグラス１１を装着すると、「スピーカに体の正面を向けてください。」等のメッセージがAR画像として表示される。ユーザは、スピーカ１３に体の正面を向けて、操作ボタン２２を押下する。HRTF測定装置１２は、操作ボタン２２の押下を検出し、ユーザが現在向いている方向をスピーカ１３がある方向であるとして基準方向BLに設定し、１６個のターゲット方向TG１乃至TG１６を確定する。
　HRTF測定装置１２は、ユーザが向いている正面方向FCと、ユーザが向くべきターゲット方向TGｎ（ｎ＝１乃至１６のいずれか）を示すAR画像をARグラス１１に表示する。
　そして、HRTF測定装置１２は、角度センサ２１から供給される角度検出信号に基づいて、ユーザが向いている正面方向FCと、ユーザが向くべきターゲット方向TGｎが一致したと判定した場合に、測定音をスピーカ１３から出力させるとともに、マイクロホン２３で検出された測定音の信号（以下、音信号という。）を取得して、ターゲット方向TGｎにおけるユーザ専用のHRTFを測定する。
　以上の処理を、ターゲット方向TG１、TG２、TG３、・・・と順番に実行することにより、１６個のターゲット方向TG１乃至TG１６それぞれのHRTFが測定される。
　以上のように、HRTF測定システム１によれば、スピーカ１３を様々な角度に複数配置する代わりに、ユーザ自身が回転することで、スピーカ１３が固定された一つのみであっても、全周囲のターゲット角度のHRTFを測定することができる。
　なお、本実施の形態のHRTF測定システム１では、ARグラス１１を用いているが、ARグラス１１の代わりに、VR(Virtual Reality)技術を用いたVRヘッドマウントディスプレイでも同様のことが可能である。
　ただし、VRヘッドマウントディスプレイを用いた場合には、VRヘッドマウントディスプレイを装着した状態では、ユーザはスピーカ１３を視認することができない。そこで、例えば、「スピーカに体の正面を向けてVRヘッドマウントディスプレイを装着してください。」等の音声メッセージをスピーカ１３から出力し、ユーザは、準備が完了した時点で、操作ボタン２２を押下することで、基準方向BLを設定し、１６個のターゲット方向TG１乃至TG１６を確定することができる。
　あるいはまた、スピーカ１３にVRヘッドマウントディスプレイを検出するセンサを設け、HRTF測定装置１２が、センサの検出結果に基づいて、基準方向BLであるスピーカ１３の位置をVR画像として表示させ、ユーザに、VR画像として表示されているスピーカ１３が正面方向となるように移動させてもよい。
＜HRTF測定システムの詳細構成ブロック図＞
　図９は、HRTF測定システム１を構成する、ARグラス１１、HRTF測定装置１２、及びスピーカ１３の詳細構成を示すブロック図である。
　なお、図９において、上述した部分と対応する部分については同一の符号を付してあり、その説明は適宜省略する。
　ARグラス１１には、上述した角度センサ２１、操作ボタン２２、および、マイクロホン２３に加えて、AR画像表示部２４が追加されている。AR画像表示部２４は、HRTF測定装置１２から供給されるAR画像信号に基づいて、AR画像を表示する。
　HRTF測定装置１２は、マイクロホンアンプ５１、AD変換部５２、ユーザ正面方向検出部５３、ターゲット方向設定部５４、表示制御部５５、一致判定部５６、DA変換部５７、スピーカアンプ５８、HRTF測定部５９、および記録部６０を有する。
　マイクロホンアンプ５１は、マイクロホン２３から供給されるアナログの音信号を増幅して、AD変換部５２に供給する。AD変換部５２は、マイクロホンアンプ５１から供給されるアナログの音信号をデジタルの音信号に変換（AD変換）し、HRTF測定部５９に供給する。
　ユーザ正面方向検出部５３は、ARグラス１１の角度センサ２１から供給される角度検出信号に基づいて、ユーザが向いている正面方向FCを検出（計算）し、表示制御部５５及び一致判定部５６に供給する。
　ターゲット方向設定部５４は、記録部６０に記録されているターゲットリストを取得し、取得したターゲットリストに基づいて、ユーザのターゲット方向TGを設定し、表示制御部５５、一致判定部５６、およびHRTF測定部５９に供給する。
　表示制御部５５は、ユーザ正面方向検出部５３から供給されるユーザの正面方向FCと、ターゲット方向設定部５４から供給されるユーザのターゲット方向TGとに基づいて、ユーザの正面方向FCとターゲット方向TGを、所定の図や記号で表したAR画像を生成し、そのAR画像信号をAR画像表示部２４に供給する。AR画像は、ユーザの向いている方向をターゲット方向TGに誘導するガイド画像として機能する。ARグラス１１の操作ボタン２２から出力された操作信号は、表示制御部５５やHRTF測定部５９などに供給される。
　一致判定部５６は、ユーザ正面方向検出部５３から供給されるユーザの正面方向FCと、ターゲット方向設定部５４から供給されるユーザのターゲット方向TGとに基づいて、ユーザの向いている方向とターゲット方向TGが一致するかを判定し、判定結果をHRTF測定部５９に供給する。
　スピーカアンプ５８は、DA変換部５７から供給されるアナログの測定用信号を増幅して、スピーカ１３に供給する。DA変換部５７は、HRTF測定部５９から供給されるデジタルの測定用信号を、アナログの測定用信号に変換（DA変換）して、スピーカアンプ５８に供給する。ここで、測定用信号としては、例えば、TSP(Time Stretched Pulse)信号などが用いられる。
　HRTF測定部５９は、一致判定部５６から、ユーザの向いている方向がターゲット方向TGと一致したことを示す判定結果が供給された場合、記録部６０から取得した測定用信号をDA変換部５７に供給する。これにより、ユーザの向いている方向がターゲット方向TGと一致した場合に、測定音がスピーカ１３から出力される。
　また、HRTF測定部５９は、AD変換部５２から供給される測定音の音信号を取得し、逆関数による解析を行うことによりインパルス応答（HRTF）を算出し、記録部６０に記録する。
　記録部６０は、例えば、HDD（Hard　Disk　Drive）や半導体メモリなどで構成され、HRTFの測定に必要なデータを記録する。具体的には、記録部６０は、基準方向BLに対する複数のターゲット方向TGがリスト化されたターゲットリスト、測定音の音響データ（測定用信号）、マイクロホン２３により取得された測定音に基づいて作成された各ユーザのターゲット方向TG毎のHRTFなどを記憶する。
　ARグラス１１、HRTF測定装置１２、及びスピーカ１３は、以上のように構成される。
　なお、ARグラス１１、HRTF測定装置１２、及びスピーカ１３間でやりとりされる制御信号、音響信号、または、画像信号は、HDMI（登録商標）（High-Definition Multimedia Interface）ケーブルやUSB（Universal Serial Bus）ケーブル等を用いた有線通信により伝送してもよいし、Bluetooth(登録商標)やWi-Fi等の無線通信で伝送してもよい。
　また、HRTF測定装置１２は、ARグラス１１またはスピーカ１３のいずれか一方と一体に構成されてもよい。
＜HRTF測定処理のフローチャート＞
　次に、図１０のフローチャートを参照して、第１の実施形態に係るHRTF測定システム１によるHRTF測定処理を説明する。この処理は、例えば、測定対象者であるユーザがARグラス１１を装着し、測定の開始を指示するため、操作ボタン２２を押下したときに開始される。
　初めに、ステップＳ１において、ターゲット方向設定部５４は、記録部６０に記録されているターゲットリストを取得する。
　ステップＳ２において、表示制御部５５は、「スピーカに体の正面を向けて操作ボタンを押してください。」のメッセージを表示するAR画像信号をARグラス１１のAR画像表示部２４に供給する。これにより、ARグラス１１のAR画像表示部２４は、「スピーカに体の正面を向けて操作ボタンを押してください。」のメッセージを表示するAR画像を表示する。
　ステップＳ３において、表示制御部５５は、ARグラス１１からの操作信号に基づいて、操作ボタンが押下されたかを判定し、操作ボタン２２が押下されたと判定されるまで待機する。
　そして、ステップＳ３で、操作ボタン２２が押下されたと判定された場合、処理はステップＳ４に進み、表示制御部５５は、角度センサ２１から供給された角度検出信号が表す現在の角度（方向）を、基準方向BLに設定する。
　ステップＳ５において、ターゲット方向設定部５４は、取得したターゲットリストに基づいて、所定のターゲット方向TGｎ（ｎ＝１，２，３，・・・）を設定する。
　なお、基準方向BLが設定された直後のステップＳ５では、ターゲットリストに記載された複数のターゲット方向TGのうち、所定のターゲット方向TGｎを指定する変数ｎは１に設定されている。したがって、最初のステップＳ５の処理では、ターゲット方向TG１が設定される。
　ステップＳ６において、ユーザ正面方向検出部５３は、ARグラス１１の角度センサ２１から供給される角度検出信号に基づいて、ユーザが向いている正面方向FCを計算し、表示制御部５５及び一致判定部５６に供給する。
　ステップＳ７において、表示制御部５５は、設定されたターゲット方向TGｎと、ユーザ正面方向検出部５３から供給されたユーザの正面方向FCとに基づいて、ターゲット方向TGｎとユーザの正面方向FCとを示したAR画像を生成し、そのAR画像信号をAR画像表示部２４に供給する。ARグラス１１のAR画像表示部２４は、ターゲット方向TGとユーザの正面方向FCとを示したAR画像を表示する。
　ステップＳ８において、一致判定部５６は、ユーザ正面方向検出部５３から供給されたユーザの正面方向FCと、ターゲット方向設定部５４により設定されたユーザのターゲット方向TGｎとに基づいて、ユーザの向いている方向がターゲット方向TGｎと一致したかを判定する。
　ステップＳ８では、ユーザの正面方向FCとターゲット方向TGｎとの角度差分が、予め設定された所定の範囲内であると判定された場合に、ユーザの向いている方向がターゲット方向TGｎと一致したと判定される。
　ステップＳ８で、ユーザの向いている方向がターゲット方向TGｎと一致していないと判定された場合、処理はステップＳ８に戻される。これにより、ユーザの正面方向FCとターゲット方向TGを示したAR画像が、ユーザの向いている方向がターゲット方向TGｎと一致したと判定されるまで更新されて、ARグラス１１に表示される。
　そして、ステップＳ８で、ユーザの向いている方向がターゲット方向TGｎと一致したと判定された場合、処理はステップＳ９に進み、一致判定部５６は、一致したことを示す判定結果をHRTF測定部５９に供給し、HRTF測定部５９は、測定音をスピーカ１３から出力させる。即ち、HRTF測定部５９は、記録部６０から取得した測定用信号をDA変換部５７に供給し、測定用信号は、DA変換、増幅された後、スピーカ１３に供給され測定音として、スピーカ１３から出力される。
　次に、ステップＳ１０において、HRTF測定部５９は、ARグラス１１のマイクロホン２３で検出された測定音の音信号を取得して、ターゲット方向TGｎにおけるHRTFを測定する。即ち、HRTF測定部５９は、ARグラス１１のマイクロホン２３から、マイクロホンアンプ５１およびAD変換部５２を介して供給された測定音の音信号を取得し、逆関数による解析を行うことによりインパルス応答を算出して、記録部６０に記録する。
　ステップＳ１１において、HRTF測定部５９は、ターゲットリストの全てのターゲット方向TGについてHRTFを測定したかを判定する。
　ステップＳ１１で、ターゲットリストの全てのターゲット方向TGについてHRTFを測定していないと判定された場合、処理はステップＳ１２に進み、ターゲット方向設定部５４は、ターゲット方向TGｎを指定する変数ｎを１だけインクリメントする。その後、処理がステップＳ５に戻される。ステップＳ５では、更新されたターゲット方向TGｎが設定され、それ以降の処理が繰り返される。
　一方、ステップＳ１１で、ターゲットリストの全てのターゲット方向TGについてHRTFを測定したと判定された場合、HRTF測定処理は終了する。
　HRTF測定システム１は、以上のようにHRTF測定処理を実行することにより、固定された一つのスピーカ１３のみを用いて所望のHRTFを測定することができる。
　これにより、個人専用の全周分のHRTFを一つのスピーカ１３のみで簡易的に取得することができるので、個人のHRTFをより簡単に取得することができる。
　上述したHRTF測定処理では、ユーザの向いている方向がターゲット方向TGｎと一致した場合に、自動でHRTFの測定（測定音の出力）を開始するようにした。しかしながら、ユーザに操作ボタン２２を押下させて、そのボタン操作がされたタイミングで、HRTFの測定を開始してもよい。この場合、測定開始のタイミングをユーザが判断することができる。
　また、上述したHRTF測定処理において、HRTFを測定中のユーザの頭部の動きをモニタし、変位や速度、加速度などの何らかの値が、所定の範囲を逸脱した場合には、測定をやり直すようにしてもよい。
　上述した例では、HRTFを測定する複数のターゲット方向TGは、記録部６０に記録されているターゲットリストを読み出すことにより設定されるようにしたが、キーボードやタッチパネル等の操作部を用いて、ユーザが入力するようにしてもよい。
＜AR画像の表示例＞
　次に、上述した第１の実施の形態のHRTF測定処理においてARグラス１１に表示されるAR画像の表示例について説明する。
　図１１は、ユーザの方向を所定のターゲット方向TGに向かわせる場合に、ターゲット方向TGとユーザの正面方向FCとを示したAR画像において表示される、ターゲット方向TGを示す画像と、ユーザの正面方向FCを示す画像の例を示している。
　例えば、図１１に示されるように、ターゲット方向TGを示す画像７１は、丸（○）の記号（画像）で表示され、ユーザの正面方向FCを示す画像７２は、バツ（×）の記号（画像）で表示される。
　そして、現在のユーザの正面方向FCとターゲット方向TGとの角度の差分（角度差分）が所定の範囲より大きい場合には、ターゲット方向TGを示す画像７１とユーザの正面方向FCを示す画像７２は、図１２のAに示されるように表示されるが、現在のユーザの正面方向FCとターゲット方向TGとの角度の差分が第１の範囲R1以内となった場合、ターゲット方向TGを示す画像７１が、図１２のBに示されるように、現在のユーザの正面方向FCがターゲット方向TGに対して第１の範囲R1内に近づいたことを示す表示に変更される。図１２のBでは、ターゲット方向TGを示す画像７１は、第１の範囲R1内に近づいたことを示す表示として、丸の周辺に影（ぼかし）が付加された表示に変更されている。
　そして、さらに、現在のユーザの正面方向FCとターゲット方向TGとの角度の差分が第２の範囲R2以内（第１の範囲R1＞第２の範囲R2）となり、現在のユーザの正面方向FCがターゲット方向TGと一致したと判定される場合には、ターゲット方向TGを示す画像７１が、図１２のCに示されるように、現在のユーザの正面方向FCがターゲット方向TGと一致したことを示す表示に変更される。図１２のCでは、ターゲット方向TGを表す画像７１は、現在のユーザの正面方向FCがターゲット方向TGと一致したことを示す表示として、丸の内部（内周）の色が通常の色と異なる所定の色（例えば、黒色から赤色）に変更された表示となっている。
　このように、ユーザの向いている方向をターゲット方向TGに誘導するAR画像では、現在のユーザの正面方向FCとターゲット方向TGとの角度の差分に応じて、ターゲット方向TGを示す画像７１の表示（色や図形）を変化させることにより、ターゲット方向TGへの近づき具合をユーザに提示することができる。
　なお、図１２の例では、ユーザの正面方向FCとターゲット方向TGとの角度差分に応じて、ターゲット方向TGを示す画像７１の表示を変化させたが、反対に、ユーザの正面方向FCを示す画像７２の表示を変更してもよい。
　ターゲット方向TGが、現在のユーザの正面方向FCの視野範囲内に存在する場合には、図１２に示したように、ターゲット方向TGを示す画像７１とユーザの正面方向FCを示す画像７２を同時に表示させることが可能である。
　しかしながら、ターゲット方向TGが、例えば、真後ろの方向である場合など、ユーザの視野範囲外に存在する場合には、ターゲット方向TGを示す画像７１を表示することができず、ユーザは、ターゲット方向TGがどこか分からない。
　そこで、表示制御部５５は、ターゲット方向TGがユーザの視野範囲外に存在する場合には、例えば、図１３に示されるように、ターゲット方向TGを示す画像７１の代わりに、ターゲット方向TGにユーザを誘導する誘導画像７３を表示させる。誘導画像７３は、図２３で後述する上下左右方向の矢印１４２と区別されるように、所定の曲率を持つ円弧状の矢印で表現される。
　図１３のAは、ターゲット方向TGがユーザの視野範囲外にあり、遠い場合、換言すれば、現在のユーザの正面方向FCとターゲット方向TGとの角度差分が第３の範囲R3より大きい場合の誘導画像７３の例を示している。
　図１３のBは、ターゲット方向TGがユーザの視野範囲外にあり、近い場合、換言すれば、現在のユーザの正面方向FCとターゲット方向TGとの角度差分が第４の範囲R4より大きく、かつ、第３の範囲R3以内である場合（第３の範囲R3＞第４の範囲R4）の誘導画像７３の例を示している。
　図１３のAおよびBにおいて、誘導画像７３は、回転方向を示す矢印で表され、ユーザの正面方向FCとターゲット方向TGとの角度差分が大きいほど、矢印の長さが長い表示となっている。
　誘導画像７３の矢印の長さは、ユーザの正面方向FCとターゲット方向TGとの角度差分に比例するように表示が変更されてもよいし、複数段階の切り替えで表示されるものでもよい。
　なお、ユーザは、図１４に示されるように、頭の横方向の傾き（ロール）が水平でない場合もあるため、頭の横方向の傾きに関する情報（ロール情報）も含めたAR画像をARグラス１１に表示してもよい。
　図１５は、頭の横方向の傾きも含めた場合の、ターゲット方向TGを示す画像と、ユーザの正面方向FCを示す画像の例を示している。
　頭の横方向の傾きも含めてターゲット方向TGを示す場合には、上下左右の向きが分かるような表示を行う必要がある。例えば、ターゲット方向TGを示す画像８１は、図１５に示されるように、内部に十字を描いた円（大円）に、それよりも小さい円（小円）が隣接（外接）した画像で表示される。この場合、小円の方向が上（頭上）を表し、図１５の例は、ユーザに、頭の横方向の傾きを左方向に傾かせる表示に相当する。
　ユーザの正面方向FCを示す画像８２は、上下左右の４方向の矢印を有する十字の画像で表示される。正面方向FCに関しては、上下左右方向の表示は必ずしも必要ではないが、ターゲット方向TGとの関係をより分かりやすくするために付けられている。
　図１６は、ロール情報も含むターゲット方向TGを示す画像８１とユーザの正面方向FCを示す画像８２で、方向に関する一致具合をフィードバックする表示例を示している。
　図１６のAは、方向が近づいた場合のフィードバック表示例を示している。
　図１６のBは、方向が一致した場合のフィードバック表示例を示している。
　方向が近づいた場合、表示制御部５５は、図１６のAに示されるように、ターゲット方向TGを示す画像８１の大円の周辺に影（ぼかし）を付加した表示に変更する。
　そして、方向が一致した場合、表示制御部５５は、図１６のBに示されるように、ターゲット方向TGを示す画像８１の大円の内部（内周）の色を、通常の色と異なる所定の色（例えば、黒色から赤色）に変更する。
　図１７は、ロール情報も含むターゲット方向TGを示す画像８１とユーザの正面方向FCを示す画像８２で、ロールに関する一致具合をフィードバックする表示例を示している。
　図１７のAは、ロールが近づいた場合のフィードバック表示例を示している。
　図１７のBは、ロールが一致した場合のフィードバック表示例を示している。
　ロールが近づいた場合、表示制御部５５は、図１７のAに示されるように、ユーザの正面方向FCを示す画像８２の４方向の矢印を有する十字と小円の周辺に影（ぼかし）を付加した表示に変更する。
　ロールが一致した場合、表示制御部５５は、図１７のBに示されるように、ユーザの正面方向FCを示す画像８２の４方向の矢印を有する十字と小円の色を、通常の色と異なる所定の色（例えば、黒色から赤色）に変更する。
　図１８は、ロールと方向の両方が一致した場合のフィードバック表示例を示している。
　ロールと方向の両方が一致した場合、図１６のBと図１７のBに示した画像が混合した表示となる。即ち、図１８に示されるように、ターゲット方向TGを示す画像８１の大円の内部（内周）および小円と、ユーザの正面方向FCを示す画像８２の４方向の矢印を有する十字の色が、通常の色と異なる所定の色（例えば、黒色から赤色）に変更される。
　このように、表示制御部５５は、ターゲット方向TGを示す画像８１とユーザの正面方向FCを示す画像８２をロール情報も含めて表示する場合、方向のみが一致した場合と、ロールのみが一致した場合と、方向とロールの両方が一致した場合とで、表示を異ならせることができる。
＜４．HRTF測定システムの第２の実施形態＞
　次に、HRTF測定システムの第２の実施形態について説明する。
＜システム構成例＞
　図１９は、本開示の技術を適用したHRTF測定システムの第２の実施形態の構成を示している。
　なお、第２の実施形態の説明においては、上述した第１の実施形態と共通する部分についての説明は適宜省略し、第１の実施形態と異なる部分について説明する。第２の実施形態における図面において、第１の実施形態と対応する部分については同一の符号を付してある。
　第２の実施形態に係るHRTF測定システム１では、ARグラス１１、HRTF測定装置１２、及び、スピーカ１３に加えて、カメラ１０１が新たに設けられている。
　第２の実施形態に係るARグラス１１には、カメラ１０１で撮像（認識）可能な複数のマーカMKが付されている。図１９の例では、３個のマーカMK１乃至MK３が、ARグラス１１に付されている。また、ARグラス１１では、角度センサ２１が省略されている。
　同様に、第２の実施形態に係るスピーカ１３にも、カメラ１０１で撮像（認識）可能な複数のマーカMKが付されている。図１９の例では、２個のマーカMK１１およびMK１２が、スピーカ１３に付されている。
　カメラ１０１は、例えば、CMOS（Complementary　Metal　Oxide　Semiconductor）センサまたはCCD（Charge　Coupled　Device）などの撮像素子を含み、ARグラス１１に付された３個のマーカMK１乃至MK３と、スピーカ１３に付された２個のマーカMK１１およびMK１２を撮像し、その結果得られる撮像画像をHRTF測定装置１２に供給する。カメラ１０１は、２つの撮像素子を所定間隔あけて配列したステレオカメラでもよい。
　第２の実施形態において、HRTF測定装置１２、スピーカ１３、およびカメラ１０１は、一体の装置として構成することができる。これらを一体にした装置は、例えば、スマートフォンやパーソナルコンピュータで実現できる。HRTF測定装置１２、スピーカ１３、およびカメラ１０１が一体の装置として構成される場合、２個のマーカMK１１およびMK１２は省略される。
＜HRTF測定システムの詳細構成ブロック図＞
　図２０は、第２の実施形態に係るHRTF測定システム１の詳細構成例を示すブロック図である。
　図２０を第１の実施形態における図９と比較すると、ARグラス１１において、角度センサ２１が省略されている。また、HRTF測定装置１２において、第１の実施形態におけるユーザ正面方向検出部５３が、ユーザ正面方向検出部１１１に置き換えられている。また、上述したように、カメラ１０１が追加されている。
　HRTF測定装置１２のユーザ正面方向検出部１１１には、カメラ１０１で撮像された画像（撮像画像）が供給される。
　ユーザ正面方向検出部１１１は、カメラ１０１から供給される撮像画像に含まれるARグラス１１に付された３個のマーカMK１乃至MK３と、スピーカ１３に付された２個のマーカMK１１およびMK１２を検出する。
　そして、ユーザ正面方向検出部１１１は、検出した３個のマーカMK１乃至MK３に基づいて、所定の位置を原点とした３次元座標系上におけるARグラス１１の位置を計算する。ARグラス１１の位置は、ARグラス１１を装着したユーザの頭の位置と同等である。同様に、ユーザ正面方向検出部１１１は、検出した２個のマーカMK１１およびMK１２に基づいて、上記３次元座標系上におけるスピーカ１３の位置を計算する。
　さらに、ユーザ正面方向検出部１１１は、計算により得られたARグラス１１の位置とスピーカ１３の位置から、スピーカ１３の位置を基準として、ユーザが向いている正面方向FCを検出（計算）し、表示制御部５５及び一致判定部５６に供給する。
　また、ユーザ正面方向検出部１１１は、計算により得られたARグラス１１の位置とスピーカ１３の位置から、スピーカ１３からユーザまでの距離も算出し、算出した距離を表示制御部５５及び一致判定部５６に供給する。
　なお、スピーカ１３の位置を基準とするARグラス１１の位置及び距離の算出には、例えばSLAM(Simultaneously Localization And Mapping)などの位置姿勢推定技術を用いてもよい。
　第２の実施形態における記録部６０が記憶するターゲットリストには、所定の基準方向BLに対する複数のターゲット方向TGと、スピーカ１３からユーザまでの距離（以下、ターゲット距離という。）が記録されている。
＜HRTF測定処理のフローチャート＞
　次に、図２１のフローチャートを参照して、第２の実施形態に係るHRTF測定システム１によるHRTF測定処理を説明する。この処理は、例えば、測定対象者であるユーザがARグラス１１を装着し、測定の開始を指示するため、操作ボタン２２を押下したときに開始される。
　初めに、ステップＳ２１において、ターゲット方向設定部５４は、記録部６０に記録されているターゲットリストを取得する。第２の実施形態のターゲットリストには、上述したように、複数のターゲット方向TGと、スピーカ１３からユーザまでのターゲット距離が記録されている。
　ステップＳ２２において、ターゲット方向設定部５４は、取得したターゲットリストに基づいて、所定のターゲット方向TGｎ（ｎ＝１，２，３，・・・）を設定する。
　なお、基準方向BLが設定された直後のステップＳ２２では、ターゲットリストに記載された複数のターゲット方向TGのうち、所定のターゲット方向TGｎを指定する変数ｎは１に設定されている。したがって、最初のステップＳ２２の処理では、ターゲット方向TG１が設定される。
　ステップＳ２３において、ユーザ正面方向検出部１１１は、カメラ１０１から供給された撮像画像に基づいて、スピーカ１３の位置を基準として、ユーザが向いている正面方向FCと、スピーカ１３からユーザまでの距離を計算する。
　より詳しくは、ユーザ正面方向検出部１１１は、カメラ１０１で撮像された画像に含まれるARグラス１１に付された３個のマーカMK１乃至MK３と、スピーカ１３に付された２個のマーカMK１１およびMK１２の位置を検出する。そして、ユーザ正面方向検出部１１１は、検出した３個のマーカMK１乃至MK３と２個のマーカMK１１およびMK１２の位置に基づいて、スピーカ１３の位置を基準として、ユーザが向いている正面方向FCを計算する。また、ユーザ正面方向検出部１１１は、スピーカ１３からユーザまでの距離も計算する。計算されたユーザの正面方向FCとユーザまでの距離は、表示制御部５５及び一致判定部５６に供給される。
　ステップＳ２４において、表示制御部５５は、設定されたターゲット方向TGｎと、ユーザ正面方向検出部１１１から供給されたユーザの正面方向FCおよびユーザまでの距離とに基づいて、ターゲット方向TGｎ、ユーザの正面方向FC、およびユーザまでの距離を示したAR画像を生成し、そのAR画像信号をAR画像表示部２４に供給する。ARグラス１１のAR画像表示部２４は、ターゲット方向TGｎ、ユーザの正面方向FC、およびユーザまでの距離を示したAR画像を表示する。
　ステップＳ２５において、一致判定部５６は、ユーザ正面方向検出部１１１から供給されたユーザの正面方向FCおよびユーザまでの距離と、ターゲット方向設定部５４により設定されたユーザのターゲット方向TGｎおよびターゲット距離とに基づいて、ユーザの向いている方向および距離が、ターゲット方向TGｎおよびターゲット距離と一致したかを判定する。
　ステップＳ２５では、ユーザの正面方向FCとターゲット方向TGｎとの角度差分が、予め設定された所定の範囲内であると判定された場合に、ユーザの向いている方向がターゲット方向TGｎと一致したと判定される。また、ユーザまでの距離については、ユーザ正面方向検出部１１１から供給されたユーザまでの距離とターゲット距離との距離差分が、予め設定された所定の範囲内であると判定された場合に、スピーカ１３からユーザまでの距離がターゲット距離と一致したと判定される。
　ステップＳ２５で、ユーザの向いている方向および距離がターゲット方向TGｎおよびターゲット距離と一致していないと判定された場合、処理はステップＳ２５に戻される。これにより、ターゲット方向TGｎ、ユーザの正面方向FC、およびユーザまでの距離を示したAR画像が、ユーザの向いている方向および距離がターゲット方向TGｎおよびターゲット距離と一致したと判定されるまで更新されて、ARグラス１１に表示される。
　そして、ステップＳ２５で、ユーザの向いている方向および距離がターゲット方向TGｎおよびターゲット距離と一致したと判定された場合、処理はステップＳ２６に進み、一致判定部５６は、一致したことを示す判定結果をHRTF測定部５９に供給し、HRTF測定部５９は、測定音をスピーカ１３から出力させる。即ち、HRTF測定部５９は、記録部６０から取得した測定用信号をDA変換部５７に供給し、測定用信号は、DA変換、増幅された後、スピーカ１３に供給され、測定音として、スピーカ１３から出力される。
　次に、ステップＳ２７において、HRTF測定部５９は、ARグラス１１のマイクロホン２３で検出された測定音の音信号を取得して、ターゲット方向TGｎにおけるHRTFを測定する。即ち、HRTF測定部５９は、ARグラス１１のマイクロホン２３から、マイクロホンアンプ５１およびAD変換部５２を介して供給された測定音の音信号を取得し、逆関数による解析を行うことによりインパルス応答を算出して、記録部６０に記録する。
　ステップＳ２８において、HRTF測定部５９は、ターゲットリストの全てのターゲット方向TGについてHRTFを測定したかを判定する。
　ステップＳ２８で、ターゲットリストの全てのターゲット方向TGについてHRTFを測定していないと判定された場合、処理はステップＳ２９に進み、ターゲット方向設定部５４は、ターゲット方向TGｎを指定する変数ｎを１だけインクリメントする。その後、処理がステップＳ２２に戻される。ステップＳ２２では、更新されたターゲット方向TGｎが設定され、それ以降の処理が繰り返される。
　一方、ステップＳ２８で、ターゲットリストの全てのターゲット方向TGについてHRTFを測定したと判定された場合、HRTF測定処理は終了する。
　以上の第２の実施形態におけるHRTF測定処理では、カメラ１０１から供給された撮像画像に基づいて、スピーカ１３に対するユーザの位置を検出することができるので、第１の実施形態のHRTF測定処理のステップＳ２乃至Ｓ４で実施されていた、スピーカ１３に対する基準方向BLを設定する基準方向設定処理が省略されている。
　HRTF測定システム１は、以上のようにHRTF測定処理を実行することにより、固定された一つのスピーカ１３のみを用いて所望のHRTFを測定することができる。
　これにより、個人専用の全周分のHRTFを一つのスピーカ１３のみで簡易的に取得することができるので、個人のHRTFをより簡単に取得することができる。
　第２の実施形態によれば、ユーザが向いている正面方向FCをターゲット方向TGに合わせるだけでなく、スピーカ１３からユーザまでの距離も、複数のターゲット方向TGどうしで合わせてHRTFを測定することができる。これにより、第１の実施形態における場合よりも、高精度にHRTFを測定することができる。
　なお、上述した第２の実施形態では、ユーザ正面方向検出部１１１が、カメラ１０１が撮像した画像に含まれるマーカMKに基づいて、ユーザ（が装着しているARグラス１１）とスピーカ１３の位置（方向を含む）および距離を検出するようにしたが、ユーザとスピーカ１３の位置および距離の検出方法は、これに限定されない。
　例えば、サーモグラフィや、ToF（Time of Flight）方式を用いて被写体までの距離を計測するToFセンサ、ストラクチャライト法などを用いた距離の計測など、ユーザとスピーカ１３の位置および距離を検出する検出装置であればよい。また、位置と距離は、異なる装置で別々に検出してもよい。
　また、上述した第２の実施形態では、ターゲットリストに格納された複数のターゲット方向TGについて、ターゲット方向だけでなく、スピーカ１３までの距離も合わせるように、ユーザを誘導するようにしたが、スピーカ１３までの距離については一致するように制御しないようにすることもできる。この場合には、HRTF測定部５９は、各ターゲット方向TGｎのHRTFを測定したときのスピーカ１３までの距離を、HRTFの測定結果とともに記録部６０に記録しておき、測定後の後処理において、各ターゲット方向TGｎのHRTFを測定したときの距離差分に応じた時間差を調整するHRTFの補正を行うことができる。
　ターゲットリストには、所定の基準方向BLに対する複数のターゲット方向TGと、スピーカ１３からユーザまでの距離が記録されているようにしたが、第１の実施形態と同様に、ユーザまでの距離は省略してもよい。この場合、図２１のHRTF測定処理では、例えば、最初のターゲット方向TG１を測定したときの距離を基準として、その距離に合わせて、各ターゲット方向TGにおけるHRTFを測定することができる。
　あるいは反対に、記録部６０には、スピーカ１３からユーザまでの距離を複数記録しておき、異なる複数の距離について、ユーザ専用のHRTFを測定するようにしてもよい。
＜AR画像の表示例＞
　次に、上述した第２の実施の形態のHRTF測定処理においてARグラス１１に表示されるAR画像の表示例について説明する。
　第２の実施の形態では、ターゲット方向TGだけでなく、スピーカ１３までの距離も検出することができるので、ARグラス１１に表示されるAR画像では、スピーカ１３までの距離をユーザに誘導する表示が可能となっている。
　図２２は、スピーカ１３までの距離情報をユーザにフィードバックするユーザの正面方向FCを示す画像の例を示している。
　表示制御部５５は、図２２に示されるように、HRTF測定を行うターゲット距離に対して、現在のユーザの距離が短い（スピーカ１３との距離が近い）場合、上下左右の４方向の矢印を有する十字を用いたユーザの正面方向FCを示す画像１２１を拡大表示させ、現在のユーザの距離が長い（スピーカ１３との距離が遠い）場合、ユーザの正面方向FCを示す画像１２１を縮小表示させる。
　一方、表示制御部５５は、現在のユーザの距離とターゲット距離との差分が所定の範囲内であり、現在のユーザの距離がターゲット距離と等しい（スピーカ１３との距離が等しい）場合、例えば、上下左右の４方向の矢印を有する十字を用いたユーザの正面方向FCを示す画像１２１に破線の四角形１２２を付加した表示を行う。
　なお、現在のユーザの距離とターゲット距離とが等しい場合のユーザの正面方向FCを示す画像１２１の大きさは、例えば、図１５に示した、距離情報を含めない場合のユーザの正面方向FCを示す画像１２１の大きさと同じにすることができる。
　第２の実施形態では、スピーカ１３の位置を基準とした方向（角度）だけでなく、上下左右方向の位置も検出することができるので、ターゲット方向TGだけでなく、上下左右方向の位置も誘導する表示が可能である。
　図２３は、スピーカ１３に対するユーザの上下左右方向の位置情報をユーザにフィードバックする場合の表示例を示している。
　表示制御部５５は、スピーカ１３に対するユーザの上下左右方向の位置情報をユーザにフィードバックする場合、図２３に示されるように、ユーザの正面方向FCを示す画像１２１の外側に、奥行きを表現する２本の斜線１４１を付加したAR画像を表示させる。２本の斜線１４１は、ユーザへの移動指示が、回転動作ではなく、平行移動動作であることを表現している。
　そして、表示制御部５５は、ユーザの上下左右方向の位置がずれている場合には、そのずれを修正する方向に対応する、上矢印の画像１４２U、下矢印の画像１４２D、右矢印の画像１４２R、または、左矢印の画像１４２Lのいずれかを、ユーザの正面方向FCを示す画像１２１の外側に表示させる。なお、図２３の例では、距離が等しい場合の表示例として、ユーザの正面方向FCを示す画像１２１の外側に、破線の四角形１２２も表示されている。
　このように、第２の実施形態では、スピーカ１３までの距離情報も含めたAR画像や、スピーカ１３に対する上下左右のユーザの位置情報も含めたAR画像を表示することができる。
＜５．変形例＞
　以下、上述した実施の形態の変形例について説明する。
　上述した実施の形態では、説明を簡単にするため、ユーザの頭部（耳）を通る水平面上の複数のターゲット角度（ターゲット方向TG）におけるHRTFの測定について説明したが、実際には、HRTFは、ユーザを囲む球面状に分布させた多数のターゲット角度に対して測定される。
　本技術を適用して、球面状に分布させた多数のターゲット角度のHRTFを測定する場合には、ターゲットリストに格納されるターゲット角度またはターゲット方向を、水平角と仰角の２個の情報で定義することで実現できる。
　また、ロール（頭の横方向の傾き）も制御の対象として含める場合には、ターゲット角度は水平角と仰角の２個の情報で定義されるが、ターゲット方向については、水平角、仰角、およびロールの３個の情報で定義される。１つのターゲット方向であってもロールを変更することで、異なるターゲット角度のHRTFが測定できる。
　上述した実施の形態では、ターゲットリストに格納された複数のターゲットリストTG１乃至TGＮのうち、最初のターゲットリストTG１から順番にHRTFを測定するようにしたが、ランダムにターゲット方向TGを選択してもよい。また、ターゲット方向TGを１つずつAR画像に表示するのではなく、複数のターゲット方向TGを同時に表示して、ユーザが所望のターゲット方向TGを選択するようにしてもよい。
　上述したHRTF測定システム１は、一部の機能をネットワークを介して１以上の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。例えば、記録部６０に記録されていたターゲットリストや、測定結果であるHRTFは、クラウド上の情報処理装置に保存させることができる。
　上述した各実施形態において、ターゲット方向TGおよびターゲット距離に対して、遠い、近い、一致している等の判定を行うための閾値は予め設定されているものとするが、設定画面において、ユーザ自身が、閾値を任意に設定できるようにすることができる。
　また、フィードバックのパラメータ数が多すぎてユーザが混乱する場合も考えられるので、設定画面を用いて、AR画像として表示させるフィードバック情報を選択（指定）できるようにしてもよい。
　ユーザに対して位置情報や方向情報をフィードバックするための上述した各種のAR画像の表示例は、飽くまで一例であり、上述した例に限られない。また、フィードバック情報は、上述のAR画像のように、視覚でユーザに与えるものでもよいし、音や振動など他のモーダルを用いて与えてもよく、またそれらを組み合わせてもよい。
＜６．コンピュータ構成例＞
　上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているマイクロコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
　図２４は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
　コンピュータにおいて、CPU（Central Processing Unit）２０１，ROM（Read Only Memory）２０２，RAM（Random Access Memory）２０３は、バス２０４により相互に接続されている。
　バス２０４には、さらに、入出力インタフェース２０５が接続されている。入出力インタフェース２０５には、入力部２０６、出力部２０７、記憶部２０８、通信部２０９、及びドライブ２１１が接続されている。
　入力部２０６は、キーボード、マウス、マイクロホンなどよりなる。出力部２０７は、ディスプレイ、スピーカなどよりなる。記憶部２０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部２０９は、ネットワークインタフェースなどよりなる。
　撮像部２１０は、CCD(Charge Coupled Device)やCMOS（Complementary Metal Oxide Semiconductor）センサ等の撮像素子により構成される。撮像部２１０は、被写体を撮像し、撮像した被写体の画像データを、入出力インタフェース２０５を介してCPU２０１等に供給する。
　ドライブ２１１は、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブル記録媒体２１２を駆動する。
　以上のように構成されるコンピュータでは、CPU２０１が、例えば、記憶部２０８に記憶されているプログラムを、入出力インタフェース２０５及びバス２０４を介して、RAM２０３にロードして実行することにより、上述した一連のHRTF測定処理が行われる。
　コンピュータでは、プログラムは、リムーバブル記録媒体２１２をドライブ２１１に装着することにより、入出力インタフェース２０５を介して、記憶部２０８にインストールすることができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して、通信部２０９で受信し、記憶部２０８にインストールすることができる。その他、プログラムは、ROM２０２や記憶部２０８に、あらかじめインストールしておくことができる。
　本明細書において、フローチャートに記述されたステップは、記載された順序に沿って時系列的に行われる場合はもちろん、必ずしも時系列的に処理されなくとも、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで実行されてもよい。
　本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
　本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
　例えば、上述した複数の実施の形態の全てまたは一部を組み合わせた形態を採用することができる。
　例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
　また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
　さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
　なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、本明細書に記載されたもの以外の効果があってもよい。
　なお、本技術は以下のような構成も取ることができる。
（１）
　HRTF測定装置が、
　ユーザの向くべき方向であるターゲット方向を示す画像を表示させ、
　前記ユーザの正面方向と前記ターゲット方向が一致した場合に、測定音をスピーカから出力させて、前記ユーザの耳に装着したマイクロホンで前記測定音を収音した結果を基に、HRTFの測定を行う
　HRTF測定方法。
（２）
　前記ターゲット方向を示す画像とともに、前記ユーザの正面方向を示す画像も表示させる
　前記（１）に記載のHRTF測定方法。
（３）
　前記スピーカの位置を基準位置として、前記ターゲット方向を示す画像を表示させる
　前記（１）または（２）に記載のHRTF測定方法。
（４）
　前記基準位置としての前記スピーカの位置を表示して、前記ターゲット方向を示す画像を前記ユーザに表示する
　前記（３）に記載のHRTF測定方法。
（５）
　前記ターゲット方向が視野範囲外に存在する場合、前記ターゲット方向に前記ユーザを誘導する誘導画像を表示させる
　前記（１）乃至（４）のいずれかに記載のHRTF測定方法。
（６）
　前記ユーザと前記スピーカとの距離を測定して、前記距離の情報を示す画像も表示させる
　前記（１）乃至（５）のいずれかに記載のHRTF測定方法。
（７）
　前記ユーザの正面方向と前記ターゲット方向との差分に応じて、前記ターゲット方向を示す画像または前記ユーザの正面方向を示す画像を変化させる
　前記（１）乃至（６）のいずれかに記載のHRTF測定方法。
（８）
　前記ターゲット方向を示す画像には、前記ユーザの頭の横方向の傾きに関する情報も含む
　前記（１）乃至（７）のいずれかに記載のHRTF測定方法。
（９）
　前記ユーザの正面方向のみが一致した場合と、前記ユーザの頭の横方向の傾きのみが一致した場合と、前記ユーザの正面方向と前記ユーザの頭の横方向の傾きの両方が一致した場合とで表示を異ならせる
　前記（８）に記載のHRTF測定方法。
（１０）
　前記スピーカに対して上下左右方向の前記ユーザの位置を示す画像も表示させる
　前記（１）乃至（９）のいずれかに記載のHRTF測定方法。
（１１）
　ユーザの向くべき方向であるターゲット方向を示す画像を表示させる表示制御部と、
　前記ユーザの正面方向と前記ターゲット方向が一致した場合に、測定音をスピーカから出力させて、前記ユーザの耳に装着したマイクロホンで前記測定音を収音した結果を基に、HRTFの測定を行うHRTF測定部と
　を備えるHRTF測定装置。
（１２）
　前記表示制御部は、前記ターゲット方向を示す画像とともに、前記ユーザの正面方向を示す画像も表示させる
　前記（１１）に記載のHRTF測定装置。
（１３）
　前記ユーザが装着した装置で検出された角度検出信号に基づいて、前記ユーザの正面方向を検出するユーザ正面方向検出部をさらに備える
　前記（１１）または（１２）に記載のHRTF測定装置。
（１４）
　前記ユーザと前記スピーカの位置及び距離を検出する検出装置の検出結果に基づいて、前記ユーザの正面方向を検出するユーザ正面方向検出部をさらに備える
　前記（１１）または（１２）に記載のHRTF測定装置。
（１５）
　前記検出装置は、前記ユーザと前記スピーカを撮像する撮像装置であり、
　前記ユーザ正面方向検出部は、前記撮像装置により撮像された画像に基づいて、前記ユーザの正面方向を検出する
　前記（１４）に記載のHRTF測定装置。
（１６）
　前記ターゲット方向を特定する情報を記録する記録部をさらに備える
　前記（１１）乃至（１５）のいずれかに記載のHRTF測定装置。
（１７）
　前記ターゲット方向を特定する情報は、前記ターゲット方向か、または、測定したいHRTFの角度であるターゲット角度の少なくとも一方である
　前記（１６）に記載のHRTF測定装置。
（１８）
　前記ターゲット方向を特定する情報には、前記スピーカから前記ユーザまでの距離も含む
　前記（１６）または（１７）に記載のHRTF測定装置。
（１９）
　コンピュータに、
　ユーザの向くべき方向であるターゲット方向を示す画像を表示させ、
　前記ユーザの正面方向と前記ターゲット方向が一致した場合に、測定音をスピーカから出力させて、前記ユーザの耳に装着したマイクロホンで前記測定音を収音した結果を基に、HRTFの測定を行う
　処理を実行させるためのプログラム。
　１　HRTF測定システム，　１１　ARグラス，　１２　HRTF測定装置，　１３　スピーカ，　２１　角度センサ，　２２　操作ボタン，　２３　マイクロホン，　５３　ユーザ正面方向検出部，　５４　ターゲット方向設定部，　５５　表示制御部，　５６　一致判定部，　５９　HRTF測定部，　６０　記録部，　１０１　カメラ，　１１１　ユーザ正面方向検出部　，　２０１　CPU，　２０２　ROM，　２０３　RAM，　２０６　入力部，　２０７　出力部，　２０８　記憶部，　２０９　通信部，　２１０　撮像部，　２１１　ドライブ

Claims (19)

  1. 　HRTF測定装置が、
    　ユーザの向くべき方向であるターゲット方向を示す画像を表示させ、
    　前記ユーザの正面方向と前記ターゲット方向が一致した場合に、測定音をスピーカから出力させて、前記ユーザの耳に装着したマイクロホンで前記測定音を収音した結果を基に、HRTFの測定を行う
    　HRTF測定方法。
  2. 　前記ターゲット方向を示す画像とともに、前記ユーザの正面方向を示す画像も表示させる
    　請求項１に記載のHRTF測定方法。
  3. 　前記スピーカの位置を基準位置として、前記ターゲット方向を示す画像を表示させる
    　請求項１に記載のHRTF測定方法。
  4. 　前記基準位置としての前記スピーカの位置を表示して、前記ターゲット方向を示す画像を前記ユーザに表示する
    　請求項３に記載のHRTF測定方法。
  5. 　前記ターゲット方向が視野範囲外に存在する場合、前記ターゲット方向に前記ユーザを誘導する誘導画像を表示させる
    　請求項１に記載のHRTF測定方法。
  6. 　前記ユーザと前記スピーカとの距離を測定して、前記距離の情報を示す画像も表示させる
    　請求項１に記載のHRTF測定方法。
  7. 　前記ユーザの正面方向と前記ターゲット方向との差分に応じて、前記ターゲット方向を示す画像または前記ユーザの正面方向を示す画像を変化させる
    　請求項２に記載のHRTF測定方法。
  8. 　前記ターゲット方向を示す画像には、前記ユーザの頭の横方向の傾きに関する情報も含む
    　請求項１に記載のHRTF測定方法。
  9. 　前記ユーザの正面方向のみが一致した場合と、前記ユーザの頭の横方向の傾きのみが一致した場合と、前記ユーザの正面方向と前記ユーザの頭の横方向の傾きの両方が一致した場合とで表示を異ならせる
    　請求項８に記載のHRTF測定方法。
  10. 　前記スピーカに対して上下左右方向の前記ユーザの位置を示す画像も表示させる
    　請求項１に記載のHRTF測定方法。
  11. 　ユーザの向くべき方向であるターゲット方向を示す画像を表示させる表示制御部と、
    　前記ユーザの正面方向と前記ターゲット方向が一致した場合に、測定音をスピーカから出力させて、前記ユーザの耳に装着したマイクロホンで前記測定音を収音した結果を基に、HRTFの測定を行うHRTF測定部と
    　を備えるHRTF測定装置。
  12. 　前記表示制御部は、前記ターゲット方向を示す画像とともに、前記ユーザの正面方向を示す画像も表示させる
    　請求項１１に記載のHRTF測定装置。
  13. 　前記ユーザが装着した装置で検出された角度検出信号に基づいて、前記ユーザの正面方向を検出するユーザ正面方向検出部をさらに備える
    　請求項１１に記載のHRTF測定装置。
  14. 　前記ユーザと前記スピーカの位置及び距離を検出する検出装置の検出結果に基づいて、前記ユーザの正面方向を検出するユーザ正面方向検出部をさらに備える
    　請求項１１に記載のHRTF測定装置。
  15. 　前記検出装置は、前記ユーザと前記スピーカを撮像する撮像装置であり、
    　前記ユーザ正面方向検出部は、前記撮像装置により撮像された画像に基づいて、前記ユーザの正面方向を検出する
    　請求項１４に記載のHRTF測定装置。
  16. 　前記ターゲット方向を特定する情報を記録する記録部をさらに備える
    　請求項１１に記載のHRTF測定装置。
  17. 　前記ターゲット方向を特定する情報は、前記ターゲット方向か、または、測定したいHRTFの角度であるターゲット角度の少なくとも一方である
    　請求項１６に記載のHRTF測定装置。
  18. 　前記ターゲット方向を特定する情報には、前記スピーカから前記ユーザまでの距離も含む
    　請求項１７に記載のHRTF測定装置。
  19. 　コンピュータに、
    　ユーザの向くべき方向であるターゲット方向を示す画像を表示させ、
    　前記ユーザの正面方向と前記ターゲット方向が一致した場合に、測定音をスピーカから出力させて、前記ユーザの耳に装着したマイクロホンで前記測定音を収音した結果を基に、HRTFの測定を行う
    　処理を実行させるためのプログラム。
PCT/JP2017/042532 2016-12-12 2017-11-28 Ｈｒｔｆ測定方法、ｈｒｔｆ測定装置、およびプログラム WO2018110269A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
US16/466,897 US11159906B2 (en) 2016-12-12 2017-11-28 HRTF measurement method, HRTF measurement device, and program
CN201780075539.5A CN110036655B (zh) 2016-12-12 2017-11-28 Hrtf测量方法、hrtf测量装置和存储介质
JP2018556541A JP6992767B2 (ja) 2016-12-12 2017-11-28 Ｈｒｔｆ測定方法、ｈｒｔｆ測定装置、およびプログラム
EP17881564.3A EP3554098A4 (en) 2016-12-12 2017-11-28 HRTF MEASURING METHOD, HRTF MEASURING DEVICE AND PROGRAM

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016-240352 2016-12-12
JP2016240352 2016-12-12

Publications (1)

Publication Number Publication Date
WO2018110269A1 true WO2018110269A1 (ja) 2018-06-21

Family

ID=62558577

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/042532 WO2018110269A1 (ja) 2016-12-12 2017-11-28 Ｈｒｔｆ測定方法、ｈｒｔｆ測定装置、およびプログラム

Country Status (5)

Country Link
US (1) US11159906B2 (ja)
EP (1) EP3554098A4 (ja)
JP (1) JP6992767B2 (ja)
CN (1) CN110036655B (ja)
WO (1) WO2018110269A1 (ja)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020026548A1 (ja) * 2018-07-31 2020-02-06 ソニー株式会社 情報処理装置及び情報処理方法、並びに音響システム
WO2020071200A1 (ja) * 2018-10-03 2020-04-09 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
WO2020189263A1 (ja) * 2019-03-19 2020-09-24 ソニー株式会社 音響処理装置、音響処理方法、および音響処理プログラム
US10856097B2 (en) 2018-09-27 2020-12-01 Sony Corporation Generating personalized end user head-related transfer function (HRTV) using panoramic images of ear
CN112368767A (zh) * 2018-07-24 2021-02-12 索尼公司 测量装置和测量系统
US11070930B2 (en) 2019-11-12 2021-07-20 Sony Corporation Generating personalized end user room-related transfer function (RRTF)
US11113092B2 (en) 2019-02-08 2021-09-07 Sony Corporation Global HRTF repository
US11146908B2 (en) 2019-10-24 2021-10-12 Sony Corporation Generating personalized end user head-related transfer function (HRTF) from generic HRTF
WO2022050087A1 (ja) 2020-09-03 2022-03-10 ソニーグループ株式会社 信号処理装置および方法、学習装置および方法、並びにプログラム
US11347832B2 (en) 2019-06-13 2022-05-31 Sony Corporation Head related transfer function (HRTF) as biometric authentication
US11451907B2 (en) 2019-05-29 2022-09-20 Sony Corporation Techniques combining plural head-related transfer function (HRTF) spheres to place audio objects
WO2023238677A1 (ja) * 2022-06-08 2023-12-14 ソニーグループ株式会社 生成装置、生成方法及び生成プログラム

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU196533U1 (ru) * 2019-11-28 2020-03-03 Общество С Ограниченной Ответственностью "Яндекс" Умная колонка с медианной фильтрацией значений tof-сенсора
US11477597B2 (en) * 2021-02-01 2022-10-18 Htc Corporation Audio processing method and electronic apparatus
CN113099359B (zh) * 2021-03-01 2022-10-14 深圳市悦尔声学有限公司 一种基于hrtf技术的高仿真声场重现的方法及其应用
CN113068112B (zh) * 2021-03-01 2022-10-14 深圳市悦尔声学有限公司 声场重现中仿真系数向量信息的获取算法及其应用
GB2621590A (en) * 2022-08-15 2024-02-21 Sony Interactive Entertainment Europe Ltd Method for generating a personalised HRTF

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08307988A (ja) * 1995-05-09 1996-11-22 Sharp Corp 音像測定装置
JP2005123959A (ja) * 2003-10-17 2005-05-12 Nippon Telegr & Teleph Corp <Ntt> 高臨場感通信会議装置
JP2007251248A (ja) 2006-03-13 2007-09-27 Yamaha Corp 頭部伝達関数測定装置
JP2009194682A (ja) * 2008-02-15 2009-08-27 Sony Corp 頭部伝達関数測定方法、頭部伝達関数畳み込み方法および頭部伝達関数畳み込み装置
US20160119731A1 (en) * 2014-10-22 2016-04-28 Small Signals, Llc Information processing system, apparatus and method for measuring a head-related transfer function
JP2017016062A (ja) * 2015-07-06 2017-01-19 キヤノン株式会社 制御装置、測定システム、制御方法及びプログラム

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5729612A (en) * 1994-08-05 1998-03-17 Aureal Semiconductor Inc. Method and apparatus for measuring head-related transfer functions
JP3388478B2 (ja) 1994-09-07 2003-03-24 日本電信電話株式会社 ヘッドホン
US9101279B2 (en) * 2006-02-15 2015-08-11 Virtual Video Reality By Ritchey, Llc Mobile user borne brain activity data and surrounding environment data correlation system
KR101384528B1 (ko) * 2007-03-02 2014-04-11 삼성전자주식회사 입체 음향을 이용한 방향 안내 처리 방법 및 그를 적용한네비게이션 시스템
JP2014093697A (ja) * 2012-11-05 2014-05-19 Yamaha Corp 音響再生システム
CN105027580B (zh) * 2012-11-22 2017-05-17 雷蛇(亚太)私人有限公司 用于输出修改的音频信号的方法
CN203733133U (zh) * 2013-02-06 2014-07-23 北京中科虹霸科技有限公司 一种具有人机交互机制的移动终端虹膜识别装置
KR102343578B1 (ko) 2013-11-05 2021-12-28 소니그룹주식회사 정보 처리 장치, 정보 처리 방법 및 프로그램
JP6292040B2 (ja) 2014-06-10 2018-03-14 富士通株式会社 音声処理装置、音源位置制御方法及び音源位置制御プログラム
CN105910702B (zh) * 2016-04-18 2019-01-25 北京大学 一种基于相位补偿的异步头相关传输函数测量方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08307988A (ja) * 1995-05-09 1996-11-22 Sharp Corp 音像測定装置
JP2005123959A (ja) * 2003-10-17 2005-05-12 Nippon Telegr & Teleph Corp <Ntt> 高臨場感通信会議装置
JP2007251248A (ja) 2006-03-13 2007-09-27 Yamaha Corp 頭部伝達関数測定装置
JP2009194682A (ja) * 2008-02-15 2009-08-27 Sony Corp 頭部伝達関数測定方法、頭部伝達関数畳み込み方法および頭部伝達関数畳み込み装置
US20160119731A1 (en) * 2014-10-22 2016-04-28 Small Signals, Llc Information processing system, apparatus and method for measuring a head-related transfer function
JP2017016062A (ja) * 2015-07-06 2017-01-19 キヤノン株式会社 制御装置、測定システム、制御方法及びプログラム

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
KOJIMA ET AL.: "Dummy head following head motion", LECTURE PROCEEDINGS OF THE ACOUSTICAL SOCIETY OF JAPAN, vol. 2002, September 2002 (2002-09-01), pages 439 - 440, XP009515529 *
See also references of EP3554098A4

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112368767A (zh) * 2018-07-24 2021-02-12 索尼公司 测量装置和测量系统
US11805377B2 (en) 2018-07-24 2023-10-31 Sony Corporation Measurement device and measurement system
EP3828881A4 (en) * 2018-07-24 2021-09-29 Sony Group Corporation MEASURING DEVICE AND MEASURING SYSTEM
US11659347B2 (en) 2018-07-31 2023-05-23 Sony Corporation Information processing apparatus, information processing method, and acoustic system
WO2020026548A1 (ja) * 2018-07-31 2020-02-06 ソニー株式会社 情報処理装置及び情報処理方法、並びに音響システム
CN112368768A (zh) * 2018-07-31 2021-02-12 索尼公司 信息处理设备、信息处理方法以及声学系统
EP3832642A4 (en) * 2018-07-31 2021-09-29 Sony Group Corporation INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING PROCESS AND AUDIO SYSTEM
US10856097B2 (en) 2018-09-27 2020-12-01 Sony Corporation Generating personalized end user head-related transfer function (HRTV) using panoramic images of ear
JP7487663B2 (ja) 2018-10-03 2024-05-21 ソニーグループ株式会社 情報処理装置、情報処理方法、およびプログラム
WO2020071200A1 (ja) * 2018-10-03 2020-04-09 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
US11775164B2 (en) 2018-10-03 2023-10-03 Sony Corporation Information processing device, information processing method, and program
US11113092B2 (en) 2019-02-08 2021-09-07 Sony Corporation Global HRTF repository
WO2020189263A1 (ja) * 2019-03-19 2020-09-24 ソニー株式会社 音響処理装置、音響処理方法、および音響処理プログラム
CN113519171A (zh) * 2019-03-19 2021-10-19 索尼集团公司 声音处理装置、声音处理方法和声音处理程序
US11451907B2 (en) 2019-05-29 2022-09-20 Sony Corporation Techniques combining plural head-related transfer function (HRTF) spheres to place audio objects
US11347832B2 (en) 2019-06-13 2022-05-31 Sony Corporation Head related transfer function (HRTF) as biometric authentication
US11146908B2 (en) 2019-10-24 2021-10-12 Sony Corporation Generating personalized end user head-related transfer function (HRTF) from generic HRTF
US11070930B2 (en) 2019-11-12 2021-07-20 Sony Corporation Generating personalized end user room-related transfer function (RRTF)
WO2022050087A1 (ja) 2020-09-03 2022-03-10 ソニーグループ株式会社 信号処理装置および方法、学習装置および方法、並びにプログラム
WO2023238677A1 (ja) * 2022-06-08 2023-12-14 ソニーグループ株式会社 生成装置、生成方法及び生成プログラム

Also Published As

Publication number Publication date
EP3554098A4 (en) 2019-12-18
US11159906B2 (en) 2021-10-26
JPWO2018110269A1 (ja) 2019-10-24
JP6992767B2 (ja) 2022-01-13
US20200068334A1 (en) 2020-02-27
CN110036655B (zh) 2022-05-24
CN110036655A (zh) 2019-07-19
EP3554098A1 (en) 2019-10-16

Similar Documents

Publication Publication Date Title
JP6992767B2 (ja) Ｈｒｔｆ測定方法、ｈｒｔｆ測定装置、およびプログラム
US10397722B2 (en) Distributed audio capture and mixing
CN108616789B (zh) 基于双耳实时测量的个性化虚拟音频回放方法
US9854371B2 (en) Information processing system, apparatus and method for measuring a head-related transfer function
US11812235B2 (en) Distributed audio capture and mixing controlling
US20180220253A1 (en) Differential headtracking apparatus
US10754608B2 (en) Augmented reality mixing for distributed audio capture
US11528577B2 (en) Method and system for generating an HRTF for a user
TW201215179A (en) Virtual spatial sound scape
JP6596896B2 (ja) 頭部伝達関数選択装置、頭部伝達関数選択方法、頭部伝達関数選択プログラム、音声再生装置
JP2021535632A (ja) オーディオ信号の処理用の方法及び装置
JP2018152834A (ja) 仮想聴覚環境において音声信号出力を制御する方法及び装置
JP6651231B2 (ja) 携帯情報端末、情報処理装置、及びプログラム
JP6587047B2 (ja) 臨場感伝達システムおよび臨場感再現装置
JP2020167471A (ja) 情報処理装置、情報処理方法、及びプログラム
KR102534802B1 (ko) 멀티-채널 바이노럴 기록 및 동적 재생
US11638111B2 (en) Systems and methods for classifying beamformed signals for binaural audio playback
JP2024056580A (ja) 情報処理装置及びその制御方法及びプログラム
Reddy et al. On the development of a dynamic virtual reality system using audio and visual scenes

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17881564

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2018556541

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2017881564

Country of ref document: EP