WO2022163308A1 - 情報処理装置、情報処理方法、およびプログラム - Google Patents

情報処理装置、情報処理方法、およびプログラム Download PDF

Info

Publication number
WO2022163308A1
WO2022163308A1 PCT/JP2022/000011 JP2022000011W WO2022163308A1 WO 2022163308 A1 WO2022163308 A1 WO 2022163308A1 JP 2022000011 W JP2022000011 W JP 2022000011W WO 2022163308 A1 WO2022163308 A1 WO 2022163308A1
Authority
WO
WIPO (PCT)
Prior art keywords
personalized
sound
information
information processing
transfer characteristic
Prior art date
Application number
PCT/JP2022/000011
Other languages
English (en)
French (fr)
Inventor
亨 中川
真志 藤原
彬人 中井
Original Assignee
ソニーグループ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーグループ株式会社 filed Critical ソニーグループ株式会社
Priority to DE112022000838.5T priority Critical patent/DE112022000838T5/de
Priority to JP2022578201A priority patent/JPWO2022163308A1/ja
Publication of WO2022163308A1 publication Critical patent/WO2022163308A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/01—Enhancing the perception of the sound image or of the spatial distribution using head related transfer functions [HRTF's] or equivalents thereof, e.g. interaural time difference [ITD] or interaural level difference [ILD]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/305—Electronic adaptation of stereophonic audio signals to reverberation of the listening space

Definitions

  • the present technology relates to an information processing device, an information processing method, and a program, and more particularly to an information processing device, an information processing method, and a program that allow a user to adjust a personalized transfer function.
  • a personalized Head Related Transfer Function is obtained, for example, by convolving the inverse characteristics of the HRTF from the headphones to the ears with the HRTF from the speakers to the ears.
  • a personalized HRTF is unique to the user and is usually used as a fixed value in calculations. Therefore, the user cannot adjust the sound field and sound quality by adjusting the personalized HRTF itself.
  • This technology has been developed in view of this situation, and allows the user to adjust the personalized transfer function.
  • An information processing apparatus includes an adjustment unit that adjusts a personalized transfer characteristic, which is a transfer characteristic of sound in a measurement environment and is personalized by a user, according to an operation by the user. Prepare.
  • a personalized transfer characteristic which is the transfer characteristic of sound in the measurement environment and is the transfer characteristic personalized to the user, is adjusted according to the user's operation.
  • FIG. 1 is a diagram illustrating a configuration example of a sound production system according to an embodiment of the present technology
  • FIG. FIG. 4 is a diagram showing the flow of measurement in the measurement environment
  • FIG. 4 is a diagram showing the flow of adjustment in the measurement environment
  • FIG. 5 is a diagram showing an example of adjustment in the measurement environment
  • FIG. 4 is a diagram showing a flow of reproduction in a reproduction environment
  • It is a block diagram which shows the functional structural example of an information processing apparatus.
  • 3 is a block diagram showing a configuration example of a file generation unit
  • FIG. 5 is a diagram showing an example of reference information for sound field adjustment
  • 3 is a block diagram showing a configuration example of an adjustment value recording unit
  • FIG. 4 is a diagram showing an example of information recorded in a personalized HRTF file
  • FIG. 10 is a flow chart describing a personalized HRTF file generation process performed by an information processing device in a measurement environment
  • FIG. 10 is a flowchart for explaining personalized HRTF adjustment processing performed by an information processing device in a measurement environment
  • FIG. 10 is a flowchart for explaining file information display processing; It is a figure which shows the example of a display of attribute information.
  • 4 is a flowchart for explaining sound quality adjustment processing; It is a figure which shows the example of a display of a sound quality adjustment screen. It is a figure which shows the content of each information of a sound quality adjustment screen.
  • FIG. 6 is a flowchart for explaining sound field adjustment processing; It is a figure which shows the example of a display of a sound field adjustment screen. It is a figure which shows the content of each information of a sound field adjustment screen.
  • 3 is a block diagram showing a functional configuration example of a playback device;
  • FIG. 10 is a flowchart for explaining playback processing performed by a playback device in a playback environment;
  • FIG. It is a block diagram which shows the structural example of the hardware of a computer.
  • FIG. 1 is a diagram showing a configuration example of a sound production system according to an embodiment of the present technology.
  • the sound production system in Figure 1 consists of equipment on the measurement environment side and equipment on the playback environment side.
  • the sound production system of FIG. 1 is, for example, a system used for producing sound for movies.
  • the sound of the movie includes not only the voice of the characters such as the dialogue and narration of the performers, but also various sounds such as sound effects, environmental sounds, and BGM.
  • various sounds such as sound effects, environmental sounds, and BGM.
  • the sound will be collectively described as sound, but in reality, the sound of a movie includes sounds other than sound.
  • the measurement environment is called a dubbing stage, and is a movie theater used for sound production.
  • a movie theater is provided with a plurality of speakers along with a screen.
  • the movie theater is provided with an information processing device 1 that acquires the measurement result of HRTF (Head-Related Transfer Function) representing the transfer characteristics of sound in the measurement environment and generates information such as an HRTF file.
  • HRTF Head-Related Transfer Function
  • the information processing device 1 is configured by, for example, a PC.
  • a personalized HRTF which is an HRTF personalized to the audio producer of the movie
  • the personalized HRTF is adjusted so that the same sound quality as that of the measurement environment can be reproduced, and the same sound field as that of the measurement environment can be reproduced. Adjustment of the personalized HRTF is performed, for example, by the producer who edits in the playback environment while listening to the reproduced sound using the personalized HRTF.
  • a personalized HRTF file is generated by the information processing device 1 by recording the adjusted values of the personalized HRTF together with the personalized HRTF data.
  • the personalized HRTF data representing the measurement result of the personalized HRTF and the personalized HRTF file in which adjustment values are recorded are provided to the playback device 31 provided in the playback environment.
  • the personalized HRTF file may be provided to the playback device 31 via a network such as the Internet, or may be provided using a recording medium such as a flash memory.
  • the playback environment is an environment in a location different from the movie theater, such as a studio or the producer's home.
  • the playback environment may be prepared at the same location as the measurement environment.
  • the playback environment is provided with a playback device 31, which is a device used for editing movie audio.
  • the playback device 31 is also configured by, for example, a PC.
  • the producer edits the sound of the movie using the headphones 32 in a playback environment such as at home.
  • a headphone 32 is an output device prepared for the reproduction environment.
  • the audio signal is played back using the personalized HRTF.
  • Playback using the personalized HRTF reproduces the sound output from the movie theater speakers used for the measurement of the personalized HRTF.
  • the playback device 31 adjusts the personalized HRTF used for reproducing the audio signal based on the adjustment value. Since the audio signal is reproduced using the adjusted personalized HRTF, the sound quality of the sound heard from the headphone 32 is the same as the sound quality in the measurement environment. Also, the sound field of the sound heard from the headphone 32 is the same as the sound field in the measurement environment.
  • Speech reproduced using a personalized HRTF generally reproduces the sound in the measurement environment more faithfully than sound reproduced using a non-personalized HRTF (the HRTF commonly used by many people).
  • a non-personalized HRTF the HRTF commonly used by many people.
  • the personalized HRTF By adjusting the personalized HRTF itself, the sound of the measurement environment with adjusted sound quality and sound field is reproduced.
  • the producer can edit while listening to the sound adjusted based on how he or she feels.
  • FIG. 2 is a diagram showing the flow of measurement in the measurement environment.
  • Measurements in the measurement environment mainly include HRTF measurements and recording of reference information.
  • the HRTF measurement is performed, for example, with the listener sitting on a predetermined seat in a movie theater with a microphone 21 attached to the ear hole.
  • the creator of the movie's sound becomes the listener.
  • the HRTF personalized to the producer is measured. Since the HRTF differs depending on the shape of the ear, etc., the sound image can be localized with high accuracy by using the personalized HRTF.
  • the reproduced sound is output from the speaker 23 of the movie theater, and the personalized HRTF from the speaker 23 to the ear (for example, ear hole position, eardrum position) is measured.
  • a headphone 22 is an output device prepared in the measurement environment.
  • the reproduced sound is output from the headphone 22, and the personalized HRTF from the headphone 22 to the ear is measured.
  • the reproduced sound from the headphone 22 for example, the same sound as the reproduced sound output from the speaker 23 is used.
  • the information processing device 1 acquires the personalized HRTF from the speaker 23 to the ear and the personalized HRTF from the headphone 22 to the ear measured in this way.
  • the information processing device 1 generates personalized HRTF data including the personalized HRTF from the speaker 23 to the ear and inverse correction data.
  • the inverse correction data is data representing the inverse characteristics of the personalized HRTF from the headphones 22 to the ears.
  • the inverse correction data is used to correct the personalized HRTF during playback in the playback environment. This correction is performed by superimposing inverse correction data on the personalized HRTF from the speaker 23 to the ear, that is, by canceling the personalized HRTF from the headphone 22 to the ear.
  • reference information which is information referred to by the creator when adjusting the personalized HRTF, is acquired.
  • the reference information is acquired based on, for example, characteristics of the measurement environment, device characteristics of the headphones 22, and the like. Details of the reference information will be described later.
  • a personalized HRTF file is generated as indicated by arrow #1.
  • FIG. 3 is a diagram showing the flow of adjustment in the measurement environment.
  • a headphone 22 is connected to the information processing device 1 as shown on the right side of FIG. Audio reproduced using the personalized HRTF data read from the personalized HRTF file is output from the headphones 22 .
  • the producer operates the information processing apparatus 1 while viewing the display on the display 1A. For example, as shown in FIG. Adjust so that the sound field and sound quality of the reproduced sound are reproduced.
  • Information based on, for example, personalized HRTF data and reference information is displayed on the adjustment screen displayed on the display 1A.
  • the producer refers to the reference information used for adjusting the sound field, and adjusts the reverberation components included in the reproduced sound output from the headphones 22 .
  • an adjustment value used for adjusting the personalized HRTF from the speaker 23 to the ear is generated according to the operation of the producer.
  • the producer refers to the reference information used for adjusting the sound quality, and adjusts the sound quality taking into consideration the characteristics of the headphones 22 .
  • an adjustment value used for adjusting the inverse correction data of the personalized HRTF from the headphone 22 to the ear is generated according to the operation of the producer.
  • the adjusted values of the personalized HRTF data generated in this way are recorded in the personalized HRTF file together with the personalized HRTF data and reference information, as indicated by arrow #2 in FIG.
  • FIG. 5 is a diagram showing the flow of playback in the playback environment.
  • a headphone 32 is connected to the playback device 31 prepared in the playback environment.
  • the headphones 32 are, for example, headphones of the same model number (headphones with the same specifications) manufactured by the same manufacturer as the headphones 22 used in the measurement environment.
  • the headphones 22 brought home by the creator may be used as the headphones 32 .
  • the personalized HRTF data recorded in the personalized HRTF file is adjusted based on the adjustment value.
  • the adjusted personalized HRTF data is used to reproduce the audio signal of the edited movie, such as object audio and channel audio.
  • Audio data constituting movie audio includes data of object audio and channel audio.
  • the producer can edit the sound of the movie while listening to the playback sound output so as to reproduce the movie theater as the production environment of the sound of the movie.
  • the producer can edit the sound with the sound field adjusted so that the sound is not blurred.
  • the producer can improve the reproducibility of the sound quality of the low-frequency sound output from the subwoofer installed in the measurement environment. be able to.
  • FIG. 6 is a block diagram showing a functional configuration example of the information processing device 1. As shown in FIG.
  • the information processing unit 101 is realized by executing a predetermined program by the CPU of the PC that constitutes the information processing device 1.
  • the information processing section 101 is composed of a file generation section 111 and an adjustment value recording section 112 . At least part of the configuration of the information processing section 101 may be implemented by other equipment such as an amplifier provided in the measurement environment.
  • the file generation unit 111 measures the personalized HRTF and generates a personalized HRTF file.
  • the personalized HRTF file generated by the file generating section 111 is supplied to the adjustment value recording section 112 .
  • the adjustment value recording unit 112 adjusts the personalized HRTF data according to the producer's operation, and records the adjustment values in the personalized HRTF file.
  • FIG. 7 is a block diagram showing a configuration example of the file generation unit 111. As shown in FIG. 7
  • the file generation unit 111 is composed of a reproduction processing unit 121, an output control unit 122, an HRTF acquisition unit 123, an HRTF data generation unit 124, a reference information acquisition unit 125, and an HRTF file generation unit 126.
  • the reproduction processing unit 121 controls reproduction of sounds output from the headphones 22 and the speaker 23 .
  • An audio signal obtained by reproducing audio data such as data of a prescribed signal is supplied to the output control section 122 .
  • the output control unit 122 causes the headphone 22 and the speaker 23 to output a reproduced sound corresponding to the audio signal supplied from the reproduction processing unit 121 .
  • the HRTF acquisition unit 123 acquires the personalized HRTF from the headphone 22 to the ear and the personalized HRTF from the speaker 23 to the ear based on the sound collected by the microphone 21 .
  • Information representing the personalized HRTF acquired by the HRTF acquisition unit 123 is supplied to the HRTF data generation unit 124 .
  • the HRTF data generation unit 124 generates personalized HRTF data including inverse correction data and personalized HRTF from the speaker 23 to the ear.
  • the personalized HRTF data generated by the HRTF data generator 124 is supplied to the HRTF file generator 126 .
  • the reference information acquisition unit 125 acquires reference information based on the characteristics of the measurement environment and the device characteristics of the headphones 22 .
  • the reference information acquisition unit 125 acquires reference information for sound quality adjustment based on the characteristics of the headphones 22 .
  • Reference information for sound quality adjustment is acquired based on device characteristics such as individual variation, linearity, and THD (Total Harmonic Distortion).
  • reference information for sound quality adjustment is acquired based on the sound pressure distribution level (SPL (Sound Pressure Level)) and THD when using signals of each voltage.
  • SPL Sound Pressure Level
  • the reference information acquisition unit 125 acquires reference information for sound field adjustment based on the reverberation characteristics of the measurement environment. For example, reference information for sound field adjustment is acquired based on the personalized HRTF from the speaker 23 to the ear.
  • FIG. 8 is a diagram showing an example of reference information for sound field adjustment.
  • a in Fig. 8 represents the attenuation characteristics of the reverberation components in the three spaces “Room A”, “Room B”, and “Room C”.
  • B in FIG. 8 represents information for converting reverberation components in the space of "Room A” into reverberation components in the spaces of "Room B” and "Room C”.
  • "Room A” represents a large room and corresponds to, for example, a movie theater, which is the measurement environment.
  • “Room B” represents a medium-sized room and "Room C” represents a small room.
  • the reference information acquisition unit 125 acquires information for converting the reverberation components in the measurement environment into reverberation components in the prescribed space as reference information together with the information on the reverberation components in the measurement environment.
  • Information representing the characteristics of the measurement environment and the device characteristics of the headphones 22 as described above is input to the reference information acquisition unit 125 in FIG. 7, for example, before the personalized HRTF is measured.
  • the reference information acquired by the reference information acquisition section 125 is supplied to the HRTF file generation section 126 .
  • the HRTF file generation unit 126 generates a personalized HRTF file by adding a header including the reference information supplied from the reference information acquisition unit 125 to the personalized HRTF data supplied from the HRTF data generation unit 124. do.
  • the header portion includes reference information as well as information representing the measurement location, user name, and model name of the headphones 22 as attribute information.
  • FIG. 9 is a block diagram showing a configuration example of the adjustment value recording unit 112 .
  • the adjustment value recording unit 112 is composed of a personalized HRTF file acquisition unit 141 , a reproduction processing unit 142 , an output control unit 143 , an adjustment unit 144 and a recording unit 145 .
  • the personalized HRTF file acquisition unit 141 acquires the personalized HRTF file supplied from the file generation unit 111.
  • the personalized HRTF file acquired by the personalized HRTF file acquisition section 141 is supplied to the playback processing section 142 , adjustment section 144 and recording section 145 .
  • the playback processing unit 142 acquires the audio signal used in adjusting the personalized HRTF. For example, the same audio signal as the prescribed signal used in measuring the personalized HRTF is acquired.
  • the reproduction processing unit 142 reads out the personalized HRTF data from the personalized HRTF file supplied from the personalized HRTF file acquisition unit 141, and performs binaural processing including convolution of the personalized HRTF on the audio signal to generate a reproduced signal. Generate.
  • the reproduction processing unit 142 appropriately adjusts the personalized HRTF based on the adjustment value supplied from the adjusting unit 144, and performs binaural processing using the adjusted personalized HRTF.
  • a reproduced signal generated by the reproduction processing unit 142 is supplied to the output control unit 143 .
  • the output control unit 143 causes the headphones 22 to output a reproduced sound according to the signal supplied from the reproduction processing unit 142 .
  • the adjustment unit 144 is composed of a file information display unit 171, a sound quality adjustment unit 172, and a sound field adjustment unit 173.
  • the file information display unit 171 displays the content of the attribute information included in the header of the personalized HRTF file supplied from the personalized HRTF file acquisition unit 141 on the adjustment screen.
  • the display 1A displays an adjustment screen that serves as a GUI (Graphical User Interface) used for adjusting the personalized HRTF data.
  • GUI Graphic User Interface
  • the sound quality adjustment unit 172 displays information representing reverse correction data on the adjustment screen when adjusting the sound quality.
  • the inverse correction data is included in the personalized HRTF data of the personalized HRTF file supplied from the personalized HRTF file acquisition unit 141 . Also, the sound quality adjustment unit 172 displays the content of the reference information included in the header of the personalized HRTF file on the adjustment screen.
  • the sound quality adjustment unit 172 acquires the adjustment value of the inverse correction data as the sound quality adjustment value according to the operation of the producer.
  • the sound field adjustment unit 173 displays information representing the reverberation component based on the personalized HRTF from the speaker 23 to the ear on the adjustment screen.
  • the personalized HRTF from the speaker 23 to the ear is included in the personalized HRTF data of the personalized HRTF file supplied from the personalized HRTF file acquisition unit 141 .
  • the sound field adjustment unit 173 displays the content of the reference information included in the header of the personalized HRTF file on the adjustment screen.
  • the sound field adjustment unit 173 acquires the adjustment value of the personalized HRTF from the speaker 23 to the ear as the sound field adjustment value according to the operation of the producer.
  • the adjustment unit 144 functions as a presentation unit that displays the content of attribute information, the content of reference information, personalized HRTF data, etc. on the adjustment screen and presents them to the creator (user).
  • the sound quality adjustment value and the sound field adjustment value acquired by the adjustment unit 144 are supplied to the reproduction processing unit 142 and the recording unit 145 .
  • the recording unit 145 records the adjustment value supplied from the adjustment unit 144 in the header portion of the personalized HRTF file supplied from the personalized HRTF file acquisition unit 141 .
  • FIG. 10 is a diagram showing an example of information recorded in a personalized HRTF file.
  • Personalized HRTF data is recorded in the personalized HRTF file, and header information is recorded in the header section.
  • the header information includes attribute information, reference information, and adjustment values.
  • the attribute information includes information representing the measurement location, information representing the user name, and information representing the model name of the headphones used for the measurement.
  • the information representing the measurement location is information representing the location of the measurement environment.
  • the information on the movie theater used as the measurement environment is recorded as the information representing the measurement location.
  • an author who tailors a personalized HRTF can specify the measurement environment based on the information representing the measurement location.
  • the information that represents the user name is the information that represents the author who edits using the personalized HRTF.
  • the information representing the model name of the headphones used for the measurement includes identification information such as information representing the manufacturer of the headphones 22 and the model name.
  • the reference information includes reference information for sound quality adjustment and reference information for sound field adjustment.
  • the reference information for sound quality adjustment includes, for example, Split Freq and Limit Gain.
  • Split Freq represents the frequency that is the boundary for applying a constant correction value. Correction using a constant correction value is performed for the band above Split Freq. Limit Gain represents the maximum value of the gain that will be the correction value.
  • Reference information for sound field adjustment includes, for example, Gain, Start Point, and Length.
  • Gain represents the gain used as the correction value for the reverberation component.
  • Start Point represents the start position of attenuation.
  • Length represents the applicable range of constant attenuation rate.
  • Each piece of information as described above is recorded as header information together with adjustment values consisting of sound quality adjustment values and sound field adjustment values to form a personalized HRTF file.
  • a personalized HRTF file in which adjustment value information is recorded in the header is provided to the playback device 31 .
  • the processing of all the steps in FIG. 11 is described as processing performed by the information processing apparatus 1, but it is performed by other equipment prepared in the measurement environment as appropriate.
  • the measurement of the personalized HRTF is performed with the producer as a listener sitting on a predetermined seat in the movie theater with the microphone 21 attached to his ear hole.
  • step S1 the output control unit 122 causes the speaker 23 of the movie theater to output the reproduced sound.
  • step S2 the HRTF acquisition unit 123 measures the personalized HRTF from the speaker 23 to the ear based on the sound collected by the microphone 21. After measuring the personalized HRTF from the speaker 23 to the ear, the producer wears the headphones 22 so as to cover the ears to which the microphone 21 is attached.
  • step S3 the output control unit 122 causes the headphone 22 worn by the creator to output the reproduced sound.
  • step S4 the HRTF acquisition unit 123 measures the personalized HRTF from the headphone 22 to the ear based on the sound collected by the microphone 21.
  • step S5 the HRTF data generation unit 124 generates personalized HRTF data including the personalized HRTF from the headphone 22 to the ear and the inverse correction data of the personalized HRTF from the speaker 23 to the ear.
  • step S6 the reference information acquisition unit 125 acquires reference information based on the characteristics of the headphones 22 and the measurement environment.
  • step S7 the HRTF file generation unit 126 generates a personalized HRTF file in which header information including reference information and personalized HRTF data are recorded.
  • the measurement of the personalized HRTF is performed using the microphone 21, but the personalized HRTF from the speaker 23 to the ear is obtained based on the ear image obtained by photographing the producer's ear.
  • an inference model for personalized HRTF inference generated in advance by machine learning or the like is used.
  • An inference model for personalized HRTF inference is an inference model that takes an ear image as an input and a personalized HRTF as an output.
  • step S21 the file information display unit 171 performs file information display processing.
  • the file information display processing By the file information display processing, the personalized HRTF file is read and the content of the attribute information is displayed.
  • the file information display processing will be described later with reference to the flowchart of FIG.
  • step S22 the sound quality adjustment unit 172 performs sound quality adjustment processing.
  • the tone adjustment process adjusts the inverse correction data and records the tone adjustment values in the personalized HRTF file. The sound quality adjustment process will be described later with reference to the flowchart of FIG.
  • step S23 the sound field adjustment unit 173 performs sound field adjustment processing.
  • the sound field adjustment process adjusts the personalized HRTF data from the speaker 23 to the ear, and records the sound field adjustment values in the personalized HRTF file.
  • the sound field adjustment processing will be described later with reference to FIG. 18 .
  • step S31 the adjustment unit 144 reads the personalized HRTF file.
  • the personalized HRTF data from the speaker to the ear and the inverse correction data are obtained. Also, attribute information and reference information are acquired.
  • step S32 the file information display unit 171 displays information representing the measurement location based on the attribute information.
  • step S33 the file information display unit 171 displays information representing the user name based on the attribute information.
  • step S34 the file information display unit 171 displays information representing the model name of the headphones 22 used for the measurement based on the attribute information.
  • FIG. 14 is a diagram showing a display example of attribute information.
  • the screen shown in FIG. 14 is displayed as the main screen of the adjustment screen used for adjusting personalized HRTF data.
  • Item 201 at the top of the screen represents the personalized HRTF file to be adjusted.
  • "/No Name/profiles/Username" is displayed as the personalized HRTF file to be adjusted.
  • An image P1 which is an image representing the measurement location, is displayed under the item 201.
  • An area A1 which is a display area for attribute information, is formed on the right side of the image P1.
  • Item 202 represents the name of the measurement location.
  • "Room A” is displayed as the name of the measurement location.
  • Item 203 represents the user name.
  • "Username" is displayed as the user name.
  • Item 204 represents the model name of the headphones used for the measurement.
  • "Headphones" is displayed as the model name of the headphones.
  • the creator can check the personalized HRTF file to be adjusted and check the measurement environment information.
  • the sound quality adjustment process is started, for example, when an instruction to perform sound quality adjustment is given on the main screen of FIG.
  • sound quality adjustments are made by adjusting the inverse correction data representing the inverse characteristics of the personalized HRTF from the headphones 22 to the ears.
  • step S41 the sound quality adjustment unit 172 displays information representing the inverse correction data.
  • step S42 the sound quality adjustment unit 172 displays the reference line of the maximum correction amount considering the device characteristics of the headphones 22 based on the reference information.
  • FIG. 16 is a diagram showing a display example of the sound quality adjustment screen.
  • the content of reference information for sound quality adjustment is displayed above the sound quality adjustment screen.
  • Item 211 is "Split Freq", which represents the boundary frequency for applying a certain correction.
  • Split Freq represents the boundary frequency for applying a certain correction.
  • "11700" Hz is displayed as the boundary frequency.
  • An item 212 is "Limit Gain” representing the maximum value of the gain that will be the correction value.
  • "16.0" (dB) is displayed as the maximum gain value for frequencies below 11700 Hz
  • "-2.0" (dB) is displayed as the maximum gain value for frequencies above 11700 Hz.
  • a reference line 213 is displayed along with a waveform 214 representing inverse correction data at the bottom of the screen.
  • Waveform 214 represents inverse correction data for the L channel and inverse correction data for the R channel.
  • a reference line 213 represents the maximum correction amount considering the device characteristics of the headphones 22 .
  • FIG. 17 shows the contents of each information.
  • the creator can see the reference line 213 to see what value the gain should be.
  • the producer adjusts the reference information for sound quality adjustment represented by "Split Freq” and "Limit Gain” by moving the display on the waveform 214 or the like.
  • step S43 the sound quality adjustment unit 172 adjusts the reverse correction data according to the operation of the producer.
  • a sound quality adjustment value which is an adjustment value of the inverse correction data, is set by the sound quality adjustment unit 172 according to the operation of the producer. Reproduction using the inverse correction data after adjustment using the sound quality adjustment value is appropriately performed by the reproduction processing unit 142 .
  • step S44 the recording unit 145 records the sound quality adjustment value in the header of the personalized HRTF file.
  • the sound field adjustment process is started, for example, when an instruction to perform sound field adjustment is given on the main screen of FIG.
  • step S61 the sound field adjustment unit 173 displays information representing reverberation components in room A based on the personalized HRTF from the speaker 23 to the ear.
  • Room A is, for example, a movie theater, which is the measurement environment.
  • step S62 the sound field adjustment unit 173 displays reference lines for converting reverberation components in room A into reverberation components in room B based on the reference information.
  • step S63 the sound field adjustment unit 173 displays reference lines for converting reverberation components in room A into reverberation components in room C based on the reference information.
  • FIG. 19 is a diagram showing a display example of the sound field adjustment screen.
  • FIG. 19 the content of reference information for sound field adjustment is displayed above the sound field adjustment screen.
  • FIG. 20 shows the contents of each information.
  • Item 221 is "Gain” representing the gain used as the correction value for the reverberation component.
  • "-29" dB is displayed as the gain.
  • Item 222 is "Start Point” representing the start position of attenuation. In the example of FIG. 19, a value of "256" is displayed as the attenuation start position.
  • Item 223 is "Length", which represents the application range of the constant attenuation rate.
  • "2"k is displayed as the applicable range of attenuation factor.
  • Reference lines 225 to 227 are displayed along with a waveform 224 representing the reverberation component at the bottom of the screen.
  • a reference line 225 represents attenuation characteristics of reverberant components in the measurement environment.
  • a reference line 225 represents the start position, end position, and gain of the reverberation component in the measurement environment.
  • a reference line 226 is a reference line for converting reverberation components in the measurement environment into reverberation components in "Room B”, and represents the attenuation characteristics of "Room B".
  • a reference line 227 is a reference line for converting reverberation components in the measurement environment into reverberation components in "Room C”, and represents attenuation characteristics of "Room C”.
  • the producer can confirm how much the reverberation component needs to be corrected.
  • the creator enters numerical values in the fields of items 221 to 223 or moves the slide bars displayed next to the items 221 to 223 to obtain the values represented by "Gain”, “Start Point”, and "Length”. Adjust reference information for sound field adjustment.
  • step S64 the sound field adjustment unit 173 adjusts the personalized HRTF from the speaker 23 to the ear according to the producer's operation.
  • a sound field adjustment value which is an adjustment value of the personalized HRTF from the speaker 23 to the ear, is set by the sound field adjustment unit 173 according to the operation of the producer. Playback using the adjusted personalized HRTF using the sound field adjustment value is appropriately performed by the playback processing unit 142 .
  • step S65 the recording unit 145 records the sound field adjustment value in the header of the personalized HRTF file.
  • step S23 in FIG. 12 After the sound field adjustment values are recorded, the process returns to step S23 in FIG. 12, and the subsequent processes are performed.
  • a personalized HRTF file generated by the above series of processes is provided to the playback device 31 .
  • FIG. 21 is a block diagram showing a functional configuration example of the playback device 31. As shown in FIG.
  • the playback processing unit 251 is realized by executing a predetermined program by the CPU of the PC that configures the playback device 31.
  • the playback processing unit 251 is composed of an audio signal acquisition unit 261 , a personalized HRTF file acquisition unit 262 , an audio signal processing unit 263 and an output control unit 264 . At least part of the configuration of the playback processing unit 251 may be implemented in another device provided in the playback environment.
  • the audio signal acquisition unit 261 acquires, for example, the audio signal of the audio of the movie to be edited, and outputs it to the audio signal processing unit 263 .
  • the personalized HRTF file acquisition unit 262 acquires the personalized HRTF file provided from the information processing device 1 and outputs it to the audio signal processing unit 263 .
  • the audio signal processing unit 263 reads the personalized HRTF data from the personalized HRTF file supplied from the personalized HRTF file acquisition unit 262, and performs binaural processing on the audio signal supplied from the audio signal acquisition unit 261. Generate a playback signal.
  • the audio signal processing unit 263 appropriately adjusts the personalized HRTF data based on the adjustment values included in the header of the personalized HRTF file, and performs binaural processing using the adjusted personalized HRTF.
  • the reproduced signal generated by the audio signal processing section 263 is supplied to the output control section 264 .
  • the output control unit 264 causes the headphones 32 to output a reproduced sound according to the reproduced signal supplied from the audio signal processing unit 263 .
  • step S81 the audio signal acquisition unit 261 acquires an audio signal of movie audio.
  • step S82 the personalized HRTF file acquisition unit 262 acquires the personalized HRTF file provided from the information processing device 1.
  • step S83 the audio signal processing unit 263 adjusts the personalized HRTF from the speaker 23 to the ear using the sound field adjustment value.
  • the personalized HRTF from the speaker 23 to the ear is obtained from the personalized HRTF data of the personalized HRTF file, and the sound field adjustment value is obtained from the header of the personalized HRTF file.
  • step S84 the audio signal processing unit 263 adjusts the inverse correction data of the characteristics from the headphone 22 to the ear using the sound quality adjustment value.
  • the inverse correction data is obtained from the personalized HRTF data of the personalized HRTF file, and the sound quality adjustment value is obtained from the header portion of the personalized HRTF file.
  • step S85 the audio signal processing unit 263 corrects the adjusted personalized HRTF from the speaker 23 to the ear using the adjusted inverse correction data. Specifically, correction is performed by superimposing the inverse characteristics of the adjusted personalized HRTF from the headphone 22 to the ear on the adjusted personalized HRTF from the speaker 23 to the ear.
  • step S86 the audio signal processing unit 263 uses the corrected personalized HRTF to perform binaural processing on the audio signal of the audio of the movie.
  • a reproduced signal is generated by binaural processing.
  • step S87 the output control unit 264 causes the headphone 32 to output a reproduced sound corresponding to the reproduced signal.
  • the audio producer of the movie can adjust the HRTF personalized to himself.
  • the personalized HRTF itself By making it possible to adjust the personalized HRTF itself, it becomes possible to reproduce the sound quality and sound field required in movie sound and music production.
  • the individualized HRTF is adjusted in the measurement environment
  • the individualized HRTF may be adjusted in an environment different from the measurement environment.
  • the creator adjusts the personalized HRTF data using headphones 22 brought back from the measurement environment.
  • the sound production system shown in FIG. 1 is used to produce sound for movies, it can also be used for producing various sounds such as a system used for producing music and a system used for producing sound for television programs.
  • the sound production system of FIG. 1 can be applied to the system.
  • the personalized HRTF data may be adjusted as described above when playing back audio on a consumer device, rather than when creating content audio.
  • HRTF Information recorded in the form of HRTF, which is information in the frequency domain, is used as the head-related transfer function that represents the transfer characteristics of sound. Recorded information may be used.
  • FIG. 23 is a block diagram showing an example of the hardware configuration of a computer that executes the series of processes described above by a program.
  • the information processing device 1 and the playback device 31 are configured by PCs having the same configuration as that shown in FIG.
  • a CPU (Central Processing Unit) 501 , a ROM (Read Only Memory) 502 and a RAM (Random Access Memory) 503 are interconnected by a bus 504 .
  • An input/output interface 505 is further connected to the bus 504 .
  • the input/output interface 505 is connected to an input unit 506 such as a keyboard and a mouse, and an output unit 507 such as a display and a speaker.
  • the input/output interface 505 is also connected to a storage unit 508 including a hard disk and nonvolatile memory, a communication unit 509 including a network interface, and a drive 510 for driving a removable medium 511 .
  • the CPU 501 loads, for example, a program stored in the storage unit 508 into the RAM 503 via the input/output interface 505 and the bus 504 and executes the above-described series of processes. is done.
  • Programs executed by the CPU 501 are, for example, recorded on the removable media 511, or provided via wired or wireless transmission media such as local area networks, the Internet, and digital broadcasting, and installed in the storage unit 508.
  • the program executed by the computer may be a program in which processing is performed in chronological order according to the order described in this specification, or a program in which processing is performed in parallel or at necessary timing such as when a call is made. It may be a program that is carried out.
  • a system means a set of multiple components (devices, modules (parts), etc.), and it does not matter whether all the components are in the same housing. Therefore, a plurality of devices housed in separate housings and connected via a network, and a single device housing a plurality of modules in one housing, are both systems. .
  • Embodiments of the present technology are not limited to the above-described embodiments, and various modifications are possible without departing from the gist of the present technology.
  • this technology can take the configuration of cloud computing in which one function is shared by multiple devices via a network and processed jointly.
  • each step described in the flowchart above can be executed by a single device, or can be shared by a plurality of devices.
  • one step includes multiple processes
  • the multiple processes included in the one step can be executed by one device or shared by multiple devices.
  • An information processing apparatus comprising an adjusting unit that adjusts a personalized transfer characteristic, which is a transfer characteristic of sound in a measurement environment and is the transfer characteristic personalized by a user, according to an operation by the user.
  • the information processing apparatus according to (1) further comprising a presenting unit that presents to the user, together with the personalized transfer characteristic, reference information to be referred to when adjusting the personalized transfer characteristic.
  • the adjustment unit adjusts the personalized transfer characteristic measured based on a reproduced sound output from an output device worn by the user.
  • the presentation unit presents the content of the reference information acquired based on device characteristics of the output device.
  • the information processing apparatus further comprising a recording unit that records, in the header portion, an adjustment value according to the user's operation.
  • the presentation unit presents content of attribute information including information representing the location of the measurement environment, information representing the user who uses the personalized transfer characteristic in the reproduction environment, and information representing the output device worn by the user.
  • the information processing apparatus according to (8) or (9).
  • (11) The information processing apparatus according to (10), wherein the attribute information is recorded in the header portion.
  • the information processing device An information processing method for adjusting a personalized transfer characteristic, which is a transfer characteristic of sound in a measurement environment and is the transfer characteristic personalized by a user, according to an operation of the user.
  • Adjusting a personalized transfer characteristic, which is a transfer characteristic of sound in a measurement environment and is the transfer characteristic personalized to a user, based on an adjustment value set by adjustment by the user, and performing the adjusted personalized transfer A reproduction device comprising a reproduction unit for reproducing an audio signal using characteristics.
  • the reproducing unit is configured to measure the first personalized transfer characteristic based on the reproduced sound output from the speaker installed in the measurement environment and the reproduced sound output from the output device worn by the user.
  • the playback device according to (14) above, which adjusts the measured second personalized transfer characteristics, respectively.
  • the reproducing unit corrects the first personalized transfer characteristic by superimposing an inverse characteristic of the second personalized transfer characteristic after adjustment on the first personalized transfer characteristic after adjustment, and corrects The reproduction device according to (15), which reproduces an audio signal using the first personalized transfer characteristic that is later used.
  • the playback device adjusting a personalized transfer characteristic, which is the transfer characteristic of sound in the measurement environment and is the transfer characteristic personalized to the user, based on an adjustment value set by the adjustment by the user; A reproduction method for reproducing an audio signal using the adjusted personalized transfer characteristic.
  • a personalized transfer characteristic which is the transfer characteristic of sound in the measurement environment and is the transfer characteristic personalized to the user, based on an adjustment value set by the adjustment by the user;
  • 1 information processing device 1A display, 21 microphone, 22 headphones, 31 playback device, 31A display, 32 headphones, 101 information processing unit, 111 file generation unit, 112 adjustment value recording unit, 121 playback processing unit, 122 output control unit, 123 HRTF acquisition unit, 124 HRTF data generation unit, 125 reference information acquisition unit, 126 HRTF file generation unit, 141 personalized HRTF file acquisition unit, 142 reproduction processing unit, 143 output control unit, 144 adjustment unit, 145 recording unit, 171 File information display section, 172 Sound quality adjustment section, 173 Sound field adjustment section, 251 Playback processing section, 261 Audio signal acquisition section, 262 Personalized HRTF file acquisition section, 263 Audio signal processing section, 264 Output control section

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Stereophonic System (AREA)

Abstract

本技術は、個人化された伝達関数をユーザが調整することができるようにする情報処理装置、情報処理方法、およびプログラムに関する。 本技術の情報処理装置は、測定環境における音の伝達特性であり、ユーザに個人化された伝達特性である個人化伝達特性を、ユーザの操作に応じて調整する調整部を備える。本技術の情報処理装置は、個人化伝達特性の調整時に参照されるリファレンス情報の内容を、個人化伝達特性とともにユーザに提示する提示部をさらに備える。本技術は、例えば、映画などのコンテンツのオーディオのミキシングを行うシステムに適用することができる。

Description

情報処理装置、情報処理方法、およびプログラム
　本技術は、情報処理装置、情報処理方法、およびプログラムに関し、特に、個人化された伝達関数をユーザが調整することができるようにした情報処理装置、情報処理方法、およびプログラムに関する。
　個人化された頭部伝達関数（HRTF(Head Related Transfer Function)）は、例えば、スピーカから耳までのHRTFに対して、ヘッドホンから耳までのHRTFの逆特性を畳み込むことによって取得される。
　個人化されたHRTFを用いた演算を行うことにより、音像を所定の位置に精度よく定位させ、ヘッドホンから聞こえる音を立体的に再生することが可能となる。ヘッドホンから聞こえる音は、HRTFの測定環境における音源からの音を再現したものとなる。
特開２００９－２６０５７４号公報
　個人化されたHRTFは、ユーザに固有のものであり、通常は固定値として演算に用いられる。したがって、ユーザは、個人化されたHRTF自体を調整して音場や音質を調整することができない。
　本技術はこのような状況に鑑みてなされたものであり、個人化された伝達関数をユーザが調整することができるようにするものである。
　本技術の一側面の情報処理装置は、測定環境における音の伝達特性であり、ユーザに個人化された前記伝達特性である個人化伝達特性を、前記ユーザの操作に応じて調整する調整部を備える。
　本技術の一側面においては、測定環境における音の伝達特性であり、ユーザに個人化された前記伝達特性である個人化伝達特性が、前記ユーザの操作に応じて調整される。
本技術の一実施の形態に係る音響制作システムの構成例を示す図である。 測定環境における測定の流れを示す図である。 測定環境における調整の流れを示す図である。 測定環境における調整の例を示す図である。 再生環境における再生の流れを示す図である。 情報処理装置の機能構成例を示すブロック図である。 ファイル生成部の構成例を示すブロック図である。 音場調整用のリファレンス情報の例を示す図である。 調整値記録部の構成例を示すブロック図である。 個人化HRTFファイルに記録される情報の例を示す図である。 測定環境において情報処理装置が行う個人化HRTFファイル生成処理について説明するフローチャートである。 測定環境において情報処理装置が行う個人化HRTF調整処理について説明するフローチャートである。 ファイル情報表示処理について説明するフローチャートである。 属性情報の表示例を示す図である。 音質調整処理について説明するフローチャートである。 音質調整画面の表示例を示す図である。 音質調整画面の各情報の内容を示す図である。 音場調整処理について説明するフローチャートである。 音場調整画面の表示例を示す図である。 音場調整画面の各情報の内容を示す図である。 再生機器の機能構成例を示すブロック図である。 再生環境において再生機器が行う再生処理について説明するフローチャートである。 コンピュータのハードウェアの構成例を示すブロック図である。
　以下、本技術を実施するための形態について説明する。説明は以下の順序で行う。
　１．音響制作システムの構成
　２．音響制作システムにおける作業の全体の流れ
　３．情報処理装置の構成と動作
　４．再生機器の構成と動作
　５．変形例
＜＜１．音響制作システムの構成＞＞
　図１は、本技術の一実施の形態に係る音響制作システムの構成例を示す図である。
　図１の音響制作システムは、測定環境側の機器と再生環境側の機器により構成される。図１の音響制作システムは、例えば、映画の音声の制作に用いられるシステムである。
　映画の音声には、出演者の台詞やナレーションなどの人物の音声だけでなく、効果音、環境音、BGMなどの各種の音が含まれる。以下、適宜、それぞれの音の種類を区別する必要がない場合、まとめて音声として説明するが、実際には、映画の音には音声以外の種類の音も含まれる。
　図１の左側に示すように、測定環境は、ダビングステージなどと呼ばれ、音響制作に用いられる映画館である。映画館には、スクリーンとともに複数のスピーカが設けられる。また、映画館には、測定環境の音の伝達特性を表すHRTF(Head-Related Transfer Function)の測定結果を取得し、HRTFファイルなどの情報を生成する情報処理装置１が設けられる。情報処理装置１は例えばPCにより構成される。
　図１の音響制作システムの測定環境においては、映画の音声の制作者に個人化されたHRTFである個人化HRTFが測定される。また、測定環境の音質と同じ音質を再現するとともに、測定環境の音場と同じ音場を再現することができるように、個人化HRTFの調整が行われる。個人化HRTFの調整は、例えば、再生環境において編集を行う制作者自身により、個人化HRTFを用いた再生音を聴きながら行われる。
　個人化HRTFの調整値を個人化HRTFデータとともに記録することによって、個人化HRTFファイルが情報処理装置１により生成される。
　図１の矢印の先に示すように、個人化HRTFの測定結果を表す個人化HRTFデータと調整値などが記録された個人化HRTFファイルは、再生環境に設けられた再生機器３１に提供される。再生機器３１に対する個人化HRTFファイルの提供が、インターネットなどのネットワークを介して行われるようにしてもよいし、フラッシュメモリなどの記録媒体を用いて行われるようにしてもよい。
　再生環境は、スタジオ、制作者の自宅などの、映画館とは異なる場所にある環境である。再生環境が測定環境と同じ場所に用意されるようにしてもよい。
　再生環境には、映画の音声の編集に用いられる機器である再生機器３１が設けられる。再生機器３１も例えばPCにより構成される。制作者は、自宅などの再生環境においてヘッドホン３２を使用して、映画の音声の編集を行う。ヘッドホン３２は、再生環境に用意された出力機器である。
　再生機器３１においては、個人化HRTFを用いて音声信号の再生が行われる。個人化HRTFを用いた再生が行われることにより、個人化HRTFの測定に用いられた映画館のスピーカから出力された音声が再現される。
　音声信号の再生時、再生機器３１においては、音声信号の再生に用いられる個人化HRTFに対して、調整値に基づく調整が行われる。音声信号の再生が調整後の個人化HRTFを用いて行われることにより、ヘッドホン３２から聞こえる音声の音質は、測定環境における音質と同じ音質になる。また、ヘッドホン３２から聞こえる音の音場は、測定環境における音場と同じ音場になる。
　このように、図１の音響制作システムにおいては、個人化HRTF自体を調整することが可能とされる。通常、個人化HRTFを用いて再生された音声は、個人化されていないHRTF（多くの人に共通に用いられるHRTF）を用いて再生された音声と比べて測定環境における音声をより忠実に再現したものとなるが、測定環境の音響特性や再生時に用いるヘッドホンのデバイス特性などによっては、個人化HRTFを用いて再生された音声と測定環境における音声との差が感じられることがある。
　個人化HRTF自体を調整することにより、音質と音場が調整された測定環境の音声が再現される。制作者は、自分の感じ方を基準にして調整した音声を聴きながら、編集を行うことができる。
　これにより、制作者は、ヘッドホン３２を使用して、映画館と同じ音響環境下で編集を行うことが可能となる。すなわち、映画館と同じ音響環境が再生環境に仮想的に再現される。
　通常、映画の音声の制作環境では、映画館のスピーカから出力される再生音をリファレンスとして制作が行われる。本技術の音響制作システムによれば、映画館に出向く必要がないことから、制作者は、自宅などでも編集を行うことが可能となる。
＜＜２．音響制作システムにおける作業の全体の流れ＞＞
　測定環境と再生環境のそれぞれにおいて行われる作業の流れについて説明する。測定環境においては、測定と調整の作業がそれぞれ行われる。
＜測定環境における測定の流れ＞
　図２は、測定環境における測定の流れを示す図である。
　測定環境における測定には、主に、HRTFの測定とリファレンス情報の記録が含まれる。
・HRTF測定
　図２の左側に示すように、HRTFの測定は、例えば、聴取者が映画館の所定の座席に座り、耳穴にマイク（マイクロフォン）２１を取り付けた状態で行われる。
　ここでは、映画の音声の制作者自身が聴取者となる。制作者自身が聴取者となることにより、その制作者に個人化されたHRTFが測定される。耳の形などによってHRTFが異なるため、個人化HRTFを用いることにより、音像が精度よく定位される。
　この状態で、映画館のスピーカ２３から再生音が出力され、スピーカ２３から耳（例えば耳穴位置、鼓膜位置）までの個人化HRTFが測定される。
　スピーカ２３から耳までの個人化HRTFの測定が行われた後、聴取者は、マイク２１を取り付けた耳に被せるようにして、ヘッドホン２２を装着する。ヘッドホン２２は、測定環境に用意された出力機器である。
　この状態で、ヘッドホン２２から再生音が出力され、ヘッドホン２２から耳までの個人化HRTFが測定される。ヘッドホン２２からの再生音として、例えばスピーカ２３から出力された再生音と同じ音が用いられる。
　このようにして測定されたスピーカ２３から耳までの個人化HRTFと、ヘッドホン２２から耳までの個人化HRTFが情報処理装置１により取得される。情報処理装置１は、スピーカ２３から耳までの個人化HRTFと逆補正データを含む個人化HRTFデータを生成する。
　逆補正データは、ヘッドホン２２から耳までの個人化HRTFの逆特性を表すデータである。逆補正データは、再生環境における再生時に個人化HRTFの補正に用いられる。この補正は、スピーカ２３から耳までの個人化HRTFに逆補正データを重畳するようにして、すなわち、ヘッドホン２２から耳までの個人化HRTFを打ち消すようにして行われる。
　個人化HRTFの補正が行われることにより、制作者に個人化され、かつ、ヘッドホン２２の個体差を考慮した、スピーカ２３から耳までの精度の高いHRTFを得ることが可能となる。
・リファレンス情報の記録
　図２の右側に示すように、個人化HRTFの調整時に制作者により参照される情報であるリファレンス情報が取得される。リファレンス情報は、例えば、測定環境の特性やヘッドホン２２のデバイス特性などに基づいて取得される。リファレンス情報の詳細については後述する。
　HRTF測定によって生成された個人化HRTFデータとともにリファレンス情報を記録することによって、矢印＃１の先に示すように個人化HRTFファイルが生成される。
＜測定環境における調整の流れ＞
　図３は、測定環境における調整の流れを示す図である。
　測定環境に用意された情報処理装置１においては、図３の左側に示すように、スピーカ２３から耳までの個人化HRTFと、ヘッドホン２２から耳までの個人化HRTFの逆補正データが、個人化HRTFファイルから個人化HRTFデータとして読み出される。
　情報処理装置１には、図３の右側に示すようにヘッドホン２２が接続される。ヘッドホン２２からは、個人化HRTFファイルから読み出された個人化HRTFデータを用いて再生された音声が出力される。
　制作者は、ディスプレイ１Ａの表示を見て情報処理装置１を操作し、例えば、図４に示すように、ヘッドホン２２から出力された再生音の音場と音質が、それぞれ、スピーカ２３から出力された再生音の音場と音質を再現したものとなるように調整を行う。ディスプレイ１Ａに表示される調整画面には、例えば、個人化HRTFデータとリファレンス情報に基づく情報が表示される。
　例えば、制作者は、音場の調整に用いられるリファレンス情報を参照して、ヘッドホン２２から出力される再生音に含まれる残響成分を調整する。情報処理装置１においては、スピーカ２３から耳までの個人化HRTFの調整に用いる調整値が制作者の操作に応じて生成される。
　また、制作者は、音質の調整に用いられるリファレンス情報を参照して、ヘッドホン２２の特性を加味した音質を調整する。情報処理装置１においては、ヘッドホン２２から耳までの個人化HRTFの逆補正データの調整に用いる調整値が制作者の操作に応じて生成される。
　このようにして生成された個人化HRTFデータの調整値が、図３の矢印＃２の先に示すように、個人化HRTFデータおよびリファレンス情報とともに個人化HRTFファイルに記録される。
＜再生環境における再生の流れ＞
　図５は、再生環境における再生の流れを示す図である。
　再生環境に用意された再生機器３１にはヘッドホン３２が接続される。ヘッドホン３２は、例えば、測定環境において用いられたヘッドホン２２と同じメーカーが製造する、同じ型番のヘッドホン（同じ仕様のヘッドホン）である。制作者が自宅に持ち帰ったヘッドホン２２がヘッドホン３２として使用されるようにしてもよい。
　再生機器３１においては、個人化HRTFファイルに記録された個人化HRTFデータが調整値に基づいて調整される。調整された個人化HRTFデータを用いて、オブジェクトオーディオやチャネルオーディオなどの、編集対象となる映画の音声信号の再生が行われる。映画の音声を構成するオーディオデータには、オブジェクトオーディオやチャネルオーディオのデータが含まれる。
　制作者は、映画の音声の制作環境としての映画館を再現するようにして出力された再生音を聞きながら、映画の音声の編集作業を行うことができる。
　このように、個人化HRTFデータを調整することにより、映画の音声や音楽の制作において求められる音場と音質を再現することが可能となる。
　例えば、スピーカ２３から耳までの個人化HRTFの調整が行われることにより、制作者は、音がボケていないように音場が調整された状態で音声の編集を行うことができる。また、ヘッドホン２２から耳までの個人化HRTFの逆補正データの調整が行われることにより、制作者は、測定環境に設置されたサブウーファから出力される低域の音の音質の再現度を向上させることができる。
＜＜３．情報処理装置の構成と動作＞＞
＜情報処理装置の構成＞
　図６は、情報処理装置１の機能構成例を示すブロック図である。
　情報処理装置１においては、情報処理装置１を構成するPCのCPUにより所定のプログラムが実行されることによって情報処理部１０１が実現される。
　情報処理部１０１は、ファイル生成部１１１と調整値記録部１１２から構成される。情報処理部１０１の構成のうちの少なくとも一部の構成が、測定環境に用意されたアンプなどの他の機器により実現されるようにしてもよい。
　ファイル生成部１１１は、個人化HRTFの測定を行い、個人化HRTFファイルを生成する。ファイル生成部１１１により生成された個人化HRTFファイルは、調整値記録部１１２に供給される。
　調整値記録部１１２は、個人化HRTFデータを制作者の操作に応じて調整し、調整値を個人化HRTFファイルに記録する。
・ファイル生成部の構成
　図７は、ファイル生成部１１１の構成例を示すブロック図である。
　ファイル生成部１１１は、再生処理部１２１、出力制御部１２２、HRTF取得部１２３、HRTFデータ生成部１２４、リファレンス情報取得部１２５、およびHRTFファイル生成部１２６から構成される。
　再生処理部１２１は、ヘッドホン２２とスピーカ２３から出力させる音の再生を制御する。規定信号のデータなどのオーディオデータを再生して得られた音声信号は出力制御部１２２に供給される。
　出力制御部１２２は、再生処理部１２１から供給された音声信号に応じた再生音を、ヘッドホン２２とスピーカ２３から出力させる。
　HRTF取得部１２３は、マイク２１による集音結果に基づいて、ヘッドホン２２から耳までの個人化HRTFと、スピーカ２３から耳までの個人化HRTFを取得する。HRTF取得部１２３により取得された個人化HRTFを表す情報はHRTFデータ生成部１２４に供給される。
　HRTFデータ生成部１２４は、逆補正データと、スピーカ２３から耳までの個人化HRTFとを含む個人化HRTFデータを生成する。HRTFデータ生成部１２４により生成された個人化HRTFデータはHRTFファイル生成部１２６に供給される。
　リファレンス情報取得部１２５は、測定環境の特性とヘッドホン２２のデバイス特性に基づいてリファレンス情報を取得する。
　具体的には、リファレンス情報取得部１２５は、ヘッドホン２２の特性に基づいて、音質調整用のリファレンス情報を取得する。音質調整用のリファレンス情報は、個人性ばらつき、リニアリティ、THD(Total Harmonic Distortion)などのデバイス特性に基づいて取得される。
　例えば、各電圧の信号を用いた場合の音圧分布レベル（SPL(Sound Pressure Level)）とTHDに基づいて音質調整用のリファレンス情報が取得される。
　また、リファレンス情報取得部１２５は、測定環境の残響特性に基づいて、音場調整用のリファレンス情報を取得する。例えば、スピーカ２３から耳までの個人化HRTFに基づいて、音場調整用のリファレンス情報が取得される。
　図８は、音場調整用のリファレンス情報の例を示す図である。
　図８のＡは、「Room A」、「Room B」、および「Room C」の３つの空間における残響成分の減衰特性を表す。図８のＢは、「Room A」の空間における残響成分を、「Room B」と「Room C」のそれぞれの空間における残響成分に変換するための情報を表す。「Room A」は広い部屋を表し、例えば測定環境である映画館に相当する。「Room B」は中程度の広さの部屋を表し、「Room C」は狭い部屋を表す。
　このように、リファレンス情報取得部１２５は、測定環境における残響成分の情報とともに、測定環境における残響成分を規定の空間における残響成分に変換するための情報を、リファレンス情報として取得する。
　以上のような測定環境の特性やヘッドホン２２のデバイス特性を表す情報は、例えば、個人化HRTFの測定前に図７のリファレンス情報取得部１２５に入力される。リファレンス情報取得部１２５により取得されたリファレンス情報は、HRTFファイル生成部１２６に供給される。
　HRTFファイル生成部１２６は、HRTFデータ生成部１２４から供給された個人化HRTFデータに対して、リファレンス情報取得部１２５から供給されたリファレンス情報を含むヘッダ部を付加することによって個人化HRTFファイルを生成する。ヘッダ部には、リファレンス情報とともに、測定場所、ユーザ名、ヘッドホン２２の機種名を表す情報が属性情報として含まれる。
・調整値記録部の構成
　図９は、調整値記録部１１２の構成例を示すブロック図である。
　調整値記録部１１２は、個人化HRTFファイル取得部１４１、再生処理部１４２、出力制御部１４３、調整部１４４、および記録部１４５から構成される。
　個人化HRTFファイル取得部１４１は、ファイル生成部１１１から供給された個人化HRTFファイルを取得する。個人化HRTFファイル取得部１４１により取得された個人化HRTFファイルは、再生処理部１４２、調整部１４４、および記録部１４５に供給される。
　再生処理部１４２は、個人化HRTFの調整において用いる音声信号を取得する。例えば、個人化HRTFの測定において使用された規定信号と同じ音声信号が取得される。
　再生処理部１４２は、個人化HRTFファイル取得部１４１から供給された個人化HRTFファイルから個人化HRTFデータを読み出し、個人化HRTFの畳み込みを含むバイノーラル処理を音声信号に対して行うことによって再生信号を生成する。
また、再生処理部１４２は、適宜、調整部１４４から供給された調整値に基づいて個人化HRTFを調整し、調整後の個人化HRTFを用いたバイノーラル処理を行う。再生処理部１４２により生成された再生信号は、出力制御部１４３に供給される。
　出力制御部１４３は、再生処理部１４２から供給された信号に応じた再生音をヘッドホン２２から出力させる。
　調整部１４４は、ファイル情報表示部１７１、音質調整部１７２、および音場調整部１７３により構成される。
　ファイル情報表示部１７１は、個人化HRTFファイル取得部１４１から供給された個人化HRTFファイルのヘッダ部に含まれる属性情報の内容などを調整画面に表示させる。個人化HRTFデータの調整時、ディスプレイ１Ａには、個人化HRTFデータの調整に用いられるGUI(Graphical User Interface)となる調整画面が表示される。
　音質調整部１７２は、音質の調整時、逆補正データを表す情報などを調整画面に表示させる。逆補正データは、個人化HRTFファイル取得部１４１から供給された個人化HRTFファイルの個人化HRTFデータに含まれる。また、音質調整部１７２は、個人化HRTFファイルのヘッダ部に含まれるリファレンス情報の内容を調整画面に表示させる。
　音質調整部１７２は、制作者の操作に応じて、逆補正データの調整値を音質調整値として取得する。
　音場調整部１７３は、音場の調整時、スピーカ２３から耳までの個人化HRTFに基づく残響成分を表す情報などを調整画面に表示させる。スピーカ２３から耳までの個人化HRTFは、個人化HRTFファイル取得部１４１から供給された個人化HRTFファイルの個人化HRTFデータに含まれる。また、音場調整部１７３は、個人化HRTFファイルのヘッダ部に含まれるリファレンス情報の内容を調整画面に表示させる。
　音場調整部１７３は、制作者の操作に応じて、スピーカ２３から耳までの個人化HRTFの調整値を音場調整値として取得する。
　このように、調整部１４４は、属性情報の内容、リファレンス情報の内容、個人化HRTFデータなどを調整画面に表示させ、制作者（ユーザ）に提示する提示部として機能する。調整部１４４により取得された音質調整値と音場調整値は、再生処理部１４２と記録部１４５に供給される。
　記録部１４５は、個人化HRTFファイル取得部１４１から供給された個人化HRTFファイルのヘッダ部に、調整部１４４から供給された調整値を記録する。
　図１０は、個人化HRTFファイルに記録される情報の例を示す図である。
　個人化HRTFファイルには、個人化HRTFデータが記録されるとともに、ヘッダ情報がヘッダ部に記録される。吹き出しに示すように、ヘッダ情報には、属性情報、リファレンス情報、および調整値が含まれる。
　属性情報には、測定場所を表す情報、ユーザ名を表す情報、測定に使用されたヘッドホンの機種名を表す情報が含まれる。
　測定場所を表す情報は、測定環境の場所を表す情報である。上述した例の場合、測定環境として使用された映画館の情報が、測定場所を表す情報として記録される。例えば、個人化HRTFの調整を行う制作者は、測定場所を表す情報に基づいて測定環境を特定することが可能となる。
　ユーザ名を表す情報は、個人化HRTFを使用して編集を行う制作者を表す情報である。
　測定に使用したヘッドホンの機種名を表す情報には、ヘッドホン２２のメーカーを表す情報、型名などの識別情報が含まれる。
　リファレンス情報には、音質調整用のリファレンス情報と音場調整用のリファレンス情報が含まれる。
　音質調整用のリファレンス情報には、例えば、Split Freq、Limit Gainが含まれる。
　Split Freqは、一定の補正値を適用する境界となる周波数を表す。Split Freq以上の帯域に対しては一定の補正値を用いた補正が行われる。Limit Gainは補正値となるゲインの最大値を表す。
　音場調整用のリファレンス情報には、例えば、Gain、Start Point、Lengthが含まれる。
　Gainは残響成分の補正値として用いられるゲインを表す。Start Pointは減衰の開始位置を表す。Lengthは一定の減衰率の適用範囲を表す。
　以上のような各情報が、音質調整値と音場調整値からなる調整値とともにヘッダ情報として記録され、個人化HRTFファイルが構成される。調整値の情報がヘッダ部に記録された個人化HRTFファイルが再生機器３１に提供される。
＜情報処理装置の動作＞
　ここで、以上のような構成を有する情報処理装置１の処理について説明する。
・個人化HRTFファイル生成処理
　図１１のフローチャートを参照して、測定環境において情報処理装置１が行う個人化HRTFファイル生成処理について説明する。
　ここでは、図１１の全てのステップの処理が情報処理装置１により行われる処理であるとして説明するが、適宜、測定環境に用意された他の機器により行われる。上述したように、個人化HRTFの測定は、聴取者としての制作者が映画館の所定の座席に座り、耳穴にマイク２１を取り付けた状態で行われる。
　ステップＳ１において、出力制御部１２２は、映画館のスピーカ２３から再生音を出力させる。
　ステップＳ２において、HRTF取得部１２３は、マイク２１による集音結果に基づいて、スピーカ２３から耳までの個人化HRTFを測定する。スピーカ２３から耳までの個人化HRTFの測定が行われた後、制作者は、マイク２１を取り付けた耳に被せるようにして、ヘッドホン２２を装着する。
　ステップＳ３において、出力制御部１２２は、制作者が装着したヘッドホン２２から再生音を出力させる。
　ステップＳ４において、HRTF取得部１２３は、マイク２１による集音結果に基づいて、ヘッドホン２２から耳までの個人化HRTFを測定する。
　ステップＳ５において、HRTFデータ生成部１２４は、ヘッドホン２２から耳までの個人化HRTFと、スピーカ２３から耳までの個人化HRTFの逆補正データとを含む個人化HRTFデータを生成する。
　ステップＳ６において、リファレンス情報取得部１２５は、ヘッドホン２２や測定環境の特性に基づいてリファレンス情報を取得する。
　ステップＳ７において、HRTFファイル生成部１２６は、リファレンス情報を含むヘッダ情報と個人化HRTFデータを記録した個人化HRTFファイルを生成する。
　以上においては、マイク２１を用いて個人化HRTFの測定が行われるものとしたが、制作者の耳を撮影して得られた耳画像に基づいて、スピーカ２３から耳までの個人化HRTFが取得されるようにしてもよい。この場合、機械学習などによってあらかじめ生成された個人化HRTF推論用の推論モデルが用いられる。個人化HRTF推論用の推論モデルは、耳画像を入力とし、個人化HRTFを出力とする推論モデルである。
・個人化HRTF調整処理
　次に、図１２のフローチャートを参照して、測定環境において情報処理装置１が行う個人化HRTF調整処理について説明する。
　ステップＳ２１において、ファイル情報表示部１７１は、ファイル情報表示処理を行う。ファイル情報表示処理により、個人化HRTFファイルが読み込まれ、属性情報の内容などが表示される。ファイル情報表示処理については、図１３のフローチャートを参照して後述する。
　ステップＳ２２において、音質調整部１７２は、音質調整処理を行う。音質調整処理により、逆補正データが調整され、音質調整値が個人化HRTFファイルに記録される。音質調整処理については、図１５のフローチャートを参照して後述する。
　ステップＳ２３において、音場調整部１７３は、音場調整処理を行う。音場調整処理により、スピーカ２３から耳までの個人化HRTFデータが調整され、音場調整値が個人化HRTFファイルに記録される。音場調整処理については、図１８を参照して後述する。
・ファイル情報表示処理
　図１３のフローチャートを参照して、図１２のステップＳ２１において行われるファイル情報表示処理について説明する。
　ステップＳ３１において、調整部１４４は、個人化HRTFファイルを読み込む。個人化HRTFファイルが読み込まれることにより、スピーカから耳までの個人化HRTFデータと逆補正データが取得される。また、属性情報とリファレンス情報が取得される。
　ステップＳ３２において、ファイル情報表示部１７１は、属性情報に基づいて測定場所を表す情報を表示させる。
　ステップＳ３３において、ファイル情報表示部１７１は、属性情報に基づいてユーザ名を表す情報を表示させる。
　ステップＳ３４において、ファイル情報表示部１７１は、属性情報に基づいて、測定に使用されたヘッドホン２２の機種名を表す情報を表示させる。
　図１４は、属性情報の表示例を示す図である。
　図１４に示す画面は、個人化HRTFデータの調整に用いられる調整画面のメイン画面として表示される。画面上方の項目２０１は、調整対象の個人化HRTFファイルを表す。図１４の例においては、「/No Name/profiles/Username」が調整対象の個人化HRTFファイルとして表示されている。
　項目２０１の下に、測定場所を表す画像である画像Ｐ１が表示される。画像Ｐ１の右側には、属性情報の表示領域である領域Ａ１が形成される。領域Ａ１には項目２０２乃至２０４の３種類の情報が表示される。
　項目２０２は測定場所の名前を表す。図１４の例においては、「Room A」が測定場所の名前として表示されている。
　項目２０３はユーザ名を表す。図１４の例においては、「Username」がユーザ名として表示されている。
　項目２０４は、測定に使用されたヘッドホンの機種名を表す。図１４の例においては、「Headphones」がヘッドホンの機種名として表示されている。
　制作者は、項目２０１乃至２０４の表示を見て、調整対象の個人化HRTFファイルを確認したり、測定環境の情報を確認したりすることができる。
　このように、属性情報が表示された後、図１２のステップＳ２１に戻り、それ以降の処理が行われる。
・音質調整処理
　図１５のフローチャートを参照して、図１２のステップＳ２２において行われる音質調整処理について説明する。
　音質調整処理は、例えば、図１４のメイン画面において音質調整を行うことが指示された場合に開始される。上述したように、音質調整は、ヘッドホン２２から耳までの個人化HRTFの逆特性を表す逆補正データを調整するようにして行われる。
　ステップＳ４１において、音質調整部１７２は、逆補正データを表す情報を表示させる。
　ステップＳ４２において、音質調整部１７２は、リファレンス情報に基づいて、ヘッドホン２２のデバイス特性を考慮した最大補正量のリファレンス線を表示させる。
　図１６は、音質調整画面の表示例を示す図である。
　図１６に示すように、音質調整画面の上方には、音質調整用のリファレンス情報の内容が表示される。
　項目２１１は、一定の補正を適用する境界となる周波数を表す「Split Freq」である。図１６の例においては、「11700」Hzが、境界となる周波数として表示されている。
　項目２１２は、補正値となるゲインの最大値を表す「Limit Gain」である。図１６の例においては、「16.0」（dB）が11700Hz以下の周波数のゲインの最大値として表示され、「-2.0」（dB）が11700Hz以上の周波数のゲインの最大値として表示されている。
　画面の下方には、逆補正データを表す波形２１４とともに、リファレンス線２１３が表示される。波形２１４は、Ｌチャネル用の逆補正データとＲチャネル用の逆補正データを表す。リファレンス線２１３は、ヘッドホン２２のデバイス特性を考慮した最大補正量を表す。各情報の内容を図１７に示す。
　制作者は、リファレンス線２１３を見て、ゲインをどの程度の値にする必要があるのかを確認することができる。制作者は、波形２１４上の表示を動かすなどして、「Split Freq」と「Limit Gain」により表される音質調整用のリファレンス情報を調整する。
　図１５の説明に戻り、ステップＳ４３において、音質調整部１７２は、制作者の操作に応じて、逆補正データを調整する。音質調整部１７２により、逆補正データの調整値である音質調整値が、制作者の操作に応じて設定される。音質調整値を用いた調整後の逆補正データを用いた再生が、適宜、再生処理部１４２により行われる。
　ステップＳ４４において、記録部１４５は、音質調整値を個人化HRTFファイルのヘッダ部に記録する。
　音質調整値が記録された後、図１２のステップＳ２２に戻り、それ以降の処理が行われる。
・音場調整処理
　図１８のフローチャートを参照して、図１２のステップＳ２３において行われる音場調整処理について説明する。
　音場調整処理は、例えば、図１４のメイン画面において音場調整を行うことが指示された場合に開始される。
　ステップＳ６１において、音場調整部１７３は、スピーカ２３から耳までの個人化HRTFに基づく部屋Ａにおける残響成分を表す情報を表示させる。部屋Ａは例えば、測定環境である映画館である。
　ステップＳ６２において、音場調整部１７３は、リファレンス情報に基づいて、部屋Ａにおける残響成分を部屋Ｂにおける残響成分に変換するためのリファレンス線を表示させる。
　ステップＳ６３において、音場調整部１７３は、リファレンス情報に基づいて、部屋Ａにおける残響成分を部屋Ｃにおける残響成分に変換するためのリファレンス線を表示させる。
　図１９は、音場調整画面の表示例を示す図である。
　図１９に示すように、音場調整画面の上方には、音場調整用のリファレンス情報の内容が表示される。各情報の内容を図２０に示す。
　項目２２１は、残響成分の補正値として用いられるゲインを表す「Gain」である。図１９の例においては、「-29」dBがゲインとして表示されている。
　項目２２２は、減衰の開始位置を表す「Start Point」である。図１９の例においては、「256」の値が減衰の開始位置として表示されている。
　項目２２３は、一定の減衰率の適用範囲を表す「Length」である。図１９の例においては、「２」ｋが減衰率の適用範囲として表示されている。
　画面の下方には、残響成分を表す波形２２４とともに、リファレンス線２２５乃至２２７が表示される。リファレンス線２２５は、測定環境における残響成分の減衰特性を表す。リファレンス線２２５により、測定環境における残響成分の開始位置、終了位置、ゲインが表される。
　リファレンス線２２６は、測定環境における残響成分を「Room B」における残響成分に変換するためのリファレンス線であり、「Room B」の減衰特性を表す。リファレンス線２２７は、測定環境における残響成分を「Room C」における残響成分に変換するためのリファレンス線であり、「Room C」の減衰特性を表す。
　制作者は、リファレンス線２２６とリファレンス線２２７を見て、残響成分をどの程度補正する必要があるのかを確認することができる。制作者は、項目２２１乃至２２３の欄に数値を入力したり、項目２２１乃至２２３の隣に表示されたスライドバーを動かしたりして、「Gain」、「Start Point」、「Length」により表される音場調整用のリファレンス情報を調整する。
　図１８の説明に戻り、ステップＳ６４において、音場調整部１７３は、制作者の操作に応じて、スピーカ２３から耳までの個人化HRTFを調整する。音場調整部１７３により、スピーカ２３から耳までの個人化HRTFの調整値である音場調整値が、制作者の操作に応じて設定される。音場調整値を用いた調整後の個人化HRTFを用いた再生が、適宜、再生処理部１４２により行われる。
　ステップＳ６５において、記録部１４５は、音場調整値を個人化HRTFファイルのヘッダ部に記録する。
　音場調整値が記録された後、図１２のステップＳ２３に戻り、それ以降の処理が行われる。以上の一連の処理によって生成された個人化HRTFファイルが再生機器３１に提供される。
＜＜４．再生機器の構成と動作＞＞
＜再生機器の構成＞
　図２１は、再生機器３１の機能構成例を示すブロック図である。
　再生機器３１においては、再生機器３１を構成するPCのCPUにより所定のプログラムが実行されることによって再生処理部２５１が実現される。
　再生処理部２５１は、音声信号取得部２６１、個人化HRTFファイル取得部２６２、音声信号処理部２６３、および出力制御部２６４から構成される。再生処理部２５１の構成のうちの少なくとも一部の構成が、再生環境に用意された他の機器において実現されるようにしてもよい。
　音声信号取得部２６１は、例えば、編集対象となる映画の音声の音声信号を取得し、音声信号処理部２６３に出力する。
　個人化HRTFファイル取得部２６２は、情報処理装置１から提供された個人化HRTFファイルを取得し、音声信号処理部２６３に出力する。
　音声信号処理部２６３は、個人化HRTFファイル取得部２６２から供給された個人化HRTFファイルから個人化HRTFデータを読み出し、音声信号取得部２６１から供給された音声信号に対してバイノーラル処理を行うことによって再生信号を生成する。
　また、音声信号処理部２６３は、適宜、個人化HRTFファイルのヘッダ部に含まれる調整値に基づいて個人化HRTFデータを調整し、調整後の個人化HRTFを用いたバイノーラル処理を行う。音声信号処理部２６３により生成された再生信号は出力制御部２６４に供給される。
　出力制御部２６４は、音声信号処理部２６３から供給された再生信号に応じた再生音をヘッドホン３２から出力させる。
＜再生機器の動作＞
　図２２のフローチャートを参照して、再生環境において再生機器３１が行う再生処理について説明する。
　ステップＳ８１において、音声信号取得部２６１は、映画の音声の音声信号を取得する。
　ステップＳ８２において、個人化HRTFファイル取得部２６２は、情報処理装置１から提供された個人化HRTFファイルを取得する。
　ステップＳ８３において、音声信号処理部２６３は、スピーカ２３から耳までの個人化HRTFを、音場調整値を用いて調整する。スピーカ２３から耳までの個人化HRTFは、個人化HRTFファイルの個人化HRTFデータから取得され、音場調整値は、個人化HRTFファイルのヘッダ部から取得される。
　ステップＳ８４において、音声信号処理部２６３は、ヘッドホン２２から耳までの特性の逆補正データを、音質調整値を用いて調整する。逆補正データは、個人化HRTFファイルの個人化HRTFデータから取得され、音質調整値は、個人化HRTFファイルのヘッダ部から取得される。
　ステップＳ８５において、音声信号処理部２６３は、調整後の逆補正データを用いて、調整後のスピーカ２３から耳までの個人化HRTFを補正する。具体的には、調整後のヘッドホン２２から耳までの個人化HRTFの逆特性を、調整後のスピーカ２３から耳までの個人化HRTFに重畳するようにして補正が行われる。
　ステップＳ８６において、音声信号処理部２６３は、補正後の個人化HRTFを用いて、映画の音声の音声信号に対してバイノーラル処理を行う。バイノーラル処理により再生信号が生成される。
　ステップＳ８７において、出力制御部２６４は、再生信号に応じた再生音をヘッドホン３２から出力させる。
　以上のように、映画の音声の制作者は、自身に個人化されたHRTFを調整することができる。個人化HRTF自体を調整することができるようにすることにより、映画の音声や音楽の制作において求められる音質と音場を再現することが可能となる。
＜＜５．変形例＞＞
　音声の出力機器としてオーバーヘッド型のヘッドホンが用いられるものとしたが、インナーイヤー型のヘッドホン（イヤホン）が用いられるようにしてもよい。また、ヘッドホンではなく、スピーカが音声の出力機器として用いられるようにしてもよい。
　測定環境において個人化HRTFの調整が行われるものとしたが、測定環境と異なる環境において個人化HRTFの調整が行われるようにしてもよい。この場合、制作者は、測定環境から持ち帰ったヘッドホン２２を使用して個人化HRTFデータの調整を行う。
　図１の音響制作システムが映画の音声の制作に用いられるものとしたが、音楽の制作に用いられるシステム、テレビジョン番組の音声の制作に用いられるシステムなどの、各種の音の制作に用いられるシステムに図１の音響制作システムは適用可能である。
　コンテンツの音声の制作時ではなく、コンシューマ機器で音声を再生する場合に、上述したようにして個人化HRTFデータの調整が行われるようにしてもよい。
　音の伝達特性を表す頭部伝達関数として、周波数領域の情報であるHRTFの形式で記録された情報が用いられるものとしたが、時間領域の情報であるHRIR(Head Related Impulse Response)の形式で記録された情報が用いられるようにしてもよい。
・コンピュータの構成例
　上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。
　図２３は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。情報処理装置１と再生機器３１は、図２３に示す構成と同じ構成を有するPCにより構成される。
　CPU(Central Processing Unit)５０１、ROM(Read Only Memory)５０２、RAM(Random Access Memory)５０３は、バス５０４により相互に接続されている。
　バス５０４には、さらに、入出力インタフェース５０５が接続される。入出力インタフェース５０５には、キーボード、マウスなどよりなる入力部５０６、ディスプレイ、スピーカなどよりなる出力部５０７が接続される。また、入出力インタフェース５０５には、ハードディスクや不揮発性のメモリなどよりなる記憶部５０８、ネットワークインタフェースなどよりなる通信部５０９、リムーバブルメディア５１１を駆動するドライブ５１０が接続される。
　以上のように構成されるコンピュータでは、CPU５０１が、例えば、記憶部５０８に記憶されているプログラムを入出力インタフェース５０５及びバス５０４を介してRAM５０３にロードして実行することにより、上述した一連の処理が行われる。
　CPU５０１が実行するプログラムは、例えばリムーバブルメディア５１１に記録して、あるいは、ローカルエリアネットワーク、インターネット、デジタル放送といった、有線または無線の伝送媒体を介して提供され、記憶部５０８にインストールされる。
　コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
　なお、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
　本明細書に記載された効果はあくまで例示であって限定されるものでは無く、また他の効果があってもよい。
　本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
　例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
　また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
　さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
＜構成の組み合わせ例＞
（１）
　測定環境における音の伝達特性であり、ユーザに個人化された前記伝達特性である個人化伝達特性を、前記ユーザの操作に応じて調整する調整部を備える
　情報処理装置。
（２）
　前記個人化伝達特性の調整時に参照されるリファレンス情報の内容を、前記個人化伝達特性とともに前記ユーザに提示する提示部をさらに備える
　前記（１）に記載の情報処理装置。
（３）
　前記調整部は、前記ユーザが装着する出力機器から出力された再生音に基づいて測定された前記個人化伝達特性を調整する
　前記（２）に記載の情報処理装置。
（４）
　前記提示部は、前記出力機器のデバイス特性に基づいて取得された前記リファレンス情報の内容を提示する
　前記（３）に記載の情報処理装置。
（５）
　前記調整部は、前記測定環境に設置されたスピーカから出力された再生音に基づいて測定された前記個人化伝達特性を調整する
　前記（２）乃至（４）のいずれかに記載の情報処理装置。
（６）
　前記提示部は、前記測定環境における音の残響特性に基づいて取得された前記リファレンス情報の内容を提示する
　前記（５）に記載の情報処理装置。
（７）
　前記提示部は、前記測定環境とは異なる規定の空間における音の残響特性を表す前記リファレンス情報の内容を提示する
　前記（６）に記載の情報処理装置。
（８）
　前記リファレンス情報は、前記個人化伝達特性のデータが記録されたファイルのヘッダ部に記録される
　前記（２）乃至（７）のいずれかに記載の情報処理装置。
（９）
　前記ユーザの操作に応じた調整値を、前記ヘッダ部に記録する記録部をさらに備える
　前記（８）に記載の情報処理装置。
（１０）
　前記提示部は、前記測定環境の場所を表す情報、前記個人化伝達特性を再生環境において使用する前記ユーザを表す情報、および、前記ユーザが装着する出力機器を表す情報を含む属性情報の内容を提示する
　前記（８）または（９）に記載の情報処理装置。
（１１）
　前記属性情報は、前記ヘッダ部に記録される
　前記（１０）に記載の情報処理装置。
（１２）
　情報処理装置が、
　測定環境における音の伝達特性であり、ユーザに個人化された前記伝達特性である個人化伝達特性を、前記ユーザの操作に応じて調整する
　情報処理方法。
（１３）
　コンピュータに、
　測定環境における音の伝達特性であり、ユーザに個人化された前記伝達特性である個人化伝達特性を、前記ユーザの操作に応じて調整する
　処理を実行させるためのプログラム。
（１４）
　測定環境における音の伝達特性であり、ユーザに個人化された前記伝達特性である個人化伝達特性を、前記ユーザによる調整によって設定された調整値に基づいて調整し、調整後の前記個人化伝達特性を用いて音声信号を再生する再生部を備える
　再生機器。
（１５）
　前記再生部は、前記測定環境に設置されたスピーカから出力された再生音に基づいて測定された第１の個人化伝達特性と、前記ユーザが装着する出力機器から出力された再生音に基づいて測定された第２の個人化伝達特性とをそれぞれ調整する
　前記（１４）に記載の再生機器。
（１６）
　前記再生部は、調整後の前記第２の個人化伝達特性の逆特性を、調整後の前記第１の個人化伝達特性に重畳することによって前記第１の個人化伝達特性を補正し、補正後の前記第１の個人化伝達特性を用いて音声信号を再生する
　前記（１５）に記載の再生機器。
（１７）
　再生機器が、
　測定環境における音の伝達特性であり、ユーザに個人化された前記伝達特性である個人化伝達特性を、前記ユーザによる調整によって設定された調整値に基づいて調整し、
　調整後の前記個人化伝達特性を用いて音声信号を再生する
　再生方法。
（１８）
　コンピュータに、
　測定環境における音の伝達特性であり、ユーザに個人化された前記伝達特性である個人化伝達特性を、前記ユーザによる調整によって設定された調整値に基づいて調整し、
　調整後の前記個人化伝達特性を用いて音声信号を再生する
　処理を実行させるためのプログラム。
　１　情報処理装置，　１Ａ　ディスプレイ，　２１　マイク，　２２　ヘッドホン，　３１　再生機器，　３１Ａ　ディスプレイ，　３２　ヘッドホン，　１０１　情報処理部，　１１１　ファイル生成部，　１１２　調整値記録部，　１２１　再生処理部，　１２２　出力制御部，　１２３　HRTF取得部，　１２４　HRTFデータ生成部，　１２５　リファレンス情報取得部，　１２６　HRTFファイル生成部，　１４１　個人化HRTFファイル取得部，　１４２　再生処理部，　１４３　出力制御部，　１４４　調整部，　１４５　記録部，　１７１　ファイル情報表示部，　１７２　音質調整部，　１７３　音場調整部，　２５１　再生処理部，　２６１　音声信号取得部，　２６２　個人化HRTFファイル取得部，　２６３　音声信号処理部，　２６４　出力制御部

Claims (13)

  1. 　測定環境における音の伝達特性であり、ユーザに個人化された前記伝達特性である個人化伝達特性を、前記ユーザの操作に応じて調整する調整部を備える
    　情報処理装置。
  2. 　前記個人化伝達特性の調整時に参照されるリファレンス情報の内容を、前記個人化伝達特性とともに前記ユーザに提示する提示部をさらに備える
    　請求項１に記載の情報処理装置。
  3. 　前記調整部は、前記ユーザが装着する出力機器から出力された再生音に基づいて測定された前記個人化伝達特性を調整する
    　請求項２に記載の情報処理装置。
  4. 　前記提示部は、前記出力機器のデバイス特性に基づいて取得された前記リファレンス情報の内容を提示する
    　請求項３に記載の情報処理装置。
  5. 　前記調整部は、前記測定環境に設置されたスピーカから出力された再生音に基づいて測定された前記個人化伝達特性を調整する
    　請求項２に記載の情報処理装置。
  6. 　前記提示部は、前記測定環境における音の残響特性に基づいて取得された前記リファレンス情報の内容を提示する
    　請求項５に記載の情報処理装置。
  7. 　前記提示部は、前記測定環境とは異なる規定の空間における音の残響特性を表す前記リファレンス情報の内容を提示する
    　請求項６に記載の情報処理装置。
  8. 　前記リファレンス情報は、前記個人化伝達特性のデータが記録されたファイルのヘッダ部に記録される
    　請求項２に記載の情報処理装置。
  9. 　前記ユーザの操作に応じた調整値を、前記ヘッダ部に記録する記録部をさらに備える
    　請求項８に記載の情報処理装置。
  10. 　前記提示部は、前記測定環境の場所を表す情報、前記個人化伝達特性を再生環境において使用する前記ユーザを表す情報、および、前記ユーザが装着する出力機器を表す情報を含む属性情報の内容を提示する
    　請求項８に記載の情報処理装置。
  11. 　前記属性情報は、前記ヘッダ部に記録される
    　請求項１０に記載の情報処理装置。
  12. 　情報処理装置が、
    　測定環境における音の伝達特性であり、ユーザに個人化された前記伝達特性である個人化伝達特性を、前記ユーザの操作に応じて調整する
    　情報処理方法。
  13. 　コンピュータに、
    　測定環境における音の伝達特性であり、ユーザに個人化された前記伝達特性である個人化伝達特性を、前記ユーザの操作に応じて調整する
    　処理を実行させるためのプログラム。
PCT/JP2022/000011 2021-01-29 2022-01-04 情報処理装置、情報処理方法、およびプログラム WO2022163308A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
DE112022000838.5T DE112022000838T5 (de) 2021-01-29 2022-01-04 Informationsverarbeitungsvorrichtung, informationsverarbeitungsverfahren und programm
JP2022578201A JPWO2022163308A1 (ja) 2021-01-29 2022-01-04

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021-013881 2021-01-29
JP2021013881 2021-01-29

Publications (1)

Publication Number Publication Date
WO2022163308A1 true WO2022163308A1 (ja) 2022-08-04

Family

ID=82654545

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/000011 WO2022163308A1 (ja) 2021-01-29 2022-01-04 情報処理装置、情報処理方法、およびプログラム

Country Status (3)

Country Link
JP (1) JPWO2022163308A1 (ja)
DE (1) DE112022000838T5 (ja)
WO (1) WO2022163308A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007110206A (ja) * 2005-10-11 2007-04-26 Yamaha Corp 信号処理装置および音像定位装置
US20120201405A1 (en) * 2007-02-02 2012-08-09 Logitech Europe S.A. Virtual surround for headphones and earbuds headphone externalization system
JP2013219731A (ja) * 2012-03-16 2013-10-24 Panasonic Corp 音像定位装置および音像定位処理プログラム
US20200257548A1 (en) * 2019-02-08 2020-08-13 Sony Corporation Global hrtf repository
JP2020201479A (ja) * 2019-06-10 2020-12-17 ジェネレック・オーワイＧｅｎｅｌｅｃ Ｏｙ 頭部伝達関数を生成するシステム及び方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009260574A (ja) 2008-04-15 2009-11-05 Sony Ericsson Mobilecommunications Japan Inc 音声信号処理装置、音声信号処理方法及び音声信号処理装置を備えた携帯端末

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007110206A (ja) * 2005-10-11 2007-04-26 Yamaha Corp 信号処理装置および音像定位装置
US20120201405A1 (en) * 2007-02-02 2012-08-09 Logitech Europe S.A. Virtual surround for headphones and earbuds headphone externalization system
JP2013219731A (ja) * 2012-03-16 2013-10-24 Panasonic Corp 音像定位装置および音像定位処理プログラム
US20200257548A1 (en) * 2019-02-08 2020-08-13 Sony Corporation Global hrtf repository
JP2020201479A (ja) * 2019-06-10 2020-12-17 ジェネレック・オーワイＧｅｎｅｌｅｃ Ｏｙ 頭部伝達関数を生成するシステム及び方法

Also Published As

Publication number Publication date
JPWO2022163308A1 (ja) 2022-08-04
DE112022000838T5 (de) 2023-11-09

Similar Documents

Publication Publication Date Title
US11075609B2 (en) Transforming audio content for subjective fidelity
KR100626233B1 (ko) 스테레오 확장 네트워크에서의 출력의 등화
KR100636213B1 (ko) 실시간 주파수 특성 보정 방법 및 그를 적용한 사운드재생 장치
JP4255031B2 (ja) 低周波チャネルを生成する装置および方法
CN1949940B (zh) 信号处理装置和声像定位设备
JP5691130B2 (ja) 聴者を取り囲むように配置される複数のスピーカで音響再生を行う際にクロストークをキャンセルする装置、方法、プログラム、およびシステム
US20120101609A1 (en) Audio Auditioning Device
Fleischmann et al. Identification and evaluation of target curves for headphones
Wierstorf et al. Listener preference for wave field synthesis, stereophony, and different mixes in popular music
WO2022163308A1 (ja) 情報処理装置、情報処理方法、およびプログラム
WO2018150719A1 (ja) フィルタ生成装置、及びフィルタ生成方法
WO2022085786A1 (ja) 情報処理装置、情報処理方法、およびプログラム
WO2023218917A1 (ja) 情報処理装置、情報処理方法、およびプログラム
Celestinos et al. Personalized and self-adapting headphone equalization using near field response
JPWO2020008889A1 (ja) オーディオ信号処理装置および方法、インパルス応答生成装置および方法、並びにプログラム
US20060245305A1 (en) System comprising sound reproduction means and ear microphones
Griesinger Accurate reproduction of binaural recordings through individual headphone equalization and time domain crosstalk cancellation
Harker et al. Rethinking the box: Approaches to the reality of electronic music performance
JP6421385B2 (ja) サウンド立体化のためのトランスオーラル合成方法
Choadhry et al. Headphone Filtering in Spectral Domain
Whiting Development of a real-time auralization system for assessment of vocal effort in virtual-acoustic environments
Elblaus et al. utruchirp: an impulse response measurement and auralisation tool developed for artistic practice
Preston An analysis of frequency dependent hybrid microphone arrays for stereophonic sound recording
Lerke A real time compensation system for
Fleischmann et al. Headphone Equalization–Measurement, Design and Psychoacoustic Evaluation

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22745536

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022578201

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 112022000838

Country of ref document: DE

122 Ep: pct application non-entry in european phase

Ref document number: 22745536

Country of ref document: EP

Kind code of ref document: A1