RU2020144204A - Method and system for generating a personalized transfer function of a free field audio signal based on transfer function data of a near field audio signal - Google Patents

Method and system for generating a personalized transfer function of a free field audio signal based on transfer function data of a near field audio signal Download PDF

Info

Publication number
RU2020144204A
RU2020144204A RU2020144204A RU2020144204A RU2020144204A RU 2020144204 A RU2020144204 A RU 2020144204A RU 2020144204 A RU2020144204 A RU 2020144204A RU 2020144204 A RU2020144204 A RU 2020144204A RU 2020144204 A RU2020144204 A RU 2020144204A
Authority
RU
Russia
Prior art keywords
audio signal
training
transfer function
data
ear
Prior art date
Application number
RU2020144204A
Other languages
Russian (ru)
Inventor
Андрей Викторович Филимонов
Андрей Игоревич ЕПИШИН
Михаил Сергеевич Клешнин
Джой ЛАЙОНЗ
Original Assignee
Харман Интернэшнл Индастриз, Инкорпорейтид
Filing date
Publication date
Application filed by Харман Интернэшнл Индастриз, Инкорпорейтид filed Critical Харман Интернэшнл Индастриз, Инкорпорейтид
Priority to JP2023530990A priority Critical patent/JP2024501617A/en
Priority to CN202180088133.7A priority patent/CN116711330A/en
Priority to EP21848471.5A priority patent/EP4272463A1/en
Priority to KR1020237018699A priority patent/KR20230125181A/en
Priority to PCT/US2021/065626 priority patent/WO2022147208A1/en
Priority to US18/259,934 priority patent/US20240089683A1/en
Publication of RU2020144204A publication Critical patent/RU2020144204A/en

Links

Claims (33)

1. Компьютерно-реализуемый способ формирования персонализированной передаточной функции звукового сигнала, причем способ содержит этапы, на которых:1. A computer-implemented method for generating a personalized audio signal transfer function, the method comprising the steps of: принимают, средством приема звука, звуковой сигнал на или в ухе пользователя;receiving, by the sound receiving means, an audio signal at or in the user's ear; определяют, на основе принятого звукового сигнала, первые данные, при этом первые данные представляют первую передаточную функцию звукового сигнала, ассоциированную с ухом пользователя;determining, based on the received audio signal, first data, wherein the first data represents a first audio signal transfer function associated with the user's ear; определяют, на основе первых данных, вторые данные, при этом вторые данные представляют вторую передаточную функцию звукового сигнала, ассоциированную с ухом пользователя.determining, based on the first data, second data, wherein the second data represents a second audio signal transfer function associated with the user's ear. 2. Компьютерно-реализуемый способ по п.1, в котором первая передаточная функция звукового сигнала представляет собой передаточную функцию звукового сигнала ближнего поля и/или при этом способ дополнительно содержит этап, на котором принимают звуковой сигнал от средства передачи звука, в частности, от наушников, которые носит пользователь, в рамках ближнего поля относительно уха пользователя.2. The computer-implemented method according to claim 1, wherein the first audio signal transfer function is a near-field audio signal transfer function and/or the method further comprises receiving an audio signal from the audio transmission means, in particular from headphones worn by the user, within the near field relative to the user's ear. 3. Компьютерно-реализуемый способ по любому из предшествующих пунктов, в котором вторая передаточная функция звукового сигнала представляет собой передаточную функцию звукового сигнала дальнего поля или свободного поля.3. A computer-implemented method according to any one of the preceding claims, wherein the second audio transfer function is a far-field or free-field audio transfer function. 4. Компьютерно-реализуемый способ по любому из предшествующих пунктов, в котором вторая передаточная функция звукового сигнала ассоциирована с направлением звукового сигнала; при этом способ дополнительно содержит этап, на котором определяют третьи данные, при этом третьи данные указывают направление звукового сигнала, и при этом определение вторых данных дополнительно основывается на третьих данных.4. The computer-implemented method according to any one of the preceding claims, wherein the second transfer function of the audio signal is associated with the direction of the audio signal; wherein the method further comprises determining the third data, wherein the third data indicates the direction of the audio signal, and wherein the determination of the second data is further based on the third data. 5. Компьютерно-реализуемый способ по любому из предшествующих пунктов, дополнительно содержащий этапы, на которых:5. A computer-implemented method according to any one of the preceding claims, further comprising the steps of: перед приемом звукового сигнала, передают, средством передачи звука, звуковой сигнал; и/илиbefore receiving the audio signal, the audio signal is transmitted by the audio transmission means; and/or определяют, на основе вторых данных, функцию фильтра для модификации звукового сигнала и/или последующего звукового сигнала; и/илиdetermining, based on the second data, a filter function for modifying the audio signal and/or the subsequent audio signal; and/or передают, средством передачи звука, модифицированный звуковой сигнал и/или модифицированный последующий звуковой сигнал.transmitting, by means of sound transmission, a modified sound signal and/or a modified subsequent sound signal. 6. Компьютерно-реализуемый способ по любому из предшествующих пунктов, в котором вторые данные определяются с использованием основывающегося на искусственном интеллекте или основывающегося на машинном обучении алгоритму регрессии, предпочтительно модели нейронной сети, при этом, в частности, первые данные и/или третьи данные используются в качестве входных данных для алгоритма регрессии.6. A computer-implemented method according to any one of the preceding claims, wherein the second data is determined using an artificial intelligence-based or machine learning-based regression algorithm, preferably a neural network model, wherein in particular the first data and/or third data are used as input to the regression algorithm. 7. Компьютерно-реализуемый способ по п.6, дополнительно содержащий, в процессе обучения, компьютерно-реализуемый способ для инициирования и/или обучения алгоритму регрессии по любому из пп.8-13.7. A computer-implemented method according to claim 6, further comprising, in the learning process, a computer-implemented method for initiating and/or learning a regression algorithm according to any one of claims 8-13. 8. Компьютерно-реализуемый способ инициирования и/или обучения основывающегося на искусственном интеллекте или основывающегося на машинном обучении алгоритму регрессии, предпочтительно модели нейронной сети, причем способ содержит этапы, на которых:8. A computer-implemented method for initiating and/or training an AI-based or machine learning-based regression algorithm, preferably a neural network model, the method comprising: определяют обучающий набор данных, при этом обучающий набор данных содержит множество первых обучающих данных и множество вторых обучающих данных; иdetermining a training data set, wherein the training data set comprises a plurality of first training data and a plurality of second training data; and инициируют и/или обучают алгоритму регрессии на основе обучающего набора данных, чтобы выводить вторую передаточную функцию звукового сигнала, ассоциированную с ухом пользователя, на основе входной первой передаточной функции звукового сигнала, ассоциированной с ухом пользователя;initiating and/or training a regression algorithm based on the training dataset to derive a second audio transfer function associated with the user's ear based on the input first audio transfer function associated with the user's ear; при этом каждые из множества первых обучающих данных представляют соответствующую первую обучающую передаточную функцию звукового сигнала, ассоциированную с ухом обучающего субъекта или соответствующим ухом обучающего субъекта;wherein each of the plurality of first training data represents a respective first audio signal training transfer function associated with the ear of the training subject or the respective ear of the training subject; при этом каждые из множества вторых обучающих данных представляют соответствующую вторую обучающую передаточную функцию звукового сигнала, ассоциированную с ухом обучающего субъекта или соответствующим ухом обучающего субъекта.wherein each of the plurality of second training data represents a respective second audio signal training transfer function associated with the ear of the learning subject or the corresponding ear of the learning subject. 9. Компьютерно-реализуемый способ по п.8, в котором каждая из соответствующих первых обучающих передаточных функций звукового сигнала представляет собой соответствующую передаточную функцию звукового сигнала ближнего поля, при этом, в частности, входная первая передаточная функция звукового сигнала представляет собой передаточную функцию звукового сигнала ближнего поля.9. The computer-implemented method of claim 8, wherein each of the respective first training audio signal transfer functions is a respective near field audio signal transfer function, wherein in particular the input first audio signal transfer function is an audio signal transfer function near field. 10. Компьютерно-реализуемый способ по п.8 или 9, в котором каждая из соответствующих вторых обучающих передаточных функций звукового сигнала представляет собой соответствующую передаточную функцию звукового сигнала дальнего поля или свободного поля, при этом, в частотности, выходная вторая передаточная функция звукового сигнала представляет собой передаточную функцию звукового сигнала дальнего поля или свободного поля.10. The computer-implemented method of claim 8 or 9, wherein each of the respective second training audio signal transfer functions is a respective far-field or free-field audio signal transfer function, wherein, in frequency, the output second audio signal transfer function is is the transfer function of the far-field or free-field audio signal. 11. Компьютерно-реализуемый способ по любому из пп.8-10, в котором 11. A computer-implemented method according to any one of claims 8-10, wherein каждая из соответствующих вторых обучающих передаточных функций звукового сигнала ассоциирована с обучающим направлением звукового сигнала относительно уха обучающего субъекта или соответствующим обучающим направлением звукового сигнала относительно уха обучающего субъекта; и/илиeach of the respective second learning transfer functions of the audio signal is associated with a teaching direction of the audio signal relative to the ear of the teaching subject or a corresponding teaching direction of the audio signal relative to the ear of the teaching subject; and/or обучающий набор данных дополнительно содержит третьи обучающие данные, при этом третьи обучающие данные указывают обучающее направление звукового сигнала или соответствующее обучающее направление звукового сигнала; и/илиthe training dataset further comprises third training data, wherein the third training data indicates a training direction of the audio signal or a corresponding training direction of the audio signal; and/or выходная вторая передаточная функция звукового сигнала ассоциирована с входным направлением звукового сигнала относительно уха пользователя, при этом, в частности, инициирование и/или обучение алгоритму регрессии выводить вторую передаточную функцию звукового сигнала дополнительно основывается на входном направлении звукового сигнала.the output second audio transfer function is associated with the input direction of the audio signal relative to the user's ear, wherein, in particular, the initiation and/or training of the regression algorithm to output the second audio signal transfer function is additionally based on the input direction of the audio signal. 12. Компьютерно-реализуемый способ по любому из пп.8-11, дополнительно содержащий этапы, на которых:12. A computer-implemented method according to any one of claims 8 to 11, further comprising the steps of: принимают множество первых обучающих звуковых сигналов в или на ухе обучающего субъекта от первого средства передачи звука, в частности, от наушников, которые носит обучающий субъект, в рамках ближнего поля относительно уха обучающего субъекта; иreceiving a plurality of first training audio signals in or at the ear of the training subject from the first sound transmission means, in particular from headphones worn by the training subject, within a near field relative to the ear of the training subject; and определяют, на основе каждого из принятого множества первых обучающих звуковых сигналов, соответствующие первые обучающие передаточные функции звукового сигнала; и/илиdetermining, based on each of the received plurality of first training audio signals, corresponding first training audio signal transfer functions; and/or принимают множество вторых обучающих звуковых сигналов в или на ухе обучающего пользователя от или соответствующего второго средства передачи звука, в рамках дальнего поля или свободного поля относительно уха обучающего субъекта; иreceiving a plurality of second training audio signals in or at the ear of the training user from or a corresponding second audio transmission medium, within a far field or free field relative to the ear of the training subject; and определяют, на основе каждого из принятого множества вторых обучающих звуковых сигналов, соответствующие вторые обучающие передаточные функции звукового сигнала;determining, based on each of the received plurality of second training audio signals, corresponding second training audio signal transfer functions; при этом, в частности, обучающее направление звукового сигнала или соответствующее обучающее направление звукового сигнала представляют собой направление, в котором соответствующий второй обучающий звуковой сигнал принимается на или в ухе обучающего субъекта относительно уха обучающего пользователя, и/или направление, в котором соответствующее второе средство передачи звука располагается относительно уха обучающего субъекта.wherein, in particular, the teaching direction of the audio signal or the corresponding teaching direction of the audio signal is the direction in which the corresponding second teaching audio signal is received at or in the ear of the teaching subject relative to the ear of the teaching user, and/or the direction in which the corresponding second transmission means sound is located relative to the ear of the teaching subject. 13. Компьютерно-реализуемый способ по п.12, в котором третьи обучающие данные содержат векторные данные, указывающие обучающее направление звукового сигнала; при этом третьи обучающие данные содержат вторые векторные данные, причем вторые векторные данные зависят от, в частности, извлекаются из, первых векторных данных.13. The computer-implemented method of claim 12, wherein the third training data comprises vector data indicating the training direction of the audio signal; wherein the third training data comprises the second vector data, the second vector data being dependent on, in particular derived from, the first vector data. 14. Система обработки данных, содержащая средства для выполнения способа по любому из предшествующих пунктов.14. A data processing system comprising means for carrying out the method according to any one of the preceding claims. 15. Машиночитаемый носитель информации, содержащий инструкции, которые при их исполнении средствами обработки данных по п.14 предписывают средствам обработки данных по п.14 выполнять способ по любому из пп.1-13.15. A computer-readable storage medium containing instructions which, when executed by the data processing means according to claim 14, cause the data processing means according to claim 14 to perform the method according to any one of claims 1 to 13.
RU2020144204A 2020-12-31 2020-12-31 Method and system for generating a personalized transfer function of a free field audio signal based on transfer function data of a near field audio signal RU2020144204A (en)

Priority Applications (6)

Application Number Priority Date Filing Date Title
JP2023530990A JP2024501617A (en) 2020-12-31 2021-12-30 Method and system for generating personalized free-field audio signal transfer functions based on near-field audio signal transfer function data
CN202180088133.7A CN116711330A (en) 2020-12-31 2021-12-30 Method and system for generating personalized free-field audio signal transfer function based on near-field audio signal transfer function data
EP21848471.5A EP4272463A1 (en) 2020-12-31 2021-12-30 Method and system for generating a personalized free field audio signal transfer function based on near-field audio signal transfer function data
KR1020237018699A KR20230125181A (en) 2020-12-31 2021-12-30 Method and system for generating a personalized free field audio signal transfer function based on near field audio signal transfer function data
PCT/US2021/065626 WO2022147208A1 (en) 2020-12-31 2021-12-30 Method and system for generating a personalized free field audio signal transfer function based on near-field audio signal transfer function data
US18/259,934 US20240089683A1 (en) 2020-12-31 2021-12-30 Method and system for generating a personalized free field audio signal transfer function based on near-field audio signal transfer function data

Publications (1)

Publication Number Publication Date
RU2020144204A true RU2020144204A (en) 2022-07-04

Family

ID=

Similar Documents

Publication Publication Date Title
US11048472B2 (en) Dynamically adjustable sound parameters
US20180358003A1 (en) Methods and apparatus for improving speech communication and speech interface quality using neural networks
JP2018109760A (en) Voice recognition method and voice recognition device
GB2604496A (en) Methods, apparatus and systems for biometric processes
CN105139864B (en) Audio recognition method and device
TW202115718A (en) Deep learning based noise reduction method using both bone-conduction sensor and microphone signals
CN106328126A (en) Far-field speech recognition processing method and device
CN110708625A (en) Intelligent terminal-based environment sound suppression and enhancement adjustable earphone system and method
CN103885744B (en) Sound based gesture recognition method
WO2019090283A1 (en) Coordinating translation request metadata between devices
WO2019047703A1 (en) Audio event detection method and device, and computer-readable storage medium
CN109524013B (en) Voice processing method, device, medium and intelligent equipment
CN111354375A (en) Cry classification method, device, server and readable storage medium
CN110430520A (en) A kind of design method of feedback filter, design device and earphone
EP3903305A1 (en) Context-based speech synthesis
CN116405823B (en) Intelligent audio denoising enhancement method for bone conduction earphone
RU2020144204A (en) Method and system for generating a personalized transfer function of a free field audio signal based on transfer function data of a near field audio signal
CN113096677B (en) Intelligent noise reduction method and related equipment
CN112180318A (en) Sound source direction-of-arrival estimation model training and sound source direction-of-arrival estimation method
JPH05506523A (en) Equipment for implementing language teaching methods
CN111028857B (en) Method and system for reducing noise of multichannel audio-video conference based on deep learning
KR20220088205A (en) Electric device and controlling method of the same
CN117915232B (en) Bluetooth headset automatic audio processing method, terminal equipment and storage medium
US20240089690A1 (en) Method and system for generating a personalized free field audio signal transfer function based on free-field audio signal transfer function data
TWI815658B (en) Speech recognition device, speech recognition method and cloud recognition system