Claims (53)
1. Устройство, содержащее микрофонную систему (302), содержащую один или более микрофонов для захвата звука, или соединенное с ней, при этом устройство содержит:1. A device containing a microphone system (302) containing one or more microphones for capturing sound, or connected to it, while the device contains:
блок (304) приема, выполненный с возможностью:a receiving unit (304) configured to:
приема (S13) направленного звука (320), захваченного микрофонной системой;receiving (S13) directional sound (320) captured by the microphone system;
приема (S14) метаданных (322), связанных с микрофонной системой, при этом метаданные содержат пространственные данные микрофонной системы, при этом пространственные данные характеризуют пространственную ориентацию и/или пространственное положение микрофонной системы и содержат по меньшей мере одно из списка, включающего: угол (углы) азимута, тангажа, крена и пространственные координаты микрофонной системы;receiving (S14) metadata (322) associated with the microphone system, wherein the metadata contains spatial data of the microphone system, wherein the spatial data characterizes the spatial orientation and/or spatial position of the microphone system and contains at least one of the list including: angle ( angles) of azimuth, pitch, roll and spatial coordinates of the microphone system;
вычислительный блок (306), выполненный с возможностью:computing unit (306), configured to:
модификации по меньшей мере некоторой части направленного звука для получения модифицированного направленного звука, при этом направленность звука модифицирована на основании пространственной ориентации и/или пространственного положения микрофонной системы;modifying at least some of the directional sound to produce a modified directional sound, wherein the sound directionality is modified based on the spatial orientation and/or spatial position of the microphone system;
кодирования модифицированного направленного звука в цифровые аудиоданные (328);encoding the modified directional audio into digital audio data (328);
блок (308) передачи, выполненный с возможностью передачи цифровых аудиоданных.a transmission unit (308) configured to transmit digital audio data.
2. Устройство по п. 1, отличающееся тем, что пространственная ориентация микрофонной системы представлена параметрами, описывающими поворотное движение/ориентацию с помощью одной степени свободы, DoF, в пространственных данных.2. The device according to claim 1, characterized in that the spatial orientation of the microphone system is represented by parameters describing the rotational movement/orientation with one degree of freedom, DoF, in spatial data.
3. Устройство по п. 1, отличающееся тем, что пространственная ориентация микрофонной системы представлена параметрами, описывающими поворотное движение/ориентацию с помощью трех DoF, в пространственных данных.3. The device according to claim. 1, characterized in that the spatial orientation of the microphone system is represented by parameters describing the rotational movement/orientation using three DoFs, in spatial data.
4. Устройство по любому из пп. 1 или 3, отличающееся тем, что пространственные данные микрофонной системы представлены в шести DoF.4. The device according to any one of paragraphs. 1 or 3, characterized in that the spatial data of the microphone system is represented in six DoF.
5. Устройство по любому из пп. 1–4, отличающееся тем, что принятый направленный звук содержит звук, содержащий направленные метаданные.5. The device according to any one of paragraphs. 1-4, characterized in that the received directional audio contains audio containing directional metadata.
6. Устройство по любому из пп. 1–5, отличающееся тем, что вычислительный блок дополнительно выполнен с возможностью кодирования по меньшей мере частей метаданных, содержащих пространственные данные микрофонной системы, в указанные цифровые аудиоданные.6. The device according to any one of paragraphs. 1-5, characterized in that the computing unit is additionally configured to encode at least parts of the metadata containing the spatial data of the microphone system into the specified digital audio data.
7. Устройство по п. 6, отличающееся тем, что блок приема дополнительно выполнен с возможностью приема (S11) первых команд (334), указывающих вычислительному блоку, включать ли по меньшей мере части метаданных, содержащих пространственные данные микрофонной системы, в указанные цифровые аудиоданные, за счет чего вычислительный блок действует соответственно.7. The device according to claim 6, characterized in that the receiving unit is further configured to receive (S11) first commands (334) indicating to the computing unit whether to include at least parts of the metadata containing the spatial data of the microphone system in said digital audio data , due to which the computing unit acts accordingly.
8. Устройство по любому из пп. 6–7, отличающееся тем, что блок приема дополнительно выполнен с возможностью приема (S12) вторых команд (334), указывающих вычислительному блоку, какой параметр или параметры пространственных данных микрофонной системы включать в цифровые аудиоданные, за счет чего вычислительный блок действует соответственно.8. The device according to any one of paragraphs. 6-7, characterized in that the receiving unit is further configured to receive (S12) second commands (334) indicating to the computing unit which parameter or parameters of the spatial data of the microphone system to include in the digital audio data, whereby the computing unit acts accordingly.
9. Устройство по любому из пп. 7–8, отличающееся тем, что блок передачи выполнен с возможностью передачи цифровых аудиоданных в дополнительное устройство (400), при этом указания относительно первых и/или вторых команд приняты от указанного дополнительного устройства.9. The device according to any one of paragraphs. 7-8, characterized in that the transmission unit is configured to transmit digital audio data to an additional device (400), while instructions regarding the first and/or second commands are received from the specified additional device.
10. Устройство по любому из пп. 1–9, отличающееся тем, что блок приема дополнительно выполнен с возможностью приема метаданных, содержащих временную отметку, указывающую время захвата направленного звука, при этом вычислительный блок выполнен с возможностью кодирования указанной временной отметки в указанные цифровые аудиоданные.10. The device according to any one of paragraphs. 1-9, characterized in that the receiving unit is additionally configured to receive metadata containing a time stamp indicating the capture time of the directional sound, while the computing unit is configured to encode the specified time stamp into the specified digital audio data.
11. Устройство по любому из пп. 1–10, отличающееся тем, что кодирование модифицированного направленного звука включает понижающее микширование модифицированного направленного звука, при этом понижающее микширование выполнено с учетом пространственной ориентации микрофонной системы, и кодирование результата понижающего микширования и матрицы понижающего микширования, использованной в понижающем микшировании, в указанные цифровые аудиоданные.11. The device according to any one of paragraphs. 1-10, characterized in that the coding of the modified directional audio includes downmixing the modified directional audio, wherein the downmix is performed taking into account the spatial orientation of the microphone system, and encoding the result of the downmix and the downmix matrix used in the downmix into the specified digital audio data .
12. Устройство по п. 11, отличающееся тем, что понижающее микширование включает формирование луча.12. The apparatus of claim 11, wherein the downmix includes beamforming.
13. Устройство по любому из пп. 1–12, отличающееся тем, что реализовано в оборудовании (602a–e) виртуальной реальности, VR, или оборудовании (602 a–e) дополненной реальности, AR, содержащем микрофонную систему и устройство отслеживания положения головы, выполненное с возможностью определения пространственных данных устройства в 3–6 DoF.13. The device according to any one of paragraphs. 1-12, characterized in that it is implemented in equipment (602a-e) of virtual reality, VR, or equipment (602 a-e) of augmented reality, AR, containing a microphone system and a head position tracking device configured to determine the spatial data of the device at 3–6 DoF.
14. Устройство (400) для воспроизведения звуковых сигналов, при этом устройство содержит:14. Device (400) for reproducing audio signals, the device comprising:
блок (402) приема, выполненный с возможностью приема (S21) цифровых аудиоданных (328);block (402) receiving, configured to receive (S21) digital audio data (328);
блок (404) декодирования, выполненный с возможностью:block (404) decoding, configured to:
декодирования (S22) принятых цифровых аудиоданных в направленный звук (420) и в метаданные (422), при этом метаданные содержат пространственные данные, содержащие по меньшей мере одно из списка, включающего: угол (углы) азимута, тангажа, крена и пространственные координаты;decoding (S22) the received digital audio data into directional audio (420) and into metadata (422), the metadata comprising spatial data containing at least one of a list including: azimuth, pitch, roll angle(s) and spatial coordinates;
блок (406) воспроизведения, выполненный с возможностью:block (406) playback, configured to:
модификации (S23) направленности направленного звука с применением пространственных данных; иmodifying (S23) directivity of directional sound using spatial data; and
воспроизведения (S24) модифицированного направленного звука (424).playback (S24) modified directional sound (424).
15. Устройство по п. 14, отличающееся тем, что пространственные данные указывают пространственную ориентацию и/или пространственное положение микрофонной системы (302), содержащей один или более микрофонов, захватывающих направленный звук, при этом блок воспроизведения модифицирует направленность направленного звука с по меньшей мере частичным воспроизведением звуковой среды микрофонной системы.15. The device according to claim 14, characterized in that the spatial data indicates the spatial orientation and / or spatial position of the microphone system (302) containing one or more microphones that capture directional sound, while the playback unit modifies the directivity of the directional sound with at least partial reproduction of the sound environment of the microphone system.
16. Устройство по любому из пп. 14–15, отличающееся тем, что пространственные данные содержат параметры, описывающие поворотное движение/ориентацию с помощью одной степени свободы, DoF.16. The device according to any one of paragraphs. 14-15, characterized in that the spatial data contains parameters describing the rotational movement/orientation using one degree of freedom, DoF.
17. Устройство по любому из пп. 14–15, отличающееся тем, что пространственные данные содержат параметры, описывающие поворотное движение/ориентацию с помощью трех DoF.17. The device according to any one of paragraphs. 14-15, characterized in that the spatial data contains parameters describing the rotational movement/orientation using three DoFs.
18. Устройство по любому из пп. 14–17, отличающееся тем, что декодированный направленный звук содержит звук, содержащий направленные метаданные.18. The device according to any one of paragraphs. 14-17, characterized in that the decoded directional audio contains audio containing directional metadata.
19. Устройство по любому из пп. 14–18, отличающееся тем, что дополнительно содержит блок (306) передачи, выполненный с возможностью передачи команд (334) в дополнительное устройство (300), с которого принят оцифрованный звук, при этом команды указывают дополнительному устройству, какой параметр или параметры данные поворота должны содержать.19. The device according to any one of paragraphs. 14-18, characterized in that it additionally contains a transmission unit (306) configured to send commands (334) to an additional device (300) from which the digitized sound is received, while the commands indicate to the additional device which parameter or parameters the rotation data must contain.
20. Устройство по любому из пп. 14–19, отличающееся тем, что блок декодирования дополнительно выполнен с возможностью извлечения временной отметки, указывающей время захвата направленного звука, из цифровых аудиоданных.20. The device according to any one of paragraphs. 14-19, characterized in that the decoding unit is further configured to extract a timestamp indicating the capture time of the directional sound from the digital audio data.
21. Устройство по любому из пп. 14–20, отличающееся тем, что декодирование принятых цифровых аудиоданных в направленный звук блоком декодирования включает:21. The device according to any one of paragraphs. 14-20, characterized in that the decoding of the received digital audio data into directional audio by the decoding unit includes:
декодирование принятых цифровых аудиоданных в подвергнутый понижающему микшированию звук;decoding the received digital audio data into downmixed audio;
повышающее микширование посредством блока декодирования подвергнутого понижающему микшированию звука в направленный звук с применением матрицы понижающего микширования, включенной в принятые цифровые аудиоданные.upmixing by a downmixed audio decoding unit into directional audio using a downmix matrix included in the received digital audio data.
22. Устройство по любому из пп. 14–21, отличающееся тем, что пространственные данные содержат пространственные координаты, и при этом блок воспроизведения дополнительно выполнен с возможностью регулирования громкости воспроизведенного звука на основании пространственных координат.22. The device according to any one of paragraphs. 14-21, characterized in that the spatial data contains spatial coordinates, and the playback unit is additionally configured to control the volume of the reproduced sound based on the spatial coordinates.
23. Устройство по любому из пп. 14–22, отличающееся тем, что реализовано в оборудовании (602a-e) виртуальной реальности, VR, или оборудовании (602a-e) дополненной реальности, AR, содержащем устройство отслеживания положения головы, выполненное с возможностью измерения пространственной ориентации и пространственного положения устройства в шести DoF.23. The device according to any one of paragraphs. 14-22, characterized in that it is implemented in equipment (602a-e) of virtual reality, VR, or equipment (602a-e) of augmented reality, AR, containing a head position tracking device configured to measure the spatial orientation and spatial position of the device in six DoF.
24. Устройство по любому из пп. 14–23, отличающееся тем, что блок воспроизведения выполнен для бинаурального воспроизведения звука.24. The device according to any one of paragraphs. 14-23, characterized in that the playback unit is designed for binaural sound reproduction.
25. Система, содержащая:25. System containing:
первое устройство (300) по любому из пп. 1–13, выполненное с возможностью передачи цифровых аудиоданных во второе устройство (400) по любому из пп. 14–24, при этом система выполнена с возможностью проведения аудио- и/или видеоконференций.the first device (300) according to any one of paragraphs. 1-13, configured to transmit digital audio data to the second device (400) according to any one of paragraphs. 14-24, wherein the system is configured for audio and/or video conferencing.
26. Система по п. 25, отличающаяся тем, что первое устройство дополнительно содержит блок записи видео и выполнено с возможностью кодирования записанного видео в цифровые видеоданные и передачи цифровых видеоданных во второе устройство, при этом второе устройство дополнительно содержит дисплей для отображения декодированных цифровых видеоданных.26. The system of claim 25, wherein the first device further comprises a video recording unit and is configured to encode the recorded video into digital video data and transmit the digital video data to the second device, the second device further comprising a display for displaying the decoded digital video data.
27. Система, содержащая первое устройство (300) по любому из пп. 1–13, выполненное с возможностью передачи цифровых аудиоданных во второе устройство, при этом второе устройство содержит:27. The system containing the first device (300) according to any one of paragraphs. 1-13, configured to transmit digital audio data to a second device, the second device comprising:
блок приема, выполненный с возможностью приема цифровых аудиоданных;a receiving unit configured to receive digital audio data;
блок декодирования, выполненный с возможностью:decoding unit configured to:
декодирования принятых цифровых аудиоданных в направленный звук и в метаданные, при этом метаданные содержат пространственные данные, содержащие по меньшей мере одно из списка, включающего: угол (углы) азимута, тангажа, крена и пространственные координаты;decoding the received digital audio data into directional audio and into metadata, the metadata comprising spatial data comprising at least one of a list including: azimuth, pitch, roll angle(s), and spatial coordinates;
блок воспроизведения для воспроизведения звука;a playback unit for reproducing sound;
при этом блок воспроизведения выполнен с возможностью при последующем получении вторым устройством кодированных видеоданных от первого устройства:wherein the playback unit is configured to subsequently receive encoded video data from the first device by the second device:
модификации направленности направленного звука с применением пространственных данных, иmodifying the directivity of directional sound using spatial data, and
воспроизведения модифицированного направленного звука;reproducing a modified directional sound;
при этом блок воспроизведения выполнен с возможностью при неполучении вторым устройством кодированных видеоданных от первого устройства:wherein the playback unit is configured to, if the second device does not receive encoded video data from the first device:
воспроизведения направленного звука.directional sound reproduction.
28. Постоянный машиночитаемый носитель, на котором сохранены команды, которые при выполнении одним или более процессорами приводят к выполнению одним или более процессорами операций по любому из предыдущих пунктов.28. A non-volatile computer-readable medium that stores instructions that, when executed by one or more processors, cause the one or more processors to perform the operations of any of the preceding claims.