Claims (53)
1. Способ восстановления и представления звуковых объектов на основе потока данных, включающий:1. A method of restoring and representing sound objects based on a data stream, including:
прием потока данных, содержащего:receiving a data stream containing:
результат обратно совместимого понижающего микширования, содержащий M сигналов понижающего микширования, которые являются комбинациями N звуковых объектов, при этом N>1 и M≤N, the result of backward compatible down-mix containing M down-mix signals, which are combinations of N sound objects, with N> 1 and M≤N,
изменяющуюся во времени дополнительную информацию, содержащую параметры, которые обеспечивают восстановление N звуковых объектов, исходя из M сигналов понижающего микширования, и time-varying additional information containing parameters that provide restoration of N sound objects based on M down-mix signals, and
множество экземпляров метаданных, связанных с N звуковыми объектами, при этом множество экземпляров метаданных определяют соответствующие требуемые установки представления для представления N звуковых объектов, и для каждого экземпляра метаданных данные перехода, содержащие начальное время и продолжительность интерполяции от текущей установки представления до требуемой установки представления, определяемой экземпляром метаданных,a plurality of metadata instances associated with N sound objects, wherein a plurality of metadata instances determine the corresponding required presentation settings for representing N sound objects, and for each metadata instance, transition data containing the initial time and duration of the interpolation from the current presentation setting to the desired presentation setting defined metadata instance
восстановление N звуковых объектов на основе результата обратно совместимого понижающего микширования и дополнительной информации, иrestoring N sound objects based on the result of backward compatible downmix and additional information, and
представление N звуковых объектов в выходные каналы с предварительно определенной конфигурацией канала посредством:representation of N sound objects in output channels with a predetermined channel configuration by:
выполнения представления в соответствии с текущей установкой представления;execution of the presentation in accordance with the current installation of the presentation;
запуска в начальное время, определяемое данными перехода для экземпляра метаданных, интерполяции от текущей установки представления до требуемой установки представления, определяемой экземпляром метаданных; иstarting at the initial time determined by the transition data for the metadata instance, interpolating from the current view setting to the desired view setting determined by the metadata instance; and
завершения интерполяции до требуемой установки представления после отрезка времени, определяемого данными перехода для экземпляра метаданных.completing the interpolation to the desired setting of the view after the length of time determined by the transition data for the metadata instance.
2. Способ по п. 1, отличающийся тем, что экземпляры метаданных, связанные с N звуковыми объектами, содержат информацию о пространственном положении звуковых объектов.2. The method according to p. 1, characterized in that the metadata instances associated with N sound objects contain information about the spatial position of the sound objects.
3. Способ по п. 2, отличающийся тем, что экземпляры метаданных, связанные с N звуковыми объектами, дополнительно содержат одно или более из размера объекта, громкости объекта, значимости объекта, типа содержимого объекта и масок зон.3. The method according to p. 2, characterized in that the metadata instances associated with N sound objects further comprise one or more of the size of the object, the volume of the object, the significance of the object, the type of object content and zone masks.
4. Способ по любому из предыдущих пунктов, отличающийся тем, что начальные моменты времени, связанные с множеством экземпляров метаданных, соответствуют событиям времени, относящимся к звуковому содержимому, таким как границы кадра.4. The method according to any one of the preceding paragraphs, characterized in that the initial points in time associated with multiple instances of metadata correspond to time events related to audio content, such as frame boundaries.
5. Способ по любому из предыдущих пунктов, отличающийся тем, что интерполяция от текущей установки представления до требуемой установки представления является линейной интерполяцией.5. A method according to any one of the preceding paragraphs, characterized in that the interpolation from the current view setting to the desired view setting is linear interpolation.
6. Способ по любому из предыдущих пунктов, отличающийся тем, что поток данных содержит множество экземпляров дополнительной информации, определяющих соответствующие требуемые установки восстановления для восстановления N звуковых объектов, и для каждого экземпляра дополнительной информации данные перехода, содержащие две независимо присваиваемые части, которые в комбинации определяют момент времени для запуска интерполяции от текущей установки восстановления к требуемой установке восстановления, определяемой экземпляром дополнительной информации, и момент времени для завершения интерполяции, и при этом восстановление N звуковых объектов включает:6. A method according to any one of the preceding paragraphs, characterized in that the data stream contains a plurality of additional information instances defining the corresponding required restoration settings for restoring N sound objects, and for each additional information instance, transition data containing two independently assigned parts that are in combination determine the point in time to start the interpolation from the current recovery installation to the desired recovery installation defined by the instance Flax information and time to complete interpolation, and wherein the restoration N audio objects includes:
выполнение восстановления в соответствии с текущей установкой восстановления;performing recovery in accordance with the current recovery installation;
запуск в момент времени, определяемый данными перехода для экземпляра дополнительной информации, интерполяции от текущей установки восстановления до требуемой установки восстановления, определяемой экземпляром дополнительной информации; иstarting at a time determined by the transition data for the additional information instance, interpolation from the current recovery installation to the desired recovery installation, determined by the additional information instance; and
завершение интерполяции в момент времени, определяемый данными перехода для экземпляра дополнительной информации.completion of the interpolation at a time determined by the transition data for an instance of additional information.
7. Система для восстановления и представления звуковых объектов на основе потока данных, содержащая:7. A system for restoring and presenting sound objects based on a data stream, comprising:
компонент приема, выполненный для потока данных, содержащего:a receive component configured for a data stream comprising:
результат обратно совместимого понижающего микширования, содержащий M сигналов понижающего микширования, которые являются комбинациями N звуковых объектов, при этом N>1 и M≤N, the result of backward compatible down-mix containing M down-mix signals, which are combinations of N sound objects, with N> 1 and M≤N,
изменяющуюся во времени дополнительную информацию, содержащую параметры, которые обеспечивают восстановление N звуковых объектов, исходя из M сигналов понижающего микширования, и time-varying additional information containing parameters that provide restoration of N sound objects based on M down-mix signals, and
множество экземпляров метаданных, связанных с N звуковыми объектами, при этом множество экземпляров метаданных определяют соответствующие требуемые установки представления для представления N звуковых объектов, и для каждого экземпляра метаданных данные перехода, содержащие начальное время и продолжительность интерполяции от текущей установки представления до требуемой установки представления, определяемой экземпляром метаданных,a plurality of metadata instances associated with N sound objects, wherein a plurality of metadata instances determine the corresponding required presentation settings for representing N sound objects, and for each metadata instance, transition data containing the initial time and duration of the interpolation from the current presentation setting to the desired presentation setting defined metadata instance
компонент восстановления, выполненный для восстановления N звуковых объектов на основе результата обратно совместимого понижающего микширования и дополнительной информации,a recovery component designed to restore N sound objects based on the result of backward compatible downmix and additional information,
средство представления, выполненное для представления N звуковых объектов в выходные каналы с предварительно определенной конфигурацией канала посредством:presentation means made for presenting N sound objects to output channels with a predetermined channel configuration by:
выполнения представления в соответствии с текущей установкой представления.execution of the view in accordance with the current view setup.
8. Структура данных для отображения метаданных, связанных с N звуковыми объектами, содержащая: 8. A data structure for displaying metadata associated with N sound objects, comprising:
множество экземпляров метаданных, определяющих соответствующие требуемые установки представления для представления N звуковых объектов, и a plurality of metadata instances defining the corresponding required presentation settings for representing N sound objects, and
данные перехода, связанные с каждым экземпляром метаданных, при этом данные перехода содержат начальное время и продолжительность интерполяции от текущей установки представления до требуемой установки представления, определяемой экземпляром метаданных.transition data associated with each instance of metadata, wherein the transition data contains the initial time and duration of the interpolation from the current view setting to the desired view setting determined by the metadata instance.
9. Способ кодирования звуковых объектов как поток данных, включающий: 9. A method of encoding audio objects as a data stream, including:
прием N звуковых объектов, при этом N>1, и изменяющихся во времени метаданных, связанных с N звуковыми объектами, описывающих то, каким образом следует представлять N звуковых объектов с целью воспроизведения на стороне декодера;receiving N sound objects, with N> 1, and time-varying metadata associated with N sound objects describing how to represent N sound objects for playback on the decoder side;
вычисление результата обратного совместимого понижающегося микширования, содержащего M сигналов понижающего микширования, при этом M≤N, посредством образования комбинаций N звуковых объектов; calculating the result of the backward compatible downmix containing M downmix signals, wherein M N N, by forming combinations of N sound objects;
вычисление изменяющейся во времени дополнительной информации, содержащей параметры, которые обеспечивают восстановление N звуковых объектов, исходя из M сигналов понижающего микширования;calculating time-varying additional information containing parameters that provide restoration of N sound objects based on M down-mix signals;
включение результата обратно совместимого понижающего микширования и дополнительной информации в поток данных для передачи в декодер; и inclusion of the result of backward compatible down-mix and additional information in the data stream for transmission to the decoder; and
дополнительное включение в поток данных:additional inclusion in the data stream:
множества экземпляров метаданных, определяющих соответствующие требуемые установки представления для представления N звуковых объектов, и a plurality of metadata instances defining the corresponding required presentation settings for representing N sound objects, and
для каждого экземпляра метаданных данных перехода, содержащих начальное время и продолжительность интерполяции от текущей установки представления до требуемой установки представления, определяемой экземпляром метаданных.for each instance of the transition data metadata containing the initial time and duration of the interpolation from the current view setting to the desired view setting determined by the metadata instance.
10. Способ по п. 9, отличающийся тем, что метаданные, связанные с N звуковыми объектами, содержат информацию о пространственном положении звуковых объектов.10. The method according to p. 9, characterized in that the metadata associated with N sound objects contain information about the spatial position of the sound objects.
11. Способ по п. 10, отличающийся тем, что метаданные, связанные с N звуковыми объектами, дополнительно содержат одно или более из размера объекта, громкости объекта, значимости объекта, типа содержимого объекта и масок зон.11. The method according to p. 10, characterized in that the metadata associated with N sound objects, further comprise one or more of the size of the object, the volume of the object, the significance of the object, the type of object content and zone masks.
12. Способ по любому из пп. 9—11, отличающийся тем, что интерполяция от текущей установки представления до требуемой установки представления является линейной интерполяцией.12. The method according to any one of paragraphs. 9-11, characterized in that the interpolation from the current view setting to the desired view setting is linear interpolation.
13. Способ по любому из пп. 9—12, отличающийся тем, что дополнительно включает:13. The method according to any one of paragraphs. 9-12, characterized in that it further includes:
включение в поток данных:inclusion in the data stream:
множества экземпляров дополнительной информации, определяющих соответствующие требуемые установки восстановления для восстановления звуковых объектов, и a plurality of copies of additional information defining the respective required recovery settings for restoring sound objects, and
данных перехода для каждого экземпляра дополнительной информации, содержащих две независимо присваиваемые части, которые в комбинации определяют момент времени для запуска перехода от текущей установки восстановления к требуемой установке восстановления, определяемой экземпляром дополнительной информации, и момент времени для завершения перехода.transition data for each instance of additional information containing two independently assigned parts, which in combination determine the point in time for starting the transition from the current recovery installation to the desired recovery setting, which is determined by the additional information instance, and the moment in time for completing the transition.
14. Кодер для кодирования звуковых объектов как поток данных, содержащий:14. An encoder for encoding audio objects as a data stream containing:
приемник, выполненный с возможностью приема N звуковых объектов, при этом N>1, и изменяющихся во времени метаданных, связанных с N звуковыми объектами, описывающих то, каким образом следует представлять N звуковые объекты с целью воспроизведения на стороне декодера;a receiver configured to receive N sound objects, N> 1, and time-varying metadata associated with N sound objects describing how to represent N sound objects for playback on the decoder side;
компонент понижающего микширования, выполненный с возможностью вычисления М сигналов понижающего микширования, при этом M≤N, путем формирования комбинаций N звуковых объектов; a downmix component configured to calculate M downmix signals, wherein M N N, by forming combinations of N sound objects;
компонент для анализа, выполненный с возможностью вычисления изменяющейся во времени дополнительной информации, содержащей параметры, которые обеспечивают восстановление N звуковых объектов, исходя из M сигналов понижающего микширования;a component for analysis, configured to calculate time-varying additional information containing parameters that provide recovery of N audio objects based on M down-mix signals;
компонент уплотнения, выполненный с возможностью включения результата обратно совместимого понижающего микширования и дополнительной информации в поток данных для передачи в декодер; и a compaction component configured to include the result of a backward compatible downmix and additional information in the data stream for transmission to the decoder; and
при этом компонент уплотнения дополнительно выполнен с возможностью включения в поток данных:wherein the compaction component is further configured to be included in the data stream:
множества экземпляров метаданных, определяющих соответствующие требуемые установки представления для представления N звуковых объектов, и a plurality of metadata instances defining the corresponding required presentation settings for representing N sound objects, and
для каждого экземпляра метаданных данных перехода, содержащих начальное время и продолжительность интерполяции от текущей установки представления до требуемой установки представления, определяемой экземпляром метаданных.for each instance of the transition data metadata containing the initial time and duration of the interpolation from the current view setting to the desired view setting determined by the metadata instance.
15. Машиночитаемый носитель, хранящий компьютерный программный продукт, содержащий команды для выполнения способа по любому из пп. 1-6 или команды для выполнения способа по любому из пп. 9-13.15. A machine-readable medium storing a computer program product containing instructions for executing the method according to any one of claims. 1-6 or command to perform the method according to any one of paragraphs. 9-13.