RU2648945C2 - Декодирующее устройство, способ декодирования, кодирующее устройство, способ кодирования и программа - Google Patents
Декодирующее устройство, способ декодирования, кодирующее устройство, способ кодирования и программа Download PDFInfo
- Publication number
- RU2648945C2 RU2648945C2 RU2014106529A RU2014106529A RU2648945C2 RU 2648945 C2 RU2648945 C2 RU 2648945C2 RU 2014106529 A RU2014106529 A RU 2014106529A RU 2014106529 A RU2014106529 A RU 2014106529A RU 2648945 C2 RU2648945 C2 RU 2648945C2
- Authority
- RU
- Russia
- Prior art keywords
- audio data
- channels
- module
- downmix
- information
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 195
- 230000014509 gene expression Effects 0.000 claims abstract description 57
- 238000004806 packaging method and process Methods 0.000 claims description 18
- 230000000694 effects Effects 0.000 abstract description 5
- 239000000126 substance Substances 0.000 abstract 1
- 230000008569 process Effects 0.000 description 88
- 230000003247 decreasing effect Effects 0.000 description 29
- 230000007423 decrease Effects 0.000 description 26
- 238000010586 diagram Methods 0.000 description 25
- 230000008521 reorganization Effects 0.000 description 21
- 238000000926 separation method Methods 0.000 description 20
- 238000001514 detection method Methods 0.000 description 12
- 238000012937 correction Methods 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 8
- 238000012545 processing Methods 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000010365 information processing Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- HAAITRDZHUANGT-UHFFFAOYSA-N 1-[2-[(7-chloro-1-benzothiophen-3-yl)methoxy]-2-(2,4-dichlorophenyl)ethyl]imidazole;nitric acid Chemical compound O[N+]([O-])=O.ClC1=CC(Cl)=CC=C1C(OCC=1C2=CC=CC(Cl)=C2SC=1)CN1C=NC=C1 HAAITRDZHUANGT-UHFFFAOYSA-N 0.000 description 1
- 241001233887 Ania Species 0.000 description 1
- 241000382509 Vania Species 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 230000006837 decompression Effects 0.000 description 1
- 210000005069 ears Anatomy 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
- G10L19/16—Vocoder architecture
- G10L19/18—Vocoders using multiple modes
- G10L19/20—Vocoders using multiple modes using sound class specific coding, hybrid encoders or object based coding
-
- H—ELECTRICITY
- H03—ELECTRONIC CIRCUITRY
- H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
- H03M7/00—Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
- H03M7/30—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S3/00—Systems employing more than two channels, e.g. quadraphonic
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S5/00—Pseudo-stereo systems, e.g. in which additional channel signals are derived from monophonic signals by means of phase shifting, time delay or reverberation
- H04S5/02—Pseudo-stereo systems, e.g. in which additional channel signals are derived from monophonic signals by means of phase shifting, time delay or reverberation of the pseudo four-channel type, e.g. in which rear channel signals are derived from two-channel stereo signals
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
- G10L19/16—Vocoder architecture
- G10L19/167—Audio streaming, i.e. formatting and decoding of an encoded audio signal representation into a data stream for transmission or storage purposes
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Signal Processing (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Mathematical Physics (AREA)
- Theoretical Computer Science (AREA)
- Stereophonic System (AREA)
- Television Receiver Circuits (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Abstract
Изобретение относится к кодированию и аудиоданных. Технический результат изобретения заключается в получении высококачественного реалистичного звучания при понижающем микшировании многоканальных аудиоданных. Декодирующее устройство содержит модуль декодирования для декодирования аудиоданных множества каналов, модуль считывания информации, указывающей, использовать ли аудиоданные определенного канала для понижающего микширования и информации о понижающем микшировании, указывающей какой-либо из множества способов понижающего микширования. При этом каждый из способов выполнен с возможностью вычисления аудиоданных второго числа каналов на основе аудиоданных первого числа каналов в соответствии с различными математическими выражениями. 6 н. и 3 з.п. ф-лы, 40 ил.
Description
Область техники, к которой относится изобретение
Настоящее изобретение относится к декодирующему устройству, способу декодирования, кодирующему устройству, способу кодирования и программе и, более конкретно, к декодирующему устройству, способу декодирования, кодирующему устройству, способу кодирования и программе, позволяющим получить высококачественное реалистичное звучание.
Уровень техники
В последние годы во всех странах мира появились сервисы распространения кинофильмов, цифровое телевизионное вещание и архивирование следующего поколения. В дополнение к известному стереофоническому вещанию началось внедрение звукового вещания, соответствующего множеству каналов, таких как каналы стандарта 5.1.
Для дальнейшего усовершенствования качества изображения проводятся исследования в области телевидения высокой четкости с увеличенным числом пикселей. На основе результатов исследований телевидения высокой четкости следующего поколения можно ожидать, что совокупность каналов может быть расширена до множества каналов сверх каналов 5.1 в горизонтальном направлении и в вертикальном направлении в поле обработки звука для достижения реалистичного звучания.
Для кодирования аудиоданных предложен способ, группирующий несколько окон из разных каналов в некоторое число ячеек - "плиток" с повышенной эффективностью кодирования (например, см. Патентный документ 1).
Список литературы
Патентная литература
Патентный документ 1: JP 2010-217900 А
Раскрытие изобретения
Проблемы, решаемые изобретением
Однако при использовании упомянутого выше способа трудно получить высококачественное реалистичное звучание.
Например, при многоканальном кодировании на основе стандарта Усовершенствованного аудиокодирования Группы экспертов по кинематографии (Moving Picture Experts Group-2 Advanced Audio Coding (MPEG-2AAC)) и на основе стандарта MPEG-4AAC, являющихся международными стандартами, определены только расположение громкоговорителей в горизонтальном направлении и информация о понижающем микшировании с уменьшением числа каналов для преобразования от стандарта 5.1 каналов в стереоканалы. Поэтому трудно реагировать в достаточной степени на протяженность каналов в плоскости и в вертикальном направлении.
Предлагаемый способ разработан с учетом упомянутых выше проблем и позволяет получить высококачественное реалистичное звучание.
Решение проблем
Декодирующее устройство согласно первому аспекту настоящего изобретения содержит декодирующий модуль для декодирования аудиоданных от множества каналов, входящих в состав кодированного потока битов данных, модуль считывания для считывания информации о понижающем микшировании, указывающую на какой-либо из способов понижающего микширования, из кодированного потока битов данных, и устройство понижающего микширования для осуществления понижающего микширования декодированных аудиоданных с использованием способа понижающего микширования, указанного информацией о понижающем микшировании.
Модуль считывания может также считывать информацию, указывающую, нужно ли использовать аудиоданные какого-либо конкретного канала для понижающего микширования, из кодированного потока битов данных, а устройство понижающего микширования может осуществлять понижающее микширование декодированных аудиоданных на основе указанной информации и информации о понижающем микшировании.
Устройство понижающего микширования может осуществлять понижающее микширование применительно к аудиоданным от заданного числа каналов и может далее осуществлять понижающее микширование аудиоданных из заданного числа каналов на основе информации о понижающем микшировании.
Устройство понижающего микширования может регулировать коэффициент усиления аудиоданных, получаемых в результате понижающего микширования к числу каналов, и осуществляет понижающее микширование с уменьшением числа каналов на основе информации о понижающем микшировании и в соответствии с величиной коэффициента усиления, вычисленной на основе величины коэффициента усиления для регулировки усиления при понижающем микшировании к заданному числу каналов и величины коэффициента усиления для регулировки усиления при понижающем микшировании в соответствии с информацией о понижающем микшировании.
Способ декодирования или программа согласно первому аспекту настоящего изобретения содержит этап декодирования аудиоданных из множества каналов, входящих в состав кодированного потока битов данных, этап считывания информации о понижающем микшировании, указывающей на какой-либо из множества способов понижающего микширования, из кодированного потока битов данных, и этап понижающего микширования декодированных аудиоданных с уменьшением числа каналов с использованием способа понижающего микширования, указанного информацией о понижающем микшировании.
Согласно первому аспекту настоящего изобретения декодируют аудиоданные из множества каналов кодированного потока битов данных. Из кодированного потока битов данных считывают информацию о понижающем микшировании, указывающую какой-либо из множества способов понижающего микширования с уменьшением числа каналов. После этого выполняют микширование декодированных аудиоданных посредством способа понижающего микширования, указанного информацией о понижающем микшировании.
Кодирующее устройство согласно второму аспекту настоящего изобретения содержит кодирующий модуль для кодирования аудиоданных из множества каналов и информацию о понижающем микшировании, указывающую какой-либо из множества способов понижающего микширования, и модуль упаковки для хранения кодированных аудиоданных и кодированной информации о понижающем микшировании в заданной области и генерирования кодированного потока битов данных.
Указанный кодированный поток битов данных может дополнительно содержать информацию, указывающую, нужно ли использовать аудиоданные какого-либо конкретного канала для понижающего микширования с уменьшением числа каналов, так что микширование аудиоданных с уменьшением числа каналов может осуществляться на основе этой информации и информации о понижающем микшировании.
Информация о понижающем микшировании может представлять собой информацию о понижающем микшировании с уменьшением числа каналов применительно к аудиоданным заданного числа каналов, а кодированный поток битов данных может дополнительно содержать информацию о понижающем микшировании декодированных аудиоданных для преобразования в аудиоданные заданного числа каналов.
Способ или программа кодирования согласно второму аспекту настоящего изобретения содержит этап кодирования аудиоданных из множества каналов и информации о понижающем микшировании, указывающей какой-либо из множества способов понижающего микширования с уменьшением числа каналов, и этап сохранения кодированных аудиоданных и кодированной информации о понижающем микшировании в заданной области и генерировании кодированного потока битов данных.
Согласно второму аспекту настоящего изобретения кодируют аудиоданные из множества каналов и информацию о понижающем микшировании, указывающую какой-либо из нескольких способов понижающего микширования с уменьшением числа каналов. Кодированные аудиоданные и кодированную информацию о понижающем микшировании сохраняют в заданной области и генерируют кодированный поток битов данных.
Преимущества изобретения
Согласно первому и второму аспектам настоящего изобретения можно получить высококачественное реалистичное звучание.
Краткое описание чертежей
Фиг.1 представляет схему, иллюстрирующую расположение громкоговорителей.
Фиг.2 представляет таблицу, иллюстрирующую пример расшифровки обозначений громкоговорителей.
Фиг.3 представляет схему, иллюстрирующую кодированный поток битов данных.
Фиг.4 представляет таблицу, иллюстрирующую синтаксис элемента height_extension_element.
Фиг.5 представляет таблицу, иллюстрирующую высоты расположения громкоговорителей.
Фиг.6 представляет таблицу, иллюстрирующую синтаксис вспомогательных данных согласно стандарту MPEG4.
Фиг.7 представляет таблицу, иллюстрирующую синтаксис параметра bs_info().
Фиг.8 представляет таблицу, иллюстрирующую синтаксис параметра ancillary_data_status().
Фиг.9 представляет таблицу, иллюстрирующую синтаксис параметра downmixing_levels_MPEG4().
Фиг.10 представляет таблицу, иллюстрирующую синтаксис параметра audio_coding_mode().
Фиг.11 представляет таблицу, иллюстрирующую синтаксис параметра MPEG4_ext_anci 11 ary_data().
Фиг.12 представляет таблицу, иллюстрирующую синтаксис параметра ext_ancillary_data_status().
Фиг.13 представляет таблицу, иллюстрирующую синтаксис параметра ext_downmixing_levels().
Фиг.14 представляет таблицу, иллюстрирующую целевые объекты, к которым применяется каждый коэффициент.
Фиг.15 представляет таблицу, иллюстрирующую синтаксис параметра ext_downmixing_global_gains().
Фиг.16 представляет таблицу, иллюстрирующую синтаксис параметра ext_downmixing_lfe_level().
Фиг.17 представляет таблицу, иллюстрирующую понижающее микширование.
Фиг.18 представляет таблицу, иллюстрирующую коэффициент, определяемый для параметра dmix_lfe_idx.
Фиг.19 представляет таблицу, иллюстрирующую коэффициенты, определяемые для параметров dmix_a_idx и dmix_b_idx.
Фиг.20 представляет таблицу, иллюстрирующую синтаксис параметра drc_presentation_mode.
Фиг.21 представляет таблицу, иллюстрирующую параметр drc_presentation_mode.
Фиг.22 представляет схему, показывающую пример структуры кодирующего устройства.
Фиг.23 представляет логическую схему, иллюстрирующую процесс кодирования.
Фиг.24 представляет схему, показывающую пример структуры декодирующего устройства.
Фиг.25 представляет логическую схему, иллюстрирующую процесс декодирования.
Фиг.26 представляет схему, показывающую пример структуры кодирующего устройства.
Фиг.27 представляет логическую схему, иллюстрирующую процесс кодирования.
Фиг.28 представляет схему, показывающую пример декодирующего устройства.
Фиг.29 представляет схему, показывающую пример структуры устройства понижающего микширования.
Фиг.30 представляет схему, показывающую пример структуры модуля понижающего микширования.
Фиг.31 представляет схему, показывающую пример структуры модуля понижающего микширования.
Фиг.32 представляет схему, показывающую пример структуры модуля понижающего микширования.
Фиг.33 представляет схему, показывающую пример структуры модуля понижающего микширования.
Фиг.34 представляет схему, показывающую пример структуры модуля понижающего микширования.
Фиг.35 представляет схему, показывающую пример структуры модуля понижающего микширования.
Фиг.36 представляет логическую схему, иллюстрирующую процесс декодирования.
Фиг.37 представляет логическую схему, иллюстрирующую процесс реорганизации данных.
Фиг.38 представляет логическую схему, иллюстрирующую процесс реорганизации данных.
Фиг.39 представляет логическую схему, иллюстрирующую процесс понижающего микширования.
Фиг.40 представляет схему, показывающую пример структуры компьютера.
Осуществление изобретения
Далее, варианты предлагаемой технологии будут описаны со ссылками на перечисленные чертежи.
Первый вариант
Краткое описание предлагаемой технологии
Сначала будет дано общее краткое описание предлагаемой технологии.
Настоящее изобретение относится к кодированию и декодированию аудиоданных.
Например, при многоканальном кодировании на основе стандарта MPEG-2AAC или MPEG-4AAC трудно получить информацию о протяженности каналов в горизонтальной плоскости и в вертикальном направлении.
При многоканальном кодировании отсутствует информация о понижающем микшировании применительно к содержанию расширенных каналов и не известен подходящий коэффициент смешивания каналов. Поэтому портативному устройству с небольшим числом воспроизводимых каналов трудно воспроизводить звук.
Предлагаемая технология позволяет получать высококачественное реалистичное звучание с использованием следующих характеристик с (1) по (4),
(1) Информация о расположении громкоговорителей в вертикальном направлении записана в области комментариев в элементе конфигурации РСЕ (Program_config_element), определенном в существующем стандарте ААС.
(2) В случае характеристики (1), чтобы отличать открытые комментарии от информации о расположении громкоговорителей в вертикальном направлении, используют два кодируемых на стороне кодирующего устройства элемента идентификационной информации, а именно слово синхронизации и циклически избыточный контрольный код (CRC), а декодирующее устройство сравнивает эти два элемента идентификационной информации. Когда эти два элемента идентификационной информации идентичны один другому, декодирующее устройство принимает информацию о расположении громкоговорителей.
(3) Информацию о понижающем микшировании аудиоданных записывают в области вспомогательных данных (DSE (data_stream_element)).
(4) Процедура понижающего микширования для преобразования сигналов от стандарта 6.1 каналов или 7.1 каналов к стандарту 2 каналов представляет собой двухступенчатую процедуру обработки данных, содержащую этап понижающего микширования от стандарта 6.1 каналов или 7.1 каналов к стандарту 5.1 каналов и этап понижающего микширования от стандарта 5.1 каналов к стандарту 2 каналов.
В такой ситуации использование информации о расположении громкоговорителей в вертикальном направлении делает возможным воспроизведение звукового изображения в вертикальном направлении, в дополнение к изображению в плоскости, и воспроизведение более реалистичного звучания, чем это возможно при использовании множества каналов в плоскости в соответствии с известными способами.
Кроме того, при передаче информации о понижающем микшировании от стандарта 6.1 каналов или стандарта 7.1 каналов к стандарту 5.1 каналов или 2 каналов использование одного кодирующего элемента данных делает возможным воспроизведение звука с числом каналов, наиболее подходящим для каждой среды, где происходит воспроизведение. В декодирующем устройстве в известных системах, не соответствующих предлагаемой технологии, информацию в вертикальном направлении игнорируют, как открытые комментарии, и декодируют аудиоданные. Таким образом, совместимость не пострадала.
О расположении громкоговорителей
Далее будет описано расположение громкоговорителей при воспроизведении аудиоданных.
Например, предположим, что, как показано на фиг.1, пользователь смотрит на экран отображения TVS устройства, такого как телевизор, спереди. Иными словами, предположим, что пользователь находится перед экраном отображения TVS, показанным на фиг.1.
В этой ситуации, предположим, что вокруг пользователя расположены 13 громкоговорителей, а именно Lvh, Rvh, Lrs, Ls, L, Lc, C, Rc, R, Rs, Rrs, Cs и LFE.
В дальнейшем каналы аудиоданных (звуки), воспроизводимые громкоговорителями Lvh, Rvh, Lrs, Ls, L, Lc, C, Rc, R, Rs, Rrs, Cs и LFE, будут именоваться Lvh, Rvh, Lrs, Ls, L, Lc, C, Rc, R, Rs, Rrs, Cs и LFE, соответственно.
Как показано на фиг.2, канал L представляет собой "Передний левый" ("Front Left"), канал R представляет собой "Передний правый" ("Front Right") и канал С представляет собой "Передний центральный" ("Front Center").
Кроме того, канал Ls представляет собой "Левый окружной" ("Left Surround"), канал Rs представляет собой "Правый окружной" ("Right Surround"), канал Lrs представляет собой "Левый задний" ("Left Rear"), канал Rrs представляет собой "Правый задний" ("Right Rear") и канал Cs представляет собой "Центральный задний" ("Center Back").
Канал Lvh представляет собой "Левый верхний передний" ("Left High Front"), канал Rvh представляет собой "Правый верхний передний" ("Right High Front") и канал LFE представляет собой канал "Канал низкочастотных эффектов" ("Low-Frequency-Effect").
Возвращаясь к фиг.1, громкоговоритель Lvh и громкоговоритель Rvh расположены на левой и правой сторонах, соответственно, спереди от пользователя. Уровень, на котором расположены громкоговорители Rvh и Lvh, называется "верхний уровень".
Громкоговорители L, С и R расположены соответственно слева, в центре и справа от пользователя. Громкоговорители Lc и Rc расположены между громкоговорителями L и С и между громкоговорителями R и С, соответственно. Кроме того, громкоговорители Ls и Rs расположены на левой и правой сторонах от пользователя, соответственно, а громкоговорители Lrs, Rrs и Cs расположены сзади слева, сзади справа и сзади от пользователя, соответственно.
Громкоговорители Lrs, Ls, L, Lc, С, Rc, R, Rs, Rrs и Cs расположены в плоскости, лежащей по существу на высоте ушей пользователя так, чтобы окружать пользователя. Уровень, на котором расположены эти громкоговорители, называется "средний уровень".
Громкоговоритель LFE канала низкочастотных эффектов находится с передней нижней стороны от пользователя, а уровень, на котором расположен этот громкоговоритель LFE, так и называется "уровень LFE" ("LFE layer").
О кодированном потоке битов данных
Когда кодируют аудиоданные в каждом канале, получают кодированный поток битов данных, показанный, например, на фиг.3. Иными словами, фиг.3 иллюстрирует синтаксис кодированного потока битов данных для кадра по стандарту ААС.
Кодированный поток битов данных, показанный на фиг.3, содержит поля и элементы "Header/sideinfo", "РСЕ", "SCE", "СРЕ", "LFE", "DSE", "FIL(DRC)" и "FIL(END)". В этом примере кодированный поток битов данных содержит три элемента "СРЕ".
Например, элемент "РСЕ" содержит информацию о каждом канале аудиоданных. В этом примере элемент "РСЕ" содержит параметр "Matrix-mixdown", представляющий собой информацию о понижающем микшировании аудиоданных, и элемент "Информация о высоте" ("Height Infomation"), представляющий собой информацию о расположении громкоговорителей. Кроме того, элемент "РСЕ" содержит параметр "comment_field_data", представляющий собой область комментариев (поле комментариев), которое может сохранять произвольные комментарии, причем параметр "comment_field_data" содержит элемент "height_extension_element", представляющий расширенную область. Область комментариев может иметь произвольные данные, такие как открытые комментарии. Указанный элемент "height_extension_element" содержит элемент "Height Infomation", представляющий собой информацию о высоте, на которой расположены громкоговорители.
Элемент "SCE" содержит аудиоданные единственного канала, элемент"СРЕ" содержит аудиоданные пары, т.е. двух, каналов и элемент "LFE" содержит аудиоданные, например, канала LFE. Например, элемент "SCE" сохраняет аудиоданные канала С или Cs и элемент "СРЕ" содержит аудиоданные канала L или R, либо канала Lvh или Rvh.
Кроме того, элемент "DSE" представляет собой область вспомогательных данных. Элемент "DSE" сохраняет произвольные данные. В этом примере, элемент "DSE" содержит в качестве информации о понижающем микшировании аудиоданных поля «Понижающее микширование от 5.1 к 2» ("Downmix 5.1ch to 2ch"), «Управление динамическим диапазоном» ("Dynamic Range Control"), «Режим представления DRC» ("DRC Presentation Mode"), «Понижающее микширование от 6.1 и 7.1 к 5.1» ("Downmix 6.1ch and 7.1ch to 5.1ch"), «Понижающее микширование с глобальным коэффициентом усиления» ("global gain downmixing") и «Понижающее микширование LFE»" ("LFE downmixing").
Кроме того, элемент "FIL(DRC)" содержит информацию об управлении динамическим диапазоном звуков. Например, элемент "FIL(DRC)" содержит параметры «Опорный уровень программы» ("Program Reference Level") и «Управление динамическим диапазоном» ("Dynamic Range Control").
О поле комментариев
Как описано выше, поле "comment_field_data" элемента "РСЕ" содержит элемент "height_extension_element". Поэтому многоканальное воспроизведение обеспечивается с применением информации о расположении громкоговорителей в вертикальном направлении. Иными словами, громкоговорители, расположенные на каждом уровне, таком как «Верхний уровень» или «Средний уровень», воспроизводят высококачественный реалистичный звук.
Например, как показано на фиг.4, элемент "height_extension_element" содержит слово синхронизации, чтобы отличать эту информацию от других открытых комментариев. Иными словами, фиг.4 представляет таблицу, иллюстрирующую синтаксис элемента height_extension_element.
На фиг.4 параметр "PCE_HEIGHT_EXTENSION_SYNC" обозначает слово синхронизации.
Кроме того, параметры "front_element_height_info [i]", "side_element_height_info [i]" и "back_element_height_info [i]" указывают высоты расположения громкоговорителей, находящихся спереди, сбоку и сзади от наблюдателя, т.е. уровни.
Далее, параметр "byte_alignment()" обозначает выравнивание байтов, а параметр "height_info_crc_check" указывает циклически избыточный контрольный код CRC, используемый в качестве идентификационной информации. Кроме того, контрольный код CRC вычисляют на основе информации, считываемой между параметрами "PCE_HEIGHT_EXTENSION_SYNC" и Mbyte_alignment()", иными словами в последовательности, содержащей слово синхронизации, информацию о расположении каждого громкоговорителя (информацию о каждом канале) и данные о выравнивании байтов. Затем определяют, идентичен ли вычисленный контрольный код CRC контрольному коду CRC, указанному в параметре "height_info_crc_check". Когда указанные контрольные коды CRC идентичны один другому, определяют, что информация о расположении каждого громкоговорителя прочитана правильно. Кроме того, параметр "crc_cal()!=height_info_crc_check" обозначает результат сравнения контрольных кодов CRC.
Кроме того, параметры "front_element_height_info [i]" и "back_element_height_info [i]", представляющие собой информацию о позициях источников звука, иными словами, о расположении (высоте) громкоговорителей, задают, как показано на фиг.5.
Иными словами, когда информация о параметрах "front_element_height_info [i]", "side_element_height_info [i]" и "back_element_height_info [i]" равна "0", "1" и "2", высоты расположения громкоговорителей соответствуют «Нормальной высоте», «Верхнему громкоговорителю» и «Нижнему громкоговорителю». Иными словами, уровни, на которых расположены громкоговорители, являются «Средним уровнем», «Верхним уровнем» и «Уровнем LFE». Об элементе DSE
Далее будет описана область «Вспомогательные данные MPEG4», представляющая собой область вспомогательных данных, входящую в элемент "DSE", иными словами, "data_stream_byte []" из состава элемента "data_stream_element()". Эта область «Вспомогательные данные MPEG4» ("MPEG4 ancillary data") может обеспечивать управление динамическим диапазоном (DRC) при понижающем микшировании от стандарта 6.1 каналов или 7.1 каналов к стандарту 5.1 каналов или 2 канала.
Фиг.6 представляет таблицу, иллюстрирующую синтаксис этой области вспомогательных данных согласно стандарту MPEG4. Указанная область «Вспомогательные данные MPEG4» содержит параметры "bs_info()", "ancillary_data_status()", "downmixing_levels_MPEG4()", "audio_coding_mode()", "Compression_value" и "MPEG4_ext_ancillary_data()".
Здесь параметр "Compression_value" соответствует полю "Управление динамическим диапазоном" ("Dynamic Range Control"), показанному на фиг.3. Кроме того, синтаксис параметров "bs_info()", "ancillary_data_status()", "downmixing_levels_MPEG4()", "audio_coding_mode()" и "MPEG4_ext_ancillary_data()" показан на фиг.7-11, соответственно.
Например, как показано на фиг.7, параметр "bs_info()" содержит параметры "mpeg_audio_type", "dolby_surround_mode", "drc_presentation_mode" и "pseudo_surround_enable".
Кроме того, параметр "drc_presentation_mode" соответствует параметру «Режим представления управления динамическим диапазоном» ("DRC Presentation Mode"), показанному на фиг.3. Далее, параметр "pseudo_surround_enable" содержит информацию, указывающую процедуру понижающего микширования от стандарта 5.1 каналов к стандарту 2 канала, иными словами, информацию, указывающую один из множества способов микширования с уменьшением числа каналов, который нужно использовать для понижающего микширования.
Например, процедура зависит от того, равен ли параметр "ancillary_data_extension_status", входящий в состав параметра "ancillary_data_status()", изображенного на фиг.8, 0 или 1. Когда napaMeTp"ancillary_data_extension_status" равен 1, осуществляется доступ к параметру "MPEG4_ext_ancillary_data()" в области «Вспомогательных данных MPEG4», показанной на фиг.6, и выполняется управление динамическим диапазоном DRC при понижающем микшировании. С другой стороны, когда параметр "ancillary_data_extension_status" равен 0, осуществляется процедура согласно известным технологиям. Такой подход позволяет обеспечить совместимость с существующими стандартами.
Кроме того, параметр "downmixing_levels_MPEG4_status", входящий в состав параметра "ancillary_data_status()", показанного на фиг.8, представляет собой информацию для назначения коэффициента (пропорции понижающего микширования), используемого при понижающем микшировании от стандарта 5.1 каналов к 2 каналам. Иными словами, когда параметр "downmixing_levels_MPEG4_status" равен 1, для понижающего микширования используется коэффициент, определенный информацией, записанной в параметре "downmixing_levels_MPEG4()", показанном на фиг.9.
Кроме того, параметр "downmixing_levels_MPEG4()", показанный на фиг.9, содержит параметры "center_mix_level_value" и "surround_mix_level_value" в качестве информации, задающей коэффициент понижающего микширования. Например, значения коэффициентов, соответствующих параметрам "center_mix_level_value" и "surround_mix_level_value", определены в показанной на фиг.19 таблице, которая будет рассмотрена ниже.
Кроме того, параметр "dovvnmixing_levels_MPEG4()", показанный на фиг.9, соответствует полю «Понижающего микширования от 5.1 к 2», изображенному на фиг.3.
Далее, параметр "MPEG4_ext_ancillary_data()", показанный на фиг.11, содержит параметры "ext_ancillary_data_status()", "ext_downmixing_levels()",
"ext_downmixing_global_gains()" и "ext_downmixing_lfe_level()".
Информация, необходимая для увеличения числа каналов, чтобы аудиоданные стандарта 5.1 каналов расширить до аудиоданных стандартов 7.1 каналов или 6.1 каналов, сохранена в параметре "MPEG4_ext_ancillary_data()".
В частности, параметр "ext_ancillary_data_status()" содержит информацию (флаг), указывающую, следует ли осуществлять понижающее микширование каналов от стандарта более 5.1 каналов к стандарту 5,1 канала, информацию, нужно ли производить регулировку коэффициента усиления в процессе понижающего микширования, и информацию, указывающую, следует ли использовать канал LFE при понижающем микшировании.
Информацию, задающую коэффициент (пропорцию понижающего микширования), используемый при понижающем микшировании, сохраняют в параметре "ext_downmixing_levels()", а информацию, относящуюся к коэффициенту усиления в процессе регулировки усиления, сохраняют в параметре "ext_downmixing_global_gains()". Информацию, задающую коэффициент (пропорцию понижающего микширования) для сигнала канала LEF, используемый при понижающем микшировании, сохраняют в параметре "ext_dovvnmixing_lfe_level()".
В частности, например, синтаксис параметра "ext_ancillary_data_status()" показан на фиг.12. Параметры "ext_ancillary_data_status()", "ext_downmixing_levels_status" указывают, нужно ли выполнять понижающее микширование от стандарта 6.1 каналов или стандарта 7.1 каналов к стандарту 5.1 каналов. Иными словами, параметр "ext_dovvnmixing_levels_status" указывает, присутствует ли параметр "ext_dovvnmixing_levels()". Параметр "ext_downmixing_levels_status" соответствует параметру «Микширование от 6.1 и 7.1 к 5.1», показанному на фиг.3.
Кроме того, параметр "ext_dovvnmixing_global_gains_status" указывает, нужно ли осуществлять глобальную регулировку усиления, и соответствует параметру «понижающее микширование с глобальным коэффициентом усиления», показанному на фиг.3. Иными словами, параметр "ext_downmixing_global_gains_status" обозначает, присутствует ли параметр "ext_downmixing_global_gains()". Кроме того, параметр "ext_downmixing_lfe_level_status" указывает, нужно ли использовать канал LFE во время понижающего микширования от стандарта 5.1 каналов к стандарту 2 каналов, и соответствует параметру «Микширование с использованием канала LFE», показанному на фиг.3.
Синтаксис параметра "ext_downmixing_levels()" в составе параметра "MPEG4_ext_ancillary_data()", показанного на фиг.11, соответствует тому, что представлено на фиг.13, а параметры "dmix_a_idx" и "dmix_b_idx", изображенные на фиг.13, представляют собой информацию, указывающую пропорцию понижающего микширования (коэффициент) во время понижающего микширования для уменьшения числа каналов.
Фиг.14 иллюстрирует соответствие между параметрами "dmix_a_idx" и "dmix_b_idx", определяемое параметром "ext_dovvnmixing_levels()", и компоненты, к которым применяются параметры "dmix_a_idx" и "dmix_b_idx", когда происходит понижающее микширование аудиоданных от стандарта 7.1.
Синтаксис параметров "ext_downmixing_global_gains()" и "ext_downmixing_lfe_level()" в составе параметра "MPEG4_ext_ancillary_data()", показанного на фиг.11, изображен на фиг.15 и 16.
Например, параметр "ext_downmixing_global_gains()", показанный на фиг.15, содержит параметр "dmx_gain_5_sign", указывающий знак коэффициента усиления при понижающем микшировании к стандарту 5.1. каналов, параметр "dmx_gain_5_idx", указывающий величину коэффициента усиления при понижающем микшировании, параметр "dmx_gain_2_sign", указывающий знак коэффициента усиления при понижающем микшировании к стандарту 2 каналов, и параметр dmx_gain_2_idx", указывающий величину коэффициента усиления при понижающем микшировании.
Кроме того, параметр "ext_downmixing_lfe_level()", показанный на фиг.16, содержит параметры "dmix_lfe_idx" и "dmix_lfe_idx" в качестве информации, задающей пропорцию понижающего микширования (коэффициент) для канала LFE в процессе понижающего микширования с уменьшением числа каналом.
О понижающем микшировании
Кроме того, параметр "pseudo_surround_enable" в составе синтаксиса параметра "bs_info()", изображенного на фиг.7, обозначает процедуру понижающего микширования для уменьшения числа каналов и процедуру, показанную на фиг.17. Здесь фиг.17 иллюстрирует две процедуры - случай, когда параметр "pseudo_surround_enable" равен 0, и случай, когда параметр "pseudo_surround_enable" равен 1
Далее будет описана процедура понижающего микширования аудиоданных для уменьшения числа каналов.
Сначала будет рассмотрена процедура понижающего микширования от стандарта 5.1 каналов к стандарту 2 каналов. В этом случае, когда канал L и канал R превращаются после понижающего микширования в канал L' и канал R', соответственно, выполняется следующая процедура.
Другими словами, когда параметр "pseudo_surround_enable" равен 0, аудиоданные в канале L' и в канале R' вычисляют с использованием следующего Выражения (1).
Другими словами, когда параметр "pseudo_surround_enable" равен 1, аудиоданные в канале L' и в канале R' вычисляют с использованием следующего Выражения (2).
В Выражении (1) и Выражении (2) L, R, С, Ls, Rs и LFE представляют собой каналы, составляющие совокупность каналов стандарта 5.1, и являются каналами L, R, С, Ls, Rs и LFE, которые были описаны со ссылками на фиг.1 и 2, соответственно.
В Выражении (1) и Выражении (2), "с" представляет собой константу, определяемую величиной параметра "dmix_lfe_idx" в составе параметра "ext_downmixing_lfe_level()", изображенного на фиг.16. Например, величины этой константы "с", соответствующие каждому значению параметра "dmix_lfe_idx", приведены на фиг.18. В частности, когда параметр "ext_downmixing_lfe_level_status" в составе параметра "ext_ancillary_data_status()", изображенного на фиг.12, равен 0, канал LFE не используется для вычисления Выражения (1) и Выражения (2). Когда параметр "ext_downmixing_lfe_level_status" равен 1, величину константы "с", умножаемой на данные канала LFE, определяют на основе таблицы, показанной на фиг.18.
В Выражении (1) и Выражении (2), "а" и "b" представляют собой константы, определяемые величинами параметров "dmix_a_idx" и "dmix_b_idx" в составе параметра "ext_dovvnmixing_levels()", показанного на фиг.13. Кроме того, в Выражении (1) и Выражении (2), "а" и "b" могут быть константами, определяемыми величинами параметров "center_mix_level_value" и "surround_mix_level_value" в составе параметра "downmixing_levels_MPEG4()", показанного на фиг.9.
Например, величины констант "а" и "b" относительно величин параметров "dmix_a_idx" H"dmix_b_idx" или величин параметров "center_mix_level_value" и "surround_mix_level_value", показаны на фиг.19. В этом примере, поскольку одна и та же таблица относится и к паре параметров "dmix_a_idx" и "dmix_b_idx", и к паре параметров "center_mix_level_value" и "surround_mix_level_value", константы (коэффициенты) "а" и "b" для понижающего микширования с уменьшением числа каналов имеют одинаковую величину.
Затем, будет рассмотрена процедура понижающего микширования от стандарта 7.1 каналов или стандарта 6.1 каналов к стандарту 5,1 каналов.
Когда аудиоданные совокупности каналов С, L, R, Ls, Rs, Lrs, Rrs и LFE, содержащей каналы Lrs и Rrs, громкоговорители которых расположены сзади пользователя, преобразуют в аудиоданные стандарта 5.1. каналов, содержащие данные каналов С, L', R', Ls', Rs' и LFE', вычисления производят в соответствии со следующим Выражением (3). Здесь, каналы С, L',R', Ls', Rs' и LFE' обозначает каналы С, L, R, Ls, Rs и LFE, соответственно, после понижающего микширования с уменьшением числа каналов. Кроме того, в Выражении (3), С, L, R, Ls, Rs, Lrs, Rrs и LFE обозначают аудиоданные каналов С, L, R, Ls, Rs, Lrs, Rrs и LFE.
В Выражении (3) d1 и d2 являются константами. Например, величины этих констант d1 и d2 определены для значений параметров "dmix_a_idx" и "dmix_b_idx", приведенных на фиг.19.
Когда аудиоданные совокупности каналов С, L, R, Lc, Rc, Ls, Rs и LFE, содержащей каналы Lc и Rc, громкоговорители которых расположены спереди от пользователя, преобразуют в аудиоданные стандарта 5.1. каналов, содержащие данные каналов С, L', R', Ls', Rs' и LFE', вычисления производят в соответствии со следующим Выражением (4). Здесь, каналы С, L',R', Ls', Rs' и LFE' обозначает каналы С, L, R, Ls, Rs и LFE, соответственно, после понижающего микширования. Кроме того, в Выражении (4), С, L, R, Lc, Rc, Ls, Rs и LFE обозначают аудиоданные каналов С, L, R, Lc, Rc, Ls, Rs и LFE.
В Выражении (4) e1 и e2 являются константами. Например, величины этих констант e1 и е2 определены для значений параметров "dmix_a_idx" и "dmix_b_idx", приведенных на фиг.19.
Когда аудиоданные совокупности каналов С, L, R, Lvh, Rvh, Ls, Rs и LFE, содержащей каналы Rvh и Lvh, громкоговорители которых расположены спереди сверху от пользователя, преобразуют в аудиоданные стандарта 5.1 каналов, содержащие данные каналов С, L', R', Ls', Rs' и LFE', вычисления производят в соответствии со следующим Выражением (5). Здесь, каналы С, L',R', Ls', Rs' и LFE' обозначает каналы С, L, R, Ls, Rs и LFE, соответственно, после понижающего микширования. Кроме того, в Выражении (5), С, L, R, Lvh, Rvh, Ls, Rs и LFE обозначают аудиоданные каналов С, L, R, Lvh, Rvh, Ls, Rs и LFE.
В Выражении (5) f1 и f2 являются константами. Например, величины этих констант f1 и f2 определены для значений параметров "dmix_a_idx" и "dmix_b_idx", приведенных на фиг.19.
При осуществлении понижающего микширования от стандарта 6.1 каналов к стандарту 5,1 каналов выполняется следующая процедура. Иными словами, когда аудиоданные совокупности каналов С, L, R, Ls, Rs, Cs и LFE преобразуют в аудиоданные стандарта 5.1 каналов, содержащие данные каналов С, L', R', Ls', Rs' и LFE', вычисления производят в соответствии со следующим Выражением (6). Здесь, каналы С, L',R', Ls', Rs' и LFE' обозначает каналы С, L, R, Ls, Rs и LFE, соответственно, после понижающего микширования. Кроме того, в Выражении (6) С, L, R, Ls, Rs, Cs и LFE обозначают аудиоданные каналов С, L, R, Ls, Rs, Cs и LFE.
В Выражении (6) g1 и g2 являются константами. Например, величины этих констант g1 и g2 определены для значений параметров "dmix_a_idx" и "dmix_b_idx", приведенных на фиг.19.
Далее будет описан глобальный коэффициент усиления для коррекции громкости во время понижающего микширования с уменьшением числа каналов.
Глобальный коэффициент усиления во время понижающего микширования с уменьшением числа каналов используется для коррекции громкости звучания, которая увеличивается или уменьшается в ходе понижающего микширования. Здесь параметр dmx_gain5 обозначает величину коррекции при понижающем микшировании от стандарта 7.1 каналов или стандарта 6.1 каналов к стандарту 5,1 каналов, а параметр dmx_gain2 обозначает величину коррекции при понижающем микшировании от стандарта 5.1 каналов к стандарту 2 каналов. Кроме того, параметр dmx_gain2 относится к декодирующему устройству или потоку битов данных, не соответствующему стандарту 7.1 каналов.
Применение этого подхода и его действие аналогичны сильному сжатию с управлением динамическим диапазоном (DRC). Кроме того, кодирующее устройство может должным образом выполнять избирательную оценку за период, для которого аудиокадр слишком длинен, или за период, для которого аудиокадр слишком короток, чтобы определить глобальный коэффициент усиления при понижающем микшировании с уменьшением числа каналов.
При осуществлении понижающего микширования от стандарта 7.1 каналов к стандарту 2 каналов применяется суммарный коэффициент усиления (dmx_gain5+dmx_gain2). Например, в качестве параметров dmx_gain5 и dmx_gain2 используются 6-битовые целые числа без знака, а сами эти параметры dmx_gain5 и dmx_gain2 квантованы с шагом 0,25 дБ.
Поэтому, когда параметры dmx_gain5 и dmx_gain2 суммируют один с другим, суммарный коэффициент усиления находится в диапазоне ±15.75 дБ. Этот коэффициент усиления применяется к отсчету аудиоданных в декодированном текущем кадре.
В частности, при осуществлении понижающего микширования с уменьшением числа каналов к стандарту 5,1 каналов выполняется следующая процедура. Иными словами, когда коррекция коэффициента усиления применяется к аудиоданным совокупности каналов L', R', Ls', Rs' и LFE', полученным в результате понижающего микширования, для получения аудиоданных каналов Сʺ, Lʺ, Rʺ, Lsʺ, Rsʺ и LFEʺ, вычисления производят в соответствии со следующим Выражением (7).
Здесь параметр dmx_gain5 представляет собой скалярную величину, вычисляемую на основе параметров "dmx_gain_5_sign" и "dmx_gain_5_idx", показанных на фиг.15, с использованием следующего Выражения (8).
Аналогично, при осуществлении понижающего микширования к стандарту 2 каналов выполняется следующая процедура. Иными словами, когда коррекция коэффициента усиления применяется к аудиоданным каналов L' и R', полученным в результате понижающего микширования, для получения аудиоданных каналов Lʺ и Rʺ, вычисления производят в соответствии со следующим Выражением (9).
Здесь параметр dmx_gain2 представляет собой скалярную величину, вычисляемую на основе параметров "dmx_gain_2_sign" и "dmx_gain_2_idx", показанных на фиг.15, с использованием следующего Выражения (10).
При осуществлении понижающего микширования от стандарта 7.1 каналов к стандарту 2 каналов после выполнения двухступенчатой процедуры понижающего микширования от стандарта 7.1 каналов к стандарту 5.1 каналов и затем понижающего микширования от стандарта 5.1 каналов к стандарту 2 каналов можно произвести регулировку усиления для получения сигнала (данных). В таком случае величина коэффициента усиления dmx_gain_7to2, применяемого к аудиоданным, может быть получена путем суммирования параметров dmx_gain5 и dmx_gain2 в соответствии со следующим Выражением (11).
Процедура понижающего микширования от стандарта 6.1 каналов к стандарту 2 каналов аналогична понижающему микшированию от стандарта 7.1 каналов к стандарту 2 каналов.
Например, в ходе понижающего микширования от стандарта 7.1 каналов к стандарту 2 каналов, если коррекция коэффициента усиления осуществляется в два этапа с применением Выражения (7) или Выражения (9), можно передавать на выход и аудиоданные стандарта 5.1 каналов, и аудиоданные стандарта 2 каналов.
О режиме представления DRC
Кроме того, в состав параметра "bs_info()", показанного на фиг.7, входит параметр "drc_presentation_mode", представленный на фиг.20. Иными словами, фиг.20 представляет таблицу, иллюстрирующую синтаксис параметра "drc_presentation_mode".
Когда параметр "drc_presentation_mode" равен "01", имеет место «Режим 1 представления DRC». Когда параметр "drc_presentation_mode" равен "10", имеет место «Режим 2 представления DRC». В «Режиме 1 представления DRC» и в «Режиме 2 представления DRC» регулировка усиления осуществляется, как показано на фиг.21.
Пример структуры кодирующего устройства
Далее, будут описаны конкретные варианты применения предлагаемой технологии.
Фиг.22 представляет схему, иллюстрирующую пример структуры кодирующего устройства согласно одному из вариантов применения предлагаемой технологии. Это устройство 11 для обработки информации содержит модуль 21 ввода, модуль 22 кодирования и модуль 23 упаковки.
Модуль 21 ввода принимает аудиоданные и информацию об этих аудиоданных извне и передает эти полученные им аудиоданные и информацию кодирующему модулю 22. Например, в качестве информации об аудиоданных принимают информацию о расположении (высоте расположения) громкоговорителей.
Модуль 22 кодирования осуществляет кодирование полученных им от модуля 21 ввода аудиоданных и информации об этих аудиоданных и передает кодированные аудиоданные и информацию модулю 23 упаковки. Модуль 23 упаковки осуществляет упаковку полученных им от модуля 22 кодирования аудиоданных или информации об этих аудиоданных для генерирования кодированного потока битов данных, показанного на фиг.3, и передает сгенерированный кодированный поток битов данных на выход. Описание процесса кодирования
Далее, процесс кодирования, осуществляемый в кодирующем устройстве 11, будет описан со ссылками на логическую схему, изображенную на фиг.23.
На этапе S11 модуль 21 ввода принимает аудиоданные и информацию об этих аудиоданных и передает эти полученные им аудиоданные и информацию модулю 22 кодирования. Например, модуль принимает данные каждого канала из совокупности 7.1 каналов и информацию (в дальнейшем именуемую информацией о расположении громкоговорителей) о расположении громкоговорителей, записанную в элементе "height_extension_element", изображенном на фиг.4.
На этапе S12 модуль 22 кодирования осуществляет кодирование аудиоданных каждого канала, поступивших от модуля 21 ввода.
На этапе S13 модуль 22 кодирования осуществляет кодирование информации о расположении громкоговорителей, поступившей от модуля 21 ввода. В этом случае модуль 22 кодирования генерирует слово синхронизации, сохраняемое в параметре "PCE_HEIGHT_EXTENSION_SYNC" в составе элемента "height_extension_element", показанного на фиг.4, или контрольный код CRC, представляющий собой идентификационную информацию, записываемую в параметре "height_info_crc_check", и передает указанные слово синхронизации или контрольный код CRC, а также кодированную информацию о расположении громкоговорителей модулю 23 упаковки.
Кроме того, модуль 22 кодирования генерирует информацию, необходимую для генерирования кодированного потока битов данных, и передает сформированную информацию и кодированный поток битов данных или кодированную информацию о расположении громкоговорителей модулю 23 упаковки.
На этапе S14 модуль 23 упаковки осуществляет упаковку битов полученных им от модуля 22 кодирования аудиоданных, или информации о расположении громкоговорителей для генерирования кодированного потока битов данных, показанного на фиг.3. В таком случае, модуль 23 упаковки сохраняет, например, информацию о расположении громкоговорителей или слово синхронизации и контрольный код CRC в составе элемента "РСЕ" и сохраняет аудиоданные в элементе "SCE" или в элементе "СРЕ".
Когда кодированный поток битов данных передан на выход, процесс кодирования завершается.
Таким способом, кодирующее устройство 11 вставляет информацию о расположении громкоговорителей, представляющую собой информацию о расположении громкоговорителей на каждом уровне, в кодированный поток битов данных и передает этот кодированный поток битов данных на выход. В такой ситуации, использование информации о расположении громкоговорителей в вертикальном направлении делает возможным воспроизведение звукового изображения в вертикальном направлении, в дополнение к изображению в плоскости. Поэтому можно воспроизводить более реалистичное звучание.
Пример структуры декодирующего устройства
Далее будет рассмотрено декодирующее устройство, получающее кодированный поток битов данных с выхода кодирующего устройства 11 и декодирующее этот кодированный поток битов данных.
Фиг.24 представляет схему, показывающую пример структуры декодирующего устройства. Декодирующее устройство 51 содержит разделительный модуль 61, модуль 62 декодирования и модуль 63 вывода.
Разделительный модуль 61 принимает кодированный поток битов данных, передаваемый кодирующим устройством 11, осуществляет распаковку битов из состава кодированного потока битов данных и передает распакованный кодированный поток битов данных декодирующему модулю 62.
Указанный декодирующий модуль 62 осуществляет, например, декодирование кодированного потока битов данных, поступающего от разделительного модуля 61, иными словами, аудиоданные каждого канала или информацию о расположении громкоговорителей и передает декодированные аудиоданные модулю 63 вывода. Например, модуль 62 декодирования осуществляет, при необходимости, понижающее микширование аудиоданных для уменьшения числа каналов.
Модуль 63 вывода передает на выход аудиоданные, полученные от модуля 62 декодирования на основе расположения громкоговорителей (карты размещения громкоговорителей), указанного модулем 62 декодирования. Аудиоданные каждого канала, поступающие от модуля 63 вывода, направляют громкоговорителям каждого канала и затем воспроизводят.
Описание процесса декодирования
Далее, процесс кодирования, осуществляемый в декодирующем устройстве 51, будет описан со ссылками на логическую схему, изображенную на фиг.25.
На этапе S41 модуль 62 декодирования осуществляет декодирование аудиоданных.
Иными словами, разделительный модуль 61 принимает кодированный поток битов данных от кодирующего устройства 11 и осуществляет распаковку битов в этом кодированном потоке битов данных. Затем, этот разделительный модуль 61 передает аудиоданные, полученные в результате распаковки битов, и разного рода информацию, такую как информация о расположении громкоговорителей, модулю 62 декодирования. Модуль 62 декодирования осуществляет декодирование аудиоданных, поступивших от разделительного модуля 61, и передает декодированные аудиоданные модулю 63 вывода.
На этапе S42 модуль 62 декодирования выявляет слово синхронизации в составе информации, поступающей от разделительного модуля 61. В частности, это слово синхронизации выявляют в составе элемента "height_extension_element", показанного на фиг.4.
На этапе S43 модуль 62 декодирования определяет, выявлено ли слово синхронизации. Если на этапе S43 определено, что слово синхронизации выявлено, модуль 62 декодирования осуществляет на этапе S44 декодирование информации о расположении громкоговорителей.
Иными словами, модуль 62 декодирования считывает информацию, такую как параметры "front_element_height_info [i]", "side_element_height_info [i]" и "back_element_height_info [i]" из состава элемента "height_extension_element", показанного на фиг.4. Таким образом, можно найти позиции (каналы) для громкоговорителей, позволяющие воспроизводить каждый фрагмент аудиоданных с высоким качеством.
На этапе S45 модуль 62 декодирования генерирует идентификационную информацию. Иными словами, модуль 62 декодирования вычисляет контрольный код CRC на основе информации, считываемой между параметрами "PCE_HEIGHT_EXTENSION_SYNC" и "byte_alignment()" в составе элемента "height_extension_element", т.е. слово синхронизации, информацию о расположении громкоговорителей и данные о выравнивании байтов, и получает идентификационную информацию.
На этапе S46 модуль 62 декодирования сравнивает идентификационную информацию, сформированную на этапе S45, с идентификационной информацией, входящей в состав параметра "height_info_crc_check" в элементе "height_extension_element", показанном на фиг.4, и определяет, являются ли сегменты идентификационной информации идентичными один другому.
Если на этапе S46 определено, что сегменты идентификационной информации идентичны один другому, модуль 62 декодирования передает декодированные аудиоданные модулю 63 вывода и дает команды передать эти аудиоданные на выход на основе полученной информации о расположении громкоговорителей. После этого процесс переходит к этапу S47.
На этапе S47 модуль 63 вывода передает на выход аудиоданные, полученные от модуля 62 декодирования на основе расположения громкоговорителей (карты размещения громкоговорителей), указанного модулем 62 декодирования. После этого процесс декодирования завершается.
С другой стороны, если на этапе S43 определено, что слово синхронизации не выявлено, или если на этапе S46 определено, что сегменты идентификационной информации не идентичны один другому, модуль 63 вывода передает аудиоданные на выход на основе заранее заданного расположения громкоговорителей на этапе S48.
Иными словами, если информация о расположении громкоговорителей прочитана из элемента "height_extension_element" правильно, выполняют процедуру этапа S48. В таком случае, модуль 62 декодирования передает аудиоданные модулю 63 вывода и дает команду передать аудиоданные на выход таким образом, чтобы аудиоданные каждого канала воспроизводил громкоговоритель соответствующего канала. Тогда модуль 63 вывода передает аудиоданные на выход в соответствии с командами от модуля 62 декодирования, и процесс декодирования завершается.
Таким способом, декодирующее устройство 51 осуществляет декодирование информации о расположении громкоговорителей или аудиоданных из состава кодированного потока битов данных и передает аудиоданные на выход на основе информации о расположении громкоговорителей. Поскольку указанная информация о расположении громкоговорителей содержит также информацию о расположении громкоговорителей в вертикальном направлении, становится возможным воспроизведение звукового изображения в вертикальном направлении, в дополнение к изображению в плоскости. Поэтому можно воспроизводить более реалистичное звучание.
В частности, когда производится декодирование аудиоданных, например, также осуществляется, при необходимости, процесс понижающего микширования аудиоданных.
В таком случае, например, модуль 62 декодирования считывает параметр "MPEG4_ext_ancillary_data()", когда параметр "ancillary_data_extension_status" в составе параметра "ancillary_data_status()" в составе параметра "MPEG4 ancillary data", показанного на фиг.6, равен "1". Затем, модуль 62 декодирования считывает каждый сегмент информации, входящей в параметр "MPEG4_ext_ancillary_data()", показанный на фиг.11, и осуществляет понижающее микширование аудиоданных или процесс коррекции коэффициента усиления.
Например, модуль 62 декодирования осуществляет понижающее микширование аудиоданных от стандарта 7.1 каналов или стандарта 6.1 каналов к стандарту 5.1 каналов или дополнительно микширует с уменьшением числа каналов аудиоданные от стандарта 5.1 каналов и преобразует их в аудиоданные стандарта 2 каналов.
В таком случае модуль 62 декодирования использует аудиоданные канала LFE при понижающем микшировании, если нужно. Коэффициенты, на которые умножают сигнал каждого канала, определяют в соответствии с информацией параметра "ext_downmixing_levels()", показанного на фиг.13, или параметра "ext_downmixing_lfe_level()", изображенного на фиг.16. Кроме того, коррекция коэффициента усиления в ходе понижающего микширования осуществляется в соответствии с информацией параметра "ext_downmixing_global_gains()", показанного на фиг.15.
Пример структуры кодирующего устройства
Далее будет рассмотрен пример детальной структуры описанных выше кодирующего устройства и декодирующего устройства и функционирование указанных устройств.
Фиг.26 представляет схему, показывающую пример подробной структуры кодирующего устройства.
Это кодирующее устройство 91 содержит модуль 21 ввода, модуль 22 кодирования и модуль 23 упаковки. На фиг.26 компонентам, соответствующим компонентам, показанным на фиг.22, присвоены одинаковые цифровые позиционные обозначения, а описание этих компонентов повторно приведено не будет.
Модуль 22 кодирования содержит модуль 101 кодирования элемента РСЕ, модуль 102 кодирования элемента DSE и модуль 103 кодирования аудиоэлементов.
Модуль 101 кодирования элемента РСЕ осуществляет кодирование такого элемента РСЕ на основе информации, поступившей от модуля 21 ввода. Иными словами этот модуль 101 кодирования элемента РСЕ генерирует, при необходимости, каждый сегмент информации, сохраняемой в элементе РСЕ, в процессе кодирования каждого сегмента информации. Этот модуль 101 кодирования элемента РСЕ содержит модуль 111 кодирования слова синхронизации, модуль 112 кодирования информации о расположении и модуль 113 кодирования идентификационной информации.
Модуль 111 кодирования слова синхронизации осуществляет кодирование слова синхронизации и использует полученное кодированное слово синхронизации в качестве информации, сохраняемой в расширенной области в составе области комментариев элемента РСЕ. Модуль 112 кодирования информации о расположении осуществляет кодирование информации о расположении громкоговорителей, указывающей высоты (уровни) громкоговорителей для каждого сегмента аудиоданных и поступающей от модуля 21 ввода, и использует кодированную информацию о расположении громкоговорителей в качестве информации, сохраняемой в расширенной области в составе области комментариев.
Модуль 113 кодирования идентификационной информации осуществляет кодирование идентификационной информации. Например, модуль 113 кодирования идентификационной информации генерирует контрольный код CRC в качестве такой идентификационной информации на основе слова синхронизации и информации о расположении громкоговорителей, при необходимости, и использует этот контрольный код CRC в качестве информации, сохраняемой в расширенной области в составе области комментариев.
Модуль 102 кодирования элемента DSE осуществляет кодирование такого элемента DSE на основе информации, поступившей от модуля 21 ввода. Иными словами, модуль 102 кодирования элемента DSE генерирует каждый сегмент информации для сохранения в составе такого элемента DSE в процессе кодирования каждого сегмента информации, при необходимости. Этот модуль 102 кодирования элемента DSE содержит модуль 114 кодирования расширенной информации и модуль 115 кодирования информации о понижающем микшировании.
Модуль 114 кодирования расширенной информации осуществляет кодирование информации (флага), указывающей, входит ли расширенная информация в поле "MPEG4_ext_ancillary_data()", представляющее собой расширенную область элемента DSE. Модуль 115 кодирования информации о понижающем микшировании осуществляет кодирование информации о понижающем микшировании аудиоданных. Модуль 103 кодирования аудиоэлемента осуществляет кодирование аудиоданных, поступающих от модуля 21 ввода.
Модуль 22 кодирования передает информацию, полученную в результате кодирования данных каждого типа и сохраняемую в каждом элементе, на модуль 23 упаковки.
Описание процесса кодирования
Далее, процесс кодирования, осуществляемый кодирующим устройством 91, будет описан со ссылками на логическую схему, изображенную на фиг.27. Этот процесс кодирования будет описан более подробно, чем процесс, описанный со ссылками на логическую схему, изображенную на фиг.23.
На этапе S71 модуль 21 ввода принимает аудиоданные и информацию, необходимую для кодирования этих аудиоданных, и передает аудиоданные и эту информацию модулю 22 кодирования.
Например, модуль 21 ввода принимает, в качестве аудиоданных, данные каждого канала в формате импульсно-кодовой модуляции (ИКМ (РСМ)), информацию, указывающую расположение каждого из громкоговорителей каналов, информацию, задающую коэффициент понижающего микширования с уменьшением числа каналов, и информацию, указывающую скорость передачи данных в составе кодированного потока битов данных. Здесь информация, задающая коэффициент понижающего микширования, представляет собой информацию, указывающую коэффициент, на который умножают аудиоданные при понижающем микшировании от стандарта 7.1 каналов или стандарта 6.1 каналов к стандарту 5,1 каналов и при понижающем микшировании от стандарта 5.1 каналов к стандарту 2 каналов.
Кроме того, модуль 21 ввода принимает имя файла для кодированного потока битов данных, который нужно получить. Это имя файла должным образом используется на кодирующей стороне.
На этапе S72 модуль 103 кодирования аудиоэлементов осуществляет кодирование аудиоданных, полученных им от модуля 21 ввода, и сохраняет кодированные аудиоданные в каждом элементе, таком как SCE, СРЕ и LFE. В таком случае аудиоданные кодируют со скоростью передачи данных, определяемой скоростью передачи данных, поступающих от модуля 21 ввода в модуль 22 кодирования, и числом кодов в составе информации, отличной от аудиоданных.
Например, аудиоданные канала С или канала Cs кодируют и сохраняют в элементе SCE. Аудиоданные канала L или канала R кодируют и сохраняют в элементе СРЕ. Кроме того, аудиоданные канала LFE кодируют и сохраняют в элементе LFE.
На этапе S73 модуль 111 кодирования слова синхронизации осуществляет кодирование слова синхронизации на основе информации, полученной от модуля 21 ввода, и сохраняет кодированное слово синхронизации в параметре " PCE_HEIGHT_EXTENS ION_S YNC" в составе элемента "height_extension_element", изображенного на фиг.4.
На этапе S74 модуль 112 кодирования информации о расположении осуществляет кодирование информации о расположении громкоговорителей для каждого сегмента аудиоданных, поступившей от модуля 21 ввода.
Кодированную информацию о расположении громкоговорителей сохраняют в элементе "height_extension_element" в позиции источника звука в модуле 23 упаковки, иными словами, в порядке, соответствующем расположению громкоговорителей. Иными словами, информация о расположении громкоговорителей, указывающая высоту громкоговорителя (высоту источника звука) каждого канала, воспроизводимого громкоговорителем, расположенным перед пользователем, сохраняется в качестве параметра "front_element_height_info [i]" в составе элемента "height_extension_element".
Кроме того, информация о расположении громкоговорителей, указывающая высоту громкоговорителя каждого канала, воспроизводимого громкоговорителем, расположенным сбоку от пользователя, сохраняется в качестве параметра "side_element_height_info [i]" в составе элемента "height_extension_element", после параметра "front_element_height_info [i]". Затем, информация о расположении громкоговорителей, указывающая высоту громкоговорителя каждого канала, воспроизводимого громкоговорителем, расположенным сзади от пользователя, сохраняется в качестве параметра "back_element_height_info [i]" в составе элемента "height_extension_element", после параметра "side_element_height_info [i]".
На этапе S75 модуль 113 кодирования идентификационной информации осуществляет кодирование идентификационной информации. Например, модуль 113 кодирования идентификационной информации генерирует контрольный код CRC в качестве такой идентификационной информации на основе слова синхронизации и информации о расположении громкоговорителей, при необходимости. Указанный контрольный код CRC представляет собой информацию, сохраняемую в параметре "height_info_crc_check" в составе элемента "height_extension_element". Указанные слово синхронизации и контрольный код CRC составляют информацию для идентификации, присутствует ли информация о расположении громкоговорителей в кодированном потоке битов данных.
Кроме того, модуль 113 кодирования идентификационной информации генерирует информацию, дающую команды выполнить выравнивание байтов, в качестве информации, сохраняемой в параметре "byte_alignment()" в составе элемента "height_extension_element". Указанный модуль 113 кодирования идентификационной информации генерирует информацию, дающую команды сравнить идентификационную информацию, как информацию, сохраняемую в параметре выравнивания байтов, в качестве информации, "if(crc_cal()!=height_info_crc_check)" в составе элемента "height_extension_element".
В ходе выполнения этапов с S73 по S75 генерируют информацию для сохранения в расширенной области, входящей в область комментариев в составе элемента РСЕ, иными словами, в элементе "height_extension_element".
На этапе S76 модуль 101 кодирования элемента РСЕ осуществляет кодирование элемента РСЕ на основе, например, информации, полученной от модуля 21 ввода или сгенерированной информации, хранящейся в расширенной области.
Например, модуль 101 кодирования элемента РСЕ генерирует, в качестве информации для сохранения в элементе РСЕ, информацию, указывающую число каналов, воспроизводимых передними, боковыми и задними громкоговорителями, или информацию, указывающую, к какому из каналов С, L и R принадлежит каждый конкретный сегмент аудиоданных.
На этапе S77 модуль 114 кодирования расширенной информации осуществляет кодирование информации, указывающей, входит ли расширенная информация в расширенную область элемента DSE, на основе информации, полученной от модуля 21 ввода, и сохраняет кодированную информацию в параметре "ancillary_data_extension_status" в составе параметра "ancillary_data_status()", изображенного на фиг.8. Например, в качестве информации, указывающей, включена ли расширенная информация, иными словами, информации, указывающей, сохранена ли расширенная информация, записывают 0 или 1 в параметре "ancillary_data_extension_status".
На этапе S78 модуль 115 кодирования информации о понижающем микшировании осуществляет кодирование информации о понижающем микшировании аудиоданных на основе информации, поступившей от модуля 21 ввода.
Модуль 115 кодирования информации о понижающем микшировании осуществляет кодирование информации, задающей коэффициент понижающего микширования, поступающий от модуля 21 ввода. В частности, модуль 115 кодирования информации о понижающем микшировании осуществляет кодирование информации, указывающей коэффициент, на который умножают аудиоданные каждого канала при понижающем микшировании от стандарта 5.1 каналов к стандарту 2 каналов, а параметры "center_mix_level_value" и "surround_mix_level_value" сохраняют в составе параметра "downmixing_levels_MPEG4()", показанного на фиг.9.
Кроме того, модуль 115 кодирования информации о понижающем микшировании с уменьшением числа каналов осуществляет кодирование информации, указывающей коэффициент, на который умножают аудиоданные канала LFE при понижающем микшировании от стандарта 5.1 каналов к стандарту 2 каналов, а параметр "dmix_lfe_idx" сохраняют в составе параметра "ext_downmixing_lfe_level()", показанного на фиг.16. Аналогично, модуль 115 кодирования информации о понижающем микшировании осуществляет кодирование информации, обозначающей процедуру понижающего микширования к стандарту 2 каналов, указание которой поступило от модуля 21 ввода, и сохраняет параметр "pseudo_surround_enable" в составе параметра "bs_info()", показанного на фиг.7.
Указанный модуль 115 кодирования информации о понижающем микшировании с уменьшением числа каналов осуществляет кодирование информации, указывающей коэффициент, на который умножают аудиоданные каждого канала при понижающем микшировании от стандарта 7.1 каналов или стандарта 6.1 каналов к стандарту 5,1 каналов, а параметры "dmix_a_idx" и "dmix_b_idx" сохраняют в составе параметра "ext_dovvTrmixing_levels", показанного на фиг.13.
Указанный модуль 115 кодирования информации о понижающем микшировании осуществляет кодирование информации, указывающей, нужно ли использовать канал LFE при понижающем микшировании от стандарта 5.1 каналов к стандарту 2 каналов. Кодированную информацию сохраняют в параметре "ext_downmixing_lfe_level_status", показанном на фиг.12 и входящем в состав параметра "ext_ancillary_data_statusQ", изображенного на фиг.11 и являющегося расширенной областью.
Модуль 115 кодирования информации о понижающем микшировании осуществляет кодирование информации, необходимой для регулировки коэффициента усиления в процессе понижающего микширования. Кодированную информацию сохраняют в параметре "ext_downmixing_global_gains" в составе параметра "MPEG4_ext_ancillary_data()", изображенного на фиг.11.
На этапе S79 модуль 102 кодирования элемента DSE осуществляет кодирование элемента DSE на основе информации, полученной от модуля 21 ввода, или сгенерированной информации о понижающем микшировании.
Информацию для сохранения в каждом элементе, таком как РСЕ, SCE, СРЕ, LFE и DSE, получают описанным выше способом. Модуль 22 кодирования передает информацию для сохранения в каждом элементе в модуль 23 упаковки. Кроме того, модуль 22 кодирования генерирует элементы, такие как "Header/Sideinfo", "FIL(DRC)" и "FIL(END)", и передает, при необходимости, сгенерированные элементы модулю 23 упаковки.
На этапе S80 модуль 23 упаковки осуществляет упаковку битов, полученных им от модуля 22 кодирования аудиоданных, или информации о расположении громкоговорителей для генерирования кодированного потока битов данных, показанного на фиг.3, и передает этот кодированный поток битов данных на выход. Например, модуль 23 упаковки сохраняет информацию, поступающую от модуля 22 кодирования, в составе элемента РСЕ или элемента DSE для генерирования кодированного потока битов данных. Когда кодированный поток битов данных передан на выход, процесс кодирования завершается.
Таким способом, кодирующее устройство 91 вставляет, например, информацию о расположении громкоговорителей, информацию о понижающем микшировании и информацию, указывающую, входит ли расширенная информация в расширенную область, в кодированный поток битов данных и передает кодированные аудиоданные на выход. В таком случае, когда в кодированном потоке битов данных сохранены информация о расположении громкоговорителей и информация о понижающем микшировании, можно на стороне, декодирующей кодированный поток битов данных, получить высококачественное реалистичное звучание.
Например, когда в кодированном потоке битов данных сохранена информация о расположении громкоговорителей в вертикальном направлении, можно на декодирующей стороне воспроизвести звуковое изображение в вертикальном направлении, в дополнение к изображению в плоскости. Поэтому можно воспроизводить реалистичное звучание.
Кроме того, кодированный поток битов данных содержит несколько сегментов идентификационной информации (идентификационных кодов) для идентификации информации о расположении громкоговорителей, чтобы идентифицировать, является ли информация, сохраненная в расширенной области в составе области комментариев, информацией о расположении громкоговорителей или текстовой информацией, подобно другим комментариям. В этом варианте кодированный поток битов данных содержит, в качестве идентификационной информации, слово синхронизации, расположенное непосредственно перед информацией о расположении громкоговорителей и контрольным кодом CRC, который определен содержанием сохраняемой информации, такой как информация о расположении громкоговорителей.
Когда в кодированный поток битов данных вставлены два сегмента идентификационной информации, можно надежно определить, является ли информация, входящая в кодированный поток битов данных, информацией о расположении громкоговорителей. В результате, с использованием полученной информации о расположении громкоговорителей можно получить высококачественное реалистичное звучание.
Кроме того, в кодированном потоке битов данных в состав элемента DSE входит параметр "pseudo_surround_enable" в качестве информации о понижающем микшировании аудиоданных с уменьшением числа каналов. Эта информация делает возможным назначить какой-либо из множества способов в качестве способа понижающего микширования от стандарта 5.1 каналов к стандарту 2 каналов. Это позволяет повысить степень гибкости обработки аудиоданных на декодирующей стороне.
В частности, в рассматриваемом варианте в качестве способа понижающего микширования от стандарта 5.1 каналов к стандарту 2 каналов применяется способ с использованием Выражения (1) и способ с использованием Выражения (2). Например, аудиоданные в стандарте 2 каналов, полученные в результате понижающего микширования, передают устройству воспроизведения на декодирующей стороне, а это устройство воспроизведения преобразует аудиоданные стандарта 2 каналов в аудиоданные стандарта 5.1 каналов и воспроизводит преобразованные аудиоданные.
В этом случае, как согласно способу, использующему Выражение (1), так и согласно способу, использующему Выражение (2), скорее всего, не удастся получить должный акустический эффект, который предполагается заранее при воспроизведении конечных аудиоданных в стандарте 5.1 каналов.
Однако в кодированном потоке битов данных, получаемом кодирующим устройством 91, способ понижающего микширования, способный реализовать предполагаемый акустический эффект на декодирующей стороне, может быть обозначен параметром "pseudo_surround_enable". Таким образом, на декодирующей стороне может быть получено высококачественное реалистичное звучание.
Кроме того, в кодированном потоке битов данных информацию (флаг), указывающую, включена ли расширенная информация, сохраняют в параметре "ancillary_data_extension_status". Таким образом, можно задать, входит ли расширенная информация в состав параметра "MPEG4_ext_ancillary_data()M, представляющего собой расширенную область элемента, со ссылками на эту информацию.
Например, в рассматриваемом случае в качестве расширенной информации сохраняют в расширенной области, при необходимости, параметры "ext_ancillary_data_status()", "ext_dowivmixing_levels()", "ext_downmixing_global_gains" и Mext_downmixing_lfe_level()".
Когда может быть получена расширенная информация, становится возможным повысить степень гибкости при понижающем микшировании аудиоданных и получать на декодирующей стороне аудиоданные разного рода. В результате, можно получить высококачественное реалистичное звучание.
Пример структуры декодирующего устройства
Далее будет подробно описана структура декодирующего устройства.
Фиг.28 представляет схему, показывающую пример подробной структуры декодирующего устройства. На фиг.28 компонентам, соответствующим компонентам, показанным на фиг.24, присвоены одинаковые цифровые позиционные обозначения, а описание этих компонентов повторно приведено не будет.
Декодирующее устройство 141 содержит разделительный модуль 61, модуль 62 декодирования, переключающий модуль 151, устройство 152 понижающего микширования и модуль 63 вывода.
Разделительный модуль 61 принимает кодированный поток битов данных, передаваемый кодирующим устройством 91, осуществляет распаковку битов из состава кодированного потока битов данных и передает распакованный кодированный поток битов данных модулю 62 декодирования. Кроме того, разделительный модуль 61 принимает формальный параметр понижающего микширования и имя файла аудиоданных.
Этот формальный параметр понижающего микширования представляет собой информацию, указывающую форму понижающего микширования применительно к аудиоданным, входящим в состав кодированного потока битов данных, в декодирующем устройстве 141. Например, в качестве формального параметра понижающего микширования может быть приведена информация, указывающая понижающее микширование для преобразования сигналов от стандарта 7.1 каналов или 6.1 каналов к стандарту 5.1 каналов, информация, указывающая понижающее микширование для преобразования сигналов от стандарта 7.1 каналов или 6.1 каналов к стандарту 2 каналов, информация, указывающая понижающее микширование для преобразования сигналов от стандарта 5.1 каналов к стандарту 2 каналов, или информация, указывающая, что понижающее микширование с уменьшением числа каналов не производится.
Указанный формальный параметр понижающего микширования с уменьшением числа каналов, полученный разделительным модулем 61, передают переключающему модулю 151 и устройству 152 понижающего микширования. Кроме того в декодирующем устройстве 141 должным образом используется имя файла, полученное разделительным модулем 61.
Модуль 62 декодирования осуществляет декодирование кодированного потока битов данных, поступающего от разделительного модуля 61. Модуль 62 декодирования содержит модуль 161 декодирования элемента РСЕ, модуль 162 декодирования элемента DSE и модуль 163 декодирования аудиоэлементов.
Модуль 161 декодирования элемента РСЕ осуществляет декодирования элемента РСЕ из состава кодированного потока битов данных и передает информацию, полученную в результате декодирования, устройству 152 понижающего микширования и модулю 63 вывода. Этот модуль 161 кодирования элемента РСЕ содержит модуль 171 обнаружения слова синхронизации и модуль 172 вычисления идентификационной информации.
Модуль 171 обнаружения слова синхронизации обнаруживает слово синхронизации в расширенной области в составе области комментариев элемента РСЕ и считывает это слово синхронизации. Модуль 172 вычисления идентификационной информации осуществляет вычисление идентификационной информации на основе информации, считываемой в расширенной области в составе области комментариев элемента РСЕ.
Модуль 162 декодирования элемента DSE осуществляет декодирование элемента РСЕ из состава кодированного потока битов данных и передает информацию, полученную в результате декодирования, устройству 152 понижающего микширования с уменьшением числа каналов. Этот модуль 162 кодирования элемента DSE содержит модуль 173 обнаружения расширения и модуль 174 декодирования информации о понижающем микшировании.
Модуль 173 обнаружения расширения определяет, входит ли расширенная информация в параметре "MPEG4_ext_ancillary_data()" в составе элемента DSE. Модуль 174 декодирования информации о понижающем микшировании осуществляет декодирование информации о понижающем микшировании аудиоданных с уменьшением числа каналов, входящей в состав элемента DSE.
Модуль 163 декодирования аудиоэлементов осуществляет декодирование аудиоданных из состава кодированного потока битов данных и передает аудиоданные переключающему модулю 151.
Переключающий модуль 151 изменяет пункт назначения аудиоданных, поступающих от модуля 62 декодирования, и направляет эти данные либо устройству 152 понижающего микширования, либо модулю 63 вывода на основе формального параметра понижающего микширования, поступившего от разделительного модуля 61.
Устройство 152 понижающего микширования осуществляет такое понижающее микширование для уменьшения числа каналов аудиоданных, поступивших от переключающего модуля 151, на основе формального параметра понижающего микширования с уменьшением числа каналов, полученного от разделительного модуля 61, и информации от модуля 62 декодирования и передает аудиоданные после понижающего микширования модулю 63 вывода.
Модуль 63 вывода передает на выход аудиоданные, полученные от переключающего модуля 151 или от устройства 152 понижающего микширования, на основе информации, поступившей от модуля 62 декодирования. Модуль 63 вывода содержит модуль 181 реорганизации данных. Этот модуль 181 реорганизации данных осуществляет реорганизацию аудиоданных, поступающих от переключающего модуля 151, на основе информации, полученной от модуля 161 декодирования элемента РСЕ, и передает эти аудиоданные на выход.
Пример структуры устройства понижающего микширования
На фиг.29 представлена подробная структура устройства 152 понижающего микширования, показанного на фиг.28. Таким образом, устройство 152 понижающего микширования содержит переключающий модуль 211, переключающий модуль 212, модули с 213-1 по 213-4 понижающего микширования, переключающий модуль 214, модуль 215 регулировки усиления, модуль 217-1 понижающего микширования с уменьшением числа каналов, модуль 217-2 понижающего микширования с уменьшением числа каналов и модуль 218 регулировки усиления.
Переключающий модуль 211 передает аудиоданные, поступившие от переключающего модуля 151, переключающему модулю 212 или переключающему модулю 216. Например, пунктом назначения аудиоданных является переключающий модуль 212, если это аудиоданные стандарта 7.1 каналов или стандарта 6.1 каналов, и переключающий модуль 216, если это аудиоданные стандарта 5.1 каналов.
Переключающий модуль 212 передает аудиоданные, поступившие от переключающего модуля 211, какому-либо из модулей с 213-1 по 213-4 понижающего микширования. Например, переключающий модуль 212 передает аудиоданные модулю 213-1 понижающего микширования, если это аудиоданные стандарта 6.1 каналов.
Если аудиоданные представляют собой данные каналов L, Lc, С, Rc, R, Ls, Rs и LFE, переключающий модуль 212 передает эти аудиоданные от переключающего модуля 211 модулю 213-2 понижающего микширования. Если аудиоданные представляют собой данные каналов L, R, С, Ls, Rs, Lrs, Rrs и LFE, переключающий модуль 212 передает эти аудиоданные от переключающего модуля 211 модулю 213-3 понижающего микширования.
Если аудиоданные представляют собой данные каналов L, R, С, Ls, Rs, Lvh, Rvh и LFE, переключающий модуль 212 передает эти аудиоданные от переключающего модуля 211 модулю 213-4 понижающего микширования.
Модули с 213-1 по 213-4 понижающего микширования осуществляют понижающее микширование аудиоданных, поступивших от переключающего модуля 212, для преобразования к стандарту 5.1 каналов и передают аудиоданные переключающему модулю 214. В дальнейшем, если не будет необходимости отличать один от другого модули с 213-1 по 213-4 понижающего микширования с уменьшением числа каналов, они будут именоваться просто модулями 213 понижающего микширования.
Переключающий модуль 214 передает аудиоданные, поступившие от модуля 213 понижающего микширования, модулю 215 регулировки усиления или переключающему модулю 216. Например, если аудиоданные в составе кодированного потока битов данных микшируют с понижением для преобразования в аудиоданные в стандарте 5.1 каналов, переключающий модуль 214 передает эти аудиоданные модулю 215 регулировки усиления. С другой стороны, если аудиоданные в составе кодированного потока битов данных микшируют с понижением для преобразования в аудиоданные в стандарте 2 каналов, переключающий модуль 214 передает эти аудиоданные переключающему модулю 216.
Модуль 215 регулировки усиления осуществляет регулировку коэффициента усиления аудиоданных, поступивших от переключающего модуля 214, и передает аудиоданные модулю 63 вывода.
Переключающий модуль 216 передает аудиоданные, поступившие от переключающего модуля 211 или переключающего модуля 214, модулю 217-1 понижающего микширования или модулю 217-2 понижающего микширования. Например, переключающий модуль 216 изменяет пункт назначения аудиоданных в зависимости от величины параметра "pseudo_surround_enable", входящего в элемент DSE в составе кодированного потока битов данных.
Модули 217-1 и 217-2 понижающего микширования осуществляют понижающее микширование аудиоданных, поступивших от переключающего модуля 216, для преобразования к стандарту 2 каналов и передают аудиоданные модулю 218 регулировки усиления. В дальнейшем, если не будет необходимости отличать модули 217-1 и 217-2 понижающего микширования один от другого, они будут именоваться просто модулями 217 понижающего микширования.
Модуль 218 регулировки усиления осуществляет регулировку коэффициента усиления аудиоданных, поступивших от переключающего модуля 217, и передает аудиоданные модулю 63 вывода.
Пример структуры модуля понижающего микширования
Далее будет рассмотрен пример подробной структуры модуля 213 понижающего микширования с уменьшением числа каналов и модуля 217 понижающего микширования, показанных на фиг.29.
Фиг.30 представляет схему, показывающую пример структуры модуля 213-1 понижающего микширования, изображенного на фиг.29.
Модуль 213-1 понижающего микширования с уменьшением числа каналов содержит входы с 241-1 по 241-7, умножительные модули с 242 по 244, модуль 245 суммирования, модуль 246 суммирования и выходы с 247-1 по 247-6.
Аудиоданные каналов L, R, С, Ls, Rs, Cs и LFE передают от переключающего модуля 212 на входы с 241-1 по 241-7.
От входов с 241-1 по 241-3 аудиоданные, поступившие от переключающего модуля 212, передают переключающему модулю 214 через выходы с 247-1 по 247-3 без каких-либо изменений этих аудиоданных. Иными словами, аудиоданные совокупности каналов L, R и С, поступившие в модуль 213-1 понижающего микширования, подвергают понижающему микшированию и передают в качестве аудиоданных каналов L, R и С после понижающего микширования на следующую ступень.
От входов с 241-4 по 241-6 аудиоданные, поступившие от переключающего модуля 212, передают умножительным модулям с 242 по 244. Умножительный модуль 242 осуществляет умножение аудиоданных, поступивших от входа 241-4, на коэффициент понижающего микширования и передает эти аудиоданные модулю 245 суммирования.
Умножительный модуль 243 осуществляет умножение аудиоданных, поступивших от входа 241-5, на коэффициент понижающего микширования и передает эти аудиоданные модулю 246 суммирования. Умножительный модуль 244 осуществляет умножение аудиоданных, поступивших от входа 241-6, на коэффициент понижающего микширования и передает эти аудиоданные модулю 245 суммирования и модулю 246 суммирования.
Модуль 245 суммирования осуществляет суммирование аудиоданных, полученных им от умножительного модуля 242, и аудиоданных, полученных от умножительного модуля 244, и передает суммарные аудиоданные на выход 247-4. От выхода 247-4 аудиоданные, поступившие от модуля 245 суммирования, передают в качестве аудиоданных канала Ls после понижающего микширования с уменьшением числа каналов переключающему модулю 214.
Модуль 246 суммирования осуществляет суммирование аудиоданных, полученных им от умножительного модуля 243, и аудиоданных, полученных от умножительного модуля 244, и передает суммарные аудиоданные на выход 247-5. От выхода 247-5 аудиоданные, поступившие от модуля 246 суммирования, передают в качестве аудиоданных канала Rs после понижающего микширования переключающему модулю 214.
От входа 241-7 аудиоданные, поступившие от переключающего модуля 212, передают переключающему модулю 214 через выход 247-6 без каких-либо изменений этих аудиоданных. Иными словами, аудиоданные канала LFE, поступившие в модуль 213-1 понижающего микширования, передают в качестве аудиоданных канала LFE после понижающего микширования на следующую ступень без каких-либо изменений.
В дальнейшем, если не будет необходимости специально отличать один от другого входы с 241-1 по 241-7, они будут именоваться просто входами 241. Если не будет необходимости специально отличать один от другого выходы с 247-1 по 247-6, они будут именоваться просто выходами 247.
В таком случае в модуле 213-1 понижающего микширования осуществляется процедура, соответствующая вычислениям с использованием указанного выше Выражения (6).
Фиг.31 представляет схему, показывающую пример структуры модуля 213-2 понижающего микширования, изображенного на фиг.29.
Модуль 213-2 понижающего микширования содержит входы с 271-1 по 271-8, умножительные модули с 272 по 275, модуль 276 суммирования, модуль 277 суммирования, модуль 278 суммирования и выходы с 279-1 по 279-6.
Аудиоданные каналов L, Lc, С, Re, R, Ls, Rs и LFE передают от переключающего модуля 212 на входы с 271-1 по 271-8, соответственно.
От входов с 271-1 по 271-5 аудиоданные, поступившие от переключающего модуля 212, передают модулю 276 суммирования, умножительным модулям 272 и 273, модулю суммирования 277, умножительным модулям 274 и 275 и модулю 278 суммирования, соответственно.
Умножительный модуль 272 и умножительный модуль 273 осуществляют умножение аудиоданных, поступивших от входа 271-2, на коэффициент понижающего микширования и передают эти аудиоданные модулю 276 суммирования и модулю 277 суммирования, соответственно. Умножительный модуль 274 и умножительный модуль 275 осуществляют умножение аудиоданных, поступивших от входа 271-4, на коэффициент понижающего микширования и передают эти аудиоданные модулю 277 суммирования и модулю 278 суммирования, соответственно.
Модуль 276 суммирования осуществляет суммирование аудиоданных, полученных им от умножительного модуля 271-1, и аудиоданных, полученных от умножительного модуля 272, и передает суммарные аудиоданные на выход 279-1. От выхода 279-1 аудиоданные, поступившие от модуля 276 суммирования, передают в качестве аудиоданных канала L после понижающего микширования с уменьшением числа каналов переключающему модулю 214.
Модуль 277 суммирования осуществляет суммирование аудиоданных, полученных им от входа 271-3, аудиоданных, полученных им от умножительного модуля 273, и аудиоданных, полученных от умножительного модуля 274, и передает суммарные аудиоданные на выход 279-2. От выхода 279-2 аудиоданные, поступившие от модуля 277 суммирования, передают в качестве аудиоданных канала С после понижающего микширования с уменьшением числа каналов переключающему модулю 214.
Модуль 278 суммирования осуществляет суммирование аудиоданных, полученных им от входа 271-5, и аудиоданных, полученных от умножительного модуля 275, и передает суммарные аудиоданные на выход 279-3. От выхода 279-3 аудиоданные, поступившие от модуля 278 суммирования, передают в качестве аудиоданных канала R после понижающего микширования с уменьшением числа каналов переключающему модулю 214.
От входов с 271-6 по 271-8 аудиоданные, поступившие от переключающего модуля 212, передают переключающему модулю 214 через выходы с 279-4 по 279-6 без каких-либо изменений этих аудиоданных. Иными словами, аудиоданные каналов Ls, Rs и LFE, поступившие от модуля 213-2 понижающего микширования, передают в качестве аудиоданных каналов Ls, Rs и LFE после понижающего микширования на следующую ступень без каких-либо изменений.
В дальнейшем, если не будет необходимости специально отличать один от другого входы с 271-1 по 271-8, они будут именоваться просто входами 271. Если не будет необходимости специально отличать один от другого выходы с 279-1 по 279-6, они будут именоваться просто выходами 279.
В таком случае в модуле 213-2 понижающего микширования осуществляется процедура, соответствующая вычислениям с использованием указанного выше Выражения (4).
Фиг.32 представляет схему, показывающую пример структуры модуля 213-3 понижающего микширования, изображенного на фиг.29.
Модуль 213-3 понижающего микширования содержит входы с 301-1 по 301-8, умножительные модули с 302 по 305, модуль 306 суммирования, модуль 307 суммирования и выходы с 308-1 по 308-6.
Аудиоданные каналов L, R, С, Ls, Rs, Lrs, Rrs и LFE передают от переключающего модуля 212 на входы с 301-1 по 301-8, соответственно.
От входов с 301-1 по 301-3 аудиоданные, поступившие от переключающего модуля 212, передают переключающему модулю 214 через выходы с 308-1 по 308-3, соответственно, без каких-либо изменений этих аудиоданных. Иными словами, аудиоданные совокупности каналов L, R и С, поступившие на модуль 213-3 понижающего микширования, подвергают понижающему микшированию и передают в качестве аудиоданных каналов L, R и С после понижающего микширования на следующую ступень.
От входов с 301-4 по 301-7 аудиоданные, поступившие от переключающего модуля 212, передают умножительным модулям с 302 по 305, соответственно. Умножительные модули с 302 по 305 осуществляют умножение аудиоданных, поступивших от входов клемм с 301-4 по 301-7, на коэффициент понижающего микширования и передают эти аудиоданные модулю 306 суммирования, модулю 307 суммирования, модулю 306 суммирования и модулю 307 суммирования, соответственно.
Модуль 306 суммирования осуществляет суммирование аудиоданных, полученных им от умножительного модуля 302, и аудиоданных, полученных от умножительного модуля 304, и передает суммарные аудиоданные на выход 308-4. От выхода 308-4 аудиоданные, поступившие от модуля 306 суммирования, передают в качестве аудиоданных канала Ls после понижающего микширования с уменьшением числа каналов переключающему модулю 214.
Модуль 307 суммирования осуществляет суммирование аудиоданных, полученных им от умножительного модуля 303, и аудиоданных, полученных от умножительного модуля 305, и передает суммарные аудиоданные на выход 308-5. От выхода 308-5 аудиоданные, поступившие от модуля 307 суммирования, передают в качестве аудиоданных канала Rs после понижающего микширования с уменьшением числа каналов переключающему модулю 214.
От входа 301-8 аудиоданные, поступившие от переключающего модуля 212, передают переключающему модулю 214 через выход 308-6 без каких-либо изменений этих аудиоданных. Иными словами, аудиоданные канала LFE, поступившие в модуль 213-3 понижающего микширования, передают в качестве аудиоданных канала LFE после понижающего микширования на следующую ступень без каких-либо изменений.
В дальнейшем, если не будет необходимости специально отличать один от другого входы с 301-1 по 301-8, они будут именоваться просто входами 301. Если не будет необходимости специально отличать один от другого выходы с 308-1 по 308-6, они будут именоваться просто выходами 308.
В таком случае в модуле 213-3 понижающего микширования осуществляется процедура, соответствующая вычислениям с использованием указанного выше Выражения (3).
Фиг.33 представляет схему, показывающую пример структуры модуля 213-4 понижающего микширования, изображенного на фиг.29.
Модуль 213-4 понижающего микширования содержит входы с 331-1 по 331-8, умножительные модули с 332 по 335, модуль 336 суммирования, модуль 337 суммирования и выходы с 338-1 по 338-6.
Аудиоданные каналов L, R, С, Ls, Rs, Lvh, Rvh и LFE передают от переключающего модуля 212 на входы с 331-1 по 331-8, соответственно.
От входов 331-1 и 331-2 аудиоданные, поступившие от переключающего модуля 212, передают умножительным модулям 332 и 333, соответственно. От входов 331-6 и 331-7 аудиоданные, поступившие от переключающего модуля 212, передают умножительным модулям 334 и 335, соответственно.
Умножительные модули с 332 по 335 осуществляют умножение аудиоданных, поступивших от входа 331-1, входа 331-2, входа 331-6 и входа 331-7, на коэффициент понижающего микширования и передают эти аудиоданные модулю 336 суммирования, модулю 337 суммирования, модулю 336 суммирования и модулю 337 суммирования, соответственно.
Модуль 336 суммирования осуществляет суммирование аудиоданных, полученных им от умножительного модуля 332, и аудиоданных, полученных от умножительного модуля 334, и передает суммарные аудиоданные на выход 338-1. От выхода 338-1 аудиоданные, поступившие от модуля 336 суммирования, передают в качестве аудиоданных канала L после понижающего микширования переключающему модулю 214.
Модуль 337 суммирования осуществляет суммирование аудиоданных, полученных им от умножительного модуля 333, и аудиоданных, полученных от умножительного модуля 335, и передает суммарные аудиоданные на выход 338-2. От выхода 338-2 аудиоданные, поступившие от модуля 337 суммирования, передают в качестве аудиоданных канала R после понижающего микширования переключающему модулю 214.
От входов с 331-3 по 331-5 и входа 331-8 аудиоданные, поступившие от переключающего модуля 212, передают переключающему модулю 214 через выходы с 338-3 по 338-5 и выход 338-6, соответственно, без каких-либо изменений этих аудиоданных. Иными словами, аудиоданные каналов С, Ls, Rs и LFE, поступившие от модуля 213-4 понижающего микширования с уменьшением числа каналов, передают в качестве аудиоданных каналов С, Ls, Rs и LFE после понижающего микширования на следующую ступень без каких-либо изменений.
В дальнейшем, если не будет необходимости специально отличать один от другого входы с 331-1 по 331-8, они будут именоваться просто входами 331. Если не будет необходимости специально отличать один от другого выходы с 338-1 по 338-6, они будут именоваться просто выходами 338.
В таком случае в модуле 213-4 понижающего микширования с уменьшением числа каналов осуществляется процедура, соответствующая вычислениям с использованием указанного выше Выражения (5).
Далее будет рассмотрен пример подробной структуры модуля 217 понижающего микширования, показанного на фиг.29.
Фиг.34 представляет схему, показывающую пример структуры модуля 217-1 понижающего микширования, изображенного на фиг.29.
Модуль 217-1 понижающего микширования с уменьшением числа каналов содержит входы с 361-1 по 361-6, умножительные модули с 362 по 365, модули с 366 по 371 суммирования, выход 372-1 и выход 372-2.
Аудиоданные каналов L, R, С, Ls, Rs и LFE передают от переключающего модуля 216 на входы с 361-1 по 361-6, соответственно.
От входов с 361-1 по 361-6 аудиоданные, поступившие от переключающего модуля 216, передают модулю суммирования 366, модулю суммирования 369 и умножительным модулям с 362 по 365, соответственно.
Умножительные модули с 362 по 365 осуществляют умножение аудиоданных, поступивших от входов с 361-3 по 361-6, на коэффициент понижающего микширования и передают эти аудиоданные модулям 366 и 369 суммирования, модулю суммирования 367, модулю суммирования 370 и модулям 368 и 371 суммирования, соответственно.
Модуль 366 суммирования осуществляет суммирование аудиоданных, полученных им от входа 361-1, и аудиоданных, полученных от умножительного модуля 362, и передает суммарные аудиоданные модулю 367 суммирования. Модуль 367 суммирования осуществляет суммирование аудиоданных, полученных им от модуля 366 суммирования, и аудиоданных, полученных от умножительного модуля 363, и передает суммарные аудиоданные модулю 368 суммирования.
Модуль 368 суммирования осуществляет суммирование аудиоданных, полученных им от модуля 367 суммирования, и аудиоданных, полученных от умножительного модуля 365, и передает суммарные аудиоданные на выход 372-1. От выхода 372-1 аудиоданные, поступившие от модуля 368 суммирования, передают в качестве аудиоданных канала L после понижающего микширования с уменьшением числа каналов модулю 218 регулировки усиления.
Модуль 369 суммирования осуществляет суммирование аудиоданных, полученных им от входа 361-2, и аудиоданных, полученных от умножительного модуля 362, и передает суммарные аудиоданные модулю 370 суммирования. Модуль 370 суммирования осуществляет суммирование аудиоданных, полученных им от модуля 369 суммирования, и аудиоданных, полученных от умножительного модуля 364, и передает суммарные аудиоданные модулю 371 суммирования.
Модуль 371 суммирования осуществляет суммирование аудиоданных, полученных им от модуля 370 суммирования, и аудиоданных, полученных от умножительного модуля 365, и передает суммарные аудиоданные на выход 372-2. От выхода 372-2 аудиоданные, поступившие от модуля 371 суммирования, передают в качестве аудиоданных канала R после понижающего микширования модулю 218 регулировки усиления.
В дальнейшем, если не будет необходимости специально отличать один от другого входы с 361-1 по 361-6, они будут именоваться просто входами 361. Если не будет необходимости специально отличать один от другого выходы 372-1 и 372-2, они будут именоваться просто выходами 372.
В таком случае в модуле 217-1 понижающего микширования осуществляется процедура, соответствующая вычислениям с использованием указанного выше Выражения (1).
Фиг.35 представляет схему, показывающую пример структуры модуля 217-2 понижающего микширования, изображенного на фиг.29.
Модуль 217-2 понижающего микширования содержит входы с 401-1 по 401-6, умножительные модули с 402 по 405, модуль 406 суммирования, модуль 407 вычитания, модуль 408 вычитания, модули с 409 по 413 суммирования, выход 414-1 и выход 414-2.
Аудиоданные каналов L, R, С, Ls, Rs и LFE передают от переключающего модуля 216 на входы с 401-1 по 401-6, соответственно.
От входов с 401-1 по 401-6 аудиоданные, поступившие от переключающего модуля 216, передают модулю суммирования 406, модулю суммирования 410 и умножительным модулям с 402 по 405, соответственно.
Умножительные модули с 402 по 405 осуществляют умножение аудиоданных, поступивших от входов с 401-3 по 401-6, на коэффициент понижающего микширования и передают эти аудиоданные модулям 406 и 410 суммирования, модулю 407 вычитания и модулю 411 суммирования, модулю 408 вычитания и модулю 412 суммирования, и модулям 409 и 413 суммирования, соответственно.
Модуль 406 суммирования осуществляет суммирование аудиоданных, полученных им от входов 401-1, и аудиоданных, полученных от умножительного модуля 402, и передает суммарные аудиоданные модулю 407 вычитания. Модуль 407 вычитания осуществляет вычитание аудиоданных, полученных им от умножительного модуля 403, из аудиоданных, полученных от модуля 406 суммирования, и передает разностные аудиоданные модулю 408 вычитания.
Модуль 408 вычитания осуществляет вычитание аудиоданных, полученных им от умножительного модуля 404, из аудиоданных, полученных от модуля 407 вычитания, и передает разностные аудиоданные модулю 409 суммирования. Модуль 409 суммирования осуществляет суммирование аудиоданных, полученных им от модуля 408 вычитания, и аудиоданных, полученных от умножительного модуля 405, и передает суммарные аудиоданные на выход 414-1. От выхода 414-1 аудиоданные, поступившие от модуля 409 суммирования, передают в качестве аудиоданных канала L после понижающего микширования с уменьшением числа каналов модулю 218 регулировки усиления.
Модуль 410 суммирования осуществляет суммирование аудиоданных, полученных им от входа 401-2, и аудиоданных, полученных от умножительного модуля 402, и передает суммарные аудиоданные модулю 411 суммирования. Модуль 411 суммирования осуществляет суммирование аудиоданных, полученных им от модуля 410 суммирования, и аудиоданных, полученных от умножительного модуля 403, и передает суммарные аудиоданные модулю 412 суммирования.
Модуль 412 суммирования осуществляет суммирование аудиоданных, полученных им от модуля 411 суммирования, и аудиоданных, полученных от умножительного модуля 404, и передает суммарные аудиоданные модулю 413 суммирования. Модуль 413 суммирования осуществляет суммирование аудиоданных, полученных им от модуля 412 суммирования, и аудиоданных, полученных от умножительного модуля 405, и передает суммарные аудиоданные на выход 414-2. От выхода 414-2 аудиоданные, поступившие от модуля 413 суммирования, передают в качестве аудиоданных канала R после понижающего микширования с уменьшением числа каналов модулю 218 регулировки усиления.
В дальнейшем, если не будет необходимости специально отличать один от другого входы с 401-1 по 401-6, они будут именоваться просто входами 401. Если не будет необходимости специально отличать один от другого выходы 414-1 и 414-2, они будут именоваться просто выходами 414.
В таком случае в модуле 217-2 понижающего микширования осуществляется процедура, соответствующая вычислениям с использованием указанного выше Выражения (2).
Описание процесса декодирования
Далее, процесс декодирования, осуществляемый в декодирующем устройстве 141, будет описан со ссылками на логическую схему, изображенную на фиг.36.
На этапе S111 разделительный модуль 61 принимает формальный параметр понижающего микширования с уменьшением числа каналов и кодированный поток битов данных с выхода кодирующего устройства 91. Например, формальный параметр понижающего микширования поступает от устройства для обработки информации, содержащего декодирующее устройство.
Разделительный модуль 61 передает полученный им формальный параметр понижающего микширования переключающему модулю 151 и устройству 152 понижающего микширования. Кроме того, разделительный модуль 61 получает имя выходного файла аудиоданных и использует это имя выходного файла должным образом, при необходимости.
На этапе S112 разделительный модуль 61 распаковывает кодированный поток битов данных и передает каждый элемент, полученный в результате распаковывания, модулю 62 декодирования.
На этапе S113 модуль 161 декодирования элемента РСЕ осуществляет декодирование элемента РСЕ, поступившего от разделительного модуля 61. Например, этот модуль 161 декодирования элемента РСЕ считывает элемент "height_extension_element", представляющий собой расширенную область, из области комментариев элемента РСЕ или считывает информацию о расположении громкоговорителей из состава элементов РСЕ. Здесь в качестве информации о расположении громкоговорителей могут быть использованы, например, число каналов, воспроизводимых громкоговорителями, находящимися спереди, сбоку и сзади от пользователя, или информацию, указывающую, к какому из каналов С, L и R принадлежит каждый конкретный сегмент аудиоданных.
На этапе S114 модуль 162 декодирования элемента DSE осуществляет декодирование элемента DSE, поступившего от разделительного модуля 61. Например, этот модуль 162 декодирования элемента DSE считывает параметр "MPEG4 ancillary data" из элемента DSE или считывает необходимую информацию из состава этого параметра "MPEG4 ancillary data".
В частности, например, модуль 174 декодирования информации о понижающем микшировании из состава модуля 162 декодирования элемента DSE считывает параметр "center_mix_level_value" или параметр "surround_mix_level_value" в качестве информации, задающей коэффициент, используемый при понижающем микшировании, из состава параметра "dovvnmixing_levels_MPEG4()", показанного на фиг.9, и передает прочитанную информацию устройству 152 понижающего микширования.
На этапе S115 модуль 163 декодирования аудиоэлементов осуществляет декодирование аудиоданных, сохраненных в каждом из элементов SCE, СРЕ и LFE, поступающих от разделительного модуля 61. В результате получают РСМ-данные в качестве аудиоданных.
Например, канал декодированных данных, т.е. позиция расположения соответствующего громкоговорителя в горизонтальной плоскости, может быть задан элементом, таким как элемент SCE, сохраняющим аудиоданные, либо информацией о расположении громкоговорителей, получаемой путем декодирования элемента DSE. Однако в этот момент, поскольку информация о расположении громкоговорителей, представляющая собой информацию о высотах расположения громкоговорителей, еще не прочитана, высота (уровень) каждого канала не задана.
Модуль 163 декодирования аудиоэлемента передает аудиоданные, полученные в результате декодирования, переключающему модулю 151.
На этапе S116 переключающий модуль 151 определяет, производить ли понижающее микширование аудиоданных, на основе формального параметра понижающего микширования, поступившего от разделительного модуля 61. Например, когда формальный параметр понижающего микширования указывает, что такое понижающее микширование не производится, переключающий модуль 151 определяет, что понижающее микширование производить не следует.
На этапе S116, когда определено, что понижающее микширование с уменьшением числа каналов не производится, переключающий модуль 151 передает аудиоданные, поступившие от модуля 62 декодирования, модулю 181 реорганизации данных, после чего процесс переходит к этапу S117.
На этапе S117 декодирующее устройство 141 выполняет процедуру реорганизации данных с целью изменить расположение (реорганизовать) каждого сегмента аудиоданных на основе расположения громкоговорителей и передает аудиоданные на выход. Когда аудиоданные переданы на выход, процесс декодирования завершается. В дополнение к этому, процесс реорганизации данных будет подробно описан ниже.
С другой стороны, если на этапе S116 определено, что понижающее микширование с уменьшением числа каналов производится, переключающий модуль 151 передает аудиоданные, поступившие от модуля 62 декодирования, переключающему модулю 211 из состава устройства 152 понижающего микширования с уменьшением числа каналов, после чего процесс переходит к этапу S118.
На этапе S118 декодирующее устройство 141 осуществляет понижающее микширование, чтобы выполнить такое понижающее микширование применительно к каждому сегменту аудиоданных и преобразовать их в аудиоданные в соответствии с числом каналов, обозначенным формальным параметром понижающего микширования, и передает аудиоданные на выход. Когда аудиоданные переданы на выход, процесс декодирования завершается. В дополнение к этому, ниже будет подробно описана процедура понижающего микширования.
Таким способом декодирующее устройство 141 осуществляет декодирование кодированного потока битов данных и передает аудиоданные на выход.
Описание процесса реорганизации данных
Далее, процесс реорганизации данных, соответствующий процессу, выполняемому на этапе S117, показанном на фиг.36, будет описан со ссылками на логические схемы, изображенные на фиг.37 и 38.
На этапе S141 модуль 171 обнаружения слова синхронизации задает параметр cmt_byte для считывания слова синхронизации из области комментариев (расширенной области) в составе элемента РСЕ, так что этот параметр cmt_byte равен числу байтов в области комментариев элемента РСЕ. Иными словами, в качестве величины параметра cmt_byte задают число байтов в области комментариев.
На этапе S142 модуль 171 обнаружения слова синхронизации считывает данные, соответствующие объему данных в заданном слове синхронизации, из области комментариев элемента РСЕ. В частности, в примере, изображенном на фиг.4, поскольку длина параметра "PCE_HEIGHT_EXTENSION_SYNC", представляющего собой слово синхронизации, равна 8 бит, т.е. 1 байт, считывают 1 байт данных из заголовка области комментариев элемента РСЕ.
На этапе S143 модуль 161 декодирования элемента РСЕ определяет, идентичны ли данные, прочитанные на этапе S142, слову синхронизации. Иными словами, модуль определяет, являются ли прочитанные данные словом синхронизации.
Если на этапе S143 определено, что прочитанные данные не идентичны слову синхронизации, модуль 171 обнаружения слова синхронизации уменьшает значение параметра cmt_byte на величину, соответствующую объему прочитанных данных, на этапе S144. В рассматриваемом случае значение параметра cmt_byte уменьшается на 1 байт.
На этапе S145 модуль 171 обнаружения слова синхронизации определяет, является ли величина параметра cmt_byte больше 0. Иными словами, такое определение, является ли величина параметра cmt_byte больше 0, соответствует определению, все ли данные в области комментариев прочитаны.
Если на этапе S145 определено, что величина параметра cmt_byte больше 0, значит, не все данные в области комментариев прочитаны, так что процесс возвращается к этапу S142. Затем описанный выше процесс повторяется. Иными словами, после данных, прочитанных из области комментариев, считывают данные, соответствующие объему данных слова синхронизации, и сравнивают эти данные со словом синхронизации.
С другой стороны, если на этапе S145 определено, что величина параметра cmt_byte не больше 0, процесс переходит к этапу S146. Таким образом, процесс переходит к этапу S146, когда все данные в области комментариев прочитаны, но слово синхронизации в этой области комментариев не обнаружено.
На этапе S146 модуль 161 декодирования элемента РСЕ определяет, что отсутствует информация о расположении громкоговорителей, и передает информацию, указывающую на это отсутствие, модулю 181 реорганизации. После этого процесс переходит к этапу S164. В такой ситуации, поскольку слова синхронизации находится непосредственно перед информацией о расположении громкоговорителей в элементе "height_extension_element", можно достаточно просто и надежно задать, является ли информация, входящая в область комментариев, информацией о расположении громкоговорителей.
Если на этапе S143 определено, что данные, прочитанные из области комментариев, идентичны слову синхронизации, слово синхронизации считается обнаруженным. Поэтому процесс переходит к этапу S147, чтобы прочитать информацию о расположении громкоговорителей сразу же после слова синхронизации.
На этапе S147 модуль 161 декодирования элемента РСЕ задает величину параметра num_fr_elem для считывания информации о расположении громкоговорителя применительно к аудиоданным, воспроизводимым громкоговорителем, расположенным спереди от пользователя, в качестве числа элементов, относящихся к данным передних громкоговорителей.
Здесь число элементов, относящихся к данным передних громкоговорителей, представляет собой число сегментов аудиоданных (число каналов), воспроизводимых громкоговорителем, расположенным спереди от пользователя. Это число элементов сохранено в составе элемента РСЕ. Таким образом, величина параметра num_fr_elem представляет число сегментов информации о расположении громкоговорителей для аудиоданных, считываемых из элемента "height_extension_element" и воспроизводимых громкоговорителем, расположенным спереди от пользователя.
На этапе S148 модуль 161 декодирования элемента РСЕ определяет, является ли величина параметра num_fr_elem больше 0.
Если на этапе S148 определено, что величина параметра num_fr_elem больше 0, процесс переходит к этапу S149, поскольку не вся информация о расположении громкоговорителей прочитана.
На этапе S149 модуль 161 декодирования элемента РСЕ считывает информацию о расположении громкоговорителей, соответствующую одному элементу, расположенному после слова синхронизации в области комментариев. В примере, изображенном на фиг.4, поскольку длина одного сегмента информации о расположении громкоговорителей равна 2 бит, 2-битовые данные, находящиеся сразу же после данных, прочитанных из области комментариев, считывают в качестве одного сегмента информации о расположении громкоговорителей.
Можно задать каждый сегмент информации о расположении громкоговорителей применительно к аудиоданным на основе, например, позиции, где находится информация о расположении громкоговорителей в элементе "height_extension_element" или в элементе, сохраняющем аудиоданные, таком, как элемент SCE.
На этапе S150, поскольку прочитан один сегмент информации о расположении громкоговорителей, модуль 161 декодирования элемента РСЕ уменьшает величину параметра num_fr_elem на 1. После обновления величины параметра num_fr_elem процесс возвращается к этапу S148, после чего описанная выше процедура повторяется. Иными словами, считывают следующий фрагмент информации о расположении громкоговорителей.
Если на этапе S148 определено, что величина параметра num_fr_elem не больше О, процесс переходит к этапу S151, поскольку вся информация о расположении громкоговорителей, относящаяся к переднему элементу, прочитана.
На этапе S151 модуль 161 декодирования элемента РСЕ задает величину параметра num_side_elem для считывания информации о расположении громкоговорителя применительно к аудиоданным, воспроизводимым громкоговорителем, расположенным сбоку от пользователя, в качестве числа элементов, относящихся к данным боковых громкоговорителей.
Здесь число элементов, относящихся к данным боковых громкоговорителей, представляет собой число сегментов аудиоданных (число каналов), воспроизводимых громкоговорителем, расположенным сбоку от пользователя. Это число элементов сохранено в составе элемента РСЕ.
На этапе S152 модуль 161 декодирования элемента РСЕ определяет, является ли величина параметра num_side_elem больше 0.
Если на этапе S152 определено, что величина параметра num_side_elem больше 0, модуль 161 декодирования элемента РСЕ считывает на этапе S153 информацию о расположении громкоговорителей, соответствующую одному элементу и находящуюся после данных, прочитанных из области комментариев. Информация о расположении громкоговорителей, прочитанная на этапе S153, представляет собой информацию о расположении громкоговорителей канала, воспроизводимого громкоговорителем, расположенным сбоку от пользователя, иными словами, параметр "side_element_height_info [i]".
На этапе S154 модуль 161 декодирования элемента РСЕ уменьшает величину параметра num_side_elem на 1. После обновления величины параметра num_side_elem процесс возвращается к этапу S152, после чего описанная выше процедура повторяется.
С другой стороны, если на этапе S152 определено, что величина параметра num_fr_elem не больше 0, процесс переходит к этапу S155, поскольку вся информация о расположении громкоговорителей, относящаяся к боковому элементу, прочитана.
На этапе S155 модуль 161 декодирования элемента РСЕ задает величину параметра num_back_elem для считывания информации о расположении громкоговорителей применительно к аудиоданным, воспроизводимым громкоговорителем, расположенным сзади от пользователя, в качестве числа элементов, относящихся к данным задних громкоговорителей.
Здесь число элементов, относящихся к данным задних громкоговорителей, представляет собой число сегментов аудиоданных, воспроизводимых громкоговорителем, расположенным сзади от пользователя. Это число элементов сохранено в составе элемента РСЕ.
На этапе S156 модуль 161 декодирования элемента РСЕ определяет, является ли величина параметра num_back_elem больше 0.
Если на этапе S156 определено, что величина параметра num_back_elem больше 0, модуль 161 декодирования элемента РСЕ считывает на этапе S157 информацию о расположении громкоговорителей, соответствующую одному элементу и находящуюся после данных, прочитанных из области комментариев. Информация о расположении громкоговорителей, прочитанная на этапе S157, представляет собой информацию о расположении громкоговорителей канала, воспроизводимого громкоговорителем, расположенным сзади от пользователя, иными словами, параметр "back_element_height_info [i]".
На этапе S158 модуль 161 декодирования элемента РСЕ уменьшает величину параметра num_back_elem на 1. После обновления величины параметра num_back_elem процесс возвращается к этапу S156, после чего описанная выше процедура повторяется.
Если на этапе S156 определено, что величина параметра num_back_elem не больше 0, процесс переходит к этапу S159, поскольку вся информация о расположении громкоговорителей, относящаяся к заднему элементу, прочитана.
На этапе S159 модуль 172 вычисления идентификационной информации осуществляет выравнивание байтов.
Например, информация параметра "byte_alignment()", содержащая команду выполнить выравнивание байтов, хранится после информации о расположении громкоговорителей в составе элемента "height_extension_element", показанного на фиг.4. Поэтому, когда прочитана эта информация, модуль 172 вычисления идентификационной информации осуществляет выравнивание байтов.
В частности, модуль 172 вычисления идентификационной информации добавляет заданные данные сразу же после информации, считываемой между параметрами "PCE_HEIGHT_EXTENSION_SYNC" и "byte_alignment()" в составе элемента "height_extension_element", так что объем данных прочитанной информации равен целому кратному 8 бит.Иными словами, выравнивание байтов осуществляется таким образом, чтобы общий объем данных прочитанного слова синхронизации, информации о расположении громкоговорителей и добавленной информации был равен целому кратному 8 бит.
В рассматриваемом примере число каналов аудиоданных, иными словами, число сегментов информации о расположении громкоговорителей, вставленных в кодированный поток битов данных, находится в заданном диапазоне. Поэтому данные, полученные в результате выравнивания байтов, иными словами, один сегмент данных (далее именуемый также данными выравнивания), содержащий слово синхронизации, информацию о расположении громкоговорителей и добавленные данные, обязательно содержат заданный объем данных.
Другими словами, объем данных выравнивания обязательно равен заданному объему данных независимо от числа сегментов информации о расположении громкоговорителей, вставленных в элемент "height_extension_element", иными словами, от числа каналов аудиоданных. Поэтому, если объем данных выравнивания не равен заданному объему данных в момент, когда происходит генерация данных выравнивания, модуль 161 декодирования элемента РСЕ определяет, что прочитанная информация о расположении громкоговорителей неверна, иными словами, прочитанная информация о расположении громкоговорителей недействительна.
На этапе S160, модуль 172 вычисления идентификационной информации считывает идентификационную информацию, следующую за параметром "byte_alignment()", прочитанным на этапе S159, иными словами, информацию, сохраненную в параметре "height_info_crc_check" в составе элемента "height_extension_element". Здесь, например, в качестве идентификационной информации считывают контрольный код CRC.
На этапе S161, модуль 172 вычисления идентификационной информации вычисляет идентификационную информацию на основе данных выравнивания, полученных на этапе S159. Например, в качестве идентификационной информации вычисляют контрольный код CRC.
На этапе S162 модуль 161 декодирования элемента РСЕ определяет, идентична ли идентификационная информация, прочитанная на этапе S160, идентификационной информации, вычисленной на этапе S161.
Когда объем данных выравнивания не равен заданному объему данных, модуль 161 декодирования элемента РСЕ не выполняет этап S160 и этап S161 и определяет, что сегменты идентификационной информации не идентичны один другому.
Если на этапе S162 определено, что сегменты идентификационной информации не идентичны один другому, модуль 161 декодирования элемента РСЕ присваивает прочитанной информации о расположении громкоговорителей статус недействительности и передает на этапе S163 информацию, указывающую, что прочитанная информация о расположении громкоговорителей не является действительной, модулю 181 реорганизации данных и устройству 152 понижающего микширования с уменьшением числа каналов. После этого процесс переходит к этапу S164.
При выполнении процесса на этапе S163 или процесса на этапе S146 модуль 181 реорганизации данных передает на этапе S164 аудиоданные, поступившие от переключающего модуля 151, согласно заранее заданному расположению громкоговорителей.
В таком случае, например, модуль 181 реорганизации данных определяет расположение громкоговорителя для каждого сегмента аудиоданных на основе информации о расположении громкоговорителей, считываемой из элемента РСЕ и поступившей от модуля 161 декодирования элемента РСЕ. Опорный пункт назначения, используемый модулем 181 реорганизации данных для определения расположения громкоговорителей, зависит от сервиса или приложения, использующего аудиоданные, и задан на основе числа каналов аудиоданных.
Когда осуществляется процесс этапа S164, выполнение процесса реорганизации данных завершается. Тогда завершается выполнение процесса этапа S117, показанного на фиг.36. Таким образом, процесс декодирования завершается.
С другой стороны, если на этапе S162 определено, что сегменты идентификационной информации идентичны один другому, модуль 161 декодирования элемента РСЕ подтверждает действительность прочитанной информации о расположении громкоговорителей и передает на этапе S165 эту информацию о расположении громкоговорителей модулю 181 реорганизации данных и устройству 152 понижающего микширования. В этом случае, модуль 161 декодирования элемента РСЕ передает также информацию о расположении громкоговорителей, считываемую из элемента РСЕ, модулю 181 реорганизации данных и устройству 152 понижающего микширования для уменьшения числа каналов.
На этапе S166 модуль 181 реорганизации данных передает на выход аудиоданные, полученные от переключающего модуля 151, в соответствии с расположением громкоговорителей, определенным, например, посредством информации о расположении громкоговорителей, поступившей от модуля 161 декодирования элемента РСЕ. Иными словами, аудиоданные каждого канала реорганизуют в порядке, определяемом, например, информацией о расположении громкоговорителей, и затем передают на следующую ступень. Когда осуществляется процесс этапа S166, выполнение процесса реорганизации данных завершается. Тогда завершается выполнение процесса этапа S117, показанного на фиг.36. Таким образом, процесс декодирования завершается.
Таким способом, декодирующее устройство 141 проверяет слово синхронизации или контрольный код CRC из состава области комментариев элемента РСЕ, считывает информацию о расположении громкоговорителей и передает декодированные аудиоданные на выход в соответствии с информацией о расположении громкоговорителей.
В такой ситуации, поскольку информация о расположении громкоговорителей прочитана и расположение громкоговорителей (позиции источников звука) определено, можно воспроизводить звуковое изображение в вертикальном направлении и получать высококачественное реалистичное звучание.
Кроме того, поскольку информацию о расположении громкоговорителей считывают с использованием слова синхронизации и контрольного кода CRC, можно надежно прочитать эту информацию о расположении громкоговорителей из области комментариев, в которой, например, может быть также сохранена другая текстовая информация. Иными словами, можно надежно отличать информацию о расположении громкоговорителей от другой информации.
В частности, декодирующее устройство 141 отличает информацию о расположении громкоговорителей от другой информации с использованием трех элементов, а именно идентификаторов слов синхронизации, идентификаторов контрольных кодов CRC и идентификаторов объемов данных выравнивания. Таким образом, можно предотвратить ошибки при обнаружении информации о расположении громкоговорителей. В такой ситуации, поскольку ошибки при обнаружении информации о расположении громкоговорителей предотвращены, можно воспроизводить аудиоданные в соответствии с правильным расположением громкоговорителей и получить высококачественное реалистичное звучание.
Описание процесса понижающего микширования
Далее, процесс понижающего микширования, соответствующий процессу, выполняемому на этапе S118, показанном на фиг.36, будет описан со ссылками на логическую схему, изображенную на фиг.39. В этой ситуации, аудиоданные каждого канала передают от переключающего модуля 151, переключающему модулю 211 в составе устройства 152 понижающего микширования.
На этапе S191 модуль 173 обнаружения расширения в составе модуля 162 декодирования элемента DSE считывает параметр "ancillary_data_extension_status" из параметра "ancillary_data_status()" в составе параметра "MPEG4_ext_ancillary_data()" в элементе DSE.
На этапе S192 модуль 173 обнаружения расширения определяет, равен ли 1 прочитанный параметр "ancillary_data_extension_status".
Если на этапе S192 параметр "ancillary_data_extension_status" не равен 1, т.е. параметр "ancillary_data_extension_status" равен 0, устройство 152 понижающего микширования для уменьшения числа каналов декодирования осуществляет на этапе S193 понижающее микширование аудиоданных с использованием заданного способа.
Например, устройство 152 понижающего микширования осуществляет такое понижающее микширование аудиоданных, поступивших от переключающего модуля 151, с использованием коэффициента, определяемого параметром "center_mix_level_value" или "surround_mix_level_value", поступившим от модуля 174 декодирования информации о понижающем микшировании, и передает аудиоданные после понижающего микширования модулю 63 вывода.
Когда параметр "ancillary_data_extension_status" равен 0, процедура понижающего микширования осуществляется любым способом.
На этапе S194 модуль 63 вывода передает на выход аудиоданные, поступившие от устройства 152 понижающего микширования, на следующую ступень без каких-либо изменений этих аудиоданных. После этого процесс понижающего микширования с уменьшением числа каналов завершается. Тогда завершается выполнение процесса этапа S118, показанного на фиг.36. Таким образом, процесс декодирования завершается.
С другой стороны, если на этапе S145 определено, что параметр "ancillary_data_extension_status" равен 1, процесс переходит к этапу S195.
На этапе S195 модуль 174 декодирования информации о понижающем микшировании считывает информацию параметра "ext_downmixing_levels()" из состава параметра "MPEG4_ext_ancillary_data()", показанного на фиг.11, и передает прочитанную информацию устройству 152 понижающего микширования. Таким путем считывают, например, параметры "dmix_a_idx" и "dmix_b_idx", показанные на фиг.13.
Когда параметр "ext_downmixing_levels_status", показанный на фиг.12 и входящий в состав параметра "MPEG4_ext_ancillary_data()", равен 0, считывание параметров "dmix_a_idx" и "dmix_b_idx" не производится.
На этапе S196 модуль 174 декодирования информации о понижающем микшировании считывает информацию параметра "ext_downmixing_global_gains()" из состава параметра "MPEG4_ext_ancillary_data()" и передает прочитанную информацию устройству 152 понижающего микширования. Таким путем считывают, например, сегменты информации, показанные на фиг.15, а именно, параметры "dmx_gain_5_sign", "dmx_gain_5_idx", "dmx_gain_2_sign" и "dmx_gain_2_idx".
Считывание сегментов информации не производится, когда параметр "ext_downmixing_global_gains_status", показанный на фиг.12 и входящий в состав параметра "MPEG4_ext_ancillary_data()", равен 0.
На этапе S197 модуль 174 декодирования информации о понижающем микшировании считывает информацию параметра "ext_dovvnmixing_lfe_level()" из состава параметра "MPEG4_ext_ancillary_data()" и передает прочитанную информацию устройству 152 понижающего микширования. Таким путем считывают, например, параметр "dmix_lfe_idx", показанный на фиг.16.
В частности, модуль 174 декодирования информации о понижающем микшировании считывает информацию параметра "ext_downmixing_lfe_level_status", показанного на фиг.12, и считывает параметр "dmix_lfe_idx" на основе величины параметра "ext_dovvnmixing_lfe_level_status".
Иными словами, считывание параметра "dmix_lfe_idx" не производится, когда параметр "ext_downmixing_lfe_level_status", входящий в состав параметра "MPEG4_ext_ancillary_data()", равен 0. В этой ситуации, аудиоданные канала LFE не используют при понижающем микшировании аудиоданных и преобразовании от стандарта 5.1 каналов к стандарту 2 каналов, которое будет описано ниже. Иными словами, коэффициент, на который умножают аудиоданные канала LFE, равен 0.
На этапе S198 модуль 174 декодирования информации о понижающем микшировании считывает информацию, сохраненную в параметре "pseudo_surround_enable", из параметра "bs_info()" в составе параметра "MPEG4_ext_ancillary_data()", показанного на фиг.7, и передает прочитанную информацию устройству 152 понижающего микширования.
На этапе S199 устройство 152 понижающего микширования определяет, передавать ли на выход данные 2 каналов на основе формального параметра понижающего микширования, поступившего от разделительного модуля 61.
Например, когда формальный параметр понижающего микширования указывает понижающее микширование для преобразования сигналов от стандарта 7.1 каналов или 6.1 каналов к стандарту 2 каналов или понижающее микширование для преобразования сигналов от стандарта 5.1 каналов к стандарту 2 каналов, определяют, что аудиоданные являются выходными данными 2 каналов.
Если на этапе S199 определено, что аудиоданные являются выходными данными 2 каналов, процесс переходит к этапу S200. В этой ситуации, пункт назначения данных с выхода переключающего модуля 214 изменяется на переключающий модуль 216.
На этапе S200 устройство 152 понижающего микширования определяет, представлены ли входные аудиоданные в стандарте 5.1 каналов на основе формального параметра понижающего микширования, поступившего от разделительного модуля 61. Например, когда формальный параметр понижающего микширования указывает понижающее микширование для преобразования сигналов от стандарта 5.1 каналов к стандарту 2 каналов, определяют, что входные данные являются данными в стандарте 5,1 каналов.
Если на этапе S200 определено, что входные данные не являются данными в стандарте 5.1 каналов, процесс переходит к этапу S201, и осуществляется понижающее микширование для преобразования аудиоданных от стандарта 7.1 каналов или стандарта 6.1 каналов к стандарту 2 каналов.
В таком случае переключающий модуль 211 передает аудиоданные, поступившие от переключающего модуля 151, переключающему модулю 212. Переключающий модуль 212 передает аудиоданные, полученные от переключающего модуля 211 какому-либо из модулей с 213-1 по 213-4 понижающего микширования с уменьшением числа каналов, на основе информации о расположении громкоговорителей, поступившей от модуля 161 декодирования элемента РСЕ. Например, если аудиоданные представляют собой данные в стандарте 6.1 каналов, аудиоданные каждого канала передают модулю 213-1 понижающего микширования.
На этапе S201 модуль 213 понижающего микширования осуществляет понижающее микширование для преобразования к стандарту 5.1 каналов на основе параметров "dmix_a_idx" и "dmix_b_idx", прочитанных из параметра "ext_dovvnmixing_levels()" и поступивших от модуля 174 декодирования информации о понижающем микшировании.
Например, когда аудиоданные поступают в модуль 213-1 понижающего микширования, этот модуль 213-1 понижающего микширования задает константы, определенные для величин параметров "dmix_a_idx" HMdmix_b_idx", в качестве констант g1 и g2 со ссылками на таблицу, показанную на фиг.19, соответственно. Тогда модуль 213-1 понижающего микширования с уменьшением числа каналов использует эти константы g1 и g2 в качестве коэффициентов, применяемых в умножительных модулях 242 и 243 и в умножительном модуле 244, соответственно, генерирует аудиоданные в стандарте 5.1 каналов с использованием Выражения (6) и передает аудиоданные переключающему модулю 214.
Аналогично, когда аудиоданные поступают в модуль 213-2 понижающего микширования, этот модуль 213-2 понижающего микширования задает константы, определенные для величин параметров "dmix_a_idx" HMdmix_b_idx", в качестве констант e1 и е2, соответственно. Тогда модуль 213-2 понижающего микширования использует эти константы e1 и е2 в качестве коэффициентов, применяемых в умножительных модулях 273 и 274 и в умножительных модулях 272 и 275, соответственно, генерирует аудиоданные в стандарте 5.1 каналов с использованием Выражения (4) и передает аудиоданные в стандарте 5.1 каналов переключающему модулю 214.
Когда аудиоданные поступают в модуль 213-3 понижающего микширования, этот модуль 213-3 понижающего микширования задает константы, определенные для величин параметров "dmix_a_idx" H"dmix_b_idx", в качестве констант d1 и d2, соответственно. Тогда модуль 213-3 понижающего микширования использует эти константы d1 и d2 в качестве коэффициентов, применяемых в умножительных модулях 302 и 303 и в умножительных модулях 304 и 305, соответственно, генерирует аудиоданные с использованием Выражения (3) и передает эти аудиоданные переключающему модулю 214.
Когда аудиоданные поступают в модуль 213-4 понижающего микширования, этот модуль 213-4 понижающего микширования задает константы, определенные для величин параметров "dmix_a_idx" HMdmix_b_idx", в качестве констант f1 и f2, соответственно. Тогда модуль 213-4 понижающего микширования использует эти константы f1 и f2 в качестве коэффициентов, применяемых в умножительных модулях 332 и 333 и в умножительных модулях 334 и 335, соответственно, генерирует аудиоданные с использованием Выражения (5) и передает эти аудиоданные переключающему модулю 214.
Когда аудиоданные в стандарте 5.1 каналов поступают в переключающий модуль 214, этот переключающий модуль 214 передает аудиоданные, поступившие от модуля 213 понижающего микширования, переключающему модулю 216. Переключающий модуль 216 передает аудиоданные, поступающие от модуля 214 декодирования, модулю 217-1 понижающего микширования, либо модулю 217-2 вывода на основе величины параметра "pseudo_surround_enable", поступившей от модуля 174 декодирования информации о понижающем микшировании.
Например, если величина параметра "pseudo_surround_enable" равна О, аудиоданные передают модулю 217-1 понижающего микширования. Когда величина параметра "pseudo_surround_enable" равна 1, аудиоданные передают модулю 217-2 понижающего микширования.
На этапе S202 модуль 217 понижающего микширования выполняет процедуру понижающего микширования аудиоданных, полученных от переключающего модуля 216, с преобразованием к стандарту 2 каналов на основе информации о понижающем микшировании, поступающей от модуля 174 декодирования информации о понижающем микшировании. Иными словами, процедура понижающего микширования к стандарту 2 каналов осуществляется на основе информации параметра "downmixing_levels_MPEG4()" и информации параметра "ext_dovvTimixing_lfe_level()".
Например, когда аудиоданные поступают на модуль 217-1 понижающего микширования, этот модуль 217-1 понижающего микширования задает константы, определенные для величин параметров "center_mix_level_value" и "surround_mix_level_value", в качестве констант "а" и "b" со ссылками на таблицу, показанную на фиг.19, соответственно. Кроме того, модуль 217-1 понижающего микширования задает константу, определенную для величины параметра "dmix_lfe_idx", в качестве константы с со ссылками на таблицу, показанную на фиг.18.
Тогда модуль 217-1 понижающего микширования использует эти константы "а", "b" и "с" в качестве коэффициентов, применяемых в умножительных модулях 363 и 364, умножительном модуле 362 и в умножительном модуле 365, соответственно, генерирует аудиоданные с использованием Выражения (1) и передает эти аудиоданные в стандарте 2 каналов модулю 218 регулировки усиления.
Когда аудиоданные поступают в модуль 217-2 понижающего микширования, этот модуль 217-2 понижающего микширования определяет константы "а", "b" и "с" аналогично модулю 217-1 понижающего микширования. Тогда модуль 217-2 понижающего микширования использует эти константы "а", "b" и "с" в качестве коэффициентов, применяемых в умножительных модулях 403 и 404, умножительном модуле 402 и в умножительном модуле 405, соответственно, генерирует аудиоданные с использованием Выражения (2) и передает эти аудиоданные модулю 218 регулировки усиления.
На этапе S203 модуль 218 регулировки усиления осуществляет регулировку усиления аудиоданных, полученных от переключающего модуля 217, на основе информации, считываемой из параметра Mext_dowrimixing_global_gains()" и поступающей от модуля 174 декодирования информации о понижающем микшировании.
В частности, модуль 218 регулировки усиления вычисляет Выражение (11) на основе параметров "dmx_gain_5_sign", "dmx_gain_5_idx", "dmx_gain_2_sign" и "dmx_gain_2_idx", считываемых из параметра "ext_dovvnmixing_global_gains()", и вычисляет коэффициент усиления dmx_gain_7to2. Затем, модуль 218 регулировки усиления умножает аудиоданные каждого канала на коэффициент усиления dmx_gain_7to2 и передает эти аудиоданные модулю 63 вывода.
На этапе S204 модуль 63 вывода передает аудиоданные, поступившие от модуля 218 регулировки усиления, на следующую ступень без каких-либо изменений этих аудиоданных. После этого процесс понижающего микширования завершается. Тогда завершается выполнение процесса этапа S118, показанного на фиг.36. Таким образом, процесс декодирования завершается.
Модуль 63 вывода передает аудиоданные на выход, когда аудиоданные передают на выход от модуля 181 реорганизации данных и когда аудиоданные передают от устройства 152 понижающего микширования без каких-либо изменений. На стадии после модуля 63 вывода может быть задан один из двух выводных потоков аудиоданных для дальнейшего использования.
Если на этапе S200 определено, что входные данные являются данными в стандарте 5.1 каналов, процесс переходит к этапу S205, и осуществляется понижающее микширование для преобразования аудиоданных от стандарта 5.1 каналов к стандарту 2 каналов.
В таком случае переключающий модуль 211 передает аудиоданные, поступившие от переключающего модуля 151, переключающему модулю 216. Переключающий модуль 216 передает аудиоданные, поступающие от переключающего модуля 211, модулю 217-1 понижающего микширования, либо модулю 217-2 понижающего микширования на основе величины параметра "pseudo_surround_enable", поступившей от модуля 174 декодирования информации о понижающем микшировании.
На этапе S205 модуль 217 понижающего микширования выполняет процедуру понижающего микширования аудиоданных, полученных от переключающего модуля 216, с преобразованием к стандарту 2 каналов на основе информации о понижающем микшировании, поступающей от модуля 174 декодирования информации о понижающем микшировании. Кроме того, на этапе S205 выполняется такой же процесс, как на этапе S202.
На этапе S206 модуль 218 регулировки усиления осуществляет регулировку усиления аудиоданных, полученных от модуля 217 понижающего микширования, на основе информации, считываемой из параметра "ext_dovvnmixing_global_gains()" и поступающей от модуля 174 декодирования информации о понижающем микшировании.
В частности, модуль 218 регулировки усиления вычисляет Выражение (9) на основе параметров "dmx_gain_2_sign" и "dmx_gain_2_idx", считываемых из параметра "ext_downmixing_global_gains()", и передает аудиоданные, полученные в результате вычисления, модулю 63 вывода.
На этапе S207 модуль 63 вывода передает аудиоданные, поступившие от модуля 218 регулировки усиления, на следующую ступень без каких-либо изменений этих аудиоданных. После этого процесс понижающего микширования завершается. Тогда завершается выполнение процесса этапа S118, показанного на фиг.36. Таким образом, процесс декодирования завершается.
Если на этапе S199 определено, что аудиоданные не являются выходными данными в стандарте 2 каналов, иными словами, эти аудиоданные являются выходными данными в стандарте 5.1 каналов, процесс переходит к этапу S208, и осуществляется понижающее микширование для преобразования аудиоданных от стандарта 7.1 каналов или стандарта 6.1 каналов к стандарту 5.1 каналов.
В таком случае переключающий модуль 211 передает аудиоданные, поступившие от переключающего модуля 151, переключающему модулю 212. Переключающий модуль 212 передает аудиоданные, полученные от переключающего модуля 211 какому-либо из модулей с 213-1 по 213-4 понижающего микширования, на основе информации о расположении громкоговорителей, поступившей от модуля 161 декодирования элемента РСЕ. Кроме того, пунктом назначения данных с выхода переключающего модуля 214 является модуль регулировки усиления 215.
На этапе S208 модуль 213 понижающего микширования осуществляет понижающее микширование для преобразования к стандарту 5.1 каналов на основе параметров "dmix_a_idx" и "dmix_b_idx", прочитанных из параметра "ext_downmixing_levels()" и поступивших от модуля 174 декодирования информации о понижающем микшировании с уменьшением числа каналов. Кроме того, на этапе S208 выполняется такой же процесс, как на этапе S201.
Когда осуществляется понижающее микширование для преобразования к стандарту 5.1 каналов и аудиоданные поступают от модуля 213 понижающего микширования к переключающему модулю 214, этот переключающий модуль передает полученные им аудиоданные модулю 215 регулировки усиления.
На этапе S209 модуль 215 регулировки усиления осуществляет регулировку усиления аудиоданных, полученных от переключающего модуля 214, на основе информации, считываемой из параметра "ext_dovvnmixing_global_gains()" и поступающей от модуля 174 декодирования информации о понижающем микшировании.
В частности, модуль 215 регулировки усиления вычисляет Выражение (7) на основе параметров "dmx_gain_5_sign" и "dmx_gain_5_idx", считываемых из параметра "ext_downmixing_global_gains()", и передает аудиоданные, полученные в результате вычисления, модулю 63 вывода.
На этапе S210 модуль 63 вывода передает аудиоданные, поступившие от модуля 215 регулировки усиления, на следующую ступень без каких-либо изменений этих аудиоданных. После этого процесс понижающего микширования завершается. Тогда завершается выполнение процесса этапа S118, показанного на фиг.36. Таким образом, процесс декодирования завершается.
Таким способом, декодирующее устройство 141 осуществляет понижающее микширование аудиоданных на основе информации, считываемой из кодированного потока битов данных.
Например, в кодированном потоке битов данных, поскольку в элемент DSE входит параметр "pseudo_surround_enable", можно выполнить процедуру понижающего микширования для преобразования аудиоданных от стандарта 5.1 каналов к стандарту 2 каналов с использованием способа, наиболее подходящего для рассматриваемых аудиоданных, из совокупности множества таких способов. Таким образом, на декодирующей стороне может быть получено высококачественное реалистичное звучание.
Кроме того, в кодированном потоке битов данных информацию, указывающую, включена ли расширенная информация, сохраняют в параметре "ancillary_data_extension_status". Таким образом, можно задать, входит ли расширенная информация в расширенную область элемента, со ссылками на эту информацию. Когда может быть получена расширенная информация, становится возможным повысить степень гибкости при понижающем микшировании аудиоданных. Поэтому можно получать высококачественное реалистичное звучание.
Описанная выше последовательность процессов может быть осуществлена аппаратным или программным способом. Когда эта последовательность процессов осуществляется программным способом, программу, составляющую соответствующее программное обеспечение, инсталлируют на компьютере. Здесь таким компьютером может быть компьютер, встроенный в специализированную аппаратуру, или компьютер общего назначения, в котором инсталлированы программы разного рода и который может выполнять разнообразные функции.
Фиг.40 представляет блок-схему, иллюстрирующую пример структуры аппаратуры компьютера, выполняющего программу для осуществления описанной выше последовательности процессов.
В рассматриваемом компьютере центральный процессор (CPU) 501, постоянное запоминающее устройство (ПЗУ, (ROM)) 502 и запоминающее устройство с произвольной выборкой (ЗУПВ (RAM)) 503 соединены одно с другим посредством шины 504.
С шиной 504 соединен интерфейс 505 ввода/вывода. С этим интерфейсом 505 ввода/вывода соединены модуль 506 ввода, модуль 507 вывода, модуль 508 памяти, модуль 506 связи и привод 510 сменного носителя записи.
Модуль 506 ввода содержит, например, клавиатуру, мышь, микрофон и элемент для считывания изображения. Модуль 507 вывода содержит, например, устройство отображения и громкоговоритель. Модуль 508 памяти содержит накопитель на жестком диске и энергонезависимую память. Модуль 509 связи представляет собой, например, сетевой интерфейс. Привод 510 осуществляет взаимодействие со сменным носителем 511 записи, таким как магнитный диск, оптический диск, магнитооптический диск или полупроводниковое запоминающее устройство.
В компьютере, имеющем описанную выше структуру, например, процессор CPU 501 загружает программу, записанную в модуле 508 памяти, в ЗУПВ RAM 503 через интерфейс 505 ввода/вывода и шину 504. Затем описанная выше последовательность процессов повторяется.
Программа, выполняемая компьютером (CPU 501), может быть записана на сменном носителе 511 записи в качестве пакетного носителя и затем предоставлена пользователю. В альтернативном варианте программы могут быть предоставлены по кабельной или беспроводной линии связи, такой как локальная сеть связи, Интернет или сеть спутникового вещания.
В компьютере, носитель 511 записи может быть установлен в приводе 510, чтобы инсталлировать программу в модуле 508 памяти через интерфейс 505 ввода/вывода. Кроме того, такая программа может быть принята модулем 509 связи по кабельной или беспроводной линии связи и затем инсталлирована в модуле 508 памяти. В альтернативном варианте, программа может быть инсталлирована в ЗУПВ ROM 502 или в модуле 508 памяти заранее.
Программы, выполняемые компьютером, могут представлять собой программы для выполнения операций в хронологическом порядке в соответствии с последовательностью, рассмотренной в настоящем описании, или программы для выполнения различных операций параллельно или для выполнения операций по мере необходимости, например, после вызова такой программы.
Варианты настоящего изобретения не ограничиваются описанным выше вариантом, так что могут быть внесены разнообразные модификации и изменения этого варианта, не отклоняясь от объема и существа настоящего изобретения.
Например, предмет настоящего изобретения может иметь облачную вычислительную структуру, в которой одна функция распределена между несколькими устройствами через сеть связи и совместно реализуется этими несколькими устройствами.
В рассмотренном выше варианте каждый этап, описанный в приведенных выше логических схемах, выполняется в одном и том же устройстве. Однако каждый этап может быть распределен и совместно выполнен множеством устройств.
В рассмотренном выше варианте, когда один этап содержит множество процессов, указанное множество процессов, входящих в один этап, выполняются одним устройством. Однако указанное множество процессов могут быть распределены и выполнены множеством устройств.
Кроме того, настоящее изобретение может иметь следующую структуру.
[1] Декодирующее устройство, содержащее:
модуль декодирования, выполненный с возможностью декодирования аудиоданных из множества каналов кодированного потока битов данных;
модуль считывания, выполненный с возможностью считывания информации о понижающем микшировании, указывающей какой-либо из множества способов понижающего микширования, кодированного потока битов данных; и
модуль понижающего микширования, выполненный с возможностью понижающего микширования декодированных аудиоданных посредством способа понижающего микширования, указанного информацией о понижающем микшировании.
[2] Декодирующее устройство по п.[1], отличающееся тем, что модуль считывания дополнительно выполнен с возможностью считывания информации, указывающей, нужно ли использовать аудиоданные какого-либо конкретного канала при понижающем микшировании, из кодированного потока битов данных, а модуль понижающего микширования выполнен с возможностью понижающего микширования декодированных аудиоданных на основе указанной информации и информации о понижающем микшировании.
[3] Декодирующее устройство по п.[1] или [2], в котором устройство понижающего микширования выполнено с возможностью понижающего микширования декодированных аудиоданных заданного числа каналов и, затем, понижающего микширования аудиоданных заданного числа каналов на основе информации о понижающем микшировании.
[4] Декодирующее устройство по любому из пп.[1]-[3], в котором модуль понижающего микширования выполнен с возможностью регулировки коэффициента усиления аудиоданных, получаемых в результате понижающего микширования заданного числа каналов, и понижающего микширования на основе информации о понижающем микшировании, в соответствии с величиной коэффициента усиления, вычисленной на основе величины коэффициента усиления для регулировки усиления при понижающем микшировании заданного числа каналов и величины коэффициента усиления для регулировки усиления при понижающем микшировании в соответствии с информацией о понижающем микшировании.
[5] Способ декодирования, содержащий:
этап декодирования аудиоданных множества каналов кодированного потока битов данных;
этап считывания информации о понижающем микшировании, указывающей какой-либо из множества способов понижающего микширования, из кодированного потока битов данных; и
этап понижающего микширования декодированных аудиоданных посредством способа понижающего микширования, указанного информацией о понижающем микшировании.
[6] Программа, вызывающая выполнение компьютером процедуры, содержащей:
этап декодирования аудиоданных множества каналов кодированного потока битов данных;
этап считывания информации о понижающем микшировании, указывающей какой-либо из множества способов понижающего микширования, кодированного потока битов данных; и
этап понижающего микширования декодированных аудиоданных посредством способа понижающего микширования, указанного информацией о понижающем микшировании.
[7] Кодирующее устройство, содержащее:
модуль кодирования, выполненный с возможностью кодирования аудиоданных множества каналов и информации о понижающем микшировании, указывающей какой-либо из множества способов понижающего микширования; и
модуль упаковки, выполненный с возможностью сохранения кодированных аудиоданных и кодированной информации о понижающем микшировании в заданной области и генерирования кодированного потока битов данных.
[8] Кодирующее устройство по п.[7], в котором кодированный поток битов данных дополнительно содержит информацию, указывающую, нужно ли использовать аудиоданные какого-либо конкретного канала при понижающем микшировании, при этом понижающее микширование аудиоданных осуществляется на основе указанной информации и информации о понижающем микшировании.
[9] Кодирующее устройство по п.[7] или [8], в котором информация о понижающем микшировании представляет собой информацию о понижающем микшировании аудиоданных заданного числа каналов, а кодированный поток битов данных дополнительно содержит информацию о понижающем микшировании декодированных аудиоданных для преобразования в аудиоданные заданного числа каналов.
[10] Способ кодирования, содержащий:
этап кодирования аудиоданных множества каналов и информации о понижающем микшировании, указывающей какой-либо из множества способов понижающего микширования; и
этап сохранения кодированных аудиоданных и кодированной информации о понижающем микшировании в заданной области и генерирования кодированного потока битов данных.
[11] Программа, вызывающая выполнение компьютером процедуры, содержащую:
этап кодирования аудиоданных множества каналов и информации о понижающем микшировании, указывающей какой-либо из множества способов понижающего микширования; и
этап сохранения кодированных аудиоданных и кодированной информации о понижающем микшировании в заданной области и генерирования кодированного потока битов данных.
Список позиционных обозначений
11 Кодирующее устройство
21 Модуль ввода
22 Модуль кодирования
23 Модуль упаковки
51 Декодирующее устройство
61 Разделительный модуль
62 Модуль декодирования
63 Модуль вывода
91 Кодирующее устройство
101 Модуль кодирования элемента РСЕ
102 Модуль кодирования элемента DSE
103 Модуль кодирования аудиоэлемента
111 Модуль кодирования слова синхронизации
112 Модуль кодирования информации о расположении
113 Модуль кодирования идентификационной информации
114 Модуль кодирования расширенной информации
115 Модуль кодирования информации о понижающем микшировании
141 Декодирующее устройство
152 Устройство понижающего микширования
161 Модуль декодирования элемента РСЕ
162 Модуль декодирования элемента DSE
163 Модуль декодирования аудиоэлемента
171 Модуль обнаружения слова синхронизации
172 Модуль вычисления идентификационной информации
173 Модуль обнаружения расширения
174 Модуль декодирования информации о понижающем микшировании
181 Модуль реорганизации данных
Claims (27)
1. Декодирующее устройство, содержащее:
модуль декодирования для декодирования аудиоданных множества каналов, содержащихся в кодированном потоке битов данных;
модуль считывания для считывания информации, указывающей, использовать ли аудиоданные определенного канала для понижающего микширования, и информации о понижающем микшировании, указывающей какой-либо из множества способов понижающего микширования, кодированного потока битов данных; и
модуль понижающего микширования для понижающего микширования декодированных аудиоданных в аудиоданные первого числа каналов, с использованием аудиоданных определенного канала для понижающего микширования и, дополнительно, понижающего микширования аудиоданных первого числа каналов в аудиоданные второго числа каналов, с использованием способа понижающего микширования, указанного информацией о понижающем микшировании, при этом каждый из множества способов понижающего микширования выполнен с возможностью вычисления аудиоданных второго числа каналов на основе аудиоданных первого числа каналов в соответствии с различными математическими выражениями.
2. Декодирующее устройство по п. 1, в котором
модуль понижающего микширования выполнен с возможностью регулировки коэффициента усиления аудиоданных, получаемых в результате понижающего микширования первого числа каналов, и, дополнительно, понижающего микширования из первого количества каналов во второе количество каналов на основе информации о понижающем микшировании и величины коэффициента усиления, вычисленной на основе величины коэффициента усиления для регулировки усиления при понижающем микшировании первого числа каналов и второй величины коэффициента усиления для регулировки усиления при дополнительном понижающем микшировании из первого числа каналов во второе число каналов, в соответствии с информацией о понижающем микшировании.
3. Способ декодирования, содержащий:
этап декодирования аудиоданных множества каналов, содержащихся в кодированном потоке битов данных;
этап считывания информации, указывающей, использовать ли аудиоданные определенного канала для понижающего микширования, и информации о понижающем микшировании, указывающей какой-либо из множества способов понижающего микширования, кодированного потока битов данных; и
этап понижающего микширования декодированных аудиоданных в аудиоданные первого числа каналов с использованием аудиоданных определенного канала для понижающего микширования и, дополнительно, понижающего микширования аудиоданных первого числа каналов в аудиоданные второго числа каналов с использованием способа понижающего микширования, указанного информацией о понижающем микшировании, при этом каждый из множества способов понижающего микширования выполнен с возможностью вычисления аудиоданных второго числа каналов на основе аудиоданных первого числа каналов в соответствии с различными математическими выражениями.
4. Способ декодирования по п. 3, дополнительно содержащий:
этап регулировки, на котором регулируют коэффициент усиления аудиоданных, получаемых в результате понижающего микширования первого числа каналов, и, дополнительно, понижающего микширования из первого количества каналов во второе количество каналов на основе информации о понижающем микшировании и величины коэффициента усиления, вычисленной на основе величины коэффициента усиления для регулировки усиления при понижающем микшировании первого числа каналов и второй величины коэффициента усиления для регулировки усиления при дополнительном понижающем микшировании из первого числа каналов во второе число каналов, в соответствии с информацией о понижающем микшировании.
5. Носитель записи, хранящий программу, вызывающую выполнение компьютером процедуры, содержащей:
этап декодирования аудиоданных множества каналов, содержащихся в кодированном потоке битов данных;
этап считывания информации, указывающей, использовать ли аудиоданные определенного канала для понижающего микширования, и информации о понижающем микшировании, указывающей какой-либо из множества способов понижающего микширования, кодированного потока битов данных; и
этап понижающего микширования декодированных аудиоданных в аудиоданные первого числа каналов с использованием аудиоданных определенного канала для понижающего микширования и, дополнительно, понижающего микширования аудиоданных первого числа каналов в аудиоданные второго числа каналов с использованием способа понижающего микширования, указанного информацией о понижающем микшировании, при этом каждый из множества способов понижающего микширования выполнен с возможностью вычисления аудиоданных второго числа каналов на основе аудиоданных первого числа каналов в соответствии с различными математическими выражениями.
6. Носитель записи по п. 5, в котором выполняемая компьютером процедура дополнительно содержит:
этап регулировки, на котором регулируют коэффициент усиления аудиоданных, получаемых в результате понижающего микширования первого числа каналов, и, дополнительно, понижающего микширования из первого количества каналов во второе количество каналов на основе информации о понижающем микшировании и величины коэффициента усиления, вычисленной на основе величины коэффициента усиления для регулировки усиления при понижающем микшировании первого числа каналов и второй величины коэффициента усиления для регулировки усиления при дополнительном понижающем микшировании из первого числа каналов во второе число каналов, в соответствии с информацией о понижающем микшировании.
7. Кодирующее устройство, содержащее:
модуль кодирования для кодирования аудиоданных множества каналов и информации о понижающем микшировании для понижающего микширования аудиоданных первого числа каналов и указывающей какой-либо из множества способов понижающего микширования; и
модуль упаковки для сохранения кодированных аудиоданных и кодированной информации о понижающем микшировании в заданной области и генерирования кодированного потока битов данных, содержащего информацию, указывающую, использовать ли аудиоданные определенного канала для понижающего микширования аудиоданных в первое число каналов, и, дополнительно, указывающую способ понижающего микширования, подлежащий использованию, после понижающего микширования кодированных аудиоданных в аудиоданные первого числа каналов, для дополнительного понижающего микширования аудиоданных первого числа каналов в аудиоданные второго числа каналов, причем каждый из множества способов понижающего микширования выполнен с возможностью вычисления аудиоданных второго числа каналов на основе аудиоданных первого числа каналов в соответствии с различными математическими выражениями.
8. Способ кодирования, содержащий:
этап кодирования аудиоданных, на котором кодируют аудиоданные множества каналов и информацию о понижающем микшировании для понижающего микширования аудиоданных первого числа каналов и указывающую какой-либо из множества способов понижающего микширования; и
этап сохранения, на котором сохраняют кодированные аудиоданные и кодированную информацию о понижающем микшировании в заданной области и генерируют кодированный поток битов данных, содержащий информацию, указывающую, использовать ли аудиоданные определенного канала для понижающего микширования аудиоданных в первое число каналов, и, дополнительно, указывающую способ понижающего микширования, подлежащий использованию, после понижающего микширования кодированных аудиоданных в аудиоданные первого числа каналов, для дополнительного понижающего микширования аудиоданных первого числа каналов в аудиоданные второго числа каналов, причем каждый из множества способов понижающего микширования выполнен с возможностью вычисления аудиоданных второго числа каналов на основе аудиоданных первого числа каналов в соответствии с различными математическими выражениями.
9. Носитель записи, хранящий программу, вызывающую выполнение компьютером процедуры, содержащей:
этап кодирования аудиоданных, на котором кодируют аудиоданные множества каналов и информацию о понижающем микшировании для понижающего микширования аудиоданных первого числа каналов и указывающую какой-либо из множества способов понижающего микширования; и
этап сохранения, на котором сохраняют кодированные аудиоданные и кодированную информацию о понижающем микшировании в заданной области и генерируют кодированный поток битов данных, содержащий информацию, указывающую, использовать ли аудиоданные определенного канала для понижающего микширования аудиоданных в первое число каналов, и, дополнительно, указывающую способ понижающего микширования, подлежащий использованию, после понижающего микширования кодированных аудиоданных в аудиоданные первого числа каналов, для дополнительного понижающего микширования аудиоданных первого числа каналов в аудиоданные второго числа каналов, причем каждый из множества способов понижающего микширования выполнен с возможностью вычисления аудиоданных второго числа каналов на основе аудиоданных первого числа каналов в соответствии с различными математическими выражениями.
Applications Claiming Priority (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2012148918 | 2012-07-02 | ||
| JP2012-148918 | 2012-07-02 | ||
| JP2012-255464 | 2012-11-21 | ||
| JP2012255464 | 2012-11-21 | ||
| PCT/JP2013/067232 WO2014007096A1 (ja) | 2012-07-02 | 2013-06-24 | 復号装置および方法、符号化装置および方法、並びにプログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| RU2014106529A RU2014106529A (ru) | 2015-08-27 |
| RU2648945C2 true RU2648945C2 (ru) | 2018-03-28 |
Family
ID=49881854
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| RU2014106529A RU2648945C2 (ru) | 2012-07-02 | 2013-06-24 | Декодирующее устройство, способ декодирования, кодирующее устройство, способ кодирования и программа |
Country Status (10)
| Country | Link |
|---|---|
| US (1) | US9437198B2 (ru) |
| EP (1) | EP2741286A4 (ru) |
| JP (2) | JP6331095B2 (ru) |
| KR (1) | KR20150032651A (ru) |
| CN (1) | CN103748629B (ru) |
| AU (1) | AU2013284704B2 (ru) |
| BR (1) | BR112014004129A2 (ru) |
| CA (1) | CA2843223A1 (ru) |
| RU (1) | RU2648945C2 (ru) |
| WO (1) | WO2014007096A1 (ru) |
Families Citing this family (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5754899B2 (ja) | 2009-10-07 | 2015-07-29 | ソニー株式会社 | 復号装置および方法、並びにプログラム |
| JP5609737B2 (ja) | 2010-04-13 | 2014-10-22 | ソニー株式会社 | 信号処理装置および方法、符号化装置および方法、復号装置および方法、並びにプログラム |
| JP5850216B2 (ja) | 2010-04-13 | 2016-02-03 | ソニー株式会社 | 信号処理装置および方法、符号化装置および方法、復号装置および方法、並びにプログラム |
| JP6075743B2 (ja) | 2010-08-03 | 2017-02-08 | ソニー株式会社 | 信号処理装置および方法、並びにプログラム |
| JP5707842B2 (ja) | 2010-10-15 | 2015-04-30 | ソニー株式会社 | 符号化装置および方法、復号装置および方法、並びにプログラム |
| JP5743137B2 (ja) | 2011-01-14 | 2015-07-01 | ソニー株式会社 | 信号処理装置および方法、並びにプログラム |
| JP6037156B2 (ja) | 2011-08-24 | 2016-11-30 | ソニー株式会社 | 符号化装置および方法、並びにプログラム |
| KR20150032649A (ko) | 2012-07-02 | 2015-03-27 | 소니 주식회사 | 복호 장치 및 방법, 부호화 장치 및 방법, 및 프로그램 |
| TWI517142B (zh) | 2012-07-02 | 2016-01-11 | Sony Corp | Audio decoding apparatus and method, audio coding apparatus and method, and program |
| AU2013284705B2 (en) | 2012-07-02 | 2018-11-29 | Sony Corporation | Decoding device and method, encoding device and method, and program |
| JP6531649B2 (ja) | 2013-09-19 | 2019-06-19 | ソニー株式会社 | 符号化装置および方法、復号化装置および方法、並びにプログラム |
| US10049683B2 (en) * | 2013-10-21 | 2018-08-14 | Dolby International Ab | Audio encoder and decoder |
| JP6593173B2 (ja) | 2013-12-27 | 2019-10-23 | ソニー株式会社 | 復号化装置および方法、並びにプログラム |
| KR102302672B1 (ko) | 2014-04-11 | 2021-09-15 | 삼성전자주식회사 | 음향 신호의 렌더링 방법, 장치 및 컴퓨터 판독 가능한 기록 매체 |
| US10547960B2 (en) | 2014-09-01 | 2020-01-28 | Sony Semiconductor Solutions Corporation | Audio processing apparatus |
| RU2698779C2 (ru) * | 2014-09-04 | 2019-08-29 | Сони Корпорейшн | Устройство передачи, способ передачи, устройство приема и способ приема |
| TWI587286B (zh) | 2014-10-31 | 2017-06-11 | 杜比國際公司 | 音頻訊號之解碼和編碼的方法及系統、電腦程式產品、與電腦可讀取媒體 |
| WO2016066743A1 (en) | 2014-10-31 | 2016-05-06 | Dolby International Ab | Parametric encoding and decoding of multichannel audio signals |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20080114477A1 (en) * | 2006-11-09 | 2008-05-15 | David Wu | Method and system for asynchronous pipeline architecture for multiple independent dual/stereo channel pcm processing |
| JP2008301454A (ja) * | 2007-06-04 | 2008-12-11 | Toshiba Corp | オーディオデータ中継装置 |
| RU2406164C2 (ru) * | 2006-02-07 | 2010-12-10 | ЭлДжи ЭЛЕКТРОНИКС ИНК. | Устройство и способ для кодирования/декодирования сигнала |
| JP2011066868A (ja) * | 2009-08-18 | 2011-03-31 | Victor Co Of Japan Ltd | オーディオ信号符号化方法、符号化装置、復号化方法及び復号化装置 |
| RU2452043C2 (ru) * | 2007-10-17 | 2012-05-27 | Фраунхофер-Гезелльшафт цур Фёрдерунг дер ангевандтен Форшунг Е.Ф. | Аудиокодирование с использованием понижающего микширования |
Family Cites Families (31)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS5859641A (ja) | 1981-10-05 | 1983-04-08 | Nec Corp | デイジタル伝送装置 |
| JP3632891B2 (ja) | 1998-09-07 | 2005-03-23 | 日本ビクター株式会社 | オーディオ信号の伝送方法、オーディオディスク、エンコード装置及びデコード装置 |
| JP3011925B1 (ja) * | 1998-09-18 | 2000-02-21 | 日立電子サービス株式会社 | ネットワーク監視支援装置 |
| JP3387461B2 (ja) * | 1998-10-13 | 2003-03-17 | 日本ビクター株式会社 | 記録媒体、音声復号装置 |
| US6463410B1 (en) | 1998-10-13 | 2002-10-08 | Victor Company Of Japan, Ltd. | Audio signal processing apparatus |
| JP5306565B2 (ja) | 1999-09-29 | 2013-10-02 | ヤマハ株式会社 | 音響指向方法および装置 |
| JP3694888B2 (ja) | 1999-12-03 | 2005-09-14 | ソニー株式会社 | 復号装置および方法、符号化装置および方法、情報処理装置および方法、並びに記録媒体 |
| US6680753B2 (en) | 2001-03-07 | 2004-01-20 | Matsushita Electric Industrial Co., Ltd. | Method and apparatus for skipping and repeating audio frames |
| US7502743B2 (en) * | 2002-09-04 | 2009-03-10 | Microsoft Corporation | Multi-channel audio encoding and decoding with multi-channel transform selection |
| TWI233091B (en) | 2003-11-18 | 2005-05-21 | Ali Corp | Audio mixing output device and method for dynamic range control |
| WO2007004831A1 (en) | 2005-06-30 | 2007-01-11 | Lg Electronics Inc. | Method and apparatus for encoding and decoding an audio signal |
| BRPI0616057A2 (pt) | 2005-09-14 | 2011-06-07 | Lg Electronics Inc | método e aparelho para decodificar um sinal de aúdio |
| CN101351839B (zh) | 2005-09-14 | 2012-07-04 | Lg电子株式会社 | 解码音频信号的方法和装置 |
| JP4616155B2 (ja) * | 2005-11-18 | 2011-01-19 | シャープ株式会社 | テレビジョン受信装置 |
| JP2007142865A (ja) * | 2005-11-18 | 2007-06-07 | Sharp Corp | テレビジョン受信装置 |
| JP4652302B2 (ja) * | 2006-09-20 | 2011-03-16 | シャープ株式会社 | 音声再生装置、映像音声再生装置、及びその音場モード切り替え方法 |
| CN101479787B (zh) * | 2006-09-29 | 2012-12-26 | Lg电子株式会社 | 用于编码和解码基于对象的音频信号的方法和装置 |
| CN101652810B (zh) * | 2006-09-29 | 2012-04-11 | Lg电子株式会社 | 用于处理混合信号的装置及其方法 |
| EP2278582B1 (en) | 2007-06-08 | 2016-08-10 | LG Electronics Inc. | A method and an apparatus for processing an audio signal |
| KR101431253B1 (ko) | 2007-06-26 | 2014-08-21 | 코닌클리케 필립스 엔.브이. | 바이노럴 오브젝트―지향 오디오 디코더 |
| JP4530007B2 (ja) | 2007-08-02 | 2010-08-25 | ヤマハ株式会社 | 音場制御装置 |
| KR101061129B1 (ko) | 2008-04-24 | 2011-08-31 | 엘지전자 주식회사 | 오디오 신호의 처리 방법 및 이의 장치 |
| KR101600352B1 (ko) | 2008-10-30 | 2016-03-07 | 삼성전자주식회사 | 멀티 채널 신호의 부호화/복호화 장치 및 방법 |
| CN102100067B (zh) | 2009-02-13 | 2013-04-24 | Lg电子株式会社 | 用于发送和接收信号的装置以及用于发送和接收信号的方法 |
| KR101387902B1 (ko) * | 2009-06-10 | 2014-04-22 | 한국전자통신연구원 | 다객체 오디오 신호를 부호화하는 방법 및 부호화 장치, 복호화 방법 및 복호화 장치, 그리고 트랜스코딩 방법 및 트랜스코더 |
| US20100324915A1 (en) | 2009-06-23 | 2010-12-23 | Electronic And Telecommunications Research Institute | Encoding and decoding apparatuses for high quality multi-channel audio codec |
| KR101283783B1 (ko) | 2009-06-23 | 2013-07-08 | 한국전자통신연구원 | 고품질 다채널 오디오 부호화 및 복호화 장치 |
| JP5743137B2 (ja) | 2011-01-14 | 2015-07-01 | ソニー株式会社 | 信号処理装置および方法、並びにプログラム |
| TWI517142B (zh) | 2012-07-02 | 2016-01-11 | Sony Corp | Audio decoding apparatus and method, audio coding apparatus and method, and program |
| KR20150032649A (ko) | 2012-07-02 | 2015-03-27 | 소니 주식회사 | 복호 장치 및 방법, 부호화 장치 및 방법, 및 프로그램 |
| AU2013284705B2 (en) | 2012-07-02 | 2018-11-29 | Sony Corporation | Decoding device and method, encoding device and method, and program |
-
2013
- 2013-06-24 EP EP13813278.2A patent/EP2741286A4/en not_active Ceased
- 2013-06-24 CA CA2843223A patent/CA2843223A1/en not_active Abandoned
- 2013-06-24 KR KR20147004087A patent/KR20150032651A/ko not_active Application Discontinuation
- 2013-06-24 CN CN201380002773.7A patent/CN103748629B/zh not_active Expired - Fee Related
- 2013-06-24 RU RU2014106529A patent/RU2648945C2/ru not_active IP Right Cessation
- 2013-06-24 US US14/239,574 patent/US9437198B2/en active Active
- 2013-06-24 JP JP2014502690A patent/JP6331095B2/ja active Active
- 2013-06-24 AU AU2013284704A patent/AU2013284704B2/en not_active Ceased
- 2013-06-24 BR BR112014004129A patent/BR112014004129A2/pt not_active IP Right Cessation
- 2013-06-24 WO PCT/JP2013/067232 patent/WO2014007096A1/ja active Application Filing
-
2018
- 2018-04-27 JP JP2018087339A patent/JP6508390B2/ja active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| RU2406164C2 (ru) * | 2006-02-07 | 2010-12-10 | ЭлДжи ЭЛЕКТРОНИКС ИНК. | Устройство и способ для кодирования/декодирования сигнала |
| US20080114477A1 (en) * | 2006-11-09 | 2008-05-15 | David Wu | Method and system for asynchronous pipeline architecture for multiple independent dual/stereo channel pcm processing |
| JP2008301454A (ja) * | 2007-06-04 | 2008-12-11 | Toshiba Corp | オーディオデータ中継装置 |
| RU2452043C2 (ru) * | 2007-10-17 | 2012-05-27 | Фраунхофер-Гезелльшафт цур Фёрдерунг дер ангевандтен Форшунг Е.Ф. | Аудиокодирование с использованием понижающего микширования |
| JP2011066868A (ja) * | 2009-08-18 | 2011-03-31 | Victor Co Of Japan Ltd | オーディオ信号符号化方法、符号化装置、復号化方法及び復号化装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2018116313A (ja) | 2018-07-26 |
| EP2741286A4 (en) | 2015-04-08 |
| JP6508390B2 (ja) | 2019-05-08 |
| CN103748629B (zh) | 2017-04-05 |
| JP6331095B2 (ja) | 2018-05-30 |
| CN103748629A (zh) | 2014-04-23 |
| BR112014004129A2 (pt) | 2017-06-13 |
| CA2843223A1 (en) | 2014-01-09 |
| EP2741286A1 (en) | 2014-06-11 |
| AU2013284704A1 (en) | 2014-02-13 |
| KR20150032651A (ko) | 2015-03-27 |
| WO2014007096A1 (ja) | 2014-01-09 |
| US9437198B2 (en) | 2016-09-06 |
| US20140211948A1 (en) | 2014-07-31 |
| AU2013284704B2 (en) | 2019-01-31 |
| RU2014106529A (ru) | 2015-08-27 |
| JPWO2014007096A1 (ja) | 2016-06-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| RU2648945C2 (ru) | Декодирующее устройство, способ декодирования, кодирующее устройство, способ кодирования и программа | |
| JP6504419B2 (ja) | テレビジョン受像機および信号処理方法、並びにプログラム | |
| RU2652468C2 (ru) | Декодирующее устройство, способ декодирования, кодирующее устройство, способ кодирования и программа | |
| JP6504420B2 (ja) | テレビジョン受像機および信号処理方法、並びにプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| MM4A | The patent is invalid due to non-payment of fees |
Effective date: 20200625 |