RU2641470C2

RU2641470C2 - Устройство передачи/приема, способ и устройство кодирования/декодирования

Info

Publication number: RU2641470C2
Application number: RU2014151717A
Authority: RU
Inventors: Кеидзи ЮДЗАВА; Тэрухико СУДЗУКИ
Original assignee: Сони Корпорейшн
Priority date: 2012-06-28
Filing date: 2013-06-21
Publication date: 2018-01-17
Also published as: BR112014032108B1; KR20150035699A; JPWO2014002914A1; US20150124884A1; WO2014002914A1; EP3758376A1; EP2869555A4; CN104396264A; US10750199B2; CN104396264B; US20190124352A1; US11979594B2; RU2014151717A; BR112014032108A2; KR102161863B1; US10250901B2; EP2869555A1; US20200359044A1; JP6576635B2; IN2014MN02408A

Abstract

Предложено устройство передачи, содержащее секцию иерархической классификации для классификации данных изображения для каждого кадра. Технический результат заключается в адаптации устройства приема для воспроизведения видео с подходящей частотой кадров. Достижение результата обеспечивает устройство передачи, содержащее: секцию иерархической классификации для классификации, на множество слоев, данных изображения для каждого кадра, входящего в состав данных движущегося изображения; секцию кодирования изображений для кодирования классифицированных данных изображения для каждого слоя и генерирования множества видео потоков, содержащих закодированные данные изображений каждого из множества слоев; секцию передачи для передачи контейнера. заданного формата, содержащего сгенерированный видео поток, и секцию вставки информации идентификации, выполненную с возможностью вставки информации идентификации потока для идентификации видео потока каждого слоя в слой контейнера; при этом секция кодирования изображений выполнена с возможностью осуществления кодирования так, что кадр, на который ссылаются, принадлежит слою данных изображения, осуществляющего ссылку, и/или более низкому слою по сравнению со слоем данных изображения, осуществляющим ссылку. 4 н. и 5 з.п. ф-лы, 23 ил.

Description

Область техники, к которой относится изобретение

Настоящая технология касается устройства передачи, способа передачи, устройства кодирования, устройства приема, способа приема и устройства декодирования и, более конкретно, устройства передачи и подобного, позволяющего предоставить услугу с высокой частотой ТВ-кадров.

Уровень техники

При предоставлении сжатых движущихся изображений с помощью широковещательной передачи или с помощью сетевых услуг и подобного, верхняя граница частоты ТВ-кадров, которые могут быть воспроизведены, ограничена производительностью устройства приема. Следовательно, на стороне услуг необходимо учитывать производительность при воспроизведении широко распространенных устройств приема и ограничивать услугу только низкой частотой ТВ-кадров или одновременно предоставлять несколько высококачественных и низкокачественных услуг.

Добавление поддержки услуг с высокой частотой ТВ-кадров увеличивает стоимость устройства приема и становится барьером для адаптации. Если широко распространены только устройства приема с низкой стоимостью, предназначенные для услуг с низкой частотой ТВ-кадров и в будущем на стороне услуг запускается услуга с высокой частотой ТВ-кадров, то новую услугу абсолютно невозможно просмотреть без нового устройства приема, что становится барьером при адаптации услуги.

Схемы сжатия движущегося изображения, такие как H.264/AVC (Улучшенное кодирование видео) (смотри Документ 1, который не относится к патентной литературе) в общем состоят из следующих трех типов кадров.

I кадр: может быть декодирован отдельно

Р кадр: может быть декодирован отдельно на основании I кадра или другого Р кадра

В кадр: может быть декодирован отдельно на основании I кадра, Р кадра или другого В кадра.

С использованием этого свойства, до некоторой степени возможно воспроизведение с отбором ТВ-кадров, такое как воспроизведение, например, только I кадров и Р кадров. Тем не менее, при этом способе точное воспроизведение с отбором трудно осуществимо и его использование на практике вызывает сомнения.

Список цитируемой литературы

Литература, не относящаяся к патентам

Документ 1, который не относится к патентной литературе: ITU-T Н.264 (06/2011), «Улучшенное кодирование видео для общих аудиовизуальных услуг».

Раскрытие изобретения

Техническая задача

Задача настоящего изобретения заключается в том, чтобы без затруднений получить услугу с высокой частотой ТВ-кадров.

Решение задачи

В соответствии с одним аспектом настоящего изобретения, предложено устройство передачи, содержащее секцию иерархической классификации для классификации на множество слоев данных изображения для каждого кадра, входящего в состав данных движущегося изображения, секцию кодирования изображений для кодирования классифицированных данных изображения для каждого слоя и генерирования видео потока, содержащего закодированные данные изображения каждого слоя, и секцию передачи, для передачи контейнера заранее заданного формата, содержащего сгенерированный видео поток. В секции кодирования изображений осуществляют кодирование, так что кадр, на который ссылаются, принадлежит слою данных изображения, которое ссылается, и/или более низкому слою по сравнению со слоем данных изображения, которое ссылается.

В настоящем изобретении данные изображения каждого кадра, входящего в состав данных движущегося изображения, классифицируют на несколько слоев, что делают в секции иерархической классификации. Данные изображения каждого слоя кодируют в секции кодирования изображений и генерируют видео поток, содержащий закодированные данные изображений каждого слоя. В этом случае данные изображения кодируют так, что кадр, на который ссылаются, принадлежит слою данных изображения, которое ссылается, и/или более низкому слою по сравнению со слоем данных изображения, которое ссылается.

Контейнер заранее заданного формата, который содержит упомянутый выше видео поток, передают с помощью секции передачи. Например, контейнер может являться транспортным потоком (MPEG-2 TS), который применяют в стандартах цифрового вещания. В качестве другого примера, контейнер может являться МР4, который используется при доставке с помощью интернет и в подобных случаях, или может быть контейнером некоторого другого формата.

Таким образом, в настоящем изобретении данные изображения каждого кадра, входящего в состав данных движущегося изображения, классифицируют во множество слоев и передают видео поток, содержащий закодированные данные изображений каждого слоя. По этой причине путем простой передачи одной программы или одного файла может быть обеспечено предоставление услуги поддержки различных частот кадров и становится возможным уменьшение операционных затрат.

Также на приемной стороне, закодированные данные изображений в заданном слое или более низких слоях могут быть выборочно извлечены и декодированы, что позволяет воспроизводить с частотой ТВ-кадров, подходящей для производительности воспроизведения самой приемной стороны, тем самым оказывая эффективное содействие адаптации устройств приема. Здесь данные изображения кодируют так, что кадры, на которые ссылаются, принадлежит слою данных изображения, которое ссылается, и/или более низкому слою по сравнению со слоем данных изображения, которое ссылается, и в устройстве приема производительность воспроизведения самого устройства приема может быть эффективно использована без необходимости декодировать слои, более высокие по сравнению с заданным слоем.

Заметим, что в настоящем изобретении, например, секция кодирования изображений может быть выполнена так, чтобы в ней генерировать единственный видео поток, содержащий закодированные данные изображений каждого слоя, и для каждого изображения добавлять к закодированным данным изображений каждого слоя идентификационную информацию слоя для идентификации слоя, содержащего изображения. В этом случае на приемной стороне возможно осуществить хорошее выборочное извлечение закодированных данных изображений в заданном слое или более низких слоях на основе идентификационной информации слоя.

Также в настоящем изобретении, например, секция иерархической классификации может быть выполнена так, чтобы в ней классифицировать данные изображения для каждого кадра, входящего в состав данных движущегося изображения, на множество слоев так, что, за исключением самого низкого слоя, количество кадров, принадлежащих каждому слою, совпадает с количеством кадров, принадлежащих всем более низким слоям и, помимо этого, кадры, принадлежащие каждому слою, расположены во временном центре между кадрами, принадлежащими всем более низким слоям. В этом случае частота ТВ-кадров удваивается каждый раз при увеличении слоя на один и, таким образом, на приемной стороне становится возможным легко распознать частоту ТВ-кадров в каждом слое только по информации о частоте ТВ-кадров для кадров самого низкого слоя.

Также настоящее изобретение может быть выполнено так, чтобы предусмотреть секцию вставки информации, в которой вставляют в контейнер информацию о частоте ТВ-кадров для кадров в самом низком слое и информацию о количестве слоев, указывающую количество слоев. Например, она может быть выполнена так, чтобы информацию вставляли в слой-контейнер или видео слой. В этом случае на приемной стороне становится возможно легко получить информацию о частоте ТВ-кадров в самом низком слое и информацию о количестве слоев, указывающую количество слоев.

Также в настоящем изобретении секция вставки информации может быть выполнена так, чтобы при вставке информации в видео слой, в секции вставки информации дополнительно вставляют в слой-контейнер идентификационную информацию, которая идентифицирует, существует или нет вставка информации в видео слой. В этом случае на приемной стороне становится возможно легко узнать, без декодирования видео потока, вставлена ли в видео поток информация о частоте ТВ-кадров изображений в самом низком слое и информация о количестве слоев, указывающая количество слоев.

Также настоящее изобретение может быть реализовано так, чтобы генерировать множество видео потоков, содержащих, например, закодированные данные изображений каждого слоя. В этом случае, например, настоящее изобретение может быть реализовано так, чтобы дополнительно содержать секцию вставки идентификационной информации, в которой вставляют в слой-контейнер идентификационную информацию потока для идентификации видео потока каждого слоя. В этом случае на приемной стороне возможно осуществить хорошее выборочное извлечение закодированных данных изображений в заданном слое или более низких слоях на основе идентификационной информации потока.

В соответствии с другим аспектом настоящего изобретения, предложено устройство приема, содержащее секцию приема, в которой принимают контейнер заранее заданного формата, который содержит видео поток, содержащий данные изображения для каждого кадра, входящего в состав данных движущегося изображения, при этом данные изображения прошли классификацию на множество слоев и прошли кодирование, так что кадр, на который ссылаются, принадлежит слою данных изображения, которое ссылается, и/или более низкому слою по сравнению со слоем данных изображения, которое ссылается, секцию декодирования изображений, в которой выборочно извлекают и декодируют закодированные данные изображений заданного слоя и более низких слоев из видео потока, содержащегося в принятом контейнере, и получают данные изображения для каждого кадра, и секцию регулировки скорости воспроизведения, в которой регулируют скорость воспроизведения изображения в соответствии с декодированными данными изображения для каждого кадра, что делают с целью соответствия частоте ТВ-кадров для кадров в заданном слое.

В настоящем изобретении, контейнер заранее заданного формата принимают с помощью секции приема. Контейнер содержит видео поток, содержащий данные изображения для каждого кадра, входящего в состав данных движущегося изображения, при этом данные изображения прошли классификацию на множество слоев и прошли кодирование, так что кадр, на который ссылаются, принадлежит слою данных изображения, которое ссылается, и/или более низкому слою по сравнению со слоем данных изображения, которое ссылается. Например, контейнер может являться транспортным потоком (MPEG-2 TS), который применяют в стандартах цифрового вещания. В качестве другого примера, контейнер может являться МР4, который используется при доставке с помощью интернет и в подобных случаях, или может быть контейнером некоторого другого формата.

Закодированные данные изображений заданного слоя и более низкого слоя выборочно извлекают и декодируют из видео потока, содержащегося в контейнере, что делают в секции декодирования изображений, и получают данные изображения для каждого изображения. Далее скорость воспроизведения изображения, соответствующего декодированным данным изображений для каждого кадра, регулируют в секции регулировки скорости воспроизведения с целью соответствия частоте ТВ-кадров для кадров в заданном слое.

Например, настоящее изобретение может быть реализовано так, что в контейнер вставляют информацию о частоте ТВ-кадров кадров самого низкого слоя и информацию о количестве слоев, указывающую количество слоев, и настоящее изобретение может дополнительно содержать секцию управления, в которой на основе вставленной в контейнер информации и производительности декодирования устройства приема управляют слоем декодирования в секции декодирования изображений и управляют скоростью воспроизведения изображения в секции регулировки скорости воспроизведения.

Таким образом, в настоящем изобретении закодированные данные изображений в заданном слое или более низких слоях могут быть выборочно извлечены и декодированы, что позволяет воспроизводить с частотой ТВ-кадров, подходящей для производительности воспроизведения самого устройства приема. Также данные изображения кодируют так, что изображение, на которое ссылаются, принадлежит слою данных изображения, которое ссылается, и/или более низкому слою по сравнению со слоем данных изображения, которое ссылается, и производительность воспроизведения самого устройства приема может быть эффективно использована без необходимости декодировать слои, более высокие по сравнению с заданным слоем.

Заметим, что настоящее изобретение может быть выполнено так, чтобы, например, единственный видео поток, содержащий закодированные данные изображений каждого слоя, содержится в контейнере и для каждого кадра, идентификационную информацию слоя для идентификаций слоя, содержащего кадр, добавляют в закодированные данные изображений каждого слоя. В секции декодирования изображений выборочно извлекают и декодируют закодированные данные изображений в заданном слое и более низких слоях из единственного видео потока, что делают на основе идентификационной информации слоя. В этом случае, даже если контейнер содержит единственный видео поток, содержащий закодированные данные изображений каждого слоя, может быть осуществлено хорошее выборочное извлечение закодированных данных изображений заданного слоя и более низких слоев.

Также настоящее изобретение может быть выполнено так, что, например, несколько видео потоков, содержащих закодированные данные изображений для каждого из множества слоев, содержится в контейнере и идентификационную информацию потока для идентификации видео потока каждого слоя вставляют в слой-контейнер. В секции кодирования изображений выборочно извлекают и декодируют закодированные данные изображений из видео потоков заданного слоя и более низких слоев, что делают на основе идентификационной информации потока. В этом случае, даже если контейнер содержит множество видео потоков, содержащих закодированные данные изображений каждого слоя, может быть осуществлено хорошее выборочное извлечение закодированных данных изображений заданного слоя и более низких слоев.

Полезные эффекты изобретения

В соответствии с настоящим изобретением, возможно облегчить предоставление услуги с высокой частотой ТВ-кадров.

Краткое описание чертежей

Фиг. 1 - вид, показывающий структурную схему, иллюстрирующую типовую конфигурацию системы телевизионной передачи/приема в качестве типового варианта осуществления изобретения;

фиг. 2 - вид, показывающий структурную схему, иллюстрирующую типовую конфигурацию устройства телевизионной передачи, входящего в состав системы телевизионной передачи/приема;

фиг. 3 - вид, показывающий пример иерархической классификации и кодирования изображений;

фиг. 4 - вид, поясняющий позицию расположения иерархической идентификационной информации (temporal_id);

фиг. 5 - вид, поясняющий позицию расположения FPS дескриптора (fps_descriptor);

фиг. 6 - вид, показывающий пример синтаксиса FPS дескриптора;

фиг. 7 - вид, показывающий пример синтаксиса FPS информации (fps_info), вставленной в качестве SEI сообщения в «SEI» часть блока доступа, и пример синтаксиса FPS дескриптора существования (fps_exist_descriptor), расположенного под РМТ;

фиг. 8 - вид, показывающий структурную схему, иллюстрирующую типовую конфигурацию устройства ТВ приема, входящего в состав системы ТВ передачи/приема;

фиг. 9 - вид, показывающий блок-схему, иллюстрирующую пример последовательности операций передачи в случае, когда FPS дескриптор (fps_descriptor) расположен в том же PID и под РМТ;

фиг. 10 - вид, показывающий блок-схему, иллюстрирующую пример последовательности операций приема в случае, когда FPS дескриптор (fps_descriptor) расположен в том же PID и под РМТ;

фиг. 11 - вид, показывающий блок-схему, иллюстрирующую пример последовательности операций передачи в случае добавления FPS информации (fps_info) SEI сообщения в тот же PID;

фиг. 12 - вид, показывающий блок-схему, иллюстрирующую пример последовательности операций приема в случае, когда FPS информацию (fps_info) SEI сообщения добавляют в тот же PID;

фиг. 13 - вид, иллюстрирующий выделение соответствующих слоев в соответствии с различными PID в случае генерирования множества видео потоков, в которых данные изображения содержатся в каждом из множества слоев при кодировании изображений;

фиг. 14 - вид, показывающий пример дескриптора структуры (strucnare_descriptor), расположенного под РМТ;

фиг. 15 - вид, иллюстрирующий пример использования FPS информации (fps_info) SEI сообщения в случае выработки нескольких видео потоков, в которых данные изображения содержатся в каждом из множества слоев при кодировании изображений;

фиг. 16 - вид, показывающий блок-схему, иллюстрирующую пример последовательности операций передачи в случае, когда FPS дескриптор (fps_descriptor) расположен в разных PID и под РМТ;

фиг. 17 - вид, показывающий блок-схему, иллюстрирующую пример последовательности операций приема в случае, когда FPS дескриптор (fps_descriptor) расположен в разных PID и под РМТ;

фиг. 18 - вид, показывающий блок-схему, иллюстрирующую пример последовательности операций передачи в случае добавления FPS информации (fps_info) SEI сообщения в разные PID;

фиг. 19 - вид, показывающий блок-схему, иллюстрирующую пример последовательности операций приема в случае, когда FPS информацию (fys_info) SEI сообщения добавляют в разные PID;

фиг. 20 - вид, показывающий сравнение дополнительной информации для четырех способов: (а) синтаксические правила в одном и том же PID (PES) и в РМТ, (b) синтаксические правила в одном и том же PID (PES) и в SEI, (с) синтаксические правила в различных PID (PES) и в РМТ и (d) синтаксические правила в различных PID (PES) и в SEI;

фиг. 21 - вид, показывающий другой пример иерархической классификации и кодирования изображений;

фиг. 22 - вид, показывающий другой пример иерархической классификации и кодирования изображений;

фиг. 23 - вид, показывающий другой пример иерархической классификации и кодирования изображений.

Осуществление изобретения

Здесь и далее будут описаны варианты осуществления изобретения (здесь и далее называются типовыми вариантами осуществления изобретения). Далее, описание будет приведено в следующем порядке.

1. Типовые варианты осуществления изобретения

2. Типовые модификации

Система ТВ передачи/приема

На фиг. 1 в качестве типового варианта осуществления изобретения показана типовая конфигурация системы 10 телевизионной (ТВ) передачи/приема. Система 10 ТВ передачи/приема содержит устройство 100 ТВ передачи и устройство 200 ТВ приема.

Устройство 100 ТВ передачи передает транспортный поток TS, который служит контейнером для несущей частоты. В транспортном потоке TS данные изображения каждого кадра, который входит в состав данных движущегося изображения, делят на множество слоев и транспортный поток TS включает в себя единственный видео поток, содержащий закодированные данные данных изображений в каждом слое. В этом случае осуществляют кодирование, такое как, например, H.264/AVC, так что кадр, на который ссылаются, принадлежит слою данных изображения, которое ссылается, и/или более низкому слою по сравнению со слоем данных изображения, которое ссылается.

В этом случае, данные изображения каждого кадра, который входит в состав данных движущегося изображения, классифицируют на множество слоев так, что, за исключением самого низкого слоя, количество кадров, принадлежащих каждому слою, совпадает с количеством кадров, принадлежащих всем более низким слоям и, помимо этого, кадры, принадлежащие каждому слою, расположены во временных центрах между кадрами, принадлежащими всем более низким слоям. С такой классификацией, частота ТВ-кадров удваивается каждый раз при увеличении слоя на единицу и, таким образом, на приемной стороне становится возможным легко распознать частоту кадров в каждом слое только по информации о частоте ТВ-кадров для кадров самого низкого слоя.

Для каждого кадра к закодированным данным изображений каждого слоя добавляют идентификационную информацию слоя, предназначенную для идентификации содержащего слоя. В этом типовом варианте осуществления изобретения идентификационная информация слоя (temporal_id) расположена в заголовочной части NAL блока (nal_unit) каждого кадра. В результате такого добавления идентификационной информации слоя, на приемной стороне возможно осуществлять хорошее выборочное извлечение для закодированных данных изображений в заданном слое и более низких слоях.

В транспортный поток TS вставляют информацию о частоте кадров изображений самого низкого слоя и информацию о количестве слоев, указывающую количество слоев. Эту информацию вставляют в транспортный слой или видео слой. Например, эту информацию вставляют в инструкции под элементарным циклом видео под таблицей структуры программы (РМТ). В качестве другого примера, эту информацию вставляют в качестве SEI сообщения в «SEI» часть блока доступа. В результате такой вставки информации о частоте кадров и информации о количестве слоев на приемной стороне становится возможным легко получить эту информацию.

Устройство 200 ТВ приема принимает упомянутый выше транспортный поток TS, переданный устройством 100 ТВ передачи на несущей частоте. Устройство 200 ТВ приема выборочно извлекает и декодирует закодированные данные изображений заданного слоя и более низких слоев из видео потока, содержащегося в транспортном потоке TS, получает данные изображения для каждого кадра и осуществляет воспроизведение изображения. В этом случае скорость воспроизведения изображения, соответствующего декодированным данным изображений для каждого кадра, регулируют с целью соответствия частоте ТВ-кадров для кадров в заданном слое.

Как описано ранее, в транспортный поток TS вставляют информацию о частоте ТВ-кадров кадров самого низкого слоя и информацию о количестве слоев, указывающую количество слоев. В устройство 200 ТВ приема слоем декодирования управляют на основе этой информации и производительности декодирования самого устройства 200 ТВ приема и, помимо этого, управляют скоростью воспроизведения изображений.

Типовая конфигурация устройства ТВ передачи

На фиг. 2 показана типовая конфигурация устройства 100 ТВ передачи. Устройство 100 ТВ передачи содержит секцию 101 подачи данных исходного движущегося изображения, устройство 102 декодирования, секцию 103 иерархической классификации, секцию 104 кодирования изображений, секцию 105 кодирования аудио, секцию 106 мультиплексирования, секцию 107 генерирования дополнительной информации и секцию 108 модуляции/передающей антенны.

В секции 101 подачи данных исходного движущегося изображения извлекают данные исходного движущегося изображения (данные изображения, данные аудио), сохраненные в надлежащем формате профессионального сжатия на таком устройстве, как жесткий магнитный диск (HDD), и подают извлеченные данные исходного движущегося изображения на устройство 102 декодирования. В устройстве 102 декодирования декодируют данные исходного движущегося изображения и подают на выход распакованные данные изображения и распакованные данные аудио.

В секции 103 иерархической классификации классифицируют данные изображения для каждого кадра, входящего в состав данных распакованных данных изображения, на множество слоев. Например, как показано на чертежах, данные изображения классифицируют на три слоя: первый слой, второй слой и третий слой. Здесь в секции 103 иерархической классификации так осуществляют классификацию, что, за исключением самого низкого слоя, количество изображений, принадлежащих каждому слою, совпадает с количеством кадров, принадлежащих всем более низким слоям и, помимо этого, кадры, принадлежащие каждому слою, расположены во временном центре между кадрами, принадлежащими всем более низким слоям.

В секции 104 кодирования изображений кодируют прошедшие классификацию данные изображения для каждого слоя и генерируют видео поток (элементарный видео поток), содержащий закодированные данные изображений каждого слоя. Здесь, в секции 104 кодирования изображений осуществляют кодирование, такое как, например, H.264/AVC, так что изображение, на которое ссылаются, принадлежит слою данных изображения, которое ссылается, и/или более низкому слою по сравнению со слоем данных изображения, которое ссылается.

На фиг. 3 показан пример иерархической классификации и кодирования изображений. Этот пример является примером классификации данных изображения для каждого кадра в трех слоях: от первого слоя до третьего слоя. В этом примере I кадры (внутренние кадры) и Р кадры (изображения для предсказания) принадлежат первому слою. I кадр не ссылается на другой кадр, а Р кадр ссылается только на I кадр или Р кадр. По этой причине первый слой возможно декодировать с помощью кадров только первого слоя.

Кроме того, В кадры (кадры двунаправленного предсказания) расположены в позициях временных центров между соответствующими кадрами в первом слое и выполнены так, что принадлежат второму слою. В кадры второго слоя кодируют так, чтобы ссылаться только на кадры, принадлежащие объединенному слою из второго слоя и/или первого слоя.

В этом примере В кадры второго слоя выполнены так, чтобы ссылаться только на I кадры и Р кадры первого слоя. По этой причине второй слой возможно декодировать с помощью кадров только объединенного первого/второго слоя. Также по сравнению со случаем декодирования только первого слоя, частота ТВ-кадров удваивается, когда декодируют объединенный первый/второй слой.

Кроме того, В кадры расположены в позициях временных центров между соответствующими кадрами в объединенном первом/втором слое и выполнены так, что принадлежат третьему слою. В кадры третьего слоя выполнены так, чтобы ссылаться только на кадры, принадлежащие третьему слою и/или объединенному первому/второму слою. По этой причине третий слой возможно декодировать с помощью кадров только объединенного первого - третьего слоя. Также по сравнению со случаем декодирования только объединенного первого/второго слоя, частота ТВ-кадров удваивается, когда декодируют объединенный первый - третий слой.

На фиг. 3 пунктирными линиями показаны взаимоотношения кадров, заключающиеся в ссылках кадров друг на друга. Р кадр первого слоя ссылается только на непосредственно предшествующие I кадр или Р кадр. В кадр второго слоя ссылается только на непосредственно предшествующий или непосредственно следующий за ним I кадр или Р кадр первого слоя. В кадр третьего слоя ссылается только на непосредственно предшествующий или непосредственно следующий за ним I кадр, Р кадр или В кадр объединенного первого/второго слоя.

Для каждого кадра, в секции 104 кодирования изображений к закодированным данным изображений каждого слоя добавляют идентификационную информацию слоя, предназначенную для идентификации слоя, содержащего кадр. Другими словами, в секции 104 кодирования изображений в заголовочной части NAL блока (nal_unit) каждого изображения располагают идентификационную информацию слоя (temporal_id).

На фиг. 4 показана позиция расположения идентификационной информации слоя (temporal_id). А именно, идентификационную информацию слоя (temporal_id) располагают, например, в SVC расширении заголовка NAL блока (svc расширение заголовка). Кроме того, как показано на фиг. 3, «temporal_id=0» присваивают изображениям, принадлежащим первому слою, «temporal_id=1» присваивают изображениям, принадлежащим второму слою и «temporal_id=2» присваивают изображениям, принадлежащим третьему слою.

В примере с фиг. 3, когда частота ТВ-кадров первого слоя составляет только 30 кадр/сек, частота кадров объединенного первого/второго слоя составляет 60 кадр/сек, а частота кадров объединенного первого-третьего слоя составляет 120 кадр/сек. Также, хотя это не показано на чертежах, возможно аналогично спроектировать четвертый и пятый слои.

Возвращаясь к фиг. 2, в секции 105 кодирования аудио осуществляют кодирование, такое как MPEG-2 аудио или ААС для распакованных аудио данных и генерируют аудио поток (элементарный аудио поток). В секции 106 мультиплексирования осуществляют мультиплексирование элементарных потоков, подаваемых на выход устройством 132 кодирования видео и устройством 133 кодирования аудио. Далее в секции 106 мультиплексирования в качестве транспортных данных подают на выход транспортный поток TS.

В секции 107 генерирования дополнительной информации генерируют и передают в секцию 106 мультиплексирования, информацию о частоте кадров изображений в самом низком слое и информацию о количестве слоев, указывающую количество слоев. В секции 106 мультиплексирования вставляют эту информацию в транспортный слой. Например, в цикле дескриптора под «ES_info_length» таблицы структуры программы (РМТ), в секции 106 мультиплексирования располагают вновь определенный FPS дескриптор (fps_descriptor), указывающий информацию о частоте кадров и информацию о количестве слоев, как показано на фиг. 5. Этот цикл дескриптора является местом, в котором указана информация о характеристиках каждого элементарного потока (elementary_stream). С FPS дескриптором обращаются как с одним дескриптором, содержащимся среди описанного выше.

На фиг. 6 показан пример синтаксиса FPS дескриптора. 8-битовое поле «descriptor_tag» указывает класс дескриптора и здесь указывает на то, что дескриптор является FPS дескриптором. Например, присваивают значение «0×f0», указывающее на неиспользование в настоящее время. 8-битовое поле «descriptor_length» указывает на непосредственно следующий байт длины и здесь значение поля равно «0×02».

8-битовое поле «base» выражает информацию о частоте ТВ-кадров кадров в самом низком слое или, другими словами, информацию о частоте ТВ-кадров первого слоя. Например, в случае 30 кадр/сек, как в показанном на фиг. 3 примере, значение равно «0×1е», что означает 30. 8-битовое поле «шах» выражает информацию о количестве слоев, указывающую количество слоев. Например, в случае слоев до третьего слоя, как в показанном на фиг. 3 примере, значение равно «0×03», что означает 3.

Таким образом, путем добавления FPS дескриптора на стороне передачи (сторона кодирования), воспроизведение с отбором кадров становится легким на приемной стороне (сторона декодирования). Другими словами, из указанного содержимого FPS дескриптора становится известным, что частота ТВ-кадров составляет 30 кадр/сек только с одним слоем, 60 кадр/сек с объединенным первым/вторым слоем и 120 кадр/сек с объединенным первым-третьим слоем. Например, если производительность декодирования на приемной стороне доходит до максимума в 60 кадр/сек, то из этой информации известно, что объединенный первый/второй слой возможно декодировать. Дополнительно, известно, что достаточно декодировать изображения с «temporal_id=0» и «temporal_id=1». Также известно, что достаточно воспроизводить декодированные кадры при 60 кадр/сек.

Заметим, что также возможна вставка в видео слой информации о частоте ТВ-кадров и информации о количестве слоев, например, вставка SEI сообщения в «SEI» часть блока доступа. В этом случае в секции 107 генерирования дополнительной информации передают эту информацию в секцию 104 кодирования изображений, как указано пунктирной линией. Как показано на фиг. 7(b), в секции 104 кодирования изображений вставляют FPS информацию (fps_info), в том числе «base» и «шах» информацию как «fps_info SEI сообщение» в «SEI» часть блока доступа.

В случае такого использования SEI сообщения, в секции 106 мультиплексирования вставляют идентификационную информацию, указывающую на существование такого SEI сообщения в транспортном слое. Например, в цикле дескриптора под «ES_info_length» таблицы структуры программы (РМТ), в секции 106 мультиплексирования располагают вновь определенный FPS дескриптор существования (fps_exist_descriptor), как показано на фиг. 7(a).

8-битовое поле «descriptor_tag» указывает класс дескриптора и здесь указывает на то, что дескриптор является FPS дескриптором существования. Например, присваивают значение «0×F2», указывающее на неиспользование в настоящее время. 8-битовое поле «descriptor_length» указывает на непосредственно следующий байт длины и здесь значение поля равно «0×01». 8-битовое поле «fps_exist» указывает на существование SEI сообщения со вставленной FPS информацией (fps_info). Например, «fps_exist=0» указывает на то, что не существует SEI сообщения, a «fps_exist=1» указывает на существование SEI сообщения.

Таким образом, путем добавления FPS дескриптора существования на стороне передачи (сторона кодирования), на приемной стороне (сторона декодирования) знают о существовании SEI сообщения со вставленной FPS информацией (fps_info), которая содержит информацию о частоте кадров и информацию о количество слоев. Если FPS дескриптор существования указывает на существование SEI сообщения, то на приемной стороне (стороне декодирования) извлекают fps_info и могут знать из содержащихся внутри значений «base» и «max», какие изображения обладают «temporal_id», которые должны быть декодированы на приемной стороне (сторона декодирования). На основе этого, на приемной стороне (стороне декодирования) декодируют изображения с нужным «temporal_id».

Возвращаясь к фиг. 2, в секции 108 модуляции/передающей антенны модулируют транспортный поток TS в соответствии со схемой модуляции, подходящей для широковещательной передачи, такой как QPSK/OFDM. Далее в секции 108 модуляции/передающей антенны передают РЧ модулированный сигнал для передающей антенны.

Будут описаны операции устройства 100 ТВ передачи, показанного на фиг. 2. Данные исходного движущегося изображения (данные изображения, аудио данные), сохраненные в надлежащим формате профессионального сжатия, подают из секции 101 подачи данных исходного движущегося изображения в устройство 102 декодирования. В устройстве 102 декодирования декодируют данные исходного движущегося изображения и получают распакованные данные изображения и распакованные аудио данные.

Распакованные данные изображения, полученные устройством 102 декодирования, подают в секцию 103 иерархической классификации. В секции 103 иерархической классификации классифицируют данные изображения каждого кадра, входящего в состав распакованных данных изображения, на множество слоев. В этом случае, кадры классифицируют так, что, за исключением самого низкого слоя, количество кадров, принадлежащих каждому слою, совпадает с количеством кадров, принадлежащих всем более низким слоям и, помимо этого, кадры, принадлежащие каждому слою, расположены во временном центре между изображениями, принадлежащими всем более низким слоям (фиг. 3).

Данные изображения каждого слоя, таким образом иерархически классифицированные, подают в секцию 104 кодирования изображений. В секции 104 кодирования изображений кодируют классифицированные данные изображений каждого слоя и генерируют видео поток (элементарный видео поток), содержащий закодированные данные изображения каждого слоя. В этом случае осуществляют кодирование, такое как H.264/AVC, так что кадр, на который ссылаются, принадлежит слою данных изображения, которое ссылается, и/или более низкому слою по сравнению со слоем данных изображения, которое ссылается.

В этом случае, для каждого кадра, в секции 104 кодирования изображений к закодированным данным изображений каждого слоя добавляют идентификационную информацию слоя, предназначенную для идентификации слоя, содержащего кадр. Другими словами, в секции 104 кодирования изображений располагают идентификационную информацию слоя (temporal_id) в заголовочной части NAL блока (nal_unit) каждого кадра (смотри фиг. 4).

Кроме того, распакованные аудио данные, полученные устройством 102 декодирования, подают в секцию 105 кодирования аудио. В секции 105 кодирования аудио осуществляют кодирование, такое как MPEG-2 аудио или ААС, для распакованных аудио данных и генерируют аудио поток (элементарный аудио поток).

Видео поток, сгенерированный в секции 104 кодирования изображений, и аудио поток, сгенерированный в секции 105 кодирования аудио, подают в секцию 106 мультиплексирования. В секции 106 мультиплексирования элементарные потоки мультиплексируют и в качестве транспортных данных получают транспортный поток TS. В секции 106 мультиплексирования генерируют информацию о частоте ТВ-кадров для изображений в самом низком слое и информацию о количестве слоев, указывающую количество слоев, и добавляют упомянутую информацию в транспортный слой (слой-контейнер). Например, в секции 106 мультиплексирования FPS дескриптор (fps_descriptor), указывающий информацию о частоте кадров и информацию о количестве слоев, располагают в цикле дескриптора под «ES_info_length» таблицы структуры программы (РМТ) (смотри фиг. 5 и 6).

Заметим, что информация о частоте кадров и информация о количестве слоев также может быть вставлена в видео слой, например, SEI сообщение в «SEI» части блока доступа. В этом случае, FPS информацию (fps_info), в том числе упомянутую информацию, вставляют в качестве «fps_info SEI сообщение» в «SEI» часть блока доступа (смотри фиг. 7(b)). Далее, в этом случае идентификационную информацию, идентифицирующую существование SEI сообщения, вставляют в транспортный слой (слой-контейнер). Например, в секции 106 мультиплексирования FPS дескриптор существования (fps_exist_descriptor), располагают в цикле дескриптора под «ES_info_length» таблицы структуры программы (РМТ) (смотри фиг. 7(a)).

Транспортный поток TS, сгенерированный в секции 106 мультиплексирования, пересылают в секцию 108 модуляции/передающей антенны. В секции 108 модуляции/передающей антенны транспортный поток TS модулируют в соответствии со схемой модуляции, подходящей для широковещательной передачи, такой как QPSK/OFDM, и генерируют РЧ модулированный сигнал. Далее, в секции 108 модуляции/передающей антенны РЧ модулированный сигнал передают с помощью передающей антенны.

Типовая конфигурация устройства ТВ приема

На фиг. 8 показана типовая конфигурация устройства 200 ТВ приема. Устройство 200 ТВ приема содержит секцию 201 приемной антенны/демодуляции, секцию 202 демультиплексирования, секцию 203 управления, секцию 204 декодирования изображений, секцию 205 регулировки скорости воспроизведения, секцию 206 показа изображения, секцию 207 декодирования аудио и секцию 208 вывода аудио.

В секции 201 приемной антенны/демодуляции демодулируют РЧ модулированный сигнал, принятый приемной антенной, и получают транспортный поток TS. В секции 202 демультиплексирования соответственно из транспортного потока TS извлекают видео поток и аудио поток. В видео потоке данные изображения каждого кадра, входящие в состав данных движущегося изображения, классифицируют на множество слоев, в которых данные изображения так кодируют, что кадр, на который ссылаются, принадлежит слою данных изображения, которое ссылается, и/или более низкому слою по сравнению со слоем данных изображения, которое ссылается.

Кроме того, в секции 202 демультиплексирования извлекают и передают в секцию 203 управления различную информацию, вставленную в транспортный слой (слой-контейнер) транспортного потока TS. На этом этапе также извлекают FPS дескриптор (fps_descriptor), расположенный в цикле дескриптора под «ES_info_length» таблицы структуры программы (РМТ). В FPS дескрипторе указана информация о частоте ТВ-кадров кадров самого низкого слоя и информация о количестве слоев, указывающая количество слоев.

В качестве альтернативы, если информацию о частоте ТВ-кадров и информацию о количестве слоев вставляют в видео слой, например, SEI сообщение в «SEI» части блока доступа, то можно извлечь FPS дескриптор существования (fps_exist_descriptor), расположенный в цикле дескриптора под «ES_info_length» таблицы структуры программы (РМТ).

В секции 204 декодирования изображений выборочно извлекают и декодируют закодированные данные изображений заданного слоя и более низких слоев из видео потока, полученного демультиплексированием в секции 202 демультиплексирования, и получают данные изображения для каждого кадра. На этом этапе в секции 204 декодирования изображений извлекают и декодируют закодированные данные изображений кадров в нужном слое, что делают на основе идентификационной информации слоя (temporal_id), расположенной в заголовочной части NAL блока каждого кадра. В секции 205 регулировки скорости воспроизведения регулируют скорость воспроизведения изображения, в соответствии с декодированными данными изображений для каждого кадра, что делают с целью соответствия частоте ТВ-кадров для кадров в заданном слое. Другими словами, в секции 205 регулировки скорости воспроизведения последовательно подают на выход декодированные данные изображений для каждого кадра с целью соответствия частоте ТВ-кадров (скорости ТВ-кадров) для кадров в заданном слое.

В секции 203 управления управляют работой каждой части устройства 200 ТВ приема. В секции 203 управления управляют декодируемым слоем путем передачи в секцию 204 декодирования изображений информации о декодируемом слое, которая определяет заданный слой и более низкие слои, подлежащие декодированию. Кроме того, в секции 203 управления управляют скоростью воспроизведения изображения путем передачи в секцию 205 регулировки скорости воспроизведения информации о скорости воспроизведения, соответствующей частоте кадров изображений в заданном слое, например, передают сигнал синхронизации.

В секции 203 управления управляют декодируемым слоем в секции 204 декодирования изображений и скоростью воспроизведения изображения в секции 205 регулировки скорости воспроизведения на основе информации о частоте кадров, информации о количестве слоев и производительности декодирования самого устройства 200 ТВ приема. Например, рассмотрим случай FPS дескриптора (fps_descriptor), с содержимым, показанным на фиг. 6.

В этом случае, секция 203 управления знает, что частота ТВ-кадров составляет 30 кадр/сек только с первым слоем, 60 кадр/сек с объединенным первым/вторым слоем и 120 кадр/сек с объединенным первым-третьим слоем. Кроме того, если способность декодирования самого устройства 200 ТВ приема доходит до максимума в 60 кадр/сек, то из этой информации секции 203 управления известно, что возможно декодировать до объединенного первого/второго слоя. Дополнительно, секции 203 управления известно, что достаточно декодировать изображения с «temporal_id=0» и «temporal_id=1». Также секции 203 управления известно, что достаточно воспроизводить декодированные изображения при 60 кадр/сек.

Секция 206 отображения изображений выполнена в виде устройства отображения, такого как жидкокристаллический дисплей (LCD). В секции 206 отображения изображений отображают изображения, в соответствии с данными изображения для каждого кадра, поданного на выход из секции 205 регулировки скорости воспроизведения. В секции 207 декодирования аудио осуществляют декодирование аудио потока, прошедшего демультиплексирование в секции 202 демультиплексирования, и получают аудио данные, соответствующие данным изображения, полученным в секции 204 декодирования изображений. Секция 208 вывода аудио выполнена из таких компонентов, как усилитель и колонки. В секции 208 вывода аудио подают на выход аудио, соответствующее аудио данным, поданным на выход из секции 207 декодирования аудио.

Далее будет описана работа устройства 200 ТВ приема, показанного на фиг. 8. В секции 201 приемной антенны/демодуляции демодулируют РЧ модулированный сигнал, принятый приемной антенной, и получают транспортный поток TS. Этот транспортный поток TS подают в секцию 202 демультиплексирования. В секции 202 демультиплексирования из транспортного потока TS извлекают соответственно видео поток и аудио поток. Здесь, в видео потоке данные изображения каждого кадра, входящие в состав данных движущегося изображения, классифицируют на множество слоев, в которых данные изображения так кодируют, что кадр, на который ссылаются, принадлежит слою данных изображения, которое ссылается, и/или более низкому слою по сравнению со слоем данных изображения, которое ссылается.

Кроме того, в секции 202 демультиплексирования извлекают и передают в секцию 203 управления различную информацию, вставленную в транспортный слой (слой-контейнер) транспортного потока TS. На этом этапе также извлекают FPS дескриптор (fps_descriptor), расположенный в цикле дескриптора под «ES_info_length» таблицы структуры программы (РМТ). В FPS дескрипторе указана информация о частоте ТВ-кадров изображений самого низкого слоя и информация о количестве слоев, указывающая количество слоев.

В секции 203 управления определяют до какого слоя возможно декодирование, что делают на основе информации о частоте ТВ-кадров, информации о количестве слоев и производительности декодирования самого устройства 200 ТВ приема. Кроме того, с помощью этой секции 203 управления управляют декодируемым слоем в секции 204 декодирования изображений и управляют скоростью воспроизведения изображения в секции 205 регулировки скорости воспроизведения.

Видео поток, прошедший демультиплексирование в секции 202 демультиплексирования, подают в секцию 204 декодирования изображений. В секции 204 декодирования изображений под управлением секции 203 управления закодированные данные изображений в заданном слое и более низких слоях выборочно извлекают и декодируют из видео потока и последовательно получают данные изображения для каждого кадра. Данные изображения для каждого кадра, таким образом декодированные, подают в секцию 205 регулировки скорости воспроизведения.

В секции 205 регулировки скорости воспроизведения под управлением секции 203 управления так регулируют скорость воспроизведения изображения в соответствии с данными изображения для каждого изображения, чтобы соответствовать частоте кадров для изображений в заданном слое. Другими словами, из секции 205 регулировки скорости воспроизведения последовательно подают на выход данные изображения для каждого изображения с целью соответствия частоте кадров для изображений в заданном слое. Данные изображения подают в секцию 206 показа изображения и показывают изображения, соответствующие данным изображения для каждого изображения в заданном слое и более низких слоях.

Также аудио поток, прошедший демультиплексирование в секции 202 демультиплексирования, подают в секцию 207 декодирования аудио. В секции 207 декодирования аудио осуществляют декодирование аудио потока и получают аудио данные, соответствующие данным изображения, полученным в секции 204 декодирования изображений. Аудио данные подают в секцию 208 вывода аудио и подают на выход аудио, соответствующие показанным изображениям.

На блок-схеме с фиг. 9 показан пример последовательности операций передачи для устройства 100 ТВ передачи, проиллюстрированного на фиг. 2, в случае, когда FPS дескриптор (fps_descriptor) располагают под РМТ. Заметим, что в устройстве 100 ТВ передачи, показанном на фиг. 2, в секции 104 кодирования изображений генерируют единственный видео поток, содержащий закодированные данные изображений для изображений в соответствующих слоях, как описано ранее.

Сначала, на этапе ST1, в устройстве 100 ТВ передачи начинают процесс передачи. Далее, на этапе ST2, в устройстве 100 ТВ передачи декодируют данные исходного движущегося изображения и генерируют распакованные данные изображения и аудио данные.

Затем, на этапе ST3, в устройстве 100 ТВ передачи классифицируют данные изображения для каждого изображения на множество слоев. В этом случае, кадры (ТВ-кадры) делят на два и каждый второй вставляют в третий слой. Кроме того, другие кадры (ТВ-кадры) снова делят на два и каждый второй вставляют во второй слой, а оставшееся вставляют в первый слой.

Затем, на этапе ST4, в устройстве 100 ТВ передачи кодируют данные изображения для каждого изображения, прошедшего иерархическую классификацию. В этом случае кодируют первый слой. В этом случае ссылки сделаны возможными только в рамках первого слоя. Также кодируют второй слой. В этом случае ссылки сделаны возможными в рамках первого и второго слоев. Также кодируют третий слой. В этом случае ссылки сделаны возможными в рамках первого, второго и третьего слоев. На этом этапе в устройстве 100 ТВ передачи располагают идентификационную информацию слоя (temporal_id) в заголовочной части NAL блока (nal_unit) каждого изображения.

Далее, на этапе ST5, в устройстве 100 ТВ передачи кодируют аудио данные. Далее, на этапе ST6, в устройстве 100 ТВ передачи генерируют FPS дескриптор (fps_descriptor) и РМТ, содержащую FPS дескриптор.

Далее, на этапе ST7 в устройстве 100 ТВ передачи мультиплексируют закодированные данные изображений, аудио данные и РМТ в транспортный поток TS. Затем, на этапе ST8 в устройстве 100 ТВ передачи модулируют и передают транспортный поток TS. После этого, на этапе ST9, в устройстве 100 ТВ передачи заканчивают процесс.

На блок-схеме с фиг. 10 показан пример последовательности операций приема для устройства 200 ТВ приема, проиллюстрированного на фиг. 8, в случае, когда FPS дескриптор (fps_descriptor) располагают в цикле дескриптора под «ES_info_length» РМТ. Эта последовательность операций приема соответствует последовательности операций передачи, показанной на блок-схеме с фиг. 9, рассмотренной выше.

Сначала, на этапе ST11, в устройстве 200 ТВ приема начинают процесс приема. Далее, на этапе ST12, в устройстве 200 ТВ приема принимают и демодулируют РЧ модулированный сигнал (широковещательный сигнал) и получают транспортный поток TS.

Далее, на этапе ST13, в устройстве 200 ТВ приема извлекают из транспортного потока TS данные изображения, аудио данные и РМТ. Далее, на этапе ST14, в устройстве 200 ТВ приема извлекают FPS дескриптор (fps_descriptor) из РМТ, сравнивают FPS дескриптор с производительностью декодирования самого устройства 200 ТВ приема и решают, какой слой декодировать.

Далее, на этапе ST15, в устройстве 200 ТВ приема декодируют данные изображений слоя, выбранного на этапе ST14. Затем, осуществляют воспроизведение с подходящей скоростью воспроизведения из содержимого FPS дескриптора (fps_descriptor). Кроме того, на этапе ST16, в устройстве 200 ТВ приема декодируют и воспроизводят аудио данные. После этого, на этапе ST17, в устройстве 200 ТВ приема заканчивают процесс.

На блок-схеме с фиг. 11 показан пример последовательности операций передачи для устройства 100 ТВ передачи, проиллюстрированного на фиг. 2, в случае добавления FPS информации (fps_info) SEI сообщения. Заметим, что в устройстве 100 ТВ передачи, показанном на фиг. 2, в секции 104 кодирования изображений вырабатывают единственный видео поток, содержащий закодированные данные изображений в соответствующих слоях, как описано ранее.

Сначала, на этапе ST21, в устройстве 100 ТВ передачи начинают процесс передачи. Далее, на этапе ST22, в устройстве 100 ТВ передачи декодируют данные исходного движущегося изображения и генерируют распакованные данные изображения и аудио данные.

Затем, на этапе ST23, в устройстве 100 ТВ передачи классифицируют данные изображения для каждого кадра на множество слоев. В этом случае, кадры (ТВ-кадры) делят на два и каждый второй вставляют в третий слой. Кроме того, другие кадры (ТВ-кадры) снова делят на два и каждый второй вставляют во второй слой, а оставшееся вставляют в первый слой.

Затем, на этапе ST24, в устройстве 100 ТВ передачи кодируют данные изображения для каждого изображения, прошедшего иерархическую классификацию. В этом случае кодируют первый слой. В этом случае ссылки возможны только в рамках первого слоя. Также кодируют второй слой. В этом случае ссылки возможны в рамках первого и второго слоев. Также кодируют третий слой. В этом случае ссылки возможны в рамках первого, второго и третьего слоев. На этом этапе в устройстве 100 ТВ передачи располагают идентификационную информацию слоя (temporal_id) в заголовочной части NAL блока (nal_unit) каждого изображения. Кроме того, в устройстве 100 ТВ передачи добавляют FPS информацию (fps_info) SEI сообщения.

Далее, на этапе ST25, в устройстве 100 ТВ передачи кодируют аудио данные. Далее, на этапе ST26, в устройстве 100 ТВ передачи генерируют FPS дескриптор существования (fps_exist_descriptor) и РМТ, содержащую FPS дескриптор существования.

Далее, на этапе ST27, в устройстве 100 ТВ передачи мультиплексируют закодированные данные изображений, аудио данные и РМТ в транспортный поток TS. Затем, на этапе ST28, в устройстве 100 ТВ передачи модулируют и передают транспортный поток TS. После этого, на этапе ST29, в устройстве 100 ТВ передачи заканчивают процесс.

На блок-схеме с фиг. 12 показан пример последовательности операций приема для устройства 200 ТВ приема, проиллюстрированного на фиг. 8, в случае добавления FPS информации (fps_info) SEI сообщения. Эта последовательность операций приема соответствует последовательности операций передачи, показанной на блок-схеме с фиг. 11, рассмотренной выше.

Сначала, на этапе ST31, в устройстве 200 ТВ приема начинают процесс приема. Далее, на этапе ST32, в устройстве 200 ТВ приема принимают и демодулируют РЧ модулированный сигнал (широковещательный сигнал) и получают транспортный поток TS.

Далее, на этапе ST33 в устройстве 200 ТВ приема извлекают из транспортного потока TS данные изображения, аудио данные и РМТ. На этапе ST34 в устройстве 200 ТВ приема извлекают из РМТ FPS дескриптор существования (fps exist descriptor) и смотрят на «fps_exist». Далее на этапе ST35 в устройстве 200 ТВ приема решают, верно или нет, что «fps_exist=1».

Если «fps_exist=1», то на этапе ST36 в устройстве 200 ТВ приема извлекают FPS информацию (fps_info) SEI сообщения, сравнивают FPS информацию с производительностью декодирования самого устройства 200 ТВ приема и решают, какой слой декодировать. На этапе ST37, в устройстве 200 ТВ приема декодируют данные изображений слоя, выбранного на этапе ST36. Затем, осуществляют воспроизведение с подходящей скоростью воспроизведения из содержимого FPS информации (fps_info). Кроме того, на этапе ST38, в устройстве 200 ТВ приема декодируют и воспроизводят аудио данные. После этого, на этапе ST39, в устройстве 200 ТВ передачи заканчивают процесс.

Также, когда «fps_exist=0» на этапе ST35, то на этапе ST40 в устройстве 200 ТВ приема обычным образом декодируют и воспроизводят данные изображения. Кроме того, на этапе ST38, в устройстве 200 ТВ приема декодируют и воспроизводят аудио данные. После этого, на этапе ST39, в устройстве 200 ТВ передачи заканчивают процесс.

Как описано выше, в системе 10 ТВ передачи/приема, показанной на фиг. 1, данные изображения каждого кадра, входящего в состав данных движущегося изображения, классифицируют на множество слоев и передают видео поток, содержащий закодированные данные изображений каждого слоя. По этой причине на стороне передачи, путем простой передачи одной программы или одного файла может быть обеспечено предоставление услуги поддержки различных частот ТВ-кадров и становится возможным уменьшение операционных затрат.

Между тем, на приемной стороне, закодированные данные изображений в заданном слое или более низких слоях могут быть выборочно извлечены и декодированы, что позволяет воспроизводить с частотой ТВ-кадров, подходящей для производительности воспроизведения самой приемной стороны, тем самым оказывая эффективное содействие адаптации устройств приема. Здесь данные изображения кодируют так, что кадр, на который ссылаются, принадлежит слою данных изображения, которое ссылается, и/или более низкому слою по сравнению со слоем данных изображения, которое ссылается, и в устройстве приема производительность воспроизведения на самой приемной стороне может быть эффективно использована без необходимости декодировать слои, более высокие по сравнению с заданным слоем.

Также в системе 10 ТВ передачи/приема, показанной на фиг. 1, в секции 104 кодирования изображений генерируют единственный видео поток, содержащий закодированные данные изображений каждого слоя, и для каждого кадра к закодированным данным изображений каждого слоя добавляют идентификационную информацию слоя (temporal_id) для идентификации слоя, содержащего кадр. По этой причине, на приемной стороне возможно осуществить хорошее выборочное извлечение закодированных данных изображений в заданном слое или более низких слоях на основе идентификационной информации слоя.

Также в системе 10 ТВ передачи/приема, показанной на фиг. 1, в секции 103 иерархической классификации данные изображения каждого кадра, входящие в состав данных движущегося изображения, классифицируют на множество слоев так, что, за исключением самого низкого слоя, количество кадров, принадлежащих каждому слою, совпадает с количеством кадров, принадлежащих всем более низким слоям и, помимо этого, кадры, принадлежащие каждому слою, расположены во временном центре между кадрами, принадлежащими всем более низким слоям. По этой причине частота ТВ-кадров удваивается каждый при увеличении слоя на единицу и, таким образом, на приемной стороне становится возможным легко распознать частоту ТВ-кадров в каждом слое только по информации о частоте ТВ-кадров для кадров самого низкого слоя.

Также в системе 10 ТВ передачи/приема, показанной на фиг. 1, информацию о частоте ТВ-кадров для кадров в самом низком слое и информацию о количестве слоев, указывающую количество слоев, вставляют в слой-контейнер (транспортный слой) или видео слой. По этой причине, на приемной стороне становится возможно легко получить информацию о частоте ТВ-кадров изображений в самом низком слое и информацию о количестве слоев, указывающую количество слоев.

2. Модификации

Пример других PID

Заметим, что вышеприведенные варианты осуществления изобретения иллюстрируют пример, в котором в секции 104 кодирования изображений генерируют единственный видео поток, содержащий закодированные данные изображений каждого слоя, или, другими словами, пример одного PID. Тем не менее, в секции 104 кодирования изображений также возможно обеспечить множество видео потоков, содержащих данные изображения каждого из множества слоев, которые будут сгенерированы.

В этом случае, как показано на фиг. 13, каждому слою присваивают разные PID. Соответственно разные PID присваивают при мультиплексировании NAL блоков каждого слоя, который разделен при иерархическом разделении на слои видео слоя на пакеты транспортных потоков. По сравнению со случаем вставки всех слоев в один и тот же PID, как в рассмотренном выше варианте осуществления изобретения, существуют различия, которые будут описаны далее.

- Случай одного PID

(a) На приемной стороне (сторона декодирования) получают только пакеты TS одного PID.

(b) Анализируют заголовок nal, «temporal_id» определяют и декодируют только nal блоки с требуемым «temporal_id».

- Случай разных PID

(a) На приемной стороне (сторона декодирования) получают только пакеты TS множества PID.

(b) Декодируют все nal блоки в полученных TS пакетах различных PID. «temporal_id» может как существовать, так и не существовать.

В случае различных PID, дескриптор структуры (structure_descriptor) располагают в цикле дескриптора, например, под «program_info_length» РМТ. На фиг. 14 показан пример синтаксиса дескриптора структуры. 8-битовое поле «descriptor_tag» указывает класс дескриптора и здесь указывает на то, что дескриптор является дескриптором структуры. Например, присваивают значение «0×f1», указывающее на неиспользование в настоящее время. 8-битовое поле «descriptor_length» указывает непосредственно следующую длину в байтах.

8-битовое поле «base» выражает информацию о частоте ТВ-кадров изображений в самом низком слое или, другими словами, информацию о частоте ТВ-кадров первого слоя. Например, в случае 30 кадр/сек, как в показанном на фиг. 13 примере, значение равно «0×1е», что означает 30. 8-битовое поле «шах» выражает информацию о количестве слоев, указывающую количество слоев. Например, в случае слоев до третьего слоя, как в показанном на фиг. 13 примере, значение равно «0×03», что означает 3.

Внутри цикла указаны PID, присвоенные каждому слою (layer_PID). Порядок инструкций является последовательным, начиная, например, с первого слоя. На стороне декодирования, TS пакеты, для которых должны быть получены PID, известны из значения «base» и перечисленных PID.

Кроме того, также возможно предусмотреть использование FPS информации (fps_info) SEI сообщения, показанного на фиг. 15(b), с различными PID. В этом случае дескриптор структуры (stracture_descriptor), показанный на фиг. 15(a), располагают в цикле дескриптора под «program_info_length». На приемной стороне (сторона декодирования) получают TS пакеты PID первого слоя, указанные в начале цикла for дескриптора структуры, и извлекают SEI сообщение, то есть FPS информацию (fps_info). Слой, который должен быть декодирован, выбирают по значению «base», PID TS пакетов, которые должны быть получены, определяют из «layer_PID» дескриптора структуры и получают и декодируют нужные TS пакеты.

На блок-схеме 16 показан пример последовательности операций передачи для случая, в котором в устройстве 100 ТВ передачи кодируют данные изображения для каждого слоя в различных PID и FPS дескриптор (structure_descriptor) располагают под РМТ.

Сначала, на этапе ST51, в устройстве 100 ТВ передачи начинают процесс передачи. Далее, на этапе ST52, в устройстве 100 ТВ передачи декодируют данные исходного движущегося изображения и генерируют распакованные данные изображения и аудио данные.

Затем, на этапе ST53, в устройстве 100 ТВ передачи классифицируют данные изображения для каждого изображения на множество слоев. В этом случае, кадры (ТВ-кадры) делят на два и каждый второй вставляют в третий слой. Кроме того, другие кадры (ТВ-кадры) снова делят на два и каждый второй вставляют во второй слой, а оставшееся вставляют в первый слой.

Затем, на этапе ST54, в устройстве 100 ТВ передачи кодируют данные изображения для каждого изображения, прошедшего иерархическую классификацию. Кодируют первый слой. В этом случае ссылки возможны только в рамках первого слоя. Также кодируют второй слой. В этом случае ссылки возможны в рамках первого и второго слоев. Также кодируют третий слой. В этом случае ссылки возможны в рамках первого, второго и третьего слоев.

Далее, на этапе ST55, в устройстве 100 ТВ передачи кодируют аудио данные. Далее, на этапе ST56, в устройстве 100 ТВ передачи генерируют дескриптор структуры (structure_descriptor) и РМТ, содержащую FPS дескриптор структуры.

Далее, на этапе ST57, в устройстве 100 ТВ передачи мультиплексируют закодированные данные изображений, аудио данные и РМТ в транспортный поток TS. Затем, в устройстве 100 ТВ передачи мультиплексируют данные изображения с различными PID для каждого слоя. Затем, на этапе ST58, в устройстве 100 ТВ передачи модулируют и передают транспортный поток TS. После этого, на этапе ST59, в устройстве 100 ТВ передачи заканчивают процесс.

На блок-схеме 17 показан пример последовательности операций приема для устройства 200 ТВ приема, показанного на фиг. 8, в случае, когда кодируют данные изображения для каждого слоя с различными PID и дескриптор структуры (stracture_descriptor) располагают под РМТ. Эта последовательность операций приема соответствует последовательности операций передачи, показанной на блок-схеме с фиг. 16, рассмотренной выше.

Сначала, на этапе ST61, в устройстве 200 ТВ приема начинают процесс приема. Далее, на этапе ST62, в устройстве 200 ТВ приема принимают и демодулируют РЧ модулированный сигнал (широковещательный сигнал) и получают транспортный поток TS.

Далее, на этапе ST63 в устройстве 200 ТВ приема извлекают из транспортного потока TS данные изображения, аудио данные и РМТ. Далее, на этапе ST64, в устройстве 200 ТВ приема извлекают дескриптор структуры (stracture_descriptor) из РМТ, сравнивают дескриптор структуры с производительностью декодирования самого устройства 200 ТВ приема и решают, какой слой декодировать.

Далее, на этапе ST65, в устройстве 200 ТВ приема декодируют из TS пакетов для каждого PID данные изображений слоя, выбранного на этапе ST64. Затем, осуществляют воспроизведение с подходящей скоростью воспроизведения из содержимого дескриптора структуры (stracture_descriptor). Кроме того, на этапе ST66, в устройстве 200 ТВ приема декодируют и воспроизводят аудио данные. После этого, на этапе ST67, в устройстве 200 ТВ приема заканчивают процесс.

На блок-схеме 18 показан пример последовательности операций передачи для случая, в котором в устройстве 100 ТВ передачи кодируют данные изображения для каждого слоя с различными PID и добавляют FPS информацию (fps_info) SEI сообщения.

Сначала, на этапе ST71, в устройстве 100 ТВ передачи начинают процесс передачи. Далее, на этапе ST72, в устройстве 100 ТВ передачи декодируют данные исходного движущегося изображения и генерируют распакованные данные изображения и аудио данные.

Затем, на этапе ST73, в устройстве 100 ТВ передачи классифицируют данные изображения для каждого кадра на множество слоев. В этом случае, кадры (ТВ-кадры) делят на два и каждый второй вставляют в третий слой. Кроме того, другие кадры (ТВ-кадры) снова делят на два и каждый второй вставляют во второй слой, а оставшееся вставляют в первый слой.

Затем, на этапе ST74, в устройстве 100 ТВ передачи кодируют данные изображения для каждого изображения, прошедшего иерархическую классификацию. Кодируют первый слой. В этом случае ссылки возможны только в рамках первого слоя. Также кодируют второй слой. В этом случае ссылки возможны в рамках первого и второго слоев. Также кодируют третий слой. В этом случае ссылки возможны в рамках первого, второго и третьего слоев. На этом этапе в устройстве 100 ТВ передачи добавляют FPS информацию (fps_info) SEI сообщения.

Далее, на этапе ST75, в устройстве 100 ТВ передачи кодируют аудио данные. Далее, на этапе ST76, в устройстве 100 ТВ передачи генерируют дескриптор структуры (stracture_descriptor) и РМТ, содержащую FPS дескриптор структуры.

Далее, на этапе ST77, в устройстве 100 ТВ передачи мультиплексируют закодированные данные изображений, аудио данные и РМТ в транспортный поток TS. Затем, в устройстве 100 ТВ передачи мультиплексируют данные изображения с различными PID для каждого слоя. Затем, на этапе ST78, в устройстве 100 ТВ передачи модулируют и передают транспортный поток TS. После этого, на этапе ST79, в устройстве 100 ТВ передачи заканчивают процесс.

На блок-схеме 19 показан пример последовательности операций приема для устройства 200 ТВ приема, показанного на фиг. 8, в случае, когда кодируют данные изображения для каждого слоя с различными PID и добавляют FPS информацию (fps_info) SEI сообщения. Эта последовательность операций приема соответствует последовательности операций передачи, показанной на блок-схеме с фиг. 18, рассмотренной выше.

Сначала, на этапе ST81, в устройстве 200 ТВ приема начинают процесс приема. Далее, на этапе ST82, в устройстве 200 ТВ приема принимают и демодулируют РЧ модулированный сигнал (широковещательный сигнал) и получают транспортный поток TS.

Далее, на этапе ST83 в устройстве 200 ТВ приема извлекают из транспортного потока TS данные изображения, аудио данные и РМТ. На этапе ST84 в устройстве 200 ТВ приема извлекают дескриптор структуры (stracture_descriptor) из РМТ Далее на этапе ST85 в устройстве 200 ТВ приема решают, существует ли дескриптор структуры.

Если дескриптор структуры существует, то на этапе ST86 в устройстве 200 ТВ приема извлекают FPS информацию (fps info), добавленную в качестве SEI сообщения, сравнивают FPS информацию с производительностью декодирования самого устройства 200 ТВ приема и решают, какой слой декодировать. На этапе ST77, в устройстве 200 ТВ приема декодируют из TS пакетов для каждого PID данные изображений слоя, выбранного на этапе ST76. Затем, осуществляют воспроизведение с подходящей скоростью воспроизведения из содержимого FPS информации (fys_info). Кроме того, на этапе ST88, в устройстве 200 ТВ приема декодируют и воспроизводят аудио данные. После этого, на этапе ST89, в устройстве 200 ТВ передачи заканчивают процесс.

Также, когда дескриптора структуры не существует на этапе ST85, то на этапе ST90 в устройстве 200 ТВ приема обычным образом декодируют и воспроизводят данные изображения. Кроме того, на этапе ST88, в устройстве 200 ТВ приема декодируют и воспроизводят аудио данные. После этого, на этапе ST89, в устройстве 200 ТВ передачи заканчивают процесс.

На фиг. 20 показано сравнение дополнительной информации для упомянутых выше четырех способов: (а) синтаксические правила в одном и том же PID (PES) и в РМТ, (b) синтаксические правила в одном PID (PES) и в SEI, (с)синтаксические правила в различных PID (PES) и в РМТ и (d) синтаксические правила в различных PID (PES) и в SEI.

Другие примеры иерархической классификации и кодирования изображений

Также описанные выше варианты осуществления изобретения показывают пример классификации данных изображения для каждого кадры, входящего в состав данных движущегося изображения, на множество слоев так, что, за исключением самого низкого слоя, количество кадров, принадлежащих каждому слою, совпадает с количеством кадров, принадлежащих всем более низким слоям и, помимо этого, кадры, принадлежащие каждому слою, расположены во временном центре между кадрами, принадлежащими всем более низким слоям. Тем не менее, способ классификации не ограничен подобным примером. Например, также возможны способы классификации, подобные приведенному ниже.

- Другой пример 1

На фиг. 21(a) показан другой пример иерархической классификации и кодирования изображений. Этот пример является примером классификации данных изображения для каждого кадра на два слоя: первый слой и второй слой. В этом примере I кадры и Р кадры принадлежат первому слою. I кадр не ссылается на другой кадр, а Р кадр ссылается только на I кадр или Р кадр. По этой причине первый слой возможно декодировать с помощью кадров только первого слоя.

Кроме того, два В кадра расположены на равных интервалах временно между кадрами в первом слое и выполнены так, что принадлежат второму слою. В кадры второго слоя кодируют так, чтобы ссылаться только на кадры, принадлежащие второму слою и/или первому слою. По этой причине второй слой возможно декодировать с помощью кадров только объединенного первого/второго слоя. Также по сравнению со случаем декодирования только первого слоя, частота ТВ-кадров утраивается, когда декодируют объединенный первый/второй слой. В результате, как показано на чертеже, когда частота ТВ-кадров первого слоя равна только 40 кадр/сек, частота ТВ-кадров объединенного первого/второго слоя равна 120 кадр/сек.

Аналогично, в этом случае, для каждого кадра к закодированным данным изображений каждого слоя добавляют идентификационную информацию слоя, предназначенную для идентификации содержащего изображение слоя. Другими словами, идентификационная информация слоя (temporal_id) расположена в заголовочной части NAL блока (nal_unit) каждого кадра. В этом примере «temporal_id=0» присваивают изображениям, принадлежащим первому слою, и «temporal_id=1» присваивают изображениям, принадлежащим второму слою.

На фиг. 21(b) показан пример синтаксиса FPS дескриптора (fps_descriptor) в случае, когда иерархическую классификацию и кодирование изображений осуществляют так, как показано на фиг. 21(a). 8-битовое поле «descriptor_tag» указывает класс дескриптора и здесь указывает на то, что дескриптор является FPS дескриптором. Например, присваивают значение «0×f0», указывающее на неиспользование в настоящее время. 8-битовое поле «descriptor_length» указывает непосредственно следующую длину в байтах.

8-битовое поле «base» выражает информацию о частоте ТВ-кадров изображений в самом низком слое или, другими словами, информацию о частоте ТВ-кадров первого слоя. В этом примере значение равно «0×28», означающее 40. 8-битовое поле «max» выражает информацию о количестве слоев, указывающую количество слоев. В этом примере значение равно «0×02», означающее 2. Также внутри цикла for указаны все множители для частоты ТВ-кадров в объединенном слое до каждого слоя во втором слое и последующие слои по отношению к частоте ТВ-кадров первого слоя. В этом примере значение составляет «0×03» для второго слоя, которое указывает, что множитель равен 3.

- Другой пример 2

На фиг. 22(a) также показан еще один пример иерархической классификации и кодирования изображений. Этот пример является примером классификации данных изображения для каждого кадра на два слоя: первый слой и второй слой. В этом примере I кадры и Р кадры принадлежат первому слою. I кадр не ссылается на другой кадр, а Р кадр ссылается только на I кадр или Р кадр. По этой причине первый слой возможно декодировать с помощью кадров только первого слоя.

Кроме того, четыре В кадра расположены на равных временных интервалах между изображениями в первом слое и выполнены так, что принадлежат второму слою. В кадры второго слоя кодируют так, чтобы ссылаться только на кадры, принадлежащие второму слою и/или первому слою. По этой причине второй слой возможно декодировать с помощью кадров только объединенного первого/второго слоя. Также по сравнению со случаем декодирования только первого слоя, частота ТВ-кадров увеличивается в пять раз, когда декодируют объединенный первый/второй слой. В результате, как показано на чертеже, когда частота ТВ-кадров первого слоя равна только 24 кадр/сек, частота ТВ-кадров объединенного первого/второго слоя равна 120 кадр/сек.

Аналогично, в этом случае, для каждого кадра к закодированным данным изображений каждого слоя добавляют идентификационную информацию слоя, предназначенную для идентификации содержащего изображение слоя. Другими словами, идентификационная информация слоя (temporal_id) расположена в заголовочной части NAL блока (nal_unit) каждого кадра. В этом примере<<temporal_id=0» присваивают кадрам, принадлежащим первому слою, и «temporal_id=1» присваивают кадрам, принадлежащим второму слою.

На фиг. 22(b) показан пример синтаксиса FPS дескриптора (fps_descriptor) в случае, когда иерархическую классификацию и кодирование кадров осуществляют так, как показано на фиг. 22(a). 8-битовое поле «descriptor_tag» указывает класс дескриптора и здесь указывает на то, что дескриптор является FPS дескриптором. Например, присваивают значение «0×f0», указывающее на неиспользование в настоящее время. 8-битовое поле «descriptor_length» указывает непосредственно следующую длину в байтах.

8-битовое поле «base» выражает информацию о частоте ТВ-кадров кадров в самом низком слое или, другими словами, информацию о частоте ТВ-кадров первого слоя. В этом примере значение равно «0×18», означающее 24. 8-битовое поле «max» выражает информацию о количестве слоев, указывающую количество слоев. В этом примере значение равно «0×02», означающее 2. Также внутри цикла for указаны все множители для частоты ТВ-кадров в объединенном слое до каждого слоя во втором слое и последующие слои по отношению к частоте ТВ-кадров первого слоя. В этом примере значение составляет «0×05» для второго слоя, которое указывает, что множитель равен 5.

- Другой пример 3

На фиг. 23(a) также показан еще один пример иерархической классификации и кодирования изображений. Этот пример является примером классификации данных изображения для каждого кадра на четыре слоя: от первого слоя до четвертого слоя. В этом примере I кадры и Р кадры принадлежат первому слою. I кадр не ссылается на другой кадр, а Р кадр ссылается только на I кадр или Р кадр. По этой причине первый слой возможно декодировать с помощью кадров только первого слоя.

Кроме того, В кадры (кадры двунаправленного предсказания) расположены в позициях временных центров между соответствующими кадрами в первом слое и выполнены так, что принадлежат второму слою. В кадры второго слоя кодируют так, чтобы ссылаться только на кадры, принадлежащие объединенному слою из второго слоя и/или первого слоя. По этой причине второй слой возможно декодировать с помощью кадров только объединенного первого/второго слоя. Также по сравнению со случаем декодирования только первого слоя, частота ТВ-кадров удваивается, когда декодируют объединенный первый/второй слой. В результате, как показано на чертеже, когда частота ТВ-кадров первого слоя равна только 12 кадр/сек, частота ТВ-кадров объединенного первого/второго слоя равна 24 кадр/сек.

Кроме того, четыре В кадра расположены на равных временных интервалах между кадрами в первом слое и выполнены так, что принадлежат третьему слою. В кадры третьего слоя кодируют так, чтобы ссылаться только на кадры, принадлежащие третьему слою и/или второму слою или ниже. По этой причине третий слой возможно декодировать с помощью кадров объединенного слоя из первого - третьего слоев. Также по сравнению со случаем декодирования только первого слоя, частота ТВ-кадров увеличивается в пять раз, когда декодируют объединенный первый-третий слой. Также по сравнению с объединенным первым и вторым слоями, частота ТВ-кадров увеличивается в 2,5 раза. В результате, как показано на чертеже, когда частота ТВ-кадров первого слоя равна только 12 кадр/сек, частота ТВ-кадров объединенного первого-третьего слоя равна 60 кадр/сек.

Кроме того, В кадры (кадры двунаправленного предсказания) расположены в позициях временных центров между соответствующими кадрами в первом слое и третьим слоем и выполнены так, что принадлежат четвертому слою. Тем не менее, часть кадров опущены, так как они совпадают с кадрами второго слоя. В кадры четвертого слоя кодируют так, чтобы ссылаться только на кадры, принадлежащие четвертому слою и/или третьему слою или ниже. По этой причине четвертый слой возможно декодировать с помощью изображений только объединенного слоя из первого - четвертого слоев. Также по сравнению со случаем декодирования только первого слоя, частота ТВ-кадров увеличивается в десять раз, когда декодируют объединенный первый-четвертый слой. В результате, как показано на чертеже, когда частота ТВ-кадров первого слоя равна только 12 кадр/сек, частота ТВ-кадров объединенного первого и второго слоя равна 120 кадр/сек.

Аналогично, в этом случае, для каждого кадра к закодированным данным изображений каждого слоя добавляют идентификационную информацию слоя, предназначенную для идентификации слоя, содержащего кадр. Другими словами, идентификационная информация слоя (temporal_id) расположена в заголовочной части NAL блока (nal_unit) каждого кадра. В этом примере, «temporal_id=0» присваивают кадрам, принадлежащим первому слою, «temporal_id=1» присваивают кадрам, принадлежащим второму слою, «temporal_id=2» присваивают кадрам, принадлежащим третьему слою, и «temporal_id=3» присваивают кадрам, принадлежащим четвертому слою.

На фиг. 23(b) показан пример синтаксиса FPS дескриптора (fps_descriptor) в случае, когда иерархическую классификацию и кодирование изображений осуществляют так, как показано на фиг. 23(a). 8-битовое поле «descriptor_tag» указывает класс дескриптора и здесь указывает на то, что дескриптор является FPS дескриптором. Например, присваивают значение «0×f0», указывающее на неиспользование в настоящее время. 8-битовое поле «descriptor_length» указывает непосредственно следующую длину в байтах.

8-битовое поле «base» выражает информацию о частоте ТВ-кадров кадров в самом низком слое или, другими словами, информацию о частоте ТВ-кадров первого слоя. В этом примере значение равно «0×0С», означающее 12. 8-битовое поле «шах» выражает информацию о количестве слоев, указывающую количество слоев. В этом примере значение равно «0×04», означающее 4. Также внутри цикла for указаны все множители для частоты ТВ-кадров в объединенном слое до каждого слоя во втором слое и последующие слои по отношению к частоте ТВ-кадров первого слоя. В этом примере значение составляет «0×02» для второго слоя, которое указывает, что множитель равен 2. В этом примере значение составляет «0×05» для третьего слоя, которое указывает, что множитель равен 5. Далее значение составляет «0×0а» для четвертого слоя, которое указывает, что множитель равен 10.

Другие

Также, хотя описанные выше варианты осуществления изобретения, иллюстрируют систему 10 ТВ передачи/приема, выполненную из устройства 100 ТВ передачи и устройства 200 ТВ приема, конфигурация системы ТВ передачи/приема, к которой применимо настоящее изобретение, не ограничена упомянутым выше. Например, часть устройства 200 ТВ приема также может иметь конфигурацию телеприставки и монитора или подобного, которые соединены с цифровым интерфейсом, таким как, например, интерфейс для мультимедиа высокой четкости (HDMI).

Также описанные выше варианты осуществления изобретения иллюстрируют пример, в котором контейнером является транспортный поток (MPEG-2 TS). Тем не менее, настоящее изобретение аналогично применимо к системам, выполненным так, что для доставки в приемную конечную станцию используют сеть, такую как интернет. С доставкой с помощью интернета, содержимое часто доставляют в контейнере для формата МР4 или для некоторого другого формата. Другими словами, в вопросе контейнера, для доставки с помощью интернета используют контейнеры различных форматов, такие как транспортный поток (MPEG-2 TS), который применяют в стандартах цифрового вещания, или МР4.

Кроме того, настоящая технология также может быть выполнена описанным ниже образом.

(1) Устройство передачи, содержащее:

секцию иерархической классификации для классификации, на множество слоев, данных изображения каждого кадра, входящего в состав данных движущегося изображения;

секцию кодирования изображений для кодирования классифицированных данных изображения для каждого слоя и генерирования видео потока, содержащего закодированные данные изображений каждого слоя; и

секцию передачи для передачи контейнера, заранее заданного формата, содержащего сгенерированный видео поток,

при этом секция кодирования изображений выполнена с возможностью кодирования так, что кадр, на который ссылаются, принадлежит слою данных изображения, осуществляющего ссылки, и/или более низкому слою по сравнению со слоем данных изображения, осуществляющего ссылку.

(2) Устройство передачи по (1), в котором

секция кодирования изображений выполнена с возможностью

генерирования единственного видео потока, содержащего закодированные данные изображений для каждого слоя, и

добавления к закодированным данным изображений каждого слоя идентификационной информации слоя, предназначенной для идентификации слоя, содержащего кадр, для каждого кадра.

(3) Устройство передачи по (1) или (2), в котором

секция иерархической классификации выполнена с возможностью классификации данных изображения каждого кадра, входящего в состав данных движущегося изображения, на множество слоев так, что, за исключением самого низкого слоя, кадры, принадлежащие каждому слою, совпадают в количестве с кадрами, принадлежащими всем более низким слоям и, кроме того расположены во временном центре между кадрами, принадлежащими всем более низким слоям.

(4) Устройства передачи по (1)-(3), дополнительно содержащее:

секцию вставки информации, выполненную с возможностью вставки в контейнер информации о частоте ТВ-кадров для кадров в самом низком слое и информацию о количестве слоев, указывающую количество слоев из указанного множества.

(5) Устройство передачи по (4), в котором

секция вставки информации выполнена с возможностью вставки информации в слой-контейнер или видео слой.

(6) Устройство передачи по (5), в котором

при вставке информации в видео слой, секция вставки информации дополнительно выполнена с возможностью вставки, в слой-контейнер, идентификационной информации, идентифицирующей, существует ли вставка информации в видео слой.

(7) Устройство передачи по (1), в котором

секция кодирования изображений выполнена с возможностью генерирования множества видео потоков, содержащих закодированные данные изображений для каждого из множества слоев.

(8) Устройство передачи по (7), дополнительно содержащее:

секцию вставки идентификационной информации, выполненную с возможностью вставки, в слой-контейнер, идентификационной информации потока для идентификации видео потока каждого слоя.

(9) Способ передачи, включающий в себя:

этап классификации, на котором классифицируют, на множество слоев, данные изображения каждого кадра, входящего в состав данных движущегося изображения;

этап кодирования, на котором кодируют классифицированные данные изображения для каждого слоя так, что кадр, на который ссылаются, принадлежит слою данных изображения, осуществляющего ссылку, и/или более низкому слою по сравнению со слоем данных изображения, осуществляющего ссылку, и генерируют видео поток, содержащий закодированные данные изображений каждого слоя; и

этап передачи, на котором передают контейнер, заранее заданного формата, содержащий выработанный видео поток.

(10) Устройство передачи, содержащее:

секцию кодирования изображений для кодирования классифицированных данных изображения каждого слоя и генерирования видео потока, содержащего закодированные данные изображений каждого слоя; и

при этом секция кодирования изображений выполнена с возможностью

добавления к закодированным данным изображений каждого слоя идентификационной информации слоя, предназначенную для идентификации слоя, содержащего кадр, для каждого кадра.

(11) Устройство кодирования, содержащее:

секцию иерархической классификации для классификации, на множество слоев, данных изображения каждого кадра, входящего в состав данных движущегося изображения; и

секцию кодирования изображений для кодирования классифицированных данных изображения каждого слоя и генерирования видео потока, содержащего закодированные данные изображений каждого слоя,

при этом секция кодирования изображений выполнена с возможностью осуществления кодирования так, что кадр, на который ссылаются, принадлежит слою данных изображения, осуществляющего ссылку, и/или более низкому слою по сравнению со слоем данных изображения, осуществляющего ссылку.

(12) Устройство кодирования по (11), в котором

(13) Устройство приема, содержащее:

секцию приема для приема контейнера, заранее заданного формата, содержащего видео поток, включающий в себя данные изображения каждого кадра, входящего в состав данных движущегося изображения, при этом данные изображения классифицированы на множество слоев и кодированы так, что кадр, на который ссылаются, принадлежит слою данных изображения, осуществляющего ссылку, и/или более низкому слою по сравнению со слоем данных изображения, осуществляющего ссылку;

секцию декодирования изображений для выборочного извлечения и декодирования закодированных данных изображений заданного слоя и более низких слоев из видео потока, содержащегося в принятом контейнере, и получения данных изображения каждого кадра; и

секцию регулировки скорости воспроизведения для регулировки скорости воспроизведения изображения в соответствии с декодированными данными изображений каждого кадра, для соответствия частоте ТВ-кадров кадров в заданном слое.

(14) Устройство приема по (13), в котором

в контейнер вставлена информация о частоте ТВ-кадров изображений самого низкого слоя и информация о количестве слоев, указывающая количество слоев, при этом

дополнительно содержащее:

секцию управления, выполненную с возможностью на основе вставленной в контейнер информации и производительности декодирования устройства приема, управления слоем декодирования в секции декодирования изображений и управления скоростью воспроизведения изображения в секции регулировки скорости воспроизведения.

(15) Устройство приема по (13), в котором, когда

единственный видео поток, содержащий закодированные данные изображений для каждого слоя, содержится в контейнере, а

для каждого кадра, идентификационная информация слоя, предназначенная для идентификации содержащего изображение слоя, добавлена к закодированным данным изображений каждого слоя,

секция декодирования изображений выполнена с возможностью выборочного извлечения и декодирования закодированных данных изображений в заданном слое и более низких слоях из единственного видео потока, на основе идентификационной информации слоя.

(16) Устройство приема по (13), в котором, когда

множество видео потоков, содержащих закодированные данные изображений для каждого из множества слоев, содержатся в контейнере,

идентификационная информация потока для идентификации видео потока каждого слоя вставлена в слой-контейнер,

секция декодирования изображений выполнена с возможностью выборочного извлечения и декодирования закодированных данных изображений из видео потоков заданного слоя и более низких слоев, на основе идентификационной информации потока.

(17) Способ приема, включающий в себя:

этап приема, на котором принимают контейнер заранее заданного формата, содержащий видео поток, включающий в себя данные изображения для каждого кадра, входящего в состав данных движущегося изображения, при этом данные изображения классифицированы на множество слоев и кодированы так, что кадр, на который ссылаются, принадлежит слою данных изображения, осуществляющего ссылку, и/или более низкому слою по сравнению со слоем данных изображения, осуществляющего ссылку;

этап увеличения, на котором выборочно извлекают и декодируют закодированные данные изображений заданного слоя и более низких слоев из видео потока, содержащегося в принятом контейнере, и получают данные изображения для каждого кадра; и

этап регулировки, на котором регулируют скорость воспроизведения изображения в соответствии с декодированными данными изображений для каждого кадра, для соответствия частоте ТВ-кадров кадров в заданном слое.

(18) Устройство декодирования, содержащее:

секцию декодирования изображений для выборочного извлечения и декодирования закодированных данных изображений заданного слоя и более низких слоев и получения данных изображения для каждого изображения из видео потока, содержащего данные изображения для каждого кадра, входящие в состав данных движущегося изображения, при этом данные изображения классифицированы на множество слоев и кодированы так, что кадр, на который ссылаются, принадлежит слою данных изображения, осуществляющего ссылку, и/или более низкому слою по сравнению со слоем данных изображения, осуществляющего ссылку; и

секцию регулировки скорости воспроизведения для регулировки скорости воспроизведения изображения в соответствии с декодированными данными изображения для каждого кадра, для соответствия частоте ТВ-кадров кадров в заданном слое.

Основной признак настоящего изобретения заключается в том, что данные изображения для каждого кадра, входящего в состав данных движущегося изображения, классифицируют на множество слоев, данные изображения каждого слоя кодируют так, что кадр, на который ссылаются, принадлежит слою данных изображения, осуществляющего ссылку, и/или более низкому слою по сравнению со слоем данных изображения, осуществляющего ссылку, и видео поток, содержащий закодированные данные изображений каждого слоя, передают в контейнере заданного формата, тем самым обеспечивается возможность легкого получения услуги с высокой частотой ТВ-кадров.

Список ссылочных позиций

10 система ТВ передачи/приема

100 устройство ТВ передачи

101 секция подачи данных исходного движущегося изображения

102 устройство декодирования

103 секция иерархической классификации

104 секция кодирования изображений

105 секция кодирования аудио

106 секция мультиплексирования

107 секция генерирования дополнительной информации

108 секция модуляции/передающей антенны

200 устройство ТВ передачи

201 секция приемной антенны/демодуляции

202 секция демультиплексирования

203 секция управления

204 секция декодирования изображений

205 секция регулировки скорости воспроизведения

206 секция показа изображения

207 секция декодирования аудио

208 секция вывода аудио.

Claims

1. Устройство передачи, содержащее:

секцию иерархической классификации для классификации на множество слоев данных изображения для каждого кадра, входящего в состав данных движущегося изображения;

секцию кодирования изображений для кодирования классифицированных данных изображения для каждого слоя и генерирования множества видео потоков, содержащих закодированные данные изображений каждого из множества слоев;

секцию передачи для передачи контейнера заданного формата, содержащего сгенерированный видео поток, и

секцию вставки информации идентификации, выполненную с возможностью вставки информации идентификации потока для идентификации видео потока каждого слоя в слой контейнера;

при этом секция кодирования изображений выполнена с возможностью осуществления кодирования так, что кадр, на который ссылаются, принадлежит слою данных изображения, осуществляющего ссылку, и/или более низкому слою по сравнению со слоем данных изображения, осуществляющим ссылку.

2. Устройство передачи по п. 1, в котором

секция иерархической классификации выполнена с возможностью классификации данных изображения для каждого кадра, входящего в состав данных движущегося изображения, на множество слоев так, что, за исключением самого низкого слоя, кадры, принадлежащие каждому слою, совпадает по количеству с кадрами, принадлежащими всем более низким слоям и, кроме того, расположены во временном центре между кадрами, принадлежащими всем более низким слоям.

3. Устройство передачи по п. 1, в котором:

секция вставки информации выполнена с возможностью вставки в контейнер информации о количестве слоев, указывающей количество слоев и информации PID назначенной для каждого видео потока.

4. Устройство передачи по п. 3, в котором

5. Устройство передачи по п. 4, в котором

при вставке информации в видео слой, секция вставки информации дополнительно выполнена с возможностью вставки в слой-контейнер, идентификационной информации, идентифицирующей, существует ли вставка информации в видео слой.

6. Способ передачи, включающий в себя:

этап классификации, на котором классифицируют, на множество слоев, данные изображения для каждого кадра, входящего в состав данных движущегося изображения;

этап кодирования, на котором кодируют классифицированные данные изображения для каждого слоя так, что кадр, на который ссылаются, принадлежит слою данных изображения, осуществляющего ссылку, и/или более низкому слою по сравнению со слоем данных изображения, осуществляющего ссылку, и генерируют множество видео потоков, содержащих закодированные данные изображений каждого из множества слоев;

этап вставки информации идентификации потока, на котором идентифицируют видео поток каждого слоя на уровне контейнера; и

этап передачи, на котором передают контейнер, заранее заданного формата, содержащий сгенерированный видео поток.

7. Устройство приема, содержащее:

секцию приема для приема контейнера заданного формата, содержащего видео поток, включающий в себя данные изображения для каждого изображения, входящие в состав данных движущегося изображения, при этом данные изображения классифицированы на множество слоев и кодированы так, что кадр, на который ссылаются, принадлежит слою данных изображения, осуществляющего ссылку, и/или более низкому слою по сравнению со слоем данных изображения, осуществляющего ссылку;

секцию декодирования изображений для выборочного извлечения и декодирования закодированных данных изображений заданного слоя и более низких слоев из видео потока, содержащегося в принятом контейнере, и получения данных изображения для каждого кадра; и

секцию регулировки скорости воспроизведения для регулировки скорости воспроизведения изображения в соответствии с декодированными данными изображений для каждого кадра, для соответствия частоте кадров картинки в заданном слое;

при этом множество видео потоков включают в себя кодированные данные изображений для каждого из множества слоев, содержащихся в контейнере;

идентификация потока для идентификации видео потока вставлена в слой контейнера; а

секция декодирования изображения выполнена с возможностью выборочного приема и декодирования данных изображения из видео потоков заданного слоя и слоев на основе информации идентификации.

8. Устройство приема по п. 7, в котором

в контейнер вставлена информация о частоте кадров для картинки самого низкого слоя и информация о количестве слоев, указывающая количество слоев, дополнительно содержащее:

секцию управления, выполненную с возможностью на основе вставленной в контейнер информации и производительности декодирования устройства приема, управления слоем декодирования в секции декодирования изображений и управления скоростью воспроизведения изображений в секции регулировки скорости воспроизведения.

9. Способ приема, включающий в себя:

этап приема, на котором принимают контейнер, заданного формата, содержащий видео поток, включающий в себя данные изображения для каждого кадра, входящего в состав данных движущегося изображения, при этом данные изображения классифицированы на множество слоев и кодированы так, что кадр, на который ссылаются, принадлежит слою данных изображения, осуществляющего ссылку, и/или более низкому слою по сравнению со слоем данных изображения, осуществляющего ссылку;

этап декодирования, на котором выборочно извлекают и декодируют закодированные данные изображений заданного слоя и более низких слоев из видео потока, содержащегося в принятом контейнере, и получают данные изображения для каждого кадра; и

этап регулировки, на котором регулируют скорость воспроизведения изображения в соответствии с декодированными данными изображений для каждого кадра, для соответствия частоте кадров картинки в заданном слое;

идентификация потока для идентификации видео потока вставлена в слой контейнера; а секция декодирования изображения выполнена с возможностью выборочного приема и декодирования данных изображения из видео потоков заданного слоя и слоев на основе информации идентификации.