RU2538919C2

RU2538919C2 - Передающее устройство, приемное устройство и система связи

Info

Publication number: RU2538919C2
Application number: RU2012105897/08A
Authority: RU
Inventors: Эйсабуро ИТАКУРА; Хидэки ИВАМИ; Сатоси ЦУБАКИ; Хироаки Такахаси; Кэй КАКИТАНИ
Original assignee: Сони Корпорейшн
Priority date: 2010-06-24
Filing date: 2011-06-17
Publication date: 2015-01-10
Also published as: WO2011161922A1; JP2012010066A; RU2012105897A; US9485054B2; EP2449711B1; IN2012DN01388A; JP5768332B2; US20120147140A1; EP2449711A4; BR112012003822A2; CN102484561B; CN102484561A; EP2449711A1

Abstract

Изобретение относится к передающему устройству, приемному устройству и системе связи. Технический результат заключается в обеспечении передачи множества данных видеоизображений с высокой устойчивостью к потере пакетов и также с низкой задержкой. Технический результат достигается за счет кодера данных видеоизображений, который содержит вход для приема данных стереоскопического изображения. Данные стереоскопического изображения включают в себя первые и вторые данные изображения, имеющие хронологическое соответствие. Блок кодирования с исправлением ошибок объединяет блоки первых данных изображений и соответствующие блоки вторых данных изображений из входного блока в общую матрицу кодирования. Код с исправлением ошибок, полученный из комбинированных блоков, добавляется в матрицу кодирования. 4 н. и 10 з.п. ф-лы, 10 ил.

Description

Область техники, к которой относится изобретение

Настоящее изобретение относится к передающему устройству, приемному устройству и системе связи.

Уровень техники

В настоящее время известен способ, раскрытый, например, в приведенной ниже патентной литературе 1, в котором изображение для левого глаза и изображение для правого глаза, имеющие параллакс между ними, поочередно подаются в устройство отображения с заданным интервалом, и изображения просматривают с использованием очков с жидкокристаллическими затворами, которые возбуждаются при синхронизации с заданным интервалом.

Кроме того, в патентной литературе 2, представленной ниже, раскрыто, что режимы, такие как контроль ошибок с помощью прямого исправления ошибок (FEC) или контроль ошибок на основе автоматического запроса на повторение (ARQ), изменяются в соответствии с потерей пакетов и условиями возникновения ошибок в сети, и выполняется передача пакетов.

Кроме того, среди способов кодирования стереоскопического изображения известен способ, например, в котором кодируют каждое изображение для левого глаза и правого глаза с учетом того, что они будут представлять собой отдельное видеоизображение, и известен способ, в котором выполняют кодирование в качестве многоракурсных изображений с помощью кодирования многоракурсных видеоизображений (МУС). В патентной литературе 1, приведенной ниже, раскрыт способ для выполнения кодирования с помощью MVC по отношению к множеству данных видеоизображений, таких как стереоскопические видеоизображения и т.д. Кроме того, в патентной литературе 2, представленной ниже, раскрыт способ, в котором интенсивность (избыточность) FEC изменяют в соответствии со степенью приоритета.

Перечень цитируемой литературы

Патентная литература

Патентная литература 1: публикация заявки на патент Японии №JP-А-9-138384.

Патентная литература 2: патент Японии №3757857.

Непатентная литература

Непатентная литература 1: Кимато Хидеаки, "Направления в международной стандартизации кодирования многоракурсных видеоизображений (MVC)", Журнал института видеоинформации и инженеров в области телевидения, т.61, №4, 2007, с.426-430 (Kimata Hideaki, "Trends in International Standardization of Multiview Video Coding MVC," Institute of Image Information and Television Engineers Journal, VOL. 61, No. 4 (2007), p.426-430).

Непатентная литература 2: Александр Е. Мохр, научный сотрудник, IEEE, Иве А. Рискин, старший научный сотрудник, IEEE, и Ричард И. Ландер, партнер, IEEE, "Неравномерная защита от потерь: постепенное ухудшение качества изображения поверх каналов со стиранием пакетов через прямое исправление ошибок", "Журнал IEEE по избранным областям связи", т.18, №6, июнь, 2000, с.819-828 (Alexander E. Mohr, Student Member, IEEE, Eve A. Riskin, Senior Member, IEEE, and Richard E. Lander, Member, IEEE, "Unequal Loss Protection: Graceful Degradation of Image Quality over Packet Erasure Channels Through Forward Error Correction", "IEEE JOURNAL ON SELECTED AREAS IN COMMUNICATIONS", VOL. 18, NO. 6, JUNE 2000, p.819-828).

Сущность изобретения

Техническая задача

Однако в случае, в котором многочисленные видеоизображения, подаваемые из видеокамеры, кодируются, и широковещание транслируется или передается в прямом эфире по сети, возникает проблема, которая заключается в том, что теряется эффект от видеоизображения из-за задержки, например задержки при передаче из одной видеокамеры по отношению к другой, и потери пакета. Например, в случае, в котором стереоскопические видеоизображения передаются в виде множества видеоизображений, подаваемых из видеокамер, стереоскопический эффект является сильным, и когда, из-за дрожания задержки в сети или потери пакета, часть или некоторые из данных видеоизображений теряются только на одной стороне из левого и правого видеоизображений, имеющих между ними большой параллакс, и видеоизображения отображаются в этом состоянии, проблема возникает в том, что теряется стереоскопический эффект.

Кроме того, когда выполняется FEC-обработка для восстановления потерянного пакета во избежание этого типа проблемы в случае трансляции в реальном режиме времени и т.д. с помощью широковещательной станции, требуется задержка менее чем на один кадр видеоизображений. В результате, необходимо выполнить FEC-обработку при уменьшении матрицы FEC-кодирования для выполнения FEC-обработки. Однако когда размер матрицы уменьшается, размер задержки и скорость восстановления имеют компромиссную взаимосвязь с уменьшением скорости восстановления потерянного пакета и т.д. Поэтому требуется система, в которой можно передавать множество видеоизображений с высокой устойчивостью к потере пакетов и также с низкой задержкой.

Настоящий вариант осуществления выполнен с учетом вышеупомянутых недостатков, и задача настоящего варианта осуществления заключается в том, чтобы выполнить новые и усовершенствованные передающие устройства, приемные устройства и систему связи, которые позволяют передавать множество данных видеоизображений с высокой устойчивостью к потере пакетов и также с низкой задержкой.

Решение задачи

Сущность изобретения

Согласно одному варианту осуществления, кодер данных видеоизображений содержит вход, выполненный с возможностью приема стереоскопических данных изображения. Стереоскопические данные изображения включают в себя первые и вторые данные изображения, имеющие хронологическое соответствие. Блок кодирования с исправлением ошибок выполнен с возможностью объединения блоков первых данных изображения и соответствующих блоков вторых данных изображения из входного блока в общую матрицу кодирования. Код с исправлением ошибок, полученный из объединенных блоков, добавляется в матрицу кодирования.

Преимущественные эффекты изобретения

Согласно настоящему варианту осуществления, можно выполнить передающее устройство, приемное устройство и систему связи, которые позволяют передавать множество данных видеоизображений с высокой устойчивостью к потере пакетов и также с низкой задержкой.

Краткое описание чертежей

Фиг.1 - схема, показывающая основную конфигурацию системы связи, согласно варианту осуществления настоящего изобретения.

Фиг.2 - схема, иллюстрирующая способ FEC-обработки с низкой задержкой, согласно настоящему варианту осуществления.

Фиг.3 - схема, показывающая способ выработки матрицы FEC-кодирования.

Фиг.4 - схема, показывающая способ для выработки матрицы кодирования с FEC-контролем на основе приоритета.

Фиг.5 - блок-схема, показывающая пример конфигурации для выполнения FEC-контроля на основе приоритета и FEC-контроля, связанного с КОДЕРОМ.

Фиг.6 - схема последовательности операций, показывающая процесс обработки, выполняемый в передающем устройстве.

Фиг.7 - схема последовательности операций, показывающая процесс обработки, выполняемый в приемном устройстве.

Фиг.8 - схема последовательности операций, показывающая процесс обработки, соответствующий FEC-контролю на основе приоритета и FEC-контролю, связанному с КОДЕКОМ, и процесс обработки, соответствующий динамическому управлению QoS.

Фиг.9 - схема последовательности операций, показывающая другой процесс обработки, выполняемый в приемном устройстве.

Фиг.10 - схема, показывающая информацию FEC-заголовка, предусмотренного в пакете контроля по четности.

Подробное описание изобретения

Описание вариантов осуществления

Далее приводится подробное описание предпочтительного варианта осуществления со ссылкой на сопроводительные чертежи. Следует отметить, что в этом описании и сопроводительных чертежах, структурные элементы, которые имеют, по существу, одинаковую функцию и структуру, обозначены одинаковыми ссылочными позициями, и повторное объяснение этих структурных элементов будет опущено.

Следует отметить, что описание будет приведено в порядке, показанном ниже.

(1) Обзор настоящего варианта осуществления

(2) Пример конфигурации системы

(3) FEC-контроль на основе приоритета

(4) FEC-контроль, связанный с КОДЕКОМ

(5) Процесс обработки, выполняемый в передающем устройстве

(6) Процесс обработки, выполняемый в приемном устройстве

(1) Обзор настоящего варианта осуществления

В настоящем варианте осуществления при передаче стереоскопических видеоизображений, когда кодируют и передают множество видеоизображений, подаваемых из видеокамеры, для того, чтобы передать с низкой задержкой и также с высокой устойчивостью к потере пакета, пакеты из множества видеоизображений, подаваемых из видеокамер, которые захватывают в то же самое время, обрабатывают в элементах той же самой матрицы FEC-кодирования. Кроме того, когда потерянный пакет невозможно восстановить с помощью матрицы кодирования путем выполнения маскирования ошибок по пакету, который имеет связь в этом элементе матрицы, можно поддерживать стереоскопический видеоэффект. Следует отметить, что в следующем объяснении описан пример, в котором стереоскопические видеоизображения формируются из изображений для правого глаза и изображения для левого глаза в качестве входных видеоизображений, подаваемых из множества видеокамер, но настоящий вариант осуществления не ограничивается этим примером. Настоящий вариант осуществления можно широко использовать в системах, которые выполняют передачу множества видеоизображений, имеющих хронологическое соответствие, такое как множество видеоизображений, которые одновременно получают из нескольких видеокамер, и в этом случае, можно передавать множество данных видеоизображений с высокой степенью устойчивости к потере пакета и также с низкой задержкой.

Кроме того, кодирование, согласно настоящему варианту осуществления, основано на кодировании линий, в котором линии сканирования данных видеоизображений объединяются в пакеты и обрабатываются в блочных элементах линий, и обработка возможна с низкой задержкой меньше, чем у кадра или области. Кроме того, за счет обработки в элементах блока, таких как блок или матрица FEC-кодирования, воздействие от потери пакетов, которые нельзя восстановить, можно также минимизировать до повреждения только одной части кадра изображения.

Более того, приоритет присваивается в соответствии со стереоскопическим видеоэффектом, то есть, в соответствии с размером параллакса, и выполняется обработка маскирования, такая как повышение контроля по четности FEC по отношению к пакетам с высоким влиянием на качество изображения (например, левое и правое изображения, представленные с помощью пакетов, являются совершенно различными), и уменьшение контроля по четности, когда существует небольшое влияние (например, существует относительно небольшое различие между левым и правым изображениями). По этой причине можно выполнить видеоизображения без потери стереоскопического видеоэффекта.

Предполагается, что система, согласно настоящему варианту осуществления, имеет конфигурацию, которая объяснена ниже. Кодирование видеоизображения представляет собой процесс кодирования с низкой задержкой, в котором обработку выполняют на основе линий, то есть в блочных элементах линий с множеством линий (одной линией или более). Таким образом, процесс кодирования не выполняется после буферизации данных в элементах видеокадра, и, так как передача и отображение возможны с задержкой менее чем на один период времени кадра, это особенно подходит для использования в системах, которые выполняют передачу видеоизображений в реальном времени, такую как распространение видео в прямом эфире и ретрансляционное широковещание. В настоящей системе, стереоскопическое видеоизображение (3D), совместимое с видеоизображениями на выходе видеокамеры, кодируют и пакетизируют для передачи IP, затем FEC-кодируют для того, чтобы выполнить восстановление потерянного пакета в сети, и передают. На приемной стороне выполняют FEC-декодирование и восстановление потерянного пакета, и затем выполняют декодирование и отображение видеоизображения.

(2) Пример конфигурации системы

На фиг.1 изображена схема, показывающая основную конфигурацию системы 100 связи, согласно настоящему варианту осуществления. Как показано на фиг.1, система 100 связи состоит из передающего устройства 200, которое имеет вход для видеоизображения, подаваемого из видеокамеры, и приемное устройство 300, которое имеет выход для устройства отображения. Передающее устройство 200 и приемное устройство 300 соединены через сеть 400, такую как Интернет.

В качестве стереоскопических видеоизображений используются видеоизображения, которые захватываются с использованием специализированной видеокамеры 500. На фиг.1 показан пример, в котором стереоскопические видеоизображения получаются из видеокамеры (R) 502, которая захватывает изображение для правого глаза R, и видеокамеры (L) 504, которая захватывает изображение для левого глаза L. Таким образом, видеоизображения, которые захватываются с помощью, по меньшей мере, двух видеокамер, можно использовать для стереоскопических видеоизображений, но систему можно использовать даже с одной видеокамерой до тех пор, пока видеокамера будет совместима с захватом стереоскопических видеоизображений. Например, даже с помощью одной 3D видеокамеры зеркального типа, если используется система, которая получает 3D эффект путем формирования левого и правого видеоизображения, это можно применить к настоящей системе.

Как показано на фиг.1, передающее устройство 200 состоит из блока 202 3D обработки, блока 204 кодирования видеоизображений, блока 206 обработки пакетов, блока 208 FEC-кодирования и блока 210 передачи. Блок 202 3D обработки осуществляет стереоскопический видеоэффект путем выполнения над видеоизображениями, которые подаются из видеокамеры 500, информационной обработки, такой как калибровка данных видеоизображений левой и правой видеокамер, и обработки для 3D видеоизображений.

Процесс сжатия выполняется в блоке 204 кодирования видеоизображений для видеоизображений, для которых была выполнена 3D обработка. После процесса сжатия выполняется процесс пакетизации для обеспечения связи (пакетизация RTP (транспортный протокол реального времени)) с помощью блока 206 обработки пакетов. Пакеты, выводимые из блока 206 обработки пакетов, размещаются в матрице FEC-кодирования (которая будет объяснена ниже) с помощью блока 208 FEC-кодирования, и выполняется FEC-обработка. Таким образом, вырабатывается пакет с контролем по четности, который выполнен только с контролем по четности. Обработка заголовка выполняется по отношению к этому пакету контроля по четности, и он передается в качестве пакета UDP/IP из блока 210 передачи в сеть 400.

Кроме того, приемное устройство 300 состоит из блока 302 приема, блока 304 FEC-декодирования, блока 306 обработки пакетов и блока 308 декодирования видеоизображений. Блок 302 приема принимает IP-пакеты, переданные из передающего устройства 200 через сеть 400. Если блок 302 приема распознает, с помощью заголовка пакета, данные, над которыми была выполнена FEC-обработка, образуется FEC-матрица с помощью блока 304 FEC-декодирования, и, если существует потеря пакетов, используется контроль по четности в пакете контроля по четности, и выполняется FEC-декодирование. Потерянные пакеты можно восстановить таким способом. Кодовый поток, полученный из пакетных данных, декодируется с помощью блока 308 декодирования видеоизображений, и данные левого и правого видеоизображений подаются в устройство 500 3D отображения. В процессе восстановления потерянного пакета, после декодирования, из предыдущего кадра выбирается секция подстановки, и выполняется отображение.

На фиг.2 изображена схема, иллюстрирующая способ FEC-обработки с низкой задержкой, согласно настоящему варианту осуществления. В иллюстрации, представленной здесь, используется пример, в котором две видеокамеры (видеокамера 502 и видеокамера 504) выровнены, и выполняется захват 3D изображения для левого и правого видеоизображений (изображение R и изображение L). Как показано на фиг.2, пакеты R1, R2 - R7 и т.д. вырабатываются из изображения R, и пакеты L1, L2-L7 и т.д. вырабатываются из изображения L. В настоящем варианте осуществления, когда FEC-обработка выполняется в пакетных элементах, в качестве одного примера, матрица формируется путем выравнивания четырех пакетов в направлении по столбцу, как показано на фиг.2.

На фиг.3 изображена схема, показывающая способ для выработки заранее необходимой матрицы FEC-кодирования. Обработка на передающей стороне выполняется в блоке 208 FEC-кодирования, и обработка на приемной стороне выполняется в блоке 304 FEC-декодирования. В настоящем варианте осуществления, как показано на фиг.3, одна матрица FEC-кодирования образована с помощью четырех пакетов. На стороне передающего устройства 200, в качестве FEC (в качестве прямого исправления ошибок) кодирование выполняют с использованием кодов Рида-Соломона, например, при этом кодирование выполняется в байтовых элементах в направлении по столбцу. Данные контроля по четности вырабатываются в соответствии с числом контроля по четности. Данные контроля по четности выравниваются в поперечном направлении, и вырабатываются пакеты контроля по четности (пакеты контроля по четности FEC, показанные на фиг.3). FEC-заголовки прикрепляются к пакетам контроля по четности, и пакеты передаются. Кроме того, на стороне приемного устройства 300, если с помощью блока 304 FEC-декодирования обнаружено, что произошла ошибка (ПОТЕРЯ) данного пакета, пакет контроля по четности используется для побуждения восстановления данных, в которых произошла ошибка.

В настоящем варианте осуществления, КОДЕК с низкой задержкой, данные левого и правого изображений кодируются в блочных элементах линий, которые образованы из множества линий, затем пакетизируются и передаются. Как описано выше, одна матрица FEC-кодирования образована из четырех пакетов. По этой причине, когда стереоскопические видеоизображения представляют собой обычные два набора данных изображения для правого глаз (изображение R) и изображения для левого глаза (изображение L), если предполагается, что матрица FEC-кодирования вырабатывается только с использованием изображения R, показанного на фиг.2, то требуется время для выработки четырех пакетов (t1+t2) для того, чтобы выработать матрицу. В настоящем варианте осуществления, с использованием пакетов, в которых кодируется каждое изображение L и изображение R в одном и том же периоде t1 времени, можно получить данные четырех пакетов (пакеты R1, и R2, L1 и L2) только в момент времени t1, показанный на фиг.2, и можно выработать матрицу FEC-кодирования с задержкой на время t1. В качестве результата, согласно способу настоящего изобретения, можно уменьшить задержку, вызванную кодированием, до минимума.

В качестве способа кодирования используется, например, кодирование многоракурсных видеоизображений (MVC). В MVC структура включает в себя не только предсказание во временном направлении, но также включает в себя предсказание между множеством видеокамер. Другими словами, используется не только предсказание кадра во временном направлении, но также предсказание, использующее разность между левым и правым изображениями L и R. Затем, с использованием кодированных данных видеоизображения данных опорного изображения, которые служат в качестве основной информации и информации о параллаксе по отношению к опорным данным, данные кодирования для выработки предсказанного изображения, соответственно, пакетизируют, и пакеты обрабатывают с использованием той же самой матрицы FEC-кодирования. Следует отметить, что систему, раскрытую в патентной литературе 1, описанную выше, можно использовать в качестве способа кодирования МУС.

(3) FEC-контроль на основе приоритета (неравномерная защита от потерь (ULP))

Ниже будет описан FEC-контроль на основе приоритета, согласно настоящему варианту осуществления. На фиг.4 изображена схема, показывающая способ для выработки матрицы кодирования с FEC-контролем на основе контроля по четности. Кроме того, на фиг.5 изображена блок-схема, показывающая пример конфигурации для выполнения FEC-контроля на основе контроля по четности и FEC-контроля, связанного с КОДЕКОМ, что будет объяснено ниже.

На фиг.5 блок 202 3D обработки получает, из числа данных 3D видеоизображения, переданных из видеокамеры 500, информацию о параллаксе, цветоразностную информацию и т.д., которая относится к 3D видеоизображению, и сортирует данные видеоизображения по степени приоритета на основании полученной информации. Информация о приоритете затем вводится в блок 208 FEC-кодирования. В блоке 208 FEC-кодирования, интенсивность FEC, то есть число контроля по четности (избыточность) обновляется на основании информации о приоритете.

Например, в порядке, начиная с высшей степени приоритета, предполагается, что устанавливаются приоритет А, приоритет В и приоритет С, и что устанавливается заранее, что пакеты контроля по четности прикрепляются к данным видеоизображения с приоритетом А, один пакет контроля по четности прикрепляется к данным видеоизображения с приоритетом В, и пакет контроля по четности не прикрепляется к данным видеоизображения с приоритетом С. В этом случае, по отношению к матрице FEC-кодирования, как показано на фиг.4, два пакета контроля по четности прикреплены к периоду t1 времени с приоритетом А, пакет контроля по четности не прикреплен к периоду t2 времени с приоритетом С, и один пакет контроля по четности прикреплен к периоду t3 времени с приоритетом В.

В случае, в котором зрительное восприятие величины удаленности и степени глубины стереоскопических видеоизображений являются большими, то есть в случае, в котором параллакс между изображением L и изображением R является большим, эффект стереоскопических видеоизображений является высоким, и таким образом, устанавливается высокий приоритет. В результате, по отношению к данным видеоизображений, которые имеют высокий эффект в качестве стереоскопических видеоизображений, прикрепляется более высокое количество пакетов контроля по четности, и, если происходит потеря данных, данные можно восстановить с большой вероятностью. Таким образом, можно избежать потери 3D эффекта. С другой стороны, в случае, в котором зрительное восприятие величины удаления и степени глубины стереоскопических видеоизображений является маленьким, относительно низкой является степень важности, также как и 3D видеоизображения, устанавливается низкий приоритет, и становится меньше количество пакетов контроля по четности. Подобным способом, чем больше цветовой контраст или чем больше яркостный контраст между изображением L и изображением R, тем выше устанавливается приоритет. В способе, описанном выше, с помощью FEC-контроля на основе приоритета, согласно настоящему варианту осуществления, пакеты контроля по четности можно прикрепить в соответствии с информацией о приоритете на основании данных видеоизображений, и когда происходит потеря данных с высоким приоритетом, на приемной стороне можно выполнить восстановление с высокой вероятностью.

(4) FEC-контроль, связанный с КОДЕКОМ

Ниже будет объяснен FEC-контроль, связанный с КОДЕКОМ, согласно настоящему варианту осуществления. При FEC-контроле, связанным с КОДЕКОМ, полное количество данных, к которым прикрепляется пакет контроля по четности, вычисляется с помощью блока 208 FEC-кодирования на основании информации о приоритете. Обычно, постоянная битовая скорость или максимальная битовая скорость и т.д., которая устанавливается при передаче данных видеоизображений, определяется на основании ограничений по полосе пропускания частот и зарезервированной ширины полосы пропускания и т.п. По этой причине, как показано на фиг.5, блок 208 FEC - кодирования передает по обратной связи информацию, показывающую полное количество данных, в КОДЕК (блок 204 кодирования видеоизображений) и после кодирования регулирует, совместно с блоком 204 кодирования видеоизображений, битовую скорость. Таким образом, можно управлять полным количеством данных после FEC-обработки так, чтобы оно было меньше или равно постоянному диапазону.

При объяснении использования примера, показанного на фиг.4, два пакета контроля по четности прикреплены в периоде t1 времени с приоритетом А, но если битовая скорость превышает фиксированное значение, то скорость кодирования регулируется с помощью блока 204 кодирования видеоизображений так, чтобы она находилась в диапазоне, в котором битовая скорость не превышала бы верхнего предела. В блоке 204 кодирования видеоизображений, скорость кодирования регулируется путем выполнения обработки, такой как прореживание данных, интерполяция и т.д. Подобным способом, по отношению к периоду t2 времени с приоритетом С и периодом t3 времени с приоритетом В, скорость кодирования регулируется в пределах диапазона, в котором битовая скорость не превышает верхний предел. В периодах времени, в которых приоритет является низким, если битовая скорость находится в диапазоне, который не превышает верхний предел, то можно прикрепить гораздо большее количество пакетов контроля по четности, чем количество, которое будет в противном случае прикреплено для этого низкого приоритета. Вышеописанным способом, также как и прикрепление пакетов контроля по четности в соответствии с приоритетом, установленным с помощью FEC-контроля на основе приоритета, можно выполнить передачу с количеством данных, которое меньше или равно фиксированной битовой скорости.

Ниже приведено объяснение процесса обработки, выполняемого в передающем устройстве 200, согласно настоящему варианту осуществления. На фиг.6 изображена схема последовательности операций, показывающая процесс обработки, выполняемый в передающем устройстве 200. Сначала на этапе S10 определяют, введены или нет данные видеоизображения из видеокамеры 500. Если данные видеоизображения были введены, то процесс обработки переходит на этап S12, и если данные видеоизображения не были введены, то процесс обработки заканчивается. На этапе S12, 3D обработку выполняют с помощью блока 202 3D обработки, и получают информацию о параллаксе и цветоразностную информацию и т.д. между левым и правым изображениями, которые включены в данные видеоизображения. В добавление, при 3D обработке на этапе S12, обработку выполняют для получения аудиоданных и получения данных субтитров и т.п. Кроме того, когда 3D данные необходимо преобразовать в данные в форматах "сторона-к-стороне", "сверху-снизу" и т.д., выполняют процесс преобразования.

Затем, на этапе S14, выполняют обработку с помощью блока 204 кодирования видеоизображений для кодирования данных видеоизображений. Затем на этапе S16 выполняют обработку с помощью блока 206 обработки пакетов для пакетизации данных видеоизображений. Кроме того, на этапе S12, выполненном с помощью блока 202 3D обработки, получают информацию (данные D1, показанные на фиг.6), которая показывает, получены или нет левые и правые данные видеоизображения в одно и то же время, и эта информация используется при выполнении процесса FEC-кодирования, на этапе S18. Эта информация используется для определения того, связаны ли эти данные с данными видеоизображения во время 3D обработки, и введены ли эти данные в ту же самую матрицу в качестве корреляционных пакетов во время процесса FEC-кодирования (этап S18).

Затем на этапе S18, процесс FEC-кодирования выполняют с помощью блока 208 FEC-кодирования, и затем на этапе S20 процесс передачи выполняют с помощью блока 210 передачи.

Кроме того, при выполнении FEC-контроля, связанного с КОДЕКОМ, на этапе S14 выполняют процесс кодирования так, чтобы битовая скорость данных видеоизображений, которая получается в процессе FEC-кодирования на этапе S18 не превышала заданный порог.

Ниже приведено объяснение процесса обработки, выполняемого в приемном устройстве 300, согласно настоящему варианту осуществления. На фиг.7 изображена схема последовательности операций, показывающая процесс обработки, выполняемый в приемном устройстве 300. Сначала на этапе S30 определяют, принял или нет блок 302 приема пакет. Если пакет был принят на этапе S30, процесс обработки переходит на этап S32. С другой стороны, если пакет не был принят на этапе S30, процесс обработки заканчивается.

На этапе S32 процесс FEC-декодирования выполняют с помощью блока 304 FEC-декодирования. Затем на этапе S34 определяют, завершено или нет восстановление потерянных данных в процессе FEC-декодирования. Когда восстановление данных завершено, процесс обработки переходит на этап S36, и обработку пакета выполняют с помощью блока 306 обработки пакетов.

С другой стороны, когда восстановление данных на этапе S34 не завершено, процесс обработки переходит далее на этап S38. Другими словами, когда количество потерянных пакетов превышает количество, которое можно восстановить с помощью FEC-обработки, нельзя достигнуть завершенного восстановления пакетов данных с помощью FEC, и процесс обработки переходит далее на этап S38 для выполнения процесса интерполяции.

На этапе S38 определяют, существуют или нет, по отношению к данным левого и правого видеоизображений, корреляционные пакеты, которые имеют высокую степень корреляции. Например, пакеты данных левого и правого видеоизображений, которые захватываются в то же самое время, проявляют относительно высокую корреляцию. Когда корреляционные пакеты не существуют, процесс обработки переходит на этап S40, и процесс интерполяции выполняется над данными, которые не были восстановлены. Таким образом, когда отсутствуют корреляционные пакеты, например, когда отсутствует 3D эффект в левом и правом видеоизображениях, и отсутствует разность между информацией относительно левого и правого видеоизображения, на этапе S40 выполняют процесс интерполяции только над потерянными пакетами. В этом случае, на этапе S40, выполняют процесс маскирования ошибок, в котором, например, извлекают данные предшествующего кадра из сохраненных данных D и подставляют. Следует отметить, что данные предшествующего кадра (сохраненные данные D2) временно сохраняются в буфере и т.д. Кроме того, когда не были восстановлены только данные видеоизображения для правого глаза, обработку выполняют для отображения видеоизображения только для левого глаза.

С другой стороны, когда корреляционные пакеты существуют на этапе S38, процесс обработки переходит на этап S42. На этапе S42 выполняют процесс обработки для идентификации корреляционных пакетов. В этом случае, например, идентифицируют, из числа многочисленных кадров, в каких кадрах левое и правое видеоизображения имеют высокую корреляцию.

На фиг.10 изображена схема, показывающая информацию FEC-заголовка, выполненного в пакете контроля по четности. Информация, которая показывает, является или нет корреляция между левым и правым видеоизображениями высокой, включена в область информации о FEC-корреляции, которая хранится в FEC-заголовке пакета, показанном на фиг.10. Область информации о FEC-корреляции хранит информацию, такую как информация о корреляции, уровень корреляции, приоритет, номера последовательностей, информация о времени и т.д. Эта область используется для идентификации корреляционных пакетов во время FEC-декодирования с использованием способа, в котором номера последовательностей показывают тип корреляции, уровень корреляции, приоритет, и, например, какой пакет коррелирует с каким пакетом.

После этапа S42, процесс обработки переходит на этап S44. На этапе S44 процесс коллективной интерполяции выполняется с помощью блока 306 обработки пакетов. Более конкретно, когда существует корреляция между левым и правым изображениями, корреляционные пакеты идентифицируются из области информации о FEC-корреляции, которая хранится в FEC-заголовке пакета, показанного на фиг.10, и процесс интерполяции выполняется на основании данных пакета, коррелирующих с потерянным пакетом. То есть, интерполяция, например, потерянного пакета левого изображения основана на корреляционном пакете правого изображения и наоборот.

Как описано выше, когда восстановление данных невозможно, согласно процессу, показанному на фиг.7, можно выполнить процесс интерполяции данных на основании того, существуют или нет корреляционные пакеты. Поэтому можно соответствующим образом выполнить процесс интерполяции в соответствии со степенью корреляции между левым и правым видеоизображениями.

Ниже будет объяснен другой процесс обработки, выполняемый в передающем устройстве 200. На фиг.8 изображена схема последовательности операций, показывающая процесс обработки, соответствующий вышеописанному FEC-контролю на основе приоритета и FEC-контролю, связанному с КОДЕРОМ, и процесс обработки,

- соответствующий динамическому управлению QoS. Как описано выше, при FEC-контроле на основе приоритета, ухудшение стереоскопического видеоэффекта, вызванное влиянием потерянного пакета во время передачи, минимизировано путем изменения интенсивности FEC в зависимости от того, имеют ли данные большой параллакс и сильный стереоскопический видеоэффект, или имеют ли данные маленький параллакс и слабый стереоскопический видеоэффект. При выполнении FEC-контроля на основе приоритета, в 3D обработке на этапе S12, сохраняется приоритет данных видеоизображения. Затем в процессе FEC-кодирования на этапе S18, выполняют процесс FEC-кодирования в соответствии с приоритетом.

Поэтому на этапе S18, показанном на фиг.8, блок 208 FEC-кодирования выполняет процесс обработки с целью изменения количества пакетов контроля по четности в соответствии с приоритетом пакета.

Как описано выше, FEC-контроль, связанный с КОДЕКОМ, связывает флуктуации в полосе пропускания для передачи с управлением скоростью кодирования КОДЕКА путем изменения интенсивности FEC в зависимости от того, имеют ли данные большой параллакс и сильный стереоскопический видеоэффект, или имеют ли данные маленький параллакс и слабый стереоскопический видеоэффект. Таким образом, можно выполнить передачу, в которой скорость передачи пакетов после FEC-кодирования находится в пределах диапазона фиксированной битовой скорости. Таким образом, на этапе S18, показанном на фиг.8, блок 208 FEC-кодирования возвращает полное количество данных после FEC-кодирования обратно в процесс кодирования, который выполняется на этапе S12. Затем, на этапе S12, показанном на фиг.8, блок 204 кодирования видеоизображений выполняет процесс "прореживания" или интерполяции в соответствии с количеством данных и выполняет управление таким образом, чтобы полное количество данных превышало верхний предел.

Кроме того, при динамическом управлении QoS, согласно настоящему варианту осуществления, блок 208 FEC-кодирования выполняет обработку для восстановления потерянного пакета путем объединения управления передачей, такой как управление ARQ (автоматический запрос повторной передачи) с помощью FEC. Управление ARQ позволяет использовать способ, раскрытый в патентной литературе 2, приведенной выше. Более конкретно, в качестве способа восстановления потерянных пакетов, а не только FEC, потерянные пакеты можно с более высокой вероятностью восстанавливать с помощью гибридного управления QoS, которое одновременно использует управление передачей (ARQ). Когда возможно исправление ошибок с помощью FEC, блок 208 FEC-кодирования выполняет исправление ошибок с помощью FEC. Кроме того, когда исправление ошибок невозможно с помощью FEC, блок 208 FEC-кодирования выполняет процесс ARQ в качестве запроса передачи. В то же самое время, блок 208 FEC-кодирования вырабатывает пакет RTCP с запросом на повторную передачу и передает пакет RTCP в передающее устройство 200. Таким образом, на этапе S18, показанном на фиг.8, блок 208 FEC-кодирования выполняет процесс восстановления потерянных пакетов, который объединяет управление повторной передачей и FEC, и когда запрос на повторную передачу принят из приемного устройства 300, пакет передается повторно. Следует отметить, что при выполнении управления повторной передачей, блок 302 приема приемного устройства 300 функционирует как блок передачи, и блок 210 передачи передающего устройства 200 функционирует как блок приема, и запрос на повторную передачу передается из приемного устройства 300 в передающее устройство 200 через сеть 400. В это же время, можно также установить систему, в которой способ управления QoS для восстановления потерянных пакетов или интенсивности изменяется в соответствии с полосой пропускания канала передачи, информацией о параллаксе, информацией о яркости и цветоразностной информации и т.д.

На фиг.9 изображена схема последовательности операций, показывающая другой процесс обработки, выполняемый в приемном устройстве 300. На фиг.9 показан процесс обработки для изменения интенсивности FEC с использованием информации о яркости и цветоразностной информации, например, для увеличения интенсивности FEC при получении определенного количества информации об яркости. В этом случае, в процессе интерполяции на этапе S40, в добавление к вышеописанному способу для подстановки данных предыдущего кадра, когда цветоразностная информация потеряна и ее нельзя восстановить, процесс обработки выполняется только для интерполяции яркости (Y).

Кроме того, при динамическом управлении QoS, соответствующем передающему устройству 200, как показано на фиг.8, в качестве результата определения FEC-восстановления на этапе S34, когда восстановление невозможно с помощью FEC, процесс обработки выполняют для передачи, в передающее устройство 200, запроса на повторную передачу с помощью ARQ.

(7) Обработка информации о субтитрах и аудиоинформации

Ниже будет объяснена процесс обработки информации о субтитрах. Степень приоритета информации о субтитрах можно установить выше, чем у видеоизображений, и можно обработать в качестве специальной информации по отношению к информацию о видеоизображении. В качестве одного примера, избыточность по отношению к информации о титрах можно сделать выше, чем у информации о видеоизображении. Кроме того, возможен способ, который использует слои SVC (масштабируемого видео кодек) и степень приоритета. Это является способом, в котором количество FEC изменяется в соответствии со степенью важности слоя, и возможен способ обработки, который сокращает время задержки путем выполнения обработки над каждым слоем многочисленных каналов с использованием одной матрицы кодирования. В качестве примера, более важные изображения, такие как низкочастотные изображения, рассматриваются для более важных слоев и имеют более высокую степень приоритета.

Кроме того, аудиоинформацию можно обработать подобным способом, в котором данные из многочисленных каналов мультиплексируются в одной матрице FEC-кодирования и обрабатываются, и пакеты, относящиеся к окружению и т.д., можно совместно обработать в случае, когда возникает потеря пакета.

Как описано выше, согласно настоящему варианту осуществления, можно выполнить систему передачи в прямом эфире 3D видеоизображения с низкой задержкой и также с высокой устойчивостью к потерям пакетов. Затем, даже в случае, если восстановление потерянного пакета не выполняется, видеоизображения, которые не потеряли стереоскопический видеоэффект, можно получить путем процесса интерполяции. Более того, путем выполнения процесса FEC в соответствии со степенью интенсивности стереоскопического видеоэффекта, можно получить видеоизображения, которые не теряют стереоскопический видеоэффект. Кроме того, можно ограничить ширину полосы пропускания передачи так, чтобы она была равной или меньше, чем некоторая ширина полосы пропускания даже при повышении устойчивости к потере пакетов.

Выше был подробно описан образцовый вариант осуществления со ссылкой на сопроводительные чертежи. Однако настоящее изобретение не ограничивается вышеописанными примерами. Специалистам в данной области техники следует понимать, что различные модификации, комбинации, подкомбинации и изменения могут иметь место в зависимости от требований конструкции и других факторов в той мере, в какой они находятся в пределах объема прилагаемой формулы изобретения или ее эквивалентов.

Перечень ссылочных позиций

100 - Система связи

200 - Передающее устройство

202 - Блок 3D обработки

208 - Блок FEC-кодирования

300 - Приемное устройство

302 - Блок приема

304 - Блок FEC-декодирования

Claims

1. Кодер данных видеоизображения, содержащий:
вход, выполненный с возможностью приема данных стереоскопического изображения, включающих в себя первые и вторые данные изображения, имеющие хронологическое соответствие, при этом первые и вторые данные изображения представляют собой левое и правое изображения;
блок кодирования с исправлением ошибок, выполненный с возможностью объединения блоков упомянутых первых данных изображения и соответствующих блоков упомянутых вторых данных изображения из упомянутого входного блока в общей матрице FEC-кодирования, содержащей пакеты данных левого и правого изображений в соответствующем периоде времени и количество пакетов контроля по четности, определенное на основании параллакса между частью данных левого изображения и частью данных правого изображения, и прибавления к упомянутой матрице FEC-кодирования кода с исправлением ошибок, полученного из упомянутых объединенных блоков.

2. Кодер данных изображения по п.1, в котором упомянутые первые и вторые данные изображения представляют собой изображения, которые воспринимаются, соответственно, левым и правым глазами.

3. Кодер данных изображения по п.1, в котором упомянутое хронологическое соответствие, по существу, одновременно воспроизводится данными изображения для левого глаза и правого глаза.

4. Кодер данных изображения по п.1, в котором упомянутые блоки упомянутых первых и вторых данных изображения представляют собой пакеты данных.

5. Кодер данных изображения по п.4, в котором упомянутый блок кодирования с исправлением ошибок объединяет многочисленные пакеты данных упомянутых первых данных изображения и многочисленные пакеты данных упомянутых вторых данных изображения в общей матрице FEC-кодирования; и упомянутый код с исправлением ошибок содержит, по меньшей мере, один пакет данных контроля по четности, полученных из упомянутых пакетов данных в упомянутой общей матрице FEC-кодирования.

6. Кодер данных изображения по п.5, в котором упомянутый код с исправлением ошибок содержит, по меньшей мере, один дополнительный пакет данных контроля по четности, полученных из упомянутых пакетов данных в упомянутой общей матрице FEC-кодирования.

7. Кодер данных изображения по п.5, в котором упомянутые пакеты данных упомянутых первых и вторых данных изображения, которые объединены в упомянутой общей матрице FEC-кодирования, представляют собой изображения, захваченные в общем периоде времени с помощью устройства захвата стереоскопического изображения; и в котором упомянутый входной блок назначает уровни приоритетов пакетам данных изображения, захваченных в соответствующие периоды времени.

8. Кодер данных изображения по п.7, в котором упомянутый код с исправлением ошибок содержит большее количество пакетов данных контроля по четности для общих матриц FEC-кодирования, содержащих пакеты данных с более высокими уровнями приоритета, чем для общих матриц FEC-кодирования, содержащих пакеты данных с меньшими уровнями приоритета.

9. Кодер данных изображения по п.8, в котором уровни приоритета, назначенные пакетам данных в соответствующий период времени, представляет собой функцию параллакса и/или различия по цвету между упомянутыми первыми и вторыми данными изображения.

10. Кодер данных изображения по п.9, в котором упомянутый блок кодирования с исправлением ошибок выполнен с возможностью идентификации этих пакетов данных упомянутых первых данных изображения, которые коррелируют с пакетами данных упомянутых вторых данных изображения в общей матрице FEC-кодирования.

11. Кодер видеоизображения, который кодирует данные стереоскопического изображения в коде с исправлением ошибок, содержащий:
блок получения изображения, выполненный с возможностью получения данных видеоизображений, представляющих собой левое и правое изображения, захваченные в последующие периоды времени;
блок пакетизации, выполненный с возможностью формирования пакетов данных левого изображения из данных левого изображения и пакетов данных правого изображения из данных правого изображения и назначения уровней приоритетов пакетам данных в упомянутые периоды времени; и
блок с прямым исправлением ошибок (FEC), выполненный с возможностью образования матриц FEC-кодирования пакетов данных левого и правого изображений в упомянутые последующие периоды времени, причем каждая матрица FEC-кодирования содержит пакеты данных левого и правого изображений в соответствующем периоде времени и количество пакетов контроля по четности, определенное уровнем приоритета, который назначен пакетам данных в соответствующий период времени.

12. Передатчик изображения, содержащий:
блок получения изображения, выполненный с возможностью получения данных видеоизображений, представляющих собой левое и правое изображения, захваченные в последующие периоды времени;
блок пакетизации, выполненный с возможностью формирования пакетов данных левого изображения из данных левого изображения и пакетов данных правого изображения из данных правого изображения и назначения уровней приоритета пакетам данных в упомянутые периоды времени;
блок с прямым исправлением ошибок (FEC), выполненный с возможностью образования матриц FEC-кодирования пакетов данных левого и правого изображений в упомянутые последующие периоды времени, причем каждая матрица FEC-кодирования содержит пакеты данных левого и правого изображений в соответствующий период времени и количество пакетов контроля по четности, определенное уровнем приоритета, который назначен пакетам данных в упомянутом соответствующем периоде времени; и
блок передачи, выполненный с возможностью передачи матриц FEC-кодирования на блок приема приемного устройства.

13. Устройство для приема изображений, содержащее:
блок приема, выполненный для приема матриц, кодированных с исправлением ошибок данных изображения, причем каждая матрица включает в себя пакеты данных левого и правого изображений, представляющих собой левое и правое изображения, полученные в общий период времени, и количество пакетов контроля по четности;
блок декодирования с исправлением ошибок, выполненный с возможностью восстановления пакетов данных левого и правого изображений в принятой матрице с использованием упомянутых пакетов контроля по четности, если ошибка присутствует в принятой матрице; и
блок обработки пакетов, выполненный с возможностью выработки пакетов интерполяционных данных, если упомянутый блок декодирования с исправлением ошибок не может восстановить упомянутые пакеты данных левого и правого изображений.

14. Устройство для приема изображений по п.13, в котором упомянутая матрица включает в себя информацию о корреляции, идентифицирующую корреляцию пакетов данных левого и правого изображений в упомянутой матрице; и
упомянутый блок обработки пакетов выполняет процесс коллективной интерполяции с использованием пакета данных левого изображения, если корреляционный пакет данных правого изображения потерян, и пакета данных правого изображения используется в случае, если корреляционный пакет данных левого изображения потерян.