RU2568309C2 - Обнаружение формата трехмерного видео - Google Patents

Abstract

Изобретение относится к системам обработки видеосигнала. Техническим результатом является обеспечение автоматизированного перехода между 3D и 2D форматами посредством оценки показателей форматов путем сравнения подкадров 3D с заранее заданным пороговым значением. Предложено видеоустройство для обработки видеосигнала. Устройство содержит приемное средство для приема видеосигнала, содержащего видеоданные, представляющие либо контент трехмерного видео 3D, форматированный в соответствии с форматом 3D, либо контент двумерного видео 2D, форматированный в соответствии с форматом 2D, при этом формат 3D содержит, по меньшей мере, два подкадра 3D, чтобы составлять один кадр 3D, и является одним форматом из набора возможных форматов 3D. Видеоустройство также содержит процессор для обеспечения сигнала состояния 3D, указывающего формат видеосигнала, а также процессор выполняет определение показателей форматов для ряда возможных форматов 3D путем обработки видеоданных согласно соответственным заранее заданным характеристикам формата для получения и сравнения соответственных подкадров 3D. 4 н. и 9 з.п. ф-лы, 10 ил.

Description

ОБЛАСТЬ ТЕХНИКИ, К КОТОРОЙ ОТНОСИТСЯ ИЗОБРЕТЕНИЕ

Изобретение относится к видеоустройству для обработки видеосигнала, устройство содержит приемное средство для приема видеосигнала, содержащего видеоданные, представляющие либо контент трехмерного видео [3D], форматированный в соответствии с форматом трехмерного видео (3D), либо контент двумерного видео [2D], форматированный в соответствии с форматом двумерного видео (2D), формат 3D содержит, по меньшей мере, два подкадра 3D, чтобы составлять один кадр 3D, и является одним форматом из набора возможных форматов 3D.

Изобретение дополнительно относится к способу обработки видеосигнала, содержащему прием видеосигнала, содержащего видеоданные, представляющие либо контент трехмерного видео [3D], форматированный в соответствии с форматом 3D, либо контент двумерного видео [2D], форматированный в соответствии с форматом 2D, формат 3D содержит, по меньшей мере, два подкадра 3D, чтобы составлять один кадр 3D, и является одним форматом из набора возможных форматов 3D.

Изобретение дополнительно относится к видеосигналу и компьютерному программному продукту.

Изобретение относится к области техники передачи 3D видеоданных с помощью формата сигнала 2D видеоданных.

ПРЕДШЕСТВУЮЩИЙ УРОВЕНЬ ТЕХНИКИ

Являются известными устройства для формирования двумерных (2D) видеоданных, например видеосерверы, вещательные станции, или устройства авторской разработки. В настоящем предлагаются расширенные для 3D устройства для обеспечения трехмерных (3D) данных изображения. Подобным образом предлагаются видеоустройства для обработки отображения 3D видеоданных, подобные проигрывателям для оптического диска (например, диска Blu-ray; BD) или телевизионным приставкам, которые визуализируют принимаемые сигналы цифрового видео. Видеоустройство должно быть связано с устройством 3D отображения, подобным телевизору или монитору. Видеоданные могут передаваться от устройства через подходящий интерфейс, предпочтительно высокоскоростной цифровой интерфейс, подобный мультимедийному интерфейсу высокой четкости (HDMI). Устройство 3D отображения также может быть интегрированным с видеоустройством, например, телевизор (TV) с наличием приемного блока и устройства 3D отображения.

В документе WO 2009/077929 описываются подходы, которые могут предприниматься к переходу между 2D и 3D. Видеосигнал формата 3D содержит видеоинформацию и связанную с ней информацию воспроизведения, видеоинформация и связанная информация воспроизведения организуются в соответствии с форматом воспроизведения. Видеоинформация может содержать первичный поток видеоданных для 2D отображения, и поток дополнительной информации для предоставления возможности 3D отображения. Связанная информация воспроизведения содержит информацию отображения, указывающую возможные типы отображения. Информация отображения обрабатывается в приемнике, чтобы определить, что являются возможными и 2D отображение, и 3D отображение. Устанавливается режим воспроизведения, определяющий, должна ли видеоинформация отображаться в режиме 2D или 3D.

В документе WO 2006/018773 описывается система для обнаружения режима представления изображения на основании входного видеосигнала. Видеосигнал может быть видеосигналом 3D, содержащим множество представлений. Представления организованы в массив значений пикселов, каковые значения пикселов подлежат отображению на соответственную структуру элементов данных, соответствующих позициям пикселов в отображении мультипредставления. Специальный сигнал 3D видео используется, чтобы передавать значения пикселов соответственных представлений, и количество представлений обнаруживается посредством приемника.

КРАТКОЕ ОПИСАНИЕ СУЩНОСТИ ИЗОБРЕТЕНИЯ

Трудность WO 2009/077929 состоит в том, что переходы между воспроизведением в 3D и 2D основываются на доступности соответствующей 3D сигнализации во входном видеосигнале. Однако форматы 3D могут ставиться в соответствие видеосигналам формата 2D, чтобы являться совместимыми с существующими системами распространения видеосигналов и/или носителями данных. Вследствие отсутствия сигнализации в существующем формате сигнала 2D, пользователь должен вручную выбирать надлежащий режим для визуализации видеосигнала в 3D.

Задача изобретения состоит в том, чтобы обеспечить систему для осуществления перехода между 3D и 2D более удобным образом.

С этой целью, согласно первому аспекту изобретения, устройство, как описано во вступительном параграфе, содержит процессор для обеспечения сигнала состояния 3D, указывающий формат видеосигнала, процессор выполнен с возможностью определения соответственных количественных показателей форматов для ряда возможных форматов 3D путем обработки видеоданных согласно соответственным заранее заданным характеристикам формата для получения и сравнения соответственных подкадров 3D, каковое определение упомянутых соответственных показателей форматов для упомянутого ряда возможных форматов 3D организовано в заранее заданном порядке следования, и установки сигнала состояния 3D на основании соответственных показателей форматов, чтобы указать формат видеосигнала, если оценка соответственных показателей форматов обеспечивает заранее заданный уровень доверия, при этом видеосигнал имеет кадр 2D и управляющую структуру формата 2D, подкадры 3D формируются согласно формату пространственной субдискретизации и субдискретизированные элементы изображения подкадров 3D размещаются в кадре 2D видеосигнала.

С этой целью, согласно дополнительному аспекту изобретения, способ обработки видеосигнала содержит обеспечение состояния 3D, указывающего формат видеосигнала, на основании определения соответственных показателей форматов для ряда возможных форматов 3D путем обработки видеоданных согласно соответственным заранее заданным характеристикам формата для получения и сравнения соответственных подкадров 3D, каковое определение упомянутых соответственных показателей форматов для упомянутого ряда возможных форматов 3D организовано в заранее заданном порядке следования, и установки состояния 3D на основании оценки соответственных показателей форматов, чтобы указать формат видеосигнала, если оценка соответственных показателей форматов обеспечивает заранее заданный уровень доверия, при этом видеосигнал имеет кадр 2D и управляющую структуру формата 2D, подкадры 3D формируются согласно формату пространственной субдискретизации и субдискретизированные элементы изображения подкадров 3D размещаются в кадре 2D видеосигнала.

Меры имеют нижеследующий эффект. Видеосигнал, поступающий на вход, анализируется видеоустройством, чтобы определить сигнал состояния 3D, состояние 3D является либо состоянием 2D, либо состоянием 3D, указывающим один формат из ряда возможных форматов 3D видео. Видеоустройство обеспечивает сигнал состояния 3D для управления отображением 3D видео, то есть, устанавливает операционный режим для корректной визуализации видеосигнала. Анализ основывается на определении показателя формата для соответственных форматов 3D, то есть, полагая, что сигнал содержит видеоданные согласно соответственном формату 3D видео, соответствующие подкадры 3D получают, исходя из сигнала. Например, оба подкадра 3D предположительно располагаются рядом в кадре 2D. Впоследствии подкадры 3D, например, левый кадр и правый кадр, получают из сигнала и сравнивают, то есть анализируют, чтобы проверить, имеют ли оба предполагаемых подкадра 3D характеристики формата соответствующих подкадров 3D. Например, для левого (L) и правого (R) кадра вычисляется корреляция, которая должна быть относительно высокой, поскольку тот же контент присутствует в обоих подкадрах 3D, хотя просматривается со слегка отличающегося угла обзора. Впоследствии показатели форматов оцениваются, например, сравниваются с заранее заданным пороговым значением. На основании оценки один из форматов 3D может иметь достоверно высокий показатель, и затем сигнал состояния 3D соответственно устанавливается, чтобы указать формат видеосигнала. Если ни один из форматов 3D не имеет достаточно высокого показателя, подразумевается видеосигнал 2D, и состояние устанавливается соответственно. Полезно, что фактическим режимом 3D отображения например, 3D телевизионного приемника, можно автоматически управлять на основании сигнала состояния 3D.

Изобретение также основывается на нижеследующем признании. Поскольку потребители привыкают к просмотру в режиме 3D, будет необходимо передавать видеосигналы через существующие каналы распространения, например, широковещательные сети или носители данных видео. Практически кажется, что незначительное ухудшение разрешения будет приемлемым, и поставщики контента могут упаковывать свой контент 3D в существующие форматы видеосигнала 2D, размещая подкадры 3D в кадре 2D. Изобретатели увидели, что является удобным автоматически обнаруживать такой специально форматированный сигнал 3D, который не может нести управляющие данные, сигнализирующие формат 3D, поскольку по существу формат видеосигнала должен оставаться существующим форматом 2D. Хотя могут использоваться различные структуры подкадров 3D, однако представляется, что обнаружение формата 3D возможно на основании предположения сначала, что использовался соответственный формат 3D видео, и впоследствии анализа предполагаемых подкадров 3D относительно этого формата. Полезно, что на основании текущей относительной дешевизны вычислительной мощности обработки видео, возможно выполнение анализов в режиме реального времени в пределах достаточно короткого времени, чтобы пользователь едва заметил задержку переключения на режим 2D или 3D видео соответственно.

В варианте осуществления набор возможных форматов 3D содержит, по меньшей мере, один формат пространственной субдискретизации для формирования подкадров 3D, и заранее заданные характеристики формата содержат размещение субдискретизированных элементов изображения из подкадров 3D в кадре видеосигнала формата 2D. Пространственная субдискретизация уменьшила количество пикселов, то есть разрешение, в одном или нескольких направлениях пространства. Полезно, что подкадры 3D требуют меньшего количества пикселов и могут быть вмещены в кадр 2D (полное разрешение). Делается предположение о схемах размещения пространственно субдискретизированных подкадров 3D в различных форматах 3D (например, в ряд или сверху/снизу), и вычисляется соответственный показатель формата.

В варианте осуществления, определение соответственных показателей форматов для ряда форматов 3D из набора возможных форматов 3D организуется в заранее заданном порядке следования, и устанавливается сигнал состояния 3D, если оценка показателей форматов обеспечивает заранее заданный уровень доверия. Полезно, что высокий показатель ожидаемого формата 3D находится более быстро.

В варианте осуществления, определение соответственного показателя формата содержит вычисление соответствия между подкадрами 3D путем, по меньшей мере, одного из вычисления корреляции между подкадрами 3D; вычисления среднего от разностей между подкадрами 3D; вычисления цветовых характеристик соответственных подкадров 3D для обнаружения подкадра данных глубины. Ожидается корреляция или наличие низкого среднего средних разностей между обоими подкадрами 3D для соответствующих левого и правого подкадров 3D, тогда как цветовые характеристики для карты глубин в качестве подкадра 3D являются существенно различными (обычно, данные глубины не содержат цвет).

В варианте осуществления, по меньшей мере, один из возможных форматов 3D содержит левый и правый [L и R] подкадры 3D, размещенные в кадре 2D в соответствии с полярностью левый/правый, и процессор выполнен с возможностью, при определении показателя формата, определять показатель полярности на основании заранее заданного распределения глубины, имеющего место в кадре 3D, и установка состояния 3D включает в себя установку сигнала состояния полярности левый/правый на основании оценки показателя полярности. Глубина в кадре 3D может быть получена, исходя из значений диспаратности (различий), фактических значений глубины в карте глубин или подходящей оценки на основании подкадров 3D. Обнаружение наличия подкадров 3D может также потребовать обнаружения, какой подкадр является левым, и какой подкадр является правым. Если подкадры перестанавливаются, имеет место сильное искажение информации глубины в 3D изображении. Согласно предположению заранее заданного распределения значений глубин или соответствующих значений диспаратности, определяется показатель полярности. Полезно, что 3D отображение будет обеспечиваться корректным состоянием полярности левый и правый.

В варианте осуществления, процессор имеет средство обнаружителя для сравнения соответственных подкадров 3D путем, по меньшей мере, одного из обнаружения вертикальной черной маски (непрозрачного фрагмента) на вертикальных границах подкадров 3D; обнаружение горизонтальной черной маски на горизонтальных границах подкадров 3D. На основании наличия черной маски могут достоверно обнаруживаться соответственные подкадры 3D.

Согласно дополнительному аспекту изобретения, видеосигнал содержит видеоданные, представляющие либо контент трехмерного видео [3D], форматированный в соответствии с форматом 3D, либо контент двумерного видео [2D], форматированный в соответствии с форматом 2D, видеосигнал имеет кадр 2D и управляющую структуру формата 2D, формат 3D содержит, по меньшей мере, два подкадра 3D, чтобы составлять один кадр 3D, и является одним форматом из набора возможных форматов 3D, видеоданные содержат, по меньшей мере, одно из вертикальной черной маски на вертикальных границах подкадров 3D, тогда как форматное соотношение контента видео не требует вертикальных черных полос; горизонтальной черной маски на горизонтальных границах подкадров 3D, тогда как форматное соотношение контента видео не требует горизонтальных черных полос; для предоставления возможности обнаруживать черную маску для определения формата 3D. Полезно, что на основании наличия черной маски соответственные подкадры 3D могут быть достоверно обнаружены.

Дополнительно предпочтительные варианты осуществления способа, видеоустройств и сигнала согласно изобретению даются в прилагаемой формуле изобретения, раскрытие которой включено в документ путем ссылки.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

Эти и другие аспекты изобретения будут очевидны и пояснены дополнительно с помощью ссылки на варианты осуществления, описанные в качестве примера в нижеследующем описании, и со ссылкой на сопроводительные чертежи, на которых

Фиг. 1 - показ системы для отображения данных 3D изображения,

Фиг. 2 - показ кадра 2D видео,

Фиг. 3 - показ формата 3D «в ряд»,

Фиг. 4 - показ формата 3D «верх-низ»,

Фиг. 5 - показ формата 3D «изображение и глубина»

Фиг. 6 - показ процессора для автоматического обнаружения формата 3D,

Фиг. 7a - показ карты глубин на основании корректной полярности левый/правый,

Фиг. 7b - показ карты глубин на основании ошибочной полярности левый/правый,

Фиг. 8 - показ анализа глубины в горизонтальных полях, и

Фиг. 9 - показ анализа глубины в вертикальных полях.

На фигурах чертежей элементы, соответствующие уже описанным элементам, имеют одинаковые числовые ссылочные позиции.

ПОДРОБНОЕ ОПИСАНИЕ ВАРИАНТОВ ОСУЩЕСТВЛЕНИЯ ИЗОБРЕТЕНИЯ

Отмечается, что настоящее изобретение может использоваться для любого типа 3D отображения, имеющего диапазон глубин. Полагается, что видеоданные для 3D отображений будут доступными в виде электронных, обычно цифровых, видеоданных. Настоящее изобретение относится к таким данным изображения и управляет данными изображения в цифровой области.

Имеются много различных способов, которыми 3D изображения могут форматироваться и передаваться, называемых форматом 3D видео. Некоторые форматы 3D основываются на использовании канала 2D, чтобы также нести информацию стерео. В данном документе обращается основное внимание на форматы 3D, использующие сигнал формата 2D, чтобы являться совместимым с существующим распределением 2D.

На Фиг. 1 показана система для отображения данных трехмерного (3D) изображения, таких как видео, графика или другая визуальная информация. Устройство-источник 40 передает видеосигнал 41 на видеоустройство 50. Устройство-источник обеспечивает видеосигнал на основании ввода 43 видеоданных, доступного от системы хранения, от камеры 3D, и т.д. Видеосигнал 41 может быть сигналом 2D видео или сигналом 3D видео. В этом документе основное внимание обращается на передачу контента 3D видео посредством сигнала, который форматируется согласно ранее существовавшему формату сигнала 2D, например, чтобы являться совместимым с существующими каналами распространения. В таком 2D-форматированном видеосигнале формат 3D задает позицию и структуру 3D видеоданных. Следовательно, видеоданные представляют либо контент трехмерного видео [3D], форматированный в соответствии с форматом 3D, либо контент двумерного видео [2D], форматированный в соответствии с форматом 2D. В частности, видеосигнал имеет кадр 2D и управляющую структуру формата 2D, тогда как в случае, если используемым является формат 3D, видеоданные содержат, по меньшей мере, два подкадра 3D, чтобы составлять один кадр 3D. Фактически используются разнообразные различные форматы 3D, и видеосигнал содержит структуру одного из ряда возможных форматов 3D. Различные примеры форматов 3D обсуждаются ниже со ссылкой на фигуры Фиг. 2-5.

Устройство-источник может быть сервером, вещательной станцией, записывающим устройством или системой авторской разработки и/или производства для изготовления носителей записи, подобных диску по технологии Blu-ray. Диск Blu-ray поддерживает интерактивную платформу для создателей контента. Для стереоскопического 3D видео имеются многие форматы. Основными форматами являются стерео и формат «изображение плюс глубина». Для них снова имеются многие возможные способы, которыми контент может форматироваться, чтобы подходить для использования с новыми и существующими форматами 3D отображения и распределения. Больше информации о формате диска Blu-ray доступно с веб-сайта ассоциации Blu-ray Disc в статье по формату аудиовизуального приложения.

http://www.blu-raydisc.corn/Assets/Downloadablefile/2b_bdrom_audiovisualapplication_0305-12955-15269.pdf. Процесс производства дополнительно содержит этапы получения физического шаблона меток на дорожках, который реализует сигнал 3D видео, включая метаданные глубин, и впоследствии придания формы материалу носителя записи, чтобы обеспечивать дорожки меток, по меньшей мере, на одном слое хранения.

В варианте осуществления устройство-источник содержит процессор 42 для модификации видеоданных на входе 43 3D видео, чтобы усовершенствовать обнаружение 3D видеоданных, которые передаются посредством 2D-форматированного видеосигнала, как пояснено ниже.

Видеоустройство 50 соединено с устройством 60 3D отображения, чтобы передавать сигнал 56 3D отображения. В видеоустройстве 3D имеется входной блок 51 для приема видеосигнала. Например, устройство может включать в состав блок 58 оптического диска, связанный с входным блоком, чтобы извлекать видеосигнал с оптического носителя 54 записи, подобного цифровому многофункциональному диску (DVD) или диску Blu-ray. Альтернативно, устройство может включать в состав блок 59 сетевого интерфейса для подсоединения к сети 45, например, сети Интернет или широковещательной сети, такое видеоустройство обычно называется телевизионной приставкой. Видеоустройством также может быть приемник спутниковой связи, медиаплеер, персональный компьютер, мобильное устройство, и т.д.

Видеоустройство содержит процессор 52, связанный с входным блоком 51, для обработки видеосигнала. Процессор обеспечивает сигнал 57 состояния 3D, указывающий формат видеосигнала. Состоянием 3D является или состояние 2D, или состояние 3D, указывающее один формат 3D из набора возможных форматов 3D видео. Процессор выполнен с возможностью определения соответственного показателя формата, по меньшей мере, для одного формата из возможных форматов 3D путем обработки видеоданных согласно соответственным заранее заданным характеристикам формата. Видеосигнал анализируется, чтобы вычислить показатели форматов для соответственных форматов 3D, то есть по предположению, что сигнал содержит видеоданные согласно соответственному формату 3D видео, осуществляется вывод соответствующих подкадров 3D, исходя из сигнала. К тому же процессор получает соответственные подкадры 3D, и устанавливает сигнал состояния 3D на основании оценки показателя формата, чтобы указать формат видеосигнала. Видеоустройство обеспечивает сигнал состояния 3D для управления отображением 3D видео, то есть, чтобы устанавливать операционный режим для корректной визуализации видеосигнала. Примерный вариант осуществления процессора 52 описан со ссылкой на Фиг. 6.

В варианте осуществления видеоустройство имеет обнаружитель 53 для обнаружения характеристик сигнала формата 3D на границах подкадров 3D. Например, обнаружитель может обнаруживать вертикальную черную маску на вертикальной границе подкадров 3D или горизонтальную черную маску на горизонтальной границе подкадров 3D. Относительно широкие черные полосы могут присутствовать в видеоданных вследствие несоответствия форматного соотношения для кадра 2D и активной области видео, например, кинофильма с форматным соотношением 2,35:1 в видеокадре 16:9. Такие широкие черные полосы могут легко обнаруживаться, например, в формате 3D «верх-низ», как пояснено ниже. Как таковое, обнаружение широких черных полос для обнаружения форматного соотношение является известным, например, из документа US 5686970.

Обнаружитель соединен с процессором 52 для формирования сигнала состояния 3D, и может быть физически интегрированным с процессором 52.

В варианте осуществления видеосигнал содержит видеоданные, представляющие либо контент 3D, форматированный в соответствии с форматом 3D, либо контент 2D, форматированный в соответствии с форматом 2D, видеосигнал имеет кадр 2D и управляющую структуру формата 2D, формат 3D содержит, по меньшей мере, два подкадра 3D, чтобы составлять один кадр 3D, и является одним форматом из набора возможных форматов 3D, видеоданные содержат, по меньшей мере, одно из вертикальной черной маски на вертикальных границах подкадров 3D, тогда как форматное соотношение контента видео не требует вертикальных черных полос; горизонтальной черной маски на горизонтальных границах подкадров 3D, тогда как форматное соотношение контента видео не требует горизонтальных черных полос. Нужно отметить, что черная маска добавляется к видеоданным не для коррекции какого-либо несоответствия форматного соотношения, а для предоставления возможности обнаруживать черную маску, чтобы определить формат 3D. Теперь черной маской является небольшая черная полоска из одного или нескольких пикселов в области видео. Отмечается, что черная маска может быть достаточно малой, чтобы находиться внутри граничной области видеокадра, которая обычно не отображается, и называется нерабочей областью экрана. Черная маска может применяться к верхней и нижней границе или к левой и правой границе области видео. Альтернативно черная маска может применяться только к одной боковой границе, например, границе, на которой оба подкадра 3D будут смежными при размещении в кадре 2D для 2D-форматированного видеосигнала.

В варианте осуществления обнаружитель 53 выполнен с возможностью обнаружения вертикальной черной маски на вертикальной границе подкадров 3D или горизонтальной черной маски на горизонтальной границе подкадров 3D, если преднамеренно добавлена в видеосигнал, определенный выше. Относительно небольшие полоски были включены в видеоданные подкадров 3D для улучшения автоматического обнаружения 3D видеоданных, которые передаются в 2D-форматированном видеосигнале. Обнаружитель получает конкретную граничную область для подкадров 3D, которая по предположению содержит черную маску согласно соответственному формату 3D видео, исходя из видеоданных, при этом принимая во внимание любую предварительную обработку, такую как субдискретизация, предписанную соответственным форматом 3D, на стороне кодирования.

В варианте осуществления уровни черного для черной маски могут иметь различные значения (например, 0 и 4) для левых и правых подкадров 3D. Оба значения будут по существу черными при просмотре на устройстве отображения. Эта характеристика может использоваться, чтобы дополнительно содействовать обнаружению полярности.

В варианте осуществления процессор выполнен с возможностью формирования сигнала 56 отображения, подлежащего передаче посредством блока 55 выходного интерфейса на устройство отображения, например, сигнала отображения по стандарту HDMI, см. "High Definition Multimedia Interface; Specification Version 1.3a of Nov 10 2006" (Мультимедийный интерфейс высокой четкости; Техническое описание версии 1.3a от 10 ноября 2006", доступный по адресу http://hdmi.org/manufacturer/specification.aspx. Процессор 52 выполнен с возможностью формирования данных изображения, включаемых в сигнал 56 отображения, для отображения на устройстве 60 отображения. Сигнал отображения может форматироваться согласно существующему формату сигнала 2D, и сигнал состояния 3D может поставляться отдельно, например, через отдельный интерфейс, на устройство 3D отображения, чтобы управлять отображением 3D видео, то есть устанавливать операционный режим для корректной визуализации видеосигнала.

В варианте осуществления сигнал состояния 3D может быть вложен в сигнал 56 3D отображения, например, в кадр управляющего сигнала или управляющих данных. Блок (55) выходного интерфейса составляет передающее средство для осуществления передачи сигнала 3D отображения, сигнал 3D отображения содержит контент 3D видео и управляющие данные, указывающие сигнал состояния 3D. В практическом варианте осуществления сигнал отображения снабжается 3D сигнализацией согласно стандарту HDMI 1.4.

Устройство 60 3D отображения предназначено для отображения данных 3D изображения. Устройство имеет в составе блок 61 входного интерфейса для приема сигнала 56 отображения, который может включать данные 3D видео, передаваемые от видеоустройства 50. Передаваемые видеоданные обрабатываются в блоке 62 обработки для отображения на устройстве 63 3D отображения, например, двойном (сдвоенном) или линзорастровом жидкокристаллическом устройстве отображения (LCD). Устройство 60 отображения может быть любым типом устройства стереоскопического отображения, называемым также устройством 3D отображения, и имеет диапазон глубин отображения, обозначенный стрелкой 64.

В варианте осуществления устройства 60 3D отображения обработка видеосигнала и обнаружение форматов 3D и 2D выполняются в блоке 62 обработки в устройстве отображения. Видеоданные передаются посредством сигнала 56 отображения. Обнаружение формата выполняется локально в устройстве отображения. Блок 62 обработки теперь выполняет функцию обеспечения сигнала состояния 3D для формирования сигналов отображения в режиме или 2D, или 3D, которые непосредственно связаны с устройством 3D отображения. Средство 62 обработки может быть предназначено для соответствующих функций, как описано для процессора 52 и/или обнаружителя 53 в составе видеоустройства.

В варианте осуществления видеоустройство 50 и устройство 60 отображения интегрированы в едином устройстве, где один набор средств обработки выполняет упомянутую функцию обнаружения формата 2D/3D. Сигнал 57 состояния 3D обеспечивается внутренне для непосредственного управления встроенным устройством отображения 3D видео.

На Фиг. 1 дополнительно показан носитель 54 записи в виде носителя видеосигнала, несущего формат 3D. Носитель записи имеет форму диска и содержит дорожку и отверстие в центре. Дорожка, образуемая последовательностью физически обнаруживаемых меток, выполняется в соответствии со спиральной или концентрической схемой витков, образующих, по существу параллельные дорожки на информационном слое. Носитель записи, который может быть оптически считываемым, называемым оптическим диском, например, компакт-диск (CD), цифровой многофункциональный диск (DVD) или диск формата Blue-ray (BD). Информация представляется на информационном слое посредством оптически обнаруживаемых меток вдоль дорожки, например, впадин и площадок. Структура дорожки также содержит позиционную информацию, например, заголовки и адреса, для указания позиции единиц информации, обычно называемых блоками информации. Носитель 54 записи несет информацию, представляющую в кодированные в цифровой форме данные изображения, подобные видео, например, кодированные в соответствии с системой кодирования стандартов MPEG2 или MPEG4 Экспертной группы по вопросам движущегося изображения, в заранее заданном формате записи, подобном формату DVD или BD.

В различных вариантах осуществления процессор 52 и обнаружитель 53 в видеоустройстве приспособлены для исполнения нижеследующих функций, как подробно описано ниже.

В варианте осуществления способ обеспечивает видеосигнал, который содержит видеоданные, представляющие либо контент трехмерного видео [3D], форматированный в соответствии с форматом 3D, либо контент двумерного видео [2D], форматированный в соответствии с форматом 2D,

видеосигнал имеет кадр 2D и управляющую структуру формата 2D,

формат 3D содержит, по меньшей мере, два подкадра 3D, чтобы составлять один кадр 3D, и является одним форматом из набора возможных форматов 3D,

видеоданные имеют, по меньшей мере, одно из

- вертикальной черной маски на вертикальной границе подкадров 3D, тогда как форматное соотношение контента видео не требует вертикальных черных полос;

- горизонтальной черной маски на горизонтальной границе подкадров 3D, тогда как форматное соотношение контента видео не требует горизонтальных черных полос;

для предоставления возможности обнаружения черной маски, чтобы определять формат 3D.

В дополнительном варианте осуществления способ содержит этап изготовления носителя записи, носитель записи снабжается дорожкой меток, представляющих видеосигнал.

В качестве продукта, носитель 54 записи снабжается дорожкой меток, содержащей вышеупомянутый видеосигнал, посредством вышеупомянутого способа изготовления.

На Фиг. 2 показан кадр 2D видео. На фигуре показан пример контента 2D видео в обозначенном пунктирной линией 21 кадре 2D видео. Тот же контент видео, но в форме 3D, также используется на фигурах Фиг. 3-5 в качестве примера форматов 3D. Отмечается, что кадр 2D является кодированным в сигнал 2D видео согласно одному формату из различных известных форматов 2D. Кодирование может включать в себя компрессию согласно стандартам MPEG2 или MPEG4, как известно в области техники.

На Фиг. 3 показан формат 3D «в ряд», далее обозначаемый SBS. На фигуре показан пример контента 3D видео, образуемого левым кадром L 31 и правым кадром R 32, размещенными в ряд в кадре 21 2D видео.

На Фиг. 4 показан формат 3D «верх-низ», далее обозначаемый TB. На фигуре показан пример контента 3D видео, образуемого левым кадром L 33, находящимся в верхней половине кадра 2D 21, и правого кадра R 34, выполненного находящимся в нижней половине кадра 2D 21.

Другой формат 3D основывается на двух видах, использующих 2D изображение, и дополнительном изображении D глубины, так называемой карте глубин, которая передает информацию о глубине объектов в 2D изображении. Формат, называемый «изображение + глубина» (2D+D), отличается тем, что является комбинацией 2D изображения с так называемой "глубиной", или картой диспаратности. Оно является полутоновым изображением (градаций серого), посредством чего значение серой шкалы для пиксела указывает величину диспаратности (или глубину в случае карты глубин) для соответствующего пиксела во взаимосвязанном 2D изображении. Устройство отображения использует карту диспаратности, глубин или параллаксов, чтобы вычислять дополнительные виды, взяв 2D изображение в качестве входного. Это может выполняться различными способами, в наипростейшей форме, это что-нибудь вроде смещения пикселов влево или вправо в зависимости от значения диспаратности, связанного с этими пикселами. Отмечается, что в формат 2D+D может включаться дополнительная информация глубины, подобная загораживанию и/или прозрачности. В статье, озаглавленной "Depth image based rendering, compression and transmission for a new approach on 3D TV" (Визуализация, компрессия и передача на основе глубины изображения для нового подхода к трехмерному телевидению" автор Christoph Fehn дает отличный обзор технологии (см. http://iphome.hhi.de/fehn/Publications/fehn_EI2004.pdf).

На Фиг. 5 показан формат 3D «изображение и глубина», далее обозначаемый 2D+D. На фигуре показан пример контента 3D видео, образуемого кадром 2D 35 и кадром D 36 глубины, размещенными в ряд в 2D-видеокадре 21. Кадр 2D и глубины также может быть размещен в конфигурации верх/низ, подобной показанной на Фиг. 4. Дополнительно форматы 3D, размещенные в 2D-форматированный видеосигнал, будут обсуждены далее.

В нижеследующем разделе будет обсуждаться рассмотрение 2D форматированного видеосигнала, который содержит контент 3D видео в соответствии с форматом 3D, таким как SBS, TB или 2D+D. В перечне ниже показаны некоторые дополнительные способы субдискретизации и форматы 3D для стереоскопического видео.

- С перемежением строк (LI)

- С перемежением столбцов (CI)

- Шахматный (CB), также называемый расположением в шахматном порядке

- Шахматный в ряд (CBS), подобный шахматному, но сохраняющий выборки L и R как в способе SBS для лучшей компрессии.

Пример CB описан в документе US2005/0117637.

Путем предположения, что был использован конкретный формат 3D, и сравнения возможностей с использованием способов, таких как компенсация движения/диспаратности, корреляция, вычисление средних абсолютных разностей (MAD), и т.д., фактический режим 3D обнаруживается автоматически. Для различных способов дискретизации система ниже использует соответствующий способ для обнаружения формата. Первым этапом в способе является получение подкадров 3D исходя из сигнала формата 2D согласно схеме размещения и/или перемежения для соответственного формата 3D. Например, для схемы LI, способ восстанавливает L и R на основании соответственных строк. Впоследствии предполагаемые подкадры 3D анализируются, чтобы определить, являются ли характеристики такими, как ожидалось. Если это так, устанавливается сигнал состояния 3D, чтобы указать соответственный формат 3D.

На Фиг. 6 показан процессор для автоматического обнаружения формата 3D. На фигуре показан примерный вариант осуществления процессора 52 с параллельной организацией для анализа 2-х возможных форматов 3D. В верхней части фигуры входной сигнал 600 видео подается на блок SPH 601 разделения подкадра 3D, чтобы разделять кадр 2D во входном сигнале на два (или большее число) подкадров 3D согласно первому формату 3D. В примере, в блоке SPH имеется функция для разделения кадра горизонтально согласно схеме «в ряд» (SBS) для подкадров 3D. Запоминающий блок L 602 сохраняет пикселы левого подкадра 3D, и запоминающий блок R 603 сохраняет пикселы правого подкадра 3D. Блоки 602, 603 L и R могут только сохранять входящие пикселы или могут дискретизировать с повышением видеоданные до полной разрешающей способности согласно соответственному формату 3D, который полагается подлежащим использованию. Лучшие результаты должны ожидаться для полной разрешающей способности на основании повышающей дискретизации, поскольку видеоданные на стороне кодера были дискретизированы с понижением согласно соответственному формату 3D, например, в направлении горизонтали, вертикали или в шахматном порядке, каковое теперь компенсируется.

Впоследствии подкадры 3D подаются на блок сравнения для вычисления соответствия между подкадрами 3D. В варианте осуществления обеспечивается блок MAD 605 вычисления соответствия, который выполняет вычисление средних абсолютных разностей между подкадрами 3D. Вычисляется средняя абсолютная разность для каждого (или подмножества) из соответствующих пикселов в этих 2 частях. Альтернативно, или дополнительно, могут оцениваться другие соответствия между подкадрами 3D, например, вычисление среднеквадратичных разностей (MSD), вычисление корреляции между подкадрами 3D или вычисление цветовых характеристик соответственных подкадров 3D для обнаружения подкадра данных глубин для формата 2D+D, как показано на Фиг. 5. Выход результата вычисления соответствия преобразуется в блоке CMP 607 количественных показателей в показатель 610 формата для формата 3D SBS, например, нормализацией.

Показатели форматов для различных форматов 3D должны оцениваться, чтобы определить фактический используемый формат 3D, если таковой имеется. Показатели форматов могут сравниваться друг с другом и/или с соответственными пороговыми значениями. Показатель формата может выражать уровень доверия, указывающий вероятность, что присутствуют фактические подкадры 3D согласно соответственному формату 3D. Показатели форматов могут определяться повторно, например, каждую секунду, и могут оцениваться многократные измерения и соответственные уровни доверия в процессе оценки со взвешиванием. Процесс может завершаться, если достигнут предварительно установленный уровень доверия и/или после заранее заданного интервала времени. Процесс может включать в себя мажоритарное решение голосованием, взвешенное уровнем доверия, например, высокое значение MAD при малых разностях между последующими предположениями относительно конкретного формата 3D дает низкое значение доверия для этого формата. Если ни один из форматов 3D не имеет достаточного уровня доверия, предполагается 2D сигнал (монофоническое видео).

В практическом варианте осуществления, показанном на Фиг. 6, значение MAD должно быть низким, и проверяется, чтобы было ниже некоторого порогового значения TH1 в блоке CMP (количественных показателей), чтобы при достаточно достоверном показателе, принять решение, что на входе присутствует первый формат 3D, указанный значением H1 показателя формата для первого формата 3D.

Поскольку левое и правое изображения берутся с различных точек наблюдения, лучше устранить это влияние в максимально возможной степени, каковое может, например, выполняться с помощью оценки диспаратности (DE) и применения компенсации "движения/вида" (MC) относительно вида R, имея результатом L'. Отмечается, что технология оценки движения может использоваться здесь на подкадрах L и R, то есть, чтобы обнаруживать пространственные разности вместо временных разностей между двумя кадрами. Оценка движения является хорошо известной, и известные алгоритмы так же могут применяться для оценки диспаратности. Другие способы оценки диспаратности и компенсации вида могут использоваться также для определения L'. Блок сравнения для этого может быть оснащен процессором DE/MC 604 подкадров 3D для уменьшения разностей между подкадрами на основании условия, что запоминающие блоки L и R фактически содержат левый и правый подкадры. Для этого процессор DE/MC применяет подходящий алгоритм оценки диспаратности и/или компенсации движения относительно контента R, чтобы сформировать скомпенсированный кадр L', который соответствует скомпенсированной версии R, обозначенной L'=MC(R). Впоследствии кадр L сравнивается с кадром L' посредством блока MAD вычисления соответствия.

Процессор, показанный на Фиг. 6, содержит второй блок в параллельной организации для одновременного обеспечения второго показателя формата для второго формата 3D. В нижней части фигуры входной сигнал 600 видео подается на блок SPV 611 подкадра 3D. У блока SPV имеется функция вертикального разделения кадра 2D во входном сигнале согласно схеме «верх-низ» (TB) для подкадров 3D. Запоминающий блок T 612 сохраняет пикселы верхней части кадра, например, левого подкадра 3D, и запоминающий блок R 613 сохраняет пикселы нижней части, соответствующие правому подкадру 3D. Впоследствии подкадры 3D подаются на блок сравнения для вычисления соответствия между подкадрами 3D. Дополнительный блок MAD 615 вычисления соответствия обеспечивается эквивалентным блоку 605, описанному выше. Выход вычисления соответствия преобразовывается в дополнительном блоке CMP 617 количественных показателей, эквивалентном блоку 607, описанному выше, в показатель 620 формата для формата 3D TB. В необязательном порядке показатель формата может непосредственно сравниваться с пороговым значением TH2 в блоке CMP, чтобы при достоверном показателе, немедленно принять решение, что на входе присутствует второй формат 3D, обозначенный значением V1 показателя формата для второго формата 3D.

Блок сравнения может быть оснащен процессором DE/MC 614 подкадров 3D, эквивалентным блоку 604, описанному выше, для уменьшения разностей между подкадрами, и/или блоком POL 616 полярности, эквивалентным блоку 606, описанному ниже, для определения показателя полярности и формирования второго выходного сигнала LR/RL состояния полярности левый/правый.

Функция процессора состоит в проверке предположения, что принимаемым входным форматом является SBS, в верхней ветви графической схемы, или что принимаемым входным форматом является TB, в нижней ветви графической схемы. Если оба предположения являются ложными (в варианте осуществления и H1, и V1 являются ложными), то входным сигналом является, очевидно, обычный 2D сигнал.

Что касается варианта осуществления на Фиг. 6, с наличием 2 параллельных блоков, отмечается, что могут быть легко получены другие схемы, такие как дополнительные параллельные блоки, чтобы анализировать дополнительные форматы 3D, или последовательная схема, где те же блоки запрограммированы в соответствии с различными форматами 3D последовательно для обеспечения показателей форматов для соответственных форматов 3D.

В варианте осуществления с последовательной проверкой множества форматов 3D, определение соответственных показателей форматов для ряда форматов 3D из набора возможных форматов 3D организуется в заранее заданном порядке следования, и сигнал состояния 3D устанавливается, если оценка показателей форматов обеспечивает заранее заданный уровень доверия. Следовательно, сигнал состояния 3D устанавливается, если один из форматов 3D, проверенных последовательно, получил достоверный показатель формата. Заранее заданный порядок следования может использоваться, чтобы повысить скорость обнаружения, и например, может основываться на уменьшающейся вероятности появления события, установке пользователем и/или установке поставщиком контента 3D. Например, поставщик контента может установить заранее заданный порядок следования в телевизионной приставке на основании фактического появления форматов 3D.

В варианте осуществления пользователю может предлагаться необязательная возможность корректировать сигнал состояния 3D на основании порядка следования показателей форматов 3D. Сначала система определяет наиболее вероятный формат, но, если результат не является корректным, пользователь может на основании показателей форматов циклически переходить к следующему вероятному кандидату с помощью кнопки на пульте дистанционного управления.

В практических вариантах осуществления процессор DE/MC 604 подкадров 3D может быть выполнен с возможностью предварительной обработки соответственных подкадров 3D для усовершенствования сравнения, как изложено ниже:

- вычисления оценки диспаратности между подкадрами 3D и компенсации, по меньшей мере, одного из подкадров 3D на основании оценки диспаратности прежде дополнительного сравнения; и/или

- вычисления автокорреляции для кадра 2D для сравнения с корреляцией для подкадров 3D. Корреляция определяется посредством блока MAD, и выход автокорреляции может использоваться, чтобы устанавливать пороговое значение TH1, как описано выше.

Следует отметить, что на практике субдискретизация может применяться сначала (то есть прореживание по горизонтали или вертикали или hor/ver) над контентом L и R, каковое уменьшит вычислительную сложность последующих блоков, подобных блокам DE/MC и MAD.

В варианте осуществления также может обнаруживаться конкретный тип субдискретизации. Например, формат «шахматный SBS» имеет субдискретизацию, отличную от обычного способа SBS. Различение SCB от SBS может основываться на спектральном анализе, посредством чего спектр SCB будет в большей степени крестообразным/ромбовидным (симметричным между вертикалью и горизонталью), SBS гребенчатой формы по вертикали (высокие частоты по горизонтали подавляются больше, чем высокие частоты по вертикали).

Практически, ряд форматов 3D может обнаруживаться в другом процессе, как изложено ниже. Вычисляется автокорреляция для полного кадра 2D (например, на основании MAD или другого способа), и впоследствии вычисляются дополнительные корреляции для определения показателей форматов на основании некоторых хорошо подобранных смещений, таких как:

a. Один и два пиксела вправо (для формата CI)

b. Один и два пиксела вниз (для формата LI)

c. Пикселы полукадра вправо (для формата SBS)

d. Пикселы полукадра вниз (для формата TB)

Во-вторых, значения показателя формата сравниваются, чтобы принять решение, какой формат (2D, TB, LI, CI, CB) является наиболее вероятным. В-третьих, формат 2D+D обнаруживается отдельно, например, путем определения постоянства U/V в левой/правой половине или верхней/нижней половине изображения. Отмечается, что 2D+D можно легко обнаруживать, поскольку для всех пикселов на одной половине, UV значения всех пикселов будут иметь фиксированное значение, обычно 0 (128). Если это так для обеих половин, очевидно, это является источником черно-белого видео.

В альтернативном варианте осуществления, чтобы повысить скорость обработки, MAD или MSD только для первого столбца пикселов вычисляется относительно предполагаемых подкадров 3D, например, с использованием левой и правой части для SBS. Если они показывают высокую корреляцию, то вероятно является корректным, что это формат 3D. Больше столбцов может быть включено, чтобы повысить достоверность. Еще более быстрым подходом является сравнивать только средний цвет первого столбца пикселов для левой и правой частей изображения. Если SBS не обнаруживается, система продолжает разделение сигнала в других частях, для TB разделение делается в горизонтальном направлении, затем вновь тот же алгоритм используется для LI, первых пикселов четных и нечетных строк, для CL столбцов и т.д. Если ни один из них не приводит к положительному соответствию, тогда система возвращается к 2D.

Отмечается, что различные возможные форматы 3D содержат левый и правый [L и R] подкадры 3D, размещенные в кадре 2D согласно полярности левый/правый. Полярность левый/правый также может обнаруживаться автоматически для соответственного формата 3D на основании предположения заранее заданного распределении глубин в среднем контенте видео, например, путем использования оценки диспаратности, чтобы получить карту глубин. Путем анализа этой карты глубин, которая основана на предположении о полярности, может проверяться, является ли корректной предполагаемая полярность. При корректной предполагаемой полярности, глубина на нижней части экрана должна указывать объекты, близкие к зрителю, а на верхней части должна указывать объекты, наиболее далекие от зрителя. Нужно отметить, что обнаружение полярности также может применяться независимо от автоматического обнаружения формата 3D. Например, если контент 3D видео принимается через систему распространения 3D, и формат 3D имеет соответствующие управляющие сигналы, обнаружение полярности может применяться, чтобы определить или проверить полярность, например, чтобы убедиться, что не было сделано ошибок в хранении, обработке или передаче подкадров 3D.

На Фиг. 7a показана карта глубин на основании корректной полярности левый/правый. На чертеже карта глубин показана с наличием темных пикселов, указывающих большую глубину, и значений светлых пикселов, указывающих объекты, близкие к зрителю. Карта глубин может быть сформирована с помощью оценки диспаратности и преобразования диспаратности в значения глубин. Практически, для проверки полярности, карта глубин может формироваться на основании значительно субдискретизированных/прореженных входных кадров.

На Фиг. 7b показана карт глубин на основании некорректной полярности левый/правый. Может применяться оценка диспаратности, чтобы получать карту глубин. Путем анализа карты глубин может проверяться, корректна ли предполагаемая полярность. При корректной предполагаемой полярности, значения глубин в нижней части экрана должны указывать объекты, близкие к зрителю, а в верхней части - должны указывать объекты, наиболее далекие от зрителя (как в случае Фиг.7a). Если предполагаемая полярность является некорректной, значения глубин в нижней части экрана должны указывать объекты более далекие от зрителя, а в верхней части - должны указывать объекты, более близкие к зрителю (как на Фиг. 7b).

В варианте осуществления блок процессора обеспечивается блоком POL 606 полярности для определения показателя полярности на основании заранее заданного распределения глубин, имеющего место в кадре 3D. Формируется выходной сигнал LR/RL состояния полярности левый/правый для установки состояния 3D на основании оценки показателя полярности, например, на основании минимальной разности между средней глубиной в верхней половине кадра 3D и средней глубиной в нижней половине кадра 3D. Значения глубин в кадре 3D могут быть непосредственно доступными в формате 2D+D, или могут быть получены процессором DE/MC 604 подкадров 3D на основании диспаратности 3D-подкадров L и R.

В практическом варианте осуществления, определение показателя полярности основывается на, для по меньшей мере одной из возможных схем полярности для подкадров 3D, определении того, увеличивается ли глубина в кадре 3D в зависимости от высоты по вертикали в кадре, или определении того, указывает ли глубина на вертикальной границе подкадра 3D глубину позади экрана, например, объекты или фон. Подобным образом определение показателя полярности может основываться на определении того, каким образом изменяются значения диспаратности в кадре 3D в зависимости от высоты по вертикали в кадре или на границах.

Практически в обычном контенте 3D видео эффекты вне экрана являются относительно редкими и сконцентрированными на мелких деталях изображения. Следовательно, общая средняя глубина может вычисляться в качестве показателя (индикатора) полярности. Отмечается, что глубина вне уровня экрана подразумевает значения диспаратности в некотором горизонтальном направлении вследствие сдвига между правыми и левыми подкадрами 3D. В практическом варианте осуществления диспаратность может использоваться вместо фактической глубины.

Кроме того, диспаратность может оцениваться аналогично движению, то есть вычислением векторов движения между левым и правым изображением с использованием известного алгоритма оценки движения. Вследствие ожидаемого распределения глубины/диспаратности, такие векторы "движения" будут иметь предпочтительное горизонтальное направление перемещения. Сигнал состояния полярности выводится, исходя из упомянутого направления.

В дополнительном варианте осуществления блок полярности оценивает подкадры L и R путем применения алгоритма компрессии, подобного MPEG2, и определяет, какие группы (блоки) пикселов могут быть предикативно (P) или двунаправленно (B) кодированными (каковое соответствует наличию векторов движения), или (I) кодированными (каковое соответствует отсутствию векторов движения). Фактически на некоторых границах подкадров 3D число I-кодированных пикселов может отклоняться от среднего, каковое отклонение может использоваться, чтобы указывать полярность. Обычно больше I пикселов должно находиться на левой стороне кадра L (часть, которая обрезается на кадре R) и на правой стороне кадра R. Следовательно, число I-кодированных пикселов на границах подкадров 3D используется, чтобы принять решение по полярности левый/правый. Отмечается, что формат 3D также может быть обнаружен на основании I-пикселов. Если имеется тенденция появления I-пикселов на вертикальной оси в центре кадра 2D, то это является строгим указанием сигнала 3D формата SBS. Если имеется тенденция появления I-пикселов на горизонтальной оси в центре кадра 2D, то это является строгим указанием сигнала 3D формата TB.

На Фиг. 8 показан анализ глубины в полях по горизонтали. На фигуре показана карта глубин на основании предполагаемой полярности левый/правый, которая подлежит проверке на корректность. Карта глубин подразделена на ряд горизонтальных полей 81,82,89, также называемых элементами разрешения по горизонтали. Путем разделения карты глубины на элементы разрешения, может быть вычислено среднее значение глубины в каждом элементе разрешения. Регрессионный анализ применяется к средним значениям элементов разрешения, чтобы определять, является ли нижняя часть темнее верхней части и обратно, и определять полярность.

На Фиг. 9 показан анализ глубины в полях по вертикали. На фигуре показана карта глубин на основании предполагаемой полярности левый/правый, которая подлежит проверке на корректность. Карта глубин подразделена на ряд вертикальных полей 91,92, также называемых элементами разрешения по вертикали. Путем разделения карты глубин на элементы разрешения по вертикали, относительно каждого элемента разрешения может применяться регрессионный анализ и для всех элементов разрешения, чтобы определить, является ли нижняя часть темнее верхней части и обратно. Если большинство элементов разрешения соответствуют корректному предположению полярности, можно достоверно предположить, что полярность является корректной, иначе полярность инвертируется. Если они являются примерно равными, то результат анализа LR является неопределенным, и должен анализироваться дальнейший ввод видео.

Другими альтернативами для определения полярности, которые не требуют карты глубин, являются обнаружение трапеций или обнаружение контуров.

Обнаружение трапеций включает в себя нижеследующие этапы:

- Предположить, что 1-м кадром является L, 2-м кадром является R.

- Выполнить оценку глубины или диспаратности, исходя из кадров L+R.

- Если диспаратность/глубина увеличивается по мере перемещения от нижней части, предположение является корректным, иначе перебросить L, R.

- В виде разновидности, ограничить область поиска верхней частью (предварительных) кадров L и R, и проверить, что диспаратность/глубина является положительной

Обнаружение контуров включает в себя нижеследующие этапы

- Предположить, что 1-м кадром является L, 2-м кадром является R

- Пытаться сопоставить область рядом с правой границей экрана в L-кадре с правой границей R-кадра (определение P-вектора)

- Если нет хорошего соответствия, предположение является корректным, иначе перебросить L и R

- Эта процедура может повторяться на левой границе кадров с обращенными L и R

Идея состоит в том, что на границах контент находится позади экрана (или, по меньшей мере, имеется «плавающее» окно рядом с ним), таким образом, соответствующая правому (R) глазу часть объекта, близкая к правой границе экрана, будет затеняться, поэтому его соответствующая левому (L) глазу часть не может совпадать. Подобным образом соответствующая L-глазу часть объекта, близкая к левой границе экрана.

В варианте осуществления, чтобы повысить достоверность обнаружения формата и/или полярности применяется обнаружение с вырезкой фрагмента сцены. Для этого процессор 52 выполняется с возможностью обнаружения изменений сцены. Обнаружение формата 3D выполняется многократно для множества сцен, и сигнал состояния окончательно устанавливается на основании обнаружения формата, по меньшей мере, в двух различных сценах.

Следовательно, определение соответственного показателя формата включает в себя обнаружение изменения сцены в контенте видео, и вычисление показателей форматов, по меньшей мере, для двух сцен. Практически могут использоваться 3 сцены, например, при вычислении 3-х решений последующей сцены для 3-х последовательных частей видео, помеченных вырезками фрагментов сцен, по меньшей мере, 2 решения формата должны быть непротиворечивыми, и самое большее одно может быть неопределенным.

Устройство 2D-расширения может быть определено, как изложено ниже. Видеоустройство для обработки видеосигнала, причем это устройство содержит приемное средство для приема видеосигнала, содержащего видеоданные, представляющие либо контент трехмерного видео [3D], отформатированный в соответствии с форматом 3D, либо контент двумерного видео [2D], отформатированный в соответствии с форматом 2D, формат 3D содержит, по меньшей мере, два подкадра 3D, чтобы составлять один кадр 3D, формат 2D содержит кадр 2D, и устройство содержит процессор для обнаружения наличия упомянутого контента 3D и преобразования контента 3D в выходной сигнал 2D видео путем извлечения, по меньшей мере, одного подкадра 3D и расширения подкадра до кадра 2D в соответствии с форматом 2D. Устройство 2D-расширения обнаруживает контент 3D на входе, и выводит видеосигнал или 2D, или 3D на основании требуемого режима вывода. Полезно, что может использоваться один сигнал передачи 3D, чтобы обеспечить также 2D-версию контента видео зрителям 2D. Кроме того, контент 3D может передаваться в формате сигнала 2D, как пояснено выше, чтобы являться совместимым с существующими системами распределения. Вследствие функции 2D-расширения зрителю 2D все еще можно предоставлять сигнал 2D видео.

В варианте осуществления устройством 2D-расширения является видеоустройство, как показано на Фиг. 1, с функцией 2D-расширения, организованной как изложено ниже. Процессор 52 выполнен с возможностью обнаружения наличия контента 3D видео в соответствии с форматом 3D во входном сигнале видео, поступающем на входной блок 51. Кроме того, устройство выполнено с возможностью обеспечения выходного сигнала 2D, путем преобразования контента 3D видео на входе в выходной сигнал 2D.

Для этого часть входного сигнала 3D, например, левый кадр, расширяется до кадра 2D в выходном сигнале 2D, с одновременным удалением при этом исходного контента 3D. Также управляющие данные 3D (если таковые имеются) могут быть удалены из сигнала и заменены управляющими данными 2D.

Выходной сигнал 2D может подаваться на устройство 2D видео, подлежащее соединению вместо устройства 60 3D видео, или может выбираться пользователем, чтобы преднамеренно избежать отображения 3D видео. Устройство 2D расширения может давать возможность пользователю выбирать режим вывода 2D или режим вывода 3D для согласования выходного сигнала с требованиями пользователя, например, чтобы согласовать оборудование, которое пользователь намеревается подсоединить или подсоединил. Альтернативно или дополнительно, устройство 2D расширения может быть выполнено с возможностью обмена управляющими данными с видеоустройством, связанным с выходным блоком 55, например, согласно интерфейсу HDMI, как описано выше. Управляющие данные могут указывать возможность 3D для подсоединенного устройства отображения, и видеоустройство может автоматически выбрать режим вывода 2D или 3D в соответствии с упомянутой возможностью устройства отображения.

Процессор 52 выполнен с возможностью преобразования контента 3D видео на входе в сигнал 2D на выходе, если необходимо. Преобразование активируется на основании наличия контента 3D видео на входе и установленного режима 2D на выходе. Процессор сначала определяет формат 3D входного сигнала. Нужно отметить, что формат 3D может быть автоматически обнаружен, исходя из видеоданных, как описано выше, или может быть получен из управляющего сигнала, обеспеченного входным сигналом.

В варианте осуществления устройства 2D расширения, поставщик контента может включать специальный управляющий сигнал в сигнал 3D видео на устройство 2D расширения, чтобы указывать наличие контента 3D, подлежащего преобразованию, и/или конкретный формат 3D видеосигнала, например, формат 3D «в ряд», как показано на Фиг. 3. Следовательно, сигнализация SBS или TB может включаться в поток видео. Впоследствии, процессор извлекает подкадр 3D, например, левый подкадр 3D, из левой части кадра во входном видеосигнале в соответствии с SBS. Подкадр 3D может иметь уменьшенный размер по сравнению с кадром 2D на выходе, и, следовательно, видеоданные подкадра 3D должны быть расширены до размера кадра 2D и вставлены в выходной сигнал. Для SBS размер по горизонтали должен быть расширен, тогда как размер по вертикали (число строк) может остаться тем же. Следовательно, преобразование заключает в себе формирование нового выходного кадра 2D, имеющего требуемое разрешение, например, путем интерполяции недостающих пикселов, или любой подходящей формы повышающей дискретизации.

В варианте осуществления устройства 2D расширения режим вывода 3D не обеспечивается, и преобразование применяется к любому контенту 3D видео, обнаруженному на входе. На практике, такое устройство будет очень подходящим для пользователей видеооборудования 2D предыдущего поколения, подобные обычным телевизорам 2D, связанным с телевизионной приставкой для сигналов кабельного или спутникового телевидения. Такая телевизионная приставка предыдущего поколения может быть модифицирована в приставку 2D расширения обновлением только программного обеспечения, каковое может быть возможным под управлением поставщика контента, или посредством некоторого процесса обновления, инициируемого самим пользователем. Полезно, что поставщик контента не должен передавать тот же контент дважды, то есть один раз в 3D для новых пользователей, оснащенных новой приставкой и устройством 3D отображения, и отдельно, на дополнительном канале, также в 2D. Только единственная передача сигнала нового формата 3D будет достаточной, поскольку устройства 2D отображения предыдущего поколения автоматически будут принимать расширенную версию от устройства 2D расширения, то есть модифицированной телевизионной приставки.

Нужно отметить, что устройство 2D расширения может также содержать любой из блоков и/или функций, как описано выше для автоматического обнаружения формата 3D в сигнале формата 2D. Сигнал состояния 3D, обеспеченный путем автоматического обнаружения, теперь управляет функцией 2D расширения.

Вариантом осуществления является видеоустройство для обработки видеосигнала, устройство содержит приемное средство для приема видеосигнала, содержащего видеоданные, представляющие либо контент трехмерного видео [3D], форматированный в соответствии с форматом 3D, либо контент двумерного видео [2D], форматированный в соответствии с форматом 2D, видеосигнал имеет кадр 2D и управляющую структуру формата 2D, формат 3D содержит, по меньшей мере, два подкадра 3D, чтобы составлять один кадр 3D, и является одним форматом из набора возможных форматов 3D, процессор для обеспечения сигнала состояния 3D, указывающего формат видеосигнала, процессор выполнен с возможностью определения соответственного показателя формата, по меньшей мере, для одного из возможных форматов 3D, путем обработки видеоданных согласно соответственным заранее заданным характеристикам формата для получения и сравнения соответственных подкадров 3D, и установки сигнала состояния 3D на основании оценки показателя формата, чтобы указать формат видеосигнала.

Необязательно, определение соответственного показателя формата может содержать вычисление соответствия между подкадрами 3D путем, по меньшей мере, одного из

- вычисления среднего абсолютных разностей между подкадрами 3D;

- вычисления цветовых характеристик соответственных подкадров 3D для обнаружения подкадра данных глубины.

В необязательном порядке, определение соответственного показателя формата может содержать обнаружение изменения сцены в контенте видео и вычисление соответствия, по меньшей мере, для двух сцен.

В необязательном порядке, сравнение соответственных подкадров 3D может содержать, по меньшей мере, одно из

- вычисления оценки диспаратности между подкадрами 3D и компенсации, по меньшей мере, одного из подкадров 3D на основании оценки диспаратности прежде последующего сравнения;

- вычисления автокорреляции для кадра 2D для сравнения с корреляцией для подкадров 3D.

В необязательном порядке, при этом, по меньшей мере, один из возможных форматов 3D содержит левый и правый [L и R] подкадры 3D, размещенные в кадре 2D согласно полярности левый/правый, процессор может быть выполнен с возможностью, при определении показателя формата, определения показателя полярности на основании заранее заданного распределения глубины, имеющего место в кадре 3D, и установка состояния 3D включает в себя установку сигнала состояния полярности левый/правый на основании оценки показателя полярности.

В необязательном порядке, процессор может содержать средство обнаружителя для сравнения соответственных подкадров 3D путем обнаружения, по меньшей мере, одного из

- вертикальной черной маски на вертикальной границе подкадров 3D;

- горизонтальной черной маски на горизонтальной границе подкадров 3D.

Следует понимать, что в описании выше для ясности были описаны варианты осуществления изобретения со ссылкой на различные функциональные блоки и процессоры.

Однако, будет очевидно, что может использоваться любое подходящее распределение функциональности между различными функциональными блоками или процессорами без выхода за рамки объема изобретения. Например, функциональность, проиллюстрированная подлежащей выполнению отдельными блоками, процессорами или контроллерами, может выполняться одним и тем же процессором или контроллером. Следовательно, ссылки на конкретные функциональные блоки должны рассматриваться только в качестве ссылок на подходящие средства для обеспечения описанной функциональности, а не указывающих строгую логическую или физическую структуру или организацию.

Изобретение может быть реализовано в любой подходящей форме, включая аппаратные средства, программное обеспечение, микропрограммное обеспечение (firmware) или любую комбинацию таковых. Изобретение дополнительно может быть реализовано, по меньшей мере, частично, в виде программного обеспечения, исполняющегося на одном или нескольких процессорах обработки данных и/или цифровых процессорах сигналов. Элементы и компоненты варианта осуществления изобретения могут быть реализованы физически, функционально и логически любым подходящим способом. Фактически функциональность может быть реализована в единственном блоке, во множестве блоков или как часть других функциональных блоков. Как таковое, изобретение может быть реализовано в одном блоке или может быть физически и функционально распределено между различными блоками и процессорами.

Хотя данное изобретение было описано в связи с некоторыми вариантами осуществления, подразумевается, что оно не ограничивается конкретной формой, изложенной в документе. Предпочтительнее объем настоящего изобретения ограничивается только прилагаемой формулой изобретения. Кроме того, хотя признак может появляться подлежащим описанию в связи с конкретными вариантами осуществления, специалист в данной области техники признает, что различные признаки описанных вариантов осуществления могут комбинироваться в соответствии с изобретением. В пунктах формулы изобретения термин «содержащий» не исключает наличия других элементов или этапов.

Кроме того, хотя приведены индивидуально, ряд средств, элементов или этапов способа могут быть реализованы посредством, например, одного блока или процессора. Дополнительно, хотя отдельные признаки могут быть включены в различные пункты формулы, их возможно успешно объединять, и включение в различные пункты формулы не подразумевает, что комбинация признаков не является выполнимой и/или полезной. Также включение признака в одну категорию пунктов формулы не подразумевает ограничение этой категорией, а предпочтительно указывает, что признак является одинаково применимым к другим категориям пунктов формулы изобретения, как надлежит. Кроме того, порядок следования признаков в пунктах формулы не подразумевают конкретного порядка следования, в котором должны обрабатываться признаки, и, в частности, порядок следования отдельных этапов в пункте формулы изобретения на способ не подразумевает, что этапы должны выполняться в этом порядке следования. Предпочтительно этапы могут выполняться в любом подходящем порядке следования. Кроме того, ссылки в единственном числе не исключают множества. Таким образом ссылки на единственное число, "первый", "второй" и т.д. не исключают множества. Ссылочные знаки в пунктах формулы, приведенные просто в виде поясняющего примера, не должны рассматриваться каким-либо образом ограничивающими объем, определяемый формулой изобретения.

Claims (13)

1. Видеоустройство (50) для обработки видеосигнала, содержащее:
приемное средство (51, 58, 59) для приема видеосигнала, содержащего видеоданные, представляющие либо контент трехмерного видео [3D], форматированный в соответствии с форматом 3D, либо контент двумерного видео [2D], форматированный в соответствии с форматом 2D, при этом формат 3D содержит по меньшей мере два подкадра 3D, чтобы составлять один кадр 3D, и является одним форматом из набора возможных форматов 3D,
процессор (52) для обеспечения сигнала состояния 3D, указывающего формат видеосигнала, при этом процессор выполнен с возможностью
выполнять определение соответственных показателей форматов для ряда возможных форматов 3D путем обработки видеоданных согласно соответственным заранее заданным характеристикам формата для получения и сравнения соответственных подкадров 3D, каковое определение соответственных показателей форматов для ряда возможных форматов 3D организуется в заранее заданном порядке следования, и
устанавливать сигнал состояния 3D на основе оценки соответственных показателей форматов, чтобы указать формат видеосигнала, если оценка показателей форматов обеспечивает заранее заданный уровень доверия, причем уровень доверия показывает вероятность того, что присутствуют фактические подкадры 3D согласно соответственному формату 3D, отличающееся тем, что видеосигнал имеет кадр 2D и управляющую структуру формата 2D, при этом подкадры 3D являются формируемыми согласно формату пространственной субдискретизации и субдискретизированные элементы изображения для подкадров 3D размещаются в кадре 2D видеосигнала.

2. Видеоустройство по п. 1, отличающееся тем, что набор возможных форматов 3D содержит по меньшей мере один формат из
формата «в ряд» [SBS], содержащего подкадры 3D, размещенные в ряд в кадре 2D;
формата «верх-низ» [ТВ], содержащего подкадры 3D, размещенные в верхней части и нижней части кадра 2D;
формата с перемежением строк [LI], содержащего подкадры 3D, размещенные согласно перемежению строк подкадров 3D в кадре 2D;
формата с перемежением столбцов [CI], содержащего подкадры 3D, размещенные согласно перемежению столбцов подкадров 3D в кадре 2D;
формата с шахматным перемежением [СВ], содержащего подкадры 3D, организованные согласно субдискретизации пикселов подкадров 3D в шахматной конфигурации и перемежению субдискретизированных пикселов в шахматной конфигурации в кадре 2D;
формата «шахматный в ряд» [CBS], содержащего подкадры 3D, организованные согласно субдискретизации пикселов подкадров 3D в шахматной конфигурации и размещению субдискретизированных пикселов в подкадрах 3D в ряд в кадре 2D;
формата «2D - глубина» [2D+D], содержащего подкадр 2D и подкадр данных глубины в качестве подкадров 3D, размещенных в кадре 2D;
и процессор выполнен с возможностью получения подкадров 3D исходя из видеосигнала для соответственного формата 3D.

3. Видеоустройство по п. 1, отличающееся тем, что упомянутый заранее заданный порядок следования основывается на по меньшей мере одном из:
уменьшающейся вероятности появления форматов 3D;
установки пользователем;
установки поставщиком контента 3D.

4. Видеоустройство по п. 1, отличающееся тем, что определение соответственного показателя формата содержит вычисление соответствия между подкадрами 3D путем по меньшей мере одного из
вычисления корреляции между подкадрами 3D;
вычисления среднего абсолютных разностей между подкадрами 3D;
вычисления цветовых характеристик соответственных подкадров 3D для обнаружения подкадра данных глубины.

5. Видеоустройство по п. 1, отличающееся тем, что определение соответственного показателя формата содержит обнаружение изменения сцены в контенте видео и вычисление соответствия для по меньшей мере двух сцен.

6. Видеоустройство по п. 1, отличающееся тем, что сравнение соответственных подкадров 3D содержит по меньшей мере одно из
вычисления оценки диспаратности между подкадрами 3D и компенсации по меньшей мере одного из подкадров 3D на основе оценки диспаратности до последующего сравнения;
вычисления автокорреляции для кадра 2D для сравнения с корреляцией для подкадров 3D.

7. Видеоустройство по п. 1, отличающееся тем, что по меньшей мере один из возможных форматов 3D содержит левый и правый [L и R] подкадры 3D, размещенные в кадре 2D согласно полярности левый/правый, и процессор (52) выполнен с возможностью, при определении показателя формата, определять показатель полярности на основе заранее заданного распределения глубины, имеющего место в кадре 3D, и установка состояния 3D включает в себя установку сигнала состояния полярности левый/правый на основе оценки показателя полярности.

8. Видеоустройство по п. 7, отличающееся тем, что определение показателя полярности содержит для по меньшей мере одной из возможных схем полярности для подкадров 3D,
определение того, увеличивается ли глубина в кадре 3D в зависимости от высоты по вертикали в кадре;
определение того, указывает ли глубина на вертикальной границе подкадра 3D глубину позади экрана.

9. Видеоустройство по п. 1, отличающееся тем, что содержит по меньшей мере одно из следующего:
передающее средство (55) для передачи сигнала (56) 3D отображения, причем сигнал 3D отображения содержит контент 3D видео и управляющие данные, указывающие сигнал состояния 3D;
в приемном средстве считывающее средство (58) для считывания носителя записи для приема видеосигнала;
устройство (63) 3D отображения для визуализации 3D видеосигнала на основе сигнала состояния 3D.

10. Видеоустройство по п. 1, отличающееся тем, что процессор содержит средство (53) обнаружения для сравнения соответственных подкадров 3D путем обнаружения по меньшей мере одного из
вертикальной черной маски на вертикальной границе подкадров 3D;
горизонтальной черной маски на горизонтальной границе подкадров 3D.

11. Система обработки видеосигнала, содержащая видеоустройство по п. 10, и видеосигнал содержит видеоданные, представляющие либо контент трехмерного видео [3D], форматированный в соответствии с форматом 3D, либо контент двумерного видео [2D], форматированный в соответствии с форматом 2D,
при этом видеосигнал имеет кадр 2D и управляющую структуру формата 2D,
причем формат 3D содержит по меньшей мере два подкадра 3D, чтобы составлять один кадр 3D, и является одним форматом из набора возможных форматов 3D,
при этом видеоданные содержат по меньшей мере одно из
вертикальной черной маски на вертикальных границах подкадров 3D, тогда как форматное соотношение контента видео не требует вертикальных черных полос;
горизонтальной черной маски на горизонтальных границах подкадров 3D, тогда как форматное соотношение контента видео не требует горизонтальных черных полос;
для предоставления возможности обнаружения черной маски для определения формата 3D.

12. Способ обработки видеосигнала, содержащий этапы, на которых
принимают видеосигнал, содержащий видеоданные, представляющие либо контент трехмерного видео [3D], форматированный в соответствии с форматом 3D, либо контент двумерного видео [2D], форматированный в соответствии с форматом 2D, при этом формат 3D содержит по меньшей мере два подкадра 3D, чтобы составлять один кадр 3D, и является одним форматом из набора возможных форматов 3D,
обеспечивают состояние 3D, указывающее формат видеосигнала на основе
определения соответственных показателей форматов для ряда возможных форматов 3D путем обработки видеоданных согласно соответственным заранее заданным характеристикам формата для получения и сравнения соответственных подкадров 3D, каковое определение соответственных показателей форматов для ряда возможных форматов 3D организовано в заранее заданном порядке следования, и
установки состояния 3D на основе оценки соответственных показателей форматов, чтобы указать формат видеосигнала, если оценка показателей форматов обеспечивает заранее заданный уровень доверия, причем уровень доверия показывает вероятность того, что присутствуют фактические подкадры 3D согласно соответственному формату 3D,
отличающийся тем, что видеосигнал имеет кадр 2D и управляющую структуру формата 2D, при этом подкадры 3D являются формируемыми согласно формату пространственной субдискретизации, и субдискретизированные элементы изображения для подкадров 3D размещаются в кадре 2D видеосигнала.

13. Считываемый компьютером носитель, на котором сохранена компьютерная программа для обработки видеосигнала, каковая программа действует для предписания процессору выполнять соответственные этапы спос оба по п. 12.

Images