RU2497196C2

RU2497196C2 - Способ и устройство для обработки карты глубины

Info

Publication number: RU2497196C2
Application number: RU2010118466/07A
Authority: RU
Inventors: ГУННЕВИК Рейнир Б. М. КЛЕЙН; Вильгельмус Х. А. БРЮЛЬС
Original assignee: Конинклейке Филипс Электроникс Н.В.
Priority date: 2007-10-11
Filing date: 2008-10-02
Publication date: 2013-10-27
Also published as: EP2201784B1; RU2010118466A; US20100215251A1; CN101822068B; EP2201784A1; WO2009047681A1; JP5575650B2; KR20100095420A; CN101822068A; US8447096B2; KR101484487B1; JP2011501496A

Abstract

Изобретение относится к способу и устройству для обработки карты глубины для визуализации трехмерного (3D) изображения. Техническим результатом является предоставление способа обработки карты глубины изображения, которая направлена на снижение эффекта шума в карте глубины, которая исходит из схемы сжатия с потерей данных. Указанный технический результат достигается тем, что способ обработки карты глубины содержит получение карты глубины на основе карты глубины с потерей данных, карта глубины содержит информацию о глубине пейзажа с точки обзора, пейзаж содержит объект, который получает информацию о преграде для пейзажа с точки обзора, информация о преграде содержит информацию, скрытую объектом в карте глубины, и обработку, по меньшей мере, части информации о глубине, используя, по меньшей мере, часть информации о преграде для снижения дефектов цифрового сжатия в карте глубины. 2 н. и 10 з.п. ф-лы, 9 ил.

Description

ОБЛАСТЬ ТЕХНИКИ, К КОТОРОЙ ОТНОСИТСЯ ИЗОБРЕТЕНИЕ

Настоящее изобретение относится к способу и устройству для обработки карты глубины.

УРОВЕНЬ ТЕХНИКИ

В течение некоторого времени различные компании активно разрабатывают автостереоскопические устройства отображения, подходящие для визуализации трехмерного (3D) изображения. Автостереоскопические устройства могут представлять наблюдателю ощущение 3D без необходимости в специальной головной гарнитуре и/или очках.

Автостереоскопические устройства отображения в основном предоставляют различные представления для различных углов обзора. Таким образом, первое изображение может формироваться для левого глаза и второе изображения для правого глаза наблюдателя. Отображая соответствующие изображения, т.е. соответствующие с точки зрения левого и правого глаза, соответственно, возможно передавать ощущение 3D для наблюдателя.

Множество методик используется для формирования изображения для автостереоскопических устройств отображения. Например, изображения с многовидовыми изображениями могут записываться, используя многочисленные камеры, при этом положение соответствующей камеры соответствует соответствующей точке обзора каждого соответствующего представления.

Для того, чтобы сохранять обратную совместимость и улучшить использование полосы пропускания, многие из современных автостереоскопических устройств отображения используют входящий сигнал, содержащий последовательность традиционных двухмерных (2D) изображений и соответствующие карты глубины.

Карты глубины предоставляют информацию глубины, указывающую абсолютное или относительное расстояние объектов на изображении для камеры. В качестве примера, 8-битовые изображения серой шкалы обычно используются для представления информации глубины. Карты глубины могут предоставлять информацию глубины на основе пикселя, но как будет ясно специалисту в данной области техники, могут также использовать более грубое разбиение, например, карту глубины с более низким разрешением, при этом каждое значение карты глубины предоставляет информацию глубины для многочисленных пикселей.

Карты рассогласования могут использоваться в качестве альтернативы для вышеупомянутых карт глубины. Рассогласование относится к очевидному сдвигу объектов в сцене, когда наблюдается из двух различных точек обзора, например, с точки обзора левого глаза и правого глаза. Информация рассогласования и информация глубины связаны и могут отображаться одна на другую при условии, что геометрия соответствующих точек обзора карты рассогласования является известной, как обычно известно для специалиста в данной области техники.

С точки зрения этой тесной связи и того факта, что одна может быть преобразована в другую, термин "карта глубины" и "информация глубины", используемые по всему описанию, понимаются как содержащие информацию глубины, а также информацию рассогласования.

Предоставляя автостереоскопическое устройство отображения с помощью последовательности изображений и соответствующей последовательности карт информации глубины, или карт глубины для краткости, автостереоскопическое устройство отображения может визуализировать многочисленные представления контента для одного или более наблюдателей. Вышеописанным образом традиционный сигнал улучшается с помощью карты глубины.

Для того, чтобы улучшить качество многовидовой визуализации, используя сигнал глубины 2D+, может предоставляться информация дополнительной преграды, также упоминаемая как информация обратной преграды. Информация (обратной) преграды относится к изображению и/или информации глубины, которая может использоваться для визуализации видов для точек обзора, отличных от тех, которые предоставляются информацией глубины 2D+. Во время визуализации вида на основе информации глубины 2D+ для точки обзора, которая отличается от этой информации глубины 2D+, может требоваться информация, которая не присутствует в исходной информации глубины 2D+. Эта информация может предоставляться в информации о преграде; в дополнение к информации, которая была скрыта объектами, информация о преграде также может содержать информации в окрестности скрытых областей. Доступность информации о преграде позволяет заполнять отверстия, которые происходят во время визуализации видов, используя сигнал глубины 2D+. По всей заявке термин «информация о преграде» должен пониматься как содержащая информацию о скрытом изображении и/или информация о скрытой глубине, которая может использоваться в раскрытых областях в процессе визуализации видов.

Международная заявка WO2006/137000 раскрывает способ комбинированного обмена данными изображений и дополнительными данными, например, данными преграды. Хотя вышеописанный формат является особенно хорошо подходящим для обмена 3D-контентом между, например, декодером телевизионных каналов (STB) и устройством отображения, существует необходимость в дополнительном снижении размера подобного 3D-контента во время передачи или распределения подобного контента по среде с ограниченной пропускной способностью. Хотя алгоритмы сжатия с потерей данных, например, алгоритмы сжатия с потерей данных на основе DCT, могут предоставлять значительное снижение размера, они также стремятся внести шум. "Дефекты цифрового сжатия в 3D-телевизионных сигналах" Криса Веакемпа (Chris Varekamp), представленные во втором ежегодном симпозиуме по обработке сигналов IEEE BENELUX/DSP Valley (SPS-DARTS 2006), показывают, что эффект шума в карте глубины может, как следствие процесса многовидовой визуализации, привести к серьезным погрешностям от параллакса, в частности, по границам объекта. Этот эффект является прямым результатом обстоятельства, что алгоритм сжатия настраивается на снижение воспринимаемой ошибки в карте глубины, а не в результирующих визуализируемых многовидовых изображениях.

СУЩНОСТЬ ИЗОБРЕТЕНИЯ

Целью настоящего изобретения является предоставление способа обработки карты глубины, которая направлена на снижение эффекта шума в карте глубины, которая исходит из схемы сжатия с потерей данных.

Эта цель достигается в том, что способ согласно настоящему изобретению содержит получение карты глубины на основе сжатой карты глубины с потерей данных, карта глубины содержит информацию глубины пейзажа с точки обзора, пейзаж содержит объект, который получает информацию о преграде для пейзажа с точки обзора, информация о преграде, которая содержит информацию, скрытую объектом в карте глубины, и обработка, по меньшей мере, части информации глубины, используя, по меньшей мере, часть информации о преграде для снижения дефектов цифрового сжатия в карте глубины.

Настоящее изобретение, таким образом, использует информацию о преграде, которая изначально предназначалась для предоставления информации для раскрытых областей, для обработки части информации глубины. Шум, например, москитный шум и спеклы, которые присутствуют в карте глубины, могут, таким образом, быть снижены, используя данные из карты глубины, а также информацию о преграде.

В случае если информация о преграде относится к информации о скрытом изображении, информация о скрытом изображении может использоваться для предоставления информации в отношении границы скрытой области. Следовательно, карта глубины может фильтроваться, используя функцию сохранения контуров, например, алгоритм аналогии К-средних, для того, чтобы снизить шум в карте глубины в окрестности границы преграды.

Альтернативно, информация скрытого изображения может использоваться вместе с хорошо известной эвристикой, известной для специалистов в данной области техники для повторного формирования карты глубины в скрытой области. Вывод в виде карты глубины для скрытой области может использоваться для предоставления дополнительной информации для фильтрования карты глубины; таким образом, значения глубины, которые как результат дефектов цифрового сжатия оказываются расположенными позади карты глубины для скрытой области, могут корректироваться, используя значения из карты глубины для скрытой области.

Более альтернативно, когда информация о преграде относится к информации о скрытой глубине, информация о скрытой глубине может использоваться для фильтрации карты глубины непосредственно, т.е. без необходимости в создании границ, или повторного формирования информации карты скрытой глубины.

В варианте осуществления этап обработки содержит обработку, по меньшей мере, части информации о глубине в пределах области вокруг перехода в информации о глубине, связанной с объектом. Схемы сжатия с потерей данных в целом имеют некоторую сложность в точном представлении переходов большой глубины. Часто некоторый вид квантования, звон и/или двоение изображения могут быть представлены поблизости от подобных переходов. К сожалению, шум в подобных переходах глубины типично приводит к высоким видимым дефектам изображения в видах, которые визуализируются, используя эту информацию о глубине. Следовательно, этот конкретный вариант осуществления представляет собой выгодный компромисс между требуемой величиной обработки и воспринимаемым улучшением.

В дополнительном варианте осуществления, который является особенно эффективным, при условии, что информация является доступной в отношении контуров объекта, обработка информации о глубине осуществляется в пределах области вокруг объекта.

В варианте осуществления предоставляются метаданные, которые предоставляют информацию в отношении размера области для обработки. Следовательно, минимальная величина обработки может быть задана заблаговременно, таким образом, предоставляя создателям контента управление над конечным выходом.

Настоящее изобретение может использоваться с конкретным преимуществом в вариантах осуществления, при этом алгоритм сжатия с потерей данных, используемый для формирования карты глубины со сжатием с потерей данных вносит шум вокруг переходов в информации о глубине. Кроме того, настоящее изобретение может использоваться с конкретным преимуществом в вариантах осуществления, при этом алгоритм сжатия с потерей данных, используемый для формирования карты глубины со сжатием с потерей данных, использует представление частотной области для представления информации глубины в карте глубины со сжатием с потерей данных.

В варианте осуществления настоящее изобретение дополнительно содержит создание первого перехода в информации глубины. Предпочтительно, чтобы вариант осуществления также создавал вторые переходы, используя информацию о скрытой глубине. Первые переходы могут использоваться для ограничения величины обработки для областей, при этом контуры необходимо, главным образом, сохранить. Комбинируя информацию, предоставляемую первыми переходами и вторыми переходами, возможно определять, где информация о глубине содержит переход и информация о скрытой глубине является непрерывной. Дефекты цифрового сжатия с потерями часто находятся рядом с переходами в информации о глубине. Отсюда, если информация о скрытой глубине также содержит информацию о глубине, которая является видимой на центральном виде, и не существует подобного перехода в информации о скрытой глубине, тогда эта информация о глубине является статично более надежной, чем информация о глубине из информации о глубине, которая содержит переход.

В варианте осуществления согласно настоящему изобретению, информация о глубине и информация о преграде предоставляются в последовательности кодированных изображений, например, потока кодированных данных, который передается по каналу передачи, или потока кодированных данных, который распределяется по запоминающей среде. Предпочтительно, чтобы метаданные, такие как например, коэффициент расширения, который предоставляет информацию в отношении размера области, которую необходимо обработать, предоставлялись в одном и том же потоке кодированных данных. Альтернативно, информация расширения может кодироваться так, чтобы разрешить применение неоднородных областей расширения, например, явно кодируя границы расширения объекта.

В варианте осуществления этап обработки содержит создание критерия замещения для пикселя из информации о глубине в окрестности перехода глубины, при этом критерий замещения классифицирует сторону перехода, к которой принадлежит пиксель. Следовательно, пиксель из информации о глубине условно замещается пикселем замещения на основе критерия замещения, при этом пиксель замещения статично соответствует пространственному контексту, как обозначено критерием замещения. В этом варианте осуществления, по меньшей мере, один критерий замещения и пиксель замещения основаны на информации о преграде. Отсюда, дополнительная информация о преграде используется для компенсации шума, как результат сжатия информации о глубине.

Цель настоящего изобретения дополнительно достигается с помощью устройства согласно настоящему изобретению, которое содержит средство, выполненное с возможностью получать карту глубины на основе карты глубины с потерей данных, карта глубины содержит информацию о преграде для пейзажа с точки обзора, пейзаж содержит объект, средство, выполненное с возможностью получать информацию о преграде для сцены с точки наблюдения, информация о преграде, которая содержит информацию, скрытую объектом в карте глубины, и средство, выполненное с возможностью обрабатывать, по меньшей мере, часть информации о глубине, используя, по меньшей мере, часть информации о преграде для снижения дефектов цифрового сжатия в карте глубины.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

Эти и другие преимущественные аспекты изобретения описаны более подробно, используя следующие фигуры.

Фиг. 1 показывает данные раскрытия для центрального вида;

Фиг. 2 показывает представление четырех квадрантов во входящем сигнале, который содержит данные изображения, данные о глубине, данные о скрытом изображении и данные о скрытой глубине;

Фиг. 3 показывает представление четырех квадрантов, используя более эффективно кодируемую информацию о преграде;

Фиг. 4 показывает представление четырех квадрантов;

Фиг. 5 показывает предпочтительное представление четырех квадрантов;

Фиг. 6 показывает карту глубины наземного контроля данных, а также карту глубины, содержащую дефекты цифрового сжатия, происходящие из сжатия с потерями;

Фиг. 7 показывает визуализированный вид на основе сжатой с потерями карты глубины с и без обработки согласно настоящему изобретению; и

Фиг. 8 показывает устройство согласно настоящему изобретению;

Фиг. 9 показывает устройство бытовой электронной аппаратуры, содержащей устройство согласно настоящему изобретению.

Фигуры не изображены для представления в масштабе. В целом, идентичные компоненты обозначены с помощью одинаковых номеров ссылок на фигурах.

ПОДРОБНОЕ ОПИСАНИЕ ВАРИАНТОВ ОСУЩЕСТВЛЕНИЯ

Для того чтобы предоставить 3D-контент во время внедрения автостереоскопических устройств отображения и/или других стереоскопических устройств отображения, традиционный 2D-контент может первоначально преобразовываться из 2D в 3D у конечного пользователя. Тем не менее, так как карты глубины, формируемые на стороне устройства отображения, типично имеют недостатки, происходящие из-за недостатка информации глубины в сигналах 2D-контента, существует необходимость в лучших картах глубины.

Карты глубины, которые формируются на стороне получения и/или передачи, могут иметь намного более высокое качество из-за обстоятельства, что требования к ресурсам на стороне получения в целом не являются проблемой. Более того, так как нет необходимости формировать данные в реальном времени, время реверсирования направления также не является проблемой. В дополнение, в профессиональной среде, в целом будет больше доступной информации, подобный отснятый материал в форме стерео входа, или даже многовидового ввода. В конечном итоге, со стороны получения, в частности для создания контента в студийной среде, также существует возможность для создания интерактивного контента.

Когда карты глубины формируются со стороны получения, дополнительная полоса пропускания, необходимая для представления этих карт глубины, является важным фактором. Более того, существует необходимость в стандарте для передачи подобных карт глубины.

Высококачественные карты глубины разрешают 3D-устройствам отображения передавать лучшее ощущение глубины. Тем не менее, в результате этого улучшенного воспроизведения глубины, искажения изображения, как те, которые происходят из раскрытия информации, которая находится в центральном виде изображения, скрыты объектами на переднем плане, станут (более) видимыми.

Данные о преграде могут формироваться в устройстве отображения и со стороны получения. С другой стороны, со стороны получения качество формируемых данных о преграде может быть значительно выше. Следовательно, данные о преграде, формируемые со стороны получения, являются предпочтительными. Данные о преграде, которые формируются со стороны получения, используются со стороны устройства отображения для визуализации видов для представления на 3D-устройстве отображения. Хотя в качестве аппроксимации первого порядка возможно использовать данные глубины/рассогласования из видимого фона для снятия изображения областей преграды, эта аппроксимация первого порядка не имеет ограничений.

Комментируя данные о преграде в виде информации об изображении и/или информации о глубине разрешает визуализацию более высокого качества. Тем не менее, с точки зрения кодирования дополнительные данные дополнительно увеличат битовую скорость передачи данных или воздействуют на качество. Таким образом формируемые данные, содержащие изображение, карту глубины, информацию скрытого изображения и информацию о скрытой глубине, могут следовательно, кодироваться до передачи или распределения. Для того, чтобы снизить затраты подобных вариантов осуществления, предпочтительно использовать существующие алгоритмы для кодирования подобной информации, например, традиционный кодер H.264.

Тем не менее, во время экспериментов с традиционными кодерами, наблюдалось, что качество карты глубины после сжатия и последовательного восстановления после сжатия должно было быть выше, чтобы не вводить видимых дефектов изображения. Одним способом обращения к этому аспекту является снижение требований к сжатию для информации о преграде. С точки зрения кодирования это не является предпочтительным.

Настоящее изобретение, тем не менее, предлагает альтернативу в виде этапа последующей обработки, который направлен на снижение шума, присутствующего в карте глубины, содержащей информацию глубины, соответствующей данным изображения, и дополнительно также в информации о преграде.

Преграда/раскрытие

Фиг. 1 иллюстрирует понятие преграды. Фиг. 1 представляет собой вид сверху пейзажа, содержащей фон, представленный как верхняя горизонтальная линия В, и объект, представленный с помощью линии F, расположенный между горизонтальной линией В и центральной точкой 20 обзора. Изображение кодируется как воспринимаемое из центральной точки 20 обзора. Это подразумевает, что данные изображения, скрытые данные изображения, данные глубины и данные скрытой глубины кодируются для центральной точки 20 обзора.

В механизме визуализации или альтернативно на устройстве отображения, данные центрального вида используются для визуализации, по меньшей мере, двух изображений. Изображение центрального представления содержит информацию C1, C2 и C3, соответственно. Тем не менее, с точки обзора левого глаза информация L1 и L2 является видимой; аналогично, с точки обзора правого глаза информация R1 и R2 является видимой. С точки 10 обзора левого глаза информация становится видимой так, что в центральной точке 20 обзора изображение было скрыто объектом F, скрытая информация, обозначаемая, используя стрелку OL. Аналогично, с точки 30 обзора правого глаза информация становится видимой так, что в центральной точке 20 обзора изображение было скрыто объектом F, скрытая информация, обозначаемая, используя стрелку OR.

В вышеописанном случае информация о преграде может добавляться для областей, обозначаемых стрелками OL и OR.

Фиг. 2 показывает представление изображения 205 центрального вида, данные 215 о преграде и соответствующие карты 210 и, соответственно, 220 глубины на правой стороне. Значения глубины в этом примере кодируются из условия, что чем ярче значение глубины, тем ближе этот объект к наблюдателю. Пейзаж в вопросе отображает мобильный телефон, перемещающийся в воздухе в комнате. Хотя в настоящем примере данные о преграде предоставляются для полного пейзажа, это не требуется настоящим изобретением, как проиллюстрировано на фиг. 3, 4 и 5. Следует понимать, что в показанных примерах в данном документе данные о преграде формируются для центрального вида. Как результат, данные о преграде/второй уровень являются данными, которые становятся видимыми, когда объекты в центральном представлении удаляются из центрального представления. Изобретение, может, тем не менее, использоваться для вариантов осуществления, при этом изображение и информация о глубине кодируются для точки обзора вне центра, такой как, например, точки обзора либо левого, либо правого глаза.

Фиг. 3 показывает другое представление, при этом данные о преграде предоставляются для области позади мобильного телефона как указано структурой 325. В этом примере информация скрытого изображения и информация о скрытой глубине предоставлены для прямоугольного вытягивания по границе объекта. Преимуществом этого конкретного представления (а также того, которое представлено на фиг. 2) в том, что информация о скрытом изображении и информация о скрытой глубине предоставляют информацию для области за объектом, а также информацию в окрестности перехода глубины между объектом и фоном. Как результат, дефекты изображения в обеих областях могут фильтроваться, используя скрытые изображения и/или информацию о глубине.

Фиг. 4 показывает другое представление, в котором данные о преграде предоставляются только для областей, скрытых мобильным телефоном. Преимуществом этого конкретного представления является его компактный размер; недостатком является, тем не менее, то, что он не предоставляет много информации в отношении границы объекта. Это, тем не менее, позволяет удаление кодируемых дефектов изображения в карте глубины в пределах объекта; после всего, информация о глубине в карте 210 глубины должна быть впереди информации 510 о глубине, предоставляемой в информации 420 о скрытой глубине.

Фиг. 5 представляет дополнительное предпочтительное представление. Это представление еще содержит изображение 205 и карту 210 глубины. В дополнение предоставляется скрытое изображение 505 с более низким разрешением, и соответствующая информация 510 о скрытой глубине. Следует заметить, что преобладающий серый тон в скрытом изображении 505 и информация о скрытой глубине представляет собой приглушенные области, которые кодируются, как таковые по причинам эффективности кодирования.

До того, как многовидовое изображение может быть синтезировано, изображение с низким разрешением должно масштабироваться вверх. Масштабирование вверх может быть выполнено простым способом, или интеллектуально используя, например, адаптированный по цвету двусторонний фильтр с масштабированием вверх, например, описанный в находящейся одновременно на рассмотрении международной патентной заявке IB2007/051701 (юридическая выписка PH005826). Далее, приглушенные области замещаются соответствующими значениями пикселей изображения 205 и картой 210 глубины. Результирующая информация о преграде затем имеет сходство с той, которая представлена на фиг. 2.

Фиг. 2, 3, 4 и 5 представляют собой аппроксимацию первого порядка формата изображений с уровнями глубины (LDI). Для подробного описания формата с уровнями глубины читатель отсылается к "Изображения с уровнями глубины" Дж. Шейда, С. Гортлера, Л. Хи, Р. Желиски (J. Shade, S. Gortler, L. He, R. Szeliski), опубликованного в протоколах SIGGRAPH 25-ой конференции, 1998 г.

С точки зрения эффективности кодирования может дополнительно рассматриваться вариант опустить карту глубины для уровня преграды. В этом случае информация скрытого изображения может использоваться для управления фильтрацией информации 210 глубины. В последнем случае существует два подхода для улучшения качества карты глубины:

Использовать информацию скрытого изображения для обработки информации глубины.

Использовать информацию скрытого изображения для повторного формирования информации о скрытой глубине и использовать информацию скрытой глубины для фильтрования информации о глубине.

Согласно первому подходу информация 205 изображений и информация 415 скрытых изображения могут использоваться для создания границы объекта. Следовательно, карта 210 глубины предпочтительно фильтруется в области вокруг этой границы, используя фильтр сохранения контуров. Логическое обоснования этого подхода в том, что типично сильные переходы в карте 210 глубины, например, границы объекта, предполагают дефекты цифрового сжатия. Подобные дефекты изображения могут, тем не менее, быть снижены с помощью фильтра сохранения контуров, например, фильтр К-средних.

Информация, предоставленная информацией 205 изображений, информацией 210 глубины и информацией 415 скрытых изображений может использоваться для создания области, в которой используется фильтр. Следовательно, информация 210 глубины может фильтроваться в пределах определенного расстояния до переходов глубины, или альтернативно в пределах определенного расстояния до границ объекта. В случае, например, схемы сжатия на основе DCT, это расстояние может быть задано как диагональ макроблока.

Согласно второму подходу, информация 205 изображения, информация 210 глубины и информация 415 скрытых изображений может использоваться для повторного формирования информации 420 о скрытой глубине, используя эвристику, известную специалистам в данной области техники. Сделана ссылка на находящуюся одновременно на рассмотрении международную патентную заявку IB2007/051701 (юридическая выписка PH005826) и европейскую патентную заявку 06301011.0 (юридическая выписка PH006957), которая описывает особенно благоприятные способы восстановления информации 420 о скрытой глубине, используя адаптированный по цвету двусторонний фильтр.

Комбинируя информацию 205 изображений и информацию 415 скрытых изображений, может быть создано опорное изображение для использования с адаптированным по цвету двусторонним фильтром. Ассоциируя веса с информацией о глубине от карты 210 глубины, влияние процесса восстановления информации о скрытой глубине может быть снижено. Если информация о скрытой глубине восстанавливается, она может использоваться для фильтрования информации о глубине, связанной с объектом.

Дополнительная альтернатива с низкими затратами для формирования информации о скрытом изображении и/или информации о скрытой глубине должна использовать расширение информации из информации о глубине 2D+, т.е. для расширения информации, прилегающей к скрытой области, в области преграды.

Визуализация последовательности 3D, используя данные о преграде

Информация о преграде, описанная выше, может использоваться для синтеза дополнительного вида. На (авто)стереоскопическом устройстве отображения 3D воспринимается как результат обстоятельства, что наблюдатель с помощью своего левого глаза воспринимает немного другое изображение, чем с помощью своего правого глаза.

Эти виды формируются, используя в примерах, описанных в данном документе, информацию из центрального вида и его ассоциированную карту глубины/рассогласования. Эта карта рассогласования/глубины подразумевает, как пиксели центрального вида должны визуализироваться для различных видов. Когда изображение визуализируется/синтезируется для конкретного вида, некоторые пиксели могут быть не заданы и отсюда, произойдет ошибка.

Подходом первого порядка для разрешения этого, является использование значения пикселей, которые были встречены на горизонтальной линии. Если порядок сканирования выбран должным образом, тогда последний встреченный пиксель будет пикселем, который отражает исходную информацию. Этот процесс упоминается как расширение и, с точки зрения реализации, является самым легким для реализации. С положений, где существует большой переход в карте глубины, т.е. где объект и очевиден и удален впереди от другого объекта, можно, как правило, наблюдать дефекты изображения из-за вышеупомянутого расширения.

Вышеупомянутая информация о преграде может использоваться для дополнительного снижения подобных дефектов изображения.

Синтез вида или процесс визуализации, который использует информацию о преграде, может быть реализован в двухэтапном подходе. На первом этапе вид визуализируется, используя скрытое изображение и информацию о скрытой глубине. В случае, когда нет подходящей информации о преграде, например, когда по причинам эффективности кодирования только информация о частичной преграде является доступной, может использоваться вышеописанное расширение изображения.

На втором этапе изображение 205 переднего плана и карта 210 глубины визуализируются, используя процесс визуализации, при этом этап расширения опускается. Вывод второго этапа наложен на вывод первого этапа. Следовательно, пиксели, которые не заданы на втором этапе, заданы первым этапом.

Обработка карты глубины

Фиг. 6 иллюстрирует карту 605 глубины наземного контроля данных, а также карту 610 глубины, содержащую дефекты цифрового сжатия, происходящие из сжатия с потерями.

Фиг. 7 иллюстрирует, что когда подобная распакованная карта 710 глубины используется вместе с изображением 705, как ввод для процесса визуализации видов, результирующее синтезированное представление 715 значительно искажается. Это искажение является прямым результатом дефектов цифрового сжатия в информации о глубине. Так как информация о глубине используется для перемещения информации изображения от изображения 605 в зависимости от глубины объекта относительно точки обзора, ошибки в информации о глубине приведут к некорректным перемещениям.

В результате ошибка в информации о глубине преобразовывается в ошибочную трансляцию данных пикселей. Это в свою очередь, имеет существенное воздействие на визуализированное изображение, и в частности, на границы объекта. Этот эффект является четко видимым в виде деформированной и ошибочной форме контуров объекта в синтезированном виде 715.

Типично, дефекты кодирования или цифрового сжатия представлены в сильных переходах. Настоящее изобретение предлагает использовать информацию о преграде, например, информацию о скрытом изображении, информацию о скрытой глубине и/или информацию о скрытом рассогласовании для снижения дефектов кодирования, представленных в карте глубины во время сжатия и последующего развертывания.

В случае, когда доступна только информация о скрытом изображении, эта информация предоставляет информацию по расположению контуров объекта в изображении 205, и косвенно предоставляет информацию относительно потенциальных переходов глубины в карте 210 глубины. Эта информация может использоваться преимущественно, когда используют этап фильтрования сохранения контуров в карте 210 глубины. Предпочтительно, чтобы подобный фильтр сохранения контуров не сглаживал переходы глубины. Предпочтительно, чтобы фильтр сохранения контуров преобразовывал соответствующие значения информации о глубине по каждой стороне контура в общее значение информации о глубине по соответствующей стороне контура. Примером подобного фильтра является фильтр К-средних. Специалисты в данной области техники видео обработки узнают, что может использоваться широкий спектр анизотропных фильтров.

Альтернативно, как указано выше, информация о скрытой глубине может быть восстановлена, используя информацию о скрытом изображении. Тем не менее, предпочтительно включать информацию о скрытой глубине в информацию о преграде. Когда информация о глубине является доступной для скрытой области и/или области вокруг области с преградой, эта информация может использоваться для улучшения как карты 210 глубины, так и для информации 220 о скрытой глубине. Основной идеей является использование информации о глубине из скрытой области для улучшения качества и/или управления обработкой информации о глубине из карты 210 глубины. Наоборот, информация о глубине из карты 210 глубины может также использоваться для улучшения качества и/или управления обработкой информации о глубине из информации о скрытой глубине.

В варианте осуществления с эффективной скоростью передачи битов карта скрытой глубины кодируется только в областях, где происходят сильные переходы глубины. В дополнение, для снижения вычислительной сложности, обработка по карте 710 глубины осуществляется лишь в областях, где происходят сильные переходы глубины.

Простым вариантом осуществления подобного этапа последующей обработки для карты глубины, как показано в 210, может быть осуществления операции MAX (выбрать максимум) по каждому значению карты 210 глубины и соответствующего значения информации 220 о скрытой глубине. Это удалит неравномерные дефекты в карте 710 глубины центрального вида. Рассматривается, что принимая во внимание дополнительные пиксели в пространственной близости по подходящей стороне перехода, дополнительно, может быть осуществлена более тщательно разработанная фильтрация. В частности, в случае видео последовательностей, рассматривается, что подобная операция фильтрации может также предоставить соответствие во времени, принимая во внимание движение объектов. И в пространственных, и во временных улучшениях, остается важным главным образом сохранять контуры карты 210 глубины.

До этого момента карта 210 глубины стала целью этапа последующей обработки. Тем не менее, аналогичный этап последующей обработки может использоваться с равным преимуществом в информации 220 о скрытой глубине. В простом варианте осуществления операция MAX, как предлагалось до этого, может быть замещена операцией MIN (для выбора минимума из каждого значения) для того, чтобы извлечь улучшенную информацию 220 о скрытой глубине.

В другом варианте осуществления этап последующей обработки может также использоваться из условия, что дефекты изображения в приоритетном объекте, присутствующие в карте 210 глубины, также могут быть уменьшены. Это может быть достигнуто с помощью первого обнаружения сильных переходов глубины в карте глубины центрального вида (например, определяя MIN и MAX по окну и рассматривая среднее как пересечение перехода).

Вокруг этих переходов пиксели карты глубины должны иметь высокое качество. Следовательно, замещение пикселей карты глубины вокруг контура в приоритетной карте глубины с помощью пикселей из фоновой карты глубины улучшит общее качество, так как карта глубины не содержит этого перехода.

Может быть необходим этап расширения, чтобы обойти, что приоритетные объекты размещаются на фоне. В случае, если коэффициент расширения предоставляется в форме метаданных вместе с другими данными изображений, это значение может использоваться. Коэффициент расширения может затем использоваться для определения величины данных вокруг перехода глубины, который должен замещаться.

В дополнительном варианте осуществления настоящего изобретения этап обработки содержит создание критерия замещения для пикселя из информации о глубине в окрестности перехода глубины, критерий замещения классифицирует, к какой стороне перехода принадлежит пиксель. Следовательно, пиксель из информации о глубине замещается условно, на основе критерия замещения, пикселем замещения. Для того, чтобы улучшить качество информации о глубине, пиксель замещения должен статически соответствовать пространственному контексту, как обозначено критерием замещения; т.е. он должен быть совместим с информацией о глубине по этой стороне перехода глубины. Например, когда используется алгоритм к-средней, среднее значение кластера по соответствующей стороне перехода может использоваться как значение пикселя замещения.

Важно отметить, что, по меньшей мере, один критерий замещения и пиксель замещения основаны на информации о преграде; таким образом может быть получена улучшенная совместимость карты глубины, так как информация о преграде предоставляет дополнительную информацию, которая может использоваться для восстановления соответствующей информации о глубине.

Если критерий замещения, по меньшей мере, частично, основан на информации о преграде, может быть возможно использовать пространственный контекст пикселя из информации о глубине для того, чтобы создать значение пикселя замещения. Предпочтительно, чтобы пространственный контекст пикселя из информации о преграде, т.е. пиксели в окрестности пикселя, использовался для определения пикселя замещения. Более предпочтительно, чтобы пространственный контекст соответствующего пикселя из информации о глубине преграды использовался для создания пикселя замещения. Будет очевидно, что может быть достаточным создать подобный критерий замещения в окрестности перехода глубины, но также возможны альтернативы. Вместо этого, подобные критерии могут быть созданы для каждого пикселя в целом изображении.

Хотя типично переходы в информации о глубине являются четкими, в частности, когда информация о глубине уменьшается в масштабе до кодирования, или кодируется при очень низкой скорости передачи битов, переходы глубины могут быть слабыми. В результате является выгодным использоваться фильтр восстановления контуров, который использует информацию из пространственного контекста перехода для восстановления переходов в карте глубины.

Например, когда информация о глубине предоставляется при более низком разрешении, контур в информации о глубине в уменьшенном масштабе может быть "размыт" во время обработки с уменьшением масштаба. В результате полезно восстановить контур. При осуществлении настоящего изобретения, которое использует алгоритм k-средних для определения критерия замещения, является выгодным создавать соответствующие значения глубины на любой стороне перехода, и последовательно определять наиболее возможное положение края на основе значений глубины по фактическому переходу глубины.

Может быть возможным определять, например, первую среднюю, соответствующую значению глубины по одной стороне перехода, и вторую среднюю, соответствующую значению глубины по другой стороне перехода. Восстановленный контур может затем располагаться наполовину между первой и второй средней. Хотя в данном документе идея восстановления контуров поясняется в отношении решения k-средних, это не является обязательным, и другие методики восстановления границ могут использоваться с равным преимуществом.

Фиг. 7 показывает два визуализированных вида на основе, частично, изображения 705 и карты 710 глубины, а также информации о преграде в виде информации о скрытом изображении и информации о скрытой глубине (не показано). Первый визуализированный вид 715 основан на ранее сжатой карте 710 глубины, при этом второй визуализированный вид 720 основан на ранее сжатой карте глубины, которая была в последующем обработана согласно настоящему изобретению. Как указано ранее, на первый визуализированный вид 715 сильно влияют дефекты цифрового сжатия, присутствующие в карте 710 глубины. Напротив, во втором визуализированном виде 720 контуры объекта намного ближе к контурам объекта в исходном изображении 705.

Хотя настоящее изобретение продемонстрировано, используя примеры, в которых разрешение карты глубины соответствует разрешению изображения, для специалиста в данной области техники очевидно, что настоящее изобретение может использоваться с равной выгодой в ситуациях, в которых соответствующие разрешения различаются.

Фиг. 8 показывает устройство 800 согласно настоящему изобретению. Устройство 800 содержит средство 805, выполненное с возможностью получать карту 875 глубины на основе карты глубины с потерей данных, карта 875 глубины, содержащая информацию о глубине для сцены с точки обзора, сцена, которая содержит объект. Устройство 800 дополнительно содержит средство 810, выполненное с возможностью получить информацию 885 о преграде для пейзажа с точки обзора, информация 885 о преграде, которая содержит информацию скрытую объектом в карте 875 глубины. В конечном счете устройство содержит средство 815, выполненное с возможностью обрабатывать, по меньшей мере, часть информации о глубине, используя, по меньшей мере, часть информации о преграде, для того, чтобы уменьшить дефекты цифрового сжатия в карте 875 глубины. Средство 815 может по выбору использовать дополнительную информацию, например, метаданные и/или данные изображения в обработке карты 875 глубины.

Для специалиста в данной области техники очевидно, что устройство 800, может быть создано, используя либо аппаратные компоненты в виде, например, специализированной интегральной схемы (ASIC) или многочисленных ASIC, или используя программируемую платформу, которая содержит один или более цифровых сигнальных процессоров или даже процессоров общего назначения. Комбинации из вышеупомянутых вариантов осуществления также рассмотрены. Специалист в данной области техники может создать подобный вариант осуществления на основе ограничений, например, тактовой частоты, доступной вычислительной мощности на программируемой платформе и/или другие ограничение, хорошо известные для специалистов в данной области техники систем проектирования для видео обработки.

Фиг. 9 отображает осуществление устройства 900 бытовой электронной аппаратуры, которое содержит устройство 800 согласно настоящему изобретению. Устройство 900 бытовой электронной аппаратуры может быть, например, декодером телевизионных каналов (STB), который принимает входящий транспортный поток 905 по сети, содержащий, по меньшей мере, одну последовательность изображений, которая включает в себя информацию изображений, информацию о глубине, информацию о скрытом изображении, и дополнительно, информацию о скрытой глубине. STB выполнено с возможностью визуализировать многочисленные виды 995 для вывода на автостереоскопическое устройство отображения. Альтернативно, устройством бытовой электронной аппаратуры может быть автостереоскопическое устройство отображения, выполненное с возможностью принимать последовательность 905 изображений, которая включает в себя информацию об изображении, информацию о глубине, информацию о скрытых изображениях, и дополнительно, информацию о скрытой глубине, которая используется для визуализации многочисленных представлений для отображения на автостереоскопическом устройстве 900 отображения. В этом конкретном варианте осуществления отдельные представления не нужно выводить в цифровой формат для другого устройства, как результат, вывод 995 представлен как пунктирная линия.

По всему описанию термин "получающий" понимается как включающий получение с помощью приема от, например, сети или носителя данных, а также получение для обработки с помощью, например, разворачивания или восстановления подобных данных.

Следует заметить, что вышеупомянутые варианты осуществления скорее иллюстрируют, а не ограничивают изобретение, и что специалисты в данной области техники могут спроектировать много альтернативных вариантов осуществления без отклонения от объема прилагаемой формулы изобретения.

В формуле изобретения любые обозначения ссылок, помещенные между скобок не должны быть истолкованы в качестве ограничивающих формулу изобретения.

Ясно, что в пределах структуры изобретения возможны различные изменения. Специалистами в данной области техники будет принято во внимание, что настоящее изобретение не ограничено тем, что конкретно показано и описано выше в данном документе. Изобретение постоянно находится во всех новых характерных признаках и во всех сочетаниях характерных признаков. Номера ссылок в формуле изобретения не ограничивают ее охранную область.

Использование глагола «содержит» и его спряжений не исключает наличия элементов, иных чем те, что изложены в формуле изобретения. Употребление элемента в единственном числе не исключает присутствия множества таких элементов.

Claims

1. Способ обработки карты глубины, способ содержит этапы, на которых: получают карту глубины на основе карты глубины со сжатием с потерей данных, посредством одного из приема входного сигнала, содержащего карту глубины, и приема входного сигнала, содержащего карту глубины со сжатием с потерей данных, и формирования карты глубины посредством восстановления после сжатия карты глубины со сжатием с потерей данных, причем карта глубины содержит информацию о глубине пейзажа с точки обзора, при этом пейзаж содержит объект, получают информацию о преграде для пейзажа с точки обзора, информация о преграде содержит информацию, скрытую объектом в карте глубины, и обрабатывают, по меньшей мере, часть информации о глубине, используя, по меньшей мере, часть информации о преграде для того, чтобы снизить дефекты сжатия в карте глубины, причем этап обработки содержит часть обработки информации о глубине в пределах заранее определенной области в пространственной близости от, по меньшей мере, одного из объекта и перехода в информации о глубине, связанной с объектом, и где, по меньшей мере, часть информации о преграде является информацией о преграде из области, соответствующей области информации о глубине, которая обрабатывается.

2. Способ по п.1, в котором информация о преграде содержит информацию о глубине, скрытую объектом.

3. Способ по любому из пп.1 или 2, дополнительно содержащий этап, на котором: получают метаданные, предоставляющие информацию, относящуюся к размеру заранее заданной области.

4. Способ по п.1, в котором алгоритм сжатия с потерей данных, используемый для формирования карты глубины со сжатием с потерей данных, вносит шум в пространственную близость от перехода в информации о глубине.

5. Способ по п.1, в котором алгоритм сжатия с потерей данных, используемый для формирования карты глубины со сжатием с потерей данных, использует представление частотной области для представления информации о глубине в карте глубины со сжатием с потерей данных.

6. Способ по п.1, в котором способ дополнительно содержит создание перехода в информации о глубине.

7. Способ по п.1, в котором этап обработки содержит этапы, на которых: создают критерий замещения для пикселя из информации о глубине в окрестности перехода глубины, причем критерий замещения классифицирует, к какой стороне перехода принадлежит пиксель; и условно замещают пиксель из информации о глубине на основе критерия замещения с помощью пикселя замещения, пиксель замещения статистически соответствует пространственному контексту, как обозначено критерием замещения; при этом, по меньшей мере, один из критерия замещения и пикселя замещения основан на информации о преграде.

8. Способ по п.7, в котором критерий замещения создается с помощью фильтрации по, по меньшей мере, одному из пространственного контекста пикселя из информации о глубине и пространственного контекста пикселя из информации о преграде, соответствующего пикселю из информации о глубине.

9. Способ по п.8, в котором пиксель замещения является одним из пикселя из информации о глубине преграды, соответствующего пикселю из информации о глубине, и пикселя на основе пространственного контекста пикселя из информации о глубине преграды, соответствующего пикселю из информации о глубине.

10. Способ по п.2, в котором этап обработки содержит создание одного из минимального и максимального значения из пикселя из информации о глубине и соответствующего пикселя из информации о преграде.

11. Способ по п.1, в котором предоставляются метаданные относительно размера области для обработки.

12. Устройство для обработки карты глубины, устройство содержит: средство, выполненное с возможностью получать карту глубины на основе карты глубины со сжатием с потерей данных, посредством одного из приема входного сигнала, содержащего карту глубины, и приема входного сигнала, содержащего карту глубины со сжатием с потерей данных, и формирования карты глубины посредством восстановления после сжатия карты глубины со сжатием с потерей данных, причем карта глубины содержит информацию о глубине пейзажа с точки обзора, причем пейзаж содержит объект, средство, выполненное с возможностью получать информацию о преграде для пейзажа с точки обзора, информация о преграде содержит информацию, скрытую объектом в карте глубины, и средство, выполненное с возможностью обрабатывать, по меньшей мере, часть информации о глубине, используя, по меньшей мере, часть информации о преграде для того, чтобы снизить дефекты сжатия в карте глубины, и причем этап обработки содержит часть обработки информации о глубине в пределах заранее определенной области в пространственной близости от, по меньшей мере, одного из объекта и перехода в информации о глубине, связанной с объектом, и где, по меньшей мере, часть информации о преграде является информацией о преграде из области, соответствующей области информации о глубине, которая обрабатывается.