RU2799771C2

RU2799771C2 - Способы и устройства для обработки данных, электронное устройство

Info

Publication number: RU2799771C2
Application number: RU2021102207A
Authority: RU
Inventors: Ян СЯ; Тао Чжан; Кай ТАН
Original assignee: Гуандун Оппо Мобайл Телекоммьюникейшнс Корп., Лтд.
Priority date: 2018-09-30
Filing date: 2019-09-18
Publication date: 2023-07-11

Abstract

Изобретение относится к области обработки данных. Технический результат заключается в уменьшении объема передаваемых данных, уменьшении необходимой полосы пропускания и уменьшении задержки передачи. Такой результат достигается за счет выполнения кодирования пикселей согласно значениям пикселей трехмерных (3D) видеоданных с получением кодированных данных пикселей; и отправки кодированных данных пикселей на сервер мобильных периферийных вычислений (MEC), при этом кодированные данные пикселей используются сервером МЕС для восстановления трехмерных видеоданных, причем объем данных трехмерных видеоданных перед выполнением кодирования пикселей в отношении трехмерных видеоданных представляет собой первый объем данных, объем данных трехмерных видеоданных после выполнения кодирования пикселей в отношении трехмерных видеоданных представляет собой второй объем данных, и первый объем данных больше второго объема данных. 4 н. и 17 з.п. ф-лы, 7 ил.

Description

ОБЛАСТЬ ТЕХНИКИ, К КОТОРОЙ ОТНОСИТСЯ ИЗОБРЕТЕНИЕ

Настоящее изобретение относится к области техники информации, но не ограничено областью техники технической информации, и в частности оно относится к способам и устройствам для обработки данных, электронному устройству и носителю данных.

УРОВЕНЬ ТЕХНИКИ

Различную информацию пикселей в изображении, такую как цвет, полутона и яркость, необходимо по отдельности указывать при помощи значений пикселей. В общем случае, полоса пропускания, потребляемая изображением и/или видео, для передачи одного и того же количества информации является относительно большой. Поэтому в некоторых сценариях передачи изображений, если изображение передается непрерывно, оно может потреблять большое количество полос пропускания и/или вызывать проблему большой задержки передачи.

СУЩНОСТЬ ИЗОБРЕТЕНИЯ

В вариантах осуществления настоящего изобретения предлагаются способы и устройства для обработки данных, электронное устройство и носитель данных.

Способ обработки данных является применяемым для терминала и включает:

выполнение кодирования пикселей согласно значениям пикселей трехмерных (3D) видеоданных с получением кодированных данных пикселей; и

отправку кодированных данных пикселей на сервер мобильных периферийных вычислений (MEC), в котором кодированные данные пикселей используются сервером МЕС для восстановления трехмерных видеоданных.

Объем данных трехмерных видеоданных перед выполнением кодирования пикселей в отношении трехмерных видеоданных представляет собой первый объем данных, объем данных трехмерных видеоданных после выполнения кодирования пикселей в отношении трехмерных видеоданных представляет собой второй объем данных, и при этом первый объем данных больше второго объема данных.

На основе вышеописанных решений, выполнение кодирования пикселей согласно значениям пикселей трехмерных видеоданных с получением кодированных данных пикселей включает:

выполнение кодирования цвета согласно значению цвета пикселей трехмерных видеоданных с получением кодированных данных цвета; и/или

выполнение кодирования значений глубины согласно значению пикселей, соответствующего значению глубины, трехмерных видеоданных с получением кодированных данных значений глубины.

запрос отношения отображения кодов пикселей согласно значениям пикселей трехмерных видеоданных с определением кодированных данных пикселей.

На основе вышеописанных решений, способ дополнительно включает:

выбор способа кодирования пикселей согласно заданной информации, при этом заданная информация включает по меньшей мере одно из информации о состоянии передачи данных по сети, информации о состоянии нагрузки на терминал и информации о состоянии нагрузки на сервер МЕС.

Выполнение кодирования пикселей согласно значениям пикселей трехмерных (3D) видеоданных с получением кодированных данных пикселей включает:

выполнение кодирования пикселей в отношении значений пикселей согласно выбранному способу кодирования пикселей с получением кодированных данных пикселей.

На основе вышеописанных решений, выполнение кодирования пикселей в отношении значений пикселей согласно выбранному способу кодирования пикселей с получением кодированных данных пикселей включает по меньшей мере одно из:

выполнения кодирования единичных пикселей в отношении значений пикселей единичных пикселей в трехмерных видеоданных согласно способу кодирования единичных пикселей с получением кодированных данных первого типа, при этом общее количество бит, занимаемых кодированными данными первого типа, меньше общего количества бит, занимаемых значением пикселя; и

выполнения кодирования комбинированных пикселей в отношении значений пикселей N*M пикселей трехмерных видеоданных согласно способу кодирования комбинированных пикселей с получением кодов пикселей второго типа, при этом N и M представляют собой положительные целые числа.

На основе вышеописанного решения, N*M пикселей распределены смежно.

Альтернативно, N*M пикселей расположены на расстоянии согласно заданному способу расположения на расстоянии.

На основе вышеописанных решений, запрос отношения отображения кодов пикселей согласно значениям пикселей трехмерных видеоданных с определением кодированных данных пикселей включает:

запрос отношения отображения кодов пикселей согласно значениям пикселей трехмерных видеоданных; и

в ответ на то, что значения пикселей находятся в отношении отображения кодов пикселей, определение кодированных данных пикселей согласно кодированным значениям пикселей, соответствующим значениям пикселей.

в ответ на то, что значения пикселей не находятся в отношении отображения кодов пикселей, обновление отношения отображения кодов пикселей согласно значениям пикселей, и отправка обновленного отношения отображения кодов пикселей или обновленной части отношения отображения кодов пикселей на сервер МЕС.

упорядочивание значений пикселей трехмерных видеоданных согласно заданному способу упорядочивания с получением порядковых номеров значений пикселей трехмерных видеоданных.

Способ обработки данных, является применяемым для сервера МЕС и включает:

прием кодированных данных пикселей, отправленных терминалом;

восстановление значений пикселей трехмерных видеоданных согласно кодированным данным пикселей, при этом объем данных трехмерных видеоданных перед выполнением кодирования пикселей в отношении трехмерных видеоданных представляет собой первый объем данных, объем данных трехмерных видеоданных после выполнения кодирования пикселей в отношении трехмерных видеоданных представляет собой второй объем данных, и при этом первый объем данных больше второго объема данных.

На основе вышеописанных решений, восстановление значений пикселей трехмерных видеоданных согласно кодированным данным пикселей включает по меньшей мере одно из:

восстановления значения цвета пикселей трехмерных видеоданных согласно кодированным данным цвета из кодированных данных пикселей; и

восстановления значения пикселей, соответствующего значению глубины, трехмерных видеоданных согласно кодированным данным значений глубины из кодированных данных пикселей.

определение способа кодирования пикселей кодированных данных пикселей.

Восстановление трехмерных видеоданных согласно кодированным данным пикселей включает:

выполнение декодирования пикселей в отношении кодированных данных пикселей согласно способу кодирования пикселей с получением значений пикселей трехмерных видеоданных.

На основе вышеописанных решений, определение способа кодирования пикселей кодированных данных пикселей включает по меньшей мере одно из:

определения количества пикселей, включенных в трехмерные видеоданные, определения общего количества фрагментов данных согласно кодированным данным пикселей, и определения способа кодирования пикселей согласно общему количеству пикселей и общему количеству фрагментов данных,

обеспечения взаимодействия параметров кодирования пикселей с терминалом, при этом параметры кодирования пикселей включают по меньшей мере способ кодирования пикселей.

На основе вышеописанных решений, выполнение декодирования пикселей в отношении кодированных данных пикселей согласно способу кодирования пикселей с получением значений пикселей трехмерных видеоданных включает по меньшей мере одно из:

декодирования кодированных данных пикселей единичных пикселей согласно способу кодирования единичных пикселей с восстановлением значений пикселей трехмерных видеоданных; и

декодирования кодированных данных пикселей M*N пикселей согласно способу кодирования комбинированных пикселей с восстановлением значений пикселей трехмерных видеоданных.

На основе вышеописанных решений, восстановление значений пикселей трехмерных видеоданных согласно кодированным данным пикселей включает:

запрос отношения отображения кодов пикселей согласно кодированным данным пикселей с получением значений пикселей, соответствующих кодированным данным пикселей.

перед восстановлением значений пикселей трехмерных видеоданных согласно кодированным данным пикселей, прием обновленного отношения отображения кодов пикселей или обновленной части отношения отображения кодов пикселей, отправленных терминалом.

Устройство для обработки данных применяется для терминала и содержит модуль кодирования и модуль отправки.

Модуль кодирования выполнен с возможностью выполнения кодирования пикселей согласно значениям пикселей трехмерных видеоданных с получением кодированных данных пикселей.

Модуль отправки выполнен с возможностью отправки кодированных данных пикселей на сервер MEC, при этом кодированные данные пикселей используются сервером МЕС для восстановления трехмерных видеоданных.

На основе вышеописанных решений, модуль кодирования содержит подмодуль кодирования цвета и подмодуль кодирования значений глубины.

Подмодуль кодирования цвета выполнен с возможностью выполнения кодирования цвета согласно значению цвета пикселей трехмерных видеоданных с получением кодированных данных цвета; и/или подмодуль кодирования значений глубины выполнен с возможностью выполнения кодирования значений глубины согласно значению пикселей, соответствующего значению глубины, трехмерных видеоданных с получением кодированных данных значений глубины.

На основе вышеописанных решений, модуль кодирования, в частности, выполнен с возможностью запроса отношения отображения кодов пикселей согласно значениям пикселей трехмерных видеоданных с определением кодированных данных пикселей.

На основе вышеописанных решений, устройство дополнительно содержит модуль выбора и модуль кодирования.

Модуль выбора выполнен с возможностью выбора способа кодирования пикселей согласно заданной информации, при этом заданная информация включает по меньшей мере одно из информации о состоянии передачи данных по сети, информации о состоянии нагрузки на терминал и информации о состоянии нагрузки на сервер МЕС.

Модуль кодирования, в частности, выполнен с возможностью выполнения кодирования пикселей в отношении значений пикселей согласно выбранному способу кодирования пикселей с получением кодированных данных пикселей.

На основе вышеописанных решений, модуль кодирования по меньшей мере выполнен с возможностью исполнения по меньшей мере одного из выполнения кодирования единичных пикселей в отношении значений пикселей единичных пикселей в трехмерных видеоданных согласно способу кодирования единичных пикселей с получением кодированных данных первого типа, при этом общее количество бит, занимаемых кодированными данными первого типа, меньше общего количества бит, занимаемых значением пикселей; и выполнения кодирования комбинированных пикселей в отношении значений пикселей N*M пикселей трехмерных видеоданных согласно способу кодирования комбинированных пикселей с получением кодов пикселей второго типа, при этом N и M представляют собой положительные целые числа.

На основе вышеописанных решений, модуль кодирования содержит подмодуль запроса и подмодуль определения.

Подмодуль запроса выполнен с возможностью запроса отношения отображения кодов пикселей согласно значениям пикселей трехмерных видеоданных.

Подмодуль определения выполнен с возможностью в ответ на то, что значения пикселей находятся в отношении отображения кодов пикселей, определения кодированных данных пикселей согласно кодированным значениям пикселей, соответствующим значениям пикселей.

На основе вышеописанных решений, устройство дополнительно содержит модуль обновления.

Модуль обновления выполнен с возможностью в ответ на то, что значения пикселей не находятся в отношении отображения кодов пикселей, обновления отношения отображения кодов пикселей согласно значениям пикселей, и отправки обновленного отношения отображения кодов пикселей или обновленной части отношения отображения кодов пикселей на сервер МЕС.

На основе вышеописанных решений, модуль кодирования, в частности, выполнен с возможностью упорядочивания значений пикселей трехмерных видеоданных согласно заданному способу упорядочивания с получением порядковых номеров значений пикселей трехмерных видеоданных.

Устройство для обработки данных, применяемое для сервера МЕС, содержит модуль приема и модуль восстановления.

Модуль приема выполнен с возможностью приема кодированных данных пикселей, отправленных терминалом.

Модуль восстановления выполнен с возможностью восстановления значений пикселей трехмерных видеоданных согласно кодированным данным пикселей, при этом объем данных трехмерных видеоданных перед выполнением кодирования пикселей в отношении трехмерных видеоданных представляет собой первый объем данных, объем данных трехмерных видеоданных после выполнения кодирования пикселей в отношении трехмерных видеоданных представляет собой второй объем данных, и при этом первый объем данных больше второго объема данных.

На основе вышеописанных решений, модуль восстановления содержит по меньшей мере одно из подмодуля восстановления цвета и подмодуля восстановления значения глубины.

Подмодуль восстановления цвета выполнен с возможностью восстановления значения цвета пикселей трехмерных видеоданных согласно кодированным данным цвета из кодированных данных пикселей.

Подмодуль восстановления значений глубины выполнен с возможностью восстановления значения пикселей, соответствующего значению глубины, трехмерных видеоданных согласно кодированным данным значений глубины из кодированных данных пикселей.

На основе вышеописанных решений, устройство дополнительно содержит модуль определения.

Модуль определения выполнен с возможностью определения способа кодирования пикселей кодированных данных пикселей.

Модуль восстановления, в частности, выполнен с возможностью выполнения декодирования пикселей в отношении кодированных данных пикселей согласно способу кодирования пикселей с получением значений пикселей трехмерных видеоданных.

На основе вышеописанных решений, модуль определения содержит по меньшей мере одно из первого подмодуля определения и второго подмодуля определения.

Первый подмодуль определения выполнен с возможностью определения количества пикселей, включенных в трехмерные видеоданные, определения общего количества фрагментов данных согласно кодированным данным пикселей и определения способа кодирования пикселей согласно общему количеству пикселей и общему количеству фрагментов данных.

Второй подмодуль определения выполнен с возможностью обеспечения взаимодействия параметров кодирования пикселей с терминалом, при этом параметры кодирования пикселей включают по меньшей мере способ кодирования пикселей.

На основе вышеописанных решений, модуль восстановления, в частности, выполнен с возможностью исполнения по меньшей мере одного из:

На основе вышеописанных решений, модуль восстановления, в частности, выполнен с возможностью запроса отношения отображения кодов пикселей согласно кодированным данным пикселей с получением значений пикселей, соответствующих кодированным данным пикселей.

На основе вышеописанных решений, устройство дополнительно содержит модуль приема.

Модуль приема выполнен с возможностью приема перед восстановлением значений пикселей трехмерных видеоданных согласно кодированным данным пикселей обновленного отношения отображения кодов пикселей или обновленной части отношения отображения кодов пикселей, отправленных терминалом.

Предлагается компьютерный носитель данных, содержащий хранящиеся на нем компьютерные команды, которые при их исполнении процессором вызывают реализацию процессором этапов способа обработки данных, применяемого для терминала; или которые при их исполнении процессором вызывают реализацию процессором этапов способа обработки данных, применяемого для сервера МЕС.

Предлагается электронное устройство, содержащее запоминающее устройство, процессор и компьютерные команды, хранящиеся в запоминающем устройстве и исполняемые в процессоре, при этом процессор исполняет команды для реализации этапов способа обработки данных, применяемого для терминала, или реализации этапов способа обработки данных, применяемого для сервера МЕС.

Согласно способам и устройствам для обработки данных, электронному устройству и носителю данных, предлагаемым в вариантах осуществления настоящего изобретения, терминал не передает непосредственно значения пикселей трехмерных видеоданных, но выполняет кодирование пикселей в отношении значений пикселей, а затем передает кодированные данные пикселей. Объем передаваемых кодированных данных пикселей меньше объема данных непосредственно передаваемых значений пикселей, поэтому полоса пропускания и задержка, необходимые для передачи, уменьшаются; и, таким образом, достигаются свойства небольшого объема передаваемых данных, небольшой необходимой полосы пропускания и небольшой задержки передачи.

КРАТКОЕ ОПИСАНИЕ ГРАФИЧЕСКИХ МАТЕРИАЛОВ

На фиг. 1 представлена принципиальная схема архитектуры системы, в которой применяется способ обработки данных, предлагаемый в варианте осуществления настоящего изобретения;

на фиг. 2 представлена блок-схема способа обработки данных, предлагаемого в варианте осуществления настоящего изобретения;

на фиг. 3 представлена блок-схема другого способа обработки данных, предлагаемого в варианте осуществления настоящего изобретения;

на фиг. 4 представлена блок-схема еще одного способа обработки данных, предлагаемого в варианте осуществления настоящего изобретения;

на фиг. 5 представлена конструктивная принципиальная схема устройства для обработки данных, предлагаемого в варианте осуществления настоящего изобретения;

на фиг. 6 представлена конструктивная принципиальная схема другого устройства для обработки данных, предлагаемого в варианте осуществления настоящего изобретения; и

на фиг. 7 представлена конструктивная принципиальная схема электронного устройства, предлагаемого в варианте осуществления настоящего изобретения.

ПОДРОБНОЕ ОПИСАНИЕ

Перед подробным описанием технических решений в вариантах осуществления настоящего изобретения будет кратко описана архитектура системы для применения способа обработки данных в варианте осуществления настоящего изобретения. Способ обработки данных в вариантах осуществления настоящего изобретения применяется для соответствующей службы трехмерных видеоданных. Служба может представлять собой, например, службу для совместного использования трехмерных видеоданных или службу прямой трансляции на основе трехмерных видеоданных и т.д. В этом случае, по причине большого объема сбора трехмерных видеоданных, данным глубины и двумерным видеоданным, передаваемым, соответственно, в процессе передачи данных, требуется значительная техническая поддержка, и, таким образом, сеть мобильной связи должна иметь высокую скорость передачи данных и устойчивые условия передачи данных.

На фиг. 1 представлена принципиальная схема архитектуры системы, в которой применяется способ обработки данных, предлагаемый в варианте осуществления настоящего изобретения. Как представлено на фиг. 1, система может содержать терминал, базовую станцию, сервер МЕС, сервер обработки услуг, базовую сеть, интернет и т.д. Для реализации синхронизации данных между сервером МЕС и сервером обработки услуг посредством базовой сети установлен высокоскоростной канал.

Например, в сценарии применения, представленном на фиг. 1, где между собой взаимодействуют два терминала, сервер А МЕС — это сервер МЕС, развернутый вблизи терминала А (отправляющая сторона), и базовая сеть А — это базовая сеть в зоне, где расположен терминал А. Соответственно, сервер В МЕС — это сервер МЕС, развернутый вблизи терминала В (принимающая сторона), и базовая сеть В — это базовая сеть в зоне, где расположен терминал В. Для реализации синхронизации данных между сервером А МЕС, сервером В МЕС и сервером обработки услуг посредством базовой сети А и базовой сети В могут быть, соответственно, установлены высокоскоростные каналы.

После передачи трехмерных видеоданных, отправленных терминалом А на сервер А МЕС, сервер А МЕС синхронизирует данные с сервером обработки услуг через базовую сеть А; а затем сервер В МЕС запрашивает из сервера обработки услуг трехмерные видеоданные, отправленные терминалом А, и отправляет эти трехмерные видеоданные в терминал В для отображения.

В этом случае, если терминал В и терминал А реализуют передачу посредством сервера МЕС, терминал В и терминал А реализуют передачу трехмерных видеоданных непосредственно через один сервер МЕС без участия сервера обработки услуг. Этот способ называется способом локального транзитного соединения. В частности, в предположении, что терминал В и терминал А реализуют передачу трехмерных видеоданных через сервер А МЕС, после передачи трехмерных видеоданных, отправленных терминалом А на сервер А МЕС, сервер А МЕС отправляет эти трехмерные видеоданные в терминал В с целью отображения.

В данном случае выборочный доступ к терминалу может быть получен на основе условий сети или условий конфигурации, или заданного алгоритма терминала, в eNB сети 4G или gNB сети 5G так, что eNB соединяется с сервером МЕС через сеть доступа «Долгосрочное развитие» (LTE), и gNB соединяется с сервером МЕС через сеть радиодоступа следующего поколения (NG-RAN).

В данном случае сервер МЕС развернут вблизи терминала или стороны границы сети источника данных. Т.н. «близость к терминалу» или «близость к источнику данных» относится к близости к терминалу или близости к источнику данных как в логических положениях, так и в географических положениях. В отличие от серверов обработки услуг имеющейся сети мобильной связи, которые развернуты в нескольких больших городах, в одном городе может быть развернуто множество серверов МЕС. Например, если в административном здании присутствует множество пользователей, один сервер МЕС может быть развернут вблизи этого административного здания.

В качестве шлюза периферийных вычислений, выполненного с возможностью использования сети, вычислений, хранения и применения основной компетенции, сервер МЕС обеспечивает работу на разных платформах, включая область устройства, область сети, область данных и область приложений для периферийных вычислений. Сервер МЕС соединяется с интеллектуальными устройствами и датчиками различных типов и обеспечивает интеллектуальное соединение и услуги обработки данных на месте так, что приложения и данные различных типов обрабатываются на сервере МЕС, и, таким образом, реализуются ключевые интеллектуальные службы, такие как своевременность доставки услуг, интеллектуальность услуг, агрегирование данных и диалоговый режим работы, обеспечение безопасности и секретности и действенное повышение эффективности интеллектуального принятия решений каждой службы.

Как представлено на фиг. 2, в данном варианте осуществления предлагается способ обработки данных, применяемый для терминала, который включает следующие этапы.

На этапе 201 выполняется кодирование пикселей согласно значениям пикселей трехмерных (3D) видеоданных с получением кодированных данных пикселей.

На этапе 203 кодированные данные пикселей отправляются на сервер МЕС. Здесь кодированные данные пикселей используются сервером МЕС для восстановления трехмерных видеоданных.

Способ обработки данных, предлагаемый в данном варианте осуществления, применяется для терминала. Терминал может представлять собой терминал различных типов, такой как мобильный телефон, планшетный компьютер или носимое устройство, или стационарное устройство для визуального контроля изображения и т.д. Терминал может представлять собой стационарный терминал и/или мобильный терминал.

В некоторых вариантах осуществления трехмерные видеоданные содержат двумерное (2D) изображение и изображение глубины. Двумерное изображение содержит пиксель цвета. Значение пикселя цвета представляет собой значение цвета. Например, значение цвета представляет собой значение красный/зеленый/синий (RGB), или значение светимость/яркость/цветность (YUV).

Изображение глубины содержит пиксель глубины, и значение пикселя глубины представляет собой значение глубины. В этом случае значение глубины характеризует расстояние в пространстве между целевым положением сбора данных и модулем сбора данных изображения. Трехмерные видеоданные и изображение глубины могут составлять трехмерное изображение в трехмерном пространстве изображений.

В некоторых вариантах осуществления двумерное изображение и изображение глубины согласуются по размеру изображения. Например, каждое из двумерного изображения и изображения глубины содержит W*H пикселей, где W указывает количество пикселей, включенных в первом направлении, и Н указывает количество пикселей, включенных во втором направлении. Как W, так и H — положительные целые числа.

В некоторых вариантах осуществления двумерное изображение и изображение глубины представляют собой два изображения, полученных в один момент времени. Для уменьшения объема данных, размеры двумерного изображения и изображения глубины удовлетворяют заданному отношению. Например, изображение глубины содержит W*H изображений, и изображение глубины содержит (W/a)*(H/b) пикселей. Таким образом, один пиксель глубины соответствует a*b пикселей цвета. При составлении трехмерного видео значения пикселей a*b смежных пикселей цвета могут применяться согласно значениям одного пикселя глубины. Например, (W/a)*(H/b) равно (W/2)*(H/2). Таким образом, один пиксель глубины соответствует 4 пикселям цвета. При составлении трехмерного видео значения 4 смежных пикселя цвета могут применяться согласно значениям одного пикселя глубины, и, таким образом, уменьшается объем данных изображения глубины. В целом, так как согласующимися являются знаки вогнутостей-выпуклостей очень небольших зон рядом с объектом, если размер изображения глубины меньше размера двумерного изображения, восстановление и составление трехмерного видео также может поддерживаться с высокой точностью. В то же время, уменьшается объем данных при взаимодействии между терминалом и сервером МЕС и/или объем данных, подлежащих обработке сервером МЕС. В некоторых вариантах осуществления, если размер генерируемого изображения меньше размера двумерного изображения, может быть предложен по меньшей мере один из следующих способов.

Данные изображения глубины собираются путем непосредственного использования размера изображения глубины.

Данные исходного изображения глубины собираются путем использования размера двумерного изображения. Тогда изображение глубины генерируется согласно размеру изображения глубины и значениям пикселей смежных a*b пикселей. Например, изображение глубины генерируется согласно среднему значению или срединному значению смежных a*b значений пикселей.

В данном варианте осуществления первое кодирование данных датчика в значения пикселей уже было завершено. В данном варианте осуществления значения пикселей подвергают второму кодированию. В этом случае второе кодирование представляет собой кодирование пикселей; и по завершении кодирования пикселей получаются кодированные данные пикселей.

В некоторых вариантах осуществления после того, как пиксели были подвергнуты кодированию пикселей, сгенерированные данные кодирования пикселей могут содержать коды значений пикселей вместо значений пикселей. Таким образом, при приеме кодированных данных пикселей принимающая сторона не может отображать или считывать изображение непосредственно согласно кодированным данным пикселей, и значения пикселей необходимо сначала восстановить, а затем изображение может быть отображено или считано обычным образом.

В некоторых вариантах осуществления первое кодирование по сути может представлять собой кодирование, обеспечиваемое множеством модулей сбора данных изображения. Поэтому каждый модуль сбора данных изображения сохраняет значения пикселей непосредственно путем сбора световых лучей по завершении преобразования данных датчика, т.е. завершении получения первых кодированных данных.

По завершении кодирования пикселей кодированные данные пикселей передаются на сервер МЕС, для того чтобы сервер МЕС сгенерировал трехмерное видео. В данном варианте осуществления после вторичного кодирования пикселей полученный второй объем данных меньше первого объема данных до кодирования, поэтому объем данных для передачи трехмерных видеоданных уменьшается, и уменьшаются полосы пропускания, потребляемые этим объемом данных, а также задержка передачи, необходимая для передачи большого количества фрагментов данных; и, таким образом, достигаются свойства небольшого объема передаваемых данных, небольшого количества потребляемых полос пропускания и небольшой задержки передачи. Следовательно, задержка данных, принимаемых сервером МЕС, является небольшой, и восстановление трехмерных видеоданных, а также составление трехмерного видео являются быстрыми и точными.

В некоторых вариантах осуществления выполнение кодирования пикселей согласно значениям пикселей трехмерных видеоданных с получением кодированных данных пикселей включает:

выполнение кодирования значений глубины согласно значению пикселей, соответствующему значению глубины, трехмерных видеоданных с получением кодированных данных значений глубины.

В некоторых вариантах осуществления кодирование в отношении значений пикселей может выполняться только для выполнения кодирования цвета в отношении значений пикселей цвета указанных пикселей цвета в трехмерных видеоданных с получением кодированных данных цвета.

В некоторых вариантах осуществления кодирование в отношении значений пикселей может выполняться только для кодирования значений глубины в отношении значений пикселей, соответствующих значению глубины, в трехмерных видеоданных с получением кодированных данных значений глубины, которые кодируются снова.

Вне зависимости от того, является ли кодирование кодированием цвета или кодированием значений глубины, после вторичного кодирования, можно уменьшить объем данных, передаваемый на сервер МЕС.

В других вариантах осуществления кодирование пикселей на этапе 201 может являться таким, что кодирование цвета и кодирование значений глубины выполняются одновременно.

Этап 201 может включать:

сопоставление значений пикселей в трехмерных видеоданных со значениями пикселей в отношении отображения кодов пикселей; и

определение кодированных данных пикселей согласно результату сопоставления. Например, значение А1 пикселя в одном или нескольких фрагментах трехмерных видеоданных сравнивается со всеми значениями пикселей в отношении отображения кодов пикселей; и если значение А1 пикселя согласуется, в качестве результата кодирования значения А1 пикселя принимаются данные кодирования пикселей, соответствующие значению А1 пикселя в отношении отображения кодов пикселей.

Для результата сопоставления имеются три следующих случая:

результат сопоставления, который указывает, что сопоставление является успешным; и успешное сопоставление включает результат сопоставления, указывающий, что удовлетворяется условие тождества или условие подобия;

результат сопоставления, который указывает, что сопоставление не является успешным, т.е. результат сопоставления не удовлетворяет условию тождества и/или условию подобия.

Если удовлетворяется условие тождества, это указывает на то, что значения пикселей в трехмерных видеоданных, собранных в настоящий момент, расположены в отношении отображения кодов пикселей.

Если удовлетворяется условие подобия, это указывает на то, что значения пикселей в трехмерных видеоданных, собранных в настоящий момент, расположены в отношении отображения кодов пикселей.

В некоторых вариантах осуществления можно определить, что успешное сопоставление заключается в удовлетворении условия тождества или условия подобия согласно текущим потребностям.

В некоторых вариантах осуществления, если сканирование показывает, что степень подобия пикселей между значениями пикселей N*M пикселей в трехмерных данных, собранных в настоящий момент, и заданными значениями пикселей N*M пикселей в отношении отображения кодов пикселей больше заданного порогового значения подобия, такого как 70 %, 80 %, 90 % и 85 %, можно считать, что кодированные данные пикселей N*M пикселей, отсканированных в настоящий момент, и N*M пикселей в отношении отображения кодов пикселей удовлетворяют условию подобия кодирования пикселей, и кодированные данные пикселей N*M пикселей в отношении отображения кодов пикселей можно непосредственно взять в качестве кодированных данных цвета значений пикселей N*M пикселей, отсканированных в настоящий момент.

В других вариантах осуществления степень подобия пикселей между значениями пикселей N*M пикселей в трехмерных видеоданных, собранных в настоящий момент, и значениями заданных пикселей N*M пикселей в отношении отображения кодов пикселей больше заданного порогового значения подобия, такого как 70%, 80%, 90% или 85%, дополнительно извлекаются значения одного или нескольких пикселей из значений пикселей сканированных N*M пикселей, отличных от значений пикселей N*M пикселей в отношении отображения кодов пикселей, и вычисляются разности значений пикселей между извлеченными значениями пикселей и значениями пикселей N*M пикселей в отношении отображения кодов пикселей; если разности значений пикселей находятся в пределах заданного диапазона разностей, можно считать, что кодированные данные пикселей N*M пикселей, отсканированных в настоящий момент, и N*M пикселей в отношении отображения кодов пикселей удовлетворяют условию подобия кодирования пикселей, и кодированные данные пикселей N*M пикселей в отношении отображения кодов пикселей могут быть непосредственно приняты как кодированные данные цвета значений пикселей N*M пикселей, отсканированных в данный момент; или, иначе, можно считать, что кодированные данные пикселей отсканированных N*M пикселей и N*M пикселей в отношении отображения кодов пикселей не удовлетворяют условию подобия кодирования пикселей. Например, если разность значений пикселей находится в пределах диапазона разностей, этот случай может включать следующие условия.

Разность значений пикселей указывает на то, что два значения пикселей являются приблизительными значениями, например приблизительными значениями цвета. Если разность значений пикселей указывает, что два цвета представляют собой обратные цвета, можно считать, что разность значений пикселей не находится в пределах заданного диапазона разностей. Если разность глубин между двумя пикселями глубины указывает, что разности двух значений глубины находятся за пределами заданного значения глубины или отношения глубин, можно считать, что эта разность глубин не находится в пределах заданного диапазона разностей; или, иначе, можно считать, что эта разность глубин находится в пределах заданного диапазона разностей.

В других вариантах осуществления, если отношение отображения кодов представляет собой функцию отображения кодов, кодированные данные пикселей автоматически выводятся путем ввода значений пикселей в функцию отображения кодов. Например, отношение отображения кодов определяется путем аппроксимации значений цвета в эталонном изображении. Таким образом, за счет ввода каждого значения пикселя или каждой группы значений пикселей в функцию отображения кодов, кодированные данные пикселей получаются автоматически, и, таким образом, кодированные данные пикселей не определяются при помощи способа сопоставления.

Подводя итог, на этапе 201 кодированные данные пикселей определяются множеством способов, и конкретная реализация на ограничена любым из этих способов.

В некоторых вариантах осуществления этап 201 включает:

В некоторых вариантах осуществления отношение отображения кодов пикселей может быть известно терминалу и серверу МЕС заранее, например отношение отображения кодов пикселей заранее сохранено в терминале и сервере МЕС.

В некоторых вариантах осуществления отношение отображения кодов пикселей заранее устанавливается в порядке договоренности между терминалом и сервером МЕС.

Отношение отображения кодов пикселей может включать по меньшей мере одно из:

таблицы отображения кодов пикселей;

множество дискретных пар значений отображения кодов пикселей; и

способов выражения функции для значений пикселей и кодированных данных пикселей.

В заключение, отношение отображения кодов пикселей имеет по меньшей мере множество способов выражения и не ограничено любым из них.

В некоторых вариантах осуществления, как представлено на фиг. 3, способ дополнительно включает следующие этапы.

На этапе 200 согласно заданной информации выбирают способ кодирования пикселей. Заданная информация включает по меньшей мере одно из информации о состоянии передачи данных по сети, информации о состоянии нагрузки на терминал и информации о состоянии нагрузки на сервер МЕС.

Этап 201 может включать выполнение кодирования пикселей в отношении значений пикселей согласно выбранному способу кодирования пикселей с получением кодированных данных пикселей.

Например, если информация о состоянии передачи данных по сети указывает, что текущая доступная полоса пропускания больше полосы пропускания, необходимой для непосредственной передачи значений пикселей, кодирование пикселей может не выполняться.

В другом примере, если информация о состоянии передачи данных по сети указывает, что текущая доступная полоса пропускания меньше полосы пропускания, необходимой для прямой передачи значений пикселей, согласно текущей доступной полосе пропускания выбирается способ кодирования пикселей, в котором объем данных после кодирования пикселей меньше или равен текущей доступной полосе пропускания.

В другом примере, если приняты разные способы кодирования пикселей, вычисленные объемы, требующие кодирования в терминале, и вычисленные объемы для восстановления на сервере МЕС отличаются.

В данном варианте осуществления подходящий способ кодирования пикселей выбирается согласно информации о состоянии нагрузки на терминал и/или информации о состоянии нагрузки на сервер МЕС.

Информация о состоянии нагрузки может включать по меньшей мере одно из текущей величины нагрузки, текущего уровня нагрузки, максимальной величины нагрузки и максимального уровня нагрузки.

Если текущая величина нагрузки является высокой, или высоким является текущий уровень нагрузки, предпочтительно выбирается способ кодирования пикселей с меньшим вычисленным объемом кодирования или декодирования; или, иначе, выбор может быть сделан свободно, или выбор может быть сделан согласно информации о состоянии передачи данных по сети и другим опорным факторам.

В некоторых вариантах осуществления выполнение кодирования пикселей в отношении значений пикселей согласно выбранному способу кодирования пикселей с получением кодированных данных пикселей включает по меньшей мере одно из:

выполнения кодирования единичных пикселей в отношении значений пикселей единичных пикселей в трехмерных видеоданных согласно способу кодирования единичных пикселей с получением кодированных данных первого типа, при этом общее количество бит, занимаемых кодированными данными первого типа, меньше общего количества бит, занимаемых значением пикселей; и

В данном варианте осуществления способ кодирования единичных пикселей относится к одному значению пикселя, которое соответствует одному фрагменту кодированных данных пикселей. Например, изображение из трехмерных видеоданных содержит S пикселей, и при помощи кодирования единичных пикселей получается S фрагментов кодированных данных первого типа. Для уменьшения объема данных, количество бит, занимаемых одним фрагментом кодированных данных первого типа, должно быть меньше количества бит, занимаемых самим значением пикселя. Например, значение пикселя занимает 32 бит или 16 бит, а фрагмент кодированных данных первого типа занимает лишь 8 бит или 10 бит. Так как уменьшается количество бит, необходимых для передачи каждого единичного пикселя, уменьшается необходимый объем данных в целом.

В некоторых вариантах осуществления дополнительно может быть принят способ кодирования комбинированных пикселей.

Способ кодирования комбинированных пикселей относится к выполнению кодирования пикселей одновременно в отношении множества пикселей.

Например, одновременно кодируется матрица смежных пикселей, или кодирование пикселей выполняется одновременно в отношении множества пикселей, упорядоченных или неупорядоченных в матрицу.

В некоторых вариантах осуществления кодируется матрица пикселей, состоящая из 3*3 или 4*4 пикселей. В некоторых вариантах осуществления N*M может быть точно разделено на пиксели, включенные в один кадр трехмерных видеоданных.

В некоторых случаях при выполнении сбора данных изображения значения глубины и/или цветовая информация этих смежных пикселей является относительно постоянной, поэтому данные комбинации цвета или глубин могут быть скомбинированы, и в отношении отображения кодов пикселей могут быть сгенерированы заданные значения кодов. Поэтому при последующем кодировании пикселей путем сканирования значений цвета пикселей или значений пикселей, соответствующих значению глубины, в соответствующем кадре трехмерных видеоданных определяется, включена ли конкретная комбинация цвета и/или комбинация глубины, и, таким образом, преобразовываются соответствующие значения кодов, и получаются кодированные данные пикселей.

В некоторых вариантах осуществления кодирование единичных пикселей или кодирование комбинированных пикселей может использоваться смешанным образом согласно текущим потребностям.

При передаче кодированных данных пикселей или перед передачей кодированных данных пикселей выбранный способ кодирования может быть объявлен заранее. Выбранный способ кодирования может представлять собой кодирование единичных пикселей, кодирование комбинированных пикселей или смешанное кодирование пикселей, полученное путем смешивания кодирования единичных пикселей и кодирования комбинированных пикселей.

N*M пикселей распределены смежно.

N*M пикселей расположены на расстоянии согласно заданному способу расположения на расстоянии.

Если N*M распределены смежно, формируется матрица из N*M пикселей.

Альтернативно, N*M пикселей расположены на расстоянии согласно заданному способу расположения на расстоянии, например заданное количество пикселей может быть расположено на расстоянии двух пикселей в N*M пикселей, и, например, на расстоянии может быть расположен один или несколько пикселей.

В некоторых вариантах осуществления N*M может определяться динамически или может быть задано статистически.

Например, изображение в кадре трехмерных данных изображения делится на первую зону и вторую зону, при этом в первой зоне может использоваться кодирование единичных пикселей, а во второй зоне может использоваться кодирование комбинированных пикселей.

Также в качестве примера, значения пикселей для первой зоны изображения в кадре трехмерного изображения передаются непосредственно на сервер МЕС, а вторая зона подвергается кодированию единичных пикселей и/или кодированию комбинированных пикселей.

Таким образом можно сбалансировать взаимосвязь между объемом передаваемых данных и качеством изображения.

В некоторых вариантах осуществления запрос отношения отображения кодов пикселей согласно значениям пикселей трехмерных видеоданных с определением кодированных данных пикселей включает:

запрос отношения отображения кодов пикселей согласно значениям пикселей трехмерных видеоданных;

Отношение отображения кодов пикселей для данных изображения кадра трехмерных видеоданных может быть определено заранее, а также, в других случаях, может быть не определено или может изменяться с течением времени.

Например, беря в качестве примера трехмерное видео прямой трансляции ведущего, если ведущий принял участие в трехмерном видеовещании в прямом эфире, терминал или сервер МЕС, к которому принадлежит ведущий, может сохранять отношение отображения кодов для лица ведущего. Если на лице ведущего увеличивается количество украшений или изменяется грим, возможно, изменяется по меньшей мере изображение лица в ярких цветах; и в этот момент отношение отображения пикселей может не находиться в пределах указанного отношения отображения кодов пикселей.

В других вариантах осуществления способ дополнительно включает:

в ответ на то, что значения пикселей не находятся в отношении отображения кодов пикселей, обновление отношения отображения кодов пикселей согласно значениям пикселей, и отправку обновленного отношения отображения кодов пикселей или обновленной части отношения отображения кодов пикселей на сервер МЕС.

В данном варианте осуществления, для удобного определения отношения отображения кодов пикселей, один или несколько фрагментов видеоданных целевого объекта собираются в интерактивной ступени квитирования или ступени отладки перед формальным вещанием в прямом эфире; и путем сканирования значений пикселей этих трехмерных видеоданных определяется, установлено или нет отношение отображения пикселей для соответствующего целевого объекта, или требуется или нет обновление отношения отображения пикселей. Если отношение трехмерного отображения пикселей требует обновления, отношение трехмерного отображения обновляется; и если отношение трехмерного отображения не требует обновления, может непосредственно вводиться формальное взаимодействие трехмерных видеоданных.

В некоторых вариантах осуществления этап 201 может включать:

Например, беря лицо в качестве примера, цвет кожи и волнообразная форма лица имеют максимальное значение и минимальное значение, поэтому данные двумерного изображения и/или изображения глубины, собранные с использованием модуля сбора данных изображения, находятся в пределах конкретного интервала значений цвета пикселей или значений пикселей, соответствующих значению глубины, и, в большинстве случаев, не охватывают максимальное значение пикселей и минимальное значение пикселей всего набора данных изображения. Для 215 возможных значений пикселей, соответствующих 16-битному цветовому каналу, эффективно могут использоваться приблизительно 200 значений пикселей или даже более 100 значений пикселей.

За счет упорядочивания значений пикселей можно получить информацию о том, сколько значений пикселей сгенерировано в настоящий момент. Например, если сгенерировано Р значений пикселей, кодирование пикселей в отношении всех пикселей может быть выполнено путем округления до целого количества бит в отношении log₂P, и получаются кодированные данные пикселей, занимающие только целочисленное количество бит в log₂P. Таким образом, можно значительно уменьшить необходимый объем данных.

Если целевой объект (например, ведущие разных типов и сценарий конкретного типа) часто появляется в видео, может быть отобрано статистическое количество значений пикселей с генерированием отношения отображения кодов пикселей, или отношение отображения кодов пикселей может быть обновлено с определением и генерированием отношения кодов видео.

В некоторых вариантах осуществления упорядочивание значений пикселей трехмерных видеоданных согласно заданному способу упорядочивания с получением порядковых номеров значений пикселей трехмерных видеоданных может включать:

если принят один способ отображения кодов, упорядочивание значений пикселей трехмерных видеоданных согласно заданному способу упорядочивания с получением порядковых номеров значений пикселей трехмерных видеоданных; и

установление отношения отображения между значениями пикселей и порядковыми номерами значений пикселей.

Например, порядковые номера значений пикселей включают по меньшей мере одно из:

порядковых номеров значений цвета, образованных путем упорядочивания значений цвета; и

порядковых номеров значений глубины, образованных путем упорядочивания значений глубины.

В некоторых других вариантах осуществления упорядочивание значений пикселей трехмерных видеоданных согласно заданному способу упорядочивания с получением порядковых номеров значений пикселей трехмерных видеоданных может дополнительно включать:

если текущий способ отображения кодов представляет собой способ отображения комбинированных кодов, — определение значения N*M в способе отображения комбинированных кодов согласно требуемой точности и/или целевому сценарию и другим опорным факторам, при этом N и М — положительные целые числа;

упорядочивание значений пикселей трехмерных видеоданных путем взятия значений пикселей N*M пикселей в виде комбинации с получением комбинированных порядковых номеров пикселей трехмерных видеоданных; и

установление отношения отображения между значениями пикселей и комбинированными порядковыми номерами пикселей.

В данном варианте осуществления N*M определяется согласно требуемой точности, при этом N — количество строк, соответствующих одной комбинации пикселей, и М — количество столбцов, соответствующих одной комбинации пикселей, или M представляют собой количество строк, соответствующих одной комбинации пикселей, и М [N] — количество столбцов, соответствующих одной комбинации пикселей.

В некоторых вариантах осуществления комбинированные порядковые номера пикселей включают по меньшей мере одно из:

комбинированных порядковых номеров значений цвета, образованных путем упорядочивания комбинаций значений цвета; и

комбинированных порядковых номеров значений глубины, образованных путем упорядочивания комбинаций значений глубины.

Поэтому в некоторых вариантах осуществления упорядочивание значений пикселей трехмерных видеоданных путем взятия значений пикселей N*M пикселей в виде комбинации с получением комбинированных порядковых номеров пикселей трехмерных видеоданных может включать:

упорядочивание значений цвета пикселей цвета в трехмерных видеоданных путем взятия значений цвета N*M пикселей в виде комбинации с получением комбинированных порядковых номеров значений цвета трехмерных видеоданных. Например, с получением комбинированных порядковых номеров значений цвета, упорядочивание можно осуществить согласно отсканированной временной последовательности комбинаций значений цвета при упорядочивании, или упорядочивание можно осуществить на основе отсканированной частоты комбинаций значений цвета.

В некоторых вариантах осуществления полученные отношения отображения кодов пикселей могут отличаться для разных целевых объектов. Как результат, эти данные обладают свойством высокой защищенности при условии отсутствия раскрытия отношения отображения кодов пикселей. Поэтому, если кодированные данные пикселей, подвергнутые кодированию пикселей, в процессе передачи перехватываются другим лицом, трехмерные видеоданные также не могут быть декодированы обычным образом, и, таким образом, достигается высокая степень защищенности передачи.

За счет упорядочивания статистического количества, впереди находится порядковый номер кодированного значения пикселя, появляющегося чаще, поэтому если данные кода трехмерных видеоданных целевого объекта собираются впоследствии путем использования выборочных трехмерных видеоданных в том же целевом сценарии, количество случаев совпадения значения пикселя может быть уменьшено, и эффективность кодирования пикселей повышается.

Как представлено на фиг. 4, в данном варианте осуществления предложен способ обработки данных. Этот способ, применяемый для сервера МЕС, включает следующие этапы.

На этапе 301 из терминала принимают кодированные данные пикселей.

На этапе 303 значения пикселей трехмерных видеоданных восстанавливают согласно кодированным данным пикселей. В данном способе объем данных трехмерных видеоданных перед выполнением кодирования пикселей в отношении трехмерных видеоданных представляет собой первый объем данных, объем данных трехмерных видеоданных после выполнения кодирования пикселей в отношении трехмерных видеоданных представляет собой второй объем данных, и первый объем данных больше второго объема данных.

В данном варианте осуществления непосредственно принимаются кодированные данные пикселей, а не значения пикселей. При получении кодированных данных пикселей серверу МЕС необходимо восстановить кодированные данные пикселей в значения пикселей трехмерных видеоданных.

Кодированные данные пикселей, принятые сервером МЕС, имеют меньший размер, чем непосредственно принятые в объеме данных значения пикселей, поэтому потребляемая полоса пропускания является меньшей.

В некоторых вариантах осуществления этап 303 может включать по меньшей мере одно из:

В данном варианте осуществления значения цвета пикселей восстанавливаются на основе кодированных данных цвета; и значения пикселей, соответствующего значению глубины, восстанавливаются согласно кодированным данным значений глубины.

В других вариантах осуществления способ дополнительно включает следующие этапы.

На этапе 302 определяется способ кодирования пикселей кодированных данных пикселей. Например, способ кодирования пикселей может включать способ кодирования единичных пикселей и/или способ кодирования комбинированных пикселей.

Этап 303 может включать следующие этапы:

В некоторых вариантах осуществления на этапе 302 имеется множество способов, и несколько необязательных способов предусмотрены следующим образом.

Необязательный способ 1: определение количества пикселей, включенных в трехмерные видеоданные, определение общего количества фрагментов данных согласно кодированным данным пикселей, и определение способа кодирования пикселей согласно общему количеству пикселей и общему количеству фрагментов данных.

Необязательный способ 2: взаимодействие параметров кодирования пикселей с терминалом, при этом параметры кодирования пикселей включают по меньшей мере способ кодирования пикселей.

В некоторых вариантах осуществления параметры кодирования пикселей включают способ кодирования пикселей, и в других вариантах осуществления параметры кодирования пикселей могут дополнительно включать:

значение N*N способа комбинированного кодирования;

количество бит, занимаемых одним фрагментом данных кодирования пикселей в способе единичного кодирования и/или способе комбинированного кодирования; и

отношение отображения кодов.

В некоторых вариантах осуществления сервер МЕС также может не принимать параметры кодирования пикселей из терминала. Например, терминал, к которому принадлежит ведущий, часто используется для вещания в прямом эфире, и трехмерные видеоданные будут генерироваться при вещании в прямом эфире. Как только сервер МЕС обнаруживает кодированные данные пикселей из конкретного терминала, он восстанавливает значения пикселей, принимая параметры кодирования пикселей, заданные по умолчанию. В этом случае заданные по умолчанию параметры кодирования пикселей могут включать: заданный по умолчанию способ кодирования и/или отношение кодов пикселей.

В некоторых вариантах осуществления выполнение декодирования пикселей в отношении кодированных данных пикселей согласно способу кодирования пикселей с получением значений пикселей трехмерных видеоданных включает по меньшей мере одно из:

В некоторых вариантах осуществления этап 302 может включать запрос отношения отображения кодов пикселей согласно кодированным данным пикселей с получением значений пикселей, соответствующих кодированным данным пикселей.

В некоторых вариантах осуществления способ дополнительно включает следующие этапы.

При помощи взаимодействия с отношением отображения кодов пикселей, отношение отображения кодов пикселей синхронизируется в терминале и сервере МЕС.

Как представлено на фиг. 5, данный вариант осуществления дополнительно представляет устройство для обработки данных, применяемое для терминала, которое включает модуль 401 кодирования и модуль 402 отправки.

Модуль 401 кодирования выполнен с возможностью выполнения кодирования пикселей согласно значениям пикселей трехмерных видеоданных с получением кодированных данных пикселей.

Модуль 402 отправки выполнен с возможностью отправки кодированных данных пикселей на сервер MEC, при этом кодированные данные пикселей используются сервером МЕС для восстановления трехмерных видеоданных.

В некоторых вариантах осуществления каждый из модуля 401 кодирования и модуля 402 отправки может представлять собой программный модуль, и соответствует исполняемому компьютером коду. Исполняемые компьютером коды выполнены с возможностью реализации при их исполнении отправки кодированных данных пикселей и трехмерных видеоданных.

В других вариантах осуществления модуль 401 кодирования и модуль 402 отправки могут дополнительно представлять собой комбинацию аппаратного модуля и программного модуля, такую как сложная программируемая матрица или матрица с эксплуатационным программированием.

В других вариантах осуществления оба модуля, модуль 401 кодирования и модуль 402 отправки, могут соответствовать аппаратному модулю, например оба модуля, модуль 401 кодирования и модуль 402 отправки, могут представлять собой специализированную интегральную микросхему.

В некоторых вариантах осуществления модуль 401 кодирования содержит: подмодуль кодирования цвета и подмодуль кодирования значений глубины.

Подмодуль кодирования цвета выполнен с возможностью выполнения кодирования цвета согласно значению цвета пикселей трехмерных видеоданных с получением кодированных данных цвета; и/или подмодуль кодирования значений глубины выполнен с возможностью кодирования значений глубины согласно значению пикселей, соответствующему значению глубины, трехмерных видеоданных с получением кодированных данных значений глубины.

В некоторых вариантах осуществления модуль 401 кодирования, в частности, выполнен с возможностью запроса отношения отображения кодов пикселей согласно значениям пикселей трехмерных видеоданных с определением кодированных данных пикселей.

В некоторых вариантах осуществления устройство дополнительно содержит модуль выбора.

Модуль 401 кодирования, в частности, выполнен с возможностью выполнения кодирования пикселей в отношении значений пикселей согласно выбранному способу кодирования пикселей с получением кодированных данных пикселей.

В некоторых вариантах осуществления модуль кодирования по меньшей мере выполнен с возможностью исполнения по меньшей мере одного из: выполнения кодирования единичных пикселей в отношении значений единичных пикселей в трехмерных видеоданных согласно способу кодирования единичных пикселей с получением кодированных данных первого типа, при этом общее количество бит, занимаемых кодированными данными первого типа, меньше общего количества бит, занимаемых значением пикселей; и выполнения кодирования комбинированных пикселей в отношении значений пикселей N*M пикселей трехмерных видеоданных согласно способу кодирования комбинированных пикселей с получением кодов пикселей второго типа, при этом N и M представляют собой положительные целые числа.

В некоторых вариантах осуществления N*M пикселей распределены смежно.

В некоторых вариантах осуществления модуль 401 кодирования содержит подмодуль кодирования цвета и подмодуль кодирования значений глубины.

В некоторых вариантах осуществления устройство дополнительно содержит модуль обновления.

Модуль обновления выполнен с возможностью в ответ на то, что значения пикселей не находятся в отношении отображения кодов пикселей, обновления отношения отображения кодов пикселей согласно значениям пикселей, и отправку обновленного отношения отображения кодов пикселей или обновленной части отношения отображения кодов пикселей на сервер МЕС.

В некоторых вариантах осуществления модуль 401 кодирования, в частности, выполненный с возможностью упорядочивания значений пикселей трехмерных видеоданных согласно заданному способу упорядочивания с получением порядковых номеров значений пикселей трехмерных видеоданных, может включать следующие этапы.

Как представлено на фиг. 6, в данном варианте осуществления дополнительно представлено устройство для обработки данных, применяемое для сервера МЕС, которое содержит модуль 501 приема и модуль 502 восстановления.

Модуль 501 приема выполнен с возможностью приема кодированных данных пикселей, отправленных терминалом.

Модуль 502 восстановления выполнен с возможностью восстановления значений пикселей трехмерных видеоданных согласно кодированным данным пикселей, при этом объем данных трехмерных видеоданных перед выполнением кодирования пикселей в отношении трехмерных видеоданных представляет собой первый объем данных, объем данных трехмерных видеоданных после выполнения кодирования пикселей в отношении трехмерных видеоданных представляет собой второй объем данных, и при этом первый объем данных больше второго объема данных.

В некоторых вариантах осуществления каждый из модуля 501 приема и модуля 502 восстановления, может представлять собой программный модуль и соответствует исполняемому компьютером коду. Исполняемые компьютером коды выполнены с возможностью реализации при их исполнении отправки кодированных данных пикселей и трехмерных видеоданных.

В других вариантах осуществления модуль 501 приема и модуль 502 восстановления могут дополнительно представлять собой комбинацию аппаратного модуля и программного модуля, такую как сложная программируемая матрица или матрица с эксплуатационным программированием.

В других вариантах осуществления каждый из модуля 501 приема и модуля 502 восстановления может соответствовать аппаратному модулю, например каждый из модуля приема и модуля восстановления может представлять собой специализированную интегральную микросхему.

В некоторых вариантах осуществления модуль 502 приема может содержать по меньшей мере одно из подмодуля восстановления цвета и подмодуля восстановления значения глубины.

В некоторых вариантах осуществления устройство дополнительно содержит модуль определения.

Модуль 502 восстановления, в частности, выполнен с возможностью выполнения декодирования пикселей в отношении кодированных данных пикселей согласно способу кодирования пикселей с получением значений пикселей трехмерных видеоданных.

В некоторых вариантах осуществления модуль определения содержит по меньшей мере одно из первого подмодуля определения и второго подмодуля определения.

В некоторых вариантах осуществления модуль 502 восстановления может быть, в частности, выполнен с возможностью исполнения по меньшей мере одного из:

В некоторых вариантах осуществления модуль 502 восстановления, в частности, выполнен с возможностью запроса отношения отображения кодов пикселей согласно кодированным данным пикселей с получением значений пикселей, соответствующих кодированным данным пикселей.

В некоторых вариантах осуществления устройство дополнительно содержит модуль 501 приема.

Модуль 501 приема выполнен с возможностью приема перед восстановлением значений пикселей трехмерных видеоданных согласно кодированным данным пикселей обновленного отношения отображения кодов пикселей или обновленной части отношения отображения кодов пикселей, отправленной терминалом.

В одном варианте осуществления предложен компьютерный носитель данных, на котором хранятся компьютерные команды. Команда, при исполнении процессором, реализует этапы способа обработки данных, применяемого для терминала или сервера МЕС, такие как один или несколько этапов способа, представленного на фиг. 2 — фиг. 4.

Как представлено на фиг. 7, в данном варианте осуществления предлагается электронное устройство 700, содержащее запоминающее устройство 702, процессор 704, компьютерные команды, хранящиеся в запоминающем устройстве 702 и выполненные с возможностью исполнения в процессоре 704, при этом процессор 704 исполняет эти команды с целью реализации этапов способа обработки данных, применяемого для терминала или сервера МЕС, такие как один или несколько этапов способа, представленного на фиг. 2 — фиг. 4.

В некоторых вариантах осуществления электронное устройство дополнительно содержит интерфейс 706 связи; и интерфейс 706 связи может использоваться для информационного взаимодействия с другими устройствами. Например, если электронное устройство 700 представляет собой терминал, интерфейс связи по меньшей мере выполнен с возможностью информационного взаимодействия с сервером МЕС. Например, если электронное устройство представляет собой сервер МЕС, интерфейс 706 связи по меньшей мере выполнен с возможностью информационного взаимодействия с терминалом.

Далее в настоящем описании представлен конкретный пример в комбинации с любыми вариантами осуществления.

Общие цвета нумеруются последовательно; после сбора данных RGB мобильный телефон сканирует данные RGB каждого пикселя в изображении; и если данные RGB находятся в пределах последовательности цветов, эти данные RGB заменяются порядковыми номерами цветов. В частности, данные RGB каждого пикселя в изображении сканируются, в отношении всех данных во всем изображении осуществляется статистическая обработка, затем цвета RGB нумеруются последовательно, данные RGB каждого пикселя заменяются порядковыми номерами, а затем пиксели и статистические данные RGB упаковываются для загрузки на сервер; таблица отображения хранится и на сервере МЕС, и в терминале; при передаче данных RGB пиксели сканируются горизонтально; если пиксели не находятся в таблице отображения, отображение (такое как метка А пикселя RGB [16 бит], [32 бит] или [8 бит]) создается и сохраняется в таблице отображения; и одновременно данные RGB заменяются 16-битными порядковыми номерами цветов; и после выполнения сканирования замененные элементы и данные RGB в таблице отображения загружаются на сервер, или коды единичных пикселей могут быть расширены до N*N пикселей с целью совместного кодирования.

В нескольких вариантах осуществления, предложенных в настоящем изобретении, раскрытые способ и интеллектуальное устройство могут быть реализованы другим образом. Например, вариант осуществления устройства, описанный выше, является лишь схематичным, и, например, разделение фрагментов представляет собой лишь разделение логических функций, и при практической реализации могут быть применены другие способы разделения. Например, множество фрагментов или компонентов могут быть объединены или интегрированы в другую систему, или некоторые характерные признаки могут быть опущены или могут не исполняться. Кроме этого, соединение, или прямое соединение, или соединение связи между каждым из представленных или описанных компонентов может представлять собой непрямое соединение или соединение связи, реализованные посредством некоторых интерфейсов, между устройством или фрагментами, и может быть электрическим, механическим или принимать другие формы.

Блоки, описанные как отдельные детали, могут быть или не быть физически разделены, и детали, показанные как блоки, могут представлять или не представлять собой физические блоки, а именно могут быть расположены в одном и том же месте или могут быть распределены между несколькими сетевыми блоками. Часть или все из блоков могут быть выбраны для достижения цели решений вариантов осуществления согласно практическим требованиям.

В дополнение, каждый функциональный блок в каждом варианте осуществления настоящего изобретения может быть встроен во второй обрабатывающий блок, при этом каждый блок также может физически существовать отдельно, и два или более двух блоков также могут быть интегрированы в один блок. Встроенный блок может быть реализован путем использования формы аппаратного обеспечения, а также может быть реализован путем использования формы функциональных блоков аппаратного обеспечения и программного обеспечения.

Специалисты в данной области техники поймут, что все или часть этапов для реализации вышеописанного варианта осуществления способа могут быть выполнены посредством соответствующего программной команде аппаратного обеспечения. Программа может храниться в машиночитаемом носителе данных. Программа при ее исполнении выполняет этапы варианта осуществления способа. Носитель данных включает различные носители, выполненные с возможностью хранения программного кода, такие как мобильное устройство хранения данных, ROM, RAM, магнитный диск или оптический диск.

При реализации встроенного блока в форме программного функционального блока и продаже или использовании в качестве самостоятельного продукта функции могут храниться на машиночитаемом носителе данных. На основании такого понимания технические решения настоящего изобретения по существу, или часть, вносящая вклад в известный уровень техники, или некоторые технические решения могут быть реализованы в виде программного продукта. Программный продукт хранится в носителе данных и включает несколько команд, позволяющих компьютерному устройству (которое может представлять собой персональный компьютер, сервер или сетевое устройство) выполнять все или некоторые из этапов способов, описанных в вариантах осуществления настоящего изобретения. Вышеупомянутый носитель данных включает любой носитель, способный хранить программный код, такой как U-диск, съемный жесткий диск, ROM, RAM, магнитный диск или оптический диск.

Следует отметить, что технические решения, зафиксированные в вариантах осуществления настоящего изобретения, можно свободно комбинировать при условии отсутствия конфликта.

Предшествующие описания являются лишь конкретными способами реализации настоящего изобретения, но не предназначены для ограничения объема правовой охраны настоящего изобретения. Любая вариация или замена, легко представляемая специалистом в данной области техники в пределах технического объема, раскрытого в настоящем изобретении, должна попадать в объем правовой охраны настоящего изобретения.

Claims

1. Способ обработки данных, применяемый для терминала и включающий:

выполнение (201) кодирования пикселей согласно значениям пикселей трехмерных (3D) видеоданных с получением кодированных данных пикселей; и

отправку (203) кодированных данных пикселей на сервер мобильных периферийных вычислений (МЕС), при этом кодированные данные пикселей используются сервером МЕС для восстановления трехмерных видеоданных,

при этом объем данных трехмерных видеоданных перед выполнением кодирования пикселей в отношении трехмерных видеоданных представляет собой первый объем данных, объем данных трехмерных видеоданных после выполнения кодирования пикселей в отношении трехмерных видеоданных представляет собой второй объем данных, и при этом первый объем данных больше второго объема данных;

при этом выполнение кодирования пикселей согласно значениям пикселей трехмерных видеоданных с получением кодированных данных пикселей включает:

запрос отношения отображения кодов пикселей согласно значениям пикселей трехмерных видеоданных с определением кодированных данных пикселей;

при этом способ включает:

выбор способа кодирования пикселей согласно заданной информации, при этом заданная информация включает по меньшей мере одно из информации о состоянии передачи данных по сети, информации о состоянии нагрузки на терминал и информации о состоянии нагрузки на сервер МЕС; и

выполнение кодирования пикселей в отношении значений пикселей согласно выбранному способу кодирования пикселей с получением кодированных данных пикселей;

при этом выполнение кодирования пикселей в отношении значений пикселей согласно выбранному способу кодирования пикселей с получением кодированных данных пикселей включает по меньшей мере одно из:

выполнения кодирования комбинированных пикселей в отношении значений пикселей N×M пикселей трехмерных видеоданных согласно способу кодирования комбинированных пикселей с получением кодов пикселей второго типа, при этом N и М представляют собой положительные целые числа.

2. Способ по п. 1, отличающийся тем, что выполнение кодирования пикселей согласно значениям пикселей трехмерных видеоданных с получением кодированных данных пикселей включает:

3. Способ по п. 1, отличающийся тем, что

N×M пикселей распределены смежно; или

N×M пикселей расположены на расстоянии согласно заданному способу расположения на расстоянии.

4. Способ по п. 1, отличающийся тем, что запрос отношения отображения кодов пикселей согласно значениям пикселей трехмерных видеоданных с определением кодированных данных пикселей включает:

5. Способ по п. 4, отличающийся тем, что дополнительно включает:

6. Способ по п. 1, отличающийся тем, что выполнение кодирования пикселей согласно значениям пикселей трехмерных видеоданных с получением кодированных данных пикселей включает:

7. Способ обработки данных, применяемый для сервера мобильных периферийных вычислений (МЕС) и включающий:

прием (301) кодированных данных пикселей, отправленных терминалом; и

восстановление (303) значений пикселей трехмерных (3D) видеоданных согласно кодированным данным пикселей, при этом объем данных трехмерных видеоданных перед выполнением кодирования пикселей в отношении трехмерных видеоданных представляет собой первый объем данных, объем данных трехмерных видеоданных после выполнения кодирования пикселей в отношении трехмерных видеоданных представляет собой второй объем данных, и при этом первый объем данных больше второго объема данных;

при этом способ включает:

определение способа кодирования пикселей кодированных данных пикселей; и

при этом восстановление трехмерных видеоданных согласно кодированным данным пикселей включает:

выполнение декодирования пикселей в отношении кодированных данных пикселей согласно способу кодирования пикселей с получением значений пикселей трехмерных видеоданных;

при этом выполнение декодирования пикселей в отношении кодированных данных пикселей согласно способу кодирования пикселей с получением значений пикселей трехмерных видеоданных включает по меньшей мере одно из:

декодирования кодированных данных пикселей N×M пикселей согласно способу кодирования комбинированных пикселей с восстановлением значений пикселей трехмерных видеоданных.

8. Способ по п. 7, отличающийся тем, что восстановление значений пикселей трехмерных видеоданных согласно кодированным данным пикселей включает по меньшей мере одно из:

9. Устройство для обработки данных, применяемое для терминала и содержащее:

модуль (401) кодирования, выполненный с возможностью выполнения кодирования пикселей согласно значениям пикселей трехмерных (3D) видеоданных с получением кодированных данных пикселей; и

модуль (402) отправки, выполненный с возможностью отправки кодированных данных пикселей на сервер мобильных периферийных вычислений (МЕС), при этом кодированные данные пикселей используются сервером МЕС для восстановления трехмерных видеоданных,

при этом модуль кодирования выполнен с возможностью запроса отношения отображения кодов пикселей согласно значениям пикселей трехмерных видеоданных с определением кодированных данных пикселей;

при этом устройство содержит:

модуль выбора, выполненный с возможностью выбора способа кодирования пикселей согласно заданной информации, при этом заданная информация включает по меньшей мере одно из: информации о состоянии передачи данных по сети, информации о состоянии нагрузки на терминал и информации о состоянии нагрузки на сервер МЕС; и

модуль кодирования, выполненный с возможностью выполнения кодирования пикселей в отношении значений пикселей согласно способу кодирования пикселей с получением кодированных данных пикселей;

при этом модуль кодирования по меньшей мере выполнен с возможностью исполнения по меньшей мере одного из: выполнения кодирования единичных пикселей в отношении значений единичных пикселей в трехмерных видеоданных согласно способу кодирования единичных пикселей с получением кодированных данных первого типа, при этом общее количество бит, занимаемых кодированными данными первого типа, меньше общего количества бит, занимаемых значением пикселей; и выполнения кодирования комбинированных пикселей в отношении значений пикселей N×M пикселей трехмерных видеоданных согласно способу кодирования комбинированных пикселей с получением кодов пикселей второго типа, при этом как N, так и М представляют собой положительные целые числа.

10. Устройство по п. 9, отличающееся тем, что модуль кодирования содержит:

подмодуль кодирования цвета, выполненный с возможностью выполнения кодирования цвета согласно значению цвета пикселей трехмерных видеоданных с получением кодированных данных цвета; и/или

подмодуль кодирования значений глубины, выполненный с возможностью кодирования значений глубины согласно значению пикселей, соответствующему значению глубины, трехмерных видеоданных с получением кодированных данных значений глубины.

11. Устройство по п. 9, отличающееся тем, что

N×M пикселей распределены смежно; или

12. Устройство по п. 9, отличающееся тем, что модуль кодирования содержит:

подмодуль запроса, выполненный с возможностью запроса отношения отображения кодов пикселей согласно значениям пикселей трехмерных видеоданных; и

подмодуль определения, выполненный с возможностью в ответ на то, что значения пикселей находятся в отношении отображения кодов пикселей, определения кодированных данных пикселей согласно кодированным значениям пикселей, соответствующим значениям пикселей.

13. Устройство по п. 12, отличающееся тем, что дополнительно содержит:

модуль обновления, выполненный с возможностью в ответ на то, что значения пикселей не находятся в отношении отображения кодов пикселей обновления отношения отображения кодов пикселей согласно значениям пикселей, и отправки обновленного отношения отображения кодов пикселей или обновленной части отношения отображения кодов пикселей на сервер МЕС.

14. Устройство по п. 9, отличающееся тем, что модуль кодирования, в частности, выполнен с возможностью упорядочивания значений пикселей трехмерных видеоданных согласно заданному способу упорядочивания с получением порядковых номеров значений пикселей трехмерных видеоданных.

15. Устройство по п. 9, отличающееся тем, что отношение отображения кодов пикселей может включать по меньшей мере одно из:

таблицы отображения кодов пикселей;

16. Устройство по п. 14, отличающееся тем, что процессор выполнен с возможностью:

в ответ на то, что принят один способ отображения кодов, упорядочивания значений пикселей трехмерных видеоданных согласно заданному способу упорядочивания с получением порядковых номеров значений пикселей трехмерных видеоданных; и

установления отношения отображения между значениями пикселей и порядковыми номерами значений пикселей.

17. Устройство для обработки данных, применяемое для сервера мобильных периферийных вычислений (МЕС) и содержащее:

модуль (501) приема, выполненный с возможностью приема кодированных данных пикселей, отправленных терминалом; и

модуль (502) восстановления выполнен с возможностью восстановления значений пикселей трехмерных (3D) видеоданных согласно кодированным данным пикселей, при этом объем данных трехмерных видеоданных перед выполнением кодирования пикселей в отношении трехмерных видеоданных представляет собой первый объем данных, объем данных трехмерных видеоданных после выполнения кодирования пикселей в отношении трехмерных видеоданных представляет собой второй объем данных, и при этом первый объем данных больше второго объема данных;

при этом устройство содержит:

модуль определения, выполненный с возможностью определения способа кодирования пикселей кодированных данных пикселей; и

при этом модуль восстановления выполнен с возможностью выполнения декодирования пикселей в отношении кодированных данных пикселей согласно способу кодирования пикселей с получением значений пикселей трехмерных видеоданных;

при этом модуль восстановления выполнен с возможностью исполнения по меньшей мере одного из:

18. Устройство по п. 17, отличающееся тем, что модуль восстановления содержит по меньшей мере одно из:

подмодуля восстановления цвета, выполненного с возможностью восстановления значения цвета пикселей трехмерных видеоданных согласно кодированным данным цвета из кодированных данных пикселей; и

подмодуля восстановления значений глубины, выполненного с возможностью восстановления значения пикселей, соответствующего значению глубины, трехмерных видеоданных согласно кодированным данным значений глубины из кодированных данных пикселей.

19. Устройство по п. 17, отличающееся тем, что модуль определения содержит по меньшей мере одно из:

первого подмодуля определения, выполненного с возможностью определения общего количества пикселей, содержащихся в трехмерных видеоданных, определения общего количества фрагментов данных, и определения способа кодирования пикселей согласно общему количеству пикселей и общему количеству фрагментов данных; и

второго подмодуля определения, выполненного с возможностью обеспечения взаимодействия параметров кодирования пикселей с терминалом, при этом параметры кодирования пикселей содержат по меньшей мере способ кодирования пикселей.

20. Устройство по п. 17 или 18, отличающееся тем, что модуль восстановления, в частности, выполнен с возможностью запроса отношения отображения кодов пикселей согласно кодированным данным пикселей с получением значений пикселей, соответствующих кодированным данным пикселей.

21. Устройство по п. 20, отличающееся тем, что дополнительно содержит:

модуль приема, выполненный с возможностью приема перед восстановлением значений пикселей трехмерных видеоданных согласно кодированным данным пикселей обновленного отношения отображения кодов пикселей или обновленной части отношения отображения кодов пикселей, отправленных терминалом.