RU2759505C2 - Системы и способы рендеринга с адаптируемым качеством под управлением кодировщика - Google Patents

Системы и способы рендеринга с адаптируемым качеством под управлением кодировщика Download PDF

Info

Publication number
RU2759505C2
RU2759505C2 RU2020127411A RU2020127411A RU2759505C2 RU 2759505 C2 RU2759505 C2 RU 2759505C2 RU 2020127411 A RU2020127411 A RU 2020127411A RU 2020127411 A RU2020127411 A RU 2020127411A RU 2759505 C2 RU2759505 C2 RU 2759505C2
Authority
RU
Russia
Prior art keywords
quality
rendering
encoder
parameters
render
Prior art date
Application number
RU2020127411A
Other languages
English (en)
Other versions
RU2020127411A (ru
RU2020127411A3 (ru
Inventor
Майкл КОПЬЕЦ
Original Assignee
Зенимакс Медиа Инк.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Зенимакс Медиа Инк. filed Critical Зенимакс Медиа Инк.
Publication of RU2020127411A publication Critical patent/RU2020127411A/ru
Publication of RU2020127411A3 publication Critical patent/RU2020127411A3/ru
Application granted granted Critical
Publication of RU2759505C2 publication Critical patent/RU2759505C2/ru

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/30—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/30—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
    • A63F13/35—Details of game servers
    • A63F13/355—Performing operations on behalf of clients with restricted processing capabilities, e.g. servers transform changing game scene into an MPEG-stream for transmitting to a mobile phone or a thin client
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/52—Controlling the output signals based on the game progress involving aspects of the displayed game scene
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/005—General purpose rendering architectures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/28—Quantising the image, e.g. histogram thresholding for discrimination between background and foreground patterns
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/154—Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/156—Availability of hardware or computational resources, e.g. encoding based on power-saving criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/192—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding the adaptation method, adaptation tool or adaptation type being iterative or recursive
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/50—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by details of game servers
    • A63F2300/53—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by details of game servers details of basic data processing
    • A63F2300/538—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by details of game servers details of basic data processing for performing operations on behalf of the game client, e.g. rendering
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/66—Methods for processing data by generating or executing the game program for rendering three dimensional images

Abstract

Изобретение относится к области вычислительной техники для осуществления рендеринга видео. Технический результат заключается в повышении качества кодированного видео. Технический результат достигается за счет выполняемого на компьютере способа рендеринга, предусматривающего: генерирование одного или нескольких эталонных изображений; кодирование одного или нескольких эталонных изображений для частичного набора параметров кодировщика; сравнение для каждого кодированного эталонного изображения одного или нескольких первых воспринимаемых качеств с одним или несколькими вторыми воспринимаемыми качествами, при этом соответствие между одним или несколькими первыми воспринимаемыми качествами и одним или несколькими вторыми воспринимаемыми качествами приводит в результате к увязыванию одного или нескольких параметров кодировщика с соответствующим профилем параметров качества рендеринга; и генерирование полученного рендерингом изображения с воспринимаемым качеством, которое по существу идентично таковому у кодированного кадра. 6 з.п. ф-лы, 5 ил., 1 табл.

Description

Ссылка на родственные заявки
[1] Согласно настоящей заявке испрашивается приоритет в соответствии со следующими предварительными заявками на выдачу патента США: № 62/488526, поданной 21 апреля 2017 г., и № 62/653056, поданной 5 апреля 2018 г.
Предшествующий уровень техники настоящего изобретения
[2] В удаленных играх, в которых игра на стороне сервера управляется игроком на стороне клиента, предпринимались попытки кодировать выходной видеосигнал от движка трехмерной (3D) графики в режиме реального времени с использованием существующих или специально настроенных кодеков, также называемых кодировщиками. Однако интерактивный характер видеоигр, в частности, контур обратной связи с игроком между выходным видеосигналом и вводом игрока, делает потоковую передачу игрового видео более чувствительным к задержкам, чем в традиционной потоковой передаче видео. Существующие способы кодирования видеосигналов могут использовать вычислительную мощность, и практически ничего более, для уменьшения времени кодирования. Новые способы интеграции процесса кодирования в процесс рендеринга видео могут обеспечить существенное уменьшение времени кодирования, а также сокращение вычислительной мощности, повышение качества кодированного видео и сохранения исходного формата данных битового потока для поддержания функциональной совместимости существующих аппаратных устройств.
[3] Когда копия видеоигры запущена на локальном аппаратном обеспечении игрок, желательно, чтобы каждый пиксель игры на выходе характеризовался наивысшим качеством. Однако на копии игры на стороне сервера, в которой отрендеренный выходной сигнал кодируется и передается на удаленный клиент, кодировщик может снижать качество изображения, чтобы вписаться в ограниченную ширину полосы. Если качество после рендеринга существенно выше качества декодированного выходного сигнала, то заметный объем работы по рендерингу на стороне сервера теряется.
[4] За счет адаптации качества после рендеринга на стороне сервера для соответствия качеству после квантования на основании обратной связи от кодировщика, игра может уменьшить вычислительные затраты на стороне сервера без заметного потери качества на стороне клиента. Уменьшение вычислительных затрат на стороне сервера также может привести к дополнительным преимуществам, включая снижение энергопотребления, сокращение времени рендеринга и уменьшение задержки между действием игрока и откликом игры. Экономия вычислительных затрат на стороне сервера усложняется в средах, в которых множество копий игры запущены на одном и том же сервере.
[5] При потоковой передаче для игр, в которых участвуют множество игроков, в частности таких игр, как массовые многопользовательские онлайн-игры («MMOG»), все большую важность принимает предотвращение потери затрат при рендеринге на стороне сервера. Из-за ограниченной ширины полосы, доступной для игроков MMOG, существует особенная необходимость в кодировщике, который максимально повышает качество рендеринга и предотвращает торможение игры. В текущих технологиях, описанных ниже, применяются различные способы для решения этой задачи, но они по-прежнему обладают недостатками.
[6] В публикации заявки на патент США № US20170132830A1 («публикация ‘830») раскрыты системы и способы определения выбранной точки шейдинга в 3D-сцене, шейдинг которой должен быть выполнен, выполнение шейдинга на определенной точке шейдинга и определение информации шейдинга 3D-сцены на основании шейдинга, выполненного на определенной точке шейдинга. Шейдинг сцены корректируется на основании временных характеристик сцены. Однако эта технология не устраняет основную проблему оптимизации кодирования на основании возможностей рендеринга на стороне сервера и доступной ширины полосы.
[7] В публикации заявки на патент США № US20170200253A1 («публикация ‘253») раскрыты системы и способы улучшения характеристик рендеринга графических процессоров. В графическом процессоре верхнее пороговое значение может быть задано таким образом, что, когда встречается кадр, превышающий заданное пороговое значение, графический процессор выполняет соответствующее действие для сокращения времени рендеринга. Однако эта технология основана исключительно на заданном пороговом значении и не может быть динамически скорректирована в зависимости возможностей рендеринга на стороне сервера и доступной ширины полосы.
[8] В публикации заявки на патент США № US2017/0278296A1 («публикация ‘296») раскрыты системы и способы, в которых осуществляют начальный рендеринг сцены, который определяет текстуру в каждой части сцены, и осуществляют рендеринг с трассировкой лучей сцены за счет трассировки начальной группы лучей. В этом документе раскрыто, что оптимальное количество выборок для каждого определяется интеллектуально на основании прогнозирования текстур сцены и идентификации шума, возникающего из-за субдискретизации во время трассировки лучей. Опять-таки, эта технология ограничена оптимальной выборкой лучей и не может быть динамически скорректирована в зависимости возможностей рендеринга на стороне сервера и доступной ширины полосы.
[9] Как очевидно из приведенного выше описания уровня техники в этой технологии, в данной области техники существует необходимость в улучшении настоящей компьютерной технологии, связанной с рендерингом и кодированием игр.
Краткое раскрытие настоящего изобретения
[10] Таким образом, целью настоящего изобретения является предоставление систем и способов оптимизации рендеринга за счет использования кодека (который также может называться в настоящем документе кодировщиком) для кодирования одного или нескольких эталонных изображений для частичного набора параметров кодировщика и рендерера для генерирования одного или нескольких профилей параметров качества рендеринга, генерирования одного или нескольких эталонных изображений, вычисления воспринимаемых качеств для каждого из одного или нескольких эталонных изображений, повторного рендеринга одного или нескольких эталонных изображений для каждого из одного или нескольких профилей параметров качества рендеринга, и вычисления воспринимаемых качеств для каждого из одного или нескольких повторно отрендеренных эталонных изображений. Рендерер сравнивает воспринимаемые качества эталонных изображений с воспринимаемыми качествами повторно отрендеренных изображений и сопоставляет их. Эти сопоставления приводят к получению связи одного или нескольких параметров кодировщика с их соответствующими профилями параметров качества рендеринга в таблице поиска. Таблица поиска используется для генерирования отрендеренного изображения с воспринимаемым качеством, по существу идентичным кодированному кадру во время игрового процесса.
[11] Другой целью настоящего изобретения является предоставление систем и способов оптимизации кодирования и рендеринга за счет использования рендерера для вычисления вычислительных затрат для каждого из повторно отрендеренных эталонных изображений.
[12] Еще одной целью настоящего изобретения является предоставление систем и способов оптимизации кодирования и рендеринга за счет применения индекса структурного сходства для вычисления воспринимаемых качеств изображений.
Краткое описание фигур
[13] Более полное понимание настоящего изобретения и многих сопутствующих его преимуществ будет легко получено, поскольку оно станет более понятным при обращении к следующему подробному описанию, рассматриваемому со ссылкой на прилагаемые фигуры, на которых:
[14] на фиг. 1 показана схема приведенной в качестве примера среды, в которой кодек потокового вещания может передавать параметры назад на рендерер с получением видео, в соответствии с одним вариантом осуществления настоящего изобретения;
[15] на фиг. 2 показана блок-схема приведенных в качестве примера стадий рендеринга с адаптируемым качеством под управлением кодировщика в соответствии с одним вариантом осуществления настоящего изобретения;
[16] на фиг. 3 показана блок-схема приведенного в качестве примера предварительного генерирования таблицы поиска, которая назначает профиль параметров качества рендеринга для каждого частичного набора параметров кодировщика, в соответствии с одним вариантом осуществления настоящего изобретения;
[17] на фиг. 4 показана схема приведенного в качестве примера генерирования таблицы поиска для профилей параметров качества рендеринга, которые состоят только из одного параметра, в соответствии с одним вариантом осуществления настоящего изобретения; и
[18] на фиг. 5 показана схема приведенного в качестве примера генерирования таблицы поиска для профилей параметров качества рендеринга, которые включают множество параметров, в соответствии с одним вариантом осуществления настоящего изобретения.
Подробное раскрытие предпочтительных вариантов осуществления
[19] При описании предпочтительного варианта осуществления настоящего изобретения, изображенного на фигурах, для ясности будет использоваться конкретная терминология. Однако настоящее изобретение не ограничивается конкретными выбранными терминами, и следует понимать, что каждый конкретный термин включает в себя все технические эквиваленты, функционирующие аналогичным образом для выполнения подобной цели. Несколько предпочтительных вариантов осуществления настоящего изобретения будут описаны в иллюстративных целях, но следует понимать, что настоящее изобретение может быть реализовано в других формах, не показанных на фигурах.
[20] Современные движки для рендеринга, например используемые в видеоиграх, могут адаптировать определенные параметры качества во время работы на основании таких факторов, как расстояние игрока до объекта, время рендеринга предыдущего кадра, или других рабочих измеряемых показателей. Движок для рендеринга может предоставлять несколько способов корректировки качества, обеспечивая более детальное управление общим качеством после рендреринга. Некоторые примеры включают осуществление выборки текстур со смещением для использования более размытых MIP-карт, использование каскадов с более низким качеством или меньшего количества отсчетов в тенях, применение упрощенного пути в модели шейдинга (например DCT-преобразования бликующего изображения, чтобы оно выглядело как рассеянное) и использование меньшего количества отсчетов для постобработки (например для гауссова распределения, объемного тумана и т. д.). При потоковом вещании изменение одного или нескольких параметров качества рендеринга в ответ на изменение параметров кодировщика может обеспечить наилучшую экономию затрат рендеринга без ухудшения качества кодированного выходного сигнала.
[21] На фиг. 1 показана схема приведенной в качестве примера среды, в которой отрендеренное в режиме реального времени видео передается с помощью потокового вещания удаленному зрителю. Сервер 100 может представлять собой любое аппаратное обеспечение, выполненное с возможностью одновременного запуска процесса 102 рендеринга в режиме реального времени (также называемого рендерером ниже) и потокового кодека 104. Кодек 104 также должен обладать возможностью передавать свои параметры квантования назад в процесс 102 рендеринга посредством непосредственного сообщения или некоторого другого процесса отслеживания, известного в уровне техники. Кодированный видеопоток передается по сети на клиентское устройство 106. Клиент 106 может представлять собой любое аппаратное обеспечение, выполненное с возможностью декодирования и отображения видеопотока.
[22] На фиг. 2 показана блок-схема приведенных в качестве примера стадий рендеринга с адаптируемым качеством под управлением кодировщика. Кодирование прямой трансляции с использованием кодировщика, совместимого со стандартом H.264, как правило, предусматривает использование режима постоянного значения оценки («CRF»), который сообщает эффективные параметры квантования для кодированного кадра в качестве параметра квантования («QP») на стадии 200 «Сообщение параметров квантования для каждого кодированного кадра». Согласно некоторым вариантам осуществления используемая библиотека, совместимая со стандартом H.264, представляет собой ffmpeg, которая выводит параметр квантования в качестве переменной f_crf_avg. Параметр квантования представляет собой индекс в диапазоне от 0 до 51, который определяет, как уровень потерь наблюдается при сжатии во время кодирования. Более низкие значения QP представляют более низкие сжатие, а более высокие значения QP представляют более высокое сжатие. Чтобы поддерживать постоянную скорость передачи, кодировщик, работающий в режиме CRF, увеличит QP для кадров, которые могут позволить более высокое сжатие, и уменьшит QP для кадров, которые требуют более высокого качества. Кодировщик использует то, что человеческий глаз менее способен различать детали движущихся объектов, за счет более высокого сжатия в областях, которые характеризуются сравнительно быстрым движением, и более низкого сжатия в областях, которые являются относительно неподвижными. Это позволяет кодировщику сохранять целевое воспринимаемое качество и при этом уменьшить размер некоторых кодированных кадров.
[23] Рендерер считывает сообщенный QP перед рендерингом кадра на стадии 202 «Отслеживание параметров квантования на предмет изменений». На стадии 203 «Отличие?», если эффективные параметры квантования не были изменены с момента ранее отрендеренного кадра, рендерер не предпринимает никаких действий для адаптации качества рендеринга и снова выполняет проверку в следующем кадре. Если рендерер считывает значение QP, которое отличается от ранее отрендеренного кадра, или если это первый кодированный кадр, для которого выполняется рендеринг с адаптируемым качеством под управлением кодировщика, качество рендеринга изменяют на стадии 204 «Изменение параметров качества рендеринга для соответствия параметрам квантования». Если значение QP увеличилось с момента ранее отрендеренного кадра, рендерер снизит качество для соответствия уровню сжатия на кодировщике. Аналогично, если значение QP уменьшилось с момента ранее отрендеренного кадра, кодировщик повысит качество. Для изменения параметров рендеринга рендерер проверяет предварительно сгенерированную таблицу поиска, которая обеспечивает профиль параметров качества рендеринга, на предмет значения QP, предоставленного кодировщиком. В целом, должна быть только одна запись на параметр качества кодировщика. Рендерер использует QP, предоставленный кодировщиком, находит одну запись и использует связанный профиль параметров качества рендеринга. В целом, применяется весь профиль параметров качества рендеринга. Профиль параметров качества рендеринга определяется как перечень значений для каждого доступного параметра качества рендеринга. Предварительное генерирование этой таблицы поиска более подробно описано со ссылкой на фиг. 3. Предварительно заданная таблица поиска может задавать параметры рендеринга для целых значений QP, что требует от рендерера округлить считанное значение QP до ближайшего целого, или таблица поиска может задавать параметры рендеринга для каждого частичного набора значений QP от 0 до 51. В примерах на фиг. 4 и фиг. 5 предполагается, что рендерер округляет QP до ближайшего целого перед использованием таблица поиска, но эти примеры могут быть изменены для задания таблицы поиска с использованием частичных наборов QP вместо этого. Рендерер изменяет параметры качества согласно профилю параметров качества рендеринга, полученному из таблицы поиска перед рендерингом следующего кадра. Снижение качества рендеринга приведет к уменьшению объема работы по рендерингу, который теряется, когда кодировщик ограничивает качество.
[24] На фиг. 3 показана блок-схема приведенного в качестве примера предварительного генерирования таблицы поиска, которая назначает профиль параметров качества рендеринга для каждого частичного набора параметров кодировщика. Эталонное изображение используется в качестве эталона для определения влияния на воспринимаемое качество при изменении параметров кодирования или параметров рендеринга. Эталонное изображение должно представлять собой обычный кадр выходного видеосигнала и содержать отрендеренные элементы, такие как модели, текстуры или визуальные эффекты, которые характерны для выбранного игрового контекста. Игровой контекст может включать конкретную область, конкретную карту, конкретный уровень или некоторый конкретный игровой процесс. Выбранное эталонное изображение используется для генерирования таблицы поиска, которая оценивает воспринимаемое качество видео, отрендеренного с таким же контекстом, как и у эталонного изображения. Например, таблица поиска, сгенерированная из эталонного изображения, которая содержит репрезентативный набор элементов игрового уровня, может использоваться для оценки воспринимаемого качества видео, отрендеренного из аналогичных сцен на одном и том же уровне. Способы объединения множества таблиц поиска в общую таблицу поиска описаны ниже. После идентификации контекста игры, должна быть выбрана репрезентативная сцена и подвергнута рендерингу при максимальном качестве, как показано на стадии 300 «Выбор и генерирование эталонного изображения». Отрендеренная репрезентативная сцена с максимальным качеством называется в настоящем документе эталонным изображением.
[25] Предпочтительный вариант осуществления рабочих характеристик рендерера, описанного выше в сочетании с описанием фиг. 2, требует от рендерера округлить принятые значения QP до ближайшего целого перед считыванием таблицы поиска. В результате, таблица поиска будет сгенерирована с использованием только целых значений QP. На кодировщике эталонное изображение с максимальным качеством кодируют по каждому целочисленному параметру качества в кодировщике, целые значения параметра квантования (QP) от 0 до 51, как показано на стадии 302 «Кодирование эталонного изображения по каждому частичному набору параметров кодировщика». Согласно предпочтительному варианту осуществления есть 52 частичных набора, которые задаются за счет операции округления, выполняемой рендерером. Этот вариант исполнения может быть изменен для создания большего количества частичных наборов для более распространенных значений QP, значений в середине диапазона от 0 до 51, или меньшего количества частичных наборов для более редких значений QP, значений, близких к крайним значениям диапазона от 0 до 51.
[26] Воспринимаемое качество представляет собой попытку количественной оценки способности человеческого глаза воспринимать потерю качества между сжатым изображением и исходным изображением с максимальным качеством. Для оценки воспринимаемого качества, включая среднеквадратичную ошибку (MSE) и пиковое отношение сигнала к шуму (PSNR), которые используют только разности значений яркости и контраста между двумя изображениями для вычисления качества кодека сжатия. Как описано в работе Z. Wang, A. C. Bovik, H. R. Sheikh и E. P. Simoncelli, «Image quality assessment: From error visibility to structural similarity», IEEE Transactions on Image Processing, издание 13, № 4, стр. 600-612, апрель 2004 г., индекс структурного сходства (SSIM) представляет собой способ, который добавляет предположение, что человеческий глаз также может извлекать структурную информацию из сцены, и определяет вычисление для оценки воспринимаемого качества. SSIM работает посредством сравнению данных пикселей между двумя изображениями: несжатым эталонным изображением с максимальным качеством и кодированным изображением. Алгоритм сравнивает яркость, контраст, структуру и иногда насыщенность по «блокам» размером 8x8 пикселей. Поскольку SSIM характеризуется низкими вычислительными затратами и превосходит такие способы, как MSE и PSNR, он является предпочтительным средством для вычисления воспринимаемого качества. Для генерирования воспринимаемого качества для каждого значения параметров кодировщика, предпочтительно на рендерере и/или игровом движке, SSIM индекс вычисляют между каждым кодированным эталонным изображением и эталонным изображением, как показано на стадии 304 «Вычисление воспринимаемого качества для каждого кодированного эталонного изображения». Согласно предпочтительному варианту осуществления вычисляется 52 значения SSIM, по одному для каждого целого числа параметра квантования (QP), со значениями от 0 до 51. В иллюстративных описаниях со ссылкой на фиг. 3, фиг. 4 и фиг. 5 используется стандартное вычисление SSIM для сравнения двух неподвижных изображений, но существуют разные варианты способа SSIM, в которых может осуществляться сравнение двух видеосегментов, и которые могут использоваться вместо указанного варианта, но с более высокими вычислительными затратами. Один такой вариант SSIM представляет собой пространственно-временной SSIM, как описано в работе Anush K. Moorthy и Alan C. Bovik «Efficient Motion Weighted Spatio-Temporal Video SSIM Index», Human Vision and Electronic Imaging XV, издание 7527, март 2010 г. (доступной по адресу
http://live.ece.utexas.edu/publications/2010/moorthy spie jan10.pdf).
[27] Рендерер может характеризоваться несколькими параметрами, доступными для попиксельного контроля качества, в том числе разрешение экрана, выбор MIP-карты, выбор уровня детализации (LOD), качество теней, качество постобработки или другие параметры. Профиль параметров качества определяется как перечень значений для каждого доступного параметра качества. Согласно определенным вариантам осуществления на рендерере собирается перечень всех параметров рендеринга, которые могут быть адаптивно изменены, вместе с их возможными значениями. Затем все сочетания параметров рендеринга адаптивного качества и их значений генерируют для создания перечня профилей параметров качества рендеринга, как показано на стадии 306 «Генерирование перечня профилей параметров качества рендеринга». Поскольку рендерер может характеризоваться множеством параметров качества с множеством возможных значений, количество сочетаний профилей параметров качества может быть неприемлемо высоким. В примере на фиг. 5 описан приведенный в качестве примера способ ограничения и оптимизации количества профилей параметров качества в перечне.
[28] Для каждого профиля параметров качества рендеринга в перечне, эталонное изображение должно быть повторно подвергнуто рендерингу на рендерере с использованием конкретных параметров рендеринга, как показано на стадии 308 «Повторный рендеринг эталонного изображения для каждого профиля параметров качества рендеринга». Если профили параметров качества рендеринга состоят из более чем одного параметра, время рендеринга для каждого повторно отрендеренного эталонного изображения также должно быть записано как показатель вычислительных затрат, для примера измеренный во времени рендеринга или тактовых циклах. Этот показатель вычислительных затрат может использоваться на более поздней стадии в качестве разделителя при наличии каких-либо конфликтов в значениях SSIM.
[29] При использовании одного и того же показателя воспринимаемого качества, который использовался ранее на стадии 304, воспринимаемое качество измеряется за счет сравнения каждого из повторно отрендеренных изображений с исходным эталонным изображением, как показано на стадии 310 «Вычисление воспринимаемого качества для каждого повторно отрендеренного эталонного изображения». Согласно предпочтительному варианту осуществления индекс структурного сходства (SSIM) используется для измерения воспринимаемого качества результатов кодировщика и используется для измерения воспринимаемого качества результатов повторного рендеринга.
[30] На рендерере два набора значений воспринимаемого качества, значения SSIM для кодированных эталонных изображений, вычисленные на стадии 304, и значения SSIM для повторно отрендеренных по профилю эталонных изображений, вычисленные на стадии 310, сравниваются для среди наборов изображений для поиска соответствующих значений SSIM между двумя наборами. В идеальном варианте для каждого значения SSIM кодированного эталонного изображения существует одно точно соответствующее значение SSIM из набора повторно отрендеренных по профилю изображений. Если точные совпадения отсутствуют, выбранное значение SSIM повторно отрендеренного по профилю изображения должно быть больше целевого значения SSIM кодированного эталонного изображения и максимально близким к нему. Соответствующие значения SSIM среди обоих наборов значений воспринимаемого качества идентифицируют профиль параметров качества рендеринга для каждого значения QP, как показано на стадии 312 «Нахождение профиля параметров качества для каждого частичного набора параметров кодировщика». В случае наличия конфликта, то есть, если существует два или более точных совпадения из набора значений SSIM для повторно отрендеренных по профилю изображений, вычислительные затраты, записанные на стадии 308, могут использоваться в качестве разделителя и может быть выбран менее затратный профиль параметров качества рендеринга для параметра кодировщика. На фиг. 5 показан приведенный в качестве примера конфликт.
[31] Параметры кодировщика и их соответствующие профили параметров качества рендеринга должны быть упорядочены в виде таблицы поиска, как показано на стадии 314 «Создание таблицы поиска, назначающей профиль параметров качества рендеринга для каждого параметра кодировщика». Эта таблица поиска может использоваться во время работы на рендерере для изменения параметров качества рендеринга, чтобы они соответствовали параметрам квантования, как описано на стадии 204 на фиг. 2. Таблица поиска обеспечивает профиль параметров качества рендеринга, который генерирует изображение такого же воспринимаемого качества, как в кодированном кадре, и обеспечивает наибольшую экономию вычислительных затрат для указанного эталонного кадра. Приведенные в качестве примера таблицы поиска показаны на фиг. 4 и фиг. 5.
[32] Таблица поиска, сгенерированная посредством способа, описанного со ссылкой на фиг. 3, может использоваться в игровых контекстах, сценах или средах, аналогичных эталонному изображению. Процесс, изображенный на фиг. 3, может повторяться для нескольких эталонных изображений, каждое из которых является репрезентативным для конкретной среды, типа сцены или другого значимого игрового контекста. Например, эталонное изображение может быть выбрано из каждой карты в игре для генерирования множества характерных для карты таблиц поиска. Таблицы поиска также могут быть объединены для создания таблицы поиска, которая может использоваться в игровой среде в более общем смысле. Например, характерные для карты таблицы поиска могут быть объединены для генерирования одной таблицы поиска, которая может использоваться для всех карт в игре. Для объединения таблиц поиска профили параметров качества рендеринга для каждого QP могут быть объединены для нахождения среднего значения для каждого параметра, содержащегося в профиле. Например, для трех эталонных изображений генерируются три таблицы поиска. Профили параметров качества рендеринга состоят из трех значений параметров: параметр качества постобработки, параметр качества теней и параметр разрешения. Для объединения профилей параметров качества рендеринга для значения QP, составляющего 4, профили считываются из каждой таблицы поиска и представляются в следующем виде: P4i= {3, MED, 95%}, P42= {4, LOW, 90%} и P43= {2, MED, 90%}. Для каждого параметра находят средние значения для генерирования PAvg= {3, MED, 92%}. Процесс усреднения профилей должен быть завершен таким образом, что в результате процесса рендеринга не будут генерироваться изображения с более низким уровнем воспринимаемого качества, чем текущий параметр качества кодирования. Профили усредняются для каждого значения QP и упорядочиваются в виде новой таблицы поиска.
[33] На фиг. 4 показано приведенное в качестве примера генерирование таблицы поиска для профилей параметров качества рендеринга, которые состоят только из одного параметра. В этом примере один параметр качества рендеринга адаптируется в ответ на изменения параметров качества кодировщика. Рендеринг вида от первого лица в 3D-сцене адаптируется на рендерере за счет изменения разрешения 3D-составляющих вида, как показано на «3D-вид» 400, при этом разрешение элементов пользовательского интерфейса (UI), показанного как «UI» 402, не изменяется, чтобы сохранить читаемость обращенного к игроку текста. Этот тип выборочного масштабирования разрешения называется динамическим масштабированием разрешения и является все более распространенной функцией движков для рендеринга. Эталонное изображение, показанное как «Эталонное изображение» 404, представляет собой один кадр из обычного выходного видеосигнала, отрендеренного с наивысшим возможным разрешением, и выбирается в соответствии с инструкциями, указанными на стадии 300 на фиг. 3. На кодировщике эталонное изображение, показанное как «Эталонное изображение» 404, кодируется по каждому целому значению QP, как описано со ссылкой на стадию 302 на фиг. 3, для генерирования перечня кодированных эталонных изображений, как указано позицией «Кодированные эталонные изображения» 406. Как описано в сочетании со стадией 304 на фиг. 3, на рендерере значения SSIM, показанные как «SSIM» 408, вычисляются для каждого кодированного эталонного изображения 406. Поскольку профиль качества рендеринга состоит только из одного параметра качества, количество сочетаний профилей качества ограничено количеством возможных значений, доступных для разрешения 3D-вида, показанного как «3D-вид» 400. Количество возможных значений разрешения ограничено сверху максимальным возможным разрешением 3D-вида и ограничено снизу минимальным приемлемым разрешением для 3D-вида. Отношение сторон может задавать количество значений разрешения между минимальным и максимальным разрешениями. Например, максимальное разрешение 3840 x 2160 характеризуется отношением сторон 16:9, а минимальное приемлемое разрешение при этом отношении сторон выбирается как 1280 x 720. Существует 160 возможных разрешений с отношением сторон 16:9 между этими верхним и нижним пределами. Альтернативно некоторое количество одинаковых разрешений между верхним и нижним пределами может быть произвольно выбрано как образцы разрешения. Например, разрешение может постепенно уменьшаться в направлении x от 3840 до 1280 для выбора некоторого количества размеров образцов разрешения.
[34] На рендерере эталонное изображение повторно подвергают рендерингу, как показано на «Повторно отрендеренная эталонная последовательность» 410, для каждого из доступных размеров разрешения или каждого из выбранных размеров образцов разрешения, как описано со ссылкой на стадию 308 на фиг. 3. Значения SSIM, показанные как «SSIM» 412, вычисляются для каждого повторно отрендеренного изображения на рендерере, как описано на стадии 310 на фиг. 3. Два набора значений SSIM, значения SSIM для кодированных эталонных изображений, как показано на «SSIM» 408, и значения SSIM для повторно отрендеренных по профилю эталонных изображений, как показано на «Повторно отрендеренная эталонная последовательность» 410, сравниваются для нахождения совпадений среди наборов изображений для обеспечения параметра разрешения для каждого целого значения QP. Результаты упорядочиваются в виде таблицы поиска, как показано в виде «ТАБЛИЦА ПОИСКА» 414, которая будет использоваться во время работы. За счет уменьшения разрешения 3D-вида для соответствия параметра квантования, потерянная работа по рендерингу может быть существенно уменьшена, что может привести к дополнительным преимущества, включая снижение энергопотребления на сервере, сокращение времени рендеринга и уменьшение задержки между вводом игрока и обратной связью. Получение этих преимуществ усложняется в средах, в которых несколько копий игры запущены на одном сервере.
[35] На фиг. 5 показано приведенное в качестве примера генерирование таблицы поиска для профилей параметров качества рендеринга, которые содержат множество параметров. Процесс, описанный со ссылкой на фиг. 3, не меняется в той части, которая касается выбора эталонного изображения и измерения воспринимаемого качества для каждого параметра кодировщика, как описано со ссылкой на стадии 300, 302 и 304. Поскольку рендерер может масштабировать один или несколько параметров качества рендеринга относительно значения QP, перечень сгенерированных профилей параметров качества рендеринга, описанных со ссылкой на стадию 306 на фиг. 3, может быть неприемлемо длинным, чтобы упростить повторный рендеринг эталонного изображения и вычисление воспринимаемого качества для каждого профиля параметров качества рендеринга. Поскольку возможно очень большое количество сочетаний параметров рендеринга, дерево принятия решений может способствовать сужению пространства возможностей программным образом. Например, может быть нежелательным наличие профиля параметров качества рендеринга, в котором качество постобработки является очень низким, но каждый из других параметров является очень высоким. Согласно определенным вариантам осуществления может быть нежелательным, чтобы тени высокого качества были скрыты низкокачественной постобработкой. Согласно другим вариантам осуществления все может быть наоборот. Решения такого типа являются субъективными, но основанными на критериях, включающих, без ограничения, вычислительные затраты, связанные с конкретным параметром рендеринга, разности воспринимаемого качества между двумя значениями параметра, очевидность одного параметра рендеринг в сравнении с другим (например, эффекты крупного плана, которые занимают большую часть экрана в сравнении с удаленными деталями, которые занимают только пару пикселей в ширину) или относительную важность игрового процесса (например, визуальные эффекты, которые важны для передачи обратной связи игроку).
[36] На фиг. 5 показано приведенное в качестве примера дерево принятия решений, показанное в виде «Дерево принятия решений» 500, которое состоит из листа для каждого сочетания из четырех возможных параметров качества постобработки, трех возможных параметров качества тени и пяти возможных разрешений 3D-вида. Это приведенное в качестве примера дерево принятия решений существенно меньше, чем может быть в реальном примере, поскольку в этом случае может быть больше адаптивных параметров рендеринга или намного больше вариантов на параметр, что будет очевидно специалисту в данной области техники. Дерево принятия решений предпочтительно проходит в соответствии с любыми ограничивающими условиями, например, исключается наличие листьев там, где качество постобработки очень низкое, но все другие параметры высокие. Для каждого листа, который не удален из-за ограничивающего условия, эталонный кадр может быть повторно подвергнут рендерингу с использованием профиля параметров качества рендеринга, связанного с листом, как описано позицией 308 на фиг. 3. Вычислительные затраты, измеренные во времени рендеринга или тактовых циклах, могут быть записаны в этот момент для использования в качестве потенциального разделителя в случае конфликтов значений воспринимаемого качества. Затем, воспринимаемое качество может быть измерено для каждого повторно отрендеренного изображения, как описано со ссылкой на стадию 310 на фиг. 3. Для каждого вычисленного значения воспринимаемого качества (SSIM) в наборе, вычисленном для параметров кодировщика, перечень всех профилей параметров качества рендеринга с соответствующим значением SSIM, может быть сгенерирован как описано со ссылкой на стадию 312 на фиг. 3. В примере на фиг. 5 показан этот перечень, сгенерированный для значения QP, составляющего 16.
[37] Значение SSIM для эталонного изображения, кодированного со значением QP, составляющим 16, равно 0,997, при этом для него есть три профиля параметров качества рендеринга с соответствующими значениями SSIM, показанными с вычисленными вычислительными затратами, составляющими 16,004, 15,554 и 15,402. Поскольку наблюдается три конфликта для значения воспринимаемого качества, вычислительные затраты, записанные ранее, выступают в качестве разделителя и могут использоваться для определения того, какой профиль параметров качества рендеринга является самым дешевым, в этом случае этот тот, который характеризуется затратами, равными 15,402. Таблица поиска, показанная как «Таблица поиска» 502, должна быть сгенерирована для назначения самого дешевого профиля параметров качества рендеринга каждому значению QP, как описано на стадии 314 на фиг. 3. Профиль параметров качества рендеринга, выбранный для значения QP, составляющего 16, показан на фиг. 5 как «Профиль 16».
Пример 1. Влияние на время рендеринга как промежуточного показателя для вычислительных затрат
[38] Согласно одному приведенному в качестве примера варианту исполнения только разрешение линейно масштабируют в ответ на изменения качества кодировщика. Например, если качество кодировщика падает на 50%, в ответ на это разрешение будет уменьшено на 50%. Поскольку экономия времени рендеринга непосредственно коррелирует с экономией вычислительной мощности, время рендеринга анализировали, когда разрешение было масштабировано. Измерения проводили в среде с минимумом движений, с видом, состоящим из вида от первого лица рук игрока, оружия и неподвижной стены. Этот вид с минимумом движения был выбран для ограничения количества факторов, которые могут исказить измерения в результате влияния на измеренное время рендеринга. Эти факторы могут включать постобработку, такую как размытие вследствие движения, изменения количества отрендеренных объектов, изменения текстур на экране или других компонентов вида, которые с большой вероятностью меняются в видах с максимумом движения. Неподвижный вид неподвижной сцены также позволяет непосредственно сравнить различные результаты измерения, полученные при масштабированных разрешениях. Движок для рендеринга должен быть выводить видео с постепенно снижающимся разрешением, и результаты измеряли, как показано в таблице 1 ниже.
Масштаб разрешения Время
непрозрачного
прохода		 Общее время рендеринга
100% 0,4 мс 1,4 мс
50% 0,3 мс 1,0 мс
25% 0,2 мс 0,8 мс
Таблица 1. Влияние масштабирования разрешения на время рендеринга
[39] Непрозрачный проход представляет собой часть схемы рендеринга, в ходе которой отрисовывается непрозрачная геометрия на виде. Это часть схемы рендеринга, которая больше всего чувствительна к изменениям разрешения. Любая экономия времени рендеринга или вычислительных затрат, достигнутая за счет масштабирования разрешения, будет получена в основном из непрозрачного прохода при рендеринге.
[40] Как показано в таблице 1, при максимальном разрешении 1280 x 720 при 60 кадрах, время рендеринга для непрозрачного прохода составляет 0,4 мс из общего времени рендеринга 1,4 мс. Когда разрешение снижено до 50% от максимального разрешения, время рендеринга для непрозрачного прохода составляет 0,3 мс из общего времени рендеринга 1,0 мс. Масштабирование разрешения на 50%, таким образом, приводит к существенной экономии времени рендеринга практически на 30%. Когда разрешение снижено до 25% от максимального разрешения, время рендеринга для непрозрачного прохода составляет 0,2 мс из общего времени рендеринга 0,8 мс. Масштабирование разрешения на 75%, таким образом, приводит к существенной экономии времени рендеринга более чем на 40%.
[41] Представленное выше описание и фигуры следует рассматривать только как приведенные в целях иллюстрации принципов настоящего изобретения. Настоящее изобретение не ограничено предпочтительным вариантом осуществления и может быть реализовано различными способами, которые будут очевидны специалисту в данной области техники. Специалистам в данной области техники будут очевидны многочисленные области применения настоящего изобретения. Таким образом, настоящее изобретение не ограничено конкретными раскрытыми примерами или точной конструкцией и принципом работы, которые показаны и описаны. Наоборот, могут использоваться все подходящие модификации и эквиваленты, которые находятся в пределах объема настоящего изобретения.

Claims (11)

1. Выполняемый на компьютере способ рендеринга, предусматривающий:
генерирование одного или нескольких эталонных изображений;
кодирование одного или нескольких эталонных изображений для частичного набора параметров кодировщика;
сравнение для каждого кодированного эталонного изображения одного или нескольких первых воспринимаемых качеств с одним или несколькими вторыми воспринимаемыми качествами, при этом соответствие между одним или несколькими первыми воспринимаемыми качествами и одним или несколькими вторыми воспринимаемыми качествами приводит в результате к увязыванию одного или нескольких параметров кодировщика с соответствующим профилем параметров качества рендеринга; и
генерирование полученного рендерингом изображения с воспринимаемым качеством, которое по существу идентично таковому у кодированного кадра.
2. Выполняемый на компьютере способ по п. 1, при этом этапы данного способа выполняются в рендерере или кодеке.
3. Выполняемый на компьютере способ по п. 2, в котором рендерер может иметь несколько параметров, доступных для попиксельного контроля качества, в том числе разрешение экрана, выбор MIP-карты, выбор уровня детализации (LOD), качество теней и качество постобработки.
4. Выполняемый на компьютере способ по п. 1, в котором профили параметров качества определены как перечень значений для каждого доступного параметра качества.
5. Выполняемый на компьютере способ по п. 1, дополнительно предусматривающий этап оптимизации профилей параметров качества.
6. Выполняемый на компьютере способ по п. 5, в котором профили параметров качества оптимизируют с использованием дерева принятия решений для сужения пространства возможностей программным образом.
7. Выполняемый на компьютере способ по п. 1, в котором профили параметров качества сохраняют в одной или нескольких таблицах поиска.
RU2020127411A 2017-04-21 2018-04-20 Системы и способы рендеринга с адаптируемым качеством под управлением кодировщика RU2759505C2 (ru)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201762488526P 2017-04-21 2017-04-21
US62/488,526 2017-04-21
US201862653056P 2018-04-05 2018-04-05
US62/653,056 2018-04-05

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
RU2019136805A Division RU2730435C1 (ru) 2017-04-21 2018-04-20 Системы и способы рендеринга с адаптируемым качеством под управлением кодировщика

Publications (3)

Publication Number Publication Date
RU2020127411A RU2020127411A (ru) 2020-10-14
RU2020127411A3 RU2020127411A3 (ru) 2021-03-10
RU2759505C2 true RU2759505C2 (ru) 2021-11-15

Family

ID=63854334

Family Applications (2)

Application Number Title Priority Date Filing Date
RU2019136805A RU2730435C1 (ru) 2017-04-21 2018-04-20 Системы и способы рендеринга с адаптируемым качеством под управлением кодировщика
RU2020127411A RU2759505C2 (ru) 2017-04-21 2018-04-20 Системы и способы рендеринга с адаптируемым качеством под управлением кодировщика

Family Applications Before (1)

Application Number Title Priority Date Filing Date
RU2019136805A RU2730435C1 (ru) 2017-04-21 2018-04-20 Системы и способы рендеринга с адаптируемым качеством под управлением кодировщика

Country Status (14)

Country Link
US (3) US10313679B2 (ru)
EP (1) EP3612978A4 (ru)
JP (1) JP7145204B2 (ru)
KR (1) KR102326456B1 (ru)
CN (1) CN111033519B (ru)
AU (2) AU2018254591B2 (ru)
BR (1) BR112019021687A2 (ru)
CA (2) CA3060578C (ru)
DE (1) DE112018002109T5 (ru)
GB (3) GB2587091B (ru)
RU (2) RU2730435C1 (ru)
TW (2) TWI755616B (ru)
WO (1) WO2018195477A1 (ru)
ZA (2) ZA201907682B (ru)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2554877B (en) * 2016-10-10 2021-03-31 Canon Kk Methods, devices, and computer programs for improving rendering display during streaming of timed media data
CA3039701A1 (en) * 2018-04-06 2019-10-06 Comcast Cable Communications, Llc Systems, methods, and apparatuses for processing video
US11830225B2 (en) * 2018-05-30 2023-11-28 Ati Technologies Ulc Graphics rendering with encoder feedback
CN111836116A (zh) * 2020-08-06 2020-10-27 武汉大势智慧科技有限公司 一种网络自适应渲染的视频展示方法及系统
CN112206535B (zh) * 2020-11-05 2022-07-26 腾讯科技（深圳）有限公司 虚拟对象的渲染显示方法、装置、终端及存储介质
KR102472971B1 (ko) * 2020-11-19 2022-12-02 네이버 주식회사 인공지능 모델을 이용한 동영상 인코딩 최적화 방법, 시스템, 및 컴퓨터 프로그램
CN116803087A (zh) * 2021-02-02 2023-09-22 索尼集团公司 信息处理装置和信息处理方法
CN116440501B (zh) * 2023-06-16 2023-08-29 瀚博半导体(上海)有限公司 自适应云游戏视频画面渲染方法和系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090141990A1 (en) * 2007-12-03 2009-06-04 Steven Pigeon System and method for quality-aware selection of parameters in transcoding of digital images
US20120007951A1 (en) * 2009-03-29 2012-01-12 Nomad3D Sas System and format for encoding data and three-dimensional rendering
US20150169960A1 (en) * 2012-04-18 2015-06-18 Vixs Systems, Inc. Video processing system with color-based recognition and methods for use therewith
RU2014110047A (ru) * 2011-08-16 2015-09-27 Дэстини Софтвэар Продакшнз Инк. Рендеринг видео на основе сценария
US20160227172A1 (en) * 2013-08-29 2016-08-04 Smart Services Crc Pty Ltd Quality controller for video image

Family Cites Families (99)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4501980A (en) 1982-06-04 1985-02-26 Motornetics Corporation High torque robot motor
JPH06129865A (ja) 1992-10-20 1994-05-13 Sumitomo Electric Ind Ltd シングルモ−ドファイバ型デポラライザとその製造方法及び光ファイバジャイロ
US6064359A (en) * 1997-07-09 2000-05-16 Seiko Epson Corporation Frame rate modulation for liquid crystal display (LCD)
US7936818B2 (en) 2002-07-01 2011-05-03 Arris Group, Inc. Efficient compression and transport of video over a network
US6903662B2 (en) 2002-09-19 2005-06-07 Ergodex Computer input device with individually positionable and programmable input members
US8054880B2 (en) 2004-12-10 2011-11-08 Tut Systems, Inc. Parallel rate control for digital video encoder with multi-processor architecture and picture-based look-ahead window
US7408984B2 (en) 2003-09-17 2008-08-05 International Business Machines Corporation Method and system for multiple pass video coding
US7362804B2 (en) 2003-11-24 2008-04-22 Lsi Logic Corporation Graphical symbols for H.264 bitstream syntax elements
US20060230428A1 (en) 2005-04-11 2006-10-12 Rob Craig Multi-player video game system
JP4816874B2 (ja) 2005-05-31 2011-11-16 日本電気株式会社 パラメータ学習装置、パラメータ学習方法、およびプログラム
US20070147497A1 (en) * 2005-07-21 2007-06-28 Nokia Corporation System and method for progressive quantization for scalable image and video coding
KR100790986B1 (ko) * 2006-03-25 2008-01-03 삼성전자주식회사 가변 비트율 비디오 코딩에서 비트율을 제어하는 장치 및방법
US20080012856A1 (en) * 2006-07-14 2008-01-17 Daphne Yu Perception-based quality metrics for volume rendering
US8711144B2 (en) * 2006-08-01 2014-04-29 Siemens Medical Solutions Usa, Inc. Perception-based artifact quantification for volume rendering
US20080195664A1 (en) 2006-12-13 2008-08-14 Quickplay Media Inc. Automated Content Tag Processing for Mobile Media
JP4843482B2 (ja) 2006-12-27 2011-12-21 株式会社東芝 情報処理装置およびプログラム
US8069258B1 (en) 2007-09-11 2011-11-29 Electronic Arts Inc. Local frame processing to apparently reduce network lag of multiplayer deterministic simulations
US8954876B1 (en) * 2007-10-09 2015-02-10 Teradici Corporation Method and apparatus for providing a session status indicator
US9865043B2 (en) 2008-03-26 2018-01-09 Ricoh Company, Ltd. Adaptive image acquisition and display using multi-focal display
US8154553B2 (en) 2008-05-22 2012-04-10 Playcast Media System, Ltd. Centralized streaming game server
EP2364190B1 (en) 2008-05-12 2018-11-21 GameFly Israel Ltd. Centralized streaming game server
US8264493B2 (en) * 2008-05-12 2012-09-11 Playcast Media Systems, Ltd. Method and system for optimized streaming game server
US8678929B1 (en) 2008-08-01 2014-03-25 Electronics Arts Inc. Client-side prediction of a local game object to reduce apparent network lag of multiplayer simulations
US8654835B2 (en) * 2008-09-16 2014-02-18 Dolby Laboratories Licensing Corporation Adaptive video encoder control
FR2936926B1 (fr) * 2008-10-06 2010-11-26 Thales Sa Systeme et procede de determination de parametres de codage
US9342901B2 (en) * 2008-10-27 2016-05-17 Autodesk, Inc. Material data processing pipeline
TW201018443A (en) * 2008-11-07 2010-05-16 Inst Information Industry Digital filtering system, method and program
RU2509341C2 (ru) 2008-11-11 2014-03-10 Сони Компьютер Энтертэйнмент Инк. Устройство обработки изображения и способ обработки изображения
EP2415269B1 (en) * 2009-03-31 2020-03-11 Citrix Systems, Inc. A framework for quality-aware video optimization
US10097946B2 (en) 2011-12-22 2018-10-09 Taiwan Semiconductor Manufacturing Co., Ltd. Systems and methods for cooperative applications in communication systems
WO2011042900A1 (en) * 2009-10-05 2011-04-14 I.C.V.T Ltd. A method and system for processing an image
FR2954036B1 (fr) * 2009-12-11 2012-01-13 Thales Sa Procede et systeme pour la determination de parametres de codage sur des flux a resolution variable
US9338523B2 (en) 2009-12-21 2016-05-10 Echostar Technologies L.L.C. Audio splitting with codec-enforced frame sizes
US20110261885A1 (en) 2010-04-27 2011-10-27 De Rivaz Peter Francis Chevalley Method and system for bandwidth reduction through integration of motion estimation and macroblock encoding
WO2012078640A2 (en) * 2010-12-06 2012-06-14 The Regents Of The University Of California Rendering and encoding adaptation to address computation and network bandwidth constraints
JP5155462B2 (ja) 2011-08-17 2013-03-06 株式会社スクウェア・エニックス・ホールディングス 動画配信サーバ、動画再生装置、制御方法、プログラム、及び記録媒体
US8542933B2 (en) 2011-09-28 2013-09-24 Pelican Imaging Corporation Systems and methods for decoding light field image files
US10091513B2 (en) * 2011-09-29 2018-10-02 Texas Instruments Incorporated Perceptual three-dimensional (3D) video coding based on depth information
US10085023B2 (en) * 2011-10-05 2018-09-25 Texas Instruments Incorporated Systems and methods for quantization of video content
JP5977023B2 (ja) 2011-11-07 2016-08-24 株式会社スクウェア・エニックス・ホールディングス 描画システム、プログラム、及び記録媒体
US9300980B2 (en) 2011-11-10 2016-03-29 Luca Rossato Upsampling and downsampling of motion maps and other auxiliary maps in a tiered signal quality hierarchy
FR2987086B1 (fr) * 2012-02-22 2014-03-21 Snecma Joint lineaire de plateforme inter-aubes
US20130279573A1 (en) * 2012-04-18 2013-10-24 Vixs Systems, Inc. Video processing system with human action detection and methods for use therewith
US9313495B2 (en) 2012-05-14 2016-04-12 Luca Rossato Encoding and decoding based on blending of sequences of samples along time
MX341203B (es) 2012-05-14 2016-08-11 Rossato Luca Descomposicion de datos residuales durante la codificacion, decodificacion y reconstruccion de señal en jerarquia escalonada.
US8897586B2 (en) * 2012-06-15 2014-11-25 Comcast Cable Communications, Llc Dynamic generation of a quantization matrix for compression of a digital object
CN104813669B (zh) 2012-09-21 2018-05-22 诺基亚技术有限公司 用于视频编码的方法和装置
US10616086B2 (en) * 2012-12-27 2020-04-07 Navidia Corporation Network adaptive latency reduction through frame rate control
US9899007B2 (en) 2012-12-28 2018-02-20 Think Silicon Sa Adaptive lossy framebuffer compression with controllable error rate
US9924200B2 (en) 2013-01-24 2018-03-20 Microsoft Technology Licensing, Llc Adaptive noise reduction engine for streaming video
CN104737542B (zh) 2013-01-30 2018-09-25 英特尔公司 用于下一代视频的内容自适应熵编码
US9106556B2 (en) * 2013-02-11 2015-08-11 Avaya Inc. Method to achieve the use of an external metric as the primary tie-breaker in intermediate system to intermediate system (ISIS) route selections
EP2959672B1 (en) 2013-02-21 2019-12-04 Koninklijke Philips N.V. Improved hdr image encoding and decoding methods and devices
US8842185B1 (en) * 2013-03-14 2014-09-23 Microsoft Corporation HDMI image quality analysis
US10040323B2 (en) 2013-03-15 2018-08-07 Bridgestone Americas Tire Operations, Llc Pneumatic tire with bead reinforcing elements at least partially formed from carbon fibers
US9661351B2 (en) 2013-03-15 2017-05-23 Sony Interactive Entertainment America Llc Client side frame prediction for video streams with skipped frames
GB2513345B (en) 2013-04-23 2017-07-26 Gurulogic Microsystems Oy Data communication system and method
US20140321561A1 (en) * 2013-04-26 2014-10-30 DDD IP Ventures, Ltd. System and method for depth based adaptive streaming of video information
US9079108B2 (en) 2013-05-31 2015-07-14 Empire Technology Development Llc Cache-influenced video games
GB2520406B (en) 2013-10-17 2015-11-04 Imagination Tech Ltd Tone mapping
US9940904B2 (en) 2013-10-23 2018-04-10 Intel Corporation Techniques for determining an adjustment for a visual output
US9749642B2 (en) 2014-01-08 2017-08-29 Microsoft Technology Licensing, Llc Selection of motion vector precision
US20150228106A1 (en) 2014-02-13 2015-08-13 Vixs Systems Inc. Low latency video texture mapping via tight integration of codec engine with 3d graphics engine
US20150237351A1 (en) * 2014-02-18 2015-08-20 Penne Lee Techniques for inclusion of region of interest indications in compressed video data
US9928610B2 (en) 2014-06-27 2018-03-27 Samsung Electronics Co., Ltd. Motion based adaptive rendering
US10438313B2 (en) * 2014-07-23 2019-10-08 Divx, Llc Systems and methods for streaming video games using GPU command streams
BR112017001909A2 (pt) 2014-07-31 2019-09-17 Univ Oklahoma proteínas, composição farmacêutica, ácido nucleico, vetores, célula, método de terapia gênica, método para tratar uma condição, uso de um vetor e uso de uma proteína de um mamífero mutante
US9762919B2 (en) 2014-08-28 2017-09-12 Apple Inc. Chroma cache architecture in block processing pipelines
WO2016050991A1 (es) 2014-10-03 2016-04-07 RUIZ COLL, José Damián Método de mejora de la calidad de una imagen sometida a recodificación
US10063866B2 (en) 2015-01-07 2018-08-28 Texas Instruments Incorporated Multi-pass video encoding
US10098960B2 (en) 2015-04-03 2018-10-16 Ucl Business Plc Polymer conjugate
WO2016172314A1 (en) 2015-04-21 2016-10-27 Vid Scale, Inc. Artistic intent based video coding
KR102059256B1 (ko) 2015-06-05 2019-12-24 애플 인크. Hdr 콘텐츠의 렌더링 및 디스플레이
IN2015CH02866A (ru) * 2015-06-09 2015-07-17 Wipro Ltd
CN106293047B (zh) 2015-06-26 2020-01-10 微软技术许可有限责任公司 通过动态分辨率缩放来减少移动设备的功耗
US10062181B1 (en) 2015-07-30 2018-08-28 Teradici Corporation Method and apparatus for rasterizing and encoding vector graphics
KR20180039722A (ko) 2015-09-08 2018-04-18 엘지전자 주식회사 영상의 부호화/복호화 방법 및 이를 위한 장치
US9716875B2 (en) * 2015-09-18 2017-07-25 Intel Corporation Facilitating quantization and compression of three-dimensional graphics data using screen space metrics at computing devices
US9807416B2 (en) 2015-09-21 2017-10-31 Google Inc. Low-latency two-pass video coding
US10257528B2 (en) * 2015-10-08 2019-04-09 Electronics And Telecommunications Research Institute Method and apparatus for adaptive encoding and decoding based on image quality
JP6910130B2 (ja) 2015-11-06 2021-07-28 三星電子株式会社Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ． ３ｄレンダリング方法及び３ｄレンダリング装置
US10163183B2 (en) 2016-01-13 2018-12-25 Rockwell Collins, Inc. Rendering performance using dynamically controlled samples
US10216467B2 (en) 2016-02-03 2019-02-26 Google Llc Systems and methods for automatic content verification
US10499056B2 (en) * 2016-03-09 2019-12-03 Sony Corporation System and method for video processing based on quantization parameter
US9705526B1 (en) 2016-03-17 2017-07-11 Intel Corporation Entropy encoding and decoding of media applications
US10109100B2 (en) 2016-03-25 2018-10-23 Outward, Inc. Adaptive sampling of pixels
KR101713492B1 (ko) * 2016-06-27 2017-03-07 가천대학교 산학협력단 영상 복호화 방법, 영상 부호화 방법, 영상 복호화 장치, 및 영상 부호화 장치
CN106162195B (zh) * 2016-07-05 2018-04-17 宁波大学 一种基于单深度帧内模式的3d‑hevc深度视频信息隐藏方法
US11011096B2 (en) * 2016-08-25 2021-05-18 Sharp Nec Display Solutions, Ltd. Self-diagnostic imaging method, self-diagnostic imaging program, display device, and self-diagnostic imaging system
EP3301921A1 (en) * 2016-09-30 2018-04-04 Thomson Licensing Method and apparatus for calculating quantization parameters to encode and decode an immersive video
US10070098B2 (en) * 2016-10-06 2018-09-04 Intel Corporation Method and system of adjusting video quality based on viewer distance to a display
GB2554877B (en) 2016-10-10 2021-03-31 Canon Kk Methods, devices, and computer programs for improving rendering display during streaming of timed media data
US10237293B2 (en) * 2016-10-27 2019-03-19 Bitdefender IPR Management Ltd. Dynamic reputation indicator for optimizing computer security operations
KR102651126B1 (ko) 2016-11-28 2024-03-26 삼성전자주식회사 그래픽 프로세싱 장치 및 그래픽스 파이프라인에서 텍스처를 처리하는 방법
GB2558886B (en) 2017-01-12 2019-12-25 Imagination Tech Ltd Graphics processing units and methods for controlling rendering complexity using cost indications for sets of tiles of a rendering space
US10117185B1 (en) 2017-02-02 2018-10-30 Futurewei Technologies, Inc. Content-aware energy savings for video streaming and playback on mobile devices
US10979718B2 (en) * 2017-09-01 2021-04-13 Apple Inc. Machine learning video processing systems and methods
US10423587B2 (en) * 2017-09-08 2019-09-24 Avago Technologies International Sales Pte. Limited Systems and methods for rendering graphical assets
CN108334412A (zh) 2018-02-11 2018-07-27 沈阳东软医疗系统有限公司 一种显示图像的方法和装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090141990A1 (en) * 2007-12-03 2009-06-04 Steven Pigeon System and method for quality-aware selection of parameters in transcoding of digital images
US20120007951A1 (en) * 2009-03-29 2012-01-12 Nomad3D Sas System and format for encoding data and three-dimensional rendering
RU2014110047A (ru) * 2011-08-16 2015-09-27 Дэстини Софтвэар Продакшнз Инк. Рендеринг видео на основе сценария
US20150169960A1 (en) * 2012-04-18 2015-06-18 Vixs Systems, Inc. Video processing system with color-based recognition and methods for use therewith
US20160227172A1 (en) * 2013-08-29 2016-08-04 Smart Services Crc Pty Ltd Quality controller for video image

Also Published As

Publication number Publication date
CN111033519A (zh) 2020-04-17
US11330276B2 (en) 2022-05-10
JP2020518211A (ja) 2020-06-18
EP3612978A4 (en) 2020-06-03
KR20200020674A (ko) 2020-02-26
GB2576662A (en) 2020-02-26
RU2020127411A (ru) 2020-10-14
CA3082771A1 (en) 2018-10-25
US20180310008A1 (en) 2018-10-25
ZA202007214B (en) 2022-04-28
KR102326456B1 (ko) 2021-11-12
CA3082771C (en) 2022-09-20
BR112019021687A2 (pt) 2020-05-12
GB2595197A (en) 2021-11-17
WO2018195477A1 (en) 2018-10-25
US20200154112A1 (en) 2020-05-14
US20190253720A1 (en) 2019-08-15
TWI669954B (zh) 2019-08-21
ZA201907682B (en) 2021-04-28
RU2020127411A3 (ru) 2021-03-10
TW201941613A (zh) 2019-10-16
CA3060578A1 (en) 2018-10-25
GB202014205D0 (en) 2020-10-21
AU2018254591A1 (en) 2019-12-12
GB2576662B (en) 2020-10-28
EP3612978A1 (en) 2020-02-26
AU2021202099B2 (en) 2022-07-07
JP7145204B2 (ja) 2022-09-30
AU2021202099A1 (en) 2021-05-06
GB202112381D0 (en) 2021-10-13
RU2730435C1 (ru) 2020-08-21
US10313679B2 (en) 2019-06-04
GB201916965D0 (en) 2020-01-08
GB2587091B (en) 2022-01-05
AU2018254591B2 (en) 2021-01-07
CA3060578C (en) 2020-07-21
DE112018002109T5 (de) 2020-01-09
US10554984B2 (en) 2020-02-04
TW201842780A (zh) 2018-12-01
CN111033519B (zh) 2021-07-27
TWI755616B (zh) 2022-02-21
GB2595197B (en) 2022-02-23
GB2587091A (en) 2021-03-17

Similar Documents

Publication Publication Date Title
RU2759505C2 (ru) Системы и способы рендеринга с адаптируемым качеством под управлением кодировщика
US10242462B2 (en) Rate control bit allocation for video streaming based on an attention area of a gamer
AU2020289755B2 (en) Systems and methods for rendering & pre-encoded load estimation based encoder hinting

Legal Events

Date Code Title Description
HE9A Changing address for correspondence with an applicant