RU2720067C1 - Системы и способы для рендеринга и выдачи подсказок кодеру на основании оценки предварительно кодированной нагрузки - Google Patents

Системы и способы для рендеринга и выдачи подсказок кодеру на основании оценки предварительно кодированной нагрузки Download PDF

Info

Publication number
RU2720067C1
RU2720067C1 RU2019137526A RU2019137526A RU2720067C1 RU 2720067 C1 RU2720067 C1 RU 2720067C1 RU 2019137526 A RU2019137526 A RU 2019137526A RU 2019137526 A RU2019137526 A RU 2019137526A RU 2720067 C1 RU2720067 C1 RU 2720067C1
Authority
RU
Russia
Prior art keywords
encoder
sequence
frames
frame
video frames
Prior art date
Application number
RU2019137526A
Other languages
English (en)
Inventor
Майкл КОПЬЕЦ
Original Assignee
Зенимакс Медиа Инк.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Зенимакс Медиа Инк. filed Critical Зенимакс Медиа Инк.
Application granted granted Critical
Publication of RU2720067C1 publication Critical patent/RU2720067C1/ru

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/30—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
    • A63F13/35—Details of game servers
    • A63F13/352—Details of game servers involving special game server arrangements, e.g. regional servers connected to a national server or a plurality of servers managing partitions of the game world
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/30—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
    • A63F13/35—Details of game servers
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/30—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
    • A63F13/35—Details of game servers
    • A63F13/355—Performing operations on behalf of clients with restricted processing capabilities, e.g. servers transform changing game scene into an MPEG-stream for transmitting to a mobile phone or a thin client
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/85—Providing additional services to players
    • A63F13/86—Watching games played by other players
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/007—Transform coding, e.g. discrete cosine transform
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/65—Network streaming protocols, e.g. real-time transport protocol [RTP] or real-time control protocol [RTCP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/70—Media network packetisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/75—Media network packet handling
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/75—Media network packet handling
    • H04L65/762—Media network packet handling at the source 
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/80—Responding to QoS
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H04N19/126—Details of normalisation or weighting functions, e.g. normalisation matrices or variable uniform quantisers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/149—Data rate or code amount at the encoder output by estimating the code amount by means of a model, e.g. mathematical model or statistical model
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/154—Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/162—User input
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/192—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding the adaptation method, adaptation tool or adaptation type being iterative or recursive
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/192—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding the adaptation method, adaptation tool or adaptation type being iterative or recursive
    • H04N19/194—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding the adaptation method, adaptation tool or adaptation type being iterative or recursive involving only two passes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • H04N19/197—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters including determination of the initial value of an encoding parameter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • H04N19/198—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters including smoothing of a sequence of encoding parameters, e.g. by averaging, by choice of the maximum, minimum or median value
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/40—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video transcoding, i.e. partial or full decoding of a coded input stream followed by re-encoding of the decoded output stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/164—Feedback from the receiver or from the transmission channel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding

Abstract

Изобретение относится к области вычислительной техники. Технический результат заключается в поддержании постоянной скорости передачи битового потока. Настоящее изобретение раскрывает системы и способы для выдачи подсказок кодеру, в которых сервер отслеживает информацию, связанную с изменениями рендеринга кадров, и рассчитывает границы допуска, скользящее среднее время кадра и/или краткосрочные тренды в пределах времени кадра, используя эти расчеты для идентификации пика времени кадра. Затем сервер выдает кодеку (кодеру) подсказки для модулирования уставок качества развертки кадра пропорционально размеру пика времени кадра. В некоторых вариантах осуществления рендерер записывает одно или несколько прохождений игры в игровой среде, выполняет отсортировку множества кадров из одного или нескольких прохождений игры во множество ячеек на карте кликов и собирает список отсортированных кадров, далее кодек может выполнить кодирование одного или нескольких кадров из списка отсортированных кадров для расчета среднего размера кодированного кадра для каждой ячейки в карте кликов и соотнести каждый средний размер кодированного кадра с нормализованной для каждой ячейки уставкой качества кодера. 8 н. и 16 з.п. ф-лы, 8 ил.

Description

Родственные заявки
[1] Настоящая заявка испрашивает приоритет согласно следующим предварительным заявкам на выдачу патента США: №62/488,526, поданной 21 апреля 2017 года; №62/647,180, поданной 23 марта 2018 года; и №62/655,901, поданной 11 апреля 2018 года.
Область техники, к которой относится настоящее изобретение
[2] В сфере удаленных игр, где игрой на стороне сервера управляет игрок на стороне клиента, предпринимаются попытки кодирования выходного видеосигнала акселератора трехмерной графики (3D-графики) в реальном масштабе времени с использованием существующих или оптимизированных под требования пользователей кодирующих устройств. Однако интерактивный характер видеоигр, в особенности, контур обратной связи для игрока между выходными видеоданными и вводными данными игрока делает потоковое игровое видео намного более чувствительным к задержке в сравнении со стандартным потоковым видео. Существующие способы кодирования видеосигналов могут жертвовать вычислительной мощностью и кое-какими иными параметрами ради уменьшения времени кодирования. Новые способы интеграции процесса кодирования в процесс рендеринга видеоданных могут обеспечить существенное уменьшение времени кодирования с сохранением вычислительной мощности, что повышает качество кодированного видео и сохраняет первоначальный формат битового потока данных, обеспечивая при этом взаимосовместимость существующих аппаратных устройств.
[3] В первом проходе процесса многопроходного кодирования вычисляется стоимость кодирования или размер каждого кодированного видеокадра перед тем, как данные будут эффективно упакованы, с целью приведения их в соответствие с ограничением по скорости передачи битового потока в последующих проходах. Многопроходное кодирование дает существенные преимущества, обеспечивая максимально возможное качество для заданного ограничения по скорости передачи битового потока, но традиционное многопроходное кодирование требует доступа ко всему видеофайлу, что делает его непригодным для использования в сферах применения потокового вещания.
[4] В сферах применения потокового вещания в реальном масштабе времени обычно используется однопроходное кодирование, так как видео заранее не доступно. Временные ограничения по кодированию потока данных в реальном масштабе времени препятствуют возможностям кодера по эффективной упаковке видеоинформации при ограниченной скорости передачи битового потока. Поскольку стоимость кодирования при однопроходном кодировании не рассчитывается, при кодировании высокоэнтропийных кадров происходит всплеск сетевого трафика.
[5] Видео, рендерируемое в реальном масштабе времени, получает все более широкое распространение в сферах применения потокового вещания, таких как передача игрового потокового видео, где большое значение имеет высокое качество изображения и ограничение полосы пропускания. Отрендеренное видео, в отличие от записанного видео, имеет доступ к дополнительной информации о каждом кадре, которая может быть повторно использована для оценки стоимости кодирования кадра. Таким образом, результаты первого прохода при многопроходном кодировании могут быть аппроксимированы для получения кодированной видеоинформации максимально высокого качества в рамках ограничений по скорости передачи битового потока. Многие движки рендеринга обладают частичной информацией об изображениях, подлежащих визуализации, и могут заранее генерировать уставки качества кодера, которые могут быть использованы во время прогона. Таким образом, преимущества режима многопроходного кодирования могут быть обеспечены в среде потокового вещания в реальном масштабе времени. Однако, что будет в подробностях описано ниже, существующая автоматизированная технология остается не лишенной недостатков при оценке качества кодирования в достаточной степени для выполнения рендеринга видеоданных высокого качества в реальном масштабе времени с компенсацией всплесков трафика вследствие повышенной энтропии. Более того, в настоящее время не существует технологии кодирования, которая могла бы осуществлять пространственное кодирование, а не временное, воспроизводя многопроходное кодирование и оставаясь при этом в режиме реального времени.
[6] Патент США №7,844,002 В2 («Патент '002») раскрывает системы и способы для осуществления кодирования видео в формате MPEG с опережающим просмотром информации с целью достижения постоянной скорости передачи битового потока. Система состоит из двух видеокодеров, один из которых задерживает ввод данных на определенную величину времени относительно окна предварительного просмотра другого кодера. В системе согласно патенту '002 один из двух видеокодеров выполняет функцию буферного (упреждающего) устройства, задерживающего входные видеокадры с тем, чтобы второй видеокодер, выполняющий функцию сборщика/обработчика информации, имел время, необходимое для извлечения релевантных данных и определения стратегии кодирования видеокадров. После определения стратегии параметры кодирования передаются в кодер для приведения в исполнение. Технология согласно патенту '002 не лишена недостатков в сравнении с настоящим изобретением, по меньшей мере, потому, что она не раскрывает методы расчета стоимости кодирования кадров рендерируемого видео при потоковом вещании, обеспечивающие достаточно малую временную задержку при потоковой передаче видеоданных в реальном масштабе времени в игровых приложениях, или методы использования видеоданных для максимальной развертки кодированного видео в пределах ограничений по скорости передачи битового потока. Настоящее изобретение лучше также потому, что оно собирает и сохраняет уставки кодера, которые могут повторно использоваться бесконечное число раз.
[7] Заявка США №US2016/0198166 А1 («Заявка '166») раскрывает системы и способы для методов псевдо-многопроходного кодирования, предлагающие решение по кодированию в реальном масштабе времени. В раскрытой системе входные видеокадры субдискретизируются и кодируются в первом проходе с формированием подгруппы картинок. Затем эти подгруппы используются для генерирования статистики кодирования, которая используется для получения совокупности кодированных кадров второго прохода. Методы, описанные в заявке '166, уступают настоящему изобретения, по меньшей мере, потому, что настоящее изобретение обучает методикам расчета конкретной стоимости кодирования кадров рендерируемого видео при потоковом вещании и использования таких данных для максимальной развертки кодированного видео в пределах ограничений по скорости передачи битового потока без какой-либо субдискретизации.
[8] Патент США №9,697,280 («Патент '280») раскрывает системы и способы для создания массива мобильных медиа-данных на основе нормализованной информации, анализа массива мобильных медиа-данных для определения схемы расчетов и предоставления, по меньшей мере, некоторым участникам из массива мобильных медиа-данных релевантной информации на основе схемы расчетов. Эти системы и способы выполнены с возможностью проведения многопроходного кодирования, где выходы предшествующего кодера последовательно соединены с входами следующего кодера, что обуславливает временную задержку перед тем, как кодированный файл будет доступен для использования. Для уменьшения временной задержки, обусловленной последовательным кодированием с сохранением при этом эквивалентно высокого качества последовательные стадии кодирования могут быть сконфигурированы в конвейере рендеринга таким образом, чтобы выходные данные первого кодера передавались на вход второго кодера с тем расчетом, чтобы кодирование, выполняемое в каждом кодере, было смещено на небольшой промежуток времени, позволяя кодированию по большей части выполняться параллельно. Общая временная задержка может затем аппроксимировать сумму временных задержек каждого кодера из первого введенного блока к первому выведенному блоку. Общая временная задержка может действительно облегчить многопроходное кодирование в реальном масштабе времени. Однако аналогично другим технологиям, описанным в этом разделе, патент '280 не раскрывает методы расчета стоимости кодирования кадров рендерируемого видео в сферах применения потокового вещания и использования таких данных для максимальной развертки кодированного видео в пределах ограничений по скорости передачи битового потока, которые раскрыты в настоящем изобретении.
[9] Заявка США №20170155910 А1 («Заявка '910») раскрывает системы и способы для разбивки аудиоданных медиа-контента на отдельные контент-файлы без введения граничных артефактов. Заявка '910 раскрывает систему, где кодер сегментирует исходный контент-файл с его разбивкой на небольшие исходные потоки и выполняет двухпроходное кодирование множества копий (например, потоков) по каждому соответствующему необработанному небольшому потоку, например, не дожидаясь окончания телепередачи. Таким образом, веб-сервер может приступить к потоковой передаче небольших потоков через Интернет сразу после того, как система генерирования небольших потоков начнет захват исходного контент-файла. Задержка по времени между прямой передачей, транслируемой издателем, и доступностью контента зависит от вычислительной мощности хост-узлов. Однако в заявке '910 не раскрыты методы расчета стоимости кодирования кадров рендерируемого видео в сферах применения потокового вещания, обеспечивающие достаточно малую временную задержку при потоковой передаче видеоданных в реальном масштабе времени в игровых приложениях, и использования видеоданных для максимальной развертки кодированного видео в пределах ограничений по скорости передачи битового потока, которые раскрыты в настоящем изобретении.
[10] Патент США №9,774,848 («Патент '848») раскрывает системы и способы для усовершенствования компонента видеокодера стандарта MPEG с целью повышения, как эффективности, так и качества отображения видео на дисплее. Описанная технология обучает методике сжатия видео за счет адаптивного распределения битов с помощью упреждающей обработки данных. При сжатии MPEG-видео происходит группирование заданного числа видеокадров (15, 30, 60 и т.д.) с формированием группы изображений (GoP). Изображения в GoP кодируются в виде I-, Р- или В-изображений (кадров). Количество битов, распределенных для каждой GoP, устанавливается пропорциональным числу содержащихся в ней кадров. Система выполняет упреждающий просмотр в реальном масштабе времени для сбора статистических данных, что обеспечивает возможность адаптивного распределения битов. В этом патенте также раскрыты способы оценки параметров движения, в которых полезная нагрузка шейдеров модифицированного 3D-конвейера способна обрабатывать множество патчей в случае с шейдерами областей; или множество примитивов, когда число примитивных объектов превышает один, в случае с геометрическими шейдерами; или множество треугольников в случае с пиксельными шейдерами. Движок оценки параметров движения используется компонентами графического процессора для поддержки функций декодирования и обработки видео, которые чувствительны или адаптивны к направлению или величине движения в пределах видеоданных. Однако в патенте '848 не раскрыты методы расчета стоимости кодирования кадров рендерируемого видео в сферах применения потокового вещания, обеспечивающие достаточно малую временную задержку при потоковой передаче видеоданных в реальном масштабе времени в игровых приложениях, и использования видеоданных для максимальной развертки кодированного видео в пределах ограничений по скорости передачи битового потока, раскрытые в настоящем изобретении. Более того, технология согласно патенту '848 выполняет не более чем вспомогательную функцию, и она не выполняет предварительное кодирование пространственно, как это описано в настоящем изобретении. Таким образом, она не способна воспроизводить эффективное многопроходное кодирование в таком же режиме реального времени, что и настоящее изобретение.
[11] Патент США №9,749,642 («Патент '642») раскрывает системы и способы, в которых видеокодер определяет точность векторов движения (MV) для единицы видеоизображения из числа множества оценок точности MV, которое включает в себя одну или несколько оценок точности векторов движения дробного отсчета и оценок точности векторов движения целого отсчета. Видеокодер может идентифицировать ряд значений MV с точностью MV дробного отсчета, а затем выбрать для единицы видеоизображения точность MV, исходя - по меньшей мере, частично - из распространенности значений MV (в пределах множества) с нулевой дробной частью. В альтернативном варианте видеокодер может выполнить анализ зависимости искажений от скорости передачи, причем при анализе зависимости искажений от скорости передачи предпочтение отдается точности MV целого отсчета. Однако, как и в предыдущем случае, в патенте '642 не раскрыты методы расчета стоимости кодирования кадров рендерируемого видео в сферах применения потокового вещания, обеспечивающие достаточно малую временную задержку при потоковой передаче видеоданных в реальном масштабе времени в игровых приложениях, и использования видеоданных для максимальной развертки кодированного видео в пределах ограничений по скорости передачи битового потока, которые раскрыты в настоящем изобретении.
[12] Европейский патент № ЕР 1820281 В1 («Патент '281») раскрывает системы и способы для двухпроходного кодирования. Описанные способы включают в себя следующие стадии: а) прием изображения; (b) расчет первой степени наполнения буфера кодированного изображения в течение первого времени; (с) оперирование с первой степенью наполнения для возврата второй степени наполнения буфера кодированного изображения в течение второго времени; (d) сохранение изображения в течение определенного промежутка времени; (е) измерение на этом промежутке времени первой степени сложности изображения; (f) оперирование с первой степенью сложности изображения и второй степенью наполнения для возврата предпочтительного желаемого размера изображения; и (g), как следствие стадии d, передача изображения и предпочтительного желаемого размера в многопроцессорный видеокодер, где первое время соответствует самому последнему времени, когда может быть рассчитана точная степень наполнения буфера кодированного изображения, а второе время наступает после первого времени. Однако, как и в предыдущем случае, в патенте '281 не раскрыты методы расчета стоимости кодирования кадров рендерируемого видео в сферах применения потокового вещания, обеспечивающие достаточно малую временную задержку при потоковой передаче видеоданных в реальном масштабе времени в игровых приложениях, и использования видеоданных для максимальной развертки кодированного видео в пределах ограничений по скорости передачи битового потока, которые раскрыты в настоящем изобретении.
[13] Патент Японии № JP 06121518 B2 («Патент '518») раскрывает системы и способы для кодирования выборочной пространственной части исходного потока видеоданных в качестве отдельного потока видеоданных, причем один из способов включает в себя получение информации об элементе отображения, относящегося к выбранной пространственной части; получение подсказок для кодирования, извлекаемых из дополняющей пространственной части указанного исходного потока видеоданных, которая не относится к выбранной пространственной части; и кодирование выбранной пространственной части с использованием подсказок для кодирования. Однако, как и в предыдущем случае, в патенте '518 не раскрыты методы расчета стоимости кодирования кадров рендерируемого видео в сферах применения потокового вещания, обеспечивающие достаточно малую временную задержку при потоковой передаче видеоданных в реальном масштабе времени в игровых приложениях, и использования таких данных для максимальной развертки кодированного видео в пределах ограничений по скорости передачи битового потока, которые раскрыты в настоящем изобретении.
[14] Заявка США №2006/0230428 («Заявка '428») раскрывает системы и способы в отношении сетевой системы видеоигр, обеспечивающей возможность одновременного участия множества игроков. В заявке '428 описан сервер, способный хранить предварительно кодированные блоки, которые поддаются сжатию и соответствуют подразделам игрового видеокадра. Система также способна генерировать игровой контент с использованием предварительно кодированных блоков в ответ на действия пользователя в ходе игры. Затем этот контент может передаваться пользователю. Как и в предыдущем случае, эта технология не выполняет предварительное кодирование пространственно, как это описано в настоящем документе, и не способна воспроизводить эффективное многопроходное кодирование в режиме реального времени. Более того, в отличие от технологии, раскрытой в заявке '428, настоящее изобретение позволяет системе изменять параметры по всем участкам кадров во временной последовательности (такие как разрешение) во время прогона и обеспечивает достаточно малую временную задержку для потокового вещания в игровых приложениях.
[15] Патент США №8,154,553 («Патент '553») раскрывает системы и способы, относящиеся к игровому стрим-серверу с механизмом перехвата команд рендеринга и механизмом опережающего управления, основанному на обработке команд движка рендеринга, на модуле предварительной фильтрации и на визуальном кодере. Технология согласно патенту '553 использует графический API (прикладной программный интерфейс) для извлечения массива данных на уровне объектов, относящихся к визуальной сложности и движению объектов в сцене. Эта информация используется для управления ренедерингом на уровне GPU (графического ускорителя), на уровне фильтрации в препроцессоре видеосигналов и на уровне квантования в видеокодере. Система также вычисляет оценку компенсации движения для каждого макроблока в целевом кодированном кадре в видеокодере. Аналогично другим технологиям, описанным в настоящем документе, система, раскрытая в патенте '553, не выполняет предварительное кодирование во времени или пространстве, как это раскрыто в заявленном изобретении, и не способна воспроизводить эффективное многопроходное кодирование в режиме реального времени, поскольку она, по сути, пропускает кадры, реагируя таким образом на пиковые значения скорости передачи битового потока. Более того, в отличие от технологии, раскрытой в публикации '428, настоящее изобретение позволяет системе обеспечивать достаточно малую временную задержку для потокового вещания в игровых приложениях.
[16] Как явствует из описания нынешнего уровня развития этой технологии, представленного выше, в этой области техники существует потребность в усовершенствовании компьютерной технологии предшествующего уровня техники, относящейся к кодированию игровой среды в реальном масштабе времени.
Краткое раскрытие настоящего изобретения
[17] Следовательно, одна из целей заявленного изобретения заключается в том, чтобы предложить системы и способы для поддержания постоянной скорости передачи битового потока за счет выдачи подсказок кодеру. В одном из примеров осуществления настоящего изобретения сервер отслеживает информацию, связанную с изменениями кодирования кадров; рассчитывает границы допуска, скользящее среднее время кадра и краткосрочные тренды в пределах времени кадра; и использует эти расчеты для идентификации пика времени кадра. Затем сервер выдает кодеру подсказки для модулирования уставок качества развертки кадра пропорционально размеру пика времени кадра.
[18] Другая цель настоящего изобретения состоит в том, чтобы предложить системы и способы для поддержания постоянной скорости передачи битового потока за счет выдачи подсказок кодеру, в которых расчеты границ допуска, скользящего среднего времени кадра и краткосрочных трендов в пределах времени кадра используются для идентификации высокоэнтропийных кадров.
[19] Еще одна из целей настоящего изобретения состоит в том, чтобы предложить системы и способы для поддержания постоянной скорости передачи битового потока за счет выдачи подсказок кодеру, в которых сервер рассчитывает масштабное значение качества для времени кадра за пределами границ допуска и использует этот расчет для идентификации пика времени кадра.
[20] Еще одна из целей настоящего изобретения состоит в том, чтобы предложить системы и способы для кодирования, в которых рендерер фиксирует одно или несколько прохождений в игровой среде, упорядочивает множество кадров из одного или нескольких прохождений игры по множеству ячеек в карте кликов и формирует список упорядоченных кадров. Затем кодер может закодировать один или несколько кадров из списка упорядоченных кадров для расчета среднего размера кодированного кадра для каждой ячейки в карте кликов, и привязать средний размер каждого кодированного кадра к нормализованной уставке качества кодера по каждой ячейке. Затем кодер рассчитывает средние размеры кадров для карты кликов по среднему размеру кодированного кадра для каждой ячейки и использует их во время игры в качестве подсказок для кодирования последовательности видеокадров.
[21] Еще одна из целей настоящего изобретения состоит в том, чтобы предложить системы и способы для кодирования, в которых рендерер фиксирует последовательность видеокадров, состоящую из множества кадров, а кодер кодирует эту последовательность видеокадров в многопроходном режиме, оптимизируя уставки качества кодера по первому кадру последовательности видеокадров. Затем кодер может зафиксировать уставку качества кодера. После этого рендерер может нормализовать уставки качества кодера, приведя их к первому кадру последовательности видеокадров и использовать их для выдачи кодеру подсказок по кодированию последовательности видеокадров во время воспроизведения.
[22] Еще одна из целей настоящего изобретения состоит в том, чтобы предложить системы и способы для кодирования, в которых один или несколько кадров кодируются в один проход.
[23] А еще одна из целей настоящего изобретения состоит в том, чтобы предложить системы и способы для кодирования, в которых данные, извлеченный из одного или нескольких прохождений игры, включают в себя множество кадров и местоположение игрока в привязке к каждому кадру.
Краткое описание фигур
[24] В полной мере оценить настоящее изобретение и многие его сопутствующие преимущества можно без труда, если глубже вникнуть в них, ознакомившись с последующим подробным описанием, которое рассматривается в привязке к прилагаемым чертежам, где:
[25] На фиг. 1 представлена схема, иллюстрирующая один из примеров осуществления среды, в которой рендерируемое в реальном масштабе времени видео транслируется потоком удаленному зрителю;
[26] На фиг. 2 представлена блок-схема алгоритма, иллюстрирующая стадии выдачи подсказок кодеру на основании оценки нагрузки;
[27] На фиг. 3 показана схема одного из примеров осуществления, где детектируются максимумы и минимумы времени кадров, а затем уставки кодера изменяются соответствующим образом;
[28] На фиг. 4 представлена иллюстративная блок-схема алгоритма, раскрывающая использование предварительно сгенерированных уставок качества кодера во время прогона активного рендерера;
[29] На фиг. 5 представлена иллюстративная блок-схема алгоритма, раскрывающая стадии предварительного генерирования уставок качества кодера для рендерируемой в реальном масштабе времени последовательности согласно одному из вариантов осуществления настоящего изобретения;
[30] На фиг. 6 представлена схема данных, сгенерированных во время иллюстративной предварительной генерации уставок качества кодера для видеовставки заданной длины внутри движка в реальном масштабе времени согласно одному из вариантов осуществления настоящего изобретения;
[31] На фиг. 7 показана схема, иллюстрирующая один из примеров предварительного генерирования уставок качества кодера для пространственно соотносимой последовательности согласно одному из вариантов осуществления настоящего изобретения; и
[32] На фиг. 8 приведен пример карты кликов, из которой могут быть извлечены нормализованные уставки качества кодера согласно одному из вариантов осуществления настоящего изобретения.
Подробное раскрытие предпочтительных вариантов осуществления настоящего изобретения
[33] При описании предпочтительных вариантов осуществления настоящего изобретения, проиллюстрированных на чертежах, во избежание двусмысленного толкования используется особая терминология. Однако предполагается, что настоящее изобретение не ограничено выбранными конкретными терминами, причем следует понимать, что каждый конкретный термин включает в себя все технические эквиваленты, которые действуют аналогичным образом для достижения аналогичной цели. Некоторые предпочтительные варианты осуществления настоящего изобретения описаны исключительно в иллюстративных целях, причем следует понимать, что заявленное изобретение может быть реализовано в иных формах, специально не показанных на чертежах.
[34] Обычно в ходе видеоигры, передаваемой потоком в реальном масштабе времени со скоростью 60 кадров в секунду, кодер рассчитывает векторы движения и остатки. Когда видеокадр существенно отличается от предыдущего кадра, что обусловлено новой видеоинформацией, рассчитываемые кодером остатки могут превышать норму, вызывая всплеск сетевого трафика. Кодер адаптирует свои кодирующие уставки во время потокового вещания, реагируя на такие факторы, как всплески скорости передачи битового потока, но корректировать уставки он может лишь в качестве ответной меры.
[35] В случаях, когда видеокадры рендерируются в реальном масштабе времени, кодеру могут передаваться заблаговременные уведомления для превентивной адаптации уставок кодирования с целью поддержания качества на максимально высоком уровне для конкретного ограничения скорости передачи битового потока. Процесс предоставления подсказок для переопределения выбираемых кодером уставок называется выдачей подсказок. Поскольку рендерер обладает информацией о кадрах перед их кодированием, в отдельных случаях рендерер больше подходит для выбора соответствующих уставок кодера и, соответственно, должен выдавать кодеру подсказки. Рендерер может выдавать подсказки кодеру, если входящий кадр представляет собой высокоэнтропийное изображение, если входящий кадр не имеет отношения к предыдущим кадрам, или по иным причинам, которые могут привести к увеличению остатков, понижению качества или всплескам в скорости передачи битового потока.
[36] На фиг. 1 представлена схема, иллюстрирующая один из примеров осуществления среды, в которой рендерируемое в реальном масштабе времени видео транслируется потоком для удаленного зрителя. Сервер 100 может состоять из любых аппаратных средств, выполненных с возможностью одновременного выполнения процесса 102 рендеринга в реальном масштабе времени (также именуемых в настоящем документе рендерером), и потокового кодека 104 (также именуемого в настоящем документе кодером). Сервер 100 может включать в себя одно или несколько аппаратных устройств, включая один или несколько серверов 105 телеметрии, которые выполняют телеметрические измерения, что будет описано ниже. Сервер 100 и сервер 105 телеметрии могут располагаться локально или удаленно относительно места выполнения процесса 102 рендеринга или кодека 104. Кодек 104 может быть также выполнен с возможностью передачи уставок качества кодера обратно в процесс 102 рендеринга с использованием процесса прямой передачи отчетов или иного процесса отслеживания, известного в данной области техники. Поток кодированных видеоданных передается по сети на клиентское устройство 106. Клиент 106 может включать в себя любые аппаратные средства, выполненные с возможностью декодирования и отображения потока видеоданных.
[37] На фиг. 2 представлена блок-схема алгоритма, иллюстрирующая стадии выдачи подсказок кодеру на основании оценки нагрузки. Когда рендерер генерирует видео, процесс рендеринга или какой-либо иной процесс на стороне сервера должен отслеживать информацию, которая могла бы изменить необходимый способ кодирования кадра, что осуществляется на стадии 200 «Отслеживание события». Эта информация может включать в себя такие сведения, как количество вызовов отрисовки, направленных рендереру во время этого кадра; попытку вычисления размера кодированных остатков на основании количества пикселей, появляющихся впервые в кадре; или какие-либо иные данные, которые пытаются соотнести характеристики рендеринга с производительностью кодера. Отслеживаемая информация может включать в себя любое сообщение, рассчитанный результат, конечный показатель или иное дискретно измеряемое значение, которое появляется во время выполнения процесса рендеринга. Когда считанная информация указывает на то, что размер кодированного кадра будет существенно отличаться от размера предыдущего кодированного кадра, эта информация называется событием.
[38] Событие может возникнуть в рендерере, как это показано на фиг. 3, где в одном из примеров реализации отслеживания для выявления пиков в процессе рендеринга осуществляется мониторинг времени рендеринга каждого кадра с целью выявления необычно длительного или необычно короткого времени кадра. В этом случае необычное время рендеринга кадра считается событием.
[39] При получении рендерером какого-либо события может потребоваться проведение рендерером некоторых дополнительных вычислений для генерирования уставок качества кодера с целью выдачи подсказок кодеру, что осуществляется на стадии 202 «Подготовка уставок качества кодера для текущего кадра». Эти вычисления могут включать в себя модифицирование информации, измеренной во время отслеживания событий на предыдущих стадиях. Эти вычисления могут также включать в себя модифицирование уставки качества кодера при прогоне, которые передаются кодером на рендерер по каждому кадру, и доступность которых должна быть обеспечена по мере необходимости, что осуществляется на стадии 204 «Передача уставок кодера для каждого кодированного кадра». Сгенерированные уставки качества кодера передаются из рендерера на кодер на стадии 206 «Выдача кодеру подсказок с подготовленными уставками кодера». Рендерер продолжит отслеживание событий по последующим кадрам.
[40] В примере, приведенном на фиг. 3, когда рендеринг кадра отнимает необычно много времени, рендерер выдаст кодеру подсказку об уменьшении уставки качества пропорционально размеру пика времени этого кадра. Для подготовки значения уставки качества кодера рендерер может использовать измеренное время текущего кадра, измеренное время ряда предыдущих кадров и рабочие уставки качества кодера, переданные кодером. Эти вычисления подробнее описаны в привязке к фиг. 3.
[41] Доступ к информации о кадрах, которая может быть использована для выдачи подсказок по уставкам кодера, могут также иметь и другие процессы, выполняемые на сервере. Например, игровой движок, содержащий рендерер, может использовать измеренное влияние визуальных эффектов, инициированных игрой, на полосу пропускания кодированного видеосигнала с тем, чтобы уменьшить уставку качества кодера. Для сбора информации по дополнительным издержкам на кодирование заданного визуального эффекта разработчику может потребоваться наложение этого эффекта и измерение увеличения скорости передачи битового потока во время кодирования при различных уставках качества кодера. Результаты измерений могут быть использованы для выбора качества, при котором размер кодированного кадра, содержащего визуальный эффект, примерно соответствует размеру предыдущего кодированного кадра без визуального эффекта. Разница между уставкой качества, выбранной для визуального эффекта, и уставкой качества по умолчанию называется дельтой уставок. Кодеру может быть выдана подсказка о необходимости использования выбранного качества или снижения текущего качества в зависимости от измеренной дельты уставок. Результаты должны быть сохранены в формате, который может без труда преобразовать событие наложения визуального эффекта в соответствующую подсказку кодеру, такую как таблица подстановки или индексный массив иного типа.
[42] На фиг. 3 представлен один из примеров осуществления, где детектируются максимумы и минимумы времени кадров с соответствующим последующим изменением уставок кодера. Этот пример использует корреляцию между временем рендеринга и энтропией изображения для оценки влияния эффекта на скорость передачи битового потока видеоданных. Если кадр содержит большой объем новой визуальной информации, т.е. дополнительные элементы, которые вносятся в кадр в первый раз, то скорее всего на рендеринг этого кадра потребуется больше времени в сравнении с предыдущими кадрами. Например, если рендеринг кадра осуществляется примерно с таким же временем кадра, что и предыдущий кадр, то скорее всего среда существенно не изменилась. Эта неявная корреляция особенно четко проявляется в игре/движке от первого лица. Если время кадра при рендеринге неожиданно увеличивается, это значит, что в среду было добавлено нечто новое. Кодер также попытается справиться с любой новой видеоинформацией, такой как неожиданные взрывные эффекты на весь экран или неожиданные новые геометрические формы на экране. Аналогичным образом большой объем новой информации в кадре увеличит размер остатков, рассчитанный кодером. Следовательно, отслеживание пиков при рендеринге времени может идентифицировать кадры, которые с большой долей вероятности содержат высокоэнтропийные изображения, еще до того, как они могут вызвать всплеск в скорости передачи битового потока видеоданных.
[43] При обработке сигналов и статистическом анализе применяется скользящее среднее, которое используется для идентификации кратковременных выбросов с учетом долгосрочных трендов. Скользящее среднее рассчитывается путем нахождения среднего арифметического для определенного числа предыдущих точек данных; при этом массив предыдущих точек данных, используемый для расчета скользящего среднего, называется скользящим окном. В случае рендеринга в реальном масштабе времени идентификация значений времени кадра, которые отклоняются от скользящего среднего времени кадра, может быть использована для идентификации высокоэнтропийных кадров. Скользящее среднее время 300 кадра в этом примере представляет собой среднее время кадра для предыдущего скользящего окна. Иначе говоря, значения времени кадра суммируется для каждого кадра в скользящем окне, после чего полученная сумма делится на количество кадров в скользящем окне. Размеры скользящего окна могут быть скорректированы с учетом типичной частоты долгосрочных трендов времени кадра, замеряемой во время профилирования прогона с целью проверки типичных трендов данных. В примере скользящего окна с десятью кадрами среднее время кадра будет рассчитано, исходя из предыдущих десяти значений времени кадра. Если скользящее окно слишком мало, то в качестве побочного эффекта, возникающего при использовании любого фильтра «размытие границ», могут наблюдаться лишние ложноположительные срабатывания при выявлении пиков. При этом кадр может быть классифицирован как «крайне занятый», тогда как в действительности более длительное время кадра объясняется определенной долговременной моделью поведения, которая часто возникает в рендерере. Скользящее среднее время 300 кадра сопровождается верхней границей 302 допуска и нижней границей 304 допуска. Допуск может быть скорректирован для идентификации типичных кратковременных трендов времени кадра. Для рендерера, работающего в реальном масштабе времени с частотой 60 кадров в секунду, может оказаться достаточным допуск ±1 мс или около 6,25%. Значения времени кадра могут варьироваться в пределах допуска скользящего среднего времени кадра, не инициируя выдачу подсказок кодеру. Определение подходящего размера окна и значений допуска может потребовать определенного профилирования прогона с целью выявления типичных трендов во времени кадра. Например, игра, в которой кадры меняются с частотой 100 кадров в секунду, может обновлять тени только через кадр, обуславливая обычное дрожание изображения длительностью 1 мс, что требует допуска свыше 10%. В то же время игра может без проблем выполняться с частотой 30 кадров в секунду при высокой стабильности времени кадров в 33 мс, причем на наиболее требовательные визуальные эффекты затрачивается всего 0,5 мс, и поэтому допуск может составлять всего 1,5%.
[44] Время текущего кадра сравнивается со скользящим средним временем кадра. Если время текущего кадра выходит за границы допуска, то на кодере осуществляется коррекция качества. Границы допуска могут быть рассчитаны путем измерения значений времени кадра с использованием процесса, называемого профилированием, с целью проверки типовых изменений во времени кадра между соседними или близкими кадрами (кратковременные тренды) и изменений во времени кадра по определенным окнами (таким как периодически повторяющиеся шаблоны или долговременные тренды). Затем размер скользящего окна и допуск могут корректироваться до тех пор, пока выдача подсказок кодеру не будет инициироваться только в моменты высокой энтропии/занятости, но не в те моменты, когда игрок перемещается и исследует игровое окружение. Если время кадра превышает верхнюю границу 302 допуска, как в приведенном примере 306 «Кадр 2», то качество кодирования будет уменьшено. Если время кадра меньше нижней границы 304 допуска, как в приведенном примере 308 «Кадр 5», то качество кодера будет повышено. В некоторых вариантах осуществления настоящего изобретения качество кодирования может повышаться обратно до полного объема всякий раз, когда время кадра падает ниже уровня допуска. В зависимости от конкретного варианта осуществления система может также выбрать более медленный вариант обратного масштабирования качества с использованием метода масштабирования, аналогичного тому, который используется для снижения качества.
[45] Один из примеров осуществления способа выдачи подсказок может масштабировать качество в пределах между верхней уставкой качества 310 и нижней уставкой 312 качества. Например, верхней границей могут служить уставки качества по умолчанию, а нижняя граница может составлять определенную процентную долю - например, 50% - от качества по умолчанию. Если максимум времени кадра превышает уровень допуска, то уставки качества могут быть линейно масштабированы в пределах между верхней границей и нижней границей, исходя из того, насколько максимум времени кадра превышает уровень допуска. Если время кадра опускается ниже уровня допуска, то уставки качества могут вернуться к значению верхней границы.
[46] Для расчета масштабного значения качества для времени кадра, выходящего за пределами допуска, время кадра сначала должно быть нормализовано по отношению к скользящему среднему времени кадра, как это представлено для примера в приведенном ниже уравнении (1).
Figure 00000001
Вычитание единицы из нормализованного времени дает отклонение кадра от скользящего среднего времени кадра. Деление этого отклонения на допуск с последующим вычитанием единицы дает масштабное значение. Это масштабное значение должно быть зафиксировано таким образом, чтобы оно оставалось в пределах между 0 и 1; все отрицательные масштабные значения должны быть зафиксированы на нуле; а все значения свыше 1 должны быть зафиксированы на 1, как это представлено для примера в приведенном ниже уравнении (2).
Figure 00000002
[47] Зафиксированное масштабное значение может быть использовано для интерполяции между верхней уставкой качества и нижней уставкой качества. Зафиксированное масштабное значение, равное нулю, отображает верхнюю границу качества, а зафиксированное масштабное значение, равное единице, отображает нижнюю границу качества, как это представлено для примера в приведенном ниже уравнении (3).
Figure 00000003
[48] Если «Кадр 2» 306 в этом примере занимает 16 мс, когда скользящее среднее составляет 15 мс, то результирующее зафиксированное масштабное значение будет равно 0,025 или составит 2,5%. Если верхним граничным значением качества служат уставки качества по умолчанию, а нижняя граница составляет 50% от уставки качества по умолчанию, то приведенная к масштабу уставка качества для этого кадра составит 98,75% от уставки качества по умолчанию.
[49] Если «Кадр 5» 308 занимает 14,25 мс, когда скользящее среднее составляет 15,25 мс, то время кадра будет ниже уровня допуска, и масштабное значение будет зафиксировано на нуле. Приведенная к масштабу уставка качества станет равной верхним уставкам качества.
[50] Множество способов выдачи подсказок кодеру может быть многоуровневым за счет объединения подготовленных уставок качества кодера, что осуществляется на подготовительной стадии 400, показанной на фиг. 4, перед передачей на кодер агрегированного значения уставок качества кодера для выдачи подсказок, что проиллюстрировано на стадии 406, показанной на фиг. 4. В одном из вариантов осуществления настоящего изобретения может быть установлено среднее арифметическое подготовленных уставок качества кодера с целью генерирования отдельного значения, в равной мере объединяющего пропорциональные доли, вносимые всеми источниками. В другом варианте осуществления настоящего изобретения может быть рассчитано взвешенное среднее арифметическое путем приписывания каждому источнику определенного весового значения, которое может обеспечить значение уставок качества кодера для выдачи подсказок кодеру. Приписанные весовые значения могут быть использованы для более строго оценивания одного содействующего источника относительно другого. Например, пропорциональные доли, вносимые событием в виде пика времени кадра, могут характеризоваться более сильной корреляцией по изменениям кодированной скорости передачи битового потока в сравнении с пропорциональными долями, вносимыми событием в виде одиночного визуального эффекта, и поэтому может оказаться целесообразным более высоко оценивать пропорциональные доли, вносимые событием в виде пика времени кадра. Взвешенное среднее арифметическое может быть рассчитано с использованием стандартного определения, как это представлено для примера в приведенном ниже уравнении (4), где i=1 обозначает первое число в наборе из n-ого количества уставок качества. Следует отметить, что индексы в математических множествах начинаются с единицы, отличаясь от индексов программирования, которые начинаются с нуля.
Figure 00000004
[51] На фиг. 4 представлена иллюстративная блок-схема алгоритма, раскрывающая использование предварительно сгенерированных уставок качества кодера во время прогона активного рендерера. Рендерер должен отслеживать последовательности, которые содержат набор предварительно сгенерированных уставок качества кодера, что осуществляется на стадии 400 «Отслеживание игровых последовательностей». Эти последовательности могут включать в себя прогнозируемые во времени последовательности кадров, такие как кат-сцены реального времени внутри движка, или прогнозируемые во времени или пространстве последовательности, которые могут быть преобразованы во временные ряды во время прогона, когда известно местоположение игрока. Прогнозируемые во времени последовательности представляют собой последовательности кадров, в которых каждый кадр находится в определенной известной взаимосвязи с соседним кадром. Иначе говоря, последовательность кадров является прогнозируемой во времени, если она характеризуется постоянной длиной и устойчивым порядком, а любые два соседних кадра характеризуются устойчивой взаимосвязью по данным об элементе изображения и данным о движении. Пространственно прогнозируемые последовательности предусматривают определенную взаимосвязь между двумя соседними виртуальными местоположениями, которая может быть использована для того, чтобы делать выводы в отношении временной последовательности, которая формируется при прохождении через виртуальное пространство во время прогона рендерера. Иначе говоря, два местоположения в виртуальном пространстве соотносятся в пространственном отношении, если они создают прогнозируемую во времени последовательность, когда виртуальная камера перемещается между двумя виртуальными местоположениями. Например, в видеоигре два соседних местоположения соотносятся во времени, если перемещение между двумя местоположениями создает видеоизображение, в котором данные об элементе изображения и данные о движении являются отчасти взаимоувязанными. Как правило, это характерно для большинства 3D-уровней в видеоиграх, поскольку среда и фон, окружающие игрока, обычно рендерируются в фиксированных точках по мере прохождения игроком этого уровня.
[52] Предварительное генерирование уставок качества кодера подробнее описано в привязке к фиг. 5. Предварительно сгенерированные уставки качества кодера сохраняются на диск сервера в формате, который может считываться во время прогона, например, в виде таблицы подстановки или карты кликов. После выявления начала последовательности выполняется считывание и подготовка предварительно сгенерированных уставок качества кодера для выявленной игровой последовательности, что осуществляется на стадии 602 «Нахождение предварительно сгенерированных уставок кодера для игровой последовательности». Подготовка уставок качества кодера может потребоваться, если перед сохранением они были нормализованы. Подготовка может включать в себя умножение нормализованных уставок качества кодера на рабочую уставку качества кодера, целевую уставку качества кодера или уставку качества кодера, полученную из какого-либо иного источника. В некоторых вариантах осуществления настоящего изобретения детектирование события может проводиться для предварительно сгенерированных уставок качества кодера каждой последовательности. В других вариантах осуществления настоящего изобретения предусмотрено проведение проверки во время прогона, когда каждая кат-сцена начинает определять, входит ли она в список последовательностей, для которых предусмотрены уставки. Если перед сохранением предварительно сгенерированных уставок качества кодера они были нормализованы, то будет выполнена стадия умножения с целью подготовки уставок качества кодера. В примере, раскрытом в привязке к фиг. 6, уставки качества кодера генерируются для кадров в кат-сцене реального времени внутри движка и приводятся к первому кадру последовательности. Для нормализованного временного ряда, такого как этот, уставки качества кодера должны быть подготовлены путем умножения нормализованных значений на рабочую уставку качества кодера для первого кадра в последовательности. Уставки качества кодера сообщаются кодером по каждому кадру, а их доступность должна быть обеспечена по мере необходимости, что осуществляется на стадии 604 «Передача уставок кодера для каждого кодированного кадра». В примере, раскрытом в привязке к фиг. 7, уставки качества кодера генерируются для каждого местоположения на карте и приводятся к средней уставке качества кодера по всей карте. Для нормализованного пространственного ряда, такого как этот, уставки качества кодера потребуют подготовки путем умножения нормализованных значений на рабочую уставку качества кодера для первого кадра в последовательности.
[53] Уставки качества кодера будут переданы на кодер по каждому кадру в последовательности на стадии 606 «Выдача кодеру подсказок с предварительно сгенерированными уставками кодера». Кодер использует уставки качества кодера, переданные рендерером, для кодирования следующего кадра. Рендерер продолжит подготовку предварительно сгенерированных уставок качества кодера и выдачу кодеру подсказок по каждому кадру до тех пор, пока последовательность не будет завершена. По завершении последовательности рендерер продолжит отслеживание, перейдя к следующей последовательности. В примере с кат-сценой реального времени внутри движка, который описан в привязке к фиг. 6, кодеру будут выдаваться подсказки для каждого кадра до тех пор, пока кат-сцена не будет завершена. В примере реализации способа с использованием карты кликов, который описан в привязке к фиг. 5, кодеру будут выдаваться подсказки на протяжении всего того времени, когда игрок находится в границах области, заданной картой кликов.
[54] На фиг. 5 представлена блок-схема алгоритма, иллюстрирующая стадии предварительного генерирования уставок качества кодера для рендерируемой в реальном масштабе времени последовательности. Уставки качества кодера могут быть предварительно сгенерированы для любой последовательности, которая содержит прогнозируемый и измеряемый временной или пространственный компонент. Последовательность может содержать непрогнозируемые отрезки, такие как кат-сцена реального времени внутри движка, которая будет отрисовывать броню, носимую в данное время персонажем игры, или кат-сцена реальной сложности, которая позволяет игроку перемещаться или оглядываться во время воспроизведения событий. Последовательность, содержащая непрогнозируемые отрезки, должна быть идентифицирована путем поиска взаимосвязей между соседними кадрами в последовательностях временного ряда, таких как кат-сцены реального времени внутри движка, или взаимосвязей между соседними местоположениями в виртуальном пространстве, которые будут использованы во время прогона для создания последовательностей кадров, таких как проходимые участки в уровнях видеоигры. Одна такая последовательность должна быть идентифицирована на стадии 500 «Выбор последовательности».
[55] Уставки качества кодера для определенной последовательности должны генерироваться в кодере с целью поддержания постоянной скорости передачи битового потока, что осуществляется на стадии 502 «Генерирование уставок кодера для последовательности». Уставки качества кодера для кат-сцены реального времени внутри движка могут быть рассчитаны путем записи видео кат-сцены и кодирования этого видео в режиме многопроходного кодирования. Многопроходное кодирование закодирует первый кадр и использует размер кодированного первого кадра для наложения ограничения на все последующие кадры. По мере кодирования каждого из последующих кадров их кодированные размеры сравниваются с кодированным размером первого кадра, и уставки качества для текущего кадра корректируются до тех пор, пока кодированные размеры кадров не приблизятся друг к другу. В некоторых вариантах осуществления настоящего изобретения последовательность кадров может кодироваться в режиме многопроходного кодирования с фиксированным числом проходов. В других вариантах осуществления настоящего изобретения эта последовательность может последовательно прогоняться в режиме многопроходного кодирования множество раз до тех пор, пока покадровые размеры не установятся на определенном значении и не будут изменяться в промежутке между последним проходом кодирования и предпоследним проходом кодирования. Уставки качества кодера могут фиксироваться по мере их генерирования или извлечения из результирующей кодированной видеоинформации. Сгенерированные уставки качества кодера будут использованы во время прогона для уравновешивания полосы пропускания на протяжении заданной последовательности во избежание резкого увеличения или спада скорости передачи битового потока. В отличие от предварительного кодирования видео предварительно отрендеренной кат-сцены и его сохранения для воспроизведения, генерирование уставок качества кодера описанным способом позволит включить в кат-сцены реального времени внутри движка контент на основе контекста, такой как выбираемая на усмотрение игрока броня, оружие или иные косметические элементы, с сохранением при этом преимуществ уравновешивания полосы пропускания, которое обеспечивается предварительно сгенерированными уставками качества.
[56] Аналогичный процесс может быть повторен множество раз с целью генерирования уставок кодера для пространственно соотносимой последовательности. Этот процесс подробнее описан на примере потока данных, раскрытого в привязке к фиг. 7.
[57] Для кат-сцен реального времени внутри движка уставки качества кодера для каждого кадра должны быть нормализованы путем из деления на значение уставки качества кодера для первого кадра в последовательности. Это позволяет динамическим элементам последовательности, таким как броня игрока или косметические элементы, быть представленными в окончательных уставках качества кодера, подготовленных во время прогона. Для пространственно соотносимых последовательностей, которые сохраняются в карте кликов, каждая уставка качества кодера должна быть нормализована с ее приведением к средней уставке качества кодера по всей области, заданной картой кликов, путем деления каждой уставки качества кодера на среднюю в масштабе всей карты уставку качества кодера. Пример карты кликов приведен на фиг. 8. Нормализованные значения кодера, сгенерированные в процессе рендеринга, должны быть сведены в соответствующий считываемый во время прогона формат, такой как список уставок качества кодера для каждого кадра во временном ряду или карта кликов, которая задает уставку качества кодера для каждого местоположения в карте, и сохранены на стадии 504 «Нормализация и сохранение уставок качества кодера для каждого кадра в последовательности».
[58] На фиг. 6 показано, как генерируются данные во время иллюстративной предварительной генерации уставок качества кодера для кат-сцены заданной длины в реальном масштабе времени внутри движка. Кат-сцены реального времени внутри движка, в отличие от предварительно отрендеренных кат-сцен, генерируются во время прогона с использованием того же движка рендеринга, что используется для получения остальных рендерируемых в реальном масштабе времени выходных видеоданных. Кат-сцена реального времени внутри движка может также включать в себя контекстную информацию о состоянии игры, например, о носимых игроком косметических элементах, неигровых персонажах в группе игрока или об ином состоянии игры, которое управляется по желанию игрока. Хотя кат-сцены реального времени внутри движка традиционно характеризуются более низким качеством в сравнении с предварительно отрендеренными кат-сценами, они получают все более широкое распространение по мере того, как рендерируемая в реальном масштабе времени точность имитации визуальной обстановки приближается к предварительно отрендеренной точности имитации визуальной обстановки. Кат-сцены реального времени внутри движка также широко используются в тех случаях, когда несколько опций, таких как варианты выбора языка, варианты выбора разрешения и варианты выбора индивидуализации персонажа, могли бы повлиять на выходные видеоданные кат-сцены с тем, чтобы не было необходимости включать в игровой диск множество версий предварительно отрендеренной кат-сцены.
[59] В этом примере выбрана кат-сцена реального времени внутри движка длиной в 480 кадров и продолжительностью около 8 секунд для игры, выполняемой с частотой 60 кадров в секунду. Эта кат-сцена будет воспроизводить одну и ту же серию событий для всех игроков. Видео кат-сцены записывается в рендерере, формируя серию из 480 кадров в записанной последовательности 600. Записанная последовательность 600 кодируется в режиме многопроходного кодирования. При кодировании каждого кадра в записанной последовательности процесс многопроходного кодирования будет изменять уставки качества кодера с тем, что размер кодированного кадра приближался к кодированному размеру первого кадра. Первый кадр в последовательности используется в качестве эталона размера кадра, обеспечивая устойчивую скорость передачи битового потока по всей кодированной последовательности.
[60] Уставки 602 качества многопроходного кодера или записываются в процессе кодирования в кодере, или извлекаются из кодированных результатов, сгенерированных кодером. Уставки качества кодера представляют собой упорядоченный список чисел с плавающей точкой. При 4 байтах в расчете на число с плавающей точкой, весь упорядоченный список из 480 чисел с плавающей точкой использует всего 1920 байт данных. Малый размер файла позволяет активному рендереру сохранять в памяти множество наборов предварительно сгенерированных уставок кодера во время прогона, и может дать благоприятный результат выполнения процесса, описанного в настоящем документе, для каждой игровой последовательности, не упираясь в ограничения памяти.
[61] В рендерере уставки качества кодера нормализуются с их приведением к первому кадру, как это представлено для примера в приведенном ниже уравнении (5).
Figure 00000005
Нормализованные уставки 604 качества кодера сохраняются в виде упорядоченного списка чисел с плавающей точкой, предпочтительно в кодере.
[62] Упорядоченный список нормализованных уставок 604 качества считывается в начале воспроизведения кат-сцены во время прогона. Нормализованные уставки качества умножаются на рабочую уставку качества кодера для первого кадра в последовательности в соответствии с данными кодера, переданными в движок рендеринга, а затем используются для выдачи подсказок кодеру по каждому последующему кадру в кат-сцене. В некоторых вариантах осуществления настоящего изобретения библиотека ffmpeg, совместимая со стандартом Н.264, которая прогоняется в режиме CRF (постоянное значение оценки как метод однопроходного сжатия видео), примет переопределенное значение параметра квантизации на командной строке с использованием -crf переключателя.
[63] Нормализация уставок качества кодера позволяет использовать предварительно сгенерированные уставки качества кодера во время воспроизведения кат-сцены во время прогона в самых разных контекстах. Например, умножение нормализованных уставок 604 кодера на рабочую уставку качества кодера, переданную кодером для первого кадра в последовательности, дает устойчивую скорость передачи битового потока для всей кат-сцены вне зависимости от того, какую броню для ношения выбрал игрок. Аналогичным образом этот способ учитывает разные уставки рендеринга, такие как разрешение экрана, при которых может воспроизводиться кат-сцена реального времени внутри движка.
[64] На фиг. 7 показана схема, иллюстрирующая один из примеров предварительного генерирования уставок качества кодера для пространственно соотносимой последовательности, такой как последовательность, генерируемая во время прогона, когда игрок проходит виртуальное пространство в видеоигре. Положение игрока в видеоигре может, в общем, коррелировать с энтропией изображения выдаваемого видео, поскольку взгляд игрока имеет непропорционально большое влияние на скорость передачи битового потока кодированного видео. Эта корреляция лучше всего видна, если сравнить скорость передачи битового потока кодированного видео между видеоизображениями, захваченными в открытых зонах, и видеоизображениями, захваченными в ограниченных зонах. Открытые зоны, такие как участки на открытом пространстве, дают видео с более высокой средней скоростью передачи битового потока, тогда как ограниченные зоны, такие как коридоры, дают видео с более низкой средней скоростью передачи битового потока. Такое соотношение имеет место потому, что открытые зоны чаще всего представляют собой неоднородные обширные пространства с множеством конкурирующих движений, например, вследствие оживления окружающей среды через растительность, тогда как зоны внутри помещений по большей части состоят из статических геометрических объектов архитектуры, которые создают связанные векторы движения и меньше остатков.
[65] Карта может быть сегментирована сеткой, и для каждой ячейки в этой карте может быть предварительно сгенерирована уставка качества кодера с формированием карты кликов, показанной на фиг. 5, для нормализованных уставок качества кодера. Типичная скорость передачи битового потока для данного местоположения игрока может быть зафиксирована или с использованием множества реальных прохождений игры или через процедурно-генерируемые прохождения игры. Поскольку реальные игроки непредсказуемы, часто невозможно процедурно сгенерировать прохождения игры, точно фиксирующие пути, по которым игроки будут проходить виртуальное пространство. Процедурное прохождение игры может быть сгенерировано для любого предполагаемого пути прохождения с целью быстрого покрытия всей карты, но при этом могут быть пропущены некоторые возможные пути прохождения, которые могут быть обнаружены реальными игроками. Каждый подход имеет свои недостатки: отслеживание телеметрии в реальном масштабе времени занимает слишком много времени, а процедурно-генерируемые данные могут неточно отражать процесс реальной игры. В некоторых вариантах осуществления настоящего изобретения для обеспечения более точной карты кликов может быть использовано сочетание обеих записей.
[66] Записанное видео должно не только содержать видеокадры, как в записанной последовательности 600, показанной на фиг.6, но также и устанавливать местоположение игрока для каждого кадра. Местоположение игрока может находиться в 3D-пространстве, или же оно может быть упрощено до 2D-плоскости, отображаемой в виде нисходящей карты. В примере осуществления способа, который описан в привязке к фиг. 7, представлены части двух примеров зафиксированного прохождения игры, а именно первого прохождения игры, обозначенного позицией «Первое зафиксированное прохождение игры» на стадии 700, и второго прохождения игры, обозначенного позицией «Второе зафиксированное прохождение игры» на стадии 702. Видеокадры захватываются вместе с местоположениями игрока. Каждый видеокадр в захваченном видео прохождения игры отсортировывается по местоположению в соответствующую ячейку. В этом примере кадр 4 из первого зафиксированного прохождения игры показан на стадии 700 «Первое зафиксированное прохождение игры», а второй кадр 2 из второго зафиксированного прохождения игры показан на стадии 702 «Второе зафиксированное прохождение игры». На стадии 704 «Карта кликов» они оба отсортировываются в ячейку В6 на стадии 706 «Ячейка В6». Поскольку пример осуществления этой ячейки является довольно большим, то иллюстративная карта кликов, показанная на фиг. 8, отображает карту кликов с намного более мелкими ячейками для увеличения разрешения.
[67] Как процедурно-генерируемые, так и реальные прохождения игры, могут генерироваться и фиксироваться в рендерере. Результирующие записи прохождений игры могут собираться в централизованном месте сбора в рендерере. По мере сбора множества прохождений игры каждая ячейка в карте кликов может включать в себя множество кадров, записываемых в одном месте в пределах ячейки. На этапе разработки для сбора этих данных может быть использован сервер 105 телеметрии. После этого движок рендеринга/игровой движок может генерировать телеметрию и передавать ее в централизованное место сбора. Сервер 105 телеметрии может располагаться локально или удаленно относительно рендерера. Генерируемая телеметрия может также собираться вручную путем ручного сбора создаваемых файлов телеметрии, получаемых из локальной рендер-машины, и передаваться в централизованное хранилище. Пример, приведенный на фиг. 7, показывает начало списка кадров, относящихся к ячейке В6, обозначенного как «Кадры ячейки В6» на стадии 708. Этот список пространственно-соотносимых кадров будет расти по мере сбора или генерирования все большего числа записей о прохождениях игры.
[68] Собранная совокупность кадров, относящихся к определенной ячейке, может кодироваться с использованием режима однопроходного кодирования, используемого во время передачи потокового видео с целевой уставкой качества кодера, что осуществляется на стадии 710 «Кодирование заданного качества». Размер кодированного кадра будет сгенерирован для каждого кадра, относящегося к ячейке. Пример, приведенный на фиг. 7, показывает начало списка размеров кодированных кадров, относящихся к ячейке В6, обозначенного как «Размер кодированных кадров в ячейке В6» на стадии 712. Эти размеры кодированных кадров могут быть усреднены с целью нахождения среднего размера кодированного кадра в ячейке. Пример, приведенный на фиг. 7, показывает средний размер кодированного кадра в отношении ячейки В6, обозначенный как «Средний размер кодированного кадра для ячейки В6» на стадии 714. Этот процесс должен быть повторен для всех ячеек в карте кликов с целью нахождения среднего размера кодированного кадра для каждой ячейки. Средние размеры кодированных кадров представлены для ячейки В6 с определением «Средний размер кодированного кадра для ячейки В6» на стадии 714 и для ячейки В7 с определением «Средний размер кодированного кадра для ячейки В7» на стадии 714, отображая список усредненных размеров кодированных кадров для всех ячеек в карте кликов.
[69] Все средние размеры кодированного кадра для каждой ячейки должны быть усреднены для нахождения среднего размера кадра для всей карты, что осуществляется на стадии 718 «Средний размер кодированного кадра для всех ячеек». Этот средний размер кодированного кадра для всей карты может быть использован в качестве целевой полосы пропускания. Ячейки со средними размерами кодированного кадра, превышающими среднее значение для всей карты, будут повторно кодироваться с уменьшенной уставкой качества кодера до тех пор, пока средний размер кадра в ячейках почти не сравняется со средним значением для всей карты. Аналогичным образом ячейки со средними размерами кодированного кадра, которые меньше среднего значения для всей карты, будут повторно кодироваться с увеличенной уставкой качества кодера до тех пор, пока средний размер кадра в ячейках почти не сравняется со средним значением для всей карты. В некоторых вариантах осуществления настоящего изобретения последовательность кадров для заданной ячейки может кодироваться в режиме многопроходного кодирования с фиксированным числом проходов. В других вариантах осуществления настоящего изобретения эта последовательность может последовательно прогоняться в режиме многопроходного кодирования множество раз до тех пор, пока покадровые размеры не установятся на определенном значении и не будут изменяться в промежутке между последним проходом кодирования и предпоследним проходом кодирования. В примере, приведенном на фиг. 7, средний размер кодированного кадра для ячейки В6 на стадии 714 превышает средний размер кодированного кадра для всех ячеек на стадии 718 «Средний размер кодированного кадра для всех ячеек». Пространственно-соотнесенные кадры, относящиеся к ячейке В6 на стадии 708 «Кадры для ячейки В6», повторно кодируются в кодере в рамках их исходной последовательности для прохождения игры с использованием режима многопроходного кодирования и целевого размера кадра на стадии 720 «Кодирование более низкого качества» до тех пор, пока средний размер кодированного кадра для ячейки В6 на стадии 724 «Уменьшенный средний размер кодированного кадра для ячейки В6» не приблизится к среднему размеру кодированного кадра для всех ячеек на стадии 718 «Средний размер кодированного кадра для всех ячеек». По завершении процесса в отношении всех ячеек все средние размеры кадра для ячеек должны быть примерно одинаковыми.
[70] Каждая ячейка должна характеризоваться наличием соотнесенной уставки качества кодера, которая была использована для генерирования среднего размера кодированного кадра для ячейки, сопоставимого со средним размером кодированного кадра для всей карты в целом. Уставки качества кодера в расчете на ячейку могут быть нормализованы по средней уставке кодированного кадра для всей карты, например, с использованием уравнения (6), представленного ниже.
Figure 00000006
[71] Во время потоковой передачи видеоданных игра может извлечь из ячейки карты кликов нормализованную уставку качества кодера, соответствующую текущему положению игрока, и использовать ее для выдачи подсказки кодеру путем передачи переопределенной уставки качества. Как было указано выше, в некоторых вариантах осуществления настоящего изобретения библиотека ffmpeg, совместимая со стандартом Н.264, которая прогоняется в режиме CRF (постоянное значение оценки как метод однопроходного сжатия видео), примет переопределенное значение параметра квантизации на командной строке с использованием -crf переключателя для выдачи подсказок кодеру. Пример карты кликов, из которой могут извлекаться нормализованные уставки качества кодера, приведен на фиг. 8.
[72] По мере нормализации уставок качества кодера может выполняться объединение этих уставок из множества источников, таких как пространственно-соотносимая последовательность и последовательность во времени, что осуществляется на подготовительной стадии 402 «Нахождение предварительно сгенерированных уставок кодера для игровой последовательности», проиллюстрированной на фиг. 4. Перед выполнением этой стадии нормализованные значения могут быть помножены друг на друга для генерирования уставки качества кодера, которая в неявной форме учитывает влияние, оказываемое на скорость передачи битового потока кодированного видео каждой исходной последовательностью. Например, местоположение игрока используется для считывания с карты кликов предварительно сгенерированной нормализованной уставки качества кодера, а оружие игрока выдает серию выстрелов, которая характеризуется предварительно сгенерированной нормализованной уставкой качества кодера временного ряда. Эти два нормализованных значения перемножаются друг на друга на стадии подготовки для учета влияния местоположения игрока и выбора оружия на скорость передачи битового потока кодированного видео.
[73] Предшествующее описание и чертежи должны рассматриваться исключительно как иллюстративно раскрывающие принципы заявленного изобретения. Предполагается, что настоящее изобретение не ограничено предпочтительным вариантом своего осуществления, и оно может быть реализовано самыми разными способами, которые будут понятны любому специалисту в данной области техники. Многочисленные сферы применения настоящего изобретения будут очевидны для специалистов в данной области техники. Следовательно, представляется нецелесообразным ограничивать заявленное изобретение конкретными раскрытыми примерами его осуществления или конкретной конструкцией и режимом работы, показанными и описанными в настоящем документе. Соответственно, все подходящие модификации и эквиваленты могут рассматриваться как входящие в объем заявленного изобретения.

Claims (73)

1. Выполняемый на компьютере способ кодирования данных, включающий в себя следующие стадии:
запись одного или нескольких прохождений игры в игровой среде;
отсортировку множества кадров из одного или нескольких прохождений игры во множество ячеек на карте кликов, причем указанная отсортировка дает список отсортированных кадров, соотносимых с картой кликов;
сбор списка отсортированных кадров в рендерере;
кодирование одного или нескольких кадров из списка отсортированных кадров для расчета среднего размера кодированного кадра для каждой ячейки в карте кликов, причем каждый средний размер кодированного кадра соотносится с нормализованной для каждой ячейки уставкой качества кодера; и
расчет среднего размера кодированного кадра для карты кликов по среднему размеру кодированного кадра каждой ячейки;
при этом во время игры нормализованная для каждой ячейки уставка качества кодера, соответствующая определенной ячейке в карте кликов, используется для выдачи подсказки кодеру по кодированию последовательности видеокадров.
2. Способ по п. 1, в котором один или несколько кадров кодируются в последовательность видеокадров в один проход.
3. Способ по п. 1, дополнительно включающий в себя стадию сохранения нормализованных для каждой ячейки уставок качества кодера в рендерере.
4. Способ по п. 1, в котором одно или несколько прохождений игры сохраняются на сервере телеметрии.
5. Способ по п. 1, в котором одно или несколько прохождений игры состоят из множества кадров и местоположения игрока, соотносимого с каждым кадром из числа множества кадров.
6. Способ по п. 5, в котором местоположение игрока используется для выбора нормализованной для каждой ячейки уставки качества кодера, которая выдает подсказку кодеру.
7. Способ по п. 1, в котором нормализованные для каждой ячейки уставки качества кодера рассчитываются по следующему уравнению:
Figure 00000007
8. Способ по п. 1, дополнительно включающий в себя стадию объединения нормализованных для каждой ячейки уставок качества кодера из пространственно-соотносимой последовательности и последовательности во времени.
9. Система кодирования данных, содержащая: рендерер, при этом рендерер:
записывает одно или несколько прохождений игры в игровой среде;
выполняет отсортировку множества кадров из одного или нескольких прохождений игры во множество ячеек на карте кликов, причем указанная отсортировка дает список отсортированных кадров, соотносимых с картой кликов;
собирает список отсортированных кадров; и
рассчитывает средний размер кадра для карты кликов по среднему размеру кодированного кадра каждой ячейки; и кодер, причем кодер:
кодирует один или несколько кадров из списка отсортированных кадров для расчета среднего размера кодированного кадра для каждой ячейки в карте кликов, причем каждый размер кодированного кадра соотносится с нормализованной для каждой ячейки уставкой качества кодера; и
при этом во время игры нормализованная для каждой ячейки уставка качества кодера, соответствующая определенной ячейке в карте кликов, используется для выдачи подсказки кодеру по кодированию последовательности видеокадров.
10. Система по п. 9, в которой один или несколько кадров кодируются в последовательность видеокадров в один проход.
11. Система по п. 9, в которой рендерер сохраняет нормализованные для каждой ячейки уставки качества кодера.
12. Система по п. 9, в которой одно или несколько прохождений игры сохраняются на сервере телеметрии.
13. Система по п. 9, в которой одно или несколько прохождений игры состоят из множества кадров и местоположения игрока, соотносимого с каждым кадром из числа множества кадров.
14. Система по п. 13, в которой местоположение игрока используется для выбора нормализованной для каждой ячейки уставки качества кодера, которая выдает подсказку кодеру.
15. Система по п. 9, в которой нормализованные для каждой ячейки уставки качества кодера рассчитываются по следующему уравнению:
Figure 00000008
16. Система по п. 9, в которой выполняется объединение нормализованных для каждой ячейки уставок качества кодера из пространственно-соотнесенной последовательности и последовательности во времени.
17. Система для кодирования данных, содержащая:
рендерер, причем рендерер записывает последовательность видеокадров, состоящую из множества кадров; и
кодер, причем кодер кодирует последовательность видеокадров в многопроходном режиме, оптимизируя уставки качества кодера по первому кадру последовательности видеокадров, и при этом кодер записывает уставки качества кодера;
при этом рендерер нормализует уставки качества кодера, приводя их к первому кадру последовательности видеокадров;
при этом нормализованные уставки качества кодера используются для выдачи подсказок кодеру по кодированию последовательности видеокадров; и
при этом нормализованные уставки качества кодера рассчитываются по следующему уравнению:
Figure 00000009
18. Система по п. 17, в которой последовательность видеокадров соотносится во времени с одной или несколькими другими последовательностями видеокадров.
19. Система для кодирования данных, содержащая:
рендерер, причем рендерер записывает последовательность видеокадров, состоящую из множества кадров; и
кодер, причем кодер кодирует последовательность видеокадров в многопроходном режиме, оптимизируя уставки качества кодера по первому кадру последовательности видеокадров, и при этом кодер записывает уставки качества кодера;
при этом рендерер нормализует уставки качества кодера, приводя их к первому кадру последовательности видеокадров;
при этом нормализованные уставки качества кодера используются для выдачи подсказок кодеру по кодированию последовательности видеокадров; и
при этом нормализованные уставки качества кодера сохраняются в виде упорядоченного списка чисел с плавающей точкой.
20. Система для кодирования данных, содержащая:
рендерер, причем рендерер записывает последовательность видеокадров, состоящую из множества кадров; и
кодер, причем кодер кодирует последовательность видеокадров в многопроходном режиме, оптимизируя уставки качества кодера по первому кадру последовательности видеокадров, и при этом кодер записывает уставки качества кодера;
при этом рендерер нормализует уставки качества кодера, приводя их к первому кадру последовательности видеокадров;
при этом нормализованные уставки качества кодера используются для выдачи подсказок кодеру по кодированию последовательности видеокадров; и
при этом нормализованные уставки качества кодера умножаются на рабочую уставку качества кодера, причем перемноженные нормализованные уставки качества кодера используются для выдачи кодеру подсказок по кодированию последовательности видеокадров.
21. Выполняемый на компьютере способ кодирования, включающий в себя следующие стадии:
запись последовательности видеокадров, состоящей из множества кадров;
кодирование последовательности видеокадров в многопроходном режиме с оптимизацией уставок качества кодера по первому кадру последовательности видеокадров;
запись уставок качества кодера; и
нормализацию уставок качества кодера путем их приведения к первому кадру последовательности видеокадров;
при этом нормализованные уставки качества кодера используются для выдачи подсказок кодеру по кодированию последовательности видеокадров; и
при этом нормализованные уставки качества кодера рассчитываются по следующему уравнению:
Figure 00000010
22. Способ по п. 21, в которой последовательность видеокадров соотносится во времени с одной или несколькими другими последовательностями видеокадров.
23. Выполняемый на компьютере способ кодирования, включающий в себя следующие стадии:
запись последовательности видеокадров, состоящей из множества кадров;
кодирование последовательности видеокадров в многопроходном режиме с оптимизацией уставок качества кодера по первому кадру последовательности видеокадров;
запись уставок качества кодера; и
нормализацию уставок качества кодера путем их приведения к первому кадру последовательности видеокадров;
при этом нормализованные уставки качества кодера используются для выдачи подсказок кодеру по кодированию последовательности видеокадров; и
при этом нормализованные уставки качества кодера сохраняются в виде упорядоченного списка чисел с плавающей точкой.
24. Выполняемый на компьютере способ кодирования, включающий в себя следующие стадии:
запись последовательности видеокадров, состоящей из множества кадров;
кодирование последовательности видеокадров в многопроходном режиме с оптимизацией уставок качества кодера по первому кадру последовательности видеокадров;
запись уставок качества кодера; и
нормализацию уставок качества кодера путем их приведения к первому кадру последовательности видеокадров;
при этом нормализованные уставки качества кодера используются для выдачи подсказок кодеру по кодированию последовательности видеокадров; и
дополнительно включающий в себя стадию умножения нормализованных уставок качества кодера на рабочую уставку качества кодера, причем перемноженные нормализованные уставки качества кодера используются для выдачи кодеру подсказок по кодированию последовательности видеокадров.
RU2019137526A 2017-04-21 2018-04-20 Системы и способы для рендеринга и выдачи подсказок кодеру на основании оценки предварительно кодированной нагрузки RU2720067C1 (ru)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US201762488526P 2017-04-21 2017-04-21
US62/488,526 2017-04-21
US201862647180P 2018-03-23 2018-03-23
US62/647,180 2018-03-23
US201862655901P 2018-04-11 2018-04-11
US62/655,901 2018-04-11
PCT/US2018/028594 WO2018195440A1 (en) 2017-04-21 2018-04-20 Systems and methods for rendering & pre-encoded load estimation based encoder hinting

Related Child Applications (2)

Application Number Title Priority Date Filing Date
RU2019138226A Division RU2753157C2 (ru) 2017-04-21 2018-04-20 Системы и способы выдачи подсказок кодеру на основании оценки предварительно кодированной нагрузки
RU2020114319A Division RU2752723C2 (ru) 2017-04-21 2018-04-20 Системы и способы для рендеринга и выдачи подсказок кодеру на основании оценки предварительно кодированной нагрузки

Publications (1)

Publication Number Publication Date
RU2720067C1 true RU2720067C1 (ru) 2020-04-23

Family

ID=63854317

Family Applications (3)

Application Number Title Priority Date Filing Date
RU2019138226A RU2753157C2 (ru) 2017-04-21 2018-04-20 Системы и способы выдачи подсказок кодеру на основании оценки предварительно кодированной нагрузки
RU2020114319A RU2752723C2 (ru) 2017-04-21 2018-04-20 Системы и способы для рендеринга и выдачи подсказок кодеру на основании оценки предварительно кодированной нагрузки
RU2019137526A RU2720067C1 (ru) 2017-04-21 2018-04-20 Системы и способы для рендеринга и выдачи подсказок кодеру на основании оценки предварительно кодированной нагрузки

Family Applications Before (2)

Application Number Title Priority Date Filing Date
RU2019138226A RU2753157C2 (ru) 2017-04-21 2018-04-20 Системы и способы выдачи подсказок кодеру на основании оценки предварительно кодированной нагрузки
RU2020114319A RU2752723C2 (ru) 2017-04-21 2018-04-20 Системы и способы для рендеринга и выдачи подсказок кодеру на основании оценки предварительно кодированной нагрузки

Country Status (15)

Country Link
US (5) US10362320B2 (ru)
EP (4) EP4109899A1 (ru)
JP (3) JP7145203B2 (ru)
KR (4) KR102447074B1 (ru)
CN (2) CN112153029A (ru)
AU (3) AU2018255414B2 (ru)
BR (1) BR112019021628A2 (ru)
CA (6) CA3108057A1 (ru)
DE (1) DE112018002112T5 (ru)
GB (6) GB2591410A (ru)
MX (2) MX2020012597A (ru)
RU (3) RU2753157C2 (ru)
TW (4) TWI681666B (ru)
WO (1) WO2018195440A1 (ru)
ZA (3) ZA201907683B (ru)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11146608B2 (en) * 2017-07-20 2021-10-12 Disney Enterprises, Inc. Frame-accurate video seeking via web browsers
US10880354B2 (en) 2018-11-28 2020-12-29 Netflix, Inc. Techniques for encoding a media title while constraining quality variations
US10841356B2 (en) 2018-11-28 2020-11-17 Netflix, Inc. Techniques for encoding a media title while constraining bitrate variations
CN111632382B (zh) * 2020-05-25 2021-06-25 腾讯科技（深圳）有限公司 游戏数据同步方法、装置、计算机及可读存储介质
CN111954067B (zh) * 2020-09-01 2022-10-04 杭州视洞科技有限公司 一种提高视频渲染效率与用户交互流畅度的方法
JP7024842B2 (ja) 2020-10-16 2022-02-24 日本ポリプロ株式会社 プロピレン単独重合体
WO2023022943A1 (en) * 2021-08-16 2023-02-23 Google Llc Low-delay multi-pass frame-level rate control using a shared reference frame
US20230247205A1 (en) * 2022-01-31 2023-08-03 Sling TV L.L.C. Bandwidth management using dynamic quality factor adjustments
WO2024001621A1 (en) * 2022-06-27 2024-01-04 Mediatek Inc. Multimedia system with dynamic adaptation

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040036716A1 (en) * 2002-06-12 2004-02-26 Jordahl Jena J. Data storage, retrieval, manipulation and display tools enabling multiple hierarchical points of view
RU2013110285A (ru) * 2010-08-10 2014-09-20 Квэлкомм Инкорпорейтед Режимы быстрого доступа к произвольной точке для сетевой потоковой передачи кодированных видео данных
US20160198166A1 (en) * 2015-01-07 2016-07-07 Texas Instruments Incorporated Multi-pass video encoding
US20160228776A1 (en) * 2012-03-13 2016-08-11 Sony Interactive Entertainment America Llc Sharing recorded gameplay to a social graph
US20160295216A1 (en) * 2015-03-30 2016-10-06 Netflix, Inc Techniques for optimizing bitrates and resolutions during encoding
US20170105004A1 (en) * 2015-10-07 2017-04-13 Qualcomm Incorporated Methods and systems of coding a predictive random access picture using a background picture

Family Cites Families (92)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4501980A (en) 1982-06-04 1985-02-26 Motornetics Corporation High torque robot motor
JPH06129865A (ja) 1992-10-20 1994-05-13 Sumitomo Electric Ind Ltd シングルモ−ドファイバ型デポラライザとその製造方法及び光ファイバジャイロ
JP3265818B2 (ja) * 1994-04-14 2002-03-18 松下電器産業株式会社 動画符号化方法
US5506844A (en) * 1994-05-20 1996-04-09 Compression Labs, Inc. Method for configuring a statistical multiplexer to dynamically allocate communication channel bandwidth
US6118817A (en) * 1997-03-14 2000-09-12 Microsoft Corporation Digital video signal encoder and encoding method having adjustable quantization
EP0919952A1 (en) * 1997-11-28 1999-06-02 Ecole Polytechnique Federale De Lausanne Method for coding/decoding of a digital signal
TW501022B (en) * 1998-03-16 2002-09-01 Mitsubishi Electric Corp Moving picture coding system
US6954800B2 (en) 2000-04-07 2005-10-11 Broadcom Corporation Method of enhancing network transmission on a priority-enabled frame-based communications network
DE60039689D1 (de) * 2000-07-10 2008-09-11 St Microelectronics Srl Verfahren zur Kompression digitaler Bilder
EP1520431B1 (en) 2002-07-01 2018-12-26 E G Technology Inc. Efficient compression and transport of video over a network
US6903662B2 (en) 2002-09-19 2005-06-07 Ergodex Computer input device with individually positionable and programmable input members
US8054880B2 (en) 2004-12-10 2011-11-08 Tut Systems, Inc. Parallel rate control for digital video encoder with multi-processor architecture and picture-based look-ahead window
US8840475B2 (en) * 2002-12-10 2014-09-23 Ol2, Inc. Method for user session transitioning among streaming interactive video servers
US9192859B2 (en) 2002-12-10 2015-11-24 Sony Computer Entertainment America Llc System and method for compressing video based on latency measurements and other feedback
WO2005011255A2 (en) * 2003-06-26 2005-02-03 Thomson Licensing S.A. Multipass video rate control to match sliding window channel constraints
KR101083100B1 (ko) * 2003-07-18 2011-11-16 코닌클리케 필립스 일렉트로닉스 엔.브이. 디지털 비디오 스트림 내의 컨텐트 아이템 검출
JP4180468B2 (ja) * 2003-08-11 2008-11-12 カノープス株式会社 画像圧縮システム及び画像圧縮方法
US7263126B2 (en) * 2003-09-15 2007-08-28 Sharp Laboratories Of America, Inc. System and method for transcoding with adaptive bit rate control
US7408984B2 (en) 2003-09-17 2008-08-05 International Business Machines Corporation Method and system for multiple pass video coding
US8533597B2 (en) 2003-09-30 2013-09-10 Microsoft Corporation Strategies for configuring media processing functionality using a hierarchical ordering of control parameters
US7818444B2 (en) 2004-04-30 2010-10-19 Move Networks, Inc. Apparatus, system, and method for multi-bitrate content streaming
US20060230428A1 (en) * 2005-04-11 2006-10-12 Rob Craig Multi-player video game system
DE602006015650D1 (de) * 2005-07-08 2010-09-02 Tag Networks Inc Videospielsystem mit vorcodierten makroblöcken
US7773672B2 (en) * 2006-05-30 2010-08-10 Freescale Semiconductor, Inc. Scalable rate control system for a video encoder
US8874725B1 (en) * 2006-11-15 2014-10-28 Conviva Inc. Monitoring the performance of a content player
US9697280B2 (en) 2006-12-13 2017-07-04 Quickplay Media, Inc. Mediation and settlement for mobile media
JP4843482B2 (ja) 2006-12-27 2011-12-21 株式会社東芝 情報処理装置およびプログラム
US20080181298A1 (en) * 2007-01-26 2008-07-31 Apple Computer, Inc. Hybrid scalable coding
US8090016B2 (en) * 2007-05-17 2012-01-03 Zoran Corporation Activity normalization for video encoding
US8069258B1 (en) 2007-09-11 2011-11-29 Electronic Arts Inc. Local frame processing to apparently reduce network lag of multiplayer deterministic simulations
WO2009136878A1 (en) 2008-05-08 2009-11-12 Mamoun Al Durra The automatic car cover
WO2009138878A2 (en) 2008-05-12 2009-11-19 Playcast Media Systems, Ltd. Centralized streaming game server
US8264493B2 (en) * 2008-05-12 2012-09-11 Playcast Media Systems, Ltd. Method and system for optimized streaming game server
US8154553B2 (en) 2008-05-22 2012-04-10 Playcast Media System, Ltd. Centralized streaming game server
US8678929B1 (en) 2008-08-01 2014-03-25 Electronics Arts Inc. Client-side prediction of a local game object to reduce apparent network lag of multiplayer simulations
US10192389B2 (en) 2008-09-01 2019-01-29 New Bis Safe Luxco S.À.R.L. Methods, apparatus and systems for determining an adjustment value of a gaming device
US8621044B2 (en) * 2009-03-16 2013-12-31 Microsoft Corporation Smooth, stateless client media streaming
JP5342391B2 (ja) * 2009-09-25 2013-11-13 株式会社メガチップス 画像処理装置
US9565439B2 (en) * 2009-10-15 2017-02-07 Nbcuniversal Media, Llc System and method for enhancing data compression using dynamic learning and control
US9338523B2 (en) 2009-12-21 2016-05-10 Echostar Technologies L.L.C. Audio splitting with codec-enforced frame sizes
US20110261885A1 (en) 2010-04-27 2011-10-27 De Rivaz Peter Francis Chevalley Method and system for bandwidth reduction through integration of motion estimation and macroblock encoding
US20120057629A1 (en) * 2010-09-02 2012-03-08 Fang Shi Rho-domain Metrics
US8965140B1 (en) * 2011-01-31 2015-02-24 Teradici Corporation Method and apparatus for encoding mixed content image sequences
US8411971B1 (en) * 2011-02-09 2013-04-02 Adobe Systems Incorporated Method and apparatus for normalizing perceptual quality in media compression
US9071841B2 (en) * 2011-05-17 2015-06-30 Microsoft Technology Licensing, Llc Video transcoding with dynamically modifiable spatial resolution
US9426494B2 (en) * 2011-07-18 2016-08-23 Ziilabs Inc., Ltd. Systems and methods with early variance measure used to optimize video encoding
JP5155462B2 (ja) 2011-08-17 2013-03-06 株式会社スクウェア・エニックス・ホールディングス 動画配信サーバ、動画再生装置、制御方法、プログラム、及び記録媒体
US20150082345A1 (en) * 2011-09-29 2015-03-19 Avvasi Inc. System for generating enhanced advertizements and methods for use therewith
JP5977023B2 (ja) 2011-11-07 2016-08-24 株式会社スクウェア・エニックス・ホールディングス 描画システム、プログラム、及び記録媒体
US9110626B2 (en) 2012-02-14 2015-08-18 Microsoft Technology Licensing, Llc Video detection in remote desktop protocols
EP2645713A1 (en) * 2012-03-30 2013-10-02 Alcatel Lucent Method and apparatus for encoding a selected spatial portion of a video stream
US9621869B2 (en) * 2012-05-24 2017-04-11 Sony Corporation System and method for rendering affected pixels
CN104813669B (zh) 2012-09-21 2018-05-22 诺基亚技术有限公司 用于视频编码的方法和装置
US9984504B2 (en) * 2012-10-01 2018-05-29 Nvidia Corporation System and method for improving video encoding using content information
EP2905963A4 (en) * 2012-10-05 2016-08-03 Sony Corp ENCODING CONTROL DEVICE AND ENCODING CONTROL METHOD
BR112015015575A2 (pt) 2013-01-30 2020-02-04 Intel Corp particionamento adaptativo ao conteúdo para a previsão e codificação para vídeo da próxima geração
US9661351B2 (en) 2013-03-15 2017-05-23 Sony Interactive Entertainment America Llc Client side frame prediction for video streams with skipped frames
US10242462B2 (en) * 2013-04-02 2019-03-26 Nvidia Corporation Rate control bit allocation for video streaming based on an attention area of a gamer
CN105246567B (zh) 2013-05-31 2016-09-14 英派尔科技开发有限公司 受缓存影响的视频游戏
US20150020806A1 (en) * 2013-07-19 2015-01-22 Merck Sharp & Dohme Corp. Dry powder inhaler for delivering multipe agglomerate formulations
US9743044B2 (en) * 2013-08-29 2017-08-22 Isee Vc Pty Ltd Quality controller for video image
US10491916B2 (en) * 2013-10-01 2019-11-26 Advanced Micro Devices, Inc. Exploiting camera depth information for video encoding
US9749642B2 (en) 2014-01-08 2017-08-29 Microsoft Technology Licensing, Llc Selection of motion vector precision
US20150208069A1 (en) * 2014-01-23 2015-07-23 Magnum Semiconductor, Inc. Methods and apparatuses for content-adaptive quantization parameter modulation to improve video quality in lossy video coding
US20150228106A1 (en) 2014-02-13 2015-08-13 Vixs Systems Inc. Low latency video texture mapping via tight integration of codec engine with 3d graphics engine
US10182241B2 (en) 2014-03-04 2019-01-15 Microsoft Technology Licensing, Llc Encoding strategies for adaptive switching of color spaces, color sampling rates and/or bit depths
CN104952096B (zh) * 2014-03-31 2018-06-08 中国电信股份有限公司 Cpu和gpu混合云渲染方法、装置和系统
US20150288965A1 (en) * 2014-04-08 2015-10-08 Microsoft Corporation Adaptive quantization for video rate control
US20150296215A1 (en) 2014-04-11 2015-10-15 Microsoft Corporation Frame encoding using hints
EP2960854A1 (en) 2014-06-27 2015-12-30 Thomson Licensing Method and device for determining a set of modifiable elements in a group of pictures
US9762919B2 (en) 2014-08-28 2017-09-12 Apple Inc. Chroma cache architecture in block processing pipelines
US9386317B2 (en) * 2014-09-22 2016-07-05 Sony Interactive Entertainment Inc. Adaptive picture section encoding mode decision control
US10264269B2 (en) * 2014-10-13 2019-04-16 Apple Inc. Metadata hints to support best effort decoding for green MPEG applications
TW201642655A (zh) 2015-04-21 2016-12-01 Ｖｉｄ衡器股份有限公司 基於藝術意向之視訊編碼
JP6494439B2 (ja) * 2015-06-05 2019-04-03 キヤノン株式会社 通信装置およびその制御方法
CN105163134B (zh) 2015-08-03 2018-09-07 腾讯科技（深圳）有限公司 直播视频的视频编码参数设置方法、装置及视频编码设备
US9807416B2 (en) 2015-09-21 2017-10-31 Google Inc. Low-latency two-pass video coding
US10425648B2 (en) 2015-09-29 2019-09-24 Qualcomm Incorporated Video intra-prediction using position-dependent prediction combination for video coding
JP6910130B2 (ja) 2015-11-06 2021-07-28 三星電子株式会社Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ． ３ｄレンダリング方法及び３ｄレンダリング装置
US10163183B2 (en) 2016-01-13 2018-12-25 Rockwell Collins, Inc. Rendering performance using dynamically controlled samples
US10356406B2 (en) 2016-01-19 2019-07-16 Google Llc Real-time video encoder rate control using dynamic resolution switching
US9705526B1 (en) 2016-03-17 2017-07-11 Intel Corporation Entropy encoding and decoding of media applications
US10109100B2 (en) 2016-03-25 2018-10-23 Outward, Inc. Adaptive sampling of pixels
US9639935B1 (en) 2016-05-25 2017-05-02 Gopro, Inc. Apparatus and methods for camera alignment model calibration
US10244167B2 (en) * 2016-06-17 2019-03-26 Gopro, Inc. Apparatus and methods for image encoding using spatially weighted encoding quality parameters
US10567775B2 (en) * 2016-10-01 2020-02-18 Intel Corporation Method and system of hardware accelerated video coding with per-frame parameter control
US10951912B2 (en) 2016-10-05 2021-03-16 Qualcomm Incorporated Systems and methods for adaptive selection of weights for video coding
US10463964B2 (en) 2016-11-17 2019-11-05 Activision Publishing, Inc. Systems and methods for the real-time generation of in-game, locally accessible heatmaps
US20180176285A1 (en) 2016-12-15 2018-06-21 The Directv Group, Inc. Enhanced transmission of media to client devices
US10812559B2 (en) 2017-01-18 2020-10-20 Amazon Technologies, Inc. Just-in-time variable adaptive encoding and delivery of media content
US10419785B2 (en) * 2017-07-21 2019-09-17 Cisco Technology, Inc. Distributed learning video encoder/decoder
US10045053B1 (en) 2017-08-23 2018-08-07 Amazon Technologies, Inc. Fragment insertion for live media streams

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040036716A1 (en) * 2002-06-12 2004-02-26 Jordahl Jena J. Data storage, retrieval, manipulation and display tools enabling multiple hierarchical points of view
RU2013110285A (ru) * 2010-08-10 2014-09-20 Квэлкомм Инкорпорейтед Режимы быстрого доступа к произвольной точке для сетевой потоковой передачи кодированных видео данных
US20160228776A1 (en) * 2012-03-13 2016-08-11 Sony Interactive Entertainment America Llc Sharing recorded gameplay to a social graph
US20160198166A1 (en) * 2015-01-07 2016-07-07 Texas Instruments Incorporated Multi-pass video encoding
US20160295216A1 (en) * 2015-03-30 2016-10-06 Netflix, Inc Techniques for optimizing bitrates and resolutions during encoding
US20170105004A1 (en) * 2015-10-07 2017-04-13 Qualcomm Incorporated Methods and systems of coding a predictive random access picture using a background picture

Also Published As

Publication number Publication date
CN110945849B (zh) 2021-06-08
GB2577642B (en) 2021-05-19
CA3087809A1 (en) 2018-10-25
ZA201907683B (en) 2021-04-28
GB201916973D0 (en) 2020-01-08
AU2020289756A1 (en) 2021-01-21
CN112153029A (zh) 2020-12-29
RU2019138226A3 (ru) 2020-06-30
TWI742510B (zh) 2021-10-11
KR102460792B1 (ko) 2022-10-28
CA3159950A1 (en) 2018-10-25
JP7291820B2 (ja) 2023-06-15
CA3106617C (en) 2023-11-07
US10869045B2 (en) 2020-12-15
GB202104290D0 (en) 2021-05-12
CA3108057A1 (en) 2018-10-25
AU2020289755B2 (en) 2021-11-25
CA3087809C (en) 2021-03-09
CA3059747C (en) 2021-03-23
AU2018255414A1 (en) 2019-12-05
RU2020114319A3 (ru) 2020-07-07
CN110945849A (zh) 2020-03-31
GB2591410A (en) 2021-07-28
ZA202007213B (en) 2022-04-28
KR102358294B1 (ko) 2022-02-08
CA3106617A1 (en) 2018-10-25
TW201842778A (zh) 2018-12-01
TW202015408A (zh) 2020-04-16
EP4109899A1 (en) 2022-12-28
AU2020289755A1 (en) 2021-01-21
GB202002769D0 (en) 2020-04-15
US11503313B2 (en) 2022-11-15
TWI681666B (zh) 2020-01-01
KR20210010668A (ko) 2021-01-27
EP3635954A1 (en) 2020-04-15
ZA202007053B (en) 2022-03-30
CA3159952A1 (en) 2018-10-25
GB202103312D0 (en) 2021-04-21
GB2583826A (en) 2020-11-11
GB2583826B (en) 2021-05-19
MX2020012597A (es) 2021-10-19
JP2022065047A (ja) 2022-04-26
BR112019021628A2 (pt) 2020-05-12
GB202104855D0 (en) 2021-05-19
JP2020520204A (ja) 2020-07-02
GB2593598A (en) 2021-09-29
US20190281313A1 (en) 2019-09-12
RU2753157C2 (ru) 2021-08-12
US20180310009A1 (en) 2018-10-25
GB2595029A (en) 2021-11-17
GB2583825A (en) 2020-11-11
US10225564B2 (en) 2019-03-05
CA3159950C (en) 2024-01-23
US20180309811A1 (en) 2018-10-25
RU2020114319A (ru) 2020-06-18
US20190158856A1 (en) 2019-05-23
EP3720130A1 (en) 2020-10-07
US11202084B2 (en) 2021-12-14
GB2595029B (en) 2022-02-09
TW202017388A (zh) 2020-05-01
US10362320B2 (en) 2019-07-23
RU2019138226A (ru) 2019-12-27
MX2021004094A (es) 2021-06-08
RU2752723C2 (ru) 2021-07-30
JP7050836B2 (ja) 2022-04-08
TWI684358B (zh) 2020-02-01
CA3059747A1 (en) 2018-10-25
EP3720130B1 (en) 2022-09-28
TW201904292A (zh) 2019-01-16
AU2020289756B2 (en) 2021-11-25
KR20220012426A (ko) 2022-02-03
KR20200021047A (ko) 2020-02-27
EP3635954A4 (en) 2020-07-15
JP2020110608A (ja) 2020-07-27
GB2593598B (en) 2021-12-29
WO2018195440A1 (en) 2018-10-25
GB2577642A (en) 2020-04-01
KR20210114553A (ko) 2021-09-23
TWI737045B (zh) 2021-08-21
GB2583825B (en) 2021-05-12
JP7145203B2 (ja) 2022-09-30
GB202002838D0 (en) 2020-04-15
DE112018002112T5 (de) 2020-01-16
AU2018255414B2 (en) 2021-01-21
KR102447074B1 (ko) 2022-09-23
EP3739881A1 (en) 2020-11-18
US20210058630A1 (en) 2021-02-25

Similar Documents

Publication Publication Date Title
RU2720067C1 (ru) Системы и способы для рендеринга и выдачи подсказок кодеру на основании оценки предварительно кодированной нагрузки