RU2016139473A - Кодирование кадра используя подсказки - Google Patents

Кодирование кадра используя подсказки Download PDF

Info

Publication number
RU2016139473A
RU2016139473A RU2016139473A RU2016139473A RU2016139473A RU 2016139473 A RU2016139473 A RU 2016139473A RU 2016139473 A RU2016139473 A RU 2016139473A RU 2016139473 A RU2016139473 A RU 2016139473A RU 2016139473 A RU2016139473 A RU 2016139473A
Authority
RU
Russia
Prior art keywords
computer
information
frame
interest
processors
Prior art date
Application number
RU2016139473A
Other languages
English (en)
Inventor
Шон КАЛЛАХАН
Original Assignee
МАЙКРОСОФТ ТЕКНОЛОДЖИ ЛАЙСЕНСИНГ, ЭлЭлСи
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by МАЙКРОСОФТ ТЕКНОЛОДЖИ ЛАЙСЕНСИНГ, ЭлЭлСи filed Critical МАЙКРОСОФТ ТЕКНОЛОДЖИ ЛАЙСЕНСИНГ, ЭлЭлСи
Publication of RU2016139473A publication Critical patent/RU2016139473A/ru

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46Embedding additional information in the video signal during the compression process
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/30Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
    • A63F13/35Details of game servers
    • A63F13/355Performing operations on behalf of clients with restricted processing capabilities, e.g. servers transform changing game scene into an encoded video stream for transmitting to a mobile phone or a thin client
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/70Game security or game management aspects
    • A63F13/77Game security or game management aspects involving data related to game devices or game servers, e.g. configuration data, software version or amount of memory
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • G06T1/20Processor architectures; Processor configuration, e.g. pipelining
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/105Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/55Motion estimation with spatial constraints, e.g. at image or region borders

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Computer Security & Cryptography (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Processing Or Creating Images (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Claims (27)

1. Реализуемый компьютером способ, выполняемый посредством одного или более процессоров вычислительной системы, которая включает в себя память, содержащую исполняемые компьютером инструкции, которые, когда исполняются, предписывают одному или более процессорам выполнить реализуемый компьютером способ, и при этом реализуемый компьютером способ используется, чтобы управлять кодированием кадров видеоданных с тем, чтобы зоны интереса в одном или более кадрах отображались более эффективно, и при этом реализуемый компьютером способ содержит этапы, на которых:
один или более процессоры инициируют модуль осуществления доступа к данным и осуществляют доступ к одному или более фрагментам информации кадра, ассоциированной с, по меньшей мере, одним кадром из потока видеоданных, и, по меньшей мере, один из одного или более фрагментов информации кадра содержит информацию подсказки, которая используется, чтобы указывать потребность в добавочной инструкции кодирования применительно к зоне интереса в информации кадра, при этом информация подсказки предоставляет указание текущего состояния взаимодействия видеоигры;
один или более процессоры инициируют модуль интерпретации данных, который интерпретирует информацию подсказки;
затем один или более процессоры генерируют добавочную инструкцию кодирования применительно к интерпретированной информации подсказки так, что зона интереса в информации кадра будет закодирована в соответствии с добавочной инструкцией кодирования;
один или более процессоры инициируют модуль кодирования, который кодирует зону интереса в соответствии с добавочной инструкцией кодирования; и
модуль кодирования отправляет информацию кадра в качестве закодированной к модулю отображения для вывода.
2. Реализуемый компьютером способ по п. 1, в котором информация кадра предоставляет контекст видеоигры, касательно первого кадра и, по меньшей мере, одного кадра, который является следующим за первым кадром в потоке видеоданных.
3. Реализуемый компьютером способ по п. 1, в котором информация кадра содержит информацию подсказки для одной или более зон интереса.
4. Реализуемый компьютером способ по п. 3, в котором, по меньшей мере, одна из зон интереса меняется динамически со временем.
5. Реализуемый компьютером способ по п. 3, в котором информация подсказки предоставляется посредством указания того, на что, в текущем кадре, зритель наиболее вероятно будет смотреть.
6. Реализуемый компьютером способ по п. 3, в котором информация подсказки предоставляется посредством указания текущего перемещения камеры, ассоциированного с контентом видеоигры у видеоигры.
7. Реализуемый компьютером способ по п. 6, в котором видеоигра работает в режиме разделенного экрана и в котором информация кадра предоставляется для каждого уровня разделенного экрана.
8. Реализуемый компьютером способ по п. 6, в котором информация кадра указывает один или более фрагменты информации средства отображения игровой информации (HUD), которые должны быть улучшены.
9. Компьютерная система, обеспеченная компьютерной архитектурой, используемой чтобы управлять кодированием кадров видеоданных так, что зоны интереса в одном или более кадрах отображаются более эффективно, и при этом компьютерная система содержит:
один или более процессоры;
память, содержащую исполняемые компьютером инструкции, которые, когда исполняются, предписывают одному или более процессорам выполнить реализуемый компьютером способ для реализации компьютерной архитектуры, используемой чтобы управлять кодированием кадров видеоданных так, что зоны интереса в одном или более кадрах отображаются более эффективно, и при этом реализуемый компьютером способ, предоставляемый посредством архитектуры, содержит этапы, на которых:
один или более процессоры инициируют модуль осуществления доступа к данным и осуществляют доступ к одному или более фрагментам информации кадра, ассоциированной с, по меньшей мере, одним кадром из потока видеоданных, и, по меньшей мере, один из одного или более фрагментов информации кадра содержит информацию подсказки, которая используется, чтобы указывать потребность в добавочной инструкции кодирования применительно к зоне интереса в информации кадра, при этом информация подсказки предоставляет указание текущего состояния взаимодействия видеоигры;
один или более процессоры инициируют модуль интерпретации данных, который интерпретирует информацию подсказки;
затем один или более процессоры генерируют добавочную инструкцию кодирования применительно к интерпретированной информации подсказки так, что зона интереса в информации кадра будет закодирована в соответствии с добавочной инструкцией кодирования;
один или более процессоры инициируют модуль кодирования, который кодирует зону интереса в соответствии с добавочной инструкцией кодирования; и
модуль кодирования отправляет информацию кадра в качестве закодированной к модулю отображения для вывода.
10. Компьютерный программный продукт состоящий из считываемого компьютером носителя информации, который содержит исполняемые компьютером инструкции, которые, когда исполняются, предписывают одному или более процессорам вычислительной системы выполнить реализуемый компьютером способ, и при этом реализуемый компьютером способ используется, чтобы управлять кодированием кадров видеоданных так, что зоны интереса в одном или более кадрах отображаются более эффективно, и при этом реализуемый компьютером способ содержит этапы, на которых:
один или более процессоры осуществляют доступ к одному или более фрагментам информации кадра, ассоциированной с, по меньшей мере, одним кадром из потока видеоданных, предоставляемых как часть приложения, и, по меньшей мере, один из одного или более фрагментов информации кадра содержит информацию подсказки, которая используется, чтобы указывать потребность в добавочной инструкции кодирования применительно к зоне интереса в информации кадра, при этом информация подсказки предоставляет указание текущего состояния взаимодействия видеоигры;
один или более процессоры инициируют модуль интерпретации данных, который интерпретирует информацию подсказки;
затем один или более процессоры генерируют добавочную инструкцию кодирования применительно к интерпретированной информации подсказки так, что зона интереса в информации кадра будет закодирована в соответствии с добавочной инструкцией кодирования;
один или более процессоры инициируют модуль кодирования, который кодирует зону интереса в соответствии с добавочной инструкцией кодирования; и
модуль кодирования отправляет информацию кадра в качестве закодированной к модулю отображения для вывода.
RU2016139473A 2014-04-11 2015-04-06 Кодирование кадра используя подсказки RU2016139473A (ru)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/250,542 2014-04-11
US14/250,542 US20150296215A1 (en) 2014-04-11 2014-04-11 Frame encoding using hints
PCT/US2015/024411 WO2015157135A2 (en) 2014-04-11 2015-04-06 Frame encoding using hints

Publications (1)

Publication Number Publication Date
RU2016139473A true RU2016139473A (ru) 2018-04-10

Family

ID=52829494

Family Applications (1)

Application Number Title Priority Date Filing Date
RU2016139473A RU2016139473A (ru) 2014-04-11 2015-04-06 Кодирование кадра используя подсказки

Country Status (10)

Country Link
US (1) US20150296215A1 (ru)
EP (1) EP3130146A2 (ru)
JP (1) JP2017517921A (ru)
KR (1) KR20160143778A (ru)
CN (1) CN106163624A (ru)
AU (1) AU2015244103A1 (ru)
CA (1) CA2943391A1 (ru)
MX (1) MX2016013371A (ru)
RU (1) RU2016139473A (ru)
WO (1) WO2015157135A2 (ru)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3301915A1 (en) 2016-09-30 2018-04-04 Thomson Licensing Method and apparatus for omnidirectional video coding with adaptive intra most probable modes
RU2752723C2 (ru) * 2017-04-21 2021-07-30 Зенимакс Медиа Инк. Системы и способы для рендеринга и выдачи подсказок кодеру на основании оценки предварительно кодированной нагрузки
US10594901B2 (en) * 2017-11-17 2020-03-17 Ati Technologies Ulc Game engine application direct to video encoder rendering
US11290515B2 (en) 2017-12-07 2022-03-29 Advanced Micro Devices, Inc. Real-time and low latency packetization protocol for live compressed video data
CN109806596B (zh) * 2019-03-20 2023-04-07 网易(杭州)网络有限公司 游戏画面显示方法与装置、存储介质、电子设备
US11539960B2 (en) * 2019-10-01 2022-12-27 Sony Interactive Entertainment Inc. Game application providing scene change hint for encoding at a cloud gaming server
US11395963B2 (en) 2019-10-01 2022-07-26 Sony Interactive Entertainment Inc. High speed scan-out of server display buffer for cloud gaming applications
US11020661B2 (en) 2019-10-01 2021-06-01 Sony Interactive Entertainment Inc. Reducing latency in cloud gaming applications by overlapping reception and decoding of video frames and their display
US11344799B2 (en) 2019-10-01 2022-05-31 Sony Interactive Entertainment Inc. Scene change hint and client bandwidth used at encoder for handling video frames after a scene change in cloud gaming applications
US11865434B2 (en) 2019-10-01 2024-01-09 Sony Interactive Entertainment Inc. Reducing latency in cloud gaming applications by overlapping receive and decode of video frames and their display at the client
US11833419B2 (en) * 2020-03-16 2023-12-05 Tencent America LLC Method and apparatus for cloud gaming
US11652863B2 (en) 2020-03-16 2023-05-16 Tencent America LLC Method and apparatus for cloud gaming
CN114062988B (zh) * 2020-07-31 2023-09-22 上海联影医疗科技股份有限公司 磁共振波谱成像方法、装置、计算机设备和存储介质
EP4350683A1 (en) * 2021-10-20 2024-04-10 Samsung Electronics Co., Ltd. Display apparatus and controlling method thereof
KR20230081402A (ko) * 2021-11-30 2023-06-07 삼성전자주식회사 서버와 전자 장치 사이의 영상 콘텐트를 스트리밍하는 방법, 영상 콘텐트를 스트리밍하는 서버 및 전자 장치
US11997326B2 (en) 2021-11-30 2024-05-28 Samsung Electronics Co., Ltd. Method of streaming image content between server and electronic device, server for streaming image content, and electronic device for streaming image content

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6665872B1 (en) * 1999-01-06 2003-12-16 Sarnoff Corporation Latency-based statistical multiplexing
AU780811B2 (en) * 2000-03-13 2005-04-21 Sony Corporation Method and apparatus for generating compact transcoding hints metadata
US20050108026A1 (en) * 2003-11-14 2005-05-19 Arnaud Brierre Personalized subtitle system
US8705614B2 (en) * 2005-04-04 2014-04-22 Broadcom Corporation Motion estimation using camera tracking movements
US9063952B2 (en) * 2006-07-31 2015-06-23 Ricoh Co., Ltd. Mixed media reality recognition with image tracking
JP5157329B2 (ja) * 2007-08-31 2013-03-06 株式会社セガ ゲーム装置
US8151215B2 (en) * 2008-02-07 2012-04-03 Sony Corporation Favorite GUI for TV
US20100034466A1 (en) * 2008-08-11 2010-02-11 Google Inc. Object Identification in Images
US20110235706A1 (en) * 2010-03-25 2011-09-29 Texas Instruments Incorporated Region of interest (roi) video encoding
EP2645713A1 (en) * 2012-03-30 2013-10-02 Alcatel Lucent Method and apparatus for encoding a selected spatial portion of a video stream
US20140038141A1 (en) * 2012-07-31 2014-02-06 Wms Gaming, Inc. Using mobile devices in wagering game environments
US9070050B2 (en) * 2012-12-20 2015-06-30 Rovi Guides, Inc. Methods and systems for customizing a plenoptic media asset
US20150133214A1 (en) * 2013-11-11 2015-05-14 Amazon Technologies, Inc. Video encoding based on areas of interest
US20150248722A1 (en) * 2014-03-03 2015-09-03 Swell, Inc. Web based interactive multimedia system

Also Published As

Publication number Publication date
CA2943391A1 (en) 2015-10-15
CN106163624A (zh) 2016-11-23
WO2015157135A3 (en) 2015-12-03
JP2017517921A (ja) 2017-06-29
EP3130146A2 (en) 2017-02-15
AU2015244103A1 (en) 2016-10-06
KR20160143778A (ko) 2016-12-14
MX2016013371A (es) 2017-01-26
US20150296215A1 (en) 2015-10-15
WO2015157135A2 (en) 2015-10-15

Similar Documents

Publication Publication Date Title
RU2016139473A (ru) Кодирование кадра используя подсказки
RU2014117673A (ru) Устройство, способ и программа обработки информации
JP2014168126A5 (ru)
WO2013003534A3 (en) Measuring device user experience through display outputs
WO2014197231A3 (en) Switching mode of operation in a head mounted display
SG10201900632SA (en) Picture prediction method and related apparatus
JP2016515242A5 (ru)
IN2013MU03645A (ru)
WO2016069669A3 (en) Modifying video call data
RU2014108853A (ru) Жесты семантического масштабирования
JP2017502338A5 (ru)
WO2014195802A3 (en) Method and system for recognizing information
WO2011162974A3 (en) Natural user input for driving interactive stories
RU2014117669A (ru) Устройство обработки информации, способ обработки информации и программа
JP2020500357A5 (ru)
MX346529B (es) Sistemas y métodos para el procesamiento en la nube y la superposición de contenidos en la transmisión de fotogramas de video de aplicaciones procesadas de forma remota.
WO2013036700A3 (en) Primitive composition
EP2759924A3 (en) Information processing apparatus, information processing system, display control method, and display control program
JP2017525247A5 (ru)
FI3852377T3 (fi) Menetelmiä ja järjestelmiä mediaresurssien täydentämiseksi pikahakutoistotoimintojen aikana
MX2015003761A (es) Metodo y dispositivo para navegar videos.
BR112018006349A2 (pt) preempção de unidade de processamento gráfico com granularidade de nível de bloco de pixel
RU2017105070A (ru) Основанный на жесте доступ к смешанному отображению
EP4300970A3 (en) Systems and methods for video play control
WO2018092809A3 (ja) ユーザ端末、方法、コンピュータプログラム

Legal Events

Date Code Title Description
FA93 Acknowledgement of application withdrawn (no request for examination)

Effective date: 20180409