RU2722584C2 - Способ и устройство обработки части видеосодержимого с погружением в соответствии с положением опорных частей - Google Patents

Способ и устройство обработки части видеосодержимого с погружением в соответствии с положением опорных частей Download PDF

Info

Publication number
RU2722584C2
RU2722584C2 RU2016125455A RU2016125455A RU2722584C2 RU 2722584 C2 RU2722584 C2 RU 2722584C2 RU 2016125455 A RU2016125455 A RU 2016125455A RU 2016125455 A RU2016125455 A RU 2016125455A RU 2722584 C2 RU2722584 C2 RU 2722584C2
Authority
RU
Russia
Prior art keywords
distance
video content
level
accordance
deterioration
Prior art date
Application number
RU2016125455A
Other languages
English (en)
Other versions
RU2016125455A (ru
Inventor
Франсуа ЖЕРАР
Рено ДОРЕ
Жульен ФЛЕРО
Original Assignee
Интердиджитал Се Пэйтент Холдингз
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Интердиджитал Се Пэйтент Холдингз filed Critical Интердиджитал Се Пэйтент Холдингз
Publication of RU2016125455A publication Critical patent/RU2016125455A/ru
Application granted granted Critical
Publication of RU2722584C2 publication Critical patent/RU2722584C2/ru

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/363—Image reproducers using image projection screens
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H04N13/117—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation the virtual viewpoint locations being selected by the viewers or determined by viewer tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/122—Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/15—Processing image signals for colour aspects of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/167—Synchronising or controlling image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/383—Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0127—Head-up displays characterised by optical features comprising devices increasing the depth of field
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Computer Hardware Design (AREA)
  • Theoretical Computer Science (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Controls And Circuits For Display Device (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)
  • Video Image Reproduction Devices For Color Tv Systems (AREA)

Abstract

Изобретение относится к области псевдотактильной обратной связи, особенно при потреблении видеосодержимого с погружением в головных дисплеях (HMD) или мобильных устройствах, которое сделано для отображения вокруг пользователя, таким образом, чтобы у пользователя возникало чувство нахождения в середине содержимого. Техническим результатом является обеспечение пользователя возможностью смотреть определенную опорную часть видеосодержимого с погружением. Предложен способ обработки первой части (13) видеосодержимого (10) с погружением, например части, подлежащей отображению на клиентском устройстве, чтобы побудить пользователя посмотреть в сторону опорной части (20) в видеосодержимом с погружением. Способ содержит этапы: определяют расстояние между первой частью или подчастями первой части (40, 41) и по меньшей мере опорной частью, и обрабатывают визуально ухудшенную версию первой части или ее подчастей, причем чем больше расстояние (42, 43), тем выше уровень визуального ухудшения. 2 н. и 13 з.п. ф-лы, 9 ил.

Description

ОБЛАСТЬ ТЕХНИКИ, К КОТОРОЙ ОТНОСИТСЯ ИЗОБРЕТЕНИЕ
Настоящее раскрытие относится к области псевдотактильной обратной связи, особенно при потреблении видеосодержимого с погружением, особенно с головными дисплеями (HMD) или мобильным устройством, таким как, например, планшет или смартфон.
УРОВЕНЬ ТЕХНИКИ
Видеосодержимое с погружением - это видеосодержимое, которое сделано для отображения вокруг пользователя, таким образом, чтобы у пользователя возникало чувство нахождения в середине содержимого. Видеосодержимое с погружением обычно воспроизводится в жеодах или пещерах. В таком устройстве, содержимое полностью проецируется на настенных экранах, и пользователь обнаруживает содержимое, поворачивая свою голову.
Головные дисплеи (HMD) являются устройствами отображения, носимыми на голове или в качестве части шлема, которые имеют маленькую оптику отображения напротив одного глаза (монокулярный HMD) или каждого глаза (бинокулярный HMD). Они преимущественно приспособлены для потребления содержимого с погружением. В таком устройстве отображается только часть видео. Отображаемая часть видеосодержимого обновляется в соответствии с положением головы пользователя посредством, например, встроенного блока измерения движения (включающего в себя гироскоп).
Такие устройства были первоначально предложены несколько десятилетий назад, но недавно, особенно вследствие развития экранов, их цены, а также их функционирование драматически изменилось. Появление таких устройств позволяет пользователю смотреть 4π стерадиан содержимого посредством поворотов головы. Если такой новый функционал может появиться в качестве реального улучшения в плане погружения в содержимое, в то время как пользователь смотрит только на часть содержимого, он/она может не смотреть в направлении, в котором он/она должен (должна) смотреть в данный момент. В самом деле, в то время как пользователь может смотреть вокруг себя, он/она может пропустить некоторые важные моменты повествования, потому что он/она смотрит на другую часть содержимого в тот момент, когда происходит событие повествования.
В соответствии с уровнем техники, известно, что форсирование панорамирования виртуальной камеры, чтобы заставить пользователя смотреть вперед в направлении, в котором он/она должен (должна) смотреть, является очень эффективным решением. Однако хорошо известно, что это решение имеет недостаток, который вызывает у большинства людей тошноту и, как следствие, ухудшает качество опыта пользователя.
СУЩНОСТЬ ИЗОБРЕТЕНИЯ
Целью настоящего раскрытия является преодоление по меньшей мере одного из этих недостатков уровня техники.
Более конкретно, целью настоящего раскрытия является побудить пользователя смотреть определенную опорную часть видеосодержимого с погружением.
Настоящее раскрытие относится к способу обработки первой части видеосодержимого с погружением, содержащий этапы, на которых:
определяют первое расстояние между упомянутой первой частью и по меньшей мере одной опорной частью видеосодержимого с погружением,
обрабатывают версию упомянутой первой части, называемую ухудшенной версией, причем визуальное ухудшение применяют к упомянутой первой части для получения ухудшенной версии, причем упомянутая ухудшенная версия является визуально ухудшенной по отношению к видеосодержимому, причем чем больше первое расстояние, тем выше уровень визуального ухудшения.
В соответствии с конкретной характеристикой, первую часть разделяют на подчасти, определяют второе расстояние между каждой упомянутой подчастью и упомянутой по меньшей мере опорной частью, причем чем больше второе расстояние, тем выше уровень ухудшения каждой упомянутой подчасти.
Преимущественно, уровень ухудшения увеличивается с течением времени.
В соответствии со специфичной характеристикой, первое расстояние принадлежит к группе расстояний, содержащей:
В соответствии с конкретной характеристикой, первую часть разделяют на подчасти, определяют второе расстояние между каждой упомянутой подчастью и упомянутой по меньшей мере опорной частью, причем чем больше второе расстояние, тем выше уровень ухудшения каждой упомянутой подчасти.
Настоящее раскрытие также относится к устройству, выполненному с возможностью обработки первой части видеосодержимого с погружением, содержащему:
средство определения первого расстояния между упомянутой первой частью и по меньшей мере опорной частью,
средство обработки версии упомянутой первой части, называемой ухудшенной версией, причем упомянутая ухудшенная версия является визуально ухудшенной по отношению к видеосодержимому, причем чем больше упомянутое первое расстояние, тем выше уровень ухудшения.
Преимущественно, устройство дополнительно передает упомянутую ухудшенную версию устройству отображения.
Настоящее раскрытие также относится к устройству, выполненному с возможностью обработки первой части видеосодержимого с погружением, причем устройство содержит по меньшей мере один процессор, выполненный с возможностью:
определять первое расстояние между упомянутой первой частью и по меньшей мере опорной частью,
обрабатывать версию упомянутой первой части, называемую ухудшенной версией, причем упомянутая ухудшенная версия является визуально ухудшенной по отношению к видеосодержимому, причем чем больше упомянутое первое расстояние, тем выше уровень ухудшения.
Опционально, устройство дополнительно содержит передатчик, передающий упомянутую ухудшенную версию устройству отображения.
Настоящее раскрытие также относится к компьютерному программному продукту, содержащему инструкции кода программы для исполнения по меньшей мере одним процессором вышеупомянутого способа обработки части видеосодержимого с погружением, когда программа исполняется на компьютере.
Настоящее раскрытие также относится к (не временному) машиночитаемому носителю, на котором хранятся инструкции для побуждения процессора выполнить по меньшей мере вышеупомянутый способ обработки части видеосодержимого с погружением.
КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ
Настоящее раскрытие будет более понятным, и другие конкретные признаки и преимущества появятся при чтении нижеследующего описания, которое делает ссылку на приложенные чертежи, на которых:
Фиг. 1 схематически показывает первую часть видеосодержимого с погружением в соответствии с конкретным осуществлением настоящих принципов;
Фиг. 2 показывает положение первой части на Фиг. 1, положение опорной части внутри видеосодержимого с погружением, и первое расстояние между ними в соответствии с конкретным осуществлением настоящих принципов;
Фиг. 3А и 3В показывают взаимоотношение между первым расстоянием на Фиг. 2 и уровнем ухудшения для применения к первой части на Фиг. 1;
На Фиг. 4 уровень ухудшения на Фиг. 3А и 3В вычисляется для подчастей первой части на Фиг. 1 в соответствии с конкретным осуществлением настоящих принципов;
Фиг. 5 показывает способ обработки первой части на Фиг. 1 в соответствии с первым расстоянием на Фиг. 2 в соответствии с конкретным осуществлением настоящих принципов;
Фиг. 6 схематически показывает структуру системы, выполненной с возможностью обрабатывать первую часть на Фиг. 1, содержащую блок выбора видеочасти и блок ухудшения изображения, в соответствии с конкретным осуществлением настоящих принципов;
Фиг. 7 показывает структуру системы, выполненной с возможностью обрабатывать первую часть на Фиг. 1, в соответствии с конкретным осуществлением;
Фиг. 8 показывает способ обработки части видеосодержимого, реализованный в устройстве обработки на Фиг. 6 или Фиг. 7, в соответствии с конкретным осуществлением.
ПОДРОБНОЕ ОПИСАНИЕ ОСУЩЕСТВЛЕНИЯ ИЗОБРЕТЕНИЯ
Изобретение теперь будет описано со ссылкой на чертежи, в которых схожие ссылочные позиции использованы для ссылки на схожие элементы. В нижеследующем описании в целях объяснения многочисленные конкретные подробности указаны для того, чтобы обеспечить надлежащее понимание изобретения. Следует понимать, что осуществления изобретения могут быть реализованы без этих конкретных подробностей.
Настоящие принципы будут описаны со ссылкой на конкретный пример способа обработки первой части видеосодержимого с погружением с помощью устройства частичного отображения, такого как HMD. Визуальное качество первой части ухудшается. По мере того, как уровень визуального ухудшения увеличивается вместе с расстоянием между первой частью и опорной частью, чем ближе к опорной части пользователь повернет свою голову в сторону опорной части, тем лучше будет качество его/ее опыта. Это ухудшение визуального качества опыта пользователя имеет преимущество, чтобы побудить его/ее смотреть в сторону опорной части, менее ухудшенной.
Фиг. 1 показывает конкретное осуществление видеосодержимого с погружением. Видео с погружением и прямоугольные видео имеют различную природу. Содержимое прямоугольного видео может рассматриваться в качестве функции, которая ассоциирует каждую плоскостную координату (х, у) в прямоугольном кадре, расположенном напротив пользователя, с представлением цвета. Видеосодержимое с погружением может рассматриваться в качестве функции, которая ассоциирует каждую полярную координату (θ, ϕ) в сферическом кадре, расположенном вокруг пользователя, с представлением цвета. В обоих случаях видео является временной последовательностью изображений, обычно называемых кадрами. Данные, репрезентативные для кадра, организуют в прямоугольник (10). Для прямоугольных видео преобразование является прямым. Этап обрезания является необходимым, когда прямоугольник данных имеет не такой же размер, как прямоугольник экрана. В случае с видеосодержимым с погружением, необходима функция отображения проекции, чтобы ассоциировать плоскостную координату в прямоугольнике данных с полярной координатой в сфере проекции. На Фиг. 1 режим отображения проекции является цилиндрическим. Видеосодержимое (10) с погружением проецируется в качестве цилиндра вокруг пользователя (11). Пользователь должен вращать свою голову вокруг с целью просмотра содержимого. Его/ее поле видимости не охватывает содержимое целиком. В соответствии с вариантом, режим отображения проекции является сферическим. В другом варианте режим отображения проекции является кубическим.
В случае устройств частичного отображения, таких как HMD, только часть (13) содержимого (10) с погружением отображается. Эта часть, называемая первой частью, соответствует полю видимости пользователя. В любое время пользователь направляет свое устройство в сторону направления (12), которое определяет отображаемую часть видеосодержимого с погружением.
В любое время сессии просмотра, получают по меньшей одну опорную часть видеосодержимого с погружением, эта по меньшей мере одна опорная часть имеет значительный уровень интереса или важности. Такая опорная часть является областью видеоизображения, меньшей, чем содержимое, и обычно меньшей, чем отображаемая часть. Опорная часть представлена благодаря любому известному формату описания двумерной геометрической формы. Например, это двумерная точка, расположенная в опорном кадре видеосодержимого с погружением. Другими примерами форм, используемых для представления таких опорных частей, являются прямоугольники и эллипсы (круги являются частными случаями эллипсов). Прямоугольники, например, описываются одной двумерной точкой, шириной и высотой. Эллипсы, с другой стороны, описываются одним центром и двумя радиусами или двумя центрами и одним радиусом. Описание формы опорной части не ограничено этими примерами, но может быть также описано любым описанием двумерной поверхности, например, как описано в форматах масштабируемой векторной графики (SVG) или языка разметки гипертекста 5 (HTML5).
В соответствии с конкретным примером, создатель содержимого указал, в пределах содержимого, по меньшей мере одну опорную часть на по меньшей мере один интервал времени в качестве события повествования, и он/она хочет, чтобы зритель не пропустил его. То есть он/она хочет побудить зрителя смотреть прямо в направлении этой опорной части. В первом варианте этого примера, набор опорной части является тем же самым от одной сессии просмотра к другой, независимо от того, что известно о пользователе. В соответствии с дополнительным вариантом этого примера, набор опорных частей зависит от профиля пользователя и меняется от одного пользователя к другому. Условия сессии просмотра содержимого, например, время дня, также являются параметрами, которые изменяют набор опорных частей. Другими словами, набор опорных частей для одного видеосодержимого с погружением меняется от одной сессии просмотра к другой.
В соответствии с другим примером, одна или несколько опорных частей определяются регионом алгоритма определения интересов. Такой алгоритм анализирует изображения видео для автоматического формирования некоторых регионов, которые оцениваются как более интересные или более важные для пользователя. Например, такой алгоритм вычисляет карту резкости изображений, чтобы обнаружить в высокой степени резкие области. Другой пример такого алгоритма обнаруживает движение в последовательности изображений, чтобы обнаружить движущиеся объекты. В соответствии с вариантом, параметры алгоритма зависят от профиля пользователя или от условий сессии просмотра. В этом варианте набор опорных частей для одного видеосодержимого с погружением отличается от одной сессии просмотра к другой.
Данные видеосодержимого независимо передаются от сервера или считываются из файла, хранимого на устройстве хранения, таком как диск или карта памяти. Линия связи, используемая для передачи видеосодержимого с погружением, может быть альтернативно проводной (основанная, например, на универсальной стандартной шине (USB) или мультимедийном интерфейсе высокой четкости (HDMI)) или беспроводной (например, Wi-Fi или Bluetooth). Видеосодержимое с погружением может также быть сформировано на ходу путем трехмерного механизма из описания трехмерной сцены в соответствии с положением виртуальной камеры, расположенной в этой трехмерной сцене. В соответствии с этим примером, первая часть (13) соответствует части трехмерной сцены, которую виртуальная камера захватывает в любой момент времени.
В соответствии с примером, описание формы и момента времени опорных частей вставляется альтернативно в видеосодержимое с погружением, в потоковые видеоданные или в видеофайл. В другом варианте кодирования этого примера, это описание обеспечивается вторым сервером или зарегистрировано в отдельном файле.
Фиг. 2 показывает пример видеосодержимого (10) с погружением, на котором часть (13), подлежащая отображению, является окном просмотра. Опорная часть (20) определена вне первой части. В этом примере она принимает форму эллипса. Опорная часть может соответствовать событию повествования, которое еще не случилось. В таком случае настоящие принципы имеют преимущество побудить пользователя смотреть в сторону опорной части при приготовлении происходящего.
Первое расстояние (21) вычисляется между первой частью и опорной частью. В соответствии с примером на Фиг. 2, первое расстояние (21) является евклидовым расстоянием между центрами опорной части, с одной стороны, и центром части, подлежащей отображению, с другой стороны. В соответствии с другим примером, каждая точка первой части связана с каждой точкой опорной части. Расстояние вычисляется для всех этих пар точек и первое расстояние (31) соответствует кратчайшему из них, как показано на Фиг. 3А и 3В. В соответствии с вариантом этого примера, первое расстояние соответствует среднему всех этих расстояний.
Первое расстояние преимущественно вычисляют каждый раз, когда обнаружено движение опорной части или движение отображаемой части. В другом варианте первое расстояние вычисляют более часто, например, для каждого видеокадра.
В соответствии с конкретным осуществлением, несколько опорных частей получают в одно и то же время. В конкретном варианте, первое расстояние является кратчайшим первым расстоянием между каждой опорной частью и первой частью, полученной благодаря одному из примеров, представленных выше. В соответствии с другим вариантом, первое расстояние является средним первых расстояний, полученных с помощью одного из предыдущих примеров.
Визуальное качество первой части ухудшают в соответствии с первым расстоянием. Как показано на Фиг. 3А и 3В, чем больше первое расстояние, тем выше уровень визуального ухудшения. Вследствие этого ухудшается качество опыта пользователя. Это ухудшение визуального качества первой части имеет преимущество побуждения пользователя смотреть в направлении опорной части, менее ухудшенной.
Визуальное ухудшение первой части преимущественно достигается с помощью любого способа визуального ухудшения, известного специалисту в данной области техники. Такой способ визуального ухудшения ухудшает качество визуального опыта пользователя. Визуальное ухудшение имеет параметр уровня. В соответствии с одним вариантом, параметр уровня изменяется от 0,0 (вообще нет изменения) до 1,0 (худшее качество первой части). Примером визуального ухудшения может быть затемнение цвета: цвета изображения не меняются на уровне 0 и постепенно затемняются до черного на уровне 1. Дополнительным примером такого способа является осветление цвета: цвета изображения постепенно осветляются до белого. В соответствии с другими вариантами такого способа визуального ухудшения, насыщение цветов изображения изменяется вверх или вниз. Размытие изображения или зашумление изображения являются другими примерами способа ухудшения изображения. Этот последний пример заключается во введении случайной вариации в информации яркости и/или цвета изображения. Чем больше вариации введено, тем выше уровень зашумления. На уровне 1 объекты, представленные на изображении, больше не могут быть идентифицированы. Пикселизация изображения и несколько способов сжатия изображения являются другими примерами визуального ухудшения. В соответствии с другим вариантом, уровень параметра ухудшения изменяется от 0 до 255 или от -100 до 100, например.
В соответствии с другим осуществлением, уровень ухудшения для данного первого расстояния увеличивается с течением времени. Например, сессия просмотра начинается опорной части, поскольку в данный момент отсутствует событие повествования. Через некоторое время определяют опорную часть, чтобы побудить пользователя смотреть в ее направлении. Если пользователь смотрит в другую сторону, то первое расстояние, называемое dist, является высоким. Уровень ухудшения, называемый lev, вычисляется для этого первого расстояния dist. Первая часть вообще не ухудшается в этот момент. С целью избежать неожиданного скачка в визуальном качестве первой части, в соответствии с этим осуществлением, уровень визуального ухудшения устанавливается в очень низкое значение, например, ноль. Затем уровень визуального ухудшения постепенно увеличивается для этого первого расстояния dist до уровня lev. Когда уровень ухудшения достигает уровня lev, он больше не увеличивается. Например, если выбранный способ ухудшения является затемнением цвета, то первая часть будет становиться темнее и темнее с течением времени для данного первого расстояния dist. Только уменьшение первого расстояния благодаря, например, движению головы пользователя в сторону опорной части ослабит этот эффект.
Фиг. 4 показывает другое осуществление настоящих принципов, в котором первая часть разделена на подчасти. Например, подчасти первой части имеют один пиксельный размер и организованы в регулярную сетку. В соответствии с другим примером, подчасти являются шестигранниками различных размеров. На Фиг. 4 первую часть (13) разделяют на прямоугольные подчасти (например, 40 и 41). Второе расстояние вычисляют для каждой подчасти (например, 42 и 43). Второе расстояние вычисляют путем использования любого способа, использованного для вычисления первого расстояния. На Фиг. 4 подчасть (40) находится дальше от опорной части, чем подчасть (41). Уровень визуального ухудшения является более высоким для подчасти (40), чем для подчасти (41). В этом примере, чем правее и ниже подчасть в первой части (13), тем выше уровень ухудшения. Это создает градиент визуального качества первой части. Это осуществление, самостоятельно или вместе с постепенным увеличением уровня визуального ухудшения, как описано выше, имеет преимущество появления в качестве волны, которая ведет пользователя к направлению его/ее взгляда в сторону менее ухудшенной подчасти первой части и бессознательному повороту его/ее головы в направлении опорной части.
Этот же способ расстояния преимущественно используется для вычисления второго расстояния каждой подчасти с целью сохранения соответствия. В соответствии с вариантом, другой способ вычисления расстояния используется для по меньшей мере двух подчастей. Этот вариант, однако, вызывает несоответствие в наборе расстояний и в уровне ухудшения подчастей.
Фиг. 6 схематически показывает первое аппаратное осуществление устройства (60), выполненного с возможностью обрабатывать первую часть видеосодержимого. Устройство (60) содержит по меньшей мере блок (61) выбора видеочасти, блок (62) ухудшения изображения и контроллер (63). Преимущественно, система соединена с устройством (64) отображения, на которое передается первая часть. В соответствии с конкретным осуществлением, устройство (60) является HMD или планшетом, или смартфоном. В этом случае, одним из контроллеров является система инерционного сенсора HMD. Система инерционного сенсора содержит, например, три гироскопа, один для высоты, один для поворота и один для наклона. В соответствии с другим осуществлением, контроллер содержит по меньшей мере один инерциальный блок измерения (IMU). В другом примере устройство (60) является телевизионной приставкой или персональным компьютером, а контроллер является джойстиком, игровым планшетом, мышью, пультом удаленного управления или клавиатурой. В некоторых вариантах используют камеры для определения положения устройства управления в пространстве. Блок (62) ухудшения изображения выполнен с возможностью принимать и передавать данные, репрезентативные для части видео с погружением, представленные в качестве изображения или последовательности изображений, например, через беспроводную линию связи. В соответствии с другим примером, блок (62) ухудшения изображения выполнен с возможностью принимать и передавать данные по проводной линии связи, например, в соответствии со стандартом USB или HDMI.
Фиг. 7 схематически показывает второе аппаратное осуществление устройства (70). В этом примере устройство (70) содержит следующие элементы, соединенные друг с другом с помощью шины (76) адресов и данных, которая также передает тактовый сигнал:
микропроцессор (71) (или CPU),
графический адаптер (72), содержащий:
несколько блоков графической обработки (или GPU) (720),
графическая память со случайным доступом (GRAM) (721),
энергонезависимая память типа ROM (постоянное запоминающее устройство) (73),
память со случайным доступом или RAM (74),
контроллеры (63) (например, IMU),
одно или несколько устройств (75) I/O (ввода/вывода), такие как, например, тактильный интерфейс, мышь, веб-камера и так далее и
источник питания (77).
Преимущественно, устройство (70) соединено с одним или несколькими устройствами (64) отображения типа экрана дисплея напрямую с графическим адаптером (72) для отображения изображений, вычисленных в графическом адаптере.
Следует отметить, что слово «зарегистрировать», использованное в описании памяти (721), (73) и (74), обозначает в каждом из упомянутых модулей памяти область памяти низкой емкости (некоторые бинарные данные), а также область памяти большой емкости (позволяя хранение целой программы или всех или части данных, репрезентативных для данных, вычисляемых или подлежащих отображению).
Будучи включенным, микропроцессор (71) загружает и исполняет инструкции программы, хранимой в RAM (74).
Память (74) со случайным доступом, главным образом, содержит:
в регистре (740), программу функционирования микропроцессора (71), ответственную за включение устройства (70),
данные (741), представляющие изображение (изображения) видеосодержимого с погружением (например, данные RGB или данные YUV),
информацию (742), представляющую опорные части, связанные с метками времени видеосодержимого.
В соответствии с одним конкретным осуществлением, алгоритмы, реализующие этапы способа, конкретного для настоящего раскрытия, и описанные далее, преимущественно хранятся в памяти GRAM (721) графического адаптера (72), связанного с устройством (70), реализующим эти этапы. Будучи включенным, и как только данные (741) и информация (742) загружены в RAM (74), графические процессоры (720) графического адаптера (72) загружают эти параметры в GRAM (721) и исполняют инструкции этих алгоритмов в форме микропрограмм типа «шейдер», использующих, например, язык HLSL (высокоуровневый язык шейдеров) или GLSL (язык шейдинга OpenGL).
Память (721) со случайным доступом GRAM, главным образом, содержит данные, репрезентативные для отображаемой части видеосодержимого в регистре (7210).
В соответствии с другим вариантом, часть RAM (74) назначают CPU (71) для хранения алгоритмов. Этот вариант, однако, имеет следствием более высокое время задержки при составлении изображения, поскольку данные должны быть переданы от памяти (74) со случайным доступом к графическому адаптеру (72), проходя шину (76), для которой пропускная способность обычно хуже, чем та, которая доступна в графическом адаптере для передачи данных от GPU к GRAM и наоборот.
В соответствии с другим вариантом, источник (77) питания является внешним по отношению к устройству (70).
Фиг. 5 схематически показывает первое осуществление способа, реализованного в устройстве обработки, таком как устройства (60) или (70), в соответствии с неограничивающим преимущественным осуществлением.
Способ принимает два набора данных в качестве ввода: первую часть (13), представляющую часть видеосодержимого с погружением, и опорную часть (20) того же самого видеосодержимого с погружением. Первая часть и опорная часть связаны с описанием их положения и формы внутри опорного кадра видеосодержимого с погружением.
Первый этап (51) состоит в определении первого расстояния между первой частью и опорной частью. В соответствии с преимущественным вариантом, первое расстояние является скалярным значением, нормализованным между 0,0 и 1,0. В соответствии с другим вариантом, первое расстояние измеряется в пикселах или является угловым расстоянием, измеряемым в градусах или в радианах. Результат этапа (51) используется вторым этапом (52). На этапе (52) уровень визуального ухудшения вычисляется в соответствии с обеспеченным первым расстоянием: чем больше первое расстояние, тем выше уровень визуального ухудшения. В соответствии с этим уровнем, изображения первой части визуально ухудшают. Этап (52) использует любой из способов ухудшения визуального качества, описанных выше. На этом этапе получают ухудшенную версию (53) изображения первой части.
Фиг. 8 схематически показывает второе осуществление способа, реализованного в устройстве обработки, таком как устройство (60) или (70), в соответствии с неограничивающим преимущественным осуществлением.
Во время этапа (80) инициализации обновляют различные параметры устройства (60) или (70) обработки. В частности, параметры, специфические для контроллеров, инициализируют любым способом. Например, если устройство (60) или (70) является HMD, самый первый набор из трех углов определяют путем сравнения положения устройства с опорным направлением мира в опорном фиксированном кадре мира. Этот опорный кадр использует, например, горизонтальную и вертикальную ось с азимутом, направленным в сторону Севера, например, или в сторону связанной камеры. Первоначально не определяют опорной части. Другими словами, отсутствует опорная часть, побуждающая пользователя смотреть в сторону самого запуска приложения.
Видеосодержимое с погружением связано с режимом отображения проекции, например, цилиндрическим (как показано на Фиг. 1), кубическим или сферическим. Этот режим отображения проекции определяет опорное направление содержимого в своем собственном опорном кадре. В соответствии с вариантом, устанавливается связь между этим опорным направлением содержимого и опорным направлением мира, выбранным во время этапа (80) инициализации.
Во время этапа (81) выбирают первую часть видеосодержимого в соответствии с параметрами контроллера. Первый раз при исполнении этого этапа используют значения этих параметров по умолчанию. Параметры контроллера используют на этом этапе для определения положения первой части в кадре видеосодержимого с погружением. В осуществлении, в котором дисплей является внутренним элементом устройства (60) или (70), такого как HMD, в соответствии с этим положением, с одной стороны, и характеристиками (например, формой и полем зрения) экранов отображения, с другой, первую часть видеосодержимого с погружением «вырезают» и выбирают. В соответствии с вариантом, этот этап исполняют, когда событие (82) обнаруживает по меньшей мере один из контроллеров. Например, если пользователь использует джойстик для просмотра видеосодержимого с погружением, этап (81) исполняют, когда пользователь управляет своим джойстиком. В соответствии с другим вариантом, если устройство (60) или (70) является HMD, то этап (81) исполняют, когда изменение положения HMD обнаруживается, например, его инерциальным блоком измерения. В соответствии с другим вариантом, этап (81) исполняют более часто, например, для каждого кадра видеосодержимого с погружением. Исполнение этапа (81) автоматически вызывает исполнение следующего этапа (83).
Во время этапа (83), исполняют оба этапа способа, показанного на Фиг. 5. Определяют первое расстояние между первой частью и опорной частью и ухудшают качество первой части. На этом этапе (83) вычисляют уровень ухудшения в соответствии с первым расстоянием: чем больше первое расстояние, тем выше уровень визуального ухудшения. Если опорная часть отсутствует, то первое расстояние устанавливается в ноль. Вследствие этого, изображение вообще не ухудшают. В противном случае, вычисляют первое расстояние между частью, подлежащей отображению, и опорной частью. В соответствии с конкретным примером, это первое расстояние является кратчайшим евклидовым расстоянием в опорном кадре видеосодержимого с погружением между центром, например, центром масс, первой части и центром, в качестве другого примера, центром тяжести, опорной части. В соответствии с другим осуществлением, это первое расстояние является кратчайшим расстоянием между любой точкой первой части и любой точкой опорной части. Как только первое расстояние вычислено, выбирают уровень ухудшения, следуя принципу: чем больше первое расстояние, тем выше уровень ухудшения. Этот выбор зависит от средств, выбранных для визуального ухудшения изображения. В соответствии с одним вариантом, цвет первой части затемняют. В соответствии с другим вариантом, некоторый шум вводится в часть, подлежащую отображению, как показано на Фиг. 3А и 3В. На этапе (83) отображаемую часть визуально ухудшают с использованием выбранного средства ухудшения.
В любое время опорная часть может измениться (84). Такое изменение, например, получают в пределах потока данных содержимого. В соответствии со вторым примером, эту информацию получают от удаленного сервера. В соответствии с третьим примером, опорную часть определяют посредством региона алгоритма определения интереса. В этом примере соответствующую информацию получают благодаря анализу последовательности изображений видеосодержимого с погружением посредством такого алгоритма. Программа для исполнения такого алгоритма обнаружения региона интереса преимущественно хранится в регистре GRAM (621) устройства (70) или, в соответствии с вариантом, загружается в регистр RAM (64). Когда обнаруживают изменение опорной части, исполняют этап (83).
В соответствии с другим осуществлением, уровень ухудшения для данного первого расстояния увеличивается с течением времени. Например, сессия просмотра начинается без опорной части, потому что в этот момент отсутствует событие повествования. Через некоторое время определяют опорную часть, чтобы побудить пользователя смотреть в ее направлении. Если пользователь смотрит в другом направлении, то первое расстояние, называемое dist, является высоким. Вычисляют уровень ухудшения, называемый lev, для этого расстояния dist. Первую часть не ухудшают вообще в этот момент. Чтобы избежать неожиданного скачка в визуальном качестве первой части, в соответствии с этим осуществлением, уровень визуального ухудшения устанавливают равным очень низкому значению, например, нулю. Затем уровень визуального ухудшения постепенно увеличивают для этого первого расстояния dist до уровня lev. Когда уровень ухудшения достиг уровня lev, он больше не увеличивается. Например, если выбранным способом ухудшения является пикселизация, то первая часть будет становиться более и более пикселированной с течением времени для данного первого расстояния dist. Например, когда устройство (60) или (70) является HMD, только движение головы пользователя (то есть событие (63) контроллера) в сторону опорной части может ослабить этот эффект путем запуска этапа (81) и, как следствие, этапа (83).
В соответствии с другим осуществлением, на этапе (83) первую часть разделяют на подчасти. В соответствии с вариантом, подчасти имеют один пиксельный размер и организованы в регулярную сетку. В соответствии с другим вариантом, подчасти являются квадратами различных размеров, причем множество квадратов покрывает всю область видеосодержимого с погружением. Второе расстояние вычисляют для каждой подчасти на этом этапе (83). Второе расстояние определяют посредством использования одного из расстояний, описанных для первого расстояния. В соответствии с одним вариантом, то же самое расстояние используется для вычисления второго расстояния каждой подчасти в целях единообразия. Этот вариант этапа (83) реализуют отдельно или в объединении с вариантом, в котором уровень визуального ухудшения постепенно увеличивается.
Очевидно, что настоящее раскрытие не ограничено настоящим описанными осуществлениями.
В частности, настоящее раскрытие не ограничено способом обработки видеосодержимого с погружением, но также распространяется на любой способ отображения обработанной первой части и на любое устройство, реализующее этот способ отображения. Реализация вычислений, необходимых для формирования первой части и подчастей, также не ограничена реализацией микропрограмм шейдерного типа, но также распространяется на реализацию любого программного типа, например, программ, которые могут быть исполнены микропроцессором типа CPU. Использование способов настоящего раскрытия не ограничено использованием в режиме реального времени, но также распространяется на любое другое использование, например, на обработку, известную как обработку постпроизводства в студии записи.
Реализации, описанные в настоящем документе, могут быть реализованы в, например, способе или процессе, устройстве, программе, потоке данных или сигнале. Даже если обсуждаются только в контексте единой формы реализации (например, обсуждаются только в качестве способа или устройства), реализация описанных признаков может быть также реализована в других формах (например, программы). Устройство может быть реализовано, например, в подходящем аппаратном средстве, программном обеспечении или программно-аппаратном средстве. Способы могут быть реализованы в, например, устройстве, таком как, например, процессор, который относится к устройствам обработки в целом, включающим в себя, например, компьютер, микропроцессор, интегральную схему или устройство с программируемой логикой. Процессоры также включают в себя устройства связи, такие как, например, смартфоны, планшеты, компьютеры, мобильные телефоны, портативные/персональные цифровые помощники (PDA) и другие устройства, которые облегчают передачу информации между конечными пользователями.
Реализации различных способов и признаков, описанных в настоящем документе, могут быть осуществлены во множестве различных оборудований или приложений, в частности, например, оборудовании или приложениях, связанных с кодированием данных, декодированием данных, формированием вида, обработкой текстур и другими видами обработки изображений и связанной информации текстур и/или информации глубины. Примеры такого оборудования включают в себя кодер, декодер, постпроцессор, обрабатывающий вывод из декодера, препроцессор, обеспечивающий ввод на кодер, видеокодер, видеодекодер, видеокодек, веб-сервер, телевизионную приставку, ноутбук, персональный компьютер, сотовый телефон, PDA и другие устройства связи. Следует понимать, что оборудование может быть мобильным и даже установленным на мобильное средство передвижения.
Дополнительно способы могут быть реализованы посредством инструкций, выполняемых процессором, и такие команды (и/или значения данных, полученные реализацией) могут быть сохранены на машиночитаемом носителе, таком как, например, интегральная схема, носитель программного обеспечения или другое устройство хранения, такое как, например, жесткий диск, компактная дискета («CD»), оптический диск (такой как, например, DVD, часто называемым цифровым гибким диском или цифровым видеодиском), память со случайным доступом («RAM») или энергонезависимая память («ROM»). Инструкции могут формировать программу приложения, материально воплощенную на машиночитаемом носителе. Инструкции могут быть, например, в форме аппаратного обеспечения, программно-аппаратного обеспечения, программного обеспечения или комбинации. Инструкции могут быть найдены, например, в операционной системе, отдельном приложении или их комбинации. Процессор может быть характеризован, следовательно, в качестве, например, и устройства, выполненного с возможностью выполнять процесс, и устройства, которое включает в себя машиночитаемый носитель (такой как устройство хранения), имеющий инструкции для выполнения процесса. Дополнительно, машиночитаемый носитель может хранить, в дополнение или вместо инструкций, значения данных, полученные посредством реализации.
Как будет понятно специалисту в данной области техники, реализации могут произвести множество сигналов, отформатированных, чтобы переносить информацию, которая может быть, например, сохранена или передана. Информация может включать в себя, например, инструкции для выполнения способа или данные, полученные посредством одной или нескольких описанных реализаций. Например, сигнал может быть отформатирован для переноса в качестве данных правил для записи или считывания синтаксиса описанного осуществления или переноса в качестве данных фактических синтаксис-значений, записанных описанным осуществлением. Такой сигнал может быть отформатирован, например, в качестве электромагнитной волны (например, использующей часть радиочастоты спектра) или в качестве сигнала опорной полосы частот. Форматирование может включать в себя, например, кодирование потока данных и модулирование несущей с помощью потока закодированных данных. Информация, которую переносит сигнал, может быть, например, аналоговой или цифровой информацией. Сигнал может передаваться по множеству различных проводных или беспроводных линий связи, как это известно. Сигнал может храниться на машиночитаемом носителе.
Описано несколько реализаций. Несмотря на это, следует понимать, что могут быть сделаны различные модификации. Например, элементы различных реализаций могут быть объединены, добавлены, изменены или удалены для получения других реализаций. Дополнительно, специалисту в данной области техники будет понятно, что другие структуры и способы могут быть заменены на те, которые раскрыты, и получившиеся реализации будут выполнять, по меньшей мере, по существу, ту же самую функцию (функции), по меньшей мере, по существу, тем же самым способом (способами), чтобы достичь, по меньшей мере, по существу, того же самого результата (результатов), как и в раскрытых реализациях. Соответственно, эти и другие реализации являются предусмотренными настоящей заявкой.

Claims (23)

1. Способ отображения части (13) изображения видеосодержимого (10) с погружением на экране устройства головного дисплея, причем отображаемая часть меньше изображения, причем указанная часть определяется как функция ориентации устройства головного дисплея, причем указанная ориентация определяется из параметров, полученных от по меньшей мере одного контроллера устройства головного дисплея; способ отличается тем, что содержит этапы, на которых:
получают по меньшей мере одну опорную часть упомянутого изображения;
определяют первое расстояние (21, 31) между упомянутой частью (13) и по меньшей мере одной опорной частью (20) изображения;
обрабатывают версию упомянутой первой части (13), называемую ухудшенной версией (53), путем ухудшения визуального качества упомянутой первой части в соответствии с упомянутым первым расстоянием (21, 31), причем чем больше первое расстояние (21, 31), тем выше уровень визуального ухудшения,
отображают упомянутую ухудшенную версию (53) части на упомянутом экране.
2. Способ по п. 1, в котором упомянутую часть (13) разделяют на подчасти (40, 41), определяют второе расстояние (42, 43) между каждой упомянутой подчастью и упомянутой по меньшей мере одной опорной частью (20), причем чем больше второе расстояние (42, 43), тем выше уровень ухудшения каждой упомянутой подчасти (40, 41).
3. Способ по п. 1 или 2, в котором упомянутый уровень ухудшения увеличивается с течением времени.
4. Способ по п. 1 или 2, в котором упомянутое первое расстояние (31) принадлежит к группе расстояний, содержащей: евклидово расстояние между центром упомянутой части и центром упомянутой по меньшей мере опорной части, кратчайшее евклидово расстояние среди набора расстояний между любой точкой упомянутой по меньшей опорной части и любой точкой упомянутой части, среднее евклидово расстояние расстояний между любой точкой упомянутой по меньшей мере опорной части и любой точкой из упомянутой части.
5. Способ по п. 1 или 2, в котором визуальное ухудшение упомянутой первой части принадлежит к группе визуальных ухудшений, содержащих: размытие, снижение или повышение затемнения цветов, снижение или повышение насыщения цветов, зашумление, пикселизацию.
6. Способ по п. 1 или 2, в котором упомянутое первое расстояние (31) определяют в соответствии с несколькими опорными частями.
7. Способ по п. 1 или 2, дополнительно содержащий этап, на котором передают упомянутую ухудшенную версию (53) на устройство отображения.
8. Способ по п. 1 или 2, в котором положение упомянутой первой части (13) управляется пользователем через устройства (63) управления.
9. Устройство (60, 70), выполненное с возможностью отображения части (13) изображения видеосодержимого (10) с погружением на экране устройства головного дисплея, причем отображаемая часть меньше изображения, причем устройство выполнено с возможностью определения упомянутой части как функции ориентации устройства головного дисплея, причем указанная ориентация определяется из параметров, полученных от по меньшей мере одного контроллера устройства головного дисплея, отличающееся тем, что устройство содержит:
средство получения по меньшей мере одной опорной части упомянутого изображения;
процессор, выполненный с возможностью определения первого расстояния между упомянутой частью и по меньшей мере опорной частью,
процессор, выполненный с возможностью обработки версии упомянутой части, называемой ухудшенной версией, путем ухудшения визуального качества упомянутой части в соответствии с упомянутым первым расстоянием, причем чем больше первое расстояние, тем выше уровень ухудшения,
процессор, выполненный с возможностью отображения упомянутой ухудшенной версии части на упомянутом экране.
10. Устройство по п. 9, в котором упомянутую часть разделяют на подчасти, определяют второе расстояние между каждой упомянутой подчастью и упомянутой по меньшей мере одной опорной частью, причем чем больше второе расстояние, тем выше уровень ухудшения каждой упомянутой подчасти.
11. Устройство по п. 9 или 10, в котором упомянутый уровень ухудшения увеличивается с течением времени.
12. Устройство по п. 9 или 10, в котором упомянутое первое расстояние принадлежит к группе средств вычисления расстояний, содержащей: евклидово расстояние между центром упомянутой части и центром упомянутой по меньшей мере опорной части, кратчайшее или среднее евклидово расстояние между любой точкой упомянутой по меньшей мере опорной части и любой точкой упомянутой первой части.
13. Устройство по п. 9 или 10, в котором визуальное ухудшение упомянутой части принадлежит к группе визуальных ухудшений, содержащих: размытие, снижение или повышение затемнения цветов, снижение или повышение насыщения цветов, зашумление, пикселизацию.
14. Устройство по п. 9 или 10, в котором упомянутое первое расстояние определяют в соответствии с несколькими опорными частями.
15. Устройство по п. 9 или 10, дополнительно содержащее передачу упомянутой ухудшенной версии на устройство отображения.
RU2016125455A 2015-06-30 2016-06-27 Способ и устройство обработки части видеосодержимого с погружением в соответствии с положением опорных частей RU2722584C2 (ru)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP15306058.7A EP3113159A1 (en) 2015-06-30 2015-06-30 Method and device for processing a part of an immersive video content according to the position of reference parts
EP15306058.7 2015-06-30

Publications (2)

Publication Number Publication Date
RU2016125455A RU2016125455A (ru) 2017-12-28
RU2722584C2 true RU2722584C2 (ru) 2020-06-01

Family

ID=53724157

Family Applications (1)

Application Number Title Priority Date Filing Date
RU2016125455A RU2722584C2 (ru) 2015-06-30 2016-06-27 Способ и устройство обработки части видеосодержимого с погружением в соответствии с положением опорных частей

Country Status (9)

Country Link
US (1) US10298903B2 (ru)
EP (2) EP3113159A1 (ru)
JP (1) JP2017016657A (ru)
KR (1) KR20170003441A (ru)
CN (1) CN106331687B (ru)
CA (1) CA2933651A1 (ru)
MX (1) MX364891B (ru)
RU (1) RU2722584C2 (ru)
TW (1) TW201702807A (ru)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10139902B2 (en) * 2015-09-16 2018-11-27 Colopl, Inc. Method and apparatus for changing a field of view without synchronization with movement of a head-mounted display
CN110114803B (zh) * 2016-12-28 2023-06-27 松下电器（美国）知识产权公司 三维模型分发方法、三维模型接收方法、三维模型分发装置以及三维模型接收装置
EP3602244A1 (en) * 2017-03-23 2020-02-05 InterDigital CE Patent Holdings Method and apparatus for providing immersive reality content
US10579898B2 (en) 2017-04-16 2020-03-03 Facebook, Inc. Systems and methods for provisioning content using barrel projection representation
EP3389282B1 (en) * 2017-04-16 2020-05-13 Facebook, Inc. Systems and methods for provisioning content
EP3389281B1 (en) * 2017-04-16 2020-12-30 Facebook, Inc. Systems and methods for provisioning content
US10348964B2 (en) 2017-05-23 2019-07-09 International Business Machines Corporation Method and system for 360 degree video coverage visualization
FR3067199B1 (fr) * 2017-06-06 2020-05-22 Sagemcom Broadband Sas Procede de transmission d'une video immersive
CN112406706B (zh) * 2020-11-20 2022-07-22 上海华兴数字科技有限公司 车辆景象的显示方法、装置、可读存储介质及电子设备
CN113256777B (zh) * 2021-06-28 2021-09-28 山东捷瑞数字科技股份有限公司 一种基于计算机图形学实现的球幕播放及调整方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20010041619A1 (en) * 2000-05-09 2001-11-15 Namco, Ltd. Game apparatus, storage medium and computer program
EP1223559A2 (en) * 2000-12-27 2002-07-17 Sony Computer Entertainment Inc. Drawing method on two-dimensional screen
US20090015679A1 (en) * 2007-07-09 2009-01-15 Nintendo Co., Ltd. Storage medium having image processing program stored thereon and image processing apparatus
WO2013183206A1 (en) * 2012-06-07 2013-12-12 Sony Corporation Image processing apparatus, image processing method, and program
US20140092006A1 (en) * 2012-09-28 2014-04-03 Joshua Boelter Device and method for modifying rendering based on viewer focus area from eye tracking
RU2013143978A (ru) * 2011-04-08 2015-04-10 Сони Корпорейшн Устройство обработки изображений, способ управления отображением и программа

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3569981B2 (ja) * 1994-10-26 2004-09-29 ソニー株式会社 探索方法および音声認識装置
US5850352A (en) * 1995-03-31 1998-12-15 The Regents Of The University Of California Immersive video, including video hypermosaicing to generate from multiple video views of a scene a three-dimensional video mosaic from which diverse virtual video scene images are synthesized, including panoramic, scene interactive and stereoscopic images
US6356664B1 (en) 1999-02-24 2002-03-12 International Business Machines Corporation Selective reduction of video data using variable sampling rates based on importance within the image
JP3350654B2 (ja) * 1999-12-03 2002-11-25 株式会社ナムコ 画像生成システム及び情報記憶媒体
JP3648130B2 (ja) 2000-05-15 2005-05-18 日本電信電話株式会社 映像一覧方法及び映像一覧処理プログラムを記録したコンピュータ読み取り可能な記録媒体
US7027655B2 (en) 2001-03-29 2006-04-11 Electronics For Imaging, Inc. Digital image compression with spatially varying quality levels determined by identifying areas of interest
JP2002330440A (ja) 2001-05-01 2002-11-15 Sony Corp 画像伝送方法、画像伝送方法のプログラム、画像伝送方法のプログラムを記録した記録媒体及び画像伝送装置
JP3959354B2 (ja) * 2003-01-10 2007-08-15 株式会社東芝 画像生成装置、画像生成方法、及び画像生成プログラム
US7292257B2 (en) * 2004-06-28 2007-11-06 Microsoft Corporation Interactive viewpoint video system and process
JP2006280731A (ja) * 2005-04-01 2006-10-19 Aruze Corp ゲームプログラム、ゲーム装置及び記録媒体
GB2447245B (en) 2007-03-05 2011-12-28 Snell & Wilcox Ltd Video transmission
US8957835B2 (en) * 2008-09-30 2015-02-17 Apple Inc. Head-mounted display apparatus for retaining a portable electronic device with display
GB2467898A (en) 2008-12-04 2010-08-18 Sharp Kk Display with automatic screen parameter adjustment based on the position of a detected viewer
US9897805B2 (en) 2013-06-07 2018-02-20 Sony Interactive Entertainment Inc. Image rendering responsive to user actions in head mounted display
WO2013106243A1 (en) * 2012-01-12 2013-07-18 West Kanye Omari Multiple screens for immersive audio/video experience
US20130300634A1 (en) * 2012-05-09 2013-11-14 Nokia Corporation Method and apparatus for determining representations of displayed information based on focus distance
WO2013179426A1 (ja) * 2012-05-30 2013-12-05 パイオニア株式会社 表示装置、ヘッドマウントディスプレイ、表示方法及び表示プログラム、並びに記録媒体
US9997199B2 (en) * 2014-12-05 2018-06-12 Warner Bros. Entertainment Inc. Immersive virtual reality production and playback for storytelling content
KR102234477B1 (ko) * 2015-01-15 2021-04-01 한국전자통신연구원 영상 품질에 기초한 파노라마 영상 생성 장치 및 방법

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20010041619A1 (en) * 2000-05-09 2001-11-15 Namco, Ltd. Game apparatus, storage medium and computer program
EP1223559A2 (en) * 2000-12-27 2002-07-17 Sony Computer Entertainment Inc. Drawing method on two-dimensional screen
US20090015679A1 (en) * 2007-07-09 2009-01-15 Nintendo Co., Ltd. Storage medium having image processing program stored thereon and image processing apparatus
RU2013143978A (ru) * 2011-04-08 2015-04-10 Сони Корпорейшн Устройство обработки изображений, способ управления отображением и программа
WO2013183206A1 (en) * 2012-06-07 2013-12-12 Sony Corporation Image processing apparatus, image processing method, and program
US20140092006A1 (en) * 2012-09-28 2014-04-03 Joshua Boelter Device and method for modifying rendering based on viewer focus area from eye tracking

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
BLACKWELL A.F. et al, Restricted Focus Viewer: A Tool for Tracking Visual Attention, FIRST INTERNATIONAL CONFERENCE, DIAGRAMS 2000, EDINBURGH, SCOTLAND, September 1-3, 2000 PROCEEDINGS; [LECTURE NOTES IN ARTIFICIAL INTELLIGENCE, VOL.1889], SPRINGER BERLIN / HEIDELBERG, найдено на http://citeseerx.ist.psu.edu/viewdoc/summary?doi=10.1.1.34.4876. *

Also Published As

Publication number Publication date
EP3113160A1 (en) 2017-01-04
CN106331687B (zh) 2020-06-30
US20170006275A1 (en) 2017-01-05
MX2016008602A (es) 2017-05-09
CA2933651A1 (en) 2016-12-30
EP3113159A1 (en) 2017-01-04
CN106331687A (zh) 2017-01-11
JP2017016657A (ja) 2017-01-19
TW201702807A (zh) 2017-01-16
MX364891B (es) 2019-05-10
RU2016125455A (ru) 2017-12-28
US10298903B2 (en) 2019-05-21
KR20170003441A (ko) 2017-01-09

Similar Documents

Publication Publication Date Title
RU2722584C2 (ru) Способ и устройство обработки части видеосодержимого с погружением в соответствии с положением опорных частей
US11508125B1 (en) Navigating a virtual environment of a media content item
KR102332950B1 (ko) 구면 비디오 편집
US10306180B2 (en) Predictive virtual reality content streaming techniques
US11089280B2 (en) Apparatus and method for capturing and displaying segmented content
US20180165830A1 (en) Method and device for determining points of interest in an immersive content
US10915993B2 (en) Display apparatus and image processing method thereof
CN109478344B (zh) 用于合成图像的方法和设备
US11119719B2 (en) Screen sharing for display in VR
US20160277772A1 (en) Reduced bit rate immersive video
CN106537894A (zh) 用于回放全景视频内容的系统和方法
US20200241731A1 (en) Virtual reality vr interface generation method and apparatus
CN108282694B (zh) 全景视频渲染方法、装置及电子设备
JP6751205B2 (ja) ディスプレイ装置及びその制御方法
US20190058862A1 (en) Display apparatus and server, and control methods thereof
US20220172440A1 (en) Extended field of view generation for split-rendering for virtual reality streaming
EP3322186A1 (en) Method and device for transmitting data representative of an image
JP6557343B2 (ja) 配向化画像符号化、送信、復号および表示
EP3330839A1 (en) Method and device for adapting an immersive content to the field of view of a user
EP3310052A1 (en) Method, apparatus and stream for immersive video format
JP7504953B2 (ja) 画像を合成するための方法及び装置
KR102179810B1 (ko) 가상현실영상 재생방법 및 이를 이용한 프로그램
KR20240045049A (ko) 전자 장치 및 그 동작 방법