RU2628198C1

RU2628198C1 - Method for interchannel prediction and interchannel reconstruction for multichannel video made by devices with different vision angles

Info

Publication number: RU2628198C1
Application number: RU2016119756A
Authority: RU
Inventors: Роман Вадимович АРЗУМАНЯН
Original assignee: Самсунг Электроникс Ко., Лтд.
Priority date: 2016-05-23
Filing date: 2016-05-23
Publication date: 2017-08-15

Abstract

FIELD: physics.

SUBSTANCE: method for encoding multichannel video frames using interchannel prediction is proposed, wherein the multichannel video is made by devices with different vision angles. The method comprises the stage of receiving a plurality of input frames and corresponding vision angles. Then, frame-predictor is searched from the mentioned plurality of input frames for the encoded frame so that the vision angle corresponding to the frame-predictor is different from the vision angle corresponding to the mentioned encoded frame and a pointer indicating the detected frame-predictor is obtained.

EFFECT: increased visual quality of the compressed video signal due to the fact that each of the channels corresponds to its own vision angle.

8 cl, 6 dwg

Description

ОБЛАСТЬ ТЕХНИКИFIELD OF TECHNOLOGY

Заявленное изобретение относится к способам сжатия цифровых видео сигналов, в частности к сжатию многоканального видео (МВ), каналы которого сняты устройствами съемки (например, физическими и/или виртуальными камерами) с различными углами зрения. The claimed invention relates to methods for compressing digital video signals, in particular to compressing multi-channel video (MV), the channels of which are captured by shooting devices (for example, physical and / or virtual cameras) with different angles of view.

ПРЕДПОСЫЛКИ СОЗДАНИЯ ИЗОБРЕТЕНИЯBACKGROUND OF THE INVENTION

Сжатие видео (в частности, МВ) представляет собой актуальную задачу, т.к. видеосигнал, даже после сжатия, требует большого количества информации для представления. Передача видеосигнала по сети (в проводных и беспроводных сетях передачи данных, кабельных ТВ сетях и пр.) предъявляет серьезные требования к пропускной способности сети (10-16 Мбит/с в случае потоковой передачи для сервиса Google, Youtube, 18-25 Мбит/с для передачи видеоматериалов высокого качества при разрешении 1920х1080 с применением кодека H.264) и представляет собой сильную нагрузку на сеть и/или сетевое оборудование - если пропускной способности сети/сетевого оборудования недостаточно, то пользователь не будет своевременно получать видеосигнал, или будет обслужено меньшее количество абонентов из-за исчерпания пропускной способности сети и/или сетевого оборудования. В то же время, при хранении сжатого видеосигнала на устройствах хранения данных, видеофайлы занимают значительный объем памяти этих устройств (от 8-10 Гбайт для хранения полнометражного фильма в разрешении 1920х1080 точек с применением кодека H.264). Точный размер, занимаемый сжатым видеофайлом на носителе, может быть получен умножением бит-рейта (частоты следования битов) на продолжительность. Данные для значений бит-рейта приведены в указании требований к пропускной способности сети. Таким образом, повышение степени сжатия МВ позволяет снизить нагрузку на сети и сетевое оборудование, уменьшить использование памяти при локальном хранении сжатых видеофайлов и/или позволяет повысить визуальное качество сжатого видеосигнала при неизменной нагрузке на сеть и сетевое оборудование. Video compression (in particular, MV) is an urgent task, because the video signal, even after compression, requires a lot of information to present. Video transmission over the network (in wired and wireless data networks, cable TV networks, etc.) poses serious requirements for network bandwidth (10-16 Mbit / s in case of streaming for the Google, Youtube service, 18-25 Mbit / s to transmit high-quality video materials at a resolution of 1920 × 1080 using the H.264 codec) and represents a heavy load on the network and / or network equipment - if the network / network equipment bandwidth is insufficient, the user will not receive a video signal in a timely manner, or fewer subscribers will be served due to exhaustion of network bandwidth and / or network equipment. At the same time, when storing compressed video on data storage devices, video files occupy a significant amount of memory of these devices (from 8-10 GB for storing a full-length film in the resolution of 1920 × 1080 pixels using the H.264 codec). The exact size occupied by the compressed video file on the medium can be obtained by multiplying the bit rate (bit rate) by the duration. The data for the bit rate values is given in the indication of network bandwidth requirements. Thus, increasing the compression ratio of MVs can reduce the load on the network and network equipment, reduce the use of memory when locally storing compressed video files and / or can improve the visual quality of the compressed video signal with the same load on the network and network equipment.

На данный момент известны кодеки (стандарты H.264, H.265 (HEVC) и пр.), способные осуществлять сжатие (компрессию) многоканального видео, которые могут быть использованы на всех устройствах, совместимых с данными форматами. Однако указанные кодеки не предназначены для сжатия многоканального видео, снятого устройствами съемки c различными углами зрения (УЗ), так как не учитывают такой возможности на уровне процессов сжатия: один и тот же объект (например, футболист), изображенный на кадрах из разных каналов МВ, которым соответствуют различные УЗ, может иметь различный масштаб и искажения перспективы в зависимости от УЗ устройства съемки, которые необходимо компенсировать для осуществления эффективного межканального предсказания, что позволяет улучшить сжатие МВ. Под улучшением сжатия здесь и далее понимается меньшее количество данных, необходимое для представления сжатого видеосигнала при неизменном визуальном качестве, определенном по метрике PSNR (Peak Signal to Noise Ratio - пиковое соотношение «сигнал - шум»), или более высокое визуальное качество по метрике PSNR при неизменном количестве данных, необходимых для представления сжатого видеосигнала. Перечисленные выше стандарты такими возможностями не обладают, в связи с чем требуют большего количества данных для представления сжатого видеосигнала с таким же уровнем визуального качества по метрике PSNR, либо осуществляют сжатие с меньшим визуальным качеством при неизменном количестве данных, необходимых для представления сжатого видеосигнала.At the moment, codecs are known (H.264, H.265 (HEVC) standards, etc.), capable of compressing (compressing) multi-channel video, which can be used on all devices compatible with these formats. However, these codecs are not intended for compression of multi-channel video shot by shooting devices with different angles of view (US), since they do not take this possibility into account at the level of compression processes: the same object (for example, a football player), depicted on frames from different MV channels , which correspond to different ultrasound scans, can have different scales and perspective distortions depending on the ultrasound scanners, which must be compensated for effective interchannel prediction, which allows to improve the compression th MB. Compression improvement here and hereinafter means the smaller amount of data needed to present a compressed video signal at a constant visual quality determined by the PSNR metric (Peak Signal to Noise Ratio), or higher visual quality by the PSNR metric when a constant amount of data needed to present a compressed video signal. The standards listed above do not have such capabilities, and therefore require more data to represent a compressed video signal with the same level of visual quality according to the PSNR metric, or they perform compression with a lower visual quality with an unchanged amount of data necessary to represent the compressed video signal.

Патентная заявка US 2010/0142614 A1 (опубл. 10.06.2010) раскрывает способ и устройство для предсказания между различными уровнями масштабируемости многомасштабного видео с использованием предиктора, разрешение которого отличается от разрешения кодируемого кадра. В данном решении улучшение сжатия видео достигается за счет использования предиктора из другого уровня масштабируемости, обладающего не меньшим разрешением, чем кодируемый кадр. Однако данное техническое решение имеет следующие недостатки: Patent request US 2010/0142614 A1 (publ. 06/10/2010) discloses a method and apparatus for predicting between different levels of scalability of multiscale video using a predictor whose resolution is different from the resolution of the encoded frame. In this solution, the improvement in video compression is achieved by using a predictor from a different level of scalability, which has no less resolution than the encoded frame. However, this technical solution has the following disadvantages:

- Техническое решение применимо только к многомасштабному видео, но не к МВ, снятому устройствами съемки c различными углами зрения.- The technical solution is applicable only to multiscale video, but not to MV captured by shooting devices with different viewing angles.

- Невозможно использовать изображение с меньшим уровнем масштабируемости в качестве предиктора для изображения с большим уровнем масштабируемости.- It is not possible to use an image with a lower level of scalability as a predictor for an image with a higher level of scalability.

Патентная заявка US 2014/0078250 A1 (опубл. 20.03.2014) раскрывает способ предсказания остатков кодирования для масштабируемого кодека с использованием межканального предсказания. В данном решении улучшение сжатия достигается за счет предсказания остатков кодирования текущего кадра из других каналов МВ. Однако данное техническое решение применимо только для предсказания остатков кодирования текущего кадра и не предусматривает возможность компенсации межканальной разницы с учетом различия УЗ устройств съемки.Patent application US 2014/0078250 A1 (publ. March 20, 2014) discloses a method for predicting coding residues for a scalable codec using inter-channel prediction. In this solution, compression improvement is achieved by predicting the encoding residuals of the current frame from other MV channels. However, this technical solution is applicable only for predicting the coding residuals of the current frame and does not provide for the possibility of compensating for the interchannel difference, taking into account the difference in ultrasonic recording devices.

Наиболее близкое решение к заявленному изобретению раскрыто в патентной заявке US 2008/0170753 A1 (опубл. 17.07.2008), которая раскрывает способ межканального предсказания, в том числе с использованием предикторов, обладающих временной разницей. В данном решении улучшение сжатия достигается за счет формирования предиктора для текущего кадра с использованием частей изображений, полученных из кадров, принадлежащих другим каналам МВ, а также кадров, обладающих временной разницей с текущим кадром. Однако в данном техническом решении также не предусмотрена возможность компенсации межканальной разницы с учетом различия УЗ устройств съемки.The closest solution to the claimed invention is disclosed in the patent application US 2008/0170753 A1 (publ. 17.07.2008), which discloses a method of inter-channel prediction, including using predictors with a temporary difference. In this solution, compression improvement is achieved by generating a predictor for the current frame using parts of images obtained from frames belonging to other MV channels, as well as frames having a temporary difference with the current frame. However, this technical solution also does not provide for the possibility of compensating for the inter-channel difference, taking into account the difference in ultrasonic shooting devices.

СУЩНОСТЬ ИЗОБРЕТЕНИЯSUMMARY OF THE INVENTION

Заявленное изобретение позволяет выполнить межканальное предсказание и межканальную реконструкцию для многоканального видео, снятого устройствами с различными углами зрения, повысить визуальное качество сжатого видеосигнала и/или уменьшить количество данных, необходимых для его представления. Это сокращает время приема/передачи данных и объем, занимаемый сжатым видеосигналом на устройствах хранения данных.The claimed invention allows to perform inter-channel prediction and inter-channel reconstruction for multi-channel video captured by devices with different angles of view, to increase the visual quality of the compressed video signal and / or to reduce the amount of data necessary for its presentation. This reduces the time of receiving / transmitting data and the amount occupied by the compressed video signal on the storage devices.

Два устройства съемки обладают различными углами зрения, например, в том случае, если они оснащены объективами с различными углами зрения (в том числе, несколькими объективами одновременно) в случае физических камер, или если их проекционные матрицы отличаются в случае виртуальных камер. Two shooting devices have different viewing angles, for example, if they are equipped with lenses with different viewing angles (including several lenses at the same time) in the case of physical cameras, or if their projection arrays are different in the case of virtual cameras.

Под каналом многоканального видео (МВ) в данной заявке понимается множество изображений, снятых одним устройством съёмки с некоторым УЗ. Примером многоканального видео может быть съемка футбольного матча несколькими камерами с разных ракурсов, например, съемка общего плана - камерой с широкоугольным объективом, и съемка крупного плана - камерой с телеобъективом, т.е. с объективами с разными углами зрения. Under the channel multichannel video (MV) in this application refers to many images taken with a single shooting device with some ultrasound. An example of multi-channel video can be shooting a football match with several cameras from different angles, for example, shooting a general plan with a camera with a wide-angle lens, and shooting close-up with a camera with a telephoto lens, i.e. with lenses with different angles of view.

Заявленное изобретение решает задачу повышения качества изображения за счет использования изображений из различных каналов МВ, в качестве предиктора(ов) для текущего кадра, при этом каждому из упомянутых различных каналов МВ соответствует свой УЗ.The claimed invention solves the problem of improving image quality through the use of images from various MV channels as predictor (s) for the current frame, with each of the various MV channels mentioned being associated with its own ultrasound.

При этом для минимизации межканальной разницы применяется компенсация УЗ для изображений из других каналов, которая уменьшает межкадровую разницу за счет компенсации разницы масштабов изображений и искажений перспективы, вызванных использованием устройств съемки с различными УЗ для записи такого МВ. Уменьшение межканальной разницы позволяет сжимать меньшее количество информации, что является улучшением сжатия.In order to minimize the inter-channel difference, ultrasound compensation is applied for images from other channels, which reduces the inter-frame difference by compensating for the difference in image scales and perspective distortions caused by the use of shooting devices with different ultrasound for recording such MV. Reducing cross-channel differences allows you to compress less information, which is an improvement in compression.

Настоящее изобретение обеспечивает возможность эффективного межканального предсказания и межканальной реконструкции для многоканального видео, снятого устройствами с различными углами зрения, благодаря компенсации разницы в углах-зрения между кадром-предиктором и текущим кодируемым или декодируемым кадром.The present invention enables efficient inter-channel prediction and inter-channel reconstruction for multi-channel video captured by devices with different viewing angles by compensating for differences in viewing angles between the predictor frame and the current encoded or decoded frame.

Таким образом, настоящее изобретение повышает качество изображения многоканального видео, снятого устройствами съемки с различными углами зрения при неизменном количестве данных, используемых для представления сжатого видеосигнала, или сокращает количество данных, используемых для представления сжатого видеосигнала при неизменном визуальном качестве изображения. На Фиг.4 представлены графики, наглядно демонстрирующие эффективность работы настоящего изобретения в сравнении с известными способами.Thus, the present invention improves the image quality of multichannel video captured by shooting devices with different angles of view with a constant amount of data used to represent the compressed video signal, or reduces the amount of data used to represent the compressed video signal with the same visual quality of the image. Figure 4 presents graphs that clearly demonstrate the effectiveness of the present invention in comparison with known methods.

Другими словами, в настоящей заявке предусмотрен более совершенный способ предсказания межканальной разницы МВ, который позволяет компенсировать разницу УЗ устройств съемки, использованных для съемки МВ.In other words, this application provides a more advanced method for predicting the interchannel difference in MV, which allows you to compensate for the difference in ultrasonic scanning devices used for shooting MV.

В первом аспекте настоящего изобретения обеспечен способ межканального предсказания для кодирования кадров многоканального видео, снятого устройствами с различными углами зрения, содержащий этапы, на которых: получают множество входных кадров и соответствующих им углов зрения, причем каждому кадру соответствует угол зрения из по меньшей мере двух разных углов зрения; осуществляют поиск кадра-предиктора из упомянутого множества входных кадров для кодируемого кадра так, чтобы угол зрения, соответствующий кадру-предиктору, отличался от угла зрения, соответствующего упомянутому кодируемому кадру, и получают указатель, указывающий найденный кадр-предиктор; модифицируют найденный кадр-предиктор для компенсации разницы в угле зрения, соответствующем кадру-предиктору, и угле зрения, соответствующем упомянутому кодируемому кадру, и получают указатель, указывающий тип выполненной модификации; и осуществляют межканальное предсказание по меньшей мере одного пиксела кодируемого кадра из по меньшей мере одного пиксела модифицированного кадра-предиктора, при этом осуществление межканального предсказания содержит: поиск схожих частей кодируемого кадра и модифицированного кадра-предиктора; определение разности положений найденных схожих частей; и запись определенной разности положений и упомянутых указателей в битовый поток. In a first aspect of the present invention, there is provided an inter-channel prediction method for encoding frames of a multi-channel video captured by devices with different viewing angles, comprising the steps of: receiving a plurality of input frames and corresponding viewing angles, each frame corresponding to an angle of view from at least two different viewing angles; searching for a predictor frame from the plurality of input frames for the encoded frame so that the angle of view corresponding to the predictor frame is different from the angle of view corresponding to the encoded frame, and a pointer indicating the found predictor frame is obtained; modifying the found predictor frame to compensate for the difference in the angle of view corresponding to the predictor frame and the angle of view corresponding to the encoded frame, and a pointer indicating the type of modification performed is obtained; and interchannel predicting at least one pixel of the encoded frame from at least one pixel of the modified predictor frame, wherein interchannel prediction comprises: searching for similar portions of the encoded frame and the modified predictor frame; determination of the difference in positions of similar parts found; and writing a specific position difference and said pointers to the bitstream.

Во втором аспекте настоящего изобретения обеспечен способ межканальной реконструкции для декодирования кадров многоканального видео, снятого устройствами с различными углами зрения, содержащий этапы, на которых: принимают битовый поток; декодируют по меньшей мере один кадр для получения по меньшей мере одного кадра-предиктора; извлекают из битового потока: - по меньшей мере один указатель, указывающий тип модификации упомянутого по меньшей мере одного кадра-предиктора; - первый угол зрения, соответствующий упомянутому по меньшей мере одному кадру-предиктору; - второй угол зрения, соответствующий текущему декодируемому кадру; и - разность положений между модифицируемым упомянутым по меньшей мере одним кадром-предиктором и текущим декодируемым кадром; осуществляют модификацию упомянутого по меньшей мере одного кадра-предиктора, которая указывается упомянутым указателем, указывающим тип модификации, для компенсации разницы между упомянутым первым углом зрения и вторым углом зрения, соответствующим текущему декодируемому кадру, и получения модифицированного по меньшей мере одного кадра-предиктора; осуществляют межканальную реконструкцию по меньшей мере одного пиксела текущего декодируемого кадра из по меньшей мере одного пиксела модифицированного по меньшей мере одного кадра-предиктора с использованием разности между их положениями.In a second aspect of the present invention, there is provided an inter-channel reconstruction method for decoding frames of a multi-channel video captured by devices with different viewing angles, comprising the steps of: receiving a bit stream; at least one frame is decoded to obtain at least one predictor frame; extracted from the bitstream: at least one pointer indicating a modification type of said at least one predictor frame; - a first angle of view corresponding to said at least one predictor frame; - the second angle of view corresponding to the current decoded frame; and - a position difference between the modifiable said at least one predictor frame and the current decoded frame; modifying said at least one predictor frame, which is indicated by said pointer indicating the type of modification, to compensate for the difference between said first angle of view and the second angle of view corresponding to the current decoded frame, and obtain a modified at least one predictor frame; interchannel reconstruction of at least one pixel of the current decoded frame from at least one pixel of the modified at least one predictor frame using the difference between their positions.

В третьем аспекте настоящего изобретения предусмотрен способ кодирования, содержащий этапы способа межканального предсказания согласно первому аспекту настоящего изобретения. In a third aspect of the present invention, there is provided an encoding method comprising the steps of an inter-channel prediction method according to a first aspect of the present invention.

В четвертом аспекте настоящего изобретения предусмотрен способ декодирования, содержащий этапы способа межканальной реконструкции согласно первому аспекту настоящего изобретения.In a fourth aspect of the present invention, there is provided a decoding method comprising the steps of an inter-channel reconstruction method according to a first aspect of the present invention.

В пятом аспекте настоящего изобретения предусмотрено устройство кодирования изображений, реализующее способ кодирования согласно третьему аспекту настоящего изобретения.In a fifth aspect of the present invention, there is provided an image encoding apparatus implementing an encoding method according to a third aspect of the present invention.

В шестом аспекте настоящего изобретения предусмотрено устройство декодирования изображений, реализующее способ декодирования согласно четвертому аспекту настоящего изобретения.In a sixth aspect of the present invention, there is provided an image decoding apparatus implementing a decoding method according to a fourth aspect of the present invention.

В седьмом аспекте настоящего изобретения предусмотрен компьютерный программный продукт, содержащий компьютерную программу, имеющую исполняемые компьютером инструкции, которые при исполнении процессором выполняют способ по любому одному из первого, второго, третьего и четвертого аспектов настоящего изобретения.In a seventh aspect of the present invention, there is provided a computer program product comprising a computer program having computer-executable instructions that, when executed by a processor, execute a method according to any one of the first, second, third, and fourth aspects of the present invention.

В восьмом аспекте настоящего изобретения предусмотрен считываемый компьютером носитель, содержащий компьютерную программу, имеющую исполняемые компьютером инструкции, которые при исполнении процессором выполняют способ по любому одному из первого, второго, третьего и четвертого аспектов настоящего изобретения. Считываемый компьютером носитель может быть долговременным в одном из вариантов осуществления.In an eighth aspect of the present invention, there is provided a computer-readable medium comprising a computer program having computer-executable instructions that, when executed by a processor, execute a method according to any one of the first, second, third, and fourth aspects of the present invention. Computer readable media may be long-term in one embodiment.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙBRIEF DESCRIPTION OF THE DRAWINGS

Другие особенности и преимущества настоящего изобретения станут понятны специалисту в данной области после изучения нижеследующего подробного описания вместе с приложенными фигурами, на которых:Other features and advantages of the present invention will become apparent to a person skilled in the art after studying the following detailed description together with the attached figures, in which:

Фиг.1а: представляет иллюстративное взаимное положение устройств съемки с различными УЗ и снимаемой сцены согласно варианту осуществления настоящего изобретения.Figa: represents an illustrative relative position of the shooting devices with different ultrasound and the scene to be shot according to an embodiment of the present invention.

Фиг.1б: представляет пример кадров МВ в прямоугольной проекции согласно варианту осуществления настоящего изобретения.Fig. 1b: represents an example of MV frames in a rectangular projection according to an embodiment of the present invention.

Фиг.1в: представляет пример кадров МВ в прямоугольной проекции с частичным попаданием снимаемой сцены в поле зрения одного из устройств съемки согласно варианту осуществления настоящего изобретения.Figv: represents an example of MV frames in a rectangular projection with a partial hit of the captured scene in the field of view of one of the shooting devices according to an embodiment of the present invention.

Фиг.2: представляет блок-схему способа межканального предсказания для кодирования кадров многоканального видео, снятого устройствами с различными углами зрения, согласно варианту осуществления настоящего изобретения.FIG. 2: is a flowchart of an interchannel prediction method for encoding frames of a multi-channel video captured by devices with different viewing angles, according to an embodiment of the present invention.

Фиг.3: представляет блок-схему способа межканальной реконструкции для декодирования кадров многоканального видео, снятого устройствами с различными углами зрения, согласно варианту осуществления настоящего изобретения.Figure 3: is a flowchart of an inter-channel reconstruction method for decoding frames of multi-channel video captured by devices with different viewing angles, according to an embodiment of the present invention.

Фиг.4: Графики, наглядно демонстрирующие технический результат работы настоящего изобретения в сравнении с известными способами.Figure 4: Graphs that clearly demonstrate the technical result of the present invention in comparison with known methods.

ПОБРОБНОЕ ОПИСАНИЕ ВАРИАНТОВ ОСУЩЕСТВЛЕНИЯ НАСТОЯЩЕГО ИЗОБРЕТЕНИЯDETAILED DESCRIPTION OF EMBODIMENTS OF THE PRESENT INVENTION

На Фиг.1а представлено иллюстративное взаимное положение устройств съемки 102, 103 с различными УЗ и снимаемой сцены согласно варианту осуществления настоящего изобретения. На данной фигуре показана схема съемки объекта сцены 101 с по меньшей мере двух устройств 102, 103 съемки с разными УЗ согласно варианту осуществления настоящего изобретения. Расстояние между устройствами 102, 103 съемки и сценой 101 не обязательно должно быть равным. Для работы описываемых далее способов предпочтительно, чтобы в поле зрения устройств съемки 102, 103 находились одни и те же объекты снимаемой сцены - полностью или частично (см. описание фиг. 1в). Необходимым условием применимости описываемых далее способов является наличие по меньшей мере двух устройств съемки, которые осуществляют съемку c разными УЗ. Во время съемки объекта 101 сцены по меньшей мере двумя устройствами 102, 103 съемки осуществляется захват, соответственно, кадров 104, 105, содержащих, соответственно, изображения 106а, 106б сцены. Из-за разных технических характеристик устройств 102, 103 съемки с разными УЗ, кадры 104, 105 могут иметь различное соотношение сторон и разрешение. Вследствие разницы в углах зрения, положении устройств 102, 103 съемки по отношению к объекту 101 сцены, разрешении кадров 104, 105 и соотношении их сторон, изображения 106а и 106б могут иметь различные искажения перспективы, пропорции и размеры относительно соответствующих кадров 104, 105. Описываемый способ может быть использован для сжатия МВ, каналы которого имеют различное разрешение, соотношение сторон, различные настройки цветовых гамм (баланса белого цвета) для изображений, принадлежащих к разным каналам в случае цветного изображения, и уровня интенсивности в случае черно-белого изображения. Следует отметить, что настоящее изобретение не ограниченно конкретной показанной на Фиг.1а схемой съемки. В качестве примера, специалисту в данной области должно быть понятно, что количество используемых устройств съемки может быть больше двух, снимаемая сцена может содержать множество объектов, и взаимное расположение устройств съемки и сцены может отличаться от показанного на Фиг.1а расположения. Кроме того, технические характеристики, за исключением углов зрения, устройств съемки могут по меньшей мере частично совпадать. On figa presents an illustrative mutual position of the shooting devices 102, 103 with different ultrasound and the captured scene according to a variant implementation of the present invention. This figure shows a shooting scheme of a scene object 101 with at least two shooting devices 102, 103 with different ultrasound according to an embodiment of the present invention. The distance between the shooting devices 102, 103 and the scene 101 need not be equal. For the operation of the methods described below, it is preferable that in the field of view of the shooting devices 102, 103 are the same objects of the scene being shot - in whole or in part (see the description of Fig. 1c). A prerequisite for the applicability of the methods described below is the presence of at least two shooting devices that shoot with different ultrasound. During the shooting of the scene object 101 with at least two shooting devices 102, 103, respectively, frames 104, 105 are captured containing, respectively, the scene images 106a, 106b. Due to the different technical characteristics of shooting devices 102, 103 with different ultrasound, frames 104, 105 may have different aspect ratios and resolutions. Due to the difference in viewing angles, the position of the shooting devices 102, 103 with respect to the scene object 101, the resolution of the frames 104, 105 and the aspect ratio, the images 106a and 106b may have different perspective distortions, proportions and sizes relative to the corresponding frames 104, 105. Described the method can be used to compress MVs whose channels have different resolutions, aspect ratios, different color gamut settings (white balance) for images belonging to different channels in the case of a color image, and level Intensity in the case of black-and-white image. It should be noted that the present invention is not limited to the specific shooting scheme shown in FIG. As an example, one of ordinary skill in the art should understand that the number of shooting devices used may be more than two, the scene to be shot may contain many objects, and the relative position of the shooting devices and the scene may differ from the arrangement shown in FIG. In addition, the technical characteristics, with the exception of the viewing angles, of the shooting devices may at least partially coincide.

На Фиг.1б представлен пример кадров МВ в прямоугольной проекции согласно варианту осуществления настоящего изобретения. Кадры 104, 105 содержат, соответственно, изображения 106а, 106б сцены. Показанные кадры 104, 105 являются кадрами с устройств 102, 103 съемки с разными УЗ в прямоугольной проекции в том виде, в котором они попадают на вход кодеку (кодеру/декодеру), в котором реализован описываемый способ. Изображение сцены в каждом из кадров 104, 105, представлено полностью, т.е. охватывает все поле зрения соответствующего устройства съемки. Кроме того, как показано на Фиг.1б, объект 101 сцены попадает в поле зрения обоих устройств съемки полностью. Данный случай не ограничивает настоящее изобретение, но является наиболее благоприятным для него, поскольку после компенсации разницы УЗ, компенсацию межканальной разницы можно будет произвести наиболее эффективно. В качестве примера, на следующей Фиг.1в, которая будет подробно описана ниже по тексту, показан другой вариант осуществления настоящего изобретения, в котором объект 101 сцены попадает в поле зрения одного устройства съемки частично. Кроме того, следует отметить, что настоящее изобретение не ограничено конкретным, показанным на Фиг.1б вариантом осуществления также и в других аспектах. Например, специалисту в данной области должно быть понятно, что количество объектов сцены может быть более одного, а также, что расположение объектов в сцене может отличаться от конкретного, показанного на Фиг.1б. Fig. 1b shows an example of MV frames in a rectangular projection according to an embodiment of the present invention. Frames 104, 105 contain, respectively, images 106a, 106b of the scene. The shown frames 104, 105 are frames from shooting devices 102, 103 with different ultrasound in a rectangular projection in the form in which they enter the input of the codec (encoder / decoder) in which the described method is implemented. The image of the scene in each of the frames 104, 105 is fully represented, i.e. covers the entire field of view of the corresponding shooting device. In addition, as shown in FIG. 1b, the scene object 101 falls into the field of view of both shooting devices in full. This case does not limit the present invention, but is most favorable for it, since after compensation of the difference in ultrasound, compensation of the inter-channel difference can be made most efficiently. As an example, in the next Figv, which will be described in detail below, another embodiment of the present invention is shown in which a scene object 101 partially falls into the field of view of one shooting device. In addition, it should be noted that the present invention is not limited to the specific embodiment shown in FIG. 1b in other aspects as well. For example, a person skilled in the art should understand that the number of scene objects may be more than one, and also that the arrangement of objects in the scene may differ from the concrete one shown in FIG. 1b.

На Фиг.1в представлен пример кадров МВ в прямоугольной проекции с частичным попаданием снимаемой сцены в поле зрения одного из устройств съемки согласно варианту осуществления настоящего изобретения. Кадры 104, 105 содержат, соответственно, изображения 106а, 106б сцены. Показанные кадры 104, 105 являются кадрами с устройств 102, 103 съемки с разными УЗ в прямоугольной проекции в том виде, в котором они попадают на вход к кодеку, в котором реализован описываемый способ. Изображение сцены 101 в каждом из кадров 104, 105 представлено полностью, т.е. охватывает все поле зрения соответствующего устройства съемки. Отличием данного варианта осуществления от варианта осуществления, показанного на Фиг.1б, является то, что объект сцены 101, имеющийся в изображении 106а, попадает в поле зрения устройства 102 съемки частично. Данный вариант осуществления не является наиболее благоприятным для описываемого изобретения, поскольку после компенсации разницы УЗ устройств съемки можно будет произвести межканальную компенсацию меньшей части изображения, представленной в кадрах 104, 105 по сравнению со случаем, описанным со ссылкой на Фиг.1б, но все же позволяет осуществить компенсацию межканальной разницы более эффективным образом, нежели в решениях, известных из уровня техники. Кроме того, следует отметить, что настоящее изобретение не ограниченно конкретным показанным на Фиг.1в вариантом осуществления также и в других аспектах. Например, специалисту в данной области должно быть понятно, что частичное попадание объекта сцены может иметь место в другом изображении, например, в изображении 106б, а также, что попадающая в изображение часть объекта сцены может отличаться от конкретной попадающей части объекта сцены, показанной в изображении 106а на Фиг.1в.Figure 1c shows an example of MV frames in a rectangular projection with a partial hit of the scene being shot in the field of view of one of the shooting devices according to an embodiment of the present invention. Frames 104, 105 contain, respectively, images 106a, 106b of the scene. The shown frames 104, 105 are frames from shooting devices 102, 103 with different ultrasound in a rectangular projection in the form in which they enter the input to the codec in which the described method is implemented. The image of the scene 101 in each of the frames 104, 105 is fully represented, i.e. covers the entire field of view of the corresponding shooting device. The difference between this embodiment and the embodiment shown in FIG. 1b is that the scene object 101 in the image 106a falls into the field of view of the shooting device 102 partially. This embodiment is not the most favorable for the described invention, since after compensating for the difference in the ultrasound of the recording devices, it will be possible to perform inter-channel compensation of a smaller part of the image presented in frames 104, 105 compared with the case described with reference to Fig.1b, but still allows compensate for inter-channel differences in a more efficient way than in solutions known from the prior art. In addition, it should be noted that the present invention is not limited to the particular embodiment shown in FIG. 1c, also in other aspects. For example, one of ordinary skill in the art should understand that a partial hit of a scene object may occur in another image, for example, in image 106b, and also that part of the scene object falling into the image may differ from the specific falling part of the scene object shown in the image 106a in FIG.

На Фиг.2 представлена блок-схема способа межканального предсказания для кодирования кадров многоканального видео, снятого устройствами с различными углами зрения, согласно варианту осуществления настоящего изобретения. FIG. 2 is a flowchart of an interchannel prediction method for encoding frames of a multi-channel video captured by devices with different viewing angles according to an embodiment of the present invention.

Способ начинается с этапа S201. The method starts from step S201.

На этапе S201 получают множество входных кадров и соответствующих им углов зрения, причем каждому кадру соответствует угол зрения из по меньшей мере двух разных углов зрения. In step S201, a plurality of input frames and corresponding viewing angles are obtained, each frame corresponding to a viewing angle of at least two different viewing angles.

представляет собой множество входных кадров на момент кодирования текущего кадра, где

, т.е. на момент кодирования текущего кодируемого кадра, должно быть, по меньшей мере 2 входных кадра. Множество

может пополняться новыми входными кадрами по мере их поступления.

represents the set of input frames at the time of encoding the current frame, where

, i.e. at the time of encoding the current encoded frame, there must be at least 2 input frames. A bunch of

can be replenished with new input frames as they become available.

представляет собой множество различных углов зрения, каждое из которых соответствует соответствующему входному кадру из упомянутого множества

, где

, т.е. на момент кодирования текущего кодируемого кадра должно быть как минимум 2 различных УЗ. По мере поступления новых входных кадров и соответствующих им значений углов зрения, множество

может пополняться новыми элементами.

represents many different angles of view, each of which corresponds to a corresponding input frame from the above set

where

, i.e. at the time of encoding the current encoded frame, there must be at least 2 different ultrasound. As new input frames arrive and their corresponding values of the viewing angles, many

can be replenished with new elements.

представляет собой множество входных кадров и соответствующих им углов зрения на момент кодирования текущего кадра, где

- текущий кодируемый кадр

и соответствующий ему угол зрения

,

.

represents the set of input frames and the corresponding viewing angles at the time of encoding the current frame, where

- current encoded frame

and the corresponding angle of view

,

.

На этапе S202 осуществляют поиск кадра-предиктора

из упомянутого множества входных кадров для кодируемого кадра так, чтобы угол зрения, соответствующий кадру-предиктору, отличался от угла зрения, соответствующего упомянутому кодируемому кадру, и получают указатель, указывающий найденный кадр-предиктор.In step S202, a predictor frame is searched

from said set of input frames for the encoded frame so that the angle of view corresponding to the predictor frame is different from the angle of view corresponding to the encoded frame, and a pointer indicating the found predictor frame is obtained.

- текущий кодируемый кадр

и соответствующий ему угол зрения

,

- current encoded frame

and the corresponding angle of view

,

- кадр-предиктор

с соответствующим ему углом зрения

, отличным от угла зрения

, соответствующего текущему кодируемому кадру

,

.

- predictor frame

with the corresponding angle of view

different from the angle of view

corresponding to the current encoded frame

,

.

На этапе S203 модифицируют найденный кадр-предиктор для компенсации разницы в угле зрения, соответствующем кадру-предиктору, и угле зрения, соответствующем упомянутому кодируемому кадру, и получают указатель, указывающий тип выполненной модификации. Выходом данного этапа является модифицированный кадр-предиктор

.In step S203, the found predictor frame is modified to compensate for the difference in the angle of view corresponding to the predictor frame and the angle of view corresponding to the encoded frame, and a pointer indicating the type of modification performed is obtained. The output of this stage is a modified predictor frame.

.

представляет собой множество модификаций, которым может быть подвергнут кадр-предиктор. Состав данного множества указан в стандарте или спецификации кодека и не может быть изменён в процессе кодирования.

represents many modifications to which a predictor frame can be subjected. The composition of this set is indicated in the codec standard or specification and cannot be changed during the encoding process.

представляет собой модификацию, выбираемую кодеком для найденного кадра-предиктора с указателем модификации

. Критерий выбора

зависит от углов зрения

и

текущего кодируемого кадра

и найденного кадра-предиктора

. Модификация

применяется для уменьшения межкадровой разницы между текущим кодируемым кадром

и найденным кадром-предиктором

represents the modification chosen by the codec for the found predictor frame with the modification pointer

. Selection criteria

depends on viewing angles

and

current encoded frame

and the predictor frame found

. Modification

used to reduce the inter-frame difference between the current encoded frame

and the predictor frame found

представляет собой модифицированный найденный кадр-предиктор

, к которому была применена модификация

с указателем модификации

.

represents a modified predictor frame found

to which the modification was applied

with modification pointer

.

Затем на этапах S204 - S205 - S206 осуществляют межканальное предсказание по меньшей мере одного пиксела кодируемого кадра из по меньшей мере одного пиксела модифицированного кадра-предиктора.Then, in steps S204 - S205 - S206, an interchannel prediction of at least one pixel of the encoded frame from at least one pixel of the modified predictor frame is performed.

На этапе S204 осуществляют поиск схожих частей кодируемого кадра и модифицированного кадра-предиктора

.In step S204, similar parts of the encoded frame and the modified predictor frame are searched for

.

представляют собой множества частей текущего кодируемого кадра

и модифицированного кадра-предиктора

, между которыми найдено соответствие. Алгоритм поиска соответствия раскрыт в стандарте или спецификации кодека и не модифицируется каким-либо образом для использования с настоящим изобретением.

represent the set of parts of the current encoded frame

and modified predictor frame

between which a match is found. A conformance search algorithm is disclosed in a codec standard or specification and is not modified in any way for use with the present invention.

представляет собой множество частей текущего кодируемого кадра

, для которых найдено соответствие в найденном модифицированном кадре-предикторе

, где

, каждый элемент

содержит по меньшей мере 1 пиксел.

represents many parts of the current encoded frame

for which a match is found in the found modified predictor frame

where

each item

contains at least 1 pixel.

представляет собой множество частей найденного модифицированного кадра-предиктора

, из которых будет осуществлено межканальное предсказание множества частей

текущего кодируемого кадра

.

represents many parts of the found modified predictor frame

from which inter-channel prediction of many parts will be implemented

current encoded frame

.

На этапе S205 осуществляют определение разности положений

найденных схожих частей. На данном этапе осуществляется определение множества разностей положений

, которое определяет взаимно-однозначное соответствие между множествами

и

частей текущего кодируемого кадра

и найденного модифицированного кадра-предиктора

. At step S205, a difference in position is determined

similar parts found. At this stage, a set of position differences is determined.

which defines a one-to-one correspondence between sets

and

parts of the current encoded frame

and found modified predictor frame

.

На этапе S206 осуществляется запись определенной разности положений и указателей, указывающих найденный кадр-предиктор и тип выполненной модификации, в битовый поток. На данном этапе осуществляется запись в битовый поток указателя

найденного кадра-предиктора

, указателя

модификации

, которой подвергнут найденный кадр-предиктор

для получения найденного модифицированного кадра-предиктора

, а также в другом варианте осуществления, множества разности положений

между частями текущего кодируемого кадра

и частями найденного модифицированного кадра-предиктора

для осуществления межканального предсказания для кодирования кадра

многоканального видео, снятого устройствами с различными углами зрения.At step S206, a certain difference in positions and pointers indicating the found predictor frame and type of modification performed is recorded in the bitstream. At this stage, the pointer is written to the bitstream

found predictor frame

, pointer

modifications

to which the predictor frame is subjected

to get the found modified predictor frame

as well as in another embodiment, a plurality of difference of positions

between parts of the current encoded frame

and parts of the found modified predictor frame

for inter-channel prediction for frame encoding

multi-channel video shot by devices with different angles of view.

На Фиг.3 представлена блок-схема способа межканальной реконструкции для декодирования кадров многоканального видео, снятого устройствами с различными углами зрения, согласно варианту осуществления настоящего изобретения.FIG. 3 is a flowchart of an inter-channel reconstruction method for decoding frames of multi-channel video captured by devices with different viewing angles according to an embodiment of the present invention.

Способ начинается с этапа S301. The method begins with step S301.

На этапе S301 осуществляется прием битового потока. Битовый поток содержит сжатый видеосигнал и принимается устройством декодирования изображения.In step S301, a bit stream is received. The bitstream contains the compressed video signal and is received by the image decoding device.

На этапе S302 осуществляют декодирование по меньшей мере одного кадра для получения по меньшей мере одного кадра-предиктора, т.е. для получения, на момент декодирования текущего декодируемого кадра, одного уже декодированного кадра-предиктора.

представляет собой множество уже декодированных кадров на момент декодирования текущего декодируемого кадра, где

- на момент декодирования текущего декодируемого кадра, по меньшей мере 1 кадр уже должен быть декодирован. По мере декодирования кадров, множество

может пополняться новыми элементами. В одном варианте осуществления декодирование, осуществляемое на данном этапе S302, выполняется с помощью известных из уровня техники способов декодирования. Различным кадрам из множества кадров

на момент декодирования текущего декодируемого кадра соответствуют соответствующие различные углы зрения из множества

, представляющего собой множество различных УЗ. По мере декодирования кадров, множество

может пополняться новыми элементами.At step S302, at least one frame is decoded to obtain at least one predictor frame, i.e. to obtain, at the time of decoding the current decoded frame, one already decoded predictor frame.

represents a set of already decoded frames at the time of decoding the current decoded frame, where

- at the time of decoding the current decoded frame, at least 1 frame should already be decoded. As frames are decoded, many

can be replenished with new elements. In one embodiment, decoding performed at this step S302 is performed using decoding methods known in the art. Various frames from multiple frames

at the time of decoding the current decoded frame correspond to the corresponding different angles of view from the set

representing a lot of different ultrasound. As frames are decoded, many

can be replenished with new elements.

На этапе S303 осуществляется извлечение из принятого битового потока информации, необходимой для декодирования текущего декодируемого кадра:At step S303, information is extracted from the received bitstream for decoding the current decoded frame:

1)

- угол зрения, соответствующий текущему декодируемому кадру

,

;one)

- angle of view corresponding to the current decoded frame

,

;

2) указатель

на

- кадр-предиктор и соответствующий ему угол зрения, при условии отличия угла зрения, соответствующего кадру-предиктору и угла зрения, соответствующего текущему декодируемому кадру

,

и условии вхождения кадра

во множество

уже декодированных кадров на момент декодирования текущего декодируемого кадра:

;2) pointer

on

- a predictor frame and the corresponding angle of view, provided that the angle of view corresponding to the predictor frame and the angle of view corresponding to the current decoded frame

,

and condition for entering the frame

in many

already decoded frames at the time of decoding the current decoded frame:

;

3) указатель

на модификацию

, которой необходимо подвергнуть кадр-предиктор

для получения модифицированного кадра-предиктора

;3) pointer

for modification

to be subjected to the predictor frame

to get a modified predictor frame

;

4) множество разности положений

между частями текущего декодируемого кадра и модифицируемого кадра-предиктора

;4) a lot of difference of provisions

between parts of the current decoded frame and the modified predictor frame

;

На этапе S304 осуществляют модификацию кадра-предиктора

. Для этого кодек подвергает кадр

модификации

, указываемой указателем

, извлеченным из принятого битового потока с учётом угла зрения

, соответствующего текущему декодируемому кадру, и угла зрения

, соответствующего модифицируемому кадру-предиктору

.At step S304, a predictor frame is modified

to get a modified predictor frame

. To do this, the codec exposes the frame

modifications

indicated by a pointer

extracted from the received bitstream taking into account the angle of view

corresponding to the current decoded frame and angle of view

corresponding to the modifier predictor frame

.

На этапе S305 осуществляется межканальная реконструкция частей

текущего декодируемого кадра

из частей

модифицированного кадра-предиктора

. Для установления взаимно однозначного соответствия между множествами

и

используется множество разности положений

между частями текущего декодируемого кадра и модифицированного кадра-предиктора

, извлеченное из битового потока. Выходом данного этапа является текущий декодируемый кадр

, части

которого реконструированы из частей

модифицированного кадра-предиктора

.In step S305, the inter-channel reconstruction of the parts

current decoded frame

from parts

modified predictor frame

. To establish a one-to-one correspondence between sets

and

multiple position differences are used

between parts of the current decoded frame and the modified predictor frame

extracted from the bitstream. The output of this stage is the current decoded frame.

, parts

which are reconstructed from parts

modified predictor frame

.

На Фиг.4 показаны графики, наглядно демонстрирующие эффективность работы настоящего изобретения в сравнении с известными способами.Figure 4 shows graphs that clearly demonstrate the effectiveness of the present invention in comparison with known methods.

График 401 представляет собой график кривой «Скорость кодирования - Искажение» для МВ, сжатого при использовании кодека HEVC HM 13.1 с использованием настоящего изобретения. Упомянутое сжатие МВ осуществляется с использованием межканального предсказания с учетом разницы УЗ, и сжатое МВ записывается в единый выходной поток. В данном эксперименте, сжатый видеосигнал имеет на 7% - 36% меньший размер по сравнению с результатом, представленным на графиках 402 и 403 при равных показателях метрики визуального качества PSNR.Graph 401 is a graph of the "Coding Rate - Distortion" curve for MB compressed using the HEVC HM 13.1 codec using the present invention. Mentioned MV compression is carried out using inter-channel prediction taking into account the difference in ultrasound, and the compressed MV is recorded in a single output stream. In this experiment, the compressed video signal is 7% - 36% smaller than the result presented in graphs 402 and 403 with equal visual metrics PSNR.

График 402 представляет собой график кривой «Скорость кодирования - Искажение» для МВ, сжатого при использовании кодека HEVC HM-13.1 с использованием набора настроек кодирования «Simulcast». Данный набор настроек осуществляет компрессию отдельных каналов МВ в отдельные сжатые видеосигналы без использования межканального предсказания.Graph 402 is a graph of the “Encoding Speed - Distortion” curve for MB compressed using the HEVC HM-13.1 codec using the Simulcast encoding settings. This set of settings compresses individual MB channels into separate compressed video signals without using inter-channel prediction.

График 402 представляет собой график кривой «Скорость кодирования - Искажение» для МВ, сжатого при использовании кодека HEVC HM-13.1 с использованием набора настроек кодирования «MVC». Данный набор настроек осуществляет компрессию МВ с использованием межканального предсказания, и записывает результат в единый сжатый видеосигнал с несколькими каналами.Graph 402 is a graph of the “Encoding Speed - Distortion” curve for MV compressed using the HEVC HM-13.1 codec using the MVC encoding settings. This set of settings compresses the MV using inter-channel prediction, and records the result in a single compressed video signal with several channels.

Варианты реализации заявленного изобретенияEmbodiments of the claimed invention

Способ может быть реализован как составная часть кодека, предназначенного для сжатия МВ, снятого устройствами съемки с разными УЗ. Кодек может быть реализован как программное или аппаратное обеспечение. При программной реализации инструкции для исполнения вышеописанных способов могут быть записаны на считываемый компьютером носитель, который может быть долговременным. The method can be implemented as part of a codec designed to compress MV captured by shooting devices with different ultrasound. The codec can be implemented as software or hardware. In a software implementation, instructions for executing the above methods may be recorded on a computer-readable medium, which may be long-term.

Описанное изобретение также представляет встроенную функциональность, когда способ реализован в виде компонента, встроенного в устройство программного и/или аппаратного кодека таким образом, что пользователь, осуществляющий съемку этим устройством, получает на выходе сжатое МВ. Примеры таких устройств: телефон, планшетный компьютер, фото/видеокамера, оснащенные двумя и более устройствами съемки, снимающими МВ с разными УЗ; несколько виртуальных камер с различными УЗ, осуществляющие захват изображения трехмерной компьютерной сцены.The described invention also presents built-in functionality when the method is implemented as a component built into a device of a software and / or hardware codec in such a way that a user shooting with this device receives a compressed MV output. Examples of such devices: a telephone, a tablet computer, a photo / video camera equipped with two or more shooting devices that record MVs with different ultrasound; several virtual cameras with various ultrasound, capturing images of a three-dimensional computer scene.

Кроме того, описанное изобретение представляет отдельную функциональность, когда способ реализован в виде компонента программного и/или аппаратного кодека в составе отдельного устройства и/или службы, которые осуществляют сжатие МВ, поступающего извне посредством проводной и/или беспроводной передачи данных, например, но без ограничения упомянутым, с локальных и/или удаленных устройств хранения данных, по сети и т.п.In addition, the described invention provides a separate functionality when the method is implemented as a component of a software and / or hardware codec as part of a separate device and / or service that compresses the MB coming from the outside via wired and / or wireless data transmission, for example, but without restrictions mentioned, from local and / or remote storage devices, over a network, etc.

Способ может быть реализован в виде компонента программного и/или аппаратного кодека/кодера в составе устройства, обладающего встроенной и/или отдельной функциональностью.The method can be implemented as a component of a software and / or hardware codec / encoder as part of a device having built-in and / or separate functionality.

Реализация способа может быть применена в составе программного и/или аппаратного кодека на устройствах, осуществляющих съемку и сжатие МВ, а также в составе отдельного программного и/или аппаратного кодека, осуществляющего сжатие. Примером первого сценария является устройство, оснащенное камерой (камерами), и способное проводить съемку МВ с различными УЗ: смартфон или планшетный компьютер с несколькими камерами, фото- или видеокамера с несколькими объективами, обеспечивающими стереоизображение, а также устройство виртуальной или дополненной реальности, снабженное камерами с разными УЗ. Данный список приведен для иллюстрации и не является исчерпывающим. Примером второго сценария использования может быть программный кодек, установленный на рабочую станцию/сервер, и/или аппаратный кодек в виде отдельного устройства и/или платы расширения, который осуществляет (транс)кодирование поступающего на него МВ.The implementation of the method can be applied as part of a software and / or hardware codec on devices that capture and compress MVs, as well as as part of a separate software and / or hardware codec that performs compression. An example of the first scenario is a device equipped with a camera (s), and capable of shooting MVs with various ultrasound: a smartphone or tablet computer with several cameras, a photo or video camera with several lenses that provide stereo images, and a virtual or augmented reality device equipped with cameras with different ultrasound. This list is for illustration only and is not exhaustive. An example of a second use case can be a software codec installed on a workstation / server, and / or a hardware codec in the form of a separate device and / or expansion card that performs (trans) encoding of the incoming MB.

Кроме того, устройства кодирования и декодирования изображений могут быть реализованы посредством процессора, интегральной схемы специального назначения (ASIC), программируемой пользователем вентильной матрицы (FPGA), или - в некоторых вариантах осуществления - как система на кристалле (SoC). Вышеуказанные способы согласно первому и второму аспектам настоящего изобретения могут быть реализованы как часть способов согласно, соответственно, третьему и четвертому аспектам настоящего изобретения.In addition, image encoding and decoding devices may be implemented using a processor, a special purpose integrated circuit (ASIC), a field programmable gate array (FPGA), or, in some embodiments, an on-chip (SoC) system. The above methods according to the first and second aspects of the present invention can be implemented as part of the methods according to, respectively, the third and fourth aspects of the present invention.

Другие варианты и последовательности выполнения этапов раскрытых способов, а также компоновки раскрытых устройств, будут очевидны специалистам в данной области техники из этого описания, при его рассмотрении вместе с приложенными фигурами. Все такие варианты, последовательности и компоновки находятся в рамках объема нижеследующей формулы изобретения. Other options and sequences of steps of the disclosed methods, as well as the layout of the disclosed devices, will be obvious to experts in the art from this description, when considered together with the attached figures. All such variations, sequences and arrangements are within the scope of the following claims.

Claims

1. A method of encoding frames of a multi-channel video using inter-channel prediction, the multi-channel video being shot by devices with different viewing angles, comprising the steps of:

get a lot of input frames and their corresponding angles of view;

searching for a predictor frame from the plurality of input frames for the encoded frame so that the angle of view corresponding to the predictor frame is different from the angle of view corresponding to the encoded frame, and a pointer indicating the found predictor frame is obtained;

modifying the found predictor frame to compensate for the difference in the angle of view corresponding to the predictor frame and the angle of view corresponding to the encoded frame, and a pointer indicating the type of modification performed is obtained;

inter-channel prediction of at least one pixel of the encoded frame from at least one pixel of the modified predictor frame; and

coding a multi-channel video frame;

wherein the implementation of inter-channel prediction contains:

search for similar parts of the encoded frame and the modified predictor frame;

determination of the difference in positions of similar parts found; and

writing a certain difference of positions and said pointers to the bitstream.

2. The method according to claim 1, in which each frame corresponds to an angle of view of at least two different angles of view.

3. The method according to claim 1, in which:

input frames have different resolutions, aspect ratios, various color gamut settings for color images, various intensity level settings for black and white images.

4. The method according to claim 1, wherein the step of modifying the found predictor frame further comprises applying a transform comprising at least one of scaling, cropping, convolution transform to the found predictor frame.

5. The method according to claim 1, in which at the stage of recording in the bitstream additionally record certain position differences of the found similar parts between the parts of the encoded frame and the parts of the modified predictor frame.

6. A method for decoding frames of multi-channel video using inter-channel reconstruction, the multi-channel video being shot by devices with different viewing angles, comprising the steps of:

receive a bit stream;

at least one frame is decoded to obtain at least one predictor frame;

extracted from the bitstream:

- at least one pointer indicating a modification type of said at least one predictor frame;

- a first angle of view corresponding to said at least one predictor frame;

- the second angle of view corresponding to the current decoded frame; and

- a difference of positions between the modifiable said at least one predictor frame and the current decoded frame;

modifying said at least one predictor frame, which is indicated by said pointer indicating the type of modification, to compensate for the difference between said first angle of view and the second angle of view corresponding to the current decoded frame, and obtain a modified at least one predictor frame;

interchannel reconstruction of at least one pixel of the current decoded frame from at least one pixel of the modified at least one predictor frame using the difference between their positions.

7. The method according to claim 6, wherein the first angle of view is different from the second angle of view.

8. The method according to claim 6, wherein the step of retrieving from the bitstream further comprises the step of retrieving

at least one pointer indicating said at least one predictor frame.